Conteúdo da Documentação Python

O que há de novo no Python

O que há de novo no Python 3.13

Resumo – Destaques da versão

Novas funcionalidades

Um melhor interpretador interativo

Mensagens de erro melhoradas

CPython com threads livres

Um compilador just-in-time (JIT) experimental

Definidas semânticas de mutação para locals()

Suporte para plataformas móveis

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

argparse

array

ast

asyncio

base64

compileall

concurrent.futures

configparser

copy

ctypes

dbm

dis

doctest

email

fractions

glob

importlib

io

ipaddress

itertools

marshal

math

mimetypes

mmap

multiprocessing

os

os.path

pathlib

pdb

queue

random

re

shutil

site

sqlite3

ssl

statistics

subprocess

sys

tempfile

time

tkinter

traceback

types

typing

unicodedata

venv

warnings

xml

zipimport

Otimizações

Módulos e APIs removidas

PEP 594: remove “baterias descarregadas” da biblioteca padrão

2to3

embutidos

configparser

importlib.metadata

locale

opcode

pathlib

re

tkinter.tix

turtle

typing

unittest

urllib

webbrowser

Novas descontinuações

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente no Python 3.16

Remoção pendente em versões futuras

Alterações de bytecode do CPython

Alterações na API C

Novas funcionalidades

Alterações na API C

Mudanças na API C Limitada

APIs C removidas

APIs C descontinuadas

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente em versões futuras

Mudanças na construção

Portando para o Python 3.13

Alterações na API Python

Alterações na API C

Mudanças em teste de regressão

O que há de novo no Python 3.12

Resumo – Destaques da versão

Novas funcionalidades

PEP 695: Sintaxe do parâmetro de tipo

PEP 701: Formalização sintática de f-strings

PEP 684: Uma GIL por interpretador

PEP 669: Monitoramento de baixo impacto para CPython

PEP 688: Tornando o protocolo de buffer acessível no Python

PEP 709: Fazendo inline de compreensão

Mensagens de erro melhoradas

Novos recursos relacionados a dicas de tipo

PEP 692: Usando TypedDict para tipagem mais precisa de **kwargs

PEP 698: Substitui decorador para tipagem estática

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

array

asyncio

calendar

csv

dis

fractions

importlib.resources

inspect

itertools

math

os

os.path

pathlib

pdb

random

shutil

sqlite3

statistics

sys

tempfile

threading

tkinter

tokenize

types

typing

unicodedata

unittest

uuid

Otimizações

Alterações de bytecode do CPython

Ferramentas e daemons

Descontinuados

Remoção pendente no Python 3.13

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente no Python 3.16

Remoção pendente em versões futuras

Removidos

asynchat e asyncore

configparser

distutils

ensurepip

enum

ftplib

gzip

hashlib

importlib

imp

io

locale

smtpd

sqlite3

ssl

unittest

webbrowser

xml.etree.ElementTree

zipimport

Outros

Portando para Python 3.12

Alterações na API Python

Mudanças na construção

Alterações na API C

Novas funcionalidades

Portando para Python 3.12

Descontinuados

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente em versões futuras

Removidos

O que há de novo no Python 3.11

Resumo – Destaques da versão

Novas funcionalidades

PEP 657: Localizações de erros refinadas em tracebacks

PEP 654: Grupos de exceção e except*

PEP 678: Exceções podem ser enriquecidas com notas

Melhorias no inicializador py.exe do Windows

Novos recursos relacionados a dicas de tipo

PEP 646: Genéricos variádicos

PEP 655: Marcando itens TypedDict individuais como obrigatórios ou não obrigatórios

PEP 673: Tipo Self

PEP 675: Tipo de string literal arbitrário

PEP 681: Transformações de classe de dados

PEP 563 pode não ser o futuro

Outras mudanças na linguagem

Outras mudanças na implementação do CPython

Novos módulos

Módulos melhorados

asyncio

contextlib

dataclasses

datetime

enum

fcntl

fractions

functools

gzip

hashlib

IDLE e idlelib

inspect

locale

logging

math

operator

os

pathlib

re

shutil

socket

sqlite3

string

sys

sysconfig

tempfile

threading

time

tkinter

traceback

typing

unicodedata

unittest

venv

warnings

zipfile

Otimizações

CPython mais rápido

Inicialização mais rápida

Importações congeladas/objetos de código estático

Tempo de execução mais rápido

Quadros Python menos custosos e mais preguiçosos

Chamadas de função Python em linha

PEP 659: Interpretador adaptativo especializado

Diversos

FAQ

Como devo escrever meu código para utilizar esses aceleradores?

O CPython 3.11 usará mais memória?

Não vejo nenhuma aceleração em minha carga de trabalho. Por que?

Existe um compilador JIT?

Sobre

Alterações de bytecode do CPython

Novos opcodes

Opcodes substituídos

Opcodes alterados/removidos

Descontinuados

Linguagem/Embutidos

Módulos

Biblioteca Padrão

Pendente remoção no Python 3.12

Removidos

Portando para Python 3.11

Mudanças na construção

Alterações na API C

Novas funcionalidades

Portando para Python 3.11

Descontinuados

Pendente remoção no Python 3.12

Removidos

Alterações notáveis no 3.11.4

tarfile

Alterações notáveis no 3.11.5

OpenSSL

O que há de novo no Python 3.10

Resumo – Destaques da versão

Novas funcionalidades

Gerenciadores de contexto entre parênteses

Melhores mensagens de erro

SyntaxErrors

IndentationErrors

AttributeErrors

NameErrors

PEP 626: Números de linha precisos para depuração e outras ferramentas

PEP 634: Correspondência de padrão estrutural

Sintaxe e operações

Abordagem declarativa

Padrão simples: corresponder a um literal

Comportamento sem o curinga

Padrões com uma literal e variável

Padrões e classes

Padrões com parâmetros posicionais

Padrões aninhados

Padrões complexos e o curinga

Guarda

Outros recursos-chave

EncodingWarning opcional e opção encoding="locale"

Novos recursos relacionados a dicas de tipo

PEP 604: Operador de união de novo tipo

PEP 612: Variáveis de especificação de parâmetros

PEP 613: TypeAlias

PEP 647: Guardas de Tipo Definidas Pelo Usuário

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

asyncio

argparse

array

asynchat, asyncore, smtpd

base64

bdb

bisect

codecs

collections.abc

contextlib

curses

dataclasses

__slots__

Campos somente-nomeados

distutils

doctest

encodings

enum

fileinput

faulthandler

gc

glob

hashlib

hmac

IDLE e idlelib

importlib.metadata

inspect

itertools

linecache

os

os.path

pathlib

platform

pprint

py_compile

pyclbr

shelve

statistics

site

socket

ssl

sqlite3

sys

_thread

threading

traceback

types

typing

unittest

urllib.parse

xml

zipimport

Otimizações

Descontinuados

Removidos

Portando para Python 3.10

Alterações na sintaxe Python

Alterações na API Python

Alterações na API C

Alterações de bytecode do CPython

Mudanças na construção

Alterações na API C

PEP 652: Mantendo a ABI estável

Novas funcionalidades

Portando para Python 3.10

Descontinuados

Removidos

Recursos de segurança notáveis no 3.10.7

Recursos de segurança notáveis no 3.10.8

Alterações notáveis no 3.10.12

tarfile

O que há de novo no Python 3.9

Resumo – Destaques da versão

Você deve verificar DeprecationWarning no seu código

Novas funcionalidades

Operadores de mesclagem & atualização de dicionário

Novos métodos de strings para remover prefixos e sufixos

Type hinting genéricos nas coleções padrão

Novo analisador sintático

Outras mudanças na linguagem

Novos módulos

zoneinfo

graphlib

Módulos melhorados

ast

asyncio

compileall

concurrent.futures

curses

datetime

distutils

fcntl

ftplib

gc

hashlib

http

IDLE e idlelib

imaplib

importlib

inspect

ipaddress

math

multiprocessing

nntplib

os

pathlib

pdb

poplib

pprint

pydoc

random

signal

smtplib

socket

time

sys

tracemalloc

typing

unicodedata

venv

xml

Otimizações

Descontinuados

Removidos

Portando para Python 3.9

Alterações na API Python

Alterações na API C

Alterações de bytecode do CPython

Mudanças na construção

Alterações na API C

Novas funcionalidades

Portando para Python 3.9

Removidos

Alterações notáveis no Python 3.9.1

typing

Suporte a macOS 11.0 (Big Sur) e Apple Silicon Mac

Alterações notáveis no Python 3.9.2

collections.abc

urllib.parse

Alterações notáveis no Python 3.9.3

Alterações notáveis no Python 3.9.5

urllib.parse

Recursos de segurança notáveis no 3.9.14

Alterações notáveis no 3.9.17

tarfile

O que há de novo no Python 3.8

Resumo – Destaques da versão

Novas funcionalidades

Expressões de atribuição

Parâmetros somente-posicionais

Cache do sistema de arquivos paralelo para arquivos de bytecode compilados

A compilação de depuração usa a mesma ABI da compilação de lançamento

O suporte a f-strings = para expressões de auto-documentação e depuração

PEP 578: Ganchos de auditoria em tempo de execução Python

PEP 587: Configuração de Inicialização do Python

PEP 590: Vectorcall: um protocolo de chamada rápida para CPython

Protocolo de Pickle 5 com buffers de dados fora da banda

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

ast

asyncio

builtins

collections

cProfile

csv

curses

ctypes

datetime

functools

gc

gettext

gzip

IDLE e idlelib

inspect

io

itertools

json.tool

logging

math

mmap

multiprocessing

os

os.path

pathlib

pickle

plistlib

pprint

py_compile

shlex

shutil

socket

ssl

statistics

sys

tarfile

threading

tokenize

tkinter

time

typing

unicodedata

unittest

venv

weakref

xml

xmlrpc

Otimizações

Mudanças a construções e API C

Descontinuados

Remoção de APIs e recursos

Portando para o Python 3.8

Alterações no comportamento do Python

Alterações na API Python

Alterações na API C

Alterações de bytecode do CPython

Ferramentas e daemons

Alterações notáveis no Python 3.8.1

Alterações notáveis no Python 3.8.2

Alterações notáveis no Python 3.8.3

Alterações notáveis no Python 3.8.8

Alterações notáveis no Python 3.8.9

Alterações notáveis no Python 3.8.10

Suporte a macOS 11.0 (Big Sur) e Apple Silicon Mac

Alterações notáveis no Python 3.8.10

urllib.parse

Alterações notáveis no Python 3.8.12

Alterações na API Python

Recursos de segurança notáveis no 3.8.14

Alterações notáveis no 3.8.17

tarfile

O que há de novo no Python 3.7

Resumo – Destaques da versão

Novas funcionalidades

PEP 563: Avaliação Postergada de Anotações

PEP 538: Coerção de localidade C legada

PEP 540: Modo de tempo de execução UTF-8 forçado

PEP 553: breakpoint() embutida

PEP 539: Nova API C para armazenamento local de thread

PEP 562: Personalização de acesso aos atributos do módulo

PEP 564: Novas funções de tempo com resolução de nanossegundos

PEP 565: Mostra DeprecationWarning em __main__

PEP 560: Suporte básico para módulo typing e tipos genéricos

PEP 552: Arquivos .pyc baseados em hash

PEP 545: Traduções da documentação do Python

Modo de Desenvolvimento do Python (-X dev)

Outras mudanças na linguagem

Novos módulos

contextvars

dataclasses

importlib.resources

Módulos melhorados

argparse

asyncio

binascii

calendar

collections

compileall

concurrent.futures

contextlib

cProfile

crypt

datetime

dbm

decimal

dis

distutils

enum

functools

gc

hmac

http.client

http.server

idlelib e IDLE

importlib

io

ipaddress

itertools

locale

logging

math

mimetypes

msilib

multiprocessing

os

pathlib

pdb

py_compile

pydoc

queue

re

signal

socket

socketserver

sqlite3

ssl

string

subprocess

sys

time

tkinter

tracemalloc

types

unicodedata

unittest

unittest.mock

urllib.parse

uu

uuid

avisos

xml

xml.etree

xmlrpc.server

zipapp

zipfile

Alterações na API C

Mudanças na construção

Otimizações

Outras mudanças na implementação do CPython

Comportamento do Python descontinuado

Deprecated Python modules, functions and methods

aifc

asyncio

collections

dbm

enum

gettext

importlib

locale

macpath

threading

socket

ssl

sunau

sys

wave

Deprecated functions and types of the C API

Platform Support Removals

Remoção de APIs e recursos

Module Removals

Windows-only Changes

Porting to Python 3.7

Changes in Python Behavior

Alterações na API Python

Alterações na API C

Alterações de bytecode do CPython

Windows-only Changes

Other CPython implementation changes

Notable changes in Python 3.7.1

Notable changes in Python 3.7.2

Notable changes in Python 3.7.6

Notable changes in Python 3.7.10

Notable changes in Python 3.7.11

Notable security feature in 3.7.14

What’s New In Python 3.6

Resumo – Destaques da versão

Novas funcionalidades

PEP 498: Formatted string literals

PEP 526: Syntax for variable annotations

PEP 515: Underscores in Numeric Literals

PEP 525: Asynchronous Generators

PEP 530: Asynchronous Comprehensions

PEP 487: Simpler customization of class creation

PEP 487: Descriptor Protocol Enhancements

PEP 519: Adding a file system path protocol

PEP 495: Local Time Disambiguation

PEP 529: Change Windows filesystem encoding to UTF-8

PEP 528: Change Windows console encoding to UTF-8

PEP 520: Preserving Class Attribute Definition Order

PEP 468: Preserving Keyword Argument Order

New dict implementation

PEP 523: Adding a frame evaluation API to CPython

PYTHONMALLOC environment variable

DTrace and SystemTap probing support

Outras mudanças na linguagem

Novos módulos

segredos

Módulos melhorados

array

ast

asyncio

binascii

cmath

collections

concurrent.futures

contextlib

datetime

decimal

distutils

email

encodings

enum

faulthandler

fileinput

hashlib

http.client

idlelib e IDLE

importlib

inspect

json

logging

math

multiprocessing

os

pathlib

pdb

pickle

pickletools

pydoc

random

re

readline

rlcompleter

shlex

site

sqlite3

socket

socketserver

ssl

statistics

struct

subprocess

sys

telnetlib

time

timeit

tkinter

traceback

tracemalloc

typing

unicodedata

unittest.mock

urllib.request

urllib.robotparser

venv

avisos

winreg

winsound

xmlrpc.client

zipfile

zlib

Otimizações

Mudanças a construções e API C

Other Improvements

Descontinuados

New Keywords

Deprecated Python behavior

Deprecated Python modules, functions and methods

asynchat

asyncore

dbm

distutils

grp

importlib

os

re

ssl

tkinter

venv

xml

Deprecated functions and types of the C API

Deprecated Build Options

Removidos

Remoção de APIs e recursos

Porting to Python 3.6

Changes in ‘python’ Command Behavior

Alterações na API Python

Alterações na API C

Alterações de bytecode do CPython

Notable changes in Python 3.6.2

Novo alvo de construção make regen-all

Remoção do alvo de construção make touch

Notable changes in Python 3.6.4

Notable changes in Python 3.6.5

Notable changes in Python 3.6.7

Notable changes in Python 3.6.10

Notable changes in Python 3.6.13

Notable changes in Python 3.6.14

O que há de novo no Python 3.5

Resumo – Destaques da versão

Novas funcionalidades

PEP 492 - Coroutines with async and await syntax

PEP 465 - A dedicated infix operator for matrix multiplication

PEP 448 - Additional Unpacking Generalizations

PEP 461 - percent formatting support for bytes and bytearray

PEP 484 - Type Hints

PEP 471 - os.scandir() function – a better and faster directory iterator

PEP 475: Retry system calls failing with EINTR

PEP 479: Change StopIteration handling inside generators

PEP 485: A function for testing approximate equality

PEP 486: Make the Python Launcher aware of virtual environments

PEP 488: Elimination of PYO files

PEP 489: Multi-phase extension module initialization

Outras mudanças na linguagem

Novos módulos

typing

zipapp

Módulos melhorados

argparse

asyncio

bz2

cgi

cmath

código

collections

collections.abc

compileall

concurrent.futures

configparser

contextlib

csv

curses

dbm

difflib

distutils

doctest

email

enum

faulthandler

functools

glob

gzip

heapq

http

http.client

idlelib e IDLE

imaplib

imghdr

importlib

inspect

io

ipaddress

json

linecache

locale

logging

lzma

math

multiprocessing

operador

os

pathlib

pickle

poplib

re

readline

selectors

shutil

signal

smtpd

smtplib

sndhdr

socket

ssl

Memory BIO Support

Application-Layer Protocol Negotiation Support

Other Changes

sqlite3

subprocess

sys

sysconfig

tarfile

threading

time

timeit

tkinter

traceback

types

unicodedata

unittest

unittest.mock

urllib

wsgiref

xmlrpc

xml.sax

zipfile

Other module-level changes

Otimizações

Mudanças a construções e API C

Descontinuados

New Keywords

Comportamento do Python descontinuado

Unsupported Operating Systems

Deprecated Python modules, functions and methods

Removidos

Remoção de APIs e recursos

Porting to Python 3.5

Alterações no comportamento do Python

Alterações na API Python

Alterações na API C

Notable changes in Python 3.5.4

Novo alvo de construção make regen-all

Remoção do alvo de construção make touch

O que há de novo no Python 3.4

Resumo – Destaques da versão

Novas funcionalidades

PEP 453: Explicit Bootstrapping of PIP in Python Installations

Bootstrapping pip By Default

Mudanças na documentação

PEP 446: Newly Created File Descriptors Are Non-Inheritable

Melhorias no manuseio de Codecs

PEP 451: A ModuleSpec Type for the Import System

Outras mudanças na linguagem

Novos módulos

asyncio

ensurepip

enum

pathlib

selectors

statistics

tracemalloc

Módulos melhorados

abc

aifc

argparse

audioop

base64

collections

colorsys

contextlib

dbm

dis

doctest

email

filecmp

functools

gc

glob

hashlib

hmac

html

http

idlelib e IDLE

importlib

inspect

ipaddress

logging

marshal

mmap

multiprocessing

operador

os

pdb

pickle

plistlib

poplib

pprint

pty

pydoc

re

resource

select

shelve

shutil

smtpd

smtplib

socket

sqlite3

ssl

stat

struct

subprocess

sunau

sys

tarfile

textwrap

threading

traceback

types

urllib

unittest

venv

wave

weakref

xml.etree

zipfile

CPython Implementation Changes

PEP 445: Customization of CPython Memory Allocators

PEP 442: Safe Object Finalization

PEP 456: Secure and Interchangeable Hash Algorithm

PEP 436: Argument Clinic

Other Alterações a compilações e API C

Other Improvements

Otimizações Relevantes

Descontinuados

Deprecations in the Python API

Deprecated Features

Removidos

Operating Systems No Longer Supported

Remoção de APIs e recursos

Code Cleanups

Porting to Python 3.4

Changes in ‘python’ Command Behavior

Alterações na API Python

Alterações na API C

Alterado em 3.4.3

PEP 476: Habilitando verificação de certificado por padrão para clientes http stdlib

O que há de novo no Python 3.3

Resumo – Destaques da versão

PEP 405: Ambientes Virtuais

PEP 420: Implicit Namespace Packages

PEP 3118: New memoryview implementation and buffer protocol documentation

Recursos

Mudanças na API

PEP 393: Flexible String Representation

Funcionalidade

Desempenho e utilização de recursos

PEP 397: Python Launcher for Windows

PEP 3151: Reworking the OS and IO exception hierarchy

PEP 380: Syntax for Delegating to a Subgenerator

PEP 409: Suppressing exception context

PEP 414: Explicit Unicode literals

PEP 3155: Qualified name for classes and functions

PEP 412: Key-Sharing Dictionary

PEP 362: Function Signature Object

PEP 421: Adding sys.implementation

SimpleNamespace

Using importlib as the Implementation of Import

New APIs

Visible Changes

Outras mudanças na linguagem

A Finer-Grained Import Lock

Builtin functions and types

Novos módulos

faulthandler

ipaddress

lzma

Módulos melhorados

abc

array

base64

binascii

bz2

codecs

collections

contextlib

crypt

curses

datetime

decimal

Recursos

Mudanças na API

email

Policy Framework

Provisional Policy with New Header API

Other API Changes

ftplib

functools

gc

hmac

http

html

imaplib

inspect

io

itertools

logging

math

mmap

multiprocessing

nntplib

os

pdb

pickle

pydoc

re

sched

select

shlex

shutil

signal

smtpd

smtplib

socket

socketserver

sqlite3

ssl

stat

struct

subprocess

sys

tarfile

tempfile

textwrap

threading

time

types

unittest

urllib

webbrowser

xml.etree.ElementTree

zlib

Otimizações

Mudanças a construções e API C

Descontinuados

Unsupported Operating Systems

Deprecated Python modules, functions and methods

Deprecated functions and types of the C API

Deprecated features

Porting to Python 3.3

Porting Python code

Porting C code

Building C extensions

Command Line Switch Changes

O que há de novo no Python 3.2

PEP 384: Defining a Stable ABI

PEP 389: Argparse Command Line Parsing Module

PEP 391: Dictionary Based Configuration for Logging

PEP 3148: The concurrent.futures module

PEP 3147: PYC Repository Directories

PEP 3149: ABI Version Tagged .so Files

PEP 3333: Python Web Server Gateway Interface v1.0.1

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

email

elementtree

functools

itertools

collections

threading

datetime and time

math

abc

io

reprlib

logging

csv

contextlib

decimal and fractions

ftp

popen

select

gzip and zipfile

tarfile

hashlib

ast

os

shutil

sqlite3

html

socket

ssl

nntp

certificates

imaplib

http.client

unittest

random

poplib

asyncore

tempfile

inspect

pydoc

dis

dbm

ctypes

site

sysconfig

pdb

configparser

urllib.parse

mailbox

turtledemo

Multi-threading

Otimizações

Unicode

Codecs

Documentação

IDLE

Code Repository

Mudanças a construções e API C

Porting to Python 3.2

O que há de novo no Python 3.1

PEP 372: Dicionários ordenados

PEP 378: Especificador de formato para separador de milhares

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

Otimizações

IDLE

Mudanças a construções e API C

Porting to Python 3.1

O que há de novo no Python 3.0

Obstáculos comuns

print é uma função

Visualizações e iteradores em vez de listas

Comparações de ordenação

Inteiros

Texto vs. Dados em vez de Unicode vs. 8 bits

Visão geral das alterações da sintaxe

Nova sintaxe

Sintaxe alterada

Sintaxe removida

Mudanças já presentes no Python 2.6

Mudanças na biblioteca

PEP 3101: Uma nova abordagem para formatação de strings

Mudanças para exceções

Outras mudanças diversas

Operadores e métodos especiais

Funções embutidas

Mudanças a construções e API C

Desempenho

Portando para o Python 3.0

O que há de novo no Python 2.7

O futuro para o Python 2.x

Mudanças no tratamento de avisos de descontinuação

Recursos do Python 3.1

PEP 372: Adicionando um dicionário ordenado a coleções

PEP 378: Especificador de formato para separador de milhares

PEP 389: O módulo argparse para analisar linhas de comando

PEP 391: Configuração baseada em dicionário para logging

PEP 3106: Views de dicionário

PEP 3137: O objeto memoryview

Outras mudanças na linguagem

Alterações no interpretador

Otimizações

Módulos Novos ou Aprimorados

Novo módulo: importlib

Novo módulo: sysconfig

ttk: Widgets temáticos para Tk

Módulo atualizado: unittest

Módulo atualizado: ElementTree 1.3

Mudanças a construções e API C

Capsules

Alterações específicas da porta: Windows

Alterações específicas da porta: Mac OS X

Alterações específicas da porta: FreeBSD

Outras alterações e correções

Portando para Python 2.7

Novos recursos adicionados às versões de manutenção do Python 2.7

Duas novas variáveis de ambiente para modo de depuração

PEP 434: Exceção de aprimoramento do IDLE para todos os branches

PEP 466: Aprimoramentos de segurança de rede do Python 2.7

PEP 477: Backport do ensurepip (PEP 453) para o Python 2.7

Inicializando pip por padrão

Mudanças na documentação

PEP 476: Habilitando verificação de certificado por padrão para clientes http stdlib

PEP 493: Ferramentas de migração de verificação HTTPS para Python 2.7

Novo alvo de construção make regen-all

Remoção do alvo de construção make touch

Reconhecimentos

O que há de novo no Python 2.6

Python 3.0

Changes to the Development Process

New Issue Tracker: Roundup

New Documentation Format: reStructuredText Using Sphinx

PEP 343: The ‘with’ statement

Writing Context Managers

The contextlib module

PEP 366: Explicit Relative Imports From a Main Module

PEP 370: Per-user site-packages Directory

PEP 371: The multiprocessing Package

PEP 3101: Advanced String Formatting

PEP 3105: print As a Function

PEP 3110: Exception-Handling Changes

PEP 3112: Byte Literals

PEP 3116: New I/O Library

PEP 3118: Revised Buffer Protocol

PEP 3119: Abstract Base Classes

PEP 3127: Integer Literal Support and Syntax

PEP 3129: Class Decorators

PEP 3141: A Type Hierarchy for Numbers

The fractions Module

Outras mudanças na linguagem

Otimizações

Alterações no interpretador

Módulos novos ou aprimorados

The ast module

The future_builtins module

The json module: JavaScript Object Notation

The plistlib module: A Property-List Parser

ctypes Enhancements

Improved SSL Support

Deprecations and Removals

Mudanças a construções e API C

Port-Specific Changes: Windows

Port-Specific Changes: Mac OS X

Port-Specific Changes: IRIX

Porting to Python 2.6

Reconhecimentos

What’s New in Python 2.5

PEP 308: Conditional Expressions

PEP 309: Partial Function Application

PEP 314: Metadata for Python Software Packages v1.1

PEP 328: Absolute and Relative Imports

PEP 338: Executing Modules as Scripts

PEP 341: Unified try/except/finally

PEP 342: New Generator Features

PEP 343: The ‘with’ statement

Writing Context Managers

The contextlib module

PEP 352: Exceptions as New-Style Classes

PEP 353: Using ssize_t as the index type

PEP 357: The ‘__index__’ method

Outras mudanças na linguagem

Interactive Interpreter Changes

Otimizações

New, Improved, and Removed Modules

The ctypes package

The ElementTree package

The hashlib package

The sqlite3 package

The wsgiref package

Mudanças a construções e API C

Port-Specific Changes

Porting to Python 2.5

Reconhecimentos

What’s New in Python 2.4

PEP 218: Built-In Set Objects

PEP 237: Unifying Long Integers and Integers

PEP 289: Generator Expressions

PEP 292: Simpler String Substitutions

PEP 318: Decorators for Functions and Methods

PEP 322: Reverse Iteration

PEP 324: New subprocess Module

PEP 327: Decimal Data Type

Why is Decimal needed?

The Decimal type

The Context type

PEP 328: Multi-line Imports

PEP 331: Locale-Independent Float/String Conversions

Outras mudanças na linguagem

Otimizações

New, Improved, and Deprecated Modules

cookielib

doctest

Mudanças a construções e API C

Port-Specific Changes

Porting to Python 2.4

Reconhecimentos

What’s New in Python 2.3

PEP 218: A Standard Set Datatype

PEP 255: Simple Generators

PEP 263: Source Code Encodings

PEP 273: Importing Modules from ZIP Archives

PEP 277: Unicode file name support for Windows NT

PEP 278: Universal Newline Support

PEP 279: enumerate()

PEP 282: The logging Package

PEP 285: A Boolean Type

PEP 293: Codec Error Handling Callbacks

PEP 301: Package Index and Metadata for Distutils

PEP 302: New Import Hooks

PEP 305: Comma-separated Files

PEP 307: Pickle Enhancements

Extended Slices

Outras mudanças na linguagem

String Changes

Otimizações

New, Improved, and Deprecated Modules

Date/Time Type

The optparse Module

Pymalloc: A Specialized Object Allocator

Mudanças a construções e API C

Port-Specific Changes

Outras alterações e correções

Porting to Python 2.3

Reconhecimentos

What’s New in Python 2.2

Introdução

PEPs 252 and 253: Type and Class Changes

Old and New Classes

Descriptors

Multiple Inheritance: The Diamond Rule

Attribute Access

Related Links

PEP 234: Iterators

PEP 255: Simple Generators

PEP 237: Unifying Long Integers and Integers

PEP 238: Changing the Division Operator

Unicode Changes

PEP 227: Nested Scopes

Módulos novos ou aprimorados

Interpreter Changes and Fixes

Outras alterações e correções

Reconhecimentos

What’s New in Python 2.1

Introdução

PEP 227: Nested Scopes

PEP 236: __future__ Directives

PEP 207: Rich Comparisons

PEP 230: Warning Framework

PEP 229: New Build System

PEP 205: Weak References

PEP 232: Function Attributes

PEP 235: Importing Modules on Case-Insensitive Platforms

PEP 217: Interactive Display Hook

PEP 208: New Coercion Model

PEP 241: Metadata in Python Packages

Módulos novos ou aprimorados

Outras alterações e correções

Reconhecimentos

What’s New in Python 2.0

Introdução

What About Python 1.6?

New Development Process

Unicode

List Comprehensions

Augmented Assignment

String Methods

Garbage Collection of Cycles

Other Core Changes

Minor Language Changes

Changes to Built-in Functions

Porting to 2.0

Extending/Embedding Changes

Distutils: Making Modules Easy to Install

XML Modules

SAX2 Support

DOM Support

Relationship to PyXML

Module changes

Novos módulos

IDLE Improvements

Deleted and Deprecated Modules

Reconhecimentos

Changelog

Python next

Windows

Tests

Security

Library

IDLE

Documentation

Core and Builtins

C API

Build

Python 3.13.0 final

Core and Builtins

Python 3.13.0 release candidate 3

macOS

Windows

Tests

Library

IDLE

Documentation

Core and Builtins

C API

Build

Python 3.13.0 release candidate 2

macOS

Windows

Tools/Demos

Tests

Security

Library

IDLE

Core and Builtins

C API

Build

Python 3.13.0 release candidate 1

Tests

Security

Library

IDLE

Core and Builtins

C API

Build

Python 3.13.0 beta 4

Tests

Library

IDLE

Documentation

Core and Builtins

C API

Build

Python 3.13.0 beta 3

Core and Builtins

Library

Build

C API

Python 3.13.0 beta 2

Security

Core and Builtins

Library

Tests

Build

Windows

C API

Python 3.13.0 beta 1

Security

Core and Builtins

Library

Documentation

Build

Windows

macOS

IDLE

C API

Python 3.13.0 alpha 6

Core and Builtins

Library

Documentation

Tests

Build

Windows

C API

Python 3.13.0 alpha 5

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.13.0 alpha 4

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.13.0 alpha 3

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.13.0 alpha 2

Core and Builtins

Library

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.13.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.12.0 beta 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.12.0 alpha 7

Core and Builtins

Library

Documentation

Tests

Build

Windows

Tools/Demos

C API

Python 3.12.0 alpha 6

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

C API

Python 3.12.0 alpha 5

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

Python 3.12.0 alpha 4

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

Tools/Demos

C API

Python 3.12.0 alpha 3

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

Tools/Demos

C API

Python 3.12.0 alpha 2

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

C API

Python 3.12.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.11.0 beta 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

Tools/Demos

C API

Python 3.11.0 alpha 7

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

Tools/Demos

C API

Python 3.11.0 alpha 6

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

C API

Python 3.11.0 alpha 5

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.11.0 alpha 4

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

C API

Python 3.11.0 alpha 3

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

C API

Python 3.11.0 alpha 2

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.11.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.10.0 beta 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.10.0 alpha 7

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

C API

Python 3.10.0 alpha 6

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.10.0 alpha 5

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.10.0 alpha 4

Core and Builtins

Library

Documentation

Tests

Build

macOS

Tools/Demos

C API

Python 3.10.0 alpha 3

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.10.0 alpha 2

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.10.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.9.0 beta 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

Tools/Demos

C API

Python 3.9.0 alpha 6

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.9.0 alpha 5

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.9.0 alpha 4

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

C API

Python 3.9.0 alpha 3

Core and Builtins

Library

Documentation

Build

IDLE

C API

Python 3.9.0 alpha 2

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

C API

Python 3.9.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.8.0 beta 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.8.0 alpha 4

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.8.0 alpha 3

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

Tools/Demos

C API

Python 3.8.0 alpha 2

Core and Builtins

Library

Documentation

Tests

Windows

IDLE

Python 3.8.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.7.0 final

Library

C API

Python 3.7.0 release candidate 1

Core and Builtins

Library

Documentation

Build

Windows

IDLE

Python 3.7.0 beta 5

Core and Builtins

Library

Documentation

Tests

Build

macOS

IDLE

Python 3.7.0 beta 4

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

Python 3.7.0 beta 3

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.7.0 beta 2

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

Python 3.7.0 beta 1

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

C API

Python 3.7.0 alpha 4

Core and Builtins

Library

Documentation

Tests

Windows

Tools/Demos

C API

Python 3.7.0 alpha 3

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.7.0 alpha 2

Core and Builtins

Library

Documentation

Build

IDLE

C API

Python 3.7.0 alpha 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

Tools/Demos

C API

Python 3.6.6 final

Python 3.6.6 release candidate 1

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.6.5 final

Tests

Build

Python 3.6.5 release candidate 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.6.4 final

Python 3.6.4 release candidate 1

Core and Builtins

Library

Documentation

Tests

Build

Windows

macOS

IDLE

Tools/Demos

C API

Python 3.6.3 final

Library

Build

Python 3.6.3 release candidate 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

IDLE

Tools/Demos

Python 3.6.2 final

Python 3.6.2 release candidate 2

Security

Python 3.6.2 release candidate 1

Security

Core and Builtins

Library

IDLE

C API

Build

Documentation

Tools/Demos

Tests

Windows

Python 3.6.1 final

Core and Builtins

Build

Python 3.6.1 release candidate 1

Core and Builtins

Library

IDLE

Windows

C API

Documentation

Tests

Build

Python 3.6.0 final

Python 3.6.0 release candidate 2

Core and Builtins

Tools/Demos

Windows

Build

Python 3.6.0 release candidate 1

Core and Builtins

Library

C API

Documentation

Tools/Demos

Python 3.6.0 beta 4

Core and Builtins

Library

Documentation

Tests

Build

Python 3.6.0 beta 3

Core and Builtins

Library

Windows

Build

Tests

Python 3.6.0 beta 2

Core and Builtins

Library

Windows

C API

Build

Tests

Python 3.6.0 beta 1

Core and Builtins

Library

IDLE

C API

Tests

Build

Tools/Demos

Windows

Python 3.6.0 alpha 4

Core and Builtins

Library

IDLE

Tests

Windows

Build

Python 3.6.0 alpha 3

Security

Core and Builtins

Library

IDLE

C API

Build

Tools/Demos

Documentation

Tests

Python 3.6.0 alpha 2

Security

Core and Builtins

Library

IDLE

Documentation

Tests

Windows

Build

C API

Tools/Demos

Python 3.6.0 alpha 1

Security

Core and Builtins

Library

IDLE

Documentation

Tests

Build

Windows

Tools/Demos

C API

Python 3.5.5 final

Python 3.5.5 release candidate 1

Security

Core and Builtins

Library

Python 3.5.4 final

Library

Python 3.5.4 release candidate 1

Security

Core and Builtins

Library

Documentation

Tests

Build

Windows

C API

Python 3.5.3 final

Python 3.5.3 release candidate 1

Security

Core and Builtins

Library

IDLE

C API

Documentation

Tests

Tools/Demos

Windows

Build

Python 3.5.2 final

Core and Builtins

Tests

IDLE

Python 3.5.2 release candidate 1

Security

Core and Builtins

Library

IDLE

Documentation

Tests

Build

Windows

Tools/Demos

Python 3.5.1 final

Core and Builtins

Windows

Python 3.5.1 release candidate 1

Core and Builtins

Library

IDLE

Documentation

Tests

Build

Windows

Tools/Demos

Python 3.5.0 final

Build

Python 3.5.0 release candidate 4

Library

Build

Python 3.5.0 release candidate 3

Core and Builtins

Library

Python 3.5.0 release candidate 2

Core and Builtins

Library

Python 3.5.0 release candidate 1

Core and Builtins

Library

IDLE

Documentation

Tests

Python 3.5.0 beta 4

Core and Builtins

Library

Build

Python 3.5.0 beta 3

Core and Builtins

Library

Tests

Documentation

Build

Python 3.5.0 beta 2

Core and Builtins

Library

Python 3.5.0 beta 1

Core and Builtins

Library

IDLE

Tests

Documentation

Tools/Demos

Python 3.5.0 alpha 4

Core and Builtins

Library

Build

Tests

Tools/Demos

C API

Python 3.5.0 alpha 3

Core and Builtins

Library

Build

Tests

Tools/Demos

Python 3.5.0 alpha 2

Core and Builtins

Library

Build

C API

Windows

Python 3.5.0 alpha 1

Core and Builtins

Library

IDLE

Build

C API

Documentation

Tests

Tools/Demos

Windows

O tutorial de Python

1. Abrindo seu apetite

2. Utilizando o interpretador Python

2.1. Chamando o interpretador

2.1.1. Passagem de argumentos

2.1.2. Modo interativo

2.2. O interpretador e seu ambiente

2.2.1. Edição de código-fonte

3. Uma introdução informal ao Python

3.1. Usando Python como uma calculadora

3.1.1. Números

3.1.2. Texto

3.1.3. Listas

3.2. Primeiros passos para a programação

4. Mais ferramentas de controle de fluxo

4.1. Instruções if

4.2. Instruções for

4.3. A função range()

4.4. Instruções break e continue

4.5. Cláusulas else em laços

4.6. Instruções pass

4.7. Instruções match

4.8. Definindo funções

4.9. Mais sobre definição de funções

4.9.1. Argumentos com valor padrão

4.9.2. Argumentos nomeados

4.9.3. Parâmetros especiais

4.9.3.1. Argumentos posicional-ou-nomeados

4.9.3.2. Parâmetros somente-posicionais

4.9.3.3. Argumentos somente-nomeados

4.9.3.4. Exemplos de funções

4.9.3.5. Recapitulando

4.9.4. Listas de argumentos arbitrárias

4.9.5. Desempacotando listas de argumentos

4.9.6. Expressões lambda

4.9.7. Strings de documentação

4.9.8. Anotações de função

4.10. Intermezzo: estilo de codificação

5. Estruturas de dados

5.1. Mais sobre listas

5.1.1. Usando listas como pilhas

5.1.2. Usando listas como filas

5.1.3. Compreensões de lista

5.1.4. Compreensões de lista aninhadas

5.2. A instrução del

5.3. Tuplas e Sequências

5.4. Conjuntos

5.5. Dicionários

5.6. Técnicas de iteração

5.7. Mais sobre condições

5.8. Comparando sequências e outros tipos

6. Módulos

6.1. Mais sobre módulos

6.1.1. Executando módulos como scripts

6.1.2. O caminho de busca dos módulos

6.1.3. Arquivos Python “compilados”

6.2. Módulos padrões

6.3. A função dir()

6.4. Pacotes

6.4.1. Importando * de um pacote

6.4.2. Referências em um mesmo pacote

6.4.3. Pacotes em múltiplos diretórios

7. Entrada e Saída

7.1. Refinando a formatação de saída

7.1.1. Strings literais formatadas

7.1.2. O método format()

7.1.3. Formatação manual de string

7.1.4. Formatação de strings à moda antiga

7.2. Leitura e escrita de arquivos

7.2.1. Métodos de objetos arquivo

7.2.2. Gravando dados estruturados com json

8. Erros e exceções

8.1. Erros de sintaxe

8.2. Exceções

8.3. Tratamento de exceções

8.4. Levantando exceções

8.5. Encadeamento de exceções

8.6. Exceções definidas pelo usuário

8.7. Definindo ações de limpeza

8.8. Ações de limpeza predefinidas

8.9. Criando e tratando várias exceções não relacionadas

8.10. Enriquecendo exceções com notas

9. Classes

9.1. Uma palavra sobre nomes e objetos

9.2. Escopos e espaços de nomes do Python

9.2.1. Exemplo de escopos e espaço de nomes

9.3. Uma primeira olhada nas classes

9.3.1. Sintaxe da definição de classe

9.3.2. Objetos classe

9.3.3. Objetos instância

9.3.4. Objetos método

9.3.5. Variáveis de classe e instância

9.4. Observações aleatórias

9.5. Herança

9.5.1. Herança múltipla

9.6. Variáveis privadas

9.7. Curiosidades e conclusões

9.8. Iteradores

9.9. Geradores

9.10. Expressões geradoras

10. Um breve passeio pela biblioteca padrão

10.1. Interface com o sistema operacional

10.2. Caracteres curinga

10.3. Argumentos de linha de comando

10.4. Redirecionamento de erros e encerramento do programa

10.5. Reconhecimento de padrões em strings

10.6. Matemática

10.7. Acesso à internet

10.8. Data e hora

10.9. Compressão de dados

10.10. Medição de desempenho

10.11. Controle de qualidade

10.12. Baterias incluídas

11. Um breve passeio pela biblioteca padrão — parte II

11.1. Formatando a saída

11.2. Usando templates

11.3. Trabalhando com formatos binários de dados

11.4. Multi-threading

11.5. Gerando logs

11.6. Referências fracas

11.7. Ferramentas para trabalhar com listas

11.8. Aritmética decimal com ponto flutuante

12. Ambientes virtuais e pacotes

12.1. Introdução

12.2. Criando ambientes virtuais

12.3. Gerenciando pacotes com o pip

13. E agora?

14. Edição de entrada interativa e substituição de histórico

14.1. Tab Completion e Histórico de Edição

14.2. Alternativas ao interpretador interativo

15. Aritmética de ponto flutuante: problemas e limitações

15.1. Erro de representação

16. Anexo

16.1. Modo interativo

16.1.1. Tratamento de erros

16.1.2. Scripts Python executáveis

16.1.3. Arquivo de inicialização do modo interativo

16.1.4. Módulos de customização

Configurações e Uso do Python

1. Linha de comando e ambiente

1.1. Linha de comando

1.1.1. Opções de interface

1.1.2. Opções genéricas

1.1.3. Opções diversas

1.1.4. Controlando cores

1.1.5. Opções que você não deve usar

1.2. Variáveis de ambiente

1.2.1. Variáveis de modo de depuração

2. Utilizando Python em plataformas Unix

2.1. Obtendo e instalando a versão mais recente do Python

2.1.1. No Linux

2.1.2. No FreeBSD e OpenBSD

2.2. Compilando o Python

2.3. Paths e arquivos relacionados com o Python

2.4. Diversos

2.5. OpenSSL personalizado

3. Configurar o Python

3.1. Requisitos de construção

3.2. Arquivos gerados

3.2.1. Script configure

3.3. Opções de configuração

3.3.1. Opções gerais

3.3.2. Opções do compilador C

3.3.3. Opções da ligação

3.3.4. Opções para dependências de terceiros

3.3.5. Opções de WebAssembly

3.3.6. Opções de instalação

3.3.7. Opções de desempenho

3.3.8. Compilação de depuração do Python

3.3.9. Opções de depuração

3.3.10. Opções da ligação

3.3.11. Opções da biblioteca

3.3.12. Opções de segurança

3.3.13. Opções do macOS

3.3.14. Opções do iOS

3.3.15. Opções de compilação cruzada

3.4. Sistema de Construção Python

3.4.1. Arquivos principais do sistema de construção

3.4.2. Principais etapas de construção

3.4.3. Alvos principais do Makefile

3.4.3.1. make

3.4.3.2. make platform

3.4.3.3. make profile-opt

3.4.3.4. make clean

3.4.3.5. make distclean

3.4.3.6. make install

3.4.3.7. make test

3.4.3.8. make buildbottest

3.4.3.9. make regen-all

3.4.4. Extensões C

3.5. Sinalizadores do compilador e do vinculador

3.5.1. Sinalizadores do pré-processador

3.5.2. Sinalizadores do compilador

3.5.3. Sinalizadores do vinculador

4. Utilizando Python no Windows

4.1. O instalador completo

4.1.1. Etapas de instalação

4.1.2. Removendo a Limitação do MAX_PATH

4.1.3. Instalando sem UI

4.1.4. Instalando Sem Download

4.1.5. Modificando uma instalação

4.1.6. Instalando binários com threads livres

4.2. O pacote Microsoft Store

4.2.1. Problemas conhecidos

4.2.1.1. Redirecionamento de dados locais, registro e caminhos temporários

4.3. Os pacotes nuget.org

4.3.1. Pacotes com threads livres

4.4. O pacote embutível

4.4.1. Aplicação Python

4.4.2. Incorporando Python

4.5. Pacotes Alternativos

4.6. Configurando o Python

4.6.1. Excursus: Configurando variáveis de ambiente

4.6.2. Encontrando o executável do Python

4.7. Modo UTF-8

4.8. Inicializador Python para Windows

4.8.1. Começando

4.8.1.1. Pela linha de comando

4.8.1.2. Ambientes virtuais

4.8.1.3. Por um script

4.8.1.4. Por associação de arquivos

4.8.2. Linhas Shebang

4.8.3. Argumentos em linhas shebang

4.8.4. Personalização

4.8.4.1. Personalização via arquivos INI

4.8.4.2. Personalizando versões padrão do Python

4.8.5. Diagnósticos

4.8.6. Teste de simulação

4.8.7. Instalar sob demanda

4.8.8. Códigos de retorno

4.9. Encontrando módulos

4.10. Módulos adicionais

4.10.1. PyWin32

4.10.2. cx_Freeze

4.11. Compilando Python no Windows

4.12. Outras plataformas

5. Usando Python em macOS

5.1. Usando Python para macOS do python.org

5.1.1. Etapas de instalação

5.1.2. Como executar um script Python

5.2. Distribuições alternativas

5.3. Instalando pacotes adicionais ao python

5.4. Programação de GUI

5.5. Tópicos Avançados

5.5.1. Instalando binários com threads livres

5.5.2. Instalação usando a linha de comando

5.5.3. Distribuindo aplicações Python

5.5.4. Conformidade com a App Store

5.6. Outros recursos

6. Utilizando Python no Android

6.1. Adicionando Python a uma aplicação Android

7. Usando Python no iOS

7.1. Python em tempo de execução no iOS

7.1.1. Compatibilidade com a versão do iOS

7.1.2. Identificação da plataforma

7.1.3. Disponibilidade da biblioteca padrão

7.1.4. Módulos de extensão binária

7.1.5. Binários stub do compilador

7.2. Instalando Python no iOS

7.2.1. Ferramentas para construir aplicações de iOS

7.2.2. Adicionando Python a um projeto iOS

7.3. Conformidade com a App Store

8. Editores e IDEs

A Referência da Linguagem Python

1. Introdução

1.1. Implementações Alternativas

1.2. Notação

2. Análise léxica

2.1. Estrutura das linhas

2.1.1. Linhas lógicas

2.1.2. Linhas físicas

2.1.3. Comentários

2.1.4. Declarações de codificação

2.1.5. Junção de linha explícita

2.1.6. Junção de linha implícita

2.1.7. Linhas em branco

2.1.8. Indentação

2.1.9. Espaços em branco entre tokens

2.2. Outros tokens

2.3. Identificadores e palavras-chave

2.3.1. Palavras reservadas

2.3.2. Palavras reservadas contextuais

2.3.3. Classes reservadas de identificadores

2.4. Literais

2.4.1. Literais de string e bytes

2.4.1.1. Sequências de escape

2.4.2. Concatenação de literal de string

2.4.3. Literais de strings formatadas

2.4.4. Literais numéricos

2.4.5. Inteiros literais

2.4.6. Literais de ponto flutuante

2.4.7. Literais imaginários

2.5. Operadores

2.6. Delimitadores

3. Modelo de dados

3.1. Objetos, valores e tipos

3.2. A hierarquia de tipos padrão

3.2.1. None

3.2.2. NotImplemented

3.2.3. Ellipsis

3.2.4. numbers.Number

3.2.4.1. numbers.Integral

3.2.4.2. numbers.Real (float)

3.2.4.3. numbers.Complex (complex)

3.2.5. Sequências

3.2.5.1. Sequências imutáveis

3.2.5.2. Sequências mutáveis

3.2.6. Tipos de conjuntos

3.2.7. Mapeamentos

3.2.7.1. Dicionários

3.2.8. Tipos chamáveis

3.2.8.1. Funções definidas pelo usuário

3.2.8.1.1. Atributos especiais de somente leitura

__globals__

__closure__

3.2.8.1.2. Atributos especiais graváveis

__doc__

__name__

__qualname__

__module__

__defaults__

__code__

__dict__

__annotations__

__kwdefaults__

__type_params__

3.2.8.2. Métodos de instância

__self__

__func__

__doc__

__name__

__module__

3.2.8.3. Funções geradoras

3.2.8.4. Funções de corrotina

3.2.8.5. Funções geradoras assíncronas

3.2.8.6. Funções embutidas

3.2.8.7. Métodos embutidos

3.2.8.8. Classes

3.2.8.9. Instâncias de classe

3.2.9. Módulos

3.2.9.1. Import-related attributes on module objects

__name__

__spec__

__package__

__loader__

__path__

__file__

__cached__

3.2.9.2. Other writable attributes on module objects

__doc__

__annotations__

3.2.9.3. Module dictionaries

__dict__

3.2.10. Classes personalizadas

3.2.10.1. Special attributes

__name__

__qualname__

__module__

__dict__

__bases__

__doc__

__annotations__

__type_params__

__static_attributes__

__firstlineno__

__mro__

3.2.10.2. Special methods

mro()

__subclasses__()

3.2.11. Instâncias de classe

3.2.11.1. Special attributes

__class__

__dict__

3.2.12. Objetos de E/S (também conhecidos como objetos arquivo)

3.2.13. Tipos internos

3.2.13.1. Objetos código

3.2.13.1.1. Atributos especiais de somente leitura

co_name

co_qualname

co_argcount

co_posonlyargcount

co_kwonlyargcount

co_nlocals

co_varnames

co_cellvars

co_freevars

co_code

co_consts

co_names

co_filename

co_firstlineno

co_lnotab

co_stacksize

co_flags

3.2.13.1.2. Métodos de objetos código

co_positions()

co_lines()

replace()

3.2.13.2. Objetos quadro

3.2.13.2.1. Atributos especiais de somente leitura

f_back

f_code

f_locals

f_globals

f_builtins

f_lasti

3.2.13.2.2. Atributos especiais graváveis

f_trace

f_trace_lines

f_trace_opcodes

f_lineno

3.2.13.2.3. Métodos de objetos quadro

clear()

3.2.13.3. Objetos traceback

tb_frame

tb_lineno

tb_lasti

tb_next

3.2.13.4. Objetos slice

indices()

3.2.13.5. Objetos método estático

3.2.13.6. Objetos método de classe

3.3. Nomes de métodos especiais

3.3.1. Personalização básica

__new__()

__init__()

__del__()

__repr__()

__str__()

__bytes__()

__format__()

__lt__()

__le__()

__eq__()

__ne__()

__gt__()

__ge__()

__hash__()

__bool__()

3.3.2. Personalizando o acesso aos atributos

__getattr__()

__getattribute__()

__setattr__()

__delattr__()

__dir__()

3.3.2.1. Personalizando acesso a atributos de módulos

3.3.2.2. Implementando descritores

__get__()

__set__()

__delete__()

__objclass__

3.3.2.3. Invocando descritores

3.3.2.4. __slots__

__slots__

3.3.3. Personalizando a criação de classe

__init_subclass__()

__set_name__()

3.3.3.1. Metaclasses

3.3.3.2. Resolvendo entradas de MRO

__mro_entries__()

3.3.3.3. Determinando a metaclasse apropriada

3.3.3.4. Preparando o espaço de nomes da classe

3.3.3.5. Executando o corpo da classe

3.3.3.6. Criando o objeto classe

3.3.3.7. Usos para metaclasses

3.3.4. Personalizando verificações de instância e subclasse

__instancecheck__()

__subclasscheck__()

3.3.5. Emulando tipos genéricos

__class_getitem__()

3.3.5.1. O propósito de __class_getitem__

3.3.5.2. __class_getitem__ versus __getitem__

3.3.6. Emulando objetos chamáveis

__call__()

3.3.7. Emulando de tipos contêineres

__len__()

__length_hint__()

__getitem__()

__setitem__()

__delitem__()

__missing__()

__iter__()

__reversed__()

__contains__()

3.3.8. Emulando tipos numéricos

__add__()

__sub__()

__mul__()

__matmul__()

__truediv__()

__floordiv__()

__mod__()

__divmod__()

__pow__()

__lshift__()

__rshift__()

__and__()

__xor__()

__or__()

__radd__()

__rsub__()

__rmul__()

__rmatmul__()

__rtruediv__()

__rfloordiv__()

__rmod__()

__rdivmod__()

__rpow__()

__rlshift__()

__rrshift__()

__rand__()

__rxor__()

__ror__()

__iadd__()

__isub__()

__imul__()

__imatmul__()

__itruediv__()

__ifloordiv__()

__imod__()

__ipow__()

__ilshift__()

__irshift__()

__iand__()

__ixor__()

__ior__()

__neg__()

__pos__()

__abs__()

__invert__()

__complex__()

__int__()

__float__()

__index__()

__round__()

__trunc__()

__floor__()

__ceil__()

3.3.9. Gerenciadores de contexto da instrução with

__enter__()

__exit__()

3.3.10. Customizando argumentos posicionais na classe correspondência de padrão

__match_args__

3.3.11. Emulating buffer types

__buffer__()

__release_buffer__()

3.3.12. Pesquisa de método especial

3.4. Corrotinas

3.4.1. Objetos aguardáveis

__await__()

3.4.2. Objetos corrotina

send()

throw()

close()

3.4.3. Iteradores assíncronos

__aiter__()

__anext__()

3.4.4. Gerenciadores de contexto assíncronos

__aenter__()

__aexit__()

4. Modelo de execução

4.1. Estrutura de um programa

4.2. Nomeação e ligação

4.2.1. Ligação de nomes

4.2.2. Resolução de nomes

4.2.3. Escopos de anotação

4.2.4. Avaliação preguiçosa

4.2.5. Builtins e execução restrita

4.2.6. Interação com recursos dinâmicos

4.3. Exceções

5. O sistema de importação

5.1. importlib

5.2. Pacotes

5.2.1. Pacotes regulares

5.2.2. Pacotes de espaço de nomes

5.3. Caminho de busca

5.3.1. O cache de módulos

5.3.2. Localizadores e carregadores

5.3.3. Ganchos de importação

5.3.4. O metacaminho

5.4. Carregando

5.4.1. Carregadores

5.4.2. Submódulos

5.4.3. Module specs

5.4.4. __path__ attributes on modules

5.4.5. Representações do módulo

5.4.6. Invalidação de bytecode em cache

5.5. O localizador baseado no caminho

5.5.1. Localizadores de entrada de caminho

5.5.2. Protocolo do localizador de entrada de caminho

5.6. Substituindo o sistema de importação padrão

5.7. Importações relativas ao pacote

5.8. Considerações especiais para __main__

5.8.1. __main__.__spec__

5.9. Referências

6. Expressões

6.1. Conversões aritméticas

6.2. Átomos

6.2.1. Identificadores (Nomes)

6.2.1.1. Desfiguração de nome privado

6.2.2. Literais

6.2.3. Formas de parênteses

6.2.4. Sintaxe de criação de listas, conjuntos e dicionários

6.2.5. Sintaxes de criação de lista

6.2.6. Sintaxes de criação de conjunto

6.2.7. Sintaxes de criação de dicionário

6.2.8. Expressões geradoras

6.2.9. Expressões yield

6.2.9.1. Métodos de iterador gerador

__next__()

send()

throw()

close()

6.2.9.2. Exemplos

6.2.9.3. Funções geradoras assíncronas

6.2.9.4. Métodos geradores-iteradores assíncronos

__anext__()

asend()

athrow()

aclose()

6.3. Primárias

6.3.1. Referências de atributo

6.3.2. Subscrições

6.3.3. Fatiamentos

6.3.4. Chamadas

6.4. Expressão await

6.5. O operador de potência

6.6. Operações aritméticas unárias e bit a bit

6.7. Operações binárias aritméticas

6.8. Operações de deslocamento

6.9. Operações binárias bit a bit

6.10. Comparações

6.10.1. Comparações de valor

6.10.2. Operações de teste de pertinência

6.10.3. Comparações de identidade

6.11. Operações booleanas

6.12. Expressões de atribuição

6.13. Expressões condicionais

6.14. Lambdas

6.15. Listas de expressões

6.16. Ordem de avaliação

6.17. Precedência de operadores

7. Instruções simples

7.1. Instruções de expressão

7.2. Instruções de atribuição

7.2.1. Instruções de atribuição aumentada

7.2.2. instruções de atribuição anotado

7.3. A instrução assert

7.4. A instrução pass

7.5. A instrução del

7.6. A instrução return

7.7. A instrução yield

7.8. A instrução raise

7.9. A instrução break

7.10. A instrução continue

7.11. A instrução import

7.11.1. Instruções future

7.12. A instrução global

7.13. A instrução nonlocal

7.14. A instrução type

8. Instruções compostas

8.1. A instrução if

8.2. A instrução while

8.3. A instrução for

8.4. A instrução try

8.4.1. Cláusula except

8.4.2. Cláusula except*

8.4.3. Cláusula else

8.4.4. Cláusula finally

8.5. A instrução with

8.6. A instrução match

8.6.1. Visão Geral

8.6.2. Guards

8.6.3. Blocos irrefutáveis de case

8.6.4. Padrões

8.6.4.1. OR Patterns

8.6.4.2. AS Patterns

8.6.4.3. Literal Patterns

8.6.4.4. Capture Patterns

8.6.4.5. Wildcard Patterns

8.6.4.6. Value Patterns

8.6.4.7. Group Patterns

8.6.4.8. Sequence Patterns

8.6.4.9. Mapping Patterns

8.6.4.10. Class Patterns

8.7. Definições de função

8.8. Definições de classe

8.9. Corrotinas

8.9.1. Definição de função de corrotina

8.9.2. The async for statement

8.9.3. The async with statement

8.10. Type parameter lists

8.10.1. Generic functions

8.10.2. Generic classes

8.10.3. Generic type aliases

9. Componentes de Alto Nível

9.1. Programas Python completos

9.2. Entrada de arquivo

9.3. Entrada interativa

9.4. Entrada de expressão

10. Especificação Completa da Gramática

A Biblioteca Padrão do Python

Introdução

Observações sobre disponibilidade

Plataformas WebAssembly

Plataformas móveis

Funções embutidas

abs()

aiter()

all()

anext()

any()

ascii()

bin()

bool

breakpoint()

callable()

chr()

classmethod()

compile()

complex

delattr()

dir()

divmod()

enumerate()

eval()

exec()

filter()

float

format()

getattr()

globals()

hasattr()

hash()

help()

hex()

id()

input()

int

isinstance()

issubclass()

iter()

len()

locals()

map()

max()

min()

next()

object

oct()

open()

ord()

pow()

print()

property

getter()

setter()

deleter()

__name__

repr()

reversed()

round()

setattr()

slice

start

stop

step

sorted()

staticmethod()

sum()

super

type

vars()

zip()

__import__()

Constantes embutidas

False

True

None

NotImplemented

Ellipsis

__debug__

Constantes adicionadas pelo módulo site

quit

exit

copyright

credits

license

Tipos embutidos

Teste do valor verdade

Operações booleanas — and, or, not

Comparações

Tipos numéricos — int, float, complex

Operações de bits em tipos inteiros

Métodos adicionais em tipos inteiros

bit_length()

bit_count()

to_bytes()

from_bytes()

as_integer_ratio()

is_integer()

Métodos adicionais em ponto flutuante

as_integer_ratio()

is_integer()

hex()

fromhex()

Hashing de tipos numéricos

Tipo booleano - bool

Tipos iteradores

__iter__()

__iter__()

__next__()

Tipos geradores

Tipos sequências — list, tuple, range

Operações comuns de sequências

Tipos sequência imutáveis

Tipos sequências mutáveis

Listas

list

sort()

Tuplas

tuple

Intervalos

range

start

stop

step

Tipo sequência de texto — str

str

Métodos de string

capitalize()

casefold()

center()

count()

encode()

endswith()

expandtabs()

find()

format()

format_map()

index()

isalnum()

isalpha()

isascii()

isdecimal()

isdigit()

isidentifier()

islower()

isnumeric()

isprintable()

isspace()

istitle()

isupper()

join()

ljust()

lower()

lstrip()

maketrans()

partition()

removeprefix()

removesuffix()

replace()

rfind()

rindex()

rjust()

rpartition()

rsplit()

rstrip()

split()

splitlines()

startswith()

strip()

swapcase()

title()

translate()

upper()

zfill()

Formatação de String no Formato no estilo printf

Tipos de Sequência Binária — bytes, bytearray, memoryview

Objetos Bytes

bytes

fromhex()

hex()

Objetos Bytearray

bytearray

fromhex()

hex()

Operações com Bytes e Bytearray

count()

count()

removeprefix()

removeprefix()

removesuffix()

removesuffix()

decode()

decode()

endswith()

endswith()

find()

find()

index()

index()

join()

join()

maketrans()

maketrans()

partition()

partition()

replace()

replace()

rfind()

rfind()

rindex()

rindex()

rpartition()

rpartition()

startswith()

startswith()

translate()

translate()

center()

center()

ljust()

ljust()

lstrip()

lstrip()

rjust()

rjust()

rsplit()

rsplit()

rstrip()

rstrip()

split()

split()

strip()

strip()

capitalize()

capitalize()

expandtabs()

expandtabs()

isalnum()

isalnum()

isalpha()

isalpha()

isascii()

isascii()

isdigit()

isdigit()

islower()

islower()

isspace()

isspace()

istitle()

istitle()

isupper()

isupper()

lower()

lower()

splitlines()

splitlines()

swapcase()

swapcase()

title()

title()

upper()

upper()

zfill()

zfill()

Estilo de Formatação de bytes printf-style

Memory Views

memoryview

__eq__()

tobytes()

hex()

tolist()

toreadonly()

release()

cast()

obj

nbytes

readonly

format

itemsize

ndim

shape

strides

suboffsets

c_contiguous

f_contiguous

contiguous

Tipo conjuntos — set, frozenset

set

frozenset

isdisjoint()

issubset()

issuperset()

union()

intersection()

difference()

symmetric_difference()

copy()

update()

intersection_update()

difference_update()

symmetric_difference_update()

add()

remove()

discard()

pop()

clear()

Tipo mapeamento — dict

dict

clear()

copy()

fromkeys()

get()

items()

keys()

pop()

popitem()

setdefault()

update()

values()

Objetos de visão de dicionário

Tipos de Gerenciador de Contexto

__enter__()

__exit__()

Tipos de anotação de tipo — Apelido genérico, União

Tipo Generic Alias

Classes genéricas padrão

Atributos especiais de objetos GenericAlias

__origin__

__args__

__parameters__

__unpacked__

Tipo União

Outros tipos embutidos

Módulos

Classes e Instâncias de Classes

Funções

Métodos

Objetos código

Objetos tipo

O objeto nulo

O Objeto Ellipsis

O Objeto NotImplemented

Objetos Internos

Atributos Especiais

__name__

__qualname__

__module__

__doc__

__type_params__

Limitação de comprimento de string na conversão para inteiro

APIs afetadas

Configurando o limiter

Configuração recomendada

Exceções embutidas

Contexto da exceção

__context__

__cause__

__suppress_context__

Herdando de exceções embutidas

Classes base

BaseException

args

with_traceback()

__traceback__

add_note()

__notes__

Exception

ArithmeticError

BufferError

LookupError

Exceções concretas

AssertionError

AttributeError

EOFError

FloatingPointError

GeneratorExit

ImportError

name

path

ModuleNotFoundError

IndexError

KeyError

KeyboardInterrupt

MemoryError

NameError

NotImplementedError

OSError

errno

winerror

strerror

filename

filename2

OverflowError

PythonFinalizationError

RecursionError

ReferenceError

RuntimeError

StopIteration

value

StopAsyncIteration

SyntaxError

filename

lineno

offset

text

end_lineno

end_offset

IndentationError

TabError

SystemError

SystemExit

code

TypeError

UnboundLocalError

UnicodeError

encoding

reason

object

start

end

UnicodeEncodeError

UnicodeDecodeError

UnicodeTranslateError

ValueError

ZeroDivisionError

EnvironmentError

IOError

WindowsError

Exceções de sistema operacional

BlockingIOError

characters_written

ChildProcessError

ConnectionError

BrokenPipeError

ConnectionAbortedError

ConnectionRefusedError

ConnectionResetError

FileExistsError

FileNotFoundError

InterruptedError

IsADirectoryError

NotADirectoryError

PermissionError

ProcessLookupError

TimeoutError

Avisos

Warning

UserWarning

DeprecationWarning

PendingDeprecationWarning

SyntaxWarning

RuntimeWarning

FutureWarning

ImportWarning

UnicodeWarning

EncodingWarning

BytesWarning

ResourceWarning

Grupos de exceções

ExceptionGroup

BaseExceptionGroup

message

exceptions

subgroup()

split()

derive()

Hierarquia das exceções

Serviços de Processamento de Texto

string — Operações comuns de strings

Constantes de strings

ascii_letters

ascii_lowercase

ascii_uppercase

digits

hexdigits

octdigits

punctuation

printable

whitespace

Formatação personalizada de strings

Formatter

format()

vformat()

parse()

get_field()

get_value()

check_unused_args()

format_field()

convert_field()

Sintaxe das strings de formato

Minilinguagem de especificação de formato

Exemplos de formato

Strings de modelo

Template

substitute()

safe_substitute()

is_valid()

get_identifiers()

template

Funções auxiliares

capwords()

re — Operações com expressões regulares

Sintaxe de expressão regular

Conteúdo do módulo

Sinalizadores

RegexFlag

A

ASCII

DEBUG

I

IGNORECASE

L

LOCALE

M

MULTILINE

NOFLAG

S

DOTALL

U

UNICODE

X

VERBOSE

Funções

compile()

search()

match()

fullmatch()

split()

findall()

finditer()

sub()

subn()

escape()

purge()

Exceções

PatternError

msg

pattern

pos

lineno

colno

Objetos expressão regular

Pattern

search()

match()

fullmatch()

split()

findall()

finditer()

sub()

subn()

flags

groups

groupindex

pattern

Objetos correspondência

Match

expand()

group()

__getitem__()

groups()

groupdict()

start()

end()

span()

pos

endpos

lastindex

lastgroup

re

string

Exemplos de expressão regular

Verificando por um par

Simulando scanf()

search() vs. match()

Criando uma lista telefônica

Mastigando texto

Encontrando todos os advérbios

Encontrando todos os advérbios e suas posições

Notação de string bruta

Escrevendo um analisador léxico

difflib — Helpers for computing deltas

Differ

HtmlDiff

__init__()

make_file()

make_table()

context_diff()

get_close_matches()

ndiff()

restore()

unified_diff()

diff_bytes()

IS_LINE_JUNK()

IS_CHARACTER_JUNK()

SequenceMatcher Objects

SequenceMatcher

set_seqs()

set_seq1()

set_seq2()

find_longest_match()

get_matching_blocks()

get_opcodes()

get_grouped_opcodes()

ratio()

quick_ratio()

real_quick_ratio()

SequenceMatcher Examples

Differ Objects

compare()

Differ Example

A command-line interface to difflib

ndiff example

textwrap — Quebra automática e preenchimento de texto

wrap()

fill()

shorten()

dedent()

indent()

TextWrapper

width

expand_tabs

tabsize

replace_whitespace

drop_whitespace

initial_indent

subsequent_indent

fix_sentence_endings

break_long_words

break_on_hyphens

max_lines

placeholder

wrap()

fill()

unicodedata — Unicode Database

lookup()

name()

decimal()

digit()

numeric()

category()

bidirectional()

combining()

east_asian_width()

mirrored()

decomposition()

normalize()

is_normalized()

unidata_version

ucd_3_2_0

stringprep — Internet String Preparation

in_table_a1()

in_table_b1()

map_table_b2()

map_table_b3()

in_table_c11()

in_table_c12()

in_table_c11_c12()

in_table_c21()

in_table_c22()

in_table_c21_c22()

in_table_c3()

in_table_c4()

in_table_c5()

in_table_c6()

in_table_c7()

in_table_c8()

in_table_c9()

in_table_d1()

in_table_d2()

readline — Interface para o GNU readline

backend

Arquivo init

parse_and_bind()

read_init_file()

Buffer de linha

get_line_buffer()

insert_text()

redisplay()

Arquivo de histórico

read_history_file()

write_history_file()

append_history_file()

get_history_length()

set_history_length()

Lista de histórico

clear_history()

get_current_history_length()

get_history_item()

remove_history_item()

replace_history_item()

add_history()

set_auto_history()

Ganchos de inicialização

set_startup_hook()

set_pre_input_hook()

Autocomplemento

set_completer()

get_completer()

get_completion_type()

get_begidx()

get_endidx()

set_completer_delims()

get_completer_delims()

set_completion_display_matches_hook()

Exemplo

rlcompleter — Função de autocomplemento para GNU readline

Completer

complete()

Serviços de Dados Binários

struct — Interpreta bytes como dados binários empacotados

Funções e exceções

error

pack()

pack_into()

unpack()

unpack_from()

iter_unpack()

calcsize()

Format Strings

Byte Order, Size, and Alignment

Caracteres Formatados

Exemplos

Applications

Native Formats

Standard Formats

Classes

Struct

pack()

pack_into()

unpack()

unpack_from()

iter_unpack()

format

size

codecs — Codec registry and base classes

encode()

decode()

lookup()

CodecInfo

name

encode

decode

incrementalencoder

incrementaldecoder

streamwriter

streamreader

getencoder()

getdecoder()

getincrementalencoder()

getincrementaldecoder()

getreader()

getwriter()

register()

unregister()

open()

EncodedFile()

iterencode()

iterdecode()

BOM

BOM_BE

BOM_LE

BOM_UTF8

BOM_UTF16

BOM_UTF16_BE

BOM_UTF16_LE

BOM_UTF32

BOM_UTF32_BE

BOM_UTF32_LE

Codec Base Classes

Error Handlers

register_error()

lookup_error()

strict_errors()

ignore_errors()

replace_errors()

backslashreplace_errors()

xmlcharrefreplace_errors()

namereplace_errors()

Stateless Encoding and Decoding

Codec

encode()

decode()

Incremental Encoding and Decoding

IncrementalEncoder Objects

IncrementalEncoder

encode()

reset()

getstate()

setstate()

IncrementalDecoder Objects

IncrementalDecoder

decode()

reset()

getstate()

setstate()

Stream Encoding and Decoding

StreamWriter Objects

StreamWriter

write()

writelines()

reset()

StreamReader Objects

StreamReader

read()

readline()

readlines()

reset()

StreamReaderWriter Objects

StreamReaderWriter

StreamRecoder Objects

StreamRecoder

Encodings and Unicode

Standard Encodings

Python Specific Encodings

Text Encodings

Binary Transforms

Text Transforms

encodings.idna — Internationalized Domain Names in Applications

nameprep()

ToASCII()

ToUnicode()

encodings.mbcs — Windows ANSI codepage

encodings.utf_8_sig — UTF-8 codec with BOM signature

Tipos de Dados

datetime — Tipos básicos de data e hora

Objetos Conscientes e Ingênuos

Constantes

MINYEAR

MAXYEAR

UTC

Tipos disponíveis

Propriedades Comuns

Determinando se um Objeto é Consciente ou Ingênuo

Objetos timedelta

timedelta

min

max

resolution

days

seconds

microseconds

total_seconds()

Exemplos de uso: timedelta

Objetos date

date

today()

fromtimestamp()

fromordinal()

fromisoformat()

fromisocalendar()

min

max

resolution

year

month

day

replace()

timetuple()

toordinal()

weekday()

isoweekday()

isocalendar()

isoformat()

__str__()

ctime()

strftime()

__format__()

Exemplos de uso: date

Objetos datetime

datetime

today()

now()

utcnow()

fromtimestamp()

utcfromtimestamp()

fromordinal()

combine()

fromisoformat()

fromisocalendar()

strptime()

min

max

resolution

year

month

day

hour

minute

second

microsecond

tzinfo

fold

date()

time()

timetz()

replace()

astimezone()

utcoffset()

dst()

tzname()

timetuple()

utctimetuple()

toordinal()

timestamp()

weekday()

isoweekday()

isocalendar()

isoformat()

__str__()

ctime()

strftime()

__format__()

Exemplos de uso: datetime

Objetos time

time

min

max

resolution

hour

minute

second

microsecond

tzinfo

fold

fromisoformat()

replace()

isoformat()

__str__()

strftime()

__format__()

utcoffset()

dst()

tzname()

Exemplos de uso: time

Objetos tzinfo

tzinfo

utcoffset()

dst()

tzname()

fromutc()

Objetos timezone

timezone

utcoffset()

tzname()

dst()

fromutc()

utc

strftime() and strptime() Behavior

strftime() and strptime() Format Codes

Detalhes técnicos

zoneinfo — IANA time zone support

Usando ZoneInfo

Data sources

Configuring the data sources

Compile-time configuration

Configuração do ambiente

Runtime configuration

The ZoneInfo class

ZoneInfo

from_file()

no_cache()

clear_cache()

key

String representations

Pickle serialization

Funções

available_timezones()

reset_tzpath()

Globals

TZPATH

Exceptions and warnings

ZoneInfoNotFoundError

InvalidTZPathWarning

calendar — Funções gerais relacionadas ao calendário

Calendar

iterweekdays()

itermonthdates()

itermonthdays()

itermonthdays2()

itermonthdays3()

itermonthdays4()

monthdatescalendar()

monthdays2calendar()

monthdayscalendar()

yeardatescalendar()

yeardays2calendar()

yeardayscalendar()

TextCalendar

formatmonth()

prmonth()

formatyear()

pryear()

HTMLCalendar

formatmonth()

formatyear()

formatyearpage()

formatmonthname()

cssclasses

cssclass_noday

cssclasses_weekday_head

cssclass_month_head

cssclass_month

cssclass_year

cssclass_year_head

LocaleTextCalendar

LocaleHTMLCalendar

setfirstweekday()

firstweekday()

isleap()

leapdays()

weekday()

weekheader()

monthrange()

monthcalendar()

prmonth()

month()

prcal()

calendar()

timegm()

day_name

day_abbr

MONDAY

TUESDAY

WEDNESDAY

THURSDAY

FRIDAY

SATURDAY

SUNDAY

Day

month_name

month_abbr

JANUARY

FEBRUARY

MARCH

APRIL

MAY

JUNE

JULY

AUGUST

SEPTEMBER

OCTOBER

NOVEMBER

DECEMBER

Month

IllegalMonthError

month

IllegalWeekdayError

weekday

Uso na linha de comando

collections — Tipos de dados de contêineres

Objetos ChainMap

ChainMap

maps

new_child()

parents

Exemplos e Receitas de ChainMap

Objetos Counter

Counter

elements()

most_common()

subtract()

total()

fromkeys()

update()

Objetos deque

deque

append()

appendleft()

clear()

copy()

count()

extend()

extendleft()

index()

insert()

pop()

popleft()

remove()

reverse()

rotate()

maxlen

Receitas de deque

Objetos defaultdict

defaultdict

__missing__()

default_factory

Exemplos de defaultdict

Função de fábrica para tuplas com campos nomeados namedtuple()

namedtuple()

_make()

_asdict()

_replace()

_fields

_field_defaults

Objetos OrderedDict

OrderedDict

popitem()

move_to_end()

Exemplos e receitas de OrderedDict

Objetos UserDict

UserDict

data

Objetos UserList

UserList

data

Objetos UserString

UserString

data

collections.abc — Classes Base Abstratas para Contêineres

Classes Base Abstratas de Coleções

Collections Abstract Base Classes – Detailed Descriptions

Container

Hashable

Sized

Callable

Iterable

Collection

Iterator

Reversible

Generator

Sequence

MutableSequence

ByteString

Set

MutableSet

Mapping

MutableMapping

MappingView

ItemsView

KeysView

ValuesView

Awaitable

Coroutine

AsyncIterable

AsyncIterator

AsyncGenerator

Buffer

Exemplos e receitas

heapq — Algoritmo de fila heap

heappush()

heappop()

heappushpop()

heapify()

heapreplace()

merge()

nlargest()

nsmallest()

Exemplos básicos

Notas de implementação da fila de prioridade

Teoria

bisect — Array bisection algorithm

bisect_left()

bisect_right()

bisect()

insort_left()

insort_right()

insort()

Observações sobre desempenho

Pesquisando em listas ordenadas

Exemplos

array— Vetores eficientes de valores numéricos

typecodes

array

typecode

itemsize

append()

buffer_info()

byteswap()

count()

extend()

frombytes()

fromfile()

fromlist()

fromunicode()

index()

insert()

pop()

remove()

clear()

reverse()

tobytes()

tofile()

tolist()

tounicode()

weakref — Referências fracas

ref

__callback__

proxy()

getweakrefcount()

getweakrefs()

WeakKeyDictionary

keyrefs()

WeakValueDictionary

valuerefs()

WeakSet

WeakMethod

finalize

__call__()

detach()

peek()

alive

atexit

ReferenceType

ProxyType

CallableProxyType

ProxyTypes

Objetos referência fraca

Exemplo

Objetos finalizadores

Comparando finalizadores com métodos __del__()

types — Criação de tipos dinâmicos e nomes para tipos embutidos

Criação de tipos dinâmicos

new_class()

prepare_class()

resolve_bases()

get_original_bases()

Tipos padrão do interpretador

NoneType

FunctionType

LambdaType

GeneratorType

CoroutineType

AsyncGeneratorType

CodeType

CellType

MethodType

BuiltinFunctionType

BuiltinMethodType

WrapperDescriptorType

MethodWrapperType

NotImplementedType

MethodDescriptorType

ClassMethodDescriptorType

ModuleType

EllipsisType

GenericAlias

UnionType

TracebackType

FrameType

GetSetDescriptorType

MemberDescriptorType

MappingProxyType

copy()

get()

items()

keys()

values()

CapsuleType

Classes e funções de utilidades adicionais

SimpleNamespace

DynamicClassAttribute()

Funções de utilidade de corrotina

coroutine()

copy — Operações de cópia profunda e cópia rasa

copy()

deepcopy()

replace()

Error

__copy__()

__deepcopy__()

__replace__()

pprint — Impressão bonita de dados

Funções

pp()

pprint()

pformat()

isreadable()

isrecursive()

saferepr()

Objetos PrettyPrinter

PrettyPrinter

pformat()

pprint()

isreadable()

isrecursive()

format()

Exemplo

reprlib — Alternate repr() implementation

Repr

aRepr

repr()

recursive_repr()

Objetos Repr

fillvalue

maxlevel

maxdict

maxlist

maxtuple

maxset

maxfrozenset

maxdeque

maxarray

maxlong

maxstring

maxother

indent

repr()

repr1()

Subclassing Repr Objects

enum — Support for enumerations

Conteúdo do módulo

Tipos de Dados

EnumType

__call__()

__contains__()

__dir__()

__getitem__()

__iter__()

__len__()

__members__

__reversed__()

_add_alias_()

_add_value_alias_()

Enum

name

value

_name_

_value_

_order_

_ignore_

__dir__()

_generate_next_value_()

__init__()

__init_subclass__()

_missing_()

__new__()

__repr__()

__str__()

__format__()

IntEnum

StrEnum

Flag

__contains__()

__or__()

__and__()

__xor__()

_numeric_repr_()

IntFlag

ReprEnum

EnumCheck

UNIQUE

CONTINUOUS

NAMED_FLAGS

FlagBoundary

STRICT

CONFORM

EJECT

KEEP

Nomes __dunder__ suportados

Nomes _sunder_ suportados

Utilities and Decorators

auto

property()

unique()

verify()

member()

nonmember()

global_enum()

show_flag_values()

Notas

graphlib — Funcionalidade para operar com estruturas do tipo grafo

TopologicalSorter

add()

prepare()

is_active()

done()

get_ready()

static_order()

Exceções

CycleError

Módulos Matemáticos e Numéricos

numbers — Classes base abstratas numéricas

Number

A torre numérica

Complex

real

imag

conjugate()

Real

Rational

numerator

denominator

Integral

Notas para implementadores de tipos

Adicionando mais ABCs numéricas

Implementando as operações aritméticas

math — Funções matemáticas

Funções de teoria dos números e de representação

ceil()

comb()

copysign()

fabs()

factorial()

floor()

fma()

fmod()

frexp()

fsum()

gcd()

isclose()

isfinite()

isinf()

isnan()

isqrt()

lcm()

ldexp()

modf()

nextafter()

perm()

prod()

remainder()

sumprod()

trunc()

ulp()

Funções de potência e logarítmicas

cbrt()

exp()

exp2()

expm1()

log()

log1p()

log2()

log10()

pow()

sqrt()

Funções trigonométricas

acos()

asin()

atan()

atan2()

cos()

dist()

hypot()

sin()

tan()

Conversão angular

degrees()

radians()

Funções hiperbólicas

acosh()

asinh()

atanh()

cosh()

sinh()

tanh()

Funções especiais

erf()

erfc()

gamma()

lgamma()

Constantes

pi

e

tau

inf

nan

cmath — Funções matemáticas para números complexos

Conversões de e para coordenadas polares

phase()

polar()

rect()

Funções de potência e logarítmicas

exp()

log()

log10()

sqrt()

Funções trigonométricas

acos()

asin()

atan()

cos()

sin()

tan()

Funções hiperbólicas

acosh()

asinh()

atanh()

cosh()

sinh()

tanh()

Funções de classificação

isfinite()

isinf()

isnan()

isclose()

Constantes

pi

e

tau

inf

infj

nan

nanj

decimal — Aritmética de ponto fixo decimal e ponto flutuante

Tutorial de início rápido

Objetos de Decimal

Decimal

adjusted()

as_integer_ratio()

as_tuple()

canonical()

compare()

compare_signal()

compare_total()

compare_total_mag()

conjugate()

copy_abs()

copy_negate()

copy_sign()

exp()

from_float()

fma()

is_canonical()

is_finite()

is_infinite()

is_nan()

is_normal()

is_qnan()

is_signed()

is_snan()

is_subnormal()

is_zero()

ln()

log10()

logb()

logical_and()

logical_invert()

logical_or()

logical_xor()

max()

max_mag()

min()

min_mag()

next_minus()

next_plus()

next_toward()

normalize()

number_class()

quantize()

radix()

remainder_near()

rotate()

same_quantum()

scaleb()

shift()

sqrt()

to_eng_string()

to_integral()

to_integral_exact()

to_integral_value()

Operandos lógicos

Objetos de contexto

getcontext()

setcontext()

localcontext()

BasicContext

ExtendedContext

DefaultContext

Context

clear_flags()

clear_traps()

copy()

copy_decimal()

create_decimal()

create_decimal_from_float()

Etiny()

Etop()

abs()

add()

canonical()

compare()

compare_signal()

compare_total()

compare_total_mag()

copy_abs()

copy_negate()

copy_sign()

divide()

divide_int()

divmod()

exp()

fma()

is_canonical()

is_finite()

is_infinite()

is_nan()

is_normal()

is_qnan()

is_signed()

is_snan()

is_subnormal()

is_zero()

ln()

log10()

logb()

logical_and()

logical_invert()

logical_or()

logical_xor()

max()

max_mag()

min()

min_mag()

minus()

multiply()

next_minus()

next_plus()

next_toward()

normalize()

number_class()

plus()

power()

quantize()

radix()

remainder()

remainder_near()

rotate()

same_quantum()

scaleb()

shift()

sqrt()

subtract()

to_eng_string()

to_integral_exact()

to_sci_string()

Constantes

MAX_PREC

MAX_EMAX

MIN_EMIN

MIN_ETINY

HAVE_THREADS

HAVE_CONTEXTVAR

Modos de arredondamento

ROUND_CEILING

ROUND_DOWN

ROUND_FLOOR

ROUND_HALF_DOWN

ROUND_HALF_EVEN

ROUND_HALF_UP

ROUND_UP

ROUND_05UP

Sinais

Clamped

DecimalException

DivisionByZero

Inexact

InvalidOperation

Overflow

Rounded

Subnormal

Underflow

FloatOperation

Observações sobre ponto flutuante

Atenuando o erro de arredondamento com maior precisão

Valores especiais

Trabalhando com threads

Receitas

Perguntas frequentes sobre Decimal

fractions — Números racionais

Fraction

numerator

denominator

as_integer_ratio()

is_integer()

from_float()

from_decimal()

limit_denominator()

__floor__()

__ceil__()

__round__()

__format__()

random — Gera números pseudoaleatórios

Funções de contabilidade

seed()

getstate()

setstate()

Funções para bytes

randbytes()

Funções para inteiros

randrange()

randint()

getrandbits()

Funções para sequências

choice()

choices()

shuffle()

sample()

Distribuições discretas

binomialvariate()

Distribuições com valor real

random()

uniform()

triangular()

betavariate()

expovariate()

gammavariate()

gauss()

lognormvariate()

normalvariate()

vonmisesvariate()

paretovariate()

weibullvariate()

Gerador alternativo

Random

seed()

getstate()

setstate()

random()

getrandbits()

SystemRandom

Notas sobre reprodutibilidade

Exemplos

Receitas

Uso na linha de comando

Exemplos na linha de comando

statistics — Funções estatísticas

Médias e medidas de valor central

Medidas de espalhamento

Estatísticas para relações entre duas entradas

Detalhes das funções

mean()

fmean()

geometric_mean()

harmonic_mean()

kde()

kde_random()

median()

median_low()

median_high()

median_grouped()

mode()

multimode()

pstdev()

pvariance()

stdev()

variance()

quantiles()

covariance()

correlation()

linear_regression()

Exceções

StatisticsError

Objetos NormalDist

NormalDist

mean

median

mode

stdev

variance

from_samples()

samples()

pdf()

cdf()

inv_cdf()

overlap()

quantiles()

zscore()

Exemplos e receitas

Classic probability problems

Monte Carlo inputs for simulations

Approximating binomial distributions

Naive bayesian classifier

Módulos de Programação Funcional

itertools — Functions creating iterators for efficient looping

Itertool Functions

accumulate()

batched()

chain()

from_iterable()

combinations()

combinations_with_replacement()

compress()

count()

cycle()

dropwhile()

filterfalse()

groupby()

islice()

pairwise()

permutations()

product()

repeat()

starmap()

takewhile()

tee()

zip_longest()

Receitas com itertools

functools — Higher-order functions and operations on callable objects

cache()

cached_property()

cmp_to_key()

lru_cache()

total_ordering()

partial()

partialmethod

reduce()

singledispatch()

singledispatchmethod

update_wrapper()

wraps()

Objetos partial

func

args

keywords

operator — Operadores padrões como funções

lt()

le()

eq()

ne()

ge()

gt()

__lt__()

__le__()

__eq__()

__ne__()

__ge__()

__gt__()

not_()

__not__()

truth()

is_()

is_not()

abs()

__abs__()

add()

__add__()

and_()

__and__()

floordiv()

__floordiv__()

index()

__index__()

inv()

invert()

__inv__()

__invert__()

lshift()

__lshift__()

mod()

__mod__()

mul()

__mul__()

matmul()

__matmul__()

neg()

__neg__()

or_()

__or__()

pos()

__pos__()

pow()

__pow__()

rshift()

__rshift__()

sub()

__sub__()

truediv()

__truediv__()

xor()

__xor__()

concat()

__concat__()

contains()

__contains__()

countOf()

delitem()

__delitem__()

getitem()

__getitem__()

indexOf()

setitem()

__setitem__()

length_hint()

call()

__call__()

attrgetter()

itemgetter()

methodcaller()

Mapeando os operadores para suas respectivas funções

Operadores in-place

iadd()

__iadd__()

iand()

__iand__()

iconcat()

__iconcat__()

ifloordiv()

__ifloordiv__()

ilshift()

__ilshift__()

imod()

__imod__()

imul()

__imul__()

imatmul()

__imatmul__()

ior()

__ior__()

ipow()

__ipow__()

irshift()

__irshift__()

isub()

__isub__()

itruediv()

__itruediv__()

ixor()

__ixor__()

Acesso a arquivos e diretórios

pathlib — Caminhos do sistema de arquivos orientados a objetos

Uso básico

Exceções

UnsupportedOperation

Caminhos puros

PurePath

PurePosixPath

PureWindowsPath

Propriedades gerais

Operadores

Acessando partes individuais

parts

Métodos e propriedades

parser

drive

root

anchor

parents

parent

name

suffix

suffixes

stem

as_posix()

is_absolute()

is_relative_to()

is_reserved()

joinpath()

full_match()

match()

relative_to()

with_name()

with_stem()

with_suffix()

with_segments()

Caminhos concretos

Path

PosixPath

WindowsPath

Analisando e gerando URIs

from_uri()

as_uri()

Expandindo e resolvendo caminhos

home()

expanduser()

cwd()

absolute()

resolve()

readlink()

Consultando tipo de arquivo e status

stat()

lstat()

exists()

is_file()

is_dir()

is_symlink()

is_junction()

is_mount()

is_socket()

is_fifo()

is_block_device()

is_char_device()

samefile()

Lendo e escrevendo arquivos

open()

read_text()

read_bytes()

write_text()

write_bytes()

Lendo diretórios

iterdir()

glob()

rglob()

walk()

Criando arquivos e diretórios

touch()

mkdir()

symlink_to()

hardlink_to()

Renaming and deleting

rename()

replace()

unlink()

rmdir()

Permissions and ownership

owner()

group()

chmod()

lchmod()

Pattern language

Comparison to the glob module

Comparison to the os and os.path modules

Corresponding tools

os.path — Manipulações comuns de nomes de caminhos

abspath()

basename()

commonpath()

commonprefix()

dirname()

exists()

lexists()

expanduser()

expandvars()

getatime()

getmtime()

getctime()

getsize()

isabs()

isfile()

isdir()

isjunction()

islink()

ismount()

isdevdrive()

isreserved()

join()

normcase()

normpath()

realpath()

relpath()

samefile()

sameopenfile()

samestat()

split()

splitdrive()

splitroot()

splitext()

supports_unicode_filenames

fileinput — Itera sobre linhas de múltiplos fluxos de entrada

input()

filename()

fileno()

lineno()

filelineno()

isfirstline()

isstdin()

nextfile()

close()

FileInput

hook_compressed()

hook_encoded()

stat — Interpretando resultados de stat()

S_ISDIR()

S_ISCHR()

S_ISBLK()

S_ISREG()

S_ISFIFO()

S_ISLNK()

S_ISSOCK()

S_ISDOOR()

S_ISPORT()

S_ISWHT()

S_IMODE()

S_IFMT()

filemode()

ST_MODE

ST_INO

ST_DEV

ST_NLINK

ST_UID

ST_GID

ST_SIZE

ST_ATIME

ST_MTIME

ST_CTIME

S_IFSOCK

S_IFLNK

S_IFREG

S_IFBLK

S_IFDIR

S_IFCHR

S_IFIFO

S_IFDOOR

S_IFPORT

S_IFWHT

S_ISUID

S_ISGID

S_ISVTX

S_IRWXU

S_IRUSR

S_IWUSR

S_IXUSR

S_IRWXG

S_IRGRP

S_IWGRP

S_IXGRP

S_IRWXO

S_IROTH

S_IWOTH

S_IXOTH

S_ENFMT

S_IREAD

S_IWRITE

S_IEXEC

UF_SETTABLE

UF_NODUMP

UF_IMMUTABLE

UF_APPEND

UF_OPAQUE

UF_NOUNLINK

UF_COMPRESSED

UF_TRACKED

UF_DATAVAULT

UF_HIDDEN

SF_SETTABLE

SF_SUPPORTED

SF_SYNTHETIC

SF_ARCHIVED

SF_IMMUTABLE

SF_APPEND

SF_RESTRICTED

SF_NOUNLINK

SF_SNAPSHOT

SF_FIRMLINK

SF_DATALESS

FILE_ATTRIBUTE_ARCHIVE

FILE_ATTRIBUTE_COMPRESSED

FILE_ATTRIBUTE_DEVICE

FILE_ATTRIBUTE_DIRECTORY

FILE_ATTRIBUTE_ENCRYPTED

FILE_ATTRIBUTE_HIDDEN

FILE_ATTRIBUTE_INTEGRITY_STREAM

FILE_ATTRIBUTE_NORMAL

FILE_ATTRIBUTE_NOT_CONTENT_INDEXED

FILE_ATTRIBUTE_NO_SCRUB_DATA

FILE_ATTRIBUTE_OFFLINE

FILE_ATTRIBUTE_READONLY

FILE_ATTRIBUTE_REPARSE_POINT

FILE_ATTRIBUTE_SPARSE_FILE

FILE_ATTRIBUTE_SYSTEM

FILE_ATTRIBUTE_TEMPORARY

FILE_ATTRIBUTE_VIRTUAL

IO_REPARSE_TAG_SYMLINK

IO_REPARSE_TAG_MOUNT_POINT

IO_REPARSE_TAG_APPEXECLINK

filecmp — File and Directory Comparisons

cmp()

cmpfiles()

clear_cache()

A classe dircmp

dircmp

report()

report_partial_closure()

report_full_closure()

left

right

left_list

right_list

common

left_only

right_only

common_dirs

common_files

common_funny

same_files

diff_files

funny_files

subdirs

DEFAULT_IGNORES

tempfile — Generate temporary files and directories

TemporaryFile()

NamedTemporaryFile()

SpooledTemporaryFile

rollover()

TemporaryDirectory

name

cleanup()

mkstemp()

mkdtemp()

gettempdir()

gettempdirb()

gettempprefix()

gettempprefixb()

tempdir

Exemplos

Deprecated functions and variables

mktemp()

glob — Expansão de padrão de nome de arquivo no estilo Unix

glob()

iglob()

escape()

translate()

Exemplos

fnmatch — Correspondência de padrões de nome de arquivo Unix

fnmatch()

fnmatchcase()

filter()

translate()

linecache — Acesso aleatório a linhas de texto

getline()

clearcache()

checkcache()

lazycache()

shutil — High-level file operations

Operações de diretório e arquivos

copyfileobj()

copyfile()

SameFileError

copymode()

copystat()

copy()

copy2()

ignore_patterns()

copytree()

rmtree()

avoids_symlink_attacks

move()

disk_usage()

chown()

which()

Error

Operações de cópia eficientes dependentes da plataforma

Exemplo de copytree

exemplo rmtree

Operações de arquivamento

make_archive()

get_archive_formats()

register_archive_format()

unregister_archive_format()

unpack_archive()

register_unpack_format()

unregister_unpack_format()

get_unpack_formats()

Exemplo de arquivo

Exemplo de arquivamento com base_dir

Consultando o tamanho do terminal de saída

get_terminal_size()

Persistência de Dados

pickle — Serialização de objetos Python

Relacionamento com outros módulos Python

Comparação com marshal

Comparação com json

Formato de fluxo de dados

Interface do módulo

HIGHEST_PROTOCOL

DEFAULT_PROTOCOL

dump()

dumps()

load()

loads()

PickleError

PicklingError

UnpicklingError

Pickler

dump()

persistent_id()

dispatch_table

reducer_override()

fast

Unpickler

load()

persistent_load()

find_class()

PickleBuffer

raw()

release()

O que pode ser serializado e desserializado com pickle?

Serializando com pickle instâncias de classes

__getnewargs_ex__()

__getnewargs__()

__getstate__()

__setstate__()

__reduce__()

__reduce_ex__()

Persistência de objetos externos

Tabelas de despacho

Manipulação de objetos com estado

Redução personalizada para tipos, funções e outros objetos

Buffers fora da banda

API de provedor

API de consumidor

Exemplo

Restringindo globais

Desempenho

Exemplos

copyreg — Registra funções de suporte pickle

constructor()

pickle()

Exemplo

shelve — Python object persistence

open()

sync()

close()

Restrições

Shelf

BsdDbShelf

DbfilenameShelf

Exemplo

marshal — Serialização interna de objetos Python

dump()

load()

dumps()

loads()

version

dbm — Interfaces to Unix “databases”

error

whichdb()

open()

dbm.sqlite3 — SQLite backend for dbm

open()

dbm.gnu — GNU database manager

error

open()

open_flags

firstkey()

nextkey()

reorganize()

sync()

close()

clear()

dbm.ndbm — New Database Manager

error

library

open()

close()

clear()

dbm.dumb — Portable DBM implementation

error

open()

sync()

close()

sqlite3 —- interface DB-API 2.0 interface para bancos de dados SQLite

Tutorial

Referência

Funções do módulo

connect()

complete_statement()

enable_callback_tracebacks()

register_adapter()

register_converter()

Constantes do módulo

LEGACY_TRANSACTION_CONTROL

PARSE_COLNAMES

PARSE_DECLTYPES

SQLITE_OK

SQLITE_DENY

SQLITE_IGNORE

apilevel

paramstyle

sqlite_version

sqlite_version_info

threadsafety

version

version_info

SQLITE_DBCONFIG_DEFENSIVE

SQLITE_DBCONFIG_DQS_DDL

SQLITE_DBCONFIG_DQS_DML

SQLITE_DBCONFIG_ENABLE_FKEY

SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER

SQLITE_DBCONFIG_ENABLE_LOAD_EXTENSION

SQLITE_DBCONFIG_ENABLE_QPSG

SQLITE_DBCONFIG_ENABLE_TRIGGER

SQLITE_DBCONFIG_ENABLE_VIEW

SQLITE_DBCONFIG_LEGACY_ALTER_TABLE

SQLITE_DBCONFIG_LEGACY_FILE_FORMAT

SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE

SQLITE_DBCONFIG_RESET_DATABASE

SQLITE_DBCONFIG_TRIGGER_EQP

SQLITE_DBCONFIG_TRUSTED_SCHEMA

SQLITE_DBCONFIG_WRITABLE_SCHEMA

Connection objects

Connection

cursor()

blobopen()

commit()

rollback()

close()

execute()

executemany()

executescript()

create_function()

create_aggregate()

create_window_function()

create_collation()

interrupt()

set_authorizer()

set_progress_handler()

set_trace_callback()

enable_load_extension()

load_extension()

iterdump()

backup()

getlimit()

setlimit()

getconfig()

setconfig()

serialize()

deserialize()

autocommit

in_transaction

isolation_level

row_factory

text_factory

total_changes

Cursor objects

Cursor

execute()

executemany()

executescript()

fetchone()

fetchmany()

fetchall()

close()

setinputsizes()

setoutputsize()

arraysize

connection

description

lastrowid

rowcount

row_factory

Row objects

Row

keys()

Blob objects

Blob

close()

read()

write()

tell()

seek()

PrepareProtocol objects

PrepareProtocol

Exceções

Warning

Error

sqlite_errorcode

sqlite_errorname

InterfaceError

DatabaseError

DataError

OperationalError

IntegrityError

InternalError

ProgrammingError

NotSupportedError

SQLite and Python types

Default adapters and converters (deprecated)

Interface de linha de comando

Guias de como fazer

How to use placeholders to bind values in SQL queries

How to adapt custom Python types to SQLite values

How to write adaptable objects

How to register adapter callables

How to convert SQLite values to custom Python types

Adapter and converter recipes

How to use connection shortcut methods

How to use the connection context manager

How to work with SQLite URIs

How to create and use row factories

How to handle non-UTF-8 text encodings

Explicação

Controle de transações

Controle de transações através do atributo autocommit

Controle de transação através do atributo isolation_level

Compressão de Dados e Arquivamento

zlib — Compactação compatível com gzip

error

adler32()

compress()

compressobj()

crc32()

decompress()

decompressobj()

compress()

flush()

copy()

unused_data

unconsumed_tail

eof

decompress()

flush()

copy()

ZLIB_VERSION

ZLIB_RUNTIME_VERSION

gzip — Support for gzip files

open()

BadGzipFile

GzipFile

peek()

mode

mtime

name

compress()

decompress()

Exemplos de uso

Interface de linha de comando

Opções da linha de comando

bz2 — Suporte para compressão bzip2

(Des)compressão de arquivos

open()

BZ2File

peek()

fileno()

readable()

seekable()

writable()

read1()

readinto()

mode

name

(Des)compressão incremental

BZ2Compressor

compress()

flush()

BZ2Decompressor

decompress()

eof

unused_data

needs_input

(De)compressão de uma só vez (one-shot)

compress()

decompress()

Exemplos de uso

lzma — Compression using the LZMA algorithm

LZMAError

Lendo e escrevendo arquivos compactados

open()

LZMAFile

peek()

mode

name

Compactando e descompactando dados na memória

LZMACompressor

compress()

flush()

LZMADecompressor

decompress()

check

eof

unused_data

needs_input

compress()

decompress()

Diversos

is_check_supported()

Specifying custom filter chains

Exemplos

zipfile — Trabalha com arquivos ZIP

BadZipFile

BadZipfile

LargeZipFile

ZipInfo

is_zipfile()

ZIP_STORED

ZIP_DEFLATED

ZIP_BZIP2

ZIP_LZMA

Objetos ZipFile

ZipFile

close()

getinfo()

infolist()

namelist()

open()

extract()

extractall()

printdir()

setpassword()

read()

testzip()

write()

writestr()

mkdir()

filename

debug

comment

Objetos Path

Path

name

open()

iterdir()

is_dir()

is_file()

is_symlink()

exists()

suffix

stem

suffixes

read_text()

read_bytes()

joinpath()

Objetos PyZipFile

PyZipFile

writepy()

Objetos ZipInfo

from_file()

is_dir()

filename

date_time

compress_type

comment

extra

create_system

create_version

extract_version

reserved

flag_bits

volume

internal_attr

external_attr

header_offset

CRC

compress_size

file_size

Interface de Linha de Comando

Opções de linha de comando

Armadilhas de descompressão

Do próprio arquivo

Limitações do sistema de arquivos

Limitações de recursos

Interrupção

Comportamentos padrão da extração

tarfile — Ler e gravar arquivos do tipo tar

open()

is_tarfile()

TarError

ReadError

CompressionError

StreamError

ExtractError

HeaderError

FilterError

tarinfo

AbsolutePathError

OutsideDestinationError

SpecialFileError

AbsoluteLinkError

LinkOutsideDestinationError

ENCODING

REGTYPE

AREGTYPE

LNKTYPE

SYMTYPE

CHRTYPE

BLKTYPE

DIRTYPE

FIFOTYPE

CONTTYPE

GNUTYPE_LONGNAME

GNUTYPE_LONGLINK

GNUTYPE_SPARSE

USTAR_FORMAT

GNU_FORMAT

PAX_FORMAT

DEFAULT_FORMAT

TarFile Objects

TarFile

open()

getmember()

getmembers()

getnames()

list()

next()

extractall()

extract()

extractfile()

errorlevel

extraction_filter

add()

addfile()

gettarinfo()

close()

pax_headers

Objetos TarInfo

TarInfo

frombuf()

fromtarfile()

tobuf()

name

size

mtime

mode

type

linkname

uid

gid

uname

gname

chksum

devmajor

devminor

offset

offset_data

sparse

pax_headers

replace()

isfile()

isreg()

isdir()

issym()

islnk()

ischr()

isblk()

isfifo()

isdev()

Filtros de extração

Default named filters

fully_trusted_filter()

tar_filter()

data_filter()

Filter errors

Dicas para verificação adicional

Suporte a versões mais antigas do Python

Stateful extraction filter example

Interface de Linha de Comando

Opções de linha de comando

Exemplos

Formatos tar suportados

Problemas de Unicode

Formatos de Arquivo

csv — Leitura e escrita de arquivos CSV

Conteúdo do módulo

reader()

writer()

register_dialect()

unregister_dialect()

get_dialect()

list_dialects()

field_size_limit()

DictReader

DictWriter

Dialect

excel

excel_tab

unix_dialect

Sniffer

sniff()

has_header()

QUOTE_ALL

QUOTE_MINIMAL

QUOTE_NONNUMERIC

QUOTE_NONE

QUOTE_NOTNULL

QUOTE_STRINGS

Error

Dialetos e parâmetros de formatação

delimiter

doublequote

escapechar

lineterminator

quotechar

quoting

skipinitialspace

strict

Objetos Reader

__next__()

dialect

line_num

fieldnames

Objetos Writer

writerow()

writerows()

dialect

writeheader()

Exemplos

configparser — Analisador sintático de arquivo de configuração

Início rápido

Tipos de dados suportados

Valores reservas

Estrutura dos arquivos INI

Seções não nomeadas

Interpolação de valores

BasicInterpolation

ExtendedInterpolation

Acesso através do protocolo de mapeamento

Personalizando o comportamento do analisador sintático

BOOLEAN_STATES

SECTCRE

Exemplos de APIs legadas

Objetos ConfigParser

ConfigParser

defaults()

sections()

add_section()

has_section()

options()

has_option()

read()

read_file()

read_string()

read_dict()

get()

getint()

getfloat()

getboolean()

items()

set()

write()

remove_option()

remove_section()

optionxform()

UNNAMED_SECTION

MAX_INTERPOLATION_DEPTH

Objetos RawConfigParser

RawConfigParser

add_section()

set()

Exceções

Error

NoSectionError

DuplicateSectionError

DuplicateOptionError

NoOptionError

InterpolationError

InterpolationDepthError

InterpolationMissingOptionError

InterpolationSyntaxError

MissingSectionHeaderError

ParsingError

MultilineContinuationError

tomllib — Analisa arquivos TOML

load()

loads()

TOMLDecodeError

Exemplos

Tabela de conversão

netrc — Arquivo de processamento netrc

netrc

NetrcParseError

msg

filename

lineno

Objetos netrc

authenticators()

__repr__()

hosts

macros

plistlib — Gera e analisa arquivos Apple .plist

load()

loads()

dump()

dumps()

UID

FMT_XML

FMT_BINARY

Exemplos

Serviços Criptográficos

hashlib — Secure hashes and message digests

Hash algorithms

Uso

Constructors

new()

md5()

sha1()

sha224()

sha256()

sha384()

sha512()

sha3_224()

sha3_256()

sha3_384()

sha3_512()

Attributes

algorithms_guaranteed

algorithms_available

Hash Objects

digest_size

block_size

name

update()

digest()

hexdigest()

copy()

SHAKE variable length digests

shake_128()

shake_256()

digest()

hexdigest()

File hashing

file_digest()

Key derivation

pbkdf2_hmac()

scrypt()

BLAKE2

Creating hash objects

blake2b()

blake2s()

Constantes

SALT_SIZE

SALT_SIZE

PERSON_SIZE

PERSON_SIZE

MAX_KEY_SIZE

MAX_KEY_SIZE

MAX_DIGEST_SIZE

MAX_DIGEST_SIZE

Exemplos

Simple hashing

Using different digest sizes

Keyed hashing

Randomized hashing

Personalization

Modo árvore

Credits

hmac — Keyed-Hashing for Message Authentication

new()

digest()

update()

digest()

hexdigest()

copy()

digest_size

block_size

name

compare_digest()

secrets — Gera números aleatórios seguros para gerenciar segredos

Números aleatórios

SystemRandom

choice()

randbelow()

randbits()

Gerando tokens

token_bytes()

token_hex()

token_urlsafe()

Quantos bytes os tokens devem usar?

Outras funções

compare_digest()

Receitas e melhores práticas

Serviços Genéricos do Sistema Operacional

os — Diversas interfaces de sistema operacional

error

name

Nomes de arquivos, argumentos de linha de comando e variáveis de ambiente

Modo UTF-8 do Python

Parâmetros de processo

ctermid()

environ

environb

fsencode()

fsdecode()

fspath()

PathLike

__fspath__()

getenv()

getenvb()

get_exec_path()

getegid()

geteuid()

getgid()

getgrouplist()

getgroups()

getlogin()

getpgid()

getpgrp()

getpid()

getppid()

getpriority()

PRIO_PROCESS

PRIO_PGRP

PRIO_USER

PRIO_DARWIN_THREAD

PRIO_DARWIN_PROCESS

PRIO_DARWIN_BG

PRIO_DARWIN_NONUI

getresuid()

getresgid()

getuid()

initgroups()

putenv()

setegid()

seteuid()

setgid()

setgroups()

setns()

setpgrp()

setpgid()

setpriority()

setregid()

setresgid()

setresuid()

setreuid()

getsid()

setsid()

setuid()

strerror()

supports_bytes_environ

umask()

uname()

unsetenv()

unshare()

CLONE_FILES

CLONE_FS

CLONE_NEWCGROUP

CLONE_NEWIPC

CLONE_NEWNET

CLONE_NEWNS

CLONE_NEWPID

CLONE_NEWTIME

CLONE_NEWUSER

CLONE_NEWUTS

CLONE_SIGHAND

CLONE_SYSVSEM

CLONE_THREAD

CLONE_VM

Criação de objetos arquivos

fdopen()

Operações dos descritores de arquivos

close()

closerange()

copy_file_range()

device_encoding()

dup()

dup2()

fchmod()

fchown()

fdatasync()

fpathconf()

fstat()

fstatvfs()

fsync()

ftruncate()

get_blocking()

grantpt()

isatty()

lockf()

F_LOCK

F_TLOCK

F_ULOCK

F_TEST

login_tty()

lseek()

SEEK_SET

SEEK_CUR

SEEK_END

SEEK_HOLE

SEEK_DATA

open()

O_RDONLY

O_WRONLY

O_RDWR

O_APPEND

O_CREAT

O_EXCL

O_TRUNC

O_DSYNC

O_RSYNC

O_SYNC

O_NDELAY

O_NONBLOCK

O_NOCTTY

O_CLOEXEC

O_BINARY

O_NOINHERIT

O_SHORT_LIVED

O_TEMPORARY

O_RANDOM

O_SEQUENTIAL

O_TEXT

O_EVTONLY

O_FSYNC

O_SYMLINK

O_NOFOLLOW_ANY

O_ASYNC

O_DIRECT

O_DIRECTORY

O_NOFOLLOW

O_NOATIME

O_PATH

O_TMPFILE

O_SHLOCK

O_EXLOCK

openpty()

pipe()

pipe2()

posix_fallocate()

posix_fadvise()

POSIX_FADV_NORMAL

POSIX_FADV_SEQUENTIAL

POSIX_FADV_RANDOM

POSIX_FADV_NOREUSE

POSIX_FADV_WILLNEED

POSIX_FADV_DONTNEED

pread()

posix_openpt()

preadv()

RWF_NOWAIT

RWF_HIPRI

ptsname()

pwrite()

pwritev()

RWF_DSYNC

RWF_SYNC

RWF_APPEND

read()

sendfile()

SF_NODISKIO

SF_MNOWAIT

SF_SYNC

SF_NOCACHE

set_blocking()

splice()

SPLICE_F_MOVE

SPLICE_F_NONBLOCK

SPLICE_F_MORE

readv()

tcgetpgrp()

tcsetpgrp()

ttyname()

unlockpt()

write()

writev()

Consultando o tamanho de um terminal

get_terminal_size()

terminal_size

columns

lines

Herança de descritores de arquivos

get_inheritable()

set_inheritable()

get_handle_inheritable()

set_handle_inheritable()

Arquivos e diretórios

access()

F_OK

R_OK

W_OK

X_OK

chdir()

chflags()

chmod()

chown()

chroot()

fchdir()

getcwd()

getcwdb()

lchflags()

lchmod()

lchown()

link()

listdir()

listdrives()

listmounts()

listvolumes()

lstat()

mkdir()

makedirs()

mkfifo()

mknod()

major()

minor()

makedev()

pathconf()

pathconf_names

readlink()

remove()

removedirs()

rename()

renames()

replace()

rmdir()

scandir()

close()

DirEntry

name

path

inode()

is_dir()

is_file()

is_symlink()

is_junction()

stat()

stat()

stat_result

st_mode

st_ino

st_dev

st_nlink

st_uid

st_gid

st_size

st_atime

st_mtime

st_ctime

st_atime_ns

st_mtime_ns

st_ctime_ns

st_birthtime

st_birthtime_ns

st_blocks

st_blksize

st_rdev

st_flags

st_gen

st_fstype

st_rsize

st_creator

st_type

st_file_attributes

st_reparse_tag

statvfs()

supports_dir_fd

supports_effective_ids

supports_fd

supports_follow_symlinks

symlink()

sync()

truncate()

unlink()

utime()

walk()

fwalk()

memfd_create()

MFD_CLOEXEC

MFD_ALLOW_SEALING

MFD_HUGETLB

MFD_HUGE_SHIFT

MFD_HUGE_MASK

MFD_HUGE_64KB

MFD_HUGE_512KB

MFD_HUGE_1MB

MFD_HUGE_2MB

MFD_HUGE_8MB

MFD_HUGE_16MB

MFD_HUGE_32MB

MFD_HUGE_256MB

MFD_HUGE_512MB

MFD_HUGE_1GB

MFD_HUGE_2GB

MFD_HUGE_16GB

eventfd()

eventfd_read()

eventfd_write()

EFD_CLOEXEC

EFD_NONBLOCK

EFD_SEMAPHORE

Descritores de arquivo de temporizador

timerfd_create()

timerfd_settime()

timerfd_settime_ns()

timerfd_gettime()

timerfd_gettime_ns()

TFD_NONBLOCK

TFD_CLOEXEC

TFD_TIMER_ABSTIME

TFD_TIMER_CANCEL_ON_SET

Atributos estendidos do Linux

getxattr()

listxattr()

removexattr()

setxattr()

XATTR_SIZE_MAX

XATTR_CREATE

XATTR_REPLACE

Gerenciamento de processo

abort()

add_dll_directory()

execl()

execle()

execlp()

execlpe()

execv()

execve()

execvp()

execvpe()

_exit()

EX_OK

EX_USAGE

EX_DATAERR

EX_NOINPUT

EX_NOUSER

EX_NOHOST

EX_UNAVAILABLE

EX_SOFTWARE

EX_OSERR

EX_OSFILE

EX_CANTCREAT

EX_IOERR

EX_TEMPFAIL

EX_PROTOCOL

EX_NOPERM

EX_CONFIG

EX_NOTFOUND

fork()

forkpty()

kill()

killpg()

nice()

pidfd_open()

PIDFD_NONBLOCK

plock()

popen()

posix_spawn()

POSIX_SPAWN_OPEN

POSIX_SPAWN_CLOSE

POSIX_SPAWN_DUP2

POSIX_SPAWN_CLOSEFROM

posix_spawnp()

register_at_fork()

spawnl()

spawnle()

spawnlp()

spawnlpe()

spawnv()

spawnve()

spawnvp()

spawnvpe()

P_NOWAIT

P_NOWAITO

P_WAIT

P_DETACH

P_OVERLAY

startfile()

system()

times()

wait()

waitid()

waitpid()

wait3()

wait4()

P_PID

P_PGID

P_ALL

P_PIDFD

WCONTINUED

WEXITED

WSTOPPED

WUNTRACED

WNOHANG

WNOWAIT

CLD_EXITED

CLD_KILLED

CLD_DUMPED

CLD_TRAPPED

CLD_STOPPED

CLD_CONTINUED

waitstatus_to_exitcode()

WCOREDUMP()

WIFCONTINUED()

WIFSTOPPED()

WIFSIGNALED()

WIFEXITED()

WEXITSTATUS()

WSTOPSIG()

WTERMSIG()

Interface do agendador

SCHED_OTHER

SCHED_BATCH

SCHED_IDLE

SCHED_SPORADIC

SCHED_FIFO

SCHED_RR

SCHED_RESET_ON_FORK

sched_param

sched_priority

sched_get_priority_min()

sched_get_priority_max()

sched_setscheduler()

sched_getscheduler()

sched_setparam()

sched_getparam()

sched_rr_get_interval()

sched_yield()

sched_setaffinity()

sched_getaffinity()

Diversas informações de sistema

confstr()

confstr_names

cpu_count()

getloadavg()

process_cpu_count()

sysconf()

sysconf_names

curdir

pardir

sep

altsep

extsep

pathsep

defpath

linesep

devnull

RTLD_LAZY

RTLD_NOW

RTLD_GLOBAL

RTLD_LOCAL

RTLD_NODELETE

RTLD_NOLOAD

RTLD_DEEPBIND

Números aleatórios

getrandom()

urandom()

GRND_NONBLOCK

GRND_RANDOM

io — Core tools for working with streams

Visão Geral

Text I/O

Binary I/O

Raw I/O

Text Encoding

Opt-in EncodingWarning

High-level Module Interface

DEFAULT_BUFFER_SIZE

open()

open_code()

text_encoding()

BlockingIOError

UnsupportedOperation

hierarquia de classe

I/O Base Classes

IOBase

close()

closed

fileno()

flush()

isatty()

readable()

readline()

readlines()

seek()

seekable()

tell()

truncate()

writable()

writelines()

__del__()

RawIOBase

read()

readall()

readinto()

write()

BufferedIOBase

raw

detach()

read()

read1()

readinto()

readinto1()

write()

Raw File I/O

FileIO

mode

name

Buffered Streams

BytesIO

getbuffer()

getvalue()

read1()

readinto1()

BufferedReader

peek()

read()

read1()

BufferedWriter

flush()

write()

BufferedRandom

BufferedRWPair

Text I/O

TextIOBase

encoding

errors

newlines

buffer

detach()

read()

readline()

seek()

tell()

write()

TextIOWrapper

line_buffering

write_through

reconfigure()

seek()

tell()

StringIO

getvalue()

IncrementalNewlineDecoder

Desempenho

Binary I/O

Text I/O

Multi-threading

Reentrancy

time — Acesso ao horário e conversões

Funções

asctime()

pthread_getcpuclockid()

clock_getres()

clock_gettime()

clock_gettime_ns()

clock_settime()

clock_settime_ns()

ctime()

get_clock_info()

gmtime()

localtime()

mktime()

monotonic()

monotonic_ns()

perf_counter()

perf_counter_ns()

process_time()

process_time_ns()

sleep()

strftime()

strptime()

struct_time

tm_year

tm_mon

tm_mday

tm_hour

tm_min

tm_sec

tm_wday

tm_yday

tm_isdst

tm_zone

tm_gmtoff

time()

time_ns()

thread_time()

thread_time_ns()

tzset()

Constantes de ID de Relógio

CLOCK_BOOTTIME

CLOCK_HIGHRES

CLOCK_MONOTONIC

CLOCK_MONOTONIC_RAW

CLOCK_MONOTONIC_RAW_APPROX

CLOCK_PROCESS_CPUTIME_ID

CLOCK_PROF

CLOCK_TAI

CLOCK_THREAD_CPUTIME_ID

CLOCK_UPTIME

CLOCK_UPTIME_RAW

CLOCK_UPTIME_RAW_APPROX

CLOCK_REALTIME

Constantes de Fuso Horário

altzone

daylight

timezone

tzname

argparse — Analisador sintático para opções de linha de comando, argumentos e subcomandos

Objetos ArgumentParser

ArgumentParser

prog

usage

description

epilog

parents

formatter_class

RawDescriptionHelpFormatter

RawTextHelpFormatter

ArgumentDefaultsHelpFormatter

MetavarTypeHelpFormatter

prefix_chars

fromfile_prefix_chars

argument_default

allow_abbrev

conflict_handler

add_help

exit_on_error

O método add_argument()

add_argument()

name ou flags

action

nargs

const

default

type

choices

required

help

metavar

dest

deprecated

Classes de ação

Action

O método parse_args()

parse_args()

Sintaxe de valores da opção

Argumentos inválidos

Argumentos contendo -

Abreviações de argumento (correspondência de prefixo)

Além do sys.argv

O objeto Namespace

Namespace

Outros utilitários

Subcomandos

add_subparsers()

Objetos FileType

FileType

Grupos de argumentos

add_argument_group()

Exclusão mútua

add_mutually_exclusive_group()

Padrões do analisador sintático

set_defaults()

get_default()

Imprimindo a ajuda

print_usage()

print_help()

format_usage()

format_help()

Análise parcial

parse_known_args()

Personalizando a análise de arquivos

convert_arg_line_to_args()

Métodos de saída

exit()

error()

Análise misturada

parse_intermixed_args()

parse_known_intermixed_args()

Exceções

ArgumentError

ArgumentTypeError

Tutorial de Argparse

Conceitos

O básico

Apresentando os argumentos posicionais

Apresentando os argumentos opcionais

Opções curtas

Combinando argumentos posicionais e opcionais

Avançando um pouco mais

Especificando argumentos ambíguos

Opções conflitantes

Como traduzir a saída do argparse

Conversores de tipo personalizados

Conclusão

Atualizando código optparse

logging — Recurso de utilização do Logging para Python

Objetos Logger

Logger

name

level

parent

propagate

handlers

disabled

setLevel()

isEnabledFor()

getEffectiveLevel()

getChild()

getChildren()

debug()

info()

warning()

error()

critical()

log()

exception()

addFilter()

removeFilter()

filter()

addHandler()

removeHandler()

findCaller()

handle()

makeRecord()

hasHandlers()

Logging Levels

NOTSET

DEBUG

INFO

WARNING

ERROR

CRITICAL

Manipulação de Objetos

Handler

__init__()

createLock()

acquire()

release()

setLevel()

setFormatter()

addFilter()

removeFilter()

filter()

flush()

close()

handle()

handleError()

format()

emit()

Formatter Objects

Formatter

format()

formatTime()

formatException()

formatStack()

BufferingFormatter

formatHeader()

formatFooter()

format()

Filter Objects

Filter

filter()

LogRecord Objects

LogRecord

getMessage()

Atributos LogRecord

LoggerAdapter Objects

LoggerAdapter

process()

manager

_log

Thread Safety

Funções de Nível de Módulo

getLogger()

getLoggerClass()

getLogRecordFactory()

debug()

info()

warning()

error()

critical()

exception()

log()

disable()

addLevelName()

getLevelNamesMapping()

getLevelName()

getHandlerByName()

getHandlerNames()

makeLogRecord()

basicConfig()

shutdown()

setLoggerClass()

setLogRecordFactory()

Module-Level Attributes

lastResort

raiseExceptions

Integration with the warnings module

captureWarnings()

logging.config — Logging configuration

Configuration functions

dictConfig()

fileConfig()

listen()

stopListening()

Considerações de segurança

Configuration dictionary schema

Dictionary Schema Details

Incremental Configuration

Object connections

User-defined objects

Handler configuration order

Access to external objects

Access to internal objects

Import resolution and custom importers

Configuring QueueHandler and QueueListener

Formato do arquivo de configuração

logging.handlers — Logging handlers

StreamHandler

StreamHandler

emit()

flush()

setStream()

terminator

FileHandler

FileHandler

close()

emit()

NullHandler

NullHandler

emit()

handle()

createLock()

WatchedFileHandler

WatchedFileHandler

reopenIfNeeded()

emit()

BaseRotatingHandler

BaseRotatingHandler

namer

rotator

rotation_filename()

rotate()

RotatingFileHandler

RotatingFileHandler

doRollover()

emit()

TimedRotatingFileHandler

TimedRotatingFileHandler

doRollover()

emit()

getFilesToDelete()

SocketHandler

SocketHandler

close()

emit()

handleError()

makeSocket()

makePickle()

send()

createSocket()

DatagramHandler

DatagramHandler

emit()

makeSocket()

send()

SysLogHandler

SysLogHandler

close()

createSocket()

emit()

encodePriority()

mapPriority()

NTEventLogHandler

NTEventLogHandler

close()

emit()

getEventCategory()

getEventType()

getMessageID()

SMTPHandler

SMTPHandler

emit()

getSubject()

MemoryHandler

BufferingHandler

emit()

flush()

shouldFlush()

MemoryHandler

close()

flush()

setTarget()

shouldFlush()

HTTPHandler

HTTPHandler

mapLogRecord()

emit()

QueueHandler

QueueHandler

emit()

prepare()

enqueue()

listener

QueueListener

QueueListener

dequeue()

prepare()

handle()

start()

stop()

enqueue_sentinel()

getpass — Entrada de senha portátil

getpass()

GetPassWarning

getuser()

curses — Gerenciador de terminal para visualizadores de células de caracteres.

Funções

error

baudrate()

beep()

can_change_color()

cbreak()

color_content()

color_pair()

curs_set()

def_prog_mode()

def_shell_mode()

delay_output()

doupdate()

echo()

endwin()

erasechar()

filter()

flash()

flushinp()

getmouse()

getsyx()

getwin()

has_colors()

has_extended_color_support()

has_ic()

has_il()

has_key()

halfdelay()

init_color()

init_pair()

initscr()

is_term_resized()

isendwin()

keyname()

killchar()

longname()

meta()

mouseinterval()

mousemask()

napms()

newpad()

newwin()

nl()

nocbreak()

noecho()

nonl()

noqiflush()

noraw()

pair_content()

pair_number()

putp()

qiflush()

raw()

reset_prog_mode()

reset_shell_mode()

resetty()

resize_term()

resizeterm()

savetty()

get_escdelay()

set_escdelay()

get_tabsize()

set_tabsize()

setsyx()

setupterm()

start_color()

termattrs()

termname()

tigetflag()

tigetnum()

tigetstr()

tparm()

typeahead()

unctrl()

ungetch()

update_lines_cols()

unget_wch()

ungetmouse()

use_env()

use_default_colors()

wrapper()

Window Objects

addch()

addnstr()

addstr()

attroff()

attron()

attrset()

bkgd()

bkgdset()

border()

box()

chgat()

clear()

clearok()

clrtobot()

clrtoeol()

cursyncup()

delch()

deleteln()

derwin()

echochar()

enclose()

encoding

erase()

getbegyx()

getbkgd()

getch()

get_wch()

getkey()

getmaxyx()

getparyx()

getstr()

getyx()

hline()

idcok()

idlok()

immedok()

inch()

insch()

insdelln()

insertln()

insnstr()

insstr()

instr()

is_linetouched()

is_wintouched()

keypad()

leaveok()

move()

mvderwin()

mvwin()

nodelay()

notimeout()

noutrefresh()

overlay()

overwrite()

putwin()

redrawln()

redrawwin()

refresh()

resize()

scroll()

scrollok()

setscrreg()

standend()

standout()

subpad()

subwin()

syncdown()

syncok()

syncup()

timeout()

touchline()

touchwin()

untouchwin()

vline()

Constantes

ERR

OK

version

__version__

ncurses_version

COLORS

COLOR_PAIRS

COLS

LINES

A_ALTCHARSET

A_BLINK

A_BOLD

A_DIM

A_INVIS

A_ITALIC

A_NORMAL

A_PROTECT

A_REVERSE

A_STANDOUT

A_UNDERLINE

A_HORIZONTAL

A_LEFT

A_LOW

A_RIGHT

A_TOP

A_VERTICAL

A_ATTRIBUTES

A_CHARTEXT

A_COLOR

KEY_MIN

KEY_BREAK

KEY_DOWN

KEY_UP

KEY_LEFT

KEY_RIGHT

KEY_HOME

KEY_BACKSPACE

KEY_F0

KEY_Fn

KEY_DL

KEY_IL

KEY_DC

KEY_IC

KEY_EIC

KEY_CLEAR

KEY_EOS

KEY_EOL

KEY_SF

KEY_SR

KEY_NPAGE

KEY_PPAGE

KEY_STAB

KEY_CTAB

KEY_CATAB

KEY_ENTER

KEY_SRESET

KEY_RESET

KEY_PRINT

KEY_LL

KEY_A1

KEY_A3

KEY_B2

KEY_C1

KEY_C3

KEY_BTAB

KEY_BEG

KEY_CANCEL

KEY_CLOSE

KEY_COMMAND

KEY_COPY

KEY_CREATE

KEY_END

KEY_EXIT

KEY_FIND

KEY_HELP

KEY_MARK

KEY_MESSAGE

KEY_MOVE

KEY_NEXT

KEY_OPEN

KEY_OPTIONS

KEY_PREVIOUS

KEY_REDO

KEY_REFERENCE

KEY_REFRESH

KEY_REPLACE

KEY_RESTART

KEY_RESUME

KEY_SAVE

KEY_SBEG

KEY_SCANCEL

KEY_SCOMMAND

KEY_SCOPY

KEY_SCREATE

KEY_SDC

KEY_SDL

KEY_SELECT

KEY_SEND

KEY_SEOL

KEY_SEXIT

KEY_SFIND

KEY_SHELP

KEY_SHOME

KEY_SIC

KEY_SLEFT

KEY_SMESSAGE

KEY_SMOVE

KEY_SNEXT

KEY_SOPTIONS

KEY_SPREVIOUS

KEY_SPRINT

KEY_SREDO

KEY_SREPLACE

KEY_SRIGHT

KEY_SRSUME

KEY_SSAVE

KEY_SSUSPEND

KEY_SUNDO

KEY_SUSPEND

KEY_UNDO

KEY_MOUSE

KEY_RESIZE

KEY_MAX

ACS_BBSS

ACS_BLOCK

ACS_BOARD

ACS_BSBS

ACS_BSSB

ACS_BSSS

ACS_BTEE

ACS_BULLET

ACS_CKBOARD

ACS_DARROW

ACS_DEGREE

ACS_DIAMOND

ACS_GEQUAL

ACS_HLINE

ACS_LANTERN

ACS_LARROW

ACS_LEQUAL

ACS_LLCORNER

ACS_LRCORNER

ACS_LTEE

ACS_NEQUAL

ACS_PI

ACS_PLMINUS

ACS_PLUS

ACS_RARROW

ACS_RTEE

ACS_S1

ACS_S3

ACS_S7

ACS_S9

ACS_SBBS

ACS_SBSB

ACS_SBSS

ACS_SSBB

ACS_SSBS

ACS_SSSB

ACS_SSSS

ACS_STERLING

ACS_TTEE

ACS_UARROW

ACS_ULCORNER

ACS_URCORNER

ACS_VLINE

BUTTONn_PRESSED

BUTTONn_RELEASED

BUTTONn_CLICKED

BUTTONn_DOUBLE_CLICKED

BUTTONn_TRIPLE_CLICKED

BUTTON_SHIFT

BUTTON_CTRL

BUTTON_ALT

COLOR_BLACK

COLOR_BLUE

COLOR_CYAN

COLOR_GREEN

COLOR_MAGENTA

COLOR_RED

COLOR_WHITE

COLOR_YELLOW

curses.textpad — Text input widget for curses programs

rectangle()

Textbox objects

Textbox

edit()

do_command()

gather()

stripspaces

curses.ascii — Utilities for ASCII characters

NUL

SOH

STX

ETX

EOT

ENQ

ACK

BEL

BS

TAB

HT

LF

NL

VT

FF

CR

SO

SI

DLE

DC1

DC2

DC3

DC4

NAK

SYN

ETB

CAN

EM

SUB

ESC

FS

GS

RS

US

SP

DEL

isalnum()

isalpha()

isascii()

isblank()

iscntrl()

isdigit()

isgraph()

islower()

isprint()

ispunct()

isspace()

isupper()

isxdigit()

isctrl()

ismeta()

ascii()

ctrl()

alt()

unctrl()

controlnames

curses.panel — A panel stack extension for curses

Funções

bottom_panel()

new_panel()

top_panel()

update_panels()

Objetos Panel

above()

below()

bottom()

hidden()

hide()

move()

replace()

set_userptr()

show()

top()

userptr()

window()

platform — Access to underlying platform’s identifying data

Cross Platform

architecture()

machine()

node()

platform()

processor()

python_build()

python_compiler()

python_branch()

python_implementation()

python_revision()

python_version()

python_version_tuple()

release()

system()

system_alias()

version()

uname()

Java Platform

java_ver()

Windows Platform

win32_ver()

win32_edition()

win32_is_iot()

macOS Platform

mac_ver()

iOS Platform

ios_ver()

Plataformas Unix

libc_ver()

Linux Platforms

freedesktop_os_release()

Android Platform

android_ver()

errno — Standard errno system symbols

errorcode

EPERM

ENOENT

ESRCH

EINTR

EIO

ENXIO

E2BIG

ENOEXEC

EBADF

ECHILD

EAGAIN

ENOMEM

EACCES

EFAULT

ENOTBLK

EBUSY

EEXIST

EXDEV

ENODEV

ENOTDIR

EISDIR

EINVAL

ENFILE

EMFILE

ENOTTY

ETXTBSY

EFBIG

ENOSPC

ESPIPE

EROFS

EMLINK

EPIPE

EDOM

ERANGE

EDEADLK

ENAMETOOLONG

ENOLCK

ENOSYS

ENOTEMPTY

ELOOP

EWOULDBLOCK

ENOMSG

EIDRM

ECHRNG

EL2NSYNC

EL3HLT

EL3RST

ELNRNG

EUNATCH

ENOCSI

EL2HLT

EBADE

EBADR

EXFULL

ENOANO

EBADRQC

EBADSLT

EDEADLOCK

EBFONT

ENOSTR

ENODATA

ETIME

ENOSR

ENONET

ENOPKG

EREMOTE

ENOLINK

EADV

ESRMNT

ECOMM

EPROTO

EMULTIHOP

EDOTDOT

EBADMSG

EOVERFLOW

ENOTUNIQ

EBADFD

EREMCHG

ELIBACC

ELIBBAD

ELIBSCN

ELIBMAX

ELIBEXEC

EILSEQ

ERESTART

ESTRPIPE

EUSERS

ENOTSOCK

EDESTADDRREQ

EMSGSIZE

EPROTOTYPE

ENOPROTOOPT

EPROTONOSUPPORT

ESOCKTNOSUPPORT

EOPNOTSUPP

ENOTSUP

EPFNOSUPPORT

EAFNOSUPPORT

EADDRINUSE

EADDRNOTAVAIL

ENETDOWN

ENETUNREACH

ENETRESET

ECONNABORTED

ECONNRESET

ENOBUFS

EISCONN

ENOTCONN

ESHUTDOWN

ETOOMANYREFS

ETIMEDOUT

ECONNREFUSED

EHOSTDOWN

EHOSTUNREACH

EALREADY

EINPROGRESS

ESTALE

EUCLEAN

ENOTNAM

ENAVAIL

EISNAM

EREMOTEIO

EDQUOT

EQFULL

ENOTCAPABLE

ECANCELED

EOWNERDEAD

ENOTRECOVERABLE

ctypes — Uma biblioteca de funções externas para Python

Tutorial ctypes

Loading dynamic link libraries

Accessing functions from loaded dlls

Calling functions

Tipos de dados fundamentais

Invocação de Funções, continuação

Calling variadic functions

Calling functions with your own custom data types

Specifying the required argument types (function prototypes)

Tipos de Retorno

Passing pointers (or: passing parameters by reference)

Structures and unions

Structure/union alignment and byte order

Bit fields in structures and unions

Arrays

Ponteiros

Conversão de Tipos

Tipos Incompletos

Funções Callbacks

Accessing values exported from dlls

Surprises

Variable-sized data types

Referência ctypes

Finding shared libraries

Loading shared libraries

CDLL

OleDLL

WinDLL

PyDLL

_handle

_name

LibraryLoader

LoadLibrary()

Foreign functions

_CFuncPtr

restype

argtypes

errcheck

ArgumentError

Function prototypes

CFUNCTYPE()

WINFUNCTYPE()

PYFUNCTYPE()

Funções utilitárias

addressof()

alignment()

byref()

cast()

create_string_buffer()

create_unicode_buffer()

DllCanUnloadNow()

DllGetClassObject()

find_library()

find_msvcrt()

FormatError()

GetLastError()

get_errno()

get_last_error()

memmove()

memset()

POINTER()

pointer()

resize()

set_errno()

set_last_error()

sizeof()

string_at()

WinError()

wstring_at()

Data types

_CData

from_buffer()

from_buffer_copy()

from_address()

from_param()

in_dll()

_b_base_

_b_needsfree_

_objects

Tipos de dados fundamentais

_SimpleCData

value

c_byte

c_char

c_char_p

c_double

c_longdouble

c_float

c_int

c_int8

c_int16

c_int32

c_int64

c_long

c_longlong

c_short

c_size_t

c_ssize_t

c_time_t

c_ubyte

c_uint

c_uint8

c_uint16

c_uint32

c_uint64

c_ulong

c_ulonglong

c_ushort

c_void_p

c_wchar

c_wchar_p

c_bool

HRESULT

py_object

Structured data types

Union

BigEndianUnion

LittleEndianUnion

BigEndianStructure

LittleEndianStructure

Structure

_fields_

_pack_

_align_

_anonymous_

Arrays and pointers

Array

_length_

_type_

ARRAY()

_Pointer

_type_

contents

Execução Concorrente

threading — Thread-based parallelism

active_count()

current_thread()

excepthook()

__excepthook__

get_ident()

get_native_id()

enumerate()

main_thread()

settrace()

settrace_all_threads()

gettrace()

setprofile()

setprofile_all_threads()

getprofile()

stack_size()

TIMEOUT_MAX

Thread-Local Data

local

Thread Objects

Thread

start()

run()

join()

name

getName()

setName()

ident

native_id

is_alive()

daemon

isDaemon()

setDaemon()

Lock Objects

Lock

acquire()

release()

locked()

Objetos RLock

RLock

acquire()

release()

Condition Objects

Condition

acquire()

release()

wait()

wait_for()

notify()

notify_all()

Semaphore Objects

Semaphore

acquire()

release()

BoundedSemaphore

Exemplo Semaphore

Event Objects

Event

is_set()

set()

clear()

wait()

Objetos Timer

Timer

cancel()

Barrier Objects

Barrier

wait()

reset()

abort()

parties

n_waiting

broken

BrokenBarrierError

Using locks, conditions, and semaphores in the with statement

multiprocessing — Paralelismo baseado em processo

Introdução

A classe Process

Contextos e métodos de inicialização

Trocando objetos entre processos

Sincronização entre processos

Compartilhando estado entre processos

Using a pool of workers

Referência

Process and exceptions

Process

run()

start()

join()

name

is_alive()

daemon

pid

exitcode

authkey

sentinel

terminate()

kill()

close()

ProcessError

BufferTooShort

AuthenticationError

TimeoutError

Pipes and Queues

Pipe()

Queue

qsize()

empty()

full()

put()

put_nowait()

get()

get_nowait()

close()

join_thread()

cancel_join_thread()

SimpleQueue

close()

empty()

get()

put()

JoinableQueue

task_done()

join()

Diversos

active_children()

cpu_count()

current_process()

parent_process()

freeze_support()

get_all_start_methods()

get_context()

get_start_method()

set_executable()

set_forkserver_preload()

set_start_method()

Connection Objects

Connection

send()

recv()

fileno()

close()

poll()

send_bytes()

recv_bytes()

recv_bytes_into()

Synchronization primitives

Barrier

BoundedSemaphore

Condition

Event

Lock

acquire()

release()

RLock

acquire()

release()

Semaphore

Shared ctypes Objects

Value()

Array()

The multiprocessing.sharedctypes module

RawArray()

RawValue()

Array()

Value()

copy()

synchronized()

Gerenciadores

Manager()

BaseManager

start()

get_server()

connect()

shutdown()

register()

address

SyncManager

Barrier()

BoundedSemaphore()

Condition()

Event()

Lock()

Namespace()

Queue()

RLock()

Semaphore()

Array()

Value()

dict()

list()

Namespace

Customized managers

Using a remote manager

Proxy Objects

BaseProxy

_callmethod()

_getvalue()

__repr__()

__str__()

Cleanup

Process Pools

Pool

apply()

apply_async()

map()

map_async()

imap()

imap_unordered()

starmap()

starmap_async()

close()

terminate()

join()

AsyncResult

get()

wait()

ready()

successful()

Listeners and Clients

deliver_challenge()

answer_challenge()

Client()

Listener

accept()

close()

address

last_accepted

wait()

Formatos de Endereços

Authentication keys

Gerando logs

get_logger()

log_to_stderr()

The multiprocessing.dummy module

ThreadPool

Programming guidelines

All start methods

The spawn and forkserver start methods

Exemplos

multiprocessing.shared_memory — Shared memory for direct access across processes

SharedMemory

close()

unlink()

buf

name

size

SharedMemoryManager

SharedMemory()

ShareableList()

ShareableList

count()

index()

format

shm

O pacote concurrent

concurrent.futures — Launching parallel tasks

Executor Objects

Executor

submit()

map()

shutdown()

ThreadPoolExecutor

ThreadPoolExecutor

Exemplo de ThreadPoolExecutor

`ProcessPoolExecutor`

ProcessPoolExecutor

ProcessPoolExecutor Example

Future Objects

Future

cancel()

cancelled()

running()

done()

result()

exception()

add_done_callback()

set_running_or_notify_cancel()

set_result()

set_exception()

Module Functions

wait()

FIRST_COMPLETED

FIRST_EXCEPTION

ALL_COMPLETED

as_completed()

Exception classes

CancelledError

TimeoutError

BrokenExecutor

InvalidStateError

BrokenThreadPool

BrokenProcessPool

subprocess — Subprocess management

Usando o módulo subprocess

run()

CompletedProcess

args

returncode

stdout

stderr

check_returncode()

DEVNULL

PIPE

STDOUT

SubprocessError

TimeoutExpired

cmd

timeout

output

stdout

stderr

CalledProcessError

returncode

cmd

output

stdout

stderr

Argumentos usados frequentemente

Construtor Popen

Popen

Exceções

Considerações de Segurança

Objetos Popen

poll()

wait()

communicate()

send_signal()

terminate()

kill()

args

stdin

stdout

stderr

pid

returncode

Windows Popen Helpers

STARTUPINFO

dwFlags

hStdInput

hStdOutput

hStdError

wShowWindow

lpAttributeList

Constantes do Windows

STD_INPUT_HANDLE

STD_OUTPUT_HANDLE

STD_ERROR_HANDLE

SW_HIDE

STARTF_USESTDHANDLES

STARTF_USESHOWWINDOW

STARTF_FORCEONFEEDBACK

STARTF_FORCEOFFFEEDBACK

CREATE_NEW_CONSOLE

CREATE_NEW_PROCESS_GROUP

ABOVE_NORMAL_PRIORITY_CLASS

BELOW_NORMAL_PRIORITY_CLASS

HIGH_PRIORITY_CLASS

IDLE_PRIORITY_CLASS

NORMAL_PRIORITY_CLASS

REALTIME_PRIORITY_CLASS

CREATE_NO_WINDOW

DETACHED_PROCESS

CREATE_DEFAULT_ERROR_MODE

CREATE_BREAKAWAY_FROM_JOB

API de alto nível mais antiga

call()

check_call()

check_output()

Replacing Older Functions with the subprocess Module

Replacing /bin/sh shell command substitution

Replacing shell pipeline

Substituindo os.system()

Replacing the os.spawn family

Replacing os.popen(), os.popen2(), os.popen3()

Replacing functions from the popen2 module

Legacy Shell Invocation Functions

getstatusoutput()

getoutput()

Notas

Converter uma sequência de argumentos em uma string no Windows

Disabling use of vfork() or posix_spawn()

sched — Event scheduler

scheduler

Objetos Scheduler

enterabs()

enter()

cancel()

empty()

run()

queue

queue — A synchronized queue class

Queue

LifoQueue

PriorityQueue

SimpleQueue

Empty

Full

ShutDown

Objetos Queue

qsize()

empty()

full()

put()

put_nowait()

get()

get_nowait()

task_done()

join()

Terminating queues

shutdown()

Objetos SimpleQueue

qsize()

empty()

put()

put_nowait()

get()

get_nowait()

contextvars — Variáveis de contexto

Variáveis de contexto

ContextVar

name

get()

set()

reset()

Token

var

old_value

MISSING

Gerenciamento de contexto manual

copy_context()

Context

run()

copy()

get()

keys()

values()

items()

Suporte a asyncio

_thread— API de segmentação de baixo nível

error

LockType

start_new_thread()

interrupt_main()

exit()

allocate_lock()

get_ident()

get_native_id()

stack_size()

TIMEOUT_MAX

acquire()

release()

locked()

Comunicação em Rede e Interprocesso

asyncio — E/S assíncrona

Runners

Executando um programa asyncio

run()

Runner context manager

Runner

run()

close()

get_loop()

Handling Keyboard Interruption

Corrotinas e Tarefas

Corrotinas

Aguardáveis

Criando Tarefas

create_task()

Task Cancellation

Task Groups

TaskGroup

create_task()

Terminating a Task Group

Dormindo

sleep()

Executando tarefas concorrentemente

gather()

Eager Task Factory

eager_task_factory()

create_eager_task_factory()

Protegendo contra cancelamento

shield()

Tempo limite

timeout()

Timeout

when()

reschedule()

expired()

timeout_at()

wait_for()

Primitivas de Espera

wait()

FIRST_COMPLETED

FIRST_EXCEPTION

ALL_COMPLETED

as_completed()

Executando em Threads

to_thread()

Agendando a partir de outras Threads

run_coroutine_threadsafe()

Introspecção

current_task()

all_tasks()

iscoroutine()

Objeto Task

Task

done()

result()

exception()

add_done_callback()

remove_done_callback()

get_stack()

print_stack()

get_coro()

get_context()

get_name()

set_name()

cancel()

cancelled()

uncancel()

cancelling()

Streams

open_connection()

start_server()

open_unix_connection()

start_unix_server()

StreamReader

StreamReader

feed_eof()

read()

readline()

readexactly()

readuntil()

at_eof()

StreamWriter

StreamWriter

write()

writelines()

close()

can_write_eof()

write_eof()

transport

get_extra_info()

drain()

start_tls()

is_closing()

wait_closed()

Exemplos

Cliente para eco TCP usando streams

Servidor eco TCP usando streams

Obtém headers HTTP

Registra um soquete aberto para aguardar por dados usando streams

Synchronization Primitives

Lock

Lock

acquire()

release()

locked()

Evento

Event

wait()

set()

clear()

is_set()

Condição

Condition

acquire()

notify()

locked()

notify_all()

release()

wait()

wait_for()

Semaphore

Semaphore

acquire()

locked()

release()

BoundedSemaphore

BoundedSemaphore

Barrier

Barrier

wait()

reset()

abort()

parties

n_waiting

broken

BrokenBarrierError

Subprocessos

Criando subprocessos

create_subprocess_exec()

create_subprocess_shell()

Constantes

PIPE

STDOUT

DEVNULL

Interagindo com subprocessos

Process

wait()

communicate()

send_signal()

terminate()

kill()

stdin

stdout

stderr

pid

returncode

Subprocesso e Threads

Exemplos

Filas

Queue

Queue

maxsize

empty()

full()

get()

get_nowait()

join()

put()

put_nowait()

qsize()

shutdown()

task_done()

Fila de prioridade

PriorityQueue

Filas LIFO (último a entrar, primeiro a sair)

LifoQueue

Exceções

QueueEmpty

QueueFull

QueueShutDown

Exemplos

Exceções

TimeoutError

CancelledError

InvalidStateError

SendfileNotAvailableError

IncompleteReadError

expected

partial

LimitOverrunError

consumed

Laço de Eventos

get_running_loop()

get_event_loop()

set_event_loop()

new_event_loop()

Métodos do laço de eventos

Executar e interromper o laço

run_until_complete()

run_forever()

stop()

is_running()

is_closed()

close()

shutdown_asyncgens()

shutdown_default_executor()

Agendando funções de retorno

call_soon()

call_soon_threadsafe()

Agendando funções de retorno atrasadas

call_later()

call_at()

time()

Criando Futures e Tasks

create_future()

create_task()

set_task_factory()

get_task_factory()

Abrindo conexões de rede

create_connection()

create_datagram_endpoint()

create_unix_connection()

Criando servidores de rede

create_server()

create_unix_server()

connect_accepted_socket()

Transferindo arquivos

sendfile()

Atualizando TLS

start_tls()

Observando descritores de arquivo

add_reader()

remove_reader()

add_writer()

remove_writer()

Trabalhando com objetos soquete diretamente

sock_recv()

sock_recv_into()

sock_recvfrom()

sock_recvfrom_into()

sock_sendall()

sock_sendto()

sock_connect()

sock_accept()

sock_sendfile()

DNS

getaddrinfo()

getnameinfo()

Trabalhando com encadeamentos

connect_read_pipe()

connect_write_pipe()

Sinais Unix

add_signal_handler()

remove_signal_handler()

Executando código em conjuntos de threads ou processos

run_in_executor()

set_default_executor()

Tratando erros da API

set_exception_handler()

get_exception_handler()

default_exception_handler()

call_exception_handler()

Habilitando o modo de debug

get_debug()

set_debug()

slow_callback_duration

Executando Subprocessos

subprocess_exec()

subprocess_shell()

Tratadores de função de retorno

Handle

get_context()

cancel()

cancelled()

TimerHandle

when()

Objetos Server

Server

close()

close_clients()

abort_clients()

get_loop()

start_serving()

serve_forever()

is_serving()

wait_closed()

sockets

Implementações do Laço de Eventos

SelectorEventLoop

ProactorEventLoop

EventLoop

AbstractEventLoop

Exemplos

Hello World com call_soon()

Exibe a data atual com call_later()

Observa um descritor de arquivo por eventos de leitura

Define tratadores de sinais para SIGINT e SIGTERM

Futuros

Future Functions

isfuture()

ensure_future()

wrap_future()

Future Object

Future

result()

set_result()

set_exception()

done()

cancelled()

add_done_callback()

remove_done_callback()

cancel()

exception()

get_loop()

Transports and Protocols

Transportes

Transports Hierarchy

BaseTransport

WriteTransport

ReadTransport

Transport

DatagramTransport

SubprocessTransport

Base Transport

close()

is_closing()

get_extra_info()

set_protocol()

get_protocol()

Read-only Transports

is_reading()

pause_reading()

resume_reading()

Write-only Transports

abort()

can_write_eof()

get_write_buffer_size()

get_write_buffer_limits()

set_write_buffer_limits()

write()

writelines()

write_eof()

Transportes de datagrama

sendto()

abort()

Transportes de Subprocesso

get_pid()

get_pipe_transport()

get_returncode()

kill()

send_signal()

terminate()

close()

Protocolos

Protocolos de Base

BaseProtocol

Protocol

BufferedProtocol

DatagramProtocol

SubprocessProtocol

Base Protocol

connection_made()

connection_lost()

pause_writing()

resume_writing()

Streaming Protocols

data_received()

eof_received()

Protocolos de Streaming Bufferizados

get_buffer()

buffer_updated()

eof_received()

Protocolos de Datagramas

datagram_received()

error_received()

Protocolos de Subprocesso

pipe_data_received()

pipe_connection_lost()

process_exited()

Exemplos

TCP Echo Server

TCP Echo Client

UDP Echo Server

UDP Echo Client

Connecting Existing Sockets

loop.subprocess_exec() and SubprocessProtocol

Políticas

Getting and Setting the Policy

get_event_loop_policy()

set_event_loop_policy()

Policy Objects

AbstractEventLoopPolicy

get_event_loop()

set_event_loop()

new_event_loop()

get_child_watcher()

set_child_watcher()

DefaultEventLoopPolicy

WindowsSelectorEventLoopPolicy

WindowsProactorEventLoopPolicy

Monitores de processos

get_child_watcher()

set_child_watcher()

AbstractChildWatcher

add_child_handler()

remove_child_handler()

attach_loop()

is_active()

close()

ThreadedChildWatcher

MultiLoopChildWatcher

SafeChildWatcher

FastChildWatcher

PidfdChildWatcher

Custom Policies

Suporte a plataformas

Todas as plataformas

Windows

Suporte para subprocesso no Windows

macOS

Extensão

Escrevendo um laço de eventos personalizado

Construtores privados de Future e Task

__init__()

__init__()

Suporte ao ciclo de vida de tarefas

_register_task()

_unregister_task()

_enter_task()

_leave_task()

Índice da API de alto nível

Tarefas

Filas

Subprocessos

Streams

Sincronização

Exceções

Índice de APIs de baixo nível

Obtendo o laço de eventos

Métodos do laço de eventos

Transportes

Protocolos

Políticas de laço de eventos

Desenvolvendo com asyncio

Modo de Depuração

Concorrência e Múltiplas Threads

Executando código bloqueante

Gerando logs

Detect never-awaited coroutines

Detect never-retrieved exceptions

socket — Low-level networking interface

Famílias de soquete

Conteúdo do módulo

Exceções

error

herror

gaierror

timeout

Constantes

AF_UNIX

AF_INET

AF_INET6

AF_UNSPEC

SOCK_STREAM

SOCK_DGRAM

SOCK_RAW

SOCK_RDM

SOCK_SEQPACKET

SOCK_CLOEXEC

SOCK_NONBLOCK

SOMAXCONN

AF_CAN

PF_CAN

CAN_BCM

CAN_RAW_FD_FRAMES

CAN_RAW_JOIN_FILTERS

CAN_ISOTP

CAN_J1939

AF_DIVERT

PF_DIVERT

AF_PACKET

PF_PACKET

ETH_P_ALL

AF_RDS

PF_RDS

SOL_RDS

SIO_RCVALL

SIO_KEEPALIVE_VALS

SIO_LOOPBACK_FAST_PATH

AF_ALG

SOL_ALG

AF_VSOCK

IOCTL_VM_SOCKETS_GET_LOCAL_CID

AF_LINK

has_ipv6

BDADDR_ANY

BDADDR_LOCAL

HCI_FILTER

HCI_TIME_STAMP

HCI_DATA_DIR

AF_QIPCRTR

SCM_CREDS2

LOCAL_CREDS

LOCAL_CREDS_PERSISTENT

SO_INCOMING_CPU

AF_HYPERV

HV_PROTOCOL_RAW

HVSOCKET_CONNECT_TIMEOUT

HVSOCKET_CONNECT_TIMEOUT_MAX

HVSOCKET_CONNECTED_SUSPEND

HVSOCKET_ADDRESS_FLAG_PASSTHRU

HV_GUID_ZERO

HV_GUID_WILDCARD

HV_GUID_BROADCAST

HV_GUID_CHILDREN

HV_GUID_LOOPBACK

HV_GUID_PARENT

ETHERTYPE_ARP

ETHERTYPE_IP

ETHERTYPE_IPV6

ETHERTYPE_VLAN

SHUT_RD

SHUT_WR

SHUT_RDWR

Funções

Criação de sockets

socket

socketpair()

create_connection()

create_server()

has_dualstack_ipv6()

fromfd()

fromshare()

SocketType

Outras funções

close()

getaddrinfo()

getfqdn()

gethostbyname()

gethostbyname_ex()

gethostname()

gethostbyaddr()

getnameinfo()

getprotobyname()

getservbyname()

getservbyport()

ntohl()

ntohs()

htonl()

htons()

inet_aton()

inet_ntoa()

inet_pton()

inet_ntop()

CMSG_LEN()

CMSG_SPACE()

getdefaulttimeout()

setdefaulttimeout()

sethostname()

if_nameindex()

if_nametoindex()

if_indextoname()

send_fds()

recv_fds()

Socket Objects

accept()

bind()

close()

connect()

connect_ex()

detach()

dup()

fileno()

get_inheritable()

getpeername()

getsockname()

getsockopt()

getblocking()

gettimeout()

ioctl()

listen()

makefile()

recv()

recvfrom()

recvmsg()

recvmsg_into()

recvfrom_into()

recv_into()

send()

sendall()

sendto()

sendmsg()

sendmsg_afalg()

sendfile()

set_inheritable()

setblocking()

settimeout()

setsockopt()

shutdown()

share()

family

type

proto

Notas sobre tempo limite de soquete

Timeouts and the connect method

Timeouts and the accept method

Exemplo

ssl — TLS/SSL wrapper for socket objects

Functions, Constants, and Exceptions

Socket creation

Context creation

create_default_context()

Exceções

SSLError

library

reason

SSLZeroReturnError

SSLWantReadError

SSLWantWriteError

SSLSyscallError

SSLEOFError

SSLCertVerificationError

verify_code

verify_message

CertificateError

Random generation

RAND_bytes()

RAND_status()

RAND_add()

Manipulação de certificados

cert_time_to_seconds()

get_server_certificate()

DER_cert_to_PEM_cert()

PEM_cert_to_DER_cert()

get_default_verify_paths()

enum_certificates()

enum_crls()

Constantes

CERT_NONE

CERT_OPTIONAL

CERT_REQUIRED

VerifyMode

VERIFY_DEFAULT

VERIFY_CRL_CHECK_LEAF

VERIFY_CRL_CHECK_CHAIN

VERIFY_X509_STRICT

VERIFY_ALLOW_PROXY_CERTS

VERIFY_X509_TRUSTED_FIRST

VERIFY_X509_PARTIAL_CHAIN

VerifyFlags

PROTOCOL_TLS

PROTOCOL_TLS_CLIENT

PROTOCOL_TLS_SERVER

PROTOCOL_SSLv23

PROTOCOL_SSLv3

PROTOCOL_TLSv1

PROTOCOL_TLSv1_1

PROTOCOL_TLSv1_2

OP_ALL

OP_NO_SSLv2

OP_NO_SSLv3

OP_NO_TLSv1

OP_NO_TLSv1_1

OP_NO_TLSv1_2

OP_NO_TLSv1_3

OP_NO_RENEGOTIATION

OP_CIPHER_SERVER_PREFERENCE

OP_SINGLE_DH_USE

OP_SINGLE_ECDH_USE

OP_ENABLE_MIDDLEBOX_COMPAT

OP_NO_COMPRESSION

Options

OP_NO_TICKET

OP_IGNORE_UNEXPECTED_EOF

OP_ENABLE_KTLS

OP_LEGACY_SERVER_CONNECT

HAS_ALPN

HAS_NEVER_CHECK_COMMON_NAME

HAS_ECDH

HAS_SNI

HAS_NPN

HAS_SSLv2

HAS_SSLv3

HAS_TLSv1

HAS_TLSv1_1

HAS_TLSv1_2

HAS_TLSv1_3

HAS_PSK

CHANNEL_BINDING_TYPES

OPENSSL_VERSION

OPENSSL_VERSION_INFO

OPENSSL_VERSION_NUMBER

ALERT_DESCRIPTION_HANDSHAKE_FAILURE

ALERT_DESCRIPTION_INTERNAL_ERROR

AlertDescription

SERVER_AUTH

CLIENT_AUTH

SSLErrorNumber

TLSVersion

MINIMUM_SUPPORTED

MAXIMUM_SUPPORTED

SSLv3

TLSv1

TLSv1_1

TLSv1_2

TLSv1_3

SSL Sockets

SSLSocket

read()

write()

do_handshake()

getpeercert()

get_verified_chain()

get_unverified_chain()

cipher()

shared_ciphers()

compression()

get_channel_binding()

selected_alpn_protocol()

selected_npn_protocol()

unwrap()

verify_client_post_handshake()

version()

pending()

context

server_side

server_hostname

session

session_reused

SSL Contexts

SSLContext

cert_store_stats()

load_cert_chain()

load_default_certs()

load_verify_locations()

get_ca_certs()

get_ciphers()

set_default_verify_paths()

set_ciphers()

set_alpn_protocols()

set_npn_protocols()

sni_callback

set_servername_callback

load_dh_params()

set_ecdh_curve()

wrap_socket()

sslsocket_class

wrap_bio()

sslobject_class

session_stats()

check_hostname

keylog_filename

maximum_version

minimum_version

num_tickets

options

post_handshake_auth

protocol

hostname_checks_common_name

security_level

verify_flags

verify_mode

set_psk_client_callback()

set_psk_server_callback()

Certificados

Certificate chains

CA certificates

Combined key and certificate

Self-signed certificates

Exemplos

Testing for SSL support

Client-side operation

Server-side operation

Notes on non-blocking sockets

Memory BIO Support

SSLObject

MemoryBIO

pending

eof

read()

write()

write_eof()

SSL session

SSLSession

id

time

timeout

ticket_lifetime_hint

has_ticket

Considerações de segurança

Best defaults

Manual settings

Verifying certificates

Protocol versions

Cipher selection

Multi-processing

TLS 1.3

select — Waiting for I/O completion

error

devpoll()

epoll()

poll()

kqueue()

kevent()

select()

PIPE_BUF

/dev/poll Polling Objects

close()

closed

fileno()

register()

modify()

unregister()

poll()

Edge and Level Trigger Polling (epoll) Objects

close()

closed

fileno()

fromfd()

register()

modify()

unregister()

poll()

Polling Objects

register()

modify()

unregister()

poll()

Kqueue Objects

close()

closed

fileno()

fromfd()

control()

Kevent Objects

ident

filter

flags

fflags

data

udata

selectors — High-level I/O multiplexing

Introdução

Classes

EVENT_READ

EVENT_WRITE

SelectorKey

fileobj

fd

events

data

BaseSelector

register()

unregister()

modify()

select()

close()

get_key()

get_map()

DefaultSelector

SelectSelector

PollSelector

EpollSelector

fileno()

DevpollSelector

fileno()

KqueueSelector

fileno()

Exemplos

signal — Define manipuladores para eventos assíncronos

Regras gerais

Execution of Python signal handlers

Signals and threads

Conteúdo do módulo

Signals

Handlers

Sigmasks

SIG_DFL

SIG_IGN

SIGABRT

SIGALRM

SIGBREAK

SIGBUS

SIGCHLD

SIGCLD

SIGCONT

SIGFPE

SIGHUP

SIGILL

SIGINT

SIGKILL

SIGPIPE

SIGSEGV

SIGSTKFLT

SIGTERM

SIGUSR1

SIGUSR2

SIGWINCH

CTRL_C_EVENT

CTRL_BREAK_EVENT

NSIG

ITIMER_REAL

ITIMER_VIRTUAL

ITIMER_PROF

SIG_BLOCK

SIG_UNBLOCK

SIG_SETMASK

ItimerError

alarm()

getsignal()

strsignal()

valid_signals()

pause()

raise_signal()

pidfd_send_signal()

pthread_kill()

pthread_sigmask()

setitimer()

getitimer()

set_wakeup_fd()

siginterrupt()

signal()

sigpending()

sigwait()

sigwaitinfo()

sigtimedwait()

Exemplos

Note on SIGPIPE

Note on Signal Handlers and Exceptions

mmap — Memory-mapped file support

mmap

close()

closed

find()

flush()

madvise()

move()

read()

read_byte()

readline()

resize()

rfind()

seek()

seekable()

size()

tell()

write()

write_byte()

Constantes MADV_*

MADV_NORMAL

MADV_RANDOM

MADV_SEQUENTIAL

MADV_WILLNEED

MADV_DONTNEED

MADV_REMOVE

MADV_DONTFORK

MADV_DOFORK

MADV_HWPOISON

MADV_MERGEABLE

MADV_UNMERGEABLE

MADV_SOFT_OFFLINE

MADV_HUGEPAGE

MADV_NOHUGEPAGE

MADV_DONTDUMP

MADV_DODUMP

MADV_FREE

MADV_NOSYNC

MADV_AUTOSYNC

MADV_NOCORE

MADV_CORE

MADV_PROTECT

MADV_FREE_REUSABLE

MADV_FREE_REUSE

Constantes MAP_*

MAP_SHARED

MAP_PRIVATE

MAP_32BIT

MAP_ALIGNED_SUPER

MAP_ANON

MAP_ANONYMOUS

MAP_CONCEAL

MAP_DENYWRITE

MAP_EXECUTABLE

MAP_HASSEMAPHORE

MAP_JIT

MAP_NOCACHE

MAP_NOEXTEND

MAP_NORESERVE

MAP_POPULATE

MAP_RESILIENT_CODESIGN

MAP_RESILIENT_MEDIA

MAP_STACK

MAP_TPRO

MAP_TRANSLATED_ALLOW_EXECUTE

MAP_UNIX03

Manuseio de Dados na Internet

email — Um e-mail e um pacote MIME manipulável

email.message: Representing an email message

EmailMessage

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

set_param()

del_param()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

is_attachment()

get_content_disposition()

walk()

get_body()

iter_attachments()

iter_parts()

get_content()

set_content()

make_related()

make_alternative()

make_mixed()

add_related()

add_alternative()

add_attachment()

clear()

clear_content()

preamble

epilogue

defects

MIMEPart

email.parser: Parsing email messages

API do FeedParser

BytesFeedParser

feed()

close()

FeedParser

Parser API

BytesParser

parse()

parsebytes()

BytesHeaderParser

Parser

parse()

parsestr()

HeaderParser

message_from_bytes()

message_from_binary_file()

message_from_string()

message_from_file()

Additional notes

email.generator: Generating MIME documents

BytesGenerator

flatten()

clone()

write()

Generator

flatten()

clone()

write()

DecodedGenerator

email.policy: Policy Objects

Policy

max_line_length

linesep

cte_type

raise_on_defect

mangle_from_

message_factory

verify_generated_headers

clone()

handle_defect()

register_defect()

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

EmailPolicy

utf8

refold_source

header_factory

content_manager

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

default

SMTP

SMTPUTF8

HTTP

strict

Compat32

mangle_from_

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

compat32

email.errors: Exception and Defect classes

MessageError

MessageParseError

HeaderParseError

BoundaryError

MultipartConversionError

HeaderWriteError

MessageDefect

HeaderDefect

email.headerregistry: Custom Header Objects

BaseHeader

name

defects

max_count

fold()

UnstructuredHeader

DateHeader

datetime

AddressHeader

groups

addresses

SingleAddressHeader

address

MIMEVersionHeader

version

major

minor

ParameterizedMIMEHeader

params

ContentTypeHeader

content_type

maintype

subtype

ContentDispositionHeader

content_disposition

ContentTransferEncoding

cte

HeaderRegistry

map_to_type()

__getitem__()

__call__()

Address

display_name

username

domain

addr_spec

__str__()

Group

display_name

addresses

__str__()

email.contentmanager: Managing MIME Content

ContentManager

get_content()

set_content()

add_get_handler()

add_set_handler()

Content Manager Instances

raw_data_manager

get_content()

set_content()

email: Exemplos

email.message.Message: Representing an email message using the compat32 API

Message

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

attach()

get_payload()

set_payload()

set_charset()

get_charset()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

get_params()

get_param()

set_param()

del_param()

set_type()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

get_content_disposition()

walk()

preamble

epilogue

defects

email.mime: Creating email and MIME objects from scratch

MIMEBase

MIMENonMultipart

MIMEMultipart

MIMEApplication

MIMEAudio

MIMEImage

MIMEMessage

MIMEText

email.header: Internationalized headers

Header

append()

encode()

__str__()

__eq__()

__ne__()

decode_header()

make_header()

email.charset: Representing character sets

Charset

input_charset

header_encoding

body_encoding

output_charset

input_codec

output_codec

get_body_encoding()

get_output_charset()

header_encode()

header_encode_lines()

body_encode()

__str__()

__eq__()

__ne__()

add_charset()

add_alias()

add_codec()

email.encoders: Encoders

encode_quopri()

encode_base64()

encode_7or8bit()

encode_noop()

email.utils: Utilitários diversos

localtime()

make_msgid()

quote()

unquote()

parseaddr()

formataddr()

getaddresses()

parsedate()

parsedate_tz()

parsedate_to_datetime()

mktime_tz()

formatdate()

format_datetime()

decode_rfc2231()

encode_rfc2231()

collapse_rfc2231_value()

decode_params()

email.iterators: Iteradores

body_line_iterator()

typed_subpart_iterator()

_structure()

json — Codificador e decodificador JSON

Uso básico

dump()

dumps()

load()

loads()

Codificadores e decodificadores

JSONDecoder

decode()

raw_decode()

JSONEncoder

default()

encode()

iterencode()

Exceções

JSONDecodeError

msg

doc

pos

lineno

colno

Conformidade e interoperabilidade entre padrões

Codificações de caracteres

Valores numéricos infinitos e NaN

Nomes repetidos dentro de um objeto

Valores não objeto e não vetor de nível superior

Limitações de implementação

Interface de linha de comando

Opções da linha de comando

mailbox — Manipulate mailboxes in various formats

Mailbox objects

Mailbox

add()

remove()

__delitem__()

discard()

__setitem__()

iterkeys()

keys()

itervalues()

__iter__()

values()

iteritems()

items()

get()

__getitem__()

get_message()

get_bytes()

get_string()

get_file()

__contains__()

__len__()

clear()

pop()

popitem()

update()

flush()

lock()

unlock()

close()

Maildir objects

Maildir

colon

list_folders()

get_folder()

add_folder()

remove_folder()

clean()

get_flags()

set_flags()

add_flag()

remove_flag()

get_info()

set_info()

add()

__setitem__()

update()

flush()

lock()

unlock()

close()

get_file()

mbox objects

mbox

get_file()

lock()

unlock()

MH objects

MH

list_folders()

get_folder()

add_folder()

remove_folder()

get_sequences()

set_sequences()

pack()

remove()

__delitem__()

discard()

lock()

unlock()

get_file()

flush()

close()

Babyl objects

Babyl

get_labels()

get_file()

lock()

unlock()

MMDF objects

MMDF

get_file()

lock()

unlock()

Message objects

Message

MaildirMessage objects

MaildirMessage

get_subdir()

set_subdir()

get_flags()

set_flags()

add_flag()

remove_flag()

get_date()

set_date()

get_info()

set_info()

mboxMessage objects

mboxMessage

get_from()

set_from()

get_flags()

set_flags()

add_flag()

remove_flag()

MHMessage objects

MHMessage

get_sequences()

set_sequences()

add_sequence()

remove_sequence()

BabylMessage objects

BabylMessage

get_labels()

set_labels()

add_label()

remove_label()

get_visible()

set_visible()

update_visible()

MMDFMessage objects

MMDFMessage

get_from()

set_from()

get_flags()

set_flags()

add_flag()

remove_flag()

Exceções

Error

NoSuchMailboxError

NotEmptyError

ExternalClashError

FormatError

Exemplos

mimetypes — Mapeia nomes de arquivos para tipos MIME

guess_type()

guess_file_type()

guess_all_extensions()

guess_extension()

init()

read_mime_types()

add_type()

inited

knownfiles

suffix_map

encodings_map

types_map

common_types

Objetos MimeTypes

MimeTypes

suffix_map

encodings_map

types_map

types_map_inv

guess_extension()

guess_type()

guess_file_type()

guess_all_extensions()

read()

readfp()

read_windows_registry()

add_type()

base64 — Base16, Base32, Base64, Base85 Data Encodings

b64encode()

b64decode()

standard_b64encode()

standard_b64decode()

urlsafe_b64encode()

urlsafe_b64decode()

b32encode()

b32decode()

b32hexencode()

b32hexdecode()

b16encode()

b16decode()

a85encode()

a85decode()

b85encode()

b85decode()

z85encode()

z85decode()

decode()

decodebytes()

encode()

encodebytes()

Considerações de Segurança

binascii — Convert between binary and ASCII

a2b_uu()

b2a_uu()

a2b_base64()

b2a_base64()

a2b_qp()

b2a_qp()

crc_hqx()

crc32()

b2a_hex()

hexlify()

a2b_hex()

unhexlify()

Error

Incomplete

quopri — Codifica e decodifica dados MIME imprimidos entre aspas

decode()

encode()

decodestring()

encodestring()

Ferramentas de Processamento de Markup Estruturado

html — Suporte HTML (HyperText Markup Language)

escape()

unescape()

html.parser — Simple HTML and XHTML parser

HTMLParser

Example HTML Parser Application

HTMLParser Methods

feed()

close()

reset()

getpos()

get_starttag_text()

handle_starttag()

handle_endtag()

handle_startendtag()

handle_data()

handle_entityref()

handle_charref()

handle_comment()

handle_decl()

handle_pi()

unknown_decl()

Exemplos

html.entities — Definições de entidades gerais de HTML

html5

entitydefs

name2codepoint

codepoint2name

Módulos de Processamento de XML

Vulnerabilidades em XML

O Pacote defusedxml

xml.etree.ElementTree — A API XML ElementTree

Tutorial

Árvore e elementos XML

Analisando XML

A API de pull para análise sem bloqueio

Encontrando elementos interessantes

Modificando um arquivo XML

Construindo documentos XML

Analisando XML com espaços de nomes

Suporte a XPath

Exemplo

Supported XPath syntax

Referência

Funções

canonicalize()

Comment()

dump()

fromstring()

fromstringlist()

indent()

iselement()

iterparse()

parse()

ProcessingInstruction()

register_namespace()

SubElement()

tostring()

tostringlist()

XML()

XMLID()

XInclude support

Exemplo

Referência

Funções

default_loader()

include()

Element Objects

Element

tag

text

tail

attrib

clear()

get()

items()

keys()

set()

append()

extend()

find()

findall()

findtext()

insert()

iter()

iterfind()

itertext()

makeelement()

remove()

ElementTree Objects

ElementTree

_setroot()

find()

findall()

findtext()

getroot()

iter()

iterfind()

parse()

write()

QName Objects

QName

TreeBuilder Objects

TreeBuilder

close()

data()

end()

start()

comment()

pi()

doctype()

start_ns()

end_ns()

C14NWriterTarget

Objetos XMLParser

XMLParser

close()

feed()

flush()

XMLPullParser Objects

XMLPullParser

feed()

flush()

close()

read_events()

Exceções

ParseError

code

position

xml.dom — The Document Object Model API

Conteúdo do módulo

registerDOMImplementation()

getDOMImplementation()

EMPTY_NAMESPACE

XML_NAMESPACE

XMLNS_NAMESPACE

XHTML_NAMESPACE

Objects in the DOM

DOMImplementation Objects

hasFeature()

createDocument()

createDocumentType()

Objetos Node

nodeType

parentNode

attributes

previousSibling

nextSibling

childNodes

firstChild

lastChild

localName

prefix

namespaceURI

nodeName

nodeValue

hasAttributes()

hasChildNodes()

isSameNode()

appendChild()

insertBefore()

removeChild()

replaceChild()

normalize()

cloneNode()

Objetos NodeList

item()

length

DocumentType Objects

publicId

systemId

internalSubset

name

entities

notations

Document Objects

documentElement

createElement()

createElementNS()

createTextNode()

createComment()

createProcessingInstruction()

createAttribute()

createAttributeNS()

getElementsByTagName()

getElementsByTagNameNS()

Element Objects

tagName

getElementsByTagName()

getElementsByTagNameNS()

hasAttribute()

hasAttributeNS()

getAttribute()

getAttributeNode()

getAttributeNS()

getAttributeNodeNS()

removeAttribute()

removeAttributeNode()

removeAttributeNS()

setAttribute()

setAttributeNode()

setAttributeNodeNS()

setAttributeNS()

Attr Objects

name

localName

prefix

value

NamedNodeMap Objects

length

item()

Comment Objects

data

Text and CDATASection Objects

data

Objetos ProcessingInstruction

target

data

Exceções

DOMException

DomstringSizeErr

HierarchyRequestErr

IndexSizeErr

InuseAttributeErr

InvalidAccessErr

InvalidCharacterErr

InvalidModificationErr

InvalidStateErr

NamespaceErr

NotFoundErr

NotSupportedErr

NoDataAllowedErr

NoModificationAllowedErr

SyntaxErr

WrongDocumentErr

Conformance

Type Mapping

Accessor Methods

xml.dom.minidom — Minimal DOM implementation

parse()

parseString()

Objetos DOM

unlink()

writexml()

toxml()

toprettyxml()

DOM Example

minidom e o padrão DOM

xml.dom.pulldom — Support for building partial DOM trees

PullDom

SAX2DOM

parse()

parseString()

default_bufsize

Objetos DOMEventStream

DOMEventStream

getEvent()

expandNode()

reset()

xml.sax — Support for SAX2 parsers

make_parser()

parse()

parseString()

SAXException

SAXParseException

SAXNotRecognizedException

SAXNotSupportedException

SAXException Objects

getMessage()

getException()

xml.sax.handler — Base classes for SAX handlers

ContentHandler

DTDHandler

EntityResolver

ErrorHandler

LexicalHandler

feature_namespaces

feature_namespace_prefixes

feature_string_interning

feature_validation

feature_external_ges

feature_external_pes

all_features

property_lexical_handler

property_declaration_handler

property_dom_node

property_xml_string

all_properties

ContentHandler Objects

setDocumentLocator()

startDocument()

endDocument()

startPrefixMapping()

endPrefixMapping()

startElement()

endElement()

startElementNS()

endElementNS()

characters()

ignorableWhitespace()

processingInstruction()

skippedEntity()

DTDHandler Objects

notationDecl()

unparsedEntityDecl()

EntityResolver Objects

resolveEntity()

ErrorHandler Objects

error()

fatalError()

warning()

LexicalHandler Objects

comment()

startDTD()

endDTD()

startCDATA()

endCDATA()

xml.sax.saxutils — SAX Utilities

escape()

unescape()

quoteattr()

XMLGenerator

XMLFilterBase

prepare_input_source()

xml.sax.xmlreader — Interface for XML parsers

XMLReader

IncrementalParser

Locator

InputSource

AttributesImpl

AttributesNSImpl

XMLReader Objects

parse()

getContentHandler()

setContentHandler()

getDTDHandler()

setDTDHandler()

getEntityResolver()

setEntityResolver()

getErrorHandler()

setErrorHandler()

setLocale()

getFeature()

setFeature()

getProperty()

setProperty()

IncrementalParser Objects

feed()

close()

reset()

Locator Objects

getColumnNumber()

getLineNumber()

getPublicId()

getSystemId()

InputSource Objects

setPublicId()

getPublicId()

setSystemId()

getSystemId()

setEncoding()

getEncoding()

setByteStream()

getByteStream()

setCharacterStream()

getCharacterStream()

The Attributes Interface

getLength()

getNames()

getType()

getValue()

The AttributesNS Interface

getValueByQName()

getNameByQName()

getQNameByName()

getQNames()

xml.parsers.expat — Fast XML parsing using Expat

ExpatError

error

XMLParserType

ErrorString()

ParserCreate()

Objetos XMLParser

Parse()

ParseFile()

SetBase()

GetBase()

GetInputContext()

ExternalEntityParserCreate()

SetParamEntityParsing()

UseForeignDTD()

SetReparseDeferralEnabled()

GetReparseDeferralEnabled()

buffer_size

buffer_text

buffer_used

ordered_attributes

specified_attributes

ErrorByteIndex

ErrorCode

ErrorColumnNumber

ErrorLineNumber

CurrentByteIndex

CurrentColumnNumber

CurrentLineNumber

XmlDeclHandler()

StartDoctypeDeclHandler()

EndDoctypeDeclHandler()

ElementDeclHandler()

AttlistDeclHandler()

StartElementHandler()

EndElementHandler()

ProcessingInstructionHandler()

CharacterDataHandler()

UnparsedEntityDeclHandler()

EntityDeclHandler()

NotationDeclHandler()

StartNamespaceDeclHandler()

EndNamespaceDeclHandler()

CommentHandler()

StartCdataSectionHandler()

EndCdataSectionHandler()

DefaultHandler()

DefaultHandlerExpand()

NotStandaloneHandler()

ExternalEntityRefHandler()

Exceções ExpatError

code

lineno

offset

Exemplo

Content Model Descriptions

Expat error constants

codes

messages

XML_ERROR_ASYNC_ENTITY

XML_ERROR_ATTRIBUTE_EXTERNAL_ENTITY_REF

XML_ERROR_BAD_CHAR_REF

XML_ERROR_BINARY_ENTITY_REF

XML_ERROR_DUPLICATE_ATTRIBUTE

XML_ERROR_INCORRECT_ENCODING

XML_ERROR_INVALID_TOKEN

XML_ERROR_JUNK_AFTER_DOC_ELEMENT

XML_ERROR_MISPLACED_XML_PI

XML_ERROR_NO_ELEMENTS

XML_ERROR_NO_MEMORY

XML_ERROR_PARAM_ENTITY_REF

XML_ERROR_PARTIAL_CHAR

XML_ERROR_RECURSIVE_ENTITY_REF

XML_ERROR_SYNTAX

XML_ERROR_TAG_MISMATCH

XML_ERROR_UNCLOSED_TOKEN

XML_ERROR_UNDEFINED_ENTITY

XML_ERROR_UNKNOWN_ENCODING

XML_ERROR_UNCLOSED_CDATA_SECTION

XML_ERROR_EXTERNAL_ENTITY_HANDLING

XML_ERROR_NOT_STANDALONE

XML_ERROR_UNEXPECTED_STATE

XML_ERROR_ENTITY_DECLARED_IN_PE

XML_ERROR_FEATURE_REQUIRES_XML_DTD

XML_ERROR_CANT_CHANGE_FEATURE_ONCE_PARSING

XML_ERROR_UNBOUND_PREFIX

XML_ERROR_UNDECLARING_PREFIX

XML_ERROR_INCOMPLETE_PE

XML_ERROR_XML_DECL

XML_ERROR_TEXT_DECL

XML_ERROR_PUBLICID

XML_ERROR_SUSPENDED

XML_ERROR_NOT_SUSPENDED

XML_ERROR_ABORTED

XML_ERROR_FINISHED

XML_ERROR_SUSPEND_PE

XML_ERROR_RESERVED_PREFIX_XML

XML_ERROR_RESERVED_PREFIX_XMLNS

XML_ERROR_RESERVED_NAMESPACE_URI

XML_ERROR_INVALID_ARGUMENT

XML_ERROR_NO_BUFFER

XML_ERROR_AMPLIFICATION_LIMIT_BREACH

Protocolos de Internet e Suporte

webbrowser — Convenient web-browser controller

Error

open()

open_new()

open_new_tab()

get()

register()

Browser Controller Objects

name

open()

open_new()

open_new_tab()

wsgiref — WSGI Utilities and Reference Implementation

wsgiref.util – Utilidades do ambiente WSGI

guess_scheme()

request_uri()

application_uri()

shift_path_info()

setup_testing_defaults()

is_hop_by_hop()

FileWrapper

wsgiref.headers – WSGI response header tools

Headers

get_all()

add_header()

wsgiref.simple_server – a simple WSGI HTTP server

make_server()

demo_app()

WSGIServer

set_app()

get_app()

WSGIRequestHandler

get_environ()

get_stderr()

handle()

wsgiref.validate — WSGI conformance checker

validator()

wsgiref.handlers – server/gateway base classes

CGIHandler

IISCGIHandler

BaseCGIHandler

SimpleHandler

BaseHandler

run()

_write()

_flush()

get_stdin()

get_stderr()

add_cgi_vars()

wsgi_multithread

wsgi_multiprocess

wsgi_run_once

os_environ

server_software

get_scheme()

setup_environ()

log_exception()

traceback_limit

error_output()

error_status

error_headers

error_body

wsgi_file_wrapper

sendfile()

origin_server

http_version

read_environ()

wsgiref.types – WSGI types for static type checking

StartResponse

WSGIEnvironment

WSGIApplication

InputStream

ErrorStream

FileWrapper

Exemplos

urllib — Módulos de manipulação de URL

urllib.request — Extensible library for opening URLs

urlopen()

install_opener()

build_opener()

pathname2url()

url2pathname()

getproxies()

Request

OpenerDirector

BaseHandler

HTTPDefaultErrorHandler

HTTPRedirectHandler

HTTPCookieProcessor

ProxyHandler

HTTPPasswordMgr

HTTPPasswordMgrWithDefaultRealm

HTTPPasswordMgrWithPriorAuth

AbstractBasicAuthHandler

HTTPBasicAuthHandler

ProxyBasicAuthHandler

AbstractDigestAuthHandler

HTTPDigestAuthHandler

ProxyDigestAuthHandler

HTTPHandler

HTTPSHandler

FileHandler

DataHandler

FTPHandler

CacheFTPHandler

UnknownHandler

HTTPErrorProcessor

Objeto Request

full_url

type

host

origin_req_host

selector

data

unverifiable

method

get_method()

add_header()

add_unredirected_header()

has_header()

remove_header()

get_full_url()

set_proxy()

get_header()

header_items()

OpenerDirector Objects

add_handler()

open()

error()

BaseHandler Objects

add_parent()

close()

parent

default_open()

unknown_open()

http_error_default()

HTTPRedirectHandler Objects

redirect_request()

http_error_301()

http_error_302()

http_error_303()

http_error_307()

http_error_308()

HTTPCookieProcessor Objects

cookiejar

ProxyHandler Objects

HTTPPasswordMgr Objects

add_password()

find_user_password()

HTTPPasswordMgrWithPriorAuth Objects

add_password()

find_user_password()

update_authenticated()

is_authenticated()

AbstractBasicAuthHandler Objects

http_error_auth_reqed()

HTTPBasicAuthHandler Objects

http_error_401()

ProxyBasicAuthHandler Objects

http_error_407()

AbstractDigestAuthHandler Objects

http_error_auth_reqed()

HTTPDigestAuthHandler Objects

http_error_401()

ProxyDigestAuthHandler Objects

http_error_407()

HTTPHandler Objects

http_open()

Objetos HTTPSHandler

https_open()

FileHandler Objects

file_open()

DataHandler Objects

data_open()

FTPHandler Objects

ftp_open()

CacheFTPHandler Objects

setTimeout()

setMaxConns()

Objetos UnknownHandler

unknown_open()

HTTPErrorProcessor Objects

http_response()

https_response()

Exemplos

Legacy interface

urlretrieve()

urlcleanup()

URLopener

open()

open_unknown()

retrieve()

version

FancyURLopener

prompt_user_passwd()

urllib.request Restrictions

urllib.response — Response classes used by urllib

addinfourl

url

headers

status

geturl()

info()

code

getcode()

urllib.parse — Analisa URLs para componentes

Análise de URL

urlparse()

parse_qs()

parse_qsl()

urlunparse()

urlsplit()

urlunsplit()

urljoin()

urldefrag()

unwrap()

Segurança ao analisar URLs

Analisando bytes codificados em ASCII

Structured Parse Results

geturl()

DefragResult

ParseResult

SplitResult

DefragResultBytes

ParseResultBytes

SplitResultBytes

URL Quoting

quote()

quote_plus()

quote_from_bytes()

unquote()

unquote_plus()

unquote_to_bytes()

urlencode()

urllib.error — Classes de exceção levantadas por urllib.request

URLError

reason

HTTPError

url

code

reason

headers

fp

ContentTooShortError

content

urllib.robotparser — Parser for robots.txt

RobotFileParser

set_url()

read()

parse()

can_fetch()

mtime()

modified()

crawl_delay()

request_rate()

site_maps()

http — HTTP modules

HTTPStatus

códigos de status HTTP

Categorias de HTTP status

HTTPMethod

Métodos HTTP

http.client — HTTP protocol client

HTTPConnection

HTTPSConnection

HTTPResponse

parse_headers()

HTTPException

NotConnected

InvalidURL

UnknownProtocol

UnknownTransferEncoding

UnimplementedFileMode

IncompleteRead

ImproperConnectionState

CannotSendRequest

CannotSendHeader

ResponseNotReady

BadStatusLine

LineTooLong

RemoteDisconnected

HTTP_PORT

HTTPS_PORT

responses

Objetos de HTTPConnection

request()

getresponse()

set_debuglevel()

set_tunnel()

get_proxy_response_headers()

connect()

close()

blocksize

putrequest()

putheader()

endheaders()

send()

Objetos HTTPResponse

read()

readinto()

getheader()

getheaders()

fileno()

msg

version

url

headers

status

reason

debuglevel

closed

geturl()

info()

getcode()

Exemplos

HTTPMessage Objects

HTTPMessage

ftplib — FTP protocol client

Referência

FTP objects

FTP

set_debuglevel()

connect()

getwelcome()

login()

abort()

sendcmd()

voidcmd()

retrbinary()

retrlines()

set_pasv()

storbinary()

storlines()

transfercmd()

ntransfercmd()

mlsd()

nlst()

dir()

rename()

delete()

cwd()

mkd()

pwd()

rmd()

size()

quit()

close()

FTP_TLS objects

FTP_TLS

ssl_version

auth()

ccc()

prot_p()

prot_c()

Module variables

error_reply

error_temp

error_perm

error_proto

all_errors

poplib — POP3 protocol client

POP3

POP3_SSL

error_proto

Objetos POP3

set_debuglevel()

getwelcome()

capa()

user()

pass_()

apop()

rpop()

stat()

list()

retr()

dele()

rset()

noop()

quit()

top()

uidl()

utf8()

stls()

Exemplo POP3

imaplib — IMAP4 protocol client

IMAP4

error

abort

readonly

IMAP4_SSL

IMAP4_stream

Internaldate2tuple()

Int2AP()

ParseFlags()

Time2Internaldate()

Objetos IMAP4

append()

authenticate()

check()

close()

copy()

create()

delete()

deleteacl()

enable()

expunge()

fetch()

getacl()

getannotation()

getquota()

getquotaroot()

list()

login()

login_cram_md5()

logout()

lsub()

myrights()

namespace()

noop()

open()

partial()

proxyauth()

read()

readline()

recent()

rename()

response()

search()

select()

send()

setacl()

setannotation()

setquota()

shutdown()

socket()

sort()

starttls()

status()

store()

subscribe()

thread()

uid()

unsubscribe()

unselect()

xatom()

PROTOCOL_VERSION

debug

utf8_enabled

Exemplo IMAP4

smtplib — SMTP protocol client

SMTP

SMTP_SSL

LMTP

SMTPException

SMTPServerDisconnected

SMTPResponseException

SMTPSenderRefused

SMTPRecipientsRefused

SMTPDataError

SMTPConnectError

SMTPHeloError

SMTPNotSupportedError

SMTPAuthenticationError

Objetos SMTP

set_debuglevel()

docmd()

connect()

helo()

ehlo()

ehlo_or_helo_if_needed()

has_extn()

verify()

login()

auth()

starttls()

sendmail()

send_message()

quit()

Exemplo SMTP

uuid — UUID objects according to RFC 4122

SafeUUID

safe

unsafe

unknown

UUID

bytes

bytes_le

fields

time_low

time_mid

time_hi_version

clock_seq_hi_variant

clock_seq_low

node

time

clock_seq

hex

int

urn

variant

version

is_safe

getnode()

uuid1()

uuid3()

uuid4()

uuid5()

NAMESPACE_DNS

NAMESPACE_URL

NAMESPACE_OID

NAMESPACE_X500

RESERVED_NCS

RFC_4122

RESERVED_MICROSOFT

RESERVED_FUTURE

Uso na linha de comando

Exemplo

Command-Line Example

socketserver — A framework for network servers

TCPServer

UDPServer

UnixStreamServer

UnixDatagramServer

Server Creation Notes

ForkingMixIn

ThreadingMixIn

block_on_close

daemon_threads

ForkingTCPServer

ForkingUDPServer

ThreadingTCPServer

ThreadingUDPServer

ForkingUnixStreamServer

ForkingUnixDatagramServer

ThreadingUnixStreamServer

ThreadingUnixDatagramServer

Objetos Server

BaseServer

fileno()

handle_request()

serve_forever()

service_actions()

shutdown()

server_close()

address_family

RequestHandlerClass

server_address

socket

allow_reuse_address

request_queue_size

socket_type

timeout

finish_request()

get_request()

handle_error()

handle_timeout()

process_request()

server_activate()

server_bind()

verify_request()

Request Handler Objects

BaseRequestHandler

setup()

handle()

finish()

request

client_address

server

StreamRequestHandler

DatagramRequestHandler

rfile

wfile

Exemplos

socketserver.TCPServer Example

Exemplo socketserver.UDPServer

Asynchronous Mixins

http.server — HTTP servers

HTTPServer

ThreadingHTTPServer

BaseHTTPRequestHandler

client_address

server

close_connection

requestline

command

path

request_version

headers

rfile

wfile

server_version

sys_version

error_message_format

error_content_type

protocol_version

MessageClass

responses

handle()

handle_one_request()

handle_expect_100()

send_error()

send_response()

send_header()

send_response_only()

end_headers()

flush_headers()

log_request()

log_error()

log_message()

version_string()

date_time_string()

log_date_time_string()

address_string()

SimpleHTTPRequestHandler

server_version

extensions_map

do_HEAD()

do_GET()

CGIHTTPRequestHandler

cgi_directories

do_POST()

Considerações de segurança

http.cookies — HTTP state management

CookieError

BaseCookie

SimpleCookie

Objetos Cookie

value_decode()

value_encode()

output()

js_output()

load()

Objetos Morsel

Morsel

expires

path

comment

domain

secure

version

httponly

samesite

value

coded_value

key

set()

isReservedKey()

output()

js_output()

OutputString()

update()

copy()

setdefault()

Exemplo

http.cookiejar — Cookie handling for HTTP clients

LoadError

CookieJar

FileCookieJar

CookiePolicy

DefaultCookiePolicy

Cookie

CookieJar and FileCookieJar Objects

add_cookie_header()

extract_cookies()

set_policy()

make_cookies()

set_cookie_if_ok()

set_cookie()

clear()

clear_session_cookies()

save()

load()

revert()

filename

delayload

FileCookieJar subclasses and co-operation with web browsers

MozillaCookieJar

LWPCookieJar

Objeto CookiePolicy

set_ok()

return_ok()

domain_return_ok()

path_return_ok()

netscape

rfc2965

hide_cookie2

DefaultCookiePolicy Objects

blocked_domains()

set_blocked_domains()

is_blocked()

allowed_domains()

set_allowed_domains()

is_not_allowed()

rfc2109_as_netscape

strict_domain

strict_rfc2965_unverifiable

strict_ns_unverifiable

strict_ns_domain

strict_ns_set_initial_dollar

strict_ns_set_path

DomainStrictNoDots

DomainStrictNonDomain

DomainRFC2965Match

DomainLiberal

DomainStrict

Objetos Cookie

version

name

value

port

domain

path

secure

expires

discard

comment

comment_url

rfc2109

port_specified

domain_specified

domain_initial_dot

has_nonstandard_attr()

get_nonstandard_attr()

set_nonstandard_attr()

is_expired()

Exemplos

xmlrpc — Módulos de servidor e cliente XMLRPC

xmlrpc.client — Cliente XML-RPC

ServerProxy

Objetos ServerProxy

listMethods()

methodSignature()

methodHelp()

Objetos DateTime

DateTime

decode()

encode()

Objetos Binários

Binary

data

decode()

encode()

Objetos Fault

Fault

faultCode

faultString

Objetos ProtocolError

ProtocolError

url

errcode

errmsg

headers

Objetos MultiCall

MultiCall

Convenience Functions

dumps()

loads()

Exemplo de uso do cliente

Example of Client and Server Usage

xmlrpc.server — Servidores XML-RPC básicos

SimpleXMLRPCServer

CGIXMLRPCRequestHandler

SimpleXMLRPCRequestHandler

Objetos de SimpleXMLRPCServer

register_function()

register_instance()

register_introspection_functions()

register_multicall_functions()

rpc_paths

Exemplo de SimpleXMLRPCServer

CGIXMLRPCRequestHandler

register_function()

register_instance()

register_introspection_functions()

register_multicall_functions()

handle_request()

Documentando servidor XMLRPC

DocXMLRPCServer

DocCGIXMLRPCRequestHandler

DocXMLRPCRequestHandler

Objetos de DocXMLRPCServer

set_server_title()

set_server_name()

set_server_documentation()

DocCGIXMLRPCRequestHandler

set_server_title()

set_server_name()

set_server_documentation()

ipaddress — Biblioteca de manipulação de IPv4/IPv6

Funções de fábrica de conveniência

ip_address()

ip_network()

ip_interface()

Endereços IP

Objetos de endereço

IPv4Address

version

max_prefixlen

compressed

exploded

packed

reverse_pointer

is_multicast

is_private

is_global

is_unspecified

is_reserved

is_loopback

is_link_local

ipv6_mapped

__format__()

IPv6Address

compressed

exploded

packed

reverse_pointer

version

max_prefixlen

is_multicast

is_private

is_global

is_unspecified

is_reserved

is_loopback

is_link_local

is_site_local

ipv4_mapped

scope_id

sixtofour

teredo

__format__()

Conversão para strings e inteiros

Operadores

Operadores de comparação

Operadores aritméticos

Definições de rede IP

Prefixo, máscara de rede e máscara de host

Objetos de rede

IPv4Network

version

max_prefixlen

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

network_address

broadcast_address

hostmask

netmask

with_prefixlen

compressed

exploded

with_netmask

with_hostmask

num_addresses

prefixlen

hosts()

overlaps()

address_exclude()

subnets()

supernet()

subnet_of()

supernet_of()

compare_networks()

IPv6Network

version

max_prefixlen

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

network_address

broadcast_address

hostmask

netmask

with_prefixlen

compressed

exploded

with_netmask

with_hostmask

num_addresses

prefixlen

hosts()

overlaps()

address_exclude()

subnets()

supernet()

subnet_of()

supernet_of()

compare_networks()

is_site_local

Operadores

Operadores lógicos

Iteração

Redes como contêineres de endereços

Objetos de interface

IPv4Interface

ip

network

with_prefixlen

with_netmask

with_hostmask

IPv6Interface

ip

network

with_prefixlen

with_netmask

with_hostmask

Operadores

Operadores lógicos

Outras funções de nível de módulo

v4_int_to_packed()

v6_int_to_packed()

summarize_address_range()

collapse_addresses()

get_mixed_type_key()

Exceções personalizadas

AddressValueError

NetmaskValueError

Serviços Multimídia

wave — Read and write WAV files

open()

Error

Objetos Wave_read

Wave_read

close()

getnchannels()

getsampwidth()

getframerate()

getnframes()

getcomptype()

getcompname()

getparams()

readframes()

rewind()

getmarkers()

getmark()

setpos()

tell()

Objetos Wave_write

Wave_write

close()

setnchannels()

setsampwidth()

setframerate()

setnframes()

setcomptype()

setparams()

tell()

writeframesraw()

writeframes()

colorsys — Conversões entre sistemas de cores

rgb_to_yiq()

yiq_to_rgb()

rgb_to_hls()

hls_to_rgb()

rgb_to_hsv()

hsv_to_rgb()

Internacionalização

gettext — Serviços de internacionalização multilíngues

API do GNU gettext

bindtextdomain()

textdomain()

gettext()

dgettext()

ngettext()

dngettext()

pgettext()

dpgettext()

npgettext()

dnpgettext()

API baseada em classe

find()

translation()

install()

A classe NullTranslations

NullTranslations

_parse()

add_fallback()

gettext()

ngettext()

pgettext()

npgettext()

info()

charset()

install()

A classe GNUTranslations

GNUTranslations

gettext()

ngettext()

pgettext()

npgettext()

Suporte a catálogo de mensagens do Solaris

O construtor Catalog

Internacionalizando seus programas e módulos

Localizando seu módulo

Localizando sua aplicação

Alterando os idiomas durante o uso

Traduções adiadas

Reconhecimentos

locale — Serviços de internacionalização

Error

setlocale()

localeconv()

nl_langinfo()

CODESET

D_T_FMT

D_FMT

T_FMT

T_FMT_AMPM

DAY_1

DAY_2

DAY_3

DAY_4

DAY_5

DAY_6

DAY_7

ABDAY_1

ABDAY_2

ABDAY_3

ABDAY_4

ABDAY_5

ABDAY_6

ABDAY_7

MON_1

MON_2

MON_3

MON_4

MON_5

MON_6

MON_7

MON_8

MON_9

MON_10

MON_11

MON_12

ABMON_1

ABMON_2

ABMON_3

ABMON_4

ABMON_5

ABMON_6

ABMON_7

ABMON_8

ABMON_9

ABMON_10

ABMON_11

ABMON_12

RADIXCHAR

THOUSEP

YESEXPR

NOEXPR

CRNCYSTR

ERA

ERA_D_T_FMT

ERA_D_FMT

ERA_T_FMT

ALT_DIGITS

getdefaultlocale()

getlocale()

getpreferredencoding()

getencoding()

normalize()

strcoll()

strxfrm()

format_string()

currency()

str()

delocalize()

localize()

atof()

atoi()

LC_CTYPE

LC_COLLATE

LC_TIME

LC_MONETARY

LC_MESSAGES

LC_NUMERIC

LC_ALL

CHAR_MAX

Histórico, detalhes, dicas, dicas e advertências

Para escritores de extensão e programas que incorporam Python

Acesso a catálogos de mensagens

gettext()

dgettext()

dcgettext()

textdomain()

bindtextdomain()

bind_textdomain_codeset()

Frameworks de programa

turtle — Gráficos Tartaruga

Introdução

Começando

Tutorial

Iniciando um ambiente de desenvolvimento da tartaruga

Desenho básico

Controle da Caneta

A posição da tartaruga

Criação de padrões algorítmicos

Como fazer…

Comece o mais rápido possível

Use o espaço de nomes do módulo turtle

Use o módulo gráfico de tartaruga dentro de um script com código específico

Use o módulo gráficos da tartaruga orientado a objetos

Referência Gráficos de Tartaruga

Métodos de Turtle

Métodos de TurtleScreen/Screen

Métodos de RawTurtle/Turtle e funções correspondentes

Movimentos de Turtle

forward()

fd()

back()

bk()

backward()

right()

rt()

left()

lt()

goto()

setpos()

setposition()

teleport()

setx()

sety()

setheading()

seth()

home()

circle()

dot()

stamp()

clearstamp()

clearstamps()

undo()

speed()

Fala o estado de Turtle

position()

pos()

towards()

xcor()

ycor()

heading()

distance()

Configurações de medida

degrees()

radians()

Controle da Caneta

Estado do Desenho

pendown()

pd()

down()

penup()

pu()

up()

pensize()

width()

pen()

isdown()

Controle da Cor

pencolor()

fillcolor()

color()

Preenchimento

filling()

begin_fill()

end_fill()

Mais sobre o Controle do Desenho

reset()

clear()

write()

Estado da tartaruga

Visibilidade

hideturtle()

ht()

showturtle()

st()

isvisible()

Aparência

shape()

resizemode()

shapesize()

turtlesize()

shearfactor()

tilt()

tiltangle()

shapetransform()

get_shapepoly()

Eventos Utilizados

onrelease()

ondrag()

Métodos Especiais da Tartaruga

begin_poly()

end_poly()

get_poly()

clone()

getturtle()

getpen()

getscreen()

setundobuffer()

undobufferentries()

Formas compostas

métodos do TurtleScreen/Screen e as funções correspondentes

Controle da Janela

bgcolor()

bgpic()

clearscreen()

resetscreen()

screensize()

setworldcoordinates()

Controle da animação

delay()

tracer()

update()

Usando os eventos de tela

listen()

onkey()

onkeyrelease()

onkeypress()

onclick()

onscreenclick()

ontimer()

mainloop()

done()

Métodos de entrada

textinput()

numinput()

Configurações e métodos especiais

mode()

colormode()

getcanvas()

getshapes()

register_shape()

addshape()

turtles()

window_height()

window_width()

Métodos específico do Screen, estes métodos não são herdados do TurtleScreen

bye()

exitonclick()

setup()

title()

Classes Públicas

RawTurtle

RawPen

Turtle

TurtleScreen

Screen

ScrolledCanvas

Shape

addcomponent()

Vec2D

Explicação

Ajuda e Configuração

Como usar a Ajuda

Tradução de docstrings em diferentes idiomas

write_docstringdict()

Como configurar Screen and Turtles

turtledemo — Scripts de Demonstração

Modificações desde a versão do Python 2.6

Modificações desde a versão do Python 3.0

cmd — Support for line-oriented command interpreters

Cmd

Objetos Cmd

cmdloop()

do_help()

onecmd()

emptyline()

default()

completedefault()

columnize()

precmd()

postcmd()

preloop()

postloop()

prompt

identchars

lastcmd

cmdqueue

intro

doc_header

misc_header

undoc_header

ruler

use_rawinput

Exemplo do Cmd

shlex — Simple lexical analysis

split()

join()

quote()

shlex

shlex Objects

get_token()

push_token()

read_token()

sourcehook()

push_source()

pop_source()

error_leader()

commenters

wordchars

whitespace

escape

quotes

escapedquotes

whitespace_split

infile

instream

source

debug

lineno

token

eof

punctuation_chars

Regras de análise

Improved Compatibility with Shells

Interfaces Gráficas de Usuário com Tk

tkinter — Interface Python para Tcl/Tk

Arquitetura

Módulos Tkinter

Tk

tk

master

children

Tcl()

Preservador de vida Tkinter

Um programa Olá Mundo

Conceitos importantes do Tk

Entendendo como Tkinter envolve Tcl/Tk

Como é que eu…? Que opção faz…?

Navegando no Manual de Referência Tcl/Tk

Modelo de threading

Referência Útil

Opções de Definição

O Empacotador

Opções do Empacotador

Acoplando Variáveis de Widgets

O Gerenciador de Janela

Opções de Tipos de Dados do Tk

Ligações e Eventos

O Parâmetro index

Imagens

Tratadores de arquivos

createfilehandler()

deletefilehandler()

READABLE

WRITABLE

EXCEPTION

tkinter.colorchooser — Diálogo de escolha de cor

Chooser

askcolor()

tkinter.font — Invólucro de fontes Tkinter

NORMAL

BOLD

ITALIC

ROMAN

Font

actual()

cget()

config()

copy()

measure()

metrics()

families()

names()

nametofont()

Diálogos Tkinter

tkinter.simpledialog — Diálogos de entrada padrão do Tkinter

askfloat()

askinteger()

askstring()

Dialog

body()

buttonbox()

tkinter.filedialog — Caixas de diálogo de seleção de arquivo

Caixas de diálogo nativos de carregar/salvar

askopenfile()

askopenfiles()

asksaveasfile()

askopenfilename()

askopenfilenames()

asksaveasfilename()

askdirectory()

Open

SaveAs

Directory

FileDialog

cancel_command()

dirs_double_event()

dirs_select_event()

files_double_event()

files_select_event()

filter_command()

get_filter()

get_selection()

go()

ok_event()

quit()

set_filter()

set_selection()

LoadFileDialog

ok_command()

SaveFileDialog

ok_command()

tkinter.commondialog — Modelos de janela de diálogo

Dialog

show()

tkinter.messagebox — Prompts de mensagem do Tkinter

Message

show()

showinfo()

showwarning()

showerror()

askquestion()

askokcancel()

askretrycancel()

askyesno()

askyesnocancel()

ABORT

RETRY

IGNORE

OK

CANCEL

YES

NO

ABORTRETRYIGNORE

OKCANCEL

RETRYCANCEL

YESNO

YESNOCANCEL

ERROR

INFO

QUESTION

WARNING

tkinter.scrolledtext — Widget de texto de rolado

ScrolledText

frame

vbar

tkinter.dnd — Suporte para arrastar e soltar

DndHandler

cancel()

finish()

on_motion()

on_release()

dnd_start()

tkinter.ttk — Widgets temáticos do Tk

Usando Ttk

Widgets Ttk

Widget

Opções padrão

Opções de ferramenta rolável

Opções de rótulo

Opções de compatibilidade

Estados de Widget

ttk.Widget

Widget

identify()

instate()

state()

Combobox

Opções

Eventos virtuais

ttk.Combobox

Combobox

current()

get()

set()

Spinbox

Opções

Eventos virtuais

ttk.Spinbox

Spinbox

get()

set()

Notebook

Opções

Tab Options

Tab Identifiers

Virtual Events

ttk.Notebook

Notebook

add()

forget()

hide()

identify()

index()

insert()

select()

tab()

tabs()

enable_traversal()

Progressbar

Opções

ttk.Progressbar

Progressbar

start()

step()

stop()

Separator

Opções

Sizegrip

Platform-specific notes

Bugs

Treeview

Opções

Item Options

Tag Options

Column Identifiers

Virtual Events

ttk.Treeview

Treeview

bbox()

get_children()

set_children()

column()

delete()

detach()

exists()

focus()

heading()

identify()

identify_row()

identify_column()

identify_region()

identify_element()

index()

insert()

item()

move()

next()

parent()

prev()

reattach()

see()

selection()

selection_set()

selection_add()

selection_remove()

selection_toggle()

set()

tag_bind()

tag_configure()

tag_has()

xview()

yview()

Ttk Styling

Style

configure()

map()

lookup()

layout()

element_create()

element_names()

element_options()

theme_create()

theme_settings()

theme_names()

theme_use()

Layouts

IDLE

Menus

Menu Arquivo (Console e Editor)

Edit menu (Shell and Editor)

Format menu (Editor window only)

Run menu (Editor window only)

Shell menu (Shell window only)

Debug menu (Shell window only)

Options menu (Shell and Editor)

Window menu (Shell and Editor)

Help menu (Shell and Editor)

Context menus

Editing and Navigation

Editor windows

Teclas de atalho

Automatic indentation

Busca e Substituição

Completions

Calltips

Code Context

Shell window

Text colors

Startup and Code Execution

Uso na linha de comando

Startup failure

Running user code

User output in Shell

Developing tkinter applications

Running without a subprocess

Help and Preferences

Help sources

Setting preferences

IDLE on macOS

Extensions

idlelib

Ferramentas de Desenvolvimento

typing — Suporte para dicas de tipo

Especificação para o sistema de tipos do Python

Apelidos de tipo

NewType

Anotações de objetos chamáveis

Genéricos

Anotando tuplas

O tipo de objetos de classe

Annotating generators and coroutines

Tipos genéricos definidos pelo usuário

O tipo Any

Subtipagem nominal vs estrutural

Conteúdo do módulo

Tipos primitivos especiais

Tipos especiais

Any

AnyStr

LiteralString

Never

NoReturn

Self

TypeAlias

Formas especiais

Union

Optional

Concatenate

Literal

ClassVar

Final

Required

NotRequired

ReadOnly

Annotated

TypeIs

TypeGuard

Unpack

Criando tipos genéricos e apelidos de tipo

Generic

TypeVar

__name__

__covariant__

__contravariant__

__infer_variance__

__bound__

__constraints__

__default__

has_default()

TypeVarTuple

__name__

__default__

has_default()

ParamSpec

args

kwargs

__name__

__default__

has_default()

ParamSpecArgs

ParamSpecKwargs

TypeAliasType

__name__

__module__

__type_params__

__value__

Outras diretivas especiais

NamedTuple

NewType

__module__

__name__

__supertype__

Protocol

runtime_checkable()

TypedDict

__total__

__required_keys__

__optional_keys__

__readonly_keys__

__mutable_keys__

Protocolos

SupportsAbs

SupportsBytes

SupportsComplex

SupportsFloat

SupportsIndex

SupportsInt

SupportsRound

ABCs para trabalhar com IO

IO

TextIO

BinaryIO

Funções e decoradores

cast()

assert_type()

assert_never()

reveal_type()

dataclass_transform()

overload()

get_overloads()

clear_overloads()

final()

no_type_check()

no_type_check_decorator()

override()

type_check_only()

Introspection helpers

get_type_hints()

get_origin()

get_args()

get_protocol_members()

is_protocol()

is_typeddict()

ForwardRef

NoDefault

Constante

TYPE_CHECKING

Deprecated aliases

Aliases to built-in types

Dict

List

Set

FrozenSet

Tuple

Type

Aliases to types in collections

DefaultDict

OrderedDict

ChainMap

Counter

Deque

Aliases to other concrete types

Pattern

Match

Text

Aliases to container ABCs in collections.abc

AbstractSet

ByteString

Collection

Container

ItemsView

KeysView

Mapping

MappingView

MutableMapping

MutableSequence

MutableSet

Sequence

ValuesView

Aliases to asynchronous ABCs in collections.abc

Coroutine

AsyncGenerator

AsyncIterable

AsyncIterator

Awaitable

Aliases to other ABCs in collections.abc

Iterable

Iterator

Callable

Generator

Hashable

Reversible

Sized

Aliases to contextlib ABCs

ContextManager

AsyncContextManager

Cronograma de Descontinuação dos Principais Recursos

pydoc — Gerador de documentação e sistema de ajuda online

Modo de Desenvolvimento do Python

Efeitos do Modo de Desenvolvimento do Python

Exemplo de ResourceWarning

Exemplo de erro de descritor de arquivo inválido

doctest — Test interactive Python examples

Uso simples: verificando exemplos em Docstrings

Utilização comum: Verificando exemplos em um arquivo texto

Como ele funciona

Quais docstrings são examinadas?

Como os exemplos de docstrings são reconhecidos?

Qual é o contexto de execução?

E quanto às exceções?

Flags opcionais

DONT_ACCEPT_TRUE_FOR_1

DONT_ACCEPT_BLANKLINE

NORMALIZE_WHITESPACE

ELLIPSIS

IGNORE_EXCEPTION_DETAIL

SKIP

COMPARISON_FLAGS

REPORT_UDIFF

REPORT_CDIFF

REPORT_NDIFF

REPORT_ONLY_FIRST_FAILURE

FAIL_FAST

REPORTING_FLAGS

register_optionflag()

Directives

Avisos

Basic API

testfile()

testmod()

run_docstring_examples()

API do Unittest

DocFileSuite()

DocTestSuite()

failureException

set_unittest_reportflags()

Advanced API

DocTest Objects

DocTest

examples

globs

name

filename

lineno

docstring

Example Objects

Example

source

want

exc_msg

lineno

indent

options

DocTestFinder objects

DocTestFinder

find()

DocTestParser objects

DocTestParser

get_doctest()

get_examples()

parse()

TestResults objects

TestResults

failed

attempted

skipped

DocTestRunner objects

DocTestRunner

report_start()

report_success()

report_failure()

report_unexpected_exception()

run()

summarize()

tries

failures

skips

OutputChecker objects

OutputChecker

check_output()

output_difference()

Depuração

script_from_examples()

testsource()

debug()

debug_src()

DebugRunner

DocTestFailure

test

example

got

UnexpectedException

test

example

exc_info

Soapbox

unittest — Unit testing framework

Exemplo Básico

Interface de Linha de Comando

Opções de linha de comando

Test Discovery

Organizando código teste

Reutilizando códigos de teste antigos

Ignorando testes e falhas esperadas

skip()

skipIf()

skipUnless()

expectedFailure()

SkipTest

Distinguindo iterações de teste utilizando subtestes

Classes e funções

Casos de teste

TestCase

setUp()

tearDown()

setUpClass()

tearDownClass()

run()

skipTest()

subTest()

debug()

assertEqual()

assertNotEqual()

assertTrue()

assertFalse()

assertIs()

assertIsNot()

assertIsNone()

assertIsNotNone()

assertIn()

assertNotIn()

assertIsInstance()

assertNotIsInstance()

assertRaises()

assertRaisesRegex()

assertWarns()

assertWarnsRegex()

assertLogs()

records

output

assertNoLogs()

assertAlmostEqual()

assertNotAlmostEqual()

assertGreater()

assertGreaterEqual()

assertLess()

assertLessEqual()

assertRegex()

assertNotRegex()

assertCountEqual()

addTypeEqualityFunc()

assertMultiLineEqual()

assertSequenceEqual()

assertListEqual()

assertTupleEqual()

assertSetEqual()

assertDictEqual()

fail()

failureException

longMessage

maxDiff

countTestCases()

defaultTestResult()

id()

shortDescription()

addCleanup()

enterContext()

doCleanups()

addClassCleanup()

enterClassContext()

doClassCleanups()

IsolatedAsyncioTestCase

loop_factory

asyncSetUp()

asyncTearDown()

addAsyncCleanup()

enterAsyncContext()

run()

FunctionTestCase

Grouping tests

TestSuite

addTest()

addTests()

run()

debug()

countTestCases()

__iter__()

Carregando e executando testes

TestLoader

errors

loadTestsFromTestCase()

loadTestsFromModule()

loadTestsFromName()

loadTestsFromNames()

getTestCaseNames()

discover()

testMethodPrefix

sortTestMethodsUsing

suiteClass

testNamePatterns

TestResult

errors

failures

skipped

expectedFailures

unexpectedSuccesses

collectedDurations

shouldStop

testsRun

buffer

failfast

tb_locals

wasSuccessful()

stop()

startTest()

stopTest()

startTestRun()

stopTestRun()

addError()

addFailure()

addSuccess()

addSkip()

addExpectedFailure()

addUnexpectedSuccess()

addSubTest()

addDuration()

TextTestResult

defaultTestLoader

TextTestRunner

_makeResult()

run()

main()

load_tests Protocol

Classes e Módulos de Definição de Contexto

setUpClass and tearDownClass

setUpModule and tearDownModule

addModuleCleanup()

enterModuleContext()

doModuleCleanups()

Tratamento de sinal

installHandler()

registerResult()

removeResult()

removeHandler()

unittest.mock — mock object library

Guia Rápido

A classe Mock

Mock

assert_called()

assert_called_once()

assert_called_with()

assert_called_once_with()

assert_any_call()

assert_has_calls()

assert_not_called()

reset_mock()

mock_add_spec()

attach_mock()

configure_mock()

__dir__()

_get_child_mock()

called

call_count

return_value

side_effect

call_args

call_args_list

method_calls

mock_calls

__class__

NonCallableMock

PropertyMock

AsyncMock

assert_awaited()

assert_awaited_once()

assert_awaited_with()

assert_awaited_once_with()

assert_any_await()

assert_has_awaits()

assert_not_awaited()

reset_mock()

await_count

await_args

await_args_list

ThreadingMock

wait_until_called()

wait_until_any_call_with()

DEFAULT_TIMEOUT

Fazendo chamadas

Deletando Atributos

Nomes de Mock e o atributo name

Anexando Mocks como Atributos

Os criadores de patches

patch

patch()

patch.object

object()

patch.dict

dict()

patch.multiple

multiple()

métodos do patch: start e stop

stopall()

patch de embutidos

TEST_PREFIX

Aninhando Decoradores Patch

Onde fazer patch

Patching Descriptors and Proxy Objects

MagicMock and magic method support

Simulando Métodos Mágicos

Magic Mock

MagicMock

NonCallableMagicMock

Ajudantes

sentinel

sentinel

DEFAULT

DEFAULT

chamada

call()

call_list()

create_autospec

create_autospec()

ANY

ANY

FILTER_DIR

FILTER_DIR

mock_open

mock_open()

Especificação automática

Vedando mocks

seal()

Order of precedence of side_effect, return_value and wraps

unittest.mock — primeiros passos

Usando Mock

Métodos de aplicação de patches em Mock

Mock de chamadas de métodos em um objeto

Mocking Classes

Nomeando os mocks

Rastreando todas as chamadas

Setting Return Values and Attributes

Raising exceptions with mocks

Side effect functions and iterables

Mocking asynchronous iterators

Mocking asynchronous context manager

Creating a Mock from an Existing Object

Using side_effect to return per file content

Patch Decorators

Further Examples

Mocking chained calls

Partial mocking

Mocking a Generator Method

Applying the same patch to every test method

Mocking Unbound Methods

Checking multiple calls with mock

Coping with mutable arguments

Nesting Patches

Mocking a dictionary with MagicMock

Mock subclasses and their attributes

Mocking imports with patch.dict

Tracking order of calls and less verbose call assertions

More complex argument matching

test — Regression tests package for Python

Escrever testes unitários para o pacote test

Executando testes usando a interface de linha de comando

test.support — Utilitários para o conjunto de teste do Python

TestFailed

ResourceDenied

verbose

is_jython

is_android

unix_shell

LOOPBACK_TIMEOUT

INTERNET_TIMEOUT

SHORT_TIMEOUT

LONG_TIMEOUT

PGO

PIPE_MAX_SIZE

Py_DEBUG

SOCK_MAX_SIZE

TEST_SUPPORT_DIR

TEST_HOME_DIR

TEST_DATA_DIR

MAX_Py_ssize_t

max_memuse

real_max_memuse

MISSING_C_DOCSTRINGS

HAVE_DOCSTRINGS

TEST_HTTP_URL

ALWAYS_EQ

NEVER_EQ

LARGEST

SMALLEST

busy_retry()

sleeping_retry()

is_resource_enabled()

python_is_optimized()

with_pymalloc()

requires()

sortdict()

findfile()

get_pagesize()

setswitchinterval()

check_impl_detail()

set_memlimit()

record_original_stdout()

get_original_stdout()

args_from_interpreter_flags()

optim_args_from_interpreter_flags()

captured_stdin()

captured_stdout()

captured_stderr()

disable_faulthandler()

gc_collect()

disable_gc()

swap_attr()

swap_item()

flush_std_streams()

print_warning()

wait_process()

calcobjsize()

calcvobjsize()

checksizeof()

anticipate_failure()

system_must_validate_cert()

run_with_locale()

run_with_tz()

requires_freebsd_version()

requires_linux_version()

requires_mac_version()

requires_gil_enabled()

requires_IEEE_754()

requires_zlib()

requires_gzip()

requires_bz2()

requires_lzma()

requires_resource()

requires_docstrings()

requires_limited_api()

cpython_only()

impl_detail()

no_tracing()

refcount_test()

bigmemtest()

bigaddrspacetest()

check_syntax_error()

open_urlresource()

reap_children()

get_attribute()

catch_unraisable_exception()

load_package_tests()

detect_api_mismatch()

patch()

run_in_subinterp()

check_free_after_iterating()

missing_compiler_executable()

check__all__()

skip_if_broken_multiprocessing_synchronize()

check_disallow_instantiation()

adjust_int_max_str_digits()

SuppressCrashReport

SaveSignals

save()

restore()

Matcher

matches()

match_value()

test.support.socket_helper — Utilities for socket tests

IPV6_ENABLED

find_unused_port()

bind_port()

bind_unix_socket()

skip_unless_bind_unix_socket()

transient_internet()

test.support.script_helper — Utilities for the Python execution tests

interpreter_requires_environment()

run_python_until_end()

assert_python_ok()

assert_python_failure()

spawn_python()

kill_python()

make_script()

make_zip_script()

make_pkg()

make_zip_pkg()

test.support.bytecode_helper — Ferramentas de suporte para testar a geração correta de bytecode

BytecodeTestCase

get_disassembly_as_string()

assertInBytecode()

assertNotInBytecode()

test.support.threading_helper — Utilities for threading tests

join_thread()

reap_threads()

start_threads()

threading_cleanup()

threading_setup()

wait_threads_exit()

catch_threading_exception()

test.support.os_helper — Utilities for os tests

FS_NONASCII

SAVEDCWD

TESTFN

TESTFN_NONASCII

TESTFN_UNENCODABLE

TESTFN_UNDECODABLE

TESTFN_UNICODE

EnvironmentVarGuard

FakePath

set()

unset()

can_symlink()

can_xattr()

change_cwd()

create_empty_file()

fd_count()

fs_is_case_insensitive()

make_bad_fd()

rmdir()

rmtree()

skip_unless_symlink()

skip_unless_xattr()

temp_cwd()

temp_dir()

temp_umask()

unlink()

test.support.import_helper — Utilities for import tests

forget()

import_fresh_module()

import_module()

modules_setup()

modules_cleanup()

unload()

make_legacy_pyc()

CleanImport

DirsOnSysPath

test.support.warnings_helper — Utilities for warnings tests

ignore_warnings()

check_no_resource_warning()

check_syntax_warning()

check_warnings()

WarningsRecorder

Depuração e perfilamento

Tabela de eventos de auditoria

bdb — Debugger framework

BdbQuit

Breakpoint

deleteMe()

enable()

disable()

bpformat()

bpprint()

file

line

temporary

cond

funcname

enabled

bpbynumber

bplist

ignore

hits

Bdb

canonic()

reset()

trace_dispatch()

dispatch_line()

dispatch_call()

dispatch_return()

dispatch_exception()

is_skipped_line()

stop_here()

break_here()

break_anywhere()

user_call()

user_line()

user_return()

user_exception()

do_clear()

set_step()

set_next()

set_return()

set_until()

set_trace()

set_continue()

set_quit()

set_break()

clear_break()

clear_bpbynumber()

clear_all_file_breaks()

clear_all_breaks()

get_bpbynumber()

get_break()

get_breaks()

get_file_breaks()

get_all_breaks()

get_stack()

format_stack_entry()

run()

runeval()

runctx()

runcall()

checkfuncname()

effective()

set_trace()

faulthandler — Dump the Python traceback

Dumping the traceback

dump_traceback()

Fault handler state

enable()

disable()

is_enabled()

Dumping the tracebacks after a timeout

dump_traceback_later()

cancel_dump_traceback_later()

Dumping the traceback on a user signal

register()

unregister()

Issue with file descriptors

Exemplo

pdb — O Depurador do Python

run()

runeval()

runcall()

set_trace()

post_mortem()

pm()

Pdb

run()

runeval()

runcall()

set_trace()

Comandos de depuração

Os Profilers do Python

Introdução aos profilers

Instant User’s Manual

profile and cProfile Module Reference

run()

runctx()

Profile

enable()

disable()

create_stats()

print_stats()

dump_stats()

run()

runctx()

runcall()

A classe Stats

Stats

strip_dirs()

add()

dump_stats()

sort_stats()

reverse_order()

print_stats()

print_callers()

print_callees()

get_stats_profile()

What Is Deterministic Profiling?

Limitações

Calibration

Using a custom timer

timeit — Mede o tempo de execução de pequenos trechos de código

Exemplos básicos

Interface em Python

timeit()

repeat()

default_timer()

Timer

timeit()

autorange()

repeat()

print_exc()

Interface de Linha de Comando

Exemplos

trace — Rastreia ou acompanha a execução de instruções Python

Uso na linha de comando

Opções principais

Modificadores

Filtros

Interface programática

Trace

run()

runctx()

runfunc()

results()

CoverageResults

update()

write_results()

tracemalloc — Trace memory allocations

Exemplos

Exibe o top 10

Compute differences

Get the traceback of a memory block

Pretty top

Record the current and peak size of all traced memory blocks

API

Funções

clear_traces()

get_object_traceback()

get_traceback_limit()

get_traced_memory()

reset_peak()

get_tracemalloc_memory()

is_tracing()

start()

stop()

take_snapshot()

DomainFilter

DomainFilter

inclusive

domain

Filter

Filter

domain

inclusive

lineno

filename_pattern

all_frames

Frame

Frame

filename

lineno

Snapshot

Snapshot

compare_to()

dump()

filter_traces()

load()

statistics()

traceback_limit

traces

Statistic

Statistic

count

size

traceback

StatisticDiff

StatisticDiff

count

count_diff

size

size_diff

traceback

Trace

Trace

domain

size

traceback

Traceback

Traceback

total_nframe

format()

Empacotamento e Distribuição de Software

ensurepip — Inicialização do instalador do pip

Interface de linha de comando

API do módulo

version()

bootstrap()

venv — Criação de ambientes virtuais

Criando ambientes virtuais

Como funcionam os venvs

API

EnvBuilder

create()

ensure_directories()

create_configuration()

setup_python()

setup_scripts()

upgrade_dependencies()

post_setup()

install_scripts()

create_git_ignore_file()

create()

Um exemplo de extensão de EnvBuilder

zipapp — Manage executable Python zip archives

Basic Example

Interface de Linha de Comando

API Python

create_archive()

get_interpreter()

Exemplos

Especificando o interpretador

Creating Standalone Applications with zipapp

Caveats

The Python Zip Application Archive Format

Serviços de Tempo de Execução Python

sys — Parâmetros e funções específicas do sistema

abiflags

addaudithook()

argv

audit()

base_exec_prefix

base_prefix

byteorder

builtin_module_names

call_tracing()

copyright

_clear_type_cache()

_clear_internal_caches()

_current_frames()

_current_exceptions()

breakpointhook()

_debugmallocstats()

dllhandle

displayhook()

dont_write_bytecode

_emscripten_info

emscripten_version

runtime

pthreads

shared_memory

pycache_prefix

excepthook()

__breakpointhook__

__displayhook__

__excepthook__

__unraisablehook__

exception()

exc_info()

exec_prefix

executable

exit()

flags

debug

inspect

interactive

isolated

optimize

dont_write_bytecode

no_user_site

no_site

ignore_environment

verbose

bytes_warning

quiet

hash_randomization

dev_mode

utf8_mode

safe_path

int_max_str_digits

warn_default_encoding

float_info

epsilon

dig

mant_dig

max

max_exp

max_10_exp

min

min_exp

min_10_exp

radix

rounds

float_repr_style

getallocatedblocks()

getunicodeinternedsize()

getandroidapilevel()

getdefaultencoding()

getdlopenflags()

getfilesystemencoding()

getfilesystemencodeerrors()

get_int_max_str_digits()

getrefcount()

getrecursionlimit()

getsizeof()

getswitchinterval()

_getframe()

_getframemodulename()

getprofile()

gettrace()

getwindowsversion()

get_asyncgen_hooks()

get_coroutine_origin_tracking_depth()

hash_info

width

modulus

inf

nan

imag

algorithm

hash_bits

seed_bits

hexversion

implementation

int_info

bits_per_digit

sizeof_digit

default_max_str_digits

str_digits_check_threshold

__interactivehook__

intern()

_is_gil_enabled()

is_finalizing()

last_exc

_is_interned()

last_type

last_value

last_traceback

maxsize

maxunicode

meta_path

modules

orig_argv

path

path_hooks

path_importer_cache

platform

platlibdir

prefix

ps1

ps2

setdlopenflags()

set_int_max_str_digits()

setprofile()

setrecursionlimit()

setswitchinterval()

settrace()

set_asyncgen_hooks()

set_coroutine_origin_tracking_depth()

activate_stack_trampoline()

deactivate_stack_trampoline()

is_stack_trampoline_active()

_enablelegacywindowsfsencoding()

stdin

stdout

stderr

__stdin__

__stdout__

__stderr__

stdlib_module_names

thread_info

name

lock

version

tracebacklimit

unraisablehook()

version

api_version

version_info

warnoptions

winver

_xoptions

sys.monitoring — Monitoramento de eventos de execução

Identificadores de ferramenta

Registro e uso de ferramentas

use_tool_id()

free_tool_id()

get_tool()

Eventos

Eventos locais

Eventos auxiliares

Outros eventos

O evento STOP_ITERATION

Ativação e desativação de eventos

Definir eventos globalmente

get_events()

set_events()

Eventos por objeto código

get_local_events()

set_local_events()

Desativação de eventos

DISABLE

restart_events()

Registro de funções de retorno de chamada

register_callback()

Argumentos da função de retorno de chamada

MISSING

sysconfig — Fornece acesso às informações de configuração do Python

Variáveis de configuração

get_config_vars()

get_config_var()

Caminhos de instalação

Esquema de usuário

posix_user

nt_user

osx_framework_user

Esquema de home

posix_home

Esquema de prefixo

posix_prefix

nt

Funções de caminho de instalação

get_scheme_names()

get_default_scheme()

get_preferred_scheme()

_get_preferred_schemes()

get_path_names()

get_path()

get_paths()

Outras funções

get_python_version()

get_platform()

is_python_build()

parse_config_h()

get_config_h_filename()

get_makefile_filename()

Usando o módulo sysconfig como um Script

builtins — Objetos embutidos

__main__ — Ambiente de código principal

__name__ == '__main__'

O que é o “ambiente de código principal”?

Uso idiomático

Considerações sobre pacotes

__main__.py em pacotes Python

Uso idiomático

import __main__

warnings — Warning control

Categorias de avisos

O filtro de avisos

Describing Warning Filters

Filtro de avisos padrão

Overriding the default filter

Temporarily Suppressing Warnings

Testing Warnings

Updating Code For New Versions of Dependencies

Available Functions

warn()

warn_explicit()

showwarning()

formatwarning()

filterwarnings()

simplefilter()

resetwarnings()

deprecated()

Available Context Managers

catch_warnings

dataclasses — Data Classes

Conteúdo do módulo

dataclass()

field()

Field

fields()

asdict()

astuple()

make_dataclass()

replace()

is_dataclass()

MISSING

KW_ONLY

FrozenInstanceError

Processamento pós-inicialização

__post_init__()

Variáveis de classe

Variáveis de inicialização apenas

Frozen instances

Herança

Re-ordering of keyword-only parameters in __init__()

Funções padrão de fábrica

Valores padrão mutáveis

Descriptor-typed fields

contextlib — Utilities for with-statement contexts

Utilitários

AbstractContextManager

AbstractAsyncContextManager

contextmanager()

asynccontextmanager()

closing()

aclosing()

nullcontext()

suppress()

redirect_stdout()

redirect_stderr()

chdir()

ContextDecorator

AsyncContextDecorator

ExitStack

enter_context()

push()

callback()

pop_all()

close()

AsyncExitStack

enter_async_context()

push_async_exit()

push_async_callback()

aclose()

Exemplos e receitas

Supporting a variable number of context managers

Catching exceptions from __enter__ methods

Cleaning up in an __enter__ implementation

Replacing any use of try-finally and flag variables

Using a context manager as a function decorator

Single use, reusable and reentrant context managers

Reentrant context managers

Gerenciadores de contexto reutilizáveis

abc — Abstract Base Classes

ABC

ABCMeta

register()

__subclasshook__()

abstractmethod()

abstractclassmethod()

abstractstaticmethod()

abstractproperty()

get_cache_token()

update_abstractmethods()

atexit — Manipuladores de saída

register()

unregister()

Exemplo do atexit

traceback — Imprime ou recupera um traceback da pilha

Funções de nível de módulo

print_tb()

print_exception()

print_exc()

print_last()

print_stack()

extract_tb()

extract_stack()

format_list()

format_exception_only()

format_exception()

format_exc()

format_tb()

format_stack()

clear_frames()

walk_stack()

walk_tb()

TracebackException Objects

TracebackException

__cause__

__context__

exceptions

__suppress_context__

__notes__

stack

exc_type

exc_type_str

filename

lineno

end_lineno

text

offset

end_offset

msg

from_exception()

print()

format()

format_exception_only()

StackSummary Objects

StackSummary

extract()

from_list()

format()

format_frame_summary()

FrameSummary Objects

FrameSummary

filename

lineno

name

line

Examples of Using the Module-Level Functions

Examples of Using TracebackException

__future__ — Definições de instruções future

Conteúdo do módulo

_Feature

getOptionalRelease()

getMandatoryRelease()

compiler_flag

gc — Interface para o coletor de lixo

enable()

disable()

isenabled()

collect()

set_debug()

get_debug()

get_objects()

get_stats()

set_threshold()

get_count()

get_threshold()

get_referrers()

get_referents()

is_tracked()

is_finalized()

freeze()

unfreeze()

get_freeze_count()

garbage

callbacks

DEBUG_STATS

DEBUG_COLLECTABLE

DEBUG_UNCOLLECTABLE

DEBUG_SAVEALL

DEBUG_LEAK

inspect — Inspect live objects

Tipos e membros

getmembers()

getmembers_static()

getmodulename()

ismodule()

isclass()

ismethod()

isfunction()

isgeneratorfunction()

isgenerator()

iscoroutinefunction()

markcoroutinefunction()

iscoroutine()

isawaitable()

isasyncgenfunction()

isasyncgen()

istraceback()

isframe()

iscode()

isbuiltin()

ismethodwrapper()

isroutine()

isabstract()

ismethoddescriptor()

isdatadescriptor()

isgetsetdescriptor()

ismemberdescriptor()

Retrieving source code

getdoc()

getcomments()

getfile()

getmodule()

getsourcefile()

getsourcelines()

getsource()

cleandoc()

Introspecting callables with the Signature object

signature()

Signature

empty

parameters

return_annotation

bind()

bind_partial()

replace()

format()

from_callable()

Parameter

empty

name

default

annotation

kind

description

replace()

BoundArguments

arguments

args

kwargs

signature

apply_defaults()

Classes e funções

getclasstree()

getfullargspec()

getargvalues()

formatargvalues()

getmro()

getcallargs()

getclosurevars()

unwrap()

get_annotations()

A pilha to interpretador

FrameInfo

frame

filename

lineno

function

code_context

index

positions

Traceback

filename

lineno

function

code_context

index

positions

getframeinfo()

getouterframes()

getinnerframes()

currentframe()

stack()

trace()

Fetching attributes statically

getattr_static()

Current State of Generators, Coroutines, and Asynchronous Generators

getgeneratorstate()

getcoroutinestate()

getasyncgenstate()

getgeneratorlocals()

getcoroutinelocals()

getasyncgenlocals()

Code Objects Bit Flags

CO_OPTIMIZED

CO_NEWLOCALS

CO_VARARGS

CO_VARKEYWORDS

CO_NESTED

CO_GENERATOR

CO_COROUTINE

CO_ITERABLE_COROUTINE

CO_ASYNC_GENERATOR

Buffer flags

BufferFlags

SIMPLE

WRITABLE

FORMAT

ND

STRIDES

C_CONTIGUOUS

F_CONTIGUOUS

ANY_CONTIGUOUS

INDIRECT

CONTIG

CONTIG_RO

STRIDED

STRIDED_RO

RECORDS

RECORDS_RO

FULL

FULL_RO

READ

WRITE

Interface de linha de comando

site — Site-specific configuration hook

sitecustomize

usercustomize

Configuração Readline

Conteúdo do módulo

PREFIXES

ENABLE_USER_SITE

USER_SITE

USER_BASE

main()

addsitedir()

getsitepackages()

getuserbase()

getusersitepackages()

Interface de linha de comando

Interpretadores Python Personalizados

code — Classes bases do interpretador

InteractiveInterpreter

InteractiveConsole

interact()

compile_command()

Objetos de interpretador interativo

runsource()

runcode()

showsyntaxerror()

showtraceback()

write()

Objetos de console Interativo

interact()

push()

resetbuffer()

raw_input()

codeop — Compila código Python

compile_command()

Compile

CommandCompiler

Importando módulos

zipimport — Import modules from Zip archives

ZipImportError

zipimporter Objects

zipimporter

create_module()

exec_module()

find_spec()

get_code()

get_data()

get_filename()

get_source()

is_package()

load_module()

invalidate_caches()

archive

prefix

Exemplos

pkgutil — Utilitário de extensão de pacote

ModuleInfo

extend_path()

find_loader()

get_importer()

get_loader()

iter_importers()

iter_modules()

walk_packages()

get_data()

resolve_name()

modulefinder — Procura módulos usados por um script

AddPackagePath()

ReplacePackage()

ModuleFinder

report()

run_script()

modules

Exemplo de uso de ModuleFinder

runpy — Locating and executing Python modules

run_module()

run_path()

importlib — A implementação de import

Introdução

Funções

__import__()

import_module()

invalidate_caches()

reload()

importlib.abc – classes base abstratas relacionadas a importação

MetaPathFinder

find_spec()

invalidate_caches()

PathEntryFinder

find_spec()

invalidate_caches()

Loader

create_module()

exec_module()

load_module()

ResourceLoader

get_data()

InspectLoader

get_code()

get_source()

is_package()

source_to_code()

exec_module()

load_module()

ExecutionLoader

get_filename()

FileLoader

name

path

load_module()

get_filename()

get_data()

SourceLoader

path_stats()

path_mtime()

set_data()

get_code()

exec_module()

load_module()

get_source()

is_package()

ResourceReader

open_resource()

resource_path()

is_resource()

contents()

Traversable

name

iterdir()

is_dir()

is_file()

joinpath()

__truediv__()

open()

read_bytes()

read_text()

TraversableResources

files()

importlib.machinery – Importadores e ganchos de caminho

SOURCE_SUFFIXES

DEBUG_BYTECODE_SUFFIXES

OPTIMIZED_BYTECODE_SUFFIXES

BYTECODE_SUFFIXES

EXTENSION_SUFFIXES

all_suffixes()

BuiltinImporter

FrozenImporter

WindowsRegistryFinder

PathFinder

find_spec()

invalidate_caches()

FileFinder

path

find_spec()

invalidate_caches()

path_hook()

SourceFileLoader

name

path

is_package()

path_stats()

set_data()

load_module()

SourcelessFileLoader

name

path

is_package()

get_code()

get_source()

load_module()

ExtensionFileLoader

name

path

create_module()

exec_module()

is_package()

get_code()

get_source()

get_filename()

NamespaceLoader

ModuleSpec

name

loader

origin

submodule_search_locations

loader_state

cached

parent

has_location

AppleFrameworkLoader

name

path

importlib.util – Utility code for importers

MAGIC_NUMBER

cache_from_source()

source_from_cache()

decode_source()

resolve_name()

find_spec()

module_from_spec()

spec_from_loader()

spec_from_file_location()

source_hash()

_incompatible_extension_module_restrictions()

LazyLoader

factory()

Exemplos

Importing programmatically

Checando se o módulo pode ser importado

Importa o arquivo de origem diretamente

Implementing lazy imports

Setting up an importer

Approximating importlib.import_module()

importlib.resources – Leitura, abertura e acesso a recursos de pacotes

Anchor

files()

as_file()

API funcional

open_binary()

open_text()

read_binary()

read_text()

path()

is_resource()

contents()

importlib.resources.abc – Classes base abstratas para recursos

ResourceReader

open_resource()

resource_path()

is_resource()

contents()

Traversable

name

iterdir()

is_dir()

is_file()

joinpath()

__truediv__()

open()

read_bytes()

read_text()

TraversableResources

files()

importlib.metadata – Acessando metadados do pacote

Visão Geral

PackageNotFoundError

API funcional

Pontos de entrada

entry_points()

EntryPoints

EntryPoint

Metadados de distribuição

metadata()

PackageMetadata

Versões de distribuição

version()

Arquivos de distribuição

files()

PackagePath

Requisitos de distribuição

requires()

Mapeando importação pra pacotes de distribuição

packages_distributions()

Distribuições

distribution()

Distribution

Descoberta de distribuição

Estendendo o algoritmo de pesquisa

Exemplo

A inicialização do caminho de pesquisa de módulos sys.path

Ambientes virtuais

Arquivos _pth

Python embarcado

Serviços da Linguagem Python

ast — Árvores de Sintaxe Abstrata

Gramática Abstrata

Classes de nós

AST

_fields

_field_types

lineno

col_offset

end_lineno

end_col_offset

Nós raízes

Module

Expression

Interactive

FunctionType

Literais

Constant

FormattedValue

JoinedStr

List

Tuple

Set

Dict

Variáveis

Name

Load

Store

Del

Starred

Expressões

Expr

UnaryOp

UAdd

USub

Not

Invert

BinOp

Add

Sub

Mult

Div

FloorDiv

Mod

Pow

LShift

RShift

BitOr

BitXor

BitAnd

MatMult

BoolOp

And

Or

Compare

Eq

NotEq

Lt

LtE

Gt

GtE

Is

IsNot

In

NotIn

Call

keyword

IfExp

Attribute

NamedExpr

Subscrição

Subscript

Slice

Compreensões

ListComp

SetComp

GeneratorExp

DictComp

comprehension

Instruções

Assign

type_comment

AnnAssign

AugAssign

Raise

Assert

Delete

Pass

TypeAlias

Importações

Import

ImportFrom

alias

Fluxo de controle

If

For

type_comment

While

Break

Continue

Try

TryStar

ExceptHandler

With

type_comment

withitem

Correspondência de padrões

Match

match_case

MatchValue

MatchSingleton

MatchSequence

MatchStar

MatchMapping

MatchClass

MatchAs

MatchOr

Parâmetros de tipo

TypeVar

ParamSpec

TypeVarTuple

Definições de função e classe

FunctionDef

type_comment

Lambda

arguments

arg

type_comment

Return

Yield

YieldFrom

Global

Nonlocal

ClassDef

Async e await

AsyncFunctionDef

Await

AsyncFor

AsyncWith

Auxiliares de ast

parse()

unparse()

literal_eval()

get_docstring()

get_source_segment()

fix_missing_locations()

increment_lineno()

copy_location()

iter_fields()

iter_child_nodes()

walk()

NodeVisitor

visit()

generic_visit()

visit_Constant()

NodeTransformer

dump()

Sinalizadores do compilador

PyCF_ALLOW_TOP_LEVEL_AWAIT

PyCF_ONLY_AST

PyCF_OPTIMIZED_AST

PyCF_TYPE_COMMENTS

Uso na linha de comando

symtable — Acesso a tabela de símbolos do compilador

Generating Symbol Tables

symtable()

Examining Symbol Tables

SymbolTableType

MODULE

FUNCTION

CLASS

ANNOTATION

TYPE_ALIAS

TYPE_PARAMETERS

TYPE_VARIABLE

SymbolTable

get_type()

get_id()

get_name()

get_lineno()

is_optimized()

is_nested()

has_children()

get_identifiers()

lookup()

get_symbols()

get_children()

Function

get_parameters()

get_locals()

get_globals()

get_nonlocals()

get_frees()

Class

get_methods()

Symbol

get_name()

is_referenced()

is_imported()

is_parameter()

is_global()

is_nonlocal()

is_declared_global()

is_local()

is_annotated()

is_free()

is_assigned()

is_namespace()

get_namespaces()

get_namespace()

Uso na linha de comando

token — Constantes usadas com árvores de análises do Python

tok_name

ISTERMINAL()

ISNONTERMINAL()

ISEOF()

ENDMARKER

NAME

NUMBER

STRING

NEWLINE

INDENT

DEDENT

LPAR

RPAR

LSQB

RSQB

COLON

COMMA

SEMI

PLUS

MINUS

STAR

SLASH

VBAR

AMPER

LESS

GREATER

EQUAL

DOT

PERCENT

LBRACE

RBRACE

EQEQUAL

NOTEQUAL

LESSEQUAL

GREATEREQUAL

TILDE

CIRCUMFLEX

LEFTSHIFT

RIGHTSHIFT

DOUBLESTAR

PLUSEQUAL

MINEQUAL

STAREQUAL

SLASHEQUAL

PERCENTEQUAL

AMPEREQUAL

VBAREQUAL

CIRCUMFLEXEQUAL

LEFTSHIFTEQUAL

RIGHTSHIFTEQUAL

DOUBLESTAREQUAL

DOUBLESLASH

DOUBLESLASHEQUAL

AT

ATEQUAL

RARROW

ELLIPSIS

COLONEQUAL

EXCLAMATION

OP

TYPE_IGNORE

TYPE_COMMENT

SOFT_KEYWORD

FSTRING_START

FSTRING_MIDDLE

FSTRING_END

COMMENT

NL

ERRORTOKEN

N_TOKENS

NT_OFFSET

ENCODING

keyword — Testando palavras reservadas do Python

iskeyword()

kwlist

issoftkeyword()

softkwlist

tokenize — Tokenizer for Python source

Tokenizando entradas

tokenize()

generate_tokens()

untokenize()

detect_encoding()

open()

TokenError

Uso na linha de comando

Exemplos

tabnanny — Detecção de indentação ambígua

check()

verbose

filename_only

NannyNag

process_tokens()

pyclbr — Suporte a navegador de módulos do Python

readmodule()

readmodule_ex()

Objetos Function

Function

file

module

name

lineno

parent

children

is_async

Objetos Class

Class

file

module

name

lineno

parent

children

super

methods

py_compile — Compila arquivos fonte do Python

PyCompileError

compile()

PycInvalidationMode

TIMESTAMP

CHECKED_HASH

UNCHECKED_HASH

Interface de Linha de Comando

compileall — Compilar bibliotecas do Python para bytecode

Uso na linha de comando

Funções públicas

compile_dir()

compile_file()

compile_path()

dis — Disassembler de bytecode do Python

Interface de linha de comando

Análise de bytecode

Bytecode

from_traceback()

codeobj

first_line

dis()

info()

Funções de análise

code_info()

show_code()

dis()

disassemble()

get_instructions()

findlinestarts()

findlabels()

stack_effect()

Instruções em bytecode do Python

Instruction

opcode

opname

baseopcode

baseopname

arg

oparg

argval

argrepr

offset

start_offset

cache_offset

end_offset

starts_line

line_number

is_jump_target

jump_target

positions

Positions

lineno

end_lineno

col_offset

end_col_offset

Opcode collections

opname

opmap

cmp_op

hasarg

hasconst

hasfree

hasname

hasjump

haslocal

hascompare

hasexc

hasjrel

hasjabs

pickletools — Ferramentas para desenvolvedores pickle

Uso na linha de comando

Opções da linha de comando

Interface programática

dis()

genops()

optimize()

Serviços Específicos do MS Windows

msvcrt — Useful routines from the MS VC++ runtime

Operações com arquivos

locking()

LK_LOCK

LK_RLCK

LK_NBLCK

LK_NBRLCK

LK_UNLCK

setmode()

open_osfhandle()

get_osfhandle()

E/S de console

kbhit()

getch()

getwch()

getche()

getwche()

putch()

putwch()

ungetch()

ungetwch()

Outras funções

heapmin()

set_error_mode()

OUT_TO_DEFAULT

OUT_TO_STDERR

OUT_TO_MSGBOX

REPORT_ERRMODE

CrtSetReportMode()

CrtSetReportFile()

CRT_WARN

CRT_ERROR

CRT_ASSERT

CRTDBG_MODE_DEBUG

CRTDBG_MODE_FILE

CRTDBG_MODE_WNDW

CRTDBG_REPORT_MODE

CRT_ASSEMBLY_VERSION

VC_ASSEMBLY_PUBLICKEYTOKEN

LIBRARIES_ASSEMBLY_NAME_PREFIX

winreg — Windows registry access

Funções

CloseKey()

ConnectRegistry()

CreateKey()

CreateKeyEx()

DeleteKey()

DeleteKeyEx()

DeleteValue()

EnumKey()

EnumValue()

ExpandEnvironmentStrings()

FlushKey()

LoadKey()

OpenKey()

OpenKeyEx()

QueryInfoKey()

QueryValue()

QueryValueEx()

SaveKey()

SetValue()

SetValueEx()

DisableReflectionKey()

EnableReflectionKey()

QueryReflectionKey()

Constantes

HKEY_* Constants

HKEY_CLASSES_ROOT

HKEY_CURRENT_USER

HKEY_LOCAL_MACHINE

HKEY_USERS

HKEY_PERFORMANCE_DATA

HKEY_CURRENT_CONFIG

HKEY_DYN_DATA

Access Rights

KEY_ALL_ACCESS

KEY_WRITE

KEY_READ

KEY_EXECUTE

KEY_QUERY_VALUE

KEY_SET_VALUE

KEY_CREATE_SUB_KEY

KEY_ENUMERATE_SUB_KEYS

KEY_NOTIFY

KEY_CREATE_LINK

64-bit Specific

KEY_WOW64_64KEY

KEY_WOW64_32KEY

Value Types

REG_BINARY

REG_DWORD

REG_DWORD_LITTLE_ENDIAN

REG_DWORD_BIG_ENDIAN

REG_EXPAND_SZ

REG_LINK

REG_MULTI_SZ

REG_NONE

REG_QWORD

REG_QWORD_LITTLE_ENDIAN

REG_RESOURCE_LIST

REG_FULL_RESOURCE_DESCRIPTOR

REG_RESOURCE_REQUIREMENTS_LIST

REG_SZ

Registry Handle Objects

Close()

Detach()

__enter__()

__exit__()

winsound — Sound-playing interface for Windows

Beep()

PlaySound()

MessageBeep()

SND_FILENAME

SND_ALIAS

SND_LOOP

SND_MEMORY

SND_PURGE

SND_ASYNC

SND_NODEFAULT

SND_NOSTOP

SND_NOWAIT

MB_ICONASTERISK

MB_ICONEXCLAMATION

MB_ICONHAND

MB_ICONQUESTION

MB_OK

Serviços Específicos Unix

posix — As chamadas de sistema mais comuns do POSIX

Suporte a arquivos grandes

Conteúdo notável do módulo

environ

pwd — A senha do banco de dados

getpwuid()

getpwnam()

getpwall()

grp — The group database

getgrgid()

getgrnam()

getgrall()

termios — Controle de tty no estilo POSIX

tcgetattr()

tcsetattr()

TCSANOW

TCSADRAIN

TCSAFLUSH

tcsendbreak()

tcdrain()

tcflush()

tcflow()

tcgetwinsize()

tcsetwinsize()

Exemplo

tty — Funções de controle de terminal

cfmakeraw()

cfmakecbreak()

setraw()

setcbreak()

pty — Utilitários de pseudoterminal

fork()

openpty()

spawn()

Exemplo

fcntl — The fcntl and ioctl system calls

fcntl()

ioctl()

flock()

lockf()

LOCK_UN

LOCK_SH

LOCK_EX

LOCK_NB

resource — Resource usage information

error

Resource Limits

RLIM_INFINITY

getrlimit()

setrlimit()

prlimit()

RLIMIT_CORE

RLIMIT_CPU

RLIMIT_FSIZE

RLIMIT_DATA

RLIMIT_STACK

RLIMIT_RSS

RLIMIT_NPROC

RLIMIT_NOFILE

RLIMIT_OFILE

RLIMIT_MEMLOCK

RLIMIT_VMEM

RLIMIT_AS

RLIMIT_MSGQUEUE

RLIMIT_NICE

RLIMIT_RTPRIO

RLIMIT_RTTIME

RLIMIT_SIGPENDING

RLIMIT_SBSIZE

RLIMIT_SWAP

RLIMIT_NPTS

RLIMIT_KQUEUES

Resource Usage

getrusage()

getpagesize()

RUSAGE_SELF

RUSAGE_CHILDREN

RUSAGE_BOTH

RUSAGE_THREAD

syslog — Rotinas da biblioteca syslog do Unix

syslog()

openlog()

closelog()

setlogmask()

LOG_EMERG

LOG_ALERT

LOG_CRIT

LOG_ERR

LOG_WARNING

LOG_NOTICE

LOG_INFO

LOG_DEBUG

LOG_AUTH

LOG_AUTHPRIV

LOG_CRON

LOG_DAEMON

LOG_FTP

LOG_INSTALL

LOG_KERN

LOG_LAUNCHD

LOG_LPR

LOG_MAIL

LOG_NETINFO

LOG_NEWS

LOG_RAS

LOG_REMOTEAUTH

LOG_SYSLOG

LOG_USER

LOG_UUCP

LOG_LOCAL0

LOG_LOCAL1

LOG_LOCAL2

LOG_LOCAL3

LOG_LOCAL4

LOG_LOCAL5

LOG_LOCAL6

LOG_LOCAL7

LOG_PID

LOG_CONS

LOG_NDELAY

LOG_ODELAY

LOG_NOWAIT

LOG_PERROR

Exemplos

Exemplo simples

Interface de linha de comando (CLI) de módulos

Módulos substituídos

getopt — Analisador sintático no estilo C para opções de linha de comando

getopt()

gnu_getopt()

GetoptError

error

optparse — Parser for command line options

Contexto

Terminology

What are options for?

What are positional arguments for?

Tutorial

Understanding option actions

The store action

Handling boolean (flag) options

Outras Ações

Default values

Generating help

Grouping Options

OptionGroup

get_option_group()

Printing a version string

print_version()

get_version()

How optparse handles errors

Putting it all together

Reference Guide

Creating the parser

OptionParser

Populating the parser

Defining options

add_option()

Values

Option attributes

Option

action

type

dest

default

nargs

const

choices

callback

callback_args

callback_kwargs

help

metavar

Standard option actions

Standard option types

Análise de argumentos

parse_args()

Querying and manipulating your option parser

disable_interspersed_args()

enable_interspersed_args()

get_option()

has_option()

remove_option()

Conflicts between options

Cleanup

Other methods

set_usage()

print_usage()

get_usage()

set_defaults()

Option Callbacks

Defining a callback option

How callbacks are called

Raising errors in a callback

Callback example 1: trivial callback

Callback example 2: check option order

Callback example 3: check option order (generalized)

Callback example 4: check arbitrary condition

Callback example 5: fixed arguments

Callback example 6: variable arguments

Extending optparse

Adding new types

TYPES

TYPE_CHECKER

Adding new actions

ACTIONS

STORE_ACTIONS

TYPED_ACTIONS

ALWAYS_TYPED_ACTIONS

Exceções

OptionError

OptionConflictError

OptionValueError

BadOptionError

AmbiguousOptionError

Considerações de segurança

Estendendo e Incorporando o Interpretador Python

Ferramentas de terceiros recomendadas

Criando extensões sem ferramentas de terceiros

1. Estendendo Python com C ou C++

1.1. Um Exemplo Simples

1.2. Intermezzo: Errors and Exceptions

1.3. Back to the Example

1.4. The Module’s Method Table and Initialization Function

1.5. Compilation and Linkage

1.6. Calling Python Functions from C

1.7. Extracting Parameters in Extension Functions

1.8. Keyword Parameters for Extension Functions

1.9. Building Arbitrary Values

1.10. Contagens de referências

1.10.1. Reference Counting in Python

1.10.2. Ownership Rules

1.10.3. Thin Ice

1.10.4. NULL Pointers

1.11. Writing Extensions in C++

1.12. Providing a C API for an Extension Module

2. Definindo Tipos de Extensão: Tutorial

2.1. O básico

2.2. Adicionando dados e métodos ao exemplo básico

2.3. Fornecendo controle mais preciso sobre atributos de dados

2.4. Apoiando a coleta de lixo cíclica

2.5. Criando subclasses de outros tipos

3. Defining Extension Types: Assorted Topics

3.1. Finalization and De-allocation

3.2. Object Presentation

3.3. Attribute Management

3.3.1. Generic Attribute Management

3.3.2. Type-specific Attribute Management

3.4. Object Comparison

3.5. Abstract Protocol Support

3.6. Weak Reference Support

3.7. More Suggestions

4. Construindo extensões C e C++

4.1. Construindo extensões C e C ++ com setuptools

5. Construindo Extensões C e C++ no Windows

5.1. Uma abordagem de livro de receitas

5.2. Diferenças entre o Unix e o Windows

5.3. Usando DLLs na prática

Incorporando o tempo de execução do CPython em uma aplicação maior

1. Incorporando o Python numa Outra Aplicação

1.1. Very High Level Embedding

1.2. Beyond Very High Level Embedding: An overview

1.3. Pure Embedding

1.4. Extending Embedded Python

1.5. Embedding Python in C++

1.6. Compiling and Linking under Unix-like systems

Manual de referência da API Python/C

Introdução

Padrões de codificação

Arquivos de inclusão

Macros úteis

Objetos, tipos e contagens de referências

Contagens de referências

Detalhes da contagem de referências

Tipos

Exceções

Incorporando Python

Compilações de depuração

Estabilidade da API C

API C Instável

Interface Binária de Aplicação Estável

API C Limitada

ABI Estável

Escopo e Desempenho da API Limitada

Limitações da API Limitada

Considerações da plataforma

Conteúdo da API Limitada

A camada de Mais Alto Nível

Contagem de Referências

Manipulando Exceções

Impressão e limpeza

Lançando exceções

Emitindo advertências

Consultando o indicador de erro

Tratamento de sinal

Classes de exceção

Objeto Exceção

Objetos de exceção Unicode

Controle de recursão

Exceções Padrão

Categorias de aviso padrão

Utilitários

Utilitários do sistema operacional

System Functions

Process Control

Importando módulos

Suporte a marshalling de dados

Análise de argumentos e construção de valores

Análise de argumentos

Strings e buffers

Números

Outros objetos

Funções da API

Construindo valores

Conversão e formação de strings

API do PyHash

Reflexão

Registro de codec e funções de suporte

API de pesquisa de codec

API de registro de tratamentos de erros de decodificação Unicode

API C PyTime

Tipos

Funções de relógio

Funções de relógio brutas

Funções de conversão

Suporte a Mapas do Perf

Camada de Objetos Abstratos

Protocolo de objeto

Protocolo de chamada

O protocolo tp_call

O protocolo vectorcall

Controle de recursão

API de suporte à chamada de vetores

API de chamada de objetos

API de suporte a chamadas

Protocolo de número

Protocolo de sequência

Protocolo de mapeamento

Protocolo Iterador

Protocolo de Buffer

Estrutura de Buffer

Tipos de solicitação do buffer

campos independentes do pedido

apenas em formato

forma, avanços, suboffsets

requisições contíguas

requisições compostas

Vetores Complexos

Estilo NumPy: forma e avanços

Estilo-PIL: forma, avanços e suboffsets

Funções relacionadas ao Buffer

Camada de Objetos Concretos

Objetos Fundamentais

Objetos tipo

Creating Heap-Allocated Types

O Objeto None

Objetos Numéricos

Objetos Inteiros

Objetos Booleanos

Objetos de ponto flutuante

Pack and Unpack functions

Pack functions

Unpack functions

Objetos números complexos

Números complexos como estruturas C.

Números complexos como objetos Python

Objetos Sequência

Objetos Bytes

Objetos byte array

Macros para verificação de tipo

Funções diretas da API

Macros

Objetos Unicode e Codecs

Unicode Objects

Unicode Type

Unicode Character Properties

Creating and accessing Unicode strings

Locale Encoding

File System Encoding

wchar_t Support

Built-in Codecs

Generic Codecs

UTF-8 Codecs

UTF-32 Codecs

UTF-16 Codecs

UTF-7 Codecs

Unicode-Escape Codecs

Raw-Unicode-Escape Codecs

Latin-1 Codecs

ASCII Codecs

Character Map Codecs

MBCS codecs for Windows

Methods & Slots

Methods and Slot Functions

Objeto tupla

Objetos sequência de estrutura

Objeto List

Coleções

Objetos dicionários

Objeto Set

Objetos Função

Objetos Função

Objetos de Método de Instância

Objetos método

Objeto célula

Objetos código

Informação adicional

Outros Objetos

Objetos arquivos

Objetos do Módulo

Inicializando módulos C

inicialização de fase única

Inicialização multifásica

Funções de criação de módulo de baixo nível

Support functions

Pesquisa por módulos

Objetos Iteradores

Objetos Descritores

Objetos Slice

Objeto Ellipsis

Objetos MemoryView

Objetos referência fraca

Capsules

Objetos Frame

Internal Frames

Objetos Geradores

Objetos corrotina

Objetos de variáveis ​​de contexto

Objetos DateTime

Objetos de indicação de tipos

Inicialização, finalização e threads

Antes da inicialização do Python

Variáveis de configuração global

Inicializando e encerrando o interpretador

Process-wide parameters

Thread State and the Global Interpreter Lock

Releasing the GIL from extension code

Non-Python created threads

Cuidados com o uso de fork()

High-level API

Low-level API

Sub-interpreter support

A Per-Interpreter GIL

Bugs and caveats

Notificações assíncronas

Profiling and Tracing

Reference tracing

Advanced Debugger Support

Thread Local Storage Support

Thread Specific Storage (TSS) API

Alocação dinâmica

Métodos

Thread Local Storage (TLS) API

Synchronization Primitives

Python Critical Section API

Configuração de Inicialização do Python

Exemplo

PyWideStringList

PyStatus

PyPreConfig

Pré-inicializar Python com PyPreConfig

PyConfig

Initialization with PyConfig

Isolated Configuration

Configuração do Python

Python Path Configuration

Py_GetArgcArgv()

Multi-Phase Initialization Private Provisional API

Gerenciamento de Memória

Visão Geral

Allocator Domains

Raw Memory Interface

Interface da Memória

Alocadores de objeto

Alocadores de memória padrão

Alocadores de memória

Debug hooks on the Python memory allocators

The pymalloc allocator

Customize pymalloc Arena Allocator

The mimalloc allocator

tracemalloc C API

Exemplos

Suporte a implementação de Objetos

Alocando Objetos na Pilha

Estruturas comuns de objetos

Base object types and macros

Implementing functions and methods

Accessing attributes of extension types

Member flags

Member types

Defining Getters and Setters

Objetos tipo

Referências rápidas

“slots tp”

sub-slots

slot typedefs

PyTypeObject Definition

PyObject Slots

PyVarObject Slots

PyTypeObject Slots

Static Types

Tipos no heap

Number Object Structures

Mapping Object Structures

Sequence Object Structures

Buffer Object Structures

Async Object Structures

Slot Type typedefs

Exemplos

Suporte a Coleta Cíclica de Lixo

Controlando o estado do coletor de lixo

Querying Garbage Collector State

API e Versionamento de ABI

API C de Monitoramento

Gerando Eventos de Execução

Gerenciando o Estado de um Monitoramento

Instalando módulos Python

Termos chave

Uso básico

Como eu …?

… instalo pip em versões do Python anteriores ao Python 3.4?

… instalo pacotes apenas para o usuário atual?

… instalo pacotes científicos do Python?

… trabalho com várias versões do Python instaladas em paralelo?

Problemas comuns de instalação

Instalando no sistema Python no Linux

Pip não instalado

Instalando extensões binárias

Python HOWTOs

Perguntas Frequentes Sobre Python

Python Geral

Informações gerais

Python no mundo real

FAQ referente a Programação

Questões Gerais

Núcleo da Linguagem

Números e Strings

Desempenho

Sequencias (Tuples/Lists)

Objetos

Módulos

FAQ sobre design e histórico

Por que o Python usa indentação para agrupamento de instruções?

Por que eu estou recebendo resultados estranhos com simples operações aritméticas?

Por que o cálculo de pontos flutuantes são tão imprecisos?

Por que strings do Python são imutáveis?

Por que o ‘self’ deve ser usado explicitamente em definições de método e chamadas?

Por que não posso usar uma atribuição em uma expressão?

Por que o Python usa métodos para algumas funcionalidades (ex: lista.index()) mas funções para outras (ex: len(lista))?

Por que o join() é um método de string em vez de ser um método de lista ou tupla?

Quão rápidas são as exceções?

Por que não existe uma instrução de switch ou case no Python?

Você não pode emular threads no interpretador em vez de confiar em uma implementação de thread específica do sistema operacional?

Por que expressões lambda não podem conter instruções?

O Python pode ser compilado para linguagem de máquina, C ou alguma outra linguagem?

Como o Python gerencia memória?

Por que o CPython não usa uma forma mais tradicional de esquema de coleta de lixo?

Por que toda memória não é liberada quando o CPython fecha?

Por que existem tipos de dados separados para tuplas e listas?

Como as listas são implementadas no CPython?

Como são os dicionários implementados no CPython?

Por que chaves de dicionário devem ser imutáveis?

Por que lista.sort() não retorna a lista ordenada?

Como você especifica e aplica uma especificação de interface no Python?

Por que não há goto?

Por que strings brutas (r-strings) não podem terminar com uma contrabarra?

Por que o Python não tem uma instrução “with” para atribuição de atributos?

Por que os geradores não suportam a instrução with?

Por que dois pontos são necessários para as instruções de if/while/def/class?

Por que o Python permite vírgulas ao final de listas e tuplas?

FAQ de Bibliotecas e Extensões

Questões gerais sobre bibliotecas

Tarefas comuns

Threads

Entrada e Saída

Programação Rede / Internet

Base de Dados

Matemáticos e Numéricos

FAQ sobre Extensão/Incorporação

Posso criar minhas próprias funções em C?

Posso criar minhas próprias funções em C++?

Escrever C é difícil; há alguma alternativa?

Como posso executar instruções arbitrárias de Python a partir de C?

Como posso executar e obter o resultado de uma expressão Python arbitrária a partir de C?

Como extraio valores em C a partir de um objeto Python?

Como posso utilizar Py_BuildValue() para criar uma tupla de comprimento arbitrário?

Como eu chamo um método de um objeto a partir do C?

Como posso capturar a saída da função PyErr_Print() (ou qualquer outra coisa que escreva para stdout/stderr)?

Como faço para acessar a partir do C um módulo escrito em Python?

Como posso interagir com objetos C++ a partir do Python?

Adicionei um módulo usando o arquivo de Setup e o make falha; por quê?

Como eu depuro uma extensão?

Quero compilar um módulo Python no meu sistema Linux, mas alguns arquivos estão faltando. Por quê?

Como posso distinguir “entrada incompleta” de “entrada inválida”?

How do I find undefined g++ symbols __builtin_new or __pure_virtual?

Can I create an object class with some methods implemented in C and others in Python (e.g. through inheritance)?

Python no Windows

Como faço para executar um programa Python no Windows?

Como eu faço para criar programas Python executáveis?

Por que Python às vezes demora tanto para iniciar?

Como eu faço para criar um executável a partir de um código Python?

Um arquivo *.pyd é o mesmo que um DLL?

Como eu posso embutir Python dentro de uma aplicação do Windows?

Como eu impeço editores de adicionarem tabulações na minha source do Python?

Como faço para verificar uma tecla pressionada sem bloquear?

Como resolvo o erro da api-ms-win-crt-runtime-l1-1-0.dll ausente?

FAQ da Interface Gráfica do Usuário

Perguntas Gerais sobre a GUI

Quais toolkits de GUI existem para o Python?

Perguntas do Tkinter

FAD de “Por que o Python está instalado em meu computador?”

O que é Python?

Porque Python está instalado em minha máquina?

Eu posso apagar o Python?

Descontinuações

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente no Python 3.16

Remoção pendente em versões futuras

Descontinuações na API C

Remoção pendente no Python 3.14

Remoção pendente no Python 3.15

Remoção pendente em versões futuras

Glossário

Sobre esses documentos

Contribuidores da Documentação Python

Lidando com bugs

Bugs na documentação

Usando o rastreador de problemas do Python

Começando a contribuir com o Python por conta própria

Direitos autorais

História e Licença

História do software

Termos e condições para acessar ou usar Python

ACORDO DE LICENCIAMENTO DA PSF PARA PYTHON 3.13.0

ACORDO DE LICENCIAMENTO DA BEOPEN.COM PARA PYTHON 2.0

CONTRATO DE LICENÇA DA CNRI PARA O PYTHON 1.6.1

ACORDO DE LICENÇA DA CWI PARA PYTHON 0.9.0 A 1.2

LICENÇA BSD DE ZERO CLÁUSULA PARA CÓDIGO NA DOCUMENTAÇÃO DO PYTHON 3.13.0

Licenças e Reconhecimentos para Software Incorporado

Mersenne Twister

Soquetes

Serviços de soquete assíncrono

Gerenciamento de cookies

Rastreamento de execução

Funções UUencode e UUdecode

Chamadas de procedimento remoto XML

test_epoll

kqueue de seleção

SipHash24

strtod e dtoa

OpenSSL

expat

libffi

zlib

cfuhash

libmpdec

Conjunto de testes C14N do W3C

mimalloc

asyncio

Global Unbounded Sequences (GUS)

O que há de novo no Python

A série “O que há de novo no Python” é uma série de ensaios que nos guia através das mudanças mais importantes entre as principais versões do Python. Ela é imprescindível para aqueles que desejam manter-se atualizados a cada novo lançamento.

O que há de novo no Python 3.13

Resumo – Destaques da versão

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Módulos e APIs removidas

Novas descontinuações

Alterações de bytecode do CPython

Alterações na API C

Mudanças na construção

Portando para o Python 3.13

Mudanças em teste de regressão

O que há de novo no Python 3.12

Resumo – Destaques da versão

Novas funcionalidades

Novos recursos relacionados a dicas de tipo

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Alterações de bytecode do CPython

Ferramentas e daemons

Descontinuados

Removidos

Portando para Python 3.12

Mudanças na construção

Alterações na API C

O que há de novo no Python 3.11

Resumo – Destaques da versão

Novas funcionalidades

Novos recursos relacionados a dicas de tipo

Outras mudanças na linguagem

Outras mudanças na implementação do CPython

Novos módulos

Módulos melhorados

Otimizações

CPython mais rápido

Alterações de bytecode do CPython

Descontinuados

Pendente remoção no Python 3.12

Removidos

Portando para Python 3.11

Mudanças na construção

Alterações na API C

Alterações notáveis no 3.11.4

Alterações notáveis no 3.11.5

O que há de novo no Python 3.10

Resumo – Destaques da versão

Novas funcionalidades

Novos recursos relacionados a dicas de tipo

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Descontinuados

Removidos

Portando para Python 3.10

Alterações de bytecode do CPython

Mudanças na construção

Alterações na API C

Recursos de segurança notáveis no 3.10.7

Recursos de segurança notáveis no 3.10.8

Alterações notáveis no 3.10.12

O que há de novo no Python 3.9

Resumo – Destaques da versão

Você deve verificar DeprecationWarning no seu código

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Descontinuados

Removidos

Portando para Python 3.9

Mudanças na construção

Alterações na API C

Alterações notáveis no Python 3.9.1

Alterações notáveis no Python 3.9.2

Alterações notáveis no Python 3.9.3

Alterações notáveis no Python 3.9.5

Recursos de segurança notáveis no 3.9.14

Alterações notáveis no 3.9.17

O que há de novo no Python 3.8

Resumo – Destaques da versão

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Mudanças a construções e API C

Descontinuados

Remoção de APIs e recursos

Portando para o Python 3.8

Alterações notáveis no Python 3.8.1

Alterações notáveis no Python 3.8.2

Alterações notáveis no Python 3.8.3

Alterações notáveis no Python 3.8.8

Alterações notáveis no Python 3.8.9

Alterações notáveis no Python 3.8.10

Alterações notáveis no Python 3.8.10

Alterações notáveis no Python 3.8.12

Recursos de segurança notáveis no 3.8.14

Alterações notáveis no 3.8.17

O que há de novo no Python 3.7

Resumo – Destaques da versão

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Alterações na API C

Mudanças na construção

Otimizações

Outras mudanças na implementação do CPython

Comportamento do Python descontinuado

Deprecated Python modules, functions and methods

Deprecated functions and types of the C API

Platform Support Removals

Remoção de APIs e recursos

Module Removals

Windows-only Changes

Porting to Python 3.7

Notable changes in Python 3.7.1

Notable changes in Python 3.7.2

Notable changes in Python 3.7.6

Notable changes in Python 3.7.10

Notable changes in Python 3.7.11

Notable security feature in 3.7.14

What’s New In Python 3.6

Resumo – Destaques da versão

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Otimizações

Mudanças a construções e API C

Other Improvements

Descontinuados

Removidos

Porting to Python 3.6

Notable changes in Python 3.6.2

Notable changes in Python 3.6.4

Notable changes in Python 3.6.5

Notable changes in Python 3.6.7

Notable changes in Python 3.6.10

Notable changes in Python 3.6.13

Notable changes in Python 3.6.14

O que há de novo no Python 3.5

Resumo – Destaques da versão

Novas funcionalidades

Outras mudanças na linguagem

Novos módulos

Módulos melhorados

Other module-level changes

Otimizações

Mudanças a construções e API C

Descontinuados

Removidos

Porting to Python 3.5

Notable changes in Python 3.5.4

O que há de novo no Python 3.4

Resumo – Destaques da versão

Novas funcionalidades

Novos módulos

Módulos melhorados

CPython Implementation Changes

Descontinuados

Removidos

Porting to Python 3.4

Alterado em 3.4.3

O que há de novo no Python 3.3

Resumo – Destaques da versão

PEP 405: Ambientes Virtuais

PEP 420: Implicit Namespace Packages

PEP 3118: New memoryview implementation and buffer protocol documentation

PEP 393: Flexible String Representation

PEP 397: Python Launcher for Windows

PEP 3151: Reworking the OS and IO exception hierarchy

PEP 380: Syntax for Delegating to a Subgenerator

PEP 409: Suppressing exception context

PEP 414: Explicit Unicode literals

PEP 3155: Qualified name for classes and functions

PEP 412: Key-Sharing Dictionary

PEP 362: Function Signature Object

PEP 421: Adding sys.implementation

Using importlib as the Implementation of Import

Outras mudanças na linguagem

A Finer-Grained Import Lock

Builtin functions and types

Novos módulos

Módulos melhorados

Otimizações

Mudanças a construções e API C

Descontinuados

Porting to Python 3.3

O que há de novo no Python 3.2

PEP 384: Defining a Stable ABI

PEP 389: Argparse Command Line Parsing Module

PEP 391: Dictionary Based Configuration for Logging

PEP 3148: The concurrent.futures module

PEP 3147: PYC Repository Directories

PEP 3149: ABI Version Tagged .so Files

PEP 3333: Python Web Server Gateway Interface v1.0.1

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

Multi-threading

Otimizações

Unicode

Codecs

Documentação

IDLE

Code Repository

Mudanças a construções e API C

Porting to Python 3.2

O que há de novo no Python 3.1

PEP 372: Dicionários ordenados

PEP 378: Especificador de formato para separador de milhares

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

Otimizações

IDLE

Mudanças a construções e API C

Porting to Python 3.1

O que há de novo no Python 3.0

Obstáculos comuns

Visão geral das alterações da sintaxe

Mudanças já presentes no Python 2.6

Mudanças na biblioteca

PEP 3101: Uma nova abordagem para formatação de strings

Mudanças para exceções

Outras mudanças diversas

Mudanças a construções e API C

Desempenho

Portando para o Python 3.0

O que há de novo no Python 2.7

O futuro para o Python 2.x

Mudanças no tratamento de avisos de descontinuação

Recursos do Python 3.1

PEP 372: Adicionando um dicionário ordenado a coleções

PEP 378: Especificador de formato para separador de milhares

PEP 389: O módulo argparse para analisar linhas de comando

PEP 391: Configuração baseada em dicionário para logging

PEP 3106: Views de dicionário

PEP 3137: O objeto memoryview

Outras mudanças na linguagem

Módulos Novos ou Aprimorados

Mudanças a construções e API C

Outras alterações e correções

Portando para Python 2.7

Novos recursos adicionados às versões de manutenção do Python 2.7

Reconhecimentos

O que há de novo no Python 2.6

Python 3.0

Changes to the Development Process

PEP 343: The ‘with’ statement

PEP 366: Explicit Relative Imports From a Main Module

PEP 370: Per-user site-packages Directory

PEP 371: The multiprocessing Package

PEP 3101: Advanced String Formatting

PEP 3105: print As a Function

PEP 3110: Exception-Handling Changes

PEP 3112: Byte Literals

PEP 3116: New I/O Library

PEP 3118: Revised Buffer Protocol

PEP 3119: Abstract Base Classes

PEP 3127: Integer Literal Support and Syntax

PEP 3129: Class Decorators

PEP 3141: A Type Hierarchy for Numbers

Outras mudanças na linguagem

Módulos novos ou aprimorados

Deprecations and Removals

Mudanças a construções e API C

Porting to Python 2.6

Reconhecimentos

What’s New in Python 2.5

PEP 308: Conditional Expressions

PEP 309: Partial Function Application

PEP 314: Metadata for Python Software Packages v1.1

PEP 328: Absolute and Relative Imports

PEP 338: Executing Modules as Scripts

PEP 341: Unified try/except/finally

PEP 342: New Generator Features

PEP 343: The ‘with’ statement

PEP 352: Exceptions as New-Style Classes

PEP 353: Using ssize_t as the index type

PEP 357: The ‘__index__’ method

Outras mudanças na linguagem

New, Improved, and Removed Modules

Mudanças a construções e API C

Porting to Python 2.5

Reconhecimentos

What’s New in Python 2.4

PEP 218: Built-In Set Objects

PEP 237: Unifying Long Integers and Integers

PEP 289: Generator Expressions

PEP 292: Simpler String Substitutions

PEP 318: Decorators for Functions and Methods

PEP 322: Reverse Iteration

PEP 324: New subprocess Module

PEP 327: Decimal Data Type

PEP 328: Multi-line Imports

PEP 331: Locale-Independent Float/String Conversions

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

Mudanças a construções e API C

Porting to Python 2.4

Reconhecimentos

What’s New in Python 2.3

PEP 218: A Standard Set Datatype

PEP 255: Simple Generators

PEP 263: Source Code Encodings

PEP 273: Importing Modules from ZIP Archives

PEP 277: Unicode file name support for Windows NT

PEP 278: Universal Newline Support

PEP 279: enumerate()

PEP 282: The logging Package

PEP 285: A Boolean Type

PEP 293: Codec Error Handling Callbacks

PEP 301: Package Index and Metadata for Distutils

PEP 302: New Import Hooks

PEP 305: Comma-separated Files

PEP 307: Pickle Enhancements

Extended Slices

Outras mudanças na linguagem

New, Improved, and Deprecated Modules

Pymalloc: A Specialized Object Allocator

Mudanças a construções e API C

Outras alterações e correções

Porting to Python 2.3

Reconhecimentos

What’s New in Python 2.2

Introdução

PEPs 252 and 253: Type and Class Changes

PEP 234: Iterators

PEP 255: Simple Generators

PEP 237: Unifying Long Integers and Integers

PEP 238: Changing the Division Operator

Unicode Changes

PEP 227: Nested Scopes

Módulos novos ou aprimorados

Interpreter Changes and Fixes

Outras alterações e correções

Reconhecimentos

What’s New in Python 2.1

Introdução

PEP 227: Nested Scopes

PEP 236: __future__ Directives

PEP 207: Rich Comparisons

PEP 230: Warning Framework

PEP 229: New Build System

PEP 205: Weak References

PEP 232: Function Attributes

PEP 235: Importing Modules on Case-Insensitive Platforms

PEP 217: Interactive Display Hook

PEP 208: New Coercion Model

PEP 241: Metadata in Python Packages

Módulos novos ou aprimorados

Outras alterações e correções

Reconhecimentos

What’s New in Python 2.0

Introdução

What About Python 1.6?

New Development Process

Unicode

List Comprehensions

Augmented Assignment

String Methods

Garbage Collection of Cycles

Other Core Changes

Porting to 2.0

Extending/Embedding Changes

Distutils: Making Modules Easy to Install

XML Modules

Module changes

Novos módulos

IDLE Improvements

Deleted and Deprecated Modules

Reconhecimentos

O “Changelog” é uma versão HTML do arquivo construído [https://pypi.org/project/blurb/] do conteúdo da árvore de diretórios Misc/NEWS.d [https://github.com/python/cpython/tree/3.13/Misc/NEWS.d], que contém todas as mudanças não triviais do Python para a versão atual.

Changelog

Python next

Python 3.13.0 final

Python 3.13.0 release candidate 3

Python 3.13.0 release candidate 2

Python 3.13.0 release candidate 1

Python 3.13.0 beta 4

Python 3.13.0 beta 3

Python 3.13.0 beta 2

Python 3.13.0 beta 1

Python 3.13.0 alpha 6

Python 3.13.0 alpha 5

Python 3.13.0 alpha 4

Python 3.13.0 alpha 3

Python 3.13.0 alpha 2

Python 3.13.0 alpha 1

Python 3.12.0 beta 1

Python 3.12.0 alpha 7

Python 3.12.0 alpha 6

Python 3.12.0 alpha 5

Python 3.12.0 alpha 4

Python 3.12.0 alpha 3

Python 3.12.0 alpha 2

Python 3.12.0 alpha 1

Python 3.11.0 beta 1

Python 3.11.0 alpha 7

Python 3.11.0 alpha 6

Python 3.11.0 alpha 5

Python 3.11.0 alpha 4

Python 3.11.0 alpha 3

Python 3.11.0 alpha 2

Python 3.11.0 alpha 1

Python 3.10.0 beta 1

Python 3.10.0 alpha 7

Python 3.10.0 alpha 6

Python 3.10.0 alpha 5

Python 3.10.0 alpha 4

Python 3.10.0 alpha 3

Python 3.10.0 alpha 2

Python 3.10.0 alpha 1

Python 3.9.0 beta 1

Python 3.9.0 alpha 6

Python 3.9.0 alpha 5

Python 3.9.0 alpha 4

Python 3.9.0 alpha 3

Python 3.9.0 alpha 2

Python 3.9.0 alpha 1

Python 3.8.0 beta 1

Python 3.8.0 alpha 4

Python 3.8.0 alpha 3

Python 3.8.0 alpha 2

Python 3.8.0 alpha 1

Python 3.7.0 final

Python 3.7.0 release candidate 1

Python 3.7.0 beta 5

Python 3.7.0 beta 4

Python 3.7.0 beta 3

Python 3.7.0 beta 2

Python 3.7.0 beta 1

Python 3.7.0 alpha 4

Python 3.7.0 alpha 3

Python 3.7.0 alpha 2

Python 3.7.0 alpha 1

Python 3.6.6 final

Python 3.6.6 release candidate 1

Python 3.6.5 final

Python 3.6.5 release candidate 1

Python 3.6.4 final

Python 3.6.4 release candidate 1

Python 3.6.3 final

Python 3.6.3 release candidate 1

Python 3.6.2 final

Python 3.6.2 release candidate 2

Python 3.6.2 release candidate 1

Python 3.6.1 final

Python 3.6.1 release candidate 1

Python 3.6.0 final

Python 3.6.0 release candidate 2

Python 3.6.0 release candidate 1

Python 3.6.0 beta 4

Python 3.6.0 beta 3

Python 3.6.0 beta 2

Python 3.6.0 beta 1

Python 3.6.0 alpha 4

Python 3.6.0 alpha 3

Python 3.6.0 alpha 2

Python 3.6.0 alpha 1

Python 3.5.5 final

Python 3.5.5 release candidate 1

Python 3.5.4 final

Python 3.5.4 release candidate 1

Python 3.5.3 final

Python 3.5.3 release candidate 1

Python 3.5.2 final

Python 3.5.2 release candidate 1

Python 3.5.1 final

Python 3.5.1 release candidate 1

Python 3.5.0 final

Python 3.5.0 release candidate 4

Python 3.5.0 release candidate 3

Python 3.5.0 release candidate 2

Python 3.5.0 release candidate 1

Python 3.5.0 beta 4

Python 3.5.0 beta 3

Python 3.5.0 beta 2

Python 3.5.0 beta 1

Python 3.5.0 alpha 4

Python 3.5.0 alpha 3

Python 3.5.0 alpha 2

Python 3.5.0 alpha 1

O que há de novo no Python 3.13

Editores:

Adam Turner e Thomas Wouters

Este artigo explica os novos recursos no Python 3.13, em comparação com 3.12. Python 3.13 foi lançado em 7 de outubro de 2024. Veja changelog para uma lista completa de mudanças.

Ver também

PEP 719 [https://peps.python.org/pep-0719/] – Cronograma de lançamento do Python 3.13

Resumo – Destaques da versão

O Python 3.13 é a versão estável mais recente da linguagem de programação Python, com uma mistura de mudanças na linguagem, na implementação e na biblioteca padrão. As maiores mudanças incluem um novo interpretador interativo, suporte experimental para execução em um modo de threads livres (PEP 703 [https://peps.python.org/pep-0703/]) e um compilador Just-In-Time (PEP 744 [https://peps.python.org/pep-0744/]).

As mensagens de erro continuam a melhorar, com tracebacks (situação da pilha de execução) agora realçados em cores por padrão. A função embutida locals() agora tem semânticas definidas para alterar o mapeamento retornado, e os parâmetros de tipo agora oferecem suporte a valores padrão.

As alterações da biblioteca contêm a remoção de APIs e módulos descontinuados, bem como as melhorias usuais em facilidade de uso e correção. Vários módulos da biblioteca padrão legados agora foram removidos após sua descontinuação no Python 3.11 (PEP 594 [https://peps.python.org/pep-0594/]).

Este artigo não tenta fornecer uma especificação completa de todos os novos recursos, mas fornece uma visão geral conveniente. Para detalhes completos, consulte a documentação, como Referência da Biblioteca e Referência da Linguagem. Para entender a implementação completa e a justificativa do design para uma mudança, consulte a PEP para um novo recurso específico; mas observe que as PEPs geralmente não são mantidas atualizadas depois que um recurso é totalmente implementado. Veja Portando para o Python 3.13 para orientação sobre atualização a partir de versões anteriores do Python.

Melhorias no interpretador:

Um interpretador interativo bastante aprimorado e mensagens de erro aprimoradas.

PEP 667 [https://peps.python.org/pep-0667/]: a função embutida locals() agora tem semântica definida ao fazer a mutação do mapeamento retornado. Os depuradores do Python e ferramentas semelhantes agora podem atualizar variáveis locais de maneira mais confiável em escopos otimizados, mesmo durante a execução simultânea de código.

PEP 703 [https://peps.python.org/pep-0703/]: CPython 3.13 tem suporte experimental para ser executado com a trava global do interpretador, ou GIL, desabilitada. Veja CPython com threads livres para mais detalhes.

PEP 744 [https://peps.python.org/pep-0744/]: um compilador JIT básico foi adicionado. Atualmente está desativado por padrão (embora possamos ativá-lo mais tarde). As melhorias de desempenho são modestas – esperamos melhorar isso nas próximas versões.

Suporte a cores no novo interpretador interativo, bem como na saída de tracebacks e de doctest. Isso pode ser desabilitado através das variáveis de ambiente PYTHON_COLORS e NO_COLOR [https://no-color.org/].

Melhorias no modelo de dados Python:

__static_attributes__ armazena os nomes dos atributos acessados ​​por meio de self.X em qualquer função no corpo da classe.

__firstlineno__ registra o número da primeira linha da definição de classe.

Melhorias significativas na biblioteca padrão:

Adiciona uma nova exceção PythonFinalizationError, levantada quando uma operação é bloqueada durante a finalização.

O módulo argparse agora oferece suporte a descontinuar opções de linha de comando, argumentos posicionais e subcomandos.

As novas funções base64.z85encode() e base64.z85decode() oferecem suporte à codificação e decodificação de dados Z85 [https://rfc.zeromq.org/spec/32/].

O módulo copy agora tem uma função copy.replace(), com suporte para muitos tipos embutidos e qualquer classe que defina o método __replace__().

O novo módulo dbm.sqlite3 agora é o backend dbm padrão.

O módulo os tem um conjunto de novas funções para trabalhar com os descritores de arquivo de notificação de temporizador do Linux.

O módulo random agora tem uma interface de linha de comando.

Melhorias de segurança:

ssl.create_default_context() define ssl.VERIFY_X509_PARTIAL_CHAIN e ssl.VERIFY_X509_STRICT como sinalizadores padrão.

Melhorias na API C:

O slot Py_mod_gil agora é usado para indicar que um módulo de extensão oferece suporte à execução com a GIL desabilitada.

A API C PyTime foi adicionada, fornecendo acesso aos relógios do sistema.

PyMutex é um novo mutex leve que ocupa um único byte.

Há um novo conjunto de funções para gerar eventos de monitoramento da PEP 669 [https://peps.python.org/pep-0669/] na API C.

Novos recursos de tipagem:

PEP 696 [https://peps.python.org/pep-0696/]: parâmetros de tipo (typing.TypeVar, typing.ParamSpec e typing.TypeVarTuple) agora oferecem suporte a valores padrão.

PEP 702 [https://peps.python.org/pep-0702/]: o novo decorador warnings.deprecated() adiciona suporte para marcar descontinuações no sistema de tipos e ambiente de execução.

PEP 705 [https://peps.python.org/pep-0705/]: typing.ReadOnly pode ser usado para marcar um item de typing.TypedDict como somente leitura para verificadores de tipo.

PEP 742 [https://peps.python.org/pep-0742/]: typing.TypeIs fornece um comportamento de estreitamento de tipo mais intuitivo, como uma alternativa ao typing.TypeGuard.

Suporte à plataforma:

PEP 730 [https://peps.python.org/pep-0730/]: iOS da Apple agora é uma plataforma oficialmente com suporte, no tier 3 [https://peps.python.org/pep-0011/#tier-3].

PEP 738 [https://peps.python.org/pep-0738/]: Android é agora uma plataforma oficialmente com suporte, no tier 3 [https://peps.python.org/pep-0011/#tier-3].

wasm32-wasi agora é uma plataforma com suporte tier 2 [https://peps.python.org/pep-0011/#tier-2].

wasm32-emscripten não é mais uma plataforma oficialmente com suporte.

Remoções importantes:

PEP 594: as 19 “baterias descarregadas” (módulos legados da biblioteca padrão) restantes foram removidas da biblioteca padrão: aifc, audioop, cgi, cgitb, chunk, crypt, imghdr, mailcap, msilib, nis, nntplib, ossaudiodev, pipes, sndhdr, spwd, sunau, telnetlib, uu e xdrlib.

Remove a ferramenta 2to3 e o módulo lib2to3 (descontinuados no Python 3.11).

Remove o módulo tkinter.tix (descontinuado no Python 3.6).

Remove a função locale.resetlocale().

Remove os espaços de nomes typing.io e typing.re.

Remove descritores encadeados de classmethod.

Mudanças no cronograma de lançamento:

PEP 602 [https://peps.python.org/pep-0602/] (“Ciclo de Lançamento Anual para Python”) foi atualizado para estender o período de suporte total (“bugfix”) para novos lançamentos para dois anos. Esta política atualizada significa que:

O Python 3.9–3.12 tem um ano e meio de suporte total, seguido por três anos e meio de correções de segurança.

Python 3.13 e posteriores têm dois anos de suporte total, seguidos de três anos de correções de segurança.

Novas funcionalidades

Um melhor interpretador interativo

Python agora usa um novo console interativo por padrão, com base no código do projeto PyPy [https://pypy.org/]. Quando o usuário inicia o REPL de um terminal interativo, agora os seguintes novos recursos estão disponíveis:

Edição multilinha com preservação do histórico.

Suporte direto para comandos específicos do REPL, como help, exit e quit, sem a necessidade de chamá-los como funções.

Prompts e tracebacks com cores habilitadas por padrão.

Ajuda interativa para navegar usando F1 com um histórico de comandos separado.

Navegação no histórico usando F2 que ignora a saída, bem como os prompts >>> e ….

“Modo de colagem” com F3 que facilita colar blocos de código maiores (pressione F3 novamente para retornar ao prompt normal).

Para desabilitar o novo console interativo, defina a variável de ambiente PYTHON_BASIC_REPL. Para mais informações sobre o modo interativo, veja Modo interativo.

(Contribuição de Pablo Galindo Salgado, Łukasz Langa e Lysandros Nikolaou em gh-111201 [https://github.com/python/cpython/issues/111201] baseado no código do projeto PyPy. Suporte ao Windows foi uma contribuição de Dino Viehland e Anthony Shaw.)

Mensagens de erro melhoradas

O interpretador agora usa cores por padrão ao exibir tracebacks no terminal. Este recurso pode ser controlado por meio da nova variável de ambiente PYTHON_COLORS, bem como das variáveis ​​de ambiente canônicas NO_COLOR [https://no-color.org/] e FORCE_COLOR [https://force-color.org/]. (Contribuição de Pablo Galindo Salgado em gh-112730 [https://github.com/python/cpython/issues/112730].)

Um erro comum é escrever um script com o mesmo nome de um módulo de biblioteca padrão. Quando isso resulta em erros, agora exibimos uma mensagem de erro mais útil:

$ python random.py
Traceback (most recent call last):
  File "/home/me/random.py", line 1, in <module>
    import random
  File "/home/me/random.py", line 3, in <module>
    print(random.randint(5))
          ^^^^^^^^^^^^^^
AttributeError: module 'random' has no attribute 'randint' (consider renaming '/home/me/random.py' since it has the same name as the standard library module named 'random' and prevents importing that standard library module)

Da mesma forma, se um script tiver o mesmo nome de um módulo de terceiros que ele tentar importar e isso resultar em erros, também exibiremos uma mensagem de erro mais útil:

$ python numpy.py
Traceback (most recent call last):
  File "/home/me/numpy.py", line 1, in <module>
    import numpy as np
  File "/home/me/numpy.py", line 3, in <module>
    np.array([1, 2, 3])
    ^^^^^^^^
AttributeError: module 'numpy' has no attribute 'array' (consider renaming '/home/me/numpy.py' if it has the same name as a library you intended to import)

(Contribuição de Shantanu Jain em gh-95754 [https://github.com/python/cpython/issues/95754].)

A mensagem de erro agora tenta sugerir o argumento nomeado correto quando um argumento nomeado incorreto é passado para uma função.

>>> "Better error messages!".split(max_split=1)
Traceback (most recent call last):
  File "<python-input-0>", line 1, in <module>
    "Better error messages!".split(max_split=1)
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^
TypeError: split() got an unexpected keyword argument 'max_split'. Did you mean 'maxsplit'?

(Contribuição de Pablo Galindo Salgado e Shantanu Jain em gh-107944 [https://github.com/python/cpython/issues/107944].)

CPython com threads livres

O CPython agora tem suporte experimental para execução em modo de threads livres, com a trava global do interpretador (GIL) desabilitada. Este é um recurso experimental e, portanto, não é habilitado por padrão. O modo de threads livres requer um executável diferente, geralmente chamado de python3.13t ou python3.13t.exe. Binários pré-construídos marcados como free-threaded podem ser instalados como parte dos instaladores oficiais Windows e macOS, ou o CPython pode ser construído a partir da fonte com a opção --disable-gil.

A execução de threads livres permite a utilização total do poder de processamento disponível ao executar threads em paralelo nos núcleos de CPU disponíveis. Embora nem todos os softwares se beneficiem disso automaticamente, programas projetados com threading em mente serão executados mais rapidamente em hardware multi-core. O modo de threads livres é experimental e o trabalho está em andamento para melhorá-lo: espere alguns bugs e um impacto substancial no desempenho de thread único. As construções de threads livres do CPython oferecem suporte à execução opcional com a GIL habilitada no tempo de execução usando a variável de ambiente PYTHON_GIL ou a opção de linha de comando -X gil=1.

Para verificar se o interpretador atual oferece suporte a threads livres, python -VV e sys.version contêm “experimental free-threading build”. A nova função sys._is_gil_enabled() pode ser usada para verificar se a GIL está realmente desabilitada no processo em execução.

Os módulos de extensão da API C precisam ser construídos especificamente para a construção com threads livres. Extensões que oferecem suporte à execução com GIL desabilitada devem usar o slot Py_mod_gil. Extensões que usam inicialização monofásica devem usar PyUnstable_Module_SetGIL() para indicar se oferecem suporte à execução com a GIL desabilitada. A importação de extensões C que não usam esses mecanismos fará com que a GIL seja habilitada, a menos que a GIL tenha sido explicitamente desabilitada com a variável de ambiente PYTHON_GIL ou a opção -X gil=0. pip 24.1 ou mais recentes é necessário para instalar pacotes com extensões C na construção de threads livres.

Este trabalho foi possível graças a muitos indivíduos e organizações, incluindo a grande comunidade de colaboradores do Python e projetos de terceiros para testar e habilitar o suporte para threads livres. Colaboradores notáveis ​​incluem: Sam Gross, Ken Jin, Donghee Na, Itamar Oren, Matt Page, Brett Simmers, Dino Viehland, Carl Meyer, Nathan Goldbaum, Ralf Gommers, Lysandros Nikolaou e muitos outros. Muitos desses colaboradores são empregados pela Meta, que forneceu recursos de engenharia significativos para dar suporte a este projeto.

Ver também

PEP 703 [https://peps.python.org/pep-0703/] “Tornando a trava global do interpretador opcional no CPython” contém justificativa e informações sobre este trabalho.

Portando módulos de extensão para oferecer suporte a threads livres [https://py-free-threading.github.io/porting/]: um guia de portabilidade mantido pela comunidade para autores de extensões.

Um compilador just-in-time (JIT) experimental

Quando o CPython é configurado e construído usando a opção --enable-experimental-jit, um compilador just-in-time (JIT) é adicionado, o que pode acelerar alguns programas Python. No Windows, use PCbuild/build.bat --experimental-jit para habilitar o JIT ou --experimental-jit-interpreter para habilitar o interpretador Tier 2. Os requisitos de construção e outras informações de suporte estão contidos em [https://github.com/python/cpython/blob/main/Tools/jit/README.md] Tools/jit/README.md.

A opção --enable-experimental-jit aceita esses valores (opcionais), assumindo como padrão yes se --enable-experimental-jit estiver presente sem o valor opcional.

no: desativa todo o pipeline de Tier 2 e JIT.

yes: habilita o JIT. Para desabilitar o JIT em tempo de execução, passe a variável de ambiente PYTHON_JIT=0.

yes-off: constrói o JIT, mas desabilita-o por padrão. Para habilitar o JIT em tempo de execução, passe a variável de ambiente PYTHON_JIT=1.

interpreter: habilita o interpretador Tier 2, mas desabilita o JIT. O interpretador pode ser desabilitado executando com PYTHON_JIT=0.

A arquitetura interna é aproximadamente a seguinte:

Começamos com especializado bytecode de Tier 1. Veja O que há de novo no 3.11 para detalhes.

Quando o bytecode Tier 1 fica quente o suficiente, ele é traduzido para uma nova representação intermediária (IR) puramente interna, também chamado de IR Tier 2, e às vezes chamada de micro-ops (“uops”).

O IR Tier 2 usa a mesma máquina virtual baseada em pilha que o Tier 1, mas o formato de instrução é mais adequado para tradução em código de máquina.

Temos vários passes de otimização para IR Tier 2, que são aplicados antes de serem interpretados ou traduzidos em código de máquina.

Existe um interpretador de Tier 2, mas ele se destina principalmente à depuração dos estágios iniciais do pipeline de otimização. O interpretador Tier 2 pode ser habilitado configurando o Python com --enable-experimental-jit=interpreter.

Quando o JIT está habilitado, o IR Tier 2 otimizado é traduzido em código de máquina, que é então executado.

O processo de tradução de código de máquina usa uma técnica chamada copiar e corrigir. Não possui dependências de tempo de execução, mas há uma nova dependência de tempo de construção no LLVM.

Ver também

PEP 744 [https://peps.python.org/pep-0744/]

(JIT de Brandt Bucher, inspirado em um artigo de Haoran Xu e Fredrik Kjolstad. Tier 2 IR de Mark Shannon e Guido van Rossum. Otimizador Tier 2 de Ken Jin.)

Definidas semânticas de mutação para locals()

Historicamente, o resultado esperado da mutação do valor de retorno de locals() foi deixada para as implementações individuais de Python definirem. A partir do Python 3.13, PEP 667 [https://peps.python.org/pep-0667/] padroniza o comportamento histórico do CPython para a maioria dos escopos de execução de código, mas altera escopos otimizados (funções, geradores, corrotinas, compreensões e expressões geradoras) para retornar explicitamente instantâneos independentes das variáveis ​​locais atualmente atribuídas, incluindo variáveis ​​não locais referenciadas localmente capturadas em encerramentos.

Esta mudança na semântica de locals() em escopos otimizados também afeta o comportamento padrão das funções de execução de código que visam implicitamente locals() se nenhum espaço de nomes explícito for fornecido (como exec() e eval()). Nas versões anteriores, se as alterações podiam ou não ser acessadas chamando locals() após chamar a função de execução de código dependia da implementação. Especificamente no CPython, esse código normalmente parece funcionar conforme desejado, mas às vezes pode falhar em escopos otimizados com base em outro código (incluindo depuradores e ferramentas de rastreamento de execução de código), redefinindo potencialmente o instantâneo compartilhado nesse escopo. Agora, o código sempre será executado em um instantâneo independente das variáveis ​​locais em escopos otimizados e, portanto, as alterações nunca serão visíveis em chamadas subsequentes para locals(). Para acessar as alterações feitas nesses casos, uma referência explícita de espaço de nomes deve agora ser passada para a função relevante. Alternativamente, pode fazer sentido atualizar o código afetado para usar uma API de execução de código de nível superior que retorne o espaço de nomes de execução de código resultante (por exemplo, runpy.run_path() ao executar arquivos Python do disco).

Para garantir que depuradores e ferramentas semelhantes possam atualizar de forma confiável variáveis ​​locais em escopos afetados por esta mudança, FrameType.f_locals agora retorna um proxy write-through para as variáveis ​​locais e não locais referenciadas localmente do quadro nesses escopos, em vez de retornar uma instância dict compartilhada atualizada inconsistentemente com semântica de tempo de execução indefinida.

Veja PEP 667 [https://peps.python.org/pep-0667/] para mais detalhes, incluindo alterações e descontinuações relacionadas à API C. Notas de portabilidade também são fornecidas abaixo para as APIs de Python e as APIs de C afetadas.

(PEP e implementação são contribuição de Mark Shannon e Tian Gao em gh-74929 [https://github.com/python/cpython/issues/74929]. Atualizações da documentação fornecidas por Guido van Rossum e Alyssa Coghlan.)

Suporte para plataformas móveis

PEP 730 [https://peps.python.org/pep-0730/]: iOS agora é uma plataforma com suporte conforme a PEP 11 [https://peps.python.org/pep-0011/], com os alvos arm64-apple-ios e arm64-apple-ios-simulator no nível 3 (dispositivos iPhone e iPad lançados após 2013 e o simulador Xcode iOS sendo executado em hardware Apple Silicon, respectivamente). x86_64-apple-ios-simulator (o simulador Xcode iOS sendo executado em hardware x86_64 mais antigo) não é uma plataforma com suporte nível 3, mas terá o melhor suporte possível. (PEP escrita e implementação como contribuição de Russell Keith-Magee em gh-114099 [https://github.com/python/cpython/issues/114099].)

PEP 738 [https://peps.python.org/pep-0738/]: Android agora é uma plataforma com suporte conforme a PEP 11 [https://peps.python.org/pep-0011/], com os alvos aarch64-linux-android e x86_64-linux-android no nível 3. Os alvos de 32 bits arm-linux-androideabi e i686-linux-android não são plataformas com suporte de nível 3, mas terão o melhor suporte possível. (PEP escrita e implementação como contribuição de Malcolm Smith em gh-116622 [https://github.com/python/cpython/issues/116622].)

Ver também

PEP 730 [https://peps.python.org/pep-0730/], PEP 738 [https://peps.python.org/pep-0738/]

Outras mudanças na linguagem

O compilador agora remove espaços em branco comuns de cada linha em uma docstring. Isso reduz o tamanho do cache de bytecode (como arquivos .pyc), com reduções no tamanho do arquivo de cerca de 5%, por exemplo, em sqlalchemy.orm.session do SQLAlchemy 2.0. Essa alteração afeta ferramentas que usam docstrings, como doctest.

>>> def spam():
...     """
...         Esta é uma docstring com
...           espaços em branco no começo.
...
...         Ela atém mesmo tem vários parágrafos!
...     """
...
>>> spam.__doc__
'\n\nEsta é uma docstring com\n\n espaços em branco no começo.\n\n\nEla atém mesmo tem vários parágrafos!\n\n'

(Contribuição de Inada Naoki em gh-81283 [https://github.com/python/cpython/issues/81283].)

Escopos de anotação dentro dos escopos de classe agora pode conter lambdas e compreensões. As compreensões localizadas nos escopos de classe não são incorporadas ao escopo pai.

class C[T]:
    type Alias = lambda: T

(Contribuição de Jelle Zijlstra em gh-109118 [https://github.com/python/cpython/issues/109118] e gh-118160 [https://github.com/python/cpython/issues/118160].)

Instruções future não são mais acionadas por importações relativas do módulo __future__, o que significa que instruções no formato from .__future__ import ... agora são simplesmente importações relativas padrão, sem recursos especiais ativados. (Contribuição de Jeremiah Gabriel Pascual em gh-118216 [https://github.com/python/cpython/issues/118216].)

Declarações global agora são permitidas em blocos except quando esse global é usado no bloco else. Anteriormente, isso erroneamente levantava uma exceção SyntaxError. (Contribuição de Irit Katriel em gh-111123 [https://github.com/python/cpython/issues/111123].)

Adiciona PYTHON_FROZEN_MODULES, uma nova variável de ambiente que determina se os módulos congelados são ignorados pelo maquinário de importação, equivalente à opção de linha de comando -X frozen_modules. (Contribuição de Yilei Yang em gh-111374 [https://github.com/python/cpython/issues/111374].)

Adicionado suporte ao perfilador perf funcionando sem ponteiros de quadro [https://pt.wikipedia.org/wiki/Pilha_de_chamada] através da nova variável de ambiente PYTHON_PERF_JIT_SUPPORT e opção de linha de comando -X perf_jit. (Contribuição de Pablo Galindo em gh-118518 [https://github.com/python/cpython/issues/118518].)

A localização de um arquivo .python_history pode ser alterada por meio da nova variável de ambiente PYTHON_HISTORY. (Contribuição de Levi Sabah, Zackery Spytz e Hugo van Kemenade em gh-73965 [https://github.com/python/cpython/issues/73965].)

As classes têm um novo atributo __static_attributes__. Isso é preenchido pelo compilador, com uma tupla de nomes de atributos da classe que são atribuídos através de self.<name> de qualquer função em seu corpo. (Contribuição de Irit Katriel em gh-115775 [https://github.com/python/cpython/issues/115775].)

O compilador agora cria um atributo __firstlineno__ em classes com o número da primeira linha da definição de classe. (Contribuição de Serhiy Storchaka em gh-118465 [https://github.com/python/cpython/issues/118465].)

As funções embutidas exec() e eval() agora aceitam os argumentos globals e locals como nomeados. (Contribuição de Raphael Gaschignard em gh-105879 [https://github.com/python/cpython/issues/105879])

A função embutida compile() agora aceita um novo sinalizador, ast.PyCF_OPTIMIZED_AST, que é semelhante a ast.PyCF_ONLY_AST exceto que a AST retornada é otimizada de acordo com o valor do argumento optimize. (Contribuição de Irit Katriel em gh-108113 [https://github.com/python/cpython/issues/108113]).

Adiciona um atributo __name__ em objetos property. (Contribuição de Eugene Toder em gh-101860 [https://github.com/python/cpython/issues/101860].)

Adiciona PythonFinalizationError, uma nova exceção derivada de RuntimeError e usada para sinalizar quando as operações são bloqueadas durante a finalização. Os seguintes chamáveis agora levantam PythonFinalizationError, em vez de RuntimeError:

_thread.start_new_thread()

os.fork()

os.forkpty()

subprocess.Popen

(Contribuição de Victor Stinner em gh-114570 [https://github.com/python/cpython/issues/114570].)

Permite que o argumento count de str.replace() seja um argumento nomeado. (Contribuição de Hugo van Kemenade em gh-106487 [https://github.com/python/cpython/issues/106487].)

Muitas funções agora emitem um aviso se um valor booleano for passado como argumento do descritor de arquivo. Isso pode ajudar a detectar alguns erros mais cedo. (Contribuição de Serhiy Storchaka em gh-82626 [https://github.com/python/cpython/issues/82626].)

Adicionados atributos name e mode para objetos arquivo ou similar compactados e arquivados nos módulos bz2, lzma, tarfile e zipfile. (Contribuição de Serhiy Storchaka em gh-115961 [https://github.com/python/cpython/issues/115961].)

Novos módulos

dbm.sqlite3: um backend SQLite para dbm. (Contribuição de Raymond Hettinger e Erlend E. Aasland em gh-100414 [https://github.com/python/cpython/issues/100414].)

Módulos melhorados

argparse

Adiciona o parâmetro deprecated aos métodos add_argument() e add_parser(), o qual permite descontinuar opções de linha de comando, argumentos posicionais e subcomandos. (Contribuição de Serhiy Storchaka em gh-83648 [https://github.com/python/cpython/issues/83648].)

array

Adiciona o código do tipo 'w' (Py_UCS4) para caracteres Unicode. Ele deve ser usado no lugar do descontinuado código do tipo 'u'. (Contribuição de Inada Naoki em gh-80480 [https://github.com/python/cpython/issues/80480].)

Registra array.array como MutableSequence implementando o método clear(). (Contribuição de Mike Zimin em gh-114894 [https://github.com/python/cpython/issues/114894].)

ast

Os construtores dos tipos de nós no módulo ast agora são mais rígidos nos argumentos que aceitam, com um comportamento mais intuitivo quando os argumentos são omitidos.

Se um campo opcional em um nó AST não for incluído como argumento ao construir uma instância, o campo agora será definido como None. Da mesma forma, se um campo de lista for omitido, esse campo será agora definido como uma lista vazia, e se um campo expr_context for omitido, o padrão será Load(). (Anteriormente, em todos os casos, o atributo estaria ausente na instância do nó de AST recém-construída.)

Em todos os outros casos, nos quais um argumento é omitido, o construtor de nós vai emitir uma DeprecationWarning. Isso vai levantar uma exceção no Python 3.15. Da mesma forma, passar um argumento nomeado para o construtor que não mapeia para um campo no nó AST agora está descontinuado e vai levantar uma exceção no Python 3.15.

Estas mudanças não se aplicam às subclasses definidas pelo usuário de ast.AST, a menos que a classe opte pelo novo comportamento definindo o mapeamento AST._field_types.

(Contribuição de Jelle Zijlstra em gh-105858 [https://github.com/python/cpython/issues/105858], gh-117486 [https://github.com/python/cpython/issues/117486] e gh-118851 [https://github.com/python/cpython/issues/118851].)

ast.parse() agora aceita um argumento opcional optimize que é passado para compile(). Isto torna possível obter um AST otimizado. (Contribuição de Irit Katriel em gh-108113 [https://github.com/python/cpython/issues/108113].)

asyncio

asyncio.as_completed() agora retorna um objeto que é ao mesmo tempo um iterador assíncrono e um iterator simples de aguardáveis. Os aguardáveis ​​gerados pela iteração assíncrona incluem tarefas originais ou objetos futuros que foram passados, facilitando a associação dos resultados às tarefas que estão sendo concluídas. (Contribuição de Justin Arthur em gh-77714 [https://github.com/python/cpython/issues/77714].)

asyncio.loop.create_unix_server() agora removerá automaticamente o soquete Unix quando o servidor for fechado. (Contribuição de Pierre Ossman em gh-111246 [https://github.com/python/cpython/issues/111246].)

DatagramTransport.sendto() agora enviará datagramas de comprimento zero se for chamado com um objeto de bytes vazios. O controle de fluxo de transporte agora também leva em conta o cabeçalho do datagrama ao calcular o tamanho do buffer. (Contribuição de Jamie Phan em gh-115199 [https://github.com/python/cpython/issues/115199].)

Adiciona Queue.shutdown e QueueShutDown para gerenciar a terminação da fila. (Contribuição de Laurie Opperman e Yves Duprat em gh-104228 [https://github.com/python/cpython/issues/104228].)

Adiciona os métodos Server.close_clients() e Server.abort_clients(), que fecham de forma mais forçada um servidor asyncio. (Contribuição de Pierre Ossman em gh-113538 [https://github.com/python/cpython/issues/113538].)

Aceita uma tupla de separadores em StreamReader.readuntil(), parando quando qualquer um deles for encontrado. (Contribuição de Bruce Merry em gh-81322 [https://github.com/python/cpython/issues/81322].)

Melhora o comportamento de TaskGroup quando um cancelamento externo colide com um cancelamento interno. Por exemplo, quando dois grupos de tarefas estão aninhados e ambos experimentam uma exceção em uma tarefa filho simultaneamente, é possível que o grupo de tarefas externo seja interrompido, porque seu cancelamento interno foi engolido pelo grupo de tarefas interno.

No caso em que um grupo de tarefas é cancelado externamente e também deve levantar ExceptionGroup, ele agora chamará o método cancel() da tarefa pai. Isso garante que uma CancelledError será levantada no próximo await, para que o cancelamento não seja perdido.

Um benefício adicional dessas mudanças é que os grupos de tarefas agora preservam a contagem de cancelamentos (cancelling()).

Para lidar com alguns casos extremos, uncancel() agora pode redefinir o sinalizador não documentado _must_cancel quando a contagem de cancelamentos chegar a zero.

(Inspirado por um relatório de problema relatado por Arthur Tacca em gh-116720 [https://github.com/python/cpython/issues/116720].)

Quando TaskGroup.create_task() é chamado em um TaskGroup inativo, a corrotina fornecida será fechada (o que evita que um RuntimeWarning sobre a corrotina fornecida nunca seja aguardado). (Contribuição de Arthur Tacca e Jason Zhang em gh-115957 [https://github.com/python/cpython/issues/115957].)

base64

Adiciona as funções z85encode() e z85decode() para codificar bytes como dados Z85 [https://rfc.zeromq.org/spec/32/] e decodificar dados codificados em Z85 para bytes. (Contribuição de Matan Perelman em gh-75299 [https://github.com/python/cpython/issues/75299].)

compileall

O número padrão de threads e processos de trabalho é agora selecionado usando os.process_cpu_count() em vez de os.cpu_count(). (Contribuição de Victor Stinner em gh-109649 [https://github.com/python/cpython/issues/109649].)

concurrent.futures

O número padrão de threads e processos de trabalho é agora selecionado usando os.process_cpu_count() em vez de os.cpu_count(). (Contribuição de Victor Stinner em gh-109649 [https://github.com/python/cpython/issues/109649].)

configparser

ConfigParser agora tem suporte para seções sem nome, o que permite pares de chave-valor de nível superior. Isso pode ser habilitado com o novo parâmetro allow_unnamed_section. (Contribuição de Pedro Sousa Lacerda em gh-66449 [https://github.com/python/cpython/issues/66449].)

copy

A nova função replace() e o protocolo replace tornam a criação de cópias modificadas de objetos muito mais simples. Isso é especialmente útil ao trabalhar com objetos imutáveis. Os seguintes tipos dão suporte à função replace() e implementam o protocolo replace:

collections.namedtuple()

dataclasses.dataclass

datetime.datetime, datetime.date, datetime.time

inspect.Signature, inspect.Parameter

types.SimpleNamespace

objetos código

Qualquer classe definida pelo usuário também pode têm suporte copy.replace() definindo o método __replace__(). (Contribuição de Serhiy Storchaka em gh-108751 [https://github.com/python/cpython/issues/108751].)

ctypes

Como consequência da refatoração interna necessária, a inicialização de metaclasses internas agora acontece em __init__ em vez de __new__. Isso afeta projetos que fazem subclasse dessas metaclasses internas para fornecer inicialização personalizada. De forma geral:

A lógica personalizada que foi feita em __new__ após chamar super().__new__ deve ser movida para __init__.

Para criar uma classe, chame a metaclasse, não apenas o método __new__ da metaclasse.

Veja gh-124520 [https://github.com/python/cpython/issues/124520] para discussão e links para mudanças em alguns projetos afetados.

Os objetos ctypes.Structure têm um novo atributo _align_ que permite que o alinhamento da estrutura que está sendo empacotada para/da memória seja especificado explicitamente. (Contribuição de Matt Sanderson em gh-112433 [https://github.com/python/cpython/issues/112433])

dbm

Adiciona dbm.sqlite3, um novo módulo que implementa um backend SQLite, e torna-o o backend padrão dbm. (Contribuição de Raymond Hettinger e Erlend E. Aasland em gh-100414 [https://github.com/python/cpython/issues/100414].)

Permite a remoção de todos os itens do banco de dados por meio dos novos métodos gdbm.clear() e ndbm.clear(). (Contribuição de Donghee Na em gh-107122 [https://github.com/python/cpython/issues/107122].)

dis

Altera a saída das funções do módulo dis para mostrar rótulos lógicos para alvos de salto e manipuladores de exceção, em vez de deslocamentos. Os deslocamentos podem ser adicionados com a nova opção de linha de comando -O ou o argumento show_offsets. (Contribuição de Irit Katriel em gh-112137 [https://github.com/python/cpython/issues/112137].)

get_instructions() não representa mais entradas de cache como instruções separadas. Em vez disso, ele os retorna como parte de Instruction, no novo campo cache_info. O argumento show_caches para get_instructions() foi descontinuado e não tem mais nenhum efeito. (Contribuição de Irit Katriel em gh-112962 [https://github.com/python/cpython/issues/112962].)

doctest

A saída doctest é agora colorida por padrão. Isso pode ser controlado através da nova variável de ambiente PYTHON_COLORS, bem como das variáveis ​​de ambiente canônicas NO_COLOR [https://no-color.org/] e FORCE_COLOR [https://force-color.org/]. Veja também Controlando cores. (Contribuição de Hugo van Kemenade em gh-117225 [https://github.com/python/cpython/issues/117225].)

O método DocTestRunner.run() agora conta o número de testes ignorados. Adiciona os atributos DocTestRunner.skips e TestResults.skipped. (Contribuição de Victor Stinner em gh-108794 [https://github.com/python/cpython/issues/108794].)

email

Cabeçalhos com novas linhas embutidas são agora colocadas entre aspas na saída. O generator agora se recusará a serializar (escrever) cabeçalhos que são dobrados ou delimitados incorretamente, de modo que eles seriam analisados ​​como vários cabeçalhos ou unidos a dados adjacentes. Se você precisar desativar esse recurso de segurança, defina verify_generated_headers. (Contribuição de Bas Bloemsaat e Petr Viktorin em gh-121650 [https://github.com/python/cpython/issues/121650].)

getaddresses() e parseaddr() agora retornam pares ('', '') em mais situações onde endereços de e-mail inválidos são encontrados em vez de valores potencialmente imprecisos. As duas funções têm agora um novo parâmetro opcional strict (padrão True). Para obter o comportamento antigo (aceitar entrada malformada), strict=False. getattr(email.utils, 'supports_strict_parsing', False) pode ser usado para verificar se o parâmetro strict está disponível. (Contribuição de Thomas Dwyer e Victor Stinner para gh-102988 [https://github.com/python/cpython/issues/102988] para melhorar a correção CVE 2023-27043 [https://www.cve.org/CVERecord?id=CVE-2023-27043].)

fractions

Os objetos Fraction agora oferecem suporte às regras padrão de minilinguagem de especificação de formato para preenchimento, alinhamento, manipulação de sinais, largura mínima e agrupamento. (Contribuição de Mark Dickinson em gh-111320 [https://github.com/python/cpython/issues/111320].)

glob

Adiciona translate(), uma função que converte uma especificação de caminho com curingas estilo shell em uma expressão regular. (Contribuição de Barney Gale em gh-72904 [https://github.com/python/cpython/issues/72904].)

importlib

As seguintes funções em importlib.resources agora permitem acessar um diretório (ou árvore) de recursos, usando múltiplos argumentos posicionais (os argumentos encoding e errors nas funções de leitura de texto agora são somente-nomeados):

is_resource()

open_binary()

open_text()

path()

read_binary()

read_text()

Essas funções não estão mais descontinuadas e não estão programadas para remoção. (Contribuição de Petr Viktorin em gh-116608 [https://github.com/python/cpython/issues/116608].)

A contents() permanece descontinuada em favor da API completa Traversable. No entanto, agora não há planos para removê-la. (Contribuição de Petr Viktorin em gh-116608 [https://github.com/python/cpython/issues/116608].)

io

O finalizador IOBase agora registra quaisquer erros levantados pelo método close() com sys.unraisablehook. Anteriormente, os erros eram ignorados silenciosamente por padrão e registrados apenas em Modo de Desenvolvimento do Python ou ao usar uma construção de depuração do Python. (Contribuição de Victor Stinner em gh-62948 [https://github.com/python/cpython/issues/62948].)

ipaddress

Adiciona a propriedade IPv4Address.ipv6_mapped, que retorna o endereço IPv6 mapeado para IPv4. (Contribuição de Charles Machalow em gh-109466 [https://github.com/python/cpython/issues/109466].)

Corrige os comportamentos is_global e is_private em IPv4Address, IPv6Address, IPv4Network e IPv6Network. (Contribuição de Jakub Stasiak em gh-113171 [https://github.com/python/cpython/issues/113171].)

itertools

batched() tem um novo parâmetro strict, que levanta uma ValueError se o lote final for menor que o tamanho do lote especificado. (Contribuição de Raymond Hettinger em gh-113202 [https://github.com/python/cpython/issues/113202].)

marshal

Adiciona o parâmetro allow_code nas funções do módulo. Passar allow_code=False evita a serialização e desserialização de objetos de código que são incompatíveis entre versões do Python. (Contribuição de Serhiy Storchaka em gh-113626 [https://github.com/python/cpython/issues/113626].)

math

A nova função fma() realiza operações fundidas de multiplicação e adição. Ela calcula x * y + z com apenas uma única rodada e, portanto, evita qualquer perda intermediária de precisão. Ele envolve a função fma() fornecida pelo C99 e segue a especificação da operação IEEE 754 “fusedMultiplyAdd” para casos especiais. (Contribuição de Mark Dickinson e Victor Stinner em gh-73468 [https://github.com/python/cpython/issues/73468].)

mimetypes

Adiciona a função guess_file_type() para adivinhar um tipo MIME de um caminho do sistema de arquivos. Usar caminhos com guess_type() agora está suavemente descontinuada. (Contribuição de Serhiy Storchaka em gh-66543 [https://github.com/python/cpython/issues/66543].)

mmap

mmap agora está protegida contra travamentos no Windows quando a memória mapeada está inacessível devido a erros no sistema de arquivos ou violações de acesso. (Contribuição de Jannis Weigend em gh-118209 [https://github.com/python/cpython/issues/118209].)

mmap tem um novo método seekable() que pode ser usado quando um objeto pesquisável arquivo ou similar é necessário. O método seek() agora retorna a nova posição absoluta. (Contribuição de Donghee Na e Sylvie Liberman em gh-111835 [https://github.com/python/cpython/issues/111835].)

O novo parâmetro trackfd somente para UNIX para mmap controla a duplicação do descritor de arquivo; se falso, o descritor de arquivo especificado por fileno não será duplicado. (Contribuição de Zackery Spytz e Petr Viktorin em gh-78502 [https://github.com/python/cpython/issues/78502].)

multiprocessing

O número padrão de threads e processos de trabalho é agora selecionado usando os.process_cpu_count() em vez de os.cpu_count(). (Contribuição de Victor Stinner em gh-109649 [https://github.com/python/cpython/issues/109649].)

os

Adiciona a função process_cpu_count() para obter o número de núcleos lógicos de CPU utilizáveis ​​pela thread de chamada do processo atual. (Contribuição de Victor Stinner em gh-109649 [https://github.com/python/cpython/issues/109649].)

cpu_count() e process_cpu_count() podem ser substituídos através da nova variável de ambiente PYTHON_CPU_COUNT ou da nova opção de linha de comando -X cpu_count. Esta opção é útil para usuários que precisam limitar os recursos da CPU de um sistema contêiner sem precisar modificar código da aplicação ou o contêiner em si. (Contribuição de Donghee Na em gh-109595 [https://github.com/python/cpython/issues/109595].)

Adiciona uma interface de baixo nível aos descritores de arquivo de temporizador [https://manpages.debian.org/timerfd_create(2)] do Linux via timerfd_create(), timerfd_settime(), timerfd_settime_ns(), timerfd_gettime(), timerfd_gettime_ns(), TFD_NONBLOCK, TFD_CLOEXEC, TFD_TIMER_ABSTIME e TFD_TIMER_CANCEL_ON_SET (Contribuição de Masaru Tsuchiyama em gh-108277 [https://github.com/python/cpython/issues/108277].)

lchmod() e o argumento follow_symlinks em chmod() estão agora disponíveis no Windows. Observe que o valor padrão de follow_symlinks em lchmod() é False no Windows. (Contribuição de Serhiy Storchaka em gh-59616 [https://github.com/python/cpython/issues/59616].)

fchmod() e suporte para descritores de arquivo em chmod() estão agora disponíveis no Windows. (Contribuição de Serhiy Storchaka em gh-113191 [https://github.com/python/cpython/issues/113191].)

No Windows, mkdir() e makedirs() agora oferecem suporte a passar um valor mode de 0o700 para aplicar controle de acesso ao novo diretório. Isso afeta implicitamente tempfile.mkdtemp() e é uma mitigação para CVE 2024-4030 [https://www.cve.org/CVERecord?id=CVE-2024-4030]. Outros valores para mode continuam a ser ignorados. (Contribuição de Steve Dower em gh-118486 [https://github.com/python/cpython/issues/118486].)

posix_spawn() agora aceita None para o argumento env, o que faz com que o processo recém-gerado use o ambiente de processo atual. (Contribuição de Jakub Kulik em gh-113119 [https://github.com/python/cpython/issues/113119].)

posix_spawn() agora pode usar o atributo POSIX_SPAWN_CLOSEFROM no parâmetro file_actions em plataformas que oferecem suporte a posix_spawn_file_actions_addclosefrom_np(). (Contribuição de Jakub Kulik em gh-113117 [https://github.com/python/cpython/issues/113117].)

os.path

Adiciona isreserved() para verificar se um caminho está reservado no sistema atual. Esta função está disponível apenas no Windows. (Contribuição de Barney Gale em gh-88569 [https://github.com/python/cpython/issues/88569].)

No Windows, isabs() não considera mais caminhos que começam com exatamente uma barra (\ ou /) como absolutos. (Contribuição de Barney Gale e Jon Foster em gh-44626 [https://github.com/python/cpython/issues/44626].)

realpath() agora resolve nomes de arquivos no estilo MS-DOS, mesmo que o arquivo não esteja acessível. (Contribuição de Moonsik Park em gh-82367 [https://github.com/python/cpython/issues/82367].)

pathlib

Adiciona UnsupportedOperation, que é levantada em vez de NotImplementedError quando uma operação de caminho não é possível. (Contribuição de Barney Gale em gh-89812 [https://github.com/python/cpython/issues/89812].)

Adiciona um novo construtor para criar objetos Path a partir de URIs ‘file’ (file:///), Path.from_uri(). (Contribuição de Barney Gale em gh-107465 [https://github.com/python/cpython/issues/107465].)

Adiciona PurePath.full_match() para corresponder caminhos com curingas do tipo shell, incluindo o curinga recursivo “**”. (Contribuição de Barney Gale em gh-73435 [https://github.com/python/cpython/issues/73435].)

Adiciona o atributo de classe PurePath.parser para armazenar a implementação de os.path usada para análise e junção de caminhos de baixo nível. Isso vai ser posixpath ou ntpath.

Adiciona o argumento somente-nomeado recurse_symlinks a Path.glob() e rglob(). (Contribuição de Barney Gale em gh-77609 [https://github.com/python/cpython/issues/77609].)

Path.glob() e rglob() agora retornam arquivos e diretórios quando recebem um padrão que termina com “**”. Anteriormente, apenas os diretórios eram retornados. (Contribuição de Barney Gale em gh-70303 [https://github.com/python/cpython/issues/70303].)

Adiciona o argumento somente-nomeado follow_symlinks a Path.is_file, Path.is_dir, Path.owner() e Path.group(). (Contribuição de Barney Gale em gh-105793 [https://github.com/python/cpython/issues/105793] e Kamil Turek em gh-107962 [https://github.com/python/cpython/issues/107962].)

pdb

breakpoint() e set_trace() agora entram no depurador imediatamente em vez de na próxima linha de código a ser executada. Esta mudança evita que o depurador quebre fora do contexto quando breakpoint() estiver posicionado no final do contexto. (Contribuição de Tian Gao em gh-118579 [https://github.com/python/cpython/issues/118579].)

sys.path[0] não mais é substituído pelo diretório do script que está sendo depurado quando sys.flags.safe_path está definido.(Contribuição de Tian Gao e Christian Walther em gh-111762 [https://github.com/python/cpython/issues/111762].)

zipapp agora é suportado como alvo de depuração. (Contribuição de Tian Gao em gh-118501 [https://github.com/python/cpython/issues/118501].)

Adiciona a capacidade de mover entre exceções encadeadas durante a depuração post-mortem em pm() usando o novo comando exceptions [número_exc] para Pdb. (Contribuição de Matthias Bussonnier em gh-106676 [https://github.com/python/cpython/issues/106676].)

Expressões e instruções cujo prefixo é um comando pdb agora são identificadas e executadas corretamente. (Contribuição de Tian Gao em gh-108464 [https://github.com/python/cpython/issues/108464].)

queue

Adiciona Queue.shutdown e ShutDown para gerenciar a terminação da fila. (Contribuição de Laurie Opperman e Yves Duprat em gh-104750 [https://github.com/python/cpython/issues/104750].)

random

Adiciona uma interface de linha de comando. (Contribuição de Hugo van Kemenade em gh-118131 [https://github.com/python/cpython/issues/118131].)

re

Renomeia re.error para PatternError para maior clareza. re.error é mantido para compatibilidade com versões anteriores.

shutil

Suporte aos argumentos nomeados dir_fd e follow_symlinks em chown(). (Contribuição de Berker Peksag e Tahia K em gh-62308 [https://github.com/python/cpython/issues/62308])

site

Os arquivos .pth agora são decodificados primeiro usando UTF-8 e depois usando codificação da localidade se a decodificação UTF-8 falhar. (Contribuição de Inada Naoki em gh-117802 [https://github.com/python/cpython/issues/117802].)

sqlite3

Uma ResourceWarning agora é emitida se um objeto Connection não for explicitamente fechado. (Contribuição de Erlend E. Aasland em gh-105539 [https://github.com/python/cpython/issues/105539].)

Adiciona o parâmetro somente-nomeado filter a Connection.iterdump() para filtrar objetos de banco de dados para despejo. (Contribuição de Mariusz Felisiak em gh-91602 [https://github.com/python/cpython/issues/91602].)

ssl

A API create_default_context() agora inclui VERIFY_X509_PARTIAL_CHAIN e VERIFY_X509_STRICT em seus sinalizadores padrão.

Nota

VERIFY_X509_STRICT pode rejeitar certificados pré-RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html] ou malformados que a implementação OpenSSL subjacente poderia aceitar. Embora não seja recomendado desativar isso, você pode fazer isso usando:

import ssl

ctx = ssl.create_default_context()
ctx.verify_flags &= ~ssl.VERIFY_X509_STRICT

(Contribuição de William Woodruff em gh-112389 [https://github.com/python/cpython/issues/112389].)

statistics

Adiciona kde() para estimativa de densidade do núcleo. Isto torna possível estimar uma função de densidade de probabilidade contínua a partir de um número fixo de amostras discretas. (Contribuição de Raymond Hettinger em gh-115863 [https://github.com/python/cpython/issues/115863].)

Adiciona kde_random() para amostragem de uma função de densidade de probabilidade estimada criada por kde(). (Contribuição de Raymond Hettinger em gh-115863 [https://github.com/python/cpython/issues/115863].)

subprocess

O módulo subprocess agora usa a função posix_spawn() em mais situações.

Notavelmente, quando close_fds é True (o padrão), posix_spawn() será usado quando a biblioteca C fornecer posix_spawn_file_actions_addclosefrom_np(), que inclui versões recentes do Linux, FreeBSD e Solaris. No Linux, isso deve ter um desempenho semelhante ao código existente baseado em vfork() do Linux.

Um botão de controle privado subprocess._USE_POSIX_SPAWN pode ser definido como False se você precisar forçar subprocess a nunca usar posix_spawn(). Por favor, informe o motivo e os detalhes da plataforma no rastreador de problemas se você definir isso para que possamos melhorar nossa lógica de seleção de API para todos. (Contribuído por Jakub Kulik em gh-113117 [https://github.com/python/cpython/issues/113117].)

sys

Adiciona a função _is_interned() para testar se uma string foi internada. Não há garantia de que esta função exista em todas as implementações do Python. (Contribuição de Serhiy Storchaka em gh-78573 [https://github.com/python/cpython/issues/78573].)

tempfile

No Windows, o modo padrão 0o700 usado por tempfile.mkdtemp() agora limita o acesso ao novo diretório devido a alterações em os.mkdir(). Esta é uma mitigação para CVE 2024-4030 [https://www.cve.org/CVERecord?id=CVE-2024-4030]. (Contribuição de Steve Dower em gh-118486 [https://github.com/python/cpython/issues/118486].)

time

No Windows, monotonic() agora usa o relógio QueryPerformanceCounter() para uma resolução de 1 microssegundo, em vez do relógio GetTickCount64() que tem uma resolução de 15.6 milissegundos. (Contribuição de Victor Stinner em gh-88494 [https://github.com/python/cpython/issues/88494].)

No Windows, time() agora usa o relógio GetSystemTimePreciseAsFileTime() para uma resolução de 1 microssegundo, em vez do relógio GetSystemTimeAsFileTime() que tem uma resolução de 15.6 milissegundos. (Contribuição de Victor Stinner em gh-63207 [https://github.com/python/cpython/issues/63207].)

tkinter

Adiciona métodos de widget tkinter: tk_busy_hold(), tk_busy_configure(), tk_busy_cget(), tk_busy_forget(), tk_busy_current() e tk_busy_status(). (Contribuição de Miguel, klappnase e Serhiy Storchaka em gh-72684 [https://github.com/python/cpython/issues/72684].)

O método wm_attributes() de widget tkinter agora aceita o nome do atributo sem o prefixo negativo para obter atributos de janela (por exemplo, w.wm_attributes('alpha')) e permite especificar atributos e valores para definir como argumentos nomeados (por exemplo, w.wm_attributes(alpha=0.5)). (Contribuição de Serhiy Storchaka em gh-43457 [https://github.com/python/cpython/issues/43457].)

wm_attributes() agora pode retornar atributos como um dict, usando o novo parâmetro somente-nomeado opcional return_python_dict. (Contribuição de Serhiy Storchaka em gh-43457 [https://github.com/python/cpython/issues/43457].)

Text.count() agora pode retornar um int simples quando o novo parâmetro somente-nomeado opcional return_ints é usado. Caso contrário, a contagem única é retornada como uma tupla de 1 elemento ou None. (Contribuição de Serhiy Storchaka em gh-97928 [https://github.com/python/cpython/issues/97928].)

Suporte ao tipo de elemento “vsapi” no método element_create() de tkinter.ttk.Style. (Contribuição de Serhiy Storchaka em gh-68166 [https://github.com/python/cpython/issues/68166].)

Adiciona o método after_info() para widgets do Tkinter. (Contribuição de Cheryl Sabella em gh-77020 [https://github.com/python/cpython/issues/77020].)

Adiciona um novo método copy_replace() a PhotoImage para copiar uma região de uma imagem para outra, possivelmente com zoom de pixel, subamostragem ou ambos. (Contribuição de Serhiy Storchaka em gh-118225 [https://github.com/python/cpython/issues/118225].)

Adiciona parâmetro from_coords para os métodos copy(), zoom() e subsample() da classe PhotoImage. Adiciona parâmetros zoom e subsample para o método copy() da classe PhotoImage. (Contribuição de Serhiy Storchaka em gh-118225 [https://github.com/python/cpython/issues/118225].)

Adiciona os métodos PhotoImage read() para ler uma imagem de um arquivo e data() para obter os dados da imagem. Adiciona os parâmetros background e grayscale ao método write(). (Contribuição de Serhiy Storchaka em gh-118271 [https://github.com/python/cpython/issues/118271].)

traceback

Adiciona o atributo exc_type_str a TracebackException, que contém uma exibição de string do exc_type. Descontinua o atributo exc_type, que contém o próprio objeto de tipo. Adicione o parâmetro save_exc_type (padrão True) para indicar se exc_type deve ser salvo. (Contribuição de Irit Katriel em gh-112332 [https://github.com/python/cpython/issues/112332].)

Adiciona um novo parâmetro somente-nomeado show_group a TracebackException.format_exception_only() para formatar (recursivamente) as exceções aninhadas de uma instância BaseExceptionGroup. (Contribuição de Irit Katriel em gh-105292 [https://github.com/python/cpython/issues/105292].)

types

SimpleNamespace agora pode receber um único argumento posicional para inicializar os argumentos do espaço de nomes. Este argumento deve ser um mapeamento ou um iterável de pares chave-valor. (Contribuição de Serhiy Storchaka em gh-108191 [https://github.com/python/cpython/issues/108191].)

typing

PEP 705 [https://peps.python.org/pep-0705/]: adiciona ReadOnly, uma construção especial de tipagem para marcar um item TypedDict como somente leitura para verificadores de tipo.

PEP 742 [https://peps.python.org/pep-0742/]: adiciona TypeIs, uma construção de tipagem que pode ser usada para instruir um verificador de tipos sobre como restringir um tipo.

Adiciona NoDefault, um objeto sinalizador usado para representar os padrões de alguns parâmetros no módulo typing. (Contribuição de Jelle Zijlstra em gh-116126 [https://github.com/python/cpython/issues/116126].)

Adicione get_protocol_members() para retornar o conjunto de membros que definem uma typing.Protocol. (Contribuição de Jelle Zijlstra em gh-104873 [https://github.com/python/cpython/issues/104873].)

Adiciona is_protocol() para verificar se uma classe é uma Protocol. (Contribuição de Jelle Zijlstra em gh-104873 [https://github.com/python/cpython/issues/104873].)

ClassVar agora pode ser aninhado em Final, e vice-versa. (Contribuição de Mehdi Drissi em gh-89547 [https://github.com/python/cpython/issues/89547].)

unicodedata

Atualiza o banco de dados Unicode para a versão 15.1.0 [https://www.unicode.org/versions/Unicode15.1.0/]. (Contribuição de James Gerity em gh-109559 [https://github.com/python/cpython/issues/109559].)

venv

Adiciona suporte para criar arquivos ignorados pelo gerenciamento de controle de fontes (SCM) no diretório de um ambiente virtual. Por padrão, o Git é compatível. Isso está implementado como ativado por padrão por meio da API, que pode ser estendido para oferecer suporte a outros SCMs (EnvBuilder e create()) e desativado por padrão por meio da CLI, usando --without-scm-ignore-files. (Contribuição de Brett Cannon em gh-108125 [https://github.com/python/cpython/issues/108125].)

warnings

PEP 702 [https://peps.python.org/pep-0702/]: O novo decorador warnings.deprecated() fornece uma maneira de comunicar descontinuações para um verificador de tipo estático e avisar sobre o uso de classes e funções obsoletas. Um DeprecationWarning também pode ser emitido quando uma função ou classe decorada é usada em tempo de execução. (Contribuição de Jelle Zijlstra em gh-104003 [https://github.com/python/cpython/issues/104003].)

xml

Permite controlar o adiamento da nova análise do Expat >=2.6.0 (CVE 2023-52425 [https://www.cve.org/CVERecord?id=CVE-2023-52425]) adicionando cinco novos métodos:

xml.etree.ElementTree.XMLParser.flush()

xml.etree.ElementTree.XMLPullParser.flush()

xml.parsers.expat.xmlparser.GetReparseDeferralEnabled()

xml.parsers.expat.xmlparser.SetReparseDeferralEnabled()

xml.sax.expatreader.ExpatParser.flush()

(Contribuição de Sebastian Pipping em gh-115623 [https://github.com/python/cpython/issues/115623].)

Adiciona o método close() para o iterador retornado por iterparse() para limpeza explícita. (Contribuição de Serhiy Storchaka em gh-69893 [https://github.com/python/cpython/issues/69893].)

zipimport

Adiciona suporte para arquivos no formato ZIP64 [https://en.wikipedia.org/wiki/Zip_(file_format)#ZIP64]. Todo mundo adora dados enormes, certo? (Contribuição de Tim Hatch em gh-94146 [https://github.com/python/cpython/issues/94146].)

Otimizações

Vários módulos de biblioteca padrão tiveram seus tempos de importação significativamente melhorados. Por exemplo, o tempo de importação do módulo typing foi reduzido em cerca de um terço pela remoção de dependências em re e contextlib. Outros módulos para aproveitar a aceleração no tempo de importação incluem email.utils, enum, functools, importlib.metadata e threading. (Contribuição de Alex Waygood, Shantanu Jain, Adam Turner, Daniel Hollas e outros em gh-109653 [https://github.com/python/cpython/issues/109653].)

textwrap.indent() agora é cerca de 30% mais rápido do que antes para entradas grandes. (Contribuição de Inada Naoki em gh-107369 [https://github.com/python/cpython/issues/107369].)

O módulo subprocess agora a função posix_spawn() em mais situações, incluindo quando close_fds é True (o padrão) em muitas plataformas. Isto deve fornecer um aumento notável de desempenho ao iniciar processos no FreeBSD e Solaris. Veja a seção de subprocess acima para detalhes. (Contribuição de Jakub Kulik em gh-113117 [https://github.com/python/cpython/issues/113117].)

Módulos e APIs removidas

PEP 594: remove “baterias descarregadas” da biblioteca padrão

PEP 594 [https://peps.python.org/pep-0594/] propôs remover 19 módulos da biblioteca padrão, coloquialmente chamados de “baterias descarregadas” devido ao seu status histórico, obsoleto ou inseguro. Todos os módulos a seguir foram descontinuados no Python 3.11 e agora foram removidos:

aifc

audioop

chunk

cgi e cgitb

cgi.FieldStorage normalmente pode ser substituído por urllib.parse.parse_qsl() para solicitações GET e HEAD, e o módulo email.message ou a biblioteca multipart [https://pypi.org/project/multipart/] para solicitações POST e PUT.

cgi.parse() pode ser substituído chamando urllib.parse.parse_qs() diretamente na string de consulta desejada, a menos que a entrada seja multipart/form-data, que deve ser substituída conforme descrito abaixo para cgi.parse_multipart().

cgi.parse_header() pode ser substituído pela funcionalidade do pacote email, que implementa os mesmos RFCs MIME. Por exemplo, com email.message.EmailMessage:

from email.message import EmailMessage

msg = EmailMessage()
msg['content-type'] = 'application/json; charset="utf8"'
main, params = msg.get_content_type(), msg['content-type'].params

cgi.parse_multipart() pode ser substituído pela funcionalidade no pacote email, que implementa os mesmos RFCs de MIME, ou pela biblioteca multipart [https://pypi.org/project/multipart/]. Por exemplo, as classes email.message.EmailMessage e email.message.Message.

crypt e a extensão privada _crypt. O módulo hashlib pode ser uma substituição apropriada quando simplesmente fazer hash de um valor é necessário. Caso contrário, várias bibliotecas de terceiros no PyPI estão disponíveis:

bcrypt [https://pypi.org/project/bcrypt/]: hashing de senha moderno para seu software e servidores.

passlib [https://pypi.org/project/passlib/]: framework abrangente de hash de senha com suporte para mais de 30 esquemas.

argon2-cffi [https://pypi.org/project/argon2-cffi/]: algoritmo seguro de hashing de senha Argon2.

legacycrypt [https://pypi.org/project/legacycrypt/]: envólucro ao ctypes para a chamada POSIX da biblioteca de criptografia e funcionalidade associada.

crypt_r [https://pypi.org/project/crypt_r/]: fork do módulo crypt, um envólucro para a chamada da biblioteca crypt_r(3) [https://manpages.debian.org/crypt_r(3)] e funcionalidade associada.

imghdr: as bibliotecas filetype [https://pypi.org/project/filetype/], puremagic [https://pypi.org/project/puremagic/] ou python-magic [https://pypi.org/project/python-magic/] devem ser usadas como substituições. Por exemplo, a função puremagic.what() pode ser usada para substituir a função imghdr.what() para todos os formatos de arquivo que tinham suporte de imghdr.

mailcap: use o módulo mimetypes.

msilib

nis

nntplib: use a biblioteca pynntp [https://pypi.org/project/pynntp/] do PyPI.

ossaudiodev: para reprodução de áudio, use a biblioteca pygame [https://pypi.org/project/pygame/] do PyPI.

pipes: use o módulo subprocess.

sndhdr: as bibliotecas filetype [https://pypi.org/project/filetype/], puremagic [https://pypi.org/project/puremagic/] ou python-magic [https://pypi.org/project/python-magic/] devem ser usadas como substitutas.

spwd: use a biblioteca python-pam [https://pypi.org/project/python-pam/] do PyPI.

sunau

telnetlib: use as bibliotecas telnetlib3 [https://pypi.org/project/telnetlib3/] ou Exscript [https://pypi.org/project/Exscript/] do PyPI.

uu: use o módulo base64 como uma alternativa moderna.

xdrlib

(Contribuição de Victor Stinner e Zachary Ware em gh-104773 [https://github.com/python/cpython/issues/104773] e gh-104780 [https://github.com/python/cpython/issues/104780].)

2to3

Remove o programa 2to3 e o módulo lib2to3, já descontinuados no Python 3.11. (Contribuição de Victor Stinner em gh-104780 [https://github.com/python/cpython/issues/104780].)

embutidos

Remove suporte aos descritores classmethod encadeados (introduzidos em gh-63272 [https://github.com/python/cpython/issues/63272]). Eles não podem mais serem usados para agrupar outros descritores como property. O design central desse recurso apresentava falhas e levou a problemas. Para “passar” um classmethod, considere usar o atributo __wrapped__ que foi adicionado no Python 3.10. (Contribuição de Raymond Hettinger em gh-89519 [https://github.com/python/cpython/issues/89519].)

Chamar frame.clear() em um quadro suspenso levanta RuntimeError (como sempre foi o caso para um quadro em execução). (Contribuição de Irit Katriel em gh-79932 [https://github.com/python/cpython/issues/79932].)

configparser

Remove a classe não documentada LegacyInterpolation, descontinuada na docstring desde Python 3.2 e em tempo de execução desde Python 3.11. (Contribuição de Hugo van Kemenade em gh-104886 [https://github.com/python/cpython/issues/104886].)

importlib.metadata

Remove o acesso descontinuado a subscrito (__getitem__()) para objetos EntryPoint. (Contribuição de Jason R. Coombs em gh-113175 [https://github.com/python/cpython/issues/113175].)

locale

Remove a função locale.resetlocale(), descontinuada no Python 3.11. Use locale.setlocale(locale.LC_ALL, ""). (Contribuição de Victor Stinner em gh-104783 [https://github.com/python/cpython/issues/104783].)

opcode

Move opcode.ENABLE_SPECIALIZATION para _opcode.ENABLE_SPECIALIZATION. Este campo foi adicionado na versão 3.12, nunca foi documentado e não se destina ao uso externo. (Contribuição de Irit Katriel em gh-105481 [https://github.com/python/cpython/issues/105481].)

Remove opcode.is_pseudo(), opcode.MIN_PSEUDO_OPCODE e opcode.MAX_PSEUDO_OPCODE, que foram adicionados no Python 3.12, mas nunca foram documentados nem expostos através de dis, e não foram planejados para serem usados externamente. (Contribuição de Irit Katriel em gh-105481 [https://github.com/python/cpython/issues/105481].)

pathlib

Remove a capacidade de usar objetos Path como gerenciadores de contexto. Essa funcionalidade foi descontinuada e não tinha efeito desde o Python 3.9. (Contribuição de Barney Gale em gh-83863 [https://github.com/python/cpython/issues/83863].)

re

Remove a função re.template() não documentada, descontinuada e quebrada e o sinalizador re.TEMPLATE / re.T. (Contribuição de Serhiy Storchaka e Nikita Sobolev em gh-105687 [https://github.com/python/cpython/issues/105687].)

tkinter.tix

Remove o módulo tkinter.tix, descontinuado no Python 3.6. A biblioteca Tix de terceiros que o módulo empacota não é mantida. (Contribuição de Zachary Ware em gh-75552 [https://github.com/python/cpython/issues/75552].)

turtle

Remove o método RawTurtle.settiltangle(), descontinuado na documentação desde o Python 3.1 e em tempo de execução desde o Python 3.11. (Contribuição de Hugo van Kemenade em gh-104876 [https://github.com/python/cpython/issues/104876].)

typing

Remove os espaços de nomes typing.io e typing.re, descontinuados desde o Python 3.8. Os itens nesses espaços de nomes podem ser importados diretamente do módulo typing. (Contribuição de Sebastian Rittau em gh-92871 [https://github.com/python/cpython/issues/92871].)

Remove o método de argumento nomeado de criação de tipos TypedDict, descontinuados no Python 3.11. (Contribuição de Tomas Roun em gh-104786 [https://github.com/python/cpython/issues/104786].)

unittest

Remove as seguintes funções unittest, descontinuadas no Python 3.11:

unittest.findTestCases()

unittest.makeSuite()

unittest.getTestCaseNames()

Em vez delas, use os métodos de TestLoader:

loadTestsFromModule()

loadTestsFromTestCase()

getTestCaseNames()

(Contribuição de Hugo van Kemenade em gh-104835 [https://github.com/python/cpython/issues/104835].)

Remove o método TestProgram.usageExit() não testado e não documentado, descontinuado no Python 3.11. (Contribuição de Hugo van Kemenade em gh-104992 [https://github.com/python/cpython/issues/104992].)

urllib

Remove os parâmetros cafile, capath e cadefault da função urllib.request.urlopen(), descontinuada no Python 3.6. Em vez disso, use o parâmetro context com uma instância de SSLContext. A função ssl.SSLContext.load_cert_chain() pode ser usada para carregar certificados específicos ou deixe ssl.create_default_context() selecionar os certificados de autoridade certificadora (AC) confiável ​​do sistema operacional. (Contribuição de Victor Stinner em gh-105382 [https://github.com/python/cpython/issues/105382].)

webbrowser

Remove a classe MacOSX não testada e não documentada, descontinuada no Python 3.11. Use a classe MacOSXOSAScript (introduzida no Python 3.2). (Contribuição de Hugo van Kemenade em gh-104804 [https://github.com/python/cpython/issues/104804].)

Remove o atributo descontinuado MacOSXOSAScript._name. Use o atributo MacOSXOSAScript.name. (Contribuição de Nikita Sobolev em gh-105546 [https://github.com/python/cpython/issues/105546].)

Novas descontinuações

Funções definidas pelo usuário:

A atribuição ao atributo __code__ de uma função onde o tipo do novo objeto código não corresponde ao tipo da função está descontinuada. Os diferentes tipos são: função simples, gerador, gerador assíncrono e corrotina. (Contribuição de Irit Katriel em gh-81137 [https://github.com/python/cpython/issues/81137].)

array:

Descontinua o código de formato 'u' (wchar_t). Este código de formato foi descontinuado na documentação desde o Python 3.3 e será removido no Python 3.16. Use o código de formato 'w' (Py_UCS4) para caracteres Unicode. (Contribuição de Hugo van Kemenade em gh-80480 [https://github.com/python/cpython/issues/80480].)

ctypes:

Descontinua a função não documentada SetPointerType(), que será removida no Python 3.15. (Contribuição de Victor Stinner em gh-105733 [https://github.com/python/cpython/issues/105733].)

Descontinua suavemente a função ARRAY() em favor da multiplicação type * length. (Contribuição de Victor Stinner em gh-105733 [https://github.com/python/cpython/issues/105733].)

decimal:

Descontinua o especificador de formato de Decimal não padrão e não documentado 'N', que só é suportado na implementação C do módulo decimal. (Contribuição de Serhiy Storchaka em gh-89902 [https://github.com/python/cpython/issues/89902].)

dis:

Descontinua o separador HAVE_ARGUMENT. Em vez disso, Verifique a associação em hasarg. (Contribuição de Irit Katriel em gh-109319 [https://github.com/python/cpython/issues/109319].)

getopt e optparse:

Ambos os módulos agora estão suavemente descontinuados, com argparse preferido para novos projetos. Esta é uma nova descontinuação suave para o módulo getopt, enquanto o módulo optparse já estava de fato suavemente descontinuado. (Contribuição de Victor Stinner em gh-106535 [https://github.com/python/cpython/issues/106535].)

gettext:

Descontinua números não inteiros como argumentos para funções e métodos que consideram formas plurais no módulo gettext, ainda que nenhuma tradução tenha sido encontrada. (Contribuição de Serhiy Storchaka em gh-88434 [https://github.com/python/cpython/issues/88434].)

glob:

Descontinua as funções não documentadas glob0() e glob1(). Em vez disso, use glob() e passe um objeto caminho ou similar especificando o diretório raiz para o parâmetro root_dir. (Contribuição de Barney Gale em gh-117337 [https://github.com/python/cpython/issues/117337].)

http.server:

Descontinua CGIHTTPRequestHandler, a ser removido no Python 3.15. Servidores HTTP CGI baseados em processos estão fora de moda há muito tempo. Este código estava desatualizado, sem manutenção e raramente era usado. Ele tem um alto potencial para bugs de segurança e funcionalidade. (Contribuição de Gregory P. Smith em gh-109096 [https://github.com/python/cpython/issues/109096].)

Descontinua o sinalizador --cgi para a interface de linha de comando python -m http.server, a ser removido no Python 3.15. (Contribuição de Gregory P. Smith em gh-109096 [https://github.com/python/cpython/issues/109096].)

mimetypes:

Descontinua suavemente argumentos caminho de arquivo para guess_type(), use guess_file_type() em vez disso. (Contribuição de Serhiy Storchaka em gh-66543 [https://github.com/python/cpython/issues/66543].)

re:

Descontinua a passagem dos argumentos opcionais maxsplit, count ou flags como argumentos posicionais para as funções de nível de módulo split(), sub() e subn(). Esses parâmetros se tornarão somente-nomeados em uma versão futura do Python. (Contribuição de Serhiy Storchaka em gh-56166 [https://github.com/python/cpython/issues/56166].)

pathlib:

Descontinua PurePath.is_reserved(), a ser removido no Python 3.15. Use os.path.isreserved() para detectar caminhos reservados no Windows. (Contribuição de Barney Gale em gh-88569 [https://github.com/python/cpython/issues/88569].)

platform:

Descontinua java_ver(), a ser removida no Python 3.15. Esta função é útil apenas para suporte a Jython, tem uma API confusa e é amplamente não testada. (Contribuição de Nikita Sobolev em gh-116349 [https://github.com/python/cpython/issues/116349].)

pydoc:

Descontinua a função não documentada ispackage(). (Contribuição de Zackery Spytz em gh-64020 [https://github.com/python/cpython/issues/64020].)

sqlite3:

Descontinua a passagem de mais de um argumento posicional para a função connect() e o construtor Connection. Os parâmetros restantes se tornarão somente-nomeados no Python 3.15. (Contribuição de Erlend E. Aasland em gh-107948 [https://github.com/python/cpython/issues/107948].)

Descontinua a passagem de nome, número de argumentos e o chamável como argumentos nomeados para Connection.create_function() e Connection.create_aggregate() Esses parâmetros se tornarão somente-posicionais no Python 3.15. (Contribuição de Erlend E. Aasland em gh-108278 [https://github.com/python/cpython/issues/108278].)

Descontinua a passagem do chamável de função de retorno como argumento nomeado para os métodos set_authorizer(), set_progress_handler() e set_trace_callback() da classe Connection. Os chamáveis de função de retorno se tornarão somente-posicionais no Python 3.15. (Contribuição de Erlend E. Aasland em gh-108278 [https://github.com/python/cpython/issues/108278].)

sys:

Descontinua a função _enablelegacywindowsfsencoding(), para ser removida no Python 3.16. Em vez disso, use a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING. (Contribuição de Inada Naoki em gh-73427 [https://github.com/python/cpython/issues/73427].)

tarfile:

Descontinua o atributo TarFile.tarfile não documentado e não utilizado, a ser removido no Python 3.16. (Contribuição em gh-115256 [https://github.com/python/cpython/issues/115256].)

traceback:

Descontinua o atributo TracebackException.exc_type. Em vez disso, use TracebackException.exc_type_str. (Contribuição de Irit Katriel em gh-112332 [https://github.com/python/cpython/issues/112332].)

typing:

Descontinua a não-documentada sintaxe de argumento nomeado para criação de classes NamedTuple (por exemplo, Point = NamedTuple("Point", x=int, y=int)), para ser removido no Python 3.15. Em vez disso, use as sintaxes baseada em classe ou a funcional. (Contribuição de Alex Waygood in gh-105566 [https://github.com/python/cpython/issues/105566].)

Descontinua a omissão do parâmetro fields ao criar uma classe NamedTuple ou typing.TypedDict e descontinua a passagem de None para o parâmetro fields de ambos os tipos. O Python 3.15 exigirá uma sequência válida para o parâmetro fields. Para criar uma classe NamedTuple com zero campos, use class NT(NamedTuple): pass ou NT = NamedTuple("NT", ()). Para criar uma classe TypedDict com zero campos, use class TD(TypedDict): pass ou TD = TypedDict("TD", {}). (Contribuição de Alex Waygood em gh-105566 [https://github.com/python/cpython/issues/105566] e gh-105570 [https://github.com/python/cpython/issues/105570].)

Descontinua o decorador de função typing.no_type_check_decorator() para ser removido no Python 3.15. Depois de oito anos no módulo typing, ele ainda não foi implementado por nenhum dos principais verificadores de tipos. (Contribuição de Alex Waygood em gh-106309 [https://github.com/python/cpython/issues/106309].)

Descontinua typing.AnyStr. No Python 3.16, isso será removido de typing.__all__, e uma DeprecationWarning será levantada em tempo de execução quando isso for importado ou acessado. Será removido completamente em Python 3.18. Em vez disso, use a nova sintaxe de parâmetro de tipo. (Contribuição de Michael The em gh-107116 [https://github.com/python/cpython/issues/107116].)

wave:

Descontinua os métodos getmark(), setmark() e getmarkers() das classes Wave_read e Wave_write, a serem removidos no Python 3.15. (Contribuição de Victor Stinner em gh-105096 [https://github.com/python/cpython/issues/105096].)

Remoção pendente no Python 3.14

O sistema de importação:

A definição de __loader__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.14, __loader__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão.

argparse: Os parâmetros type, choices e metavar de argparse.BooleanOptionalAction foram descontinuados e serão removidos na versão 3.14. (Contribuição de Nikita Sobolev em gh-92248 [https://github.com/python/cpython/issues/92248].)

ast: os seguintes recursos foram descontinuados na documentação desde Python 3.8, agora fazem com que um DeprecationWarning seja emitido em tempo de execução quando eles são acessados ou usados, e serão removidos no Python 3.14:

ast.Num

ast.Str

ast.Bytes

ast.NameConstant

ast.Ellipsis

Em vez disso, use ast.Constant. (Contribuição de Serhiy Storchaka em gh-90953 [https://github.com/python/cpython/issues/90953].)

asyncio:

As classes filhas dos observadores MultiLoopChildWatcher, FastChildWatcher, AbstractChildWatcher e SafeChildWatcher foram descontinuadas e serão removidas no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

asyncio.set_child_watcher(), asyncio.get_child_watcher(), asyncio.AbstractEventLoopPolicy.set_child_watcher() e asyncio.AbstractEventLoopPolicy.get_child_watcher() foram descontinuados e serão removidos no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

O método get_event_loop() da política de laço de eventos padrão agora emite um DeprecationWarning se não houver nenhum laço de eventos atual definido e decidir criar um. (Contribuição de Serhiy Storchaka e Guido van Rossum em gh-100160 [https://github.com/python/cpython/issues/100160].)

collections.abc: ByteString foi descontinuado. Prefira Sequence ou Buffer Para uso em tipagem, prefira uma união, como bytes | bytearray ou collections.abc.Buffer. (Contribuição de Shantanu Jain em gh-91896 [https://github.com/python/cpython/issues/91896].)

email: Descontinua o parâmetro isdst em email.utils.localtime(). (Contribuição de Alan Williams em gh-72346 [https://github.com/python/cpython/issues/72346].)

importlib.abc descontinuou as classes:

importlib.abc.ResourceReader

importlib.abc.Traversable

importlib.abc.TraversableResources

Em vez disso, use classes de importlib.resources.abc:

importlib.resources.abc.Traversable

importlib.resources.abc.TraversableResources

(Contribuição de Jason R. Coombs e Hugo van Kemenade em gh-93963 [https://github.com/python/cpython/issues/93963].)

itertools tinha suporte não documentado, ineficiente, historicamente cheio de bugs e inconsistente para operações de cópia, cópia profunda e serialização com pickle. Isso será removido na versão 3.14 para uma redução significativa no volume de código e na carga de manutenção. (Contribuição de Raymond Hettinger em gh-101588 [https://github.com/python/cpython/issues/101588].)

multiprocessing: o método de inicialização padrão será alterado para um mais seguro no Linux, BSDs e outras plataformas POSIX não-macOS onde 'fork' é atualmente o padrão (gh-84559 [https://github.com/python/cpython/issues/84559]). Adicionar um aviso de tempo de execução sobre isso foi considerado muito perturbador, pois não se espera que a maior parte do código se importe. Use as APIs get_context() ou set_start_method() para especificar explicitamente quando seu código requer 'fork'. Veja Contextos e métodos de inicialização.

pathlib: is_relative_to() e relative_to(): passar argumentos adicionais foi descontinuado.

pkgutil: find_loader() e get_loader() agora levantam DeprecationWarning; use importlib.util.find_spec(). (Contribuição de Nikita Sobolev em gh-97850 [https://github.com/python/cpython/issues/97850].)

pty:

master_open(): use pty.openpty().

slave_open(): use pty.openpty().

sqlite3:

version e version_info.

execute() e executemany() se espaços reservados nomeados forem usados ​​e parameters for uma sequência em vez de um dict .

adaptador de data e hora, conversor de registro de data e hora: veja a documentação de sqlite3 para receitas de substituição sugeridas.

types.CodeType: o acesso a co_lnotab foi descontinuado na PEP 626 [https://peps.python.org/pep-0626/] desde 3.10 e foi planejado para ser removido em 3.12, mas só recebeu uma DeprecationWarning adequada em 3.12. Pode ser removido em 3.14. (Contribuição de Nikita Sobolev em gh-101866 [https://github.com/python/cpython/issues/101866].)

typing: ByteString, descontinuado desde Python 3.9, agora faz com que uma DeprecationWarning seja emitida quando é usado.

urllib: urllib.parse.Quoter está obsoleto: não foi planejado para ser uma API pública. (Contribuição de Gregory P. Smith em gh-88168 [https://github.com/python/cpython/issues/88168].)

Remoção pendente no Python 3.15

O sistema de importação:

A definição de __cached__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.15, __cached__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

A definição de __package__ em um módulo enquanto falha na definição de __spec__.parent está descontinuado. No Python 3.15, __package__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

ctypes:

A função não documentada ctypes.SetPointerType() foi descontinuada desde o Python 3.13.

http.server:

A classe obsoleta e raramente usada CGIHTTPRequestHandler foi descontinuada desde o Python 3.13. Não existe substituição direta. Qualquer coisa é melhor que CGI para fazer a interface de um servidor web com um manipulador de requisição.

O sinalizador --cgi para a interface de linha de comando python -m http.server foi descontinuado desde o Python 3.13.

locale:

A função getdefaultlocale() foi descontinuada desde o Python 3.11. Sua remoção foi planejada originalmente para o Python 3.13 (gh-90817 [https://github.com/python/cpython/issues/90817]), mas foi adiada para o Python 3.15. Em vez disso, use getlocale(), setlocale() e getencoding(). (Contribuição de Hugo van Kemenade em gh-111187 [https://github.com/python/cpython/issues/111187].)

pathlib:

PurePath.is_reserved() foi descontinuado desde o Python 3.13. Use os.path.isreserved() para detectar caminhos reservados no Windows.

platform:

java_ver() foi descontinuada desde o Python 3.13. Esta função é útil apenas para suporte Jython, tem uma API confusa e é amplamente não testada.

threading:

RLock() não aceitará argumentos no Python 3.15. A passagem quaisquer argumentos foi descontinuada desde o Python 3.14, pois a versão Python não permite nenhum argumento, mas a versão C permite qualquer número de argumentos posicionais ou nomeados, ignorando todos os argumentos.

typing:

A não-documentada sintaxe de argumento nomeado para criar classes NamedTuple (por exemplo, Point = NamedTuple("Point", x=int, y=int)) foi descontinuada desde o Python 3.13. Em vez disso, use as sintaxes baseada em classe ou funcional.

A função decoradora typing.no_type_check_decorator() foi descontinuada desde o Python 3.13. Após oito anos no módulo typing, ela ainda não foi suportada por nenhum verificador de tipo importante.

wave:

Os métodos getmark(), setmark() e getmarkers() das classes Wave_read e Wave_write foram descontinuados desde o Python 3.13.

Remoção pendente no Python 3.16

builtins:

A inversão bit a bit em tipos booleanos, ~True ou ~False foi descontinuada desde o Python 3.12, pois produz resultados surpreendentes e não intuitivos (-2 e -1). Em vez disso, use not x para a negação lógica de um booleano. No caso raro de você precisar da inversão bit a bit do inteiro subjacente, converta para int explicitamente (~int(x)).

array:

O código de formato 'u' (wchar_t) foi descontinuado na documentação desde o Python 3.3 e do ambiente de execução desde o Python 3.13. Em vez disso, use o código de formato 'w' (Py_UCS4) para caracteres Unicode.

shutil:

A exceção ExecError foi descontinuada desde o Python 3.14. Ela não foi usada por nenhuma função em shutil desde o Python 3.4, e agora é um alias de RuntimeError.

symtable:

O método Class.get_methods foi descontinuado desde o Python 3.14.

sys:

A função _enablelegacywindowsfsencoding() foi descontinuada desde o Python 3.13. Em vez disso, use a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING.

tarfile:

O atributo não documentado e não utilizado TarFile.tarfile foi descontinuado desde o Python 3.13.

Remoção pendente em versões futuras

As APIs a seguir serão removidas no futuro, embora atualmente não haja uma data agendada para sua remoção.

argparse: o aninhamento de grupos de argumentos e o aninhamento de grupos mutuamente exclusivos estão descontinuados.

código de formatação 'u' do array (gh-57281 [https://github.com/python/cpython/issues/57281])

builtins:

bool(NotImplemented).

Geradores: a assinatura throw(type, exc, tb) e athrow(type, exc, tb) está descontinuada: use throw(exc) e athrow(exc), a assinatura com um único argumento.

Atualmente Python aceita literais numéricos imediatamente seguidos por palavras reservadas como, por exemplo, 0in x, 1or x, 0if 1else 2. Ele permite expressões confusas e ambíguas como [0x1for x in y] (que pode ser interpretada como [0x1 for x in y] ou [0x1f or x in y]). Um aviso de sintaxe é levantado se o literal numérico for imediatamente seguido por uma das palavras reservadas and, else, for, if, in , is e or. Em uma versão futura, será alterado para um erro de sintaxe. (gh-87999 [https://github.com/python/cpython/issues/87999])

Suporte para métodos __index__() e __int__() retornando tipo não-int: esses métodos serão necessários para retornar uma instância de uma subclasse estrita de int.

Suporte para o método __float__() retornando uma subclasse estrita de float: esses métodos serão necessários para retornar uma instância de float.

Suporte para o método __complex__() retornando uma subclasse estrita de complex: esses métodos serão necessários para retornar uma instância de complex.

Delegação do método int() para o __trunc__().

Passar um número complexo como argumento real ou imag no construtor complex() agora está descontinuado; deve ser passado apenas como um único argumento posicional. (Contribuição de Serhiy Storchaka em gh-109218 [https://github.com/python/cpython/issues/109218].)

calendar: as constantes calendar.January e calendar.February foram descontinuadas e substituídas por calendar.JANUARY e calendar.FEBRUARY. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

codeobject.co_lnotab: use o método codeobject.co_lines().

datetime:

utcnow(): use datetime.datetime.now(tz=datetime.UTC).

utcfromtimestamp(): use datetime.datetime.fromtimestamp(timestamp, tz=datetime.UTC).

gettext: o valor de plural deve ser um número inteiro.

importlib:

Método load_module(): use exec_module().

O parâmetro debug_override de cache_from_source() foi descontinuado: use o parâmetro optimization.

importlib.metadata:

Interface de tupla EntryPoints.

None implícito nos valores de retorno.

logging: o método warn() foi descontinuado desde o Python 3.3, use warning().

mailbox: o uso da entrada StringIO e do modo de texto foi descontinuado, use BytesIO e o modo binário.

os: chamar os.register_at_fork() em processo multithread.

pydoc.ErrorDuringImport: Um valor de tupla para o parâmetro exc_info foi descontinuado, use uma instância de exceção.

re: regras mais rigorosas agora são aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas a sequência de dígitos ASCII agora é aceita como referência numérica. O nome do grupo em padrões de bytes e strings de substituição agora pode conter apenas letras e dígitos ASCII e sublinhado. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

Módulos sre_compile, sre_constants e sre_parse.

shutil: o parâmetro onerror de rmtree() foi descontinuado no Python 3.12; use o parâmetro onexc.

Protocolos e opções de ssl

ssl.SSLContext sem argumento de protocolo foi descontinuado.

ssl.SSLContext: set_npn_protocols() e selected_npn_protocol() foram descontinuados, use ALPN.

Opções de ssl.OP_NO_SSL*

Opções de ssl.OP_NO_TLS*

ssl.PROTOCOL_SSLv3

ssl.PROTOCOL_TLS

ssl.PROTOCOL_TLSv1

ssl.PROTOCOL_TLSv1_1

ssl.PROTOCOL_TLSv1_2

ssl.TLSVersion.SSLv3

ssl.TLSVersion.TLSv1

ssl.TLSVersion.TLSv1_1

O parâmetro check_home de sysconfig.is_python_build() foi descontinuado e é ignorado.

Métodos de threading:

threading.Condition.notifyAll(): use notify_all().

threading.Event.isSet(): use is_set().

threading.Thread.isDaemon(), threading.Thread.setDaemon(): use o atributo threading.Thread.daemon.

threading.Thread.getName(), threading.Thread.setName(): use o atributo threading.Thread.name.

threading.currentThread(): use threading.current_thread().

threading.activeCount(): use threading.active_count().

typing.Text (gh-92332 [https://github.com/python/cpython/issues/92332]).

unittest.IsolatedAsyncioTestCase: foi descontinuado retornar um valor que não seja None de um caso de teste.

Funções descontinuadas de urllib.parse: use urlparse()

splitattr()

splithost()

splitnport()

splitpasswd()

splitport()

splitquery()

splittag()

splittype()

splituser()

splitvalue()

to_bytes()

urllib.request: o estilo de URLopener e FancyURLopener de invocar solicitações foi descontinuado. Use as mais novas funções e métodos urlopen().

wsgiref: SimpleHandler.stdout.write() não deve fazer gravações parciais.

xml.etree.ElementTree: testar o valor verdade de um Element está descontinuado. Em um lançamento futuro isso sempre retornará True. Em vez disso, prefira os testes explícitos len(elem) ou elem is not None.

zipimport.zipimporter.load_module() foi descontinuado: use exec_module().

Alterações de bytecode do CPython

O oparg de YIELD_VALUE agora é 1 se o yield fizer parte de um yield-from ou um await, e 0 caso contrário. O oparg de RESUME foi alterado para adicionar um bit indicando se a profundidade de exceção é 1, o que é necessário para otimizar o fechamento dos geradores. (Contribuição de Irit Katriel em gh-111354 [https://github.com/python/cpython/issues/111354].)

Alterações na API C

Novas funcionalidades

Adiciona a API C PyMonitoring C para gerar eventos de monitoramento da PEP 669 [https://peps.python.org/pep-0669/]:

PyMonitoringState

PyMonitoring_FirePyStartEvent()

PyMonitoring_FirePyResumeEvent()

PyMonitoring_FirePyReturnEvent()

PyMonitoring_FirePyYieldEvent()

PyMonitoring_FireCallEvent()

PyMonitoring_FireLineEvent()

PyMonitoring_FireJumpEvent()

PyMonitoring_FireBranchEvent()

PyMonitoring_FireCReturnEvent()

PyMonitoring_FirePyThrowEvent()

PyMonitoring_FireRaiseEvent()

PyMonitoring_FireCRaiseEvent()

PyMonitoring_FireReraiseEvent()

PyMonitoring_FireExceptionHandledEvent()

PyMonitoring_FirePyUnwindEvent()

PyMonitoring_FireStopIterationEvent()

PyMonitoring_EnterScope()

PyMonitoring_ExitScope()

(Contribuição de Irit Katriel em gh-111997 [https://github.com/python/cpython/issues/111997]).

Adiciona PyMutex, um mutex leve que ocupa um único byte, e as novas funções PyMutex_Lock() e PyMutex_Unlock(). PyMutex_Lock() irá liberar a GIL (se atualmente mantida) se a operação precisar de bloqueio. (Contribuição de Sam Gross em gh-108724 [https://github.com/python/cpython/issues/108724].)

Adiciona a API C PyTime, fornecendo acesso aos relógios do sistema.

PyTime_t.

PyTime_MIN e PyTime_MAX.

PyTime_AsSecondsDouble().

PyTime_Monotonic().

PyTime_MonotonicRaw().

PyTime_PerfCounter().

PyTime_PerfCounterRaw().

PyTime_Time().

PyTime_TimeRaw().

(Contribuição de Victor Stinner e Petr Viktorin em gh-110850 [https://github.com/python/cpython/issues/110850].)

Adiciona a função PyDict_ContainsString() com o mesmo comportamento de PyDict_Contains(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*. (Contribuição de Victor Stinner em gh-108314 [https://github.com/python/cpython/issues/108314].)

Adiciona as funções PyDict_GetItemRef() e PyDict_GetItemStringRef() functions, que são semelhantes a PyDict_GetItemWithError(), mas retornam uma referência forte em vez de uma referência emprestada. Além disso, essas funções retornam -1 em caso de erro, dispensando a necessidade de checar PyErr_Occurred(). (Contribuição de Victor Stinner em gh-106004 [https://github.com/python/cpython/issues/106004].)

Adiciona a função PyDict_SetDefaultRef(), que é semelhante a PyDict_SetDefault(), mas retorna uma referência forte em vez de uma referência emprestada. Esta função retorna -1 em caso de erro, 0 na inserção e 1 se a chave já estivesse presente no dicionário. (Contribuição de Sam Gross em gh-112066 [https://github.com/python/cpython/issues/112066].)

Adiciona as funções PyDict_Pop() e PyDict_PopString() para remover uma chave de um dicionário e, opcionalmente, retornam o valor removido. Isto é semelhante a dict.pop(), mas sem o valor padrão e sem levantar KeyError se a chave estiver ausente. (Contribuição de Stefan Behnel e Victor Stinner em gh-111262 [https://github.com/python/cpython/issues/111262].)

Adiciona as funções PyMapping_GetOptionalItem() e PyMapping_GetOptionalItemString() como alternativas a PyObject_GetAttr() e PyObject_GetAttrString(), respectivamente. As novas funções não levantam KeyError se o atributo não for encontrado no mapeamento. Essas variantes são mais convenientes e rápidas se o atributo ausente não for tratado como uma falha. (Contribuição de Serhiy Storchaka em gh-106307 [https://github.com/python/cpython/issues/106307].)

Adiciona as funções PyObject_GetOptionalAttr() e PyObject_GetOptionalAttrString(), variantes de PyObject_GetAttr() e PyObject_GetAttrString(), respectivamente. Essas novas funções não levantam AttributeError se o atributo não for encontrado. Essas variantes são mais convenientes e rápidas se o atributo ausente não for tratado como uma falha. (Contribuição de Serhiy Storchaka em gh-106521 [https://github.com/python/cpython/issues/106521].)

Adiciona a função PyErr_FormatUnraisable() como uma extensão para PyErr_WriteUnraisable(), que permite personalizar a mensagem de aviso. (Contribuição de Serhiy Storchaka em gh-108082 [https://github.com/python/cpython/issues/108082].)

Adiciona novas funções que retornam uma referência forte em vez de uma referência emprestada para quadros locais, globais, e embutidos, como parte de PEP 667:

PyEval_GetFrameBuiltins() substitui PyEval_GetBuiltins()

PyEval_GetFrameGlobals() substitui PyEval_GetGlobals()

PyEval_GetFrameLocals() substitui PyEval_GetLocals()

(Contribuição de Mark Shannon e Tian Gao em gh-74929 [https://github.com/python/cpython/issues/74929].)

Adiciona as funções Py_GetConstant() e Py_GetConstantBorrowed() para referências fortes ou emprestadas para constantes. Por exemplo, Py_GetConstant(Py_CONSTANT_ZERO) retorna uma referência forte para a constante zero. (Contribuição de Victor Stinner em gh-115754 [https://github.com/python/cpython/issues/115754].)

Adiciona a função PyImport_AddModuleRef() como uma substituta para PyImport_AddModule() mas retorna uma referência forte em vez de uma referência emprestada. (Contribuição de Victor Stinner em gh-105922 [https://github.com/python/cpython/issues/105922].)

Adiciona a função Py_IsFinalizing() para verificar se o interpretador Python principal está sendo desligado. (Contribuição de Victor Stinner em gh-108014 [https://github.com/python/cpython/issues/108014].)

Adiciona a função PyList_GetItemRef() como uma substituta para PyList_GetItem() mas que retorna uma referência forte em vez de uma referência emprestada. (Contribuição de Sam Gross em gh-114329 [https://github.com/python/cpython/issues/114329].)

Adiciona as funções PyList_Extend() e PyList_Clear(), espelhando os métodos list.extend() e list.clear() do Python. (Contribuição de Victor Stinner em gh-111138 [https://github.com/python/cpython/issues/111138].)

Adiciona a função PyLong_AsInt(), semelhante à PyLong_AsLong(), mas armazena o resultado em um int em vez de um long em C. (Contribuição de Victor Stinner em gh-108014 [https://github.com/python/cpython/issues/108014].)

Adiciona as funções PyLong_AsNativeBytes(), PyLong_FromNativeBytes() e PyLong_FromUnsignedNativeBytes() para simplificar a conversão entre tipos inteiros nativos e objetos int do Python. (Contribuição de Steve Dower em gh-111140 [https://github.com/python/cpython/issues/111140].)

Adiciona a função PyModule_Add(), que é semelhante a PyModule_AddObjectRef() e PyModule_AddObject(), mas sempre rouba uma referência ao valor. (Contribuição de Serhiy Storchaka em gh-86493 [https://github.com/python/cpython/issues/86493].)

Adiciona a função PyObject_GenericHash() que implementa a função hashing padrão de um objeto Python. (Contribuição de Serhiy Storchaka em gh-113024 [https://github.com/python/cpython/issues/113024].)

Adiciona a função Py_HashPointer() para fazer hash de um ponteiro. (Contribuição de Victor Stinner em gh-111545 [https://github.com/python/cpython/issues/111545].)

Adiciona as funções PyObject_VisitManagedDict() e PyObject_ClearManagedDict() que devem ser chamadas pelas funções traverse e clear de um tipo usando o sinalizador Py_TPFLAGS_MANAGED_DICT. O projeto pythoncapi-compat [https://github.com/python/pythoncapi-compat/] pode ser usado para obter essas funções no Python 3.11 e 3.12. (Contribuição de Victor Stinner em gh-107073 [https://github.com/python/cpython/issues/107073].)

Adiciona as funções PyRefTracer_SetTracer() e PyRefTracer_GetTracer(), que permitem rastrear a criação e destruição de objetos da mesma forma que o módulo tracemalloc. (Contribuição de Pablo Galindo em gh-93502 [https://github.com/python/cpython/issues/93502].)

Adiciona a função PySys_AuditTuple() como uma alternativa à PySys_Audit(), que recebe argumentos de evento como um objeto tuple do Python. (Contribuição de Victor Stinner em gh-85283 [https://github.com/python/cpython/issues/85283].)

Adiciona a função PyThreadState_GetUnchecked() como uma alternativa a PyThreadState_Get() que não mata o processo com um erro fatal se for NULL. O chamador é responsável por verificar se o resultado é NULL. (Contribuição de Victor Stinner em gh-108867 [https://github.com/python/cpython/issues/108867].)

Adiciona a função PyType_GetFullyQualifiedName() para obter o nome totalmente qualificado do tipo. O nome do módulo é prefixado se type.__module__ for uma string e não for igual a 'builtins' ou '__main__'. (Contribuição de Victor Stinner em gh-111696 [https://github.com/python/cpython/issues/111696].)

Adiciona a função PyType_GetModuleName() para obter o nome do módulo do tipo. Isto é equivalente a obter o atributo type.__module__. (Contribuição de Eric Snow e Victor Stinner em gh-111696 [https://github.com/python/cpython/issues/111696].)

Adiciona as funções PyUnicode_EqualToUTF8AndSize() e PyUnicode_EqualToUTF8(): comparam o objeto Unicode com uma string const char* codificada em UTF-8 e retornam 1 se forem iguais ou 0 caso contrário. Essas funções não levantam exceções. (Contribuição de Serhiy Storchaka em gh-110289 [https://github.com/python/cpython/issues/110289].)

Adiciona a função PyWeakref_GetRef() como uma alternativa a PyWeakref_GetObject(), mas retorna uma referência forte, ou NULL se o referente não mais existir. (Contribuição de Victor Stinner em gh-105927 [https://github.com/python/cpython/issues/105927].)

Adiciona variantes fixas de funções que ignoram erros silenciosamente:

PyObject_HasAttrWithError() substitui PyObject_HasAttr().

PyObject_HasAttrStringWithError() substitui PyObject_HasAttrString().

PyMapping_HasKeyWithError() substitui PyMapping_HasKey().

PyMapping_HasKeyStringWithError() substitui PyMapping_HasKeyString().

As novas funções retornam -1 para erros e o padrão 1 para verdadeiro e 0 para falso.

(Contribuição de Serhiy Storchaka em gh-108511 [https://github.com/python/cpython/issues/108511].)

Alterações na API C

O parâmetro keywords das funções PyArg_ParseTupleAndKeywords() e PyArg_VaParseTupleAndKeywords() agora é do tipo char *const* em C e const char *const* em C++, em vez de char**. Em C++, isso torna essas funções compatíveis com argumentos dos tipos const char *const*, const char**, ou char *const* sem uma conversão de tipo explícita. Em C, as funções aceitam apenas argumentos do tipo char *const*. Isso pode ser sobrescrito com a macro PY_CXX_CONST. (Contribuição de Serhiy Storchaka em gh-65210 [https://github.com/python/cpython/issues/65210].)

PyArg_ParseTupleAndKeywords() agora oferece suporte a nomes de parâmetros nomeados não-ASCII. (Contribuição de Serhiy Storchaka em gh-110815 [https://github.com/python/cpython/issues/110815].)

A função PyCode_GetFirstFree() é agora uma API instável e foi renomeada para PyUnstable_Code_GetFirstFree(). (Contribuição de Bogdan Romanyuk em gh-115781 [https://github.com/python/cpython/issues/115781].)

As funções PyDict_GetItem(), PyDict_GetItemString(), PyMapping_HasKey(), PyMapping_HasKeyString(), PyObject_HasAttr(), PyObject_HasAttrString(), e PySys_GetObject(), que apagam todos os erros que ocorrem ao chamá-las, agora reportam tais erros usando sys.unraisablehook(). Você pode substituí-las por outras funções conforme recomendado na documentação. (Contribuição de Serhiy Storchaka em gh-106672 [https://github.com/python/cpython/issues/106672].)

Adiciona suporte para os formatos %T, %#T, %N e %#N a PyUnicode_FromFormat():

%T: Obtém o nome totalmente qualificado de um tipo de objeto

%#T: Como acima, mas usa dois pontos como separador

%N: Obtém o nome totalmente qualificado de um tipo

%#N: Como acima, mas usa dois pontos como separador

Veja PEP 737 [https://peps.python.org/pep-0737/] para uma descrição completa. (Contribuição de Victor Stinner em gh-111696 [https://github.com/python/cpython/issues/111696].)

Você não precisa mais definir a macro PY_SSIZE_T_CLEAN antes de incluir Python.h ao usar formatos # em códigos de formato. APIs que aceitam os códigos de formato sempre usam Py_ssize_t para formatos #. (Contribuição de Inada Naoki em gh-104922 [https://github.com/python/cpython/issues/104922].)

Se Python for construído em modo de depuração ou com asserções, PyTuple_SET_ITEM() e PyList_SET_ITEM() agora verificam o argumento do índice com uma asserção. (Contribuição de Victor Stinner em gh-106168 [https://github.com/python/cpython/issues/106168].)

Mudanças na API C Limitada

As seguintes funções agora estão incluídas na API C limitada:

PyMem_RawMalloc()

PyMem_RawCalloc()

PyMem_RawRealloc()

PyMem_RawFree()

PySys_Audit()

PySys_AuditTuple()

PyType_GetModuleByDef()

(Contribuição de Victor Stinner em gh-85283 [https://github.com/python/cpython/issues/85283], gh-85283 [https://github.com/python/cpython/issues/85283] e gh-116936 [https://github.com/python/cpython/issues/116936].)

Python construído com --with-trace-refs (referências de rastreamento) agora oferece suporte à API Limitada. (Contribuição de Victor Stinner em gh-108634 [https://github.com/python/cpython/issues/108634].)

APIs C removidas

Remove diversas funções, macros, variáveis, etc com nomes prefixados por _Py ou _PY (consideradas como API privada). Se o seu projeto for afetado por uma dessas remoções e você acreditar que a API removida deve permanecer disponível, por favor abra um novo relatório de problema para solicitar uma API C pública e adicione cc: @vstinner ao problema para notificar Victor Stinner. (Contribuição de Victor Stinner em gh-106320 [https://github.com/python/cpython/issues/106320].)

Remove protocolos de buffer antigos descontinuados no Python 3.0: use Protocolo de Buffer.

PyObject_CheckReadBuffer(): use PyObject_CheckBuffer() para testar se o objeto oferece suporte ao protocolo de buffer. Observe que PyObject_CheckBuffer() não garante que PyObject_GetBuffer() terá sucesso. Para testar se o objeto é realmente legível, veja o próximo exemplo de PyObject_GetBuffer().

PyObject_AsCharBuffer(), PyObject_AsReadBuffer(): use PyObject_GetBuffer() e PyBuffer_Release():

Py_buffer view;
if (PyObject_GetBuffer(obj, &view, PyBUF_SIMPLE) < 0) {
    return NULL;
}
// Usa `view.buf` e `view.len` para ler do buffer.
// Você pode precisar converter buf como `(const char*)view.buf`.
PyBuffer_Release(&view);

PyObject_AsWriteBuffer(): use PyObject_GetBuffer() e PyBuffer_Release():

Py_buffer view;
if (PyObject_GetBuffer(obj, &view, PyBUF_WRITABLE) < 0) {
    return NULL;
}
// Usa `view.buf` e `view.len` para gravar no buffer.
PyBuffer_Release(&view);

(Contribuição de Inada Naoki in gh-85275 [https://github.com/python/cpython/issues/85275].)

Remove diversas funções descontinuadas no Python 3.9:

PyEval_CallObject(), PyEval_CallObjectWithKeywords(): use PyObject_CallNoArgs() ou PyObject_Call().

Aviso

Os argumentos posicionais de PyObject_Call() devem ser uma tuple e não podem ser NULL, os argumentos nomeados devem ser dict ou NULL, enquanto funções removidas verificavam o tipo de argumentos e aceitavam argumentos posicionais e nomeados NULL. Para substituir PyEval_CallObjectWithKeywords(func, NULL, kwargs) por PyObject_Call(), passe uma tupla vazia como argumentos posicionais usando PyTuple_New(0).

PyEval_CallFunction(): use PyObject_CallFunction().

PyEval_CallMethod(): use PyObject_CallMethod().

PyCFunction_Call(): use PyObject_Call().

(Contribuição de Victor Stinner em gh-105107 [https://github.com/python/cpython/issues/105107].)

Remove as seguintes funções antigas da configuração de inicialização do Python, descontinuadas no Python 3.11:

PySys_AddWarnOptionUnicode(): use PyConfig.warnoptions.

PySys_AddWarnOption(): use PyConfig.warnoptions.

PySys_AddXOption(): use PyConfig.xoptions.

PySys_HasWarnOptions(): use PyConfig.xoptions.

PySys_SetPath(): defina PyConfig.module_search_paths.

Py_SetPath(): defina PyConfig.module_search_paths.

Py_SetStandardStreamEncoding(): defina PyConfig.stdio_encoding, e também talvez PyConfig.legacy_windows_stdio (no Windows).

_Py_SetProgramFullPath(): defina PyConfig.executable.

Em vez disso, use a nova API PyConfig da Configuração de Inicialização do Python (PEP 587 [https://peps.python.org/pep-0587/]), adicionada ao Python 3.8. (Contribuição de Victor Stinner em gh-105145 [https://github.com/python/cpython/issues/105145].)

Remove as funções PyEval_AcquireLock() e PyEval_ReleaseLock(), descontinuadas no Python 3.2. Eles não atualizavam o estado atual da thread. Elas podem ser substituídas por:

PyEval_SaveThread() e PyEval_RestoreThread();

PyEval_AcquireThread() e PyEval_RestoreThread() de baixo nível;

ou PyGILState_Ensure() e PyGILState_Release().

(Contribuição de Victor Stinner em gh-105182 [https://github.com/python/cpython/issues/105182].)

Remove a função PyEval_ThreadsInitialized(), descontinuada no Python 3.9. Desde Python 3.7, Py_Initialize() sempre cria a GIL: chamar PyEval_InitThreads() não faz nada e PyEval_ThreadsInitialized() sempre retorna diferente de zero. (Contribuição de Victor Stinner em gh-105182 [https://github.com/python/cpython/issues/105182].)

Remove o apelido _PyInterpreterState_Get() de PyInterpreterState_Get() que era mantido para compatibilidade com versões anteriores do Python 3.8. O projeto pythoncapi-compat [https://github.com/python/pythoncapi-compat/] pode ser usado para obter PyInterpreterState_Get() no Python 3.8 e versões anteriores. (Contribuição de Victor Stinner em gh-106320 [https://github.com/python/cpython/issues/106320].)

Remove a função privada _PyObject_FastCall(): use PyObject_Vectorcall(), a qual está disponível desde Python 3.8 (PEP 590 [https://peps.python.org/pep-0590/]). (Contribuição de Victor Stinner em gh-106023 [https://github.com/python/cpython/issues/106023].)

Remove o arquivo de cabeçalho cpython/pytime.h, que continha apenas funções privadas. (Contribuição de Victor Stinner em gh-106316 [https://github.com/python/cpython/issues/106316].)

Remove a constante ​​não documentada PY_TIMEOUT_MAX da API C limitada. (Contribuição de Victor Stinner em gh-110014 [https://github.com/python/cpython/issues/110014].)

Remove as antigas macros de trashcan Py_TRASHCAN_SAFE_BEGIN e Py_TRASHCAN_SAFE_END. Substitua ambas pelas novas macros Py_TRASHCAN_BEGIN e Py_TRASHCAN_END. (Contribuição de Irit Katriel em gh-105111 [https://github.com/python/cpython/issues/105111].)

APIs C descontinuadas

Descontinua antigas funções de inicialização do Python:

PySys_ResetWarnOptions(): apague sys.warnoptions e warnings.filters.

Py_GetExecPrefix(): leia sys.exec_prefix.

Py_GetPath(): leia sys.path.

Py_GetPrefix(): leia sys.prefix.

Py_GetProgramFullPath(): leia sys.executable.

Py_GetProgramName(): leia sys.executable.

Py_GetPythonHome(): leia PyConfig.home ou a variável de ambiente PYTHONHOME.

(Contribuição de Victor Stinner em gh-105145 [https://github.com/python/cpython/issues/105145].)

Descontinua suavemente as funções PyEval_GetBuiltins(), PyEval_GetGlobals() e PyEval_GetLocals(), que retornam uma referência emprestada. (Suavemente descontinuadas como parte da PEP 667 [https://peps.python.org/pep-0667/].)

Descontinua a função PyImport_ImportModuleNoBlock() que é apenas um apelido para PyImport_ImportModule() desde o Python 3.3. (Contribuição de Victor Stinner em gh-105396 [https://github.com/python/cpython/issues/105396].)

Descontinua suavemente a função PyModule_AddObject(). Ela deve ser substituída por PyModule_Add() ou PyModule_AddObjectRef(). (Contribuição de Serhiy Storchaka em gh-86493 [https://github.com/python/cpython/issues/86493].)

Descontinua os tipos antigos Py_UNICODE e PY_UNICODE_TYPE e define Py_UNICODE_WIDE. Em vez disso, use o tipo wchar_t diretamente. Desde Python 3.3, Py_UNICODE e PY_UNICODE_TYPE são apenas apelidos para wchar_t. (Contribuição de Victor Stinner em gh-105156 [https://github.com/python/cpython/issues/105156].)

Descontinua as funções PyWeakref_GetObject() e PyWeakref_GET_OBJECT(), que retornam uma referência emprestada. Em vez disso, use a nova função PyWeakref_GetRef(), que retorna uma referência forte. O projeto pythoncapi-compat [https://github.com/python/pythoncapi-compat/] pode ser usado para obter PyWeakref_GetRef() no Python 3.12 e versões anteriores. (Contribuição de Victor Stinner em gh-105927 [https://github.com/python/cpython/issues/105927].)

Remoção pendente no Python 3.14

O campo ma_version_tag em PyDictObject para módulos de extensão (PEP 699 [https://peps.python.org/pep-0699/]; gh-101193 [https://github.com/python/cpython/issues/101193]).

A criação de tipos imutáveis com bases mutáveis (gh-95388 [https://github.com/python/cpython/issues/95388]).

Funções para configurar a inicialização do Python, descontinuadas no Python 3.11:

PySys_SetArgvEx(): defina PyConfig.argv.

PySys_SetArgv(): defina PyConfig.argv.

Py_SetProgramName(): defina PyConfig.program_name.

Py_SetPythonHome(): defina PyConfig.home.

Em vez disso, a API Py_InitializeFromConfig() deve ser usada com PyConfig.

Variáveis de configuração globais

Py_DebugFlag: use PyConfig.parser_debug.

Py_VerboseFlag: use PyConfig.verbose.

Py_QuietFlag: use PyConfig.quiet.

Py_InteractiveFlag: use PyConfig.interactive.

Py_InspectFlag: use PyConfig.inspect.

Py_OptimizeFlag: use PyConfig.optimization_level.

Py_NoSiteFlag: use PyConfig.site_import.

Py_BytesWarningFlag: use PyConfig.bytes_warning.

Py_FrozenFlag: use PyConfig.pathconfig_warnings.

Py_IgnoreEnvironmentFlag: use PyConfig.use_environment.

Py_DontWriteBytecodeFlag: use PyConfig.write_bytecode.

Py_NoUserSiteDirectory: use PyConfig.user_site_directory.

Py_UnbufferedStdioFlag: use PyConfig.buffered_stdio.

Py_HashRandomizationFlag: use PyConfig.use_hash_seed e PyConfig.hash_seed.

Py_IsolatedFlag: use PyConfig.isolated.

Py_LegacyWindowsFSEncodingFlag: use PyPreConfig.legacy_windows_fs_encoding.

Py_LegacyWindowsStdioFlag: use PyConfig.legacy_windows_stdio.

Py_FileSystemDefaultEncoding: use PyConfig.filesystem_encoding.

Py_HasFileSystemDefaultEncoding: use PyConfig.filesystem_encoding.

Py_FileSystemDefaultEncodeErrors: use PyConfig.filesystem_errors.

Py_UTF8Mode: use PyPreConfig.utf8_mode. (veja Py_PreInitialize())

Em vez disso, a API Py_InitializeFromConfig() deve ser usada com PyConfig.

Remoção pendente no Python 3.15

A cópia empacotada do libmpdecimal.

PyImport_ImportModuleNoBlock(): use PyImport_ImportModule().

PyWeakref_GetObject() e PyWeakref_GET_OBJECT(): use PyWeakref_GetRef().

O tipo Py_UNICODE e a macro Py_UNICODE_WIDE: use wchar_t.

Funções de inicialização do Python

PySys_ResetWarnOptions(): apague sys.warnoptions e warnings.filters.

Py_GetExecPrefix(): obtenha sys.base_exec_prefix e sys.exec_prefix.

Py_GetPath(): leia sys.path.

Py_GetPrefix(): obtenha sys.base_prefix e sys.prefix.

Py_GetProgramFullPath(): leia sys.executable.

Py_GetProgramName(): leia sys.executable.

Py_GetPythonHome(): leia PyConfig.home ou a variável de ambiente PYTHONHOME.

Remoção pendente em versões futuras

As APIs a seguir foram descontinuadas e serão removidas, embora atualmente não haja uma data agendada para sua remoção.

Py_TPFLAGS_HAVE_FINALIZE: desnecessária desde o Python 3.8.

PyErr_Fetch(): use PyErr_GetRaisedException().

PyErr_NormalizeException(): use PyErr_GetRaisedException().

PyErr_Restore(): use PyErr_SetRaisedException().

PyModule_GetFilename(): use PyModule_GetFilenameObject().

PyOS_AfterFork(): use PyOS_AfterFork_Child().

PySlice_GetIndicesEx(): use PySlice_Unpack() e PySlice_AdjustIndices().

PyUnicode_AsDecodedObject(): use PyCodec_Decode().

PyUnicode_AsDecodedUnicode(): use PyCodec_Decode().

PyUnicode_AsEncodedObject(): use PyCodec_Encode().

PyUnicode_AsEncodedUnicode(): use PyCodec_Encode().

PyUnicode_READY(): desnecessário desde o Python 3.12

PyErr_Display(): use PyErr_DisplayException().

_PyErr_ChainExceptions(): use _PyErr_ChainExceptions1().

O membro PyBytesObject.ob_shash: chame PyObject_Hash().

O membro PyDictObject.ma_version_tag.

API do Thread Local Storage (TLS):

PyThread_create_key(): use PyThread_tss_alloc().

PyThread_delete_key(): use PyThread_tss_free().

PyThread_set_key_value(): use PyThread_tss_set().

PyThread_get_key_value(): use PyThread_tss_get().

PyThread_delete_key_value(): use PyThread_tss_delete().

PyThread_ReInitTLS(): desnecessário desde o Python 3.7.

Mudanças na construção

arm64-apple-ios e arm64-apple-ios-simulator são agora plataformas de nível 3 da PEP 11 [https://peps.python.org/pep-0011/]. (Escrita e implementação da PEP 730 foi uma contribuição de Russell Keith-Magee em gh-114099 [https://github.com/python/cpython/issues/114099].)

aarch64-linux-android e x86_64-linux-android são agora plataformas de nível 3 da PEP 11 [https://peps.python.org/pep-0011/]. (Escrita e implementação da PEP 738 foi uma contribuição de Malcolm Smith em gh-116622 [https://github.com/python/cpython/issues/116622].)

wasm32-wasi agora é uma plataforma de nível 2 segundo a PEP 11 [https://peps.python.org/pep-0011/]. (Contribuição de Brett Cannon em gh-115192 [https://github.com/python/cpython/issues/115192].)

wasm32-emscripten não é mais uma plataforma suportada pela PEP 11 [https://peps.python.org/pep-0011/]. (Contribuição de Brett Cannon em gh-115192 [https://github.com/python/cpython/issues/115192].)

Construir CPython agora requer um compilador com suporte para a biblioteca atômica C11, funções atômicas embutidas do GCC ou intrínsecos interligados MSVC.

Autoconf 2.71 e aclocal 1.16.5 agora são necessários para regerar o script configure. (Contribuição de Christian Heimes em gh-89886 [https://github.com/python/cpython/issues/89886] e de Victor Stinner em gh-112090 [https://github.com/python/cpython/issues/112090].)

SQLite 3.15.2 ou mais recente é necessário para construir o módulo de extensão sqlite3. (Contribuição de Erlend Aasland em gh-105875 [https://github.com/python/cpython/issues/105875].)

CPython agora inclui a biblioteca mimalloc [https://github.com/microsoft/mimalloc] por padrão. Está licenciada sob a licença do MIT; veja licença do mimalloc. O mimalloc incluído tem alterações personalizadas, veja gh-113141 [https://github.com/python/cpython/issues/113141] para detalhes. (Contribuição de Dino Viehland em gh-109914 [https://github.com/python/cpython/issues/109914].)

A opção --with-system-libmpdec do configure agora tem como padrão yes. A cópia empacotada de libmpdecimal será removida no Python 3.15.

Python construído com --with-trace-refs (referências de rastreamento) do configure tem compatibilidade de ABI com a construção de lançamento do Python e a construção de depuração. (Contribuição de Victor Stinner em gh-108634 [https://github.com/python/cpython/issues/108634].)

Em sistemas POSIX, os nomes de arquivos pkg-config (.pc) agora incluem os sinalizadores de ABI. Por exemplo, a construção com threads livres gera python-3.13t.pc e a construção de depuração gera python-3.13d.pc.

As extensões C errno, fcntl, grp, md5, pwd, resource, termios, winsound, _ctypes_test, _multiprocessing.posixshmem, _scproxy, _stat, _statistics, _testconsole, _testimportmultiple e _uuid são agora construídas com a API C limitada. (Contribuição de Victor Stinner em gh-85283 [https://github.com/python/cpython/issues/85283].)

Portando para o Python 3.13

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações na API Python

PEP 667 introduz várias mudanças na semântica de locals() e f_locals:

Chamar locals() em um escopo otimizado agora produz uma captura independente em cada chamada e, portanto, não atualiza mais implicitamente as referências retornadas anteriormente. Obter o comportamento legado do CPython agora requer chamadas explícitas para atualizar o dicionário inicialmente retornado com os resultados de chamadas subsequentes para locals(). Funções de execução de código que visam implicitamente locals() (como exec e eval) devem receber um espaço de nomes explícito para acessar seus resultados em um escopo otimizado. (Alterado como parte da PEP 667 [https://peps.python.org/pep-0667/].)

Chamar locals() de uma compreensão no módulo ou escopo de classe (inclusive via exec ou eval) mais uma vez se comporta como se a compreensão estivesse sendo executada como uma função aninhada independente (isto é, as variáveis ​​locais de o escopo que contém não está incluído). No Python 3.12, isso mudou para incluir as variáveis ​​locais do escopo que o contém ao implementar a PEP 709 [https://peps.python.org/pep-0709/]. (Alterado como parte da PEP 667 [https://peps.python.org/pep-0667/].)

Acessar FrameType.f_locals em um escopo otimizado agora retorna um proxy de “write-through” em vez de uma captura que é atualizado em horários mal especificados. Se uma captura for desejada, ela deve ser criada explicitamente com dict ou com o método .copy() do proxy. (Alterado como parte da PEP 667 [https://peps.python.org/pep-0667/].)

functools.partial agora emite uma FutureWarning quando é usado como método. Seu comportamento será alterado em versões futuras do Python. Envolva-a em staticmethod() se quiser preservar o comportamento antigo. (Contribuição de Serhiy Storchaka em gh-121027 [https://github.com/python/cpython/issues/121027].)

Uma exceção OSError agora é levantada por getpass.getuser() para qualquer falha na recuperação de um nome de usuário, em vez de ImportError em plataformas não-Unix ou KeyError em plataformas Unix onde o banco de dados de senhas está vazio.

O valor do atributo mode de gzip.GzipFile agora é uma string ('rb' ou 'wb') e não mais um inteiro (1 ou 2). O valor do atributo mode do objeto arquivo ou similar legível retornado por zipfile.ZipFile.open() é agora 'rb' e não mais 'r'. (Contribuição de Serhiy Storchaka em gh-115961 [https://github.com/python/cpython/issues/115961].)

mailbox.Maildir agora ignora arquivos com um ponto inicial (.). (Contribuição de Zackery Spytz em gh-65559 [https://github.com/python/cpython/issues/65559].)

pathlib.Path.glob() e rglob() agora retornam arquivos e diretórios se um padrão que termina com “**” for fornecido, em vez de apenas diretórios. Os usuários podem adicionar uma barra final para manter o comportamento anterior e corresponder apenas aos diretórios.

O módulo threading agora espera que o módulo _thread tenha uma função _is_main_interpreter. É uma função sem argumentos que retorna True se o interpretador atual for o interpretador principal.

Qualquer biblioteca ou aplicação que forneça um módulo _thread personalizado deve obrigatoriamente fornecer _is_main_interpreter(), da mesma forma que outros atributos “privados” do módulo. (Veja gh-112826 [https://github.com/python/cpython/issues/112826].)

Alterações na API C

Python.h não inclui mais o cabeçalho padrão <ieeefp.h>. Ele foi incluído para a função finite() que agora é fornecida pelo cabeçalho <math.h>. Agora deve ser incluído explicitamente, se necessário. Remove também a macro HAVE_IEEEFP_H. (Contribuição de Victor Stinner em gh-108765 [https://github.com/python/cpython/issues/108765].)

Python.h não inclui mais estes arquivos de cabeçalho padrão: <time.h>, <sys/select.h> e <sys/time.h>. Se necessário, deverão agora ser incluídos explicitamente. Por exemplo, <time.h> fornece as funções clock() e gmtime(), <sys/select.h> fornece o select(), e <sys/time.h> fornece as funções futimes(), gettimeofday() e setitimer(). (Contribuição de Victor Stinner em gh-108765 [https://github.com/python/cpython/issues/108765].)

No Windows, Python.h não inclui mais o arquivo de cabeçalho padrão <stddef.h>. Se necessário, deverá agora ser incluído explicitamente. Por exemplo, ele fornece a função offsetof() e os tipos size_t e ptrdiff_t. Incluindo <stddef.h> explicitamente já era necessário para todas as outras plataformas, a macro HAVE_STDDEF_H só é definida no Windows. (Contribuição de Victor Stinner em gh-108765 [https://github.com/python/cpython/issues/108765].)

Se a macro Py_LIMITED_API estiver definida, as macros Py_BUILD_CORE, Py_BUILD_CORE_BUILTIN e Py_BUILD_CORE_MODULE agora são indefinidas por <Python.h>. (Contribuição de Victor Stinner em gh-85283 [https://github.com/python/cpython/issues/85283].)

As macros antigas da lixeira Py_TRASHCAN_SAFE_BEGIN e Py_TRASHCAN_SAFE_END foram removidas. Elas devem ser substituídas pelas novas macros Py_TRASHCAN_BEGIN e Py_TRASHCAN_END.

Uma função tp_dealloc que contém as macros antigas, como:

static void
dealocador_de_meutipo(meutipo *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_SAFE_BEGIN(p);
    ...
    Py_TRASHCAN_SAFE_END
}

deve migrar para as novas macros da seguinte forma:

static void
dealocador_de_meutipo(meutipo *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_BEGIN(p, dealocador_de_meutipo);
    ...
    Py_TRASHCAN_END
}

Observe que Py_TRASHCAN_BEGIN tem um segundo argumento que deve ser a função de desalocação em que está. As novas macros foram adicionadas no Python 3.8 e as macros antigas foram descontinuadas no Python 3.11. (Contribuição de Irit Katriel em gh-105111 [https://github.com/python/cpython/issues/105111].)

PEP 667 introduz várias mudanças em funções relacionadas a quadro:

Os efeitos da mutação do dicionário retornado de PyEval_GetLocals() em um escopo otimizado foram alterados. Novas entradas de dict adicionadas desta forma agora apenas ficarão visíveis para chamadas PyEval_GetLocals() subsequentes nesse quadro, como PyFrame_GetLocals(), locals() e FrameType.f_locals não acessa mais o mesmo dicionário armazenado em cache subjacente. As alterações feitas nas entradas para nomes de variáveis ​​reais e nomes adicionados através das interfaces proxy de “write-through” serão substituídas em chamadas subsequentes para PyEval_GetLocals() nesse quadro. A atualização de código recomendada depende de como a função estava sendo usada, portanto, consulte o aviso de descontinuação na função para obter detalhes.

Chamar PyFrame_GetLocals() em um escopo otimizado agora retorna um proxy de “write-through” em vez de uma captura que é atualizada em horários mal especificados. Se uma captura for desejada, ela deve ser criada explicitamente (por exemplo, com PyDict_Copy()) ou chamando a nova API PyEval_GetFrameLocals().

PyFrame_FastToLocals() e PyFrame_FastToLocalsWithError() não têm mais nenhum efeito. Chamar essas funções tem sido redundante desde o Python 3.11, quando PyFrame_GetLocals() foi introduzido pela primeira vez.

PyFrame_LocalsToFast() não tem mais efeito. Chamar esta função é redundante agora que PyFrame_GetLocals() retorna um proxy de “write-through” para escopos otimizados.

Mudanças em teste de regressão

Python construído com --with-pydebug do configure agora oferece suporte a uma opção de linha de comando -X presite=pacote.módulo. Se usado, especifica um módulo que deve ser importado no início do ciclo de vida do interpretador, antes que site.py seja executado. (Contribuição de Łukasz Langa em gh-110769 [https://github.com/python/cpython/issues/110769].)

O que há de novo no Python 3.12

Editor:

Adam Turner

Este artigo explica os novos recursos no Python 3.12, em comparação com 3.11. Python 3.12 foi lançado em 2 de outubro de 2023. Veja changelog para uma lista completa de mudanças.

Ver também

PEP 693 [https://peps.python.org/pep-0693/] – Agendamento de lançamento do Python 3.12

Resumo – Destaques da versão

Python 3.12 é uma versão estável da linguagem de programação Python, com uma combinação de alterações na linguagem e na biblioteca padrão. As alterações da biblioteca se concentram na limpeza de APIs descontinuadas, usabilidade e correção. É importante notar que o pacote distutils foi removido da biblioteca padrão. O suporte ao sistema de arquivos em os e pathlib teve uma série de melhorias e vários módulos têm melhor desempenho.

As mudanças de linguagem se concentram na usabilidade, já que f-strings tiveram muitas limitações removidas e as sugestões ‘Did you mean …’ continuam a melhorar. A nova sintaxe de parâmetro type e a instrução type melhoram a ergonomia para usar tipos genéricos e apelidos de tipos com verificadores de tipo estáticos.

Este artigo não tenta fornecer uma especificação completa de todos os novos recursos, mas fornece uma visão geral conveniente. Para detalhes completos, você deve consultar a documentação, como Referência da Biblioteca e Referência da Linguagem. Se você quiser entender a implementação completa e a justificativa do design para uma mudança, consulte a PEP para um novo recurso específico; mas observe que as PEPs geralmente não são mantidas atualizadas depois que um recurso é totalmente implementado.

Novos recursos de sintaxe:

PEP 695, sintaxe de parâmetro de tipo e a instrução type

Novos recursos de gramática:

PEP 701, f-strings na gramática

Melhorias no interpretador:

PEP 684, uma única GIL por interpretador

PEP 669, monitoramento de baixo impacto

Aprimoradas as sugestões ‘Did you mean …’ para as exceções NameError, ImportError e SyntaxError

Melhorias no modelo de dados Python:

PEP 688, usando o protocolo de buffer do Python

Melhorias significativas na biblioteca padrão:

A classe pathlib.Path agora oferece suporte a fazer subclasses

O módulo os recebeu vários aprimoramentos para suporte ao Windows

Uma interface de linha de comando foi adicionada ao módulo sqlite3

As verificações de isinstance() para protocolos verificáveis em tempo de execução desfruta de um aumento de velocidade entre duas e 20 vezes

O pacote asyncio teve vários aprimoramentos desempenho, com alguns benchmarks mostrando um aumento de 75% na velocidade.

Uma interface de linha de comando foi adicionada ao módulo uuid

Devido às alterações na PEP 701, a produção de tokens por meio do módulo tokenize é até 64% mais rápida.

Melhorias de segurança:

Substitui as implementações embutidas do hashlib de SHA1, SHA3, SHA2-384, SHA2-512 e MD5 pelo código formalmente verificado do projeto HACL* [https://github.com/hacl-star/hacl-star/]. Essas implementações embutidas permanecem como fallbacks que são usados somente quando o OpenSSL não as fornece.

Melhorias na API C:

PEP 697, tier instável de API C

PEP 683, objetos imortal

Melhorias na implementação do CPython:

PEP 709, inlining de compreensão

Suporte do CPython para o perfilador Linux perf

Implementa proteção contra estouro de pilha em plataformas suportadas

Novos recursos de tipagem:

PEP 692, usando TypedDict para anotar **kwargs

PEP 698, decorador typing.override()

Descontinuações, remoções ou restrições importantes:

PEP 623 [https://peps.python.org/pep-0623/]: Remove wstr os objetos Unicode na API C do Python, reduzindo o tamanho de cada objeto str em pelo menos 8 bytes.

PEP 632 [https://peps.python.org/pep-0632/]: Remove o pacote distutils. Consulte o guia de migração [https://peps.python.org/pep-0632/#migration-advice] para obter conselhos sobre a substituição das APIs fornecidas por ele. O pacote de terceiros Setuptools [https://setuptools.pypa.io/en/latest/deprecated/distutils-legacy.html] continua fornecendo distutils, se você ainda precisar dele no Python 3.12 e posterior.

gh-95299 [https://github.com/python/cpython/issues/95299]: Não pré-instala setuptools em ambientes virtuais criados com venv. Isso significa que distutils, setuptools, pkg_resources e easy_install não estarão mais disponíveis por padrão; para acessá-los, execute pip install setuptools no ambiente virtual ativado.

Os módulos asynchat, asyncore e imp foram removidos, juntamente com vários apelidos de métodos de unittest.TestCase.

Novas funcionalidades

PEP 695: Sintaxe do parâmetro de tipo

As classes e funções genéricas sob a PEP 484 [https://peps.python.org/pep-0484/] foram declaradas usando uma sintaxe detalhada que deixou o escopo dos parâmetros de tipo pouco claro e exigiu declarações explícitas de variação.

PEP 695 [https://peps.python.org/pep-0695/] apresenta uma maneira nova, mais compacta e explícita de criar classes genéricas e funções:

def max[T](args: Iterable[T]) -> T:
    ...

class list[T]:
    def __getitem__(self, index: int, /) -> T:
        ...

    def append(self, element: T) -> None:
        ...

Além disso, a PEP introduz uma nova maneira de declarar apelidos de tipos usando a instrução type, que cria uma instância de TypeAliasType:

type Point = tuple[float, float]

Os apelidos de tipo também podem ser genéricos:

type Point[T] = tuple[T, T]

A nova sintaxe permite declarar os parâmetros TypeVarTuple e ParamSpec, bem como os parâmetros TypeVar com limites ou restrições:

type IntFunc[**P] = Callable[P, int]  # ParamSpec
type LabeledTuple[*Ts] = tuple[str, *Ts]  # TypeVarTuple
type HashableSequence[T: Hashable] = Sequence[T]  # TypeVar com vínculo
type IntOrStrSequence[T: (int, str)] = Sequence[T]  # TypeVar com restrições

O valor dos apelidos de tipo e os limites e restrições das variáveis de tipo criadas por meio dessa sintaxe são avaliados somente sob demanda (consulte avaliação preguiçosa). Isso significa que os apelidos de tipo podem se referir a outros tipos definidos posteriormente no arquivo.

Os parâmetros de tipo declarados por meio de uma lista de parâmetros de tipo são visíveis no escopo da declaração e em quaisquer escopos aninhados, mas não no escopo externo. Por exemplo, eles podem ser usados nas anotações de tipo para os métodos de uma classe genérica ou no corpo da classe. Entretanto, não podem ser usadas no escopo do módulo depois que a classe é definida. Consulte Type parameter lists para obter uma descrição detalhada da semântica de tempo de execução dos parâmetros de tipo.

Para dar suporte a essa semântica de escopo, um novo tipo de escopo é introduzido, o escopo de anotação. Os escopos de anotação se comportam, em sua maior parte, como escopos de função, mas interagem de forma diferente com os escopos de classe. No Python 3.13, anotações também serão avaliadas em escopos de anotação.

Consulte PEP 695 [https://peps.python.org/pep-0695/] para obter mais detalhes.

(PEP escrita por Eric Traut. Implementação por Jelle Zijlstra, Eric Traut e outros em gh-103764 [https://github.com/python/cpython/issues/103764]).

PEP 701: Formalização sintática de f-strings

PEP 701 [https://peps.python.org/pep-0701/] resolve algumas restrições no uso de f-strings. Componentes de expressão dentro de f-strings agora podem ser qualquer expressão válida do Python, incluindo strings reutilizando a mesma aspa que a f-string contida, expressões multi-linhas, comentários, barras invertidas e sequências de escape unicode. Vamos cobri-los em detalhes:

Reuso de aspas: no Python 3.11, reusar as mesmas aspas que a f-string que contém levanta um SyntaxError, forçando o usuário a usar outras aspas disponíveis (como usar aspas duplas ou triplas se a f-string usa aspas simples). No Python 3.12, agora você pode fazer coisas como esta:

>>> songs = ['Take me back to Eden', 'Alkaline', 'Ascensionism']
>>> f"This is the playlist: {", ".join(songs)}"
'This is the playlist: Take me back to Eden, Alkaline, Ascensionism'

Observe que, antes dessa alteração, não havia limite explícito de como f-strings podem ser aninhadas, mas o fato de as aspas de string não poderem ser reusadas dentro do componente de expressão de f-strings tornava impossível aninhar f-strings arbitrariamente. Na verdade, esta é a f-string mais aninhada que poderia ser escrita:

>>> f"""{f'''{f'{f"{1+1}"}'}'''}"""
'2'

Como agora f-strings podem conter qualquer expressão Python válida dentro de componentes de expressão, agora é possível aninhar f-strings arbitrariamente:

>>> f"{f"{f"{f"{f"{f"{1+1}"}"}"}"}"}"
'2'

Expressões e comentários multilinhas: no Python 3.11, as expressões f-string devem ser definidas em uma única linha, ainda que a expressão dentro de f-string externas possa normalmente abranger várias linhas (como listas literais sendo definidas em várias linhas), tornando-as mais difíceis de ler. No Python 3.12, agora você pode definir f-strings abrangendo várias linhas e adicionar comentários inline:

>>> f"This is the playlist: {", ".join([
...     'Take me back to Eden',  # My, my, those eyes like fire
...     'Alkaline',              # Not acid nor alkaline
...     'Ascensionism'           # Take to the broken skies at last
... ])}"
'This is the playlist: Take me back to Eden, Alkaline, Ascensionism'

Contrabarra e caracteres unicode: antes do Python 3.12, as expressões f-string não podiam conter nenhum caractere \. Isso também afetou as sequências de escape unicode (como \N{snowman}), pois elas contêm a parte \N que anteriormente não podia fazer parte dos componentes de expressão de f-strings. Agora, você pode definir expressões como esta:

>>> print(f"This is the playlist: {"\n".join(songs)}")
This is the playlist: Take me back to Eden
Alkaline
Ascensionism
>>> print(f"This is the playlist: {"\N{BLACK HEART SUIT}".join(songs)}")
This is the playlist: Take me back to Eden♥Alkaline♥Ascensionism

Veja PEP 701 [https://peps.python.org/pep-0701/] para mais detalhes.

Como um efeito colateral positivo de como esse recurso foi implementado (analisando f-strings com o analisador GASE ou PEG [https://peps.python.org/pep-0617/]), agora as mensagens de erro para f-strings são mais precisas e incluem o local exato do erro. Por exemplo, no Python 3.11, a seguinte f-string levanta um SyntaxError:

>>> my_string = f"{x z y}" + f"{1 + 1}"
  File "<stdin>", line 1
    (x z y)
     ^^^
SyntaxError: f-string: invalid syntax. Perhaps you forgot a comma?

mas a mensagem de erro não inclui o local exato do erro dentro da linha e também tem a expressão artificialmente cercada por parênteses. No Python 3.12, como as f-strings são analisadas com o analisador GASE, as mensagens de erro podem ser mais precisas e mostrar a linha inteira:

>>> minha_string = f"{x z y}" + f"{1 + 1}"
  File "<stdin>", line 1
    minha_string = f"{x z y}" + f"{1 + 1}"
                   ^^^
SyntaxError: invalid syntax. Perhaps you forgot a comma?

(Contribuição de Pablo Galindo, Batuhan Taskaya, Lysandros Nikolaou, Cristián Maureira-Fredes e Marta Gómez em gh-102856 [https://github.com/python/cpython/issues/102856]. PEP escrito por Pablo Galindo, Batuhan Taskaya, Lysandros Nikolaou e Marta Gómez).

PEP 684: Uma GIL por interpretador

A PEP 684 [https://peps.python.org/pep-0684/] introduz uma GIL por interpretador, para que subinterpretadores possam agora ser criados com uma GIL único por interpretador. Isso permite que programas Python aproveitem ao máximo vários núcleos de CPU. Isso está atualmente disponível apenas por meio da API C, embora uma API Python seja esperada para 3.13 [https://peps.python.org/pep-0554/].

Use a nova função Py_NewInterpreterFromConfig() para criar um interpretador com sua própria GIL:

PyInterpreterConfig config = {
    .check_multi_interp_extensions = 1,
    .gil = PyInterpreterConfig_OWN_GIL,
};
PyThreadState *tstate = NULL;
PyStatus status = Py_NewInterpreterFromConfig(&tstate, &config);
if (PyStatus_Exception(status)) {
    return -1;
}
/* O novo interpretador agora está ativo na atual thread. */

Para obter mais exemplos de como usar a API C para subinterpretadores com uma GIL por interpretador, consulte Modules/_xxsubinterpretersmodule.c.

(Contribuição de Eric Snow em gh-104210 [https://github.com/python/cpython/issues/104210], etc.)

PEP 669: Monitoramento de baixo impacto para CPython

A PEP 669 [https://peps.python.org/pep-0669/] define uma nova API para perfis, depuradores e outras ferramentas monitorarem eventos no CPython. Ela abrange uma ampla gama de eventos, incluindo chamadas, retornos, linhas, exceções, saltos e mais. Isso significa que você só paga pelo que usa, fornecendo suporte para depuradores e ferramentas de cobertura com sobrecarga quase zero. Veja sys.monitoring para mais detalhes.

(Contribuição de Mark Shannon em gh-103082 [https://github.com/python/cpython/issues/103082].)

PEP 688: Tornando o protocolo de buffer acessível no Python

A PEP 688 [https://peps.python.org/pep-0688/] apresenta uma maneira de usar o protocolo de buffer do código Python. As classes que implementam o método __buffer__() agora podem ser usadas como tipos de buffer.

O novo collections.abc.Buffer ABC fornece uma maneira padrão de representar objetos de buffer, por exemplo, em anotações de tipo. A nova enumeração inspect.BufferFlags representa os sinalizadores que podem ser usados para personalizar a criação do buffer. (Contribuição de Jelle Zijlstra em gh-102500 [https://github.com/python/cpython/issues/102500].)

PEP 709: Fazendo inline de compreensão

As compreensões de dicionário, lista e conjunto agora estão embutidas, em vez de criar um novo objeto função de uso único para cada execução da compreensão. Isso acelera a execução de uma compreensão em até duas vezes. Veja PEP 709 [https://peps.python.org/pep-0709/] para mais detalhes.

As variáveis de iteração de compreensão permanecem isoladas e não sobrescrevem uma variável de mesmo nome no escopo externo, nem são visíveis após a compreensão. O uso de inlining resulta em algumas mudanças visíveis de comportamento:

Não há mais um quadro separado para a compreensão em tracebacks (situação da pilha de execução), e o rastreamento/criação de perfil não mostra mais a compreensão como uma chamada de função.

O módulo symtable não produzirá mais tabelas de símbolos filhos para cada compreensão; em vez disso, os locais da compreensão serão incluídos na tabela de símbolos da função pai.

Chamar locals() dentro de uma compreensão agora inclui variáveis de fora da compreensão e não inclui mais a variável sintética .0 para o “argumento” de compreensão.

Uma compreensão que itera diretamente sobre locals() (por exemplo, [k for k in locals()]) pode ver “RuntimeError: dictionary changed size during iteration” quando executada sob rastreamento (por exemplo, medição de cobertura de código). Esse é o mesmo comportamento já observado, por exemplo, em for k in locals():. Para evitar o erro, primeiro crie uma lista de chaves para iterar: keys = list(locals()); [k for k in keys].

(Contribuição de Carl Meyer and Vladimir Matveev em PEP 709 [https://peps.python.org/pep-0709/].)

Mensagens de erro melhoradas

Os módulos da biblioteca padrão agora são potencialmente sugeridos como parte das mensagens de erro exibidas pelo interpretador quando uma exceção NameError é levantada ao nível superior. (Contribuição de Pablo Galindo em gh-98254 [https://github.com/python/cpython/issues/98254].)

>>> sys.version_info
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'sys' is not defined. Did you forget to import 'sys'?

Melhora a sugestão de erro para exceções NameError para instâncias. Agora, se uma exceção NameError for levantada em um método e a instância tiver um atributo que é exatamente igual ao nome na exceção, a sugestão incluirá self.<NOME> em vez da correspondência mais próxima no escopo do método. (Contribuição de Pablo Galindo em gh-99139 [https://github.com/python/cpython/issues/99139].)

>>> class A:
...    def __init__(self):
...        self.blech = 1
...
...    def foo(self):
...        somethin = blech
...
>>> A().foo()
Traceback (most recent call last):
  File "<stdin>", line 1
    somethin = blech
               ^^^^^
NameError: name 'blech' is not defined. Did you mean: 'self.blech'?

Melhora a mensagem de erro de SyntaxError quando o usuário digita import x from y ao invés de from y import x. (Contribuição de Pablo Galindo em gh-98931 [https://github.com/python/cpython/issues/98931].)

>>> import a.y.z from b.y.z
Traceback (most recent call last):
  File "<stdin>", line 1
    import a.y.z from b.y.z
    ^^^^^^^^^^^^^^^^^^^^^^^
SyntaxError: Did you mean to use 'from ... import ...' instead?

Exceções ImportError levantadas a partir de instruções from <módulo> import <nome> com falha agora incluem sugestões para o valor de <nome> com base nos nomes disponíveis em <módulo>. (Contribuição de Pablo Galindo em gh-91058 [https://github.com/python/cpython/issues/91058].)

>>> from collections import chainmap
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: cannot import name 'chainmap' from 'collections'. Did you mean: 'ChainMap'?

Novos recursos relacionados a dicas de tipo

Esta seção cobre as principais mudanças que afetam as dicas de tipo da dicas de tipo [https://peps.python.org/pep-0484/] e o módulo typing.

PEP 692: Usando TypedDict para tipagem mais precisa de **kwargs

A tipagem de **kwargs em uma assinatura de função conforme introduzido por PEP 484 [https://peps.python.org/pep-0484/] permitia anotações válidas apenas nos casos em que todos os **kwargs eram do mesmo tipo.

A PEP 692 [https://peps.python.org/pep-0692/] especifica uma maneira mais precisa de definir tipos de **kwargs, contando com dicionários tipados:

from typing import TypedDict, Unpack

class Filme(TypedDict):
  nome: str
  ano: int

def foo(**kwargs: Unpack[Filme]): ...

Veja PEP 692 [https://peps.python.org/pep-0692/] para mais detalhes.

(Contribuição de Franek Magiera em gh-103629 [https://github.com/python/cpython/issues/103629].)

PEP 698: Substitui decorador para tipagem estática

Um novo decorador typing.override() foi adicionado ao módulo typing. Ele indica aos verificadores de tipo que o método se destina a substituir um método em uma superclasse. Isso permite que os verificadores de tipo detectem erros onde um método destinado a substituir algo em uma classe base não o faz de fato.

Exemplo:

from typing import override

class Base:
  def obtém_cor(self) -> str:
    return "azul"

class FilhaBoa(Base):
  @override  # ok: substitui Base.obtém_cor
  def obtém_cor(self) -> str:
    return "amarelo"

class FilhaRuim(Base):
  @override  # erro de verificador de tipo: não substitui Base.obtém_cor
  def obtém_cores(self) -> str:
    return "vermelho"

Consulte PEP 698 [https://peps.python.org/pep-0698/] para obter mais detalhes.

(Contribuição de Steven Troxler em gh-101561 [https://github.com/python/cpython/issues/101561].)

Outras mudanças na linguagem

O analisador sintático agora exibe SyntaxError ao analisar o código-fonte que contém bytes nulos. (Contribuição de Pablo Galindo em gh-96670 [https://github.com/python/cpython/issues/96670].)

Um par de caracteres de barra invertida que não seja uma sequência de escape válida agora levanta uma exceção SyntaxWarning, em vez de DeprecationWarning. Por exemplo, re.compile("\d+\.\d+") agora emite um SyntaxWarning ("\d" é uma sequência de escape inválida, use strings brutas para expressão regular: re.compile(r"\d+\.\d+")). Em uma versão futura do Python, SyntaxError acabará sendo levantada, em vez de SyntaxWarning. (Contribuição de Victor Stinner em gh-98401 [https://github.com/python/cpython/issues/98401].)

Escapes octais com valor maior do que 0o377 (ex: "\477"), descontinuados no Python 3.11, agora produzem um SyntaxWarning, em vez de DeprecationWarning. Em uma versão futura do Python, eles serão eventualmente um SyntaxError. (Contribuição de Victor Stinner em gh-98401 [https://github.com/python/cpython/issues/98401].)

As variáveis usadas na parte de destino das compreensões que não são armazenadas agora podem ser usadas em expressões de atribuição (:=). Por exemplo, em [(b := 1) for a, b.prop in some_iter], a atribuição a b agora é permitida. Observe que a atribuição a variáveis armazenadas em na parte de destino das compreensões (como a) ainda não é permitida, conforme PEP 572 [https://peps.python.org/pep-0572/]. (Contribuição de Nikita Sobolev em gh-100581 [https://github.com/python/cpython/issues/100581].)

As exceções levantadas em um método __set_name__ de uma classe ou um tipo não são mais envolvidas por um RuntimeError. As informações de contexto são adicionadas à exceção como uma nota PEP 678 [https://peps.python.org/pep-0678/]. (Contribuição de Irit Katriel em gh-77757 [https://github.com/python/cpython/issues/77757].)

Quando uma construção try-except* lida com toda a ExceptionGroup e levanta uma outra exceção, essa exceção não é mais envolvida em uma ExceptionGroup. Também alterada na versão 3.11.4. (Contribuição de Irit Katriel em gh-103590 [https://github.com/python/cpython/issues/103590].)

O coletor de lixo agora é executado somente no mecanismo de quebra de avaliação do laço de avaliação de bytecode do Python em vez de alocações de objetos. O coletor de lixo também pode ser executado quando PyErr_CheckSignals() é chamado, de modo que as extensões C que precisam ser executadas por um longo período sem executar nenhum código Python também têm a chance de executar o coletor de lixo periodicamente. (Contribuição de Pablo Galindo em gh-97922 [https://github.com/python/cpython/issues/97922].)

Todos os chamáveis internos e de extensão que esperam parâmetros booleanos agora aceitam argumentos de qualquer tipo, em vez de apenas bool e int. (Contribuição de Serhiy Storchaka em gh-60203 [https://github.com/python/cpython/issues/60203].)

memoryview agora oferece suporte ao tipo meio ponto flutuante (o código de formato “e”). (Contribuição de Donghee Na e Antoine Pitrou em gh-90751 [https://github.com/python/cpython/issues/90751].)

Objetos slice agora são hasheáveis, permitindo que sejam usados como chaves de dicionário e itens de conjunto. (Contribuição de Will Bradshaw, Furkan Onder e Raymond Hettinger em gh-101264 [https://github.com/python/cpython/issues/101264].)

sum() agora usa a soma de Neumaier para melhorar a precisão e comutatividade ao somar valores flutuantes ou misturas de ints e floats. (Contribuição de Raymond Hettinger em gh-100425 [https://github.com/python/cpython/issues/100425].)

ast.parse() agora exibe SyntaxError em vez de ValueError ao analisar o código-fonte que contém bytes nulos. (Contribuição de Pablo Galindo em gh-96670 [https://github.com/python/cpython/issues/96670].)

Os métodos de extração em tarfile e shutil.unpack_archive() têm um novo argumento filter que permite limitar os recursos do tar que podem ser surpreendentes ou perigosos, como a criação de arquivos fora do diretório de destino. Consulte arquivos de extração de de arquivos tar para obter detalhes. No Python 3.14, o padrão mudará para 'data'. (Contribuição de Petr Viktorin em PEP 706 [https://peps.python.org/pep-0706/].)

Instâncias de types.MappingProxyType agora são hasheáveis se o mapeamento subjacente for hasheável (Contribuição de Serhiy Storchaka em gh-87995 [https://github.com/python/cpython/issues/87995].)

Adiciona suporte ao perfilador perf por meio da nova variável de ambiente PYTHONPERFSUPPORT e da opção de linha de comando -X perf, bem como das novas funções sys.activate_stack_trampoline(), sys.deactivate_stack_trampoline() e sys.is_stack_trampoline_active(). (Design de Pablo Galindo. Contribuição de Pablo Galindo e Christian Heimes com contribuições de Gregory P. Smith [Google] e Mark Shannon em gh-96123 [https://github.com/python/cpython/issues/96123]).

Novos módulos

Nenhum.

Módulos melhorados

array

A classe array.array agora suporta subscrição, tornando-a um tipo genérico. (Contribuição de Jelle Zijlstra em gh-98658 [https://github.com/python/cpython/issues/98658].)

asyncio

O desempenho da gravação em soquetes no asyncio foi significativamente aprimorado. O asyncio agora evita cópias desnecessárias ao gravar em soquetes e usa o sendmsg() se a plataforma o suportar. (Contribuição de Kumar Aditya em gh-91166 [https://github.com/python/cpython/issues/91166].)

Adiciona as funções asyncio.eager_task_factory() e asyncio.create_eager_task_factory() para permitir a opção de um laço de eventos na execução de tarefas ansiosas, tornando alguns casos de uso de 2x a 5x mais rápidos. (Contribuição de Jacob Bower e Itamar Oren em gh-102853 [https://github.com/python/cpython/issues/102853], gh-104140 [https://github.com/python/cpython/issues/104140] e gh-104138 [https://github.com/python/cpython/issues/104138])

No Linux, asyncio usa asyncio.PidfdChildWatcher por padrão se os.pidfd_open() estiver disponível e funcional em vez de asyncio.ThreadedChildWatcher. (Contribuição de Kumar Aditya em gh-98024 [https://github.com/python/cpython/issues/98024].)

O laço de eventos agora usa o melhor observador filho disponível para cada plataforma (asyncio.PidfdChildWatcher se suportado e asyncio.ThreadedChildWatcher caso contrário), portanto, configurar manualmente um observador filho não é recomendado. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

Adiciona o parâmetro loop_factory a asyncio.run() para permitir a especificação de uma fábrica de laço de eventos personalizada. (Contribuição de Kumar Aditya em gh-99388 [https://github.com/python/cpython/issues/99388].)

Adiciona implementação C de asyncio.current_task() para aceleração de 4x-6x. (Contribuição de Itamar Oren e Pranav Thulasiram Bhat em gh-100344 [https://github.com/python/cpython/issues/100344].)

asyncio.iscoroutine() agora retorna False para geradores, pois asyncio não tem suporte a corrotinas legadas baseadas em geradores. (Contribuição de Kumar Aditya em gh-102748 [https://github.com/python/cpython/issues/102748].)

asyncio.wait() e asyncio.as_completed() agora aceita geradores que produzem tarefas. (Contribuição de Kumar Aditya em gh-78530 [https://github.com/python/cpython/issues/78530].)

calendar

Adiciona enums calendar.Month e calendar.Day definindo meses do ano e dias da semana. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

csv

Adiciona os sinalizadores csv.QUOTE_NOTNULL e csv.QUOTE_STRINGS para fornecer um controle mais refinado de None e strings vazias por objetos reader e writer.

dis

Opcodes de pseudo-instruções (que são usados pelo compilador, mas não aparecem no bytecode executável) agora são expostos no módulo dis. HAVE_ARGUMENT ainda é relevante para opcodes reais, mas não é útil para pseudo-instruções. Use a nova coleção dis.hasarg. (Contribuição de Irit Katriel em gh-94216 [https://github.com/python/cpython/issues/94216].)

Adiciona a coleção dis.hasexc para indicar instruções que definem um manipulador de exceções. (Contribuição de Irit Katriel em gh-94216 [https://github.com/python/cpython/issues/94216].)

fractions

Objetos do tipo fractions.Fraction agora têm suporte a formatação estilo float. (Contribuição de Mark Dickinson em gh-100161 [https://github.com/python/cpython/issues/100161].)

importlib.resources

importlib.resources.as_file() agora tem suporta a diretórios de recursos. (Contribuição de Jason R. Coombs em gh-97930 [https://github.com/python/cpython/issues/97930].)

Renomeia o primeiro parâmetro de importlib.resources.files() para anchor. (Contribuição de Jason R. Coombs em gh-100598 [https://github.com/python/cpython/issues/100598].)

inspect

Adiciona inspect.markcoroutinefunction() para marcar funções de sincronização que retornam uma corrotina para uso com inspect.iscoroutinefunction(). (Contribuição de Carlton Gibson em gh-99247 [https://github.com/python/cpython/issues/99247].)

Adiciona inspect.getasyncgenstate() e inspect.getasyncgenlocals() para determinar o estado atual dos geradores assíncronos. (Contribuição de Thomas Krennwallner em gh-79940 [https://github.com/python/cpython/issues/79940].)

O desempenho de inspect.getattr_static() foi consideravelmente melhorado. A maioria das chamadas para a função deve ser pelo menos 2x mais rápida do que no Python 3.11. (Contribuição de Alex Waygood em gh-103193 [https://github.com/python/cpython/issues/103193].)

itertools

Adiciona itertools.batched() para coletar tuplas de tamanhos iguais, onde o último lote pode ser menor que o resto. (Contribuição de Raymond Hettinger em gh-98363 [https://github.com/python/cpython/issues/98363].)

math

Adiciona math.sumprod() para calcular uma soma de produtos. (Contribuição de Raymond Hettinger em gh-100485 [https://github.com/python/cpython/issues/100485].)

Estende math.nextafter() para incluir um argumento steps para subir ou descer várias etapas ao mesmo tempo. (Contribuição de Matthias Goergens, Mark Dickinson e Raymond Hettinger em gh-94906 [https://github.com/python/cpython/issues/94906].)

os

Adiciona os.PIDFD_NONBLOCK para abrir um descritor de arquivo para um processo com os.pidfd_open() em modo sem bloqueio. (Contribuição de Kumar Aditya em gh-93312 [https://github.com/python/cpython/issues/93312].)

os.DirEntry agora inclui um método os.DirEntry.is_junction() para verificar se a entrada é uma junção. (Contribuição de Charles Machalow em gh-99547 [https://github.com/python/cpython/issues/99547].)

Adiciona funções os.listdrives(), os.listvolumes() e os.listmounts() no Windows para enumerar unidades, volumes e pontos de montagem. (Contribuição de Steve Dower em gh-102519 [https://github.com/python/cpython/issues/102519].)

os.stat() e os.lstat() agora são mais precisos no Windows. O campo st_birthtime agora será preenchido com a hora de criação do arquivo, e st_ctime foi descontinuado, mas ainda contém a hora de criação (mas no futuro vai retornar a última alteração de metadados, para consistência com outras plataformas ). st_dev pode ter até 64 bits e st_ino até 128 bits dependendo do seu sistema de arquivos, e st_rdev é sempre definido como zero em vez de valores incorretos. Ambas as funções podem ser significativamente mais rápidas nas lançamentos mais recentes do Windows. (Contribuição de Steve Dower em gh-99726 [https://github.com/python/cpython/issues/99726].)

os.path

Adiciona os.path.isjunction() para verificar se um determinado caminho é uma junção. (Contribuição de Charles Machalow em gh-99547 [https://github.com/python/cpython/issues/99547].)

Adiciona os.path.splitroot() para dividir um caminho em uma tríade (drive, root, tail). (Contribuição de Barney Gale em gh-101000 [https://github.com/python/cpython/issues/101000].)

pathlib

Adiciona suporte para fazer subclasse de pathlib.PurePath e pathlib.Path, além de suas variantes específicas do Posix e do Windows. As subclasses podem substituir o método pathlib.PurePath.with_segments() para passar informações entre instâncias de caminho.

Adiciona pathlib.Path.walk() para percorrer as árvores de diretórios e gerar todos os nomes de arquivos ou diretórios dentro delas, semelhante a os.walk(). (Contribuição de Stanislav Zmiev em gh-90385 [https://github.com/python/cpython/issues/90385].)

Adiciona o parâmetro opcional walk_up a pathlib.PurePath.relative_to() para permitir a inserção de entradas .. no resultado; este comportamento é mais consistente com os.path.relpath(). (Contribuição de Domenico Ragusa em gh-84538 [https://github.com/python/cpython/issues/84538].)

Adiciona pathlib.Path.is_junction() como proxy para os.path.isjunction(). (Contribuição de Charles Machalow em gh-99547 [https://github.com/python/cpython/issues/99547].)

Adiciona o parâmetro opcional case_sensitive a pathlib.Path.glob(), pathlib.Path.rglob() e pathlib.PurePath.match() para fazer correspondência com distinção entre maiúsculas e minúsculas do caminho, permitindo uma precisão mais precisa controle sobre o processo de correspondência.

pdb

Adiciona variáveis de conveniência para armazenar valores temporariamente para a sessão de depuração e fornece acesso rápido a valores como o quadro atual ou o valor de retorno. (Contribuição de Tian Gao em gh-103693 [https://github.com/python/cpython/issues/103693].)

random

Adiciona random.binomialvariate(). (Contribuição de Raymond Hettinger em gh-81620 [https://github.com/python/cpython/issues/81620].)

Adiciona um padrão de lambd=1.0 a random.expovariate(). (Contribuição de Raymond Hettinger em gh-100234 [https://github.com/python/cpython/issues/100234].)

shutil

shutil.make_archive() agora passa o argumento root_dir para arquivadores personalizados que o suportam. Neste caso, ele não altera mais temporariamente o diretório de trabalho atual do processo para root_dir para realizar o arquivamento. (Contribuição de Serhiy Storchaka em gh-74696 [https://github.com/python/cpython/issues/74696].)

shutil.rmtree() agora aceita um novo argumento onexc que é um tratador de erros como onerror mas que espera uma instância de exceção em vez de um trio (typ, val, tb). onerror foi descontinuado. (Contribuição de Irit Katriel em gh-102828 [https://github.com/python/cpython/issues/102828].)

shutil. which() agora consulta a variável de ambiente PATHEXT para encontrar correspondências dentro de PATH no Windows mesmo quando o cmd fornecido inclui um componente de diretório. (Contribuição de Charles Machalow em gh-103179 [https://github.com/python/cpython/issues/103179].)

shutil. which() chamará NeedCurrentDirectoryForExePathW ao consultar executáveis no Windows para determinar se o diretório de trabalho atual deve ser anexado ao caminho de pesquisa. (Contribuição de Charles Machalow em gh-103179 [https://github.com/python/cpython/issues/103179].)

shutil.which() vai retornar um caminho que corresponde ao cmd com um componente de PATHEXT antes de uma correspondência direta em outro lugar no caminho de pesquisa no Windows. (Contribuição de Charles Machalow em gh-103179 [https://github.com/python/cpython/issues/103179].)

sqlite3

Adiciona uma interface de linha de comando. (Contribuição de Erlend E. Aasland em gh-77617 [https://github.com/python/cpython/issues/77617].)

Adiciona o atributo sqlite3.Connection.autocommit a sqlite3.Connection e o parâmetro autocommit a sqlite3.connect() para controlar a PEP 249 [https://peps.python.org/pep-0249/] compatível com tratamento de transação. (Contribuição de Erlend E. Aasland em gh-83638 [https://github.com/python/cpython/issues/83638].)

Adiciona o parâmetro somente-nomeado entrypoint a sqlite3.Connection.load_extension(), para substituir o ponto de entrada da extensão SQLite. (Contribuição de Erlend E. Aasland em gh-103015 [https://github.com/python/cpython/issues/103015].)

Adiciona sqlite3.Connection.getconfig() e sqlite3.Connection.setconfig() a sqlite3.Connection para fazer alterações na configuração de uma conexão de banco de dados. (Contribuição de Erlend E. Aasland em gh-103489 [https://github.com/python/cpython/issues/103489].)

statistics

Estende statistics.correlation() para incluir como um método ranked para calcular a correlação de Spearman de dados classificados. (Contribuição de Raymond Hettinger em gh-95861 [https://github.com/python/cpython/issues/95861].)

sys

Adiciona o espaço de nomes sys.monitoring para expor a nova API de monitoramento PEP 669. (Contribuição de Mark Shannon em gh-103082 [https://github.com/python/cpython/issues/103082].)

Adiciona sys.activate_stack_trampoline() e sys.deactivate_stack_trampoline() para ativar e desativar trampolins do perfilador de pilha e sys.is_stack_trampoline_active() para consultar se os trampolins do perfilador de pilha estão ativos. (Contribuição de Pablo Galindo e Christian Heimes com contribuições de Gregory P. Smith [Google] e Mark Shannon em gh-96123 [https://github.com/python/cpython/issues/96123].)

Adiciona sys.last_exc que contém a última exceção não tratada que foi levantada (para casos de uso de depuração post-mortem). Descontinuar os três campos que possuem as mesmas informações em seu formato legado: sys.last_type, sys.last_value e sys.last_traceback. (Contribuição de Irit Katriel em gh-102778 [https://github.com/python/cpython/issues/102778].)

sys._current_exceptions() agora retorna um mapeamento de thread-id para uma instância de exceção, ao invés de uma tupla (typ, exc, tb). (Contribuição de Irit Katriel em gh-103176 [https://github.com/python/cpython/issues/103176].)

sys.setrecursionlimit() e sys.getrecursionlimit(). O limite de recursão agora se aplica apenas ao código Python. As funções integradas não usam o limite de recursão, mas são protegidas por um mecanismo diferente que evita que a recursão cause uma falha na máquina virtual.

tempfile

A função tempfile.NamedTemporaryFile tem um novo parâmetro opcional delete_on_close (Contribuição de Evgeny Zorin em gh-58451 [https://github.com/python/cpython/issues/58451].)

tempfile.mkdtemp() agora sempre retorna um caminho absoluto, mesmo se o argumento fornecido para o parâmetro dir for um caminho relativo.

threading

Adiciona threading.settrace_all_threads() e threading.setprofile_all_threads() que permitem definir funções de rastreamento e criação de perfil em todos os threads em execução além do que está chamando. (Contribuição de Pablo Galindo em gh-93503 [https://github.com/python/cpython/issues/93503].)

tkinter

tkinter.Canvas.coords() agora nivela seus argumentos. Agora ele aceita não apenas coordenadas como argumentos separados (x1, y1, x2, y2, ...) e uma sequência de coordenadas ([x1, y1, x2, y2, ...]) , mas também coordenadas agrupadas em pares ((x1, y1), (x2, y2), ... e [(x1, y1), (x2, y2), ...]) , como métodos create_*(). (Contribuição de Serhiy Storchaka em gh-94473 [https://github.com/python/cpython/issues/94473].)

tokenize

O módulo tokenize inclui as mudanças introduzidas em PEP 701 [https://peps.python.org/pep-0701/]. (Contribuição de Marta Gómez Macías e Pablo Galindo em gh-102856 [https://github.com/python/cpython/issues/102856].) Veja Portando para Python 3.12 para mais informações sobre as mudanças no módulo tokenize.

types

Adiciona types.get_original_bases() para permitir uma introspecção adicional de Tipos genéricos definidos pelo usuário quando subclassificado. (Contribuição de James Hilton-Balfe e Alex Waygood em gh-101827 [https://github.com/python/cpython/issues/101827].)

typing

As verificações de isinstance() com protocolos verificáveis em tempo de execução agora use inspect.getattr_static() em vez de hasattr() para verificar se existem atributos. Isso significa que descritores e métodos __getattr__() não são mais avaliados inesperadamente durante verificações isinstance() em protocolos verificáveis em tempo de execução. No entanto, também pode significar que alguns objetos que costumavam ser considerados instâncias de um protocolo verificável em tempo de execução podem não ser mais considerados instâncias desse protocolo no Python 3.12+ e vice-versa. É improvável que a maioria dos usuários seja afetada por esta mudança. (Contribuição de Alex Waygood em gh-102433 [https://github.com/python/cpython/issues/102433].)

Os membros de um protocolo verificável em tempo de execução agora são considerados “congelados” em tempo de execução assim que a classe é criada. Fazer alterações em atributos em tempo de execução em um protocolo verificável em tempo de execução ainda vai funcioanr, mas não terá impacto nas verificações de isinstance() comparando objetos com o protocolo. Por exemplo:

>>> from typing import Protocol, runtime_checkable
>>> @runtime_checkable
... class TemX(Protocol):
...     x = 1
...
>>> class Foo: ...
...
>>> f = Foo()
>>> isinstance(f, TemX)
False
>>> f.x = 1
>>> isinstance(f, TemX)
True
>>> HasX.y = 2
>>> isinstance(f, TemX)  # inalterado, ainda que TemX agora tenha um atributo "y"
True

Esta mudança foi feita para acelerar as verificações de isinstance() em protocolos verificáveis em tempo de execução.

O perfil de desempenho de verificações de isinstance() com protocolos verificáveis em tempo de execução mudou significativamente. A maioria das verificações isinstance() a esses protocolos com apenas alguns membros devem ser pelo menos 2x mais rápidas que na versão 3.11, e algumas podem ser 20x mais rápidas ou mais. No entanto, as verificações de isinstance() em protocolos com muito mais membros podem ser mais lentas do que no Python 3.11. (Contribuição de Alex Waygood em gh-74690 [https://github.com/python/cpython/issues/74690] e gh-103193 [https://github.com/python/cpython/issues/103193].)

Todas as classes typing.TypedDict e typing.NamedTuple agora possuem o atributo __orig_bases__. (Contribuição de Adrian Garcia Badaracco em gh-103699 [https://github.com/python/cpython/issues/103699].)

Adiciona o parâmetro frozen_default a typing.dataclass_transform(). (Contribuição de Erik De Bonte em gh-99957 [https://github.com/python/cpython/issues/99957].)

unicodedata

O banco de dados Unicode foi atualizado para a versão 15.0.0. (Contribuição de Benjamin Peterson em gh-96734 [https://github.com/python/cpython/issues/96734]).

unittest

Adiciona uma opção de linha de comando --durations, mostrando os N casos de teste mais lentos:

python3 -m unittest --durations=3 lib.tests.test_threading
.....
Slowest test durations
----------------------------------------------------------------------
1.210s     test_timeout (Lib.test.test_threading.BarrierTests)
1.003s     test_default_timeout (Lib.test.test_threading.BarrierTests)
0.518s     test_timeout (Lib.test.test_threading.EventTests)

(0.000 durations hidden.  Use -v to show these durations.)
----------------------------------------------------------------------
Ran 158 tests in 9.869s

OK (skipped=3)

(Contribuição de Giampaolo Rodola em gh-48330 [https://github.com/python/cpython/issues/48330])

uuid

Adiciona uma interface de linha de comando. (Contribuição de Adam Chhina em gh-88597 [https://github.com/python/cpython/issues/88597].)

Otimizações

Remove os membros wstr e wstr_length dos objetos Unicode. Reduz o tamanho do objeto em 8 ou 16 bytes na plataforma de 64 bits. (PEP 623 [https://peps.python.org/pep-0623/]) (Contribuição de Inada Naoki em gh-92536 [https://github.com/python/cpython/issues/92536].)

Adiciona suporte experimental para usar o otimizador binário BOLT no processo de construção, o que melhora o desempenho de 1 a 5%. (Contribuição de Kevin Modzelewski em gh-90536 [https://github.com/python/cpython/issues/90536] e ajuste de Donghee Na em gh-101525 [https://github.com/python/cpython/issues/101525])

Acelera a substituição de expressões regulares (funções re.sub() e re.subn() e métodos re.Pattern correspondentes) para strings de substituição contendo referências de grupo em 2 ou 3 vezes . (Contribuição de Serhiy Storchaka em gh-91524 [https://github.com/python/cpython/issues/91524].)

Acelera a criação de asyncio.Task adiando a dispendiosa formatação de strings. (Contribuição de Itamar Oren em gh-103793 [https://github.com/python/cpython/issues/103793].)

As funções tokenize.tokenize() e tokenize.generate_tokens() são até 64% mais rápidas como efeito colateral das mudanças necessárias para cobrir PEP 701 [https://peps.python.org/pep-0701/] no módulo tokenize . (Contribuição de Marta Gómez Macías e Pablo Galindo em gh-102856 [https://github.com/python/cpython/issues/102856].)

Acelera chamadas de métodos super() e carregamentos de atributos através da nova instrução LOAD_SUPER_ATTR. (Contribuição de Carl Meyer e Vladimir Matveev em gh-103497 [https://github.com/python/cpython/issues/103497].)

Alterações de bytecode do CPython

Remove a instrução LOAD_METHOD. Ela foi mesclada em LOAD_ATTR. LOAD_ATTR agora se comportará como a antiga instrução LOAD_METHOD se o bit inferior de seu oparg estiver definido. (Contribuição de Ken Jin em gh-93429 [https://github.com/python/cpython/issues/93429].)

Remova as instruções JUMP_IF_FALSE_OR_POP e JUMP_IF_TRUE_OR_POP. (Contribuição de Irit Katriel em gh-102859 [https://github.com/python/cpython/issues/102859].)

Remove a instrução PRECALL. (Contribuição de Mark Shannon em gh-92925 [https://github.com/python/cpython/issues/92925].)

Adiciona as instruções BINARY_SLICE e STORE_SLICE. (Contribuição de Mark Shannon em gh-94163 [https://github.com/python/cpython/issues/94163].)

Adiciona as instruções CALL_INTRINSIC_1. (Contribuição de Mark Shannon em gh-99005 [https://github.com/python/cpython/issues/99005].)

Adiciona a instrução CALL_INTRINSIC_2. (Contribuição de Irit Katriel em gh-101799 [https://github.com/python/cpython/issues/101799].)

Adiciona a instrução CLEANUP_THROW. (Contribuição de Brandt Bucher em gh-90997 [https://github.com/python/cpython/issues/90997].)

Adiciona a instrução END_SEND. (Contribuição de Mark Shannon em gh-103082 [https://github.com/python/cpython/issues/103082].)

Adiciona a instrução LOAD_FAST_AND_CLEAR como parte da implementação de PEP 709 [https://peps.python.org/pep-0709/]. (Contribuição de Carl Meyer em gh-101441 [https://github.com/python/cpython/issues/101441].)

Adiciona a instrução LOAD_FAST_CHECK. (Contribuição de Dennis Sweeney em gh-93143 [https://github.com/python/cpython/issues/93143].)

Adiciona os opcodes LOAD_FROM_DICT_OR_DEREF, LOAD_FROM_DICT_OR_GLOBALS e LOAD_LOCALS como parte da implementação da PEP 695 [https://peps.python.org/pep-0695/]. Remove o opcode LOAD_CLASSDEREF, que pode ser substituído por LOAD_LOCALS mais LOAD_FROM_DICT_OR_DEREF. (Contribuição de Jelle Zijlstra em gh-103764 [https://github.com/python/cpython/issues/103764].)

Adiciona a instrução LOAD_SUPER_ATTR. (Contribuição de Carl Meyer e Vladimir Matveev em gh-103497 [https://github.com/python/cpython/issues/103497].)

Adiciona a instrução RETURN_CONST. (Contribuição de Wenyang Wang em gh-101632 [https://github.com/python/cpython/issues/101632].)

Ferramentas e daemons

Remove o diretório Tools/demo/ que continha scripts antigos de demonstração. Uma cópia pode ser encontrada no projeto old-demos [https://github.com/gvanrossum/old-demos]. (Contribuição de Victor Stinner em gh-97681 [https://github.com/python/cpython/issues/97681].)

Remove scripts de exemplo desatualizados do diretório Tools/scripts/. Uma cópia pode ser encontrada no projeto old-demos [https://github.com/gvanrossum/old-demos]. (Contribuição de Victor Stinner em gh-97669 [https://github.com/python/cpython/issues/97669].)

Descontinuados

argparse: Os parâmetros type, choices e metavar de argparse.BooleanOptionalAction foram descontinuados e serão removidos na versão 3.14. (Contribuição de Nikita Sobolev em gh-92248 [https://github.com/python/cpython/issues/92248].)

ast: Os seguintes recursos ast foram descontinuados na documentação desde Python 3.8, agora fazem com que um DeprecationWarning seja emitido em tempo de execução quando eles são acessados ou usados, e serão removidos no Python 3.14:

ast.Num

ast.Str

ast.Bytes

ast.NameConstant

ast.Ellipsis

Usa ast.Constant em vez disso. (Contribuição de Serhiy Storchaka em gh-90953 [https://github.com/python/cpython/issues/90953].)

asyncio:

As classes filhas do observador asyncio.MultiLoopChildWatcher, asyncio.FastChildWatcher, asyncio.AbstractChildWatcher e asyncio.SafeChildWatcher foram descontinuadas e serão removidas no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

asyncio.set_child_watcher(), asyncio.get_child_watcher(), asyncio.AbstractEventLoopPolicy.set_child_watcher() e asyncio.AbstractEventLoopPolicy.get_child_watcher() foram descontinuados e serão removidos no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

O método get_event_loop() da política de laço de eventos padrão agora emite um DeprecationWarning se não houver nenhum laço de eventos atual definido e decidir criar um. (Contribuição de Serhiy Storchaka e Guido van Rossum em gh-100160 [https://github.com/python/cpython/issues/100160].)

calendar: As constantes calendar.January e calendar.February foram descontinuadas e substituídas por calendar.JANUARY e calendar.FEBRUARY. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

collections.abc: collections.abc.ByteString foi descontinuado. Prefira Sequence ou collections.abc.Buffer. Para uso em tipagem, prefira uma união, como bytes | bytearray ou collections.abc.Buffer. (Contribuição de Shantanu Jain em gh-91896 [https://github.com/python/cpython/issues/91896].)

datetime: utcnow() e utcfromtimestamp() da classe datetime.datetime foram descontinuados e serão removidos em uma versão futura. Em vez disso, use objetos conscientes do fuso horário para representar datas e horas em UTC: respectivamente, chame now() e fromtimestamp() com o parâmetro tz definido como datetime.UTC. (Contribuição de Paul Ganssle em gh-103857 [https://github.com/python/cpython/issues/103857].)

email: Descontinua o parâmetro isdst em email.utils.localtime(). (Contribuição de Alan Williams em gh-72346 [https://github.com/python/cpython/issues/72346].)

importlib.abc: Foram descontinuadas as seguintes classes, programadas para remoção no Python 3.14:

importlib.abc.ResourceReader

importlib.abc.Traversable

importlib.abc.TraversableResources

Em vez disso, use classes importlib.resources.abc:

importlib.resources.abc.Traversable

importlib.resources.abc.TraversableResources

(Contribuição de Jason R. Coombs e Hugo van Kemenade em gh-93963 [https://github.com/python/cpython/issues/93963].)

itertools: Descontinua o suporte para operações de cópia, deepcopy e pickle, que é não documentado, ineficiente, historicamente cheio de bugs e inconsistente. Isso será removido na versão 3.14 para uma redução significativa no volume de código e na carga de manutenção. (Contribuição de Raymond Hettinger em gh-101588 [https://github.com/python/cpython/issues/101588].)

multiprocessing: No Python 3.14, o método de início padrão de multiprocessing será alterado para um mais seguro no Linux, BSDs e outras plataformas POSIX não-macOS onde 'fork' é atualmente o padrão (gh-84559 [https://github.com/python/cpython/issues/84559]). Adicionar um aviso em tempo de execução sobre isso foi considerado muito perturbador, pois não se espera que a maior parte do código se importe. Use as APIs get_context() ou set_start_method() para especificar explicitamente quando seu código requer 'fork'. Veja contextos e métodos de início.

pkgutil: pkgutil.find_loader() e pkgutil.get_loader() foram descontinuados e serão removidos no Python 3.14; use importlib.util.find_spec() em vez disso. (Contribuição de Nikita Sobolev em gh-97850 [https://github.com/python/cpython/issues/97850].)

pty: O módulo tem duas funções master_open() e slave_open() não documentadas que foram descontinuados desde Python 2, mas só ganharam um DeprecationWarning adequado em 3.12. Remova-os em 3.14. (Contribuição de Soumendra Ganguly e Gregory P. Smith em gh-85984 [https://github.com/python/cpython/issues/85984].)

os:

Os campos st_ctime retornados por os.stat() e os.lstat() no Windows foram descontinuados. Em um lançamento futuro, eles conterão o horário da última alteração de metadados, consistente com outras plataformas. Por enquanto, eles ainda contêm o horário de criação, que também está disponível no novo campo st_birthtime. (Contribuição de Steve Dower em gh-99726 [https://github.com/python/cpython/issues/99726].)

Nas plataformas POSIX, os.fork() agora pode levantar uma exceção DeprecationWarning quando puder detectar a chamada de um processo multithread. Sempre houve uma incompatibilidade fundamental com a plataforma POSIX ao fazer isso. Mesmo que esse código pareça funcionar. Adicionamos o aviso para aumentar a conscientização, pois os problemas encontrados pelo código ao fazer isso estão se tornando mais frequentes. Veja a documentação os.fork() para mais detalhes junto com esta discussão sobre fork ser incompatível com threads [https://discuss.python.org/t/concerns-regarding-deprecation-of-fork-with-alive-threads/33555] para por que estamos agora trazendo à tona esse antigo problema de compatibilidade de plataforma para os desenvolvedores.

Quando este aviso aparece devido ao uso de multiprocessing ou concurrent.futures, a correção é usar um método de início de multiprocessing diferente, como "spawn" ou "forkserver".

shutil: O argumento onerror de shutil.rmtree() foi descontinuado; use onexc em vez disso. (Contribuição de Irit Katriel em gh-102828 [https://github.com/python/cpython/issues/102828].)

sqlite3:

adaptadores e conversores padrão agora foram descontinuados. Em vez disso, use Adapter and converter recipes e adapte-os às suas necessidades. (Contribuição de Erlend E. Aasland em gh-90016 [https://github.com/python/cpython/issues/90016].)

Em execute(), DeprecationWarning agora é emitida quando espaços reservados nomeados são usados junto com parâmetros fornecidos como sequência em vez de como dict. A partir do Python 3.14, usar espaços reservados nomeados com parâmetros fornecidos como uma sequência vai levantar uma ProgrammingError. (Contribuição de Erlend E. Aasland em gh-101698 [https://github.com/python/cpython/issues/101698].)

sys: Os campos sys.last_type, sys.last_value e sys.last_traceback foram descontinuados. Use sys.last_exc em vez disso. (Contribuição de Irit Katriel em gh-102778 [https://github.com/python/cpython/issues/102778].)

tarfile: Extrair arquivos tar sem especificar filter foi descontinuado até Python 3.14, quando o filtro 'data' se tornará o padrão. Veja Filtros de extração para detalhes.

typing:

typing.Hashable e typing.Sized, apelidos forem collections.abc.Hashable e collections.abc.Sized respectivamente, foram descontinuados. (gh-94309 [https://github.com/python/cpython/issues/94309].)

typing.ByteString, descontinuado desde Python 3.9, agora faz com que um DeprecationWarning seja emitida quando é usado. (Contribuição de Alex Waygood em gh-91896 [https://github.com/python/cpython/issues/91896].)

xml.etree.ElementTree: O módulo agora emite DeprecationWarning ao testar o valor verdade de um xml.etree.ElementTree.Element. Antes, a implementação Python emitia FutureWarning, e a implementação C não emitia nada. (Contribuição de Jacob Walls em gh-83122 [https://github.com/python/cpython/issues/83122].)

As assinaturas de 3 argumentos (tipo, valor, traceback) de coroutine throw(), generator throw() e async generator throw() foram descontinuados e podem ser removidos em uma versão futura do Python. Use as versões de argumento único dessas funções. (Contribuição de Ofey Chan em gh-89874 [https://github.com/python/cpython/issues/89874].)

DeprecationWarning agora é levantada quando __package__ em um módulo difere de __spec__.parent (anteriormente era ImportWarning). (Contribuição de Brett Cannon em gh-65961 [https://github.com/python/cpython/issues/65961].)

Definir __package__ ou __cached__ em um módulo foi descontinuado e deixará de ser definido ou levado em consideração pelo sistema de importação no Python 3.14. (Contribuição de Brett Cannon em gh-65961 [https://github.com/python/cpython/issues/65961].)

O operador de inversão bit a bit (~) em bool foi descontinuado. Isso levantará um erro no Python 3.16. Use not para negação lógica de bools. No raro caso em que você realmente precisa da inversão bit a bit do int subjacente, converta para int explicitamente: ~int(x). (Contribuição de Tim Hoffmann em gh-103487 [https://github.com/python/cpython/issues/103487].)

Acessar co_lnotab em objetos de código foi descontinuado no Python 3.10 via PEP 626 [https://peps.python.org/pep-0626/], mas só obteve um DeprecationWarning adequado em 3.12, portanto será removido em 3.14. (Contribuição de Nikita Sobolev em gh-101866 [https://github.com/python/cpython/issues/101866].)

Remoção pendente no Python 3.13

Módulos (veja PEP 594 [https://peps.python.org/pep-0594/]):

aifc

audioop

cgi

cgitb

chunk

crypt

imghdr

mailcap

msilib

nis

nntplib

ossaudiodev

pipes

sndhdr

spwd

sunau

telnetlib

uu

xdrlib

Outros módulos:

lib2to3 e o programa 2to3 (gh-84540 [https://github.com/python/cpython/issues/84540])

APIs:

configparser.LegacyInterpolation (gh-90765 [https://github.com/python/cpython/issues/90765])

locale.resetlocale() (gh-90817 [https://github.com/python/cpython/issues/90817])

turtle.RawTurtle.settiltangle() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.findTestCases() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.getTestCaseNames() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.makeSuite() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.TestProgram.usageExit() (gh-67048 [https://github.com/python/cpython/issues/67048])

webbrowser.MacOSX (gh-86421 [https://github.com/python/cpython/issues/86421])

Encadeamento do descritor de classmethod (gh-89519 [https://github.com/python/cpython/issues/89519])

Métodos descontinuados de importlib.resources:

contents()

is_resource()

open_binary()

open_text()

path()

read_binary()

read_text()

Use importlib.resources.files() em vez disso. Confira importlib-resources: Migrando do legado [https://importlib-resources.readthedocs.io/en/latest/using.html#migrating-from-legacy] , em inglês (gh-106531 [https://github.com/python/cpython/issues/106531])

Remoção pendente no Python 3.14

O sistema de importação:

A definição de __loader__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.14, __loader__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão.

argparse: Os parâmetros type, choices e metavar de argparse.BooleanOptionalAction foram descontinuados e serão removidos na versão 3.14. (Contribuição de Nikita Sobolev em gh-92248 [https://github.com/python/cpython/issues/92248].)

ast: Os seguintes recursos foram descontinuados na documentação desde Python 3.8, agora fazem com que um DeprecationWarning seja emitido em tempo de execução quando eles são acessados ou usados, e serão removidos no Python 3.14:

ast.Num

ast.Str

ast.Bytes

ast.NameConstant

ast.Ellipsis

Usa ast.Constant em vez disso. (Contribuição de Serhiy Storchaka em gh-90953 [https://github.com/python/cpython/issues/90953].)

asyncio:

As classes filhas do observador MultiLoopChildWatcher, FastChildWatcher, AbstractChildWatcher e SafeChildWatcher foram descontinuadas e serão removidas no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

asyncio.set_child_watcher(), asyncio.get_child_watcher(), asyncio.AbstractEventLoopPolicy.set_child_watcher() e asyncio.AbstractEventLoopPolicy.get_child_watcher() foram descontinuados e serão removidos no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

O método get_event_loop() da política de laço de eventos padrão agora emite um DeprecationWarning se não houver nenhum laço de eventos atual definido e decidir criar um. (Contribuição de Serhiy Storchaka e Guido van Rossum em gh-100160 [https://github.com/python/cpython/issues/100160].)

collections.abc: ByteString foi descontinuado. Prefira Sequence ou Buffer Para uso em tipagem, prefira uma união, como bytes | bytearray ou collections.abc.Buffer. (Contribuição de Shantanu Jain em gh-91896 [https://github.com/python/cpython/issues/91896].)

email: Descontinua o parâmetro isdst em email.utils.localtime(). (Contribuição de Alan Williams em gh-72346 [https://github.com/python/cpython/issues/72346].)

importlib.abc descontinuou as classes:

importlib.abc.ResourceReader

importlib.abc.Traversable

importlib.abc.TraversableResources

Em vez disso, use classes importlib.resources.abc:

importlib.resources.abc.Traversable

importlib.resources.abc.TraversableResources

(Contribuição de Jason R. Coombs e Hugo van Kemenade em gh-93963 [https://github.com/python/cpython/issues/93963].)

itertools tinha suporte não documentado, ineficiente, historicamente cheio de bugs e inconsistente para operações de cópia, cópia profunda e serialização com pickle. Isso será removido na versão 3.14 para uma redução significativa no volume de código e na carga de manutenção. (Contribuição de Raymond Hettinger em gh-101588 [https://github.com/python/cpython/issues/101588].)

multiprocessing: O método de inicialização padrão será alterado para um mais seguro no Linux, BSDs e outras plataformas POSIX não-macOS onde 'fork' é atualmente o padrão (gh-84559 [https://github.com/python/cpython/issues/84559]). Adicionar um aviso de tempo de execução sobre isso foi considerado muito perturbador, pois não se espera que a maior parte do código se importe. Use as APIs get_context() ou set_start_method() para especificar explicitamente quando seu código requer 'fork'. Veja Contextos e métodos de inicialização.

pathlib: is_relative_to() e relative_to(): passar argumentos adicionais foi descontinuado.

pkgutil: find_loader() e get_loader() agora levantam DeprecationWarning; use importlib.util.find_spec() em vez disto. (Contribuição de Nikita Sobolev em gh-97850 [https://github.com/python/cpython/issues/97850].)

pty:

master_open(): use pty.openpty().

slave_open(): use pty.openpty().

sqlite3:

version e version_info.

execute() e executemany() se espaços reservados nomeados forem usados ​​e parameters for uma sequência em vez de um dict .

adaptador de data e hora, conversor de registro de data e hora: veja a documentação de sqlite3 para receitas de substituição sugeridas.

types.CodeType: O acesso a co_lnotab foi descontinuado na PEP 626 [https://peps.python.org/pep-0626/] desde 3.10 e foi planejado para ser removido em 3.12, mas só recebeu uma DeprecationWarning adequada em 3.12. Pode ser removido em 3.14. (Contribuição de Nikita Sobolev em gh-101866 [https://github.com/python/cpython/issues/101866].)

typing: ByteString, descontinuado desde Python 3.9, agora faz com que uma DeprecationWarning seja emitida quando é usado.

urllib: urllib.parse.Quoter está obsoleto: não foi planejado para ser uma API pública. (Contribuição de Gregory P. Smith em gh-88168 [https://github.com/python/cpython/issues/88168].)

Remoção pendente no Python 3.15

O sistema de importação:

A definição de __cached__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.15, __cached__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

A definição de __package__ em um módulo enquanto falha na definição de __spec__.parent está descontinuado. No Python 3.15, __package__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

ctypes:

A função não documentada ctypes.SetPointerType() foi descontinuada desde o Python 3.13.

http.server:

A classe obsoleta e raramente usada CGIHTTPRequestHandler foi descontinuada desde o Python 3.13. Não existe substituição direta. Qualquer coisa é melhor que CGI para fazer a interface de um servidor web com um manipulador de requisição.

O sinalizador --cgi para a interface de linha de comando python -m http.server foi descontinuado desde o Python 3.13.

locale:

A função getdefaultlocale() foi descontinuada desde o Python 3.11. Sua remoção foi planejada originalmente para o Python 3.13 (gh-90817 [https://github.com/python/cpython/issues/90817]), mas foi adiada para o Python 3.15. Use getlocale(), setlocale() e getencoding(). (Contribuição de Hugo van Kemenade em gh-111187 [https://github.com/python/cpython/issues/111187].)

pathlib:

PurePath.is_reserved() foi descontinuado desde o Python 3.13. Use os.path.isreserved() para detectar caminhos reservados no Windows.

platform:

java_ver() foi descontinuada desde o Python 3.13. Esta função é útil apenas para suporte Jython, tem uma API confusa e é amplamente não testada.

threading:

RLock() não aceitará argumentos no Python 3.15. A passagem quaisquer argumentos foi descontinuada desde o Python 3.14, pois a versão Python não permite nenhum argumento, mas a versão C permite qualquer número de argumentos posicionais ou nomeados, ignorando todos os argumentos.

typing:

A sintaxe de argumento nomeado não documentada para criar classes NamedTuple (por exemplo, Point = NamedTuple("Point", x=int, y=int)) foi descontinuada desde o Python 3.13. Use a sintaxe baseada em classe ou a sintaxe funcional em vez disso.

A função decoradora typing.no_type_check_decorator() foi descontinuada desde o Python 3.13. Após oito anos no módulo typing, ela ainda não foi suportada por nenhum verificador de tipo importante.

wave:

Os métodos getmark(), setmark() e getmarkers() das classes Wave_read e Wave_write foram descontinuados desde o Python 3.13.

Remoção pendente no Python 3.16

builtins:

A inversão bit a bit em tipos booleanos, ~True ou ~False foi descontinuada desde o Python 3.12, pois produz resultados surpreendentes e não intuitivos (-2 e -1). Use not x em vez disso para a negação lógica de um Booleano. No caso raro de você precisar da inversão bit a bit do inteiro subjacente, converta para int explicitamente (~int(x)).

array:

O código de formato 'u' (wchar_t) foi descontinuado na documentação desde o Python 3.3 e em tempo de execução desde o Python 3.13. Use o código de formato 'w' (Py_UCS4) para caracteres Unicode.

shutil:

A exceção ExecError foi descontinuada desde o Python 3.14. Ela não foi usada por nenhuma função em shutil desde o Python 3.4, e agora é um alias de RuntimeError.

symtable:

O método Class.get_methods foi descontinuado desde o Python 3.14.

sys:

A função _enablelegacywindowsfsencoding() foi descontinuada desde o Python 3.13. Use a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING.

tarfile:

O atributo não documentado e não utilizado TarFile.tarfile foi descontinuado desde o Python 3.13.

Remoção pendente em versões futuras

As APIs a seguir serão removidas no futuro, embora atualmente não haja uma data agendada para sua remoção.

argparse: O aninhamento de grupos de argumentos e o aninhamento de grupos mutuamente exclusivos estão descontinuados.

código de formatação 'u' do array (gh-57281 [https://github.com/python/cpython/issues/57281])

builtins:

bool(NotImplemented).

Geradores: A assinatura throw(type, exc, tb) e athrow(type, exc, tb) está descontinuada: use throw(exc) e athrow(exc), a assinatura do argumento único.

Atualmente Python aceita literais numéricos imediatamente seguidos por palavras reservadas como, por exemplo, 0in x, 1or x, 0if 1else 2. Ele permite expressões confusas e ambíguas como [0x1for x in y] (que pode ser interpretada como [0x1 for x in y] ou [0x1f or x in y]). Um aviso de sintaxe é levantado se o literal numérico for imediatamente seguido por uma das palavras reservadas and, else, for, if, in , is e or. Em uma versão futura, será alterado para um erro de sintaxe. (gh-87999 [https://github.com/python/cpython/issues/87999])

Suporte para métodos __index__() e __int__() retornando tipo não-int: esses métodos serão necessários para retornar uma instância de uma subclasse estrita de int.

Suporte para o método __float__() retornando uma subclasse estrita de float: esses métodos serão necessários para retornar uma instância de float.

Suporte para o método __complex__() retornando uma subclasse estrita de complex: esses métodos serão necessários para retornar uma instância de complex.

Delegação do método int() para o __trunc__().

Passar um número complexo como argumento real ou imag no construtor complex() agora está descontinuado; deve ser passado apenas como um único argumento posicional. (Contribuição de Serhiy Storchaka em gh-109218 [https://github.com/python/cpython/issues/109218].)

calendar: As constantes calendar.January e calendar.February foram descontinuadas e substituídas por calendar.JANUARY e calendar.FEBRUARY. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

codeobject.co_lnotab: use o método codeobject.co_lines().

datetime:

utcnow(): use datetime.datetime.now(tz=datetime.UTC).

utcfromtimestamp(): use datetime.datetime.fromtimestamp(timestamp, tz=datetime.UTC).

gettext: O valor de plural deve ser um número inteiro.

importlib:

Método load_module(): use exec_module() em vez disso.

O parâmetro debug_override de cache_from_source() foi descontinuado: em vez disso, use o parâmetro optimization.

importlib.metadata:

Interface de tupla EntryPoints.

None implícito nos valores de retorno.

logging: o método warn() foi descontinuado desde o Python 3.3, use warning().

mailbox: O uso da entrada StringIO e do modo de texto foi descontinuado; em vez disso, use BytesIO e o modo binário.

os: Chamar os.register_at_fork() em processo multithread.

pydoc.ErrorDuringImport: Um valor de tupla para o parâmetro exc_info foi descontinuado, use uma instância de exceção.

re: Regras mais rigorosas agora são aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas a sequência de dígitos ASCII agora é aceita como referência numérica. O nome do grupo em padrões de bytes e strings de substituição agora pode conter apenas letras e dígitos ASCII e sublinhado. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

Módulos sre_compile, sre_constants e sre_parse.

shutil: O parâmetro onerror de rmtree() foi descontinuado no Python 3.12; use o parâmetro onexc.

Protocolos e opções de ssl

ssl.SSLContext sem argumento de protocolo foi descontinuado.

ssl.SSLContext: set_npn_protocols() e selected_npn_protocol() foram descontinuados: use ALPN.

Opções de ssl.OP_NO_SSL*

Opções de ssl.OP_NO_TLS*

ssl.PROTOCOL_SSLv3

ssl.PROTOCOL_TLS

ssl.PROTOCOL_TLSv1

ssl.PROTOCOL_TLSv1_1

ssl.PROTOCOL_TLSv1_2

ssl.TLSVersion.SSLv3

ssl.TLSVersion.TLSv1

ssl.TLSVersion.TLSv1_1

O parâmetro check_home de sysconfig.is_python_build() foi descontinuado e é ignorado.

Métodos de threading:

threading.Condition.notifyAll(): use notify_all().

threading.Event.isSet(): use is_set().

threading.Thread.isDaemon(), threading.Thread.setDaemon(): use o atributo threading.Thread.daemon.

threading.Thread.getName(), threading.Thread.setName(): use o atributo threading.Thread.name.

threading.currentThread(): use threading.current_thread().

threading.activeCount(): use threading.active_count().

typing.Text (gh-92332 [https://github.com/python/cpython/issues/92332]).

unittest.IsolatedAsyncioTestCase: foi descontinuado retornar um valor que não seja None de um caso de teste.

Funções descontinuadas de urllib.parse: use urlparse()

splitattr()

splithost()

splitnport()

splitpasswd()

splitport()

splitquery()

splittag()

splittype()

splituser()

splitvalue()

to_bytes()

urllib.request: O estilo de URLopener e FancyURLopener de invocar solicitações foi descontinuado. Use as mais novas funções e métodos urlopen().

wsgiref: SimpleHandler.stdout.write() não deve fazer gravações parciais.

xml.etree.ElementTree: testar o valor verdade de um Element está descontinuado. Em um lançamento futuro isso sempre retornará True. Em vez disso, prefira os testes explícitos len(elem) ou elem is not None.

zipimport.zipimporter.load_module() foi descontinuado: use exec_module().

Removidos

asynchat e asyncore

Esses dois módulos foram removidos de acordo com o cronograma em PEP 594 [https://peps.python.org/pep-0594/], tendo sido descontinuados no Python 3.6. Use asyncio em vez disso. (Contribuição de Nikita Sobolev em gh-96580 [https://github.com/python/cpython/issues/96580].)

configparser

Vários nomes descontinuados no configparser na versão 3.2 foram removidos por gh-89336 [https://github.com/python/cpython/issues/89336]:

configparser.ParsingError não possui mais um argumento ou atributo filename. Use o atributo e o argumento source.

configparser não possui mais uma classe SafeConfigParser. Use o nome ConfigParser mais curto.

configparser.ConfigParser não possui mais um método readfp. Use read_file() em vez disso.

distutils

Remove o pacote distutils. Foi descontinuado no Python 3.10 por PEP 632 [https://peps.python.org/pep-0632/] “Descontinuar o módulo distutils”. Para projetos que ainda usam distutils e não podem ser atualizados para outra coisa, o projeto setuptools pode ser instalado: ele ainda fornece distutils. (Contribuição de Victor Stinner em gh-92584 [https://github.com/python/cpython/issues/92584].)

ensurepip

Remove o wheel de setuptools incluído em ensurepip e para de instalar setuptools em ambientes criados por venv.

pip (>= 22.1) não requer que setuptools sejam instalados no ambiente. Pacotes baseados em setuptools (e baseados em distutils) ainda podem ser usados com pip install, já que o pip fornecerá setuptools no ambiente de construção que ele usa para construir um pacote.

easy_install, pkg_resources, setuptools e distutils não são mais fornecidos por padrão em ambientes criados com venv ou inicializados com ensurepip, já que eles são parte do pacote setuptools. Para projetos que dependem destes em tempo de execução, o projeto setuptools deve ser declarado como uma dependência e instalado separadamente (normalmente, usando pip).

(Contribuição de Pradyun Gedam em gh-95299 [https://github.com/python/cpython/issues/95299].)

enum

Remove EnumMeta.__getattr__ de enum, que não é mais necessário para acesso ao atributos do enum. (Contribuição de Ethan Furman em gh-95083 [https://github.com/python/cpython/issues/95083].)

ftplib

Remove o atributo de classe FTP_TLS.ssl_version do ftplib: use o parâmetro context em seu lugar. (Contribuição de Victor Stinner em gh-94172 [https://github.com/python/cpython/issues/94172].)

gzip

Remove o atributo filename do gzip.GzipFile de gzip, descontinuado desde Python 2.6, use o atributo name em seu lugar. No modo de gravação, o atributo filename adicionou a extensão de arquivo '.gz' se ela não estivesse presente. (Contribuição de Victor Stinner em gh-94196 [https://github.com/python/cpython/issues/94196].)

hashlib

Remove a implementação Python pura de hashlib.pbkdf2_hmac() de hashlib, descontinuado em Python 3.10. Python 3.10 e mais recente requer OpenSSL 1.1.1 (PEP 644 [https://peps.python.org/pep-0644/]): esta versão do OpenSSL fornece uma implementação C de pbkdf2_hmac() que é mais rápida. (Contribuição de Victor Stinner em gh-94199 [https://github.com/python/cpython/issues/94199].)

importlib

Foi concluída a remoção de muitos alvos de importlib que haviam sido descontinuados anteriormente:

Referências e suporte a module_repr() foram removidos. (Contribuição de Barry Warsaw em gh-97850 [https://github.com/python/cpython/issues/97850].)

importlib.util.set_package, importlib.util.set_loader e importlib.util.module_for_loader foram todos removidos. (Contribuição de Brett Cannon e Nikita Sobolev em gh-65961 [https://github.com/python/cpython/issues/65961] e gh-97850 [https://github.com/python/cpython/issues/97850].)

O suporte para APIs find_loader() e find_module() foi removido. (Contribuição de Barry Warsaw em gh-98040 [https://github.com/python/cpython/issues/98040].)

importlib.abc.Finder, pkgutil.ImpImporter e pkgutil.ImpLoader foram removidos. (Contribuição de Barry Warsaw em gh-98040 [https://github.com/python/cpython/issues/98040].)

imp

O módulo imp foi removido. (Contribuição de Barry Warsaw em gh-98040 [https://github.com/python/cpython/issues/98040].)

Para migrar consulte a seguinte tabela de correspondência:

imp

importlib

imp.NullImporter

Insere None em sys.path_importer_cache

imp.cache_from_source()

importlib.util.cache_from_source()

imp.find_module()

importlib.util.find_spec()

imp.get_magic()

importlib.util.MAGIC_NUMBER

imp.get_suffixes()

importlib.machinery.SOURCE_SUFFIXES, importlib.machinery.EXTENSION_SUFFIXES e importlib.machinery.BYTECODE_SUFFIXES

imp.get_tag()

sys.implementation.cache_tag

imp.load_module()

importlib.import_module()

imp.new_module(name)

types.ModuleType(name)

imp.reload()

importlib.reload()

imp.source_from_cache()

importlib.util.source_from_cache()

imp.load_source()

Veja abaixo

Substitua imp.load_source() com:

import importlib.util
import importlib.machinery

def load_source(modname, filename):
    loader = importlib.machinery.SourceFileLoader(modname, filename)
    spec = importlib.util.spec_from_file_location(modname, filename, loader=loader)
    module = importlib.util.module_from_spec(spec)
    # O módulo é sempre executado e não colocado em cache em sys.modules.
    # Descomente a linha a seguir para colocar o módulo em cache.
    # sys.modules[module.__name__] = module
    loader.exec_module(module)
    return module

Remove funções e atributos do imp sem substituições:

Funções não documentadas:

imp.init_builtin()

imp.load_compiled()

imp.load_dynamic()

imp.load_package()

imp.lock_held(), imp.acquire_lock(), imp.release_lock(): o esquema de trava foi alterado no Python 3.3 para travas por módulo.

Constantes de imp.find_module(): SEARCH_ERROR, PY_SOURCE, PY_COMPILED, C_EXTENSION, PY_RESOURCE, PKG_DIRECTORY, C_BUILTIN, PY_FROZEN, PY_CODERESOURCE, IMP_HOOK.

io

Remove io.OpenWrapper e _pyio.OpenWrapper de io, descontinuados em Python 3.10: basta usar open() em seu lugar. A função open() (io.open()) é uma função embutida. Desde o Python 3.10, _pyio.open() também é um método estático. (Contribuição de Victor Stinner em gh-94169 [https://github.com/python/cpython/issues/94169].)

locale

Remove a função locale.format() de locale, descontinuada no Python 3.7: use locale.format_string() em seu lugar. (Contribuição de Victor Stinner em gh-94226 [https://github.com/python/cpython/issues/94226].)

smtpd

O módulo smtpd foi removido de acordo com o cronograma em PEP 594 [https://peps.python.org/pep-0594/], tendo sido descontinuado em Python 3.4.7 e 3.5.4. Use o módulo PyPI aiosmtpd [https://pypi.org/project/aiosmtpd/] ou qualquer outro servidor baseado em asyncio. (Contribuição de Oleg Iarygin em gh-93243 [https://github.com/python/cpython/issues/93243].)

sqlite3

Os seguintes recursos não documentados do sqlite3, descontinuados no Python 3.10, foram agora removidos:

sqlite3.enable_shared_cache()

sqlite3.OptimizedUnicode

Se um cache compartilhado deve ser usado, abra o banco de dados no modo URI usando o parâmetro de consulta cache=shared.

A fábrica de texto sqlite3.OptimizedUnicode tem sido um apelido para str desde Python 3.3. O código que anteriormente definiu a fábrica de texto como OptimizedUnicode pode usar str explicitamente ou confiar no valor padrão que também é str.

(Contribuição de Erlend E. Aasland em gh-92548 [https://github.com/python/cpython/issues/92548].)

ssl

Remove a função ssl.RAND_pseudo_bytes() do ssl, descontinuada no Python 3.6: use os.urandom() ou ssl.RAND_bytes() em seu lugar. (Contribuição de Victor Stinner em gh-94199 [https://github.com/python/cpython/issues/94199].)

Remove a função ssl.match_hostname(). Foi descontinuada no Python 3.7. OpenSSL realiza correspondência de nome de host desde Python 3.7, Python não usa mais a função ssl.match_hostname(). (Contribuição de Victor Stinner em gh-94199 [https://github.com/python/cpython/issues/94199].)

Remove a função ssl.wrap_socket(), descontinuada no Python 3.7: em vez desta, crie um objeto ssl.SSLContext e chame seu método ssl.SSLContext.wrap_socket. Qualquer pacote que ainda use ssl.wrap_socket() está quebrado e é inseguro. A função não envia uma extensão SNI TLS nem valida o nome do host do servidor. O código está sujeito a CWE 295 [https://cwe.mitre.org/data/definitions/295.html] (validação inadequada de certificado). (Contribuição de Victor Stinner em gh-94199 [https://github.com/python/cpython/issues/94199].)

unittest

Remove recursos do unittest há muito tempo descontinuados:

Vários apelidos de método de TestCase:

Apelido descontinuado

Método

Descontinuado em

failUnless

assertTrue()

3.1

failIf

assertFalse()

3.1

failUnlessEqual

assertEqual()

3.1

failIfEqual

assertNotEqual()

3.1

failUnlessAlmostEqual

assertAlmostEqual()

3.1

failIfAlmostEqual

assertNotAlmostEqual()

3.1

failUnlessRaises

assertRaises()

3.1

assert_

assertTrue()

3.2

assertEquals

assertEqual()

3.2

assertNotEquals

assertNotEqual()

3.2

assertAlmostEquals

assertAlmostEqual()

3.2

assertNotAlmostEquals

assertNotAlmostEqual()

3.2

assertRegexpMatches

assertRegex()

3.2

assertRaisesRegexp

assertRaisesRegex()

3.2

assertNotRegexpMatches

assertNotRegex()

3.5

Você pode usar https://github.com/isidentical/teyit para modernizar automaticamente seus testes de unidade.

Método não documentado e quebrado assertDictContainsSubset de TestCase (descontinuado no Python 3.2).

Parâmetro não documentado use_load_tests de TestLoader.loadTestsFromModule (descontinuado e ignorado desde Python 3.5).

Um apelido da classe TextTestResult: _TextTestResult (descontinuado no Python 3.2).

(Contribuição de Serhiy Storchaka em gh-89325 [https://github.com/python/cpython/issues/89325].)

webbrowser

Remove o suporte para navegadores descontinuados de webbrowser. Os navegadores removidos incluem: Grail, Mosaic, Netscape, Galeon, Skipstone, Iceape, Firebird e Firefox versões 35 e inferiores (gh-102871 [https://github.com/python/cpython/issues/102871]).

xml.etree.ElementTree

Remove o método ElementTree.Element.copy() da implementação Python pura, descontinuado no Python 3.10; use a função copy.copy() em seu lugar. A implementação C de xml.etree.ElementTree não possui nenhum método copy(), apenas um método __copy__(). (Contribuição de Victor Stinner em gh-94383 [https://github.com/python/cpython/issues/94383].)

zipimport

Remove os métodos find_loader() e find_module() do zipimport, descontinuados no Python 3.10: use o método find_spec() em seu lugar. Veja PEP 451 [https://peps.python.org/pep-0451/] para o raciocínio. (Contribuição de Victor Stinner em gh-94379 [https://github.com/python/cpython/issues/94379].)

Outros

Remove a regra suspicious do Makefile da documentação e do Doc/tools/rstlint.py, ambas em favor do sphinx-lint [https://github.com/sphinx-contrib/sphinx-lint]. (Contribuição de Julien Palard em gh-98179 [https://github.com/python/cpython/issues/98179].)

Remove os parâmetros keyfile e certfile dos módulos ftplib, imaplib, poplib e smtplib, e dos módulos key_file, cert_file e check_hostname do módulo http.client, todos descontinuados desde Python 3.6. Use o parâmetro context (ssl_context em imaplib). (Contribuição de Victor Stinner em gh-94172 [https://github.com/python/cpython/issues/94172].)

Remove hacks de compatibilidade Jython de vários módulos e testes da stdlib. (Contribuição de Nikita Sobolev em gh-99482 [https://github.com/python/cpython/issues/99482].)

Remove o sinalizador _use_broken_old_ctypes_structure_semantics_ do módulo ctypes. (Contribuição de Nikita Sobolev em gh-99285 [https://github.com/python/cpython/issues/99285].)

Portando para Python 3.12

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações na API Python

Regras mais rigorosas agora são aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas a sequência de dígitos ASCII agora é aceita como referência numérica. O nome do grupo em padrões de bytes e strings de substituição agora pode conter apenas letras e dígitos ASCII e sublinhado. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

Remove a funcionalidade randrange() descontinuada desde o Python 3.10. Anteriormente, randrange(10.0) era convertido sem perdas para randrange(10). Agora, ele levanta um TypeError. Além disso, a exceção levantada para valores não inteiros como randrange(10.5) ou randrange('10') foi alterada de ValueError para TypeError. Isso também evita bugs onde randrange(1e25) selecionaria silenciosamente um intervalo maior que randrange(10**25). (Originalmente sugerido por Serhiy Storchaka gh-86388 [https://github.com/python/cpython/issues/86388].)

argparse.ArgumentParser alterou a codificação e o tratador de erros para ler argumentos do arquivo (por exemplo, opção fromfile_prefix_chars) da codificação de texto padrão (por exemplo, locale.getpreferredencoding(False)) para tratador de erros e codificação do sistema de arquivos. Os arquivos de argumento devem ser codificados em UTF-8 em vez de ANSI Codepage no Windows.

Remove o módulo smtpd baseado em asyncore descontinuado no Python 3.4.7 e 3.5.4. Um substituto recomendado é o módulo PyPI baseado em asyncio aiosmtpd [https://pypi.org/project/aiosmtpd/].

shlex.split(): Passar None para o argumento s agora levanta uma exceção, ao invés de ler sys.stdin. O recurso foi descontinuado no Python 3.9. (Contribuição de Victor Stinner em gh-94352 [https://github.com/python/cpython/issues/94352].)

O módulo os não aceita mais caminhos bytes ou similar, como os tipos bytearray e memoryview: apenas o tipo exato bytes é aceito para strings de bytes. (Contribuição de Victor Stinner em gh-98393 [https://github.com/python/cpython/issues/98393].)

syslog.openlog() e syslog.closelog() agora falham se usadas ​​em subinterpretadores. syslog.syslog() ainda pode ser usada em subinterpretadores, mas agora somente se syslog.openlog() já tiver sido chamada no interpretador principal. Estas novas restrições não se aplicam ao interpretador principal, então apenas um pequeno grupo de usuários poderá ser afetado. Essa mudança ajuda no isolamento do interpretador. Além disso, syslog é um wrapper em torno de recursos globais de processo, que são melhor gerenciados a partir do interpretador principal. (Contribuição de Donghee Na em gh-99127 [https://github.com/python/cpython/issues/99127].)

O comportamento não documentado de trava de cached_property() foi removido, porque travava todas as instâncias da classe, levando a uma alta contenção de trava. Isso significa que uma função getter de propriedade em cache agora pode ser executada mais de uma vez para uma única instância, se duas threads competirem. Para a maioria das propriedades simples em cache (por exemplo, aquelas que são idempotentes e simplesmente calculam um valor com base em outros atributos da instância), isso será suficiente. Se a sincronização for necessária, implemente a trava na função getter de propriedade em cache ou em torno de pontos de acesso multithread.

sys._current_exceptions() agora retorna um mapeamento de thread-id para uma instância de exceção, ao invés de uma tupla (typ, exc, tb). (Contribuição de Irit Katriel em gh-103176 [https://github.com/python/cpython/issues/103176].)

Ao extrair arquivos tar usando tarfile ou shutil.unpack_archive(), passe o argumento filter para limitar recursos que podem surpreender ou ser perigosos. Veja Filtros de extração para detalhes.

A saída das funções tokenize.tokenize() e tokenize.generate_tokens() agora foi alterada devido às mudanças introduzidas na PEP 701 [https://peps.python.org/pep-0701/]. Isso significa que os tokens STRING não são mais emitidos para f-strings e os tokens descritos em PEP 701 [https://peps.python.org/pep-0701/] agora são produzidos: FSTRING_START, FSTRING_MIDDLE e FSTRING_END agora são emitidos para partes “string” de f-strings, além dos tokens apropriados para a tokenização nos componentes da expressão. Por exemplo, para a f-string f"start {1+1} end" a versão antiga do tokenizer emitida:

1,0-1,18:           STRING         'f"start {1+1} end"'

enquanto a nova versão emite:

1,0-1,2:            FSTRING_START  'f"'
1,2-1,8:            FSTRING_MIDDLE 'start '
1,8-1,9:            OP             '{'
1,9-1,10:           NUMBER         '1'
1,10-1,11:          OP             '+'
1,11-1,12:          NUMBER         '1'
1,12-1,13:          OP             '}'
1,13-1,17:          FSTRING_MIDDLE ' end'
1,17-1,18:          FSTRING_END    '"'

Além disso, pode haver algumas pequenas alterações comportamentais como consequência das alterações necessárias para oferecer suporte à PEP 701 [https://peps.python.org/pep-0701/]. Algumas dessas mudanças incluem:

O atributo type dos tokens emitidos ao tokenizar alguns caracteres Python inválidos, como !, mudou de ERRORTOKEN para OP.

Strings incompletas de linha única agora também levantam tokenize.TokenError como fazem strings multilinhas incompletas.

Algum código Python incompleto ou inválido agora levanta tokenize.TokenError em vez de retornar tokens ERRORTOKEN arbitrários ao tokenizá-lo.

Misturar tabulações e espaços como indentação no mesmo arquivo não é mais suportado e vai levantar uma TabError.

O módulo threading agora espera que o módulo _thread tenha um atributo _is_main_interpreter. É uma função sem argumentos que retorna True se o interpretador atual for o interpretador principal.

Qualquer biblioteca ou aplicação que forneça um módulo _thread personalizado deve fornecer _is_main_interpreter(). (Veja gh-112826 [https://github.com/python/cpython/issues/112826].)

Mudanças na construção

Python não usa mais setup.py para construir módulos de extensão C compartilhados. Parâmetros de construção como cabeçalhos e bibliotecas são detectados no script configure. As extensões são construídas por Makefile. A maioria das extensões usa pkg-config e recorre à detecção manual. (Contribuição de Christian Heimes em gh-93939 [https://github.com/python/cpython/issues/93939].)

va_start() com dois parâmetros, como va_start(args, format), agora é necessário para construir Python. va_start() não é mais chamado com um único parâmetro. (Contribuição de Kumar Aditya em gh-93207 [https://github.com/python/cpython/issues/93207].)

CPython agora usa a opção ThinLTO como política de otimização de tempo de vincualção padrão se o compilador Clang aceitar o sinalizador. (Contribuição de Donghee Na em gh-89536 [https://github.com/python/cpython/issues/89536].)

Adiciona a variável COMPILEALL_OPTS em Makefile para substituir as opções compileall (padrão: -j0) em make install. Também fundiu os 3 comandos compileall em um único comando para construir arquivos .pyc para todos os níveis de otimização (0, 1, 2) de uma só vez. (Contribuição de Victor Stinner em gh-99289 [https://github.com/python/cpython/issues/99289].)

Adiciona trios de plataforma para LoongArch de 64 bits:

loongarch64-linux-gnusf

loongarch64-linux-gnuf32

loongarch64-linux-gnu

(Contribuição de Zhang Na em gh-90656 [https://github.com/python/cpython/issues/90656].)

PYTHON_FOR_REGEN agora requer Python 3.10 ou mais novo.

Autoconf 2.71 e aclocal 1.16.4 agora são necessários para regerar !configure. (Contribuição de Christian Heimes em gh-89886 [https://github.com/python/cpython/issues/89886].)

Construções do Windows e instaladores do macOS em python.org agora usam OpenSSL 3.0.

Alterações na API C

Novas funcionalidades

PEP 697 [https://peps.python.org/pep-0697/]: Introduz o tier de API C Instável, destinada a ferramentas de baixo nível como depuradores e compiladores JIT. Esta API pode mudar em cada versão secundária do CPython sem avisos de descontinuação. Seu conteúdo é marcado pelo prefixo PyUnstable_ nos nomes.

Construtores de objeto código:

PyUnstable_Code_New() (renomeado de PyCode_New)

PyUnstable_Code_NewWithPosOnlyArgs() (renomeado de PyCode_NewWithPosOnlyArgs)

Armazenamento extra para objetos código (PEP 523 [https://peps.python.org/pep-0523/]):

PyUnstable_Eval_RequestCodeExtraIndex() (renomeado de _PyEval_RequestCodeExtraIndex)

PyUnstable_Code_GetExtra() (renomeado de _PyCode_GetExtra)

PyUnstable_Code_SetExtra() (renomeado de _PyCode_SetExtra)

Os nomes originais continuarão disponíveis até que a respectiva API seja alterada.

(Contribuição de Petr Viktorin em gh-101101 [https://github.com/python/cpython/issues/101101].)

PEP 697 [https://peps.python.org/pep-0697/]: Adiciona uma API para estender tipos cujo layout de memória de instância é opaco:

PyType_Spec.basicsize pode ser zero ou negativo para especificar a herança ou extensão do tamanho da classe base.

PyObject_GetTypeData() e PyType_GetTypeDataSize() adicionadas para permitir acesso a dados de instância específicos da subclasse.

Py_TPFLAGS_ITEMS_AT_END e PyObject_GetItemData() adicionadas para permitir a extensão segura de certos tipos de tamanho variável, incluindo PyType_Type.

Py_RELATIVE_OFFSET adicionada para permitir a definição de membros em termos de uma estrutura específica da subclasse.

(Contribuição de Petr Viktorin em gh-103509 [https://github.com/python/cpython/issues/103509].)

Adiciona à API C limitada a nova função PyType_FromMetaclass(), que generaliza a PyType_FromModuleAndSpec() existente usando um argumento de metaclasse adicional. (Contribuição de Wenzel Jakob em gh-93012 [https://github.com/python/cpython/issues/93012].)

API para criação de objetos que podem ser chamados usando o protocolo vectorcall foi adicionada à API Limitada:

Py_TPFLAGS_HAVE_VECTORCALL

PyVectorcall_NARGS()

PyVectorcall_Call()

vectorcallfunc

O sinalizador Py_TPFLAGS_HAVE_VECTORCALL agora é removido de uma classe quando o método __call__() da classe é reatribuído. Isso torna vectorcall seguro para uso com tipos mutáveis (ou seja, tipos de heap sem o sinalizador imutável, Py_TPFLAGS_IMMUTABLETYPE). Tipos mutáveis que não substituem tp_call agora herdam o sinalizador Py_TPFLAGS_HAVE_VECTORCALL. (Contribuição de Petr Viktorin em gh-93274 [https://github.com/python/cpython/issues/93274].)

Os sinalizadores Py_TPFLAGS_MANAGED_DICT e Py_TPFLAGS_MANAGED_WEAKREF foram adicionados. Isso permite que as classes de extensões ofereçam suporte a objetos __dict__ e weakrefs com menos trabalho, usando menos memória e com acesso mais rápido.

API para realizar chamadas usando o protocolo vectorcall foi adicionada à API Limitada:

PyObject_Vectorcall()

PyObject_VectorcallMethod()

PY_VECTORCALL_ARGUMENTS_OFFSET

Isto significa que ambas as extremidades de entrada e saída do protocolo de chamada vetorial estão agora disponíveis na API Limitada. (Contribuição de Wenzel Jakob em gh-98586 [https://github.com/python/cpython/issues/98586].)

Adiciona duas novas funções públicas, PyEval_SetProfileAllThreads() e PyEval_SetTraceAllThreads(), que permitem definir funções de rastreamento e perfilação em todos os threads em execução, além do de chamada. (Contribuição de Pablo Galindo em gh-93503 [https://github.com/python/cpython/issues/93503].)

Adiciona a nova função PyFunction_SetVectorcall() à API C que define o campo vectorcall de um determinado PyFunctionObject. (Contribuição de Andrew Frost em gh-92257 [https://github.com/python/cpython/issues/92257].)

A API C agora permite registrar funções de retorno de chamada via PyDict_AddWatcher(), PyDict_Watch() e APIs relacionadas a serem chamadas sempre que um dicionário é modificado. Destina-se a ser usado para otimizar interpretadores, compiladores JIT ou depuradores. (Contribuição de Carl Meyer em gh-91052 [https://github.com/python/cpython/issues/91052].)

Adiciona a API PyType_AddWatcher() e PyType_Watch() para registrar retornos de chamada para receber notificações sobre alterações em um tipo. (Contribuição de Carl Meyer em gh-91051 [https://github.com/python/cpython/issues/91051].)

Adiciona APIs PyCode_AddWatcher() e PyCode_ClearWatcher() para registrar retornos de chamada para receber notificação sobre criação e destruição de objetos de código. (Contribuição de Itamar Oren em gh-91054 [https://github.com/python/cpython/issues/91054].)

Adiciona as funções PyFrame_GetVar() e PyFrame_GetVarString() para obter uma variável de quadro por seu nome. (Contribuição de Victor Stinner em gh-91248 [https://github.com/python/cpython/issues/91248].)

Adiciona PyErr_GetRaisedException() e PyErr_SetRaisedException() para salvar e restaurar a exceção atual. Essas funções retornam e aceitam um único objeto de exceção, em vez dos argumentos triplos dos agora obsoletos PyErr_Fetch() e PyErr_Restore(). Isso é menos sujeito a erros e um pouco mais eficiente. (Contribuição de Mark Shannon em gh-101578 [https://github.com/python/cpython/issues/101578].)

Adiciona _PyErr_ChainExceptions1, que usa uma instância de exceção, para substituir a API legada _PyErr_ChainExceptions, que agora foi descontinuada. (Contribuição de Mark Shannon em gh-101578 [https://github.com/python/cpython/issues/101578].)

Adiciona PyException_GetArgs() e PyException_SetArgs() como funções de conveniência para recuperar e modificar o args passado para o construtor da exceção. (Contribuição de Mark Shannon em gh-101578 [https://github.com/python/cpython/issues/101578].)

Adiciona PyErr_DisplayException(), que usa uma instância de exceção, para substituir a API legada PyErr_Display(). (Contribuição de Irit Katriel em gh-102755 [https://github.com/python/cpython/issues/102755]).

PEP 683 [https://peps.python.org/pep-0683/]: Introduz Objetos Imortais, que permite que objetos ignorem contagens de referências e alterações relacionadas à API C:

_Py_IMMORTAL_REFCNT: A contagem de referências que define um objeto

como imortal.

_Py_IsImmortal Verifica se um objeto possui a contagem de referências imortal.

PyObject_HEAD_INIT Isso agora inicializará a contagem de referências para

_Py_IMMORTAL_REFCNT quando usado com Py_BUILD_CORE.

SSTATE_INTERNED_IMMORTAL Um identificador para objetos unicode internalizados

que são imortais.

SSTATE_INTERNED_IMMORTAL_STATIC Um identificador para unicode internalizado

objetos que são imortais e estáticos

sys.getunicodeinternedsize Isso retorna o número total de unicode

objetos que foram internalizados. Isso agora é necessário para refleak.py rastrear corretamente contagens de referências e blocos alocados

(Contribuição de Eddie Elizondo em gh-84436 [https://github.com/python/cpython/issues/84436].)

PEP 684 [https://peps.python.org/pep-0684/]: Adiciona a nova função Py_NewInterpreterFromConfig() e PyInterpreterConfig, que podem ser usadas para criar subinterpretadores com suas próprias GILs. (Veja PEP 684: Uma GIL por interpretador para mais informações.) (Contribuição de Eric Snow em gh-104110 [https://github.com/python/cpython/issues/104110].)

Na API C limitada versão 3.12, as funções Py_INCREF() e Py_DECREF() agora são implementadas como chamadas de função opacas para ocultar detalhes de implementação. (Contribuição de Victor Stinner em gh-105387 [https://github.com/python/cpython/issues/105387].)

Portando para Python 3.12

APIs Unicode legadas baseadas na representação de Py_UNICODE* foram removidas. Migre para APIs baseadas em UTF-8 ou wchar_t*.

Funções de análise de argumentos como PyArg_ParseTuple() não mais oferecem suporte a formato baseado em Py_UNICODE* (por exemplo, u, Z). Migre para outros formatos para Unicode como s, z, es e U.

tp_weaklist para todos os tipos embutidos estáticos é sempre NULL. Este é um campo somente interno em PyTypeObject, mas estamos apontando a mudança caso alguém acesse o campo diretamente de qualquer maneira. Para evitar quebras, considere usar a API C pública existente ou, se necessário, a macro _PyObject_GET_WEAKREFS_LISTPTR() (somente interna).

Este PyTypeObject.tp_subclasses somente interno pode agora não ser um ponteiro de objeto válido. Seu tipo foi alterado para void* para refletir isso. Mencionamos isso caso alguém esteja acessando diretamente o campo somente interno.

Para obter uma lista de subclasses, chame o método Python __subclasses__() (usando PyObject_CallMethod(), por exemplo).

Adicionado suporte para mais opções de formatação (alinhamento à esquerda, octais, hexadecimais maiúsculos, intmax_t, ptrdiff_t, wchar_t strings C, largura variável e precisão) em PyUnicode_FromFormat() e PyUnicode_FromFormatV(). (Contribuição de Serhiy Storchaka em gh-98836 [https://github.com/python/cpython/issues/98836].)

Um caractere de formato não reconhecido em PyUnicode_FromFormat() e PyUnicode_FromFormatV() agora define um SystemError. Nas versões anteriores, fazia com que todo o restante da string de formato fosse copiado como estava para a string de resultado e quaisquer argumentos extras descartados. (Contribuição de Serhiy Storchaka em gh-95781 [https://github.com/python/cpython/issues/95781].)

Corrige o posicionamento incorreto do sinal em PyUnicode_FromFormat() e PyUnicode_FromFormatV(). (Contribuição de Philip Georgi em gh-95504 [https://github.com/python/cpython/issues/95504].)

Classes de extensão que desejam adicionar um __dict__ ou slot de referência fraca devem usar Py_TPFLAGS_MANAGED_DICT e Py_TPFLAGS_MANAGED_WEAKREF em vez de tp_dictoffset e tp_weaklistoffset, respectivamente. O uso de tp_dictoffset e tp_weaklistoffset ainda é aceitado, mas não oferece suporte totalmente a herança múltipla (gh-95589 [https://github.com/python/cpython/issues/95589]), e o desempenho pode ser pior. Classes que declaram Py_TPFLAGS_MANAGED_DICT devem chamar _PyObject_VisitManagedDict() e _PyObject_ClearManagedDict() para percorrer e limpar os dicionários de sua instância. Para limpar weakrefs (referências fracas), chame PyObject_ClearWeakRefs(), como antes.

A função PyUnicode_FSDecoder() não aceita mais caminhos bytes ou similar, como os tipos bytearray e memoryview: apenas o tipo exato bytes é aceito para strings de bytes. (Contribuição de Victor Stinner em gh-98393 [https://github.com/python/cpython/issues/98393].)

As macros Py_CLEAR, Py_SETREF e Py_XSETREF agora avaliam seus argumentos apenas uma vez. Se um argumento tiver efeitos colaterais, esses efeitos colaterais não serão mais duplicados. (Contribuição de Victor Stinner em gh-98724 [https://github.com/python/cpython/issues/98724].)

O indicador de erro do interpretador agora está sempre normalizado. Isso significa que PyErr_SetObject(), PyErr_SetString() e as outras funções que definem o indicador de erro agora normalizam a exceção antes de armazená-la. (Contribuição de Mark Shannon em gh-101578 [https://github.com/python/cpython/issues/101578].)

_Py_RefTotal não é mais oficial e é mantido apenas para compatibilidade com ABI. Observe que é um global interno e está disponível apenas em compilações de depuração. Se acontecer de você usá-lo, você precisará começar a usar _Py_GetGlobalRefTotal().

As seguintes funções agora selecionam uma metaclasse apropriada para o tipo recém-criado:

PyType_FromSpec()

PyType_FromSpecWithBases()

PyType_FromModuleAndSpec()

A criação de classes cujas substituições de metaclasse tp_new foi descontinuada e no Python 3.14+ não será permitida. Observe que essas funções ignoram tp_new da metaclasse, possivelmente permitindo uma inicialização incompleta.

Observe que PyType_FromMetaclass() (adicionada em Python 3.12) já não permite a criação de classes cuja metaclasse substitui tp_new (__new__() em Python).

Como tp_new substitui quase tudo que as funções PyType_From* fazem, os dois são incompatíveis entre si. O comportamento existente – ignorar a metaclasse em vários passos de criação do tipo – é inseguro em geral, uma vez que as (meta)classes presumem que tp_new foi chamado. Não existe uma solução geral simples. Um dos seguintes pode funcionar para você:

Se você controla a metaclasse, evite usar tp_new nela:

Se a inicialização puder ser ignorada, isso pode ser feito em tp_init.

Se a metaclasse não precisa ser instanciada do Python, defina seu tp_new como NULL usando o sinalizador Py_TPFLAGS_DISALLOW_INSTANTIATION. Isso o torna aceitável para funções PyType_From*.

Evite funções PyType_From*: se você não precisa de recursos específicos do C (slots ou configuração do tamanho da instância), crie tipos chamando a metaclasse.

Se você sabe que tp_new pode ser ignorado com segurança, filtre o aviso de descontinuação usando warnings.catch_warnings() do Python.

PyOS_InputHook e PyOS_ReadlineFunctionPointer não são mais chamados em subinterpretadores. Isso ocorre porque os clientes geralmente dependem do estado global de todo o processo (uma vez que esses retornos de chamada não têm como recuperar o estado do módulo de extensão).

Isso também evita situações em que as extensões podem ser executadas em um subinterpretador que não oferecem suporte (ou no qual ainda não foram carregadas). Veja gh-104668 [https://github.com/python/cpython/issues/104668] para mais informações.

PyLongObject teve seus componentes internos alterados para melhor desempenho. Embora os internos de PyLongObject sejam privados, eles são usados por alguns módulos de extensão. Os campos internos não devem mais ser acessados diretamente, em vez disso, as funções da API que começam com PyLong_... devem ser usadas. Duas novas funções de API instáveis são fornecidas para acesso eficiente ao valor de PyLongObjects que cabe em uma única palavra de máquina:

PyUnstable_Long_IsCompact()

PyUnstable_Long_CompactValue()

Alocadores personalizados, definidos via PyMem_SetAllocator(), agora precisam ser seguros para thread, independentemente do domínio de memória. Os alocadores que não possuem estado próprio, incluindo “ganchos”, não são afetados. Se o seu alocador personalizado ainda não for seguro para thread e você precisar de orientação, crie um novo relatório de problema no GitHub e CC @ericsnowcurrently.

Descontinuados

Em conformidade com a PEP 699 [https://peps.python.org/pep-0699/], o campo ma_version_tag em PyDictObject foi descontinuado para módulos de extensão. Acessar este campo gerará um aviso do compilador em tempo de compilação. Este campo será removido no Python 3.14. (Contribuição de Ramvikrams e Kumar Aditya em gh-101193 [https://github.com/python/cpython/issues/101193]. PEP de Ken Jin.)

Variáveis de configuração global descontinuadas:

Py_DebugFlag: use PyConfig.parser_debug

Py_VerboseFlag: use PyConfig.verbose

Py_QuietFlag: use PyConfig.quiet

Py_InteractiveFlag: use PyConfig.interactive

Py_InspectFlag: use PyConfig.inspect

Py_OptimizeFlag: use PyConfig.optimization_level

Py_NoSiteFlag: use PyConfig.site_import

Py_BytesWarningFlag: use PyConfig.bytes_warning

Py_FrozenFlag: use PyConfig.pathconfig_warnings

Py_IgnoreEnvironmentFlag: use PyConfig.use_environment

Py_DontWriteBytecodeFlag: use PyConfig.write_bytecode

Py_NoUserSiteDirectory: use PyConfig.user_site_directory

Py_UnbufferedStdioFlag: use PyConfig.buffered_stdio

Py_HashRandomizationFlag: use PyConfig.use_hash_seed and PyConfig.hash_seed

Py_IsolatedFlag: use PyConfig.isolated

Py_LegacyWindowsFSEncodingFlag: use PyPreConfig.legacy_windows_fs_encoding

Py_LegacyWindowsStdioFlag: use PyConfig.legacy_windows_stdio

Py_FileSystemDefaultEncoding: use PyConfig.filesystem_encoding

Py_HasFileSystemDefaultEncoding: use PyConfig.filesystem_encoding

Py_FileSystemDefaultEncodeErrors: use PyConfig.filesystem_errors

Py_UTF8Mode: use PyPreConfig.utf8_mode (see Py_PreInitialize())

A API Py_InitializeFromConfig() deve ser usada com PyConfig. (Contribuição de Victor Stinner em gh-77782 [https://github.com/python/cpython/issues/77782].)

A criação de tipos imutáveis com bases mutáveis foi descontinuada e será desativada no Python 3.14. (gh-95388 [https://github.com/python/cpython/issues/95388])

O cabeçalho structmember.h foi descontinuado, embora continue disponível e não haja planos para removê-lo.

Seu conteúdo agora está disponível apenas incluindo Python.h, com um prefixo Py adicionado se estiver faltando:

PyMemberDef, PyMember_GetOne() e PyMember_SetOne()

Macros de tipo como Py_T_INT, Py_T_DOUBLE, etc. (anteriormente T_INT, T_DOUBLE, etc.)

Os sinalizadores Py_READONLY (anteriormente READONLY) e Py_AUDIT_READ (anteriormente todas em maiúsculas)

Vários itens não são expostos em Python.h:

T_OBJECT (use Py_T_OBJECT_EX)

T_NONE (anteriormente não documentada e bastante estranha)

A macro WRITE_RESTRICTED que não faz nada.

As macros RESTRICTED e READ_RESTRICTED, equivalentes a Py_AUDIT_READ.

Em algumas configurações, <stddef.h> não está incluído em Python.h. Deve ser incluído manualmente ao usar offsetof().

O cabeçalho descontinuado continua a fornecer seu conteúdo original com os nomes originais. Seu código antigo pode permanecer inalterado, a menos que as macros extras e sem namespace o incomodem muito.

(Contribuição em gh-47146 [https://github.com/python/cpython/issues/47146] de Petr Viktorin, baseado em trabalhos anteriores de Alexander Belopolsky e Matthias Braun.)

PyErr_Fetch() e PyErr_Restore() foram descontinuado. Use PyErr_GetRaisedException() e PyErr_SetRaisedException() em vez disso. (Contribuição de Mark Shannon em gh-101578 [https://github.com/python/cpython/issues/101578].)

PyErr_Display() foi descontinuada. Use PyErr_DisplayException() em vez disso. (Contribuição de Irit Katriel em gh-102755 [https://github.com/python/cpython/issues/102755]).

_PyErr_ChainExceptions foi descontinuada. Use _PyErr_ChainExceptions1 em vez disso. (Contribuição de Irit Katriel em gh-102192 [https://github.com/python/cpython/issues/102192].)

Usar PyType_FromSpec(), PyType_FromSpecWithBases() ou PyType_FromModuleAndSpec() para criar uma classe cujas substituições de metaclasse tp_new foi descontinuado. Chame a metaclasse.

Remoção pendente no Python 3.14

O campo ma_version_tag em PyDictObject para módulos de extensão (PEP 699 [https://peps.python.org/pep-0699/]; gh-101193 [https://github.com/python/cpython/issues/101193]).

A criação de tipos imutáveis com bases mutáveis (gh-95388 [https://github.com/python/cpython/issues/95388]).

Funções para configurar a inicialização do Python, descontinuadas no Python 3.11:

PySys_SetArgvEx(): Defina PyConfig.argv.

PySys_SetArgv(): Defina PyConfig.argv.

Py_SetProgramName(): Defina PyConfig.program_name.

Py_SetPythonHome(): Defina PyConfig.home.

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Variáveis de configuração globais

Py_DebugFlag: Use PyConfig.parser_debug.

Py_VerboseFlag: Use PyConfig.verbose.

Py_QuietFlag: Use PyConfig.quiet.

Py_InteractiveFlag: Use PyConfig.interactive.

Py_InspectFlag: Use PyConfig.inspect.

Py_OptimizeFlag: Use PyConfig.optimization_level.

Py_NoSiteFlag: Use PyConfig.site_import.

Py_BytesWarningFlag: Use PyConfig.bytes_warning.

Py_FrozenFlag: Use PyConfig.pathconfig_warnings.

Py_IgnoreEnvironmentFlag: Use PyConfig.use_environment.

Py_DontWriteBytecodeFlag: Use PyConfig.write_bytecode.

Py_NoUserSiteDirectory: Use PyConfig.user_site_directory.

Py_UnbufferedStdioFlag: Use PyConfig.buffered_stdio.

Py_HashRandomizationFlag: Use PyConfig.use_hash_seed e PyConfig.hash_seed.

Py_IsolatedFlag: Use PyConfig.isolated.

Py_LegacyWindowsFSEncodingFlag: Use PyPreConfig.legacy_windows_fs_encoding.

Py_LegacyWindowsStdioFlag: Use PyConfig.legacy_windows_stdio.

Py_FileSystemDefaultEncoding: Use PyConfig.filesystem_encoding.

Py_HasFileSystemDefaultEncoding: Use PyConfig.filesystem_encoding.

Py_FileSystemDefaultEncodeErrors: Use PyConfig.filesystem_errors.

Py_UTF8Mode: Use PyPreConfig.utf8_mode. (veja Py_PreInitialize())

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Remoção pendente no Python 3.15

A cópia empacotada do libmpdecimal.

The PyImport_ImportModuleNoBlock(): Use PyImport_ImportModule().

PyWeakref_GetObject() e PyWeakref_GET_OBJECT(): Use PyWeakref_GetRef().

O tipo Py_UNICODE e a macro Py_UNICODE_WIDE: Use wchar_t.

Funções de inicialização do Python

PySys_ResetWarnOptions(): Apague sys.warnoptions e warnings.filters.

Py_GetExecPrefix(): obtenha sys.base_exec_prefix e sys.exec_prefix.

Py_GetPath(): Obtenha sys.path.

Py_GetPrefix(): obtenha sys.base_prefix e sys.prefix.

Py_GetProgramFullPath(): Obtenha sys.executable.

Py_GetProgramName(): Obtenha sys.executable.

Py_GetPythonHome(): Obtenha PyConfig.home ou a variável de ambiente PYTHONHOME.

Remoção pendente em versões futuras

As APIs a seguir foram descontinuado e serão removidas, embora atualmente não haja uma data agendada para sua remoção.

Py_TPFLAGS_HAVE_FINALIZE: Desnecessária desde o Python 3.8.

PyErr_Fetch(): Use PyErr_GetRaisedException().

PyErr_NormalizeException(): Use PyErr_GetRaisedException().

PyErr_Restore(): Use PyErr_SetRaisedException().

PyModule_GetFilename(): Use PyModule_GetFilenameObject().

PyOS_AfterFork(): Use PyOS_AfterFork_Child().

PySlice_GetIndicesEx(): Use PySlice_Unpack() e PySlice_AdjustIndices().

PyUnicode_AsDecodedObject(): Use PyCodec_Decode().

PyUnicode_AsDecodedUnicode(): Use PyCodec_Decode().

PyUnicode_AsEncodedObject(): Use PyCodec_Encode().

PyUnicode_AsEncodedUnicode(): Use PyCodec_Encode().

PyUnicode_READY(): Desnecessário desde o Python 3.12

PyErr_Display(): Use PyErr_DisplayException().

_PyErr_ChainExceptions(): Use _PyErr_ChainExceptions1().

O membro PyBytesObject.ob_shash: chame PyObject_Hash().

O membro PyDictObject.ma_version_tag.

API do Thread Local Storage (TLS):

PyThread_create_key(): Use PyThread_tss_alloc().

PyThread_delete_key(): Use PyThread_tss_free().

PyThread_set_key_value(): Use PyThread_tss_set().

PyThread_get_key_value(): Use PyThread_tss_get().

PyThread_delete_key_value(): Use PyThread_tss_delete().

PyThread_ReInitTLS(): Desnecessário desde o Python 3.7.

Removidos

Remove o arquivo de cabeçalho token.h. Nunca houve nenhuma API C de tokenizador público. O arquivo de cabeçalho token.h foi projetado apenas para ser usado por internos do Python. (Contribuição de Victor Stinner em gh-92651 [https://github.com/python/cpython/issues/92651].)

As APIs Unicode legadas foram removidas. Veja a PEP 623 [https://peps.python.org/pep-0623/] para detalhes.

PyUnicode_WCHAR_KIND

PyUnicode_AS_UNICODE()

PyUnicode_AsUnicode()

PyUnicode_AsUnicodeAndSize()

PyUnicode_AS_DATA()

PyUnicode_FromUnicode()

PyUnicode_GET_SIZE()

PyUnicode_GetSize()

PyUnicode_GET_DATA_SIZE()

Remove a macro de função PyUnicode_InternImmortal(). (Contribuição de Victor Stinner em gh-85858 [https://github.com/python/cpython/issues/85858].)

O que há de novo no Python 3.11

Editor:

Pablo Galindo Salgado

Este artigo explica os novos recursos no Python 3.11, em comparação com 3.10. Python 3.11 foi lançado em 24 de outubro de 2022. Veja changelog para uma lista completa de mudanças.

Resumo – Destaques da versão

O Python 3.11 é entre 10-60% mais rápido que o Python 3.10. Em média, medimos uma aceleração de 1,25x no conjunto de benchmarks padrão. Veja CPython mais rápido para detalhes.

Novos recursos de sintaxe:

PEP 654: Grupos de exceção e except*

Novos recursos embutidos:

PEP 678: Exceções podem ser enriquecidas com notas

Novos módulos da biblioteca padrão:

PEP 680 [https://peps.python.org/pep-0680/]: tomllib — Suporte para analisar TOML [https://toml.io/] na Biblioteca Padrão

Melhorias no interpretador:

PEP 657: Localizações de erros refinadas em tracebacks

Nova opção de linha de comando -P e variável de ambiente PYTHONSAFEPATH para desabilitar automaticamente a anteposição automática de caminhos potencialmente inseguros para sys.path

Novos recursos de tipagem:

PEP 646: Genéricos variádicos

PEP 655: Marcando itens TypedDict individuais como obrigatórios ou não obrigatórios

PEP 673: Tipo Self

PEP 675: Tipo de string literal arbitrário

PEP 681: Transformações de classe de dados

Descontinuações, remoções e restrições importantes:

PEP 594 [https://peps.python.org/pep-0594/]: Muitos módulos legados de biblioteca padrão foram descontinuados e serão removidos no Python 3.13

PEP 624 [https://peps.python.org/pep-0624/]: APIs do codificador Py_UNICODE foram removidas

PEP 670 [https://peps.python.org/pep-0670/]: Macros convertidos em funções estáticas em linha

Novas funcionalidades

PEP 657: Localizações de erros refinadas em tracebacks

Ao imprimir tracebacks (situação da pilha de execução), o interpretador agora apontará para a expressão exata que causou o erro, em vez de apenas a linha. Por exemplo:

Traceback (most recent call last):
  File "distância.py", line 11, in <module>
    print(distância_de_manhattan(p1, p2))
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "distância.py", line 6, in distância_de_manhattan
    return abs(ponto_1.x - ponto_2.x) + abs(ponto_1.y - ponto_2.y)
                           ^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'x'

Versões anteriores do interpretador apontavam apenas para a linha, tornando ambíguo qual objeto era None. Esses erros aprimorados também podem ser úteis ao lidar com objetos dict profundamente aninhados e várias chamadas de função:

Traceback (most recent call last):
  File "consultar.py", line 37, in <module>
    mágica_aritmética('foo')
  File "consultar.py", line 18, in mágica_aritmética
    return adicionar_contagens(x) / 25
           ^^^^^^^^^^^^^
  File "consultar.py", line 24, in adicionar_contagens
    return 25 + consultar_usuário(usuário1) + consultar_usuário(usuário2)
                ^^^^^^^^^^^^^^^^^
  File "consultar.consultar", line 32, in consultar_usuário
    return 1 + consultar_contagem(db, resposta['a']['b']['c']['user'], tentar_novamente=True)
                                      ~~~~~~~~~~~~~~~~~~^^^^^
TypeError: 'NoneType' object is not subscriptable

Bem como expressões aritméticas complexas:

Traceback (most recent call last):
  File "cálculo.py", line 54, in <module>
    resultado = (x / y / z) * (a / b / c)
                 ~~~~~~^~~
ZeroDivisionError: division by zero

Além disso, as informações usadas pela funcionalidade de traceback aprimorado são disponibilizadas por meio de uma API geral, que pode ser usada para correlacionar instruções bytecode com a localização do código-fonte. Essas informações podem ser recuperadas usando:

O método codeobject.co_positions() no Python.

A função PyCode_Addr2Location() na API C.

Veja PEP 657 [https://peps.python.org/pep-0657/] para mais detalhes. (Contribuição de Pablo Galindo, Batuhan Taskaya e Ammar Askar em bpo-43950 [https://bugs.python.org/issue?@action=redirect&bpo=43950].)

Nota

Esse recurso requer o armazenamento de posições de coluna em Objetos código, o que pode resultar em um pequeno aumento no uso de memória do interpretador e no uso de disco para arquivos Python compilados. Para evitar armazenar as informações extras e desativar a exibição das informações extras de rastreamento, use a opção de linha de comando -X no_debug_ranges ou a variável de ambiente PYTHONNODEBUGRANGES.

PEP 654: Grupos de exceção e except*

PEP 654 [https://peps.python.org/pep-0654/] introduz recursos de linguagem que permitem que um programa levante e manipule várias exceções não relacionadas simultaneamente. Os tipos internos ExceptionGroup e BaseExceptionGroup tornam possível agrupar exceções e criá-las juntas, e a nova sintaxe except* generaliza except para corresponder a subgrupos de grupos de exceção.

Veja PEP 654 [https://peps.python.org/pep-0654/] para mais detalhes.

(Contribuição de Irit Katriel em bpo-45292 [https://bugs.python.org/issue?@action=redirect&bpo=45292]. PEP escrita por Irit Katriel, Yury Selivanov e Guido van Rossum.)

PEP 678: Exceções podem ser enriquecidas com notas

O método add_note() é adicionado a BaseException. Ele pode ser usado para enriquecer exceções com informações de contexto que não estão disponíveis no momento em que a exceção é gerada. As notas adicionadas aparecem no traceback padrão.

Veja PEP 678 [https://peps.python.org/pep-0678/] para mais detalhes.

(Contribuição de Irit Katriel em bpo-45607 [https://bugs.python.org/issue?@action=redirect&bpo=45607]. PEP escrita por Zac Hatfield-Dodds.)

Melhorias no inicializador py.exe do Windows

A cópia do Inicializador Python para Windows incluída no Python 3.11 foi significativamente atualizada. Ele agora oferece suporte à sintaxe de company/tag conforme definido em PEP 514 [https://peps.python.org/pep-0514/] usando o argumento -V:<company>/<tag> em vez do limitado -<major>.<minor>. Isso permite iniciar outras distribuições além de PythonCore, aquela hospedada em python.org [https://www.python.org].

Ao usar seletores -V:, tanto company quanto tag podem ser omitidos, mas todas as instalações serão pesquisadas. Por exemplo, -V:OtherPython/ selecionará a “melhor” tag registrada para OtherPython, enquanto -V:3.11 ou -V:/3.11 selecionará o “best” com a tag 3.11.

Ao usar os argumentos legados -<major>, -<major>.<minor>, -<major>-<bitness> ou -<major>.<minor>-<bitness>, todo o comportamento existente deve ser preservado de versões anteriores e somente lançamentos de PythonCore será selecionado. No entanto, o sufixo -64 agora implica “não 32 bits” (não necessariamente x86-64), pois existem várias plataformas de 64 bits suportadas. Tempos de execução de 32 bits são detectados verificando a tag do tempo de execução para um sufixo -32. Todas as versões do Python desde 3.5 incluíram isso em suas compilações de 32 bits.

Novos recursos relacionados a dicas de tipo

Esta seção cobre as principais mudanças que afetam as dicas de tipo da PEP 484 [https://peps.python.org/pep-0484/] e o módulo typing.

PEP 646: Genéricos variádicos

PEP 484 [https://peps.python.org/pep-0484/] introduzido anteriormente TypeVar, permitindo a criação de genéricos parametrizados com um único tipo. PEP 646 [https://peps.python.org/pep-0646/] adiciona TypeVarTuple, permitindo a parametrização com um número arbitrário de tipos. Em outras palavras, uma TypeVarTuple é uma variável do tipo variádico, habilitando genéricos variádicos.

Isso permite uma ampla variedade de casos de uso. Em particular, ele permite que o tipo de estruturas do tipo array em bibliotecas de computação numérica, como NumPy e TensorFlow, sejam parametrizadas com o array shape. Os verificadores de tipo estáticos agora poderão capturar bugs relacionados a formas no código que usa essas bibliotecas.

Veja PEP 646 [https://peps.python.org/pep-0646/] para mais detalhes.

(Contribuição de Matthew Rahtz em bpo-43224 [https://bugs.python.org/issue?@action=redirect&bpo=43224], com contribuições de Serhiy Storchaka e Jelle Zijlstra. PEP escrita por Mark Mendoza, Matthew Rahtz, Pradeep Kumar Srinivasan e Vincent Siles.)

PEP 655: Marcando itens TypedDict individuais como obrigatórios ou não obrigatórios

Required e NotRequired fornecem uma maneira direta de marcar se itens individuais em um TypedDict devem estar presentes. Anteriormente, isso só era possível usando herança.

Todos os campos ainda são obrigatórios por padrão, a menos que o parâmetro total seja definido como False, caso em que todos os campos ainda não são obrigatórios por padrão. Por exemplo, o seguinte especifica um TypedDict com uma chave obrigatória e uma chave não obrigatória:

class Filme(TypedDict):
   título: str
   ano: NotRequired[int]

m1: Filme = {"título": "Pantera Negra", "ano": 2018}  # OK
m2: Filme = {"título": "Star Wars"}  # OK (ano não é obrigatório)
m3: Filme = {"ano": 2022}  # ERRO (falta título, um campo obrigatório)

A seguinte definição é equivalente:

class File(TypedDict, total=False):
   título: Required[str]
   ano: int

Veja PEP 655 [https://peps.python.org/pep-0655/] para mais detalhes.

(Contribuição de David Foster e Jelle Zijlstra em bpo-47087 [https://bugs.python.org/issue?@action=redirect&bpo=47087]. PEP escrita por David Foster.)

PEP 673: Tipo Self

A nova anotação Self fornece uma maneira simples e intuitiva de anotar métodos que retornam uma instância de sua classe. Isso se comporta da mesma forma que a abordagem baseada em TypeVar especificada na PEP 484 [https://peps.python.org/pep-0484/#annotating-instance-and-class-methods], mas é mais concisa e fácil de seguir.

Casos de uso comuns incluem construtores alternativos fornecidos como classmethods e métodos __enter__() que retornam self:

class MinhaTrava:
    def __enter__(self) -> Self:
        self.trava()
        return self

    ...

class MeuInt:
    @classmethod
    def de_hex(cls, s: str) -> Self:
        return cls(int(s, 16))

    ...

Self também pode ser usado para anotar parâmetros de métodos ou atributos do mesmo tipo que sua classe de inclusão.

Veja PEP 673 [https://peps.python.org/pep-0673/] para mais detalhes.

(Contribuição de James Hilton-Balfe em bpo-46534 [https://bugs.python.org/issue?@action=redirect&bpo=46534]. PEP escrita por Pradeep Kumar Srinivasan e James Hilton-Balfe.)

PEP 675: Tipo de string literal arbitrário

A nova anotação LiteralString pode ser usada para indicar que um parâmetro de função pode ser de qualquer tipo de string literal. Isso permite que uma função aceite tipos de string literais arbitrários, bem como strings criadas a partir de outras strings literais. Os verificadores de tipo podem então impor que funções confidenciais, como aquelas que executam instruções SQL ou comandos de console, sejam chamadas apenas com argumentos estáticos, fornecendo proteção contra ataques de injeção.

Por exemplo, uma função de consulta SQL pode ser anotada da seguinte forma:

def faz_consulta(sql: LiteralString) -> ...
    ...

def chamador(
    string_arbitrária: str,
    string_consulta: LiteralString,
    nome_tabela: LiteralString,
) -> None:
    faz_consulta("SELECT * FROM students")       # ok
    faz_consulta(string_consulta)                # ok
    faz_consulta("SELECT * FROM " + nome_tabela) # ok
    faz_consulta(string_arbitrária)              # erro no verificador de tipo
    faz_consulta(                                # erro no verificador de tipo
        f"SELECT * FROM students WHERE name = {string_arbitrária}"
    )

Veja PEP 675 [https://peps.python.org/pep-0675/] para mais detalhes.

(Contribuição de Jelle Zijlstra em bpo-47088 [https://bugs.python.org/issue?@action=redirect&bpo=47088]. PEP escrita por Pradeep Kumar Srinivasan e Graham Bleaney.)

PEP 681: Transformações de classe de dados

dataclass_transform pode ser usado para decorar uma classe, metaclasse ou uma função que é um decorador. A presença de @dataclass_transform() informa a um verificador de tipo estático que o objeto decorado executa uma “mágica” de tempo de execução que transforma uma classe, dando a ela comportamentos semelhantes a dataclass.

Por exemplo:

# O decorador cria_modelo está definido por uma biblioteca.
@typing.dataclass_transform()
def cria_modelo(cls: Type[T]) -> Type[T]:
    cls.__init__ = ...
    cls.__eq__ = ...
    cls.__ne__ = ...
    return cls

# O decorador cria_modelo agora pode ser usado para criar novas classes de modelo:
@cria_modelo
class ModeloCliente:
    id: int
    nome: str

c = ModeloCliente(id=327, nome="Eric Idle")

Veja PEP 681 [https://peps.python.org/pep-0681/] para mais detalhes.

(Contribuição de Jelle Zijlstra em gh-91860 [https://github.com/python/cpython/issues/91860]. PEP escrita por Erik De Bonte e Eric Traut.)

PEP 563 pode não ser o futuro

PEP 563 [https://peps.python.org/pep-0563/] Avaliação adiada de anotações (a from __future__ import annotations instrução future) que foi originalmente planejada para lançamento no Python 3.10 foi colocada em espera indefinidamente. Veja esta mensagem do Conselho Diretor [https://mail.python.org/archives/list/python-dev@python.org/message/VIZEBX5EYMSYIJNDBF6DMUMZOCWHARSO/] para mais informações.

Outras mudanças na linguagem

Expressões de desempacotamento com asterisco agora podem ser usadas em instruções for. (Veja bpo-46725 [https://bugs.python.org/issue?@action=redirect&bpo=46725] para mais detalhes.)

Compreensões assíncronas agora são permitidas dentro de compreensões em funções assíncronas. As compreensões externas tornam-se implicitamente assíncronas neste caso. (Contribuição de Serhiy Storchaka em bpo-33346 [https://bugs.python.org/issue?@action=redirect&bpo=33346].)

Uma exceção TypeError agora é levantada em vez de uma AttributeError em instruções with e contextlib.ExitStack.enter_context() para objetos que não oferecem suporte ao protocolo de gerenciador de contexto, e em instruções async with e contextlib.AsyncExitStack.enter_async_context() para objetos que não oferecem suporte ao protocolo de gerenciador de contexto assíncrono. (Contribuição de Serhiy Storchaka em bpo-12022 [https://bugs.python.org/issue?@action=redirect&bpo=12022] e bpo-44471 [https://bugs.python.org/issue?@action=redirect&bpo=44471].)

Adicionado object.__getstate__(), que fornece a implementação padrão do método __getstate__(). Fazer copy e pickle de instâncias de subclasses de tipos embutidos bytearray, set, frozenset, collections.OrderedDict, collections.deque, weakref.WeakSet e datetime.tzinfo agora copia e serializa com pickle atributos de instância implementados como slots. Essa mudança tem um efeito colateral não intencional: ela atrapalha uma pequena minoria de projetos Python existentes que não esperavam que object.__getstate__() existisse. Consulte os comentários posteriores em gh-70766 [https://github.com/python/cpython/issues/70766] para discussões sobre quais soluções alternativas esse código pode precisar. (Contribuição de Serhiy Storchaka em bpo-26579 [https://bugs.python.org/issue?@action=redirect&bpo=26579].)

Adicionada uma opção de linha de comando -P e uma variável de ambiente PYTHONSAFEPATH, que desativa o prefixo automático para sys.path do diretório do script ao executar um script ou o diretório atual ao usar -c e -m. Isso garante que apenas os módulos stdlib e instalados sejam escolhidos por import, e evita sombreamento involuntário ou mal-intencionado de módulos com aqueles em um diretório local (e normalmente gravável pelo usuário). (Contribuição de Victor Stinner em gh-57684 [https://github.com/python/cpython/issues/57684].)

Uma opção "z" foi adicionada ao Minilinguagem de especificação de formato que força zero negativo para positivo após o arredondamento para a precisão do formato. Veja PEP 682 [https://peps.python.org/pep-0682/] para mais detalhes. (Contribuição de John Belmonte em gh-90153 [https://github.com/python/cpython/issues/90153].)

Bytes não são mais aceitos em sys.path. O suporte quebrou em algum momento entre o Python 3.2 e o 3.6, sem que ninguém percebesse até o lançamento do Python 3.10.0. Além disso, trazer de volta o suporte seria problemático devido às interações entre -b e sys.path_importer_cache quando há uma mistura de chaves str e bytes. (Contribuição de Thomas Grainger em gh-91181 [https://github.com/python/cpython/issues/91181].)

Outras mudanças na implementação do CPython

Os métodos especiais __complex__() para complex e __bytes__() para bytes são implementados para oferecer suporte aos protocolos typing.SupportsComplex e typing.SupportsBytes. (Contribuição de Mark Dickinson e Donghee Na em bpo-24234 [https://bugs.python.org/issue?@action=redirect&bpo=24234].)

siphash13 foi adicionado como um novo algoritmo de hash interno. Ele tem propriedades de segurança semelhantes ao siphash24, mas é um pouco mais rápido para entradas longas. str, bytes e alguns outros tipos agora o usam como o algoritmo padrão para hash(). Arquivos .pyc baseados em hash da PEP 552 [https://peps.python.org/pep-0552/] agora usam siphash13 também. (Contribuição de Inada Naoki em bpo-29410 [https://bugs.python.org/issue?@action=redirect&bpo=29410].)

Quando uma exceção ativa é reativada por uma instrução raise sem parâmetros, o traceback anexado a essa exceção agora é sempre sys.exc_info()[1].__traceback__. Isso significa que as alterações feitas no traceback na cláusula except atual são refletidas na exceção levantada novamente. (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

A representação do estado do interpretador de exceções tratadas (também conhecidas como exc_info ou _PyErr_StackItem) agora tem apenas o campo exc_value; exc_type e exc_traceback foram removidos, pois podem ser derivados de exc_value. (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

Uma nova opção de linha de comando, AppendPath, foi adicionada para o instalador do Windows. Ela se comporta de maneira semelhante ao PrependPath, mas anexa os diretórios de instalação e scripts em vez de antecedê-los. (Contribuição de Bastian Neuburger em bpo-44934 [https://bugs.python.org/issue?@action=redirect&bpo=44934].)

O campo PyConfig.module_search_paths_set agora deve ser definido como 1 para a inicialização usar PyConfig.module_search_paths para inicializar sys.path. Caso contrário, a inicialização irá recalcular o caminho e substituir quaisquer valores adicionados a module_search_paths.

A saída da opção --help agora cabe em 50 linhas/80 colunas. Informações sobre as variáveis de ambiente do Python e a opção -X agora estão disponíveis usando os respectivos sinalizadores --help-env e --help-xoptions, e com o novo --help-all. (Contribuição de Éric Araujo em bpo-46142 [https://bugs.python.org/issue?@action=redirect&bpo=46142].)

Converter entre int e str em bases diferentes de 2 (binário), 4, 8 (octal), 16 (hexadecimal) ou 32 como base 10 (decimal) agora levanta uma exceção ValueError se o número de dígitos em forma de string estiver acima de um limite para evitar possíveis ataques de negação de serviço devido à complexidade algorítmica. Esta é uma mitigação para CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735]. Este limite pode ser configurado ou desabilitado por variável de ambiente, sinalizador de linha de comando ou APIs de sys. Veja a documentação de limitação de comprimento de conversão de string inteira. O limite padrão é de 4300 dígitos em forma de string.

Novos módulos

tomllib: Para analisar TOML [https://toml.io/]. Veja PEP 680 [https://peps.python.org/pep-0680/] para mais detalhes. (Contribuição de Taneli Hukkinen em bpo-40059 [https://bugs.python.org/issue?@action=redirect&bpo=40059].)

wsgiref.types: Tipos específicos de WSGI [https://peps.python.org/pep-3333/] para verificação de tipo estático. (Contribuição de Sebastian Rittau em bpo-42012 [https://bugs.python.org/issue?@action=redirect&bpo=42012].)

Módulos melhorados

asyncio

Adicionada a classe TaskGroup, um assíncrono gerenciador de contexto contendo um grupo de tarefas que irá esperar por todas elas ao sair. Para código novo, é recomendado usar create_task() e gather() diretamente. (Contribuição de Yury Selivanov e outros em gh-90908 [https://github.com/python/cpython/issues/90908].)

Adicionado timeout(), um gerenciador de contexto assíncrono para definir um tempo limite em operações assíncronas. Para código novo, é recomendado usar wait_for() diretamente. (Contribuição de Andrew Svetlov em gh-90927 [https://github.com/python/cpython/issues/90927].)

Adicionada a classe Runner, que expõe o maquinário usado por run(). (Contribuição de Andrew Svetlov em gh-91218 [https://github.com/python/cpython/issues/91218].)

Adicionada a classe Barrier às primitivas de sincronização na biblioteca asyncio, e a exceção BrokenBarrierError relacionada. (Contribuição de Yves Duprat e Andrew Svetlov em gh-87518 [https://github.com/python/cpython/issues/87518].)

Adicionado o argumento nomeado all_errors para asyncio.loop.create_connection() para que vários erros de conexão possam ser levantados como ExceptionGroup.

Adicionado o método asyncio.StreamWriter.start_tls() para atualizar conexões baseadas em fluxo existentes para TLS. (Contribuição de Ian Good em bpo-34975 [https://bugs.python.org/issue?@action=redirect&bpo=34975].)

Adicionadas funções de soquete de datagrama raw ao laço de eventos: sock_sendto(), sock_recvfrom() e sock_recvfrom_into(). Eles têm implementações em SelectorEventLoop e ProactorEventLoop. (Contribuição de Alex Grönholm em bpo-46805 [https://bugs.python.org/issue?@action=redirect&bpo=46805].)

Adicionados os métodos cancelling() e uncancel() a Task. Estes são destinados principalmente para uso interno, notadamente por TaskGroup.

contextlib

Adicionado gerenciador de contexto não paralelo seguro chdir() para alterar o diretório de trabalho atual e depois restaurá-lo na saída. Wrapper simples em torno de chdir(). (Contribuição de Filipe Laíns em bpo-25625 [https://bugs.python.org/issue?@action=redirect&bpo=25625])

dataclasses

Alterar a verificação de mutabilidade padrão do campo, permitindo apenas padrões que são hasheáveis em vez de qualquer objeto que não seja uma instância de dict, list ou set. (Contribuição de Eric V. Smith em bpo-44674 [https://bugs.python.org/issue?@action=redirect&bpo=44674].)

datetime

Adicione datetime.UTC, um apelido de conveniência para datetime.timezone.utc. (Contribuição de Kabir Kwatra em gh-91973 [https://github.com/python/cpython/issues/91973].)

datetime.date.fromisoformat(), datetime.time.fromisoformat() e datetime.datetime.fromisoformat() agora podem ser usados para analisar a maioria dos formatos ISO 8601 (exceto aqueles que têm suporte a horas fracionárias e minutos). (Contribuição de Paul Ganssle em gh-80010 [https://github.com/python/cpython/issues/80010].)

enum

Renomeado EnumMeta para EnumType (EnumMeta mantido como um apelido).

Adicionada StrEnum, com membros que podem ser usados como (e devem ser) strings.

Adicionada ReprEnum, que apenas modifica o __repr__() dos membros enquanto retorna seus valores literais (ao invés de nomes) para __str__() e __format__() (usado por str(), format() e f-strings).

Alterado Enum.__format__() (o padrão para format(), str.format() e f-strings) para sempre produz o mesmo resultado que Enum.__str__(): para enums herdados de ReprEnum será o valor do membro; para todos os outros enums, será o enum e o nome do membro (por exemplo, Color.RED).

Adicionado um novo parâmetro de classe boundary para enums Flag e FlagBoundary com suas opções, para controlar como lidar com valores de sinalizadores fora do intervalo.

Adicionado o decorador de enum verify() e o enum EnumCheck com suas opções, para verificar classes de enum em relação a várias restrições específicas.

Adicionados os decoradores member() e nonmember(), para garantir que o objeto decorado seja/não seja convertido em um membro enum.

Adicionado o decorador property(), que funciona como property() exceto para enums. Use isso em vez de types.DynamicClassAttribute().

Adicionado o decorador enum global_enum(), que ajusta __repr__() e __str__() para mostrar valores como membros de seu módulo em vez da classe enum. Por exemplo, 're.ASCII' para o membro ASCII de re.RegexFlag em vez de 'RegexFlag.ASCII'.

Aprimorada Flag para ter suporte a len(), iteração e in/not in em seus membros. Por exemplo, o seguinte agora funciona: len(AFlag(3)) == 2 and list(AFlag(3)) == (AFlag.ONE, AFlag.TWO)

Alterada Enum e Flag para que os membros sejam agora definidos antes de __init_subclass__() ser chamado; dir() agora inclui métodos, etc., de tipos de dados mistos.

Alterada Flag para considerar apenas valores primários (potência de dois) canônicos enquanto valores compostos (3, 6, 10, etc.) são considerados apelidos; bandeiras invertidas são coagidas ao seu equivalente positivo.

fcntl

No FreeBSD, os sinalizadores F_DUP2FD e F_DUP2FD_CLOEXEC respectivamente são suportados, o primeiro é igual ao uso de dup2 enquanto o último define o sinalizador FD_CLOEXEC adicionalmente.

fractions

Suporte à inicialização no estilo PEP 515 [https://peps.python.org/pep-0515/] de Fraction da string. (Contribuição de Sergey B Kirpichev em bpo-44258 [https://bugs.python.org/issue?@action=redirect&bpo=44258].)

Fraction agora implementa um método __int__, para que uma verificação de isinstance(some_fraction, typing.SupportsInt) seja aprovada. (Contribuição de Mark Dickinson em bpo-44547 [https://bugs.python.org/issue?@action=redirect&bpo=44547].)

functools

functools.singledispatch() agora suporta types.UnionType e typing.Union como anotações para o argumento de dispatch.:

>>> from functools import singledispatch
>>> @singledispatch
... def fun(arg, verboso=False):
...     if verboso:
...         print("Deixe-me apenas dizer,", end=" ")
...     print(arg)
...
>>> @fun.register
... def _(arg: int | float, verboso=False):
...     if verboso:
...         print("Força nos números, não é?", end=" ")
...     print(arg)
...
>>> from typing import Union
>>> @fun.register
... def _(arg: Union[list, set], verbose=False):
...     if verboso:
...         print("Enumere isso:")
...     for i, elem in enumerate(arg):
...         print(i, elem)
...

(Contribuição de Yurii Karabas na bpo-46014 [https://bugs.python.org/issue?@action=redirect&bpo=46014].)

gzip

A função gzip.compress() agora é mais rápida quando usada com o argumento mtime=0, pois delega a compactação inteiramente para uma única operação zlib.compress(). Há um efeito colateral dessa mudança: o cabeçalho do arquivo gzip contém um byte de “OS” em seu cabeçalho. Tradicionalmente, isso sempre foi definido com um valor de 255 representando “desconhecido” pelo módulo gzip. Agora, ao usar compress() com mtime=0, ele pode ser definido com um valor diferente pela biblioteca zlib C subjacente à qual o Python estava vinculado. (Veja gh-112346 [https://github.com/python/cpython/issues/112346] para detalhes sobre o efeito colateral.)

hashlib

hashlib.blake2b() e hashlib.blake2s() agora preferem libb2 [https://www.blake2.net/] em vez da cópia do Python. (Contribuição de Christian Heimes em bpo-47095 [https://bugs.python.org/issue?@action=redirect&bpo=47095].)

O módulo interno _sha3 com algoritmos SHA3 e SHAKE agora usa tiny_sha3 em vez do Keccak Code Package para reduzir o código e o tamanho binário. O módulo hashlib prefere implementações otimizadas de SHA3 e SHAKE do OpenSSL. A alteração afeta apenas instalações sem suporte a OpenSSL. (Contribuição de Christian Heimes em bpo-47098 [https://bugs.python.org/issue?@action=redirect&bpo=47098].)

Adiciona hashlib.file_digest(), uma função auxiliar para hash eficiente de arquivos ou objetos semelhantes a arquivos. (Contribuição de Christian Heimes em gh-89313 [https://github.com/python/cpython/issues/89313].)

IDLE e idlelib

Aplica realce de sintaxe em arquivos .pyi. (Contribuição de Alex Waygood e Terry Jan Reedy em bpo-45447 [https://bugs.python.org/issue?@action=redirect&bpo=45447].)

Inclui prompts ao salvar o console com entradas e saídas. (Contribuição de Terry Jan Reedy em gh-95191 [https://github.com/python/cpython/issues/95191].)

inspect

Adiciona getmembers_static() para retornar todos os membros sem acionar a pesquisa dinâmica por meio do protocolo descritor. (Contribuição de Weipeng Hong em bpo-30533 [https://bugs.python.org/issue?@action=redirect&bpo=30533].)

Adiciona ismethodwrapper() para verificar se o tipo de um objeto é um MethodWrapperType. (Contribuição de Hakan Çelik em bpo-29418 [https://bugs.python.org/issue?@action=redirect&bpo=29418].)

Altera as funções relacionadas a quadros no módulo inspect para retornar novas instâncias de classe FrameInfo e Traceback (compatíveis com as anteriores interfaces do tipo tupla nomeada) que inclui as informações de posição estendidas PEP 657 [https://peps.python.org/pep-0657/] (número da linha final, coluna e coluna final). As funções afetadas são:

inspect.getframeinfo()

inspect.getouterframes()

inspect.getinnerframes(),

inspect.stack()

inspect.trace()

(Contribuição por Pablo Galindo em gh-88116 [https://github.com/python/cpython/issues/88116].)

locale

Adiciona locale.getencoding() para obter a codificação local atual. É semelhante a locale.getpreferredencoding(False), mas ignora o Modo UTF-8 do Python.

logging

Adicionada getLevelNamesMapping() para retornar um mapeamento de nomes de nível de registro (por exemplo, 'CRITICAL') para os valores de seus Logging Levels correspondentes (por exemplo, 50, por padrão ). (Contribuição de Andrei Kulakovin em gh-88024 [https://github.com/python/cpython/issues/88024].)

Adicionado um método createSocket() a SysLogHandler, para corresponder a SocketHandler.createSocket() . Ele é chamado automaticamente durante a inicialização do manipulador e ao emitir um evento, se não houver nenhum soquete ativo. (Contribuição de Kirill Pinchuk em gh-88457 [https://github.com/python/cpython/issues/88457].)

math

Adiciona math.exp2(): retorna 2 elevado à potência de x. (Contribuição de Gideon Mitchell em bpo-45917 [https://bugs.python.org/issue?@action=redirect&bpo=45917].)

Adiciona math.cbrt(): retorna a raiz cúbica de x. (Contribuição de Ajith Ramachandran em bpo-44357 [https://bugs.python.org/issue?@action=redirect&bpo=44357].)

O comportamento de dois casos excepcionais math.pow() foi alterado, para consistência com a especificação IEEE 754. As operações math.pow(0.0, -math.inf) e math.pow(-0.0, -math.inf) agora retornam inf. Anteriormente eles levantavam ValueError. (Contribuição de Mark Dickinson em bpo-44339 [https://bugs.python.org/issue?@action=redirect&bpo=44339].)

O valor math.nan agora está sempre disponível. (Contribuição de Victor Stinner em bpo-46917 [https://bugs.python.org/issue?@action=redirect&bpo=46917].)

operator

Uma nova função operator.call foi adicionada, tal que operator.call(obj, *args, **kwargs) == obj(*args, **kwargs) (Contribuição de Antony Lee em bpo-44019 [https://bugs.python.org/issue?@action=redirect&bpo=44019].)

os

No Windows, os.urandom() agora usa BCryptGenRandom(), em vez de CryptGenRandom() que foi descontinuado. (Contribuição de Dong-hee Na em bpo-44611 [https://bugs.python.org/issue?@action=redirect&bpo=44611].)

pathlib

glob() e rglob() retornam apenas diretórios se pattern terminar com um separador de componentes de nome de caminho: sep ou altsep. (Contribuição de Eisuke Kawasima em bpo-22276 [https://bugs.python.org/issue?@action=redirect&bpo=22276] e bpo-33392 [https://bugs.python.org/issue?@action=redirect&bpo=33392].)

re

Agrupamento atômico ((?>...)) e quantificadores possessivos (*+, ++, ?+, {m,n}+ ) agora são suportados em expressões regulares. (Contribuição de Jeffrey C. Jacobs e Serhiy Storchaka em bpo-433030 [https://bugs.python.org/issue?@action=redirect&bpo=433030].)

shutil

Adicione o parâmetro opcional dir_fd em shutil.rmtree(). (Contribuição de Serhiy Storchaka em bpo-46245 [https://bugs.python.org/issue?@action=redirect&bpo=46245].)

socket

Adiciona suporte ao soquete CAN para NetBSD. (Contribuição de Thomas Klausner em bpo-30512 [https://bugs.python.org/issue?@action=redirect&bpo=30512].)

create_connection() tem a opção de levantar, em caso de falha na conexão, um ExceptionGroup contendo todos os erros ao invés de somente levantar o último erro. (Contribuição de Irit Katriel em bpo-29980 [https://bugs.python.org/issue?@action=redirect&bpo=29980].)

sqlite3

Agora você pode desabilitar o autorizador passando None para set_authorizer(). (Contribuição de Erlend E. Aasland em bpo-44491 [https://bugs.python.org/issue?@action=redirect&bpo=44491].)

O nome do agrupamento create_collation() agora pode conter qualquer caractere Unicode. Nomes de agrupamento com caracteres inválidos agora levantar UnicodeEncodeError em vez de sqlite3.ProgrammingError. (Contribuição de Erlend E. Aasland em bpo-44688 [https://bugs.python.org/issue?@action=redirect&bpo=44688].)

As exceções sqlite3 agora incluem o código de erro estendido SQLite como sqlite_errorcode e o nome do erro SQLite como sqlite_errorname. (Contribuição de Aviv Palivoda, Daniel Shahaf e Erlend E. Aasland em bpo-16379 [https://bugs.python.org/issue?@action=redirect&bpo=16379] e bpo-24139 [https://bugs.python.org/issue?@action=redirect&bpo=24139].)

Adiciona setlimit() e getlimit() a sqlite3.Connection para definir e obter limites SQLite por base de conexão. (Contribuição de Erlend E. Aasland em bpo-45243 [https://bugs.python.org/issue?@action=redirect&bpo=45243].)

sqlite3 agora define sqlite3.threadsafety com base no modo de threading padrão com o qual a biblioteca SQLite subjacente foi compilada. (Contribuição de Erlend E. Aasland em bpo-45613 [https://bugs.python.org/issue?@action=redirect&bpo=45613].)

O retorno de chamadas C sqlite3 agora usam exceções que não podem ser levantadas se os rastreamentos de retorno de chamada estiverem habilitados. Os usuários agora podem registrar um unraisable hook handler para melhorar sua experiência de depuração. (Contribuição de Erlend E. Aasland em bpo-45828 [https://bugs.python.org/issue?@action=redirect&bpo=45828].)

A busca por rollback não levanta mais InterfaceError. Em vez disso, deixamos para a biblioteca SQLite lidar com esses casos. (Contribuição de Erlend E. Aasland em bpo-44092 [https://bugs.python.org/issue?@action=redirect&bpo=44092].)

Adiciona serialize() e deserialize() a sqlite3.Connection para serializar e desserializar bancos de dados. (Contribuição de Erlend E. Aasland em bpo-41930 [https://bugs.python.org/issue?@action=redirect&bpo=41930].)

Adiciona create_window_function() a sqlite3.Connection para criar funções de janela agregadas. (Contribuição de Erlend E. Aasland em bpo-34916 [https://bugs.python.org/issue?@action=redirect&bpo=34916].)

Adiciona blobopen() a sqlite3.Connection. sqlite3.Blob permite operações de E/S incrementais em blobs. (Contribuição de Aviv Palivoda e Erlend E. Aasland em bpo-24905 [https://bugs.python.org/issue?@action=redirect&bpo=24905].)

string

Adiciona get_identifiers() e is_valid() a string.Template, que respectivamente retornam todos os marcadores de posição válidos e se quaisquer marcadores de posição inválidos estão presentes. (Contribuição de Ben Kehoe em gh-90465 [https://github.com/python/cpython/issues/90465].)

sys

sys.exc_info() agora deriva os campos type e traceback do value (a instância de exceção) de forma que quanto uma exceção é modificada enquanto está sendo tratada, são refletidos nos resultados de chamadas subsequentes para exc_info(). (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

Adiciona sys.exception() que retorna a instância de exceção ativa (equivalente a sys.exc_info()[1]). (Contribuição de Irit Katriel em bpo-46328 [https://bugs.python.org/issue?@action=redirect&bpo=46328].)

Adiciona o sinalizador sys.flags.safe_path. (Contribuição de Victor Stinner em gh-57684 [https://github.com/python/cpython/issues/57684].)

sysconfig

Três novos esquemas de instalação (posix_venv, nt_venv e venv) foram adicionados e são usados quando o Python cria novos ambientes virtuais ou quando está sendo executado a partir de um ambiente virtual. Os dois primeiros esquemas (posix_venv e nt_venv) são específicos do SO para não Windows e Windows, o venv é essencialmente um apelido para um deles de acordo com o SO em que o Python é executado. Isso é útil para distribuidores downstream que modificam sysconfig.get_preferred_scheme(). O código de terceiros que cria novos ambientes virtuais deve usar o novo esquema de instalação venv para determinar os caminhos, assim como venv. (Contribuição de Miro Hrončok em bpo-45413 [https://bugs.python.org/issue?@action=redirect&bpo=45413].)

tempfile

Objetos SpooledTemporaryFile agora implementam totalmente os métodos de io.BufferedIOBase ou io.TextIOBase (dependendo do modo de arquivo). Isso permite que eles funcionem corretamente com APIs que esperam objetos semelhantes a arquivos, como módulos de compactação. (Contribuição de Carey Metcalfe em gh-70363 [https://github.com/python/cpython/issues/70363].)

threading

No Unix, se a função sem_clockwait() estiver disponível na biblioteca C (glibc 2.30 e mais recente), o método threading.Lock.acquire() agora usa o relógio monotônico (time.CLOCK_MONOTONIC) para o tempo limite, em vez de usar o relógio do sistema (time.CLOCK_REALTIME), para não ser afetado pelas alterações do relógio do sistema. (Contribuição de Victor Stinner em bpo-41710 [https://bugs.python.org/issue?@action=redirect&bpo=41710].)

time

No Unix, time.sleep() agora usa a função clock_nanosleep() ou nanosleep(), se disponível, que tem uma resolução de 1 nanossegundo (10⁻⁹ segundos), em vez de usar select() que tem uma resolução de 1 microssegundo (10⁻⁶ segundos). (Contribuição de Benjamin Szőke e Victor Stinner em bpo-21302 [https://bugs.python.org/issue?@action=redirect&bpo=21302].)

No Windows 8.1 e mais recente, time.sleep() agora usa um temporizador aguardável baseado em temporizadores de alta resolução [https://docs.microsoft.com/en-us/windows-hardware/drivers/kernel/high-resolution-timers] que tem uma resolução de 100 nanossegundos (10⁻⁷ segundos). Anteriormente, tinha uma resolução de 1 milissegundo (10⁻³ segundos). (Contribuição de Benjamin Szőke, Donghee Na, Eryk Sun e Victor Stinner em bpo-21302 [https://bugs.python.org/issue?@action=redirect&bpo=21302] e bpo-45429 [https://bugs.python.org/issue?@action=redirect&bpo=45429].)

tkinter

Adicionado o método info_patchlevel() que retorna a versão exata da biblioteca Tcl como uma tupla nomeada semelhante a sys.version_info. (Contribuição de Serhiy Storchaka em gh-91827 [https://github.com/python/cpython/issues/91827].)

traceback

Adiciona traceback.StackSummary.format_frame_summary() para permitir que os usuários substituam quais quadros aparecem no traceback e como eles são formatados. (Contribuição de Ammar Askar em bpo-44569 [https://bugs.python.org/issue?@action=redirect&bpo=44569].)

Adiciona traceback.TracebackException.print(), que imprime a instância formatada TracebackException em um arquivo. (Contribuição de Irit Katriel em bpo-33809 [https://bugs.python.org/issue?@action=redirect&bpo=33809].)

typing

Para alterações principais, veja Novos recursos relacionados a dicas de tipo.

Adiciona typing.assert_never() e typing.Never. typing.assert_never() é útil para pedir a um verificador de tipo para confirmar que uma linha de código não está acessível. Em tempo de execução, ele levanta uma exceção AssertionError. (Contribuição de Jelle Zijlstra em gh-90633 [https://github.com/python/cpython/issues/90633].)

Adiciona typing.reveal_type(). Isso é útil para perguntar a um verificador de tipo qual tipo ele inferiu para uma determinada expressão. Em tempo de execução imprime o tipo do valor recebido. (Contribuição de Jelle Zijlstra em gh-90572 [https://github.com/python/cpython/issues/90572].)

Adicione typing.assert_type(). Isso é útil para solicitar a um verificador de tipos que confirme se o tipo que ele inferiu para uma determinada expressão corresponde ao tipo fornecido. Em tempo de execução ele simplesmente retorna o valor recebido. (Contribuição de Jelle Zijlstra em gh-90638 [https://github.com/python/cpython/issues/90638].)

Os tipos typing.TypedDict agora podem ser genéricos. (Contribuição de Samodya Abeysiriwardane em gh-89026 [https://github.com/python/cpython/issues/89026].)

Os tipos NamedTuple agora podem ser genéricos. (Contribuição de Serhiy Storchaka em bpo-43923 [https://bugs.python.org/issue?@action=redirect&bpo=43923].)

Permite criar subclasse de typing.Any. Isso é útil para evitar erros de verificador de tipo relacionados a classes altamente dinâmicas, como mocks. (Contribuição de Shantanu Jain em gh-91154 [https://github.com/python/cpython/issues/91154].)

O decorador typing.final() agora define o __final__ atribuído no objeto decorado. (Contribuição de Jelle Zijlstra em gh-90500 [https://github.com/python/cpython/issues/90500].)

A função typing.get_overloads() pode ser usada para introspecção das sobrecargas de uma função. typing.clear_overloads() pode ser usado para limpar todas as sobrecargas registradas de uma função. (Contribuição de Jelle Zijlstra em gh-89263 [https://github.com/python/cpython/issues/89263].)

O método __init__() das subclasses Protocol agora é preservado. (Contribuição de Adrian Garcia Badarasco em gh-88970 [https://github.com/python/cpython/issues/88970].)

A representação de tipos de tupla vazias (Tuple[()]) está simplificada. Isso afeta a introspecção, por exemplo. get_args(Tuple[()]) agora é avaliado como () em vez de ((),). (Contribuição de Serhiy Storchaka em gh-91137 [https://github.com/python/cpython/issues/91137].)

Afrouxa os requisitos de tempo de execução para anotações de tipo removendo a verificação chamável na função privada typing._type_check. (Contribuição de Gregory Beauregard em gh-90802 [https://github.com/python/cpython/issues/90802].)

typing.get_type_hints() agora tem suporte à avaliação de strings como referências diretas em apelidos genéricos da PEP 585. (Contribuição de Niklas Rosenstein em gh-85542 [https://github.com/python/cpython/issues/85542].)

typing.get_type_hints() não adiciona mais Optional aos parâmetros com None como padrão. (Contribuição de Nikita Sobolev em gh-90353 [https://github.com/python/cpython/issues/90353].)

typing.get_type_hints() agora tem suporte à avaliação de anotações ClassVar de strings simples. (Contribuição de Gregory Beauregard em gh-90711 [https://github.com/python/cpython/issues/90711].)

typing.no_type_check() não modifica mais classes e funções externas. Agora também marca corretamente os métodos de classe para não serem verificados quanto ao tipo. (Contribuição de Nikita Sobolev em gh-90729 [https://github.com/python/cpython/issues/90729].)

unicodedata

O banco de dados Unicode foi atualizado para a versão 14.0.0. (Contribuição de Benjamin Peterson em bpo-45190 [https://bugs.python.org/issue?@action=redirect&bpo=45190]).

unittest

Adicionados os métodos enterContext() e enterClassContext() da classe TestCase, método enterAsyncContext() da classe IsolatedAsyncioTestCase e a função unittest.enterModuleContext(). (Contribuição de Serhiy Storchaka em bpo-45046 [https://bugs.python.org/issue?@action=redirect&bpo=45046].)

venv

Quando novos ambientes virtuais Python são criados, o esquema de instalação do sysconfig do venv é usado para determinar os caminhos dentro do ambiente. Quando o Python é executado em um ambiente virtual, o mesmo esquema de instalação é o padrão. Isso significa que os distribuidores downstream podem alterar o esquema de instalação padrão do sysconfig sem alterar o comportamento dos ambientes virtuais. O código de terceiros que também cria novos ambientes virtuais deve fazer o mesmo. (Contribuição de Miro Hrončok em bpo-45413 [https://bugs.python.org/issue?@action=redirect&bpo=45413].)

warnings

warnings.catch_warnings() agora aceita argumentos para warnings.simplefilter(), fornecendo uma maneira mais concisa de ignorar localmente avisos ou convertê-los em erros. (Contribuição de Zac Hatfield-Dodds em bpo-47074 [https://bugs.python.org/issue?@action=redirect&bpo=47074].)

zipfile

Adicionado suporte para especificar a codificação de nome de membro para leitura de metadados em um diretório ZipFile e cabeçalhos de arquivo. (Contribuição de Stephen J. Turnbull e Serhiy Storchaka em bpo-28080 [https://bugs.python.org/issue?@action=redirect&bpo=28080].)

Adicionado ZipFile.mkdir() para criar novos diretórios dentro de arquivos ZIP. (Contribuição de Sam Ezeh em gh-49083 [https://github.com/python/cpython/issues/49083].)

Adicionado stem, suffix e suffixes a zipfile.Path. (Contribuição de Miguel Brito em gh-88261 [https://github.com/python/cpython/issues/88261].)

Otimizações

Esta seção cobre otimizações específicas independentes do projeto CPython mais rápido, que é abordado em sua própria seção.

O compilador agora otimiza a formatação simples de % no estilo printf em literais de string contendo apenas os códigos de formato %s, %r e %a e a torna tão rápida quanto uma expressão f-string correspondente. (Contribuição de Serhiy Storchaka em bpo-28307 [https://bugs.python.org/issue?@action=redirect&bpo=28307].)

A divisão inteira (//) é melhor ajustada para otimização por compiladores. Agora é cerca de 20% mais rápido em x86-64 ao dividir um int por um valor menor que 2**30. (Contribuição de Gregory P. Smith e Tim Peters em gh-90564 [https://github.com/python/cpython/issues/90564].)

sum() agora é quase 30% mais rápida para inteiros menores que 2**30. (Contribuição de Stefan Behnel em gh-68264 [https://github.com/python/cpython/issues/68264].)

O redimensionamento de listas é simplificado para o caso comum, acelerando list.append() em ≈15% e compreensão de listas em até 20-30% (Contribuição de Dennis Sweeney em :gh: 91165.)

Dicionários não armazenam valores de hash quando todas as chaves são objetos Unicode, diminuindo o tamanho de dict. Por exemplo, sys.getsizeof(dict.fromkeys("abcdefg")) foi reduzido de 352 bytes para 272 bytes (23% menor) em plataformas de 64 bits. (Contribuição de Inada Naoki em bpo-46845 [https://bugs.python.org/issue?@action=redirect&bpo=46845].)

Usar asyncio.DatagramProtocol agora é muito mais rápido ao transferir arquivos grandes por UDP, com velocidades mais de 100 vezes maiores para um arquivo de ≈60 MiB. (Contribuição de msoxzw em gh-91487 [https://github.com/python/cpython/issues/91487].)

As funções comb() e perm() de math são agora ≈10 vezes mais rápidas para argumentos grandes (com uma aceleração maior para k maiores). (Contribuição de Serhiy Storchaka em bpo-37295 [https://bugs.python.org/issue?@action=redirect&bpo=37295].)

As funções mean(), variance() e stdev() do statistics agora consomem iteradores em uma passagem em vez de convertê-los em uma list primeiro. Isso é duas vezes mais rápido e pode economizar memória de forma substancial. (Contribuição de Raymond Hettinger em gh-90415 [https://github.com/python/cpython/issues/90415].)

unicodedata.normalize() agora normaliza strings de puro ASCII em tempo constante. (Contribuição de Dong-hee Na em bpo-44987 [https://bugs.python.org/issue?@action=redirect&bpo=44987].)

CPython mais rápido

O CPython 3.11 é em média 25% mais rápido [https://github.com/faster-cpython/ideas#published-results] que o CPython 3.10 medido com o conjunto de ferramentas de benchmarks pyperformance [https://github.com/python/pyperformance], quando compilado com GCC no Ubuntu Linux. Dependendo da sua carga de trabalho, a aceleração geral pode ser de 10 a 60%.

Este projeto se concentra em duas áreas principais em Python: Inicialização mais rápida e Tempo de execução mais rápido. Otimizações que não são abordadas neste projeto estão listadas em Otimizações.

Inicialização mais rápida

Importações congeladas/objetos de código estático

O Python armazena o bytecode no diretório __pycache__ para acelerar o carregamento do módulo.

Anteriormente na versão 3.10, a execução do módulo Python era assim:

Read __pycache__ -> Unmarshal -> Heap allocated code object -> Evaluate

No Python 3.11, os principais módulos essenciais para a inicialização do Python são “congelados”. Isso significa que seus Objetos código (e bytecode) são alocados estaticamente pelo interpretador. Isso reduz as etapas no processo de execução do módulo para isso:

Statically allocated code object -> Evaluate

A inicialização do interpretador agora é 10-15% mais rápida no Python 3.11. Isso tem um grande impacto para programas de execução curta usando Python.

(Contribuição de Eric Snow, Guido van Rossum e Kumar Aditya em vários issues.)

Tempo de execução mais rápido

Quadros Python menos custosos e mais preguiçosos

Os quadros do Python, contendo informações de execução, são criados sempre que o Python chama uma função do Python. A seguir estão as novas otimizações de quadro:

Simplificado o processo de criação do quadro.

Alocação de memória evitada reutilizando generosamente o espaço do quadro na pilha C.

Simplificada a estrutura interna do quadro para conter apenas as informações essenciais. Os quadros anteriormente continham informações extras de depuração e gerenciamento de memória.

Os antigos objetos quadros agora são criados apenas quando solicitados por depuradores ou por funções de introspecção do Python, como sys._getframe() e inspect.currentframe(). Para a maioria dos códigos de usuário, nenhum objeto quadro é criado. Como resultado, quase todas as chamadas de funções do Python aceleraram significativamente. Medimos uma aceleração de 3 a 7% no desempenho do py.

(Contribuição de Mark Shannon em bpo-44590 [https://bugs.python.org/issue?@action=redirect&bpo=44590].)

Chamadas de função Python em linha

Durante a chamada de uma função Python, o Python chamará uma função C de avaliação para interpretar o código dessa função. Isso efetivamente limita a recursão Python pura ao que é seguro para a pilha C.

No 3.11, quando o CPython detecta o código Python chamando outra função Python, ele configura um novo quadro e “pula” para o novo código dentro do novo quadro. Isso evita chamar a função de interpretação C completamente.

A maioria das chamadas de função do Python agora não consome espaço de pilha C, acelerando-as. Em funções recursivas simples como fibonacci ou fatorial, observamos um aumento de velocidade de 1,7x. Isso também significa que as funções recursivas podem recursar significativamente mais profundamente (se o usuário aumentar o limite de recursão com sys.setrecursionlimit()). Medimos uma melhoria de 1 a 3% no desempenho do py.

(Contribuição de Pablo Galindo e Mark Shannon em bpo-45256 [https://bugs.python.org/issue?@action=redirect&bpo=45256].)

PEP 659: Interpretador adaptativo especializado

PEP 659 [https://peps.python.org/pep-0659/] é uma das partes principais do projeto Faster CPython. A ideia geral é que, embora o Python seja uma linguagem dinâmica, a maior parte do código possui regiões onde objetos e tipos raramente mudam. Este conceito é conhecido como estabilidade de tipo.

Em tempo de execução, o Python tentará procurar padrões comuns e estabilidade de tipo no código em execução. O Python substituirá a operação atual por uma mais especializada. Essa operação especializada usa caminhos rápidos disponíveis apenas para esses casos/tipos de uso, que geralmente superam suas contrapartes genéricas. Isso também traz outro conceito chamado cache inline, onde o Python armazena em cache os resultados de operações caras diretamente no bytecode.

O especializador também combinará certos pares de instruções comuns em uma superinstrução, reduzindo a sobrecarga durante a execução.

O Python só se especializará quando vir um código “quente” (executado várias vezes). Isso evita que o Python perca tempo com código de execução única. O Python também pode se especializar quando o código é muito dinâmico ou quando o uso muda. A especialização é tentada periodicamente e as tentativas de especialização não são muito caras, permitindo que a especialização se adapte às novas circunstâncias.

(PEP escrita por Mark Shannon, com ideias inspiradas por Stefan Brunthaler. Veja PEP 659 [https://peps.python.org/pep-0659/] para mais informações. Implementação por Mark Shannon e Brandt Bucher, com ajuda adicional de Irit Katriel e Dennis Sweeney.)

Operação

Forma

Especialização

Aceleração da operação

Contribuidor(es)

Operações binárias

x + x

x - x

x * x

Adicionar, multiplicar e subtrair binários para tipos comuns como int, float e str usam caminhos rápidos personalizados para seus tipos subjacentes.

10%

Mark Shannon, Donghee Na, Brandt Bucher, Dennis Sweeney

Subscrição

a[i]

Subscrever tipos contêineres como list, tuple e dict indexam diretamente as estruturas de dados subjacentes.

Subscrever __getitem__() personalizado também é inserido em linha de forma similar a Chamadas de função Python em linha.

10-25%

Irit Katriel, Mark Shannon

Armazenar com subscrição

a[i] = z

Similar à especialização de subscrição acima.

10-25%

Dennis Sweeney

Chamadas

f(arg)

C(arg)

Chamadas para funções e tipos (C) embutidos comuns como len() e str chamam diretamente sua versão C subjacente. Isso evita passar pela convenção de chamada interna.

20%

Mark Shannon, Ken Jin

Carregar variável global

print

len

O índice do objeto no espaço de nomes globais/embutidas é armazenado em cache. Carregar globais e embutidas requer zero pesquisas de espaço de nomes.

[1]

Mark Shannon

Carregar atributo

o.attr

Semelhante ao carregamento de variáveis globais. O índice do atributo dentro do espaço de nomes da classe/objeto é armazenado em cache. Na maioria dos casos, o carregamento de atributos exigirá zero pesquisas de espaço de nomes.

[2]

Mark Shannon

Carregar métodos para chamada

o.meth()

O endereço real do método é armazenado em cache. O carregamento de método agora não tem pesquisas de espaço de nomes – mesmo para classes com longas cadeias de herança.

10-20%

Ken Jin, Mark Shannon

Armazenar atributo

o.attr = z

Semelhante à otimização de carregamento de atributos.

2% no pyperformance

Mark Shannon

Desempacotar sequência

*seq

Especializado para contêineres comuns como list e tuple. Evita convenção de chamada interna.

8%

Brandt Bucher

[1]

Uma otimização semelhante já existia desde o Python 3.8. O 3.11 é especializado em mais formas e reduz algumas despesas gerais.

[2]

Uma otimização semelhante já existia desde o Python 3.10. 3.11 é especializado em mais formas. Além disso, todos os carregamentos de atributos devem ser acelerados por bpo-45947 [https://bugs.python.org/issue?@action=redirect&bpo=45947].

Diversos

Os objetos agora requerem menos memória devido aos espaços de nomes de objetos criados lentamente. Seus dicionários de espaços de nomes agora também compartilham chaves mais livremente. (Contribuição de Mark Shannon em bpo-45340 [https://bugs.python.org/issue?@action=redirect&bpo=45340] e bpo-40116 [https://bugs.python.org/issue?@action=redirect&bpo=40116].)

Exceções de “custo zero” estão implementadas, eliminando o custo das instruções try quando nenhuma exceção é gerada. (Contribuição de Mark Shannon em bpo-40222 [https://bugs.python.org/issue?@action=redirect&bpo=40222].)

Uma representação mais concisa de exceções no interpretador reduziu o tempo necessário para capturar uma exceção em cerca de 10%. (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

O mecanismo de correspondência de expressão regular do re foi parcialmente refatorado e agora usa gotos computados (ou “código encadeado”) em plataformas suportadas. Como resultado, o Python 3.11 executa os benchmarks de expressão regular do pyperformance [https://pyperformance.readthedocs.io/benchmarks.html#regex-dna] até 10% mais rápido que o Python 3.10. (Contribuição de Brandt Bucher em gh-91404 [https://github.com/python/cpython/issues/91404].)

FAQ

Como devo escrever meu código para utilizar esses aceleradores?

Escrever código pythônico que segue as melhores práticas comuns; você não precisa alterar seu código. O projeto Faster CPython otimiza para padrões de código comuns que observamos.

O CPython 3.11 usará mais memória?

Talvez não; não esperamos que o uso de memória exceda 20% a mais que 3.10. Isso é compensado por otimizações de memória para objetos quadro e dicionários de objetos, conforme mencionado acima.

Não vejo nenhuma aceleração em minha carga de trabalho. Por que?

Certos códigos não terão benefícios perceptíveis. Se seu código passa a maior parte do tempo em operações de E/S ou já faz a maior parte de sua computação em uma biblioteca de extensão C como NumPy, não haverá acelerações significativas. Atualmente, esse projeto é o que mais beneficia as cargas de trabalho Python puro.

Além disso, os valores de desempenho py são uma média geométrica. Mesmo dentro dos benchmarks de pyperformance, alguns benchmarks desaceleraram um pouco, enquanto outros aceleraram quase 2x!

Existe um compilador JIT?

Não. Ainda estamos explorando outras otimizações.

Sobre

O Faster CPython explora otimizações para o CPython. A equipe principal é financiada pela Microsoft para trabalhar nisso em tempo integral. Pablo Galindo Salgado também é financiado pela Bloomberg LP para trabalhar no projeto em tempo parcial. Finalmente, muitos colaboradores são voluntários da comunidade.

Alterações de bytecode do CPython

O bytecode agora contém entradas de cache inline, que assumem a forma das instruções recém-adicionadas CACHE. Muitos códigos de operações, ou opcodes, esperam ser seguidos por um número exato de caches e instruem o interpretador a ignorá-los em tempo de execução. Os caches preenchidos podem parecer instruções arbitrárias, portanto, muito cuidado deve ser tomado ao ler ou modificar o bytecode adaptativo bruto que contém dados acelerados.

Novos opcodes

ASYNC_GEN_WRAP, RETURN_GENERATOR e SEND, usados em geradores e corrotinas.

COPY_FREE_VARS, que evita precisar de código especial no lado do chamado para fechamentos.

JUMP_BACKWARD_NO_INTERRUPT, para usasr em certos loops nos quais o tratamento de interrupções é indesejável.

MAKE_CELL, para criar Objeto célula.

CHECK_EG_MATCH e PREP_RERAISE_STAR, para manipular novos grupos de exceção e except*, adicionados na PEP 654 [https://peps.python.org/pep-0654/].

PUSH_EXC_INFO, para uso em manipuladores de exceção.

RESUME, um no-op, para rastreamento interno, depuração e verificações de otimização.

Opcodes substituídos

Opcode(s) substituído(s)

Novo(s) opcode(s)

Notas

BINARY_*

INPLACE_*

BINARY_OP

Substituiu todos os opcodes numéricos binários/no local por um único opcode

CALL_FUNCTION

CALL_FUNCTION_KW

CALL_METHOD

CALL

KW_NAMES

PRECALL

PUSH_NULL

Separa a mudança de argumento para métodos da manipulação de argumentos nomeados; permite uma melhor especialização dos atendimentos

DUP_TOP

DUP_TOP_TWO

ROT_TWO

ROT_THREE

ROT_FOUR

ROT_N

COPY

SWAP

Instruções de manipulação de pilha

JUMP_IF_NOT_EXC_MATCH

CHECK_EXC_MATCH

Agora efetua verificações, mas não pula

JUMP_ABSOLUTE

POP_JUMP_IF_FALSE

POP_JUMP_IF_TRUE

JUMP_BACKWARD

POP_JUMP_BACKWARD_IF_*

POP_JUMP_FORWARD_IF_*

Veja [3]. Variantes TRUE, FALSE, NONE e NOT_NONE para cada direção

SETUP_WITH

SETUP_ASYNC_WITH

BEFORE_WITH

Configuração de bloco with

[3]

Todos os opcodes de salto agora são relativos, incluindo os existentes JUMP_IF_TRUE_OR_POP e JUMP_IF_FALSE_OR_POP. O argumento agora é um deslocamento da instrução atual em vez de um local absoluto.

Opcodes alterados/removidos

Alterados MATCH_CLASS e MATCH_KEYS para não enviar mais um valor booleano adicional para indicar sucesso/falha. Em vez disso, None é enviado em caso de falha no lugar da tupla de valores extraídos.

Alterados opcodes que funcionam com exceções para refleti-los agora sendo representados como um item na pilha em vez de três (consulte gh-89874 [https://github.com/python/cpython/issues/89874]).

Removidos COPY_DICT_WITHOUT_KEYS, GEN_START, POP_BLOCK, SETUP_FINALLY e YIELD_FROM.

Descontinuados

Esta seção lista as APIs do Python que foram descontinuadas no Python 3.11.

As APIs C descontinuadas são listadas separadamente.

Linguagem/Embutidos

O encadeamento de descritores classmethod (introduzido em bpo-19072 [https://bugs.python.org/issue?@action=redirect&bpo=19072]) agora foi descontinuado. Ele não pode mais ser usado para agrupar outros descritores como property. O design principal desse recurso era falho e causava vários problemas posteriores. Para “passar” um classmethod, considere usar o atributo __wrapped__ que foi adicionado no Python 3.10. (Contribuição de Raymond Hettinger em gh-89519 [https://github.com/python/cpython/issues/89519].)

Escapes octais em strings e bytes literais com valores maiores que 0o377 (255 em decimal) agora produzem um DeprecationWarning. Em uma versão futura do Python, eles levantarão um SyntaxWarning e eventualmente um SyntaxError. (Contribuição de Serhiy Storchaka em gh-81548 [https://github.com/python/cpython/issues/81548].)

A delegação de int() para __trunc__() agora foi descontinuada. Chamar int(a) quando type(a) implementa __trunc__(), mas não __int__() ou __index__(), agora levanta uma exceção DeprecationWarning. (Contribuição de Zackery Spytz em bpo-44977 [https://bugs.python.org/issue?@action=redirect&bpo=44977].)

Módulos

PEP 594 [https://peps.python.org/pep-0594/] levou à descontinuação dos seguintes módulos programados para remoção no Python 3.13:

aifc

chunk

msilib

pipes

telnetlib

audioop

crypt

nis

sndhdr

uu

cgi

imghdr

nntplib

spwd

xdrlib

cgitb

mailcap

ossaudiodev

sunau

(Contribuição de Brett Cannon em bpo-47061 [https://bugs.python.org/issue?@action=redirect&bpo=47061] e Victor Stinner em gh-68966 [https://github.com/python/cpython/issues/68966].)

Os módulos asynchat, asyncore e smtpd foram descontinuados desde pelo menos o Python 3.6. A documentação e os avisos de descontinuação foram atualizados para observar que serão removidos no Python 3.12. (Contribuição de Hugo van Kemenade em bpo-47022 [https://bugs.python.org/issue?@action=redirect&bpo=47022].)

O pacote lib2to3 e a ferramenta 2to3 agora foram descontinuados e podem não ser capazes de analisar o Python 3.10 ou mais recente. Veja PEP 617 [https://peps.python.org/pep-0617/], apresentando o novo analisador GASE, para detalhes. (Contribuição de Victor Stinner em bpo-40360 [https://bugs.python.org/issue?@action=redirect&bpo=40360].)

Módulos não documentados sre_compile, sre_constants e sre_parse agora fora descontinuados. (Contribuição de Serhiy Storchaka em bpo-47152 [https://bugs.python.org/issue?@action=redirect&bpo=47152].)

Biblioteca Padrão

Os itens a seguir foram descontinuados em configparser desde o Python 3.2. Seus avisos de descontinuação agora foram atualizados para observar que serão removidos no Python 3.12:

a classe configparser.SafeConfigParser

a propriedade configparser.ParsingError.filename

o método configparser.RawConfigParser.readfp()

(Contribuição de Hugo van Kemenade em bpo-45173 [https://bugs.python.org/issue?@action=redirect&bpo=45173].)

configparser.LegacyInterpolation foi descontinuada na docstring desde o Python 3.2, e não está listada na documentação do configparser. Agora ela emite um DeprecationWarning e será removida no Python 3.13. Use configparser.BasicInterpolation ou configparser.ExtendedInterpolation. (Contribuição de Hugo van Kemenade em bpo-46607 [https://bugs.python.org/issue?@action=redirect&bpo=46607].)

O antigo conjunto de funções importlib.resources foi descontinuado em favor das substituições adicionadas no Python 3.9 e será removido em uma versão futura do Python, devido ao não suporte de recursos localizados nos subdiretórios do pacote:

importlib.resources.contents()

importlib.resources.is_resource()

importlib.resources.open_binary()

importlib.resources.open_text()

importlib.resources.read_binary()

importlib.resources.read_text()

importlib.resources.path()

A função locale.getdefaultlocale() foi descontinuada e será removida no Python 3.15. Use as funções locale.setlocale(), locale.getpreferredencoding(False) e locale.getlocale(). (Contribuição de Victor Stinner em gh-90817 [https://github.com/python/cpython/issues/90817].)

A função locale.resetlocale() foi descontinuada e será removida no Python 3.13. Use locale.setlocale(locale.LC_ALL, ""). (Contribuição de Victor Stinner em gh-90817 [https://github.com/python/cpython/issues/90817].)

Regras mais rígidas agora serão aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas sequências de dígitos ASCII serão aceitas como referência numérica, e o nome do grupo em padrões bytes e strings de substituição podem conter apenas letras ASCII, dígitos e sublinhados. Por enquanto, um aviso de descontinuação é levantado para a sintaxe que viola essas regras. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

No módulo re, a função re.template() e os sinalizadores re.TEMPLATE e re.T correspondentes foram descontinuados, pois não foram documentados e careciam da um propósito óbvio. Eles serão removidos no Python 3.13. (Contribuição de Serhiy Storchaka e Miro Hrončok em gh-92728 [https://github.com/python/cpython/issues/92728].)

turtle.settiltangle() foi descontinuada desde o Python 3.1; ela agora emite um aviso de descontinuação e será removida no Python 3.13. Em vez dela, use turtle.tiltangle() (foi marcada anteriormente incorretamente como descontinuada e sua docstring agora está corrigida). (Contribuição de Hugo van Kemenade em bpo-45837 [https://bugs.python.org/issue?@action=redirect&bpo=45837].)

typing.Text, que existe apenas para fornecer suporte de compatibilidade entre o código Python 2 e Python 3, foi descontinuada nesta versão. Sua remoção não está planejada, mas os usuários são encorajados a usar str sempre que possível. (Contribuição de Alex Waygood em gh-92332 [https://github.com/python/cpython/issues/92332].)

A sintaxe do argumento nomeado para a construção de tipos typing.TypedDict foi descontinuado neste versão. O suporte será removido no Python 3.13. (Contribuição de Jingchen Ye em gh-90224 [https://github.com/python/cpython/issues/90224].)

webbrowser.MacOSX foi descontinuada e será removida no Python 3.13. Ela não foi testada, não foi documentada e não é usada pelo próprio webbrowser. (Contribuição de Dong-hee Na em bpo-42255 [https://bugs.python.org/issue?@action=redirect&bpo=42255].)

O comportamento de retornar um valor de um dos métodos de teste de TestCase e IsolatedAsyncioTestCase (diferente do valor padrão None) foi descontinuado nesta versão.

Foram descontinuadas as seguintes funções unittest não formalmente documentadas, agendadas para remoção no Python 3.13:

unittest.findTestCases()

unittest.makeSuite()

unittest.getTestCaseNames()

Em vez delas, use os métodos de TestLoader:

unittest.TestLoader.loadTestsFromModule()

unittest.TestLoader.loadTestsFromTestCase()

unittest.TestLoader.getTestCaseNames()

(Contribuição de Erlend E. Aasland em bpo-5846 [https://bugs.python.org/issue?@action=redirect&bpo=5846].)

unittest.TestProgram.usageExit() foi marcado como descontinuado, para ser removido em 3.13. (Contribuição de Carlos Damázio em gh-67048 [https://github.com/python/cpython/issues/67048].)

Pendente remoção no Python 3.12

As seguintes APIs do Python foram descontinuadas em versões anteriores do Python e serão removidas no Python 3.12.

As APIs C com remoção pendente são listadas separadamente.

O módulo asynchat

O módulo asyncore

Todo o pacote distutils

O módulo imp

O espaço de nomes typing.io

O espaço de nomes typing.re

cgi.log()

importlib.find_loader()

importlib.abc.Loader.module_repr()

importlib.abc.MetaPathFinder.find_module()

importlib.abc.PathEntryFinder.find_loader()

importlib.abc.PathEntryFinder.find_module()

importlib.machinery.BuiltinImporter.find_module()

importlib.machinery.BuiltinLoader.module_repr()

importlib.machinery.FileFinder.find_loader()

importlib.machinery.FileFinder.find_module()

importlib.machinery.FrozenImporter.find_module()

importlib.machinery.FrozenLoader.module_repr()

importlib.machinery.PathFinder.find_module()

importlib.machinery.WindowsRegistryFinder.find_module()

importlib.util.module_for_loader()

importlib.util.set_loader_wrapper()

importlib.util.set_package_wrapper()

pkgutil.ImpImporter

pkgutil.ImpLoader

pathlib.Path.link_to()

sqlite3.enable_shared_cache()

sqlite3.OptimizedUnicode()

Variável de ambiente PYTHONTHREADDEBUG

Os seguintes aliases foram descontinuados no unittest:

Apelido descontinuado

Nome do método

Descontinuado em

failUnless

assertTrue()

3.1

failIf

assertFalse()

3.1

failUnlessEqual

assertEqual()

3.1

failIfEqual

assertNotEqual()

3.1

failUnlessAlmostEqual

assertAlmostEqual()

3.1

failIfAlmostEqual

assertNotAlmostEqual()

3.1

failUnlessRaises

assertRaises()

3.1

assert_

assertTrue()

3.2

assertEquals

assertEqual()

3.2

assertNotEquals

assertNotEqual()

3.2

assertAlmostEquals

assertAlmostEqual()

3.2

assertNotAlmostEquals

assertNotAlmostEqual()

3.2

assertRegexpMatches

assertRegex()

3.2

assertRaisesRegexp

assertRaisesRegex()

3.2

assertNotRegexpMatches

assertNotRegex()

3.5

Removidos

Esta seção lista as APIs do Python que foram removidas no Python 3.11.

As APIs C removidas são listadas separadamente.

Removido o decorador @asyncio.coroutine() permitindo que corrotinas baseadas em gerador legado sejam compatíveis com o código async / await. A função foi descontinuada desde o Python 3.8 e a remoção foi inicialmente agendada para o Python 3.10. Use async def em vez disso. (Contribuição de Illia Volochii em bpo-43216 [https://bugs.python.org/issue?@action=redirect&bpo=43216].)

Removida asyncio.coroutines.CoroWrapper, que era usada para encapsular objetos de corrotina baseados em gerador legado no modo de depuração. (Contribuição de Illia Volochii em bpo-43216 [https://bugs.python.org/issue?@action=redirect&bpo=43216].)

Devido a preocupações significativas de segurança, o parâmetro reuse_address de asyncio.loop.create_datagram_endpoint(), desabilitado no Python 3.9, agora foi totalmente removido. Isto é devido ao comportamento da opção de socket SO_REUSEDDR no UDP. (Contribuição de Hugo van Kemenade em bpo-45129 [https://bugs.python.org/issue?@action=redirect&bpo=45129].)

Removido o módulo binhex, descontinuado no Python 3.9. Também foram removidas as funções binascii relacionadas e igualmente descontinuadas:

binascii.a2b_hqx()

binascii.b2a_hqx()

binascii.rlecode_hqx()

binascii.rldecode_hqx()

A função binascii.crc_hqx() continua disponível.

(Contribuição de Victor Stinner em bpo-45085 [https://bugs.python.org/issue?@action=redirect&bpo=45085].)

Removido o comando bdist_msi do distutils que foi descontinuado no Python 3.9. Em vez disso, use bdist_wheel (pacotes wheel). (Contribuição de Hugo van Kemenade em bpo-45124 [https://bugs.python.org/issue?@action=redirect&bpo=45124].)

Removidos os métodos __getitem__() das classes xml.dom.pulldom.DOMEventStream, wsgiref.util.FileWrapper e fileinput.FileInput, descontinuados desde o Python 3.9 . (Contribuição de Hugo van Kemenade em bpo-45132 [https://bugs.python.org/issue?@action=redirect&bpo=45132].)

Removidas as funções descontinuadas lgettext(), ldgettext(), lngettext() e ldngettext() de gettext. Também removidas a função bind_textdomain_codeset(), os métodos NullTranslations.output_charset() e NullTranslations.set_output_charset(), e o parâmetro codeset de translation() e install(), já que eles são usados apenas para as funções l*gettext(). (Contribuição de Dong-hee Na e Serhiy Storchaka em bpo-44235 [https://bugs.python.org/issue?@action=redirect&bpo=44235].)

Removido do módulo inspect:

A função getargspec(), descontinuada desde o Python 3.0; use inspect.signature() ou inspect.getfullargspec().

A função formatargspec(), descontinuada desde o Python 3.5; use a função inspect.signature() ou o objeto inspect.Signature diretamente.

Os métodos não documentados Signature.from_builtin() e Signature.from_function(), descontinuados desde o Python 3.5; use o método Signature.from_callable().

(Contribuição de Hugo van Kemenade em bpo-45320 [https://bugs.python.org/issue?@action=redirect&bpo=45320].)

Removido o método __class_getitem__() de pathlib.PurePath, pois não era usado e foi adicionado por engano em versões anteriores. (Contribuição de Nikita Sobolev em bpo-46483 [https://bugs.python.org/issue?@action=redirect&bpo=46483].)

Removida a classe MailmanProxy do módulo smtpd, pois ela não pode ser usada sem o pacote mailman externo. (Contribuição de Dong-hee Na em bpo-35800 [https://bugs.python.org/issue?@action=redirect&bpo=35800].)

Removido o método descontinuado split() de _tkinter.TkappType. (Contribuição de Erlend E. Aasland em bpo-38371 [https://bugs.python.org/issue?@action=redirect&bpo=38371].)

Removido o suporte a pacote de espaço de nomes da descoberta de unittest. Foi introduzido no Python 3.4, mas está quebrado desde o Python 3.7. (Contribuição de Inada Naoki em bpo-23882 [https://bugs.python.org/issue?@action=redirect&bpo=23882].)

Removido o método privado não documentado float.__set_format__(), anteriormente conhecido como float.__setformat__() no Python 3.7. Sua docstring dizia: “Você provavelmente não quer usar esta função. Ela existe principalmente para ser usada na conjunto de testes do Python.” (Contribuição de Victor Stinner em bpo-46852 [https://bugs.python.org/issue?@action=redirect&bpo=46852].)

O sinalizador de configuração --experimental-isolated-subinterpreters e a macro EXPERIMENTAL_ISOLATED_SUBINTERPRETERS correspondente foram removidos.

Pynche [https://pypi.org/project/Pynche/] – O Pythonically Natural Color and Hue Editor – foi removido de Tools/scripts e está sendo desenvolvido independentemente [https://gitlab.com/warsaw/pynche/-/tree/main] da árvore fonte do Python.

Portando para Python 3.11

Esta seção lista as alterações descritas anteriormente e outras correções de bugs na API do Python que podem exigir alterações em seu código Python.

As notas de portabilidade para a API C são listadas separadamente.

open(), io.open(), codecs.open() e fileinput.FileInput não aceitam mais 'U' (“nova linha universal”) em o modo de arquivo. No Python 3, o modo “nova linha universal” é usado por padrão sempre que um arquivo é aberto no modo de texto, e o sinalizador 'U' foi descontinuado desde o Python 3.3. O parâmetro de nova linha para essas funções controla como as novas linhas universais funcionam. (Contribuição de Victor Stinner em bpo-37330 [https://bugs.python.org/issue?@action=redirect&bpo=37330].)

As posições do nó da ast.AST agora são validadas quando fornecidas para compile() e outras funções relacionadas. Se posições inválidas forem detectadas, uma exceção ValueError será levantado. (Contribuição de Pablo Galindo em gh-93351 [https://github.com/python/cpython/issues/93351])

Proibido passar executores que não sejam concurrent.futures.ThreadPoolExecutor para asyncio.loop.set_default_executor() após uma descontinuação no Python 3.8. (Contribuição de Illia Volochii em bpo-43234 [https://bugs.python.org/issue?@action=redirect&bpo=43234].)

calendar: As classes calendar.LocaleTextCalendar e calendar.LocaleHTMLCalendar agora usam locale.getlocale(), em vez de usar locale.getdefaultlocale(), se nenhuma localidade é especificada. (Contribuição de Victor Stinner em bpo-46659 [https://bugs.python.org/issue?@action=redirect&bpo=46659].)

O módulo pdb agora lê o arquivo de configuração .pdbrc com a codificação 'UTF-8'. (Contribuição de Srinivas Reddy Thatiparty (శ్రీనివాస్ రెడ్డి తాటిపర్తి) em bpo-41137 [https://bugs.python.org/issue?@action=redirect&bpo=41137].)

O parâmetro population de random.sample() deve ser uma sequência, e a conversão automática de sets para lists não é mais suportada. Além disso, se o tamanho da amostra for maior que o tamanho da população, uma exceção ValueError é levantada. (Contribuição de Raymond Hettinger em bpo-40465 [https://bugs.python.org/issue?@action=redirect&bpo=40465].)

O parâmetro opcional random de random.shuffle() foi removido. Anteriormente, era uma função aleatória arbitrária a ser usada para o shuffle; agora, random.random() (seu padrão anterior) sempre será usado.

Em Sintaxe de expressão regular do re, sinalizadores globais inline (por exemplo, (?i)) agora só podem ser usados no início de expressões regulares. Se uso em outro lugar foi descontinuado no Python 3.6. (Contribuição de Serhiy Storchaka em bpo-47066 [https://bugs.python.org/issue?@action=redirect&bpo=47066].)

No módulo re, vários bugs de longa data foram corrigidos que, em casos raros, poderiam fazer com que os grupos de captura obtivessem o resultado errado. Portanto, isso pode alterar a saída capturada nesses casos. (Contribuição de Ma Lin em bpo-35859 [https://bugs.python.org/issue?@action=redirect&bpo=35859].)

Mudanças na construção

CPython agora tem suporte a Tier 3 [https://peps.python.org/pep-0011/#tier-3] da PEP 11 [https://peps.python.org/pep-0011/] para compilação cruzada para as plataformas WebAssembly [https://webassembly.org/] Emscripten [https://emscripten.org/] (wasm32-unknown-emscripten, ou seja, Python no navegador) e WebAssembly System Interface (WASI) [https://wasi.dev/] (wasm32-unknown-wasi). O esforço é inspirado em trabalhos anteriores como Pyodide [https://pyodide.org/]. Essas plataformas fornecem um subconjunto limitado de APIs POSIX; Os recursos e módulos das bibliotecas padrão do Python relacionados a redes, processos, encadeamento, sinais, mmap e usuários/grupos não estão disponíveis ou não funcionam. (Emscripten contribuído por Christian Heimes e Ethan Smith em gh-84461 [https://github.com/python/cpython/issues/84461] e WASI contribuído por Christian Heimes em gh-90473 [https://github.com/python/cpython/issues/90473]; plataformas promovidas em gh-95085 [https://github.com/python/cpython/issues/95085])

A construção do CPython agora requer:

Um compilador C11 [https://en.cppreference.com/w/c/11]. Recursos C11 opcionais [https://en.wikipedia.org/wiki/C11_(C_standard_revision)#Optional_features] não são necessários. (Contribuição de Victor Stinner em bpo-46656 [https://bugs.python.org/issue?@action=redirect&bpo=46656], bpo-45440 [https://bugs.python.org/issue?@action=redirect&bpo=45440] e bpo-46640 [https://bugs.python.org/issue?@action=redirect&bpo=46640].)

Suporte para números de ponto flutuante IEEE 754 [https://en.wikipedia.org/wiki/IEEE_754]. (Contribuição de Victor Stinner em bpo-46917 [https://bugs.python.org/issue?@action=redirect&bpo=46917].)

A macro Py_NO_NAN foi removida. Como o CPython agora requer pontos flutuantes de IEEE 754, os valores NaN estão sempre disponíveis. (Contribuição de Victor Stinner em bpo-46656 [https://bugs.python.org/issue?@action=redirect&bpo=46656].)

O pacote tkinter agora requer Tcl/Tk [https://www.tcl.tk] versão 8.5.12 ou mais recente. (Contribuição de Serhiy Storchaka em bpo-46996 [https://bugs.python.org/issue?@action=redirect&bpo=46996].)

Dependências de construção, sinalizadores de compilador e sinalizadores de vinculador para a maioria dos módulos de extensão stdlib agora são detectados pelo configure. Os sinalizadores, ou flags, de libffi, libnsl, libsqlite3, zlib, bzip2, liblzma, libcrypt, Tcl/Tk e uuid são detectados por pkg-config [https://www.freedesktop.org/wiki/Software/pkg-config/] (Quando disponível). tkinter agora requer um comando pkg-config para detectar configurações de desenvolvimento para cabeçalhos e bibliotecas Tcl/Tk [https://www.tcl.tk]. (Contribuição de Christian Heimes e Erlend Egeberg Aasland em bpo-45847 [https://bugs.python.org/issue?@action=redirect&bpo=45847], bpo-45747 [https://bugs.python.org/issue?@action=redirect&bpo=45747] e bpo-45763 [https://bugs.python.org/issue?@action=redirect&bpo=45763].)

libpython não está mais vinculado a libcrypt. (Contribuição de Mike Gilbert em bpo-45433 [https://bugs.python.org/issue?@action=redirect&bpo=45433].)

O CPython agora pode ser construído com a opção ThinLTO [https://clang.llvm.org/docs/ThinLTO.html] passando thin para --with-lto, ou seja, --with-lto=thin. (Contribuição de Donghee Na e Brett Holman em bpo-44340 [https://bugs.python.org/issue?@action=redirect&bpo=44340].)

Freelists para structs de objeto agora podem ser desabilitadas. Uma nova opção --without-freelists do configure pode ser usada para desabilitar todas as freelists, exceto a tupla singleton vazia. (Contribuição de Christian Heimes em bpo-45522 [https://bugs.python.org/issue?@action=redirect&bpo=45522].)

Modules/Setup e Modules/makesetup foram melhorados e amarrados. Módulos de extensão agora podem ser construídos através do makesetup. Todos, exceto alguns módulos de teste, podem ser vinculados estaticamente em um binário principal ou biblioteca. (Contribuição de Brett Cannon e Christian Heimes em bpo-45548 [https://bugs.python.org/issue?@action=redirect&bpo=45548], bpo-45570 [https://bugs.python.org/issue?@action=redirect&bpo=45570], bpo-45571 [https://bugs.python.org/issue?@action=redirect&bpo=45571] e bpo-43974 [https://bugs.python.org/issue?@action=redirect&bpo=43974].)

Nota

Use as variáveis de ambiente TCLTK_CFLAGS e TCLTK_LIBS para especificar manualmente a localização dos cabeçalhos e bibliotecas Tcl/Tk. As opções configure --with-tcltk-includes e --with-tcltk-libs foram removidas.

No RHEL 7 e CentOS 7 os pacotes de desenvolvimento não fornecem tcl.pc e tk.pc; use TCLTK_LIBS="-ltk8.5 -ltkstub8.5 -ltcl8.5". O diretório Misc/rhel7 contém arquivos .pc e instruções sobre como construir Python com RHEL 7’s e CentOS 7’s Tcl/Tk e OpenSSL.

O CPython agora usará dígitos de 30 bits por padrão para a implementação de int do Python. Anteriormente, o padrão era usar dígitos de 30 bits em plataformas com SIZEOF_VOID_P >= 8 e, caso contrário, dígitos de 15 bits. Ainda é possível solicitar explicitamente o uso de dígitos de 15 bits através da opção --enable-big-digits para o script de configuração ou (para Windows) a variável PYLONG_BITS_IN_DIGIT em PC/pyconfig.h, mas esta opção pode ser removida em algum momento no futuro. (Contribuição de Mark Dickinson em bpo-45569 [https://bugs.python.org/issue?@action=redirect&bpo=45569].)

Alterações na API C

Novas funcionalidades

Adiciona uma nova função PyType_GetName() para obter o nome curto do tipo. (Contribuição de Hai Shi em bpo-42035 [https://bugs.python.org/issue?@action=redirect&bpo=42035].)

Adiciona uma nova função PyType_GetQualName() para obter o nome qualificado do tipo. (Contribuição de Hai Shi em bpo-42035 [https://bugs.python.org/issue?@action=redirect&bpo=42035].)

Adiciona novas funções PyThreadState_EnterTracing() e PyThreadState_LeaveTracing() à API C limitada para suspender e retomar rastreamento e criação de perfil. (Contribuição de Victor Stinner em bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760].)

Adicionada a constante Py_Version que possui o mesmo valor que PY_VERSION_HEX. (Contribuição de Gabriele N. Tornetta em bpo-43931 [https://bugs.python.org/issue?@action=redirect&bpo=43931].)

Py_buffer e APIs agora fazem parte da API limitada e da ABI estável:

PyObject_CheckBuffer()

PyObject_GetBuffer()

PyBuffer_GetPointer()

PyBuffer_SizeFromFormat()

PyBuffer_ToContiguous()

PyBuffer_FromContiguous()

PyObject_CopyData()

PyBuffer_IsContiguous()

PyBuffer_FillContiguousStrides()

PyBuffer_FillInfo()

PyBuffer_Release()

PyMemoryView_FromBuffer()

Slotes de tipo bf_getbuffer e bf_releasebuffer

(Contribuição de Christian Heimes em bpo-45459 [https://bugs.python.org/issue?@action=redirect&bpo=45459].)

Adicionada a função PyType_GetModuleByDef(), utilizada para obter o módulo no qual um método foi definido, nos casos em que esta informação não está disponível diretamente (via PyCMethod). (Contribuição de Petr Viktorin em bpo-46613 [https://bugs.python.org/issue?@action=redirect&bpo=46613].)

Adiciona novas funções para compactar e desempacotar double C (serializar e desserializar): PyFloat_Pack2(), PyFloat_Pack4(), PyFloat_Pack8(), PyFloat_Unpack2() , PyFloat_Unpack4() e PyFloat_Unpack8(). (Contribuição de Victor Stinner em bpo-46906 [https://bugs.python.org/issue?@action=redirect&bpo=46906].)

Adiciona novas funções para obter atributos do objeto quadro: PyFrame_GetBuiltins(), PyFrame_GetGenerator(), PyFrame_GetGlobals(), PyFrame_GetLasti().

Adicionadas duas novas funções para obter e definir a instância de exceção ativa: PyErr_GetHandledException() e PyErr_SetHandledException(). Estas são alternativas para PyErr_SetExcInfo() e PyErr_GetExcInfo() que funcionam com a representação de tuplas de 3 elementos legadas de exceções. (Contribuição de Irit Katriel em bpo-46343 [https://bugs.python.org/issue?@action=redirect&bpo=46343].)

Adicionada o membro PyConfig.safe_path. (Contribuição de Victor Stinner em gh-57684 [https://github.com/python/cpython/issues/57684].)

Portando para Python 3.11

Algumas macros foram convertidas em funções inline estáticas para evitar armadilhas de macro [https://gcc.gnu.org/onlinedocs/cpp/Macro-Pitfalls.html]. A alteração deve ser transparente para os usuários, pois as funções de substituição converterão seus argumentos para os tipos esperados para evitar avisos do compilador devido a verificações de tipo estático. No entanto, quando a API C limitada é definida como >=3.11, essas conversões não são feitas e os chamadores precisarão converter argumentos para seus tipos esperados. Veja PEP 670 [https://peps.python.org/pep-0670/] para mais detalhes. (Contribuição de Victor Stinner e Erlend E. Aasland em gh-89653 [https://github.com/python/cpython/issues/89653].)

PyErr_SetExcInfo() não usa mais os argumentos type e traceback, o interpretador agora deriva esses valores da instância de exceção (o argumento value). A função ainda rouba referências de todos os três argumentos. (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

PyErr_GetExcInfo() agora deriva os campos type e traceback do resultado da instância de exceção (o campo value). (Contribuição de Irit Katriel em bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711].)

_frozen tem um novo campo is_package para indicar se o módulo frozen é ou não um pacote. Anteriormente, um valor negativo no campo size era o indicador. Agora apenas valores não negativos serão usados para size. (Contribuição de Kumar Aditya em bpo-46608 [https://bugs.python.org/issue?@action=redirect&bpo=46608].)

_PyFrameEvalFunction() agora usa _PyInterpreterFrame* como seu segundo parâmetro, em vez de PyFrameObject*. Veja PEP 523 [https://peps.python.org/pep-0523/] para mais detalhes de como usar este tipo de ponteiro de função.

PyCode_New() e PyCode_NewWithPosOnlyArgs() agora recebem um argumento adicional exception_table. O uso dessas funções deve ser evitado, se possível. Para obter um objeto código personalizado: crie um objeto código usando o compilador e obtenha uma versão modificada com o método replace.

PyCodeObject não possui mais os campos co_code, co_varnames, co_cellvars e co_freevars. Em vez disso, use PyCode_GetCode(), PyCode_GetVarnames(), PyCode_GetCellvars() e PyCode_GetFreevars() respectivamente para acessá-los por meio da API C. (Contribuição de Brandt Bucher em bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841] e Ken Jin em gh-92154 [https://github.com/python/cpython/issues/92154] e gh-94936 [https://github.com/python/cpython/issues/94936].)

As antigas macros trashcan (Py_TRASHCAN_SAFE_BEGIN/Py_TRASHCAN_SAFE_END) foram descontinuadas. Elas devem ser substituídas pelas novas macros Py_TRASHCAN_BEGIN e Py_TRASHCAN_END.

Uma função tp_dealloc que possui as macros antigas, como:

static void
dealocador_de_meutipo(meutipo *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_SAFE_BEGIN(p);
    ...
    Py_TRASHCAN_SAFE_END
}

deve migrar para as novas macros da seguinte forma:

static void
dealocador_de_meutipo(meutipo *p)
{
    PyObject_GC_UnTrack(p);
    Py_TRASHCAN_BEGIN(p, dealocador_de_meutipo);
    ...
    Py_TRASHCAN_END
}

Observe que Py_TRASHCAN_BEGIN tem um segundo argumento que deve ser a função de desalocação em que está.

Para oferecer suporte a versões mais antigas do Python na mesma base de código, você pode definir as seguintes macros e usá-las em todo o código (crédito: elas foram copiadas da base de código do mypy):

#if PY_VERSION_HEX >= 0x03080000
#  define CPy_TRASHCAN_BEGIN(op, dealloc) Py_TRASHCAN_BEGIN(op, dealloc)
#  define CPy_TRASHCAN_END(op) Py_TRASHCAN_END
#else
#  define CPy_TRASHCAN_BEGIN(op, dealloc) Py_TRASHCAN_SAFE_BEGIN(op)
#  define CPy_TRASHCAN_END(op) Py_TRASHCAN_SAFE_END(op)
#endif

A função PyType_Ready() agora levanta um erro se um tipo é definido com o sinalizador Py_TPFLAGS_HAVE_GC definido, mas não tem função transversal (PyTypeObject.tp_traverse). (Contribuição de Victor Stinner em bpo-44263 [https://bugs.python.org/issue?@action=redirect&bpo=44263].)

Tipos de heap com o sinalizador Py_TPFLAGS_IMMUTABLETYPE agora podem herdar o protocolo vectorcall da PEP 590 [https://peps.python.org/pep-0590/]. Anteriormente, isso só era possível para tipos estáticos. (Contribuição de Erlend E. Aasland em bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908])

Uma vez que Py_TYPE() é alterada para uma função estática inline, Py_TYPE(obj) = new_type deve ser substituído por Py_SET_TYPE(obj, new_type): consulte a função Py_SET_TYPE() (disponível desde Python 3.9). Para compatibilidade com versões anteriores, esta macro pode ser usada:

#if PY_VERSION_HEX < 0x030900A4 && !defined(Py_SET_TYPE)
static inline void _Py_SET_TYPE(PyObject *ob, PyTypeObject *type)
{ ob->ob_type = type; }
#define Py_SET_TYPE(ob, type) _Py_SET_TYPE((PyObject*)(ob), type)
#endif

(Contribuição de Victor Stinner em bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573].)

Uma vez que Py_SIZE() é alterada para uma função estática inline, Py_SIZE(obj) = new_size deve ser substituído por Py_SET_SIZE(obj, new_size): veja a função Py_SET_SIZE() (disponível desde Python 3.9). Para compatibilidade com versões anteriores, esta macro pode ser usada:

#if PY_VERSION_HEX < 0x030900A4 && !defined(Py_SET_SIZE)
static inline void _Py_SET_SIZE(PyVarObject *ob, Py_ssize_t size)
{ ob->ob_size = size; }
#define Py_SET_SIZE(ob, size) _Py_SET_SIZE((PyVarObject*)(ob), size)
#endif

(Contribuição de Victor Stinner em bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573].)

<Python.h> não inclui mais os arquivos de cabeçalho <stdlib.h>, <stdio.h>, <errno.h> e <string.h> quando a macro Py_LIMITED_API é definida como 0x030b0000 (Python 3.11) ou superior. As extensões C devem incluir explicitamente os arquivos de cabeçalho após #include <Python.h>. (Contribuição de Victor Stinner em bpo-45434 [https://bugs.python.org/issue?@action=redirect&bpo=45434].)

Os arquivos API não limitados cellobject.h, classobject.h, code.h, context.h, funcobject.h, genobject.h e longintrepr.h foram movidos para o diretório Include/cpython. Além disso, o arquivo de cabeçalho eval.h foi removido. Esses arquivos não devem ser incluídos diretamente, pois já estão incluídos aos arquivos de inclusão do Python.h. Se eles foram incluídos diretamente, considere incluir Python.h em seu lugar. (Contribuição de Victor Stinner em bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134].)

A macro PyUnicode_CHECK_INTERNED() foi excluída da API C limitada. Nunca foi utilizável lá, porque usava estruturas internas que não estão disponíveis na API C limitada. (Contribuição de Victor Stinner em bpo-46007 [https://bugs.python.org/issue?@action=redirect&bpo=46007].)

As seguintes funções e tipo de quadro agora estão disponíveis diretamente com #include <Python.h>, não é mais necessário adicionar #include <frameobject.h>:

PyFrame_Check()

PyFrame_GetBack()

PyFrame_GetBuiltins()

PyFrame_GetGenerator()

PyFrame_GetGlobals()

PyFrame_GetLasti()

PyFrame_GetLocals()

PyFrame_Type

(Contribuição de Victor Stinner em gh-93937 [https://github.com/python/cpython/issues/93937].)

Os membros da estrutura PyFrameObject foram removidos da API C pública.

Embora a documentação observe que os campos PyFrameObject estão sujeitos a alterações a qualquer momento, eles permaneceram estáveis por um longo tempo e foram usados em várias extensões populares.

No Python 3.11, a estrutura do quadro foi reorganizada para permitir otimizações de desempenho. Alguns campos foram totalmente removidos, pois eram detalhes da antiga implementação.

Campos do PyFrameObject:

f_back: use PyFrame_GetBack().

f_blockstack: removido.

f_builtins: use PyFrame_GetBuiltins().

f_code: use PyFrame_GetCode().

f_gen: use PyFrame_GetGenerator().

f_globals: use PyFrame_GetGlobals().

f_iblock: removido.

f_lasti: use PyFrame_GetLasti(). Código usando f_lasti com PyCode_Addr2Line() deve usar PyFrame_GetLineNumber(), pois deve ser mais rápido.

f_lineno: use PyFrame_GetLineNumber()

f_locals: use PyFrame_GetLocals().

f_stackdepth: removido.

f_state: nenhuma API pública (renomeado para f_frame.f_state).

f_trace: nenhuma API pública.

f_trace_lines: use PyObject_GetAttrString((PyObject*)frame, "f_trace_lines").

f_trace_opcodes: use PyObject_GetAttrString((PyObject*)frame, "f_trace_opcodes").

f_localsplus: nenhuma API pública (renomeado para f_frame.localsplus).

f_valuestack: removido.

O objeto quadro do Python agora é criado de forma “preguiçosa” (lazy). Um efeito colateral é que o membro f_back não deve ser acessado diretamente, já que seu valor agora também é calculado de forma “preguiçosa”. A função PyFrame_GetBack() deve ser chamada em seu lugar.

Depuradores que acessam f_locals diretamente devem chamar PyFrame_GetLocals(). Eles não precisam mais chamar PyFrame_FastToLocalsWithError() ou PyFrame_LocalsToFast(). Na verdade, eles não devem chamar essas funções. A atualização necessária do quadro agora é gerenciada pela máquina virtual.

Código definindo PyFrame_GetCode() no Python 3.8 e anteriores:

#if PY_VERSION_HEX < 0x030900B1
static inline PyCodeObject* PyFrame_GetCode(PyFrameObject *frame)
{
    Py_INCREF(frame->f_code);
    return frame->f_code;
}
#endif

Código definindo PyFrame_GetBack() no Python 3.8 e anteriores:

#if PY_VERSION_HEX < 0x030900B1
static inline PyFrameObject* PyFrame_GetBack(PyFrameObject *frame)
{
    Py_XINCREF(frame->f_back);
    return frame->f_back;
}
#endif

Ou use o projeto pythoncapi_compat [https://github.com/python/pythoncapi-compat] para obter essas duas funções em versões mais antigas do Python.

Mudanças nos membros da estrutura PyThreadState:

frame: removido, use PyThreadState_GetFrame() (função adicionada ao Python 3.9 por bpo-40429 [https://bugs.python.org/issue?@action=redirect&bpo=40429]). Aviso: a função retorna um referência forte, precisa chamar Py_XDECREF().

tracing: alterado, use PyThreadState_EnterTracing() e PyThreadState_LeaveTracing() (funções adicionadas ao Python 3.11 por bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760]).

recursion_depth: removido, use (tstate->recursion_limit - tstate->recursion_remaining).

stackcheck_counter: removido.

Código definindo PyThreadState_GetFrame() no Python 3.8 e anteriores:

#if PY_VERSION_HEX < 0x030900B1
static inline PyFrameObject* PyThreadState_GetFrame(PyThreadState *tstate)
{
    Py_XINCREF(tstate->frame);
    return tstate->frame;
}
#endif

Código definindo PyThreadState_EnterTracing() e PyThreadState_LeaveTracing() no Python 3.10 e anteriores:

#if PY_VERSION_HEX < 0x030B00A2
static inline void PyThreadState_EnterTracing(PyThreadState *tstate)
{
    tstate->tracing++;
#if PY_VERSION_HEX >= 0x030A00A1
    tstate->cframe->use_tracing = 0;
#else
    tstate->use_tracing = 0;
#endif
}

static inline void PyThreadState_LeaveTracing(PyThreadState *tstate)
{
    int use_tracing = (tstate->c_tracefunc != NULL || tstate->c_profilefunc != NULL);
    tstate->tracing--;
#if PY_VERSION_HEX >= 0x030A00A1
    tstate->cframe->use_tracing = use_tracing;
#else
    tstate->use_tracing = use_tracing;
#endif
}
#endif

Ou use o projeto pythoncapi-compat [https://github.com/python/pythoncapi-compat] para obter essas funções em funções antigas do Python.

Os distribuidores são encorajados a compilar o Python com a biblioteca Blake2 otimizada libb2 [https://www.blake2.net/].

O campo PyConfig.module_search_paths_set agora deve ser definido como 1 para inicialização para usar PyConfig.module_search_paths para inicializar sys.path. Caso contrário, a inicialização recalculará o caminho e substituirá quaisquer valores adicionados a module_search_paths.

PyConfig_Read() não calcula mais o caminho de pesquisa inicial e não preencherá nenhum valor em PyConfig.module_search_paths. Para calcular caminhos padrão e modificá-los, termine a inicialização e use PySys_GetObject() para recuperar sys.path como um objeto lista do Python e modifique-o diretamente.

Descontinuados

Descontinua as seguintes funções para configurar a inicialização do Python:

PySys_AddWarnOptionUnicode()

PySys_AddWarnOption()

PySys_AddXOption()

PySys_HasWarnOptions()

PySys_SetArgvEx()

PySys_SetArgv()

PySys_SetPath()

Py_SetPath()

Py_SetProgramName()

Py_SetPythonHome()

Py_SetStandardStreamEncoding()

_Py_SetProgramFullPath()

Em vez disso, use a nova API PyConfig da Configuração de Inicialização do Python (PEP 587 [https://peps.python.org/pep-0587/]). (Contribuição de Victor Stinner em gh-88279 [https://github.com/python/cpython/issues/88279].)

Descontinua o membro ob_shash do PyBytesObject. Use PyObject_Hash() em vez disso. (Contribuição de Inada Naoki em bpo-46864 [https://bugs.python.org/issue?@action=redirect&bpo=46864].)

Pendente remoção no Python 3.12

As seguintes APIs C foram descontinuadas em versões anteriores do Python e serão removidas no Python 3.12.

PyUnicode_AS_DATA()

PyUnicode_AS_UNICODE()

PyUnicode_AsUnicodeAndSize()

PyUnicode_AsUnicode()

PyUnicode_FromUnicode()

PyUnicode_GET_DATA_SIZE()

PyUnicode_GET_SIZE()

PyUnicode_GetSize()

PyUnicode_IS_COMPACT()

PyUnicode_IS_READY()

PyUnicode_READY()

PyUnicode_WSTR_LENGTH()

_PyUnicode_AsUnicode()

PyUnicode_WCHAR_KIND

PyUnicodeObject

PyUnicode_InternImmortal()

Removidos

PyFrame_BlockSetup() e PyFrame_BlockPop() foram removidas. (Contribuição de Mark Shannon em bpo-40222 [https://bugs.python.org/issue?@action=redirect&bpo=40222].)

Remove as seguintes macros matemáticas usando a variável errno:

Py_ADJUST_ERANGE1()

Py_ADJUST_ERANGE2()

Py_OVERFLOWED()

Py_SET_ERANGE_IF_OVERFLOW()

Py_SET_ERRNO_ON_MATH_ERROR()

(Contribuição de Victor Stinner em bpo-45412 [https://bugs.python.org/issue?@action=redirect&bpo=45412].)

Remove as macros Py_UNICODE_COPY() e Py_UNICODE_FILL(), descontinuadas desde o Python 3.3. Use PyUnicode_CopyCharacters() ou memcpy() (string wchar_t*) e as funções PyUnicode_Fill(). (Contribuição de Victor Stinner em bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123].)

Remove o arquivo de cabeçalho pystrhex.h. Ele contém apenas funções privadas. As extensões C devem incluir apenas o arquivo principal <Python.h>. (Contribuição de Victor Stinner em bpo-45434 [https://bugs.python.org/issue?@action=redirect&bpo=45434].)

Remove a macro Py_FORCE_DOUBLE(). Era usada pela macro Py_IS_INFINITY(). (Contribuição de Victor Stinner em bpo-45440 [https://bugs.python.org/issue?@action=redirect&bpo=45440].)

Os seguintes itens não estão mais disponíveis quando Py_LIMITED_API é definida:

PyMarshal_WriteLongToFile()

PyMarshal_WriteObjectToFile()

PyMarshal_ReadObjectFromString()

PyMarshal_WriteObjectToString()

a macro Py_MARSHAL_VERSION

Eles não fazem parte da API limitada.

(Contribuição de Victor Stinner em bpo-45474 [https://bugs.python.org/issue?@action=redirect&bpo=45474].)

Exclui PyWeakref_GET_OBJECT() da API C limitada. Nunca funcionou porque a estrutura PyWeakReference é opaca na API C limitada. (Contribuição de Victor Stinner em bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134].)

Remove a macro PyHeapType_GET_MEMBERS(). Estava exposta na API C pública por engano, deve ser usada apenas pelo Python internamente. Em vez disso, use o membro PyTypeObject.tp_members. (Contribuição de Victor Stinner em bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170].)

Remove a macro HAVE_PY_SET_53BIT_PRECISION (movida para a API C interna). (Contribuição de Victor Stinner em bpo-45412 [https://bugs.python.org/issue?@action=redirect&bpo=45412].)

Remove as APIs de codificação Py_UNICODE, pois foram descontinuadas desde o Python 3.3, são pouco usadas e ineficientes em relação às alternativas recomendadas.

As funções removidas são:

PyUnicode_Encode()

PyUnicode_EncodeASCII()

PyUnicode_EncodeLatin1()

PyUnicode_EncodeUTF7()

PyUnicode_EncodeUTF8()

PyUnicode_EncodeUTF16()

PyUnicode_EncodeUTF32()

PyUnicode_EncodeUnicodeEscape()

PyUnicode_EncodeRawUnicodeEscape()

PyUnicode_EncodeCharmap()

PyUnicode_TranslateCharmap()

PyUnicode_EncodeDecimal()

PyUnicode_TransformDecimalToASCII()

Veja a PEP 624 [https://peps.python.org/pep-0624/] para detalhes e orientação sobre migração [https://peps.python.org/pep-0624/#alternative-apis]. (Contribuição de Inada Naoki em bpo-44029 [https://bugs.python.org/issue?@action=redirect&bpo=44029].)

Alterações notáveis no 3.11.4

tarfile

Os métodos de extração em tarfile e shutil.unpack_archive(), têm um novo argumento filter que permite limitar recursos do tar que podem ser surpreendentes ou perigosos, como criar arquivos fora do diretório de destino. Veja Filtros de extração para detalhes. No Python 3.12, usar sem o argumento filter mostrará um DeprecationWarning. No Python 3.14, o padrão mudará para 'data'. (Contribuição de Petr Viktorin em PEP 706 [https://peps.python.org/pep-0706/].)

Alterações notáveis no 3.11.5

OpenSSL

Construções do Windows e instaladores do macOS em python.org agora usam OpenSSL 3.0.

O que há de novo no Python 3.10

Editor:

Pablo Galindo Salgado

Este artigo explica os novos recursos no Python 3.10, em comparação com 3.9. Python 3.10 foi lançado em 4 de outubro de 2021. Veja changelog para uma lista completa de mudanças.

Resumo – Destaques da versão

Novos recursos de sintaxe:

PEP 634 [https://peps.python.org/pep-0634/], Correspondência de padrão estrutural: especificação

PEP 635 [https://peps.python.org/pep-0635/], Correspondência de padrão estrutural: motivação e justificativa

PEP 636 [https://peps.python.org/pep-0636/], Correspondência de padrão estrutural: Tutorial

bpo-12782 [https://bugs.python.org/issue?@action=redirect&bpo=12782], Gerenciadores de contexto entre parênteses agora são permitidos oficialmente.

Novos recursos na biblioteca padrão:

PEP 618 [https://peps.python.org/pep-0618/], Adiciona verificação de comprimento opcional ao zip.

Melhorias no interpretador:

PEP 626 [https://peps.python.org/pep-0626/], Números de linha precisos para depuração e outras ferramentas.

Novos recursos de tipagem:

PEP 604 [https://peps.python.org/pep-0604/], Permite escrever tipos de união como X | Y

PEP 612 [https://peps.python.org/pep-0612/], Variáveis de especificação de parâmetro

PEP 613 [https://peps.python.org/pep-0613/], Apelidos de tipo explícitos

PEP 647 [https://peps.python.org/pep-0647/], Guardas de Tipo Definidas Pelo Usuário

Descontinuações, remoções ou restrições importantes:

PEP 644 [https://peps.python.org/pep-0644/], Exige OpenSSL 1.1.1 ou mais novo

PEP 632 [https://peps.python.org/pep-0632/], Descontinua o módulo distutils.

PEP 623 [https://peps.python.org/pep-0623/], Descontinua e prepara para a remoção do membro wstr em PyUnicodeObject.

PEP 624 [https://peps.python.org/pep-0624/], Remove APIs codificadoras de Py_UNICODE

PEP 597 [https://peps.python.org/pep-0597/], Adiciona EncodingWarning opcional

Novas funcionalidades

Gerenciadores de contexto entre parênteses

O uso de parênteses para continuação em várias linhas em gerenciadores de contexto agora é suportado. Isso permite a formatação de uma longa coleção de gerenciadores de contexto em várias linhas de maneira semelhante à que era possível anteriormente com instruções de importação. Por exemplo, todos esses exemplos agora são válidos:

with (CtxManager() as example):
    ...

with (
    CtxManager1(),
    CtxManager2()
):
    ...

with (CtxManager1() as example,
      CtxManager2()):
    ...

with (CtxManager1(),
      CtxManager2() as example):
    ...

with (
    CtxManager1() as example1,
    CtxManager2() as example2
):
    ...

também é possível usar uma vírgula no final do grupo fechado:

with (
    CtxManager1() as example1,
    CtxManager2() as example2,
    CtxManager3() as example3,
):
    ...

Esta nova sintaxe usa as capacidades não LL(1) do novo analisador sintático. Confira PEP 617 [https://peps.python.org/pep-0617/] para mais detalhes.

(Contribuição de Guido van Rossum, Pablo Galindo e Lysandros Nikolaou em bpo-12782 [https://bugs.python.org/issue?@action=redirect&bpo=12782] e bpo-40334 [https://bugs.python.org/issue?@action=redirect&bpo=40334].)

Melhores mensagens de erro

SyntaxErrors

Ao analisar o código que contém parênteses ou chaves não fechados, o interpretador agora inclui o local da chave não fechado de parênteses em vez de exibir SyntaxError: unexpected EOF while parsing ou apontando para algum local incorreto. Por exemplo, considere o seguinte código (observe o “{” não fechado):

expected = {9: 1, 18: 2, 19: 2, 27: 3, 28: 3, 29: 3, 36: 4, 37: 4,
            38: 4, 39: 4, 45: 5, 46: 5, 47: 5, 48: 5, 49: 5, 54: 6,
some_other_code = foo()

Versões anteriores do interpretador relatavam lugares confusos como local do erro de sintaxe:

File "example.py", line 3
    some_other_code = foo()
                    ^
SyntaxError: invalid syntax

mas no Python 3.10, um erro mais informativo é emitido:

File "example.py", line 1
    expected = {9: 1, 18: 2, 19: 2, 27: 3, 28: 3, 29: 3, 36: 4, 37: 4,
               ^
SyntaxError: '{' was never closed

De maneira semelhante, erros envolvendo literais de string não fechadas (entre aspas simples e triplas) agora apontam para o início da string em vez de relatar EOF/EOL.

Essas melhorias são inspiradas em trabalhos anteriores no interpretador PyPy.

(Contribuição de Pablo Galindo em bpo-42864 [https://bugs.python.org/issue?@action=redirect&bpo=42864] e Batuhan Taskaya em bpo-40176 [https://bugs.python.org/issue?@action=redirect&bpo=40176].)

As exceções SyntaxError levantadas pelo interpretador agora destacam o intervalo total de erros da expressão que constitui o próprio erro de sintaxe, em vez de apenas onde o problema foi detectado. Desta forma, em vez de exibir (antes do Python 3.10):

>>> foo(x, z for z in range(10), t, w)
  File "<stdin>", line 1
    foo(x, z for z in range(10), t, w)
           ^
SyntaxError: Generator expression must be parenthesized

agora o Python 3.10 vai exibir a exceção como:

>>> foo(x, z for z in range(10), t, w)
  File "<stdin>", line 1
    foo(x, z for z in range(10), t, w)
           ^^^^^^^^^^^^^^^^^^^^
SyntaxError: Generator expression must be parenthesized

Esta melhoria foi contribuída por Pablo Galindo em bpo-43914 [https://bugs.python.org/issue?@action=redirect&bpo=43914].

Uma quantidade considerável de novas mensagens especializadas para exceções SyntaxError foram incorporadas. Alguns dos mais notáveis são os seguintes:

Faltando : antes de blocos:

>>> if rocket.position > event_horizon
  File "<stdin>", line 1
    if rocket.position > event_horizon
                                      ^
SyntaxError: expected ':'

(Contribuição de Pablo Galindo em bpo-42997 [https://bugs.python.org/issue?@action=redirect&bpo=42997].)

Tuplas sem parênteses em alvos de compreensão:

>>> {x,y for x,y in zip('abcd', '1234')}
  File "<stdin>", line 1
    {x,y for x,y in zip('abcd', '1234')}
     ^
SyntaxError: did you forget parentheses around the comprehension target?

(Contribuição de Pablo Galindo em bpo-43017 [https://bugs.python.org/issue?@action=redirect&bpo=43017].)

Faltando vírgulas em literais de coleção e entre expressões:

>>> items = {
... x: 1,
... y: 2
... z: 3,
  File "<stdin>", line 3
    y: 2
       ^
SyntaxError: invalid syntax. Perhaps you forgot a comma?

(Contribuição de Pablo Galindo em bpo-43822 [https://bugs.python.org/issue?@action=redirect&bpo=43822].)

Vários tipos de exceção sem parênteses:

>>> try:
...     build_dyson_sphere()
... except NotEnoughScienceError, NotEnoughResourcesError:
  File "<stdin>", line 3
    except NotEnoughScienceError, NotEnoughResourcesError:
           ^
SyntaxError: multiple exception types must be parenthesized

(Contribuição de Pablo Galindo em bpo-43149 [https://bugs.python.org/issue?@action=redirect&bpo=43149].)

Faltando : em valores em literais de dicionário:

>>> values = {
... x: 1,
... y: 2,
... z:
... }
  File "<stdin>", line 4
    z:
     ^
SyntaxError: expression expected after dictionary key and ':'

>>> values = {x:1, y:2, z w:3}
  File "<stdin>", line 1
    values = {x:1, y:2, z w:3}
                        ^
SyntaxError: ':' expected after dictionary key

(Contribuição de Pablo Galindo em bpo-43823 [https://bugs.python.org/issue?@action=redirect&bpo=43823].)

Blocos try sem blocos except ou finally:

>>> try:
...     x = 2
... something = 3
  File "<stdin>", line 3
    something  = 3
    ^^^^^^^^^
SyntaxError: expected 'except' or 'finally' block

(Contribuição de Pablo Galindo em bpo-44305 [https://bugs.python.org/issue?@action=redirect&bpo=44305].)

Uso de = em vez de == nas comparações:

>>> if rocket.position = event_horizon:
  File "<stdin>", line 1
    if rocket.position = event_horizon:
                       ^
SyntaxError: cannot assign to attribute here. Maybe you meant '==' instead of '='?

(Contribuição de Pablo Galindo em bpo-43797 [https://bugs.python.org/issue?@action=redirect&bpo=43797].)

Uso de * em f-strings:

>>> f"Black holes {*all_black_holes} and revelations"
  File "<stdin>", line 1
    (*all_black_holes)
     ^
SyntaxError: f-string: cannot use starred expression here

(Contribuição de Pablo Galindo em bpo-41064 [https://bugs.python.org/issue?@action=redirect&bpo=41064].)

IndentationErrors

Muitas exceções IndentationError agora têm mais contexto sobre que tipo de bloco estava esperando um indentação, incluindo a localização da instrução:

>>> def foo():
...    if lel:
...    x = 2
  File "<stdin>", line 3
    x = 2
    ^
IndentationError: expected an indented block after 'if' statement in line 2

AttributeErrors

Ao exibir AttributeError, PyErr_Display() oferecerá sugestões de nomes de atributos semelhantes no objeto a partir do qual a exceção foi levantada:

>>> collections.namedtoplo
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'collections' has no attribute 'namedtoplo'. Did you mean: namedtuple?

(Contribuição de Pablo Galindo em bpo-38530 [https://bugs.python.org/issue?@action=redirect&bpo=38530].)

Aviso

Observe que isso não funcionará se PyErr_Display() não for chamado para exibir o erro que pode ocorrer se alguma outra função personalizada de exibição de erro for usada. Este é um cenário comum em alguns REPLs, laços de leitura-avaliação-impressão, como o IPython.

NameErrors

Ao exibir NameError levantada pelo interpretador, PyErr_Display() irá oferecer sugestões de nomes de variáveis semelhantes na função de onde a exceção foi levantada:

>>> schwarzschild_black_hole = None
>>> schwarschild_black_hole
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'schwarschild_black_hole' is not defined. Did you mean: schwarzschild_black_hole?

(Contribuição de Pablo Galindo em bpo-38530 [https://bugs.python.org/issue?@action=redirect&bpo=38530].)

Aviso

Observe que isso não funcionará se PyErr_Display() não for chamado para exibir o erro que pode ocorrer se alguma outra função personalizada de exibição de erro for usada. Este é um cenário comum em alguns REPLs, laços de leitura-avaliação-impressão, como o IPython.

PEP 626: Números de linha precisos para depuração e outras ferramentas

O PEP 626 traz números de linha mais precisos e confiáveis para ferramentas de depuração, criação de perfil e cobertura. Eventos de rastreamento, com o número de linha correto, são gerados para todas as linhas de código executadas e apenas para linhas de código que são executadas.

O atributo f_lineno de objetos de quadro sempre conterá o número de linha esperado.

O atributo co_lnotab code objects foi descontinuado e será removido no 3.12. O código que precisa ser convertido do deslocamento para o número da linha deve usar o novo método co_lines().

PEP 634: Correspondência de padrão estrutural

A correspondência de padrão estrutural foi adicionada na forma de uma instrução de correspondência e instruções de caso de padrões com ações associadas. Os padrões consistem em sequências, mapeamentos, tipos de dados primitivos, bem como instâncias de classe. A correspondência de padrão permite que os programas extraiam informações de tipos de dados complexos, ramifiquem na estrutura de dados e apliquem ações específicas com base em diferentes formas de dados.

Sintaxe e operações

A sintaxe genérica da correspondência de padrão é:

match subject:
    case <pattern_1>:
        <action_1>
    case <pattern_2>:
        <action_2>
    case <pattern_3>:
        <action_3>
    case _:
        <action_wildcard>

Uma instrução de correspondência pega uma expressão e compara seu valor com padrões sucessivos fornecidos como um ou mais blocos de caso. Especificamente, a correspondência de padrões opera:

usando dados com tipo e forma (o subject)

avaliando o subject na instrução match

comparando o assunto com cada padrão em uma instrução case de cima para baixo até que uma correspondência seja confirmada.

executando a ação associada ao padrão da correspondência confirmada

Se uma correspondência exata não for confirmada, no último caso, um curinga _, se fornecido, será usado como o caso de correspondência. Se uma correspondência exata não for confirmada e não houver um caractere curinga, todo o bloco de correspondência será autônomo.

Abordagem declarativa

Os leitores podem estar cientes da correspondência de padrão por meio do exemplo simples de correspondência de um assunto (objeto de dados) a um literal (padrão) com a instrução switch encontrada em C, Java ou JavaScript (e muitas outras linguagens). Frequentemente, a instrução switch é usada para comparação de um objeto/expressão com instruções case contendo literais.

Exemplos mais poderosos de correspondência de padrão podem ser encontrados em linguagens como Scala e Elixir. Com a correspondência de padrão estrutural, a abordagem é “declarativa” e declara explicitamente as condições (os padrões) para que os dados correspondam.

Embora uma série “imperativa” de instruções usando instruções “if” aninhadas possa ser usada para realizar algo semelhante à correspondência de padrão estrutural, é menos clara do que a abordagem “declarativa”. Em vez disso, a abordagem “declarativa” estabelece as condições a serem atendidas para uma correspondência e é mais legível por meio de seus padrões explícitos. Embora a correspondência de padrão estrutural possa ser usada em sua forma mais simples comparando uma variável a um literal em uma instrução case, seu verdadeiro valor para Python reside em seu tratamento do tipo e forma do sujeito.

Padrão simples: corresponder a um literal

Vejamos este exemplo como correspondência de padrão em sua forma mais simples: um valor, o assunto, sendo correspondido a vários literais, os padrões. No exemplo abaixo, status é o assunto da instrução de correspondência. Os padrões são cada uma das instruções de caso, onde literais representam códigos de status de solicitação. A ação associada ao caso é executada após uma partida:

def http_error(status):
    match status:
        case 400:
            return "Bad request"
        case 404:
            return "Not found"
        case 418:
            return "I'm a teapot"
        case _:
            return "Something's wrong with the internet"

Se a função acima receber um status de 418, “I’m a teapot” será retornado. Se a função acima receber um status de 500, a instrução case com _ irá corresponder a um curinga, e “Something’s wrong with the Internet” é retornado. Observe o último bloco: o nome da variável, _, atua como um curinga e garante que o assunto sempre corresponderá. O uso de _ é opcional.

Você pode combinar vários literais em um único padrão usando | (“ou”):

case 401 | 403 | 404:
    return "Não permitido"

Comportamento sem o curinga

Se modificarmos o exemplo acima removendo o último bloco case, o exemplo se tornará:

def http_error(status):
    match status:
        case 400:
            return "Bad request"
        case 404:
            return "Not found"
        case 418:
            return "I'm a teapot"

Sem o uso de _ em uma instrução case, uma correspondência pode não existir. Se não houver correspondência, o comportamento é autônomo. Por exemplo, se o status de 500 for passado, ocorre um no-op.

Padrões com uma literal e variável

Os padrões podem parecer atribuições de desempacotamento e um padrão pode ser usado para vincular variáveis. Neste exemplo, um ponto de dados pode ser desempacotado em sua coordenada x e coordenada y:

# ponto é uma tupla (x, y)
match ponto:
    case (0, 0):
        print("Origem")
    case (0, y):
        print(f"Y={y}")
    case (x, 0):
        print(f"X={x}")
    case (x, y):
        print(f"X={x}, Y={y}")
    case _:
        raise ValueError("Não é um ponto")

O primeiro padrão tem dois literais, (0, 0), e pode ser considerado uma extensão do padrão literal mostrado acima. Os próximos dois padrões combinam um literal e uma variável, e a variável vincula um valor do assunto (ponto). O quarto padrão captura dois valores, o que o torna conceitualmente semelhante à atribuição de desempacotamento (x, y) = ponto.

Padrões e classes

Se estiver usando classes para estruturar seus dados, você pode usar como padrão o nome da classe seguido por uma lista de argumentos semelhante a um construtor. Este padrão tem a capacidade de capturar atributos de classe em variáveis:

class Point:
    x: int
    y: int

def location(point):
    match point:
        case Point(x=0, y=0):
            print("Origin is the point's location.")
        case Point(x=0, y=y):
            print(f"Y={y} and the point is on the y-axis.")
        case Point(x=x, y=0):
            print(f"X={x} and the point is on the x-axis.")
        case Point():
            print("The point is located somewhere else on the plane.")
        case _:
            print("Not a point")

Padrões com parâmetros posicionais

Você pode usar parâmetros posicionais com algumas classes embutidas que fornecem uma ordem para seus atributos (por exemplo, classes de dados). Você também pode definir uma posição específica para atributos em padrões configurando o atributo especial __match_args__ em suas classes. Se for definido como (“x”, “y”), os seguintes padrões são todos equivalentes (e todos ligam o atributo y à variável var):

Ponto(1, var)
Ponto(1, y=var)
Ponto(x=1, y=var)
Ponto(y=var, x=1)

Padrões aninhados

Os padrões podem ser aninhados arbitrariamente. Por exemplo, se nossos dados forem uma pequena lista de pontos, eles podem ser correspondidos assim:

match points:
    case []:
        print("No points in the list.")
    case [Point(0, 0)]:
        print("The origin is the only point in the list.")
    case [Point(x, y)]:
        print(f"A single point {x}, {y} is in the list.")
    case [Point(0, y1), Point(0, y2)]:
        print(f"Two points on the Y axis at {y1}, {y2} are in the list.")
    case _:
        print("Something else is found in the list.")

Padrões complexos e o curinga

Até este ponto, os exemplos usaram _ sozinho na última instrução case. Um curinga pode ser usado em padrões mais complexos, como ('error', code, _). Por exemplo:

match test_variable:
    case ('warning', code, 40):
        print("A warning has been received.")
    case ('error', code, _):
        print(f"An error {code} occurred.")

No caso acima, test_variable irá corresponder a (‘erro’, código, 100) e (‘erro’, código, 800).

Guarda

Podemos adicionar uma cláusula if a um padrão, conhecido como “guarda”. Se a guarda for falsa, match continua para tentar o próximo bloco de caso. Observe que a captura de valor ocorre antes que a guarda seja avaliada:

match point:
    case Point(x, y) if x == y:
        print(f"The point is located on the diagonal Y=X at {x}.")
    case Point(x, y):
        print(f"Point is not on the diagonal.")

Outros recursos-chave

Vários outros recursos-chave:

Assim como desempacotar atribuições, os padrões de tupla e lista têm exatamente o mesmo significado e realmente correspondem a sequências arbitrárias. Tecnicamente, o subject deve ser uma sequência. Portanto, uma exceção importante é que padrões não correspondem a iteradores. Também evita um erro comum, sequência de padrões não correspondem a strings.

Os padrões de sequência têm suporte a curingas: [x, y, *rest] e (x, y, *rest) funcionam de forma semelhante a curingas em desempacotamentos de atribuições. O nome depois de * também pode ser _, então (x, y, *_) corresponde a uma sequência de pelo menos dois itens sem ligar os itens restantes.

Padrões de mapeamento: {"bandwidth": b, "latency": l} captura os valores "bandwidth" e "latency" de um dict. Diferente dos padrões de sequência, chaves extra são ignoradas. Um curinga **rest também é permitido. (Mas **_ seria redundante, então não é permitido.)

Subpadrões podem ser capturados usando a palavra reservada as

case (Ponto(x1, y1), Ponto(x2, y2) as p2): ...

Isso liga x1, y1, x2, y2 como você esperaria sem a cláusula as e p2 a todo o segundo item do subject.

A maioria dos literais são comparados por igualdade. No entanto, os singletons True, False e None são comparados por identidade.

Constantes nomeadas podem ser usadas em padrões. Essas constantes nomeadas devem ser nomes pontilhados para evitar que a constante seja interpretada como uma variável de captura:

from enum import Enum
class Color(Enum):
    RED = 0
    GREEN = 1
    BLUE = 2

color = Color.GREEN
match color:
    case Color.RED:
        print("I see red!")
    case Color.GREEN:
        print("Grass is green")
    case Color.BLUE:
        print("I'm feeling the blues :(")

Para obter as especificações completas, consulte a PEP 634 [https://peps.python.org/pep-0634/]. A motivação e o raciocínio estão na PEP 635 [https://peps.python.org/pep-0635/], e um tutorial mais longo está na PEP 636 [https://peps.python.org/pep-0636/].

EncodingWarning opcional e opção encoding="locale"

A codificação padrão de TextIOWrapper e open() depende da plataforma e da localidade. Como o UTF-8 é usado na maioria das plataformas Unix, omitir a opção encoding ao abrir arquivos UTF-8 (por exemplo, JSON, YAML, TOML, Markdown) é um bug muito comum. Por exemplo:

# BUG: "rb" mode or encoding="utf-8" should be used.
with open("data.json") as f:
    data = json.load(f)

Para encontrar este tipo de bug, uma EncodingWarning opcional é adicionada. É emitido quando sys.flags.warn_default_encoding é verdadeiro e a codificação padrão específica da localidade é usada.

A opção -X warn_default_encoding e PYTHONWARNDEFAULTENCODING são adicionadas para ativar o aviso.

Veja Text Encoding para mais informações.

Novos recursos relacionados a dicas de tipo

Esta seção cobre as principais mudanças que afetam as dicas de tipo da PEP 484 [https://peps.python.org/pep-0484/] e o módulo typing.

PEP 604: Operador de união de novo tipo

Um novo operador de união de tipo foi introduzido, o que permite a sintaxe X | Y. Isso fornece uma maneira mais limpa de expressar “tanto o tipo X quanto o tipo Y” ao invés de usar typing.Union, especialmente em dicas de tipo.

Nas versões anteriores do Python, para aplicar uma dica de tipo para funções que aceitam argumentos de vários tipos, era usado typing.Union:

def square(number: Union[int, float]) -> Union[int, float]:
    return number ** 2

As dicas de tipo agora podem ser escritas de uma maneira mais sucinta:

def square(number: int | float) -> int | float:
    return number ** 2

Esta nova sintaxe também é aceita como o segundo argumento para isinstance() e issubclass():

>>> isinstance(1, int | str)
True

Veja Tipo União e PEP 604 [https://peps.python.org/pep-0604/] para mais detalhes.

(Contribuição de Maggie Moss e Philippe Prados em bpo-41428 [https://bugs.python.org/issue?@action=redirect&bpo=41428], com acréscimos por Yurii Karabas e Serhiy Storchaka em bpo-44490 [https://bugs.python.org/issue?@action=redirect&bpo=44490].)

PEP 612: Variáveis de especificação de parâmetros

Duas novas opções para melhorar as informações fornecidas para verificadores de tipo estático para Callable da PEP 484 [https://peps.python.org/pep-0484/] foram adicionadas ao módulo typing.

A primeira é a variável de especificação de parâmetro. Eles são usados para encaminhar os tipos de parâmetro de um chamável para outro chamável – um padrão comumente encontrado em funções e decoradores de ordem superior. Exemplos de uso podem ser encontrados em typing.ParamSpec. Anteriormente, não havia uma maneira fácil de digitar a dependência de anotação de tipos de parâmetro de maneira tão precisa.

A segunda opção é o novo operador Concatenate. É usado em conjunto com variáveis de especificação de parâmetro para digitar anotar um chamável de ordem superior que adiciona ou remove parâmetros de outro chamável. Exemplos de uso podem ser encontrados em typing.Concatenate.

Veja typing.Callable, typing.ParamSpec, typing.Concatenate, typing.ParamSpecArgs, typing.ParamSpecKwargs e PEP 612 [https://peps.python.org/pep-0612/] para mais detalhes.

(Contribuição de Ken Jin em bpo-41559 [https://bugs.python.org/issue?@action=redirect&bpo=41559], com pequenas melhorias por Jelle Zijlstra em bpo-43783 [https://bugs.python.org/issue?@action=redirect&bpo=43783]. PEP escrita por Mark Mendoza.)

PEP 613: TypeAlias

PEP 484 [https://peps.python.org/pep-0484/] introduziu o conceito de apelidos de tipo, exigindo apenas que fossem atribuições não anotadas de nível superior. Essa simplicidade às vezes tornava difícil para os verificadores de tipo distinguir entre apelidos de tipo e atribuições comuns, especialmente quando referências diretas ou tipos inválidos estavam envolvidos. Compare:

StrCache = 'Cache[str]'  # a type alias
LOG_PREFIX = 'LOG[DEBUG]'  # a module constant

Agora o módulo typing tem um valor especial TypeAlias que permite declarar apelidos de tipo, mais explicitamente:

StrCache: TypeAlias = 'Cache[str]'  # a type alias
LOG_PREFIX = 'LOG[DEBUG]'  # a module constant

Veja PEP 613 [https://peps.python.org/pep-0613/] para mais detalhes.

(Contribuição de Mikhail Golubev em bpo-41923 [https://bugs.python.org/issue?@action=redirect&bpo=41923].)

PEP 647: Guardas de Tipo Definidas Pelo Usuário

TypeGuard foi adicionado ao módulo typing para anotar funções de guarda de tipo e melhorar informações fornecidas a verificadores de tipo estático durante um estreitamento de tipo. Para mais informações, veja a documentação do TypeGuard e a PEP 647 [https://peps.python.org/pep-0647/].

(Contribuição de Ken Jin e Guido van Rossum em bpo-43766 [https://bugs.python.org/issue?@action=redirect&bpo=43766]. PEP escrita por Eric Traut.)

Outras mudanças na linguagem

O tipo int tem um novo método int.bit_count(), retornando o número de unidades na expansão binária de um dado inteiro, também conhecido como contagem da população. (Contribuição de Niklas Fiekas em bpo-29882 [https://bugs.python.org/issue?@action=redirect&bpo=29882].)

As visualizações retornadas por dict.keys(), dict.values() e dict.items() agora têm um atributo mapping que fornece um objeto types.MappingProxyType que envolve o dicionário original. (Contribuição de Dennis Sweeney em bpo-40890 [https://bugs.python.org/issue?@action=redirect&bpo=40890].)

PEP 618 [https://peps.python.org/pep-0618/]: A função zip() agora tem um sinalizador opcional strict, usado para exigir que todos os iteráveis tenham um comprimento igual.

Funções embutidas e de extensão que recebem argumentos inteiros não aceitam mais Decimal, Fraction e outros objetos que podem ser convertidos em inteiros apenas com uma perda (por exemplo, tem o método __int__(), mas não tem o método __index__()). (Contribuição de Serhiy Storchaka em bpo-37999 [https://bugs.python.org/issue?@action=redirect&bpo=37999].)

Se object.__ipow__() retorna NotImplemented, o operador vai corretamente recorrer ao object.__pow__() e object.__rpow__() como esperado. (Contribuição de Alex Shkop em bpo-38302 [https://bugs.python.org/issue?@action=redirect&bpo=38302].)

Expressões de atribuição agora podem ser usadas sem parênteses dentro de literais de conjuntos e compreensões de conjuntos, bem como em índices de sequência (mas não em fatias).

As funções têm um novo atributo __builtins__ que é usado para procurar por símbolos embutidos quando uma função é executada, em vez de procurar em __globals__['__builtins__']. O atributo é inicializado a partir de __globals__["__builtins__"] se existir; do contrário, a partir dos embutidos atuais. (Contribuição de Mark Shannon em bpo-42990 [https://bugs.python.org/issue?@action=redirect&bpo=42990].)

Duas novas funções embutidas – aiter() e anext() foram adicionadas para fornecer contrapartes assíncronas para iter() e next(), respectivamente. (Contribuição de Joshua Bronson, Daniel Pope e Justin Wang em bpo-31861 [https://bugs.python.org/issue?@action=redirect&bpo=31861].)

Métodos estáticos (@staticmethod) e métodos de classe (@classmethod) agora herdam os atributos de método (__module__, __name__, __qualname__, __doc__, __annotations__) e têm um novo atributo __wrapped__ . Além disso, métodos estáticos são agora chamáveis como funções comuns. (Contribuição de Victor Stinner em bpo-43682 [https://bugs.python.org/issue?@action=redirect&bpo=43682].)

Anotações para alvos complexos (tudo além de alvos de nome simples, ou simple name, definidos pela PEP 526 [https://peps.python.org/pep-0526/]) não causam mais nenhum efeito de tempo de execução com from __future__ import annotations. (Contribuição de Batuhan Taskaya em bpo-42737 [https://bugs.python.org/issue?@action=redirect&bpo=42737].)

Objetos classe e módulo agora criam preguiçosamente dados vazios de anotações sob demanda. Os dicionários de anotações são armazenados em __dict__ do objeto para compatibilidade com versões anteriores. Isso melhora as melhores práticas para trabalhar com __annotations__; para mais informações, veja Boas práticas para anotações. (Contribuição de Larry Hastings em bpo-43901 [https://bugs.python.org/issue?@action=redirect&bpo=43901].)

Anotações consistindo em yield, yield from, await ou expressões nomeadas agora são proibidas em from __future__ import annotations por causa de seus efeitos colaterais. (Contribuição de Batuhan Taskaya em bpo-42725 [https://bugs.python.org/issue?@action=redirect&bpo=42725].)

O uso de variáveis não ligadas, super() e outras expressões que podem alterar o processamento da tabela de símbolos como anotações são agora processadas sem efeito sob from __future__ import annotations. (Contribuição de Batuhan Taskaya em bpo-42725 [https://bugs.python.org/issue?@action=redirect&bpo=42725].)

Hashes de valores NaN de ambos os tipos float e decimal.Decimal agora dependem da identidade do objeto. Anteriormente, eles sempre hash para 0 mesmo que os valores NaN não sejam iguais uns aos outros. Isso causou um comportamento de tempo de execução potencialmente quadrático devido a colisões de hash excessivas ao criar dicionários e conjuntos contendo vários NaNs. (Contribuição de Raymond Hettinger em bpo-43475 [https://bugs.python.org/issue?@action=redirect&bpo=43475].)

Uma SyntaxError (ao invés de uma NameError) será levantada ao excluir a constante __debug__. (Contribuição de Donghee Na em bpo-45000 [https://bugs.python.org/issue?@action=redirect&bpo=45000].)

Exceções SyntaxError agora possuem atributos end_lineno e end_offset. Eles serão None se não forem determinados. (Contribuição de Pablo Galindo em bpo-43914 [https://bugs.python.org/issue?@action=redirect&bpo=43914].)

Novos módulos

Nenhum.

Módulos melhorados

asyncio

Adiciona o método connect_accepted_socket() até então em falta. (Contribuição de Alex Grönholm em bpo-41332 [https://bugs.python.org/issue?@action=redirect&bpo=41332].)

argparse

A frase enganosa “argumentos opcionais” foi substituída por “opções” na ajuda do argparse. Alguns testes podem exigir adaptação se eles dependerem da correspondência de saída exata. (Contribuição de Raymond Hettinger em bpo-9694 [https://bugs.python.org/issue?@action=redirect&bpo=9694].)

array

O método index() de array.array agora possui os parâmetros start e stop. (Contribuição de Anders Lorentsen e Zackery Spytz em bpo-31956 [https://bugs.python.org/issue?@action=redirect&bpo=31956].)

asynchat, asyncore, smtpd

Esses módulos foram marcados como descontinuados em sua documentação de módulo desde o Python 3.6. Uma exceção DeprecationWarning em tempo de importação agora foi adicionada a todos esses três módulos.

base64

Adiciona base64.b32hexencode() e base64.b32hexdecode() para dar suporte a Codificação Base32 com alfabeto hexa estendido.

bdb

Adiciona clearBreakpoints() para redefinir todos os pontos de interrupção definidos. (Contribuição de Irit Katriel em bpo-24160 [https://bugs.python.org/issue?@action=redirect&bpo=24160].)

bisect

Adicionada a possibilidade de fornecer uma função key para as APIs no módulo bisect. (Contribuição de Raymond Hettinger em bpo-4356 [https://bugs.python.org/issue?@action=redirect&bpo=4356].)

codecs

Adiciona uma função codecs.unregister() para cancelar um registro de uma função de pesquisa de codecs. (Contribuição de Hai Shi em bpo-41842 [https://bugs.python.org/issue?@action=redirect&bpo=41842].)

collections.abc

Os __args__ do genérico parametrizado para collections.abc.Callable agora são consistentes com typing.Callable. A classe genérica collections.abc.Callable agora achata parâmetros de tipo, de forma semelhante ao que typing.Callable atualmente faz. Isso significa que collections.abc.Callable[[int, str], str] terá __args__ de (int, str, str); anteriormente, isso era ([int, str], str). Para permitir esta alteração, agora é possível criar subclasse de types.GenericAlias e uma subclasse será retornada ao fazer um subscript do tipo collections.abc.Callable. Observe que uma TypeError pode ser levantada para formas inválidas de parametrizar collections.abc.Callable que podem ter passado silenciosamente no Python 3.9. (Contribuição de Ken Jin em bpo-42195 [https://bugs.python.org/issue?@action=redirect&bpo=42195].)

contextlib

Adiciona um gerenciador de contexto contextlib.aclosing() para fechar com segurança geradores assíncronos e objetos que representam recursos liberados de forma assíncrona. (Contribuição de Joongi Kim e John Belmonte em bpo-41229 [https://bugs.python.org/issue?@action=redirect&bpo=41229].)

Adiciona suporte a gerenciador de contexto assíncrono a contextlib.nullcontext(). (Contribuição de Tom Gringauz em bpo-41543 [https://bugs.python.org/issue?@action=redirect&bpo=41543].)

Adiciona AsyncContextDecorator, para dar suporte ao uso de gerenciadores de contexto assíncronos como decoradores.

curses

As funções de cores estendidas adicionadas no ncurses 6.1 serão usadas transparentemente por curses.color_content(), curses.init_color(), curses.init_pair() e curses.pair_content(). Uma nova função, curses.has_extended_color_support(), indica se o suporte a cores estendidas é fornecido pela biblioteca ncurses subjacente. (Contribuição de Jeffrey Kintscher e Hans Petter Jansson em bpo-36982 [https://bugs.python.org/issue?@action=redirect&bpo=36982].)

As constantes BUTTON5_* agora são expostas no módulo curses se forem fornecidas pela biblioteca curses subjacente. (Contribuição de Zackery Spytz em bpo-39273 [https://bugs.python.org/issue?@action=redirect&bpo=39273].)

dataclasses

__slots__

Adicionado o parâmetro slots no decorador dataclasses.dataclass(). (Contribuição de Yurii Karabas em bpo-42269 [https://bugs.python.org/issue?@action=redirect&bpo=42269])

Campos somente-nomeados

dataclasses agora oferece suporte a campos que são somente palavras-chave no método __init__ gerado. Há várias maneiras de especificar campos somente de palavras-chave.

Você pode dizer que todos os campos são somente-nomeados:

from dataclasses import dataclass

@dataclass(kw_only=True)
class Birthday:
    name: str
    birthday: datetime.date

Ambos name e birthday são parâmetros somente-nomeados para o método __init__ gerado.

Você pode especificar somente-nomeado por campo:

from dataclasses import dataclass, field

@dataclass
class Birthday:
    name: str
    birthday: datetime.date = field(kw_only=True)

Aqui apenas birthday é somente-nomeado. Se você definir kw_only em campos individuais, esteja ciente de que existem regras sobre a reordenação de campos devido a campos somente-nomeados que precisam seguir campos não somente-nomeados. Consulte a documentação completa das classes de dados para obter detalhes.

Você também pode especificar que todos os campos que seguem um marcador KW_ONLY sejam somente-nomeados. Este provavelmente será o uso mais comum:

from dataclasses import dataclass, KW_ONLY

@dataclass
class Point:
    x: float
    y: float
    _: KW_ONLY
    z: float = 0.0
    t: float = 0.0

Aqui, z e t são parâmetros somente-nomeados, enquanto x e y não são. (Contribuição de Eric V. Smith em bpo-43532 [https://bugs.python.org/issue?@action=redirect&bpo=43532].)

distutils

Todo o pacote distutils foi descontinuado, para ser removido no Python 3.12. Sua funcionalidade para especificar compilações de pacote já foi completamente substituída por pacotes de terceiros setuptools e packaging, e a maioria das outras APIs comumente usadas estão disponíveis em outro lugar na biblioteca padrão (como platform, shutil, subprocess ou sysconfig). Não há planos para migrar qualquer outra funcionalidade de distutils, e aplicativos que estão usando outras funções devem planejar fazer cópias privadas do código. Consulte PEP 632 [https://peps.python.org/pep-0632/] para discussão.

O comando descontinuado bdist_wininst no Python 3.8 foi removido. O comando bdist_wheel agora é recomendado para distribuir pacotes binários no Windows. (Contribuição de Victor Stinner em bpo-42802 [https://bugs.python.org/issue?@action=redirect&bpo=42802].)

doctest

Quando um módulo não define __loader__, recorre a __spec__.loader. (Contribuição de Brett Cannon em bpo-42133 [https://bugs.python.org/issue?@action=redirect&bpo=42133].)

encodings

encodings.normalize_encoding() agora ignora caracteres não-ASCII. (Contribuição de Hai Shi em bpo-39337 [https://bugs.python.org/issue?@action=redirect&bpo=39337].)

enum

__repr__() do Enum agora retorna enum_name.member_name e __str__() agora retorna member_name. Os enums da stdlib disponíveis como constantes de módulo têm repr() de module_name.member_name. (Contribuição de Ethan Furman em bpo-40066 [https://bugs.python.org/issue?@action=redirect&bpo=40066].)

Adiciona enum.StrEnum para enums onde todos os membros são strings. (Contribuição de Ethan Furman em bpo-41816 [https://bugs.python.org/issue?@action=redirect&bpo=41816].)

fileinput

Adiciona os parâmetros encoding e errors a fileinput.input() e fileinput.FileInput. (Contribuição de Inada Naoki em bpo-43712 [https://bugs.python.org/issue?@action=redirect&bpo=43712].)

fileinput.hook_compressed() agora retorna um objeto TextIOWrapper quando mode é “r” e o arquivo está compactado, como arquivos descompactados. (Contribuição de Inada Naoki em bpo-5758 [https://bugs.python.org/issue?@action=redirect&bpo=5758].)

faulthandler

O módulo faulthandler agora detecta se um erro fatal ocorre durante a coleta do coletor de lixo. (Contribuição de Victor Stinner em bpo-44466 [https://bugs.python.org/issue?@action=redirect&bpo=44466].)

gc

Adiciona ganchos de auditoria para gc.get_objects(), gc.get_referrers() e gc.get_referents(). (Contribuição de Pablo Galindo em bpo-43439 [https://bugs.python.org/issue?@action=redirect&bpo=43439].)

glob

Adiciona os parâmetros root_dir e dir_fd em glob() e iglob(), o que permite especificar o diretório raiz para a pesquisa. (Contribuição de Serhiy Storchaka em bpo-38144 [https://bugs.python.org/issue?@action=redirect&bpo=38144].)

hashlib

O módulo hashlib requer OpenSSL 1.1.1 ou mais recente. (Contribuição de Christian Heimes em PEP 644 [https://peps.python.org/pep-0644/] e bpo-43669 [https://bugs.python.org/issue?@action=redirect&bpo=43669].)

O módulo hashlib tem suporte preliminar a OpenSSL 3.0.0. (Contribuição de Christian Heimes em bpo-38820 [https://bugs.python.org/issue?@action=redirect&bpo=38820] e outras issues.)

A alternativa puramente Python de pbkdf2_hmac() foi descontinuada. No futuro, o PBKDF2-HMAC só estará disponível quando o Python for desenvolvido com suporte a OpenSSL. (Contribuição de Christian Heimes em bpo-43880 [https://bugs.python.org/issue?@action=redirect&bpo=43880].)

hmac

O módulo hmac agora usa a implementação HMAC do OpenSSL internamente. (Contribuição de Christian Heimes em bpo-40645 [https://bugs.python.org/issue?@action=redirect&bpo=40645].)

IDLE e idlelib

Faz o IDLE invocar sys.excepthook() (quando iniciado sem ‘-n’). Ganchos de usuário eram ignorados anteriormente. (Contribuição de Ken Hilton em bpo-43008 [https://bugs.python.org/issue?@action=redirect&bpo=43008].)

Reorganiza a caixa de diálogo de configurações. Divide a aba General nas abas Windows e Shell/Ed. Move as fontes de ajuda, que estendem o menu Help, para a aba Extensions. Abre espaço para novas opções e encurta a caixa de diálogo. O último faz com que o diálogo se ajuste melhor a telas pequenas. (Contribuição de Terry Jan Reedy em bpo-40468 [https://bugs.python.org/issue?@action=redirect&bpo=40468].) Move a configuração do espaço de recuo da aba Font para a nova aba Windows. (Contribuição de Mark Roseman e Terry Jan Reedy em bpo-33962 [https://bugs.python.org/issue?@action=redirect&bpo=33962].)

As alterações acima foram portadas para uma versão de manutenção 3.9.

Adiciona uma barra lateral ao console. Move o prompt principal (‘>>>’) para a barra lateral. Adiciona prompts secundários (’…’) à barra lateral. Clicar com o botão esquerdo e opcionalmente arrastar seleciona uma ou mais linhas de texto, como na barra lateral do número da linha do editor. Clicar com o botão direito após selecionar as linhas de texto exibe um menu de contexto com “copy with prompts”. Isso compacta os prompts da barra lateral com linhas do texto selecionado. Esta opção também aparece no menu de contexto para o texto. (Contribuição de Tal Einat em bpo-37903 [https://bugs.python.org/issue?@action=redirect&bpo=37903].)

Use espaços em vez de tabulações para indentar o código interativo. Isso faz com que as entradas de código interativo “pareçam corretas”. Tornar isso viável foi a principal motivação para adicionar a barra lateral do console. Contribuição de Terry Jan Reedy em bpo-37892 [https://bugs.python.org/issue?@action=redirect&bpo=37892].)

Realça as novas palavra reservada suave match, case e _ em instruções de correspondência de padrões. No entanto, este realce não é perfeito e estará incorreto em alguns casos raros, incluindo alguns _ em padrões de case. (Contribuição de Tal Einat em bpo-44010 [https://bugs.python.org/issue?@action=redirect&bpo=44010].)

Novo nas versões de manutenção 3.10.

Aplica realce de sintaxe em arquivos .pyi. (Contribuição de Alex Waygood e Terry Jan Reedy em bpo-45447 [https://bugs.python.org/issue?@action=redirect&bpo=45447].)

Inclui prompts ao salvar o console com entradas e saídas. (Contribuição de Terry Jan Reedy em gh-95191 [https://github.com/python/cpython/issues/95191].)

importlib.metadata

Paridade de recursos com importlib_metadata 4.6 (histórico [https://importlib-metadata.readthedocs.io/en/latest/history.html]).

Pontos de entrada importlib.metadata agora oferecem uma experiência melhor para selecionar pontos de entrada por grupo e nome através do novo importlib.metadata.EntryPoints. Consulte a Nota de Compatibilidade nos documentos para obter mais informações sobre a descontinuação e uso.

Adicionada importlib.metadata.packages_distributions() para resolver módulos e pacotes Python de alto nível com suas importlib.metadata.Distribution.

inspect

Quando um módulo não define __loader__, recorre a __spec__.loader. (Contribuição de Brett Cannon em bpo-42133 [https://bugs.python.org/issue?@action=redirect&bpo=42133].)

Adiciona inspect.get_annotations(), que calcula com segurança as anotações definidas em um objeto. Ele contorna as peculiaridades de acessar as anotações em vários tipos de objetos e faz poucas suposições sobre o objeto que examina. inspect.get_annotations() também pode desfazer a string corretamente de anotações em string. inspect.get_annotations() agora é considerada a melhor prática para acessar o dict de anotações definido em qualquer objeto Python; para mais informações sobre as melhores práticas para trabalhar com anotações, consulte Boas práticas para anotações. Da mesma forma, inspect.signature(), inspect.Signature.from_callable() e inspect.Signature.from_function() agora chamam inspect.get_annotations() para recuperar anotações. Isso significa que inspect.signature() e inspect.Signature.from_callable() agora também podem remover a string de anotações em string. (Contribuição de Larry Hastings em bpo-43817 [https://bugs.python.org/issue?@action=redirect&bpo=43817].)

itertools

Add itertools.pairwise(). (Contributed by Raymond Hettinger in bpo-38200 [https://bugs.python.org/issue?@action=redirect&bpo=38200].)

linecache

Quando um módulo não define __loader__, recorre a __spec__.loader. (Contribuição de Brett Cannon em bpo-42133 [https://bugs.python.org/issue?@action=redirect&bpo=42133].)

os

Add os.cpu_count() support for VxWorks RTOS. (Contributed by Peixing Xin in bpo-41440 [https://bugs.python.org/issue?@action=redirect&bpo=41440].)

Adiciona uma nova função os.eventfd() e auxiliares relacionados para envolver a chamada de sistema eventfd2 no Linux. (Contribuição de Christian Heimes em bpo-41001 [https://bugs.python.org/issue?@action=redirect&bpo=41001].)

Add os.splice() that allows to move data between two file descriptors without copying between kernel address space and user address space, where one of the file descriptors must refer to a pipe. (Contributed by Pablo Galindo in bpo-41625 [https://bugs.python.org/issue?@action=redirect&bpo=41625].)

Adiciona O_EVTONLY, O_FSYNC, O_SYMLINK e O_NOFOLLOW_ANY para macOS. (Contribuição de Donghee Na em bpo-43106 [https://bugs.python.org/issue?@action=redirect&bpo=43106].)

os.path

os.path.realpath() agora aceita um argumento somente-nomeado strict. Quando definido como True, a exceção OSError é levantada se um caminho não existe ou um loop de link simbólico é encontrado. (Contribuição de Barney Gale em bpo-43757 [https://bugs.python.org/issue?@action=redirect&bpo=43757].)

pathlib

Adiciona suporte a fatiamento a PurePath.parents. (Contribuição de Joshua Cannon em bpo-35498 [https://bugs.python.org/issue?@action=redirect&bpo=35498].)

Adiciona suporte a indexação negativa a PurePath.parents. (Contribuição de Yaroslav Pankovych em bpo-21041 [https://bugs.python.org/issue?@action=redirect&bpo=21041].)

Adiciona o método Path.hardlink_to que substitui link_to(). O novo método tem a mesma ordem de argumentos que symlink_to(). (Contribuição de Barney Gale em bpo-39950 [https://bugs.python.org/issue?@action=redirect&bpo=39950].)

pathlib.Path.stat() e chmod() agora aceita um argumento somente-nomeado follow_symlinks para consistência com as funções correspondentes no módulo os. (Contribuição de Barney Gale em bpo-39906 [https://bugs.python.org/issue?@action=redirect&bpo=39906].)

platform

Add platform.freedesktop_os_release() to retrieve operation system identification from freedesktop.org os-release [https://www.freedesktop.org/software/systemd/man/os-release.html] standard file. (Contributed by Christian Heimes in bpo-28468 [https://bugs.python.org/issue?@action=redirect&bpo=28468].)

pprint

pprint.pprint() agora aceita um novo argumento nomeado underscore_numbers. (Contribuição de sblondon em bpo-42914 [https://bugs.python.org/issue?@action=redirect&bpo=42914].)

pprint agora pode fazer impressão bonita de instâncias de dataclasses.dataclass. (Contribuição de Lewis Gaul em bpo-43080 [https://bugs.python.org/issue?@action=redirect&bpo=43080].)

py_compile

Adiciona a opção --quiet à interface de linha de comando de py_compile. (Contribuição de Gregory Schevchenko em bpo-38731 [https://bugs.python.org/issue?@action=redirect&bpo=38731].)

pyclbr

Adiciona um atributo end_lineno aos objetos Function e Class na árvore retornada por pyclbr.readmodule() e pyclbr.readmodule_ex(). Isso corresponde ao lineno (início) existente. (Contribuição de Aviral Srivastava em bpo-38307 [https://bugs.python.org/issue?@action=redirect&bpo=38307].)

shelve

O módulo shelve agora usa pickle.DEFAULT_PROTOCOL por padrão em vez do protocolo 3 do pickle ao criar “shelves”. (Contribuição de Zackery Spytz em bpo-34204 [https://bugs.python.org/issue?@action=redirect&bpo=34204].)

statistics

Adiciona covariance(), correlation() do Pearson, e funções simples linear_regression(). (Contribuição de Tymoteusz Wołodźko em bpo-38490 [https://bugs.python.org/issue?@action=redirect&bpo=38490].)

site

Quando um módulo não define __loader__, recorre a __spec__.loader. (Contribuição de Brett Cannon em bpo-42133 [https://bugs.python.org/issue?@action=redirect&bpo=42133].)

socket

A exceção socket.timeout é agora um apelido de TimeoutError. (Contribuição de Christian Heimes em bpo-42413 [https://bugs.python.org/issue?@action=redirect&bpo=42413].)

Adiciona a opção de criar soquetes MPTCP com IPPROTO_MPTCP (Contribuição de Rui Cunha em bpo-43571 [https://bugs.python.org/issue?@action=redirect&bpo=43571].)

Adiciona a opção IP_RECVTOS para receber o tipo do serviço (ToS) ou campos DSCP/ECN (Contribuição de Georg Sauthoff em bpo-44077 [https://bugs.python.org/issue?@action=redirect&bpo=44077].)

ssl

O módulo ssl requer OpenSSL 1.1.1 ou mais recente. (Contribuição de Christian Heimes em PEP 644 [https://peps.python.org/pep-0644/] e bpo-43669 [https://bugs.python.org/issue?@action=redirect&bpo=43669].)

O módulo ssl tem um suporte preliminar para OpenSSL 3.0.0 e a nova opção OP_IGNORE_UNEXPECTED_EOF. (Contribuição de Christian Heimes em bpo-38820 [https://bugs.python.org/issue?@action=redirect&bpo=38820], bpo-43794 [https://bugs.python.org/issue?@action=redirect&bpo=43794], bpo-43788 [https://bugs.python.org/issue?@action=redirect&bpo=43788], bpo-43791 [https://bugs.python.org/issue?@action=redirect&bpo=43791], bpo-43799 [https://bugs.python.org/issue?@action=redirect&bpo=43799], bpo-43920 [https://bugs.python.org/issue?@action=redirect&bpo=43920], bpo-43789 [https://bugs.python.org/issue?@action=redirect&bpo=43789] e bpo-43811 [https://bugs.python.org/issue?@action=redirect&bpo=43811].)

Função descontinuada e o uso de constantes descontinuadas agora resultam em uma DeprecationWarning. ssl.SSLContext.options tem OP_NO_SSLv2 e OP_NO_SSLv3 definidos por padrão e, portanto, não consegue avisar sobre a definição do sinalizador novamente. A seção de descontinuidade tem uma lista de recursos descontinuados. (Contribuição de Christian Heimes em bpo-43880 [https://bugs.python.org/issue?@action=redirect&bpo=43880].)

O módulo ssl agora tem configurações padrão mais seguras. Cifras sem forward secrecy ou SHA-1 MAC são desabilitadas por padrão. O nível de segurança 2 proíbe chaves fracas RSA, DH e ECC com menos de 112 bits de segurança. SSLContext assume como padrão a versão mínima do protocolo TLS 1.2. As configurações são baseadas na pesquisa de Hynek Schlawack. (Contribuição de Christian Heimes em bpo-43998 [https://bugs.python.org/issue?@action=redirect&bpo=43998].)

Os protocolos descontinuados SSL 3.0, TLS 1.0 e TLS 1.1 não são mais oficialmente suportados. Python não os bloqueia ativamente. No entanto, as opções de compilação do OpenSSL, configurações de distro, patches de fornecedores e suítes de criptografia podem impedir um handshake bem-sucedido.

Adiciona um parâmetro timeout à função ssl.get_server_certificate(). (Contribuição de Zackery Spytz em bpo-31870 [https://bugs.python.org/issue?@action=redirect&bpo=31870].)

O módulo ssl usa tipos de heap e inicialização multifásica. (Contribuição de Christian Heimes em bpo-42333 [https://bugs.python.org/issue?@action=redirect&bpo=42333].)

Uma nova sinalização de verificação VERIFY_X509_PARTIAL_CHAIN foi adicionada. (Contribuição de l0x em bpo-40849 [https://bugs.python.org/issue?@action=redirect&bpo=40849].)

sqlite3

Adiciona eventos de auditoria para connect/handle(), enable_load_extension() e load_extension(). (Contribuição de Erlend E. Aasland em bpo-43762 [https://bugs.python.org/issue?@action=redirect&bpo=43762].)

sys

Adiciona o atributo sys.orig_argv: a lista de argumentos de linha de comando originais passada para o executável Python. (Contribuição de Victor Stinner em bpo-23427 [https://bugs.python.org/issue?@action=redirect&bpo=23427].)

Adiciona sys.stdlib_module_names, contendo a lista de nomes de módulos da biblioteca padrão. (Contribuição de Victor Stinner em bpo-42955 [https://bugs.python.org/issue?@action=redirect&bpo=42955].)

_thread

_thread.interrupt_main() agora aceita um número de sinal opcional para simular (o padrão ainda é signal.SIGINT). (Contribuição de Antoine Pitrou em bpo-43356 [https://bugs.python.org/issue?@action=redirect&bpo=43356].)

threading

Adiciona threading.gettrace() e threading.getprofile() para obter as funções definidas por threading.settrace() e threading.setprofile(), respectivamente. (Contribuição de Mario Corchero em bpo-42251 [https://bugs.python.org/issue?@action=redirect&bpo=42251].)

Adiciona threading.__excepthook__ para permitir obtenção do valor original de threading.excepthook() no caso dele estar definido com um valor quebrado ou diferente. (Contribuição de Mario Corchero em bpo-42308 [https://bugs.python.org/issue?@action=redirect&bpo=42308].)

traceback

As funções format_exception(), format_exception_only() e print_exception() podem agora receber um objeto exceção como um argumento somente-posicional. (Contribuição de Zackery Spytz e Matthias Bussonnier em bpo-26389 [https://bugs.python.org/issue?@action=redirect&bpo=26389].)

types

Reintroduz as classes types.EllipsisType, types.NoneType e types.NotImplementedType, fornecendo um novo conjunto de tipos prontamente interpretáveis pelos verificadores de tipo. (Contribuição de Bas van Beek em bpo-41810 [https://bugs.python.org/issue?@action=redirect&bpo=41810].)

typing

Para alterações principais, veja Novos recursos relacionados a dicas de tipo.

O comportamento de typing.Literal foi alterado para ficar em conformidade com a PEP 586 [https://peps.python.org/pep-0586/] e para corresponder ao comportamento de verificadores de tipo estático especificados na PEP.

Literal agora elimina a duplicação de parâmetros.

Comparações de igualdade entre objetos Literal agora são independentes da ordem.

Comparações de Literal agora respeitam os tipos. Por exemplo, Literal[0] == Literal[False] avaliava anteriormente como True. Agora é False. Para oferecer suporte a essa mudança, o cache de tipo usado internamente agora oferece suporte a tipos de diferenciação.

Objetos Literal agora irão levantar uma exceção TypeError durante as comparações de igualdade se algum de seus parâmetros não for hasheáveis. Observe que declarar Literal com parâmetros inalteráveis não acusará um erro:

>>> from typing import Literal
>>> Literal[{0}]
>>> Literal[{0}] == Literal[{False}]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: unhashable type: 'set'

(Contribuição de Yurii Karabas em bpo-42345 [https://bugs.python.org/issue?@action=redirect&bpo=42345].)

Adiciona uma nova função typing.is_typeddict() para fazer introspecção se uma anotação for uma typing.TypedDict. (Contribuição de Patrick Reader em bpo-41792 [https://bugs.python.org/issue?@action=redirect&bpo=41792].)

Subclasses de typing.Protocol que apenas têm variáveis de dados declaradas agora irão levantar um TypeError quando verificadas com isinstance a menos que sejam decoradas com runtime_checkable(). Anteriormente, essas verificações eram aprovadas silenciosamente. Os usuários devem decorar suas subclasses com o decorador runtime_checkable() se quiserem protocolos de tempo de execução. (Contribuição de Yurii Karabas em bpo-38908 [https://bugs.python.org/issue?@action=redirect&bpo=38908].)

A importação dos submódulos typing.io e typing.re agora emitirá DeprecationWarning. Esses submódulos fora descontinuados desde o Python 3.8 e serão removidos em uma versão futura do Python. Qualquer coisa pertencente a esses submódulos deve ser importada diretamente de typing. (Contribuição de Sebastian Rittau em bpo-38291 [https://bugs.python.org/issue?@action=redirect&bpo=38291].)

unittest

Adiciona novo método new assertNoLogs() para complementar o existente assertLogs(). (Contribuição de Kit Yan Choi em bpo-39385 [https://bugs.python.org/issue?@action=redirect&bpo=39385].)

urllib.parse

Versões do Python anteriores ao Python 3.10 permitiam o uso de ; e & como separadores de parâmetros de consulta em urllib.parse.parse_qs() e urllib.parse.parse_qsl(). Devido a questões de segurança e em conformidade com as recomendações mais recentes do W3C, isso foi alterado para permitir apenas uma única chave separadora, com & como padrão. Esta mudança também afeta cgi.parse() e cgi.parse_multipart() já que elas usam as funções afetadas internamente. Para obter mais detalhes, consulte a respectiva documentação. (Contribuição de Adam Goldschmidt, Senthil Kumaran e Ken Jin em bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967].)

A presença de caracteres de nova linha ou tab em partes de um URL permite algumas formas de ataques. Seguindo a especificação WHATWG que atualiza RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], nova linha ASCII \n, \r e os caracteres de tabulação \t são retirados da URL pelo analisador sintático em urllib.parse impedindo tais ataques. Os caracteres de remoção são controlados por uma nova variável de nível de módulo urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE. (Veja gh-88048 [https://github.com/python/cpython/issues/88048])

xml

Adiciona uma classe LexicalHandler ao módulo xml.sax.handler. (Contribuição de Jonathan Gossage e Zackery Spytz em bpo-35018 [https://bugs.python.org/issue?@action=redirect&bpo=35018].)

zipimport

Adiciona métodos relacionados à PEP 451 [https://peps.python.org/pep-0451/]: find_spec(), zipimport.zipimporter.create_module() e zipimport.zipimporter.exec_module(). (Contribuição de Brett Cannon em bpo-42131 [https://bugs.python.org/issue?@action=redirect&bpo=42131].)

Adiciona o método invalidate_caches(). (Contribuição de Desmond Cheong em bpo-14678 [https://bugs.python.org/issue?@action=redirect&bpo=14678].)

Otimizações

Os construtores str(), bytes() e bytearray() estão agora mais rápido (cerca de 30–40% para objetos pequenos). (Contribuição de Serhiy Storchaka em bpo-41334 [https://bugs.python.org/issue?@action=redirect&bpo=41334].)

O módulo runpy agora importa menos módulos. O tempo de inicialização do comando python3 -m module-name é 1,4 vezes mais rápido em média. No Linux, python3 -I -m module-name importa 69 módulos no Python 3.9, sendo que importa apenas 51 módulos (-18) no Python 3.10. (Contribuição de Victor Stinner em bpo-41006 [https://bugs.python.org/issue?@action=redirect&bpo=41006] e bpo-41718 [https://bugs.python.org/issue?@action=redirect&bpo=41718].)

A instrução LOAD_ATTR agora usa o novo mecanismo “cache por opcode”. É cerca de 36% mais rápido agora para atributos regulares e 44% mais rápido para slots. (Contribuição de Pablo Galindo e Yury Selivanov em bpo-42093 [https://bugs.python.org/issue?@action=redirect&bpo=42093] e Guido van Rossum em bpo-42927 [https://bugs.python.org/issue?@action=redirect&bpo=42927], com base em ideias implementadas originalmente em PyPy e MicroPython.)

Ao construir o Python com --enable-optimizations agora, -fno-semantic-interposition é adicionado à linha de compilação e vinculação. Isso acelera as compilações do interpretador Python criado com --enable-shared com gcc em até 30%. Consulte este artigo [https://developers.redhat.com/blog/2020/06/25/red-hat-enterprise-linux-8-2-brings-faster-python-3-8-run-speeds/] para mais detalhes. (Contribuição de Victor Stinner e Pablo Galindo em bpo-38980 [https://bugs.python.org/issue?@action=redirect&bpo=38980].)

Usa um novo código de gerenciamento de buffer de saída para os módulos bz2 / lzma / zlib e adiciona a função .readall() à classe _compression.DecompressReader. A descompressão bz2 agora é 1,09x ~ 1.17x mais rápida, a descompressão lzma 1.20x ~ 1.32x mais rápida, GzipFile.read(-1) 1,11x ~ 1.18x mais rápida. (Contribuição de Ma Lin, revisada por Gregory P. Smith, em bpo-41486 [https://bugs.python.org/issue?@action=redirect&bpo=41486])

Ao usar anotações em strings, dicts de anotações para funções não são mais criados quando a função é criada. Em vez disso, eles são armazenados como uma tupla de strings, e o objeto função converte lentamente isso no dict de anotações sob demanda. Essa otimização reduz pela metade o tempo de CPU necessário para definir uma função anotada. (Contribuição de Yurii Karabas e Inada Naoki em bpo-42202 [https://bugs.python.org/issue?@action=redirect&bpo=42202].)

Funções de pesquisa de substring como str1 in str2 e str2.find(str1) agora às vezes usam o algoritmo de pesquisa de string “Two-Way” de Crochemore & Perrin para evitar comportamento quadrático em strings longas. (Contribuição de Dennis Sweeney em bpo-41972 [https://bugs.python.org/issue?@action=redirect&bpo=41972])

Adiciona micro-otimizações a _PyType_Lookup() para melhorar o desempenho de pesquisa de cache de atributo de tipo no caso comum de acessos de cache. Isso torna o interpretador 1,04 vezes mais rápido, em média. (Contribuição de Dino Viehland em bpo-43452 [https://bugs.python.org/issue?@action=redirect&bpo=43452].)

As seguintes funções embutidas agora oferecem suporte a uma convenção de chamada de vectorcalls mais rápidos da PEP 590 [https://peps.python.org/pep-0590/]: map(), filter(), reversed(), bool() e float(). (Contribuição de Donghee Na e Jeroen Demeyer em bpo-43575 [https://bugs.python.org/issue?@action=redirect&bpo=43575], bpo-43287 [https://bugs.python.org/issue?@action=redirect&bpo=43287], bpo-41922 [https://bugs.python.org/issue?@action=redirect&bpo=41922], bpo-41873 [https://bugs.python.org/issue?@action=redirect&bpo=41873] e bpo-41870 [https://bugs.python.org/issue?@action=redirect&bpo=41870].)

O desempenho de BZ2File foi melhorado removendo o RLock interno. Isso torna BZ2File inseguro para threads em face a vários leitores ou gravadores simultâneos, da mesma forma que suas classes equivalentes em gzip e lzma têm sido. (Contribuição de Inada Naoki em bpo-43785 [https://bugs.python.org/issue?@action=redirect&bpo=43785].)

Descontinuados

Atualmente Python aceita literais numéricos imediatamente seguidos por palavras-chave, por exemplo 0in x, 1or x, 0if 1else 2. Permite expressões confusas e ambíguas como [0x1for x in y] (que pode ser interpretada como [0x1 for x in y] ou [0x1f or x in y]). A partir desta versão, um aviso de descontinuidade é levantado se o literal numérico for seguido imediatamente por uma das palavras-chave and, else, for, if, in, is e or. Em versões futuras, ele será alterado para aviso de sintaxe e, finalmente, para erro de sintaxe. (Contribuição de Serhiy Storchaka em bpo-43833 [https://bugs.python.org/issue?@action=redirect&bpo=43833].)

A partir desta versão, haverá um esforço concentrado para começar a limpar a semântica de importação antiga que foi mantida para compatibilidade com Python 2.7. Especificamente, find_loader()/find_module() (substituídos por find_spec()), load_module() (substituído por exec_module()), module_repr() (que o sistema de importação cuida para você), o atributo __package__ (substituído por __spec__.parent), o atributo __loader__ (substituído por __spec__.loader), e o atributo __cached__ ( substituído por __spec__.cached) será removido lentamente (assim como outras classes e métodos em importlib). ImportWarning e/ou DeprecationWarning será levantada conforme apropriado para ajudar a identificar o código que precisa ser atualizado durante esta transição.

Todo o espaço de nomes de distutils foi descontinuado, para ser removido no Python 3.12. Consulte a seção de alterações do módulo para mais informações.

Argumentos não inteiros para random.randrange() foram descontinuados. A exceção ValueError foi descontinuada em favor de uma exceção TypeError. (Contribuição de Serhiy Storchaka e Raymond Hettinger em bpo-37319 [https://bugs.python.org/issue?@action=redirect&bpo=37319].)

Os vários métodos de load_module() de importlib foram documentados como descontinuados desde Python 3.6, mas agora também irão disparar um DeprecationWarning. Use exec_module() em vez disso. (Contribuição de Brett Cannon em bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131].)

zimport.zipimporter.load_module() foi descontinuado em preferência a exec_module(). (Contribuição de Brett Cannon em bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131].)

O uso de load_module() pelo sistema de importação agora dispara uma exceção ImportWarning, pois exec_module() é preferível. (Contribuição de Brett Cannon em bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131].)

O uso de importlib.abc.MetaPathFinder.find_module() e importlib.abc.PathEntryFinder.find_module() pelo sistema de importação agora dispara uma exceção ImportWarning, pois importlib.abc.MetaPathFinder.find_spec() e importlib.abc.PathEntryFinder.find_spec() são preferidos, respectivamente. Você pode usar importlib.util.spec_from_loader() para ajudar no port. (Contribuição de Brett Cannon em bpo-42134 [https://bugs.python.org/issue?@action=redirect&bpo=42134].)

O uso de importlib.abc.PathEntryFinder.find_loader() pelo sistema de importação agora dispara uma exceção ImportWarning, pois importlib.abc.PathEntryFinder.find_spec() é preferido. Você pode usar importlib.util.spec_from_loader() para ajudar no port. (Contribuição de Brett Cannon em bpo-43672 [https://bugs.python.org/issue?@action=redirect&bpo=43672].)

As várias implementações de importlib.abc.MetaPathFinder.find_module() ( importlib.machinery.BuiltinImporter.find_module(), importlib.machinery.FrozenImporter.find_module(), importlib.machinery.WindowsRegistryFinder.find_module(), importlib.machinery.PathFinder.find_module(), importlib.abc.MetaPathFinder.find_module() ), importlib.abc.PathEntryFinder.find_module() (importlib.machinery.FileFinder.find_module() ) e importlib.abc.PathEntryFinder.find_loader() ( importlib.machinery.FileFinder.find_loader() ) agora levantam DeprecationWarning e estão programadas para remoção no Python 3.12 (anteriormente, eles foram documentados como descontinuados no Python 3.4). (Contribuição de Brett Cannon em bpo-42135 [https://bugs.python.org/issue?@action=redirect&bpo=42135].)

importlib.abc.Finder foi descontinuada (incluindo seu único método, find_module()). importlib.abc.MetaPathFinder e importlib.abc.PathEntryFinder não mais herdam da classe. Usuários devem herdar de uma dessas duas classes conforme apropriado. (Contribuição de Brett Cannon em bpo-42135 [https://bugs.python.org/issue?@action=redirect&bpo=42135].)

As descontinuações de imp, importlib.find_loader(), importlib.util.set_package_wrapper(), importlib.util.set_loader_wrapper(), importlib.util.module_for_loader(), pkgutil.ImpImporter e pkgutil.ImpLoader foram todas atualizadas para listar Python 3.12 como a versão programada para remoção (elas começaram a levantar DeprecationWarning em versões anteriores do Python). (Contribuição de Brett Cannon em bpo-43720 [https://bugs.python.org/issue?@action=redirect&bpo=43720].)

O sistema de importação agora usa o atributo __spec__ em módulos antes de recorrer a module_repr() para um método __repr__() do módulo. A remoção do uso de module_repr() está programado para Python 3.12. (Contribuição de Brett Cannon em bpo-42137 [https://bugs.python.org/issue?@action=redirect&bpo=42137].)

importlib.abc.Loader.module_repr(), importlib.machinery.FrozenLoader.module_repr() e importlib.machinery.BuiltinLoader.module_repr() foram descontinuadas e programadas para remoção no Python 3.12. (Contribuição de Brett Cannon em bpo-42136 [https://bugs.python.org/issue?@action=redirect&bpo=42136].)

sqlite3.OptimizedUnicode teve a documentação removida e foi descontinuado desde o Python 3.3, quando foi tornado um apelido para str. Foi agora descontinuado, programado para remoção no Python 3.12. (Contribuição de Erlend E. Aasland em bpo-42264 [https://bugs.python.org/issue?@action=redirect&bpo=42264].)

A função embutida não documentada sqlite3.enable_shared_cache foi agora descontinuada, agendada para remoção no Python 3.12. Seu uso é fortemente desencorajado pela documentação do SQLite3. Veja a documentação do SQLite3 [https://sqlite.org/c3ref/enable_shared_cache.html] para mais detalhes. Se um cache compartilhado deve ser usado, abra o banco de dados no modo URI usando o parâmetro de consulta cache=shared. (Contribuição de Erlend E. Aasland em bpo-24464 [https://bugs.python.org/issue?@action=redirect&bpo=24464].)

Os seguintes métodos de threading foram agora descontinuados:

threading.currentThread => threading.current_thread()

threading.activeCount => threading.active_count()

threading.Condition.notifyAll => threading.Condition.notify_all()

threading.Event.isSet => threading.Event.is_set()

threading.Thread.setName => threading.Thread.name

threading.thread.getName => threading.Thread.name

threading.Thread.isDaemon => threading.Thread.daemon

threading.Thread.setDaemon => threading.Thread.daemon

(Contribuição de Jelle Zijlstra em gh-87889 [https://github.com/python/cpython/issues/87889].)

pathlib.Path.link_to() foi descontinuado e programado para remoção no Python 3.12. Use pathlib.Path.hardlink_to() em vez disso. (Contribuição de Barney Gale em bpo-39950 [https://bugs.python.org/issue?@action=redirect&bpo=39950].)

cgi.log() foi descontinuado e programado para remoção no Python 3.12. (Contribuição de Inada Naoki em bpo-41139 [https://bugs.python.org/issue?@action=redirect&bpo=41139].)

Os recurso a seguir do ssl foram descontinuados desde o Python 3.6, Python 3.7 ou OpenSSL 1.1.0, e serão removidos no 3.11:

OP_NO_SSLv2, OP_NO_SSLv3, OP_NO_TLSv1, OP_NO_TLSv1_1, OP_NO_TLSv1_2 e OP_NO_TLSv1_3 foram substituídos por minimum_version e maximum_version.

PROTOCOL_SSLv2, PROTOCOL_SSLv3, PROTOCOL_SSLv23, PROTOCOL_TLSv1, PROTOCOL_TLSv1_1, PROTOCOL_TLSv1_2 e PROTOCOL_TLS foram descontinuados em favor de PROTOCOL_TLS_CLIENT e PROTOCOL_TLS_SERVER

wrap_socket() foi substituída por ssl.SSLContext.wrap_socket()

match_hostname()

RAND_pseudo_bytes(), RAND_egd()

Recurso de NPN como ssl.SSLSocket.selected_npn_protocol() e ssl.SSLContext.set_npn_protocols() foram substituídos por ALPN.

A depuração de threads (variável de ambiente PYTHONTHREADDEBUG) foi descontinuada no Python 3.10 e será removida no Python 3.12. Este recurso exige uma construção de depuração de Python. (Contribuição de Victor Stinner em bpo-44584 [https://bugs.python.org/issue?@action=redirect&bpo=44584].)

A importação dos submódulos typing.io e typing.re agora emitirá DeprecationWarning. Esses submódulos serão removidos em uma versão futura do Python. Qualquer coisa pertencente a esses submódulos deve ser importada diretamente de typing. (Contribuição de Sebastian Rittau em bpo-38291 [https://bugs.python.org/issue?@action=redirect&bpo=38291].)

Removidos

Removidos os métodos especiais __int__, __float__, __floordiv__, __mod__, __divmod__, __rfloordiv__, __rmod__ e __rdivmod__ da classe complex. Eles sempre levantavam uma exceção TypeError. (Contribuição de Serhiy Storchaka em bpo-41974 [https://bugs.python.org/issue?@action=redirect&bpo=41974].)

O método ParserBase.error() do módulo privado e não documentado _markupbase foi removido. html.parser.HTMLParser é a única subclasse de ParserBase e sua implementação de error() já tinha sido removida no Python 3.5. (Contribuição de Berker Peksag em bpo-31844 [https://bugs.python.org/issue?@action=redirect&bpo=31844].)

Removido o atributo unicodedata.ucnhash_CAPI que foi um objeto interno PyCapsule. A estrutura privada relacionada _PyUnicode_Name_CAPI foi movida para uma API C interna. (Contribuição de Victor Stinner em bpo-42157 [https://bugs.python.org/issue?@action=redirect&bpo=42157].)

Removido o módulo parser, que foi descontinuado em 3.9 em razão da mudança para o novo analisador sintático GASE, bem como todo os arquivos código-fonte e cabeçalhos C que estavam sendo usados pelo analisador sintático antigo, incluindo node.h, parser.h, graminit.h e grammar.h.

Removidas as funções de API C pública PyParser_SimpleParseStringFlags, PyParser_SimpleParseStringFlagsFilename, PyParser_SimpleParseFileFlags e PyNode_Compile que foram descontinuadas no 3.9 em razão da mudança para o novo analisador sintático GASE.

Removido o módulo formatter, que foi descontinuado no Python 3.4. É um tanto obsoleto, pouco usado e não testado. Ele foi originalmente programado para ser removido no Python 3.6, mas tais remoções foram adiadas até depois do fim de vida do Python 2.7. Os usuários existentes devem copiar quaisquer classes que usam em seu código. (Contribuição de Dong-hee Na e Terry J. Reedy em bpo-42299 [https://bugs.python.org/issue?@action=redirect&bpo=42299].)

Removida a função PyModule_GetWarningsModule() que era inútil agora porque o módulo _warnings foi convertido em um módulo embutido no 2.6. (Contribuição de Hai Shi em bpo-42599 [https://bugs.python.org/issue?@action=redirect&bpo=42599].)

Remove apelidos descontinuados para Classes Base Abstratas de Coleções do módulo collections. (Contribuição de Victor Stinner em bpo-37324 [https://bugs.python.org/issue?@action=redirect&bpo=37324].)

O parâmetro loop foi removido da maioria da API de alto nível do asyncio seguindo a descontinuidade no Python 3.8. A motivação por trás desta alteração é multifacetada:

Isso simplifica a API de alto nível.

As funções na API de alto nível obtêm implicitamente o laço de eventos em execução do thread atual desde o Python 3.7. Não há necessidade de passar o laço de eventos para a API na maioria dos casos de uso normais.

A passagem de laço de eventos está sujeita a erros, especialmente ao lidar com laços em execução em diferentes threads.

Observe que a API de baixo nível ainda aceitará loop. Veja Alterações na API Python para exemplos de como substituir o código existente.

(Contribuição de Yurii Karabas, Andrew Svetlov, Yury Selivanov e Kyle Stanley em bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392].)

Portando para Python 3.10

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações na sintaxe Python

O aviso de descontinuação agora é emitido ao compilar a sintaxe anteriormente válida se o literal numérico for seguido imediatamente por uma palavra reservada (como em 0in x). Em versões futuras, ele será alterado para aviso de sintaxe e, finalmente, para um erro de sintaxe. Para se livrar do aviso e tornar o código compatível com versões futuras, basta adicionar um espaço entre o literal numérico e a palavra reservada seguinte. (Contribuição de Serhiy Storchaka em bpo-43833 [https://bugs.python.org/issue?@action=redirect&bpo=43833].)

Alterações na API Python

Os parâmetros etype das funções format_exception(), format_exception_only() e print_exception() no módulo traceback foram renomeadas para exc. (Contribuição de Zackery Spytz e Matthias Bussonnier em bpo-26389 [https://bugs.python.org/issue?@action=redirect&bpo=26389].)

atexit: Ao sair do Python, se uma função de retorno registrada com atexit.register() falhar, sua exceção agora é registrada nos logs. Anteriormente, apenas algumas exceções eram registradas nos logs e a última exceção era sempre ignorada silenciosamente. (Contribuição de Victor Stinner em bpo-42639 [https://bugs.python.org/issue?@action=redirect&bpo=42639].)

A classe genérica Collections.abc.Callable agora nivela os parâmetros de tipo, similar ao que typing.Callable faz atualmente. Isso significa que collections.abc.Callable[[int, str], str] terá __args__ de (int, str, str); anteriormente era ([int, str], str). O código que acessa os argumentos via typing.get_args() ou __args__ precisa levar em conta esta mudança. Além disso, TypeError pode ser levantada para formas inválidas de parametrização Collections.abc.Callable que pode ter passada silenciosamente no Python 3.9. (Contribuição de Ken Jin em bpo-42195 [https://bugs.python.org/issue?@action=redirect&bpo=42195].)

socket.htons() e socket.ntohs() agora levantam OverflowError em vez de DeprecationWarning se o parâmetro dado não couber em um inteiro sem sinal de 16 bits. (Contribuição de Erlend E. Aasland em bpo-42393 [https://bugs.python.org/issue?@action=redirect&bpo=42393].)

O parâmetro loop foi removido da maioria da API de alto nível do asyncio seguindo a descontinuidade no Python 3.8.

A corrotina que atualmente se parece com isso:

async def foo(loop):
    await asyncio.sleep(1, loop=loop)

Deve ser substituída por isso:

async def foo():
    await asyncio.sleep(1)

Se foo() for especificamente projetado para não executar no laço de eventos em execução da thread atual (por exemplo, executar no laço de eventos de outra thread), considere usar asyncio.run_coroutine_threadsafe().

(Contribuição de Yurii Karabas, Andrew Svetlov, Yury Selivanov e Kyle Stanley em bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392].)

O construtor types.FunctionType agora herda os embutidos atuais se o dicionário globals tiver nenhuma chave "__builtins__", em vez de usar {"None": None} como embutidos: o mesmo comportamento que as funções eval() e exec(). Definir uma função com def function(...): ... no Python não é afetado, globais não podem ser substituídos com esta sintaxe: também herda os embutidos atuais. (Contribuição de Victor Stinner em bpo-42990 [https://bugs.python.org/issue?@action=redirect&bpo=42990].)

Alterações na API C

As funções de API C PyParser_SimpleParseStringFlags, PyParser_SimpleParseStringFlagsFilename, PyParser_SimpleParseFileFlags, PyNode_Compile e o tipo usado por essas funções, struct _node, foram removidos em razão da mudança para o novo analisador sintático GASE.

O código-fonte deveria agora ser compilado diretamente para um objeto código usando, por exemplo, Py_CompileString(). O objeto código resultante pode ser então avaliado usando, por exemplo, PyEval_EvalCode().

Especificamente:

Uma chamada para PyParser_SimpleParseStringFlags seguida por PyNode_Compile pode ser substituída por chamar Py_CompileString().

Não há substituição direta para PyParser_SimpleParseFileFlags. Para compilar código de um argumento FILE *, você vai precisar ler o arquivo em C e passar o buffer resultante para Py_CompileString().

Para compilar um arquivo de um nome de arquivo char * dado, abra explicitamente o arquivo, leia-o e compile o resultado. Uma forma de fazer isso é usando o módulo io com PyImport_ImportModule(), PyObject_CallMethod(), PyBytes_AsString() e Py_CompileString(), como esboçado abaixo. (Declarações e tratamento de erro foram omitidos.)

io_module = Import_ImportModule("io");
fileobject = PyObject_CallMethod(io_module, "open", "ss", filename, "rb");
source_bytes_object = PyObject_CallMethod(fileobject, "read", "");
result = PyObject_CallMethod(fileobject, "close", "");
source_buf = PyBytes_AsString(source_bytes_object);
code = Py_CompileString(source_buf, filename, Py_file_input);

Para objetos FrameObject, o membro f_lasti agora representa um deslocamento de código de palavra em vez de um deslocamento simples na string de bytecode. Isso significa que esse número precisa ser multiplicado por 2 para ser usado com APIs que esperam um deslocamento de byte (como PyCode_Addr2Line(), por exemplo). Observe também que o membro f_lasti de objetos FrameObject não é considerado estável: por favor, use PyFrame_GetLineNumber() em vez disso.

Alterações de bytecode do CPython

A instrução MAKE_FUNCTION agora aceita um dicionário ou uma tupla de strings como as anotações da função. (Contribuição de Yurii Karabas e Inada Naoki em bpo-42202 [https://bugs.python.org/issue?@action=redirect&bpo=42202].)

Mudanças na construção

PEP 644 [https://peps.python.org/pep-0644/]: Python agora exige OpenSSL 1.1.1 ou mais novo. OpenSSL 1.0.2 não é mais suportado. (Contribuição de Christian Heimes em bpo-43669 [https://bugs.python.org/issue?@action=redirect&bpo=43669].)

As funções C99 snprintf() e vsnprintf() agora são exigidas para compilar o Python. (Contribuição de Victor Stinner em bpo-36020 [https://bugs.python.org/issue?@action=redirect&bpo=36020].)

sqlite3 exige SQLite 3.7.15 ou superior. (Contribuição de Sergey Fedoseev e Erlend E. Aasland em bpo-40744 [https://bugs.python.org/issue?@action=redirect&bpo=40744] e bpo-40810 [https://bugs.python.org/issue?@action=redirect&bpo=40810].)

O módulo atexit deve agora sempre ser construído como um módulo embutido. (Contribuição de Victor Stinner em bpo-42639 [https://bugs.python.org/issue?@action=redirect&bpo=42639].)

Adiciona a opção --disable-test-modules ao script configure: não constrói nem instala módulos de teste. (Contribuição de Xavier de Gaye, Thomas Petazzoni e Peixing Xin em bpo-27640 [https://bugs.python.org/issue?@action=redirect&bpo=27640].)

Adiciona a option --with-wheel-pkg-dir=CAMINHO ao script ./configure. Se especificado, o módulo ensurepip procura por pacotes wheel de setuptools e pip neste diretório: se ambos estiverem presentes, esses pacotes wheel são usados em vez de pacotes wheel empacotados por ensurepip.

Algumas distribuições Linux possuem políticas de empacotamento recomendando evitar o empacotamento de dependências. Por exemplo, Fedora instala pacotes wheel no diretório /usr/share/python-wheels/ e não instala o pacote ensurepip._bundled.

(Contribuição de Victor Stinner em bpo-42856 [https://bugs.python.org/issue?@action=redirect&bpo=42856].)

Adiciona uma nova opção --without-static-libpython de configure para não construir biblioteca estática libpythonMAJOR.MINOR.a e não instala o arquivo objeto python.o.

(Contribuição de Victor Stinner em bpo-43103 [https://bugs.python.org/issue?@action=redirect&bpo=43103].)

O script configure agora usa o utilitário pkg-config, se disponível, para detectar a localização dos cabeçalhos Tcl/Tk e bibliotecas. Como antes, esses locais podem ser explicitamente especificados com as opções de configuração --with-tcltk-includes e --with-tcltk-libs . (Contribuição de Manolis Stamatogiannakis em bpo-42603 [https://bugs.python.org/issue?@action=redirect&bpo=42603].)

Adiciona a opção --with-openssl-rpath ao script configure. A opção simplifica a construção do Python com uma instalação OpenSSL personalizada, por exemplo, ./configure --with-openssl=/path/to/openssl --with-openssl-rpath=auto. (Contribuição de Christian Heimes em bpo-43466 [https://bugs.python.org/issue?@action=redirect&bpo=43466].)

Alterações na API C

PEP 652: Mantendo a ABI estável

A ABI (interface binária de aplicação) Estável para módulos de extensão ou Python embutido agora está explicitamente definido. Estabilidade da API C descreve as garantias de estabilidade da API C e ABI junto com as melhores práticas para usar a ABI estável.

(Contribuição de Petr Viktorin em PEP 652 [https://peps.python.org/pep-0652/] e bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795].)

Novas funcionalidades

O resultado de PyNumber_Index() agora sempre tem o tipo exato int. Anteriormente, o resultado poderia ser uma instância de uma subclasse de int. (Contribuição de Serhiy Storchaka em bpo-40792 [https://bugs.python.org/issue?@action=redirect&bpo=40792].)

Adiciona um novo membro orig_argv à estrutura PyConfig: a lista dos argumentos originais da linha de comando passados para o executável Python. (Contribuição de Victor Stinner em bpo-23427 [https://bugs.python.org/issue?@action=redirect&bpo=23427].)

As macros PyDateTime_DATE_GET_TZINFO() e PyDateTime_TIME_GET_TZINFO() foram adicionadas para acessar os atributos tzinfo dos objetos datetime.datetime e datetime.time. (Contribuição de Zackery Spytz em bpo-30155 [https://bugs.python.org/issue?@action=redirect&bpo=30155].)

Adiciona uma função PyCodec_Unregister() para cancelar um registro de uma função de pesquisa de codecs. (Contribuição de Hai Shi em bpo-41842 [https://bugs.python.org/issue?@action=redirect&bpo=41842].)

A função PyIter_Send() foi adicionada para permitir o envio de valor para o iterador sem levantar a exceção StopIteration. (Contribuição de Vladimir Matveev em bpo-41756 [https://bugs.python.org/issue?@action=redirect&bpo=41756].)

Adiciona PyUnicode_AsUTF8AndSize() à API C limitada. (Contribuição de Alex Gaynor em bpo-41784 [https://bugs.python.org/issue?@action=redirect&bpo=41784].)

Adiciona a função PyModule_AddObjectRef(): semelhante a PyModule_AddObject(), mas não roube uma referência ao valor em caso de sucesso. (Contribuição de Victor Stinner em bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741].)

Adiciona as funções Py_NewRef() e Py_XNewRef() para incrementar a contagem de referências de um objeto e retornar o objeto. (Contribuição de Victor Stinner em bpo-42262 [https://bugs.python.org/issue?@action=redirect&bpo=42262].)

As funções PyType_FromSpecWithBases() e PyType_FromModuleAndSpec() agora aceitam uma única classe como o argumento bases. (Contribuição de Serhiy Storchaka em bpo-42423 [https://bugs.python.org/issue?@action=redirect&bpo=42423].)

A função PyType_FromModuleAndSpec() agora aceita o slot NULL tp_doc. (Contribuição de Hai Shi em bpo-41832 [https://bugs.python.org/issue?@action=redirect&bpo=41832].)

A função PyType_GetSlot() pode aceitar tipos estáticos. (Contribuição de Hai Shi e Petr Viktorin em bpo-41073 [https://bugs.python.org/issue?@action=redirect&bpo=41073].)

Adiciona uma nova função PySet_CheckExact() à C-API para verificar se um objeto é uma instância de set, mas não uma instância de um subtipo. (Contribuição de Pablo Galindo em bpo-43277 [https://bugs.python.org/issue?@action=redirect&bpo=43277].)

Adiciona PyErr_SetInterruptEx() que permite passar um número de sinal para simular. (Contribuição de Antoine Pitrou em bpo-43356 [https://bugs.python.org/issue?@action=redirect&bpo=43356].)

A API C limitada agora é suportada se o Python for compilado no modo de depuração (se a macro Py_DEBUG estiver definida). Na API C limitada, as funções Py_INCREF() e Py_DECREF() agora são implementadas como chamadas de função opacas, em vez de acessar diretamente o membro PyObject.ob_refcnt, se o Python for compilado no modo de depuração e a macro Py_LIMITED_API tiver como alvo o Python 3.10 ou mais recente. Tornou-se possível suportar a API C limitada no modo de depuração porque a estrutura PyObject é a mesma no modo de lançamento e depuração desde o Python 3.8 (consulte bpo-36465 [https://bugs.python.org/issue?@action=redirect&bpo=36465]).

A API C limitada ainda não é suportada na compilação especial --with-trace-refs (macro Py_TRACE_REFS). (Contribuição de Victor Stinner em bpo-43688 [https://bugs.python.org/issue?@action=redirect&bpo=43688].)

Adiciona a função Py_Is(x, y) para testar se o objeto x é o objeto y, o mesmo que x is y em Python. Adiciona também as funções Py_IsNone(), Py_IsTrue(), Py_IsFalse() para testar se um objeto é, respectivamente, o singleton None, o singleton True ou o singleton False. (Contribuição de Victor Stinner em bpo-43753 [https://bugs.python.org/issue?@action=redirect&bpo=43753].)

Adiciona novas funções para controlar o coletor de lixo do código C: PyGC_Enable(), PyGC_Disable(), PyGC_IsEnabled(). Estas funções permitem ativar, desativar e consultar o estado do coletor de lixo do código C sem precisar importar o módulo gc.

Adiciona um novo sinalizador de tipo Py_TPFLAGS_DISALLOW_INSTANTIATION para impedir a criação de instâncias de tipo. (Contribuição de Victor Stinner em bpo-43916 [https://bugs.python.org/issue?@action=redirect&bpo=43916].)

Adiciona um novo sinalizador de tipo Py_TPFLAGS_IMMUTABLETYPE para criar objetos de tipo imutável: atributos de tipo não podem ser definidos nem excluídos. (Contribuição de Victor Stinner e Erlend E. Aasland em bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908].)

Portando para Python 3.10

A macro PY_SSIZE_T_CLEAN deve agora ser definida para usar os formatos PyArg_ParseTuple() e Py_BuildValue() que usam #: es#, et#, s#, u#, y#, z#, U# e Z#. Veja Análise de argumentos e construção de valores e PEP 353 [https://peps.python.org/pep-0353/]. (Contribuição de Victor Stinner em bpo-40943 [https://bugs.python.org/issue?@action=redirect&bpo=40943].)

Como Py_REFCNT() é alterado para a função estática em linha, Py_REFCNT(obj) = new_refcnt deve ser substituído por Py_SET_REFCNT(obj, new_refcnt): veja Py_SET_REFCNT() (disponível desde o Python 3.9). Para compatibilidade com versões anteriores, esta macro pode ser usada:

#if PY_VERSION_HEX < 0x030900A4
#  define Py_SET_REFCNT(obj, refcnt) ((Py_REFCNT(obj) = (refcnt)), (void)0)
#endif

(Contribuição de Victor Stinner em bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573].)

A chamada de PyDict_GetItem() sem a GIL retida era permitido por razões históricas. Isso não é mais permitido. (Contribuição de Victor Stinner em bpo-40839 [https://bugs.python.org/issue?@action=redirect&bpo=40839].)

PyUnicode_FromUnicode(NULL, size) e PyUnicode_FromStringAndSize(NULL, size) levantam DeprecationWarning agora. Use PyUnicode_New() para alocar objeto Unicode sem dados iniciais. (Contribuição de Inada Naoki em bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346].)

A estrutura privada _PyUnicode_Name_CAPI da API PyCapsule unicodedata.ucnhash_CAPI foi movida para a API C interna. (Contribuição de Victor Stinner em bpo-42157 [https://bugs.python.org/issue?@action=redirect&bpo=42157].)

As funções Py_GetPath(), Py_GetPrefix(), Py_GetExecPrefix(), Py_GetProgramFullPath(), Py_GetPythonHome() e Py_GetProgramName() agora retornam NULL se chamadas antes de Py_Initialize() (antes do Python ser inicializado). Use a nova API de Configuração de Inicialização do Python para obter a Python Path Configuration. (Contribuição de Victor Stinner em bpo-42260 [https://bugs.python.org/issue?@action=redirect&bpo=42260].)

As macros PyList_SET_ITEM(), PyTuple_SET_ITEM() e PyCell_SET() não podem mais ser usadas como valor-l ou valor-r. Por exemplo, x = PyList_SET_ITEM(a, b, c) e PyList_SET_ITEM(a, b, c) = x agora falham com um erro do compilador. Isso previne bugs como o teste if (PyList_SET_ITEM (a, b, c) < 0) .... (Contribuição de Zackery Spytz e Victor Stinner em bpo-30459 [https://bugs.python.org/issue?@action=redirect&bpo=30459].)

Os arquivos de API não limitada odictobject.h, parser_interface.h, piclebufobject.h, pyarena.h, pyctype.h, pydebug. h, pyfpe.h e pytime.h foram movidos para o diretório Include/cpython. Esses arquivos não devem ser incluídos diretamente, pois já estão incluídos em Python.h; veja Arquivos de inclusão. Se eles foram incluídos diretamente, considere incluir Python.h em vez disso. (Contribuição de Nicholas Sim em bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134].)

Use o sinalizador de tipo Py_TPFLAGS_IMMUTABLETYPE para criar objetos de tipo imutável. Não confie em Py_TPFLAGS_HEAPTYPE para decidir se um objeto de tipo é mutável ou não; verifique se Py_TPFLAGS_IMMUTABLETYPE está definido. (Contribuição de Victor Stinner e Erlend E. Aasland em bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908].)

A função não documentada Py_FrozenMain foi removida da API limitada. A função é útil principalmente para compilações personalizadas do Python. (Contribuição de Petr Viktorin em bpo-26241 [https://bugs.python.org/issue?@action=redirect&bpo=26241].)

Descontinuados

A função PyUnicode_InternImmortal() agora foi descontinuada e será removida no Python 3.12: use PyUnicode_InternInPlace() em vez disso. (Contribuição de Victor Stinner em bpo-41692 [https://bugs.python.org/issue?@action=redirect&bpo=41692].)

Removidos

Removidas as funções Py_UNICODE_str* que manipulam strings Py_UNICODE*. (Contribuição de Inada Naoki em bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123].)

Py_UNICODE_strlen: use PyUnicode_GetLength() ou PyUnicode_GET_LENGTH

Py_UNICODE_strcat: use PyUnicode_CopyCharacters() ou PyUnicode_FromFormat()

Py_UNICODE_strcpy, Py_UNICODE_strncpy: use PyUnicode_CopyCharacters() ou PyUnicode_Substring()

Py_UNICODE_strcmp: use PyUnicode_Compare()

Py_UNICODE_strncmp: use PyUnicode_Tailmatch()

Py_UNICODE_strchr, Py_UNICODE_strrchr: use PyUnicode_FindChar()

Removida PyUnicode_GetMax(). Migre para as novas APIs (PEP 393 [https://peps.python.org/pep-0393/]). (Contribuição de Inada Naoki em bpo-41103 [https://bugs.python.org/issue?@action=redirect&bpo=41103].)

Removida PyLong_FromUnicode(). Migre para PyLong_FromUnicodeObject(). (Contribuição de Inada Naoki em bpo-41103 [https://bugs.python.org/issue?@action=redirect&bpo=41103].)

Removida PyUnicode_AsUnicodeCopy(). Use PyUnicode_AsUCS4Copy() ou PyUnicode_AsWideCharString() (Contribuição de Inada Naoki em bpo-41103 [https://bugs.python.org/issue?@action=redirect&bpo=41103].)

Removida a variável _Py_CheckRecursionLimit: foi substituída por ceval.recursion_limit da estrutura PyInterpreterState. (Contribuição de Victor Stinner em bpo-41834 [https://bugs.python.org/issue?@action=redirect&bpo=41834].)

Removidas as macros não documentadas Py_ALLOW_RECURSION e Py_END_ALLOW_RECURSION e o campo recursion_critical da estrutura PyInterpreterState. (Contribuição de Serhiy Storchaka em bpo-41936 [https://bugs.python.org/issue?@action=redirect&bpo=41936].)

Removida a função PyOS_InitInterrupts() não documentada. Inicializar o Python já instala implicitamente manipuladores de sinal: veja PyConfig.install_signal_handlers. (Contribuição de Victor Stinner em bpo-41713 [https://bugs.python.org/issue?@action=redirect&bpo=41713].)

Remova a função PyAST_Validate(). Não é mais possível construir um objeto AST (tipo mod_ty) com a API C pública. A função já foi excluída da API C limitada (PEP 384 [https://peps.python.org/pep-0384/]). (Contribuição de Victor Stinner em bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244].)

Remove o arquivo de cabeçalho symtable.h e as funções não documentadas:

PyST_GetScope()

PySymtable_Build()

PySymtable_BuildObject()

PySymtable_Free()

Py_SymtableString()

Py_SymtableStringObject()

A função Py_SymtableString() fazia parte da ABI estável por engano, mas não pôde ser usada, porque o arquivo de cabeçalho symtable.h foi excluído da API C limitada.

Use o módulo Python symtable em vez disso. (Contribuição de Victor Stinner em bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244].)

Remove PyOS_ReadlineFunctionPointer() dos cabeçalhos limitados da API C e de python3.dll, a biblioteca que fornece a ABI estável no Windows. Como a função recebe um argumento FILE*, sua estabilidade ABI não pode ser garantida. (Contribuição de Petr Viktorin em bpo-43868 [https://bugs.python.org/issue?@action=redirect&bpo=43868].)

Remove os arquivos de cabeçalho ast.h, asdl.h e Python-ast.h. Essas funções não estavam documentadas e excluídas da API C limitada. A maioria dos nomes definidos por esses arquivos de cabeçalho não foram prefixados por Py e, portanto, podem criar conflitos de nomes. Por exemplo, Python-ast.h definiu uma macro Yield que estava em conflito com o nome Yield usado pelo cabeçalho <winbase.h> do Windows. Use o módulo Python ast em vez disso. (Contribuição de Victor Stinner em bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244].)

Remove as funções do compilador e do analisador usando o tipo struct _mod, porque a API AST C pública foi removida:

PyAST_Compile()

PyAST_CompileEx()

PyAST_CompileObject()

PyFuture_FromAST()

PyFuture_FromASTObject()

PyParser_ASTFromFile()

PyParser_ASTFromFileObject()

PyParser_ASTFromFilename()

PyParser_ASTFromString()

PyParser_ASTFromStringObject()

Essas funções não estavam documentadas e excluídas da API C limitada. (Contribuição de Victor Stinner em bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244].)

Remove o arquivo de cabeçalho pyarena.h com funções:

PyArena_New()

PyArena_Free()

PyArena_Malloc()

PyArena_AddPyObject()

Essas funções não estavam documentadas, excluídas da API C limitada e eram usadas apenas internamente pelo compilador. (Contribuição de Victor Stinner em bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244].)

O membro PyThreadState.use_tracing foi removido para otimizar o Python. (Contribuição de Mark Shannon em bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760].)

Recursos de segurança notáveis no 3.10.7

Converter entre int e str em bases diferentes de 2 (binário), 4, 8 (octal), 16 (hexadecimal) ou 32 como base 10 (decimal) agora levanta uma exceção ValueError se o número de dígitos em forma de string estiver acima de um limite para evitar possíveis ataques de negação de serviço devido à complexidade algorítmica. Esta é uma mitigação para CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735]. Este limite pode ser configurado ou desabilitado por variável de ambiente, sinalizador de linha de comando ou APIs de sys. Veja a documentação de limitação de comprimento de conversão de string inteira. O limite padrão é de 4300 dígitos em forma de string.

Recursos de segurança notáveis no 3.10.8

O módulo descontinuado mailcap agora se recusa a injetar texto não seguro (nomes de arquivos, tipos MIME, parâmetros) em comandos shell. Em vez de usar esse texto, ele avisará e agirá como se uma correspondência não fosse encontrada (ou para comandos de teste, como se o teste tivesse falhado). (Contribuição de Petr Viktorin em gh-98966 [https://github.com/python/cpython/issues/98966].)

Alterações notáveis no 3.10.12

tarfile

Os métodos de extração em tarfile e shutil.unpack_archive(), têm um novo argumento filter que permite limitar recursos do tar que podem ser surpreendentes ou perigosos, como criar arquivos fora do diretório de destino. Veja Filtros de extração para detalhes. No Python 3.12, usar sem o argumento filter mostrará um DeprecationWarning. No Python 3.14, o padrão mudará para 'data'. (Contribuição de Petr Viktorin em PEP 706 [https://peps.python.org/pep-0706/].)

O que há de novo no Python 3.9

Editor:

Łukasz Langa

Este artigo explica os novos recursos no Python 3.9, em comparação com 3.8. Python 3.9 foi lançado em 15 de outubro de 2020. Veja o changelog. para uma lista completa de mudanças.

Ver também

PEP 596 [https://peps.python.org/pep-0596/] - Python 3.9 Release Schedule

Resumo – Destaques da versão

Novos recursos de sintaxe:

PEP 584 [https://peps.python.org/pep-0584/], operadores de união adicionados ao dict;

PEP 585 [https://peps.python.org/pep-0585/], type hinting genéricos em coleções comuns;

PEP 614 [https://peps.python.org/pep-0614/], restrições de gramática relaxadas em decoradores.

Novos recursos embutidos:

PEP 616 [https://peps.python.org/pep-0616/], métodos de strings para remover prefixos e sufixos.

Novos recursos na biblioteca padrão:

PEP 593 [https://peps.python.org/pep-0593/], anotações flexíveis de função e variável;

os.pidfd_open() adicionada para permitidos gerenciamento de processo sem corridas e sinais.

Melhorias no interpretador:

PEP 573 [https://peps.python.org/pep-0573/], acesso rápido ao estado do módulo a partir de métodos de tipos de extensão C;

PEP 617 [https://peps.python.org/pep-0617/], CPython agora usa um novo analisador sintático com base em GASE;

vários tipos embutidos do Python (range, tuple, set, frozenset, list, dict) estão agora mais rápidos usando vectorcall da PEP 590 [https://peps.python.org/pep-0590/];

coleta de lixo não causa bloqueio em objetos ressuscitados;

vários módulos do Python (_abc, audioop, _bz2, _codecs, _contextvars, _crypt, _functools, _json, _locale, math, operator, resource, time, _weakref) agora usam inicialização multifásica conforme definido pela PEP 489;

vários módulos da biblioteca padrão (audioop, ast, grp, _hashlib, pwd, _posixsubprocess, random, select, struct, termios, zlib) estão agora usando a ABI estável definida pela PEP 384.

Novos módulos de biblioteca:

PEP 615 [https://peps.python.org/pep-0615/], o banco de dados de fusos horários da IANA é agora apresentado na biblioteca padrão no módulo zoneinfo;

uma implementação de um tipo topológico de um grafo agora é fornecida no novo módulo graphlib.

Alterações no processo de lançamento:

PEP 602 [https://peps.python.org/pep-0602/], CPython adota um ciclo de lançamento anual.

Você deve verificar DeprecationWarning no seu código

Quando o Python 2.7 ainda tinha suporte, muitas funcionalidades do Python 3 foram mantidas para compatibilidade com versões anteriores do Python 2.7. Com o fim do suporte ao Python 2, essas camadas de compatibilidade com versões anteriores foram removidas ou serão removidas em breve. A maioria deles emitia um aviso de DeprecationWarning por vários anos. Por exemplo, usar collections.Mapping em vez de collections.abc.Mapping emite uma DeprecationWarning desde Python 3.3, lançado em 2012.

Teste sua aplicação com a opção de linha de comando -W default para ver DeprecationWarning e PendingDeprecationWarning, ou mesmo com -W error para tratá-los como erros. Filtro de avisos pode ser usado para ignorar avisos de código de terceiros.

Python 3.9 é a última versão que fornece essas camadas de compatibilidade com versões anteriores do Python 2, para dar mais tempo aos mantenedores de projetos Python para organizar a remoção do suporte Python 2 e adicionar suporte para Python 3.9.

Aliases para classes bases abstratas no módulo collections, como o alias collections.Mapping para collections.abc.Mapping, são mantidos para uma última versão para compatibilidade reversa. Eles serão removidos do Python 3.10.

De maneira mais geral, experimente executar seus testes no Modo de Desenvolvimento do Python, que ajuda a preparar seu código para torná-lo compatível com a próxima versão do Python.

Observação: vários itens descontinuados pré-existentes também foram removidos nesta versão do Python. Consulte a seção Removidos.

Novas funcionalidades

Operadores de mesclagem & atualização de dicionário

Operadores de mesclagem (|) e atualização (|=) foram adicionados à classe embutida dict. Eles complementam o métodos dict.update e {**d1, **d2} existentes de mesclagem de dicionários.

Exemplo:

>>> x = {"chave1": "valor1 from x", "chave2": "valor2 from x"}
>>> y = {"chave2": "valor2 from y", "chave3": "valor3 from y"}
>>> x | y
{'chave1': 'valor1 from x', 'chave2': 'valor2 from y', 'chave3': 'valor3 from y'}
>>> y | x
{'chave2': 'valor2 from x', 'chave3': 'valor3 from y', 'chave1': 'valor1 from x'}

Veja PEP 584 [https://peps.python.org/pep-0584/] para uma descrição completa. (Contribuição de Brandt Bucher em bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144].)

Novos métodos de strings para remover prefixos e sufixos

str.removeprefix(prefix) e str.removesuffix(suffix) foram adicionados para remover facilmente um prefixo ou sufixo desnecessário de uma string. Os métodos correspondentes bytes, bytearray e collections.UserString também foram adicionados. Veja PEP 616 [https://peps.python.org/pep-0616/] para uma descrição completa. (Contribuição de Dennis Sweeney em bpo-39939 [https://bugs.python.org/issue?@action=redirect&bpo=39939].)

Type hinting genéricos nas coleções padrão

Agora, nas anotações de tipo, você pode usar tipos de coleção embutidos como list e dict como tipos genéricos, em vez de importar os tipos de letras maiúsculas correspondentes (por exemplo, List ou Dict) de typing. Agora, outros tipos na biblioteca padrão também são genéricos, por exemplo, queue.Queue.

Exemplo:

def cumprimentar_todos(nomes: list[str]) -> None:
    for nome in nomes:
        print("Olá", nome)

Consulte PEP 585 [https://peps.python.org/pep-0585/] para mais detalhes. (Contribuição de Guido van Rossum, Ethan Smith e Batuhan Taşkaya em bpo-39481 [https://bugs.python.org/issue?@action=redirect&bpo=39481].)

Novo analisador sintático

O Python 3.9 usa um novo analisador sintático, baseado em GASE [https://pt.wikipedia.org/wiki/Gramática_de_análise_sintática_de_expressão] em vez de LL(1) [https://pt.wikipedia.org/wiki/Analisador_sintático_LL]. O desempenho do novo analisador sintático é aproximadamente comparável ao do analisador sintático antigo, mas o formalismo do GASE é mais flexível que do LL(1) quando se trata de projetar novos recursos de linguagem. Começaremos a usar essa flexibilidade no Python 3.10 e posterior.

O módulo ast usa o novo analisador e produz o mesmo AST que o analisador antigo.

No Python 3.10, o analisador antigo será excluído e todas as funcionalidades que dependem dele (principalmente o módulo parser, que foi descontinuado a muito tempo). No Python 3.9 apenas, você pode voltar ao analisador LL(1) usando uma opção de linha de comando (-X oldparser) ou uma variável de ambiente (PYTHONOLDPARSER=1).

Consulte PEP 617 [https://peps.python.org/pep-0617/] para mais detalhes. (Contribuição de Guido van Rossum, Pablo Galindo e Lysandros Nikolaou em bpo-40334 [https://bugs.python.org/issue?@action=redirect&bpo=40334].)

Outras mudanças na linguagem

__import__() agora levanta ImportError em vez de ValueError, o que é usado para ocorrer quando uma importação relativa passou de seu um pacote de nível superior. (Contribuição de Ngalim Siregar em bpo-37444 [https://bugs.python.org/issue?@action=redirect&bpo=37444].)

Agora, o Python obtém o caminho absoluto do nome do arquivo do script especificado na linha de comando (p.ex., python3 script.py): o atributo __file__ do módulo __main__ tornou-se um caminho absoluto, não um caminho relativo. Esses caminhos agora permanecem válidos depois que o diretório atual é alterado por os.chdir(). Como efeito colateral, o traceback também exibe o caminho absoluto para quadros de módulos de __main__ neste caso. (Contribuição de Victor Stinner em bpo-20443 [https://bugs.python.org/issue?@action=redirect&bpo=20443].)

No Modo de Desenvolvimento do Python e na compilação de depuração , os argumentos encoding e errors agora são verificados quanto às operações de codificação e decodificação de strings. Exemplos: open(), str.encode() e bytes.decode().

Por padrão, para obter o melhor desempenho, o argumento errors é verificado apenas no primeiro erro de codificação/decodificação, e o argumento encoding às vezes é ignorado para strings vazias. (Contribuição de Victor Stinner em bpo-37388 [https://bugs.python.org/issue?@action=redirect&bpo=37388].)

"".replace("", s, n) agora retorna s em vez de uma string vazia para todos n não zero. Isso é agora consistente com "".replace("", s). Há alterações similares para objetos bytes e bytearray. (Contribuição de Serhiy Storchaka em bpo-28029 [https://bugs.python.org/issue?@action=redirect&bpo=28029].)

Qualquer expressão válida agora pode ser usada como decorador. Anteriormente, a gramática era muito mais restritiva. Veja PEP 614 [https://peps.python.org/pep-0614/] para detalhes. (Contribuição de Brandt Bucher em bpo-39702 [https://bugs.python.org/issue?@action=redirect&bpo=39702].)

Aprimorada a ajuda para o módulo digitando. Agora, as linhas de documento são mostradas para todos os formulários especiais e aliases genéricos especiais (como Union e List). Usando help() com alias genérico como List[int] mostrará a ajuda para o tipo concreto correspondente (neste caso, list). (Contribuição de Serhiy Storchaka em bpo-40257 [https://bugs.python.org/issue?@action=redirect&bpo=40257].)

A execução paralela de aclose() / asend() / athrow() é agora proibida e ag_running agora reflete o status atual de execução do gerador async. (Contribuição de Yury Selivanov em bpo-30773 [https://bugs.python.org/issue?@action=redirect&bpo=30773].)

Erros inesperados ao chamar o método __iter__ não são mais mascarados por TypeError no operador in e nas funções contains(), indexOf() e countOf() do módulo operator. (Contribuição de Serhiy Storchaka em bpo-40824 [https://bugs.python.org/issue?@action=redirect&bpo=40824].)

Expressões lambda sem parênteses não podem mais ser a parte da expressão em uma cláusula if em compreensões e expressões geradoras. Veja bpo-41848 [https://bugs.python.org/issue?@action=redirect&bpo=41848] e bpo-43755 [https://bugs.python.org/issue?@action=redirect&bpo=43755] para detalhes.

Novos módulos

zoneinfo

O módulo zoneinfo oferece suporte ao banco de dados de fuso horário da IANA para a biblioteca padrão. Ele adiciona zoneinfo.ZoneInfo, uma implementação concreta datetime.tzinfo, apoiada pelos dados do fuso horário do sistema.

Exemplo:

>>> from zoneinfo import ZoneInfo
>>> from datetime import datetime, timedelta

>>> # Tempo em fuso horário com horário de verão
>>> dt = datetime(2020, 10, 31, 12, tzinfo=ZoneInfo("America/Los_Angeles"))
>>> print(dt)
2020-10-31 12:00:00-07:00
>>> dt.tzname()
'PDT'

>>> # Tempo padrão
>>> dt += timedelta(days=7)
>>> print(dt)
2020-11-07 12:00:00-08:00
>>> print(dt.tzname())
PST

Como fonte alternativa de dados para plataformas que não entregam o banco de dados da IANA, o módulo tzdata [https://pypi.org/project/tzdata/] foi lançado como um pacote inicial – distribuído via PyPI e mantido pela equipe principal do CPython.

Ver também

PEP 615 [https://peps.python.org/pep-0615/] – Suporte ao banco de dados de fuso horário da IANA na biblioteca padrão

PEP escrita e implementada por Paul Ganssle

graphlib

Um novo módulo, graphlib, foi adicionado contendo a classe graphlib.TopologicalSorter para oferecer funcionalidade de realizar classificação topológica de grafos. (Contribuição de Pablo Galindo, Tim Peters e Larry Hastings em bpo-17005 [https://bugs.python.org/issue?@action=redirect&bpo=17005].)

Módulos melhorados

ast

Adicionada a opção indent a dump(), que permite produzir uma saída indentada com várias linhas. (Contribuição de Serhiy Storchaka em bpo-37995 [https://bugs.python.org/issue?@action=redirect&bpo=37995].)

Adicionada ast.unparse() como uma função no módulo ast que pode ser usado para remover um objeto ast.AST e produzir uma string com código que produziria um objeto ast.AST equivalente quando analisado. (Contribuição de Pablo Galindo e Batuhan Taskaya em bpo-38870 [https://bugs.python.org/issue?@action=redirect&bpo=38870].)

Adicionadas docstrings aos nós AST que contêm a assinatura ASDL usada para construir esse nó. (Contribuição de Batuhan Taskaya em bpo-39638 [https://bugs.python.org/issue?@action=redirect&bpo=39638].)

asyncio

Devido a significativas preocupações de segurança, o parâmetro reuse_address de asyncio.loop.create_datagram_endpoint() não é mais suportado. Isso ocorre devido ao comportamento da opção de soquete SO_REUSEADDR no UDP. Para mais detalhes, consulte a documentação de loop.create_datagram_endpoint(). (Contribuição de Kyle Stanley, Antoine Pitrou e Yury Selivanov em bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228].)

Adicionada uma nova corrotina shutdown_default_executor() que agenda um desligamento para o executor padrão que espera na ThreadPoolExecutor para concluir o fechamento. Além disso, asyncio.run() foi atualizada para usar o novo corrotina. (Contribuição de Kyle Stanley em bpo-34037 [https://bugs.python.org/issue?@action=redirect&bpo=34037].)

Adicionada asyncio.PidfdChildWatcher, uma implementação de monitorador de filhos específica do Linux que controla descritores de arquivo de processo. (bpo-38692 [https://bugs.python.org/issue?@action=redirect&bpo=38692])

Adicionada uma nova corrotina asyncio.to_thread(). É usada principalmente para executar funções vinculadas à E/S em uma thread separada para evitar o bloqueio do loop de eventos e funciona essencialmente como uma versão de alto nível de run_in_executor() que pode receber argumentos nomeados diretamente. (Contribuição de Kyle Stanley e Yury Selivanov em bpo-32309 [https://bugs.python.org/issue?@action=redirect&bpo=32309].)

Ao cancelar a tarefa devido a um tempo limite, asyncio.wait_for() irá agora esperar até que o cancelamento seja concluído também no caso quando timeout é <= 0, como acontece com tempos limite positivos. (Contribuição de Elvis Pranskevichus em bpo-32751 [https://bugs.python.org/issue?@action=redirect&bpo=32751].)

asyncio agora levanta TypeError ao chamar métodos incompatíveis com um soquete ssl.SSLSocket. (Contribuição de Ido Michael em bpo-37404 [https://bugs.python.org/issue?@action=redirect&bpo=37404].)

compileall

Adicionada nova possibilidade de usar hardlinks para arquivos .pyc duplicados: parâmetro hardlink_dupes e opção de linha de comando –hardlink-dupes. (Contribuição de Lumír ‘Frenzy’ Balhar em bpo-40495 [https://bugs.python.org/issue?@action=redirect&bpo=40495].)

Adicionadas novas opções para manipulação de caminho nos arquivos .pyc resultantes: parâmetros stripdir, prependdir, limit_sl_dest e opções de linha de comando -s, -p, -e. Foi adicionada a possibilidade de especificar a opção para um nível de otimização várias vezes. (Contribuição de Lumír ‘Frenzy’ Balhar em bpo-38112 [https://bugs.python.org/issue?@action=redirect&bpo=38112].)

concurrent.futures

Adicionado um novo parâmetro cancel_futures em concurrent.futures.Executor.shutdown() que cancela todos os futuros pendentes que ainda não começaram a ser executados, em vez de esperar que eles sejam concluídos antes de desligar o executor. (Contribuição de Kyle Stanley em bpo-39349 [https://bugs.python.org/issue?@action=redirect&bpo=39349].)

Removidos as threads do daemon de ThreadPoolExecutor e ProcessPoolExecutor. Isso melhora a compatibilidade com subinterpretadores e a previsibilidade em seus processos de desligamento. (Contribuição de Kyle Stanley em bpo-39812 [https://bugs.python.org/issue?@action=redirect&bpo=39812].)

Workers em ProcessPoolExecutor agora são gerados sob demanda, apenas quando não há workers ociosos disponíveis para reutilização. Isso otimiza a sobrecarga da inicialização e reduz a quantidade de tempo perdido da CPU para os workers ociosos. (Contribuição de Kyle Stanley em bpo-39207 [https://bugs.python.org/issue?@action=redirect&bpo=39207].)

curses

Adicionadas as funções curses.get_escdelay(), curses.set_escdelay(), curses.get_tabsize() e curses.set_tabsize(). (Contribuição de Anthony Sottile em bpo-38312 [https://bugs.python.org/issue?@action=redirect&bpo=38312].)

datetime

Os métodos isocalendar() de datetime.date e isocalendar() de datetime.datetime agora retornam uma namedtuple() em vez de uma tuple. (Contribuição de Donghee Na em bpo-24416 [https://bugs.python.org/issue?@action=redirect&bpo=24416].)

distutils

O comando upload agora cria digests de hash SHA2-256 e Blake2b-256. Ele pula o MD5 em plataformas que bloqueiam digest do MD5. (Contribuição de Christian Heimes em bpo-40698 [https://bugs.python.org/issue?@action=redirect&bpo=40698].)

fcntl

Adicionadas as constantes F_OFD_GETLK, F_OFD_SETLK e F_OFD_SETLKW. (Contribuição de Donghee Na em bpo-38602 [https://bugs.python.org/issue?@action=redirect&bpo=38602].)

ftplib

FTP e FTP_TLS agora levantam a ValueError se o tempo limite especificado para o construtor for zero para impedir a criação de um soquete não-bloqueante. (Contribuição de Donghee Na em bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259].)

gc

Quando o coletor de lixo faz uma coleção na qual alguns objetos ressuscitam (são alcançáveis fora dos ciclos isolados após a execução dos finalizadores), não bloqueia a coleção de todos os objetos que ainda estão inacessíveis. (Contribuição de Pablo Galindo e Tim Peters em bpo-38379 [https://bugs.python.org/issue?@action=redirect&bpo=38379].)

Adicionada uma nova função gc.is_finalized() para verificar se um objeto foi finalizado pelo coletor de lixo. (Contribuição de Pablo Galindo em bpo-39322 [https://bugs.python.org/issue?@action=redirect&bpo=39322].)

hashlib

O módulo hashlib pode agora usar hashes SHA3 e SHAKE XOF de OpenSSL quando disponível. (Contribuição de Christian Heimes em bpo-37630 [https://bugs.python.org/issue?@action=redirect&bpo=37630].)

Os módulos hash integrados agora podem ser desativados com ./configure --without-builtin-hashlib-hashes ou ativados seletivamente com por exemplo ./configure --with-builtin-hashlib-hashes=sha3,blake2 para forçar o uso da implementação baseada em OpenSSL. (Contribuição de Christian Heimes em bpo-40479 [https://bugs.python.org/issue?@action=redirect&bpo=40479])

http

Códigos de status HTTP 103 EARLY_HINTS, 418 IM_A_TEAPOT e 425 TOO_EARLY foram adicionados a http.HTTPStatus. (Contribuição de Donghee Na em bpo-39509 [https://bugs.python.org/issue?@action=redirect&bpo=39509] e Ross Rhodes em bpo-39507 [https://bugs.python.org/issue?@action=redirect&bpo=39507].)

IDLE e idlelib

Adicionada a opção para ativar e desativar o piscar do cursor. (Contribuição de Zackery Spytz na bpo-4603 [https://bugs.python.org/issue?@action=redirect&bpo=4603].)

A tecla Escape agora fecha as janelas de conclusão IDLE. (Contribuição de Johnny Najera em bpo-38944 [https://bugs.python.org/issue?@action=redirect&bpo=38944].)

Adicionada argumentos nomeados à lista de completamento de nome de módulo. (Contribuição de Terry J. Reedy em bpo-37765 [https://bugs.python.org/issue?@action=redirect&bpo=37765].)

Novo nas versões de manutenção 3.9.

Faz o IDLE invocar sys.excepthook() (quando iniciado sem ‘-n’). Ganchos de usuário eram ignorados anteriormente. (Contribuição de Ken Hilton em bpo-43008 [https://bugs.python.org/issue?@action=redirect&bpo=43008].)

As alterações acima foram portadas para versões de manutenção do 3.8.

Reorganiza a caixa de diálogo de configurações. Divide a aba General nas abas Windows e Shell/Ed. Move as fontes de ajuda, que estendem o menu Help, para a aba Extensions. Abre espaço para novas opções e encurta a caixa de diálogo. O último faz com que o diálogo se ajuste melhor a telas pequenas. (Contribuição de Terry Jan Reedy em bpo-40468 [https://bugs.python.org/issue?@action=redirect&bpo=40468].) Move a configuração do espaço de recuo da aba Font para a nova aba Windows. (Contribuição de Mark Roseman e Terry Jan Reedy em bpo-33962 [https://bugs.python.org/issue?@action=redirect&bpo=33962].)

Aplica realce de sintaxe em arquivos .pyi. (Contribuição de Alex Waygood e Terry Jan Reedy em bpo-45447 [https://bugs.python.org/issue?@action=redirect&bpo=45447].)

imaplib

IMAP4 e IMAP4_SSL agora possuem o parâmetro opcional timeout para seus construtores. Também, o método open() agora possui um parâmetro opcional timeout com esta alteração. Os métodos substituídos de IMAP4_SSL e IMAP4_stream foram aplicados nesta alteração. (Contribuição de Dong-hee Na em bpo-38615 [https://bugs.python.org/issue?@action=redirect&bpo=38615].)

imaplib.IMAP4.unselect() foi adicionado. imaplib.IMAP4.unselect() libera os recursos do servidor associados à caixa de correio selecionada e retorna o servidor ao estado autenticado. Este comando executa as mesmas ações que imaplib.IMAP4.close(), exceto que nenhuma mensagem é removida permanentemente da caixa de correio selecionada no momento. (Contribuição de Dong-hee Na em bpo-40375 [https://bugs.python.org/issue?@action=redirect&bpo=40375].)

importlib

Para melhorar a consistência com as instruções de importação, importlib.util.resolve_name() agora levanta ImportError em vez de ValueError para tentativas de importação relativas inválidas. (Contribuição de Ngalim Siregar em bpo-37444 [https://bugs.python.org/issue?@action=redirect&bpo=37444].)

Carregadores de importação que publicam objetos de módulo imutáveis agora podem publicar pacotes imutáveis além de módulos individuais. (Contribuição de Dino Viehland em bpo-39336 [https://bugs.python.org/issue?@action=redirect&bpo=39336].)

Adicionada a função importlib.resources.files() com suporte a subdiretórios nos dados do pacote, correspondendo ao backport na versão 1.5 do importlib_resources. (Contribuição de Jason R. Coombs em bpo-39791 [https://bugs.python.org/issue?@action=redirect&bpo=39791].)

Renovado importlib.metadata de importlib_metadata versão 1.6.1.

inspect

inspect.BoundArguments.arguments foi alterado de OrderedDict para dict regular. (Contribuição de Inada Naoki em bpo-36350 [https://bugs.python.org/issue?@action=redirect&bpo=36350] e bpo-39775 [https://bugs.python.org/issue?@action=redirect&bpo=39775].)

ipaddress

ipaddress agora suporta endereços IPv6 com escopo definido (endereço IPv6 com sufixo %<scope_id>).

Os endereços IPv6 com escopo definido podem ser analisados usando ipaddress.IPv6Address. Se presente, o ID da zona de escopo está disponível através do atributo scope_id. (Contribuição de Oleksandr Pavliuk em bpo-34788 [https://bugs.python.org/issue?@action=redirect&bpo=34788].)

A partir do Python 3.9.5, o módulo ipaddress não aceita mais zeros à esquerda em strings de endereço IPv4. (Contribuição de Christian Heimes em bpo-36384 [https://bugs.python.org/issue?@action=redirect&bpo=36384]).

math

Expandida a função math.gcd() para manipular vários argumentos. Anteriormente, tinha suporte apenas a dois argumentos. (Contribuição de Serhiy Storchaka em bpo-39648 [https://bugs.python.org/issue?@action=redirect&bpo=39648].)

Adicionada math.lcm(): retorna o menor múltiplo comum dos argumentos especificados. (Contribuição de Mark Dickinson, Ananthakrishnan e Serhiy Storchaka em bpo-39479 [https://bugs.python.org/issue?@action=redirect&bpo=39479] e :issue:` 39648`.)

Adicionada math.nextafter(): retorna o próximo valor de ponto flutuante após x em direção a y. (Contribuição de Victor Stinner em bpo-39288 [https://bugs.python.org/issue?@action=redirect&bpo=39288].)

Adicionada math.ulp(): retorna o valor do bit menos significativo de um ponto flutuante. (Contribuição de Victor Stinner em bpo-39310 [https://bugs.python.org/issue?@action=redirect&bpo=39310].)

multiprocessing

A classe multiprocessing.SimpleQueue tem um novo método close() para fechar explicitamente a fila. (Contribuição de Victor Stinner em bpo-30966 [https://bugs.python.org/issue?@action=redirect&bpo=30966].)

nntplib

NNTP e NNTP_SSL agora levantam uma exceção ValueError se o tempo limite fornecido ao construtor é zero, para prevenir a criação de um socket não-bloqueante. (Contribuição de Donghee Na em bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259].)

os

Adicionadas as constantes CLD_KILLED e CLD_STOPPED para si_code. (Contribuição de Donghee Na em bpo-38493 [https://bugs.python.org/issue?@action=redirect&bpo=38493].)

Exposta os.pidfd_open() específica do Linux (bpo-38692 [https://bugs.python.org/issue?@action=redirect&bpo=38692]) e os.P_PIDFD (bpo-38713 [https://bugs.python.org/issue?@action=redirect&bpo=38713]) para gerenciamento de processos com descritores de arquivo.

A função os.unsetenv() agora também está disponível no Windows. (Contribuição de Victor Stinner em bpo-39413 [https://bugs.python.org/issue?@action=redirect&bpo=39413].)

As funções os.putenv() e os.unsetenv() estão agora sempre disponíveis. (Contribuição de Victor Stinner em bpo-39395 [https://bugs.python.org/issue?@action=redirect&bpo=39395].)

Adicionada a função os.waitstatus_to_exitcode(): converte um status de espera em um código de saída. (Contribuição de Victor Stinner em bpo-40094 [https://bugs.python.org/issue?@action=redirect&bpo=40094].)

pathlib

Adicionado pathlib.Path.readlink(), que age de maneira semelhante a os.readlink(). (Contribuição de Girts Folkmanis em bpo-30618 [https://bugs.python.org/issue?@action=redirect&bpo=30618])

pdb

No Windows, agora Pdb tem suporte a ~/.pdbrc. (Contribuição de Tim Hopper e Dan Lidral-Porter em bpo-20523 [https://bugs.python.org/issue?@action=redirect&bpo=20523].)

poplib

POP3 e POP3_SSL agora levantam a ValueError se o tempo limite especificado para o construtor for zero para impedir a criação de um soquete sem bloqueio. (Contribuição de Donghee Na em bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259].)

pprint

pprint agora pode imprimir types.SimpleNamespace. (Contribuição de Carl Bordum Hansen em bpo-37376 [https://bugs.python.org/issue?@action=redirect&bpo=37376].)

pydoc

A string de documentação agora é mostrada não apenas para classe, função, método etc, mas para qualquer objeto que tenha seu próprio atributo __doc__. (Contribuição de Serhiy Storchaka em bpo-40257 [https://bugs.python.org/issue?@action=redirect&bpo=40257].)

random

Adicionado um novo método random.Random.randbytes: gera bytes aleatórios. (Contribuição de Victor Stinner em bpo-40286 [https://bugs.python.org/issue?@action=redirect&bpo=40286].)

signal

Exposta a signal.pidfd_send_signal() específica do Linux para enviar sinais a um processo usando um descritor de arquivo em vez de um pid. (bpo-38712 [https://bugs.python.org/issue?@action=redirect&bpo=38712])

smtplib

SMTP e SMTP_SSL agora levantam uma ValueError se o tempo limite especificado para seu construtor for zero para impedir a criação de um soquete sem bloqueio. (Contribuição de Dong-hee Na em bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259].)

O construtor de LMTP agora tem um parâmetro opcional timeout. (Contribuição de Dong-hee Na em bpo-39329 [https://bugs.python.org/issue?@action=redirect&bpo=39329].)

socket

O módulo socket agora exporta a constante CAN_RAW_JOIN_FILTERS no Linux 4.1 e superior. (Contribuição de Stefan Tatschner e Zackery Spytz em bpo-25780 [https://bugs.python.org/issue?@action=redirect&bpo=25780].)

O módulo socket agora suporta o protocolo CAN_J1939 nas plataformas que o suportam. (Contribuição de Karl Ding em bpo-40291 [https://bugs.python.org/issue?@action=redirect&bpo=40291].)

O módulo socket agora tem as funções socket.send_fds() e socket.recv_fds(). (Contribuição de Joannah Nanjekye, Shinya Okano e Victor Stinner em bpo-28724 [https://bugs.python.org/issue?@action=redirect&bpo=28724].)

time

No AIX, thread_time() agora é implementado com thread_cputime() que possui resolução de nanossegundos, em vez de clock_gettime(CLOCK_THREAD_CPUTIME_ID), que tem uma resolução de 10 milissegundos. (Contribuição de Batuhan Taskaya em bpo-40192 [https://bugs.python.org/issue?@action=redirect&bpo=40192])

sys

Adicionado um novo atributo sys.platlibdir: nome do diretório da biblioteca específica da plataforma. É usado para construir o caminho da biblioteca padrão e os caminhos dos módulos de extensão instalados. É igual a "lib" na maioria das plataformas. No Fedora e SuSE, é igual a "lib64" nas plataformas de 64 bits. (Contribuição de Jan Matějek, Matěj Cepl, Charalampos Stratakis e Victor Stinner em bpo-1294959 [https://bugs.python.org/issue?@action=redirect&bpo=1294959].)

Anteriormente, sys.stderr era armazenado em buffer quando não interativo. Agora, stderr assume como padrão sempre o buffer de linha. (Contribuição de Jendrik Seipp em bpo-13601 [https://bugs.python.org/issue?@action=redirect&bpo=13601].)

tracemalloc

Adicionada tracemalloc.reset_peak() para definir o tamanho do pico dos blocos de memória rastreados para o tamanho atual, para medir o pico de partes específicas do código. (Contribuição de Huon Wilson em bpo-40630 [https://bugs.python.org/issue?@action=redirect&bpo=40630].)

typing

PEP 593 [https://peps.python.org/pep-0593/] introduziu um tipo typing.Annotated para decorar tipos existentes com metadados específicos de contexto e o novo parâmetro include_extras para typing.get_type_hints() para acessar os metadados em tempo de execução. (Contribuição de Till Varoquaux e Konstantin Kashin.)

unicodedata

O banco de dados Unicode foi atualizado para a versão 13.0.0. (bpo-39926 [https://bugs.python.org/issue?@action=redirect&bpo=39926]).

venv

Os scripts de ativação fornecidos por venv agora especificam sua personalização de prompt de forma consistente, sempre usando o valor especificado por __VENV_PROMPT__. Anteriormente, alguns scripts usavam incondicionalmente __VENV_PROMPT__, outros apenas se fosse definido (que era o caso padrão) e um usava __VENV_NAME__. (Contribuição de Brett Cannon em bpo-37663 [https://bugs.python.org/issue?@action=redirect&bpo=37663].)

xml

Os caracteres de espaço em branco nos atributos agora são preservados ao serializar xml.etree.ElementTree para o arquivo XML. EOLNs não são mais normalizados para “n”. Este é o resultado da discussão sobre como interpretar a seção 2.11 da especificação XML. (Contribuição de Mefistotelis em bpo-39011 [https://bugs.python.org/issue?@action=redirect&bpo=39011].)

Otimizações

Otimizado o idioma para atribuição de uma variável temporária nas compreensões. Agora for y in [expr] nas compreensões é tão rápido quanto uma atribuição simples y = expr. Por exemplo:

sums = [s for s in [0] for x in data for s in [s + x]]

Ao contrário do operador :=, este idioma não vaza uma variável para o escopo externo.

(Contribuição de Serhiy Storchaka em bpo-32856 [https://bugs.python.org/issue?@action=redirect&bpo=32856].)

Otimizada a manipulação de sinais em aplicações multithread. Se uma thread diferente da thread principal obtiver um sinal, o loop de avaliação do bytecode não será mais interrompido a cada instrução de bytecode para verificar se há sinais pendentes que não podem ser manipulados. Somente o segmento principal do interpretador principal pode manipular sinais.

Anteriormente, o loop de avaliação do bytecode era interrompido em cada instrução até que a thread principal lidasse com os sinais. (Contribuição de Victor Stinner em bpo-40010 [https://bugs.python.org/issue?@action=redirect&bpo=40010].)

Otimizado o módulo subprocess no FreeBSD usando closefrom(). (Contribuição de Ed Maste, Conrad Meyer, Kyle Evans, Kubilay Kocak e Victor Stinner em bpo-38061 [https://bugs.python.org/issue?@action=redirect&bpo=38061].)

PyLong_FromDouble() está agora até 1.87x mais rápido para valores que cabem em um long. (Contribuição de Sergey Fedoseev em bpo-37986 [https://bugs.python.org/issue?@action=redirect&bpo=37986].)

Vários componentes embutidos do Python (range, tuple, set, frozenset, list, dict) agora são acelerados usando o protocolo vectorcall da PEP 590 [https://peps.python.org/pep-0590/]. (Contribuição de Donghee Na, Mark Shannon, Jeroen Demeyer e Petr Viktorin em bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207].)

Otimizada a difference_update() para o caso em que o outro conjunto é muito maior do que o conjunto base. (Sugestão de Evgeny Kapun com contribuição de código de Michele Orrù em bpo-8425 [https://bugs.python.org/issue?@action=redirect&bpo=8425].)

O alocador de pequenos objetos do Python (obmalloc.c) agora permite (não mais que) uma arena vazia para permanecer disponível para reutilização imediata, sem retorná-la ao sistema operacional. Isso evita o desperdiçar loops simples, onde uma arena pode ser criada e destruída novamente em cada iteração. (Contribuição de Tim Peters em bpo-37257 [https://bugs.python.org/issue?@action=redirect&bpo=37257].)

divisão pelo piso de operação flutuante agora tem um melhor desempenho. Além disso, a mensagem de ZeroDivisionError para esta operação foi atualizada. (Contribuição de Donghee Na em bpo-39434 [https://bugs.python.org/issue?@action=redirect&bpo=39434].)

A decodificação de strings curtas ASCII com codecs UTF-8 e ascii é agora cerca de 15% mais rápida. (Contribuição de Inada Naoki em bpo-37348 [https://bugs.python.org/issue?@action=redirect&bpo=37348].)

Aqui está um resumo das melhorias de desempenho do Python 3.4 ao Python 3.9:

Versão do Python                     3.4     3.5     3.6     3.7     3.8    3.9
--------------                       ---     ---     ---     ---     ---    ---

Acesso de leitura a variável e atributo:
    read_local                       7.1     7.1     5.4     5.1     3.9    3.9
    read_nonlocal                    7.1     8.1     5.8     5.4     4.4    4.5
    read_global                     15.5    19.0    14.3    13.6     7.6    7.8
    read_builtin                    21.1    21.6    18.5    19.0     7.5    7.8
    read_classvar_from_class        25.6    26.5    20.7    19.5    18.4   17.9
    read_classvar_from_instance     22.8    23.5    18.8    17.1    16.4   16.9
    read_instancevar                32.4    33.1    28.0    26.3    25.4   25.3
    read_instancevar_slots          27.8    31.3    20.8    20.8    20.2   20.5
    read_namedtuple                 73.8    57.5    45.0    46.8    18.4   18.7
    read_boundmethod                37.6    37.9    29.6    26.9    27.7   41.1

Acesso de escrita a variável e atributo:
    write_local                      8.7     9.3     5.5     5.3     4.3    4.3
    write_nonlocal                  10.5    11.1     5.6     5.5     4.7    4.8
    write_global                    19.7    21.2    18.0    18.0    15.8   16.7
    write_classvar                  92.9    96.0   104.6   102.1    39.2   39.8
    write_instancevar               44.6    45.8    40.0    38.9    35.5   37.4
    write_instancevar_slots         35.6    36.1    27.3    26.6    25.7   25.8

Acesso de leitura a estrutura de dados:
    read_list                       24.2    24.5    20.8    20.8    19.0   19.5
    read_deque                      24.7    25.5    20.2    20.6    19.8   20.2
    read_dict                       24.3    25.7    22.3    23.0    21.0   22.4
    read_strdict                    22.6    24.3    19.5    21.2    18.9   21.5

Acesso de escrita a estrutura de dados:
    write_list                      27.1    28.5    22.5    21.6    20.0   20.0
    write_deque                     28.7    30.1    22.7    21.8    23.5   21.7
    write_dict                      31.4    33.3    29.3    29.2    24.7   25.4
    write_strdict                   28.4    29.9    27.5    25.2    23.1   24.5

Operações em pilha (ou fila):
    list_append_pop                 93.4   112.7    75.4    74.2    50.8   50.6
    deque_append_pop                43.5    57.0    49.4    49.2    42.5   44.2
    deque_append_popleft            43.7    57.3    49.7    49.7    42.8   46.4

Tempo de laços:
    loop_overhead                    0.5     0.6     0.4     0.3     0.3    0.3

Estes resultados foram gerados a partir do script de benchmark de acesso variável em: Tools/scripts/var_access_benchmark.py. O script de benchmark exibe tempos em nanossegundos. Os benchmarks foram medidos em um processador Intel® Core ™ i7-4960HQ [https://ark.intel.com/content/www/us/en/ark/products/76088/intel-core-i7-4960hq-processor-6m-cache-up-to-3-80-ghz.html] executando as compilações do macOS de 64 bits encontradas em python.org [https://www.python.org/downloads/macos/].

Descontinuados

O comando bdist_msi do distutils está agora descontinuado, use bdist_wheel (pacotes wheel). (Contribuição de Hugo van Kemenade em bpo-39586 [https://bugs.python.org/issue?@action=redirect&bpo=39586].)

Atualmente math.factorial() aceita instâncias da float com valores inteiros não negativos (como 5.0). Ela levanta uma ValueError para flutuadores não integrais e negativos. Agora está descontinuado. Nas versões futuras do Python, será levantada uma TypeError para todos os flutuadores. (Contribuição de Serhiy Storchaka em bpo-37315 [https://bugs.python.org/issue?@action=redirect&bpo=37315].)

Os módulos parser e symbol foram descontinuados e serão removidos em versões futuras do Python. Para a maioria dos casos de uso, os usuários podem aproveitar o estágio de geração e compilação da Árvore de Sintaxe Abstrata (AST), usando o módulo ast.

As funções públicas de API C PyParser_SimpleParseStringFlags(), PyParser_SimpleParseStringFlagsFilename(), PyParser_SimpleParseFileFlags() e PyNode_Compile() foram descontinuados e serão removidos no Python 3.10 junto com o analisador sintático antigo.

O uso de NotImplemented em um contexto booleano foi descontinuado, pois é quase exclusivamente o resultado de implementações incorretas de comparadores avançados. Isso será tornado em uma TypeError em uma versão futura do Python. (Contribuição de Josh Rosenberg em bpo-35712 [https://bugs.python.org/issue?@action=redirect&bpo=35712].)

O módulo random atualmente aceita qualquer tipo hasheável como um possível valor inicial. Infelizmente, alguns desses tipos não têm garantia de ter um valor de hash determinístico. Após o Python 3.9, o módulo restringirá suas sementes a None, int, float, str, bytes e bytearray.

A abertura do arquivo GzipFile para escrita sem especificar o argumento mode foi descontinuado. Nas versões futuras do Python, ele sempre será aberto para leitura por padrão. Especifique o argumento mode para abri-lo para escrever e silenciar um aviso. (Contribuição de Serhiy Storchaka em bpo-28286 [https://bugs.python.org/issue?@action=redirect&bpo=28286].)

Descontinuado o método split() de _tkinter.TkappType a favor do método splitlist() que possui um comportamento mais consistente e previsível. (Contribuição de Serhiy Storchaka em bpo-38371 [https://bugs.python.org/issue?@action=redirect&bpo=38371].)

A passagem explícita dos objetos da corrotina para asyncio.wait() foi descontinuada e será removida na versão 3.11. (Contribuição de Yury Selivanov e Kyle Stanley em bpo-34790 [https://bugs.python.org/issue?@action=redirect&bpo=34790].)

Os padrões binhex4 e hexbin4 agora foram descontinuados. O módulo binhex e as seguintes funções binascii foram descontinuadas:

b2a_hqx(), a2b_hqx()

rlecode_hqx(), rledecode_hqx()

(Contribuição de Victor Stinner em bpo-39353 [https://bugs.python.org/issue?@action=redirect&bpo=39353].)

As classes slice, Index e ExtSlice de ast são consideradas descontinuadas e serão removidas nas versões futuras do Python. O próprio value deve ser usado em vez de Index(value). Tuple(slices, Load()) deve ser usada em vez de ExtSlice(slices). (Contribuição de Serhiy Storchaka em bpo-34822 [https://bugs.python.org/issue?@action=redirect&bpo=34822].)

As classes Suite, Param, AugLoad e AugStore de ast são consideradas descontinuadas e serão removidas nas versões futuras do Python. Elas não foram geradas pelo analisador sintático e não foram aceitos pelo gerador de código no Python 3. (Contribuição de Batuhan Taskaya em bpo-39639 [https://bugs.python.org/issue?@action=redirect&bpo=39639] e bpo-39969 [https://bugs.python.org/issue?@action=redirect&bpo=39969] e Serhiy Storchaka em bpo-39988 [https://bugs.python.org/issue?@action=redirect&bpo=39988].)

As funções PyEval_InitThreads() e PyEval_ThreadsInitialized() agora estão descontinuadas e serão removidas no Python 3.11. Chamar PyEval_InitThreads() agora não faz nada. A GIL é inicializada por Py_Initialize() desde o Python 3.7. (Contribuição de Victor Stinner em bpo-39877 [https://bugs.python.org/issue?@action=redirect&bpo=39877].)

Passar None como o primeiro argumento para a função shlex.split() foi descontinuada. (Contribuição de Zackery Spytz em bpo-33262 [https://bugs.python.org/issue?@action=redirect&bpo=33262].)

smtpd.MailmanProxy() está agora descontinuado, pois está inutilizável sem um módulo externo, mailman. (Contribuição de Samuel Colvin em bpo-35800 [https://bugs.python.org/issue?@action=redirect&bpo=35800].)

O módulo lib2to3 agora emite um PendingDeprecationWarning. Python 3.9 mudou para um analisador sintático GASE (veja PEP 617 [https://peps.python.org/pep-0617/]) e Python 3.10 pode incluir uma nova sintaxe de linguagem que não é analisável pelo analisador sintático LL(1) de lib2to3. O módulo lib2to3 pode ser removido da biblioteca padrão em uma versão futura do Python. Considere alternativas de terceiros, como LibCST [https://libcst.readthedocs.io/] ou parso [https://parso.readthedocs.io/]. (Contribuição de Carl Meyer em bpo-40360 [https://bugs.python.org/issue?@action=redirect&bpo=40360].)

Adicionado o parâmetro random da random.shuffle() foi descontinuado. (Contribuição de Raymond Hettinger em bpo-40465 [https://bugs.python.org/issue?@action=redirect&bpo=40465])

Removidos

A versão errônea em unittest.mock.__version__ foi removida.

nntplib.NNTP: os métodos xpath() e xgtitle() foram removidos. Esses métodos foram descontinuados desde Python 3.3. Geralmente, essas extensões não são suportadas ou não são habilitadas pelos administradores do servidor NNTP. Para xgtitle(), use nntplib.NNTP.descriptions() ou nntplib.NNTP.description(). (Contribuição de Donghee Na em bpo-39366 [https://bugs.python.org/issue?@action=redirect&bpo=39366].)

array.array: os métodos tostring() e fromstring() foram removidos. Eles eram aliases para tobytes() e frombytes(), descontinuado desde Python 3.2. (Contribuição de Victor Stinner em bpo-38916 [https://bugs.python.org/issue?@action=redirect&bpo=38916].)

A função sys.callstats() não documentada foi removida. Desde o Python 3.7, ela foi descontinuada e sempre retornou None. É necessária uma opção de compilação especial CALL_PROFILE que já foi removida no Python 3.7. (Contribuição de Victor Stinner em bpo-37414 [https://bugs.python.org/issue?@action=redirect&bpo=37414].)

As funções sys.getcheckinterval() e sys.setcheckinterval() foram removidas. Elas foram descontinuadas desde o Python 3.2. Use sys.getswitchinterval() e sys.setswitchinterval() em seu lugar. (Contribuição de Victor Stinner em bpo-37392 [https://bugs.python.org/issue?@action=redirect&bpo=37392].)

A função C PyImport_Cleanup() foi removida. Foi documentada como: “Esvazia a tabela do módulo. Apenas para uso interno.” (Contribuição de Victor Stinner em bpo-36710 [https://bugs.python.org/issue?@action=redirect&bpo=36710].)

Os módulos _dummy_thread e dummy_threading foram removidos. Esses módulos foram descontinuados desde o Python 3.7, que requer suporte a threading. (Contribuição de Victor Stinner em bpo-37312 [https://bugs.python.org/issue?@action=redirect&bpo=37312].)

O apelido aifc.openfp() para aifc.open(), o apelido sunau.openfp() para sunau.open() e o apelido wave.openfp() para wave.open() foram removidos. Eles estavam descontinuados desde o Python 3.7. (Contribuição de Victor Stinner em bpo-37320 [https://bugs.python.org/issue?@action=redirect&bpo=37320].)

O método isAlive() de threading.Thread foi removido. Ele foi descontinuado desde o Python 3.8. Use is_alive() ao invés. (Contribuição de Donghee Na em bpo-37804 [https://bugs.python.org/issue?@action=redirect&bpo=37804].)

Os métodos getchildren() e getiterator() das classes ElementTree e Element no módulo ElementTree foram removidos. Eles foram descontinuados no Python 3.2. Use iter(x) ou list(x) em vez de x.getchildren() e x.iter() ou list(x.iter()) em vez de x.getiterator(). (Contribuição Serhiy Storchaka no bpo-36543 [https://bugs.python.org/issue?@action=redirect&bpo=36543].)

A API antiga plistlib foi removida. Ela tinha sido descontinuada desde o Python 3.4. Use as funções load(), loads(), dump() e dumps(). Além disso, o parâmetro use_builtin_types foi removido, os objetos padrão bytes são sempre usados em seu lugar. (Contribuição de Jon Janzen em bpo-36409 [https://bugs.python.org/issue?@action=redirect&bpo=36409].)

A função C PyGen_NeedsFinalizing foi removida. Ela não foi documentada, testada ou usada em qualquer lugar dentro do CPython após a implementação de PEP 442 [https://peps.python.org/pep-0442/]. Patch de Joannah Nanjekye. (Contribuição de Joannah Nanjekye em bpo-15088 [https://bugs.python.org/issue?@action=redirect&bpo=15088])

base64.encodestring() e base64.decodestring(), aliases descontinuados desde Python 3.1, foram removidos: use base64.encodebytes() e base64.decodebytes(). (Contribuição de Victor Stinner em bpo-39351 [https://bugs.python.org/issue?@action=redirect&bpo=39351].)

A função fractions.gcd() foi removida, foi descontinuado desde Python 3.5 (bpo-22486 [https://bugs.python.org/issue?@action=redirect&bpo=22486]): use math.gcd() em seu lugar. (Contribuição de Victor Stinner em bpo-39350 [https://bugs.python.org/issue?@action=redirect&bpo=39350].)

O parâmetro buffering de bz2.BZ2File foi removido. Desde Python 3.0, ele era ignorado e ao usá-lo emitia uma DeprecationWarning. Passe um objeto arquivo aberto para controlar como o arquivo é aberto. (Contribuição de Victor Stinner em bpo-39357 [https://bugs.python.org/issue?@action=redirect&bpo=39357].)

O parâmetro encoding de json.loads() foi removido. A partir do Python 3.1, ele foi descontinuado e ignorado; usá-lo emitia uma DeprecationWarning desde Python 3.8. (Contribuição de Inada Naoki em bpo-39377 [https://bugs.python.org/issue?@action=redirect&bpo=39377])

As instruções with (await asyncio.lock): e with (yield from asyncio.lock): não são mais suportadas, use async with lock. O mesmo é se aplica para asyncio.Condition e asyncio.Semaphore. (Contribuição de Andrew Svetlov em bpo-34793 [https://bugs.python.org/issue?@action=redirect&bpo=34793].)

A função sys.getcounts(), a opção de linha de comando -X showalloccount e o campo show_alloc_count da estrutura C PyConfig foram removidos. Eles exigiam uma construção especial do Python definindo a macro COUNT_ALLOCS. (Contribuição de Victor Stinner em bpo-39489 [https://bugs.python.org/issue?@action=redirect&bpo=39489].)

O atributo _field_types da classe typing.NamedTuple foi removido. Ele foi descontinuado desde o Python 3.8. Use o atributo __annotations__. (Contribuição de Serhiy Storchaka em bpo-40182 [https://bugs.python.org/issue?@action=redirect&bpo=40182].)

O método symtable.SymbolTable.has_exec() foi removido. Ele foi descontinuado desde 2006, e retornando apenas False quando é chamado. (Contribuição de Batuhan Taskaya em bpo-40208 [https://bugs.python.org/issue?@action=redirect&bpo=40208])

Os métodos asyncio.Task.current_task() e asyncio.Task.all_tasks() foram removidos. Eles foram descontinuados desde o Python 3.7 e você pode usar asyncio.current_task() e asyncio.all_tasks() em seu lugar. (Contribuição de Rémi Lapeyre em bpo-40967 [https://bugs.python.org/issue?@action=redirect&bpo=40967])

O método unescape() na classe html.parser.HTMLParser foi removido (foi descontinuado desde o Python 3.4). html.unescape() deve ser usada para converter referências de caracteres para os caracteres Unicode correspondentes.

Portando para Python 3.9

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações na API Python

__import__() e importlib.util.resolve_name() agora levanta ImportError onde anteriormente levantava ValueError. Os chamadores capturando o tipo de exceção específico e suportando Python 3.9 e versões anteriores precisarão capturar ambas usando except (ImportError, ValueError):.

Os scripts de ativação venv não são mais casos especiais quando __VENV_PROMPT__ está definido como "".

O método select.epoll.unregister() não ignora mais o erro EBADF. (Contribuição de Victor Stinner em bpo-39239 [https://bugs.python.org/issue?@action=redirect&bpo=39239].)

O parâmetro compresslevel de bz2.BZ2File tornou-se uma parâmetro somente-nomeado, uma vez que o parâmetro buffering foi removido. (Contribuição de Victor Stinner em bpo-39357 [https://bugs.python.org/issue?@action=redirect&bpo=39357].)

AST simplificada para assinatura. Índices simples serão representados por seus valores, fatias estendidas serão representadas como tuplas. Index(value) retornará um value em si, ExtSlice(slices) retornará Tuple(slices, Load()). (Contribuição de Serhiy Storchaka em bpo-34822 [https://bugs.python.org/issue?@action=redirect&bpo=34822].)

O módulo importlib agora ignora a variável de ambiente PYTHONCASEOK quando as opções de linha de comando -E ou -I estão sendo usadas.

O parâmetro encoding foi adicionado às classes ftplib.FTP e ftplib.FTP_TLS como um parâmetro somente-nomeado, e a codificação padrão foi alterada de Latin-1 para UTF-8 para siga RFC 2640 [https://datatracker.ietf.org/doc/html/rfc2640.html].

asyncio.loop.shutdown_default_executor() foi adicionado a AbstractEventLoop, significando que laços de eventos alternativos que herdam dele devem ter este método definido. (Contribuição de Kyle Stanley em bpo-34037 [https://bugs.python.org/issue?@action=redirect&bpo=34037].)

Os valores constantes de futuras sinalizações no módulo __future__ são atualizados para evitar colisão com sinalizações do compilador. Anteriormente, PyCF_ALLOW_TOP_LEVEL_AWAIT estava em conflito com CO_FUTURE_DIVISION. (Contribuição de Batuhan Taskaya em bpo-39562 [https://bugs.python.org/issue?@action=redirect&bpo=39562])

array('u') agora usa wchar_t como tipo C em vez de Py_UNICODE. Esta mudança não afeta seu comportamento porque Py_UNICODE é um apelido de wchar_t desde Python 3.3. (Contribuição de Inada Naoki em bpo-34538 [https://bugs.python.org/issue?@action=redirect&bpo=34538].)

A API de logging.getLogger() agora retorna o logger raiz quando passado o nome 'root', enquanto anteriormente retornava um logger não-raiz chamado 'root'. Isso pode afetar casos onde o código do usuário deseja explicitamente um logger não-root chamado 'root', ou instancia um logger usando logging.getLogger(__name__) em algum módulo de nível superior chamado 'root.py'. (Contribuição de Vinay Sajip em bpo-37742 [https://bugs.python.org/issue?@action=redirect&bpo=37742].)

O tratamento de divisão de PurePath agora retorna NotImplemented ao invés de levantar um TypeError quando passado algo diferente de uma instância de str ou PurePath. Isso permite a criação de classes compatíveis que não herdam desses tipos mencionados. (Contribuição de Roger Aiudi em bpo-34775 [https://bugs.python.org/issue?@action=redirect&bpo=34775]).

A partir do Python 3.9.5, o módulo ipaddress não aceita mais zeros à esquerda em strings de endereço IPv4. Os zeros à esquerda são ambíguos e interpretados como notação octal por algumas bibliotecas. Por exemplo, a função legada socket.inet_aton() trata os zeros à esquerda como notação octal. A implementação glibc de inet_pton() moderna não aceita nenhum zeros à esquerda. (Contribuição de Christian Heimes em bpo-36384 [https://bugs.python.org/issue?@action=redirect&bpo=36384]).

codecs.lookup() agora normaliza o nome da codificação da mesma forma que encodings.normalize_encoding(), exceto que codecs.lookup() também converte o nome para minúsculas. Por exemplo, "latex+latin1" nome de codificação agora está normalizado para "latex_latin1". (Contribuição de Jordon Xu em bpo-37751 [https://bugs.python.org/issue?@action=redirect&bpo=37751].)

Alterações na API C

Instâncias de tipos alocados por heap (como aquelas criadas com PyType_FromSpec() e APIs semelhantes) mantêm uma referência para seu objeto de tipo desde o Python 3.8. Conforme indicado nas “Mudanças na API C” do Python 3.8, para a grande maioria dos casos, não deve haver nenhum efeito colateral, mas para os tipos que têm uma função personalizada tp_traverse, certifique-se de que todas as funções tp_traverse personalizadas de tipos alocados por heap visitam o tipo do objeto.

Exemplo:

int
travessia_foo(foo_struct *self, visitproc visit, void *arg) {
// Resto da função de travessia
#if PY_VERSION_HEX >= 0x03090000
    // Isso não era necessário antes do Python 3.9 (problemas 35810 e 40217 do Python)
    Py_VISIT(Py_TYPE(self));
#endif
}

Se sua função transversal delega para tp_traverse de sua classe base (ou outro tipo), certifique-se de que Py_TYPE(self) seja visitado apenas uma vez. Observe que apenas os tipos de heap devem visitar o tipo em tp_traverse.

Por exemplo, se sua função tp_traverse inclui:

base->tp_traverse(self, visit, arg)

adicione:

#if PY_VERSION_HEX >= 0x03090000
    // Isso não era necessário antes do Python 3.9 (bpo-35810 e bpo-40217)
    if (base->tp_flags & Py_TPFLAGS_HEAPTYPE) {
        // tp_traverse de um tipo de heap já visitou Py_TYPE(self)
    } else {
        Py_VISIT(Py_TYPE(self));
    }
#else

(Veja bpo-35810 [https://bugs.python.org/issue?@action=redirect&bpo=35810] e bpo-40217 [https://bugs.python.org/issue?@action=redirect&bpo=40217] para mais informações.)

As funções PyEval_CallObject, PyEval_CallFunction, PyEval_CallMethod e PyEval_CallObjectWithKeywords foram descontinuadas. Use PyObject_Call() e suas variantes. (Veja mais detalhes em bpo-29548 [https://bugs.python.org/issue?@action=redirect&bpo=29548].)

Alterações de bytecode do CPython

O opcode LOAD_ASSERTION_ERROR foi adicionado para tratar a instrução assert. Anteriormente, a instrução assert não funcionava corretamente se a exceção AssertionError estivesse sendo ocultada. (Contribuição de Zackery Spytz em bpo-34880 [https://bugs.python.org/issue?@action=redirect&bpo=34880].)

O código de operação COMPARE_OP foi dividido em quatro instruções distintas:

COMPARE_OP para comparações ricas

IS_OP para testes “is” e “is not”

CONTAINS_OP para testes “in” e “not in”

JUMP_IF_NOT_EXC_MATCH para verificar exceções em instruções “try-except”.

(Contribuição de Mark Shannon em bpo-39156 [https://bugs.python.org/issue?@action=redirect&bpo=39156].)

Mudanças na construção

Adicionada a opção --with-platlibdir ao script configure: nome do diretório de biblioteca específico da plataforma, armazenado no novo atributo sys.platlibdir. Veja o atributo sys.platlibdir para mais informações. (Contribuição de Jan Matějek, Matěj Cepl, Charalampos Stratakis e Victor Stinner em bpo-1294959 [https://bugs.python.org/issue?@action=redirect&bpo=1294959].)

A macro especial de construção COUNT_ALLOCS foi removida. (Contribuição de Victor Stinner em bpo-39489 [https://bugs.python.org/issue?@action=redirect&bpo=39489].)

Em plataformas não Windows, as funções setenv() e unsetenv() agora são necessárias para construir o Python. (Contribuição de Victor Stinner em bpo-39395 [https://bugs.python.org/issue?@action=redirect&bpo=39395].)

Em plataformas não-Windows, a criação de instaladores bdist_wininst não possui mais suporte oficial. (Veja bpo-10945 [https://bugs.python.org/issue?@action=redirect&bpo=10945] para mais detalhes.)

Ao compilar Python no macOS a partir do código-fonte, _tkinter agora se vincula a frameworks Tcl e Tk não pertencentes ao sistema se eles estiverem instalados em /Library/Frameworks, como era o caso em versões mais antigas do macOS. Se um macOS SDK for explicitamente configurado, usando --enable-universalsdk ou -isysroot, somente o SDK em si será procurado. Esse comportamento padrão pode ser sobreposto com --with-tcltk-include e --with-tcltk-libs. (Contribuição de Ned Deily em bpo-34956 [https://bugs.python.org/issue?@action=redirect&bpo=34956].)

Python pode agora ser construído para Windows 10 ARM64. (Contribuição de Steve Dower em bpo-33125 [https://bugs.python.org/issue?@action=redirect&bpo=33125].)

Alguns testes individuais agora são ignorados quando --pgo é usada. Os testes em questão aumentaram significativamente o tempo da tarefa de PGO e provavelmente não ajudaram a melhorar a otimização do executável final. Isso acelera a tarefa por um fator de cerca de 15x. A execução de todo o conjunto de testes de unidade é lenta. Esta mudança pode resultar em uma construção um pouco menos otimizada, uma vez que nem tantos ramos de código serão executados. Se você estiver disposto a esperar por uma construção muito mais lenta, o comportamento antigo pode ser restaurado usando ./configure [..] PROFILE_TASK="-m test --pgo-extended". Não oferecemos garantia de qual conjunto de tarefas de PGO produz uma construção mais rápida. Os usuários que se importam devem executar seus próprios benchmarks relevantes, pois os resultados podem depender do ambiente, da carga de trabalho e da cadeia de ferramentas do compilador. (Veja bpo-36044 [https://bugs.python.org/issue?@action=redirect&bpo=36044] e bpo-37707 [https://bugs.python.org/issue?@action=redirect&bpo=37707] para mais detalhes.)

Alterações na API C

Novas funcionalidades

PEP 573 [https://peps.python.org/pep-0573/]: Adicionada PyType_FromModuleAndSpec() para associar um módulo a uma classe; PyType_GetModule() e PyType_GetModuleState() para obter o módulo e seu estado; e PyCMethod e METH_METHOD para permitir que um método acesse a classe na qual ela foi definida. (Contribuição de Marcel Plch e Petr Viktorin em bpo-38787 [https://bugs.python.org/issue?@action=redirect&bpo=38787].)

Adicionada a função PyFrame_GetCode(): obtém um código de quadro. Adiciona a função PyFrame_GetBack(): obtém o próximo quadro externo. (Contribuição de Victor Stinner em bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421].)

Adicionada PyFrame_GetLineNumber() à API C limitada. (Contribuição de Victor Stinner em bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421].)

Adicionada as funções PyThreadState_GetInterpreter() e PyInterpreterState_Get() para obter o interpretador. Adiciona a função PyThreadState_GetFrame() para obter o quadro atual de um estado de thread do Python. Adiciona a função PyThreadState_GetID(): obtém o identificador único de um estado de thread do Python. (Contribuição de Victor Stinner em bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947].)

Adicionada uma nova função pública PyObject_CallNoArgs() à API C, que chama um objeto chamável Python sem nenhum argumento. É a maneira mais eficiente de chamar um objeto chamável Python sem nenhum argumento. (Contribuição de Victor Stinner em bpo-37194 [https://bugs.python.org/issue?@action=redirect&bpo=37194].)

Alterações na API C limitada (se a macro Py_LIMITED_API estiver definida):

Fornece Py_EnterRecursiveCall() e Py_LeaveRecursiveCall() como funções regulares para a API limitada. Anteriormente, eram definidas como macros, mas essas macros não compilavam com a API C limitada, que não pode acessar o campo PyThreadState.recursion_depth (a estrutura não é visível na API C limitada).

PyObject_INIT() e PyObject_INIT_VAR() se uma função regular não visível para ocultar os detalhes da implementação.

(Contribuição de Victor Stinner em bpo-38644 [https://bugs.python.org/issue?@action=redirect&bpo=38644] e bpo-39542 [https://bugs.python.org/issue?@action=redirect&bpo=39542].)

A função PyModule_AddType() é adicionado para ajudar a adicionar um tipo a um módulo. (Contribuição de Donghee Na em bpo-40024 [https://bugs.python.org/issue?@action=redirect&bpo=40024].)

Adicionadas as funções PyObject_GC_IsTracked() e PyObject_GC_IsFinalized() para a API pública para permitir a consulta se os objetos Python estão sendo rastreados ou já foram finalizados pelo coletor de lixo, respectivamente. (Contribuição de Pablo Galindo em bpo-40241 [https://bugs.python.org/issue?@action=redirect&bpo=40241].)

Adicionada a _PyObject_FunctionStr() para obter uma representação amigável para o usuário de strings de um objeto função ou similar. (Patch por Jeroen Demeyer em bpo-37645 [https://bugs.python.org/issue?@action=redirect&bpo=37645].)

Adicionada PyObject_CallOneArg() para chamar um objeto com um argumento posicional (Patch de Jeroen Demeyer em bpo-37483 [https://bugs.python.org/issue?@action=redirect&bpo=37483].)

Portando para Python 3.9

PyInterpreterState.eval_frame (PEP 523 [https://peps.python.org/pep-0523/]) agora exige um novo parâmetro tstate obrigatório (PyThreadState*). (Contribuição de Victor Stinner em bpo-38500 [https://bugs.python.org/issue?@action=redirect&bpo=38500].)

Módulos de extensão: As funções m_traverse, m_clear e m_free de PyModuleDef não são mais chamados se o estado do módulo foi solicitado, mas ainda não está alocado. Este é o caso imediatamente após o módulo ser criado e antes de o módulo ser executado (função Py_mod_exec). Mais precisamente, estas funções são são chamados se m_size for maior que 0 e o estado do módulo (como retornado por PyModule_GetState()) for NULL.

Módulos de extensão sem um estado de módulo (m_size <= 0) não são afetados.

Se Py_AddPendingCall() for chamada em um subinterpretador, a função agora está programada para ser chamada a partir do subinterpretador, em vez de ser chamada a partir do interpretador principal. Cada subinterpretador agora tem sua própria lista de chamadas programadas. (Contribuição de Victor Stinner em bpo-39984 [https://bugs.python.org/issue?@action=redirect&bpo=39984].)

O registro do Windows não é mais usado para inicializar sys.path quando a opção -E é usada (se PyConfig.use_environment estiver definido como 0). Isso é significativo ao incorporar Python no Windows. (Contribuição de Zackery Spytz na bpo-8901 [https://bugs.python.org/issue?@action=redirect&bpo=8901].)

A variável global PyStructSequence_UnnamedField agora é uma constante e se refere a uma string constante. (Contribuição de Serhiy Storchaka em bpo-38650 [https://bugs.python.org/issue?@action=redirect&bpo=38650].)

A estrutura PyGC_Head agora é opaca. Ela só é definida na API C interna (pycore_gc.h). (Contribuição de Victor Stinner em bpo-40241 [https://bugs.python.org/issue?@action=redirect&bpo=40241].)

Py_UNICODE_COPY, Py_UNICODE_FILL, , PyUnicode_WSTR_LENGTH, PyUnicode_FromUnicode(), PyUnicode_AsUnicode(), _PyUnicode_AsUnicode e PyUnicode_AsUnicodeAndSize() estão marcadas como descontinuadas no C. Elas foram descontinuadas pela PEP 393 [https://peps.python.org/pep-0393/] desde Python 3.3. (Contribuição de Inada Naoki em bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346].)

A função Py_FatalError() é substituída por uma macro que registra automaticamente o nome da função atual, a menos que a macro Py_LIMITED_API seja definida. (Contribuição de Victor Stinner em bpo-39882 [https://bugs.python.org/issue?@action=redirect&bpo=39882].)

O protocolo vectorcall agora exige que o chamador passe apenas strings como nomes de argumentos. (Veja bpo-37540 [https://bugs.python.org/issue?@action=redirect&bpo=37540] para mais informações.)

Os detalhes de implementação de uma série de macros e funções agora estão ocultos:

A macro PyObject_IS_GC() foi convertida para uma função.

A macro PyObject_NEW() se torna um apelido para a macro PyObject_New e a macro PyObject_NEW_VAR() se torna um apelido para a macro PyObject_NewVar. Elas não acessam mais diretamente o membro PyTypeObject.tp_basicsize.

A macro PyObject_GET_WEAKREFS_LISTPTR() foi convertida para uma função: a macro acessava diretamente o membro PyTypeObject.tp_weaklistoffset.

A macro PyObject_CheckBuffer() foi convertida para uma função: a macro acessava diretamente o membro PyTypeObject.tp_as_buffer.

PyIndex_Check() está agora declarada como uma função “opaca” para ocultar detalhes da implementação: removida a macro PyIndex_Check(). A macro acessava diretamente o membro PyTypeObject.tp_as_number.

(Veja bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170] para mais detalhes.)

Removidos

Excluídas as macros PyFPE_START_PROTECT() e PyFPE_END_PROTECT() de pyfpe.h da API C limitada. (Contribuição por Victor Stinner em bpo-38835 [https://bugs.python.org/issue?@action=redirect&bpo=38835].)

O slot tp_print de PyTypeObject foi removido. Ele era usado para imprimir objetos em arquivos no Python 2.7 e anteriores. Desde Python 3.0, ele era ignorado e não utilizado. (Contribuição de Jeroen Demeyer em bpo-36974 [https://bugs.python.org/issue?@action=redirect&bpo=36974].)

Alterações na API C limitada (se a macro Py_LIMITED_API estiver definida):

Excluídas as seguintes funções da API C limitada:

PyThreadState_DeleteCurrent() (Contribuição de Joannah Nanjekye em bpo-37878 [https://bugs.python.org/issue?@action=redirect&bpo=37878].)

_Py_CheckRecursionLimit

_Py_NewReference()

_Py_ForgetReference()

_PyTraceMalloc_NewReference()

_Py_GetRefTotal()

O mecanismo trashcan que nunca funcionou na API C limitada.

PyTrash_UNWIND_LEVEL

Py_TRASHCAN_BEGIN_CONDITION

Py_TRASHCAN_BEGIN

Py_TRASHCAN_END

Py_TRASHCAN_SAFE_BEGIN

Py_TRASHCAN_SAFE_END

Movidas as seguintes funções e definições para a API C interna:

_PyDebug_PrintTotalRefs()

_Py_PrintReferences()

_Py_PrintReferenceAddresses()

_Py_tracemalloc_config

_Py_AddToAllObjects() (específico para construção de Py_TRACE_REFS)

(Contribuição de Victor Stinner em bpo-38644 [https://bugs.python.org/issue?@action=redirect&bpo=38644] e bpo-39542 [https://bugs.python.org/issue?@action=redirect&bpo=39542].)

Removido o gancho _PyRuntime.getframe e removida a macro _PyThreadState_GetFrame que era um alias para _PyRuntime.getframe. Eles eram os únicos expostos pela API C interna. Removido também o tipo PyThreadFrameGetter. (Contribuição de Victor Stinner em bpo-39946 [https://bugs.python.org/issue?@action=redirect&bpo=39946].)

Removidas as funções a seguir da API C. Chame PyGC_Collect() explicitamente para limpar todas as listas livres. (Contribuição de Inada Naoki e Victor Stinner em bpo-37340 [https://bugs.python.org/issue?@action=redirect&bpo=37340], bpo-38896 [https://bugs.python.org/issue?@action=redirect&bpo=38896] e bpo-40428 [https://bugs.python.org/issue?@action=redirect&bpo=40428].)

PyAsyncGen_ClearFreeLists()

PyContext_ClearFreeList()

PyDict_ClearFreeList()

PyFloat_ClearFreeList()

PyFrame_ClearFreeList()

PyList_ClearFreeList()

PyMethod_ClearFreeList() e PyCFunction_ClearFreeList(): as listas livres de objetos de método vinculado foram removidas.

PySet_ClearFreeList(): a definição de lista livres foi removida no Python 3.4.

PyTuple_ClearFreeList()

PyUnicode_ClearFreeList(): a lista livre de Unicode foi removida no Python 3.3.

Removida a função _PyUnicode_ClearStaticStrings(). (Contribuição de Victor Stinner em bpo-39465 [https://bugs.python.org/issue?@action=redirect&bpo=39465].)

Removido Py_UNICODE_MATCH. Ele foi descontinuado por PEP 393 [https://peps.python.org/pep-0393/] e quebrado desde o Python 3.3. A função PyUnicode_Tailmatch() pode ser usada em seu lugar. (Contribuição de Inada Naoki em bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346].)

Limpados os arquivos de cabeçalho de interfaces definidas, mas sem implementação. Os símbolos públicos da API sendo removidos são: _PyBytes_InsertThousandsGroupingLocale, _PyBytes_InsertThousandsGrouping, _Py_InitializeFromArgs, _Py_InitializeFromWideArgs, _PyFloat_Repr, _PyFloat_Digits, _PyFloat_DigitsInit, PyFrame_ExtendStack, _PyAIterWrapper_Type, PyNullImporter_Type, PyCmpWrapper_Type, PySortWrapper_Type, PyNoArgsFunction. (Contribuição de Pablo Galindo Salgado em bpo-39372 [https://bugs.python.org/issue?@action=redirect&bpo=39372].)

Alterações notáveis no Python 3.9.1

typing

O comportamento de typing.Literal foi alterado para ficar em conformidade com a PEP 586 [https://peps.python.org/pep-0586/] e para corresponder ao comportamento de verificadores de tipo estático especificados na PEP.

Literal agora elimina a duplicação de parâmetros.

Comparações de igualdade entre objetos Literal agora são independentes da ordem.

Comparações de Literal agora respeitam os tipos. Por exemplo, Literal[0] == Literal[False] avaliava anteriormente como True. Agora é False. Para oferecer suporte a essa mudança, o cache de tipo usado internamente agora oferece suporte a tipos de diferenciação.

Objetos Literal agora irão levantar uma exceção TypeError durante as comparações de igualdade se algum de seus parâmetros não for hasheável. Observe que declarar Literal com parâmetros mutáveis não gerará um erro:

>>> from typing import Literal
>>> Literal[{0}]
>>> Literal[{0}] == Literal[{False}]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: unhashable type: 'set'

(Contribuição de Yurii Karabas em bpo-42345 [https://bugs.python.org/issue?@action=redirect&bpo=42345].)

Suporte a macOS 11.0 (Big Sur) e Apple Silicon Mac

A partir do 3.9.1, o Python agora oferece suporte total à construção e execução no macOS 11.0 (Big Sur) e no Apple Silicon Macs (baseado na arquitetura ARM64). Uma nova variante de compilação universal, universal2, está agora disponível para suportar nativamente ambos ARM64 e Intel 64 em um conjunto de executáveis. Os binários também podem ser construídos em versões atuais do macOS para serem implantados em uma variedade de versões mais antigas do macOS (testado para 10.9), enquanto algumas funções e opções do sistema operacional mais recentes estão disponíveis condicionalmente com base na versão do sistema operacional em uso no tempo de execução (“ligação fraca”)

(Contribuição de Ronald Oussoren e Lawrence D’Anna em bpo-41100 [https://bugs.python.org/issue?@action=redirect&bpo=41100].)

Alterações notáveis no Python 3.9.2

collections.abc

collections.abc.Callable genérica agora nivela os parâmetros de tipo, semelhante ao que typing.Callable faz atualmente. Isso significa que collections.abc.Callable[[int, str], str] terá __args__ de (int, str, str); anteriormente era ([int, str], str). Para permitir esta mudança, types.GenericAlias agora pode ter uma subclasse, e uma subclasse será retornada ao subscrever o tipo Collections.abc.Callable. O código que acessa os argumentos via typing.get_args() ou __args__ precisa levar em conta esta mudança. Um DeprecationWarning pode ser emitido para formas inválidas de parametrização Collections.abc.Callable que pode ter passado silenciosamente no Python 3.9.1. Esta DeprecationWarning se tornará uma TypeError no Python 3.10. (Contribuição de Ken Jin em bpo-42195 [https://bugs.python.org/issue?@action=redirect&bpo=42195].)

urllib.parse

Versões anteriores do Python permitiam o uso de ; e & como separadores de parâmetros de consulta nas funções urllib.parse.parse_qs() e urllib.parse.parse_qsl(). Devido a questões de segurança, e em conformidade com as recomendações mais recentes do W3C, isso foi alterado para permitir apenas uma única chave separadora, com & como padrão. Esta mudança também afeta as funções cgi.parse() e cgi.parse_multipart() já que elas usam as funções afetadas internamente. Para obter mais detalhes, consulte sua respectiva documentação. (Contribuição de Adam Goldschmidt, Senthil Kumaran e Ken Jin em bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967].)

Alterações notáveis no Python 3.9.3

Uma correção de segurança altera o comportamento ftplib.FTP para não confiar no endereço IPv4 enviado do servidor remoto ao configurar um canal de dados passivo. Em vez disso, reutilizamos o endereço IP do servidor ftp. Para códigos incomuns que requerem o comportamento antigo, defina um atributo trust_server_pasv_ipv4_address em sua instância de FTP para True. (Veja gh-87451 [https://github.com/python/cpython/issues/87451])

Alterações notáveis no Python 3.9.5

urllib.parse

A presença de caracteres de nova linha ou tab em partes de um URL permite algumas formas de ataques. Seguindo a especificação WHATWG que atualiza RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], nova linha ASCII \n, \r e os caracteres de tabulação \t são retirados da URL pelo analisador sintático em urllib.parse impedindo tais ataques. Os caracteres de remoção são controlados por uma nova variável de nível de módulo urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE. (Veja gh-88048 [https://github.com/python/cpython/issues/88048])

Recursos de segurança notáveis no 3.9.14

Converter entre int e str em bases diferentes de 2 (binário), 4, 8 (octal), 16 (hexadecimal) ou 32 como base 10 (decimal) agora levanta uma exceção ValueError se o número de dígitos em forma de string estiver acima de um limite para evitar possíveis ataques de negação de serviço devido à complexidade algorítmica. Esta é uma mitigação para CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735]. Este limite pode ser configurado ou desabilitado por variável de ambiente, sinalizador de linha de comando ou APIs de sys. Veja a documentação de limitação de comprimento de conversão de string inteira. O limite padrão é de 4300 dígitos em forma de string.

Alterações notáveis no 3.9.17

tarfile

Os métodos de extração em tarfile e shutil.unpack_archive(), têm um novo argumento filter que permite limitar recursos do tar que podem ser surpreendentes ou perigosos, como criar arquivos fora do diretório de destino. Veja Filtros de extração para detalhes. No Python 3.12, usar sem o argumento filter mostrará um DeprecationWarning. No Python 3.14, o padrão mudará para 'data'. (Contribuição de Petr Viktorin em PEP 706 [https://peps.python.org/pep-0706/].)

O que há de novo no Python 3.8

Editor:

Raymond Hettinger

Este artigo explica os novos recursos no Python 3.8, em comparação com 3.7. Python 3.8 foi lançado em 14 de outubro de 2019. Veja changelog para uma lista completa de mudanças.

Resumo – Destaques da versão

Novas funcionalidades

Expressões de atribuição

Existe uma nova sintaxe := que atribui valores a variáveis como parte de uma expressão maior. É carinhosamente conhecido como “o operador morsa” (“the walrus operator”, em inglês) devido à sua semelhança com os olhos e presas de uma morsa [https://en.wikipedia.org/wiki/Walrus#/media/File:Pacific_Walrus_-_Bull_(8247646168).jpg]

Neste exemplo, a expressão de atribuição ajuda a evitar a chamada de len() duas vezes:

if (n := len(a)) > 10:
    print(f"List is too long ({n} elements, expected <= 10)")

Um benefício semelhante surge durante a correspondência de expressões regulares, onde os objetos de correspondência são necessários duas vezes, uma vez para testar se ocorreu uma correspondência e outra para extrair um subgrupo:

discount = 0.0
if (mo := re.search(r'(\d+)% discount', advertisement)):
    discount = float(mo.group(1)) / 100.0

O operador também é útil com loops while que calculam um valor para testar a finalização do loop e, em seguida, precisam desse mesmo valor novamente no corpo do loop:

# Loop over fixed length blocks
while (block := f.read(256)) != '':
    process(block)

Outro caso de uso motivador surge em compreensões de lista em que um valor calculado em uma condição de filtragem também é necessário no corpo da expressão:

[clean_name.title() for name in names
 if (clean_name := normalize('NFC', name)) in allowed_names]

Tente limitar o uso do operador morsa para limpar os casos que reduzem a complexidade e melhoram a legibilidade.

Consulte PEP 572 [https://peps.python.org/pep-0572/] para uma descrição completa.

(Contribuição de Emily Morehouse em bpo-35224 [https://bugs.python.org/issue?@action=redirect&bpo=35224].)

Parâmetros somente-posicionais

Existe uma nova sintaxe de parâmetro de função / para indicar que alguns parâmetros de função devem ser especificados posicionalmente e não podem ser usados como argumentos nomeados. Esta é a mesma notação mostrada por help() para funções C anotadas com a ferramenta Argument Clinic [https://devguide.python.org/development-tools/clinic/] de Larry Hastings.

No exemplo a seguir, os parâmetros a e b são apenas posicionais, enquanto c ou d podem ser posicionais ou nomeados e e ou f são obrigatoriamente nomeados:

def f(a, b, /, c, d, *, e, f):
    print(a, b, c, d, e, f)

A seguir, uma chamada válida:

f(10, 20, 30, d=40, e=50, f=60)

Porém, essas chamadas são inválidas:

f(10, b=20, c=30, d=40, e=50, f=60)   # b cannot be a keyword argument
f(10, 20, 30, 40, 50, f=60)           # e must be a keyword argument

Um caso de uso para essa notação é que ele permite que funções puras do Python emulem completamente os comportamentos das funções codificadas em C existentes. Por exemplo, a função embutida divmod() não aceita argumentos nomeados:

def divmod(a, b, /):
    "Emulate the built in divmod() function"
    return (a // b, a % b)

Outro caso de uso é impedir argumentos nomeados quando o nome do parâmetro não for útil. Por exemplo, a função embutida len() possui a assinatura len(obj, /). Isso exclui chamadas estranhas, como:

len(obj='hello')  # The "obj" keyword argument impairs readability

Um benefício adicional de marcar um parâmetro como somente posicional é que ele permite que o nome do parâmetro seja alterado no futuro sem risco de quebrar o código do cliente. Por exemplo, no módulo statistics, o nome do parâmetro dist pode ser alterado no futuro. Isso foi possível com a seguinte especificação de função:

def quantiles(dist, /, *, n=4, method='exclusive')
    ...

Como os parâmetros à esquerda de / não são expostos como possíveis palavras-chave, os nomes dos parâmetros permanecem disponíveis para uso em **kwargs:

>>> def f(a, b, /, **kwargs):
...     print(a, b, kwargs)
...
>>> f(10, 20, a=1, b=2, c=3)         # a and b are used in two ways
10 20 {'a': 1, 'b': 2, 'c': 3}

Isso simplifica bastante a implementação de funções e métodos que precisam aceitar argumentos nomeados arbitrários. Por exemplo, aqui está um trecho do código no módulo collections:

class Counter(dict):

    def __init__(self, iterable=None, /, **kwds):
        # Note "iterable" is a possible keyword argument

Consulte a PEP 570 [https://peps.python.org/pep-0570/] para uma descrição completa.

(Contribuição de Pablo Galindo em bpo-36540 [https://bugs.python.org/issue?@action=redirect&bpo=36540].)

Cache do sistema de arquivos paralelo para arquivos de bytecode compilados

A nova configuração PYTHONPYCACHEPREFIX (também disponível como -X pycache_prefix) configura o cache implícito de bytecode para usar uma árvore paralela separada do sistema de arquivos, em vez dos subdiretórios padrão __pycache__ dentro cada diretório fonte.

O local do cache é relatado em sys.pycache_prefix (None indica o local padrão nos subdiretórios __pycache__).

(Contribuição de Carl Meyer em bpo-33499 [https://bugs.python.org/issue?@action=redirect&bpo=33499].)

A compilação de depuração usa a mesma ABI da compilação de lançamento

Agora, o Python usa a mesma ABI, seja ele compilado no modo de lançamento ou depuração. No Unix, quando o Python é compilado no modo de depuração, agora é possível carregar extensões C compiladas no modo de lançamento e extensões C compiladas usando a ABI estável.

Compilações de lançamento e compilações de depuração agora são compatíveis com ABI: definir a macro Py_DEBUG não implica mais a macro Py_TRACE_REFS, que introduz a única incompatibilidade ABI. A macro Py_TRACE_REFS, que adiciona a função sys.getobjects() e a variável de ambiente PYTHONDUMPREFS, pode ser configurada usando a nova opção de compilação ./configure --with-trace-refs. (Contribuição de Victor Stinner em bpo-36465 [https://bugs.python.org/issue?@action=redirect&bpo=36465].)

No Unix, as extensões C não estão mais vinculadas ao libpython, exceto no Android e Cygwin. Agora é possível que um Python vinculado estaticamente carregue uma extensão C criada usando uma biblioteca compartilhada Python. (Contribuição de Victor Stinner em bpo-21536 [https://bugs.python.org/issue?@action=redirect&bpo=21536].)

No Unix, quando o Python é compilado no modo de depuração, a importação agora também procura extensões C compiladas no modo de lançamento e extensões C compiladas com a ABI estável. (Contribuição de Victor Stinner em bpo-36722 [https://bugs.python.org/issue?@action=redirect&bpo=36722].)

Para incorporar o Python em uma aplicação, uma nova opção --embed deve ser passada para python3-config --libs --embed para obter o -lpython3.8 (vincula a aplicação ao libpython). Para dar suporte a 3.8 e versões mais antigas, tente python3-config --libs --embed primeiro e use como fallback para python3-config --libs (sem --embed) se o comando anterior falhar.

Adicione um módulo pkg-config python-3.8-embed para incorporar o Python em uma aplicação: pkg-config python-3.8-embed --libs inclui -lpython3.8. Para suportar tanto o 3.8 quanto o anterior, tente pkg-config python-X.Y-embed --libs primeiro e use como fallback pkg-config python-X.Y --libs (sem --embed) se o comando anterior falhar (substitua X.Y pela versão do Python).

Por outro lado, pkg-config python3.8 --libs não contém mais -lpython3.8. As extensões C não devem estar vinculadas ao libpython (exceto no Android e Cygwin, cujos casos são tratados pelo script); essa alteração é retroativamente incompatível de propósito. (Contribuição de Victor Stinner em bpo-36721 [https://bugs.python.org/issue?@action=redirect&bpo=36721].)

O suporte a f-strings = para expressões de auto-documentação e depuração

Adicionado um especificador = para f-strings. Uma f-string como f'{expr=}' será expandida para o texto da expressão, um sinal de igual e, em seguida, a representação da expressão avaliada. Por exemplo:

>>> user = 'eric_idle'
>>> member_since = date(1975, 7, 31)
>>> f'{user=} {member_since=}'
"user='eric_idle' member_since=datetime.date(1975, 7, 31)"

O habitual f-string especificadores de formato permite mais controle sobre como o resultado da expressão é exibido:

>>> delta = date.today() - member_since
>>> f'{user=!s}  {delta.days=:,d}'
'user=eric_idle  delta.days=16,075'

O especificador = exibirá toda a expressão para que os cálculos possam ser mostrados:

>>> print(f'{theta=}  {cos(radians(theta))=:.3f}')
theta=30  cos(radians(theta))=0.866

(Contribuição de Eric V. Smith e Larry Hastings em bpo-36817 [https://bugs.python.org/issue?@action=redirect&bpo=36817].)

PEP 578: Ganchos de auditoria em tempo de execução Python

O PEP adiciona um Gancho de Auditoria e um Gancho Aberto Verificado. Ambos estão disponíveis no Python e no código nativo, permitindo que aplicações e estruturas escritas em código Python puro aproveitem as notificações extras, além de permitir que incorporadores ou administradores de sistema implementem versões do Python onde a auditoria está sempre ativada.

Veja PEP 578 [https://peps.python.org/pep-0578/] para mais detalhes.

PEP 587: Configuração de Inicialização do Python

O PEP 587 [https://peps.python.org/pep-0587/] adiciona uma nova API C para configurar a Inicialização do Python, fornecendo um controle mais preciso de toda a configuração e melhores relatórios de erros.

Novas estruturas:

PyConfig

PyPreConfig

PyStatus

PyWideStringList

Novas Funções:

PyConfig_Clear()

PyConfig_InitIsolatedConfig()

PyConfig_InitPythonConfig()

PyConfig_Read()

PyConfig_SetArgv()

PyConfig_SetBytesArgv()

PyConfig_SetBytesString()

PyConfig_SetString()

PyPreConfig_InitIsolatedConfig()

PyPreConfig_InitPythonConfig()

PyStatus_Error()

PyStatus_Exception()

PyStatus_Exit()

PyStatus_IsError()

PyStatus_IsExit()

PyStatus_NoMemory()

PyStatus_Ok()

PyWideStringList_Append()

PyWideStringList_Insert()

Py_BytesMain()

Py_ExitStatusException()

Py_InitializeFromConfig()

Py_PreInitialize()

Py_PreInitializeFromArgs()

Py_PreInitializeFromBytesArgs()

Py_RunMain()

Esse PEP também adiciona os campos _PyRuntimeState.preconfig (tipo PyPreConfig) e PyInterpreterState.config (tipo PyConfig) campos a essas estruturas internas. PyInterpreterState.config se torna a nova configuração de referência, substituindo variáveis de configuração global e outras variáveis privadas.

Veja Configuração de Inicialização do Python para a documentação.

Consulte a PEP 587 [https://peps.python.org/pep-0587/] para uma descrição completa.

(Contribuição de Victor Stinner em bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763].)

PEP 590: Vectorcall: um protocolo de chamada rápida para CPython

O protocolo vectorcall é adicionado à API Python/C. Ele visa formalizar as otimizações existentes que já foram feitas para várias classes. Qualquer tipo estático que implemente um chamável pode usar esse protocolo.

Atualmente, isso é provisório. O objetivo é torná-lo totalmente público no Python 3.9.

Consulte a PEP 590 [https://peps.python.org/pep-0590/] para uma descrição completa.

(Contribuição de Jeroen Demeyer, Mark Shannon e Petr Viktorin em bpo-36974 [https://bugs.python.org/issue?@action=redirect&bpo=36974].)

Protocolo de Pickle 5 com buffers de dados fora da banda

Quando pickle é usado para transferir grande quantidade de dados entre processos Python, a fim de tirar proveito do processamento com vários núcleos ou com várias máquinas, é importante otimizar a transferência reduzindo cópias de memória e, possivelmente, aplicando técnicas personalizadas, como como compactação dependente de dados.

O protocolo pickle 5 introduz suporte para buffers fora de banda, onde dados compatíveis com a PEP 3118 [https://peps.python.org/pep-3118/] podem ser transmitidos separadamente do fluxo de pickle principal, a critério da camada de comunicação.

Consulte a PEP 574 [https://peps.python.org/pep-0574/] para uma descrição completa.

(Contribuição de Antoine Pitrou em bpo-36785 [https://bugs.python.org/issue?@action=redirect&bpo=36785].)

Outras mudanças na linguagem

A instrução continue era ilegal na cláusula finally devido a um problema com a implementação. No Python 3.8, essa restrição foi levantada. (Contribuição de Serhiy Storchaka em bpo-32489 [https://bugs.python.org/issue?@action=redirect&bpo=32489].)

Os tipos bool, int e fractions.Fraction agora têm o método as_integer_ratio() como o encontrado em float e decimal.Decimal. Esta pequena extensão da API torna possível escrever numerator, denominator = x.as_integer_ratio() e fazer com que funcione em vários tipos numéricos. (Contribuição de Lisa Roach em bpo-33073 [https://bugs.python.org/issue?@action=redirect&bpo=33073] e Raymond Hettinger em bpo-37819 [https://bugs.python.org/issue?@action=redirect&bpo=37819].)

Os construtores de int, float e complex agora usarão o método especial __index__(), se disponível, e o método correspondente __int__(), __float__() ou __complex__() não está disponível. (Contribuição de Serhiy Storchaka em bpo-20092 [https://bugs.python.org/issue?@action=redirect&bpo=20092].)

Adicionado suporte a escapes \N{name} em expressões regulares:

>>> notice = 'Copyright © 2019'
>>> copyright_year_pattern = re.compile(r'\N{copyright sign}\s*(\d{4})')
>>> int(copyright_year_pattern.search(notice).group(1))
2019

(Contribuição de Jonathan Eunice e Serhiy Storchaka em bpo-30688 [https://bugs.python.org/issue?@action=redirect&bpo=30688].)

Dict e dictviews agora são iteráveis em ordem de inserção reversa usando reversed(). (Contribuição de Rémi Lapeyre em bpo-33462 [https://bugs.python.org/issue?@action=redirect&bpo=33462].)

A sintaxe permitida para nomes de palavras-chave em chamadas de função foi ainda mais restrita. Em particular, f((keyword)=arg) não é mais permitido. Ele nunca teve a intenção de permitir mais do que um nome simples no lado esquerdo de um termo de atribuição de argumento nomeado. (Contribuição de Benjamin Peterson em bpo-34641 [https://bugs.python.org/issue?@action=redirect&bpo=34641].)

O desempacotamento de iterável generalizado das instruções yield e return não requer mais parênteses. Isso traz a sintaxe yield e return uma melhor concordância com a sintaxe de atribuição normal:

>>> def parse(family):
        lastname, *members = family.split()
        return lastname.upper(), *members

>>> parse('simpsons homer marge bart lisa maggie')
('SIMPSONS', 'homer', 'marge', 'bart', 'lisa', 'maggie')

(Contribuição de David Cuthbert e Jordan Chapman em bpo-32117 [https://bugs.python.org/issue?@action=redirect&bpo=32117].)

Quando uma vírgula está faltando em código como [(10, 20) (30, 40)], o compilador exibe um SyntaxWarning com uma sugestão útil. Isso melhora apenas tendo um TypeError indicando que a primeira tupla não era chamável. (Contribuição de Serhiy Storchaka em bpo-15248 [https://bugs.python.org/issue?@action=redirect&bpo=15248].)

As operações aritméticas entre as subclasses de datetime.date ou datetime.datetime e datetime.timedelta agora retornam uma instância da subclasse, em vez da classe base. Isso também afeta o tipo de retorno de operações cuja implementação (direta ou indiretamente) utiliza aritmética de datetime.timedelta, como astimezone(). (Contribuição de Paul Ganssle em bpo-32417 [https://bugs.python.org/issue?@action=redirect&bpo=32417].)

Quando o interpretador Python é interrompido por Ctrl-C (SIGINT) e a exceção resultante KeyboardInterrupt não é capturada, o processo Python agora sai por meio de um sinal SIGINT ou com o código de saída correto, para que o processo de chamada possa detectar que foi encerrado devido a um Ctrl-C. Os shells no POSIX e Windows usam isso para finalizar corretamente os scripts em sessões interativas. (Contribuição do Google via Gregory P. Smith em bpo-1054041 [https://bugs.python.org/issue?@action=redirect&bpo=1054041].)

Alguns estilos avançados de programação requerem a atualização do objeto types.CodeType para uma função existente. Como os objetos código são imutáveis, um novo objeto código precisa ser criado, modelado no objeto código existente. Com 19 parâmetros, isso foi um pouco tedioso. Agora, o novo método replace() torna possível criar um clone com alguns parâmetros alterados.

Aqui está um exemplo que altera a função Statistics.mean() para impedir que o parâmetro data seja usado como argumento nomeado:

>>> from statistics import mean
>>> mean(data=[10, 20, 90])
40
>>> mean.__code__ = mean.__code__.replace(co_posonlyargcount=1)
>>> mean(data=[10, 20, 90])
Traceback (most recent call last):
  ...
TypeError: mean() got some positional-only arguments passed as keyword arguments: 'data'

(Contribuição de Victor Stinner em bpo-37032 [https://bugs.python.org/issue?@action=redirect&bpo=37032].)

Para números inteiros, a forma de três argumentos da função pow() agora permite que o expoente seja negativo no caso em que a base é relativamente primária ao módulo. Em seguida, calcula um inverso modular para a base quando o expoente é -1 e uma potência adequada desse inverso para outros expoentes negativos. Por exemplo, para calcular o inverso multiplicativo modular [https://en.wikipedia.org/wiki/Modular_multiplicative_inverse] de 38 módulo 137, escreva:

>>> pow(38, -1, 137)
119
>>> 119 * 38 % 137
1

Inversos modulares surgem na solução de equações diofantinas lineares [https://en.wikipedia.org/wiki/Diophantine_equation]. Por exemplo, para encontrar soluções inteiras para 4258𝑥 + 147𝑦 = 369, primeiro reescreva como 4258𝑥 ≡ 369 (mod 147) e depois resolva:

>>> x = 369 * pow(4258, -1, 147) % 147
>>> y = (4258 * x - 369) // -147
>>> 4258 * x + 147 * y
369

(Contribuição de Mark Dickinson em bpo-36027 [https://bugs.python.org/issue?@action=redirect&bpo=36027].)

As compreensões de dict foram sincronizadas com literais de dict, para que a chave seja computada primeiro e o valor em segundo:

>>> # Dict comprehension
>>> cast = {input('role? '): input('actor? ') for i in range(2)}
role? King Arthur
actor? Chapman
role? Black Knight
actor? Cleese

>>> # Dict literal
>>> cast = {input('role? '): input('actor? ')}
role? Sir Robin
actor? Eric Idle

A ordem de execução garantida é útil nas expressões de atribuição, porque as variáveis atribuídas na expressão de chave estarão disponíveis na expressão de valor:

>>> names = ['Martin von Löwis', 'Łukasz Langa', 'Walter Dörwald']
>>> {(n := normalize('NFC', name)).casefold() : n for name in names}
{'martin von löwis': 'Martin von Löwis',
 'łukasz langa': 'Łukasz Langa',
 'walter dörwald': 'Walter Dörwald'}

(Contribuição de Jörn Heissler em bpo-35224 [https://bugs.python.org/issue?@action=redirect&bpo=35224].)

O método object.__reduce__() agora pode retornar uma tupla de dois a seis elementos. Anteriormente, cinco era o limite. O novo sexto elemento opcional é um chamável com uma assinatura (obj, state). Isso permite o controle direto sobre o comportamento de atualização de estado de um objeto específico. Caso contrário, None, esse chamável terá prioridade sobre o método __setstate__() do objeto. (Contribuição de Pierre Glaser e Olivier Grisel em bpo-35900 [https://bugs.python.org/issue?@action=redirect&bpo=35900].)

Novos módulos

O novo módulo importlib.metadata fornece suporte (provisório) para a leitura de metadados de pacotes de terceiros. Por exemplo, ele pode extrair o número da versão de um pacote instalado, a lista de pontos de entrada e muito mais:

>>> # Note following example requires that the popular "requests"
>>> # package has been installed.
>>>
>>> from importlib.metadata import version, requires, files
>>> version('requests')
'2.22.0'
>>> list(requires('requests'))
['chardet (<3.1.0,>=3.0.2)']
>>> list(files('requests'))[:5]
[PackagePath('requests-2.22.0.dist-info/INSTALLER'),
 PackagePath('requests-2.22.0.dist-info/LICENSE'),
 PackagePath('requests-2.22.0.dist-info/METADATA'),
 PackagePath('requests-2.22.0.dist-info/RECORD'),
 PackagePath('requests-2.22.0.dist-info/WHEEL')]

(Contribuição de Barry Warsaw e Jason R. Coombs em bpo-34632 [https://bugs.python.org/issue?@action=redirect&bpo=34632].)

Módulos melhorados

ast

Os nós de AST agora têm os atributos end_lineno e end_col_offset, que fornecem a localização precisa do final do nó. (Isso se aplica apenas aos nós que possuem os atributos lineno e col_offset.)

Nova função ast.get_source_segment() retorna o código-fonte para um nó AST específico.

(Contribuição de Ivan Levkivskyi em bpo-33416 [https://bugs.python.org/issue?@action=redirect&bpo=33416].)

A função ast.parse() possui alguns novos sinalizadores:

type_comments=True faz com que retorne o texto dos comentários de tipos de PEP 484 [https://peps.python.org/pep-0484/] e PEP 526 [https://peps.python.org/pep-0526/] associados a determinados nós AST;

mode='func_type' pode ser usado para analisar “comentários do tipo de assinatura” do PEP 484 [https://peps.python.org/pep-0484/] (retornados para nós AST de definição de função);

feature_version=(3, N) permite especificar uma versão anterior do Python 3. Por exemplo, feature_version=(3, 4) tratará async e await como palavras não reservadas.

(Contribuição de Guido van Rossum em bpo-35766 [https://bugs.python.org/issue?@action=redirect&bpo=35766].)

asyncio

asyncio.run() passou da API provisória para a estável. Esta função pode ser usada para executar uma corrotina e retornar o resultado enquanto gerencia automaticamente o loop de eventos. Por exemplo:

import asyncio

async def main():
    await asyncio.sleep(0)
    return 42

asyncio.run(main())

Isso é aproximadamente equivalente a:

import asyncio

async def main():
    await asyncio.sleep(0)
    return 42

loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
try:
    loop.run_until_complete(main())
finally:
    asyncio.set_event_loop(None)
    loop.close()

A implementação real é significativamente mais complexa. Assim, asyncio.run() deve ser a maneira preferida de executar programas assíncronos.

(Contribuição de Yury Selivanov em bpo-32314 [https://bugs.python.org/issue?@action=redirect&bpo=32314].)

A execução de python -m asyncio lança um REPL nativo assíncrono. Isso permite a experimentação rápida de código que possui um nível superior await. Não é mais necessário chamar diretamente asyncio.run(), o que geraria um novo loop de evento a cada chamada:

$ python -m asyncio
asyncio REPL 3.8.0
Use "await" directly instead of "asyncio.run()".
Type "help", "copyright", "credits" or "license" for more information.
>>> import asyncio
>>> await asyncio.sleep(10, result='hello')
hello

(Contribuição de Yury Selivanov em bpo-37028 [https://bugs.python.org/issue?@action=redirect&bpo=37028].)

A exceção asyncio.CancelledError agora herda de BaseException em vez de Exception e não mais herda de concurrent.futures.CancelledError. (Contribuição de Yury Selivanov em bpo-32528 [https://bugs.python.org/issue?@action=redirect&bpo=32528].)

No Windows, o loop de eventos padrão é agora ProactorEventLoop. (Contribuição de Victor Stinner em bpo-34687 [https://bugs.python.org/issue?@action=redirect&bpo=34687].)

ProactorEventLoop agora também tem suporte a UDP. (Contribuição de Adam Meily e Andrew Svetlov em bpo-29883 [https://bugs.python.org/issue?@action=redirect&bpo=29883].)

ProactorEventLoop pode agora ser interrompido por KeyboardInterrupt (“CTRL+C”). (Contribuição de Vladimir Matveev em bpo-23057 [https://bugs.python.org/issue?@action=redirect&bpo=23057].)

Adicionado asyncio.Task.get_coro() para obter a corrotina de dentro de um asyncio.Task. (Contribuição de Alex Grönholm em bpo-36999 [https://bugs.python.org/issue?@action=redirect&bpo=36999].)

As tarefas de asyncio agora podem ser nomeadas, passando o argumento nomeado name para asyncio.create_task() ou o método de loop de evento create_task() ou chamando o método set_name() no objeto de tarefa. O nome da tarefa é visível na saída de repr() de asyncio.Task e também pode ser recuperado usando o método get_name(). (Contribuição de Alex Grönholm em bpo-34270 [https://bugs.python.org/issue?@action=redirect&bpo=34270].)

Adicionado suporte a Happy Eyeballs [https://en.wikipedia.org/wiki/Happy_Eyeballs] para asyncio.loop.create_connection(). Para especificar o comportamento, dois novos parâmetros foram adicionados: happy_eyeballs_delay e interleave. O algoritmo Happy Eyeballs melhora a capacidade de resposta em aplicativos compatíveis com IPv4 e IPv6, tentando conectar-se simultaneamente usando os dois. (Contribuição de twisteroid ambassador em bpo-33530 [https://bugs.python.org/issue?@action=redirect&bpo=33530].)

builtins

A função embutida compile() foi aprimorada para aceitar o sinalizador ast.PyCF_ALLOW_TOP_LEVEL_AWAIT. Com esse novo sinalizador passado, compile() permitirá construções de nível superior await, async for e async with que geralmente são consideradas sintaxe inválida. O objeto de código assíncrono marcado com o sinalizador CO_COROUTINE pode ser retornado. (Contribuição de Matthias Bussonnier em bpo-34616 [https://bugs.python.org/issue?@action=redirect&bpo=34616])

collections

O método _asdict() para collections.namedtuple() agora retorna a dict em vez de um collections.OrderedDict. Isso funciona porque os dict regulares garantem pedidos desde o Python 3.7. Se os recursos extras de OrderedDict forem necessários, a solução sugerida é converter o resultado no tipo desejado: OrderedDict(nt._asdict()). (Contribuição de Raymond Hettinger em bpo-35864 [https://bugs.python.org/issue?@action=redirect&bpo=35864].)

cProfile

A classe cProfile.Profile agora pode ser usada como um gerenciador de contexto. Perfile um bloco de código executando:

import cProfile

with cProfile.Profile() as profiler:
      # code to be profiled
      ...

(Contribuição de Scott Sanderson em bpo-29235 [https://bugs.python.org/issue?@action=redirect&bpo=29235].)

csv

O csv.DictReader agora retorna instâncias de dict em vez de um collections.OrderedDict. Agora, a ferramenta é mais rápida e utiliza menos memória enquanto preserva a ordem dos campos. (Contribuição de Michael Selik em bpo-34003 [https://bugs.python.org/issue?@action=redirect&bpo=34003].)

curses

Adicionada uma nova variável contendo informações de versão estruturada para a biblioteca ncurses subjacente: ncurses_version. (Contribuição de Serhiy Storchaka em bpo-31680 [https://bugs.python.org/issue?@action=redirect&bpo=31680].)

ctypes

No Windows, CDLL e subclasses agora aceitam um parâmetro winmode para especificar sinalizadores para a chamada subjacente LoadLibraryEx. Os sinalizadores padrão são definidos para carregar apenas dependências da DLL em locais confiáveis, incluindo o caminho em que a DLL está armazenada (se um caminho completo ou parcial for usado para carregar a DLL inicial) e os caminhos adicionados por add_dll_directory() . (Contribuição de Steve Dower em bpo-36085 [https://bugs.python.org/issue?@action=redirect&bpo=36085].)

datetime

Adicionados novos construtores alternativos datetime.date.fromisocalendar() e datetime.datetime.fromisocalendar(), que constroem objetos de date e datetime respectivamente do ano ISO, número da semana e dia da semana; estes são o inverso do método isocalendar de cada classe. (Contribuição de Paul Ganssle em bpo-36004 [https://bugs.python.org/issue?@action=redirect&bpo=36004].)

functools

functools.lru_cache() agora pode ser usado como um decorador direto, e não como uma função retornando um decorador. Portanto, agora ambos são suportados:

@lru_cache
def f(x):
    ...

@lru_cache(maxsize=256)
def f(x):
    ...

(Contribuição de Raymond Hettinger em bpo-36772 [https://bugs.python.org/issue?@action=redirect&bpo=36772].)

Adicionado um novo decorador functools.cached_property(), para propriedades computadas armazenadas em cache durante toda a vida útil da instância.

import functools
import statistics

class Dataset:
   def __init__(self, sequence_of_numbers):
      self.data = sequence_of_numbers

   @functools.cached_property
   def variance(self):
      return statistics.variance(self.data)

(Contribuição de Carl Meyer em bpo-21145 [https://bugs.python.org/issue?@action=redirect&bpo=21145])

Adicionado um novo decorador functools.singledispatchmethod() que converte métodos em funções genéricas usando despacho único:

from functools import singledispatchmethod
from contextlib import suppress

class TaskManager:

    def __init__(self, tasks):
        self.tasks = list(tasks)

    @singledispatchmethod
    def discard(self, value):
        with suppress(ValueError):
            self.tasks.remove(value)

    @discard.register(list)
    def _(self, tasks):
        targets = set(tasks)
        self.tasks = [x for x in self.tasks if x not in targets]

(Contribuição de Ethan Smith em bpo-32380 [https://bugs.python.org/issue?@action=redirect&bpo=32380])

gc

get_objects() agora pode receber um parâmetro opcional generation indicando uma geração da qual obter objetos. (Contribuição de Pablo Galindo em bpo-36016 [https://bugs.python.org/issue?@action=redirect&bpo=36016].)

gettext

Adicionado pgettext() e suas variantes. (Contribuição de Franz Glasner, Éric Araujo e Cheryl Sabella em bpo-2504 [https://bugs.python.org/issue?@action=redirect&bpo=2504].)

gzip

Adicionado o parâmetro mtime em gzip.compress() para saída reproduzível. (Contribuição de Guo Ci Teo em bpo-34898 [https://bugs.python.org/issue?@action=redirect&bpo=34898].)

A exceção BadGzipFile agora é levantada em vez de OSError para certos tipos de arquivos gzip inválidos ou corrompidos. (Contribuição de Filip Gruszczyński, Michele Orrù e Zackery Spytz em bpo-6584 [https://bugs.python.org/issue?@action=redirect&bpo=6584].)

IDLE e idlelib

A saída em N linhas (50 por padrão) é compactada até um limite inferior. N pode ser alterado na seção PyShell da página General da caixa de diálogo Settings. Menos linhas, mas possivelmente extra longas, podem ser espremidas clicando com o botão direito do mouse na saída. A saída compactada pode ser expandida no local clicando duas vezes no botão ou na área de transferência ou em uma janela separada clicando com o botão direito do mouse. (Contribuição de Tal Einat em bpo-1529353 [https://bugs.python.org/issue?@action=redirect&bpo=1529353].)

Adiciona “Run Customized” ao menu Executar para executar um módulo com configurações personalizadas. Quaisquer argumentos de linha de comando inseridos são adicionados ao sys.argv. Eles também reaparecem na caixa para a próxima execução personalizada. Pode-se também suprimir a reinicialização normal do módulo principal do console. (Contribuição de Cheryl Sabella, Terry Jan Reedy e outros em bpo-5680 [https://bugs.python.org/issue?@action=redirect&bpo=5680] e bpo-37627 [https://bugs.python.org/issue?@action=redirect&bpo=37627].)

Adicionados números de linha opcionais para janelas do editor IDLE. O Windows é aberto sem números de linha, a menos que definido de outra forma na guia General da caixa de diálogo de configuração. Os números de linha de uma janela existente são mostrados e ocultos no menu Opções. (Contribuição de Tal Einat e Saimadhav Heblikar em bpo-17535 [https://bugs.python.org/issue?@action=redirect&bpo=17535].)

A codificação nativa do sistema operacional agora é usada para converter entre strings Python e objetos Tcl. Isso permite que o IDLE trabalhe com emoji e outros caracteres não BMP. Esses caracteres podem ser exibidos ou copiados e colados na ou da área de transferência. A conversão de strings de Tcl para Python e de volta agora nunca falha. (Muitas pessoas trabalharam nisso por oito anos, mas o problema foi finalmente resolvido por Serhiy Storchaka em bpo-13153 [https://bugs.python.org/issue?@action=redirect&bpo=13153].)

Novo em 3.8.1:

Adiciona a opção para ativar e desativar o piscar do cursor. (Contribuição de Zackery Spytz na bpo-4603 [https://bugs.python.org/issue?@action=redirect&bpo=4603].)

A tecla Escape agora fecha as janelas de conclusão IDLE. (Contribuição de Johnny Najera em bpo-38944 [https://bugs.python.org/issue?@action=redirect&bpo=38944].)

As alterações acima foram suportadas para versões de manutenção 3.7.

Adiciona argumentos nomeados à lista de completamento de nome de módulo. (Contribuição de Terry J. Reedy em bpo-37765 [https://bugs.python.org/issue?@action=redirect&bpo=37765].)

inspect

A função inspect.getdoc() agora pode encontrar docstrings para __slots__ se esse atributo for dict onde os valores são docstrings. Isso fornece opções de documentação semelhantes às que já temos para property(), classmethod() e staticmethod():

class AudioClip:
    __slots__ = {'bit_rate': 'expressed in kilohertz to one decimal place',
                 'duration': 'in seconds, rounded up to an integer'}
    def __init__(self, bit_rate, duration):
        self.bit_rate = round(bit_rate / 1000.0, 1)
        self.duration = ceil(duration)

(Contribuição de Raymond Hettinger em bpo-36326 [https://bugs.python.org/issue?@action=redirect&bpo=36326].)

io

No modo de desenvolvimento (-X env) e na compilação de depuração, o finalizador io.IOBase agora registra a exceção se o método close() falhar. A exceção é ignorada silenciosamente por padrão na compilação de lançamento. (Contribuição de Victor Stinner em bpo-18748 [https://bugs.python.org/issue?@action=redirect&bpo=18748].)

itertools

A função itertools.accumulate() adicionou uma opção de argumento nomeado initial para especificar um valor inicial:

>>> from itertools import accumulate
>>> list(accumulate([10, 5, 30, 15], initial=1000))
[1000, 1010, 1015, 1045, 1060]

(Contribuído por Lisa Roach em bpo-34659 [https://bugs.python.org/issue?@action=redirect&bpo=34659].)

json.tool

Adiciona a opção --json-lines para analisar cada linha de entrada como um objeto JSON separado. (Contribuição de Weipeng Hong em bpo-31553 [https://bugs.python.org/issue?@action=redirect&bpo=31553].)

logging

Added a force keyword argument to logging.basicConfig() When set to true, any existing handlers attached to the root logger are removed and closed before carrying out the configuration specified by the other arguments.

Isso resolve um problema de longa data. Depois que um logger ou basicConfig() foi chamado, as chamadas subsequentes para basicConfig() foram ignoradas silenciosamente. Isso dificultava a atualização, a experimentação ou o ensino das várias opções de configuração de log usando o prompt interativo ou um bloco de notas de Jupyter.

(Sugestão de Raymond Hettinger, implementação de Dong-hee Na e revisão de Vinay Sajip em bpo-33897 [https://bugs.python.org/issue?@action=redirect&bpo=33897].)

math

Adicionada nova função math.dist() para calcular a distância euclidiana entre dois pontos. (Contribuição de Raymond Hettinger em bpo-33089 [https://bugs.python.org/issue?@action=redirect&bpo=33089].)

Expandida a função math.hypot() para manipular várias dimensões. Anteriormente, suportava apenas o caso 2-D. (Contribuição de Raymond Hettinger em bpo-33089 [https://bugs.python.org/issue?@action=redirect&bpo=33089].)

Adicionada nova função, math.prod(), como função análoga a sum() que retorna o produto de um valor ‘start’ (padrão: 1) vezes uma iterável de números:

>>> prior = 0.8
>>> likelihoods = [0.625, 0.84, 0.30]
>>> math.prod(likelihoods, start=prior)
0.126

(Contribuição de Pablo Galindo em bpo-35606 [https://bugs.python.org/issue?@action=redirect&bpo=35606].)

Adicionadas duas novas funções combinatórias math.perm() e math.comb():

>>> math.perm(10, 3)    # Permutations of 10 things taken 3 at a time
720
>>> math.comb(10, 3)    # Combinations of 10 things taken 3 at a time
120

(Contribuição de Yash Aggarwal, Keller Fuchs, Serhiy Storchaka e Raymond Hettinger em bpo-37128 [https://bugs.python.org/issue?@action=redirect&bpo=37128], bpo-37178 [https://bugs.python.org/issue?@action=redirect&bpo=37178] e bpo-35431 [https://bugs.python.org/issue?@action=redirect&bpo=35431].)

Adicionada uma nova função math.isqrt() para calcular raízes quadradas inteiras precisas sem conversão para ponto flutuante. A nova função suporta números inteiros arbitrariamente grandes. É mais rápido que floor(sqrt(n)), mas mais lento que math.sqrt():

>>> r = 650320427
>>> s = r ** 2
>>> isqrt(s - 1)         # correct
650320426
>>> floor(sqrt(s - 1))   # incorrect
650320427

(Contribuição de Mark Dickinson em bpo-36887 [https://bugs.python.org/issue?@action=redirect&bpo=36887].)

A função math.factorial() não aceita mais argumentos que não são parecidos com int. (Contribuição de Pablo Galindo em bpo-33083 [https://bugs.python.org/issue?@action=redirect&bpo=33083].)

mmap

A classe mmap.mmap agora possui o método madvise() para acessar a chamada do sistema madvise(). (Contribuição de Zackery Spytz em bpo-32941 [https://bugs.python.org/issue?@action=redirect&bpo=32941].)

multiprocessing

Adicionado novo módulo multiprocessing.shared_memory. (Contribuição de Davin Potts em bpo-35813 [https://bugs.python.org/issue?@action=redirect&bpo=35813].)

No macOS, o método inicial spawn agora é usado por padrão. (Contribuição de Victor Stinner em bpo-33725 [https://bugs.python.org/issue?@action=redirect&bpo=33725].)

os

Adicionada nova função add_dll_directory() no Windows para fornecer caminhos de pesquisa adicionais para dependências nativas ao importar módulos de extensão ou carregar DLLs usando ctypes. (Contribuição de Steve Dower em bpo-36085 [https://bugs.python.org/issue?@action=redirect&bpo=36085].)

Uma nova função os.memfd_create() foi adicionada para envolver a chamada de sistema memfd_create(). (Contribuição de Zackery Spytz e Christian Heimes em bpo-26836 [https://bugs.python.org/issue?@action=redirect&bpo=26836].)

No Windows, grande parte da lógica manual para manipular pontos de nova análise (incluindo links simbólicos e junções de diretório) foi delegada ao sistema operacional. Especificamente, os.stat() agora percorrerá qualquer coisa suportada pelo sistema operacional, enquanto os.lstat() abrirá apenas pontos de nova análise que se identificam como “substitutos de nome” enquanto outros são abertos como os.stat(). Em todos os casos, stat_result.st_mode terá apenas S_IFLNK definido para links simbólicos e não para outros tipos de pontos de nova análise. Para identificar outros tipos de pontos de nova análise, verifique o novo atributo stat_result.st_reparse_tag.

No Windows, os.readlink() agora pode ler junções de diretório. Observe que islink() retornará False para junções de diretório e, portanto, o código que verifica primeiro islink continuará tratando junções como diretórios, enquanto o código que lida com erros de os.readlink() agora pode tratar junções como links.

(Contribuição de Steve Dower em bpo-37834 [https://bugs.python.org/issue?@action=redirect&bpo=37834].)

os.path

Funções de os.path que retornam um resultado booleano como exists(), lexists(), isdir(), isfile(), islink() e ismount() agora retornam False em vez de levantar ValueError ou suas subclasses UnicodeEncodeError e UnicodeDecodeError para caminhos que contêm caracteres ou bytes não representáveis no nível do SO. (Contribuição de Serhiy Storchaka em bpo-33721 [https://bugs.python.org/issue?@action=redirect&bpo=33721].)

expanduser() no Windows agora prefere a variável de ambiente USERPROFILE e não usa HOME, que normalmente não é definido para contas de usuário comuns. (Contribuição de Anthony Sottile em bpo-36264 [https://bugs.python.org/issue?@action=redirect&bpo=36264].)

isdir() no Windows não retorna mais True para um link para um diretório inexistente.

realpath() no Windows agora resolve pontos de nova análise, incluindo links simbólicos e junções de diretório.

(Contribuição de Steve Dower em bpo-37834 [https://bugs.python.org/issue?@action=redirect&bpo=37834].)

pathlib

pathlib.Path methods that return a boolean result like exists(), is_dir(), is_file(), is_mount(), is_symlink(), is_block_device(), is_char_device(), is_fifo(), is_socket() now return False instead of raising ValueError or its subclass UnicodeEncodeError for paths that contain characters unrepresentable at the OS level. (Contributed by Serhiy Storchaka in bpo-33721 [https://bugs.python.org/issue?@action=redirect&bpo=33721].)

Added pathlib.Path.link_to() which creates a hard link pointing to a path. (Contributed by Joannah Nanjekye in bpo-26978 [https://bugs.python.org/issue?@action=redirect&bpo=26978]) Note that link_to was deprecated in 3.10 and removed in 3.12 in favor of a hardlink_to method added in 3.10 which matches the semantics of the existing symlink_to method.

pickle

Extensões de pickle, que atuem como subclasse da classe otimizada para C Pickler, agora podem substituir a lógica de “pickling” de funções e classes definindo o método especial reducer_override(). (Contribuição de Pierre Glaser e Olivier Grisel em bpo-35900 [https://bugs.python.org/issue?@action=redirect&bpo=35900].)

plistlib

Adicionado novo plistlib.UID e habilitado suporte para leitura e escrita de plists binárias codificadas em NSKeyedArchiver. (Contribuição de Jon Janzen em bpo-26707 [https://bugs.python.org/issue?@action=redirect&bpo=26707].)

pprint

O módulo pprint adicionou um parâmetro sort_dicts a várias funções. Por padrão, essas funções continuam a classificar dicionários antes da renderização ou impressão. No entanto, se sort_dicts estiver definido como false, os dicionários manterão a ordem em que as chaves foram inseridas. Isso pode ser útil para comparação com entradas JSON durante a depuração.

Além disso, existe uma nova função de conveniência, pprint.pp(), que é como pprint.pprint(), mas com sort_dicts padronizando como False:

>>> from pprint import pprint, pp
>>> d = dict(source='input.txt', operation='filter', destination='output.txt')
>>> pp(d, width=40)                  # Original order
{'source': 'input.txt',
 'operation': 'filter',
 'destination': 'output.txt'}
>>> pprint(d, width=40)              # Keys sorted alphabetically
{'destination': 'output.txt',
 'operation': 'filter',
 'source': 'input.txt'}

(Contribuição de Rémi Lapeyre em bpo-30670 [https://bugs.python.org/issue?@action=redirect&bpo=30670].)

py_compile

py_compile.compile() agora possui suporte a um modo silencioso. (Contribuição de Joannah Nanjekye em bpo-22640 [https://bugs.python.org/issue?@action=redirect&bpo=22640].)

shlex

A nova função shlex.join() atua como o inverso da shlex.split(). (Contribuição de Bo Bayles em bpo-32102 [https://bugs.python.org/issue?@action=redirect&bpo=32102].)

shutil

shutil.copytree() agora aceita um novo argumento nomeado dirs_exist_ok. (Contribuição de Josh Bronson em bpo-20849 [https://bugs.python.org/issue?@action=redirect&bpo=20849].)

shutil.make_archive() agora tem como pádrão o formato pax moderno (POSIX.1-2001) de novos arquivos para melhorar a portabilidade e a conformidade com os padrões, herdados da alteração correspondente no módulo tarfile. (Contribuição de C.A.M. Gerlach em bpo-30661 [https://bugs.python.org/issue?@action=redirect&bpo=30661].)

shutil.rmtree() no Windows agora remove junções de diretórios sem remover recursivamente o conteúdo primeiro. (Contribuição de Steve Dower em bpo-37834 [https://bugs.python.org/issue?@action=redirect&bpo=37834].)

socket

Added create_server() and has_dualstack_ipv6() convenience functions to automate the necessary tasks usually involved when creating a server socket, including accepting both IPv4 and IPv6 connections on the same socket. (Contributed by Giampaolo Rodolà in bpo-17561 [https://bugs.python.org/issue?@action=redirect&bpo=17561].)

The socket.if_nameindex(), socket.if_nametoindex(), and socket.if_indextoname() functions have been implemented on Windows. (Contributed by Zackery Spytz in bpo-37007 [https://bugs.python.org/issue?@action=redirect&bpo=37007].)

ssl

Adicionado post_handshake_auth para ativar e verify_client_post_handshake() para iniciar a autenticação pós-handshake do TLS 1.3. (Contribuição de Christian Heimes em bpo-34670 [https://bugs.python.org/issue?@action=redirect&bpo=34670].)

statistics

Added statistics.fmean() as a faster, floating-point variant of statistics.mean(). (Contributed by Raymond Hettinger and Steven D’Aprano in bpo-35904 [https://bugs.python.org/issue?@action=redirect&bpo=35904].)

Added statistics.geometric_mean() (Contributed by Raymond Hettinger in bpo-27181 [https://bugs.python.org/issue?@action=redirect&bpo=27181].)

Adicionada Statistics.multimode() que retorna uma lista dos valores mais comuns. (Contribuição de Raymond Hettinger em bpo-35892 [https://bugs.python.org/issue?@action=redirect&bpo=35892].)

Adicionada statistics.quantiles() que divide dados ou uma distribuição em intervalos equivalentes (por exemplo, quartis, decis ou percentis). (Contribuição de Raymond Hettinger em bpo-36546 [https://bugs.python.org/issue?@action=redirect&bpo=36546].)

Adicionada statistics.NormalDist, uma ferramenta para criar e manipular distribuições normais de uma variável aleatória. (Contribuição de Raymond Hettinger em bpo-36018 [https://bugs.python.org/issue?@action=redirect&bpo=36018].)

>>> temperature_feb = NormalDist.from_samples([4, 12, -3, 2, 7, 14])
>>> temperature_feb.mean
6.0
>>> temperature_feb.stdev
6.356099432828281

>>> temperature_feb.cdf(3)            # Chance of being under 3 degrees
0.3184678262814532
>>> # Relative chance of being 7 degrees versus 10 degrees
>>> temperature_feb.pdf(7) / temperature_feb.pdf(10)
1.2039930378537762

>>> el_niño = NormalDist(4, 2.5)
>>> temperature_feb += el_niño        # Add in a climate effect
>>> temperature_feb
NormalDist(mu=10.0, sigma=6.830080526611674)

>>> temperature_feb * (9/5) + 32      # Convert to Fahrenheit
NormalDist(mu=50.0, sigma=12.294144947901014)
>>> temperature_feb.samples(3)        # Generate random samples
[7.672102882379219, 12.000027119750287, 4.647488369766392]

sys

Adiciona uma nova função sys.unraisablehook(), que pode ser substituída para controlar como as “exceções não passíveis de levantamento” são tratadas. É chamada quando uma exceção ocorre, mas não há como o Python manipulá-la. Por exemplo, quando um destruidor gera uma exceção ou durante a coleta de lixo (gc.collect()). (Contribuição de Victor Stinner em bpo-36829 [https://bugs.python.org/issue?@action=redirect&bpo=36829].)

tarfile

O módulo tarfile agora tem como padrão o formato pax moderno (POSIX.1-2001) para novos arquivos, em vez do anterior específico do GNU. Isso melhora a portabilidade de plataforma cruzada com uma codificação consistente (UTF-8) em um formato padronizado e extensível e oferece vários outros benefícios. (Contribuição de C.A.M. Gerlach em bpo-36268 [https://bugs.python.org/issue?@action=redirect&bpo=36268].)

threading

Adiciona uma nova função threading.excepthook() que manipula a exceção não capturada threading.Thread.run(). Pode ser substituída para controlar como exceções não capturadas threading.Thread.run() são manipuladas. (Contribuição de Victor Stinner em bpo-1230540 [https://bugs.python.org/issue?@action=redirect&bpo=1230540].)

Adiciona uma nova função threading.get_native_id() e um atributo native_id à classe threading.Thread. Eles retornam o Thread ID integral nativo do thread atual atribuído pelo kernel. Este recurso está disponível apenas em determinadas plataformas, consulte get_native_id para mais informações. (Contribuição de Jake Tesler em bpo-36084 [https://bugs.python.org/issue?@action=redirect&bpo=36084].)

tokenize

O módulo tokenize agora emite implicitamente um token NEWLINE quando fornecido com entrada que não possui uma nova linha à direita. Esse comportamento agora corresponde ao que o tokenizador do C faz internamente. (Contribuição de Ammar Askar em bpo-33899 [https://bugs.python.org/issue?@action=redirect&bpo=33899].)

tkinter

Adicionados os métodos selection_from(), selection_present(), selection_range() e selection_to() à classe tkinter.Spinbox. (Contribuição de Juliette Monsel em bpo-34829 [https://bugs.python.org/issue?@action=redirect&bpo=34829].)

Adicionado o método moveto() na classe tkinter.Canvas. (Contribuição de Juliette Monsel em bpo-23831 [https://bugs.python.org/issue?@action=redirect&bpo=23831].)

A classe tkinter.PhotoImage agore tem os métodos transparency_get() e transparency_set(). (Contribuição de Zackery Spytz em bpo-25451 [https://bugs.python.org/issue?@action=redirect&bpo=25451].)

time

Adiciona o novo relógio CLOCK_UPTIME_RAW ao macOS 10.12. (Contribuição de Joannah Nanjekye em bpo-35702 [https://bugs.python.org/issue?@action=redirect&bpo=35702].)

typing

O módulo typing incorpora vários novos recursos:

Um tipo de dicionário com tipos por chave. Veja PEP 589 [https://peps.python.org/pep-0589/] e typing.TypedDict. TypedDict usa apenas chaves de strings. Por padrão, é necessário que todas as chaves estejam presentes. Especifique “total=False” para permitir que as chaves sejam opcionais:

class Location(TypedDict, total=False):
    lat_long: tuple
    grid_square: str
    xy_coordinate: tuple

Tipos literais. Veja PEP 586 [https://peps.python.org/pep-0586/] e typing.Literal. Tipos literais indicam que um parâmetro ou valor de retorno está restrito a um ou mais valores literais específicos:

def get_status(port: int) -> Literal['connected', 'disconnected']:
    ...

Variáveis, funções, métodos e classes “finais”. Veja PEP 591 [https://peps.python.org/pep-0591/], typing.Final e typing.final(). O qualificador final instrui um verificador de tipo estático a restringir criação de subclasse, substituição ou reatribuição:

pi: Final[float] = 3.1415926536

Definições de protocolo. Veja PEP 544 [https://peps.python.org/pep-0544/], typing.Protocol e typing.runtime_checkable(). ABCs simples como typing.SupportsInt agora são subclasses de Protocol.

Nova classe de protocolo typing.SupportsIndex.

Novas funções typing.get_origin() e typing.get_args().

unicodedata

O módulo unicodedata agora foi atualizado para usar o Unicode 12.1.0 [https://blog.unicode.org/2019/05/unicode-12-1-en.html].

A nova função is_normalized() pode ser usada para verificar se uma string está em uma forma normal específica, geralmente muito mais rápida do que normalizar a string. (Contribuição de Max Belanger, David Euresti e Greg Price em bpo-32285 [https://bugs.python.org/issue?@action=redirect&bpo=32285] e bpo-37966 [https://bugs.python.org/issue?@action=redirect&bpo=37966]).

unittest

Adicionada AsyncMock para dar suporte a uma versão assíncrona de Mock. Também foram adicionadas novas funções apropriadas para teste. (Contribuição de Lisa Roach em bpo-26467 [https://bugs.python.org/issue?@action=redirect&bpo=26467]).

Added addModuleCleanup() and addClassCleanup() to unittest to support cleanups for setUpModule() and setUpClass(). (Contributed by Lisa Roach in bpo-24412 [https://bugs.python.org/issue?@action=redirect&bpo=24412].)

Várias funções de declaração de mock agora também exibem uma lista de chamadas reais em caso de falha. (Contribuição de Petter Strandmark em bpo-35047 [https://bugs.python.org/issue?@action=redirect&bpo=35047].)

O módulo unittest ganhou suporte a corrotinas a serem usadas como casos de teste com unittest.IsolatedAsyncioTestCase. (Contribuição de Andrew Svetlov em bpo-32972 [https://bugs.python.org/issue?@action=redirect&bpo=32972].)

Exemplo:

import unittest

class TestRequest(unittest.IsolatedAsyncioTestCase):

    async def asyncSetUp(self):
        self.connection = await AsyncConnection()

    async def test_get(self):
        response = await self.connection.get("https://example.com")
        self.assertEqual(response.status_code, 200)

    async def asyncTearDown(self):
        await self.connection.close()

if __name__ == "__main__":
    unittest.main()

venv

venv agora inclui um script Activate.ps1 em todas as plataformas para ativar ambientes virtuais no PowerShell Core 6.1. (Contribuição de Brett Cannon em bpo-32718 [https://bugs.python.org/issue?@action=redirect&bpo=32718].)

weakref

Os objetos proxy retornados por weakref.proxy() agora possuem suporte aos operadores de multiplicação de matrizes @ e @= além dos outros operadores numéricos. (Contribuição de Mark Dickinson em bpo-36669 [https://bugs.python.org/issue?@action=redirect&bpo=36669].)

xml

Como atenuação a DTD e recuperação de entidade externa, os módulos xml.dom.minidom e xml.sax não processam mais entidades externas por padrão. (Contribuição de Christian Heimes em bpo-17239 [https://bugs.python.org/issue?@action=redirect&bpo=17239].)

Os métodos .find*() no módulo xml.etree.ElementTree possuem suporte a pesquisas curinga como {*}tag, que ignora o espaço para nome e {namespace}*, que retorna todas as tags no espaço para nome especificado. (Contribuição de Stefan Behnel em bpo-28238 [https://bugs.python.org/issue?@action=redirect&bpo=28238].)

The xml.etree.ElementTree module provides a new function –xml.etree.ElementTree.canonicalize() that implements C14N 2.0. (Contributed by Stefan Behnel in bpo-13611 [https://bugs.python.org/issue?@action=redirect&bpo=13611].)

O objeto de destino de xml.etree.ElementTree.XMLParser pode receber eventos de declaração de espaço de nomes através dos novos métodos de retorno de chamada start_ns() e end_ns (). Além disso, o destino xml.etree.ElementTree.TreeBuilder pode ser configurado para processar eventos sobre comentários e instruções de processamento para incluí-los na árvore gerada. (Contribuição de Stefan Behnel em bpo-36676 [https://bugs.python.org/issue?@action=redirect&bpo=36676] e bpo-36673 [https://bugs.python.org/issue?@action=redirect&bpo=36673].)

xmlrpc

xmlrpc.client.ServerProxy agora possui suporte a um argumento nomeado headers opcional para que uma sequência de cabeçalhos HTTP seja enviada a cada solicitação. Entre outras coisas, isso possibilita a atualização da autenticação básica padrão para uma autenticação de sessão mais rápida. (Contribuição de Cédric Krier em bpo-35153 [https://bugs.python.org/issue?@action=redirect&bpo=35153].)

Otimizações

O módulo subprocess agora pode usar a função os.posix_spawn() em alguns casos para obter melhor desempenho. Atualmente, ele é usado apenas no macOS e Linux (usando glibc 2.24 ou mais recente) se todas essas condições forem atendidas:

close_fds ser false;

os parâmetros preexec_fn, pass_fds, cwd and start_new_session não estarem definidos;

o caminho executable conter um diretório.

(Contribuição de Joannah Nanjekye e Victor Stinner em bpo-35537 [https://bugs.python.org/issue?@action=redirect&bpo=35537].)

shutil.copyfile(), shutil.copy(), shutil.copy2(), shutil.copytree() e shutil.copytree() usam chamadas de sistema “fast-copy” específicas da plataforma no Linux e no macOS para copiar o arquivo com mais eficiência. “fast-copy” significa que a operação de cópia ocorre dentro do kernel, evitando o uso de buffers de espaço do usuário no Python como em “outfd.write(infd.read())”. No Windows, shutil.copyfile() usa um buffer padrão com tamanho maior (1 MiB em vez de 16 KiB) e é usada uma variante de shutil.copyfileobj() baseada em memoryview(). A velocidade de cópia de um arquivo 512 MiB na mesma partição é de aproximadamente +26% no Linux, +50% no macOS e +40% no Windows. Além disso, muito menos ciclos de CPU são consumidos. Veja a seção Operações de cópia eficientes dependentes da plataforma. (Contribuição de Giampaolo Rodolà em bpo-33671 [https://bugs.python.org/issue?@action=redirect&bpo=33671].)

shutil.copytree() usa a função os.scandir() e todas as funções de cópia que dependem dela usam valores em cache de os.stat(). A velocidade para copiar um diretório com 8000 arquivos é de cerca de +9% no Linux, +20% no Windows e +30% em um compartilhamento SMB do Windows. Além disso, o número de chamadas de sistema os.stat() é reduzido em 38%, tornando shutil.copytree() especialmente mais rápida em sistemas de arquivos em rede. (Contribuição de Giampaolo Rodolà em bpo-33695 [https://bugs.python.org/issue?@action=redirect&bpo=33695].)

O protocolo padrão no módulo pickle agora é o Protocolo 4, introduzido pela primeira vez no Python 3.4. Ele oferece melhor desempenho e tamanho menor em comparação com o Protocolo 3 disponível desde o Python 3.0.

Removido um membro Py_ssize_t de PyGC_Head. O tamanho de todos os objetos rastreados pelo coletor de lixo (por exemplo, tupla, lista, ditado) é reduzido em 4 ou 8 bytes. (Contribuição de Inada Naoki em bpo-33597 [https://bugs.python.org/issue?@action=redirect&bpo=33597].)

uuid.UUID agora usa __slots__ para reduzir seu uso de espaço de memória. (Contribuição de Wouter Bolsterlee e Tal Einat em bpo-30977 [https://bugs.python.org/issue?@action=redirect&bpo=30977])

Melhor desempenho de operator.itemgetter() em 33%. Manipulação de argumento otimizada e incluído um caminho rápido para o caso comum de um único índice inteiro não negativo em uma tupla (que é o caso de uso típico na biblioteca padrão). (Contribuição de Raymond Hettinger em bpo-35664 [https://bugs.python.org/issue?@action=redirect&bpo=35664].)

Pesquisas de campo aceleradas em collections.namedtuple(). Agora elas são duas vezes mais rápidas, tornando-as a forma mais rápida de pesquisa de variáveis de instância no Python. (Contribuição de Raymond Hettinger, Pablo Galindo e Joe Jevnik, Serhiy Storchaka em bpo-32492 [https://bugs.python.org/issue?@action=redirect&bpo=32492].)

O construtor list não atribui globalmente o buffer interno do item se a entrada iterável tiver um comprimento conhecido (a entrada implementa __len__). Isso torna a lista criada 12% menor em média. (Contribuição de Raymond Hettinger e Pablo Galindo em bpo-33234 [https://bugs.python.org/issue?@action=redirect&bpo=33234].)

Duplicada a velocidade de gravação de variável de classe. Quando um atributo não-dunder era atualizado, havia uma chamada desnecessária para atualizar os slots. (Contribuição de Stefan Behnel, Pablo Galindo Salgado, Raymond Hettinger, Neil Schemenauer e Serhiy Storchaka em bpo-36012 [https://bugs.python.org/issue?@action=redirect&bpo=36012].)

Reduzida a sobrecarga dos argumentos de conversão passados para muitas funções e métodos internos. Isso acelerou chamando algumas funções e métodos internos simples de 20–50%. (Contribuição de Serhiy Storchaka em bpo-23867 [https://bugs.python.org/issue?@action=redirect&bpo=23867], bpo-35582 [https://bugs.python.org/issue?@action=redirect&bpo=35582] e bpo-36127 [https://bugs.python.org/issue?@action=redirect&bpo=36127].)

A instrução LOAD_GLOBAL agora usa o novo mecanismo “por cache de código de operação”. É cerca de 40% mais rápido agora. (Contribuição de Yury Selivanov e Inada Naoki em :issue: 26219.)

Mudanças a construções e API C

O sys.abiflags padrão se tornou uma string vazia: o sinalizador m para pymalloc se tornou inútil (compilações com e sem pymalloc são compatíveis com ABI) e, portanto, foi removido. (Contribuição de Victor Stinner em bpo-36707 [https://bugs.python.org/issue?@action=redirect&bpo=36707].)

Exemplos de alterações:

Somente o programa python3.8 é instalado, o programa python3.8m se foi.

Somente o script python3.8-config é instalado, o programa python3.8m-config se foi.

O sinalizador m foi removido do sufixo dos nomes de arquivos da biblioteca dinâmica: módulos de extensão na biblioteca padrão, bem como daqueles produzidos e instalados por pacotes de terceiros, como os baixados do PyPI. No Linux, por exemplo, o sufixo de .cpython-37m-x86_64-linux-gnu.so do Python 3.7 se tornou .cpython-38-x86_64-linux-gnu.so no Python 3.8.

Os arquivos de cabeçalho foram reorganizados para separar melhor os diferentes tipos de APIs:

Include/*.h deve ser a API C pública estável e portátil.

Include/cpython/*.h deve ser a API C instável específica do CPython; API pública, com alguma API privada prefixada por _Py ou _PY.

Include/internal/*.h é a API C interna privada muito específica do CPython. Essa API é fornecida sem garantia de compatibilidade com versões anteriores e não deve ser usada fora do CPython. Ele é exposto apenas a necessidades muito específicas, como depuradores e perfis, que precisam acessar os componentes internos do CPython sem chamar funções. Esta API agora está instalada por make install.

(Contribuição de Victor Stinner em bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134] e bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081], trabalho iniciado por Eric Snow em Python 3.7.)

Algumas macros foram convertidas em funções in-line estáticas: os tipos de parâmetros e o tipo de retorno são bem definidos, eles não têm problemas específicos para as macros, as variáveis têm escopos locais. Exemplos:

Py_INCREF(), Py_DECREF()

Py_XINCREF(), Py_XDECREF()

PyObject_INIT(), PyObject_INIT_VAR()

Funções privadas: _PyObject_GC_TRACK(), _PyObject_GC_UNTRACK(), _Py_Dealloc()

(Contribuição de Victor Stinner em bpo-35059 [https://bugs.python.org/issue?@action=redirect&bpo=35059].)

As funções PyByteArray_Init() e PyByteArray_Fini() foram removidas. Elas não faziam nada desde o Python 2.7.4 e o Python 3.2.0, foram excluídas da API limitada (ABI estável) e não foram documentados. (Contribuição de Victor Stinner em bpo-35713 [https://bugs.python.org/issue?@action=redirect&bpo=35713].)

O resultado de PyExceptionClass_Name() agora é do tipo const char * em vez de char *. (Contribuição de Serhiy Storchaka em bpo-33818 [https://bugs.python.org/issue?@action=redirect&bpo=33818].)

A dualidade de Modules/Setup.dist e Modules/Setup foi removida. Anteriormente, ao atualizar a árvore de fontes do CPython, era necessário copiar manualmente Modules/Setup.dist (dentro da árvore de fontes) para Modules/Setup (dentro da árvore de compilação), a fim de refletir todas as alterações upstream. Isso foi um pequeno benefício para os empacotadores, à custa de um aborrecimento frequente para os desenvolvedores após o desenvolvimento do CPython, pois esquecer de copiar o arquivo pode causar falhas na compilação.

Agora, o sistema de compilação sempre lê Modules/Setup dentro da árvore de fontes. As pessoas que desejam personalizar esse arquivo são incentivadas a manter suas alterações em um fork do git do CPython ou como arquivos de patch, como faria em qualquer outra alteração na árvore de fontes.

(Contribuição de Antoine Pitrou em bpo-32430 [https://bugs.python.org/issue?@action=redirect&bpo=32430].)

Funções que convertem um número Python em número inteiro C, como PyLong_AsLong(), e funções de análise de argumentos, como PyArg_ParseTuple(), com unidades de formato de conversão de números inteiros, como 'i', agora usarão o método especial __index__() em vez de __int__(), se disponível. O aviso de descontinuação será emitido para objetos com o método __int__(), mas sem o método __index__() (como Decimal e Fraction ). PyNumber_Check() agora retornará 1 para objetos implementando __index__(). PyNumber_Long(), PyNumber_Float() e PyFloat_AsDouble() agora também usam o método __index__(), se disponível. (Contribuição de Serhiy Storchaka em bpo-36048 [https://bugs.python.org/issue?@action=redirect&bpo=36048] e bpo-20092 [https://bugs.python.org/issue?@action=redirect&bpo=20092].)

Objetos de tipo alocado a heap agora aumentarão sua contagem de referências em PyObject_Init() (e sua macro paralela PyObject_INIT) em vez de em PyType_GenericAlloc(). Os tipos que modificam a alocação ou desalocação de instância podem precisar ser ajustados. (Contribuição de Eddie Elizondo em bpo-35810 [https://bugs.python.org/issue?@action=redirect&bpo=35810].)

A nova função PyCode_NewWithPosOnlyArgs() permite criar objetos de código como PyCode_New(), mas com um parâmetro extra posonlyargcount para indicar o número de argumentos somente posicionais. (Contribuição de Pablo Galindo em bpo-37221 [https://bugs.python.org/issue?@action=redirect&bpo=37221].)

Py_SetPath() agora define sys.executable para o caminho completo do programa (Py_GetProgramFullPath()) em vez do nome do programa (Py_GetProgramName()). (Contribuição de Victor Stinner em bpo-38234 [https://bugs.python.org/issue?@action=redirect&bpo=38234].)

Descontinuados

O comando distutils bdist_wininst agora está descontinuado; use bdist_wheel (pacotes wheel). (Contribuição de Victor Stinner em bpo-37481 [https://bugs.python.org/issue?@action=redirect&bpo=37481].)

Os métodos descontinuados getchildren() e getiterator() no módulo ElementTree agora emitem um DeprecationWarning em vez de PendingDeprecationWarning. Eles serão removidos no Python 3.9. (Contribuição de Serhiy Storchaka em bpo-29209 [https://bugs.python.org/issue?@action=redirect&bpo=29209].)

Passar um objeto que não é uma instância de concurrent.futures.ThreadPoolExecutor para loop.set_default_executor() foi descontinuado e será proibido no Python 3.9. (Contribuição de Elvis Pranskevichus em bpo-34075 [https://bugs.python.org/issue?@action=redirect&bpo=34075].)

Os métodos __getitem__() de xml.dom.pulldom.DOMEventStream, wsgiref.util.FileWrapper e fileinput.FileInput foram descontinuados.

As implementações desses métodos têm ignorado seu parâmetro index e retornado o próximo item. (Contribuição de Berker Peksag em bpo-9372 [https://bugs.python.org/issue?@action=redirect&bpo=9372].)

A classe typing.NamedTuple descontinuou o atributo _field_types em favor do atributo __annotations__ que possui as mesmas informações. (Contribuição de Raymond Hettinger em bpo-36320 [https://bugs.python.org/issue?@action=redirect&bpo=36320].)

As classes Num, Str, Bytes, NameConstant e Ellipsis do módulo ast são consideradas descontinuadas e serão removidos em versões futuras do Python. A Constant deve ser usado. (Contribuição de Serhiy Storchaka em bpo-32892 [https://bugs.python.org/issue?@action=redirect&bpo=32892].)

Os métodos visit_Num(), visit_Str(), visit_Bytes(), visit_NameConstant() e visit_Ellipsis() da classe ast.NodeVisitor estão agora descontinuados e não serão chamados nas versões futuras do Python. Adicione o método visit_Constant() para manipular todos os nós constantes. (Contribuição de Serhiy Storchaka em bpo-36917 [https://bugs.python.org/issue?@action=redirect&bpo=36917].)

O decorador de asyncio.coroutine() foi descontinuado e será removido na versão 3.10. Em vez de @asyncio.coroutine, use async def. (Contribuição de Andrew Svetlov em bpo-36921 [https://bugs.python.org/issue?@action=redirect&bpo=36921].)

Em asyncio, a passagem explícita de um argumento loop foi descontinuado e será removido na versão 3.10 para os seguintes: asyncio.sleep(), asyncio.gather(), asyncio.shield(), asyncio.wait_for(), asyncio.wait(), asyncio.as_completed(), asyncio.Task, asyncio.Lock, asyncio.Event, asyncio.Condition, asyncio.Semaphore, asyncio.BoundedSemaphore, asyncio.Queue, asyncio.create_subprocess_exec() e asyncio.create_subprocess_shell().

A passagem explícita dos objetos da corrotina para asyncio.wait() foi descontinuada e será removida na versão 3.11. (Contribuição de Yury Selivanov em bpo-34790 [https://bugs.python.org/issue?@action=redirect&bpo=34790].)

As seguintes funções e os seguintes métodos estão descontinuados no módulo gettext: lgettext(), ldgettext(), lngettext() e ldngettext(). Eles retornam bytes codificados e é possível que você obtenha exceções relacionadas ao Unicode inesperadas se houver problemas de codificação com as strings traduzidas. É muito melhor usar alternativas que retornam strings Unicode no Python 3. Essas funções estiveram quebradas por um longo tempo.

A função bind_textdomain_codeset(), os métodos output_charset() e set_output_charset() e o parâmetro codeset das funções translation() e install() também estão descontinuados, pois são usados apenas para as funções l*gettext(). (Contribuição de Serhiy Storchaka em bpo-33710 [https://bugs.python.org/issue?@action=redirect&bpo=33710].)

The isAlive() method of threading.Thread has been deprecated. (Contributed by Donghee Na in bpo-35283 [https://bugs.python.org/issue?@action=redirect&bpo=35283].)

Muitas funções internas e de extensão que recebem argumentos inteiros agora emitem um aviso de descontinuidade para objetos de Decimal, de Fraction e quaisquer outros objetos que possam ser convertidos apenas em números inteiros com perda (por exemplo, que possuem o método __int__(), mas não têm o método __index__()). Em uma versão futura, haverá erros. (Contribuição de Serhiy Storchaka em bpo-36048 [https://bugs.python.org/issue?@action=redirect&bpo=36048].)

Descontinuada a passagem dos seguintes argumentos como argumentos nomeados:

func em functools.partialmethod(), weakref.finalize(), profile.Profile.runcall(), cProfile.Profile.runcall(), bdb.Bdb.runcall(), trace.Trace.runfunc() e curses.wrapper().

function em unittest.TestCase.addCleanup().

fn no método submit() de concurrent.futures.ThreadPoolExecutor e concurrent.futures.ProcessPoolExecutor.

callback em contextlib.ExitStack.callback(), contextlib.AsyncExitStack.callback() e contextlib.AsyncExitStack.push_async_callback().

c e typeid no método create() de multiprocessing.managers.Server e multiprocessing.managers.SharedMemoryServer.

obj em weakref.finalize().

Em versões futuras do Python, elas serão somente-posicionais. (Contribuição de Serhiy Storchaka em bpo-36492 [https://bugs.python.org/issue?@action=redirect&bpo=36492].)

Remoção de APIs e recursos

Os seguintes recursos e APIs foram removidos do Python 3.8:

Starting with Python 3.3, importing ABCs from collections was deprecated, and importing should be done from collections.abc. Being able to import from collections was marked for removal in 3.8, but has been delayed to 3.9. (See gh-81134 [https://github.com/python/cpython/issues/81134].)

O módulo macpath, descontinuado no Python 3.7, foi removido. (Contribuição de Victor Stinner em bpo-35471 [https://bugs.python.org/issue?@action=redirect&bpo=35471].)

A função platform.popen() foi removida, após ter sido descontinuada desde o Python 3.3: use os.popen(). (Contribuição de Victor Stinner em bpo-35345 [https://bugs.python.org/issue?@action=redirect&bpo=35345].)

A função time.clock() foi removida, após ter sido descontinuada desde o Python 3.3: use time.perf_counter() ou time.process_time(), dependendo de seus requisitos, para ter o comportamento já definido. (Contribuição de Matthias Bussonnier em bpo-36895 [https://bugs.python.org/issue?@action=redirect&bpo=36895].)

O script pyvenv foi removido em favor do python3.8 -m venv para ajudar a eliminar a confusão sobre a qual interpretador Python o script pyvenv está associado. (Contribuição de Brett Cannon em bpo-25427 [https://bugs.python.org/issue?@action=redirect&bpo=25427].)

parse_qs, parse_qsl e escape foram removidos do módulo cgi. Eles foram descontinuados no Python 3.2 ou mais antigo. Eles devem ser importados dos módulos urllib.parse e html.

A função filemode foi removida do módulo tarfile. Não é documentada e foi descontinuada desde o Python 3.3.

O construtor XMLParser não aceita mais o argumento html. Isso nunca teve efeito e foi descontinuado no Python 3.4. Todos os outros parâmetros agora são somente-nomeados. (Contribuição de Serhiy Storchaka em bpo-29209 [https://bugs.python.org/issue?@action=redirect&bpo=29209].)

Removido o método doctype() de XMLParser. (Contribuição de Serhiy Storchaka em bpo-29209 [https://bugs.python.org/issue?@action=redirect&bpo=29209].)

O codec “unicode_internal” foi removido. (Contribuição de Inada Naoki em bpo-36297 [https://bugs.python.org/issue?@action=redirect&bpo=36297].)

Os objetos Cache e Statement do módulo sqlite3 não expostos para o usuário. (Contribuição de Aviv Palivoda em bpo-30262 [https://bugs.python.org/issue?@action=redirect&bpo=30262].)

O argumento nomeado bufsize de fileinput.input() e fileinput.FileInput(), que era ignorado e estava descontinuado desde o Python 3.6, foi removido. bpo-36952 [https://bugs.python.org/issue?@action=redirect&bpo=36952] (Contribuição de Matthias Bussonnier.)

As funções descontinuadas sys.set_coroutine_wrapper() e sys.get_coroutine_wrapper() no Python 3.7 foram removidas; bpo-36933 [https://bugs.python.org/issue?@action=redirect&bpo=36933] (Contribuição de Matthias Bussonnier.)

Portando para o Python 3.8

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações no comportamento do Python

Expressões yield (ambas as cláusulas yield e yield from) agora não são permitidas nas compreensões e expressões geradoras (além da expressão iterável na cláusula mais à esquerda for). (Contribuição de Serhiy Storchaka em bpo-10544 [https://bugs.python.org/issue?@action=redirect&bpo=10544].)

Agora, o compilador produz um SyntaxWarning quando verificações de identidade (is e is not) são usadas com certos tipos de literais (por exemplo, strings, números). Geralmente, eles podem funcionar acidentalmente no CPython, mas não são garantidos pelas especificações da linguagem. O aviso aconselha os usuários a usar testes de igualdade (== e !=). (Contribuição de Serhiy Storchaka em bpo-34850 [https://bugs.python.org/issue?@action=redirect&bpo=34850].)

O interpretador do CPython pode engolir exceções em algumas circunstâncias. No Python 3.8, isso acontece em menos casos. Em particular, as exceções levantadas ao obter o atributo do dicionário de tipos não são mais ignoradas. (Contribuição de Serhiy Storchaka em bpo-35459 [https://bugs.python.org/issue?@action=redirect&bpo=35459].)

Removidas as implementações __str__ dos tipos embutidos bool, int, float, complex e poucas classes da biblioteca padrão. Agora eles herdam __str__() de object. Como resultado, definir o método __repr__() na subclasse dessas classes afetará sua representação de string. (Contribuição de Serhiy Storchaka em bpo-36793 [https://bugs.python.org/issue?@action=redirect&bpo=36793].)

No AIX, sys.platform não contém mais a versão principal. É sempre 'aix', em vez de 'aix3' .. 'aix7'. Como as versões mais antigas do Python incluem o número da versão, é recomendável usar sempre sys.platform.startswith('aix'). (Contribuição de M. Felt em bpo-36588 [https://bugs.python.org/issue?@action=redirect&bpo=36588].)

PyEval_AcquireLock() e PyEval_AcquireThread() agora encerram a thread atual se chamado enquanto o interpretador está finalizando, tornando-os consistentes com PyEval_RestoreThread(), Py_END_ALLOW_THREADS() e PyGILState_Ensure(). Se esse comportamento não for desejado, proteja a chamada verificando _Py_IsFinalizing() ou sys.is_finalizing(). (Contribuição de Joannah Nanjekye em bpo-36475 [https://bugs.python.org/issue?@action=redirect&bpo=36475].)

Alterações na API Python

A função os.getcwdb() agora usa a codificação UTF-8 no Windows, em vez da página de códigos ANSI: veja PEP 529 [https://peps.python.org/pep-0529/] para a justificativa. A função não é mais descontinuada no Windows. (Contribuição de Victor Stinner em bpo-37412 [https://bugs.python.org/issue?@action=redirect&bpo=37412].)

subprocess.Popen agora pode usar os.posix_spawn() em alguns casos, para obter melhor desempenho. No Windows Subsystem para Linux e emulação de usuário QEMU, o construtor Popen usando os.posix_spawn() não levanta mais uma exceção em erros como “missing program”. Em vez disso, o processo filho falha com um diferente de zero returncode. (Contribuição de Joannah Nanjekye e Victor Stinner em bpo-35537 [https://bugs.python.org/issue?@action=redirect&bpo=35537].)

O argumento preexec_fn de * subprocess.Popen não é mais compatível com subinterpretadores. O uso do parâmetro em um subinterpretador agora levanta RuntimeError. (Contribuição de Eric Snow em bpo-34651 [https://bugs.python.org/issue?@action=redirect&bpo=34651], modificado por Christian Heimes em bpo-37951 [https://bugs.python.org/issue?@action=redirect&bpo=37951].)

O método imap.IMAP4.logout() não mais ignora silenciosamente exceções arbitrárias. (Contribuição de Victor Stinner em bpo-36348 [https://bugs.python.org/issue?@action=redirect&bpo=36348].)

A função platform.popen() foi removida, após ter sido descontinuada desde o Python 3.3: use os.popen(). (Contribuição de Victor Stinner em bpo-35345 [https://bugs.python.org/issue?@action=redirect&bpo=35345].)

A função Statistics.mode() não levanta mais uma exceção quando dados multimodais são fornecidos. Em vez disso, ela retorna o primeiro modo encontrado nos dados de entrada. (Contribuição de Raymond Hettinger em bpo-35892 [https://bugs.python.org/issue?@action=redirect&bpo=35892].)

O método selection() da classe tkinter.ttk.Treeview não recebe mais argumentos. Seu uso com argumentos para alterar a seleção foi descontinuado no Python 3.6. Use métodos especializados como selection_set() para alterar a seleção. (Contribuição de Serhiy Storchaka em bpo-31508 [https://bugs.python.org/issue?@action=redirect&bpo=31508].)

Os métodos writexml(), toxml() e toprettyxml() de xml.dom.minidom, e o método write() de xml.etree, agora preservam a ordem dos atributos especificados pelo usuário. (Contribuição de Diego Rojas e Raymond Hettinger em bpo-34160 [https://bugs.python.org/issue?@action=redirect&bpo=34160].)

Um banco de dados dbm.dumb aberto com sinalizadores 'r' agora é somente leitura. dbm.dumb.open() com os sinalizadores 'r' e 'w' não cria mais um banco de dados se ele não existir. (Contribuição de Serhiy Storchaka em bpo-32749 [https://bugs.python.org/issue?@action=redirect&bpo=32749].)

O método doctype() definido em uma subclasse de XMLParser não será mais chamado e emitirá um RuntimeWarning em vez de um DeprecationWarning. Defina o método doctype() em um alvo para manipular uma declaração doctype XML. (Contribuição de Serhiy Storchaka em bpo-29209 [https://bugs.python.org/issue?@action=redirect&bpo=29209].)

Uma RuntimeError agora é levantada quando a metaclasse personalizada não fornece a entrada __classcell__ no espaço de nomes passado para type.__new__. Uma DeprecationWarning era emitida no Python 3.6-3.7. (Contribuição de Serhiy Storchaka em bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722].)

A classe cProfile.Profile agora pode ser usada como um gerenciador de contexto. (Contribuição de Scott Sanderson em bpo-29235 [https://bugs.python.org/issue?@action=redirect&bpo=29235].)

shutil.copyfile(), shutil.copy(), shutil.copy2(), shutil.copytree() e shutil.copytree() usam chamadas de sistema de “cópia rápido” específica da plataforma (veja a seção Operações de cópia eficientes dependentes da plataforma).

O tamanho padrão do buffer de shutil.copyfile() no Windows foi alterado de 16 KiB para 1 MiB.

A estrutura de PyGC_Head mudou completamente. Todo o código que tocava no membro struct deve ser reescrito. (Veja bpo-33597 [https://bugs.python.org/issue?@action=redirect&bpo=33597].)

A estrutura de PyInterpreterState foi movida para os arquivos de cabeçalho “internal” (especificamente Include/internal/pycore_pystate.h). Um PyInterpreterState opaco ainda está disponível como parte da API pública (e ABI estável). Os documentos indicam que nenhum dos campos da estrutura é público, por isso esperamos que ninguém os tenha usado. No entanto, se você confia em um ou mais desses campos em particular e não tiver alternativa, abra um relatório de erro no BPO. Vamos trabalhar para ajudá-lo a ajustar (possivelmente incluindo a adição de funções de acessador à API pública). (Veja bpo-35886 [https://bugs.python.org/issue?@action=redirect&bpo=35886].)

O método mmap.flush() agora retorna None com êxito e levanta uma exceção no erro em todas as plataformas. Anteriormente, seu comportamento dependia da plataforma: um valor diferente de zero era retornado com êxito; zero era retornado com erro no Windows. Um valor zero era retornado com sucesso; uma exceção era levanta no caso de erro no Unix. (Contribuição de Berker Peksag em bpo-2122 [https://bugs.python.org/issue?@action=redirect&bpo=2122].)

Os módulos xml.dom.minidom e xml.sax não mais processam entidades externas por padrão. (Contribuição de Christian Heimes em bpo-17239 [https://bugs.python.org/issue?@action=redirect&bpo=17239].)

A exclusão de uma chave de um banco de dados somente leitura dbm (dbm.dumb, dbm.gnu ou dbm.ndbm) levanta error (dbm.dumb.error, dbm.gnu.error ou dbm.ndbm.error) em vez de KeyError. (Contribuição de Xiang Zhang em bpo-33106 [https://bugs.python.org/issue?@action=redirect&bpo=33106].)

AST foi simplificado para literais. Todas as constantes serão representadas como instâncias de ast.Constant. Instanciar classes antigas Num, Str, Bytes, NameConstant e Ellipsis retornará uma instância de Constant. (Contribuição de Serhiy Storchaka em bpo-32892 [https://bugs.python.org/issue?@action=redirect&bpo=32892].)

expanduser() no Windows agora prefere a variável de ambiente USERPROFILE e não usa HOME, que normalmente não é definido para contas de usuário comuns. (Contribuição de Anthony Sottile em bpo-36264 [https://bugs.python.org/issue?@action=redirect&bpo=36264].)

A exceção asyncio.CancelledError agora herda de BaseException em vez de Exception e não mais herda de concurrent.futures.CancelledError. (Contribuição de Yury Selivanov em bpo-32528 [https://bugs.python.org/issue?@action=redirect&bpo=32528].)

A função asyncio.wait_for() agora aguarda corretamente o cancelamento ao usar uma instância de asyncio.Task. Anteriormente, ao atingir tempo limite, ele era cancelado e devolvido imediatamente. (Contribuição de Elvis Pranskevichus em bpo-32751 [https://bugs.python.org/issue?@action=redirect&bpo=32751].)

A função asyncio.BaseTransport.get_extra_info() agora retorna um objeto soquete seguro de usar quando ‘socket’ é passado para o parâmetro name. (Contribuição de Yury Selivanov em bpo-37027 [https://bugs.python.org/issue?@action=redirect&bpo=37027].)

asyncio.BufferedProtocol foi promovida a API estável.

As dependências de DLL para módulos de extensão e DLLs carregadas com ctypes no Windows agora são resolvidas com mais segurança. Somente os caminhos do sistema, o diretório que contém o arquivo DLL ou PYD e os diretórios adicionados com add_dll_directory() são pesquisados por dependências de tempo de carregamento. Especificamente, PATH e o diretório de trabalho atual não são mais usados, e as modificações nelas não terão mais efeito na resolução normal da DLL. Se seu aplicativo conta com esses mecanismos, você deve verificar add_dll_directory() e, se existir, use-o para adicionar seu diretório DLLs ao carregar sua biblioteca. Observe que os usuários do Windows 7 precisarão garantir que o Windows Update KB2533623 esteja instalado (isso também é verificado pelo instalador). (Contribuição de Steve Dower em bpo-36085 [https://bugs.python.org/issue?@action=redirect&bpo=36085].)

Os arquivos de cabeçalho e as funções relacionadas ao pgen foram removidos após sua substituição por uma implementação pura do Python. (Contribuição de Pablo Galindo em bpo-36623 [https://bugs.python.org/issue?@action=redirect&bpo=36623].)

types.CodeType possui um novo parâmetro na segunda posição do construtor (posonlyargcount *) para suportar argumentos apenas de posição definidos em :pep:`570`. O primeiro argumento (*argcount) agora representa o número total de argumentos posicionais (incluindo argumentos somente posicionais). O novo método replace() de types.CodeType pode ser usado para tornar o código à prova de futuro.

O parâmetro digestmod para hmac.new() não usa mais o resumo MD5 por padrão.

Alterações na API C

A estrutura PyCompilerFlags recebeu um novo campo cf_feature_version. Ele deve ser inicializado para PY_MINOR_VERSION. O campo é ignorado por padrão e é usado se e somente se o sinalizador PyCF_ONLY_AST estiver definido em cf_flags. (Contribuição de Guido van Rossum em bpo-35766 [https://bugs.python.org/issue?@action=redirect&bpo=35766].)

A função PyEval_ReInitThreads() foi removida da API C. Não deve ser chamada explicitamente: use PyOS_AfterFork_Child(). (Contribuição de Victor Stinner em bpo-36728 [https://bugs.python.org/issue?@action=redirect&bpo=36728].)

No Unix, as extensões C não estão mais vinculadas ao libpython, exceto no Android e Cygwin. Quando o Python é incorporado, libpython não deve ser carregado com RTLD_LOCAL, mas RTLD_GLOBAL. Anteriormente, usando RTLD_LOCAL, já não era possível carregar extensões C que não estavam vinculadas a libpython, como extensões C da biblioteca padrão criada pela seção *shared* de Modules/Setup. (Contribuição de Victor Stinner em bpo-21536 [https://bugs.python.org/issue?@action=redirect&bpo=21536].)

O uso de variantes # de formatos na análise ou construção de valor (por exemplo, PyArg_ParseTuple(), Py_BuildValue(), PyObject_CallFunction(), etc.) sem PY_SSIZE_T_CLEAN definido agora levanta DeprecationWarning. Será removido em 3.10 ou 4.0. Leia Análise de argumentos e construção de valores para detalhes. (Contribuição de Inada Naoki em bpo-36381 [https://bugs.python.org/issue?@action=redirect&bpo=36381].)

Instâncias de tipos alocados por heap (como aqueles criados com PyType_FromSpec()) mantêm uma referência ao seu objeto de tipo. O aumento da contagem de referências desses objetos de tipo foi movido de PyType_GenericAlloc() para as funções de nível mais baixo, PyObject_Init() e PyObject_INIT(). Isso faz com que os tipos criados através de PyType_FromSpec() se comportem como outras classes no código gerenciado.

Tipos alocados estaticamente não são afetados.

Para a grande maioria dos casos, não deve haver efeito colateral. No entanto, tipos que aumentam manualmente a contagem de referência após alocar uma instância (talvez para solucionar o bug) agora podem se tornar imortais. Para evitar isso, essas classes precisam chamar Py_DECREF no objeto de tipo durante a desalocação da instância.

Para portar corretamente esses tipos para o 3.8, aplique as seguintes alterações:

Remove Py_INCREF no objeto de tipo depois de alocar uma instância – se houver. Isso pode acontecer após a chamada de PyObject_New, PyObject_NewVar, PyObject_GC_New(), PyObject_GC_NewVar() ou qualquer outro alocador personalizado que use PyObject_Init() ou PyObject_INIT().

Exemplo:

static foo_struct *
foo_new(PyObject *type) {
    foo_struct *foo = PyObject_GC_New(foo_struct, (PyTypeObject *) type);
    if (foo == NULL)
        return NULL;
#if PY_VERSION_HEX < 0x03080000
    // Workaround for Python issue 35810; no longer necessary in Python 3.8
    PY_INCREF(type)
#endif
    return foo;
}

Certifica-se de que todas as funções tp_dealloc personalizadas de tipos alocados em heap diminuam a contagem de referências do tipo.

Exemplo:

static void
foo_dealloc(foo_struct *instance) {
    PyObject *type = Py_TYPE(instance);
    PyObject_GC_Del(instance);
#if PY_VERSION_HEX >= 0x03080000
    // This was not needed before Python 3.8 (Python issue 35810)
    Py_DECREF(type);
#endif
}

(Contribuição de Eddie Elizondo em bpo-35810 [https://bugs.python.org/issue?@action=redirect&bpo=35810].)

A macro Py_DEPRECATED() foi implementada para MSVC. A macro agora deve ser colocada antes do nome do símbolo.

Exemplo:

Py_DEPRECATED(3.8) PyAPI_FUNC(int) Py_OldFunction(void);

(Contribuição de Zackery Spytz em bpo-33407 [https://bugs.python.org/issue?@action=redirect&bpo=33407].)

O interpretador não pretende mais dar suporte à compatibilidade binária de tipos de extensão nas liberações de recursos. O PyTypeObject exportado por um módulo de extensão de terceiros deve ter todos os slots esperados na versão atual do Python, incluindo tp_finalize (Py_TPFLAGS_HAVE_FINALIZE não é mais verificado antes de ler tp_finalize).

(Contribuição de Antoine Pitrou em bpo-32388 [https://bugs.python.org/issue?@action=redirect&bpo=32388].)

As funções PyNode_AddChild() e PyParser_AddToken() agora aceitam dois argumentos adicionais int end_lineno e end_col_offset.

O arquivo libpython38.a para permitir que as ferramentas do MinGW se vinculem diretamente a python38.dll não está mais incluído na distribuição regular do Windows. Se você precisar deste arquivo, ele poderá ser gerado com as ferramentas gendef e dlltool, que fazem parte do pacote binutils do MinGW:

gendef - python38.dll > tmp.def
dlltool --dllname python38.dll --def tmp.def --output-lib libpython38.a

A localização de um arquivo pythonXY.dll dependerá das opções de instalação e da versão e idioma do Windows. Consulte Utilizando Python no Windows para mais informações. A biblioteca resultante deve ser colocada no mesmo diretório que pythonXY.lib, que geralmente é o diretório libs na sua instalação do Python.

(Contribuição de Steve Dower em bpo-37351 [https://bugs.python.org/issue?@action=redirect&bpo=37351].)

Alterações de bytecode do CPython

O loop do interpretador foi simplificado movendo a lógica de desenrolar a pilha de blocos no compilador. O compilador agora emite instruções explícitas para ajustar a pilha de valores e chamar o código de limpeza para break, continue e return.

Removidos os códigos de operação BREAK_LOOP, CONTINUE_LOOP, SETUP_LOOP e SETUP_EXCEPT. Adicionados novos códigos de operação ROT_FOUR, BEGIN_FINALLY, CALL_FINALLY e POP_FINALLY. Alterado o comportamento de END_FINALLY e WITH_CLEANUP_START.

(Contribuição de Mark Shannon, Antoine Pitrou e Serhiy Storchaka em bpo-17611 [https://bugs.python.org/issue?@action=redirect&bpo=17611].)

Adicionado novo código de operação END_ASYNC_FOR para lidar com exceções geradas ao aguardar um próximo item em um loop async for. (Contribuição de Serhiy Storchaka em bpo-33041 [https://bugs.python.org/issue?@action=redirect&bpo=33041].)

O MAP_ADD agora espera o valor como o primeiro elemento na pilha e a chave como o segundo elemento. Essa alteração foi feita para que a chave seja sempre avaliada antes do valor na compreensão do dicionário, conforme proposto em PEP 572 [https://peps.python.org/pep-0572/]. (Contribuição de Jörn Heissler em bpo-35224 [https://bugs.python.org/issue?@action=redirect&bpo=35224].)

Ferramentas e daemons

Adicionado um script de benchmark para cronometrar várias maneiras de acessar variáveis: Tools/scripts/var_access_benchmark.py. (Contribuição de Raymond Hettinger em bpo-35884 [https://bugs.python.org/issue?@action=redirect&bpo=35884].)

Aqui está um resumo das melhorias de desempenho desde Python 3.3:

Python version                       3.3     3.4     3.5     3.6     3.7     3.8
--------------                       ---     ---     ---     ---     ---     ---

Variable and attribute read access:
    read_local                       4.0     7.1     7.1     5.4     5.1     3.9
    read_nonlocal                    5.3     7.1     8.1     5.8     5.4     4.4
    read_global                     13.3    15.5    19.0    14.3    13.6     7.6
    read_builtin                    20.0    21.1    21.6    18.5    19.0     7.5
    read_classvar_from_class        20.5    25.6    26.5    20.7    19.5    18.4
    read_classvar_from_instance     18.5    22.8    23.5    18.8    17.1    16.4
    read_instancevar                26.8    32.4    33.1    28.0    26.3    25.4
    read_instancevar_slots          23.7    27.8    31.3    20.8    20.8    20.2
    read_namedtuple                 68.5    73.8    57.5    45.0    46.8    18.4
    read_boundmethod                29.8    37.6    37.9    29.6    26.9    27.7

Variable and attribute write access:
    write_local                      4.6     8.7     9.3     5.5     5.3     4.3
    write_nonlocal                   7.3    10.5    11.1     5.6     5.5     4.7
    write_global                    15.9    19.7    21.2    18.0    18.0    15.8
    write_classvar                  81.9    92.9    96.0   104.6   102.1    39.2
    write_instancevar               36.4    44.6    45.8    40.0    38.9    35.5
    write_instancevar_slots         28.7    35.6    36.1    27.3    26.6    25.7

Data structure read access:
    read_list                       19.2    24.2    24.5    20.8    20.8    19.0
    read_deque                      19.9    24.7    25.5    20.2    20.6    19.8
    read_dict                       19.7    24.3    25.7    22.3    23.0    21.0
    read_strdict                    17.9    22.6    24.3    19.5    21.2    18.9

Data structure write access:
    write_list                      21.2    27.1    28.5    22.5    21.6    20.0
    write_deque                     23.8    28.7    30.1    22.7    21.8    23.5
    write_dict                      25.9    31.4    33.3    29.3    29.2    24.7
    write_strdict                   22.9    28.4    29.9    27.5    25.2    23.1

Stack (or queue) operations:
    list_append_pop                144.2    93.4   112.7    75.4    74.2    50.8
    deque_append_pop                30.4    43.5    57.0    49.4    49.2    42.5
    deque_append_popleft            30.8    43.7    57.3    49.7    49.7    42.8

Timing loop:
    loop_overhead                    0.3     0.5     0.6     0.4     0.3     0.3

Os benchmarks foram medidos em um processador Intel® Core™ i7-4960HQ [https://ark.intel.com/content/www/us/en/ark/products/76088/intel-core-i7-4960hq-processor-6m-cache-up-to-3-80-ghz.html] nos sistemas macOS 64-bit encontrados em python.org [https://www.python.org/downloads/macos/]. O script de benchmark exibe tempos em nanossegundos.

Alterações notáveis no Python 3.8.1

Devido a significativas preocupações de segurança, o parâmetro reuse_address de asyncio.loop.create_datagram_endpoint() não é mais suportado. Isso ocorre devido ao comportamento da opção de soquete SO_REUSEADDR no UDP. Para mais detalhes, consulte a documentação de loop.create_datagram_endpoint(). (Contribuição de Kyle Stanley, Antoine Pitrou e Yury Selivanov em bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228].)

Alterações notáveis no Python 3.8.2

Corrigida uma regressão com o retorno de chamada ignore de shutil.copytree(). Os tipos de argumento agora são str e List[str] novamente. (Contribuição de Manuel Barkhau e Giampaolo Rodola em gh-83571 [https://github.com/python/cpython/issues/83571].)

Alterações notáveis no Python 3.8.3

Os valores constantes dos futuros sinalizadores no módulo __future__ fpram atualizados para evitar colisão com os sinalizadores do compilador. Anteriormente, PyCF_ALLOW_TOP_LEVEL_AWAIT estava colidindo com CO_FUTURE_DIVISION. (Contribuição de Batuhan Taskaya em gh-83743 [https://github.com/python/cpython/issues/83743])

Alterações notáveis no Python 3.8.8

Versões anteriores do Python permitiam o uso de ; e & como separadores de parâmetros de consulta nas funções urllib.parse.parse_qs() e urllib.parse.parse_qsl(). Devido a questões de segurança, e em conformidade com as recomendações mais recentes do W3C, isso foi alterado para permitir apenas uma única chave separadora, com & como padrão. Esta mudança também afeta as funções cgi.parse() e cgi.parse_multipart() já que elas usam as funções afetadas internamente. Para obter mais detalhes, consulte sua respectiva documentação. (Contribuição de Adam Goldschmidt, Senthil Kumaran e Ken Jin em bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967].)

Alterações notáveis no Python 3.8.9

Uma correção de segurança altera o comportamento ftplib.FTP para não confiar no endereço IPv4 enviado do servidor remoto ao configurar um canal de dados passivo. Em vez disso, reutilizamos o endereço IP do servidor ftp. Para códigos incomuns que requerem o comportamento antigo, defina um atributo trust_server_pasv_ipv4_address em sua instância de FTP para True. (Veja gh-87451 [https://github.com/python/cpython/issues/87451])

Alterações notáveis no Python 3.8.10

Suporte a macOS 11.0 (Big Sur) e Apple Silicon Mac

A partir do 3.8.10, Python oferece suporte total à construção e execução no macOS 11 (Big Sur) e no Apple Silicon Macs (baseado na arquitetura ARM64). Uma nova variante de compilação universal, universal2, está agora disponível com suporte nativo para ARM64 e Intel 64 em um conjunto de executáveis. Observe que suporte para “ligação fraca”, criar binários direcionados para versões mais recentes do macOS que também serão executados corretamente em versões mais antigas através da verificação em tempo de execução por recursos ausentes, não está mais incluída de forma retroativa do Python 3.9; para oferece suporte a uma gama de versões do macOS, continue a visar e a desenvolver para a versão mais antiga do intervalo.

(Contribuição original de Ronald Oussoren e Lawrence D’Anna em gh-85272 [https://github.com/python/cpython/issues/85272], com correções de FX Coudert e Eli Rykoff, e portado para a versão 3.8 por Maxime Bélanger e Ned Deily)

Alterações notáveis no Python 3.8.10

urllib.parse

A presença de caracteres de nova linha ou tab em partes de um URL permite algumas formas de ataques. Seguindo a especificação WHATWG que atualiza RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], nova linha ASCII \n, \r e os caracteres de tabulação \t são retirados da URL pelo analisador sintático em urllib.parse impedindo tais ataques. Os caracteres de remoção são controlados por uma nova variável de nível de módulo urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE. (Veja bpo-43882 [https://bugs.python.org/issue?@action=redirect&bpo=43882])

Alterações notáveis no Python 3.8.12

Alterações na API Python

A partir do Python 3.8.12, o módulo ipaddress não aceita mais zeros à esquerda em strings de endereço IPv4. Os zeros à esquerda são ambíguos e interpretados como notação octal por algumas bibliotecas. Por exemplo, a função legada socket.inet_aton() trata os zeros à esquerda como notação octal. A implementação glibc de inet_pton() moderna não aceita nenhum zeros à esquerda.

(Originalmente contribuição de Christian Heimes em bpo-36384 [https://bugs.python.org/issue?@action=redirect&bpo=36384] e backport para 3.8 por Achraf Merzouki.)

Recursos de segurança notáveis no 3.8.14

Converter entre int e str em bases diferentes de 2 (binário), 4, 8 (octal), 16 (hexadecimal) ou 32 como base 10 (decimal) agora levanta uma exceção ValueError se o número de dígitos em forma de string estiver acima de um limite para evitar possíveis ataques de negação de serviço devido à complexidade algorítmica. Esta é uma mitigação para CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735]. Este limite pode ser configurado ou desabilitado por variável de ambiente, sinalizador de linha de comando ou APIs de sys. Veja a documentação de limitação de comprimento de conversão de string inteira. O limite padrão é de 4300 dígitos em forma de string.

Alterações notáveis no 3.8.17

tarfile

Os métodos de extração em tarfile e shutil.unpack_archive(), têm um novo argumento filter que permite limitar recursos do tar que podem ser surpreendentes ou perigosos, como criar arquivos fora do diretório de destino. Veja Filtros de extração para detalhes. No Python 3.12, usar sem o argumento filter mostrará um DeprecationWarning. No Python 3.14, o padrão mudará para 'data'. (Contribuição de Petr Viktorin em PEP 706 [https://peps.python.org/pep-0706/].)

O que há de novo no Python 3.7

Editor:

Elvis Pranskevichus <elvis@magic.io>

Este artigo explica os novos recursos no Python 3.7, em comparação com 3.6. Python 3.7 foi lançado em 27 de Junho de 2018. Veja changelog para uma lista completa de mudanças.

Resumo – Destaques da versão

Novos recursos de sintaxe:

PEP 563, avaliação postergada de anotações de tipos.

Alterações de sintaxe incompatíveis com versões anteriores:

async e await são agora palavras chave reservadas.

Novos módulos de biblioteca:

contextvars: PEP 567 – Variáveis de Contexto

dataclasses: PEP 557 – Classes de Dados

importlib.resources

Novos recursos embutidos:

PEP 553, a nova função breakpoint().;

Melhorias no modelo de dados Python:

PEP 562, personalização de acesso aos atributos do módulo.

PEP 560, suporte principal para o módulo typing e tipos genéricos.

a natureza de preservação da ordem de inserção de objetos dict foi declarada [https://mail.python.org/pipermail/python-dev/2017-December/151283.html] como uma parte oficial da especificação da linguagem Python.

Melhorias significativas na biblioteca padrão:

O módulo asyncio recebeu novos recursos, significativo à melhorias de usabilidade e desempenho.

O módulo time ganhou suporte para funções com resolução de nanossegundos.

Melhorias na implementação do CPython:

Evitando o uso de ASCII como a codificação de texto padrão:

PEP 538, coerção de localidade C legada

PEP 540, modo de tempo de execução UTF-8 forçado.

PEP 552, .pycs determinísticos

Novo Modo de Desenvolvimento do Python

PEP 565, aprimorada o tratamento de DeprecationWarning

Melhorias na API C:

PEP 539, nova API C para armazenamento local de thread

Melhorias na documentação:

PEP 545, Traduções da documentação do Python

Novas traduções da documentação: japonês [https://docs.python.org/ja/], francês [https://docs.python.org/fr/] e coreano [https://docs.python.org/ko/].

Esta versão apresenta melhorias de desempenho notáveis em muitas áreas. A seção Otimizações os lista em detalhes.

Para uma lista de mudanças que podem afetar a compatibilidade com versões anteriores do Python, consulte a seção Porting to Python 3.7.

Novas funcionalidades

PEP 563: Avaliação Postergada de Anotações

O advento das dicas de tipo no Python revelou dois problemas de usabilidade gritantes com a funcionalidade das anotações adicionadas em PEP 3107 [https://peps.python.org/pep-3107/] e refinadas ainda mais em PEP 526 [https://peps.python.org/pep-0526/]:

as anotações só podiam usar nomes que já estavam disponíveis no escopo atual, ou seja, não suportavam referências de encaminhamento de nenhum tipo; e

anotar o código-fonte teve efeitos adversos no tempo de inicialização dos programas Python.

Ambos os problemas são corrigidos com o adiamento da avaliação das anotações. Em vez de compilar o código que executa expressões em anotações em seu tempo de definição, o compilador armazena a anotação em um formato de string equivalente ao AST da expressão em questão. Se necessário, as anotações podem ser resolvidas em tempo de execução usando digitando.get_type_hints(). No caso comum em que isso não é necessário, as anotações são mais baratas de armazenar (uma vez que strings curtas são internadas pelo interpretador) e tornam o tempo de inicialização mais rápido.

Em termos de usabilidade, as anotações agora suportam referências futuras, tornando a seguinte sintaxe válida:

class C:
    @classmethod
    def from_string(cls, source: str) -> C:
        ...

    def validate_b(self, obj: B) -> bool:
        ...

class B:
    ...

Como essa mudança quebra a compatibilidade, o novo comportamento precisa ser habilitado por módulo no Python 3.7 usando uma importação de __future__

from __future__ import annotations

Ele se tornará o padrão no Python 3.10.

Ver também

PEP 563 [https://peps.python.org/pep-0563/] – avaliação postergada de anotações de tipos

PEP escrita e implementada por Łukasz Langa.

PEP 538: Coerção de localidade C legada

Um desafio contínuo dentro da série Python 3 tem sido determinar uma estratégia padrão sensata para lidar com a suposição de codificação de texto “ASCII de 7 bits” atualmente implícita pelo uso da localidade C ou POSIX padrão em plataformas não Windows.

A PEP 538 [https://peps.python.org/pep-0538/] atualiza a interface de linha de comando do interpretador padrão para forçar automaticamente essa localidade para uma localidade baseada em UTF-8 disponível conforme descrito na documentação da nova variável de ambiente PYTHONCOERCECLOCALE. Configurar automaticamente LC_CTYPE desta forma significa que tanto o interpretador central quanto as extensões C com reconhecimento da localidade (como readline) irão presumir o uso de UTF-8 como a codificação de texto padrão, ao invés de ASCII.

A definição de suporte de plataforma na PEP 11 [https://peps.python.org/pep-0011/] também foi atualizada para limitar o suporte de manipulação de texto completo para localidades não baseadas em ASCII adequadamente configuradas.

Como parte dessa mudança, o tratador de erros padrão para stdin e stdout agora é surrogateescape (em vez de strict) ao usar qualquer uma das localidades de destino de coerção definidas (atualmente C.UTF-8, C.utf8 e UTF-8). O tratador de erros padrão para stderr continua a ser backslashreplace, independente da localidade.

A coerção de localidade é silenciosa por padrão, mas para ajudar na depuração de problemas de integração potencialmente relacionados à localidade, avisos explícitos (emitidos diretamente em stderr) podem ser solicitados configurando PYTHONCOERCECLOCALE=warn. Essa configuração também fará com que o tempo de execução do Python emita um aviso se a localidade C legada permanecer ativa quando o interpretador principal for inicializado.

Embora a coerção de localidade PEP 538 [https://peps.python.org/pep-0538/] tenha o benefício de também afetar os módulos de extensão (como GNU readline), bem como processos filhos (incluindo aqueles que executam aplicativos não Python e versões mais antigas do Python), tem a desvantagem de exigir que uma localidade de destino adequado esteja presente no sistema em execução. Para tratador melhor o caso em que nenhuma localidade de destino adequado está disponível (como ocorre no RHEL/CentOS 7, por exemplo), o Python 3.7 também implementa PEP 540: Modo de tempo de execução UTF-8 forçado.

Ver também

PEP 538 [https://peps.python.org/pep-0538/] – Forçando a localidade C legada para uma localidade baseada em UTF-8

PEP escrita e implementada por Nick Coghlan.

PEP 540: Modo de tempo de execução UTF-8 forçado

A nova opção de linha de comando -X utf8 e a variável de ambiente PYTHONUTF8 podem ser usadas para habilitar o modo UTF-8 do Python.

Quando no modo UTF-8, o CPython ignora as configurações de localidade e usa a codificação UTF-8 por padrão. Os tratador de erros para fluxos sys.stdin e sys.stdout são configurados para surrogateescape.

O modo UTF-8 forçado pode ser usado para alterar o comportamento de manipulação de texto em um interpretador Python embutido sem alterar as configurações de localidade de uma aplicação embutida.

Embora o modo UTF-8 da PEP 540 [https://peps.python.org/pep-0540/] tenha a vantagem de funcionar independentemente de quais localidades estão disponíveis no sistema em execução, ele tem a desvantagem de não ter efeito sobre os módulos de extensão (como GNU readline) , processos filho executando aplicativos não-Python e processos filho executando versões anteriores do Python. Para reduzir o risco de corromper dados de texto ao se comunicar com tais componentes, o Python 3.7 também implementa PEP 540: Modo de tempo de execução UTF-8 forçado).

O modo UTF-8 é habilitado por padrão quando a localidade é C ou POSIX, e o recurso de coerção de localidade PEP 538 [https://peps.python.org/pep-0538/] falha em mudá-la para uma alternativa baseada em UTF-8 (seja falha é devido a PYTHONCOERCECLOCALE=0 sendo definido, LC_ALL sendo definido, ou a falta de uma localidade de destino adequada).

Ver também

PEP 540 [https://peps.python.org/pep-0540/] – Adiciona um novo modo UTF-8

PEP escrito e implementado por Victor Stinner

PEP 553: breakpoint() embutida

Python 3.7 inclui a nova função embutida breakpoint() como uma maneira fácil e consistente de entrar no depurador Python.

breakpoint() embutida chama sys.breakpointhook(). Por padrão, o último importa pdb e então chama pdb.set_trace(), mas ao ligar sys.breakpointhook() à função de sua escolha, breakpoint() pode entrar em qualquer depurador. Além disso, a variável de ambiente PYTHONBREAKPOINT pode ser configurada para o chamável de seu depurador de escolha. Defina PYTHONBREAKPOINT=0 para desabilitar completamente o breakpoint() embutida.

Ver também

PEP 553 [https://peps.python.org/pep-0553/] – breakpoint() embutida

PEP escrita e implementada por Barry Warsaw

PEP 539: Nova API C para armazenamento local de thread

Enquanto Python fornece uma API C para suporte de armazenamento local de thread; a existente API da armazenamento local de thread (TLS) usou int para representar as chaves TLS em todas as plataformas. Isso geralmente não tem sido um problema para plataformas oficialmente suportadas, mas isso não é compatível com POSIX, nem portátil em qualquer sentido prático.

A PEP 539 [https://peps.python.org/pep-0539/] muda isso fornecendo uma nova API de armazenamento específico de thread (TSS) para CPython que substitui o uso da API de TLS existente dentro do interpretador CPython, enquanto descontinua a API existente. A API de TSS usa um novo tipo Py_tss_t em vez de int para representar as chaves de TSS – um tipo não visível cuja definição pode depender da implementação TLS subjacente. Portanto, isso permitirá construir CPython em plataformas onde a chave nativa de TLS é definida de uma forma que não pode ser convertida com segurança para int.

Observe que em plataformas onde a chave TLS nativa é definida de uma forma que não pode ser convertida com segurança para int, todas as funções da API TLS existente serão no-op e retornarão falha imediatamente. Isso indica claramente que a API antiga não é suportada em plataformas onde não pode ser usada de forma confiável e que nenhum esforço será feito para adicionar tal suporte.

Ver também

PEP 539 [https://peps.python.org/pep-0539/] – Uma nova API C para armazenamento local de thread no CPython

PEP escrita por Erik M. Bray; implementação por Masayuki Yamamoto.

PEP 562: Personalização de acesso aos atributos do módulo

Python 3.7 permite definir __getattr__() em módulos e irá chamá-lo sempre que um atributo de módulo não for encontrado. Definir __dir__() em módulos agora também é permitido.

Um exemplo típico de onde isso pode ser útil é a descontinuação do atributo do módulo e o carregamento preguiçoso ou lazy.

Ver também

PEP 562 [https://peps.python.org/pep-0562/] – Módulo __getattr__ e __dir__

PEP escrita e implementada por Ivan Levkivskyi

PEP 564: Novas funções de tempo com resolução de nanossegundos

A resolução dos relógios em sistemas modernos pode exceder a precisão limitada de um número de ponto flutuante retornado pela função time.time() e suas variantes. Para evitar perda de precisão, PEP 564 [https://peps.python.org/pep-0564/] adiciona seis novas variantes em “nanossegundos” das funções de temporizador existentes ao módulo time:

time.clock_gettime_ns()

time.clock_settime_ns()

time.monotonic_ns()

time.perf_counter_ns()

time.process_time_ns()

time.time_ns()

As novas funções retornam o número de nanossegundos como um valor inteiro.

Measurements [https://peps.python.org/pep-0564/#annex-clocks-resolution-in-python] show that on Linux and Windows the resolution of time.time_ns() is approximately 3 times better than that of time.time().

Ver também

PEP 564 [https://peps.python.org/pep-0564/] – Adiciona novas funções de tempo com resolução de nanossegundos

PEP escrito e implementado por Victor Stinner

PEP 565: Mostra DeprecationWarning em __main__

O tratamento padrão de DeprecationWarning foi alterado de forma que esses avisos sejam mais uma vez mostrados por padrão, mas apenas quando o código que os aciona está sendo executado diretamente no módulo __main__. Como resultado, os desenvolvedores de scripts de arquivo único e aqueles que usam Python interativamente devem mais uma vez começar a ver avisos de descontinuação para as APIs que usam, mas os avisos de descontinuação acionados por aplicações importadas, biblioteca e módulos de estrutura continuarão ocultos por padrão.

Como resultado dessa mudança, a biblioteca padrão agora permite que os desenvolvedores escolham entre três comportamentos diferentes de aviso de descontinuação:

FutureWarning: sempre exibida por padrão, recomendado para avisos que devem ser vistos pelos usuários finais da aplicação (por exemplo, para definições de configuração de aplicações descontinuadas).

DeprecationWarning: exibida por padrão apenas em __main__ e ao executar testes, recomendado para avisos que devem ser vistos por outros desenvolvedores Python onde uma atualização de versão pode resultar em mudança de comportamento ou um erro.

PendingDeprecationWarning: exibida por padrão apenas ao executar testes, destinados a casos em que uma atualização de versão futura mudará a categoria de aviso para DeprecationWarning ou FutureWarning.

Anteriormente, ambas DeprecationWarning e PendingDeprecationWarning eram visíveis apenas durante a execução de testes, o que significava que os desenvolvedores principalmente escrevendo scripts de arquivo único ou usando Python interativamente poderiam ser surpreendidos por alterações nas APIs que usavam.

Ver também

PEP 565 [https://peps.python.org/pep-0565/] – Show DeprecationWarning in __main__

PEP escrita e implementada por Nick Coghlan

PEP 560: Suporte básico para módulo typing e tipos genéricos

Inicialmente a PEP 484 [https://peps.python.org/pep-0484/] foi projetado de tal forma que não introduziria nenhuma mudança no interpretador CPython central. Agora que type hints e o módulo typing são amplamente usados pela comunidade, então esta restrição foi removida. A PEP introduz dois métodos especiais __class_getitem__() e __mro_entries__, esses métodos agora são usados pela maioria das classes e construções especiais em typing. Como resultado, a velocidade de várias operações com tipos aumentou em até 7 vezes, os tipos genéricos podem ser usados sem conflitos de metaclasse e vários bugs de longa data no módulo typing foram corrigidos.

Ver também

PEP 560 [https://peps.python.org/pep-0560/] – Suporte básico para módulo typing e tipos genéricos

PEP escrita e implementada por Ivan Levkivskyi

PEP 552: Arquivos .pyc baseados em hash

O Python tradicionalmente verifica a atualização dos arquivos de cache em bytecode (ou seja, arquivos .pyc) comparando os metadados da fonte (registro de data e hora e tamanho da última modificação) com os metadados da fonte salvos no cabeçalho do arquivo de cache quando foi gerado. Embora eficaz, esse método de invalidação tem suas desvantagens. Quando os registros de data e hora do sistema de arquivos são muito grosseiros, o Python pode perder as atualizações de origem, levando à confusão do usuário. Além disso, ter um registro de data e hora no arquivo de cache é problemático para reprodutibilidade de compilação [https://reproducible-builds.org/] e sistemas de compilação baseados em conteúdo.

PEP 552 [https://peps.python.org/pep-0552/] estende o formato pyc para permitir que o hash do arquivo de origem seja usado para invalidação em vez do registro de data e hora da fonte. Esses arquivos .pyc são chamados de “baseados em hash”. Por padrão, Python ainda usa invalidação baseada em registro de data e hora e não gera arquivos .pyc baseados em hash em tempo de execução. Arquivos .pyc baseados em hash podem ser gerados com py_compile ou compileall.

Arquivos .pyc baseados em hash vêm em duas variantes: verificados e não verificados. Python valida arquivos .pyc baseados em hash verificados em relação aos arquivos fonte correspondentes em tempo de execução, mas não o faz para pycs baseados em hash não verificados. Arquivos .pyc baseados em hash não verificados são uma otimização de desempenho útil para ambientes onde um sistema externo ao Python (por exemplo, o sistema de construção) é responsável por manter os arquivos .pyc atualizados.

Veja a função Invalidação de bytecode em cache para mais informações.

Ver também

PEP 552 [https://peps.python.org/pep-0552/] – pycs determinísticos

PEP escrita e implementada por Benjamin Peterson

PEP 545: Traduções da documentação do Python

PEP 545 [https://peps.python.org/pep-0545/] descreve o processo de criação a manutenção das traduções da documentação do Python.

Três novas traduções foram adicionadas:

Japonês: https://docs.python.org/ja/

Francês: https://docs.python.org/fr/

Coreano: https://docs.python.org/ko/

Ver também

PEP 545 [https://peps.python.org/pep-0545/] – Traduções da documentação do Python

PEP escrita e implementada por Julien Palard, Inada Naoki e Victor Stinner.

Modo de Desenvolvimento do Python (-X dev)

A nova opção de linha de comando -X dev ou a nova variável de ambiente PYTHONDEVMODE pode ser usada para habilitar Modo de Desenvolvimento do Python. Quando está no modo de desenvolvimento, o Python executa verificações adicionais em tempo de execução que são muito caras para serem habilitadas por padrão. Veja a documentação Modo de Desenvolvimento do Python para a descrição completa.

Outras mudanças na linguagem

Uma expressão await e compreensões contendo uma cláusula async for eram ilegais nas expressões em literais de strings formatadas devido a um problema com a implementação. No Python 3.7, esta restrição foi retirada.

Mais de 255 argumentos agora podem ser passados para uma função, e uma função agora pode ter mais de 255 parâmetros. (Contribuição de Serhiy Storchaka em bpo-12844 [https://bugs.python.org/issue?@action=redirect&bpo=12844] e bpo-18896 [https://bugs.python.org/issue?@action=redirect&bpo=18896].)

bytes.fromhex() e bytearray.fromhex() agora ignoram todos os espaços em branco ASCII, não apenas espaços. (Contribuição de Robert Xiao em bpo-28927 [https://bugs.python.org/issue?@action=redirect&bpo=28927].)

str, bytes e bytearray ganharam suporte para o novo método isascii(), que pode ser usado para testar se uma string ou bytes contêm apenas os caracteres ASCII. (Contribuição de INADA Naoki em bpo-32677 [https://bugs.python.org/issue?@action=redirect&bpo=32677].)

ImportError agora exibe o nome do módulo e o caminho do módulo __file__ quando from ... import ... falha. (Contribuição de Matthias Bussonnier em bpo-29546 [https://bugs.python.org/issue?@action=redirect&bpo=29546].)

Importações circulares envolvendo importações absolutas com ligação de um submódulo a um nome agora são suportadas. (Contribuição de Serhiy Storchaka em bpo-30024 [https://bugs.python.org/issue?@action=redirect&bpo=30024].)

object.__format__(x, '') agora é equivalente a str(x) em vez de format(str(self), ''). (Contribuição de Serhiy Storchaka em bpo-28974 [https://bugs.python.org/issue?@action=redirect&bpo=28974].)

Para melhor prover suporte à criação dinâmica de rastreamentos de pilha, types.TracebackType agora pode ser instanciado a partir do código Python, e o atributo tb_next em tracebacks agora é gravável. (Contribuição de Nathaniel J. Smith em bpo-30579 [https://bugs.python.org/issue?@action=redirect&bpo=30579].)

Ao usar a opção -m, sys.path[0] agora é expandido para o caminho completo do diretório inicial, em vez de ser deixado como o diretório vazio (o que permite importações do atual diretório de trabalho no momento em que ocorre uma importação) (Contribuição de Nick Coghlan em bpo-33053 [https://bugs.python.org/issue?@action=redirect&bpo=33053].)

A nova opção -X importtime ou a variável de ambiente PYTHONPROFILEIMPORTTIME pode ser usada para mostrar o tempo de cada importação de módulo. (Contribuição de Inada Naoki em bpo-31415 [https://bugs.python.org/issue?@action=redirect&bpo=31415].)

Novos módulos

contextvars

O novo módulo contextvars e um conjunto de novas APIs C introduzem suporte para variáveis de contexto. Variáveis de contexto são conceitualmente semelhantes às variáveis locais de thread. Ao contrário do TLS, as variáveis de contexto oferecem suporte a código assíncrono corretamente.

Os módulos asyncio e decimal foram atualizados para usar e prover suporte a variáveis de contexto prontas para uso. Particularmente o contexto decimal ativo agora é armazenado em uma variável de contexto, o que permite que operações decimais funcionem com o contexto correto em código assíncrono.

Ver também

PEP 567 [https://peps.python.org/pep-0567/] – Variáveis de contexto

PEP escrita e implementada por Yury Selivanov

dataclasses

O novo decorador dataclass() fornece uma maneira de declarar classes de dados. Uma classe de dados descreve seus atributos usando anotações de variáveis de classe. Seu construtor e outros métodos mágicos, como __repr__(), __eq__() e __hash__() são gerados automaticamente.

Exemplo:

@dataclass
class Point:
    x: float
    y: float
    z: float = 0.0

p = Point(1.5, 2.5)
print(p)   # produces "Point(x=1.5, y=2.5, z=0.0)"

Ver também

PEP 557 [https://peps.python.org/pep-0557/] – Classes de dados

PEP escrita e implementada por Eric V. Smith

importlib.resources

The new importlib.resources module provides several new APIs and one new ABC for access to, opening, and reading resources inside packages. Resources are roughly similar to files inside packages, but they needn’t be actual files on the physical file system. Module loaders can provide a get_resource_reader() function which returns a importlib.abc.ResourceReader instance to support this new API. Built-in file path loaders and zip file loaders both support this.

(Contribuição de Barry Warsaw e Brett Cannon em bpo-32248 [https://bugs.python.org/issue?@action=redirect&bpo=32248].)

Ver também

importlib_resources [https://importlib-resources.readthedocs.io/en/latest/] – um backport do PyPI para versões anteriores do Python.

Módulos melhorados

argparse

O novo método ArgumentParser.parse_intermixed_args() permite misturar opções e argumentos posicionais. (Contribuição de paul.j3 em bpo-14191 [https://bugs.python.org/issue?@action=redirect&bpo=14191].)

asyncio

O módulo asyncio recebeu muitos novos recursos, usabilidade e melhorias de desempenho. Mudanças notáveis incluem:

A nova função provisória asyncio.run() pode ser usada para executar uma corrotina a partir de código síncrono criando e destruindo automaticamente o laço de eventos. (Contribuição de Yury Selivanov em bpo-32314 [https://bugs.python.org/issue?@action=redirect&bpo=32314].)

asyncio ganhou suporte para contextvars. loop.call_soon(), loop.call_soon_threadsafe(), loop.call_later(), loop.call_at() e Future.add_done_callback() têm um novo parâmetro somente-nomeado opcional context. Tasks agora rastreia seu contexto automaticamente. Veja PEP 567 [https://peps.python.org/pep-0567/] para mais detalhes. (Contribuição de Yury Selivanov em bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436].)

A nova função asyncio.create_task() foi adicionada como um atalho para asyncio.get_event_loop().create_task(). (Contribuição de Andrew Svetlov em bpo-32311 [https://bugs.python.org/issue?@action=redirect&bpo=32311].)

O novo método loop.start_tls() pode ser usado para atualizar uma conexão existente para TLS. (Contribuição de Yury Selivanov em bpo-23749 [https://bugs.python.org/issue?@action=redirect&bpo=23749].)

O novo método loop.sock_recv_into() permite a leitura de dados de um soquete diretamente em um buffer fornecido, tornando possível reduzir as cópias de dados. (Contribuição de Antoine Pitrou em bpo-31819 [https://bugs.python.org/issue?@action=redirect&bpo=31819].)

A nova função asyncio.current_task() retorna a instância Task atualmente em execução, e a nova função asyncio.all_tasks() retorna um conjunto de todas as instâncias Task existentes em um determinado laço. Os métodos Task.current_task() e Task.all_tasks() foram descontinuados. (Contribuição de Andrew Svetlov em bpo-32250 [https://bugs.python.org/issue?@action=redirect&bpo=32250].)

A nova classe provisória BufferedProtocol permite implementar protocolos de streaming com controle manual sobre o buffer de recebimento. (Contribuição de Yury Selivanov em bpo-32251 [https://bugs.python.org/issue?@action=redirect&bpo=32251].)

A nova função asyncio.get_running_loop() retorna o laço atualmente em execução e levanta uma exceção RuntimeError se nenhum laço estiver em execução. Isto contrasta com asyncio.get_event_loop(), que irá criar um novo laço de eventos se nenhum estiver em execução. (Contribuição de Yury Selivanov em bpo-32269 [https://bugs.python.org/issue?@action=redirect&bpo=32269].)

O novo método de corrotina StreamWriter.wait_closed() permite esperar até que o gravador de fluxo seja fechado. O novo método StreamWriter.is_closing() pode ser usado para determinar se o gravador está fechando. (Contribuição de Andrew Svetlov em bpo-32391 [https://bugs.python.org/issue?@action=redirect&bpo=32391].)

O novo método de corrotina loop.sock_sendfile() permite enviar arquivos usando os.sendfile quando possível. (Contribuição de Andrew Svetlov em bpo-32410 [https://bugs.python.org/issue?@action=redirect&bpo=32410].)

Os novos métodos Future.get_loop() e Task.get_loop() retornam a instância do laço no qual uma tarefa ou um future foi criado. Server.get_loop() permite fazer o mesmo para objetos asyncio.Server. (Contribuição de Yury Selivanov em bpo-32415 [https://bugs.python.org/issue?@action=redirect&bpo=32415] e Srinivas Reddy Thatiparthy em bpo-32418 [https://bugs.python.org/issue?@action=redirect&bpo=32418].)

Agora é possível controlar como as instâncias de asyncio.Server começam a servir. Anteriormente, o servidor começaria a servir imediatamente após ser criado. O novo argumento nomeado start_serving para loop.create_server() e loop.create_unix_server(), bem como Server.start_serving() e Server.serve_forever() podem ser usados para dissociar a instanciação e o serviço do servidor. O novo método Server.is_serving() retorna True se o servidor estiver servindo. Os objetos Server agora são gerenciadores de contexto assíncronos:

srv = await loop.create_server(...)

async with srv:
    # some code

# At this point, srv is closed and no longer accepts new connections.

(Contribuição de Yury Selivanov em bpo-32662 [https://bugs.python.org/issue?@action=redirect&bpo=32662].)

Objetos de retorno de chamada retornados por loop.call_later() ganharam o novo método when() que retorna um registro de data e hora de retorno de chamada agendado absoluto. (Contribuição de Andrew Svetlov em bpo-32741 [https://bugs.python.org/issue?@action=redirect&bpo=32741].)

O método loop.create_datagram_endpoint() ganhou suporte para soquetes Unix. (Contribuição de Quentin Dawans em bpo-31245 [https://bugs.python.org/issue?@action=redirect&bpo=31245].)

As funções asyncio.open_connection(), asyncio.start_server(), os métodos loop.create_connection(), loop.create_server(), loop.create_accepted_socket() e suas variantes de soquete UNIX correspondentes agora aceitam o argumento nomeado ssl_handshake_timeout. (Contribuição de Neil Aspinall em bpo-29970 [https://bugs.python.org/issue?@action=redirect&bpo=29970].)

O novo método Handle.cancelled() retorna True se o retorno de chamada foi cancelado. (Contribuição de Marat Sharafutdinov em bpo-31943 [https://bugs.python.org/issue?@action=redirect&bpo=31943].)

A fonte de asyncio foi convertida para usar a sintaxe async/await. (Contribuição de Andrew Svetlov em bpo-32193 [https://bugs.python.org/issue?@action=redirect&bpo=32193].)

The new ReadTransport.is_reading() method can be used to determine the reading state of the transport. Additionally, calls to ReadTransport.resume_reading() and ReadTransport.pause_reading() are now idempotent. (Contributed by Yury Selivanov in bpo-32356 [https://bugs.python.org/issue?@action=redirect&bpo=32356].)

Loop methods which accept socket paths now support passing path-like objects. (Contributed by Yury Selivanov in bpo-32066 [https://bugs.python.org/issue?@action=redirect&bpo=32066].)

In asyncio TCP sockets on Linux are now created with TCP_NODELAY flag set by default. (Contributed by Yury Selivanov and Victor Stinner in bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456].)

Exceptions occurring in cancelled tasks are no longer logged. (Contributed by Yury Selivanov in bpo-30508 [https://bugs.python.org/issue?@action=redirect&bpo=30508].)

New WindowsSelectorEventLoopPolicy and WindowsProactorEventLoopPolicy classes. (Contributed by Yury Selivanov in bpo-33792 [https://bugs.python.org/issue?@action=redirect&bpo=33792].)

Several asyncio APIs have been deprecated.

binascii

The b2a_uu() function now accepts an optional backtick keyword argument. When it’s true, zeros are represented by '`' instead of spaces. (Contributed by Xiang Zhang in bpo-30103 [https://bugs.python.org/issue?@action=redirect&bpo=30103].)

calendar

The HTMLCalendar class has new class attributes which ease the customization of CSS classes in the produced HTML calendar. (Contributed by Oz Tiram in bpo-30095 [https://bugs.python.org/issue?@action=redirect&bpo=30095].)

collections

collections.namedtuple() now supports default values. (Contributed by Raymond Hettinger in bpo-32320 [https://bugs.python.org/issue?@action=redirect&bpo=32320].)

compileall

compileall.compile_dir() learned the new invalidation_mode parameter, which can be used to enable hash-based .pyc invalidation. The invalidation mode can also be specified on the command line using the new --invalidation-mode argument. (Contributed by Benjamin Peterson in bpo-31650 [https://bugs.python.org/issue?@action=redirect&bpo=31650].)

concurrent.futures

ProcessPoolExecutor and ThreadPoolExecutor now support the new initializer and initargs constructor arguments. (Contributed by Antoine Pitrou in bpo-21423 [https://bugs.python.org/issue?@action=redirect&bpo=21423].)

The ProcessPoolExecutor can now take the multiprocessing context via the new mp_context argument. (Contributed by Thomas Moreau in bpo-31540 [https://bugs.python.org/issue?@action=redirect&bpo=31540].)

contextlib

The new nullcontext() is a simpler and faster no-op context manager than ExitStack. (Contributed by Jesse-Bakker in bpo-10049 [https://bugs.python.org/issue?@action=redirect&bpo=10049].)

The new asynccontextmanager(), AbstractAsyncContextManager, and AsyncExitStack have been added to complement their synchronous counterparts. (Contributed by Jelle Zijlstra in bpo-29679 [https://bugs.python.org/issue?@action=redirect&bpo=29679] and bpo-30241 [https://bugs.python.org/issue?@action=redirect&bpo=30241], and by Alexander Mohr and Ilya Kulakov in bpo-29302 [https://bugs.python.org/issue?@action=redirect&bpo=29302].)

cProfile

The cProfile command line now accepts -m module_name as an alternative to script path. (Contributed by Sanyam Khurana in bpo-21862 [https://bugs.python.org/issue?@action=redirect&bpo=21862].)

crypt

The crypt module now supports the Blowfish hashing method. (Contributed by Serhiy Storchaka in bpo-31664 [https://bugs.python.org/issue?@action=redirect&bpo=31664].)

The mksalt() function now allows specifying the number of rounds for hashing. (Contributed by Serhiy Storchaka in bpo-31702 [https://bugs.python.org/issue?@action=redirect&bpo=31702].)

datetime

The new datetime.fromisoformat() method constructs a datetime object from a string in one of the formats output by datetime.isoformat(). (Contributed by Paul Ganssle in bpo-15873 [https://bugs.python.org/issue?@action=redirect&bpo=15873].)

The tzinfo class now supports sub-minute offsets. (Contributed by Alexander Belopolsky in bpo-5288 [https://bugs.python.org/issue?@action=redirect&bpo=5288].)

dbm

dbm.dumb now supports reading read-only files and no longer writes the index file when it is not changed.

decimal

The decimal module now uses context variables to store the decimal context. (Contributed by Yury Selivanov in bpo-32630 [https://bugs.python.org/issue?@action=redirect&bpo=32630].)

dis

The dis() function is now able to disassemble nested code objects (the code of comprehensions, generator expressions and nested functions, and the code used for building nested classes). The maximum depth of disassembly recursion is controlled by the new depth parameter. (Contributed by Serhiy Storchaka in bpo-11822 [https://bugs.python.org/issue?@action=redirect&bpo=11822].)

distutils

README.rst is now included in the list of distutils standard READMEs and therefore included in source distributions. (Contributed by Ryan Gonzalez in bpo-11913 [https://bugs.python.org/issue?@action=redirect&bpo=11913].)

enum

The Enum learned the new _ignore_ class property, which allows listing the names of properties which should not become enum members. (Contributed by Ethan Furman in bpo-31801 [https://bugs.python.org/issue?@action=redirect&bpo=31801].)

In Python 3.8, attempting to check for non-Enum objects in Enum classes will raise a TypeError (e.g. 1 in Color); similarly, attempting to check for non-Flag objects in a Flag member will raise TypeError (e.g. 1 in Perm.RW); currently, both operations return False instead and are deprecated. (Contributed by Ethan Furman in bpo-33217 [https://bugs.python.org/issue?@action=redirect&bpo=33217].)

functools

functools.singledispatch() now supports registering implementations using type annotations. (Contributed by Łukasz Langa in bpo-32227 [https://bugs.python.org/issue?@action=redirect&bpo=32227].)

gc

The new gc.freeze() function allows freezing all objects tracked by the garbage collector and excluding them from future collections. This can be used before a POSIX fork() call to make the GC copy-on-write friendly or to speed up collection. The new gc.unfreeze() functions reverses this operation. Additionally, gc.get_freeze_count() can be used to obtain the number of frozen objects. (Contributed by Li Zekun in bpo-31558 [https://bugs.python.org/issue?@action=redirect&bpo=31558].)

hmac

The hmac module now has an optimized one-shot digest() function, which is up to three times faster than HMAC(). (Contributed by Christian Heimes in bpo-32433 [https://bugs.python.org/issue?@action=redirect&bpo=32433].)

http.client

HTTPConnection and HTTPSConnection now support the new blocksize argument for improved upload throughput. (Contributed by Nir Soffer in bpo-31945 [https://bugs.python.org/issue?@action=redirect&bpo=31945].)

http.server

SimpleHTTPRequestHandler now supports the HTTP If-Modified-Since header. The server returns the 304 response status if the target file was not modified after the time specified in the header. (Contributed by Pierre Quentel in bpo-29654 [https://bugs.python.org/issue?@action=redirect&bpo=29654].)

SimpleHTTPRequestHandler accepts the new directory argument, in addition to the new --directory command line argument. With this parameter, the server serves the specified directory, by default it uses the current working directory. (Contributed by Stéphane Wirtel and Julien Palard in bpo-28707 [https://bugs.python.org/issue?@action=redirect&bpo=28707].)

The new ThreadingHTTPServer class uses threads to handle requests using ThreadingMixin. It is used when http.server is run with -m. (Contributed by Julien Palard in bpo-31639 [https://bugs.python.org/issue?@action=redirect&bpo=31639].)

idlelib e IDLE

Multiple fixes for autocompletion. (Contributed by Louie Lu in bpo-15786 [https://bugs.python.org/issue?@action=redirect&bpo=15786].)

Module Browser (on the File menu, formerly called Class Browser), now displays nested functions and classes in addition to top-level functions and classes. (Contributed by Guilherme Polo, Cheryl Sabella, and Terry Jan Reedy in bpo-1612262 [https://bugs.python.org/issue?@action=redirect&bpo=1612262].)

The Settings dialog (Options, Configure IDLE) has been partly rewritten to improve both appearance and function. (Contributed by Cheryl Sabella and Terry Jan Reedy in multiple issues.)

The font sample now includes a selection of non-Latin characters so that users can better see the effect of selecting a particular font. (Contributed by Terry Jan Reedy in bpo-13802 [https://bugs.python.org/issue?@action=redirect&bpo=13802].) The sample can be edited to include other characters. (Contributed by Serhiy Storchaka in bpo-31860 [https://bugs.python.org/issue?@action=redirect&bpo=31860].)

The IDLE features formerly implemented as extensions have been reimplemented as normal features. Their settings have been moved from the Extensions tab to other dialog tabs. (Contributed by Charles Wohlganger and Terry Jan Reedy in bpo-27099 [https://bugs.python.org/issue?@action=redirect&bpo=27099].)

Editor code context option revised. Box displays all context lines up to maxlines. Clicking on a context line jumps the editor to that line. Context colors for custom themes is added to Highlights tab of Settings dialog. (Contributed by Cheryl Sabella and Terry Jan Reedy in bpo-33642 [https://bugs.python.org/issue?@action=redirect&bpo=33642], bpo-33768 [https://bugs.python.org/issue?@action=redirect&bpo=33768], and bpo-33679 [https://bugs.python.org/issue?@action=redirect&bpo=33679].)

On Windows, a new API call tells Windows that tk scales for DPI. On Windows 8.1+ or 10, with DPI compatibility properties of the Python binary unchanged, and a monitor resolution greater than 96 DPI, this should make text and lines sharper. It should otherwise have no effect. (Contributed by Terry Jan Reedy in bpo-33656 [https://bugs.python.org/issue?@action=redirect&bpo=33656].)

New in 3.7.1:

A saída em N linhas (50 por padrão) é compactada até um limite inferior. N pode ser alterado na seção PyShell da página General da caixa de diálogo Settings. Menos linhas, mas possivelmente extra longas, podem ser espremidas clicando com o botão direito do mouse na saída. A saída compactada pode ser expandida no local clicando duas vezes no botão ou na área de transferência ou em uma janela separada clicando com o botão direito do mouse. (Contribuição de Tal Einat em bpo-1529353 [https://bugs.python.org/issue?@action=redirect&bpo=1529353].)

The changes above have been backported to 3.6 maintenance releases.

NEW in 3.7.4:

Add “Run Customized” to the Run menu to run a module with customized settings. Any command line arguments entered are added to sys.argv. They re-appear in the box for the next customized run. One can also suppress the normal Shell main module restart. (Contributed by Cheryl Sabella, Terry Jan Reedy, and others in bpo-5680 [https://bugs.python.org/issue?@action=redirect&bpo=5680] and bpo-37627 [https://bugs.python.org/issue?@action=redirect&bpo=37627].)

New in 3.7.5:

Add optional line numbers for IDLE editor windows. Windows open without line numbers unless set otherwise in the General tab of the configuration dialog. Line numbers for an existing window are shown and hidden in the Options menu. (Contributed by Tal Einat and Saimadhav Heblikar in bpo-17535 [https://bugs.python.org/issue?@action=redirect&bpo=17535].)

importlib

The importlib.abc.ResourceReader ABC was introduced to support the loading of resources from packages. See also importlib.resources. (Contributed by Barry Warsaw, Brett Cannon in bpo-32248 [https://bugs.python.org/issue?@action=redirect&bpo=32248].)

importlib.reload() now raises ModuleNotFoundError if the module lacks a spec. (Contributed by Garvit Khatri in bpo-29851 [https://bugs.python.org/issue?@action=redirect&bpo=29851].)

importlib.find_spec() now raises ModuleNotFoundError instead of AttributeError if the specified parent module is not a package (i.e. lacks a __path__ attribute). (Contributed by Milan Oberkirch in bpo-30436 [https://bugs.python.org/issue?@action=redirect&bpo=30436].)

The new importlib.source_hash() can be used to compute the hash of the passed source. A hash-based .pyc file embeds the value returned by this function.

io

The new TextIOWrapper.reconfigure() method can be used to reconfigure the text stream with the new settings. (Contributed by Antoine Pitrou in bpo-30526 [https://bugs.python.org/issue?@action=redirect&bpo=30526] and INADA Naoki in bpo-15216 [https://bugs.python.org/issue?@action=redirect&bpo=15216].)

ipaddress

The new subnet_of() and supernet_of() methods of ipaddress.IPv6Network and ipaddress.IPv4Network can be used for network containment tests. (Contributed by Michel Albert and Cheryl Sabella in bpo-20825 [https://bugs.python.org/issue?@action=redirect&bpo=20825].)

itertools

itertools.islice() now accepts integer-like objects as start, stop, and slice arguments. (Contributed by Will Roberts in bpo-30537 [https://bugs.python.org/issue?@action=redirect&bpo=30537].)

locale

The new monetary argument to locale.format_string() can be used to make the conversion use monetary thousands separators and grouping strings. (Contributed by Garvit in bpo-10379 [https://bugs.python.org/issue?@action=redirect&bpo=10379].)

The locale.getpreferredencoding() function now always returns 'UTF-8' on Android or when in the forced UTF-8 mode.

logging

Logger instances can now be pickled. (Contributed by Vinay Sajip in bpo-30520 [https://bugs.python.org/issue?@action=redirect&bpo=30520].)

The new StreamHandler.setStream() method can be used to replace the logger stream after handler creation. (Contributed by Vinay Sajip in bpo-30522 [https://bugs.python.org/issue?@action=redirect&bpo=30522].)

It is now possible to specify keyword arguments to handler constructors in configuration passed to logging.config.fileConfig(). (Contributed by Preston Landers in bpo-31080 [https://bugs.python.org/issue?@action=redirect&bpo=31080].)

math

The new math.remainder() function implements the IEEE 754-style remainder operation. (Contributed by Mark Dickinson in bpo-29962 [https://bugs.python.org/issue?@action=redirect&bpo=29962].)

mimetypes

The MIME type of .bmp has been changed from 'image/x-ms-bmp' to 'image/bmp'. (Contributed by Nitish Chandra in bpo-22589 [https://bugs.python.org/issue?@action=redirect&bpo=22589].)

msilib

The new Database.Close() method can be used to close the MSI database. (Contributed by Berker Peksag in bpo-20486 [https://bugs.python.org/issue?@action=redirect&bpo=20486].)

multiprocessing

The new Process.close() method explicitly closes the process object and releases all resources associated with it. ValueError is raised if the underlying process is still running. (Contributed by Antoine Pitrou in bpo-30596 [https://bugs.python.org/issue?@action=redirect&bpo=30596].)

The new Process.kill() method can be used to terminate the process using the SIGKILL signal on Unix. (Contributed by Vitor Pereira in bpo-30794 [https://bugs.python.org/issue?@action=redirect&bpo=30794].)

Non-daemonic threads created by Process are now joined on process exit. (Contributed by Antoine Pitrou in bpo-18966 [https://bugs.python.org/issue?@action=redirect&bpo=18966].)

os

os.fwalk() now accepts the path argument as bytes. (Contributed by Serhiy Storchaka in bpo-28682 [https://bugs.python.org/issue?@action=redirect&bpo=28682].)

os.scandir() gained support for file descriptors. (Contributed by Serhiy Storchaka in bpo-25996 [https://bugs.python.org/issue?@action=redirect&bpo=25996].)

The new register_at_fork() function allows registering Python callbacks to be executed at process fork. (Contributed by Antoine Pitrou in bpo-16500 [https://bugs.python.org/issue?@action=redirect&bpo=16500].)

Added os.preadv() (combine the functionality of os.readv() and os.pread()) and os.pwritev() functions (combine the functionality of os.writev() and os.pwrite()). (Contributed by Pablo Galindo in bpo-31368 [https://bugs.python.org/issue?@action=redirect&bpo=31368].)

The mode argument of os.makedirs() no longer affects the file permission bits of newly created intermediate-level directories. (Contributed by Serhiy Storchaka in bpo-19930 [https://bugs.python.org/issue?@action=redirect&bpo=19930].)

os.dup2() now returns the new file descriptor. Previously, None was always returned. (Contributed by Benjamin Peterson in bpo-32441 [https://bugs.python.org/issue?@action=redirect&bpo=32441].)

The structure returned by os.stat() now contains the st_fstype attribute on Solaris and its derivatives. (Contributed by Jesús Cea Avión in bpo-32659 [https://bugs.python.org/issue?@action=redirect&bpo=32659].)

pathlib

The new Path.is_mount() method is now available on POSIX systems and can be used to determine whether a path is a mount point. (Contributed by Cooper Ry Lees in bpo-30897 [https://bugs.python.org/issue?@action=redirect&bpo=30897].)

pdb

pdb.set_trace() now takes an optional header keyword-only argument. If given, it is printed to the console just before debugging begins. (Contributed by Barry Warsaw in bpo-31389 [https://bugs.python.org/issue?@action=redirect&bpo=31389].)

pdb command line now accepts -m module_name as an alternative to script file. (Contributed by Mario Corchero in bpo-32206 [https://bugs.python.org/issue?@action=redirect&bpo=32206].)

py_compile

py_compile.compile() – and by extension, compileall – now respects the SOURCE_DATE_EPOCH environment variable by unconditionally creating .pyc files for hash-based validation. This allows for guaranteeing reproducible builds [https://reproducible-builds.org/] of .pyc files when they are created eagerly. (Contributed by Bernhard M. Wiedemann in bpo-29708 [https://bugs.python.org/issue?@action=redirect&bpo=29708].)

pydoc

The pydoc server can now bind to an arbitrary hostname specified by the new -n command-line argument. (Contributed by Feanil Patel in bpo-31128 [https://bugs.python.org/issue?@action=redirect&bpo=31128].)

queue

The new SimpleQueue class is an unbounded FIFO queue. (Contributed by Antoine Pitrou in bpo-14976 [https://bugs.python.org/issue?@action=redirect&bpo=14976].)

re

The flags re.ASCII, re.LOCALE and re.UNICODE can be set within the scope of a group. (Contributed by Serhiy Storchaka in bpo-31690 [https://bugs.python.org/issue?@action=redirect&bpo=31690].)

re.split() now supports splitting on a pattern like r'\b', '^$' or (?=-) that matches an empty string. (Contributed by Serhiy Storchaka in bpo-25054 [https://bugs.python.org/issue?@action=redirect&bpo=25054].)

Regular expressions compiled with the re.LOCALE flag no longer depend on the locale at compile time. Locale settings are applied only when the compiled regular expression is used. (Contributed by Serhiy Storchaka in bpo-30215 [https://bugs.python.org/issue?@action=redirect&bpo=30215].)

FutureWarning is now emitted if a regular expression contains character set constructs that will change semantically in the future, such as nested sets and set operations. (Contributed by Serhiy Storchaka in bpo-30349 [https://bugs.python.org/issue?@action=redirect&bpo=30349].)

Compiled regular expression and match objects can now be copied using copy.copy() and copy.deepcopy(). (Contributed by Serhiy Storchaka in bpo-10076 [https://bugs.python.org/issue?@action=redirect&bpo=10076].)

signal

The new warn_on_full_buffer argument to the signal.set_wakeup_fd() function makes it possible to specify whether Python prints a warning on stderr when the wakeup buffer overflows. (Contributed by Nathaniel J. Smith in bpo-30050 [https://bugs.python.org/issue?@action=redirect&bpo=30050].)

socket

The new socket.getblocking() method returns True if the socket is in blocking mode and False otherwise. (Contributed by Yury Selivanov in bpo-32373 [https://bugs.python.org/issue?@action=redirect&bpo=32373].)

The new socket.close() function closes the passed socket file descriptor. This function should be used instead of os.close() for better compatibility across platforms. (Contributed by Christian Heimes in bpo-32454 [https://bugs.python.org/issue?@action=redirect&bpo=32454].)

The socket module now exposes the socket.TCP_CONGESTION (Linux 2.6.13), socket.TCP_USER_TIMEOUT (Linux 2.6.37), and socket.TCP_NOTSENT_LOWAT (Linux 3.12) constants. (Contributed by Omar Sandoval in bpo-26273 [https://bugs.python.org/issue?@action=redirect&bpo=26273] and Nathaniel J. Smith in bpo-29728 [https://bugs.python.org/issue?@action=redirect&bpo=29728].)

Support for socket.AF_VSOCK sockets has been added to allow communication between virtual machines and their hosts. (Contributed by Cathy Avery in bpo-27584 [https://bugs.python.org/issue?@action=redirect&bpo=27584].)

Sockets now auto-detect family, type and protocol from file descriptor by default. (Contributed by Christian Heimes in bpo-28134 [https://bugs.python.org/issue?@action=redirect&bpo=28134].)

socketserver

socketserver.ThreadingMixIn.server_close() now waits until all non-daemon threads complete. socketserver.ForkingMixIn.server_close() now waits until all child processes complete.

Add a new socketserver.ForkingMixIn.block_on_close class attribute to socketserver.ForkingMixIn and socketserver.ThreadingMixIn classes. Set the class attribute to False to get the pre-3.7 behaviour.

sqlite3

sqlite3.Connection now exposes the backup() method when the underlying SQLite library is at version 3.6.11 or higher. (Contributed by Lele Gaifax in bpo-27645 [https://bugs.python.org/issue?@action=redirect&bpo=27645].)

The database argument of sqlite3.connect() now accepts any path-like object, instead of just a string. (Contributed by Anders Lorentsen in bpo-31843 [https://bugs.python.org/issue?@action=redirect&bpo=31843].)

ssl

The ssl module now uses OpenSSL’s builtin API instead of match_hostname() to check a host name or an IP address. Values are validated during TLS handshake. Any certificate validation error including failing the host name check now raises SSLCertVerificationError and aborts the handshake with a proper TLS Alert message. The new exception contains additional information. Host name validation can be customized with SSLContext.hostname_checks_common_name. (Contributed by Christian Heimes in bpo-31399 [https://bugs.python.org/issue?@action=redirect&bpo=31399].)

Nota

The improved host name check requires a libssl implementation compatible with OpenSSL 1.0.2 or 1.1. Consequently, OpenSSL 0.9.8 and 1.0.1 are no longer supported (see Platform Support Removals for more details). The ssl module is mostly compatible with LibreSSL 2.7.2 and newer.

The ssl module no longer sends IP addresses in SNI TLS extension. (Contributed by Christian Heimes in bpo-32185 [https://bugs.python.org/issue?@action=redirect&bpo=32185].)

match_hostname() no longer supports partial wildcards like www*.example.org. (Contributed by Mandeep Singh in bpo-23033 [https://bugs.python.org/issue?@action=redirect&bpo=23033] and Christian Heimes in bpo-31399 [https://bugs.python.org/issue?@action=redirect&bpo=31399].)

The default cipher suite selection of the ssl module now uses a blacklist approach rather than a hard-coded whitelist. Python no longer re-enables ciphers that have been blocked by OpenSSL security updates. Default cipher suite selection can be configured at compile time. (Contributed by Christian Heimes in bpo-31429 [https://bugs.python.org/issue?@action=redirect&bpo=31429].)

Validation of server certificates containing internationalized domain names (IDNs) is now supported. As part of this change, the SSLSocket.server_hostname attribute now stores the expected hostname in A-label form ("xn--pythn-mua.org"), rather than the U-label form ("pythön.org"). (Contributed by Nathaniel J. Smith and Christian Heimes in bpo-28414 [https://bugs.python.org/issue?@action=redirect&bpo=28414].)

The ssl module has preliminary and experimental support for TLS 1.3 and OpenSSL 1.1.1. At the time of Python 3.7.0 release, OpenSSL 1.1.1 is still under development and TLS 1.3 hasn’t been finalized yet. The TLS 1.3 handshake and protocol behaves slightly differently than TLS 1.2 and earlier, see TLS 1.3. (Contributed by Christian Heimes in bpo-32947 [https://bugs.python.org/issue?@action=redirect&bpo=32947], bpo-20995 [https://bugs.python.org/issue?@action=redirect&bpo=20995], bpo-29136 [https://bugs.python.org/issue?@action=redirect&bpo=29136], bpo-30622 [https://bugs.python.org/issue?@action=redirect&bpo=30622] and bpo-33618 [https://bugs.python.org/issue?@action=redirect&bpo=33618])

SSLSocket and SSLObject no longer have a public constructor. Direct instantiation was never a documented and supported feature. Instances must be created with SSLContext methods wrap_socket() and wrap_bio(). (Contributed by Christian Heimes in bpo-32951 [https://bugs.python.org/issue?@action=redirect&bpo=32951])

OpenSSL 1.1 APIs for setting the minimum and maximum TLS protocol version are available as SSLContext.minimum_version and SSLContext.maximum_version. Supported protocols are indicated by several new flags, such as HAS_TLSv1_1. (Contributed by Christian Heimes in bpo-32609 [https://bugs.python.org/issue?@action=redirect&bpo=32609].)

Added ssl.SSLContext.post_handshake_auth to enable and ssl.SSLSocket.verify_client_post_handshake() to initiate TLS 1.3 post-handshake authentication. (Contributed by Christian Heimes in gh-78851 [https://github.com/python/cpython/issues/78851].)

string

string.Template now lets you to optionally modify the regular expression pattern for braced placeholders and non-braced placeholders separately. (Contributed by Barry Warsaw in bpo-1198569 [https://bugs.python.org/issue?@action=redirect&bpo=1198569].)

subprocess

The subprocess.run() function accepts the new capture_output keyword argument. When true, stdout and stderr will be captured. This is equivalent to passing subprocess.PIPE as stdout and stderr arguments. (Contributed by Bo Bayles in bpo-32102 [https://bugs.python.org/issue?@action=redirect&bpo=32102].)

The subprocess.run function and the subprocess.Popen constructor now accept the text keyword argument as an alias to universal_newlines. (Contributed by Andrew Clegg in bpo-31756 [https://bugs.python.org/issue?@action=redirect&bpo=31756].)

On Windows the default for close_fds was changed from False to True when redirecting the standard handles. It’s now possible to set close_fds to true when redirecting the standard handles. See subprocess.Popen. This means that close_fds now defaults to True on all supported platforms. (Contributed by Segev Finer in bpo-19764 [https://bugs.python.org/issue?@action=redirect&bpo=19764].)

The subprocess module is now more graceful when handling KeyboardInterrupt during subprocess.call(), subprocess.run(), or in a Popen context manager. It now waits a short amount of time for the child to exit, before continuing the handling of the KeyboardInterrupt exception. (Contributed by Gregory P. Smith in bpo-25942 [https://bugs.python.org/issue?@action=redirect&bpo=25942].)

sys

The new sys.breakpointhook() hook function is called by the built-in breakpoint(). (Contributed by Barry Warsaw in bpo-31353 [https://bugs.python.org/issue?@action=redirect&bpo=31353].)

On Android, the new sys.getandroidapilevel() returns the build-time Android API version. (Contributed by Victor Stinner in bpo-28740 [https://bugs.python.org/issue?@action=redirect&bpo=28740].)

The new sys.get_coroutine_origin_tracking_depth() function returns the current coroutine origin tracking depth, as set by the new sys.set_coroutine_origin_tracking_depth(). asyncio has been converted to use this new API instead of the deprecated sys.set_coroutine_wrapper(). (Contributed by Nathaniel J. Smith in bpo-32591 [https://bugs.python.org/issue?@action=redirect&bpo=32591].)

time

PEP 564 [https://peps.python.org/pep-0564/] adds six new functions with nanosecond resolution to the time module:

time.clock_gettime_ns()

time.clock_settime_ns()

time.monotonic_ns()

time.perf_counter_ns()

time.process_time_ns()

time.time_ns()

New clock identifiers have been added:

time.CLOCK_BOOTTIME (Linux): Identical to time.CLOCK_MONOTONIC, except it also includes any time that the system is suspended.

time.CLOCK_PROF (FreeBSD, NetBSD and OpenBSD): High-resolution per-process CPU timer.

time.CLOCK_UPTIME (FreeBSD, OpenBSD): Time whose absolute value is the time the system has been running and not suspended, providing accurate uptime measurement.

The new time.thread_time() and time.thread_time_ns() functions can be used to get per-thread CPU time measurements. (Contributed by Antoine Pitrou in bpo-32025 [https://bugs.python.org/issue?@action=redirect&bpo=32025].)

The new time.pthread_getcpuclockid() function returns the clock ID of the thread-specific CPU-time clock.

tkinter

The new tkinter.ttk.Spinbox class is now available. (Contributed by Alan Moore in bpo-32585 [https://bugs.python.org/issue?@action=redirect&bpo=32585].)

tracemalloc

tracemalloc.Traceback behaves more like regular tracebacks, sorting the frames from oldest to most recent. Traceback.format() now accepts negative limit, truncating the result to the abs(limit) oldest frames. To get the old behaviour, use the new most_recent_first argument to Traceback.format(). (Contributed by Jesse Bakker in bpo-32121 [https://bugs.python.org/issue?@action=redirect&bpo=32121].)

types

The new WrapperDescriptorType, MethodWrapperType, MethodDescriptorType, and ClassMethodDescriptorType classes are now available. (Contributed by Manuel Krebber and Guido van Rossum in bpo-29377 [https://bugs.python.org/issue?@action=redirect&bpo=29377], and Serhiy Storchaka in bpo-32265 [https://bugs.python.org/issue?@action=redirect&bpo=32265].)

The new types.resolve_bases() function resolves MRO entries dynamically as specified by PEP 560 [https://peps.python.org/pep-0560/]. (Contributed by Ivan Levkivskyi in bpo-32717 [https://bugs.python.org/issue?@action=redirect&bpo=32717].)

unicodedata

The internal unicodedata database has been upgraded to use Unicode 11 [https://www.unicode.org/versions/Unicode11.0.0/]. (Contributed by Benjamin Peterson.)

unittest

The new -k command-line option allows filtering tests by a name substring or a Unix shell-like pattern. For example, python -m unittest -k foo runs foo_tests.SomeTest.test_something, bar_tests.SomeTest.test_foo, but not bar_tests.FooTest.test_something. (Contributed by Jonas Haag in bpo-32071 [https://bugs.python.org/issue?@action=redirect&bpo=32071].)

unittest.mock

The sentinel attributes now preserve their identity when they are copied or pickled. (Contributed by Serhiy Storchaka in bpo-20804 [https://bugs.python.org/issue?@action=redirect&bpo=20804].)

The new seal() function allows sealing Mock instances, which will disallow further creation of attribute mocks. The seal is applied recursively to all attributes that are themselves mocks. (Contributed by Mario Corchero in bpo-30541 [https://bugs.python.org/issue?@action=redirect&bpo=30541].)

urllib.parse

urllib.parse.quote() has been updated from RFC 2396 [https://datatracker.ietf.org/doc/html/rfc2396.html] to RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], adding ~ to the set of characters that are never quoted by default. (Contributed by Christian Theune and Ratnadeep Debnath in bpo-16285 [https://bugs.python.org/issue?@action=redirect&bpo=16285].)

uu

The uu.encode() function now accepts an optional backtick keyword argument. When it’s true, zeros are represented by '`' instead of spaces. (Contributed by Xiang Zhang in bpo-30103 [https://bugs.python.org/issue?@action=redirect&bpo=30103].)

uuid

The new UUID.is_safe attribute relays information from the platform about whether generated UUIDs are generated with a multiprocessing-safe method. (Contributed by Barry Warsaw in bpo-22807 [https://bugs.python.org/issue?@action=redirect&bpo=22807].)

uuid.getnode() now prefers universally administered MAC addresses over locally administered MAC addresses. This makes a better guarantee for global uniqueness of UUIDs returned from uuid.uuid1(). If only locally administered MAC addresses are available, the first such one found is returned. (Contributed by Barry Warsaw in bpo-32107 [https://bugs.python.org/issue?@action=redirect&bpo=32107].)

avisos

The initialization of the default warnings filters has changed as follows:

warnings enabled via command line options (including those for -b and the new CPython-specific -X dev option) are always passed to the warnings machinery via the sys.warnoptions attribute.

warnings filters enabled via the command line or the environment now have the following order of precedence:

the BytesWarning filter for -b (or -bb)

any filters specified with the -W option

any filters specified with the PYTHONWARNINGS environment variable

any other CPython specific filters (e.g. the default filter added for the new -X dev mode)

any implicit filters defined directly by the warnings machinery

in CPython debug builds, all warnings are now displayed by default (the implicit filter list is empty)

(Contributed by Nick Coghlan and Victor Stinner in bpo-20361 [https://bugs.python.org/issue?@action=redirect&bpo=20361], bpo-32043 [https://bugs.python.org/issue?@action=redirect&bpo=32043], and bpo-32230 [https://bugs.python.org/issue?@action=redirect&bpo=32230].)

Deprecation warnings are once again shown by default in single-file scripts and at the interactive prompt. See PEP 565: Mostra DeprecationWarning em __main__ for details. (Contributed by Nick Coghlan in bpo-31975 [https://bugs.python.org/issue?@action=redirect&bpo=31975].)

xml

As mitigation against DTD and external entity retrieval, the xml.dom.minidom and xml.sax modules no longer process external entities by default. (Contributed by Christian Heimes in gh-61441 [https://github.com/python/cpython/issues/61441].)

xml.etree

ElementPath predicates in the find() methods can now compare text of the current node with [. = "text"], not only text in children. Predicates also allow adding spaces for better readability. (Contributed by Stefan Behnel in bpo-31648 [https://bugs.python.org/issue?@action=redirect&bpo=31648].)

xmlrpc.server

SimpleXMLRPCDispatcher.register_function can now be used as a decorator. (Contributed by Xiang Zhang in bpo-7769 [https://bugs.python.org/issue?@action=redirect&bpo=7769].)

zipapp

Function create_archive() now accepts an optional filter argument to allow the user to select which files should be included in the archive. (Contributed by Irmen de Jong in bpo-31072 [https://bugs.python.org/issue?@action=redirect&bpo=31072].)

Function create_archive() now accepts an optional compressed argument to generate a compressed archive. A command line option --compress has also been added to support compression. (Contributed by Zhiming Wang in bpo-31638 [https://bugs.python.org/issue?@action=redirect&bpo=31638].)

zipfile

ZipFile now accepts the new compresslevel parameter to control the compression level. (Contributed by Bo Bayles in bpo-21417 [https://bugs.python.org/issue?@action=redirect&bpo=21417].)

Subdirectories in archives created by ZipFile are now stored in alphabetical order. (Contributed by Bernhard M. Wiedemann in bpo-30693 [https://bugs.python.org/issue?@action=redirect&bpo=30693].)

Alterações na API C

A new API for thread-local storage has been implemented. See PEP 539: Nova API C para armazenamento local de thread for an overview and Thread Specific Storage (TSS) API for a complete reference. (Contributed by Masayuki Yamamoto in bpo-25658 [https://bugs.python.org/issue?@action=redirect&bpo=25658].)

The new context variables functionality exposes a number of new C APIs.

The new PyImport_GetModule() function returns the previously imported module with the given name. (Contributed by Eric Snow in bpo-28411 [https://bugs.python.org/issue?@action=redirect&bpo=28411].)

The new Py_RETURN_RICHCOMPARE macro eases writing rich comparison functions. (Contributed by Petr Victorin in bpo-23699 [https://bugs.python.org/issue?@action=redirect&bpo=23699].)

The new Py_UNREACHABLE macro can be used to mark unreachable code paths. (Contributed by Barry Warsaw in bpo-31338 [https://bugs.python.org/issue?@action=redirect&bpo=31338].)

The tracemalloc now exposes a C API through the new PyTraceMalloc_Track() and PyTraceMalloc_Untrack() functions. (Contributed by Victor Stinner in bpo-30054 [https://bugs.python.org/issue?@action=redirect&bpo=30054].)

The new import__find__load__start() and import__find__load__done() static markers can be used to trace module imports. (Contributed by Christian Heimes in bpo-31574 [https://bugs.python.org/issue?@action=redirect&bpo=31574].)

The fields name and doc of structures PyMemberDef, PyGetSetDef, PyStructSequence_Field, PyStructSequence_Desc, and wrapperbase are now of type const char * rather of char *. (Contributed by Serhiy Storchaka in bpo-28761 [https://bugs.python.org/issue?@action=redirect&bpo=28761].)

The result of PyUnicode_AsUTF8AndSize() and PyUnicode_AsUTF8() is now of type const char * rather of char *. (Contributed by Serhiy Storchaka in bpo-28769 [https://bugs.python.org/issue?@action=redirect&bpo=28769].)

The result of PyMapping_Keys(), PyMapping_Values() and PyMapping_Items() is now always a list, rather than a list or a tuple. (Contributed by Oren Milman in bpo-28280 [https://bugs.python.org/issue?@action=redirect&bpo=28280].)

Added functions PySlice_Unpack() and PySlice_AdjustIndices(). (Contributed by Serhiy Storchaka in bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867].)

PyOS_AfterFork() is deprecated in favour of the new functions PyOS_BeforeFork(), PyOS_AfterFork_Parent() and PyOS_AfterFork_Child(). (Contributed by Antoine Pitrou in bpo-16500 [https://bugs.python.org/issue?@action=redirect&bpo=16500].)

The PyExc_RecursionErrorInst singleton that was part of the public API has been removed as its members being never cleared may cause a segfault during finalization of the interpreter. Contributed by Xavier de Gaye in bpo-22898 [https://bugs.python.org/issue?@action=redirect&bpo=22898] and bpo-30697 [https://bugs.python.org/issue?@action=redirect&bpo=30697].

Added C API support for timezones with timezone constructors PyTimeZone_FromOffset() and PyTimeZone_FromOffsetAndName(), and access to the UTC singleton with PyDateTime_TimeZone_UTC. Contributed by Paul Ganssle in bpo-10381 [https://bugs.python.org/issue?@action=redirect&bpo=10381].

The type of results of PyThread_start_new_thread() and PyThread_get_thread_ident(), and the id parameter of PyThreadState_SetAsyncExc() changed from long to unsigned long. (Contributed by Serhiy Storchaka in bpo-6532 [https://bugs.python.org/issue?@action=redirect&bpo=6532].)

PyUnicode_AsWideCharString() now raises a ValueError if the second argument is NULL and the wchar_t* string contains null characters. (Contributed by Serhiy Storchaka in bpo-30708 [https://bugs.python.org/issue?@action=redirect&bpo=30708].)

Changes to the startup sequence and the management of dynamic memory allocators mean that the long documented requirement to call Py_Initialize() before calling most C API functions is now relied on more heavily, and failing to abide by it may lead to segfaults in embedding applications. See the Porting to Python 3.7 section in this document and the Antes da inicialização do Python section in the C API documentation for more details.

The new PyInterpreterState_GetID() returns the unique ID for a given interpreter. (Contributed by Eric Snow in bpo-29102 [https://bugs.python.org/issue?@action=redirect&bpo=29102].)

Py_DecodeLocale(), Py_EncodeLocale() now use the UTF-8 encoding when the UTF-8 mode is enabled. (Contributed by Victor Stinner in bpo-29240 [https://bugs.python.org/issue?@action=redirect&bpo=29240].)

PyUnicode_DecodeLocaleAndSize() and PyUnicode_EncodeLocale() now use the current locale encoding for surrogateescape error handler. (Contributed by Victor Stinner in bpo-29240 [https://bugs.python.org/issue?@action=redirect&bpo=29240].)

The start and end parameters of PyUnicode_FindChar() are now adjusted to behave like string slices. (Contributed by Xiang Zhang in bpo-28822 [https://bugs.python.org/issue?@action=redirect&bpo=28822].)

Mudanças na construção

Support for building --without-threads has been removed. The threading module is now always available. (Contributed by Antoine Pitrou in bpo-31370 [https://bugs.python.org/issue?@action=redirect&bpo=31370].).

A full copy of libffi is no longer bundled for use when building the _ctypes module on non-OSX UNIX platforms. An installed copy of libffi is now required when building _ctypes on such platforms. (Contributed by Zachary Ware in bpo-27979 [https://bugs.python.org/issue?@action=redirect&bpo=27979].)

The Windows build process no longer depends on Subversion to pull in external sources, a Python script is used to download zipfiles from GitHub instead. If Python 3.6 is not found on the system (via py -3.6), NuGet is used to download a copy of 32-bit Python for this purpose. (Contributed by Zachary Ware in bpo-30450 [https://bugs.python.org/issue?@action=redirect&bpo=30450].)

The ssl module requires OpenSSL 1.0.2 or 1.1 compatible libssl. OpenSSL 1.0.1 has reached end of lifetime on 2016-12-31 and is no longer supported. LibreSSL is temporarily not supported as well. LibreSSL releases up to version 2.6.4 are missing required OpenSSL 1.0.2 APIs.

Otimizações

The overhead of calling many methods of various standard library classes implemented in C has been significantly reduced by porting more code to use the METH_FASTCALL convention. (Contributed by Victor Stinner in bpo-29300 [https://bugs.python.org/issue?@action=redirect&bpo=29300], bpo-29507 [https://bugs.python.org/issue?@action=redirect&bpo=29507], bpo-29452 [https://bugs.python.org/issue?@action=redirect&bpo=29452], and bpo-29286 [https://bugs.python.org/issue?@action=redirect&bpo=29286].)

Various optimizations have reduced Python startup time by 10% on Linux and up to 30% on macOS. (Contributed by Victor Stinner, INADA Naoki in bpo-29585 [https://bugs.python.org/issue?@action=redirect&bpo=29585], and Ivan Levkivskyi in bpo-31333 [https://bugs.python.org/issue?@action=redirect&bpo=31333].)

Method calls are now up to 20% faster due to the bytecode changes which avoid creating bound method instances. (Contributed by Yury Selivanov and INADA Naoki in bpo-26110 [https://bugs.python.org/issue?@action=redirect&bpo=26110].)

The asyncio module received a number of notable optimizations for commonly used functions:

The asyncio.get_event_loop() function has been reimplemented in C to make it up to 15 times faster. (Contributed by Yury Selivanov in bpo-32296 [https://bugs.python.org/issue?@action=redirect&bpo=32296].)

asyncio.Future callback management has been optimized. (Contributed by Yury Selivanov in bpo-32348 [https://bugs.python.org/issue?@action=redirect&bpo=32348].)

asyncio.gather() is now up to 15% faster. (Contributed by Yury Selivanov in bpo-32355 [https://bugs.python.org/issue?@action=redirect&bpo=32355].)

asyncio.sleep() is now up to 2 times faster when the delay argument is zero or negative. (Contributed by Andrew Svetlov in bpo-32351 [https://bugs.python.org/issue?@action=redirect&bpo=32351].)

The performance overhead of asyncio debug mode has been reduced. (Contributed by Antoine Pitrou in bpo-31970 [https://bugs.python.org/issue?@action=redirect&bpo=31970].)

As a result of PEP 560 work, the import time of typing has been reduced by a factor of 7, and many typing operations are now faster. (Contributed by Ivan Levkivskyi in bpo-32226 [https://bugs.python.org/issue?@action=redirect&bpo=32226].)

sorted() and list.sort() have been optimized for common cases to be up to 40-75% faster. (Contributed by Elliot Gorokhovsky in bpo-28685 [https://bugs.python.org/issue?@action=redirect&bpo=28685].)

dict.copy() is now up to 5.5 times faster. (Contributed by Yury Selivanov in bpo-31179 [https://bugs.python.org/issue?@action=redirect&bpo=31179].)

hasattr() and getattr() are now about 4 times faster when name is not found and obj does not override object.__getattr__() or object.__getattribute__(). (Contributed by INADA Naoki in bpo-32544 [https://bugs.python.org/issue?@action=redirect&bpo=32544].)

Searching for certain Unicode characters (like Ukrainian capital “Є”) in a string was up to 25 times slower than searching for other characters. It is now only 3 times slower in the worst case. (Contributed by Serhiy Storchaka in bpo-24821 [https://bugs.python.org/issue?@action=redirect&bpo=24821].)

The collections.namedtuple() factory has been reimplemented to make the creation of named tuples 4 to 6 times faster. (Contributed by Jelle Zijlstra with further improvements by INADA Naoki, Serhiy Storchaka, and Raymond Hettinger in bpo-28638 [https://bugs.python.org/issue?@action=redirect&bpo=28638].)

date.fromordinal() and date.fromtimestamp() are now up to 30% faster in the common case. (Contributed by Paul Ganssle in bpo-32403 [https://bugs.python.org/issue?@action=redirect&bpo=32403].)

The os.fwalk() function is now up to 2 times faster thanks to the use of os.scandir(). (Contributed by Serhiy Storchaka in bpo-25996 [https://bugs.python.org/issue?@action=redirect&bpo=25996].)

The speed of the shutil.rmtree() function has been improved by 20–40% thanks to the use of the os.scandir() function. (Contributed by Serhiy Storchaka in bpo-28564 [https://bugs.python.org/issue?@action=redirect&bpo=28564].)

Optimized case-insensitive matching and searching of regular expressions. Searching some patterns can now be up to 20 times faster. (Contributed by Serhiy Storchaka in bpo-30285 [https://bugs.python.org/issue?@action=redirect&bpo=30285].)

re.compile() now converts flags parameter to int object if it is RegexFlag. It is now as fast as Python 3.5, and faster than Python 3.6 by about 10% depending on the pattern. (Contributed by INADA Naoki in bpo-31671 [https://bugs.python.org/issue?@action=redirect&bpo=31671].)

The modify() methods of classes selectors.EpollSelector, selectors.PollSelector and selectors.DevpollSelector may be around 10% faster under heavy loads. (Contributed by Giampaolo Rodola’ in bpo-30014 [https://bugs.python.org/issue?@action=redirect&bpo=30014])

Constant folding has been moved from the peephole optimizer to the new AST optimizer, which is able perform optimizations more consistently. (Contributed by Eugene Toder and INADA Naoki in bpo-29469 [https://bugs.python.org/issue?@action=redirect&bpo=29469] and bpo-11549 [https://bugs.python.org/issue?@action=redirect&bpo=11549].)

Most functions and methods in abc have been rewritten in C. This makes creation of abstract base classes, and calling isinstance() and issubclass() on them 1.5x faster. This also reduces Python start-up time by up to 10%. (Contributed by Ivan Levkivskyi and INADA Naoki in bpo-31333 [https://bugs.python.org/issue?@action=redirect&bpo=31333])

Significant speed improvements to alternate constructors for datetime.date and datetime.datetime by using fast-path constructors when not constructing subclasses. (Contributed by Paul Ganssle in bpo-32403 [https://bugs.python.org/issue?@action=redirect&bpo=32403])

The speed of comparison of array.array instances has been improved considerably in certain cases. It is now from 10x to 70x faster when comparing arrays holding values of the same integer type. (Contributed by Adrian Wielgosik in bpo-24700 [https://bugs.python.org/issue?@action=redirect&bpo=24700].)

The math.erf() and math.erfc() functions now use the (faster) C library implementation on most platforms. (Contributed by Serhiy Storchaka in bpo-26121 [https://bugs.python.org/issue?@action=redirect&bpo=26121].)

Outras mudanças na implementação do CPython

Trace hooks may now opt out of receiving the line and opt into receiving the opcode events from the interpreter by setting the corresponding new f_trace_lines and f_trace_opcodes attributes on the frame being traced. (Contributed by Nick Coghlan in bpo-31344 [https://bugs.python.org/issue?@action=redirect&bpo=31344].)

Fixed some consistency problems with namespace package module attributes. Namespace module objects now have an __file__ that is set to None (previously unset), and their __spec__.origin is also set to None (previously the string "namespace"). See bpo-32305 [https://bugs.python.org/issue?@action=redirect&bpo=32305]. Also, the namespace module object’s __spec__.loader is set to the same value as __loader__ (previously, the former was set to None). See bpo-32303 [https://bugs.python.org/issue?@action=redirect&bpo=32303].

The locals() dictionary now displays in the lexical order that variables were defined. Previously, the order was undefined. (Contributed by Raymond Hettinger in bpo-32690 [https://bugs.python.org/issue?@action=redirect&bpo=32690].)

The distutils upload command no longer tries to change CR end-of-line characters to CRLF. This fixes a corruption issue with sdists that ended with a byte equivalent to CR. (Contributed by Bo Bayles in bpo-32304 [https://bugs.python.org/issue?@action=redirect&bpo=32304].)

Comportamento do Python descontinuado

Yield expressions (both yield and yield from clauses) are now deprecated in comprehensions and generator expressions (aside from the iterable expression in the leftmost for clause). This ensures that comprehensions always immediately return a container of the appropriate type (rather than potentially returning a generator iterator object), while generator expressions won’t attempt to interleave their implicit output with the output from any explicit yield expressions. In Python 3.7, such expressions emit DeprecationWarning when compiled, in Python 3.8 this will be a SyntaxError. (Contributed by Serhiy Storchaka in bpo-10544 [https://bugs.python.org/issue?@action=redirect&bpo=10544].)

Returning a subclass of complex from object.__complex__() is deprecated and will be an error in future Python versions. This makes __complex__() consistent with object.__int__() and object.__float__(). (Contributed by Serhiy Storchaka in bpo-28894 [https://bugs.python.org/issue?@action=redirect&bpo=28894].)

Deprecated Python modules, functions and methods

aifc

aifc.openfp() has been deprecated and will be removed in Python 3.9. Use aifc.open() instead. (Contributed by Brian Curtin in bpo-31985 [https://bugs.python.org/issue?@action=redirect&bpo=31985].)

asyncio

Support for directly await-ing instances of asyncio.Lock and other asyncio synchronization primitives has been deprecated. An asynchronous context manager must be used in order to acquire and release the synchronization resource. (Contributed by Andrew Svetlov in bpo-32253 [https://bugs.python.org/issue?@action=redirect&bpo=32253].)

The asyncio.Task.current_task() and asyncio.Task.all_tasks() methods have been deprecated. (Contributed by Andrew Svetlov in bpo-32250 [https://bugs.python.org/issue?@action=redirect&bpo=32250].)

collections

In Python 3.8, the abstract base classes in collections.abc will no longer be exposed in the regular collections module. This will help create a clearer distinction between the concrete classes and the abstract base classes. (Contributed by Serhiy Storchaka in bpo-25988 [https://bugs.python.org/issue?@action=redirect&bpo=25988].)

dbm

dbm.dumb now supports reading read-only files and no longer writes the index file when it is not changed. A deprecation warning is now emitted if the index file is missing and recreated in the 'r' and 'w' modes (this will be an error in future Python releases). (Contributed by Serhiy Storchaka in bpo-28847 [https://bugs.python.org/issue?@action=redirect&bpo=28847].)

enum

In Python 3.8, attempting to check for non-Enum objects in Enum classes will raise a TypeError (e.g. 1 in Color); similarly, attempting to check for non-Flag objects in a Flag member will raise TypeError (e.g. 1 in Perm.RW); currently, both operations return False instead. (Contributed by Ethan Furman in bpo-33217 [https://bugs.python.org/issue?@action=redirect&bpo=33217].)

gettext

Using non-integer value for selecting a plural form in gettext is now deprecated. It never correctly worked. (Contributed by Serhiy Storchaka in bpo-28692 [https://bugs.python.org/issue?@action=redirect&bpo=28692].)

importlib

Methods MetaPathFinder.find_module() (replaced by MetaPathFinder.find_spec()) and PathEntryFinder.find_loader() (replaced by PathEntryFinder.find_spec()) both deprecated in Python 3.4 now emit DeprecationWarning. (Contributed by Matthias Bussonnier in bpo-29576 [https://bugs.python.org/issue?@action=redirect&bpo=29576].)

The importlib.abc.ResourceLoader ABC has been deprecated in favour of importlib.abc.ResourceReader.

locale

locale.format() has been deprecated, use locale.format_string() instead. (Contributed by Garvit in bpo-10379 [https://bugs.python.org/issue?@action=redirect&bpo=10379].)

macpath

The macpath is now deprecated and will be removed in Python 3.8. (Contributed by Chi Hsuan Yen in bpo-9850 [https://bugs.python.org/issue?@action=redirect&bpo=9850].)

threading

dummy_threading and _dummy_thread have been deprecated. It is no longer possible to build Python with threading disabled. Use threading instead. (Contributed by Antoine Pitrou in bpo-31370 [https://bugs.python.org/issue?@action=redirect&bpo=31370].)

socket

The silent argument value truncation in socket.htons() and socket.ntohs() has been deprecated. In future versions of Python, if the passed argument is larger than 16 bits, an exception will be raised. (Contributed by Oren Milman in bpo-28332 [https://bugs.python.org/issue?@action=redirect&bpo=28332].)

ssl

ssl.wrap_socket() is deprecated. Use ssl.SSLContext.wrap_socket() instead. (Contributed by Christian Heimes in bpo-28124 [https://bugs.python.org/issue?@action=redirect&bpo=28124].)

sunau

sunau.openfp() has been deprecated and will be removed in Python 3.9. Use sunau.open() instead. (Contributed by Brian Curtin in bpo-31985 [https://bugs.python.org/issue?@action=redirect&bpo=31985].)

sys

Deprecated sys.set_coroutine_wrapper() and sys.get_coroutine_wrapper().

The undocumented sys.callstats() function has been deprecated and will be removed in a future Python version. (Contributed by Victor Stinner in bpo-28799 [https://bugs.python.org/issue?@action=redirect&bpo=28799].)

wave

wave.openfp() has been deprecated and will be removed in Python 3.9. Use wave.open() instead. (Contributed by Brian Curtin in bpo-31985 [https://bugs.python.org/issue?@action=redirect&bpo=31985].)

Deprecated functions and types of the C API

Function PySlice_GetIndicesEx() is deprecated and replaced with a macro if Py_LIMITED_API is not set or set to a value in the range between 0x03050400 and 0x03060000 (not inclusive), or is 0x03060100 or higher. (Contributed by Serhiy Storchaka in bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867].)

PyOS_AfterFork() has been deprecated. Use PyOS_BeforeFork(), PyOS_AfterFork_Parent() or PyOS_AfterFork_Child() instead. (Contributed by Antoine Pitrou in bpo-16500 [https://bugs.python.org/issue?@action=redirect&bpo=16500].)

Platform Support Removals

FreeBSD 9 and older are no longer officially supported.

For full Unicode support, including within extension modules, *nix platforms are now expected to provide at least one of C.UTF-8 (full locale), C.utf8 (full locale) or UTF-8 (LC_CTYPE-only locale) as an alternative to the legacy ASCII-based C locale.

OpenSSL 0.9.8 and 1.0.1 are no longer supported, which means building CPython 3.7 with SSL/TLS support on older platforms still using these versions requires custom build options that link to a more recent version of OpenSSL.

Notably, this issue affects the Debian 8 (aka “jessie”) and Ubuntu 14.04 (aka “Trusty”) LTS Linux distributions, as they still use OpenSSL 1.0.1 by default.

Debian 9 (“stretch”) and Ubuntu 16.04 (“xenial”), as well as recent releases of other LTS Linux releases (e.g. RHEL/CentOS 7.5, SLES 12-SP3), use OpenSSL 1.0.2 or later, and remain supported in the default build configuration.

CPython’s own CI configuration file [https://github.com/python/cpython/blob/v3.7.13/.travis.yml] provides an example of using the SSL compatibility testing infrastructure [https://github.com/python/cpython/tree/3.13/Tools/ssl/multissltests.py] in CPython’s test suite to build and link against OpenSSL 1.1.0 rather than an outdated system provided OpenSSL.

Remoção de APIs e recursos

The following features and APIs have been removed from Python 3.7:

The os.stat_float_times() function has been removed. It was introduced in Python 2.3 for backward compatibility with Python 2.2, and was deprecated since Python 3.1.

Unknown escapes consisting of '\' and an ASCII letter in replacement templates for re.sub() were deprecated in Python 3.5, and will now cause an error.

Removed support of the exclude argument in tarfile.TarFile.add(). It was deprecated in Python 2.7 and 3.2. Use the filter argument instead.

The ntpath.splitunc() function was deprecated in Python 3.1, and has now been removed. Use splitdrive() instead.

collections.namedtuple() no longer supports the verbose parameter or _source attribute which showed the generated source code for the named tuple class. This was part of an optimization designed to speed-up class creation. (Contributed by Jelle Zijlstra with further improvements by INADA Naoki, Serhiy Storchaka, and Raymond Hettinger in bpo-28638 [https://bugs.python.org/issue?@action=redirect&bpo=28638].)

Functions bool(), float(), list() and tuple() no longer take keyword arguments. The first argument of int() can now be passed only as positional argument.

Removed previously deprecated in Python 2.4 classes Plist, Dict and _InternalDict in the plistlib module. Dict values in the result of functions readPlist() and readPlistFromBytes() are now normal dicts. You no longer can use attribute access to access items of these dictionaries.

The asyncio.windows_utils.socketpair() function has been removed. Use the socket.socketpair() function instead, it is available on all platforms since Python 3.5. asyncio.windows_utils.socketpair was just an alias to socket.socketpair on Python 3.5 and newer.

asyncio no longer exports the selectors and _overlapped modules as asyncio.selectors and asyncio._overlapped. Replace from asyncio import selectors with import selectors.

Direct instantiation of ssl.SSLSocket and ssl.SSLObject objects is now prohibited. The constructors were never documented, tested, or designed as public constructors. Users were supposed to use ssl.wrap_socket() or ssl.SSLContext. (Contributed by Christian Heimes in bpo-32951 [https://bugs.python.org/issue?@action=redirect&bpo=32951].)

The unused distutils install_misc command has been removed. (Contributed by Eric N. Vander Weele in bpo-29218 [https://bugs.python.org/issue?@action=redirect&bpo=29218].)

Module Removals

The fpectl module has been removed. It was never enabled by default, never worked correctly on x86-64, and it changed the Python ABI in ways that caused unexpected breakage of C extensions. (Contributed by Nathaniel J. Smith in bpo-29137 [https://bugs.python.org/issue?@action=redirect&bpo=29137].)

Windows-only Changes

The python launcher, (py.exe), can accept 32 & 64 bit specifiers without having to specify a minor version as well. So py -3-32 and py -3-64 become valid as well as py -3.7-32, also the -m-64 and -m.n-64 forms are now accepted to force 64 bit python even if 32 bit would have otherwise been used. If the specified version is not available py.exe will error exit. (Contributed by Steve Barnes in bpo-30291 [https://bugs.python.org/issue?@action=redirect&bpo=30291].)

The launcher can be run as py -0 to produce a list of the installed pythons, with default marked with an asterisk. Running py -0p will include the paths. If py is run with a version specifier that cannot be matched it will also print the short form list of available specifiers. (Contributed by Steve Barnes in bpo-30362 [https://bugs.python.org/issue?@action=redirect&bpo=30362].)

Porting to Python 3.7

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Changes in Python Behavior

async and await names are now reserved keywords. Code using these names as identifiers will now raise a SyntaxError. (Contributed by Jelle Zijlstra in bpo-30406 [https://bugs.python.org/issue?@action=redirect&bpo=30406].)

PEP 479 [https://peps.python.org/pep-0479/] is enabled for all code in Python 3.7, meaning that StopIteration exceptions raised directly or indirectly in coroutines and generators are transformed into RuntimeError exceptions. (Contributed by Yury Selivanov in bpo-32670 [https://bugs.python.org/issue?@action=redirect&bpo=32670].)

object.__aiter__() methods can no longer be declared as asynchronous. (Contributed by Yury Selivanov in bpo-31709 [https://bugs.python.org/issue?@action=redirect&bpo=31709].)

Due to an oversight, earlier Python versions erroneously accepted the following syntax:

f(1 for x in [1],)

class C(1 for x in [1]):
    pass

Python 3.7 now correctly raises a SyntaxError, as a generator expression always needs to be directly inside a set of parentheses and cannot have a comma on either side, and the duplication of the parentheses can be omitted only on calls. (Contributed by Serhiy Storchaka in bpo-32012 [https://bugs.python.org/issue?@action=redirect&bpo=32012] and bpo-32023 [https://bugs.python.org/issue?@action=redirect&bpo=32023].)

When using the -m switch, the initial working directory is now added to sys.path, rather than an empty string (which dynamically denoted the current working directory at the time of each import). Any programs that are checking for the empty string, or otherwise relying on the previous behaviour, will need to be updated accordingly (e.g. by also checking for os.getcwd() or os.path.dirname(__main__.__file__), depending on why the code was checking for the empty string in the first place).

Alterações na API Python

socketserver.ThreadingMixIn.server_close() now waits until all non-daemon threads complete. Set the new socketserver.ThreadingMixIn.block_on_close class attribute to False to get the pre-3.7 behaviour. (Contributed by Victor Stinner in bpo-31233 [https://bugs.python.org/issue?@action=redirect&bpo=31233] and bpo-33540 [https://bugs.python.org/issue?@action=redirect&bpo=33540].)

socketserver.ForkingMixIn.server_close() now waits until all child processes complete. Set the new socketserver.ForkingMixIn.block_on_close class attribute to False to get the pre-3.7 behaviour. (Contributed by Victor Stinner in bpo-31151 [https://bugs.python.org/issue?@action=redirect&bpo=31151] and bpo-33540 [https://bugs.python.org/issue?@action=redirect&bpo=33540].)

The locale.localeconv() function now temporarily sets the LC_CTYPE locale to the value of LC_NUMERIC in some cases. (Contributed by Victor Stinner in bpo-31900 [https://bugs.python.org/issue?@action=redirect&bpo=31900].)

pkgutil.walk_packages() now raises a ValueError if path is a string. Previously an empty list was returned. (Contributed by Sanyam Khurana in bpo-24744 [https://bugs.python.org/issue?@action=redirect&bpo=24744].)

A format string argument for string.Formatter.format() is now positional-only. Passing it as a keyword argument was deprecated in Python 3.5. (Contributed by Serhiy Storchaka in bpo-29193 [https://bugs.python.org/issue?@action=redirect&bpo=29193].)

Attributes key, value and coded_value of class http.cookies.Morsel are now read-only. Assigning to them was deprecated in Python 3.5. Use the set() method for setting them. (Contributed by Serhiy Storchaka in bpo-29192 [https://bugs.python.org/issue?@action=redirect&bpo=29192].)

The mode argument of os.makedirs() no longer affects the file permission bits of newly created intermediate-level directories. To set their file permission bits you can set the umask before invoking makedirs(). (Contributed by Serhiy Storchaka in bpo-19930 [https://bugs.python.org/issue?@action=redirect&bpo=19930].)

The struct.Struct.format type is now str instead of bytes. (Contributed by Victor Stinner in bpo-21071 [https://bugs.python.org/issue?@action=redirect&bpo=21071].)

cgi.parse_multipart() now accepts the encoding and errors arguments and returns the same results as FieldStorage: for non-file fields, the value associated to a key is a list of strings, not bytes. (Contributed by Pierre Quentel in bpo-29979 [https://bugs.python.org/issue?@action=redirect&bpo=29979].)

Due to internal changes in socket, calling socket.fromshare() on a socket created by socket.share in older Python versions is not supported.

repr for BaseException has changed to not include the trailing comma. Most exceptions are affected by this change. (Contributed by Serhiy Storchaka in bpo-30399 [https://bugs.python.org/issue?@action=redirect&bpo=30399].)

repr for datetime.timedelta has changed to include the keyword arguments in the output. (Contributed by Utkarsh Upadhyay in bpo-30302 [https://bugs.python.org/issue?@action=redirect&bpo=30302].)

Because shutil.rmtree() is now implemented using the os.scandir() function, the user specified handler onerror is now called with the first argument os.scandir instead of os.listdir when listing the directory is failed.

Support for nested sets and set operations in regular expressions as in Unicode Technical Standard #18 [https://unicode.org/reports/tr18/] might be added in the future. This would change the syntax. To facilitate this future change a FutureWarning will be raised in ambiguous cases for the time being. That include sets starting with a literal '[' or containing literal character sequences '--', '&&', '~~', and '||'. To avoid a warning, escape them with a backslash. (Contributed by Serhiy Storchaka in bpo-30349 [https://bugs.python.org/issue?@action=redirect&bpo=30349].)

The result of splitting a string on a regular expression that could match an empty string has been changed. For example splitting on r'\s*' will now split not only on whitespaces as it did previously, but also on empty strings before all non-whitespace characters and just before the end of the string. The previous behavior can be restored by changing the pattern to r'\s+'. A FutureWarning was emitted for such patterns since Python 3.5.

For patterns that match both empty and non-empty strings, the result of searching for all matches may also be changed in other cases. For example in the string 'a\n\n', the pattern r'(?m)^\s*?$' will not only match empty strings at positions 2 and 3, but also the string '\n' at positions 2–3. To match only blank lines, the pattern should be rewritten as r'(?m)^[^\S\n]*$'.

re.sub() now replaces empty matches adjacent to a previous non-empty match. For example re.sub('x*', '-', 'abxd') returns now '-a-b--d-' instead of '-a-b-d-' (the first minus between ‘b’ and ‘d’ replaces ‘x’, and the second minus replaces an empty string between ‘x’ and ‘d’).

(Contributed by Serhiy Storchaka in bpo-25054 [https://bugs.python.org/issue?@action=redirect&bpo=25054] and bpo-32308 [https://bugs.python.org/issue?@action=redirect&bpo=32308].)

Change re.escape() to only escape regex special characters instead of escaping all characters other than ASCII letters, numbers, and '_'. (Contributed by Serhiy Storchaka in bpo-29995 [https://bugs.python.org/issue?@action=redirect&bpo=29995].)

tracemalloc.Traceback frames are now sorted from oldest to most recent to be more consistent with traceback. (Contributed by Jesse Bakker in bpo-32121 [https://bugs.python.org/issue?@action=redirect&bpo=32121].)

On OSes that support socket.SOCK_NONBLOCK or socket.SOCK_CLOEXEC bit flags, the socket.type no longer has them applied. Therefore, checks like if sock.type == socket.SOCK_STREAM work as expected on all platforms. (Contributed by Yury Selivanov in bpo-32331 [https://bugs.python.org/issue?@action=redirect&bpo=32331].)

On Windows the default for the close_fds argument of subprocess.Popen was changed from False to True when redirecting the standard handles. If you previously depended on handles being inherited when using subprocess.Popen with standard io redirection, you will have to pass close_fds=False to preserve the previous behaviour, or use STARTUPINFO.lpAttributeList.

importlib.machinery.PathFinder.invalidate_caches() – which implicitly affects importlib.invalidate_caches() – now deletes entries in sys.path_importer_cache which are set to None. (Contributed by Brett Cannon in bpo-33169 [https://bugs.python.org/issue?@action=redirect&bpo=33169].)

In asyncio, loop.sock_recv(), loop.sock_sendall(), loop.sock_accept(), loop.getaddrinfo(), loop.getnameinfo() have been changed to be proper coroutine methods to match their documentation. Previously, these methods returned asyncio.Future instances. (Contributed by Yury Selivanov in bpo-32327 [https://bugs.python.org/issue?@action=redirect&bpo=32327].)

asyncio.Server.sockets now returns a copy of the internal list of server sockets, instead of returning it directly. (Contributed by Yury Selivanov in bpo-32662 [https://bugs.python.org/issue?@action=redirect&bpo=32662].)

Struct.format is now a str instance instead of a bytes instance. (Contributed by Victor Stinner in bpo-21071 [https://bugs.python.org/issue?@action=redirect&bpo=21071].)

argparse subparsers can now be made mandatory by passing required=True to ArgumentParser.add_subparsers(). (Contributed by Anthony Sottile in bpo-26510 [https://bugs.python.org/issue?@action=redirect&bpo=26510].)

ast.literal_eval() is now stricter. Addition and subtraction of arbitrary numbers are no longer allowed. (Contributed by Serhiy Storchaka in bpo-31778 [https://bugs.python.org/issue?@action=redirect&bpo=31778].)

Calendar.itermonthdates will now consistently raise an exception when a date falls outside of the 0001-01-01 through 9999-12-31 range. To support applications that cannot tolerate such exceptions, the new Calendar.itermonthdays3 and Calendar.itermonthdays4 can be used. The new methods return tuples and are not restricted by the range supported by datetime.date. (Contributed by Alexander Belopolsky in bpo-28292 [https://bugs.python.org/issue?@action=redirect&bpo=28292].)

collections.ChainMap now preserves the order of the underlying mappings. (Contributed by Raymond Hettinger in bpo-32792 [https://bugs.python.org/issue?@action=redirect&bpo=32792].)

The submit() method of concurrent.futures.ThreadPoolExecutor and concurrent.futures.ProcessPoolExecutor now raises a RuntimeError if called during interpreter shutdown. (Contributed by Mark Nemec in bpo-33097 [https://bugs.python.org/issue?@action=redirect&bpo=33097].)

The configparser.ConfigParser constructor now uses read_dict() to process the default values, making its behavior consistent with the rest of the parser. Non-string keys and values in the defaults dictionary are now being implicitly converted to strings. (Contributed by James Tocknell in bpo-23835 [https://bugs.python.org/issue?@action=redirect&bpo=23835].)

Several undocumented internal imports were removed. One example is that os.errno is no longer available; use import errno directly instead. Note that such undocumented internal imports may be removed any time without notice, even in micro version releases.

Alterações na API C

The function PySlice_GetIndicesEx() is considered unsafe for resizable sequences. If the slice indices are not instances of int, but objects that implement the __index__() method, the sequence can be resized after passing its length to PySlice_GetIndicesEx(). This can lead to returning indices out of the length of the sequence. For avoiding possible problems use new functions PySlice_Unpack() and PySlice_AdjustIndices(). (Contributed by Serhiy Storchaka in bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867].)

Alterações de bytecode do CPython

There are two new opcodes: LOAD_METHOD and CALL_METHOD. (Contributed by Yury Selivanov and INADA Naoki in bpo-26110 [https://bugs.python.org/issue?@action=redirect&bpo=26110].)

The STORE_ANNOTATION opcode has been removed. (Contributed by Mark Shannon in bpo-32550 [https://bugs.python.org/issue?@action=redirect&bpo=32550].)

Windows-only Changes

The file used to override sys.path is now called <python-executable>._pth instead of 'sys.path'. See Encontrando módulos for more information. (Contributed by Steve Dower in bpo-28137 [https://bugs.python.org/issue?@action=redirect&bpo=28137].)

Other CPython implementation changes

In preparation for potential future changes to the public CPython runtime initialization API (see PEP 432 [https://peps.python.org/pep-0432/] for an initial, but somewhat outdated, draft), CPython’s internal startup and configuration management logic has been significantly refactored. While these updates are intended to be entirely transparent to both embedding applications and users of the regular CPython CLI, they’re being mentioned here as the refactoring changes the internal order of various operations during interpreter startup, and hence may uncover previously latent defects, either in embedding applications, or in CPython itself. (Initially contributed by Nick Coghlan and Eric Snow as part of bpo-22257 [https://bugs.python.org/issue?@action=redirect&bpo=22257], and further updated by Nick, Eric, and Victor Stinner in a number of other issues). Some known details affected:

PySys_AddWarnOptionUnicode() is not currently usable by embedding applications due to the requirement to create a Unicode object prior to calling Py_Initialize. Use PySys_AddWarnOption() instead.

warnings filters added by an embedding application with PySys_AddWarnOption() should now more consistently take precedence over the default filters set by the interpreter

Due to changes in the way the default warnings filters are configured, setting Py_BytesWarningFlag to a value greater than one is no longer sufficient to both emit BytesWarning messages and have them converted to exceptions. Instead, the flag must be set (to cause the warnings to be emitted in the first place), and an explicit error::BytesWarning warnings filter added to convert them to exceptions.

Due to a change in the way docstrings are handled by the compiler, the implicit return None in a function body consisting solely of a docstring is now marked as occurring on the same line as the docstring, not on the function’s header line.

The current exception state has been moved from the frame object to the co-routine. This simplified the interpreter and fixed a couple of obscure bugs caused by having swap exception state when entering or exiting a generator. (Contributed by Mark Shannon in bpo-25612 [https://bugs.python.org/issue?@action=redirect&bpo=25612].)

Notable changes in Python 3.7.1

Starting in 3.7.1, Py_Initialize() now consistently reads and respects all of the same environment settings as Py_Main() (in earlier Python versions, it respected an ill-defined subset of those environment variables, while in Python 3.7.0 it didn’t read any of them due to bpo-34247 [https://bugs.python.org/issue?@action=redirect&bpo=34247]). If this behavior is unwanted, set Py_IgnoreEnvironmentFlag to 1 before calling Py_Initialize().

In 3.7.1 the C API for Context Variables was updated to use PyObject pointers. See also bpo-34762 [https://bugs.python.org/issue?@action=redirect&bpo=34762].

In 3.7.1 the tokenize module now implicitly emits a NEWLINE token when provided with input that does not have a trailing new line. This behavior now matches what the C tokenizer does internally. (Contributed by Ammar Askar in bpo-33899 [https://bugs.python.org/issue?@action=redirect&bpo=33899].)

Notable changes in Python 3.7.2

In 3.7.2, venv on Windows no longer copies the original binaries, but creates redirector scripts named python.exe and pythonw.exe instead. This resolves a long standing issue where all virtual environments would have to be upgraded or recreated with each Python update. However, note that this release will still require recreation of virtual environments in order to get the new scripts.

Notable changes in Python 3.7.6

Devido a significativas preocupações de segurança, o parâmetro reuse_address de asyncio.loop.create_datagram_endpoint() não é mais suportado. Isso ocorre devido ao comportamento da opção de soquete SO_REUSEADDR no UDP. Para mais detalhes, consulte a documentação de loop.create_datagram_endpoint(). (Contribuição de Kyle Stanley, Antoine Pitrou e Yury Selivanov em bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228].)

Notable changes in Python 3.7.10

Versões anteriores do Python permitiam o uso de ; e & como separadores de parâmetros de consulta nas funções urllib.parse.parse_qs() e urllib.parse.parse_qsl(). Devido a questões de segurança, e em conformidade com as recomendações mais recentes do W3C, isso foi alterado para permitir apenas uma única chave separadora, com & como padrão. Esta mudança também afeta as funções cgi.parse() e cgi.parse_multipart() já que elas usam as funções afetadas internamente. Para obter mais detalhes, consulte sua respectiva documentação. (Contribuição de Adam Goldschmidt, Senthil Kumaran e Ken Jin em bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967].)

Notable changes in Python 3.7.11

Uma correção de segurança altera o comportamento ftplib.FTP para não confiar no endereço IPv4 enviado do servidor remoto ao configurar um canal de dados passivo. Em vez disso, reutilizamos o endereço IP do servidor ftp. Para códigos incomuns que requerem o comportamento antigo, defina um atributo trust_server_pasv_ipv4_address em sua instância de FTP para True. (Veja gh-87451 [https://github.com/python/cpython/issues/87451])

The presence of newline or tab characters in parts of a URL allows for some forms of attacks. Following the WHATWG specification that updates RFC 3986, ASCII newline \n, \r and tab \t characters are stripped from the URL by the parser urllib.parse() preventing such attacks. The removal characters are controlled by a new module level variable urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE. (See gh-88048 [https://github.com/python/cpython/issues/88048])

Notable security feature in 3.7.14

Converter entre int e str em bases diferentes de 2 (binário), 4, 8 (octal), 16 (hexadecimal) ou 32 como base 10 (decimal) agora levanta uma exceção ValueError se o número de dígitos em forma de string estiver acima de um limite para evitar possíveis ataques de negação de serviço devido à complexidade algorítmica. Esta é uma mitigação para CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735]. Este limite pode ser configurado ou desabilitado por variável de ambiente, sinalizador de linha de comando ou APIs de sys. Veja a documentação de limitação de comprimento de conversão de string inteira. O limite padrão é de 4300 dígitos em forma de string.

What’s New In Python 3.6

Editores:

Elvis Pranskevichus <elvis@magic.io>, Yury Selivanov <yury@magic.io>

This article explains the new features in Python 3.6, compared to 3.5. Python 3.6 was released on December 23, 2016.  See the changelog [https://docs.python.org/3.6/whatsnew/changelog.html] for a full list of changes.

Ver também

PEP 494 [https://peps.python.org/pep-0494/] - Python 3.6 Release Schedule

Resumo – Destaques da versão

Novos recursos de sintaxe:

PEP 498, formatted string literals.

PEP 515, underscores in numeric literals.

PEP 526, syntax for variable annotations.

PEP 525, asynchronous generators.

PEP 530: asynchronous comprehensions.

Novos módulos de biblioteca:

secrets: PEP 506 – Adding A Secrets Module To The Standard Library.

Melhorias na implementação do CPython:

The dict type has been reimplemented to use a more compact representation based on a proposal by Raymond Hettinger [https://mail.python.org/pipermail/python-dev/2012-December/123028.html] and similar to the PyPy dict implementation [https://morepypy.blogspot.com/2015/01/faster-more-memory-efficient-and-more.html]. This resulted in dictionaries using 20% to 25% less memory when compared to Python 3.5.

Customization of class creation has been simplified with the new protocol.

The class attribute definition order is now preserved.

The order of elements in **kwargs now corresponds to the order in which keyword arguments were passed to the function.

DTrace and SystemTap probing support has been added.

The new PYTHONMALLOC environment variable can now be used to debug the interpreter memory allocation and access errors.

Melhorias significativas na biblioteca padrão:

The asyncio module has received new features, significant usability and performance improvements, and a fair amount of bug fixes. Starting with Python 3.6 the asyncio module is no longer provisional and its API is considered stable.

A new file system path protocol has been implemented to support path-like objects. All standard library functions operating on paths have been updated to work with the new protocol.

The datetime module has gained support for Local Time Disambiguation.

The typing module received a number of improvements.

The tracemalloc module has been significantly reworked and is now used to provide better output for ResourceWarning as well as provide better diagnostics for memory allocation errors. See the PYTHONMALLOC section for more information.

Melhorias de Segurança:

The new secrets module has been added to simplify the generation of cryptographically strong pseudo-random numbers suitable for managing secrets such as account authentication, tokens, and similar.

On Linux, os.urandom() now blocks until the system urandom entropy pool is initialized to increase the security. See the PEP 524 [https://peps.python.org/pep-0524/] for the rationale.

The hashlib and ssl modules now support OpenSSL 1.1.0.

The default settings and feature set of the ssl module have been improved.

The hashlib module received support for the BLAKE2, SHA-3 and SHAKE hash algorithms and the scrypt() key derivation function.

Melhorias do Windows:

PEP 528 and PEP 529, Windows filesystem and console encoding changed to UTF-8.

The py.exe launcher, when used interactively, no longer prefers Python 2 over Python 3 when the user doesn’t specify a version (via command line arguments or a config file). Handling of shebang lines remains unchanged - “python” refers to Python 2 in that case.

python.exe and pythonw.exe have been marked as long-path aware, which means that the 260 character path limit may no longer apply. See removing the MAX_PATH limitation for details.

A ._pth file can be added to force isolated mode and fully specify all search paths to avoid registry and environment lookup. See the documentation for more information.

A python36.zip file now works as a landmark to infer PYTHONHOME. See the documentation for more information.

Novas funcionalidades

PEP 498: Formatted string literals

PEP 498 [https://peps.python.org/pep-0498/] introduces a new kind of string literals: f-strings, or formatted string literals.

Formatted string literals are prefixed with 'f' and are similar to the format strings accepted by str.format(). They contain replacement fields surrounded by curly braces. The replacement fields are expressions, which are evaluated at run time, and then formatted using the format() protocol:

>>> name = "Fred"
>>> f"He said his name is {name}."
'He said his name is Fred.'
>>> width = 10
>>> precision = 4
>>> value = decimal.Decimal("12.34567")
>>> f"result: {value:{width}.{precision}}"  # nested fields
'result:      12.35'

Ver também

PEP 498 [https://peps.python.org/pep-0498/] – Literal String Interpolation.

PEP written and implemented by Eric V. Smith.

Feature documentation.

PEP 526: Syntax for variable annotations

PEP 484 [https://peps.python.org/pep-0484/] introduced the standard for type annotations of function parameters, a.k.a. type hints. This PEP adds syntax to Python for annotating the types of variables including class variables and instance variables:

primes: List[int] = []

captain: str  # Note: no initial value!

class Starship:
    stats: Dict[str, int] = {}

Just as for function annotations, the Python interpreter does not attach any particular meaning to variable annotations and only stores them in the __annotations__ attribute of a class or module.

In contrast to variable declarations in statically typed languages, the goal of annotation syntax is to provide an easy way to specify structured type metadata for third party tools and libraries via the abstract syntax tree and the __annotations__ attribute.

Ver também

PEP 526 [https://peps.python.org/pep-0526/] – Syntax for variable annotations.

PEP written by Ryan Gonzalez, Philip House, Ivan Levkivskyi, Lisa Roach, and Guido van Rossum. Implemented by Ivan Levkivskyi.

Tools that use or will use the new syntax: mypy [https://www.mypy-lang.org/], pytype [https://github.com/google/pytype], PyCharm, etc.

PEP 515: Underscores in Numeric Literals

PEP 515 [https://peps.python.org/pep-0515/] adds the ability to use underscores in numeric literals for improved readability. For example:

>>> 1_000_000_000_000_000
1000000000000000
>>> 0x_FF_FF_FF_FF
4294967295

Single underscores are allowed between digits and after any base specifier. Leading, trailing, or multiple underscores in a row are not allowed.

The string formatting language also now has support for the '_' option to signal the use of an underscore for a thousands separator for floating-point presentation types and for integer presentation type 'd'. For integer presentation types 'b', 'o', 'x', and 'X', underscores will be inserted every 4 digits:

>>> '{:_}'.format(1000000)
'1_000_000'
>>> '{:_x}'.format(0xFFFFFFFF)
'ffff_ffff'

Ver também

PEP 515 [https://peps.python.org/pep-0515/] – Underscores in Numeric Literals

PEP written by Georg Brandl and Serhiy Storchaka.

PEP 525: Asynchronous Generators

PEP 492 [https://peps.python.org/pep-0492/] introduced support for native coroutines and async / await syntax to Python 3.5. A notable limitation of the Python 3.5 implementation is that it was not possible to use await and yield in the same function body. In Python 3.6 this restriction has been lifted, making it possible to define asynchronous generators:

async def ticker(delay, to):
    """Yield numbers from 0 to *to* every *delay* seconds."""
    for i in range(to):
        yield i
        await asyncio.sleep(delay)

The new syntax allows for faster and more concise code.

Ver também

PEP 525 [https://peps.python.org/pep-0525/] – Asynchronous Generators

PEP written and implemented by Yury Selivanov.

PEP 530: Asynchronous Comprehensions

PEP 530 [https://peps.python.org/pep-0530/] adds support for using async for in list, set, dict comprehensions and generator expressions:

result = [i async for i in aiter() if i % 2]

Additionally, await expressions are supported in all kinds of comprehensions:

result = [await fun() for fun in funcs if await condition()]

Ver também

PEP 530 [https://peps.python.org/pep-0530/] – Asynchronous Comprehensions

PEP written and implemented by Yury Selivanov.

PEP 487: Simpler customization of class creation

It is now possible to customize subclass creation without using a metaclass. The new __init_subclass__ classmethod will be called on the base class whenever a new subclass is created:

class PluginBase:
    subclasses = []

    def __init_subclass__(cls, **kwargs):
        super().__init_subclass__(**kwargs)
        cls.subclasses.append(cls)

class Plugin1(PluginBase):
    pass

class Plugin2(PluginBase):
    pass

In order to allow zero-argument super() calls to work correctly from __init_subclass__() implementations, custom metaclasses must ensure that the new __classcell__ namespace entry is propagated to type.__new__ (as described in Criando o objeto classe).

Ver também

PEP 487 [https://peps.python.org/pep-0487/] – Simpler customization of class creation

PEP written and implemented by Martin Teichmann.

Feature documentation

PEP 487: Descriptor Protocol Enhancements

PEP 487 [https://peps.python.org/pep-0487/] extends the descriptor protocol to include the new optional __set_name__() method. Whenever a new class is defined, the new method will be called on all descriptors included in the definition, providing them with a reference to the class being defined and the name given to the descriptor within the class namespace. In other words, instances of descriptors can now know the attribute name of the descriptor in the owner class:

class IntField:
    def __get__(self, instance, owner):
        return instance.__dict__[self.name]

    def __set__(self, instance, value):
        if not isinstance(value, int):
            raise ValueError(f'expecting integer in {self.name}')
        instance.__dict__[self.name] = value

    # this is the new initializer:
    def __set_name__(self, owner, name):
        self.name = name

class Model:
    int_field = IntField()

Ver também

PEP 487 [https://peps.python.org/pep-0487/] – Simpler customization of class creation

PEP written and implemented by Martin Teichmann.

Feature documentation

PEP 519: Adding a file system path protocol

File system paths have historically been represented as str or bytes objects. This has led to people who write code which operate on file system paths to assume that such objects are only one of those two types (an int representing a file descriptor does not count as that is not a file path). Unfortunately that assumption prevents alternative object representations of file system paths like pathlib from working with pre-existing code, including Python’s standard library.

To fix this situation, a new interface represented by os.PathLike has been defined. By implementing the __fspath__() method, an object signals that it represents a path. An object can then provide a low-level representation of a file system path as a str or bytes object. This means an object is considered path-like if it implements os.PathLike or is a str or bytes object which represents a file system path. Code can use os.fspath(), os.fsdecode(), or os.fsencode() to explicitly get a str and/or bytes representation of a path-like object.

The built-in open() function has been updated to accept os.PathLike objects, as have all relevant functions in the os and os.path modules, and most other functions and classes in the standard library. The os.DirEntry class and relevant classes in pathlib have also been updated to implement os.PathLike.

The hope is that updating the fundamental functions for operating on file system paths will lead to third-party code to implicitly support all path-like objects without any code changes, or at least very minimal ones (e.g. calling os.fspath() at the beginning of code before operating on a path-like object).

Here are some examples of how the new interface allows for pathlib.Path to be used more easily and transparently with pre-existing code:

>>> import pathlib
>>> with open(pathlib.Path("README")) as f:
...     contents = f.read()
...
>>> import os.path
>>> os.path.splitext(pathlib.Path("some_file.txt"))
('some_file', '.txt')
>>> os.path.join("/a/b", pathlib.Path("c"))
'/a/b/c'
>>> import os
>>> os.fspath(pathlib.Path("some_file.txt"))
'some_file.txt'

(Implemented by Brett Cannon, Ethan Furman, Dusty Phillips, and Jelle Zijlstra.)

Ver também

PEP 519 [https://peps.python.org/pep-0519/] – Adding a file system path protocol

PEP written by Brett Cannon and Koos Zevenhoven.

PEP 495: Local Time Disambiguation

In most world locations, there have been and will be times when local clocks are moved back. In those times, intervals are introduced in which local clocks show the same time twice in the same day. In these situations, the information displayed on a local clock (or stored in a Python datetime instance) is insufficient to identify a particular moment in time.

PEP 495 [https://peps.python.org/pep-0495/] adds the new fold attribute to instances of datetime.datetime and datetime.time classes to differentiate between two moments in time for which local times are the same:

>>> u0 = datetime(2016, 11, 6, 4, tzinfo=timezone.utc)
>>> for i in range(4):
...     u = u0 + i*HOUR
...     t = u.astimezone(Eastern)
...     print(u.time(), 'UTC =', t.time(), t.tzname(), t.fold)
...
04:00:00 UTC = 00:00:00 EDT 0
05:00:00 UTC = 01:00:00 EDT 0
06:00:00 UTC = 01:00:00 EST 1
07:00:00 UTC = 02:00:00 EST 0

The values of the fold attribute have the value 0 for all instances except those that represent the second (chronologically) moment in time in an ambiguous case.

Ver também

PEP 495 [https://peps.python.org/pep-0495/] – Local Time Disambiguation

PEP written by Alexander Belopolsky and Tim Peters, implementation by Alexander Belopolsky.

PEP 529: Change Windows filesystem encoding to UTF-8

Representing filesystem paths is best performed with str (Unicode) rather than bytes. However, there are some situations where using bytes is sufficient and correct.

Prior to Python 3.6, data loss could result when using bytes paths on Windows. With this change, using bytes to represent paths is now supported on Windows, provided those bytes are encoded with the encoding returned by sys.getfilesystemencoding(), which now defaults to 'utf-8'.

Applications that do not use str to represent paths should use os.fsencode() and os.fsdecode() to ensure their bytes are correctly encoded. To revert to the previous behaviour, set PYTHONLEGACYWINDOWSFSENCODING or call sys._enablelegacywindowsfsencoding().

See PEP 529 [https://peps.python.org/pep-0529/] for more information and discussion of code modifications that may be required.

PEP 528: Change Windows console encoding to UTF-8

The default console on Windows will now accept all Unicode characters and provide correctly read str objects to Python code. sys.stdin, sys.stdout and sys.stderr now default to utf-8 encoding.

This change only applies when using an interactive console, and not when redirecting files or pipes. To revert to the previous behaviour for interactive console use, set PYTHONLEGACYWINDOWSSTDIO.

Ver também

PEP 528 [https://peps.python.org/pep-0528/] – Change Windows console encoding to UTF-8

PEP written and implemented by Steve Dower.

PEP 520: Preserving Class Attribute Definition Order

Attributes in a class definition body have a natural ordering: the same order in which the names appear in the source. This order is now preserved in the new class’s __dict__ attribute.

Also, the effective default class execution namespace (returned from type.__prepare__()) is now an insertion-order-preserving mapping.

Ver também

PEP 520 [https://peps.python.org/pep-0520/] – Preserving Class Attribute Definition Order

PEP written and implemented by Eric Snow.

PEP 468: Preserving Keyword Argument Order

**kwargs in a function signature is now guaranteed to be an insertion-order-preserving mapping.

Ver também

PEP 468 [https://peps.python.org/pep-0468/] – Preserving Keyword Argument Order

PEP written and implemented by Eric Snow.

New dict implementation

The dict type now uses a “compact” representation based on a proposal by Raymond Hettinger [https://mail.python.org/pipermail/python-dev/2012-December/123028.html] which was first implemented by PyPy [https://morepypy.blogspot.com/2015/01/faster-more-memory-efficient-and-more.html]. The memory usage of the new dict() is between 20% and 25% smaller compared to Python 3.5.

The order-preserving aspect of this new implementation is considered an implementation detail and should not be relied upon (this may change in the future, but it is desired to have this new dict implementation in the language for a few releases before changing the language spec to mandate order-preserving semantics for all current and future Python implementations; this also helps preserve backwards-compatibility with older versions of the language where random iteration order is still in effect, e.g. Python 3.5).

(Contributed by INADA Naoki in bpo-27350 [https://bugs.python.org/issue?@action=redirect&bpo=27350]. Idea originally suggested by Raymond Hettinger [https://mail.python.org/pipermail/python-dev/2012-December/123028.html].)

PEP 523: Adding a frame evaluation API to CPython

While Python provides extensive support to customize how code executes, one place it has not done so is in the evaluation of frame objects. If you wanted some way to intercept frame evaluation in Python there really wasn’t any way without directly manipulating function pointers for defined functions.

PEP 523 [https://peps.python.org/pep-0523/] changes this by providing an API to make frame evaluation pluggable at the C level. This will allow for tools such as debuggers and JITs to intercept frame evaluation before the execution of Python code begins. This enables the use of alternative evaluation implementations for Python code, tracking frame evaluation, etc.

This API is not part of the limited C API and is marked as private to signal that usage of this API is expected to be limited and only applicable to very select, low-level use-cases. Semantics of the API will change with Python as necessary.

Ver também

PEP 523 [https://peps.python.org/pep-0523/] – Adding a frame evaluation API to CPython

PEP written by Brett Cannon and Dino Viehland.

PYTHONMALLOC environment variable

The new PYTHONMALLOC environment variable allows setting the Python memory allocators and installing debug hooks.

It is now possible to install debug hooks on Python memory allocators on Python compiled in release mode using PYTHONMALLOC=debug. Effects of debug hooks:

Newly allocated memory is filled with the byte 0xCB

Freed memory is filled with the byte 0xDB

Detect violations of the Python memory allocator API. For example, PyObject_Free() called on a memory block allocated by PyMem_Malloc().

Detect writes before the start of a buffer (buffer underflows)

Detect writes after the end of a buffer (buffer overflows)

Check that the GIL is held when allocator functions of PYMEM_DOMAIN_OBJ (ex: PyObject_Malloc()) and PYMEM_DOMAIN_MEM (ex: PyMem_Malloc()) domains are called.

Checking if the GIL is held is also a new feature of Python 3.6.

See the PyMem_SetupDebugHooks() function for debug hooks on Python memory allocators.

It is now also possible to force the usage of the malloc() allocator of the C library for all Python memory allocations using PYTHONMALLOC=malloc. This is helpful when using external memory debuggers like Valgrind on a Python compiled in release mode.

On error, the debug hooks on Python memory allocators now use the tracemalloc module to get the traceback where a memory block was allocated.

Example of fatal error on buffer overflow using python3.6 -X tracemalloc=5 (store 5 frames in traces):

Debug memory block at address p=0x7fbcd41666f8: API 'o'
    4 bytes originally requested
    The 7 pad bytes at p-7 are FORBIDDENBYTE, as expected.
    The 8 pad bytes at tail=0x7fbcd41666fc are not all FORBIDDENBYTE (0xfb):
        at tail+0: 0x02 *** OUCH
        at tail+1: 0xfb
        at tail+2: 0xfb
        at tail+3: 0xfb
        at tail+4: 0xfb
        at tail+5: 0xfb
        at tail+6: 0xfb
        at tail+7: 0xfb
    The block was made by call #1233329 to debug malloc/realloc.
    Data at p: 1a 2b 30 00

Memory block allocated at (most recent call first):
  File "test/test_bytes.py", line 323
  File "unittest/case.py", line 600
  File "unittest/case.py", line 648
  File "unittest/suite.py", line 122
  File "unittest/suite.py", line 84

Fatal Python error: bad trailing pad byte

Current thread 0x00007fbcdbd32700 (most recent call first):
  File "test/test_bytes.py", line 323 in test_hex
  File "unittest/case.py", line 600 in run
  File "unittest/case.py", line 648 in __call__
  File "unittest/suite.py", line 122 in run
  File "unittest/suite.py", line 84 in __call__
  File "unittest/suite.py", line 122 in run
  File "unittest/suite.py", line 84 in __call__
  ...

(Contributed by Victor Stinner in bpo-26516 [https://bugs.python.org/issue?@action=redirect&bpo=26516] and bpo-26564 [https://bugs.python.org/issue?@action=redirect&bpo=26564].)

DTrace and SystemTap probing support

Python can now be built --with-dtrace which enables static markers for the following events in the interpreter:

function call/return

garbage collection started/finished

line of code executed.

This can be used to instrument running interpreters in production, without the need to recompile specific debug builds or providing application-specific profiling/debugging code.

More details in Instrumentando o CPython com DTrace e SystemTap.

The current implementation is tested on Linux and macOS. Additional markers may be added in the future.

(Contributed by Łukasz Langa in bpo-21590 [https://bugs.python.org/issue?@action=redirect&bpo=21590], based on patches by Jesús Cea Avión, David Malcolm, and Nikhil Benesch.)

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

A global or nonlocal statement must now textually appear before the first use of the affected name in the same scope. Previously this was a SyntaxWarning.

It is now possible to set a special method to None to indicate that the corresponding operation is not available. For example, if a class sets __iter__() to None, the class is not iterable. (Contributed by Andrew Barnert and Ivan Levkivskyi in bpo-25958 [https://bugs.python.org/issue?@action=redirect&bpo=25958].)

Long sequences of repeated traceback lines are now abbreviated as "[Previous line repeated {count} more times]" (see traceback for an example). (Contributed by Emanuel Barry in bpo-26823 [https://bugs.python.org/issue?@action=redirect&bpo=26823].)

Import now raises the new exception ModuleNotFoundError (subclass of ImportError) when it cannot find a module. Code that currently checks for ImportError (in try-except) will still work. (Contributed by Eric Snow in bpo-15767 [https://bugs.python.org/issue?@action=redirect&bpo=15767].)

Class methods relying on zero-argument super() will now work correctly when called from metaclass methods during class creation. (Contributed by Martin Teichmann in bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722].)

Novos módulos

segredos

The main purpose of the new secrets module is to provide an obvious way to reliably generate cryptographically strong pseudo-random values suitable for managing secrets, such as account authentication, tokens, and similar.

Aviso

Note that the pseudo-random generators in the random module should NOT be used for security purposes. Use secrets on Python 3.6+ and os.urandom() on Python 3.5 and earlier.

Ver também

PEP 506 [https://peps.python.org/pep-0506/] – Adding A Secrets Module To The Standard Library

PEP written and implemented by Steven D’Aprano.

Módulos melhorados

array

Exhausted iterators of array.array will now stay exhausted even if the iterated array is extended. This is consistent with the behavior of other mutable sequences.

Contributed by Serhiy Storchaka in bpo-26492 [https://bugs.python.org/issue?@action=redirect&bpo=26492].

ast

The new ast.Constant AST node has been added. It can be used by external AST optimizers for the purposes of constant folding.

Contributed by Victor Stinner in bpo-26146 [https://bugs.python.org/issue?@action=redirect&bpo=26146].

asyncio

Starting with Python 3.6 the asyncio module is no longer provisional and its API is considered stable.

Notable changes in the asyncio module since Python 3.5.0 (all backported to 3.5.x due to the provisional status):

The get_event_loop() function has been changed to always return the currently running loop when called from coroutines and callbacks. (Contributed by Yury Selivanov in bpo-28613 [https://bugs.python.org/issue?@action=redirect&bpo=28613].)

The ensure_future() function and all functions that use it, such as loop.run_until_complete(), now accept all kinds of awaitable objects. (Contributed by Yury Selivanov.)

New run_coroutine_threadsafe() function to submit coroutines to event loops from other threads. (Contributed by Vincent Michel.)

New Transport.is_closing() method to check if the transport is closing or closed. (Contributed by Yury Selivanov.)

The loop.create_server() method can now accept a list of hosts. (Contributed by Yann Sionneau.)

New loop.create_future() method to create Future objects. This allows alternative event loop implementations, such as uvloop [https://github.com/MagicStack/uvloop], to provide a faster asyncio.Future implementation. (Contributed by Yury Selivanov in bpo-27041 [https://bugs.python.org/issue?@action=redirect&bpo=27041].)

New loop.get_exception_handler() method to get the current exception handler. (Contributed by Yury Selivanov in bpo-27040 [https://bugs.python.org/issue?@action=redirect&bpo=27040].)

New StreamReader.readuntil() method to read data from the stream until a separator bytes sequence appears. (Contributed by Mark Korenberg.)

The performance of StreamReader.readexactly() has been improved. (Contributed by Mark Korenberg in bpo-28370 [https://bugs.python.org/issue?@action=redirect&bpo=28370].)

The loop.getaddrinfo() method is optimized to avoid calling the system getaddrinfo function if the address is already resolved. (Contributed by A. Jesse Jiryu Davis.)

The loop.stop() method has been changed to stop the loop immediately after the current iteration. Any new callbacks scheduled as a result of the last iteration will be discarded. (Contributed by Guido van Rossum in bpo-25593 [https://bugs.python.org/issue?@action=redirect&bpo=25593].)

Future.set_exception will now raise TypeError when passed an instance of the StopIteration exception. (Contributed by Chris Angelico in bpo-26221 [https://bugs.python.org/issue?@action=redirect&bpo=26221].)

New loop.connect_accepted_socket() method to be used by servers that accept connections outside of asyncio, but that use asyncio to handle them. (Contributed by Jim Fulton in bpo-27392 [https://bugs.python.org/issue?@action=redirect&bpo=27392].)

TCP_NODELAY flag is now set for all TCP transports by default. (Contributed by Yury Selivanov in bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456].)

New loop.shutdown_asyncgens() to properly close pending asynchronous generators before closing the loop. (Contributed by Yury Selivanov in bpo-28003 [https://bugs.python.org/issue?@action=redirect&bpo=28003].)

Future and Task classes now have an optimized C implementation which makes asyncio code up to 30% faster. (Contributed by Yury Selivanov and INADA Naoki in bpo-26081 [https://bugs.python.org/issue?@action=redirect&bpo=26081] and bpo-28544 [https://bugs.python.org/issue?@action=redirect&bpo=28544].)

binascii

The b2a_base64() function now accepts an optional newline keyword argument to control whether the newline character is appended to the return value. (Contributed by Victor Stinner in bpo-25357 [https://bugs.python.org/issue?@action=redirect&bpo=25357].)

cmath

The new cmath.tau (τ) constant has been added. (Contributed by Lisa Roach in bpo-12345 [https://bugs.python.org/issue?@action=redirect&bpo=12345], see PEP 628 [https://peps.python.org/pep-0628/] for details.)

New constants: cmath.inf and cmath.nan to match math.inf and math.nan, and also cmath.infj and cmath.nanj to match the format used by complex repr. (Contributed by Mark Dickinson in bpo-23229 [https://bugs.python.org/issue?@action=redirect&bpo=23229].)

collections

The new Collection abstract base class has been added to represent sized iterable container classes. (Contributed by Ivan Levkivskyi, docs by Neil Girdhar in bpo-27598 [https://bugs.python.org/issue?@action=redirect&bpo=27598].)

The new Reversible abstract base class represents iterable classes that also provide the __reversed__() method. (Contributed by Ivan Levkivskyi in bpo-25987 [https://bugs.python.org/issue?@action=redirect&bpo=25987].)

The new AsyncGenerator abstract base class represents asynchronous generators. (Contributed by Yury Selivanov in bpo-28720 [https://bugs.python.org/issue?@action=redirect&bpo=28720].)

The namedtuple() function now accepts an optional keyword argument module, which, when specified, is used for the __module__ attribute of the returned named tuple class. (Contributed by Raymond Hettinger in bpo-17941 [https://bugs.python.org/issue?@action=redirect&bpo=17941].)

The verbose and rename arguments for namedtuple() are now keyword-only. (Contributed by Raymond Hettinger in bpo-25628 [https://bugs.python.org/issue?@action=redirect&bpo=25628].)

Recursive collections.deque instances can now be pickled. (Contributed by Serhiy Storchaka in bpo-26482 [https://bugs.python.org/issue?@action=redirect&bpo=26482].)

concurrent.futures

The ThreadPoolExecutor class constructor now accepts an optional thread_name_prefix argument to make it possible to customize the names of the threads created by the pool. (Contributed by Gregory P. Smith in bpo-27664 [https://bugs.python.org/issue?@action=redirect&bpo=27664].)

contextlib

The contextlib.AbstractContextManager class has been added to provide an abstract base class for context managers. It provides a sensible default implementation for __enter__() which returns self and leaves __exit__() an abstract method. A matching class has been added to the typing module as typing.ContextManager. (Contributed by Brett Cannon in bpo-25609 [https://bugs.python.org/issue?@action=redirect&bpo=25609].)

datetime

The datetime and time classes have the new fold attribute used to disambiguate local time when necessary. Many functions in the datetime have been updated to support local time disambiguation. See Local Time Disambiguation section for more information. (Contributed by Alexander Belopolsky in bpo-24773 [https://bugs.python.org/issue?@action=redirect&bpo=24773].)

The datetime.strftime() and date.strftime() methods now support ISO 8601 date directives %G, %u and %V. (Contributed by Ashley Anderson in bpo-12006 [https://bugs.python.org/issue?@action=redirect&bpo=12006].)

The datetime.isoformat() function now accepts an optional timespec argument that specifies the number of additional components of the time value to include. (Contributed by Alessandro Cucci and Alexander Belopolsky in bpo-19475 [https://bugs.python.org/issue?@action=redirect&bpo=19475].)

The datetime.combine() now accepts an optional tzinfo argument. (Contributed by Alexander Belopolsky in bpo-27661 [https://bugs.python.org/issue?@action=redirect&bpo=27661].)

decimal

New Decimal.as_integer_ratio() method that returns a pair (n, d) of integers that represent the given Decimal instance as a fraction, in lowest terms and with a positive denominator:

>>> Decimal('-3.14').as_integer_ratio()
(-157, 50)

(Contributed by Stefan Krah amd Mark Dickinson in bpo-25928 [https://bugs.python.org/issue?@action=redirect&bpo=25928].)

distutils

The default_format attribute has been removed from distutils.command.sdist.sdist and the formats attribute defaults to ['gztar']. Although not anticipated, any code relying on the presence of default_format may need to be adapted. See bpo-27819 [https://bugs.python.org/issue?@action=redirect&bpo=27819] for more details.

email

The new email API, enabled via the policy keyword to various constructors, is no longer provisional. The email documentation has been reorganized and rewritten to focus on the new API, while retaining the old documentation for the legacy API. (Contributed by R. David Murray in bpo-24277 [https://bugs.python.org/issue?@action=redirect&bpo=24277].)

The email.mime classes now all accept an optional policy keyword. (Contributed by Berker Peksag in bpo-27331 [https://bugs.python.org/issue?@action=redirect&bpo=27331].)

The DecodedGenerator now supports the policy keyword.

There is a new policy attribute, message_factory, that controls what class is used by default when the parser creates new message objects. For the email.policy.compat32 policy this is Message, for the new policies it is EmailMessage. (Contributed by R. David Murray in bpo-20476 [https://bugs.python.org/issue?@action=redirect&bpo=20476].)

encodings

On Windows, added the 'oem' encoding to use CP_OEMCP, and the 'ansi' alias for the existing 'mbcs' encoding, which uses the CP_ACP code page. (Contributed by Steve Dower in bpo-27959 [https://bugs.python.org/issue?@action=redirect&bpo=27959].)

enum

Two new enumeration base classes have been added to the enum module: Flag and IntFlags. Both are used to define constants that can be combined using the bitwise operators. (Contributed by Ethan Furman in bpo-23591 [https://bugs.python.org/issue?@action=redirect&bpo=23591].)

Many standard library modules have been updated to use the IntFlags class for their constants.

The new enum.auto value can be used to assign values to enum members automatically:

>>> from enum import Enum, auto
>>> class Color(Enum):
...     red = auto()
...     blue = auto()
...     green = auto()
...
>>> list(Color)
[<Color.red: 1>, <Color.blue: 2>, <Color.green: 3>]

faulthandler

On Windows, the faulthandler module now installs a handler for Windows exceptions: see faulthandler.enable(). (Contributed by Victor Stinner in bpo-23848 [https://bugs.python.org/issue?@action=redirect&bpo=23848].)

fileinput

hook_encoded() now supports the errors argument. (Contributed by Joseph Hackman in bpo-25788 [https://bugs.python.org/issue?@action=redirect&bpo=25788].)

hashlib

hashlib supports OpenSSL 1.1.0. The minimum recommend version is 1.0.2. (Contributed by Christian Heimes in bpo-26470 [https://bugs.python.org/issue?@action=redirect&bpo=26470].)

BLAKE2 hash functions were added to the module. blake2b() and blake2s() are always available and support the full feature set of BLAKE2. (Contributed by Christian Heimes in bpo-26798 [https://bugs.python.org/issue?@action=redirect&bpo=26798] based on code by Dmitry Chestnykh and Samuel Neves. Documentation written by Dmitry Chestnykh.)

The SHA-3 hash functions sha3_224(), sha3_256(), sha3_384(), sha3_512(), and SHAKE hash functions shake_128() and shake_256() were added. (Contributed by Christian Heimes in bpo-16113 [https://bugs.python.org/issue?@action=redirect&bpo=16113]. Keccak Code Package by Guido Bertoni, Joan Daemen, Michaël Peeters, Gilles Van Assche, and Ronny Van Keer.)

The password-based key derivation function scrypt() is now available with OpenSSL 1.1.0 and newer. (Contributed by Christian Heimes in bpo-27928 [https://bugs.python.org/issue?@action=redirect&bpo=27928].)

http.client

HTTPConnection.request() and endheaders() both now support chunked encoding request bodies. (Contributed by Demian Brecht and Rolf Krahl in bpo-12319 [https://bugs.python.org/issue?@action=redirect&bpo=12319].)

idlelib e IDLE

The idlelib package is being modernized and refactored to make IDLE look and work better and to make the code easier to understand, test, and improve. Part of making IDLE look better, especially on Linux and Mac, is using ttk widgets, mostly in the dialogs. As a result, IDLE no longer runs with tcl/tk 8.4. It now requires tcl/tk 8.5 or 8.6. We recommend running the latest release of either.

‘Modernizing’ includes renaming and consolidation of idlelib modules. The renaming of files with partial uppercase names is similar to the renaming of, for instance, Tkinter and TkFont to tkinter and tkinter.font in 3.0. As a result, imports of idlelib files that worked in 3.5 will usually not work in 3.6. At least a module name change will be needed (see idlelib/README.txt), sometimes more. (Name changes contributed by Al Swiegart and Terry Reedy in bpo-24225 [https://bugs.python.org/issue?@action=redirect&bpo=24225]. Most idlelib patches since have been and will be part of the process.)

In compensation, the eventual result with be that some idlelib classes will be easier to use, with better APIs and docstrings explaining them. Additional useful information will be added to idlelib when available.

New in 3.6.2:

Multiple fixes for autocompletion. (Contributed by Louie Lu in bpo-15786 [https://bugs.python.org/issue?@action=redirect&bpo=15786].)

New in 3.6.3:

Module Browser (on the File menu, formerly called Class Browser), now displays nested functions and classes in addition to top-level functions and classes. (Contributed by Guilherme Polo, Cheryl Sabella, and Terry Jan Reedy in bpo-1612262 [https://bugs.python.org/issue?@action=redirect&bpo=1612262].)

The IDLE features formerly implemented as extensions have been reimplemented as normal features. Their settings have been moved from the Extensions tab to other dialog tabs. (Contributed by Charles Wohlganger and Terry Jan Reedy in bpo-27099 [https://bugs.python.org/issue?@action=redirect&bpo=27099].)

The Settings dialog (Options, Configure IDLE) has been partly rewritten to improve both appearance and function. (Contributed by Cheryl Sabella and Terry Jan Reedy in multiple issues.)

New in 3.6.4:

The font sample now includes a selection of non-Latin characters so that users can better see the effect of selecting a particular font. (Contributed by Terry Jan Reedy in bpo-13802 [https://bugs.python.org/issue?@action=redirect&bpo=13802].) The sample can be edited to include other characters. (Contributed by Serhiy Storchaka in bpo-31860 [https://bugs.python.org/issue?@action=redirect&bpo=31860].)

New in 3.6.6:

Editor code context option revised. Box displays all context lines up to maxlines. Clicking on a context line jumps the editor to that line. Context colors for custom themes is added to Highlights tab of Settings dialog. (Contributed by Cheryl Sabella and Terry Jan Reedy in bpo-33642 [https://bugs.python.org/issue?@action=redirect&bpo=33642], bpo-33768 [https://bugs.python.org/issue?@action=redirect&bpo=33768], and bpo-33679 [https://bugs.python.org/issue?@action=redirect&bpo=33679].)

On Windows, a new API call tells Windows that tk scales for DPI. On Windows 8.1+ or 10, with DPI compatibility properties of the Python binary unchanged, and a monitor resolution greater than 96 DPI, this should make text and lines sharper. It should otherwise have no effect. (Contributed by Terry Jan Reedy in bpo-33656 [https://bugs.python.org/issue?@action=redirect&bpo=33656].)

New in 3.6.7:

A saída em N linhas (50 por padrão) é compactada até um limite inferior. N pode ser alterado na seção PyShell da página General da caixa de diálogo Settings. Menos linhas, mas possivelmente extra longas, podem ser espremidas clicando com o botão direito do mouse na saída. A saída compactada pode ser expandida no local clicando duas vezes no botão ou na área de transferência ou em uma janela separada clicando com o botão direito do mouse. (Contribuição de Tal Einat em bpo-1529353 [https://bugs.python.org/issue?@action=redirect&bpo=1529353].)

importlib

Import now raises the new exception ModuleNotFoundError (subclass of ImportError) when it cannot find a module. Code that current checks for ImportError (in try-except) will still work. (Contributed by Eric Snow in bpo-15767 [https://bugs.python.org/issue?@action=redirect&bpo=15767].)

importlib.util.LazyLoader now calls create_module() on the wrapped loader, removing the restriction that importlib.machinery.BuiltinImporter and importlib.machinery.ExtensionFileLoader couldn’t be used with importlib.util.LazyLoader.

importlib.util.cache_from_source(), importlib.util.source_from_cache(), and importlib.util.spec_from_file_location() now accept a path-like object.

inspect

The inspect.signature() function now reports the implicit .0 parameters generated by the compiler for comprehension and generator expression scopes as if they were positional-only parameters called implicit0. (Contributed by Jelle Zijlstra in bpo-19611 [https://bugs.python.org/issue?@action=redirect&bpo=19611].)

To reduce code churn when upgrading from Python 2.7 and the legacy inspect.getargspec() API, the previously documented deprecation of inspect.getfullargspec() has been reversed. While this function is convenient for single/source Python 2/3 code bases, the richer inspect.signature() interface remains the recommended approach for new code. (Contributed by Nick Coghlan in bpo-27172 [https://bugs.python.org/issue?@action=redirect&bpo=27172])

json

json.load() and json.loads() now support binary input. Encoded JSON should be represented using either UTF-8, UTF-16, or UTF-32. (Contributed by Serhiy Storchaka in bpo-17909 [https://bugs.python.org/issue?@action=redirect&bpo=17909].)

logging

The new WatchedFileHandler.reopenIfNeeded() method has been added to add the ability to check if the log file needs to be reopened. (Contributed by Marian Horban in bpo-24884 [https://bugs.python.org/issue?@action=redirect&bpo=24884].)

math

The tau (τ) constant has been added to the math and cmath modules. (Contributed by Lisa Roach in bpo-12345 [https://bugs.python.org/issue?@action=redirect&bpo=12345], see PEP 628 [https://peps.python.org/pep-0628/] for details.)

multiprocessing

Proxy Objects returned by multiprocessing.Manager() can now be nested. (Contributed by Davin Potts in bpo-6766 [https://bugs.python.org/issue?@action=redirect&bpo=6766].)

os

See the summary of PEP 519 for details on how the os and os.path modules now support path-like objects.

scandir() now supports bytes paths on Windows.

A new close() method allows explicitly closing a scandir() iterator. The scandir() iterator now supports the context manager protocol. If a scandir() iterator is neither exhausted nor explicitly closed a ResourceWarning will be emitted in its destructor. (Contributed by Serhiy Storchaka in bpo-25994 [https://bugs.python.org/issue?@action=redirect&bpo=25994].)

On Linux, os.urandom() now blocks until the system urandom entropy pool is initialized to increase the security. See the PEP 524 [https://peps.python.org/pep-0524/] for the rationale.

The Linux getrandom() syscall (get random bytes) is now exposed as the new os.getrandom() function. (Contributed by Victor Stinner, part of the PEP 524 [https://peps.python.org/pep-0524/])

pathlib

pathlib now supports path-like objects. (Contributed by Brett Cannon in bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186].)

See the summary of PEP 519 for details.

pdb

The Pdb class constructor has a new optional readrc argument to control whether .pdbrc files should be read.

pickle

Objects that need __new__ called with keyword arguments can now be pickled using pickle protocols older than protocol version 4. Protocol version 4 already supports this case. (Contributed by Serhiy Storchaka in bpo-24164 [https://bugs.python.org/issue?@action=redirect&bpo=24164].)

pickletools

pickletools.dis() now outputs the implicit memo index for the MEMOIZE opcode. (Contributed by Serhiy Storchaka in bpo-25382 [https://bugs.python.org/issue?@action=redirect&bpo=25382].)

pydoc

The pydoc module has learned to respect the MANPAGER environment variable. (Contributed by Matthias Klose in bpo-8637 [https://bugs.python.org/issue?@action=redirect&bpo=8637].)

help() and pydoc can now list named tuple fields in the order they were defined rather than alphabetically. (Contributed by Raymond Hettinger in bpo-24879 [https://bugs.python.org/issue?@action=redirect&bpo=24879].)

random

The new choices() function returns a list of elements of specified size from the given population with optional weights. (Contributed by Raymond Hettinger in bpo-18844 [https://bugs.python.org/issue?@action=redirect&bpo=18844].)

re

Added support of modifier spans in regular expressions. Examples: '(?i:p)ython' matches 'python' and 'Python', but not 'PYTHON'; '(?i)g(?-i:v)r' matches 'GvR' and 'gvr', but not 'GVR'. (Contributed by Serhiy Storchaka in bpo-433028 [https://bugs.python.org/issue?@action=redirect&bpo=433028].)

Match object groups can be accessed by __getitem__, which is equivalent to group(). So mo['name'] is now equivalent to mo.group('name'). (Contributed by Eric Smith in bpo-24454 [https://bugs.python.org/issue?@action=redirect&bpo=24454].)

Match objects now support index-like objects as group indices. (Contributed by Jeroen Demeyer and Xiang Zhang in bpo-27177 [https://bugs.python.org/issue?@action=redirect&bpo=27177].)

readline

Added set_auto_history() to enable or disable automatic addition of input to the history list. (Contributed by Tyler Crompton in bpo-26870 [https://bugs.python.org/issue?@action=redirect&bpo=26870].)

rlcompleter

Private and special attribute names now are omitted unless the prefix starts with underscores. A space or a colon is added after some completed keywords. (Contributed by Serhiy Storchaka in bpo-25011 [https://bugs.python.org/issue?@action=redirect&bpo=25011] and bpo-25209 [https://bugs.python.org/issue?@action=redirect&bpo=25209].)

shlex

The shlex has much improved shell compatibility through the new punctuation_chars argument to control which characters are treated as punctuation. (Contributed by Vinay Sajip in bpo-1521950 [https://bugs.python.org/issue?@action=redirect&bpo=1521950].)

site

When specifying paths to add to sys.path in a .pth file, you may now specify file paths on top of directories (e.g. zip files). (Contributed by Wolfgang Langner in bpo-26587 [https://bugs.python.org/issue?@action=redirect&bpo=26587]).

sqlite3

sqlite3.Cursor.lastrowid now supports the REPLACE statement. (Contributed by Alex LordThorsen in bpo-16864 [https://bugs.python.org/issue?@action=redirect&bpo=16864].)

socket

The ioctl() function now supports the SIO_LOOPBACK_FAST_PATH control code. (Contributed by Daniel Stokes in bpo-26536 [https://bugs.python.org/issue?@action=redirect&bpo=26536].)

The getsockopt() constants SO_DOMAIN, SO_PROTOCOL, SO_PEERSEC, and SO_PASSSEC are now supported. (Contributed by Christian Heimes in bpo-26907 [https://bugs.python.org/issue?@action=redirect&bpo=26907].)

The setsockopt() now supports the setsockopt(level, optname, None, optlen: int) form. (Contributed by Christian Heimes in bpo-27744 [https://bugs.python.org/issue?@action=redirect&bpo=27744].)

The socket module now supports the address family AF_ALG to interface with Linux Kernel crypto API. ALG_*, SOL_ALG and sendmsg_afalg() were added. (Contributed by Christian Heimes in bpo-27744 [https://bugs.python.org/issue?@action=redirect&bpo=27744] with support from Victor Stinner.)

New Linux constants TCP_USER_TIMEOUT and TCP_CONGESTION were added. (Contributed by Omar Sandoval, bpo-26273 [https://bugs.python.org/issue?@action=redirect&bpo=26273]).

socketserver

Servers based on the socketserver module, including those defined in http.server, xmlrpc.server and wsgiref.simple_server, now support the context manager protocol. (Contributed by Aviv Palivoda in bpo-26404 [https://bugs.python.org/issue?@action=redirect&bpo=26404].)

The wfile attribute of StreamRequestHandler classes now implements the io.BufferedIOBase writable interface. In particular, calling write() is now guaranteed to send the data in full. (Contributed by Martin Panter in bpo-26721 [https://bugs.python.org/issue?@action=redirect&bpo=26721].)

ssl

ssl supports OpenSSL 1.1.0. The minimum recommend version is 1.0.2. (Contributed by Christian Heimes in bpo-26470 [https://bugs.python.org/issue?@action=redirect&bpo=26470].)

3DES has been removed from the default cipher suites and ChaCha20 Poly1305 cipher suites have been added. (Contributed by Christian Heimes in bpo-27850 [https://bugs.python.org/issue?@action=redirect&bpo=27850] and bpo-27766 [https://bugs.python.org/issue?@action=redirect&bpo=27766].)

SSLContext has better default configuration for options and ciphers. (Contributed by Christian Heimes in bpo-28043 [https://bugs.python.org/issue?@action=redirect&bpo=28043].)

SSL session can be copied from one client-side connection to another with the new SSLSession class. TLS session resumption can speed up the initial handshake, reduce latency and improve performance (Contributed by Christian Heimes in bpo-19500 [https://bugs.python.org/issue?@action=redirect&bpo=19500] based on a draft by Alex Warhawk.)

The new get_ciphers() method can be used to get a list of enabled ciphers in order of cipher priority.

All constants and flags have been converted to IntEnum and IntFlags. (Contributed by Christian Heimes in bpo-28025 [https://bugs.python.org/issue?@action=redirect&bpo=28025].)

Server and client-side specific TLS protocols for SSLContext were added. (Contributed by Christian Heimes in bpo-28085 [https://bugs.python.org/issue?@action=redirect&bpo=28085].)

Added ssl.SSLContext.post_handshake_auth to enable and ssl.SSLSocket.verify_client_post_handshake() to initiate TLS 1.3 post-handshake authentication. (Contributed by Christian Heimes in gh-78851 [https://github.com/python/cpython/issues/78851].)

statistics

A new harmonic_mean() function has been added. (Contributed by Steven D’Aprano in bpo-27181 [https://bugs.python.org/issue?@action=redirect&bpo=27181].)

struct

struct now supports IEEE 754 half-precision floats via the 'e' format specifier. (Contributed by Eli Stevens, Mark Dickinson in bpo-11734 [https://bugs.python.org/issue?@action=redirect&bpo=11734].)

subprocess

subprocess.Popen destructor now emits a ResourceWarning warning if the child process is still running. Use the context manager protocol (with proc: ...) or explicitly call the wait() method to read the exit status of the child process. (Contributed by Victor Stinner in bpo-26741 [https://bugs.python.org/issue?@action=redirect&bpo=26741].)

The subprocess.Popen constructor and all functions that pass arguments through to it now accept encoding and errors arguments. Specifying either of these will enable text mode for the stdin, stdout and stderr streams. (Contributed by Steve Dower in bpo-6135 [https://bugs.python.org/issue?@action=redirect&bpo=6135].)

sys

The new getfilesystemencodeerrors() function returns the name of the error mode used to convert between Unicode filenames and bytes filenames. (Contributed by Steve Dower in bpo-27781 [https://bugs.python.org/issue?@action=redirect&bpo=27781].)

On Windows the return value of the getwindowsversion() function now includes the platform_version field which contains the accurate major version, minor version and build number of the current operating system, rather than the version that is being emulated for the process (Contributed by Steve Dower in bpo-27932 [https://bugs.python.org/issue?@action=redirect&bpo=27932].)

telnetlib

telnetlib.Telnet is now a context manager (contributed by Stéphane Wirtel in bpo-25485 [https://bugs.python.org/issue?@action=redirect&bpo=25485]).

time

The struct_time attributes tm_gmtoff and tm_zone are now available on all platforms.

timeit

The new Timer.autorange() convenience method has been added to call Timer.timeit() repeatedly so that the total run time is greater or equal to 200 milliseconds. (Contributed by Steven D’Aprano in bpo-6422 [https://bugs.python.org/issue?@action=redirect&bpo=6422].)

timeit now warns when there is substantial (4x) variance between best and worst times. (Contributed by Serhiy Storchaka in bpo-23552 [https://bugs.python.org/issue?@action=redirect&bpo=23552].)

tkinter

Added methods trace_add(), trace_remove() and trace_info() in the tkinter.Variable class. They replace old methods trace_variable(), trace(), trace_vdelete() and trace_vinfo() that use obsolete Tcl commands and might not work in future versions of Tcl. (Contributed by Serhiy Storchaka in bpo-22115 [https://bugs.python.org/issue?@action=redirect&bpo=22115]).

traceback

Both the traceback module and the interpreter’s builtin exception display now abbreviate long sequences of repeated lines in tracebacks as shown in the following example:

>>> def f(): f()
...
>>> f()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in f
  File "<stdin>", line 1, in f
  File "<stdin>", line 1, in f
  [Previous line repeated 995 more times]
RecursionError: maximum recursion depth exceeded

(Contributed by Emanuel Barry in bpo-26823 [https://bugs.python.org/issue?@action=redirect&bpo=26823].)

tracemalloc

The tracemalloc module now supports tracing memory allocations in multiple different address spaces.

The new DomainFilter filter class has been added to filter block traces by their address space (domain).

(Contributed by Victor Stinner in bpo-26588 [https://bugs.python.org/issue?@action=redirect&bpo=26588].)

typing

Since the typing module is provisional, all changes introduced in Python 3.6 have also been backported to Python 3.5.x.

The typing module has a much improved support for generic type aliases. For example Dict[str, Tuple[S, T]] is now a valid type annotation. (Contributed by Guido van Rossum in Github #195 [https://github.com/python/typing/pull/195].)

The typing.ContextManager class has been added for representing contextlib.AbstractContextManager. (Contributed by Brett Cannon in bpo-25609 [https://bugs.python.org/issue?@action=redirect&bpo=25609].)

The typing.Collection class has been added for representing collections.abc.Collection. (Contributed by Ivan Levkivskyi in bpo-27598 [https://bugs.python.org/issue?@action=redirect&bpo=27598].)

The typing.ClassVar type construct has been added to mark class variables. As introduced in PEP 526 [https://peps.python.org/pep-0526/], a variable annotation wrapped in ClassVar indicates that a given attribute is intended to be used as a class variable and should not be set on instances of that class. (Contributed by Ivan Levkivskyi in Github #280 [https://github.com/python/typing/pull/280].)

A new TYPE_CHECKING constant that is assumed to be True by the static type checkers, but is False at runtime. (Contributed by Guido van Rossum in Github #230 [https://github.com/python/typing/issues/230].)

A new NewType() helper function has been added to create lightweight distinct types for annotations:

from typing import NewType

UserId = NewType('UserId', int)
some_id = UserId(524313)

The static type checker will treat the new type as if it were a subclass of the original type. (Contributed by Ivan Levkivskyi in Github #189 [https://github.com/python/typing/issues/189].)

unicodedata

The unicodedata module now uses data from Unicode 9.0.0 [https://unicode.org/versions/Unicode9.0.0/]. (Contributed by Benjamin Peterson.)

unittest.mock

The Mock class has the following improvements:

Two new methods, Mock.assert_called() and Mock.assert_called_once() to check if the mock object was called. (Contributed by Amit Saha in bpo-26323 [https://bugs.python.org/issue?@action=redirect&bpo=26323].)

The Mock.reset_mock() method now has two optional keyword only arguments: return_value and side_effect. (Contributed by Kushal Das in bpo-21271 [https://bugs.python.org/issue?@action=redirect&bpo=21271].)

urllib.request

If a HTTP request has a file or iterable body (other than a bytes object) but no Content-Length header, rather than throwing an error, AbstractHTTPHandler now falls back to use chunked transfer encoding. (Contributed by Demian Brecht and Rolf Krahl in bpo-12319 [https://bugs.python.org/issue?@action=redirect&bpo=12319].)

urllib.robotparser

RobotFileParser now supports the Crawl-delay and Request-rate extensions. (Contributed by Nikolay Bogoychev in bpo-16099 [https://bugs.python.org/issue?@action=redirect&bpo=16099].)

venv

venv accepts a new parameter --prompt. This parameter provides an alternative prefix for the virtual environment. (Proposed by Łukasz Balcerzak and ported to 3.6 by Stéphane Wirtel in bpo-22829 [https://bugs.python.org/issue?@action=redirect&bpo=22829].)

avisos

A new optional source parameter has been added to the warnings.warn_explicit() function: the destroyed object which emitted a ResourceWarning. A source attribute has also been added to warnings.WarningMessage (contributed by Victor Stinner in bpo-26568 [https://bugs.python.org/issue?@action=redirect&bpo=26568] and bpo-26567 [https://bugs.python.org/issue?@action=redirect&bpo=26567]).

When a ResourceWarning warning is logged, the tracemalloc module is now used to try to retrieve the traceback where the destroyed object was allocated.

Example with the script example.py:

import warnings

def func():
    return open(__file__)

f = func()
f = None

Output of the command python3.6 -Wd -X tracemalloc=5 example.py:

example.py:7: ResourceWarning: unclosed file <_io.TextIOWrapper name='example.py' mode='r' encoding='UTF-8'>
  f = None
Object allocated at (most recent call first):
  File "example.py", lineno 4
    return open(__file__)
  File "example.py", lineno 6
    f = func()

The “Object allocated at” traceback is new and is only displayed if tracemalloc is tracing Python memory allocations and if the warnings module was already imported.

winreg

Added the 64-bit integer type REG_QWORD. (Contributed by Clement Rouault in bpo-23026 [https://bugs.python.org/issue?@action=redirect&bpo=23026].)

winsound

Allowed keyword arguments to be passed to Beep, MessageBeep, and PlaySound (bpo-27982 [https://bugs.python.org/issue?@action=redirect&bpo=27982]).

xmlrpc.client

The xmlrpc.client module now supports unmarshalling additional data types used by the Apache XML-RPC implementation for numerics and None. (Contributed by Serhiy Storchaka in bpo-26885 [https://bugs.python.org/issue?@action=redirect&bpo=26885].)

zipfile

A new ZipInfo.from_file() class method allows making a ZipInfo instance from a filesystem file. A new ZipInfo.is_dir() method can be used to check if the ZipInfo instance represents a directory. (Contributed by Thomas Kluyver in bpo-26039 [https://bugs.python.org/issue?@action=redirect&bpo=26039].)

The ZipFile.open() method can now be used to write data into a ZIP file, as well as for extracting data. (Contributed by Thomas Kluyver in bpo-26039 [https://bugs.python.org/issue?@action=redirect&bpo=26039].)

zlib

The compress() and decompress() functions now accept keyword arguments. (Contributed by Aviv Palivoda in bpo-26243 [https://bugs.python.org/issue?@action=redirect&bpo=26243] and Xiang Zhang in bpo-16764 [https://bugs.python.org/issue?@action=redirect&bpo=16764] respectively.)

Otimizações

The Python interpreter now uses a 16-bit wordcode instead of bytecode which made a number of opcode optimizations possible. (Contributed by Demur Rumed with input and reviews from Serhiy Storchaka and Victor Stinner in bpo-26647 [https://bugs.python.org/issue?@action=redirect&bpo=26647] and bpo-28050 [https://bugs.python.org/issue?@action=redirect&bpo=28050].)

The asyncio.Future class now has an optimized C implementation. (Contributed by Yury Selivanov and INADA Naoki in bpo-26081 [https://bugs.python.org/issue?@action=redirect&bpo=26081].)

The asyncio.Task class now has an optimized C implementation. (Contributed by Yury Selivanov in bpo-28544 [https://bugs.python.org/issue?@action=redirect&bpo=28544].)

Various implementation improvements in the typing module (such as caching of generic types) allow up to 30 times performance improvements and reduced memory footprint.

The ASCII decoder is now up to 60 times as fast for error handlers surrogateescape, ignore and replace (Contributed by Victor Stinner in bpo-24870 [https://bugs.python.org/issue?@action=redirect&bpo=24870]).

The ASCII and the Latin1 encoders are now up to 3 times as fast for the error handler surrogateescape (Contributed by Victor Stinner in bpo-25227 [https://bugs.python.org/issue?@action=redirect&bpo=25227]).

The UTF-8 encoder is now up to 75 times as fast for error handlers ignore, replace, surrogateescape, surrogatepass (Contributed by Victor Stinner in bpo-25267 [https://bugs.python.org/issue?@action=redirect&bpo=25267]).

The UTF-8 decoder is now up to 15 times as fast for error handlers ignore, replace and surrogateescape (Contributed by Victor Stinner in bpo-25301 [https://bugs.python.org/issue?@action=redirect&bpo=25301]).

bytes % args is now up to 2 times faster. (Contributed by Victor Stinner in bpo-25349 [https://bugs.python.org/issue?@action=redirect&bpo=25349]).

bytearray % args is now between 2.5 and 5 times faster. (Contributed by Victor Stinner in bpo-25399 [https://bugs.python.org/issue?@action=redirect&bpo=25399]).

Optimize bytes.fromhex() and bytearray.fromhex(): they are now between 2x and 3.5x faster. (Contributed by Victor Stinner in bpo-25401 [https://bugs.python.org/issue?@action=redirect&bpo=25401]).

Optimize bytes.replace(b'', b'.') and bytearray.replace(b'', b'.'): up to 80% faster. (Contributed by Josh Snider in bpo-26574 [https://bugs.python.org/issue?@action=redirect&bpo=26574]).

Allocator functions of the PyMem_Malloc() domain (PYMEM_DOMAIN_MEM) now use the pymalloc memory allocator instead of malloc() function of the C library. The pymalloc allocator is optimized for objects smaller or equal to 512 bytes with a short lifetime, and use malloc() for larger memory blocks. (Contributed by Victor Stinner in bpo-26249 [https://bugs.python.org/issue?@action=redirect&bpo=26249]).

pickle.load() and pickle.loads() are now up to 10% faster when deserializing many small objects (Contributed by Victor Stinner in bpo-27056 [https://bugs.python.org/issue?@action=redirect&bpo=27056]).

Passing keyword arguments to a function has an overhead in comparison with passing positional arguments. Now in extension functions implemented with using Argument Clinic this overhead is significantly decreased. (Contributed by Serhiy Storchaka in bpo-27574 [https://bugs.python.org/issue?@action=redirect&bpo=27574]).

Optimized glob() and iglob() functions in the glob module; they are now about 3–6 times faster. (Contributed by Serhiy Storchaka in bpo-25596 [https://bugs.python.org/issue?@action=redirect&bpo=25596]).

Optimized globbing in pathlib by using os.scandir(); it is now about 1.5–4 times faster. (Contributed by Serhiy Storchaka in bpo-26032 [https://bugs.python.org/issue?@action=redirect&bpo=26032]).

xml.etree.ElementTree parsing, iteration and deepcopy performance has been significantly improved. (Contributed by Serhiy Storchaka in bpo-25638 [https://bugs.python.org/issue?@action=redirect&bpo=25638], bpo-25873 [https://bugs.python.org/issue?@action=redirect&bpo=25873], and bpo-25869 [https://bugs.python.org/issue?@action=redirect&bpo=25869].)

Creation of fractions.Fraction instances from floats and decimals is now 2 to 3 times faster. (Contributed by Serhiy Storchaka in bpo-25971 [https://bugs.python.org/issue?@action=redirect&bpo=25971].)

Mudanças a construções e API C

Python now requires some C99 support in the toolchain to build. Most notably, Python now uses standard integer types and macros in place of custom macros like PY_LONG_LONG. For more information, see PEP 7 [https://peps.python.org/pep-0007/] and bpo-17884 [https://bugs.python.org/issue?@action=redirect&bpo=17884].

Cross-compiling CPython with the Android NDK and the Android API level set to 21 (Android 5.0 Lollipop) or greater runs successfully. While Android is not yet a supported platform, the Python test suite runs on the Android emulator with only about 16 tests failures. See the Android meta-issue bpo-26865 [https://bugs.python.org/issue?@action=redirect&bpo=26865].

The --enable-optimizations configure flag has been added. Turning it on will activate expensive optimizations like PGO. (Original patch by Alecsandru Patrascu of Intel in bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359].)

The GIL must now be held when allocator functions of PYMEM_DOMAIN_OBJ (ex: PyObject_Malloc()) and PYMEM_DOMAIN_MEM (ex: PyMem_Malloc()) domains are called.

New Py_FinalizeEx() API which indicates if flushing buffered data failed. (Contributed by Martin Panter in bpo-5319 [https://bugs.python.org/issue?@action=redirect&bpo=5319].)

PyArg_ParseTupleAndKeywords() now supports positional-only parameters. Positional-only parameters are defined by empty names. (Contributed by Serhiy Storchaka in bpo-26282 [https://bugs.python.org/issue?@action=redirect&bpo=26282]).

PyTraceback_Print method now abbreviates long sequences of repeated lines as "[Previous line repeated {count} more times]". (Contributed by Emanuel Barry in bpo-26823 [https://bugs.python.org/issue?@action=redirect&bpo=26823].)

The new PyErr_SetImportErrorSubclass() function allows for specifying a subclass of ImportError to raise. (Contributed by Eric Snow in bpo-15767 [https://bugs.python.org/issue?@action=redirect&bpo=15767].)

The new PyErr_ResourceWarning() function can be used to generate a ResourceWarning providing the source of the resource allocation. (Contributed by Victor Stinner in bpo-26567 [https://bugs.python.org/issue?@action=redirect&bpo=26567].)

The new PyOS_FSPath() function returns the file system representation of a path-like object. (Contributed by Brett Cannon in bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186].)

The PyUnicode_FSConverter() and PyUnicode_FSDecoder() functions will now accept path-like objects.

Other Improvements

When --version (short form: -V) is supplied twice, Python prints sys.version for detailed information.

$ ./python -VV
Python 3.6.0b4+ (3.6:223967b49e49+, Nov 21 2016, 20:55:04)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.42.1)]

Descontinuados

New Keywords

async and await are not recommended to be used as variable, class, function or module names. Introduced by PEP 492 [https://peps.python.org/pep-0492/] in Python 3.5, they will become proper keywords in Python 3.7. Starting in Python 3.6, the use of async or await as names will generate a DeprecationWarning.

Deprecated Python behavior

Raising the StopIteration exception inside a generator will now generate a DeprecationWarning, and will trigger a RuntimeError in Python 3.7. See PEP 479: Change StopIteration handling inside generators for details.

The __aiter__() method is now expected to return an asynchronous iterator directly instead of returning an awaitable as previously. Doing the former will trigger a DeprecationWarning. Backward compatibility will be removed in Python 3.7. (Contributed by Yury Selivanov in bpo-27243 [https://bugs.python.org/issue?@action=redirect&bpo=27243].)

A backslash-character pair that is not a valid escape sequence now generates a DeprecationWarning. Although this will eventually become a SyntaxError, that will not be for several Python releases. (Contributed by Emanuel Barry in bpo-27364 [https://bugs.python.org/issue?@action=redirect&bpo=27364].)

When performing a relative import, falling back on __name__ and __path__ from the calling module when __spec__ or __package__ are not defined now raises an ImportWarning. (Contributed by Rose Ames in bpo-25791 [https://bugs.python.org/issue?@action=redirect&bpo=25791].)

Deprecated Python modules, functions and methods

asynchat

The asynchat has been deprecated in favor of asyncio. (Contributed by Mariatta in bpo-25002 [https://bugs.python.org/issue?@action=redirect&bpo=25002].)

asyncore

The asyncore has been deprecated in favor of asyncio. (Contributed by Mariatta in bpo-25002 [https://bugs.python.org/issue?@action=redirect&bpo=25002].)

dbm

Unlike other dbm implementations, the dbm.dumb module creates databases with the 'rw' mode and allows modifying the database opened with the 'r' mode. This behavior is now deprecated and will be removed in 3.8. (Contributed by Serhiy Storchaka in bpo-21708 [https://bugs.python.org/issue?@action=redirect&bpo=21708].)

distutils

The undocumented extra_path argument to the distutils.Distribution constructor is now considered deprecated and will raise a warning if set. Support for this parameter will be removed in a future Python release. See bpo-27919 [https://bugs.python.org/issue?@action=redirect&bpo=27919] for details.

grp

The support of non-integer arguments in getgrgid() has been deprecated. (Contributed by Serhiy Storchaka in bpo-26129 [https://bugs.python.org/issue?@action=redirect&bpo=26129].)

importlib

The importlib.machinery.SourceFileLoader.load_module() and importlib.machinery.SourcelessFileLoader.load_module() methods are now deprecated. They were the only remaining implementations of importlib.abc.Loader.load_module() in importlib that had not been deprecated in previous versions of Python in favour of importlib.abc.Loader.exec_module().

The importlib.machinery.WindowsRegistryFinder class is now deprecated. As of 3.6.0, it is still added to sys.meta_path by default (on Windows), but this may change in future releases.

os

Undocumented support of general bytes-like objects as paths in os functions, compile() and similar functions is now deprecated. (Contributed by Serhiy Storchaka in bpo-25791 [https://bugs.python.org/issue?@action=redirect&bpo=25791] and bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754].)

re

Support for inline flags (?letters) in the middle of the regular expression has been deprecated and will be removed in a future Python version. Flags at the start of a regular expression are still allowed. (Contributed by Serhiy Storchaka in bpo-22493 [https://bugs.python.org/issue?@action=redirect&bpo=22493].)

ssl

OpenSSL 0.9.8, 1.0.0 and 1.0.1 are deprecated and no longer supported. In the future the ssl module will require at least OpenSSL 1.0.2 or 1.1.0.

SSL-related arguments like certfile, keyfile and check_hostname in ftplib, http.client, imaplib, poplib, and smtplib have been deprecated in favor of context. (Contributed by Christian Heimes in bpo-28022 [https://bugs.python.org/issue?@action=redirect&bpo=28022].)

A couple of protocols and functions of the ssl module are now deprecated. Some features will no longer be available in future versions of OpenSSL. Other features are deprecated in favor of a different API. (Contributed by Christian Heimes in bpo-28022 [https://bugs.python.org/issue?@action=redirect&bpo=28022] and bpo-26470 [https://bugs.python.org/issue?@action=redirect&bpo=26470].)

tkinter

The tkinter.tix module is now deprecated. tkinter users should use tkinter.ttk instead.

venv

The pyvenv script has been deprecated in favour of python3 -m venv. This prevents confusion as to what Python interpreter pyvenv is connected to and thus what Python interpreter will be used by the virtual environment. (Contributed by Brett Cannon in bpo-25154 [https://bugs.python.org/issue?@action=redirect&bpo=25154].)

xml

As mitigation against DTD and external entity retrieval, the xml.dom.minidom and xml.sax modules no longer process external entities by default. (Contributed by Christian Heimes in gh-61441 [https://github.com/python/cpython/issues/61441].)

Deprecated functions and types of the C API

Undocumented functions PyUnicode_AsEncodedObject(), PyUnicode_AsDecodedObject(), PyUnicode_AsEncodedUnicode() and PyUnicode_AsDecodedUnicode() are deprecated now. Use the generic codec based API instead.

Deprecated Build Options

The --with-system-ffi configure flag is now on by default on non-macOS UNIX platforms. It may be disabled by using --without-system-ffi, but using the flag is deprecated and will not be accepted in Python 3.7. macOS is unaffected by this change. Note that many OS distributors already use the --with-system-ffi flag when building their system Python.

Removidos

Remoção de APIs e recursos

Unknown escapes consisting of '\' and an ASCII letter in regular expressions will now cause an error. In replacement templates for re.sub() they are still allowed, but deprecated. The re.LOCALE flag can now only be used with binary patterns.

inspect.getmoduleinfo() was removed (was deprecated since CPython 3.3). inspect.getmodulename() should be used for obtaining the module name for a given path. (Contributed by Yury Selivanov in bpo-13248 [https://bugs.python.org/issue?@action=redirect&bpo=13248].)

traceback.Ignore class and traceback.usage, traceback.modname, traceback.fullmodname, traceback.find_lines_from_code, traceback.find_lines, traceback.find_strings, traceback.find_executable_lines methods were removed from the traceback module. They were undocumented methods deprecated since Python 3.2 and equivalent functionality is available from private methods.

The tk_menuBar() and tk_bindForTraversal() dummy methods in tkinter widget classes were removed (corresponding Tk commands were obsolete since Tk 4.0).

The open() method of the zipfile.ZipFile class no longer supports the 'U' mode (was deprecated since Python 3.4). Use io.TextIOWrapper for reading compressed text files in universal newlines mode.

The undocumented IN, CDROM, DLFCN, TYPES, CDIO, and STROPTS modules have been removed. They had been available in the platform specific Lib/plat-*/ directories, but were chronically out of date, inconsistently available across platforms, and unmaintained. The script that created these modules is still available in the source distribution at Tools/scripts/h2py.py [https://github.com/python/cpython/blob/v3.6.15/Tools/scripts/h2py.py].

The deprecated asynchat.fifo class has been removed.

Porting to Python 3.6

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Changes in ‘python’ Command Behavior

The output of a special Python build with defined COUNT_ALLOCS, SHOW_ALLOC_COUNT or SHOW_TRACK_COUNT macros is now off by default. It can be re-enabled using the -X showalloccount option. It now outputs to stderr instead of stdout. (Contributed by Serhiy Storchaka in bpo-23034 [https://bugs.python.org/issue?@action=redirect&bpo=23034].)

Alterações na API Python

open() will no longer allow combining the 'U' mode flag with '+'. (Contributed by Jeff Balogh and John O’Connor in bpo-2091 [https://bugs.python.org/issue?@action=redirect&bpo=2091].)

sqlite3 no longer implicitly commits an open transaction before DDL statements.

On Linux, os.urandom() now blocks until the system urandom entropy pool is initialized to increase the security.

When importlib.abc.Loader.exec_module() is defined, importlib.abc.Loader.create_module() must also be defined.

PyErr_SetImportError() now sets TypeError when its msg argument is not set. Previously only NULL was returned.

The format of the co_lnotab attribute of code objects changed to support a negative line number delta. By default, Python does not emit bytecode with a negative line number delta. Functions using frame.f_lineno, PyFrame_GetLineNumber() or PyCode_Addr2Line() are not affected. Functions directly decoding co_lnotab should be updated to use a signed 8-bit integer type for the line number delta, but this is only required to support applications using a negative line number delta. See Objects/lnotab_notes.txt for the co_lnotab format and how to decode it, and see the PEP 511 [https://peps.python.org/pep-0511/] for the rationale.

The functions in the compileall module now return booleans instead of 1 or 0 to represent success or failure, respectively. Thanks to booleans being a subclass of integers, this should only be an issue if you were doing identity checks for 1 or 0. See bpo-25768 [https://bugs.python.org/issue?@action=redirect&bpo=25768].

Reading the port attribute of urllib.parse.urlsplit() and urlparse() results now raises ValueError for out-of-range values, rather than returning None. See bpo-20059 [https://bugs.python.org/issue?@action=redirect&bpo=20059].

The imp module now raises a DeprecationWarning instead of PendingDeprecationWarning.

The following modules have had missing APIs added to their __all__ attributes to match the documented APIs: calendar, cgi, csv, ElementTree, enum, fileinput, ftplib, logging, mailbox, mimetypes, optparse, plistlib, smtpd, subprocess, tarfile, threading and wave. This means they will export new symbols when import * is used. (Contributed by Joel Taddei and Jacek Kołodziej in bpo-23883 [https://bugs.python.org/issue?@action=redirect&bpo=23883].)

When performing a relative import, if __package__ does not compare equal to __spec__.parent then ImportWarning is raised. (Contributed by Brett Cannon in bpo-25791 [https://bugs.python.org/issue?@action=redirect&bpo=25791].)

When a relative import is performed and no parent package is known, then ImportError will be raised. Previously, SystemError could be raised. (Contributed by Brett Cannon in bpo-18018 [https://bugs.python.org/issue?@action=redirect&bpo=18018].)

Servers based on the socketserver module, including those defined in http.server, xmlrpc.server and wsgiref.simple_server, now only catch exceptions derived from Exception. Therefore if a request handler raises an exception like SystemExit or KeyboardInterrupt, handle_error() is no longer called, and the exception will stop a single-threaded server. (Contributed by Martin Panter in bpo-23430 [https://bugs.python.org/issue?@action=redirect&bpo=23430].)

spwd.getspnam() now raises a PermissionError instead of KeyError if the user doesn’t have privileges.

The socket.socket.close() method now raises an exception if an error (e.g. EBADF) was reported by the underlying system call. (Contributed by Martin Panter in bpo-26685 [https://bugs.python.org/issue?@action=redirect&bpo=26685].)

The decode_data argument for the smtpd.SMTPChannel and smtpd.SMTPServer constructors is now False by default. This means that the argument passed to process_message() is now a bytes object by default, and process_message() will be passed keyword arguments. Code that has already been updated in accordance with the deprecation warning generated by 3.5 will not be affected.

All optional arguments of the dump(), dumps(), load() and loads() functions and JSONEncoder and JSONDecoder class constructors in the json module are now keyword-only. (Contributed by Serhiy Storchaka in bpo-18726 [https://bugs.python.org/issue?@action=redirect&bpo=18726].)

Subclasses de type que não substituem type.__new__ não podem mais usar a forma com apenas um argumento para obter o tipo de um objeto.

As part of PEP 487 [https://peps.python.org/pep-0487/], the handling of keyword arguments passed to type (other than the metaclass hint, metaclass) is now consistently delegated to object.__init_subclass__(). This means that type.__new__() and type.__init__() both now accept arbitrary keyword arguments, but object.__init_subclass__() (which is called from type.__new__()) will reject them by default. Custom metaclasses accepting additional keyword arguments will need to adjust their calls to type.__new__() (whether direct or via super) accordingly.

In distutils.command.sdist.sdist, the default_format attribute has been removed and is no longer honored. Instead, the gzipped tarfile format is the default on all platforms and no platform-specific selection is made. In environments where distributions are built on Windows and zip distributions are required, configure the project with a setup.cfg file containing the following:

[sdist]
formats=zip

This behavior has also been backported to earlier Python versions by Setuptools 26.0.0.

In the urllib.request module and the http.client.HTTPConnection.request() method, if no Content-Length header field has been specified and the request body is a file object, it is now sent with HTTP 1.1 chunked encoding. If a file object has to be sent to a HTTP 1.0 server, the Content-Length value now has to be specified by the caller. (Contributed by Demian Brecht and Rolf Krahl with tweaks from Martin Panter in bpo-12319 [https://bugs.python.org/issue?@action=redirect&bpo=12319].)

The DictReader now returns rows of type OrderedDict. (Contributed by Steve Holden in bpo-27842 [https://bugs.python.org/issue?@action=redirect&bpo=27842].)

The crypt.METHOD_CRYPT will no longer be added to crypt.methods if unsupported by the platform. (Contributed by Victor Stinner in bpo-25287 [https://bugs.python.org/issue?@action=redirect&bpo=25287].)

The verbose and rename arguments for namedtuple() are now keyword-only. (Contributed by Raymond Hettinger in bpo-25628 [https://bugs.python.org/issue?@action=redirect&bpo=25628].)

On Linux, ctypes.util.find_library() now looks in LD_LIBRARY_PATH for shared libraries. (Contributed by Vinay Sajip in bpo-9998 [https://bugs.python.org/issue?@action=redirect&bpo=9998].)

The imaplib.IMAP4 class now handles flags containing the ']' character in messages sent from the server to improve real-world compatibility. (Contributed by Lita Cho in bpo-21815 [https://bugs.python.org/issue?@action=redirect&bpo=21815].)

The mmap.write() function now returns the number of bytes written like other write methods. (Contributed by Jakub Stasiak in bpo-26335 [https://bugs.python.org/issue?@action=redirect&bpo=26335].)

The pkgutil.iter_modules() and pkgutil.walk_packages() functions now return ModuleInfo named tuples. (Contributed by Ramchandra Apte in bpo-17211 [https://bugs.python.org/issue?@action=redirect&bpo=17211].)

re.sub() now raises an error for invalid numerical group references in replacement templates even if the pattern is not found in the string. The error message for invalid group references now includes the group index and the position of the reference. (Contributed by SilentGhost, Serhiy Storchaka in bpo-25953 [https://bugs.python.org/issue?@action=redirect&bpo=25953].)

zipfile.ZipFile will now raise NotImplementedError for unrecognized compression values. Previously a plain RuntimeError was raised. Additionally, calling ZipFile methods on a closed ZipFile or calling the write() method on a ZipFile created with mode 'r' will raise a ValueError. Previously, a RuntimeError was raised in those scenarios.

when custom metaclasses are combined with zero-argument super() or direct references from methods to the implicit __class__ closure variable, the implicit __classcell__ namespace entry must now be passed up to type.__new__ for initialisation. Failing to do so will result in a DeprecationWarning in Python 3.6 and a RuntimeError in Python 3.8.

With the introduction of ModuleNotFoundError, import system consumers may start expecting import system replacements to raise that more specific exception when appropriate, rather than the less-specific ImportError. To provide future compatibility with such consumers, implementers of alternative import systems that completely replace __import__() will need to update their implementations to raise the new subclass when a module can’t be found at all. Implementers of compliant plugins to the default import system shouldn’t need to make any changes, as the default import system will raise the new subclass when appropriate.

Alterações na API C

The PyMem_Malloc() allocator family now uses the pymalloc allocator rather than the system malloc(). Applications calling PyMem_Malloc() without holding the GIL can now crash. Set the PYTHONMALLOC environment variable to debug to validate the usage of memory allocators in your application. See bpo-26249 [https://bugs.python.org/issue?@action=redirect&bpo=26249].

Py_Exit() (and the main interpreter) now override the exit status with 120 if flushing buffered data failed. See bpo-5319 [https://bugs.python.org/issue?@action=redirect&bpo=5319].

Alterações de bytecode do CPython

There have been several major changes to the bytecode in Python 3.6.

The Python interpreter now uses a 16-bit wordcode instead of bytecode. (Contributed by Demur Rumed with input and reviews from Serhiy Storchaka and Victor Stinner in bpo-26647 [https://bugs.python.org/issue?@action=redirect&bpo=26647] and bpo-28050 [https://bugs.python.org/issue?@action=redirect&bpo=28050].)

The new FORMAT_VALUE and BUILD_STRING opcodes as part of the formatted string literal implementation. (Contributed by Eric Smith in bpo-25483 [https://bugs.python.org/issue?@action=redirect&bpo=25483] and Serhiy Storchaka in bpo-27078 [https://bugs.python.org/issue?@action=redirect&bpo=27078].)

The new BUILD_CONST_KEY_MAP opcode to optimize the creation of dictionaries with constant keys. (Contributed by Serhiy Storchaka in bpo-27140 [https://bugs.python.org/issue?@action=redirect&bpo=27140].)

The function call opcodes have been heavily reworked for better performance and simpler implementation. The MAKE_FUNCTION, CALL_FUNCTION, CALL_FUNCTION_KW and BUILD_MAP_UNPACK_WITH_CALL opcodes have been modified, the new CALL_FUNCTION_EX and BUILD_TUPLE_UNPACK_WITH_CALL have been added, and CALL_FUNCTION_VAR, CALL_FUNCTION_VAR_KW and MAKE_CLOSURE opcodes have been removed. (Contributed by Demur Rumed in bpo-27095 [https://bugs.python.org/issue?@action=redirect&bpo=27095], and Serhiy Storchaka in bpo-27213 [https://bugs.python.org/issue?@action=redirect&bpo=27213], bpo-28257 [https://bugs.python.org/issue?@action=redirect&bpo=28257].)

The new SETUP_ANNOTATIONS and STORE_ANNOTATION opcodes have been added to support the new variable annotation syntax. (Contributed by Ivan Levkivskyi in bpo-27985 [https://bugs.python.org/issue?@action=redirect&bpo=27985].)

Notable changes in Python 3.6.2

Novo alvo de construção make regen-all

Para simplificar a compilação cruzada e garantir que o CPython possa ser compilado de forma confiável sem exigir que uma versão existente do Python já esteja disponível, o sistema de construção baseado em autotools não tenta mais recompilar implicitamente os arquivos gerados com base nos tempos de modificação dos arquivos.

Em vez disso, um novo comando make regen-all foi adicionado para forçar a regeneração desses arquivos quando desejado (por exemplo, após uma versão inicial do Python já ter sido construída com base nas versões pré-geradas).

Alvos de regeneração mais seletivos também são definidos – veja Makefile.pre.in [https://github.com/python/cpython/tree/3.13/Makefile.pre.in] para detalhes.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Adicionado na versão 3.6.2.

Remoção do alvo de construção make touch

O alvo de construção make touch usado anteriormente para solicitar regeneração implícita de arquivos gerados atualizando seus tempos de modificação foi removido.

Ele foi substituído pelo novo alvo make regen-all.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Alterado na versão 3.6.2.

Notable changes in Python 3.6.4

The PyExc_RecursionErrorInst singleton that was part of the public API has been removed as its members being never cleared may cause a segfault during finalization of the interpreter. (Contributed by Xavier de Gaye in bpo-22898 [https://bugs.python.org/issue?@action=redirect&bpo=22898] and bpo-30697 [https://bugs.python.org/issue?@action=redirect&bpo=30697].)

Notable changes in Python 3.6.5

The locale.localeconv() function now sets temporarily the LC_CTYPE locale to the LC_NUMERIC locale in some cases. (Contributed by Victor Stinner in bpo-31900 [https://bugs.python.org/issue?@action=redirect&bpo=31900].)

Notable changes in Python 3.6.7

xml.dom.minidom and xml.sax modules no longer process external entities by default. See also gh-61441 [https://github.com/python/cpython/issues/61441].

In 3.6.7 the tokenize module now implicitly emits a NEWLINE token when provided with input that does not have a trailing new line. This behavior now matches what the C tokenizer does internally. (Contributed by Ammar Askar in bpo-33899 [https://bugs.python.org/issue?@action=redirect&bpo=33899].)

Notable changes in Python 3.6.10

Devido a significativas preocupações de segurança, o parâmetro reuse_address de asyncio.loop.create_datagram_endpoint() não é mais suportado. Isso ocorre devido ao comportamento da opção de soquete SO_REUSEADDR no UDP. Para mais detalhes, consulte a documentação de loop.create_datagram_endpoint(). (Contribuição de Kyle Stanley, Antoine Pitrou e Yury Selivanov em bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228].)

Notable changes in Python 3.6.13

Versões anteriores do Python permitiam o uso de ; e & como separadores de parâmetros de consulta nas funções urllib.parse.parse_qs() e urllib.parse.parse_qsl(). Devido a questões de segurança, e em conformidade com as recomendações mais recentes do W3C, isso foi alterado para permitir apenas uma única chave separadora, com & como padrão. Esta mudança também afeta as funções cgi.parse() e cgi.parse_multipart() já que elas usam as funções afetadas internamente. Para obter mais detalhes, consulte sua respectiva documentação. (Contribuição de Adam Goldschmidt, Senthil Kumaran e Ken Jin em bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967].)

Notable changes in Python 3.6.14

Uma correção de segurança altera o comportamento ftplib.FTP para não confiar no endereço IPv4 enviado do servidor remoto ao configurar um canal de dados passivo. Em vez disso, reutilizamos o endereço IP do servidor ftp. Para códigos incomuns que requerem o comportamento antigo, defina um atributo trust_server_pasv_ipv4_address em sua instância de FTP para True. (Veja gh-87451 [https://github.com/python/cpython/issues/87451])

The presence of newline or tab characters in parts of a URL allows for some forms of attacks. Following the WHATWG specification that updates RFC 3986, ASCII newline \n, \r and tab \t characters are stripped from the URL by the parser urllib.parse() preventing such attacks. The removal characters are controlled by a new module level variable urllib.parse._UNSAFE_URL_BYTES_TO_REMOVE. (See gh-88048 [https://github.com/python/cpython/issues/88048])

O que há de novo no Python 3.5

Editores:

Elvis Pranskevichus <elvis@magic.io>, Yury Selivanov <yury@magic.io>

This article explains the new features in Python 3.5, compared to 3.4. Python 3.5 was released on September 13, 2015.  See the changelog [https://docs.python.org/3.5/whatsnew/changelog.html] for a full list of changes.

Ver também

PEP 478 [https://peps.python.org/pep-0478/] - Python 3.5 Release Schedule

Resumo – Destaques da versão

Novos recursos de sintaxe:

PEP 492, coroutines with async and await syntax.

PEP 465, a new matrix multiplication operator: a @ b.

PEP 448, additional unpacking generalizations.

Novos módulos de biblioteca:

typing: PEP 484 – Type Hints.

zipapp: PEP 441 Improving Python ZIP Application Support.

Novos recursos embutidos:

bytes % args, bytearray % args: PEP 461 – Adding % formatting to bytes and bytearray.

New bytes.hex(), bytearray.hex() and memoryview.hex() methods. (Contributed by Arnon Yaari in bpo-9951 [https://bugs.python.org/issue?@action=redirect&bpo=9951].)

memoryview now supports tuple indexing (including multi-dimensional). (Contributed by Antoine Pitrou in bpo-23632 [https://bugs.python.org/issue?@action=redirect&bpo=23632].)

Generators have a new gi_yieldfrom attribute, which returns the object being iterated by yield from expressions. (Contributed by Benno Leslie and Yury Selivanov in bpo-24450 [https://bugs.python.org/issue?@action=redirect&bpo=24450].)

A new RecursionError exception is now raised when maximum recursion depth is reached. (Contributed by Georg Brandl in bpo-19235 [https://bugs.python.org/issue?@action=redirect&bpo=19235].)

Melhorias na implementação do CPython:

When the LC_TYPE locale is the POSIX locale (C locale), sys.stdin and sys.stdout now use the surrogateescape error handler, instead of the strict error handler. (Contributed by Victor Stinner in bpo-19977 [https://bugs.python.org/issue?@action=redirect&bpo=19977].)

.pyo files are no longer used and have been replaced by a more flexible scheme that includes the optimization level explicitly in .pyc name. (See PEP 488 overview.)

Builtin and extension modules are now initialized in a multi-phase process, which is similar to how Python modules are loaded. (See PEP 489 overview.)

Melhorias significativas na biblioteca padrão:

collections.OrderedDict is now implemented in C, which makes it 4 to 100 times faster.

The ssl module gained support for Memory BIO, which decouples SSL protocol handling from network IO.

The new os.scandir() function provides a better and significantly faster way of directory traversal.

functools.lru_cache() has been mostly reimplemented in C, yielding much better performance.

The new subprocess.run() function provides a streamlined way to run subprocesses.

The traceback module has been significantly enhanced for improved performance and developer convenience.

Melhorias de Segurança:

SSLv3 is now disabled throughout the standard library. It can still be enabled by instantiating a ssl.SSLContext manually. (See bpo-22638 [https://bugs.python.org/issue?@action=redirect&bpo=22638] for more details; this change was backported to CPython 3.4 and 2.7.)

HTTP cookie parsing is now stricter, in order to protect against potential injection attacks. (Contributed by Antoine Pitrou in bpo-22796 [https://bugs.python.org/issue?@action=redirect&bpo=22796].)

Melhorias do Windows:

A new installer for Windows has replaced the old MSI. See Utilizando Python no Windows for more information.

Windows builds now use Microsoft Visual C++ 14.0, and extension modules should use the same.

Please read on for a comprehensive list of user-facing changes, including many other smaller improvements, CPython optimizations, deprecations, and potential porting issues.

Novas funcionalidades

PEP 492 - Coroutines with async and await syntax

PEP 492 [https://peps.python.org/pep-0492/] greatly improves support for asynchronous programming in Python by adding awaitable objects, coroutine functions, asynchronous iteration, and asynchronous context managers.

Coroutine functions are declared using the new async def syntax:

>>> async def coro():
...     return 'spam'

Inside a coroutine function, the new await expression can be used to suspend coroutine execution until the result is available. Any object can be awaited, as long as it implements the awaitable protocol by defining the __await__() method.

PEP 492 also adds async for statement for convenient iteration over asynchronous iterables.

An example of a rudimentary HTTP client written using the new syntax:

import asyncio

async def http_get(domain):
    reader, writer = await asyncio.open_connection(domain, 80)

    writer.write(b'\r\n'.join([
        b'GET / HTTP/1.1',
        b'Host: %b' % domain.encode('latin-1'),
        b'Connection: close',
        b'', b''
    ]))

    async for line in reader:
        print('>>>', line)

    writer.close()

loop = asyncio.get_event_loop()
try:
    loop.run_until_complete(http_get('example.com'))
finally:
    loop.close()

Similarly to asynchronous iteration, there is a new syntax for asynchronous context managers. The following script:

import asyncio

async def coro(name, lock):
    print('coro {}: waiting for lock'.format(name))
    async with lock:
        print('coro {}: holding the lock'.format(name))
        await asyncio.sleep(1)
        print('coro {}: releasing the lock'.format(name))

loop = asyncio.get_event_loop()
lock = asyncio.Lock()
coros = asyncio.gather(coro(1, lock), coro(2, lock))
try:
    loop.run_until_complete(coros)
finally:
    loop.close()

will output:

coro 2: waiting for lock
coro 2: holding the lock
coro 1: waiting for lock
coro 2: releasing the lock
coro 1: holding the lock
coro 1: releasing the lock

Note that both async for and async with can only be used inside a coroutine function declared with async def.

Coroutine functions are intended to be run inside a compatible event loop, such as the asyncio loop.

Nota

Alterado na versão 3.5.2: Starting with CPython 3.5.2, __aiter__ can directly return asynchronous iterators. Returning an awaitable object will result in a PendingDeprecationWarning.

See more details in the Iteradores assíncronos documentation section.

Ver também

PEP 492 [https://peps.python.org/pep-0492/] – Coroutines with async and await syntax

PEP written and implemented by Yury Selivanov.

PEP 465 - A dedicated infix operator for matrix multiplication

PEP 465 [https://peps.python.org/pep-0465/] adds the @ infix operator for matrix multiplication. Currently, no builtin Python types implement the new operator, however, it can be implemented by defining __matmul__(), __rmatmul__(), and __imatmul__() for regular, reflected, and in-place matrix multiplication. The semantics of these methods is similar to that of methods defining other infix arithmetic operators.

Matrix multiplication is a notably common operation in many fields of mathematics, science, engineering, and the addition of @ allows writing cleaner code:

S = (H @ beta - r).T @ inv(H @ V @ H.T) @ (H @ beta - r)

instead of:

S = dot((dot(H, beta) - r).T,
        dot(inv(dot(dot(H, V), H.T)), dot(H, beta) - r))

NumPy 1.10 has support for the new operator:

>>> import numpy

>>> x = numpy.ones(3)
>>> x
array([ 1., 1., 1.])

>>> m = numpy.eye(3)
>>> m
array([[ 1., 0., 0.],
       [ 0., 1., 0.],
       [ 0., 0., 1.]])

>>> x @ m
array([ 1., 1., 1.])

Ver também

PEP 465 [https://peps.python.org/pep-0465/] – A dedicated infix operator for matrix multiplication

PEP written by Nathaniel J. Smith; implemented by Benjamin Peterson.

PEP 448 - Additional Unpacking Generalizations

PEP 448 [https://peps.python.org/pep-0448/] extends the allowed uses of the * iterable unpacking operator and ** dictionary unpacking operator. It is now possible to use an arbitrary number of unpackings in function calls:

>>> print(*[1], *[2], 3, *[4, 5])
1 2 3 4 5

>>> def fn(a, b, c, d):
...     print(a, b, c, d)
...

>>> fn(**{'a': 1, 'c': 3}, **{'b': 2, 'd': 4})
1 2 3 4

Similarly, tuple, list, set, and dictionary displays allow multiple unpackings (see Listas de expressões and Sintaxes de criação de dicionário):

>>> *range(4), 4
(0, 1, 2, 3, 4)

>>> [*range(4), 4]
[0, 1, 2, 3, 4]

>>> {*range(4), 4, *(5, 6, 7)}
{0, 1, 2, 3, 4, 5, 6, 7}

>>> {'x': 1, **{'y': 2}}
{'x': 1, 'y': 2}

Ver também

PEP 448 [https://peps.python.org/pep-0448/] – Additional Unpacking Generalizations

PEP written by Joshua Landau; implemented by Neil Girdhar, Thomas Wouters, and Joshua Landau.

PEP 461 - percent formatting support for bytes and bytearray

PEP 461 [https://peps.python.org/pep-0461/] adds support for the % interpolation operator to bytes and bytearray.

While interpolation is usually thought of as a string operation, there are cases where interpolation on bytes or bytearrays makes sense, and the work needed to make up for this missing functionality detracts from the overall readability of the code. This issue is particularly important when dealing with wire format protocols, which are often a mixture of binary and ASCII compatible text.

Exemplos:

>>> b'Hello %b!' % b'World'
b'Hello World!'

>>> b'x=%i y=%f' % (1, 2.5)
b'x=1 y=2.500000'

Unicode is not allowed for %b, but it is accepted by %a (equivalent of repr(obj).encode('ascii', 'backslashreplace')):

>>> b'Hello %b!' % 'World'
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: %b requires bytes, or an object that implements __bytes__, not 'str'

>>> b'price: %a' % '10€'
b"price: '10\\u20ac'"

Note that %s and %r conversion types, although supported, should only be used in codebases that need compatibility with Python 2.

Ver também

PEP 461 [https://peps.python.org/pep-0461/] – Adding % formatting to bytes and bytearray

PEP written by Ethan Furman; implemented by Neil Schemenauer and Ethan Furman.

PEP 484 - Type Hints

Function annotation syntax has been a Python feature since version 3.0 (PEP 3107 [https://peps.python.org/pep-3107/]), however the semantics of annotations has been left undefined.

Experience has shown that the majority of function annotation uses were to provide type hints to function parameters and return values. It became evident that it would be beneficial for Python users, if the standard library included the base definitions and tools for type annotations.

PEP 484 [https://peps.python.org/pep-0484/] introduces a provisional module to provide these standard definitions and tools, along with some conventions for situations where annotations are not available.

For example, here is a simple function whose argument and return type are declared in the annotations:

def greeting(name: str) -> str:
    return 'Hello ' + name

While these annotations are available at runtime through the usual __annotations__ attribute, no automatic type checking happens at runtime. Instead, it is assumed that a separate off-line type checker (e.g. mypy [https://mypy-lang.org]) will be used for on-demand source code analysis.

The type system supports unions, generic types, and a special type named Any which is consistent with (i.e. assignable to and from) all types.

Ver também

typing documentação do módulo

PEP 484 [https://peps.python.org/pep-0484/] – Type Hints

PEP written by Guido van Rossum, Jukka Lehtosalo, and Łukasz Langa; implemented by Guido van Rossum.

PEP 483 [https://peps.python.org/pep-0483/] – The Theory of Type Hints

PEP escrito por Guido van Rossum

PEP 471 - os.scandir() function – a better and faster directory iterator

PEP 471 [https://peps.python.org/pep-0471/] adds a new directory iteration function, os.scandir(), to the standard library. Additionally, os.walk() is now implemented using scandir, which makes it 3 to 5 times faster on POSIX systems and 7 to 20 times faster on Windows systems. This is largely achieved by greatly reducing the number of calls to os.stat() required to walk a directory tree.

Additionally, scandir returns an iterator, as opposed to returning a list of file names, which improves memory efficiency when iterating over very large directories.

The following example shows a simple use of os.scandir() to display all the files (excluding directories) in the given path that don’t start with '.'. The entry.is_file() call will generally not make an additional system call:

for entry in os.scandir(path):
    if not entry.name.startswith('.') and entry.is_file():
        print(entry.name)

Ver também

PEP 471 [https://peps.python.org/pep-0471/] – os.scandir() function – a better and faster directory iterator

PEP written and implemented by Ben Hoyt with the help of Victor Stinner.

PEP 475: Retry system calls failing with EINTR

An errno.EINTR error code is returned whenever a system call, that is waiting for I/O, is interrupted by a signal. Previously, Python would raise InterruptedError in such cases. This meant that, when writing a Python application, the developer had two choices:

Ignore the InterruptedError.

Handle the InterruptedError and attempt to restart the interrupted system call at every call site.

The first option makes an application fail intermittently. The second option adds a large amount of boilerplate that makes the code nearly unreadable. Compare:

print("Hello World")

e:

while True:
    try:
        print("Hello World")
        break
    except InterruptedError:
        continue

PEP 475 [https://peps.python.org/pep-0475/] implements automatic retry of system calls on EINTR. This removes the burden of dealing with EINTR or InterruptedError in user code in most situations and makes Python programs, including the standard library, more robust. Note that the system call is only retried if the signal handler does not raise an exception.

Below is a list of functions which are now retried when interrupted by a signal:

open() and io.open();

functions of the faulthandler module;

os functions: fchdir(), fchmod(), fchown(), fdatasync(), fstat(), fstatvfs(), fsync(), ftruncate(), mkfifo(), mknod(), open(), posix_fadvise(), posix_fallocate(), pread(), pwrite(), read(), readv(), sendfile(), wait3(), wait4(), wait(), waitid(), waitpid(), write(), writev();

special cases: os.close() and os.dup2() now ignore EINTR errors; the syscall is not retried (see the PEP for the rationale);

select functions: devpoll.poll(), epoll.poll(), kqueue.control(), poll.poll(), select();

methods of the socket class: accept(), connect() (except for non-blocking sockets), recv(), recvfrom(), recvmsg(), send(), sendall(), sendmsg(), sendto();

signal.sigtimedwait() and signal.sigwaitinfo();

time.sleep().

Ver também

PEP 475 [https://peps.python.org/pep-0475/] – Retry system calls failing with EINTR

PEP and implementation written by Charles-François Natali and Victor Stinner, with the help of Antoine Pitrou (the French connection).

PEP 479: Change StopIteration handling inside generators

The interaction of generators and StopIteration in Python 3.4 and earlier was sometimes surprising, and could conceal obscure bugs. Previously, StopIteration raised accidentally inside a generator function was interpreted as the end of the iteration by the loop construct driving the generator.

PEP 479 [https://peps.python.org/pep-0479/] changes the behavior of generators: when a StopIteration exception is raised inside a generator, it is replaced with a RuntimeError before it exits the generator frame. The main goal of this change is to ease debugging in the situation where an unguarded next() call raises StopIteration and causes the iteration controlled by the generator to terminate silently. This is particularly pernicious in combination with the yield from construct.

This is a backwards incompatible change, so to enable the new behavior, a __future__ import is necessary:

>>> from __future__ import generator_stop

>>> def gen():
...     next(iter([]))
...     yield
...
>>> next(gen())
Traceback (most recent call last):
  File "<stdin>", line 2, in gen
StopIteration

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: generator raised StopIteration

Without a __future__ import, a PendingDeprecationWarning will be raised whenever a StopIteration exception is raised inside a generator.

Ver também

PEP 479 [https://peps.python.org/pep-0479/] – Change StopIteration handling inside generators

PEP written by Chris Angelico and Guido van Rossum. Implemented by Chris Angelico, Yury Selivanov and Nick Coghlan.

PEP 485: A function for testing approximate equality

PEP 485 [https://peps.python.org/pep-0485/] adds the math.isclose() and cmath.isclose() functions which tell whether two values are approximately equal or “close” to each other. Whether or not two values are considered close is determined according to given absolute and relative tolerances. Relative tolerance is the maximum allowed difference between isclose arguments, relative to the larger absolute value:

>>> import math
>>> a = 5.0
>>> b = 4.99998
>>> math.isclose(a, b, rel_tol=1e-5)
True
>>> math.isclose(a, b, rel_tol=1e-6)
False

It is also possible to compare two values using absolute tolerance, which must be a non-negative value:

>>> import math
>>> a = 5.0
>>> b = 4.99998
>>> math.isclose(a, b, abs_tol=0.00003)
True
>>> math.isclose(a, b, abs_tol=0.00001)
False

Ver também

PEP 485 [https://peps.python.org/pep-0485/] – Uma função para testar igualdade aproximada

PEP written by Christopher Barker; implemented by Chris Barker and Tal Einat.

PEP 486: Make the Python Launcher aware of virtual environments

PEP 486 [https://peps.python.org/pep-0486/] makes the Windows launcher (see PEP 397 [https://peps.python.org/pep-0397/]) aware of an active virtual environment. When the default interpreter would be used and the VIRTUAL_ENV environment variable is set, the interpreter in the virtual environment will be used.

Ver também

PEP 486 [https://peps.python.org/pep-0486/] – Make the Python Launcher aware of virtual environments

PEP written and implemented by Paul Moore.

PEP 488: Elimination of PYO files

PEP 488 [https://peps.python.org/pep-0488/] does away with the concept of .pyo files. This means that .pyc files represent both unoptimized and optimized bytecode. To prevent the need to constantly regenerate bytecode files, .pyc files now have an optional opt- tag in their name when the bytecode is optimized. This has the side-effect of no more bytecode file name clashes when running under either -O or -OO. Consequently, bytecode files generated from -O, and -OO may now exist simultaneously. importlib.util.cache_from_source() has an updated API to help with this change.

Ver também

PEP 488 [https://peps.python.org/pep-0488/] – Elimination of PYO files

PEP written and implemented by Brett Cannon.

PEP 489: Multi-phase extension module initialization

PEP 489 [https://peps.python.org/pep-0489/] updates extension module initialization to take advantage of the two step module loading mechanism introduced by PEP 451 [https://peps.python.org/pep-0451/] in Python 3.4.

This change brings the import semantics of extension modules that opt-in to using the new mechanism much closer to those of Python source and bytecode modules, including the ability to use any valid identifier as a module name, rather than being restricted to ASCII.

Ver também

PEP 489 [https://peps.python.org/pep-0489/] – Multi-phase extension module initialization

PEP written by Petr Viktorin, Stefan Behnel, and Nick Coghlan; implemented by Petr Viktorin.

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

Added the "namereplace" error handlers. The "backslashreplace" error handlers now work with decoding and translating. (Contributed by Serhiy Storchaka in bpo-19676 [https://bugs.python.org/issue?@action=redirect&bpo=19676] and bpo-22286 [https://bugs.python.org/issue?@action=redirect&bpo=22286].)

The -b option now affects comparisons of bytes with int. (Contributed by Serhiy Storchaka in bpo-23681 [https://bugs.python.org/issue?@action=redirect&bpo=23681].)

New Kazakh kz1048 and Tajik koi8_t codecs. (Contributed by Serhiy Storchaka in bpo-22682 [https://bugs.python.org/issue?@action=redirect&bpo=22682] and bpo-22681 [https://bugs.python.org/issue?@action=redirect&bpo=22681].)

Property docstrings are now writable. This is especially useful for collections.namedtuple() docstrings. (Contributed by Berker Peksag in bpo-24064 [https://bugs.python.org/issue?@action=redirect&bpo=24064].)

Circular imports involving relative imports are now supported. (Contributed by Brett Cannon and Antoine Pitrou in bpo-17636 [https://bugs.python.org/issue?@action=redirect&bpo=17636].)

Novos módulos

typing

The new typing provisional module provides standard definitions and tools for function type annotations. See Type Hints for more information.

zipapp

The new zipapp module (specified in PEP 441 [https://peps.python.org/pep-0441/]) provides an API and command line tool for creating executable Python Zip Applications, which were introduced in Python 2.6 in bpo-1739468 [https://bugs.python.org/issue?@action=redirect&bpo=1739468], but which were not well publicized, either at the time or since.

With the new module, bundling your application is as simple as putting all the files, including a __main__.py file, into a directory myapp and running:

$ python -m zipapp myapp
$ python myapp.pyz

The module implementation has been contributed by Paul Moore in bpo-23491 [https://bugs.python.org/issue?@action=redirect&bpo=23491].

Ver também

PEP 441 [https://peps.python.org/pep-0441/] – Improving Python ZIP Application Support

Módulos melhorados

argparse

The ArgumentParser class now allows disabling abbreviated usage of long options by setting allow_abbrev to False. (Contributed by Jonathan Paugh, Steven Bethard, paul j3 and Daniel Eriksson in bpo-14910 [https://bugs.python.org/issue?@action=redirect&bpo=14910].)

asyncio

Since the asyncio module is provisional, all changes introduced in Python 3.5 have also been backported to Python 3.4.x.

Notable changes in the asyncio module since Python 3.4.0:

New debugging APIs: loop.set_debug() and loop.get_debug() methods. (Contributed by Victor Stinner.)

The proactor event loop now supports SSL. (Contributed by Antoine Pitrou and Victor Stinner in bpo-22560 [https://bugs.python.org/issue?@action=redirect&bpo=22560].)

A new loop.is_closed() method to check if the event loop is closed. (Contributed by Victor Stinner in bpo-21326 [https://bugs.python.org/issue?@action=redirect&bpo=21326].)

A new loop.create_task() to conveniently create and schedule a new Task for a coroutine. The create_task method is also used by all asyncio functions that wrap coroutines into tasks, such as asyncio.wait(), asyncio.gather(), etc. (Contributed by Victor Stinner.)

A new transport.get_write_buffer_limits() method to inquire for high- and low- water limits of the flow control. (Contributed by Victor Stinner.)

The async() function is deprecated in favor of ensure_future(). (Contributed by Yury Selivanov.)

New loop.set_task_factory() and loop.get_task_factory() methods to customize the task factory that loop.create_task() method uses. (Contributed by Yury Selivanov.)

New Queue.join() and Queue.task_done() queue methods. (Contributed by Victor Stinner.)

The JoinableQueue class was removed, in favor of the asyncio.Queue class. (Contributed by Victor Stinner.)

Updates in 3.5.1:

The ensure_future() function and all functions that use it, such as loop.run_until_complete(), now accept all kinds of awaitable objects. (Contributed by Yury Selivanov.)

New run_coroutine_threadsafe() function to submit coroutines to event loops from other threads. (Contributed by Vincent Michel.)

New Transport.is_closing() method to check if the transport is closing or closed. (Contributed by Yury Selivanov.)

The loop.create_server() method can now accept a list of hosts. (Contributed by Yann Sionneau.)

Updates in 3.5.2:

New loop.create_future() method to create Future objects. This allows alternative event loop implementations, such as uvloop [https://github.com/MagicStack/uvloop], to provide a faster asyncio.Future implementation. (Contributed by Yury Selivanov.)

New loop.get_exception_handler() method to get the current exception handler. (Contributed by Yury Selivanov.)

New StreamReader.readuntil() method to read data from the stream until a separator bytes sequence appears. (Contributed by Mark Korenberg.)

The loop.create_connection() and loop.create_server() methods are optimized to avoid calling the system getaddrinfo function if the address is already resolved. (Contributed by A. Jesse Jiryu Davis.)

The loop.sock_connect(sock, address) no longer requires the address to be resolved prior to the call. (Contributed by A. Jesse Jiryu Davis.)

bz2

The BZ2Decompressor.decompress method now accepts an optional max_length argument to limit the maximum size of decompressed data. (Contributed by Nikolaus Rath in bpo-15955 [https://bugs.python.org/issue?@action=redirect&bpo=15955].)

cgi

The FieldStorage class now supports the context manager protocol. (Contributed by Berker Peksag in bpo-20289 [https://bugs.python.org/issue?@action=redirect&bpo=20289].)

cmath

A new function isclose() provides a way to test for approximate equality. (Contributed by Chris Barker and Tal Einat in bpo-24270 [https://bugs.python.org/issue?@action=redirect&bpo=24270].)

código

The InteractiveInterpreter.showtraceback() method now prints the full chained traceback, just like the interactive interpreter. (Contributed by Claudiu Popa in bpo-17442 [https://bugs.python.org/issue?@action=redirect&bpo=17442].)

collections

The OrderedDict class is now implemented in C, which makes it 4 to 100 times faster. (Contributed by Eric Snow in bpo-16991 [https://bugs.python.org/issue?@action=redirect&bpo=16991].)

OrderedDict.items(), OrderedDict.keys(), OrderedDict.values() views now support reversed() iteration. (Contributed by Serhiy Storchaka in bpo-19505 [https://bugs.python.org/issue?@action=redirect&bpo=19505].)

The deque class now defines index(), insert(), and copy(), and supports the + and * operators. This allows deques to be recognized as a MutableSequence and improves their substitutability for lists. (Contributed by Raymond Hettinger in bpo-23704 [https://bugs.python.org/issue?@action=redirect&bpo=23704].)

Docstrings produced by namedtuple() can now be updated:

Point = namedtuple('Point', ['x', 'y'])
Point.__doc__ += ': Cartesian coordinate'
Point.x.__doc__ = 'abscissa'
Point.y.__doc__ = 'ordinate'

(Contributed by Berker Peksag in bpo-24064 [https://bugs.python.org/issue?@action=redirect&bpo=24064].)

The UserString class now implements the __getnewargs__(), __rmod__(), casefold(), format_map(), isprintable(), and maketrans() methods to match the corresponding methods of str. (Contributed by Joe Jevnik in bpo-22189 [https://bugs.python.org/issue?@action=redirect&bpo=22189].)

collections.abc

The Sequence.index() method now accepts start and stop arguments to match the corresponding methods of tuple, list, etc. (Contributed by Devin Jeanpierre in bpo-23086 [https://bugs.python.org/issue?@action=redirect&bpo=23086].)

A new Generator abstract base class. (Contributed by Stefan Behnel in bpo-24018 [https://bugs.python.org/issue?@action=redirect&bpo=24018].)

New Awaitable, Coroutine, AsyncIterator, and AsyncIterable abstract base classes. (Contributed by Yury Selivanov in bpo-24184 [https://bugs.python.org/issue?@action=redirect&bpo=24184].)

For earlier Python versions, a backport of the new ABCs is available in an external PyPI package [https://pypi.org/project/backports_abc/].

compileall

A new compileall option, -j N, allows running N workers simultaneously to perform parallel bytecode compilation. The compile_dir() function has a corresponding workers parameter. (Contributed by Claudiu Popa in bpo-16104 [https://bugs.python.org/issue?@action=redirect&bpo=16104].)

Another new option, -r, allows controlling the maximum recursion level for subdirectories. (Contributed by Claudiu Popa in bpo-19628 [https://bugs.python.org/issue?@action=redirect&bpo=19628].)

The -q command line option can now be specified more than once, in which case all output, including errors, will be suppressed. The corresponding quiet parameter in compile_dir(), compile_file(), and compile_path() can now accept an integer value indicating the level of output suppression. (Contributed by Thomas Kluyver in bpo-21338 [https://bugs.python.org/issue?@action=redirect&bpo=21338].)

concurrent.futures

The Executor.map() method now accepts a chunksize argument to allow batching of tasks to improve performance when ProcessPoolExecutor() is used. (Contributed by Dan O’Reilly in bpo-11271 [https://bugs.python.org/issue?@action=redirect&bpo=11271].)

The number of workers in the ThreadPoolExecutor constructor is optional now. The default value is 5 times the number of CPUs. (Contributed by Claudiu Popa in bpo-21527 [https://bugs.python.org/issue?@action=redirect&bpo=21527].)

configparser

configparser now provides a way to customize the conversion of values by specifying a dictionary of converters in the ConfigParser constructor, or by defining them as methods in ConfigParser subclasses. Converters defined in a parser instance are inherited by its section proxies.

Exemplo:

>>> import configparser
>>> conv = {}
>>> conv['list'] = lambda v: [e.strip() for e in v.split() if e.strip()]
>>> cfg = configparser.ConfigParser(converters=conv)
>>> cfg.read_string("""
... [s]
... list = a b c d e f g
... """)
>>> cfg.get('s', 'list')
'a b c d e f g'
>>> cfg.getlist('s', 'list')
['a', 'b', 'c', 'd', 'e', 'f', 'g']
>>> section = cfg['s']
>>> section.getlist('list')
['a', 'b', 'c', 'd', 'e', 'f', 'g']

(Contributed by Łukasz Langa in bpo-18159 [https://bugs.python.org/issue?@action=redirect&bpo=18159].)

contextlib

The new redirect_stderr() context manager (similar to redirect_stdout()) makes it easier for utility scripts to handle inflexible APIs that write their output to sys.stderr and don’t provide any options to redirect it:

>>> import contextlib, io, logging
>>> f = io.StringIO()
>>> with contextlib.redirect_stderr(f):
...     logging.warning('warning')
...
>>> f.getvalue()
'WARNING:root:warning\n'

(Contributed by Berker Peksag in bpo-22389 [https://bugs.python.org/issue?@action=redirect&bpo=22389].)

csv

The writerow() method now supports arbitrary iterables, not just sequences. (Contributed by Serhiy Storchaka in bpo-23171 [https://bugs.python.org/issue?@action=redirect&bpo=23171].)

curses

The new update_lines_cols() function updates the LINES and COLS module variables. This is useful for detecting manual screen resizing. (Contributed by Arnon Yaari in bpo-4254 [https://bugs.python.org/issue?@action=redirect&bpo=4254].)

dbm

dumb.open always creates a new database when the flag has the value "n". (Contributed by Claudiu Popa in bpo-18039 [https://bugs.python.org/issue?@action=redirect&bpo=18039].)

difflib

The charset of HTML documents generated by HtmlDiff.make_file() can now be customized by using a new charset keyword-only argument. The default charset of HTML document changed from "ISO-8859-1" to "utf-8". (Contributed by Berker Peksag in bpo-2052 [https://bugs.python.org/issue?@action=redirect&bpo=2052].)

The diff_bytes() function can now compare lists of byte strings. This fixes a regression from Python 2. (Contributed by Terry J. Reedy and Greg Ward in bpo-17445 [https://bugs.python.org/issue?@action=redirect&bpo=17445].)

distutils

Both the build and build_ext commands now accept a -j option to enable parallel building of extension modules. (Contributed by Antoine Pitrou in bpo-5309 [https://bugs.python.org/issue?@action=redirect&bpo=5309].)

The distutils module now supports xz compression, and can be enabled by passing xztar as an argument to bdist --format. (Contributed by Serhiy Storchaka in bpo-16314 [https://bugs.python.org/issue?@action=redirect&bpo=16314].)

doctest

The DocTestSuite() function returns an empty unittest.TestSuite if module contains no docstrings, instead of raising ValueError. (Contributed by Glenn Jones in bpo-15916 [https://bugs.python.org/issue?@action=redirect&bpo=15916].)

email

A new policy option Policy.mangle_from_ controls whether or not lines that start with "From " in email bodies are prefixed with a ">" character by generators. The default is True for compat32 and False for all other policies. (Contributed by Milan Oberkirch in bpo-20098 [https://bugs.python.org/issue?@action=redirect&bpo=20098].)

A new Message.get_content_disposition() method provides easy access to a canonical value for the Content-Disposition header. (Contributed by Abhilash Raj in bpo-21083 [https://bugs.python.org/issue?@action=redirect&bpo=21083].)

A new policy option EmailPolicy.utf8 can be set to True to encode email headers using the UTF-8 charset instead of using encoded words. This allows Messages to be formatted according to RFC 6532 [https://datatracker.ietf.org/doc/html/rfc6532.html] and used with an SMTP server that supports the RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html] SMTPUTF8 extension. (Contributed by R. David Murray in bpo-24211 [https://bugs.python.org/issue?@action=redirect&bpo=24211].)

The mime.text.MIMEText constructor now accepts a charset.Charset instance. (Contributed by Claude Paroz and Berker Peksag in bpo-16324 [https://bugs.python.org/issue?@action=redirect&bpo=16324].)

enum

The Enum callable has a new parameter start to specify the initial number of enum values if only names are provided:

>>> Animal = enum.Enum('Animal', 'cat dog', start=10)
>>> Animal.cat
<Animal.cat: 10>
>>> Animal.dog
<Animal.dog: 11>

(Contributed by Ethan Furman in bpo-21706 [https://bugs.python.org/issue?@action=redirect&bpo=21706].)

faulthandler

The enable(), register(), dump_traceback() and dump_traceback_later() functions now accept file descriptors in addition to file-like objects. (Contributed by Wei Wu in bpo-23566 [https://bugs.python.org/issue?@action=redirect&bpo=23566].)

functools

Most of the lru_cache() machinery is now implemented in C, making it significantly faster. (Contributed by Matt Joiner, Alexey Kachayev, and Serhiy Storchaka in bpo-14373 [https://bugs.python.org/issue?@action=redirect&bpo=14373].)

glob

The iglob() and glob() functions now support recursive search in subdirectories, using the "**" pattern. (Contributed by Serhiy Storchaka in bpo-13968 [https://bugs.python.org/issue?@action=redirect&bpo=13968].)

gzip

The mode argument of the GzipFile constructor now accepts "x" to request exclusive creation. (Contributed by Tim Heaney in bpo-19222 [https://bugs.python.org/issue?@action=redirect&bpo=19222].)

heapq

Element comparison in merge() can now be customized by passing a key function in a new optional key keyword argument, and a new optional reverse keyword argument can be used to reverse element comparison:

>>> import heapq
>>> a = ['9', '777', '55555']
>>> b = ['88', '6666']
>>> list(heapq.merge(a, b, key=len))
['9', '88', '777', '6666', '55555']
>>> list(heapq.merge(reversed(a), reversed(b), key=len, reverse=True))
['55555', '6666', '777', '88', '9']

(Contributed by Raymond Hettinger in bpo-13742 [https://bugs.python.org/issue?@action=redirect&bpo=13742].)

http

A new HTTPStatus enum that defines a set of HTTP status codes, reason phrases and long descriptions written in English. (Contributed by Demian Brecht in bpo-21793 [https://bugs.python.org/issue?@action=redirect&bpo=21793].)

http.client

HTTPConnection.getresponse() now raises a RemoteDisconnected exception when a remote server connection is closed unexpectedly. Additionally, if a ConnectionError (of which RemoteDisconnected is a subclass) is raised, the client socket is now closed automatically, and will reconnect on the next request:

import http.client
conn = http.client.HTTPConnection('www.python.org')
for retries in range(3):
    try:
        conn.request('GET', '/')
        resp = conn.getresponse()
    except http.client.RemoteDisconnected:
        pass

(Contributed by Martin Panter in bpo-3566 [https://bugs.python.org/issue?@action=redirect&bpo=3566].)

idlelib e IDLE

Since idlelib implements the IDLE shell and editor and is not intended for import by other programs, it gets improvements with every release. See Lib/idlelib/NEWS.txt for a cumulative list of changes since 3.4.0, as well as changes made in future 3.5.x releases. This file is also available from the IDLE Help ‣ About IDLE dialog.

imaplib

The IMAP4 class now supports the context manager protocol. When used in a with statement, the IMAP4 LOGOUT command will be called automatically at the end of the block. (Contributed by Tarek Ziadé and Serhiy Storchaka in bpo-4972 [https://bugs.python.org/issue?@action=redirect&bpo=4972].)

The imaplib module now supports RFC 5161 [https://datatracker.ietf.org/doc/html/rfc5161.html] (ENABLE Extension) and RFC 6855 [https://datatracker.ietf.org/doc/html/rfc6855.html] (UTF-8 Support) via the IMAP4.enable() method. A new IMAP4.utf8_enabled attribute tracks whether or not RFC 6855 [https://datatracker.ietf.org/doc/html/rfc6855.html] support is enabled. (Contributed by Milan Oberkirch, R. David Murray, and Maciej Szulik in bpo-21800 [https://bugs.python.org/issue?@action=redirect&bpo=21800].)

The imaplib module now automatically encodes non-ASCII string usernames and passwords using UTF-8, as recommended by the RFCs. (Contributed by Milan Oberkirch in bpo-21800 [https://bugs.python.org/issue?@action=redirect&bpo=21800].)

imghdr

The what() function now recognizes the OpenEXR [https://www.openexr.com] format (contributed by Martin Vignali and Claudiu Popa in bpo-20295 [https://bugs.python.org/issue?@action=redirect&bpo=20295]), and the WebP [https://en.wikipedia.org/wiki/WebP] format (contributed by Fabrice Aneche and Claudiu Popa in bpo-20197 [https://bugs.python.org/issue?@action=redirect&bpo=20197].)

importlib

The util.LazyLoader class allows for lazy loading of modules in applications where startup time is important. (Contributed by Brett Cannon in bpo-17621 [https://bugs.python.org/issue?@action=redirect&bpo=17621].)

The abc.InspectLoader.source_to_code() method is now a static method. This makes it easier to initialize a module object with code compiled from a string by running exec(code, module.__dict__). (Contributed by Brett Cannon in bpo-21156 [https://bugs.python.org/issue?@action=redirect&bpo=21156].)

The new util.module_from_spec() function is now the preferred way to create a new module. As opposed to creating a types.ModuleType instance directly, this new function will set the various import-controlled attributes based on the passed-in spec object. (Contributed by Brett Cannon in bpo-20383 [https://bugs.python.org/issue?@action=redirect&bpo=20383].)

inspect

Both the Signature and Parameter classes are now picklable and hashable. (Contributed by Yury Selivanov in bpo-20726 [https://bugs.python.org/issue?@action=redirect&bpo=20726] and bpo-20334 [https://bugs.python.org/issue?@action=redirect&bpo=20334].)

A new BoundArguments.apply_defaults() method provides a way to set default values for missing arguments:

>>> def foo(a, b='ham', *args): pass
>>> ba = inspect.signature(foo).bind('spam')
>>> ba.apply_defaults()
>>> ba.arguments
OrderedDict([('a', 'spam'), ('b', 'ham'), ('args', ())])

(Contributed by Yury Selivanov in bpo-24190 [https://bugs.python.org/issue?@action=redirect&bpo=24190].)

A new class method Signature.from_callable() makes subclassing of Signature easier. (Contributed by Yury Selivanov and Eric Snow in bpo-17373 [https://bugs.python.org/issue?@action=redirect&bpo=17373].)

The signature() function now accepts a follow_wrapped optional keyword argument, which, when set to False, disables automatic following of __wrapped__ links. (Contributed by Yury Selivanov in bpo-20691 [https://bugs.python.org/issue?@action=redirect&bpo=20691].)

A set of new functions to inspect coroutine functions and coroutine objects has been added: iscoroutine(), iscoroutinefunction(), isawaitable(), getcoroutinelocals(), and getcoroutinestate(). (Contributed by Yury Selivanov in bpo-24017 [https://bugs.python.org/issue?@action=redirect&bpo=24017] and bpo-24400 [https://bugs.python.org/issue?@action=redirect&bpo=24400].)

The stack(), trace(), getouterframes(), and getinnerframes() functions now return a list of named tuples. (Contributed by Daniel Shahaf in bpo-16808 [https://bugs.python.org/issue?@action=redirect&bpo=16808].)

io

A new BufferedIOBase.readinto1() method, that uses at most one call to the underlying raw stream’s RawIOBase.read() or RawIOBase.readinto() methods. (Contributed by Nikolaus Rath in bpo-20578 [https://bugs.python.org/issue?@action=redirect&bpo=20578].)

ipaddress

Both the IPv4Network and IPv6Network classes now accept an (address, netmask) tuple argument, so as to easily construct network objects from existing addresses:

>>> import ipaddress
>>> ipaddress.IPv4Network(('127.0.0.0', 8))
IPv4Network('127.0.0.0/8')
>>> ipaddress.IPv4Network(('127.0.0.0', '255.0.0.0'))
IPv4Network('127.0.0.0/8')

(Contributed by Peter Moody and Antoine Pitrou in bpo-16531 [https://bugs.python.org/issue?@action=redirect&bpo=16531].)

A new reverse_pointer attribute for the IPv4Network and IPv6Network classes returns the name of the reverse DNS PTR record:

>>> import ipaddress
>>> addr = ipaddress.IPv4Address('127.0.0.1')
>>> addr.reverse_pointer
'1.0.0.127.in-addr.arpa'
>>> addr6 = ipaddress.IPv6Address('::1')
>>> addr6.reverse_pointer
'1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.ip6.arpa'

(Contributed by Leon Weber in bpo-20480 [https://bugs.python.org/issue?@action=redirect&bpo=20480].)

json

The json.tool command line interface now preserves the order of keys in JSON objects passed in input. The new --sort-keys option can be used to sort the keys alphabetically. (Contributed by Berker Peksag in bpo-21650 [https://bugs.python.org/issue?@action=redirect&bpo=21650].)

JSON decoder now raises JSONDecodeError instead of ValueError to provide better context information about the error. (Contributed by Serhiy Storchaka in bpo-19361 [https://bugs.python.org/issue?@action=redirect&bpo=19361].)

linecache

A new lazycache() function can be used to capture information about a non-file-based module to permit getting its lines later via getline(). This avoids doing I/O until a line is actually needed, without having to carry the module globals around indefinitely. (Contributed by Robert Collins in bpo-17911 [https://bugs.python.org/issue?@action=redirect&bpo=17911].)

locale

A new delocalize() function can be used to convert a string into a normalized number string, taking the LC_NUMERIC settings into account:

>>> import locale
>>> locale.setlocale(locale.LC_NUMERIC, 'de_DE.UTF-8')
'de_DE.UTF-8'
>>> locale.delocalize('1.234,56')
'1234.56'
>>> locale.setlocale(locale.LC_NUMERIC, 'en_US.UTF-8')
'en_US.UTF-8'
>>> locale.delocalize('1,234.56')
'1234.56'

(Contributed by Cédric Krier in bpo-13918 [https://bugs.python.org/issue?@action=redirect&bpo=13918].)

logging

All logging methods (Logger log(), exception(), critical(), debug(), etc.), now accept exception instances as an exc_info argument, in addition to boolean values and exception tuples:

>>> import logging
>>> try:
...     1/0
... except ZeroDivisionError as ex:
...     logging.error('exception', exc_info=ex)
ERROR:root:exception

(Contributed by Yury Selivanov in bpo-20537 [https://bugs.python.org/issue?@action=redirect&bpo=20537].)

The handlers.HTTPHandler class now accepts an optional ssl.SSLContext instance to configure SSL settings used in an HTTP connection. (Contributed by Alex Gaynor in bpo-22788 [https://bugs.python.org/issue?@action=redirect&bpo=22788].)

The handlers.QueueListener class now takes a respect_handler_level keyword argument which, if set to True, will pass messages to handlers taking handler levels into account. (Contributed by Vinay Sajip.)

lzma

The LZMADecompressor.decompress() method now accepts an optional max_length argument to limit the maximum size of decompressed data. (Contributed by Martin Panter in bpo-15955 [https://bugs.python.org/issue?@action=redirect&bpo=15955].)

math

Two new constants have been added to the math module: inf and nan. (Contributed by Mark Dickinson in bpo-23185 [https://bugs.python.org/issue?@action=redirect&bpo=23185].)

A new function isclose() provides a way to test for approximate equality. (Contributed by Chris Barker and Tal Einat in bpo-24270 [https://bugs.python.org/issue?@action=redirect&bpo=24270].)

A new gcd() function has been added. The fractions.gcd() function is now deprecated. (Contributed by Mark Dickinson and Serhiy Storchaka in bpo-22486 [https://bugs.python.org/issue?@action=redirect&bpo=22486].)

multiprocessing

sharedctypes.synchronized() objects now support the context manager protocol. (Contributed by Charles-François Natali in bpo-21565 [https://bugs.python.org/issue?@action=redirect&bpo=21565].)

operador

attrgetter(), itemgetter(), and methodcaller() objects now support pickling. (Contributed by Josh Rosenberg and Serhiy Storchaka in bpo-22955 [https://bugs.python.org/issue?@action=redirect&bpo=22955].)

New matmul() and imatmul() functions to perform matrix multiplication. (Contributed by Benjamin Peterson in bpo-21176 [https://bugs.python.org/issue?@action=redirect&bpo=21176].)

os

The new scandir() function returning an iterator of DirEntry objects has been added. If possible, scandir() extracts file attributes while scanning a directory, removing the need to perform subsequent system calls to determine file type or attributes, which may significantly improve performance. (Contributed by Ben Hoyt with the help of Victor Stinner in bpo-22524 [https://bugs.python.org/issue?@action=redirect&bpo=22524].)

On Windows, a new stat_result.st_file_attributes attribute is now available. It corresponds to the dwFileAttributes member of the BY_HANDLE_FILE_INFORMATION structure returned by GetFileInformationByHandle(). (Contributed by Ben Hoyt in bpo-21719 [https://bugs.python.org/issue?@action=redirect&bpo=21719].)

The urandom() function now uses the getrandom() syscall on Linux 3.17 or newer, and getentropy() on OpenBSD 5.6 and newer, removing the need to use /dev/urandom and avoiding failures due to potential file descriptor exhaustion. (Contributed by Victor Stinner in bpo-22181 [https://bugs.python.org/issue?@action=redirect&bpo=22181].)

New get_blocking() and set_blocking() functions allow getting and setting a file descriptor’s blocking mode (O_NONBLOCK.) (Contributed by Victor Stinner in bpo-22054 [https://bugs.python.org/issue?@action=redirect&bpo=22054].)

The truncate() and ftruncate() functions are now supported on Windows. (Contributed by Steve Dower in bpo-23668 [https://bugs.python.org/issue?@action=redirect&bpo=23668].)

There is a new os.path.commonpath() function returning the longest common sub-path of each passed pathname. Unlike the os.path.commonprefix() function, it always returns a valid path:

>>> os.path.commonprefix(['/usr/lib', '/usr/local/lib'])
'/usr/l'

>>> os.path.commonpath(['/usr/lib', '/usr/local/lib'])
'/usr'

(Contributed by Rafik Draoui and Serhiy Storchaka in bpo-10395 [https://bugs.python.org/issue?@action=redirect&bpo=10395].)

pathlib

The new Path.samefile() method can be used to check whether the path points to the same file as another path, which can be either another Path object, or a string:

>>> import pathlib
>>> p1 = pathlib.Path('/etc/hosts')
>>> p2 = pathlib.Path('/etc/../etc/hosts')
>>> p1.samefile(p2)
True

(Contributed by Vajrasky Kok and Antoine Pitrou in bpo-19775 [https://bugs.python.org/issue?@action=redirect&bpo=19775].)

The Path.mkdir() method now accepts a new optional exist_ok argument to match mkdir -p and os.makedirs() functionality. (Contributed by Berker Peksag in bpo-21539 [https://bugs.python.org/issue?@action=redirect&bpo=21539].)

There is a new Path.expanduser() method to expand ~ and ~user prefixes. (Contributed by Serhiy Storchaka and Claudiu Popa in bpo-19776 [https://bugs.python.org/issue?@action=redirect&bpo=19776].)

A new Path.home() class method can be used to get a Path instance representing the user’s home directory. (Contributed by Victor Salgado and Mayank Tripathi in bpo-19777 [https://bugs.python.org/issue?@action=redirect&bpo=19777].)

New Path.write_text(), Path.read_text(), Path.write_bytes(), Path.read_bytes() methods to simplify read/write operations on files.

The following code snippet will create or rewrite existing file ~/spam42:

>>> import pathlib
>>> p = pathlib.Path('~/spam42')
>>> p.expanduser().write_text('ham')
3

(Contributed by Christopher Welborn in bpo-20218 [https://bugs.python.org/issue?@action=redirect&bpo=20218].)

pickle

Nested objects, such as unbound methods or nested classes, can now be pickled using pickle protocols older than protocol version 4. Protocol version 4 already supports these cases. (Contributed by Serhiy Storchaka in bpo-23611 [https://bugs.python.org/issue?@action=redirect&bpo=23611].)

poplib

A new POP3.utf8() command enables RFC 6856 [https://datatracker.ietf.org/doc/html/rfc6856.html] (Internationalized Email) support, if a POP server supports it. (Contributed by Milan OberKirch in bpo-21804 [https://bugs.python.org/issue?@action=redirect&bpo=21804].)

re

References and conditional references to groups with fixed length are now allowed in lookbehind assertions:

>>> import re
>>> pat = re.compile(r'(a|b).(?<=\1)c')
>>> pat.match('aac')
<_sre.SRE_Match object; span=(0, 3), match='aac'>
>>> pat.match('bbc')
<_sre.SRE_Match object; span=(0, 3), match='bbc'>

(Contributed by Serhiy Storchaka in bpo-9179 [https://bugs.python.org/issue?@action=redirect&bpo=9179].)

The number of capturing groups in regular expressions is no longer limited to 100. (Contributed by Serhiy Storchaka in bpo-22437 [https://bugs.python.org/issue?@action=redirect&bpo=22437].)

The sub() and subn() functions now replace unmatched groups with empty strings instead of raising an exception. (Contributed by Serhiy Storchaka in bpo-1519638 [https://bugs.python.org/issue?@action=redirect&bpo=1519638].)

The re.error exceptions have new attributes, msg, pattern, pos, lineno, and colno, that provide better context information about the error:

>>> re.compile("""
...     (?x)
...     .++
... """)
Traceback (most recent call last):
   ...
sre_constants.error: multiple repeat at position 16 (line 3, column 7)

(Contributed by Serhiy Storchaka in bpo-22578 [https://bugs.python.org/issue?@action=redirect&bpo=22578].)

readline

A new append_history_file() function can be used to append the specified number of trailing elements in history to the given file. (Contributed by Bruno Cauet in bpo-22940 [https://bugs.python.org/issue?@action=redirect&bpo=22940].)

selectors

The new DevpollSelector supports efficient /dev/poll polling on Solaris. (Contributed by Giampaolo Rodola’ in bpo-18931 [https://bugs.python.org/issue?@action=redirect&bpo=18931].)

shutil

The move() function now accepts a copy_function argument, allowing, for example, the copy() function to be used instead of the default copy2() if there is a need to ignore file metadata when moving. (Contributed by Claudiu Popa in bpo-19840 [https://bugs.python.org/issue?@action=redirect&bpo=19840].)

The make_archive() function now supports the xztar format. (Contributed by Serhiy Storchaka in bpo-5411 [https://bugs.python.org/issue?@action=redirect&bpo=5411].)

signal

On Windows, the set_wakeup_fd() function now also supports socket handles. (Contributed by Victor Stinner in bpo-22018 [https://bugs.python.org/issue?@action=redirect&bpo=22018].)

Various SIG* constants in the signal module have been converted into Enums. This allows meaningful names to be printed during debugging, instead of integer “magic numbers”. (Contributed by Giampaolo Rodola’ in bpo-21076 [https://bugs.python.org/issue?@action=redirect&bpo=21076].)

smtpd

Both the SMTPServer and SMTPChannel classes now accept a decode_data keyword argument to determine if the DATA portion of the SMTP transaction is decoded using the "utf-8" codec or is instead provided to the SMTPServer.process_message() method as a byte string. The default is True for backward compatibility reasons, but will change to False in Python 3.6. If decode_data is set to False, the process_message method must be prepared to accept keyword arguments. (Contributed by Maciej Szulik in bpo-19662 [https://bugs.python.org/issue?@action=redirect&bpo=19662].)

The SMTPServer class now advertises the 8BITMIME extension (RFC 6152 [https://datatracker.ietf.org/doc/html/rfc6152.html]) if decode_data has been set True. If the client specifies BODY=8BITMIME on the MAIL command, it is passed to SMTPServer.process_message() via the mail_options keyword. (Contributed by Milan Oberkirch and R. David Murray in bpo-21795 [https://bugs.python.org/issue?@action=redirect&bpo=21795].)

The SMTPServer class now also supports the SMTPUTF8 extension (RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html]: Internationalized Email). If the client specified SMTPUTF8 BODY=8BITMIME on the MAIL command, they are passed to SMTPServer.process_message() via the mail_options keyword. It is the responsibility of the process_message method to correctly handle the SMTPUTF8 data. (Contributed by Milan Oberkirch in bpo-21725 [https://bugs.python.org/issue?@action=redirect&bpo=21725].)

It is now possible to provide, directly or via name resolution, IPv6 addresses in the SMTPServer constructor, and have it successfully connect. (Contributed by Milan Oberkirch in bpo-14758 [https://bugs.python.org/issue?@action=redirect&bpo=14758].)

smtplib

A new SMTP.auth() method provides a convenient way to implement custom authentication mechanisms. (Contributed by Milan Oberkirch in bpo-15014 [https://bugs.python.org/issue?@action=redirect&bpo=15014].)

The SMTP.set_debuglevel() method now accepts an additional debuglevel (2), which enables timestamps in debug messages. (Contributed by Gavin Chappell and Maciej Szulik in bpo-16914 [https://bugs.python.org/issue?@action=redirect&bpo=16914].)

Both the SMTP.sendmail() and SMTP.send_message() methods now support RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html] (SMTPUTF8). (Contributed by Milan Oberkirch and R. David Murray in bpo-22027 [https://bugs.python.org/issue?@action=redirect&bpo=22027].)

sndhdr

The what() and whathdr() functions now return a namedtuple(). (Contributed by Claudiu Popa in bpo-18615 [https://bugs.python.org/issue?@action=redirect&bpo=18615].)

socket

Functions with timeouts now use a monotonic clock, instead of a system clock. (Contributed by Victor Stinner in bpo-22043 [https://bugs.python.org/issue?@action=redirect&bpo=22043].)

A new socket.sendfile() method allows sending a file over a socket by using the high-performance os.sendfile() function on UNIX, resulting in uploads being from 2 to 3 times faster than when using plain socket.send(). (Contributed by Giampaolo Rodola’ in bpo-17552 [https://bugs.python.org/issue?@action=redirect&bpo=17552].)

The socket.sendall() method no longer resets the socket timeout every time bytes are received or sent. The socket timeout is now the maximum total duration to send all data. (Contributed by Victor Stinner in bpo-23853 [https://bugs.python.org/issue?@action=redirect&bpo=23853].)

The backlog argument of the socket.listen() method is now optional. By default it is set to SOMAXCONN or to 128, whichever is less. (Contributed by Charles-François Natali in bpo-21455 [https://bugs.python.org/issue?@action=redirect&bpo=21455].)

ssl

Memory BIO Support

(Contributed by Geert Jansen in bpo-21965 [https://bugs.python.org/issue?@action=redirect&bpo=21965].)

The new SSLObject class has been added to provide SSL protocol support for cases when the network I/O capabilities of SSLSocket are not necessary or are suboptimal. SSLObject represents an SSL protocol instance, but does not implement any network I/O methods, and instead provides a memory buffer interface. The new MemoryBIO class can be used to pass data between Python and an SSL protocol instance.

The memory BIO SSL support is primarily intended to be used in frameworks implementing asynchronous I/O for which SSLSocket’s readiness model (“select/poll”) is inefficient.

A new SSLContext.wrap_bio() method can be used to create a new SSLObject instance.

Application-Layer Protocol Negotiation Support

(Contributed by Benjamin Peterson in bpo-20188 [https://bugs.python.org/issue?@action=redirect&bpo=20188].)

Where OpenSSL support is present, the ssl module now implements the Application-Layer Protocol Negotiation TLS extension as described in RFC 7301 [https://datatracker.ietf.org/doc/html/rfc7301.html].

The new SSLContext.set_alpn_protocols() can be used to specify which protocols a socket should advertise during the TLS handshake.

The new SSLSocket.selected_alpn_protocol() returns the protocol that was selected during the TLS handshake. The HAS_ALPN flag indicates whether ALPN support is present.

Other Changes

There is a new SSLSocket.version() method to query the actual protocol version in use. (Contributed by Antoine Pitrou in bpo-20421 [https://bugs.python.org/issue?@action=redirect&bpo=20421].)

The SSLSocket class now implements a SSLSocket.sendfile() method. (Contributed by Giampaolo Rodola’ in bpo-17552 [https://bugs.python.org/issue?@action=redirect&bpo=17552].)

The SSLSocket.send() method now raises either the ssl.SSLWantReadError or ssl.SSLWantWriteError exception on a non-blocking socket if the operation would block. Previously, it would return 0. (Contributed by Nikolaus Rath in bpo-20951 [https://bugs.python.org/issue?@action=redirect&bpo=20951].)

The cert_time_to_seconds() function now interprets the input time as UTC and not as local time, per RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html]. Additionally, the return value is always an int. (Contributed by Akira Li in bpo-19940 [https://bugs.python.org/issue?@action=redirect&bpo=19940].)

New SSLObject.shared_ciphers() and SSLSocket.shared_ciphers() methods return the list of ciphers sent by the client during the handshake. (Contributed by Benjamin Peterson in bpo-23186 [https://bugs.python.org/issue?@action=redirect&bpo=23186].)

The SSLSocket.do_handshake(), SSLSocket.read(), SSLSocket.shutdown(), and SSLSocket.write() methods of the SSLSocket class no longer reset the socket timeout every time bytes are received or sent. The socket timeout is now the maximum total duration of the method. (Contributed by Victor Stinner in bpo-23853 [https://bugs.python.org/issue?@action=redirect&bpo=23853].)

The match_hostname() function now supports matching of IP addresses. (Contributed by Antoine Pitrou in bpo-23239 [https://bugs.python.org/issue?@action=redirect&bpo=23239].)

sqlite3

The Row class now fully supports the sequence protocol, in particular reversed() iteration and slice indexing. (Contributed by Claudiu Popa in bpo-10203 [https://bugs.python.org/issue?@action=redirect&bpo=10203]; by Lucas Sinclair, Jessica McKellar, and Serhiy Storchaka in bpo-13583 [https://bugs.python.org/issue?@action=redirect&bpo=13583].)

subprocess

The new run() function has been added. It runs the specified command and returns a CompletedProcess object, which describes a finished process. The new API is more consistent and is the recommended approach to invoking subprocesses in Python code that does not need to maintain compatibility with earlier Python versions. (Contributed by Thomas Kluyver in bpo-23342 [https://bugs.python.org/issue?@action=redirect&bpo=23342].)

Exemplos:

>>> subprocess.run(["ls", "-l"])  # doesn't capture output
CompletedProcess(args=['ls', '-l'], returncode=0)

>>> subprocess.run("exit 1", shell=True, check=True)
Traceback (most recent call last):
  ...
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

>>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')

sys

A new set_coroutine_wrapper() function allows setting a global hook that will be called whenever a coroutine object is created by an async def function. A corresponding get_coroutine_wrapper() can be used to obtain a currently set wrapper. Both functions are provisional, and are intended for debugging purposes only. (Contributed by Yury Selivanov in bpo-24017 [https://bugs.python.org/issue?@action=redirect&bpo=24017].)

A new is_finalizing() function can be used to check if the Python interpreter is shutting down. (Contributed by Antoine Pitrou in bpo-22696 [https://bugs.python.org/issue?@action=redirect&bpo=22696].)

sysconfig

The name of the user scripts directory on Windows now includes the first two components of the Python version. (Contributed by Paul Moore in bpo-23437 [https://bugs.python.org/issue?@action=redirect&bpo=23437].)

tarfile

The mode argument of the open() function now accepts "x" to request exclusive creation. (Contributed by Berker Peksag in bpo-21717 [https://bugs.python.org/issue?@action=redirect&bpo=21717].)

The TarFile.extractall() and TarFile.extract() methods now take a keyword argument numeric_owner. If set to True, the extracted files and directories will be owned by the numeric uid and gid from the tarfile. If set to False (the default, and the behavior in versions prior to 3.5), they will be owned by the named user and group in the tarfile. (Contributed by Michael Vogt and Eric Smith in bpo-23193 [https://bugs.python.org/issue?@action=redirect&bpo=23193].)

The TarFile.list() now accepts an optional members keyword argument that can be set to a subset of the list returned by TarFile.getmembers(). (Contributed by Serhiy Storchaka in bpo-21549 [https://bugs.python.org/issue?@action=redirect&bpo=21549].)

threading

Both the Lock.acquire() and RLock.acquire() methods now use a monotonic clock for timeout management. (Contributed by Victor Stinner in bpo-22043 [https://bugs.python.org/issue?@action=redirect&bpo=22043].)

time

The monotonic() function is now always available. (Contributed by Victor Stinner in bpo-22043 [https://bugs.python.org/issue?@action=redirect&bpo=22043].)

timeit

A new command line option -u or --unit=U can be used to specify the time unit for the timer output. Supported options are usec, msec, or sec. (Contributed by Julian Gindi in bpo-18983 [https://bugs.python.org/issue?@action=redirect&bpo=18983].)

The timeit() function has a new globals parameter for specifying the namespace in which the code will be running. (Contributed by Ben Roberts in bpo-2527 [https://bugs.python.org/issue?@action=redirect&bpo=2527].)

tkinter

The tkinter._fix module used for setting up the Tcl/Tk environment on Windows has been replaced by a private function in the _tkinter module which makes no permanent changes to environment variables. (Contributed by Zachary Ware in bpo-20035 [https://bugs.python.org/issue?@action=redirect&bpo=20035].)

traceback

New walk_stack() and walk_tb() functions to conveniently traverse frame and traceback objects. (Contributed by Robert Collins in bpo-17911 [https://bugs.python.org/issue?@action=redirect&bpo=17911].)

New lightweight classes: TracebackException, StackSummary, and FrameSummary. (Contributed by Robert Collins in bpo-17911 [https://bugs.python.org/issue?@action=redirect&bpo=17911].)

Both the print_tb() and print_stack() functions now support negative values for the limit argument. (Contributed by Dmitry Kazakov in bpo-22619 [https://bugs.python.org/issue?@action=redirect&bpo=22619].)

types

A new coroutine() function to transform generator and generator-like objects into awaitables. (Contributed by Yury Selivanov in bpo-24017 [https://bugs.python.org/issue?@action=redirect&bpo=24017].)

A new type called CoroutineType, which is used for coroutine objects created by async def functions. (Contributed by Yury Selivanov in bpo-24400 [https://bugs.python.org/issue?@action=redirect&bpo=24400].)

unicodedata

The unicodedata module now uses data from Unicode 8.0.0 [https://unicode.org/versions/Unicode8.0.0/].

unittest

The TestLoader.loadTestsFromModule() method now accepts a keyword-only argument pattern which is passed to load_tests as the third argument. Found packages are now checked for load_tests regardless of whether their path matches pattern, because it is impossible for a package name to match the default pattern. (Contributed by Robert Collins and Barry A. Warsaw in bpo-16662 [https://bugs.python.org/issue?@action=redirect&bpo=16662].)

Unittest discovery errors now are exposed in the TestLoader.errors attribute of the TestLoader instance. (Contributed by Robert Collins in bpo-19746 [https://bugs.python.org/issue?@action=redirect&bpo=19746].)

A new command line option --locals to show local variables in tracebacks. (Contributed by Robert Collins in bpo-22936 [https://bugs.python.org/issue?@action=redirect&bpo=22936].)

unittest.mock

The Mock class has the following improvements:

The class constructor has a new unsafe parameter, which causes mock objects to raise AttributeError on attribute names starting with "assert". (Contributed by Kushal Das in bpo-21238 [https://bugs.python.org/issue?@action=redirect&bpo=21238].)

A new Mock.assert_not_called() method to check if the mock object was called. (Contributed by Kushal Das in bpo-21262 [https://bugs.python.org/issue?@action=redirect&bpo=21262].)

The MagicMock class now supports __truediv__(), __divmod__() and __matmul__() operators. (Contributed by Johannes Baiter in bpo-20968 [https://bugs.python.org/issue?@action=redirect&bpo=20968], and Håkan Lövdahl in bpo-23581 [https://bugs.python.org/issue?@action=redirect&bpo=23581] and bpo-23568 [https://bugs.python.org/issue?@action=redirect&bpo=23568].)

It is no longer necessary to explicitly pass create=True to the patch() function when patching builtin names. (Contributed by Kushal Das in bpo-17660 [https://bugs.python.org/issue?@action=redirect&bpo=17660].)

urllib

A new request.HTTPPasswordMgrWithPriorAuth class allows HTTP Basic Authentication credentials to be managed so as to eliminate unnecessary 401 response handling, or to unconditionally send credentials on the first request in order to communicate with servers that return a 404 response instead of a 401 if the Authorization header is not sent. (Contributed by Matej Cepl in bpo-19494 [https://bugs.python.org/issue?@action=redirect&bpo=19494] and Akshit Khurana in bpo-7159 [https://bugs.python.org/issue?@action=redirect&bpo=7159].)

A new quote_via argument for the parse.urlencode() function provides a way to control the encoding of query parts if needed. (Contributed by Samwyse and Arnon Yaari in bpo-13866 [https://bugs.python.org/issue?@action=redirect&bpo=13866].)

The request.urlopen() function accepts an ssl.SSLContext object as a context argument, which will be used for the HTTPS connection. (Contributed by Alex Gaynor in bpo-22366 [https://bugs.python.org/issue?@action=redirect&bpo=22366].)

The parse.urljoin() was updated to use the RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html] semantics for the resolution of relative URLs, rather than RFC 1808 [https://datatracker.ietf.org/doc/html/rfc1808.html] and RFC 2396 [https://datatracker.ietf.org/doc/html/rfc2396.html]. (Contributed by Demian Brecht and Senthil Kumaran in bpo-22118 [https://bugs.python.org/issue?@action=redirect&bpo=22118].)

wsgiref

The headers argument of the headers.Headers class constructor is now optional. (Contributed by Pablo Torres Navarrete and SilentGhost in bpo-5800 [https://bugs.python.org/issue?@action=redirect&bpo=5800].)

xmlrpc

The client.ServerProxy class now supports the context manager protocol. (Contributed by Claudiu Popa in bpo-20627 [https://bugs.python.org/issue?@action=redirect&bpo=20627].)

The client.ServerProxy constructor now accepts an optional ssl.SSLContext instance. (Contributed by Alex Gaynor in bpo-22960 [https://bugs.python.org/issue?@action=redirect&bpo=22960].)

xml.sax

SAX parsers now support a character stream of the xmlreader.InputSource object. (Contributed by Serhiy Storchaka in bpo-2175 [https://bugs.python.org/issue?@action=redirect&bpo=2175].)

parseString() now accepts a str instance. (Contributed by Serhiy Storchaka in bpo-10590 [https://bugs.python.org/issue?@action=redirect&bpo=10590].)

zipfile

ZIP output can now be written to unseekable streams. (Contributed by Serhiy Storchaka in bpo-23252 [https://bugs.python.org/issue?@action=redirect&bpo=23252].)

The mode argument of ZipFile.open() method now accepts "x" to request exclusive creation. (Contributed by Serhiy Storchaka in bpo-21717 [https://bugs.python.org/issue?@action=redirect&bpo=21717].)

Other module-level changes

Many functions in the mmap, ossaudiodev, socket, ssl, and codecs modules now accept writable bytes-like objects. (Contributed by Serhiy Storchaka in bpo-23001 [https://bugs.python.org/issue?@action=redirect&bpo=23001].)

Otimizações

The os.walk() function has been sped up by 3 to 5 times on POSIX systems, and by 7 to 20 times on Windows. This was done using the new os.scandir() function, which exposes file information from the underlying readdir or FindFirstFile/FindNextFile system calls. (Contributed by Ben Hoyt with help from Victor Stinner in bpo-23605 [https://bugs.python.org/issue?@action=redirect&bpo=23605].)

Construction of bytes(int) (filled by zero bytes) is faster and uses less memory for large objects. calloc() is used instead of malloc() to allocate memory for these objects. (Contributed by Victor Stinner in bpo-21233 [https://bugs.python.org/issue?@action=redirect&bpo=21233].)

Some operations on ipaddress IPv4Network and IPv6Network have been massively sped up, such as subnets(), supernet(), summarize_address_range(), collapse_addresses(). The speed up can range from 3 to 15 times. (Contributed by Antoine Pitrou, Michel Albert, and Markus in bpo-21486 [https://bugs.python.org/issue?@action=redirect&bpo=21486], bpo-21487 [https://bugs.python.org/issue?@action=redirect&bpo=21487], bpo-20826 [https://bugs.python.org/issue?@action=redirect&bpo=20826], bpo-23266 [https://bugs.python.org/issue?@action=redirect&bpo=23266].)

Pickling of ipaddress objects was optimized to produce significantly smaller output. (Contributed by Serhiy Storchaka in bpo-23133 [https://bugs.python.org/issue?@action=redirect&bpo=23133].)

Many operations on io.BytesIO are now 50% to 100% faster. (Contributed by Serhiy Storchaka in bpo-15381 [https://bugs.python.org/issue?@action=redirect&bpo=15381] and David Wilson in bpo-22003 [https://bugs.python.org/issue?@action=redirect&bpo=22003].)

The marshal.dumps() function is now faster: 65–85% with versions 3 and 4, 20–25% with versions 0 to 2 on typical data, and up to 5 times in best cases. (Contributed by Serhiy Storchaka in bpo-20416 [https://bugs.python.org/issue?@action=redirect&bpo=20416] and bpo-23344 [https://bugs.python.org/issue?@action=redirect&bpo=23344].)

The UTF-32 encoder is now 3 to 7 times faster. (Contributed by Serhiy Storchaka in bpo-15027 [https://bugs.python.org/issue?@action=redirect&bpo=15027].)

Regular expressions are now parsed up to 10% faster. (Contributed by Serhiy Storchaka in bpo-19380 [https://bugs.python.org/issue?@action=redirect&bpo=19380].)

The json.dumps() function was optimized to run with ensure_ascii=False as fast as with ensure_ascii=True. (Contributed by Naoki Inada in bpo-23206 [https://bugs.python.org/issue?@action=redirect&bpo=23206].)

The PyObject_IsInstance() and PyObject_IsSubclass() functions have been sped up in the common case that the second argument has type as its metaclass. (Contributed Georg Brandl by in bpo-22540 [https://bugs.python.org/issue?@action=redirect&bpo=22540].)

Method caching was slightly improved, yielding up to 5% performance improvement in some benchmarks. (Contributed by Antoine Pitrou in bpo-22847 [https://bugs.python.org/issue?@action=redirect&bpo=22847].)

Objects from the random module now use 50% less memory on 64-bit builds. (Contributed by Serhiy Storchaka in bpo-23488 [https://bugs.python.org/issue?@action=redirect&bpo=23488].)

The property() getter calls are up to 25% faster. (Contributed by Joe Jevnik in bpo-23910 [https://bugs.python.org/issue?@action=redirect&bpo=23910].)

Instantiation of fractions.Fraction is now up to 30% faster. (Contributed by Stefan Behnel in bpo-22464 [https://bugs.python.org/issue?@action=redirect&bpo=22464].)

String methods find(), rfind(), split(), partition() and the in string operator are now significantly faster for searching 1-character substrings. (Contributed by Serhiy Storchaka in bpo-23573 [https://bugs.python.org/issue?@action=redirect&bpo=23573].)

Mudanças a construções e API C

New calloc functions were added:

PyMem_RawCalloc(),

PyMem_Calloc(),

PyObject_Calloc().

(Contribuição de Victor Stinner em bpo-21233 [https://bugs.python.org/issue?@action=redirect&bpo=21233].)

New encoding/decoding helper functions:

Py_DecodeLocale() (replaced _Py_char2wchar()),

Py_EncodeLocale() (replaced _Py_wchar2char()).

(Contribuição de Victor Stinner em bpo-18395 [https://bugs.python.org/issue?@action=redirect&bpo=18395].)

A new PyCodec_NameReplaceErrors() function to replace the unicode encode error with \N{...} escapes. (Contributed by Serhiy Storchaka in bpo-19676 [https://bugs.python.org/issue?@action=redirect&bpo=19676].)

A new PyErr_FormatV() function similar to PyErr_Format(), but accepts a va_list argument. (Contributed by Antoine Pitrou in bpo-18711 [https://bugs.python.org/issue?@action=redirect&bpo=18711].)

A new PyExc_RecursionError exception. (Contributed by Georg Brandl in bpo-19235 [https://bugs.python.org/issue?@action=redirect&bpo=19235].)

New PyModule_FromDefAndSpec(), PyModule_FromDefAndSpec2(), and PyModule_ExecDef() functions introduced by PEP 489 [https://peps.python.org/pep-0489/] – multi-phase extension module initialization. (Contributed by Petr Viktorin in bpo-24268 [https://bugs.python.org/issue?@action=redirect&bpo=24268].)

New PyNumber_MatrixMultiply() and PyNumber_InPlaceMatrixMultiply() functions to perform matrix multiplication. (Contributed by Benjamin Peterson in bpo-21176 [https://bugs.python.org/issue?@action=redirect&bpo=21176]. See also PEP 465 [https://peps.python.org/pep-0465/] for details.)

The PyTypeObject.tp_finalize slot is now part of the stable ABI.

Windows builds now require Microsoft Visual C++ 14.0, which is available as part of Visual Studio 2015 [https://visualstudio.microsoft.com/en/vs/older-downloads/#visual-studio-2015-and-other-products].

Extension modules now include a platform information tag in their filename on some platforms (the tag is optional, and CPython will import extensions without it, although if the tag is present and mismatched, the extension won’t be loaded):

On Linux, extension module filenames end with .cpython-<major><minor>m-<architecture>-<os>.pyd:

<major> is the major number of the Python version; for Python 3.5 this is 3.

<minor> is the minor number of the Python version; for Python 3.5 this is 5.

<architecture> is the hardware architecture the extension module was built to run on. It’s most commonly either i386 for 32-bit Intel platforms or x86_64 for 64-bit Intel (and AMD) platforms.

<os> is always linux-gnu, except for extensions built to talk to the 32-bit ABI on 64-bit platforms, in which case it is linux-gnu32 (and <architecture> will be x86_64).

On Windows, extension module filenames end with <debug>.cp<major><minor>-<platform>.pyd:

<major> is the major number of the Python version; for Python 3.5 this is 3.

<minor> is the minor number of the Python version; for Python 3.5 this is 5.

<platform> is the platform the extension module was built for, either win32 for Win32, win_amd64 for Win64, win_ia64 for Windows Itanium 64, and win_arm for Windows on ARM.

If built in debug mode, <debug> will be _d, otherwise it will be blank.

On OS X platforms, extension module filenames now end with -darwin.so.

On all other platforms, extension module filenames are the same as they were with Python 3.4.

Descontinuados

New Keywords

async and await are not recommended to be used as variable, class, function or module names. Introduced by PEP 492 [https://peps.python.org/pep-0492/] in Python 3.5, they will become proper keywords in Python 3.7.

Comportamento do Python descontinuado

Raising the StopIteration exception inside a generator will now generate a silent PendingDeprecationWarning, which will become a non-silent deprecation warning in Python 3.6 and will trigger a RuntimeError in Python 3.7. See PEP 479: Change StopIteration handling inside generators for details.

Unsupported Operating Systems

Windows XP is no longer supported by Microsoft, thus, per PEP 11 [https://peps.python.org/pep-0011/], CPython 3.5 is no longer officially supported on this OS.

Deprecated Python modules, functions and methods

The formatter module has now graduated to full deprecation and is still slated for removal in Python 3.6.

The asyncio.async() function is deprecated in favor of ensure_future().

The smtpd module has in the past always decoded the DATA portion of email messages using the utf-8 codec. This can now be controlled by the new decode_data keyword to SMTPServer. The default value is True, but this default is deprecated. Specify the decode_data keyword with an appropriate value to avoid the deprecation warning.

Directly assigning values to the key, value and coded_value of http.cookies.Morsel objects is deprecated. Use the set() method instead. In addition, the undocumented LegalChars parameter of set() is deprecated, and is now ignored.

Passing a format string as keyword argument format_string to the format() method of the string.Formatter class has been deprecated. (Contributed by Serhiy Storchaka in bpo-23671 [https://bugs.python.org/issue?@action=redirect&bpo=23671].)

The platform.dist() and platform.linux_distribution() functions are now deprecated. Linux distributions use too many different ways of describing themselves, so the functionality is left to a package. (Contributed by Vajrasky Kok and Berker Peksag in bpo-1322 [https://bugs.python.org/issue?@action=redirect&bpo=1322].)

The previously undocumented from_function and from_builtin methods of inspect.Signature are deprecated. Use the new Signature.from_callable() method instead. (Contributed by Yury Selivanov in bpo-24248 [https://bugs.python.org/issue?@action=redirect&bpo=24248].)

The inspect.getargspec() function is deprecated and scheduled to be removed in Python 3.6. (See bpo-20438 [https://bugs.python.org/issue?@action=redirect&bpo=20438] for details.)

The inspect getfullargspec(), getcallargs(), and formatargspec() functions are deprecated in favor of the inspect.signature() API. (Contributed by Yury Selivanov in bpo-20438 [https://bugs.python.org/issue?@action=redirect&bpo=20438].)

getargvalues() and formatargvalues() functions were inadvertently marked as deprecated with the release of Python 3.5.0.

Use of re.LOCALE flag with str patterns or re.ASCII is now deprecated. (Contributed by Serhiy Storchaka in bpo-22407 [https://bugs.python.org/issue?@action=redirect&bpo=22407].)

Use of unrecognized special sequences consisting of '\' and an ASCII letter in regular expression patterns and replacement patterns now raises a deprecation warning and will be forbidden in Python 3.6. (Contributed by Serhiy Storchaka in bpo-23622 [https://bugs.python.org/issue?@action=redirect&bpo=23622].)

The undocumented and unofficial use_load_tests default argument of the unittest.TestLoader.loadTestsFromModule() method now is deprecated and ignored. (Contributed by Robert Collins and Barry A. Warsaw in bpo-16662 [https://bugs.python.org/issue?@action=redirect&bpo=16662].)

Removidos

Remoção de APIs e recursos

The following obsolete and previously deprecated APIs and features have been removed:

The __version__ attribute has been dropped from the email package. The email code hasn’t been shipped separately from the stdlib for a long time, and the __version__ string was not updated in the last few releases.

The internal Netrc class in the ftplib module was deprecated in 3.4, and has now been removed. (Contributed by Matt Chaput in bpo-6623 [https://bugs.python.org/issue?@action=redirect&bpo=6623].)

The concept of .pyo files has been removed.

The JoinableQueue class in the provisional asyncio module was deprecated in 3.4.4 and is now removed. (Contributed by A. Jesse Jiryu Davis in bpo-23464 [https://bugs.python.org/issue?@action=redirect&bpo=23464].)

Porting to Python 3.5

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Alterações no comportamento do Python

Due to an oversight, earlier Python versions erroneously accepted the following syntax:

f(1 for x in [1], *args)
f(1 for x in [1], **kwargs)

Python 3.5 now correctly raises a SyntaxError, as generator expressions must be put in parentheses if not a sole argument to a function.

Alterações na API Python

PEP 475 [https://peps.python.org/pep-0475/]: System calls are now retried when interrupted by a signal instead of raising InterruptedError if the Python signal handler does not raise an exception.

Before Python 3.5, a datetime.time object was considered to be false if it represented midnight in UTC. This behavior was considered obscure and error-prone and has been removed in Python 3.5. See bpo-13936 [https://bugs.python.org/issue?@action=redirect&bpo=13936] for full details.

The ssl.SSLSocket.send() method now raises either ssl.SSLWantReadError or ssl.SSLWantWriteError on a non-blocking socket if the operation would block. Previously, it would return 0. (Contributed by Nikolaus Rath in bpo-20951 [https://bugs.python.org/issue?@action=redirect&bpo=20951].)

The __name__ attribute of generators is now set from the function name, instead of being set from the code name. Use gen.gi_code.co_name to retrieve the code name. Generators also have a new __qualname__ attribute, the qualified name, which is now used for the representation of a generator (repr(gen)). (Contributed by Victor Stinner in bpo-21205 [https://bugs.python.org/issue?@action=redirect&bpo=21205].)

The deprecated “strict” mode and argument of HTMLParser, HTMLParser.error(), and the HTMLParserError exception have been removed. (Contributed by Ezio Melotti in bpo-15114 [https://bugs.python.org/issue?@action=redirect&bpo=15114].) The convert_charrefs argument of HTMLParser is now True by default. (Contributed by Berker Peksag in bpo-21047 [https://bugs.python.org/issue?@action=redirect&bpo=21047].)

Although it is not formally part of the API, it is worth noting for porting purposes (ie: fixing tests) that error messages that were previously of the form “‘sometype’ does not support the buffer protocol” are now of the form “a bytes-like object is required, not ‘sometype’”. (Contributed by Ezio Melotti in bpo-16518 [https://bugs.python.org/issue?@action=redirect&bpo=16518].)

If the current directory is set to a directory that no longer exists then FileNotFoundError will no longer be raised and instead find_spec() will return None without caching None in sys.path_importer_cache, which is different than the typical case (bpo-22834 [https://bugs.python.org/issue?@action=redirect&bpo=22834]).

HTTP status code and messages from http.client and http.server were refactored into a common HTTPStatus enum. The values in http.client and http.server remain available for backwards compatibility. (Contributed by Demian Brecht in bpo-21793 [https://bugs.python.org/issue?@action=redirect&bpo=21793].)

When an import loader defines importlib.machinery.Loader.exec_module() it is now expected to also define create_module() (raises a DeprecationWarning now, will be an error in Python 3.6). If the loader inherits from importlib.abc.Loader then there is nothing to do, else simply define create_module() to return None. (Contributed by Brett Cannon in bpo-23014 [https://bugs.python.org/issue?@action=redirect&bpo=23014].)

The re.split() function always ignored empty pattern matches, so the "x*" pattern worked the same as "x+", and the "\b" pattern never worked. Now re.split() raises a warning if the pattern could match an empty string. For compatibility, use patterns that never match an empty string (e.g. "x+" instead of "x*"). Patterns that could only match an empty string (such as "\b") now raise an error. (Contributed by Serhiy Storchaka in bpo-22818 [https://bugs.python.org/issue?@action=redirect&bpo=22818].)

The http.cookies.Morsel dict-like interface has been made self consistent: morsel comparison now takes the key and value into account, copy() now results in a Morsel instance rather than a dict, and update() will now raise an exception if any of the keys in the update dictionary are invalid. In addition, the undocumented LegalChars parameter of set() is deprecated and is now ignored. (Contributed by Demian Brecht in bpo-2211 [https://bugs.python.org/issue?@action=redirect&bpo=2211].)

PEP 488 [https://peps.python.org/pep-0488/] has removed .pyo files from Python and introduced the optional opt- tag in .pyc file names. The importlib.util.cache_from_source() has gained an optimization parameter to help control the opt- tag. Because of this, the debug_override parameter of the function is now deprecated. .pyo files are also no longer supported as a file argument to the Python interpreter and thus serve no purpose when distributed on their own (i.e. sourceless code distribution). Due to the fact that the magic number for bytecode has changed in Python 3.5, all old .pyo files from previous versions of Python are invalid regardless of this PEP.

The socket module now exports the CAN_RAW_FD_FRAMES constant on linux 3.6 and greater.

The ssl.cert_time_to_seconds() function now interprets the input time as UTC and not as local time, per RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html]. Additionally, the return value is always an int. (Contributed by Akira Li in bpo-19940 [https://bugs.python.org/issue?@action=redirect&bpo=19940].)

The pygettext.py Tool now uses the standard +NNNN format for timezones in the POT-Creation-Date header.

The smtplib module now uses sys.stderr instead of the previous module-level stderr variable for debug output. If your (test) program depends on patching the module-level variable to capture the debug output, you will need to update it to capture sys.stderr instead.

The str.startswith() and str.endswith() methods no longer return True when finding the empty string and the indexes are completely out of range. (Contributed by Serhiy Storchaka in bpo-24284 [https://bugs.python.org/issue?@action=redirect&bpo=24284].)

The inspect.getdoc() function now returns documentation strings inherited from base classes. Documentation strings no longer need to be duplicated if the inherited documentation is appropriate. To suppress an inherited string, an empty string must be specified (or the documentation may be filled in). This change affects the output of the pydoc module and the help() function. (Contributed by Serhiy Storchaka in bpo-15582 [https://bugs.python.org/issue?@action=redirect&bpo=15582].)

Nested functools.partial() calls are now flattened. If you were relying on the previous behavior, you can now either add an attribute to a functools.partial() object or you can create a subclass of functools.partial(). (Contributed by Alexander Belopolsky in bpo-7830 [https://bugs.python.org/issue?@action=redirect&bpo=7830].)

Alterações na API C

The undocumented format member of the (non-public) PyMemoryViewObject structure has been removed. All extensions relying on the relevant parts in memoryobject.h must be rebuilt.

A estrutura PyMemAllocator foi renomeada para PyMemAllocatorEx e um novo campo calloc foi adicionado.

Removed non-documented macro PyObject_REPR() which leaked references. Use format character %R in PyUnicode_FromFormat()-like functions to format the repr() of the object. (Contributed by Serhiy Storchaka in bpo-22453 [https://bugs.python.org/issue?@action=redirect&bpo=22453].)

Because the lack of the __module__ attribute breaks pickling and introspection, a deprecation warning is now raised for builtin types without the __module__ attribute. This will be an AttributeError in the future. (Contributed by Serhiy Storchaka in bpo-20204 [https://bugs.python.org/issue?@action=redirect&bpo=20204].)

As part of the PEP 492 [https://peps.python.org/pep-0492/] implementation, the tp_reserved slot of PyTypeObject was replaced with a tp_as_async slot. Refer to Objetos corrotina for new types, structures and functions.

Notable changes in Python 3.5.4

Novo alvo de construção make regen-all

Para simplificar a compilação cruzada e garantir que o CPython possa ser compilado de forma confiável sem exigir que uma versão existente do Python já esteja disponível, o sistema de construção baseado em autotools não tenta mais recompilar implicitamente os arquivos gerados com base nos tempos de modificação dos arquivos.

Em vez disso, um novo comando make regen-all foi adicionado para forçar a regeneração desses arquivos quando desejado (por exemplo, após uma versão inicial do Python já ter sido construída com base nas versões pré-geradas).

Alvos de regeneração mais seletivos também são definidos – veja Makefile.pre.in [https://github.com/python/cpython/tree/3.13/Makefile.pre.in] para detalhes.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Adicionado na versão 3.5.4.

Remoção do alvo de construção make touch

O alvo de construção make touch usado anteriormente para solicitar regeneração implícita de arquivos gerados atualizando seus tempos de modificação foi removido.

Ele foi substituído pelo novo alvo make regen-all.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Alterado na versão 3.5.4.

O que há de novo no Python 3.4

Autor:

R. David Murray <rdmurray@bitdance.com> (Editor)

This article explains the new features in Python 3.4, compared to 3.3. Python 3.4 was released on March 16, 2014. For full details, see the changelog [https://docs.python.org/3.4/whatsnew/changelog.html].

Ver também

PEP 429 [https://peps.python.org/pep-0429/] – Python 3.4 Release Schedule

Resumo – Destaques da versão

Novos recursos de sintaxe:

Não foram adicionados novos recursos de sintaxe no Python 3.4.

Outras novas funcionalidades:

pip should always be available (PEP 453 [https://peps.python.org/pep-0453/]).

Newly created file descriptors are non-inheritable (PEP 446 [https://peps.python.org/pep-0446/]).

command line option for isolated mode (bpo-16499 [https://bugs.python.org/issue?@action=redirect&bpo=16499]).

improvements in the handling of codecs that are not text encodings (multiple issues).

A ModuleSpec Type for the Import System (PEP 451 [https://peps.python.org/pep-0451/]). (Affects importer authors.)

The marshal format has been made more compact and efficient (bpo-16475 [https://bugs.python.org/issue?@action=redirect&bpo=16475]).

Novos módulos de biblioteca:

asyncio: New provisional API for asynchronous IO (PEP 3156 [https://peps.python.org/pep-3156/]).

ensurepip: Bootstrapping the pip installer (PEP 453 [https://peps.python.org/pep-0453/]).

enum: Support for enumeration types (PEP 435 [https://peps.python.org/pep-0435/]).

pathlib: Object-oriented filesystem paths (PEP 428 [https://peps.python.org/pep-0428/]).

selectors: High-level and efficient I/O multiplexing, built upon the select module primitives (part of PEP 3156 [https://peps.python.org/pep-3156/]).

statistics: A basic numerically stable statistics library (PEP 450 [https://peps.python.org/pep-0450/]).

tracemalloc: Trace Python memory allocations (PEP 454 [https://peps.python.org/pep-0454/]).

Módulos de biblioteca significativamente melhorados:

Single-dispatch generic functions in functools (PEP 443 [https://peps.python.org/pep-0443/]).

New pickle protocol 4 (PEP 3154 [https://peps.python.org/pep-3154/]).

multiprocessing now has an option to avoid using os.fork on Unix (bpo-8713 [https://bugs.python.org/issue?@action=redirect&bpo=8713]).

email has a new submodule, contentmanager, and a new Message subclass (EmailMessage) that simplify MIME handling (bpo-18891 [https://bugs.python.org/issue?@action=redirect&bpo=18891]).

The inspect and pydoc modules are now capable of correct introspection of a much wider variety of callable objects, which improves the output of the Python help() system.

The ipaddress module API has been declared stable

Melhorias de segurança:

Secure and interchangeable hash algorithm (PEP 456 [https://peps.python.org/pep-0456/]).

Make newly created file descriptors non-inheritable (PEP 446 [https://peps.python.org/pep-0446/]) to avoid leaking file descriptors to child processes.

New command line option for isolated mode, (bpo-16499 [https://bugs.python.org/issue?@action=redirect&bpo=16499]).

multiprocessing now has an option to avoid using os.fork on Unix. spawn and forkserver are more secure because they avoid sharing data with child processes.

multiprocessing child processes on Windows no longer inherit all of the parent’s inheritable handles, only the necessary ones.

A new hashlib.pbkdf2_hmac() function provides the PKCS#5 password-based key derivation function 2 [https://en.wikipedia.org/wiki/PBKDF2].

TLSv1.1 and TLSv1.2 support for ssl.

Retrieving certificates from the Windows system cert store support for ssl.

Server-side SNI (Server Name Indication) support for ssl.

The ssl.SSLContext class has a lot of improvements.

All modules in the standard library that support SSL now support server certificate verification, including hostname matching (ssl.match_hostname()) and CRLs (Certificate Revocation lists, see ssl.SSLContext.load_verify_locations()).

Melhorias na implementação do CPython:

Safe object finalization (PEP 442 [https://peps.python.org/pep-0442/]).

Leveraging PEP 442 [https://peps.python.org/pep-0442/], in most cases module globals are no longer set to None during finalization (bpo-18214 [https://bugs.python.org/issue?@action=redirect&bpo=18214]).

Configurable memory allocators (PEP 445 [https://peps.python.org/pep-0445/]).

Argument Clinic (PEP 436 [https://peps.python.org/pep-0436/]).

Please read on for a comprehensive list of user-facing changes, including many other smaller improvements, CPython optimizations, deprecations, and potential porting issues.

Novas funcionalidades

PEP 453: Explicit Bootstrapping of PIP in Python Installations

Bootstrapping pip By Default

The new ensurepip module (defined in PEP 453 [https://peps.python.org/pep-0453/]) provides a standard cross-platform mechanism to bootstrap the pip installer into Python installations and virtual environments. The version of pip included with Python 3.4.0 is pip 1.5.4, and future 3.4.x maintenance releases will update the bundled version to the latest version of pip that is available at the time of creating the release candidate.

By default, the commands pipX and pipX.Y will be installed on all platforms (where X.Y stands for the version of the Python installation), along with the pip Python package and its dependencies. On Windows and in virtual environments on all platforms, the unversioned pip command will also be installed. On other platforms, the system wide unversioned pip command typically refers to the separately installed Python 2 version.

The pyvenv command line utility and the venv module make use of the ensurepip module to make pip readily available in virtual environments. When using the command line utility, pip is installed by default, while when using the venv module API installation of pip must be requested explicitly.

For CPython source builds on POSIX systems, the make install and make altinstall commands bootstrap pip by default. This behaviour can be controlled through configure options, and overridden through Makefile options.

On Windows and Mac OS X, the CPython installers now default to installing pip along with CPython itself (users may opt out of installing it during the installation process). Window users will need to opt in to the automatic PATH modifications to have pip available from the command line by default, otherwise it can still be accessed through the Python launcher for Windows as py -m pip.

As discussed in the PEP [https://peps.python.org/pep-0453/#recommendations-for-downstream-distributors] platform packagers may choose not to install these commands by default, as long as, when invoked, they provide clear and simple directions on how to install them on that platform (usually using the system package manager).

Nota

To avoid conflicts between parallel Python 2 and Python 3 installations, only the versioned pip3 and pip3.4 commands are bootstrapped by default when ensurepip is invoked directly - the --default-pip option is needed to also request the unversioned pip command. pyvenv and the Windows installer ensure that the unqualified pip command is made available in those environments, and pip can always be invoked via the -m switch rather than directly to avoid ambiguity on systems with multiple Python installations.

Mudanças na documentação

As part of this change, the Instalando módulos Python and Distribuindo módulos Python sections of the documentation have been completely redesigned as short getting started and FAQ documents. Most packaging documentation has now been moved out to the Python Packaging Authority maintained Python Packaging User Guide [https://packaging.python.org] and the documentation of the individual projects.

No entanto, como esta migração ainda está incompleta, as versões legadas desses guias permanecem disponíveis como Construindo extensões C e C ++ com setuptools e Construindo extensões C e C ++ com setuptools.

Ver também

PEP 453 [https://peps.python.org/pep-0453/] – Explicit bootstrapping of pip in Python installations

PEP written by Donald Stufft and Nick Coghlan, implemented by Donald Stufft, Nick Coghlan, Martin von Löwis and Ned Deily.

PEP 446: Newly Created File Descriptors Are Non-Inheritable

PEP 446 [https://peps.python.org/pep-0446/] makes newly created file descriptors non-inheritable. In general, this is the behavior an application will want: when launching a new process, having currently open files also open in the new process can lead to all sorts of hard to find bugs, and potentially to security issues.

However, there are occasions when inheritance is desired. To support these cases, the following new functions and methods are available:

os.get_inheritable(), os.set_inheritable()

os.get_handle_inheritable(), os.set_handle_inheritable()

socket.socket.get_inheritable(), socket.socket.set_inheritable()

Ver também

PEP 446 [https://peps.python.org/pep-0446/] – Make newly created file descriptors non-inheritable

PEP escrito e implementado por Victor Stinner.

Melhorias no manuseio de Codecs

Since it was first introduced, the codecs module has always been intended to operate as a type-neutral dynamic encoding and decoding system. However, its close coupling with the Python text model, especially the type restricted convenience methods on the builtin str, bytes and bytearray types, has historically obscured that fact.

As a key step in clarifying the situation, the codecs.encode() and codecs.decode() convenience functions are now properly documented in Python 2.7, 3.3 and 3.4. These functions have existed in the codecs module (and have been covered by the regression test suite) since Python 2.4, but were previously only discoverable through runtime introspection.

Unlike the convenience methods on str, bytes and bytearray, the codecs convenience functions support arbitrary codecs in both Python 2 and Python 3, rather than being limited to Unicode text encodings (in Python 3) or basestring <-> basestring conversions (in Python 2).

In Python 3.4, the interpreter is able to identify the known non-text encodings provided in the standard library and direct users towards these general purpose convenience functions when appropriate:

>>> b"abcdef".decode("hex")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.decode() to handle arbitrary codecs

>>> "hello".encode("rot13")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'rot13' is not a text encoding; use codecs.encode() to handle arbitrary codecs

>>> open("foo.txt", encoding="hex")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.open() to handle arbitrary codecs

In a related change, whenever it is feasible without breaking backwards compatibility, exceptions raised during encoding and decoding operations are wrapped in a chained exception of the same type that mentions the name of the codec responsible for producing the error:

>>> import codecs

>>> codecs.decode(b"abcdefgh", "hex")
Traceback (most recent call last):
  File "/usr/lib/python3.4/encodings/hex_codec.py", line 20, in hex_decode
    return (binascii.a2b_hex(input), len(input))
binascii.Error: Non-hexadecimal digit found

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
binascii.Error: decoding with 'hex' codec failed (Error: Non-hexadecimal digit found)

>>> codecs.encode("hello", "bz2")
Traceback (most recent call last):
  File "/usr/lib/python3.4/encodings/bz2_codec.py", line 17, in bz2_encode
    return (bz2.compress(input), len(input))
  File "/usr/lib/python3.4/bz2.py", line 498, in compress
    return comp.compress(data) + comp.flush()
TypeError: 'str' does not support the buffer interface

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: encoding with 'bz2' codec failed (TypeError: 'str' does not support the buffer interface)

Finally, as the examples above show, these improvements have permitted the restoration of the convenience aliases for the non-Unicode codecs that were themselves restored in Python 3.2. This means that encoding binary data to and from its hexadecimal representation (for example) can now be written as:

>>> from codecs import encode, decode
>>> encode(b"hello", "hex")
b'68656c6c6f'
>>> decode(b"68656c6c6f", "hex")
b'hello'

The binary and text transforms provided in the standard library are detailed in Binary Transforms and Text Transforms.

(Contributed by Nick Coghlan in bpo-7475 [https://bugs.python.org/issue?@action=redirect&bpo=7475], bpo-17827 [https://bugs.python.org/issue?@action=redirect&bpo=17827], bpo-17828 [https://bugs.python.org/issue?@action=redirect&bpo=17828] and bpo-19619 [https://bugs.python.org/issue?@action=redirect&bpo=19619].)

PEP 451: A ModuleSpec Type for the Import System

PEP 451 [https://peps.python.org/pep-0451/] provides an encapsulation of the information about a module that the import machinery will use to load it (that is, a module specification). This helps simplify both the import implementation and several import-related APIs. The change is also a stepping stone for several future import-related improvements [https://mail.python.org/pipermail/python-dev/2013-November/130111.html].

The public-facing changes from the PEP are entirely backward-compatible. Furthermore, they should be transparent to everyone but importer authors. Key finder and loader methods have been deprecated, but they will continue working. New importers should use the new methods described in the PEP. Existing importers should be updated to implement the new methods. See the Descontinuados section for a list of methods that should be replaced and their replacements.

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

Unicode database updated to UCD version 6.3.

min() and max() now accept a default keyword-only argument that can be used to specify the value they return if the iterable they are evaluating has no elements. (Contributed by Julian Berman in bpo-18111 [https://bugs.python.org/issue?@action=redirect&bpo=18111].)

Objetos módulo são agora fracamente referenciáveis.

Module __file__ attributes (and related values) should now always contain absolute paths by default, with the sole exception of __main__.__file__ when a script has been executed directly using a relative path. (Contributed by Brett Cannon in bpo-18416 [https://bugs.python.org/issue?@action=redirect&bpo=18416].)

All the UTF-* codecs (except UTF-7) now reject surrogates during both encoding and decoding unless the surrogatepass error handler is used, with the exception of the UTF-16 decoder (which accepts valid surrogate pairs) and the UTF-16 encoder (which produces them while encoding non-BMP characters). (Contributed by Victor Stinner, Kang-Hao (Kenny) Lu and Serhiy Storchaka in bpo-12892 [https://bugs.python.org/issue?@action=redirect&bpo=12892].)

New German EBCDIC codec cp273. (Contributed by Michael Bierenfeld and Andrew Kuchling in bpo-1097797 [https://bugs.python.org/issue?@action=redirect&bpo=1097797].)

New Ukrainian codec cp1125. (Contributed by Serhiy Storchaka in bpo-19668 [https://bugs.python.org/issue?@action=redirect&bpo=19668].)

bytes.join() and bytearray.join() now accept arbitrary buffer objects as arguments. (Contributed by Antoine Pitrou in bpo-15958 [https://bugs.python.org/issue?@action=redirect&bpo=15958].)

The int constructor now accepts any object that has an __index__ method for its base argument. (Contributed by Mark Dickinson in bpo-16772 [https://bugs.python.org/issue?@action=redirect&bpo=16772].)

Frame objects now have a clear() method that clears all references to local variables from the frame. (Contributed by Antoine Pitrou in bpo-17934 [https://bugs.python.org/issue?@action=redirect&bpo=17934].)

memoryview is now registered as a Sequence, and supports the reversed() builtin. (Contributed by Nick Coghlan and Claudiu Popa in bpo-18690 [https://bugs.python.org/issue?@action=redirect&bpo=18690] and bpo-19078 [https://bugs.python.org/issue?@action=redirect&bpo=19078].)

Signatures reported by help() have been modified and improved in several cases as a result of the introduction of Argument Clinic and other changes to the inspect and pydoc modules.

__length_hint__() is now part of the formal language specification (see PEP 424 [https://peps.python.org/pep-0424/]). (Contributed by Armin Ronacher in bpo-16148 [https://bugs.python.org/issue?@action=redirect&bpo=16148].)

Novos módulos

asyncio

The new asyncio module (defined in PEP 3156 [https://peps.python.org/pep-3156/]) provides a standard pluggable event loop model for Python, providing solid asynchronous IO support in the standard library, and making it easier for other event loop implementations to interoperate with the standard library and each other.

For Python 3.4, this module is considered a provisional API.

Ver também

PEP 3156 [https://peps.python.org/pep-3156/] – Asynchronous IO Support Rebooted: the “asyncio” Module

PEP written and implementation led by Guido van Rossum.

ensurepip

The new ensurepip module is the primary infrastructure for the PEP 453 [https://peps.python.org/pep-0453/] implementation. In the normal course of events end users will not need to interact with this module, but it can be used to manually bootstrap pip if the automated bootstrapping into an installation or virtual environment was declined.

ensurepip includes a bundled copy of pip, up-to-date as of the first release candidate of the release of CPython with which it ships (this applies to both maintenance releases and feature releases). ensurepip does not access the internet. If the installation has Internet access, after ensurepip is run the bundled pip can be used to upgrade pip to a more recent release than the bundled one. (Note that such an upgraded version of pip is considered to be a separately installed package and will not be removed if Python is uninstalled.)

The module is named ensurepip because if called when pip is already installed, it does nothing. It also has an --upgrade option that will cause it to install the bundled copy of pip if the existing installed version of pip is older than the bundled copy.

enum

The new enum module (defined in PEP 435 [https://peps.python.org/pep-0435/]) provides a standard implementation of enumeration types, allowing other modules (such as socket) to provide more informative error messages and better debugging support by replacing opaque integer constants with backwards compatible enumeration values.

Ver também

PEP 435 [https://peps.python.org/pep-0435/] – Adding an Enum type to the Python standard library

PEP written by Barry Warsaw, Eli Bendersky and Ethan Furman, implemented by Ethan Furman.

pathlib

The new pathlib module offers classes representing filesystem paths with semantics appropriate for different operating systems. Path classes are divided between pure paths, which provide purely computational operations without I/O, and concrete paths, which inherit from pure paths but also provide I/O operations.

For Python 3.4, this module is considered a provisional API.

Ver também

PEP 428 [https://peps.python.org/pep-0428/] – The pathlib module – object-oriented filesystem paths

PEP escrita e implementada por Antoine Pitrou.

selectors

The new selectors module (created as part of implementing PEP 3156 [https://peps.python.org/pep-3156/]) allows high-level and efficient I/O multiplexing, built upon the select module primitives.

statistics

The new statistics module (defined in PEP 450 [https://peps.python.org/pep-0450/]) offers some core statistics functionality directly in the standard library. This module supports calculation of the mean, median, mode, variance and standard deviation of a data series.

Ver também

PEP 450 [https://peps.python.org/pep-0450/] – Adding A Statistics Module To The Standard Library

PEP written and implemented by Steven D’Aprano

tracemalloc

The new tracemalloc module (defined in PEP 454 [https://peps.python.org/pep-0454/]) is a debug tool to trace memory blocks allocated by Python. It provides the following information:

Trace where an object was allocated

Statistics on allocated memory blocks per filename and per line number: total size, number and average size of allocated memory blocks

Compute the differences between two snapshots to detect memory leaks

Ver também

PEP 454 [https://peps.python.org/pep-0454/] – Add a new tracemalloc module to trace Python memory allocations

PEP escrita e implementada por Victor Stinner

Módulos melhorados

abc

New function abc.get_cache_token() can be used to know when to invalidate caches that are affected by changes in the object graph. (Contributed by Łukasz Langa in bpo-16832 [https://bugs.python.org/issue?@action=redirect&bpo=16832].)

New class ABC has ABCMeta as its meta class. Using ABC as a base class has essentially the same effect as specifying metaclass=abc.ABCMeta, but is simpler to type and easier to read. (Contributed by Bruno Dupuis in bpo-16049 [https://bugs.python.org/issue?@action=redirect&bpo=16049].)

aifc

The getparams() method now returns a namedtuple rather than a plain tuple. (Contributed by Claudiu Popa in bpo-17818 [https://bugs.python.org/issue?@action=redirect&bpo=17818].)

aifc.open() now supports the context management protocol: when used in a with block, the close() method of the returned object will be called automatically at the end of the block. (Contributed by Serhiy Storchacha in bpo-16486 [https://bugs.python.org/issue?@action=redirect&bpo=16486].)

The writeframesraw() and writeframes() methods now accept any bytes-like object. (Contributed by Serhiy Storchaka in bpo-8311 [https://bugs.python.org/issue?@action=redirect&bpo=8311].)

argparse

The FileType class now accepts encoding and errors arguments, which are passed through to open(). (Contributed by Lucas Maystre in bpo-11175 [https://bugs.python.org/issue?@action=redirect&bpo=11175].)

audioop

audioop now supports 24-bit samples. (Contributed by Serhiy Storchaka in bpo-12866 [https://bugs.python.org/issue?@action=redirect&bpo=12866].)

New byteswap() function converts big-endian samples to little-endian and vice versa. (Contributed by Serhiy Storchaka in bpo-19641 [https://bugs.python.org/issue?@action=redirect&bpo=19641].)

All audioop functions now accept any bytes-like object. Strings are not accepted: they didn’t work before, now they raise an error right away. (Contributed by Serhiy Storchaka in bpo-16685 [https://bugs.python.org/issue?@action=redirect&bpo=16685].)

base64

The encoding and decoding functions in base64 now accept any bytes-like object in cases where it previously required a bytes or bytearray instance. (Contributed by Nick Coghlan in bpo-17839 [https://bugs.python.org/issue?@action=redirect&bpo=17839].)

New functions a85encode(), a85decode(), b85encode(), and b85decode() provide the ability to encode and decode binary data from and to Ascii85 and the git/mercurial Base85 formats, respectively. The a85 functions have options that can be used to make them compatible with the variants of the Ascii85 encoding, including the Adobe variant. (Contributed by Martin Morrison, the Mercurial project, Serhiy Storchaka, and Antoine Pitrou in bpo-17618 [https://bugs.python.org/issue?@action=redirect&bpo=17618].)

collections

The ChainMap.new_child() method now accepts an m argument specifying the child map to add to the chain. This allows an existing mapping and/or a custom mapping type to be used for the child. (Contributed by Vinay Sajip in bpo-16613 [https://bugs.python.org/issue?@action=redirect&bpo=16613].)

colorsys

The number of digits in the coefficients for the RGB — YIQ conversions have been expanded so that they match the FCC NTSC versions. The change in results should be less than 1% and may better match results found elsewhere. (Contributed by Brian Landers and Serhiy Storchaka in bpo-14323 [https://bugs.python.org/issue?@action=redirect&bpo=14323].)

contextlib

The new contextlib.suppress context manager helps to clarify the intent of code that deliberately suppresses exceptions from a single statement. (Contributed by Raymond Hettinger in bpo-15806 [https://bugs.python.org/issue?@action=redirect&bpo=15806] and Zero Piraeus in bpo-19266 [https://bugs.python.org/issue?@action=redirect&bpo=19266].)

The new contextlib.redirect_stdout() context manager makes it easier for utility scripts to handle inflexible APIs that write their output to sys.stdout and don’t provide any options to redirect it. Using the context manager, the sys.stdout output can be redirected to any other stream or, in conjunction with io.StringIO, to a string. The latter can be especially useful, for example, to capture output from a function that was written to implement a command line interface. It is recommended only for utility scripts because it affects the global state of sys.stdout. (Contributed by Raymond Hettinger in bpo-15805 [https://bugs.python.org/issue?@action=redirect&bpo=15805].)

The contextlib documentation has also been updated to include a discussion of the differences between single use, reusable and reentrant context managers.

dbm

dbm.open() objects now support the context management protocol. When used in a with statement, the close method of the database object will be called automatically at the end of the block. (Contributed by Claudiu Popa and Nick Coghlan in bpo-19282 [https://bugs.python.org/issue?@action=redirect&bpo=19282].)

dis

Functions show_code(), dis(), distb(), and disassemble() now accept a keyword-only file argument that controls where they write their output.

The dis module is now built around an Instruction class that provides object oriented access to the details of each individual bytecode operation.

A new method, get_instructions(), provides an iterator that emits the Instruction stream for a given piece of Python code. Thus it is now possible to write a program that inspects and manipulates a bytecode object in ways different from those provided by the dis module itself. For example:

>>> import dis
>>> for instr in dis.get_instructions(lambda x: x + 1):
...     print(instr.opname)
LOAD_FAST
LOAD_CONST
BINARY_ADD
RETURN_VALUE

The various display tools in the dis module have been rewritten to use these new components.

In addition, a new application-friendly class Bytecode provides an object-oriented API for inspecting bytecode in both in human-readable form and for iterating over instructions. The Bytecode constructor takes the same arguments that get_instruction() does (plus an optional current_offset), and the resulting object can be iterated to produce Instruction objects. But it also has a dis method, equivalent to calling dis on the constructor argument, but returned as a multi-line string:

>>> bytecode = dis.Bytecode(lambda x: x + 1, current_offset=3)
>>> for instr in bytecode:
...     print('{} ({})'.format(instr.opname, instr.opcode))
LOAD_FAST (124)
LOAD_CONST (100)
BINARY_ADD (23)
RETURN_VALUE (83)
>>> bytecode.dis().splitlines()
['  1           0 LOAD_FAST                0 (x)',
 '      -->     3 LOAD_CONST               1 (1)',
 '              6 BINARY_ADD',
 '              7 RETURN_VALUE']

Bytecode also has a class method, from_traceback(), that provides the ability to manipulate a traceback (that is, print(Bytecode.from_traceback(tb).dis()) is equivalent to distb(tb)).

(Contributed by Nick Coghlan, Ryan Kelly and Thomas Kluyver in bpo-11816 [https://bugs.python.org/issue?@action=redirect&bpo=11816] and Claudiu Popa in bpo-17916 [https://bugs.python.org/issue?@action=redirect&bpo=17916].)

New function stack_effect() computes the effect on the Python stack of a given opcode and argument, information that is not otherwise available. (Contributed by Larry Hastings in bpo-19722 [https://bugs.python.org/issue?@action=redirect&bpo=19722].)

doctest

A new option flag, FAIL_FAST, halts test running as soon as the first failure is detected. (Contributed by R. David Murray and Daniel Urban in bpo-16522 [https://bugs.python.org/issue?@action=redirect&bpo=16522].)

The doctest command line interface now uses argparse, and has two new options, -o and -f. -o allows doctest options to be specified on the command line, and -f is a shorthand for -o FAIL_FAST (to parallel the similar option supported by the unittest CLI). (Contributed by R. David Murray in bpo-11390 [https://bugs.python.org/issue?@action=redirect&bpo=11390].)

doctest will now find doctests in extension module __doc__ strings. (Contributed by Zachary Ware in bpo-3158 [https://bugs.python.org/issue?@action=redirect&bpo=3158].)

email

as_string() now accepts a policy argument to override the default policy of the message when generating a string representation of it. This means that as_string can now be used in more circumstances, instead of having to create and use a generator in order to pass formatting parameters to its flatten method. (Contributed by R. David Murray in bpo-18600 [https://bugs.python.org/issue?@action=redirect&bpo=18600].)

New method as_bytes() added to produce a bytes representation of the message in a fashion similar to how as_string produces a string representation. It does not accept the maxheaderlen argument, but does accept the unixfrom and policy arguments. The Message __bytes__() method calls it, meaning that bytes(mymsg) will now produce the intuitive result: a bytes object containing the fully formatted message. (Contributed by R. David Murray in bpo-18600 [https://bugs.python.org/issue?@action=redirect&bpo=18600].)

The Message.set_param() message now accepts a replace keyword argument. When specified, the associated header will be updated without changing its location in the list of headers. For backward compatibility, the default is False. (Contributed by R. David Murray in bpo-18891 [https://bugs.python.org/issue?@action=redirect&bpo=18891].)

A pair of new subclasses of Message have been added (EmailMessage and MIMEPart), along with a new sub-module, contentmanager and a new policy attribute content_manager. All documentation is currently in the new module, which is being added as part of email’s new provisional API. These classes provide a number of new methods that make extracting content from and inserting content into email messages much easier. For details, see the contentmanager documentation and the email: Exemplos. These API additions complete the bulk of the work that was planned as part of the email6 project. The currently provisional API is scheduled to become final in Python 3.5 (possibly with a few minor additions in the area of error handling). (Contributed by R. David Murray in bpo-18891 [https://bugs.python.org/issue?@action=redirect&bpo=18891].)

filecmp

A new clear_cache() function provides the ability to clear the filecmp comparison cache, which uses os.stat() information to determine if the file has changed since the last compare. This can be used, for example, if the file might have been changed and re-checked in less time than the resolution of a particular filesystem’s file modification time field. (Contributed by Mark Levitt in bpo-18149 [https://bugs.python.org/issue?@action=redirect&bpo=18149].)

New module attribute DEFAULT_IGNORES provides the list of directories that are used as the default value for the ignore parameter of the dircmp() function. (Contributed by Eli Bendersky in bpo-15442 [https://bugs.python.org/issue?@action=redirect&bpo=15442].)

functools

The new partialmethod() descriptor brings partial argument application to descriptors, just as partial() provides for normal callables. The new descriptor also makes it easier to get arbitrary callables (including partial() instances) to behave like normal instance methods when included in a class definition. (Contributed by Alon Horev and Nick Coghlan in bpo-4331 [https://bugs.python.org/issue?@action=redirect&bpo=4331].)

The new singledispatch() decorator brings support for single-dispatch generic functions to the Python standard library. Where object oriented programming focuses on grouping multiple operations on a common set of data into a class, a generic function focuses on grouping multiple implementations of an operation that allows it to work with different kinds of data.

Ver também

PEP 443 [https://peps.python.org/pep-0443/] – Single-dispatch generic functions

PEP escrita e implementada por Łukasz Langa.

total_ordering() now supports a return value of NotImplemented from the underlying comparison function. (Contributed by Katie Miller in bpo-10042 [https://bugs.python.org/issue?@action=redirect&bpo=10042].)

A pure-python version of the partial() function is now in the stdlib; in CPython it is overridden by the C accelerated version, but it is available for other implementations to use. (Contributed by Brian Thorne in bpo-12428 [https://bugs.python.org/issue?@action=redirect&bpo=12428].)

gc

New function get_stats() returns a list of three per-generation dictionaries containing the collections statistics since interpreter startup. (Contributed by Antoine Pitrou in bpo-16351 [https://bugs.python.org/issue?@action=redirect&bpo=16351].)

glob

A new function escape() provides a way to escape special characters in a filename so that they do not become part of the globbing expansion but are instead matched literally. (Contributed by Serhiy Storchaka in bpo-8402 [https://bugs.python.org/issue?@action=redirect&bpo=8402].)

hashlib

A new hashlib.pbkdf2_hmac() function provides the PKCS#5 password-based key derivation function 2 [https://en.wikipedia.org/wiki/PBKDF2]. (Contributed by Christian Heimes in bpo-18582 [https://bugs.python.org/issue?@action=redirect&bpo=18582].)

The name attribute of hashlib hash objects is now a formally supported interface. It has always existed in CPython’s hashlib (although it did not return lower case names for all supported hashes), but it was not a public interface and so some other Python implementations have not previously supported it. (Contributed by Jason R. Coombs in bpo-18532 [https://bugs.python.org/issue?@action=redirect&bpo=18532].)

hmac

hmac now accepts bytearray as well as bytes for the key argument to the new() function, and the msg parameter to both the new() function and the update() method now accepts any type supported by the hashlib module. (Contributed by Jonas Borgström in bpo-18240 [https://bugs.python.org/issue?@action=redirect&bpo=18240].)

The digestmod argument to the hmac.new() function may now be any hash digest name recognized by hashlib. In addition, the current behavior in which the value of digestmod defaults to MD5 is deprecated: in a future version of Python there will be no default value. (Contributed by Christian Heimes in bpo-17276 [https://bugs.python.org/issue?@action=redirect&bpo=17276].)

With the addition of block_size and name attributes (and the formal documentation of the digest_size attribute), the hmac module now conforms fully to the PEP 247 [https://peps.python.org/pep-0247/] API. (Contributed by Christian Heimes in bpo-18775 [https://bugs.python.org/issue?@action=redirect&bpo=18775].)

html

New function unescape() function converts HTML5 character references to the corresponding Unicode characters. (Contributed by Ezio Melotti in bpo-2927 [https://bugs.python.org/issue?@action=redirect&bpo=2927].)

HTMLParser accepts a new keyword argument convert_charrefs that, when True, automatically converts all character references. For backward-compatibility, its value defaults to False, but it will change to True in a future version of Python, so you are invited to set it explicitly and update your code to use this new feature. (Contributed by Ezio Melotti in bpo-13633 [https://bugs.python.org/issue?@action=redirect&bpo=13633].)

The strict argument of HTMLParser is now deprecated. (Contributed by Ezio Melotti in bpo-15114 [https://bugs.python.org/issue?@action=redirect&bpo=15114].)

http

send_error() now accepts an optional additional explain parameter which can be used to provide an extended error description, overriding the hardcoded default if there is one. This extended error description will be formatted using the error_message_format attribute and sent as the body of the error response. (Contributed by Karl Cow in bpo-12921 [https://bugs.python.org/issue?@action=redirect&bpo=12921].)

The http.server command line interface now has a -b/--bind option that causes the server to listen on a specific address. (Contributed by Malte Swart in bpo-17764 [https://bugs.python.org/issue?@action=redirect&bpo=17764].)

idlelib e IDLE

Since idlelib implements the IDLE shell and editor and is not intended for import by other programs, it gets improvements with every release. See Lib/idlelib/NEWS.txt for a cumulative list of changes since 3.3.0, as well as changes made in future 3.4.x releases. This file is also available from the IDLE Help ‣ About IDLE dialog.

importlib

The InspectLoader ABC defines a new method, source_to_code() that accepts source data and a path and returns a code object. The default implementation is equivalent to compile(data, path, 'exec', dont_inherit=True). (Contributed by Eric Snow and Brett Cannon in bpo-15627 [https://bugs.python.org/issue?@action=redirect&bpo=15627].)

InspectLoader also now has a default implementation for the get_code() method. However, it will normally be desirable to override the default implementation for performance reasons. (Contributed by Brett Cannon in bpo-18072 [https://bugs.python.org/issue?@action=redirect&bpo=18072].)

The reload() function has been moved from imp to importlib as part of the imp module deprecation. (Contributed by Berker Peksag in bpo-18193 [https://bugs.python.org/issue?@action=redirect&bpo=18193].)

importlib.util now has a MAGIC_NUMBER attribute providing access to the bytecode version number. This replaces the get_magic() function in the deprecated imp module. (Contributed by Brett Cannon in bpo-18192 [https://bugs.python.org/issue?@action=redirect&bpo=18192].)

New importlib.util functions cache_from_source() and source_from_cache() replace the same-named functions in the deprecated imp module. (Contributed by Brett Cannon in bpo-18194 [https://bugs.python.org/issue?@action=redirect&bpo=18194].)

The importlib bootstrap NamespaceLoader now conforms to the InspectLoader ABC, which means that runpy and python -m can now be used with namespace packages. (Contributed by Brett Cannon in bpo-18058 [https://bugs.python.org/issue?@action=redirect&bpo=18058].)

importlib.util has a new function decode_source() that decodes source from bytes using universal newline processing. This is useful for implementing InspectLoader.get_source() methods.

importlib.machinery.ExtensionFileLoader now has a get_filename() method. This was inadvertently omitted in the original implementation. (Contributed by Eric Snow in bpo-19152 [https://bugs.python.org/issue?@action=redirect&bpo=19152].)

inspect

The inspect module now offers a basic command line interface to quickly display source code and other information for modules, classes and functions. (Contributed by Claudiu Popa and Nick Coghlan in bpo-18626 [https://bugs.python.org/issue?@action=redirect&bpo=18626].)

unwrap() makes it easy to unravel wrapper function chains created by functools.wraps() (and any other API that sets the __wrapped__ attribute on a wrapper function). (Contributed by Daniel Urban, Aaron Iles and Nick Coghlan in bpo-13266 [https://bugs.python.org/issue?@action=redirect&bpo=13266].)

As part of the implementation of the new enum module, the inspect module now has substantially better support for custom __dir__ methods and dynamic class attributes provided through metaclasses. (Contributed by Ethan Furman in bpo-18929 [https://bugs.python.org/issue?@action=redirect&bpo=18929] and bpo-19030 [https://bugs.python.org/issue?@action=redirect&bpo=19030].)

getfullargspec() and getargspec() now use the signature() API. This allows them to support a much broader range of callables, including those with __signature__ attributes, those with metadata provided by argument clinic, functools.partial() objects and more. Note that, unlike signature(), these functions still ignore __wrapped__ attributes, and report the already bound first argument for bound methods, so it is still necessary to update your code to use signature() directly if those features are desired. (Contributed by Yury Selivanov in bpo-17481 [https://bugs.python.org/issue?@action=redirect&bpo=17481].)

signature() now supports duck types of CPython functions, which adds support for functions compiled with Cython. (Contributed by Stefan Behnel and Yury Selivanov in bpo-17159 [https://bugs.python.org/issue?@action=redirect&bpo=17159].)

ipaddress

ipaddress was added to the standard library in Python 3.3 as a provisional API. With the release of Python 3.4, this qualification has been removed: ipaddress is now considered a stable API, covered by the normal standard library requirements to maintain backwards compatibility.

A new is_global property is True if an address is globally routeable. (Contributed by Peter Moody in bpo-17400 [https://bugs.python.org/issue?@action=redirect&bpo=17400].)

logging

The TimedRotatingFileHandler has a new atTime parameter that can be used to specify the time of day when rollover should happen. (Contributed by Ronald Oussoren in bpo-9556 [https://bugs.python.org/issue?@action=redirect&bpo=9556].)

SocketHandler and DatagramHandler now support Unix domain sockets (by setting port to None). (Contributed by Vinay Sajip in commit ce46195b56a9.)

fileConfig() now accepts a configparser.RawConfigParser subclass instance for the fname parameter. This facilitates using a configuration file when logging configuration is just a part of the overall application configuration, or where the application modifies the configuration before passing it to fileConfig(). (Contributed by Vinay Sajip in bpo-16110 [https://bugs.python.org/issue?@action=redirect&bpo=16110].)

Logging configuration data received from a socket via the logging.config.listen() function can now be validated before being processed by supplying a verification function as the argument to the new verify keyword argument. (Contributed by Vinay Sajip in bpo-15452 [https://bugs.python.org/issue?@action=redirect&bpo=15452].)

marshal

The default marshal version has been bumped to 3. The code implementing the new version restores the Python2 behavior of recording only one copy of interned strings and preserving the interning on deserialization, and extends this “one copy” ability to any object type (including handling recursive references). This reduces both the size of .pyc files and the amount of memory a module occupies in memory when it is loaded from a .pyc (or .pyo) file. (Contributed by Kristján Valur Jónsson in bpo-16475 [https://bugs.python.org/issue?@action=redirect&bpo=16475], with additional speedups by Antoine Pitrou in bpo-19219 [https://bugs.python.org/issue?@action=redirect&bpo=19219].)

mmap

mmap objects are now weakly referenceable. (Contributed by Valerie Lambert in bpo-4885 [https://bugs.python.org/issue?@action=redirect&bpo=4885].)

multiprocessing

On Unix two new start methods, spawn and forkserver, have been added for starting processes using multiprocessing. These make the mixing of processes with threads more robust, and the spawn method matches the semantics that multiprocessing has always used on Windows. New function get_all_start_methods() reports all start methods available on the platform, get_start_method() reports the current start method, and set_start_method() sets the start method. (Contributed by Richard Oudkerk in bpo-8713 [https://bugs.python.org/issue?@action=redirect&bpo=8713].)

multiprocessing also now has the concept of a context, which determines how child processes are created. New function get_context() returns a context that uses a specified start method. It has the same API as the multiprocessing module itself, so you can use it to create Pools and other objects that will operate within that context. This allows a framework and an application or different parts of the same application to use multiprocessing without interfering with each other. (Contributed by Richard Oudkerk in bpo-18999 [https://bugs.python.org/issue?@action=redirect&bpo=18999].)

Except when using the old fork start method, child processes no longer inherit unneeded handles/file descriptors from their parents (part of bpo-8713 [https://bugs.python.org/issue?@action=redirect&bpo=8713]).

multiprocessing now relies on runpy (which implements the -m switch) to initialise __main__ appropriately in child processes when using the spawn or forkserver start methods. This resolves some edge cases where combining multiprocessing, the -m command line switch, and explicit relative imports could cause obscure failures in child processes. (Contributed by Nick Coghlan in bpo-19946 [https://bugs.python.org/issue?@action=redirect&bpo=19946].)

operador

New function length_hint() provides an implementation of the specification for how the __length_hint__() special method should be used, as part of the PEP 424 [https://peps.python.org/pep-0424/] formal specification of this language feature. (Contributed by Armin Ronacher in bpo-16148 [https://bugs.python.org/issue?@action=redirect&bpo=16148].)

There is now a pure-python version of the operator module available for reference and for use by alternate implementations of Python. (Contributed by Zachary Ware in bpo-16694 [https://bugs.python.org/issue?@action=redirect&bpo=16694].)

os

There are new functions to get and set the inheritable flag of a file descriptor (os.get_inheritable(), os.set_inheritable()) or a Windows handle (os.get_handle_inheritable(), os.set_handle_inheritable()).

New function cpu_count() reports the number of CPUs available on the platform on which Python is running (or None if the count can’t be determined). The multiprocessing.cpu_count() function is now implemented in terms of this function). (Contributed by Trent Nelson, Yogesh Chaudhari, Victor Stinner, and Charles-François Natali in bpo-17914 [https://bugs.python.org/issue?@action=redirect&bpo=17914].)

os.path.samestat() is now available on the Windows platform (and the os.path.samefile() implementation is now shared between Unix and Windows). (Contributed by Brian Curtin in bpo-11939 [https://bugs.python.org/issue?@action=redirect&bpo=11939].)

os.path.ismount() now recognizes volumes mounted below a drive root on Windows. (Contributed by Tim Golden in bpo-9035 [https://bugs.python.org/issue?@action=redirect&bpo=9035].)

os.open() supports two new flags on platforms that provide them, O_PATH (un-opened file descriptor), and O_TMPFILE (unnamed temporary file; as of 3.4.0 release available only on Linux systems with a kernel version of 3.11 or newer that have uapi headers). (Contributed by Christian Heimes in bpo-18673 [https://bugs.python.org/issue?@action=redirect&bpo=18673] and Benjamin Peterson, respectively.)

pdb

pdb has been enhanced to handle generators, yield, and yield from in a more useful fashion. This is especially helpful when debugging asyncio based programs. (Contributed by Andrew Svetlov and Xavier de Gaye in bpo-16596 [https://bugs.python.org/issue?@action=redirect&bpo=16596].)

The print command has been removed from pdb, restoring access to the Python print() function from the pdb command line. Python2’s pdb did not have a print command; instead, entering print executed the print statement. In Python3 print was mistakenly made an alias for the pdb p command. p, however, prints the repr of its argument, not the str like the Python2 print command did. Worse, the Python3 pdb print command shadowed the Python3 print function, making it inaccessible at the pdb prompt. (Contributed by Connor Osborn in bpo-18764 [https://bugs.python.org/issue?@action=redirect&bpo=18764].)

pickle

pickle now supports (but does not use by default) a new pickle protocol, protocol 4. This new protocol addresses a number of issues that were present in previous protocols, such as the serialization of nested classes, very large strings and containers, and classes whose __new__() method takes keyword-only arguments. It also provides some efficiency improvements.

Ver também

PEP 3154 [https://peps.python.org/pep-3154/] – Pickle protocol 4

PEP written by Antoine Pitrou and implemented by Alexandre Vassalotti.

plistlib

plistlib now has an API that is similar to the standard pattern for stdlib serialization protocols, with new load(), dump(), loads(), and dumps() functions. (The older API is now deprecated.) In addition to the already supported XML plist format (FMT_XML), it also now supports the binary plist format (FMT_BINARY). (Contributed by Ronald Oussoren and others in bpo-14455 [https://bugs.python.org/issue?@action=redirect&bpo=14455].)

poplib

Two new methods have been added to poplib: capa(), which returns the list of capabilities advertised by the POP server, and stls(), which switches a clear-text POP3 session into an encrypted POP3 session if the POP server supports it. (Contributed by Lorenzo Catucci in bpo-4473 [https://bugs.python.org/issue?@action=redirect&bpo=4473].)

pprint

The pprint module’s PrettyPrinter class and its pformat(), and pprint() functions have a new option, compact, that controls how the output is formatted. Currently setting compact to True means that sequences will be printed with as many sequence elements as will fit within width on each (indented) line. (Contributed by Serhiy Storchaka in bpo-19132 [https://bugs.python.org/issue?@action=redirect&bpo=19132].)

Long strings are now wrapped using Python’s normal line continuation syntax. (Contributed by Antoine Pitrou in bpo-17150 [https://bugs.python.org/issue?@action=redirect&bpo=17150].)

pty

pty.spawn() now returns the status value from os.waitpid() on the child process, instead of None. (Contributed by Gregory P. Smith.)

pydoc

The pydoc module is now based directly on the inspect.signature() introspection API, allowing it to provide signature information for a wider variety of callable objects. This change also means that __wrapped__ attributes are now taken into account when displaying help information. (Contributed by Larry Hastings in bpo-19674 [https://bugs.python.org/issue?@action=redirect&bpo=19674].)

The pydoc module no longer displays the self parameter for already bound methods. Instead, it aims to always display the exact current signature of the supplied callable. (Contributed by Larry Hastings in bpo-20710 [https://bugs.python.org/issue?@action=redirect&bpo=20710].)

In addition to the changes that have been made to pydoc directly, its handling of custom __dir__ methods and various descriptor behaviours has also been improved substantially by the underlying changes in the inspect module.

As the help() builtin is based on pydoc, the above changes also affect the behaviour of help().

re

New fullmatch() function and regex.fullmatch() method anchor the pattern at both ends of the string to match. This provides a way to be explicit about the goal of the match, which avoids a class of subtle bugs where $ characters get lost during code changes or the addition of alternatives to an existing regular expression. (Contributed by Matthew Barnett in bpo-16203 [https://bugs.python.org/issue?@action=redirect&bpo=16203].)

The repr of regex objects now includes the pattern and the flags; the repr of match objects now includes the start, end, and the part of the string that matched. (Contributed by Hugo Lopes Tavares and Serhiy Storchaka in bpo-13592 [https://bugs.python.org/issue?@action=redirect&bpo=13592] and bpo-17087 [https://bugs.python.org/issue?@action=redirect&bpo=17087].)

resource

New prlimit() function, available on Linux platforms with a kernel version of 2.6.36 or later and glibc of 2.13 or later, provides the ability to query or set the resource limits for processes other than the one making the call. (Contributed by Christian Heimes in bpo-16595 [https://bugs.python.org/issue?@action=redirect&bpo=16595].)

On Linux kernel version 2.6.36 or later, there are also some new Linux specific constants: RLIMIT_MSGQUEUE, RLIMIT_NICE, RLIMIT_RTPRIO, RLIMIT_RTTIME, and RLIMIT_SIGPENDING. (Contributed by Christian Heimes in bpo-19324 [https://bugs.python.org/issue?@action=redirect&bpo=19324].)

On FreeBSD version 9 and later, there some new FreeBSD specific constants: RLIMIT_SBSIZE, RLIMIT_SWAP, and RLIMIT_NPTS. (Contributed by Claudiu Popa in bpo-19343 [https://bugs.python.org/issue?@action=redirect&bpo=19343].)

select

epoll objects now support the context management protocol. When used in a with statement, the close() method will be called automatically at the end of the block. (Contributed by Serhiy Storchaka in bpo-16488 [https://bugs.python.org/issue?@action=redirect&bpo=16488].)

devpoll objects now have fileno() and close() methods, as well as a new attribute closed. (Contributed by Victor Stinner in bpo-18794 [https://bugs.python.org/issue?@action=redirect&bpo=18794].)

shelve

Shelf instances may now be used in with statements, and will be automatically closed at the end of the with block. (Contributed by Filip Gruszczyński in bpo-13896 [https://bugs.python.org/issue?@action=redirect&bpo=13896].)

shutil

copyfile() now raises a specific Error subclass, SameFileError, when the source and destination are the same file, which allows an application to take appropriate action on this specific error. (Contributed by Atsuo Ishimoto and Hynek Schlawack in bpo-1492704 [https://bugs.python.org/issue?@action=redirect&bpo=1492704].)

smtpd

The SMTPServer and SMTPChannel classes now accept a map keyword argument which, if specified, is passed in to asynchat.async_chat as its map argument. This allows an application to avoid affecting the global socket map. (Contributed by Vinay Sajip in bpo-11959 [https://bugs.python.org/issue?@action=redirect&bpo=11959].)

smtplib

SMTPException is now a subclass of OSError, which allows both socket level errors and SMTP protocol level errors to be caught in one try/except statement by code that only cares whether or not an error occurred. (Contributed by Ned Jackson Lovely in bpo-2118 [https://bugs.python.org/issue?@action=redirect&bpo=2118].)

socket

The socket module now supports the CAN_BCM protocol on platforms that support it. (Contributed by Brian Thorne in bpo-15359 [https://bugs.python.org/issue?@action=redirect&bpo=15359].)

Socket objects have new methods to get or set their inheritable flag, get_inheritable() and set_inheritable().

The socket.AF_* and socket.SOCK_* constants are now enumeration values using the new enum module. This allows meaningful names to be printed during debugging, instead of integer “magic numbers”.

The AF_LINK constant is now available on BSD and OSX.

inet_pton() and inet_ntop() are now supported on Windows. (Contributed by Atsuo Ishimoto in bpo-7171 [https://bugs.python.org/issue?@action=redirect&bpo=7171].)

sqlite3

A new boolean parameter to the connect() function, uri, can be used to indicate that the database parameter is a uri (see the SQLite URI documentation [https://www.sqlite.org/uri.html]). (Contributed by poq in bpo-13773 [https://bugs.python.org/issue?@action=redirect&bpo=13773].)

ssl

PROTOCOL_TLSv1_1 and PROTOCOL_TLSv1_2 (TLSv1.1 and TLSv1.2 support) have been added; support for these protocols is only available if Python is linked with OpenSSL 1.0.1 or later. (Contributed by Michele Orrù and Antoine Pitrou in bpo-16692 [https://bugs.python.org/issue?@action=redirect&bpo=16692].)

New function create_default_context() provides a standard way to obtain an SSLContext whose settings are intended to be a reasonable balance between compatibility and security. These settings are more stringent than the defaults provided by the SSLContext constructor, and may be adjusted in the future, without prior deprecation, if best-practice security requirements change. The new recommended best practice for using stdlib libraries that support SSL is to use create_default_context() to obtain an SSLContext object, modify it if needed, and then pass it as the context argument of the appropriate stdlib API. (Contributed by Christian Heimes in bpo-19689 [https://bugs.python.org/issue?@action=redirect&bpo=19689].)

SSLContext method load_verify_locations() accepts a new optional argument cadata, which can be used to provide PEM or DER encoded certificates directly via strings or bytes, respectively. (Contributed by Christian Heimes in bpo-18138 [https://bugs.python.org/issue?@action=redirect&bpo=18138].)

New function get_default_verify_paths() returns a named tuple of the paths and environment variables that the set_default_verify_paths() method uses to set OpenSSL’s default cafile and capath. This can be an aid in debugging default verification issues. (Contributed by Christian Heimes in bpo-18143 [https://bugs.python.org/issue?@action=redirect&bpo=18143].)

SSLContext has a new method, cert_store_stats(), that reports the number of loaded X.509 certs, X.509 CA certs, and certificate revocation lists (crls), as well as a get_ca_certs() method that returns a list of the loaded CA certificates. (Contributed by Christian Heimes in bpo-18147 [https://bugs.python.org/issue?@action=redirect&bpo=18147].)

If OpenSSL 0.9.8 or later is available, SSLContext has a new attribute verify_flags that can be used to control the certificate verification process by setting it to some combination of the new constants VERIFY_DEFAULT, VERIFY_CRL_CHECK_LEAF, VERIFY_CRL_CHECK_CHAIN, or VERIFY_X509_STRICT. OpenSSL does not do any CRL verification by default. (Contributed by Christien Heimes in bpo-8813 [https://bugs.python.org/issue?@action=redirect&bpo=8813].)

New SSLContext method load_default_certs() loads a set of default “certificate authority” (CA) certificates from default locations, which vary according to the platform. It can be used to load both TLS web server authentication certificates (purpose=SERVER_AUTH) for a client to use to verify a server, and certificates for a server to use in verifying client certificates (purpose=CLIENT_AUTH). (Contributed by Christian Heimes in bpo-19292 [https://bugs.python.org/issue?@action=redirect&bpo=19292].)

Two new windows-only functions, enum_certificates() and enum_crls() provide the ability to retrieve certificates, certificate information, and CRLs from the Windows cert store. (Contributed by Christian Heimes in bpo-17134 [https://bugs.python.org/issue?@action=redirect&bpo=17134].)

Support for server-side SNI (Server Name Indication) using the new ssl.SSLContext.set_servername_callback() method. (Contributed by Daniel Black in bpo-8109 [https://bugs.python.org/issue?@action=redirect&bpo=8109].)

The dictionary returned by SSLSocket.getpeercert() contains additional X509v3 extension items: crlDistributionPoints, calIssuers, and OCSP URIs. (Contributed by Christian Heimes in bpo-18379 [https://bugs.python.org/issue?@action=redirect&bpo=18379].)

stat

The stat module is now backed by a C implementation in _stat. A C implementation is required as most of the values aren’t standardized and are platform-dependent. (Contributed by Christian Heimes in bpo-11016 [https://bugs.python.org/issue?@action=redirect&bpo=11016].)

The module supports new ST_MODE flags, S_IFDOOR, S_IFPORT, and S_IFWHT. (Contributed by Christian Hiemes in bpo-11016 [https://bugs.python.org/issue?@action=redirect&bpo=11016].)

struct

New function iter_unpack and a new struct.Struct.iter_unpack() method on compiled formats provide streamed unpacking of a buffer containing repeated instances of a given format of data. (Contributed by Antoine Pitrou in bpo-17804 [https://bugs.python.org/issue?@action=redirect&bpo=17804].)

subprocess

check_output() now accepts an input argument that can be used to provide the contents of stdin for the command that is run. (Contributed by Zack Weinberg in bpo-16624 [https://bugs.python.org/issue?@action=redirect&bpo=16624].)

getstatus() and getstatusoutput() now work on Windows. This change was actually inadvertently made in 3.3.4. (Contributed by Tim Golden in bpo-10197 [https://bugs.python.org/issue?@action=redirect&bpo=10197].)

sunau

The getparams() method now returns a namedtuple rather than a plain tuple. (Contributed by Claudiu Popa in bpo-18901 [https://bugs.python.org/issue?@action=redirect&bpo=18901].)

sunau.open() now supports the context management protocol: when used in a with block, the close method of the returned object will be called automatically at the end of the block. (Contributed by Serhiy Storchaka in bpo-18878 [https://bugs.python.org/issue?@action=redirect&bpo=18878].)

AU_write.setsampwidth() now supports 24 bit samples, thus adding support for writing 24 sample using the module. (Contributed by Serhiy Storchaka in bpo-19261 [https://bugs.python.org/issue?@action=redirect&bpo=19261].)

The writeframesraw() and writeframes() methods now accept any bytes-like object. (Contributed by Serhiy Storchaka in bpo-8311 [https://bugs.python.org/issue?@action=redirect&bpo=8311].)

sys

New function sys.getallocatedblocks() returns the current number of blocks allocated by the interpreter. (In CPython with the default --with-pymalloc setting, this is allocations made through the PyObject_Malloc() API.) This can be useful for tracking memory leaks, especially if automated via a test suite. (Contributed by Antoine Pitrou in bpo-13390 [https://bugs.python.org/issue?@action=redirect&bpo=13390].)

When the Python interpreter starts in interactive mode, it checks for an __interactivehook__ attribute on the sys module. If the attribute exists, its value is called with no arguments just before interactive mode is started. The check is made after the PYTHONSTARTUP file is read, so it can be set there. The site module sets it to a function that enables tab completion and history saving (in ~/.python-history) if the platform supports readline. If you do not want this (new) behavior, you can override it in PYTHONSTARTUP, sitecustomize, or usercustomize by deleting this attribute from sys (or setting it to some other callable). (Contributed by Éric Araujo and Antoine Pitrou in bpo-5845 [https://bugs.python.org/issue?@action=redirect&bpo=5845].)

tarfile

The tarfile module now supports a simple Interface de Linha de Comando when called as a script directly or via -m. This can be used to create and extract tarfile archives. (Contributed by Berker Peksag in bpo-13477 [https://bugs.python.org/issue?@action=redirect&bpo=13477].)

textwrap

The TextWrapper class has two new attributes/constructor arguments: max_lines, which limits the number of lines in the output, and placeholder, which is a string that will appear at the end of the output if it has been truncated because of max_lines. Building on these capabilities, a new convenience function shorten() collapses all of the whitespace in the input to single spaces and produces a single line of a given width that ends with the placeholder (by default, [...]). (Contributed by Antoine Pitrou and Serhiy Storchaka in bpo-18585 [https://bugs.python.org/issue?@action=redirect&bpo=18585] and bpo-18725 [https://bugs.python.org/issue?@action=redirect&bpo=18725].)

threading

The Thread object representing the main thread can be obtained from the new main_thread() function. In normal conditions this will be the thread from which the Python interpreter was started. (Contributed by Andrew Svetlov in bpo-18882 [https://bugs.python.org/issue?@action=redirect&bpo=18882].)

traceback

A new traceback.clear_frames() function takes a traceback object and clears the local variables in all of the frames it references, reducing the amount of memory consumed. (Contributed by Andrew Kuchling in bpo-1565525 [https://bugs.python.org/issue?@action=redirect&bpo=1565525].)

types

A new DynamicClassAttribute() descriptor provides a way to define an attribute that acts normally when looked up through an instance object, but which is routed to the class __getattr__ when looked up through the class. This allows one to have properties active on a class, and have virtual attributes on the class with the same name (see Enum for an example). (Contributed by Ethan Furman in bpo-19030 [https://bugs.python.org/issue?@action=redirect&bpo=19030].)

urllib

urllib.request now supports data: URLs via the DataHandler class. (Contributed by Mathias Panzenböck in bpo-16423 [https://bugs.python.org/issue?@action=redirect&bpo=16423].)

The http method that will be used by a Request class can now be specified by setting a method class attribute on the subclass. (Contributed by Jason R Coombs in bpo-18978 [https://bugs.python.org/issue?@action=redirect&bpo=18978].)

Request objects are now reusable: if the full_url or data attributes are modified, all relevant internal properties are updated. This means, for example, that it is now possible to use the same Request object in more than one OpenerDirector.open() call with different data arguments, or to modify a Request‘s url rather than recomputing it from scratch. There is also a new remove_header() method that can be used to remove headers from a Request. (Contributed by Alexey Kachayev in bpo-16464 [https://bugs.python.org/issue?@action=redirect&bpo=16464], Daniel Wozniak in bpo-17485 [https://bugs.python.org/issue?@action=redirect&bpo=17485], and Damien Brecht and Senthil Kumaran in bpo-17272 [https://bugs.python.org/issue?@action=redirect&bpo=17272].)

HTTPError objects now have a headers attribute that provides access to the HTTP response headers associated with the error. (Contributed by Berker Peksag in bpo-15701 [https://bugs.python.org/issue?@action=redirect&bpo=15701].)

unittest

The TestCase class has a new method, subTest(), that produces a context manager whose with block becomes a “sub-test”. This context manager allows a test method to dynamically generate subtests by, say, calling the subTest context manager inside a loop. A single test method can thereby produce an indefinite number of separately identified and separately counted tests, all of which will run even if one or more of them fail. For example:

class NumbersTest(unittest.TestCase):
    def test_even(self):
        for i in range(6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

will result in six subtests, each identified in the unittest verbose output with a label consisting of the variable name i and a particular value for that variable (i=0, i=1, etc). See Distinguindo iterações de teste utilizando subtestes for the full version of this example. (Contributed by Antoine Pitrou in bpo-16997 [https://bugs.python.org/issue?@action=redirect&bpo=16997].)

unittest.main() now accepts an iterable of test names for defaultTest, where previously it only accepted a single test name as a string. (Contributed by Jyrki Pulliainen in bpo-15132 [https://bugs.python.org/issue?@action=redirect&bpo=15132].)

If SkipTest is raised during test discovery (that is, at the module level in the test file), it is now reported as a skip instead of an error. (Contributed by Zach Ware in bpo-16935 [https://bugs.python.org/issue?@action=redirect&bpo=16935].)

discover() now sorts the discovered files to provide consistent test ordering. (Contributed by Martin Melin and Jeff Ramnani in bpo-16709 [https://bugs.python.org/issue?@action=redirect&bpo=16709].)

TestSuite now drops references to tests as soon as the test has been run, if the test is successful. On Python interpreters that do garbage collection, this allows the tests to be garbage collected if nothing else is holding a reference to the test. It is possible to override this behavior by creating a TestSuite subclass that defines a custom _removeTestAtIndex method. (Contributed by Tom Wardill, Matt McClure, and Andrew Svetlov in bpo-11798 [https://bugs.python.org/issue?@action=redirect&bpo=11798].)

A new test assertion context-manager, assertLogs(), will ensure that a given block of code emits a log message using the logging module. By default the message can come from any logger and have a priority of INFO or higher, but both the logger name and an alternative minimum logging level may be specified. The object returned by the context manager can be queried for the LogRecords and/or formatted messages that were logged. (Contributed by Antoine Pitrou in bpo-18937 [https://bugs.python.org/issue?@action=redirect&bpo=18937].)

Test discovery now works with namespace packages (Contributed by Claudiu Popa in bpo-17457 [https://bugs.python.org/issue?@action=redirect&bpo=17457].)

unittest.mock objects now inspect their specification signatures when matching calls, which means an argument can now be matched by either position or name, instead of only by position. (Contributed by Antoine Pitrou in bpo-17015 [https://bugs.python.org/issue?@action=redirect&bpo=17015].)

mock_open() objects now have readline and readlines methods. (Contributed by Toshio Kuratomi in bpo-17467 [https://bugs.python.org/issue?@action=redirect&bpo=17467].)

venv

venv now includes activation scripts for the csh and fish shells. (Contributed by Andrew Svetlov in bpo-15417 [https://bugs.python.org/issue?@action=redirect&bpo=15417].)

EnvBuilder and the create() convenience function take a new keyword argument with_pip, which defaults to False, that controls whether or not EnvBuilder ensures that pip is installed in the virtual environment. (Contributed by Nick Coghlan in bpo-19552 [https://bugs.python.org/issue?@action=redirect&bpo=19552] as part of the PEP 453 [https://peps.python.org/pep-0453/] implementation.)

wave

The getparams() method now returns a namedtuple rather than a plain tuple. (Contributed by Claudiu Popa in bpo-17487 [https://bugs.python.org/issue?@action=redirect&bpo=17487].)

wave.open() now supports the context management protocol. (Contributed by Claudiu Popa in bpo-17616 [https://bugs.python.org/issue?@action=redirect&bpo=17616].)

wave can now write output to unseekable files. (Contributed by David Jones, Guilherme Polo, and Serhiy Storchaka in bpo-5202 [https://bugs.python.org/issue?@action=redirect&bpo=5202].)

The writeframesraw() and writeframes() methods now accept any bytes-like object. (Contributed by Serhiy Storchaka in bpo-8311 [https://bugs.python.org/issue?@action=redirect&bpo=8311].)

weakref

New WeakMethod class simulates weak references to bound methods. (Contributed by Antoine Pitrou in bpo-14631 [https://bugs.python.org/issue?@action=redirect&bpo=14631].)

New finalize class makes it possible to register a callback to be invoked when an object is garbage collected, without needing to carefully manage the lifecycle of the weak reference itself. (Contributed by Richard Oudkerk in bpo-15528 [https://bugs.python.org/issue?@action=redirect&bpo=15528].)

The callback, if any, associated with a ref is now exposed via the __callback__ attribute. (Contributed by Mark Dickinson in bpo-17643 [https://bugs.python.org/issue?@action=redirect&bpo=17643].)

xml.etree

A new parser, XMLPullParser, allows a non-blocking applications to parse XML documents. An example can be seen at A API de pull para análise sem bloqueio. (Contributed by Antoine Pitrou in bpo-17741 [https://bugs.python.org/issue?@action=redirect&bpo=17741].)

The xml.etree.ElementTree tostring() and tostringlist() functions, and the ElementTree write() method, now have a short_empty_elements keyword-only parameter providing control over whether elements with no content are written in abbreviated (<tag />) or expanded (<tag></tag>) form. (Contributed by Ariel Poliak and Serhiy Storchaka in bpo-14377 [https://bugs.python.org/issue?@action=redirect&bpo=14377].)

zipfile

The writepy() method of the PyZipFile class has a new filterfunc option that can be used to control which directories and files are added to the archive. For example, this could be used to exclude test files from the archive. (Contributed by Christian Tismer in bpo-19274 [https://bugs.python.org/issue?@action=redirect&bpo=19274].)

The allowZip64 parameter to ZipFile and PyZipfile is now True by default. (Contributed by William Mallard in bpo-17201 [https://bugs.python.org/issue?@action=redirect&bpo=17201].)

CPython Implementation Changes

PEP 445: Customization of CPython Memory Allocators

PEP 445 [https://peps.python.org/pep-0445/] adds new C level interfaces to customize memory allocation in the CPython interpreter.

Ver também

PEP 445 [https://peps.python.org/pep-0445/] – Add new APIs to customize Python memory allocators

PEP escrito e implementado por Victor Stinner.

PEP 442: Safe Object Finalization

PEP 442 [https://peps.python.org/pep-0442/] removes the current limitations and quirks of object finalization in CPython. With it, objects with __del__() methods, as well as generators with finally clauses, can be finalized when they are part of a reference cycle.

As part of this change, module globals are no longer forcibly set to None during interpreter shutdown in most cases, instead relying on the normal operation of the cyclic garbage collector. This avoids a whole class of interpreter-shutdown-time errors, usually involving __del__ methods, that have plagued Python since the cyclic GC was first introduced.

Ver também

PEP 442 [https://peps.python.org/pep-0442/] – Safe object finalization

PEP escrita e implementada por Antoine Pitrou.

PEP 456: Secure and Interchangeable Hash Algorithm

PEP 456 [https://peps.python.org/pep-0456/] follows up on earlier security fix work done on Python’s hash algorithm to address certain DOS attacks to which public facing APIs backed by dictionary lookups may be subject. (See bpo-14621 [https://bugs.python.org/issue?@action=redirect&bpo=14621] for the start of the current round of improvements.) The PEP unifies CPython’s hash code to make it easier for a packager to substitute a different hash algorithm, and switches Python’s default implementation to a SipHash implementation on platforms that have a 64 bit data type. Any performance differences in comparison with the older FNV algorithm are trivial.

The PEP adds additional fields to the sys.hash_info named tuple to describe the hash algorithm in use by the currently executing binary. Otherwise, the PEP does not alter any existing CPython APIs.

PEP 436: Argument Clinic

“Argument Clinic” (PEP 436 [https://peps.python.org/pep-0436/]) is now part of the CPython build process and can be used to simplify the process of defining and maintaining accurate signatures for builtins and standard library extension modules implemented in C.

Some standard library extension modules have been converted to use Argument Clinic in Python 3.4, and pydoc and inspect have been updated accordingly.

It is expected that signature metadata for programmatic introspection will be added to additional callables implemented in C as part of Python 3.4 maintenance releases.

Nota

The Argument Clinic PEP is not fully up to date with the state of the implementation. This has been deemed acceptable by the release manager and core development team in this case, as Argument Clinic will not be made available as a public API for third party use in Python 3.4.

Ver também

PEP 436 [https://peps.python.org/pep-0436/] – The Argument Clinic DSL

PEP written and implemented by Larry Hastings.

Other Alterações a compilações e API C

The new PyType_GetSlot() function has been added to the stable ABI, allowing retrieval of function pointers from named type slots when using the limited API. (Contributed by Martin von Löwis in bpo-17162 [https://bugs.python.org/issue?@action=redirect&bpo=17162].)

The new Py_SetStandardStreamEncoding() pre-initialization API allows applications embedding the CPython interpreter to reliably force a particular encoding and error handler for the standard streams. (Contributed by Bastien Montagne and Nick Coghlan in bpo-16129 [https://bugs.python.org/issue?@action=redirect&bpo=16129].)

Most Python C APIs that don’t mutate string arguments are now correctly marked as accepting const char * rather than char *. (Contributed by Serhiy Storchaka in bpo-1772673 [https://bugs.python.org/issue?@action=redirect&bpo=1772673].)

A new shell version of python-config can be used even when a python interpreter is not available (for example, in cross compilation scenarios).

PyUnicode_FromFormat() now supports width and precision specifications for %s, %A, %U, %V, %S, and %R. (Contributed by Ysj Ray and Victor Stinner in bpo-7330 [https://bugs.python.org/issue?@action=redirect&bpo=7330].)

New function PyStructSequence_InitType2() supplements the existing PyStructSequence_InitType() function. The difference is that it returns 0 on success and -1 on failure.

The CPython source can now be compiled using the address sanity checking features of recent versions of GCC and clang: the false alarms in the small object allocator have been silenced. (Contributed by Dhiru Kholia in bpo-18596 [https://bugs.python.org/issue?@action=redirect&bpo=18596].)

The Windows build now uses Address Space Layout Randomization [https://en.wikipedia.org/wiki/Address_space_layout_randomization] and Data Execution Prevention [https://en.wikipedia.org/wiki/Data_Execution_Prevention]. (Contributed by Christian Heimes in bpo-16632 [https://bugs.python.org/issue?@action=redirect&bpo=16632].)

New function PyObject_LengthHint() is the C API equivalent of operator.length_hint(). (Contributed by Armin Ronacher in bpo-16148 [https://bugs.python.org/issue?@action=redirect&bpo=16148].)

Other Improvements

The python command has a new option, -I, which causes it to run in “isolated mode”, which means that sys.path contains neither the script’s directory nor the user’s site-packages directory, and all PYTHON* environment variables are ignored (it implies both -s and -E). Other restrictions may also be applied in the future, with the goal being to isolate the execution of a script from the user’s environment. This is appropriate, for example, when Python is used to run a system script. On most POSIX systems it can and should be used in the #! line of system scripts. (Contributed by Christian Heimes in bpo-16499 [https://bugs.python.org/issue?@action=redirect&bpo=16499].)

Tab-completion is now enabled by default in the interactive interpreter on systems that support readline. History is also enabled by default, and is written to (and read from) the file ~/.python-history. (Contributed by Antoine Pitrou and Éric Araujo in bpo-5845 [https://bugs.python.org/issue?@action=redirect&bpo=5845].)

Invoking the Python interpreter with --version now outputs the version to standard output instead of standard error (bpo-18338 [https://bugs.python.org/issue?@action=redirect&bpo=18338]). Similar changes were made to argparse (bpo-18920 [https://bugs.python.org/issue?@action=redirect&bpo=18920]) and other modules that have script-like invocation capabilities (bpo-18922 [https://bugs.python.org/issue?@action=redirect&bpo=18922]).

The CPython Windows installer now adds .py to the PATHEXT variable when extensions are registered, allowing users to run a python script at the windows command prompt by just typing its name without the .py extension. (Contributed by Paul Moore in bpo-18569 [https://bugs.python.org/issue?@action=redirect&bpo=18569].)

A new make target coverage-report [https://devguide.python.org/coverage/#measuring-coverage-of-c-code-with-gcov-and-lcov] will build python, run the test suite, and generate an HTML coverage report for the C codebase using gcov and lcov [https://github.com/linux-test-project/lcov].

The -R option to the python regression test suite now also checks for memory allocation leaks, using sys.getallocatedblocks(). (Contributed by Antoine Pitrou in bpo-13390 [https://bugs.python.org/issue?@action=redirect&bpo=13390].)

python -m now works with namespace packages.

The stat module is now implemented in C, which means it gets the values for its constants from the C header files, instead of having the values hard-coded in the python module as was previously the case.

Loading multiple python modules from a single OS module (.so, .dll) now works correctly (previously it silently returned the first python module in the file). (Contributed by Václav Šmilauer in bpo-16421 [https://bugs.python.org/issue?@action=redirect&bpo=16421].)

A new opcode, LOAD_CLASSDEREF, has been added to fix a bug in the loading of free variables in class bodies that could be triggered by certain uses of __prepare__. (Contributed by Benjamin Peterson in bpo-17853 [https://bugs.python.org/issue?@action=redirect&bpo=17853].)

A number of MemoryError-related crashes were identified and fixed by Victor Stinner using his PEP 445 [https://peps.python.org/pep-0445/]-based pyfailmalloc tool (bpo-18408 [https://bugs.python.org/issue?@action=redirect&bpo=18408], bpo-18520 [https://bugs.python.org/issue?@action=redirect&bpo=18520]).

The pyvenv command now accepts a --copies option to use copies rather than symlinks even on systems where symlinks are the default. (Contributed by Vinay Sajip in bpo-18807 [https://bugs.python.org/issue?@action=redirect&bpo=18807].)

The pyvenv command also accepts a --without-pip option to suppress the otherwise-automatic bootstrapping of pip into the virtual environment. (Contributed by Nick Coghlan in bpo-19552 [https://bugs.python.org/issue?@action=redirect&bpo=19552] as part of the PEP 453 [https://peps.python.org/pep-0453/] implementation.)

The encoding name is now optional in the value set for the PYTHONIOENCODING environment variable. This makes it possible to set just the error handler, without changing the default encoding. (Contributed by Serhiy Storchaka in bpo-18818 [https://bugs.python.org/issue?@action=redirect&bpo=18818].)

The bz2, lzma, and gzip module open functions now support x (exclusive creation) mode. (Contributed by Tim Heaney and Vajrasky Kok in bpo-19201 [https://bugs.python.org/issue?@action=redirect&bpo=19201], bpo-19222 [https://bugs.python.org/issue?@action=redirect&bpo=19222], and bpo-19223 [https://bugs.python.org/issue?@action=redirect&bpo=19223].)

Otimizações Relevantes

The UTF-32 decoder is now 3x to 4x faster. (Contributed by Serhiy Storchaka in bpo-14625 [https://bugs.python.org/issue?@action=redirect&bpo=14625].)

The cost of hash collisions for sets is now reduced. Each hash table probe now checks a series of consecutive, adjacent key/hash pairs before continuing to make random probes through the hash table. This exploits cache locality to make collision resolution less expensive. The collision resolution scheme can be described as a hybrid of linear probing and open addressing. The number of additional linear probes defaults to nine. This can be changed at compile-time by defining LINEAR_PROBES to be any value. Set LINEAR_PROBES=0 to turn-off linear probing entirely. (Contributed by Raymond Hettinger in bpo-18771 [https://bugs.python.org/issue?@action=redirect&bpo=18771].)

The interpreter starts about 30% faster. A couple of measures lead to the speedup. The interpreter loads fewer modules on startup, e.g. the re, collections and locale modules and their dependencies are no longer imported by default. The marshal module has been improved to load compiled Python code faster. (Contributed by Antoine Pitrou, Christian Heimes and Victor Stinner in bpo-19219 [https://bugs.python.org/issue?@action=redirect&bpo=19219], bpo-19218 [https://bugs.python.org/issue?@action=redirect&bpo=19218], bpo-19209 [https://bugs.python.org/issue?@action=redirect&bpo=19209], bpo-19205 [https://bugs.python.org/issue?@action=redirect&bpo=19205] and bpo-9548 [https://bugs.python.org/issue?@action=redirect&bpo=9548].)

bz2.BZ2File is now as fast or faster than the Python2 version for most cases. lzma.LZMAFile has also been optimized. (Contributed by Serhiy Storchaka and Nadeem Vawda in bpo-16034 [https://bugs.python.org/issue?@action=redirect&bpo=16034].)

random.getrandbits() is 20%-40% faster for small integers (the most common use case). (Contributed by Serhiy Storchaka in bpo-16674 [https://bugs.python.org/issue?@action=redirect&bpo=16674].)

By taking advantage of the new storage format for strings, pickling of strings is now significantly faster. (Contributed by Victor Stinner and Antoine Pitrou in bpo-15596 [https://bugs.python.org/issue?@action=redirect&bpo=15596].)

A performance issue in io.FileIO.readall() has been solved. This particularly affects Windows, and significantly speeds up the case of piping significant amounts of data through subprocess. (Contributed by Richard Oudkerk in bpo-15758 [https://bugs.python.org/issue?@action=redirect&bpo=15758].)

html.escape() is now 10x faster. (Contributed by Matt Bryant in bpo-18020 [https://bugs.python.org/issue?@action=redirect&bpo=18020].)

On Windows, the native VirtualAlloc is now used instead of the CRT malloc in obmalloc. Artificial benchmarks show about a 3% memory savings.

os.urandom() now uses a lazily opened persistent file descriptor so as to avoid using many file descriptors when run in parallel from multiple threads. (Contributed by Antoine Pitrou in bpo-18756 [https://bugs.python.org/issue?@action=redirect&bpo=18756].)

Descontinuados

This section covers various APIs and other features that have been deprecated in Python 3.4, and will be removed in Python 3.5 or later. In most (but not all) cases, using the deprecated APIs will produce a DeprecationWarning when the interpreter is run with deprecation warnings enabled (for example, by using -Wd).

Deprecations in the Python API

As mentioned in PEP 451: A ModuleSpec Type for the Import System, a number of importlib methods and functions are deprecated: importlib.find_loader() is replaced by importlib.util.find_spec(); importlib.machinery.PathFinder.find_module() is replaced by importlib.machinery.PathFinder.find_spec(); importlib.abc.MetaPathFinder.find_module() is replaced by importlib.abc.MetaPathFinder.find_spec(); importlib.abc.PathEntryFinder.find_loader() and find_module() are replaced by importlib.abc.PathEntryFinder.find_spec(); all of the xxxLoader ABC load_module methods (importlib.abc.Loader.load_module(), importlib.abc.InspectLoader.load_module(), importlib.abc.FileLoader.load_module(), importlib.abc.SourceLoader.load_module()) should no longer be implemented, instead loaders should implement an exec_module method (importlib.abc.Loader.exec_module(), importlib.abc.InspectLoader.exec_module() importlib.abc.SourceLoader.exec_module()) and let the import system take care of the rest; and importlib.abc.Loader.module_repr(), importlib.util.module_for_loader(), importlib.util.set_loader(), and importlib.util.set_package() are no longer needed because their functions are now handled automatically by the import system.

The imp module is pending deprecation. To keep compatibility with Python 2/3 code bases, the module’s removal is currently not scheduled.

The formatter module is pending deprecation and is slated for removal in Python 3.6.

MD5 as the default digestmod for the hmac.new() function is deprecated. Python 3.6 will require an explicit digest name or constructor as digestmod argument.

The internal Netrc class in the ftplib module has been documented as deprecated in its docstring for quite some time. It now emits a DeprecationWarning and will be removed completely in Python 3.5.

The undocumented endtime argument to subprocess.Popen.wait() should not have been exposed and is hopefully not in use; it is deprecated and will mostly likely be removed in Python 3.5.

The strict argument of HTMLParser is deprecated.

The plistlib readPlist(), writePlist(), readPlistFromBytes(), and writePlistToBytes() functions are deprecated in favor of the corresponding new functions load(), dump(), loads(), and dumps(). Data() is deprecated in favor of just using the bytes constructor.

The sysconfig key SO is deprecated, it has been replaced by EXT_SUFFIX.

The U mode accepted by various open functions is deprecated. In Python3 it does not do anything useful, and should be replaced by appropriate uses of io.TextIOWrapper (if needed) and its newline argument.

The parser argument of xml.etree.ElementTree.iterparse() has been deprecated, as has the html argument of XMLParser(). To prepare for the removal of the latter, all arguments to XMLParser should be passed by keyword.

Deprecated Features

Running IDLE with the -n flag (no subprocess) is deprecated. However, the feature will not be removed until bpo-18823 [https://bugs.python.org/issue?@action=redirect&bpo=18823] is resolved.

The site module adding a “site-python” directory to sys.path, if it exists, is deprecated (bpo-19375 [https://bugs.python.org/issue?@action=redirect&bpo=19375]).

Removidos

Operating Systems No Longer Supported

Support for the following operating systems has been removed from the source and build tools:

OS/2 (bpo-16135 [https://bugs.python.org/issue?@action=redirect&bpo=16135]).

Windows 2000 (changeset e52df05b496a).

Windows systems where COMSPEC points to command.com (bpo-14470 [https://bugs.python.org/issue?@action=redirect&bpo=14470]).

VMS (bpo-16136 [https://bugs.python.org/issue?@action=redirect&bpo=16136]).

Remoção de APIs e recursos

The following obsolete and previously deprecated APIs and features have been removed:

The unmaintained Misc/TextMate and Misc/vim directories have been removed (see the devguide [https://devguide.python.org] for suggestions on what to use instead).

The SO makefile macro is removed (it was replaced by the SHLIB_SUFFIX and EXT_SUFFIX macros) (bpo-16754 [https://bugs.python.org/issue?@action=redirect&bpo=16754]).

The PyThreadState.tick_counter field has been removed; its value has been meaningless since Python 3.2, when the “new GIL” was introduced (bpo-19199 [https://bugs.python.org/issue?@action=redirect&bpo=19199]).

PyLoader and PyPycLoader have been removed from importlib. (Contributed by Taras Lyapun in bpo-15641 [https://bugs.python.org/issue?@action=redirect&bpo=15641].)

The strict argument to HTTPConnection and HTTPSConnection has been removed. HTTP 0.9-style “Simple Responses” are no longer supported.

The deprecated urllib.request.Request getter and setter methods add_data, has_data, get_data, get_type, get_host, get_selector, set_proxy, get_origin_req_host, and is_unverifiable have been removed (use direct attribute access instead).

Support for loading the deprecated TYPE_INT64 has been removed from marshal. (Contributed by Dan Riti in bpo-15480 [https://bugs.python.org/issue?@action=redirect&bpo=15480].)

inspect.Signature: positional-only parameters are now required to have a valid name.

object.__format__() no longer accepts non-empty format strings, it now raises a TypeError instead. Using a non-empty string has been deprecated since Python 3.2. This change has been made to prevent a situation where previously working (but incorrect) code would start failing if an object gained a __format__ method, which means that your code may now raise a TypeError if you are using an 's' format code with objects that do not have a __format__ method that handles it. See bpo-7994 [https://bugs.python.org/issue?@action=redirect&bpo=7994] for background.

difflib.SequenceMatcher.isbjunk() and difflib.SequenceMatcher.isbpopular() were deprecated in 3.2, and have now been removed: use x in sm.bjunk and x in sm.bpopular, where sm is a SequenceMatcher object (bpo-13248 [https://bugs.python.org/issue?@action=redirect&bpo=13248]).

Code Cleanups

The unused and undocumented internal Scanner class has been removed from the pydoc module.

The private and effectively unused _gestalt module has been removed, along with the private platform functions _mac_ver_lookup, _mac_ver_gstalt, and _bcd2str, which would only have ever been called on badly broken OSX systems (see bpo-18393 [https://bugs.python.org/issue?@action=redirect&bpo=18393]).

The hardcoded copies of certain stat constants that were included in the tarfile module namespace have been removed.

Porting to Python 3.4

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Changes in ‘python’ Command Behavior

In a posix shell, setting the PATH environment variable to an empty value is equivalent to not setting it at all. However, setting PYTHONPATH to an empty value was not equivalent to not setting it at all: setting PYTHONPATH to an empty value was equivalent to setting it to ., which leads to confusion when reasoning by analogy to how PATH works. The behavior now conforms to the posix convention for PATH.

The [X refs, Y blocks] output of a debug (--with-pydebug) build of the CPython interpreter is now off by default. It can be re-enabled using the -X showrefcount option. (Contributed by Ezio Melotti in bpo-17323 [https://bugs.python.org/issue?@action=redirect&bpo=17323].)

The python command and most stdlib scripts (as well as argparse) now output --version information to stdout instead of stderr (for issue list see Other Improvements above).

Alterações na API Python

The ABCs defined in importlib.abc now either raise the appropriate exception or return a default value instead of raising NotImplementedError blindly. This will only affect code calling super() and falling through all the way to the ABCs. For compatibility, catch both NotImplementedError or the appropriate exception as needed.

The module type now initializes the __package__ and __loader__ attributes to None by default. To determine if these attributes were set in a backwards-compatible fashion, use e.g. getattr(module, '__loader__', None) is not None. (bpo-17115 [https://bugs.python.org/issue?@action=redirect&bpo=17115].)

importlib.util.module_for_loader() now sets __loader__ and __package__ unconditionally to properly support reloading. If this is not desired then you will need to set these attributes manually. You can use importlib.util.module_to_load() for module management.

Import now resets relevant attributes (e.g. __name__, __loader__, __package__, __file__, __cached__) unconditionally when reloading. Note that this restores a pre-3.3 behavior in that it means a module is re-found when re-loaded (bpo-19413 [https://bugs.python.org/issue?@action=redirect&bpo=19413]).

Frozen packages no longer set __path__ to a list containing the package name, they now set it to an empty list. The previous behavior could cause the import system to do the wrong thing on submodule imports if there was also a directory with the same name as the frozen package. The correct way to determine if a module is a package or not is to use hasattr(module, '__path__') (bpo-18065 [https://bugs.python.org/issue?@action=redirect&bpo=18065]).

Frozen modules no longer define a __file__ attribute. It’s semantically incorrect for frozen modules to set the attribute as they are not loaded from any explicit location. If you must know that a module comes from frozen code then you can see if the module’s __spec__.location is set to 'frozen', check if the loader is a subclass of importlib.machinery.FrozenImporter, or if Python 2 compatibility is necessary you can use imp.is_frozen().

py_compile.compile() now raises FileExistsError if the file path it would write to is a symlink or a non-regular file. This is to act as a warning that import will overwrite those files with a regular file regardless of what type of file path they were originally.

importlib.abc.SourceLoader.get_source() no longer raises ImportError when the source code being loaded triggers a SyntaxError or UnicodeDecodeError. As ImportError is meant to be raised only when source code cannot be found but it should, it was felt to be over-reaching/overloading of that meaning when the source code is found but improperly structured. If you were catching ImportError before and wish to continue to ignore syntax or decoding issues, catch all three exceptions now.

functools.update_wrapper() e functools.wraps() agora definem corretamente o atributo __wrapped__ para a função que está sendo empacotada, mesmo que essa função também tenha seu atributo __wrapped__ definido. Isso significa que os atributos __wrapped__ agora vinculam corretamente uma pilha de funções decoradas em vez de cada atributo __wrapped__ na cadeia referente à função mais interna. Bibliotecas de introspecção que presumiam que o comportamento anterior foi intencional podem usar inspect.unwrap() para acessar a primeira função na cadeia que não possui nenhum atributo __wrapped__.

inspect.getfullargspec() foi reimplementada em cima de inspect.signature() e, portanto, lida com uma variedade muito maior de objetos que podem ser chamados do que no passado. Espera-se que chamáveis adicionais de módulos embutidos e de extensão ganhem metadados de assinatura ao longo da série Python 3.4. O código que presume que inspect.getfullargspec() falhará em chamáveis não-Python pode precisar ser ajustado de acordo.

importlib.machinery.PathFinder now passes on the current working directory to objects in sys.path_hooks for the empty string. This results in sys.path_importer_cache never containing '', thus iterating through sys.path_importer_cache based on sys.path will not find all keys. A module’s __file__ when imported in the current working directory will also now have an absolute path, including when using -m with the interpreter (except for __main__.__file__ when a script has been executed directly using a relative path) (Contributed by Brett Cannon in bpo-18416 [https://bugs.python.org/issue?@action=redirect&bpo=18416]). is specified on the command-line) (bpo-18416 [https://bugs.python.org/issue?@action=redirect&bpo=18416]).

The removal of the strict argument to HTTPConnection and HTTPSConnection changes the meaning of the remaining arguments if you are specifying them positionally rather than by keyword. If you’ve been paying attention to deprecation warnings your code should already be specifying any additional arguments via keywords.

Strings between from __future__ import ... statements now always raise a SyntaxError. Previously if there was no leading docstring, an interstitial string would sometimes be ignored. This brings CPython into compliance with the language spec; Jython and PyPy already were. (bpo-17434 [https://bugs.python.org/issue?@action=redirect&bpo=17434]).

ssl.SSLSocket.getpeercert() and ssl.SSLSocket.do_handshake() now raise an OSError with ENOTCONN when the SSLSocket is not connected, instead of the previous behavior of raising an AttributeError. In addition, getpeercert() will raise a ValueError if the handshake has not yet been done.

base64.b32decode() now raises a binascii.Error when the input string contains non-b32-alphabet characters, instead of a TypeError. This particular TypeError was missed when the other TypeErrors were converted. (Contributed by Serhiy Storchaka in bpo-18011 [https://bugs.python.org/issue?@action=redirect&bpo=18011].) Note: this change was also inadvertently applied in Python 3.3.3.

The file attribute is now automatically closed when the creating cgi.FieldStorage instance is garbage collected. If you were pulling the file object out separately from the cgi.FieldStorage instance and not keeping the instance alive, then you should either store the entire cgi.FieldStorage instance or read the contents of the file before the cgi.FieldStorage instance is garbage collected.

Calling read or write on a closed SSL socket now raises an informative ValueError rather than the previous more mysterious AttributeError (bpo-9177 [https://bugs.python.org/issue?@action=redirect&bpo=9177]).

slice.indices() no longer produces an OverflowError for huge values. As a consequence of this fix, slice.indices() now raises a ValueError if given a negative length; previously it returned nonsense values (bpo-14794 [https://bugs.python.org/issue?@action=redirect&bpo=14794]).

The complex constructor, unlike the cmath functions, was incorrectly accepting float values if an object’s __complex__ special method returned one. This now raises a TypeError. (bpo-16290 [https://bugs.python.org/issue?@action=redirect&bpo=16290].)

The int constructor in 3.2 and 3.3 erroneously accepts float values for the base parameter. It is unlikely anyone was doing this, but if so, it will now raise a TypeError (bpo-16772 [https://bugs.python.org/issue?@action=redirect&bpo=16772]).

Defaults for keyword-only arguments are now evaluated after defaults for regular keyword arguments, instead of before. Hopefully no one wrote any code that depends on the previous buggy behavior (bpo-16967 [https://bugs.python.org/issue?@action=redirect&bpo=16967]).

Stale thread states are now cleared after fork(). This may cause some system resources to be released that previously were incorrectly kept perpetually alive (for example, database connections kept in thread-local storage). (bpo-17094 [https://bugs.python.org/issue?@action=redirect&bpo=17094].)

Parameter names in __annotations__ dicts are now mangled properly, similarly to __kwdefaults__. (Contributed by Yury Selivanov in bpo-20625 [https://bugs.python.org/issue?@action=redirect&bpo=20625].)

hashlib.hash.name now always returns the identifier in lower case. Previously some builtin hashes had uppercase names, but now that it is a formal public interface the naming has been made consistent (bpo-18532 [https://bugs.python.org/issue?@action=redirect&bpo=18532]).

Because unittest.TestSuite now drops references to tests after they are run, test harnesses that reuse a TestSuite to re-run a set of tests may fail. Test suites should not be re-used in this fashion since it means state is retained between test runs, breaking the test isolation that unittest is designed to provide. However, if the lack of isolation is considered acceptable, the old behavior can be restored by creating a TestSuite subclass that defines a _removeTestAtIndex method that does nothing (see TestSuite.__iter__()) (bpo-11798 [https://bugs.python.org/issue?@action=redirect&bpo=11798]).

unittest now uses argparse for command line parsing. There are certain invalid command forms that used to work that are no longer allowed; in theory this should not cause backward compatibility issues since the disallowed command forms didn’t make any sense and are unlikely to be in use.

The re.split(), re.findall(), and re.sub() functions, and the group() and groups() methods of match objects now always return a bytes object when the string to be matched is a bytes-like object. Previously the return type matched the input type, so if your code was depending on the return value being, say, a bytearray, you will need to change your code.

audioop functions now raise an error immediately if passed string input, instead of failing randomly later on (bpo-16685 [https://bugs.python.org/issue?@action=redirect&bpo=16685]).

The new convert_charrefs argument to HTMLParser currently defaults to False for backward compatibility, but will eventually be changed to default to True. It is recommended that you add this keyword, with the appropriate value, to any HTMLParser calls in your code (bpo-13633 [https://bugs.python.org/issue?@action=redirect&bpo=13633]).

Since the digestmod argument to the hmac.new() function will in the future have no default, all calls to hmac.new() should be changed to explicitly specify a digestmod (bpo-17276 [https://bugs.python.org/issue?@action=redirect&bpo=17276]).

Calling sysconfig.get_config_var() with the SO key, or looking SO up in the results of a call to sysconfig.get_config_vars() is deprecated. This key should be replaced by EXT_SUFFIX or SHLIB_SUFFIX, depending on the context (bpo-19555 [https://bugs.python.org/issue?@action=redirect&bpo=19555]).

Any calls to open functions that specify U should be modified. U is ineffective in Python3 and will eventually raise an error if used. Depending on the function, the equivalent of its old Python2 behavior can be achieved using either a newline argument, or if necessary by wrapping the stream in TextIOWrapper to use its newline argument (bpo-15204 [https://bugs.python.org/issue?@action=redirect&bpo=15204]).

If you use pyvenv in a script and desire that pip not be installed, you must add --without-pip to your command invocation.

The default behavior of json.dump() and json.dumps() when an indent is specified has changed: it no longer produces trailing spaces after the item separating commas at the ends of lines. This will matter only if you have tests that are doing white-space-sensitive comparisons of such output (bpo-16333 [https://bugs.python.org/issue?@action=redirect&bpo=16333]).

doctest now looks for doctests in extension module __doc__ strings, so if your doctest test discovery includes extension modules that have things that look like doctests in them you may see test failures you’ve never seen before when running your tests (bpo-3158 [https://bugs.python.org/issue?@action=redirect&bpo=3158]).

The collections.abc module has been slightly refactored as part of the Python startup improvements. As a consequence of this, it is no longer the case that importing collections automatically imports collections.abc. If your program depended on the (undocumented) implicit import, you will need to add an explicit import collections.abc (bpo-20784 [https://bugs.python.org/issue?@action=redirect&bpo=20784]).

Alterações na API C

PyEval_EvalFrameEx(), PyObject_Repr(), and PyObject_Str(), along with some other internal C APIs, now include a debugging assertion that ensures they are not used in situations where they may silently discard a currently active exception. In cases where discarding the active exception is expected and desired (for example, because it has already been saved locally with PyErr_Fetch() or is being deliberately replaced with a different exception), an explicit PyErr_Clear() call will be needed to avoid triggering the assertion when invoking these operations (directly or indirectly) and running against a version of Python that is compiled with assertions enabled.

PyErr_SetImportError() now sets TypeError when its msg argument is not set. Previously only NULL was returned with no exception set.

The result of the PyOS_ReadlineFunctionPointer callback must now be a string allocated by PyMem_RawMalloc() or PyMem_RawRealloc(), or NULL if an error occurred, instead of a string allocated by PyMem_Malloc() or PyMem_Realloc() (bpo-16742 [https://bugs.python.org/issue?@action=redirect&bpo=16742])

PyThread_set_key_value() now always set the value. In Python 3.3, the function did nothing if the key already exists (if the current value is a non-NULL pointer).

The f_tstate (thread state) field of the PyFrameObject structure has been removed to fix a bug: see bpo-14432 [https://bugs.python.org/issue?@action=redirect&bpo=14432] for the rationale.

Alterado em 3.4.3

PEP 476: Habilitando verificação de certificado por padrão para clientes http stdlib

http.client and modules which use it, such as urllib.request and xmlrpc.client, will now verify that the server presents a certificate which is signed by a CA in the platform trust store and whose hostname matches the hostname being requested by default, significantly improving security for many applications.

Para aplicações que exigem o antigo comportamento anterior, elas podem passar um contexto alternativo:

import urllib.request
import ssl

# This disables all verification
context = ssl._create_unverified_context()

# This allows using a specific certificate for the host, which doesn't need
# to be in the trust store
context = ssl.create_default_context(cafile="/path/to/file.crt")

urllib.request.urlopen("https://invalid-cert", context=context)

O que há de novo no Python 3.3

This article explains the new features in Python 3.3, compared to 3.2. Python 3.3 was released on September 29, 2012. For full details, see the changelog [https://docs.python.org/3.3/whatsnew/changelog.html].

Ver também

PEP 398 [https://peps.python.org/pep-0398/] - Python 3.3 Release Schedule

Resumo – Destaques da versão

Novos recursos de sintaxe:

New yield from expression for generator delegation.

A sintaxe u'unicode' é aceita novamente para objetos tipo str.

Novos módulos de biblioteca:

faulthandler (helps debugging low-level crashes)

ipaddress (high-level objects representing IP addresses and masks)

lzma (compressão de dados usando o algoritmo XZ / LZMA)

unittest.mock (replace parts of your system under test with mock objects)

venv (Python virtual environments, as in the popular virtualenv package)

Novos recursos embutidos:

Reworked I/O exception hierarchy.

Melhorias na implementação:

Rewritten import machinery based on importlib.

More compact unicode strings.

More compact attribute dictionaries.

Significantly Improved Library Modules:

C Accelerator for the decimal module.

Better unicode handling in the email module (provisional).

Melhorias de Segurança:

Hash randomization is switched on by default.

Please read on for a comprehensive list of user-facing changes.

PEP 405: Ambientes Virtuais

Virtual environments help create separate Python setups while sharing a system-wide base install, for ease of maintenance. Virtual environments have their own set of private site packages (i.e. locally installed libraries), and are optionally segregated from the system-wide site packages. Their concept and implementation are inspired by the popular virtualenv third-party package, but benefit from tighter integration with the interpreter core.

This PEP adds the venv module for programmatic access, and the pyvenv script for command-line access and administration. The Python interpreter checks for a pyvenv.cfg, file whose existence signals the base of a virtual environment’s directory tree.

Ver também

PEP 405 [https://peps.python.org/pep-0405/] - Ambientes Virtuais Python

PEP written by Carl Meyer; implementation by Carl Meyer and Vinay Sajip

PEP 420: Implicit Namespace Packages

Native support for package directories that don’t require __init__.py marker files and can automatically span multiple path segments (inspired by various third party approaches to namespace packages, as described in PEP 420 [https://peps.python.org/pep-0420/])

Ver também

PEP 420 [https://peps.python.org/pep-0420/] - Implicit Namespace Packages

PEP written by Eric V. Smith; implementation by Eric V. Smith and Barry Warsaw

PEP 3118: New memoryview implementation and buffer protocol documentation

A implementação de PEP 3118 [https://peps.python.org/pep-3118/] foi significativamente melhorada.

The new memoryview implementation comprehensively fixes all ownership and lifetime issues of dynamically allocated fields in the Py_buffer struct that led to multiple crash reports. Additionally, several functions that crashed or returned incorrect results for non-contiguous or multi-dimensional input have been fixed.

The memoryview object now has a PEP-3118 compliant getbufferproc() that checks the consumer’s request type. Many new features have been added, most of them work in full generality for non-contiguous arrays and arrays with suboffsets.

The documentation has been updated, clearly spelling out responsibilities for both exporters and consumers. Buffer request flags are grouped into basic and compound flags. The memory layout of non-contiguous and multi-dimensional NumPy-style arrays is explained.

Recursos

All native single character format specifiers in struct module syntax (optionally prefixed with ‘@’) are now supported.

With some restrictions, the cast() method allows changing of format and shape of C-contiguous arrays.

Multi-dimensional list representations are supported for any array type.

Multi-dimensional comparisons are supported for any array type.

One-dimensional memoryviews of hashable (read-only) types with formats B, b or c are now hashable. (Contributed by Antoine Pitrou in bpo-13411 [https://bugs.python.org/issue?@action=redirect&bpo=13411].)

Arbitrary slicing of any 1-D arrays type is supported. For example, it is now possible to reverse a memoryview in O(1) by using a negative step.

Mudanças na API

The maximum number of dimensions is officially limited to 64.

The representation of empty shape, strides and suboffsets is now an empty tuple instead of None.

Accessing a memoryview element with format ‘B’ (unsigned bytes) now returns an integer (in accordance with the struct module syntax). For returning a bytes object the view must be cast to ‘c’ first.

memoryview comparisons now use the logical structure of the operands and compare all array elements by value. All format strings in struct module syntax are supported. Views with unrecognised format strings are still permitted, but will always compare as unequal, regardless of view contents.

For further changes see Build and C API Changes and Porting C code.

(Contributed by Stefan Krah in bpo-10181 [https://bugs.python.org/issue?@action=redirect&bpo=10181].)

Ver também

PEP 3118 [https://peps.python.org/pep-3118/] - Revising the Buffer Protocol

PEP 393: Flexible String Representation

The Unicode string type is changed to support multiple internal representations, depending on the character with the largest Unicode ordinal (1, 2, or 4 bytes) in the represented string. This allows a space-efficient representation in common cases, but gives access to full UCS-4 on all systems. For compatibility with existing APIs, several representations may exist in parallel; over time, this compatibility should be phased out.

On the Python side, there should be no downside to this change.

On the C API side, PEP 393 [https://peps.python.org/pep-0393/] is fully backward compatible. The legacy API should remain available at least five years. Applications using the legacy API will not fully benefit of the memory reduction, or - worse - may use a bit more memory, because Python may have to maintain two versions of each string (in the legacy format and in the new efficient storage).

Funcionalidade

Changes introduced by PEP 393 [https://peps.python.org/pep-0393/] are the following:

Python now always supports the full range of Unicode code points, including non-BMP ones (i.e. from U+0000 to U+10FFFF). The distinction between narrow and wide builds no longer exists and Python now behaves like a wide build, even under Windows.

With the death of narrow builds, the problems specific to narrow builds have also been fixed, for example:

len() now always returns 1 for non-BMP characters, so len('\U0010FFFF') == 1;

surrogate pairs are not recombined in string literals, so '\uDBFF\uDFFF' != '\U0010FFFF';

indexing or slicing non-BMP characters returns the expected value, so '\U0010FFFF'[0] now returns '\U0010FFFF' and not '\uDBFF';

all other functions in the standard library now correctly handle non-BMP code points.

The value of sys.maxunicode is now always 1114111 (0x10FFFF in hexadecimal). The PyUnicode_GetMax() function still returns either 0xFFFF or 0x10FFFF for backward compatibility, and it should not be used with the new Unicode API (see bpo-13054 [https://bugs.python.org/issue?@action=redirect&bpo=13054]).

The ./configure flag --with-wide-unicode has been removed.

Desempenho e utilização de recursos

The storage of Unicode strings now depends on the highest code point in the string:

pure ASCII and Latin1 strings (U+0000-U+00FF) use 1 byte per code point;

BMP strings (U+0000-U+FFFF) use 2 bytes per code point;

non-BMP strings (U+10000-U+10FFFF) use 4 bytes per code point.

The net effect is that for most applications, memory usage of string storage should decrease significantly - especially compared to former wide unicode builds - as, in many cases, strings will be pure ASCII even in international contexts (because many strings store non-human language data, such as XML fragments, HTTP headers, JSON-encoded data, etc.). We also hope that it will, for the same reasons, increase CPU cache efficiency on non-trivial applications. The memory usage of Python 3.3 is two to three times smaller than Python 3.2, and a little bit better than Python 2.7, on a Django benchmark (see the PEP for details).

Ver também

PEP 393 [https://peps.python.org/pep-0393/] - Flexible String Representation

PEP written by Martin von Löwis; implementation by Torsten Becker and Martin von Löwis.

PEP 397: Python Launcher for Windows

The Python 3.3 Windows installer now includes a py launcher application that can be used to launch Python applications in a version independent fashion.

This launcher is invoked implicitly when double-clicking *.py files. If only a single Python version is installed on the system, that version will be used to run the file. If multiple versions are installed, the most recent version is used by default, but this can be overridden by including a Unix-style “shebang line” in the Python script.

The launcher can also be used explicitly from the command line as the py application. Running py follows the same version selection rules as implicitly launching scripts, but a more specific version can be selected by passing appropriate arguments (such as -3 to request Python 3 when Python 2 is also installed, or -2.6 to specifically request an earlier Python version when a more recent version is installed).

In addition to the launcher, the Windows installer now includes an option to add the newly installed Python to the system PATH. (Contributed by Brian Curtin in bpo-3561 [https://bugs.python.org/issue?@action=redirect&bpo=3561].)

Ver também

PEP 397 [https://peps.python.org/pep-0397/] - Python Launcher for Windows

PEP written by Mark Hammond and Martin v. Löwis; implementation by Vinay Sajip.

Launcher documentation: Inicializador Python para Windows

Installer PATH modification: Encontrando o executável do Python

PEP 3151: Reworking the OS and IO exception hierarchy

The hierarchy of exceptions raised by operating system errors is now both simplified and finer-grained.

You don’t have to worry anymore about choosing the appropriate exception type between OSError, IOError, EnvironmentError, WindowsError, mmap.error, socket.error or select.error. All these exception types are now only one: OSError. The other names are kept as aliases for compatibility reasons.

Also, it is now easier to catch a specific error condition. Instead of inspecting the errno attribute (or args[0]) for a particular constant from the errno module, you can catch the adequate OSError subclass. The available subclasses are the following:

BlockingIOError

ChildProcessError

ConnectionError

FileExistsError

FileNotFoundError

InterruptedError

IsADirectoryError

NotADirectoryError

PermissionError

ProcessLookupError

TimeoutError

And the ConnectionError itself has finer-grained subclasses:

BrokenPipeError

ConnectionAbortedError

ConnectionRefusedError

ConnectionResetError

Thanks to the new exceptions, common usages of the errno can now be avoided. For example, the following code written for Python 3.2:

from errno import ENOENT, EACCES, EPERM

try:
    with open("document.txt") as f:
        content = f.read()
except IOError as err:
    if err.errno == ENOENT:
        print("document.txt file is missing")
    elif err.errno in (EACCES, EPERM):
        print("You are not allowed to read document.txt")
    else:
        raise

can now be written without the errno import and without manual inspection of exception attributes:

try:
    with open("document.txt") as f:
        content = f.read()
except FileNotFoundError:
    print("document.txt file is missing")
except PermissionError:
    print("You are not allowed to read document.txt")

Ver também

PEP 3151 [https://peps.python.org/pep-3151/] - Reworking the OS and IO Exception Hierarchy

PEP escrita e implmentada por Antoine Pitrou

PEP 380: Syntax for Delegating to a Subgenerator

PEP 380 adds the yield from expression, allowing a generator to delegate part of its operations to another generator. This allows a section of code containing yield to be factored out and placed in another generator. Additionally, the subgenerator is allowed to return with a value, and the value is made available to the delegating generator.

While designed primarily for use in delegating to a subgenerator, the yield from expression actually allows delegation to arbitrary subiterators.

For simple iterators, yield from iterable is essentially just a shortened form of for item in iterable: yield item:

>>> def g(x):
...     yield from range(x, 0, -1)
...     yield from range(x)
...
>>> list(g(5))
[5, 4, 3, 2, 1, 0, 1, 2, 3, 4]

However, unlike an ordinary loop, yield from allows subgenerators to receive sent and thrown values directly from the calling scope, and return a final value to the outer generator:

>>> def accumulate():
...     tally = 0
...     while 1:
...         next = yield
...         if next is None:
...             return tally
...         tally += next
...
>>> def gather_tallies(tallies):
...     while 1:
...         tally = yield from accumulate()
...         tallies.append(tally)
...
>>> tallies = []
>>> acc = gather_tallies(tallies)
>>> next(acc)  # Ensure the accumulator is ready to accept values
>>> for i in range(4):
...     acc.send(i)
...
>>> acc.send(None)  # Finish the first tally
>>> for i in range(5):
...     acc.send(i)
...
>>> acc.send(None)  # Finish the second tally
>>> tallies
[6, 10]

The main principle driving this change is to allow even generators that are designed to be used with the send and throw methods to be split into multiple subgenerators as easily as a single large function can be split into multiple subfunctions.

Ver também

PEP 380 [https://peps.python.org/pep-0380/] - Sintaxe para Delegar a um Subgerador

PEP written by Greg Ewing; implementation by Greg Ewing, integrated into 3.3 by Renaud Blanch, Ryan Kelly and Nick Coghlan; documentation by Zbigniew Jędrzejewski-Szmek and Nick Coghlan

PEP 409: Suppressing exception context

PEP 409 introduces new syntax that allows the display of the chained exception context to be disabled. This allows cleaner error messages in applications that convert between exception types:

>>> class D:
...     def __init__(self, extra):
...         self._extra_attributes = extra
...     def __getattr__(self, attr):
...         try:
...             return self._extra_attributes[attr]
...         except KeyError:
...             raise AttributeError(attr) from None
...
>>> D({}).x
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 8, in __getattr__
AttributeError: x

Without the from None suffix to suppress the cause, the original exception would be displayed by default:

>>> class C:
...     def __init__(self, extra):
...         self._extra_attributes = extra
...     def __getattr__(self, attr):
...         try:
...             return self._extra_attributes[attr]
...         except KeyError:
...             raise AttributeError(attr)
...
>>> C({}).x
Traceback (most recent call last):
  File "<stdin>", line 6, in __getattr__
KeyError: 'x'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 8, in __getattr__
AttributeError: x

No debugging capability is lost, as the original exception context remains available if needed (for example, if an intervening library has incorrectly suppressed valuable underlying details):

>>> try:
...     D({}).x
... except AttributeError as exc:
...     print(repr(exc.__context__))
...
KeyError('x',)

Ver também

PEP 409 [https://peps.python.org/pep-0409/] - Suppressing exception context

PEP written by Ethan Furman; implemented by Ethan Furman and Nick Coghlan.

PEP 414: Explicit Unicode literals

To ease the transition from Python 2 for Unicode aware Python applications that make heavy use of Unicode literals, Python 3.3 once again supports the “u” prefix for string literals. This prefix has no semantic significance in Python 3, it is provided solely to reduce the number of purely mechanical changes in migrating to Python 3, making it easier for developers to focus on the more significant semantic changes (such as the stricter default separation of binary and text data).

Ver também

PEP 414 [https://peps.python.org/pep-0414/] - Explicit Unicode literals

PEP written by Armin Ronacher.

PEP 3155: Qualified name for classes and functions

Functions and class objects have a new __qualname__ attribute representing the “path” from the module top-level to their definition. For global functions and classes, this is the same as __name__. For other functions and classes, it provides better information about where they were actually defined, and how they might be accessible from the global scope.

Example with (non-bound) methods:

>>> class C:
...     def meth(self):
...         pass
...
>>> C.meth.__name__
'meth'
>>> C.meth.__qualname__
'C.meth'

Example with nested classes:

>>> class C:
...     class D:
...         def meth(self):
...             pass
...
>>> C.D.__name__
'D'
>>> C.D.__qualname__
'C.D'
>>> C.D.meth.__name__
'meth'
>>> C.D.meth.__qualname__
'C.D.meth'

Example with nested functions:

>>> def outer():
...     def inner():
...         pass
...     return inner
...
>>> outer().__name__
'inner'
>>> outer().__qualname__
'outer.<locals>.inner'

The string representation of those objects is also changed to include the new, more precise information:

>>> str(C.D)
"<class '__main__.C.D'>"
>>> str(C.D.meth)
'<function C.D.meth at 0x7f46b9fe31e0>'

Ver também

PEP 3155 [https://peps.python.org/pep-3155/] - Qualified name for classes and functions

PEP escrita e implementada por Antoine Pitrou.

PEP 412: Key-Sharing Dictionary

Dictionaries used for the storage of objects’ attributes are now able to share part of their internal storage between each other (namely, the part which stores the keys and their respective hashes). This reduces the memory consumption of programs creating many instances of non-builtin types.

Ver também

PEP 412 [https://peps.python.org/pep-0412/] - Key-Sharing Dictionary

PEP written and implemented by Mark Shannon.

PEP 362: Function Signature Object

A new function inspect.signature() makes introspection of python callables easy and straightforward. A broad range of callables is supported: python functions, decorated or not, classes, and functools.partial() objects. New classes inspect.Signature, inspect.Parameter and inspect.BoundArguments hold information about the call signatures, such as, annotations, default values, parameters kinds, and bound arguments, which considerably simplifies writing decorators and any code that validates or amends calling signatures or arguments.

Ver também

PEP 362 [https://peps.python.org/pep-0362/]: - Function Signature Object

PEP written by Brett Cannon, Yury Selivanov, Larry Hastings, Jiwon Seo; implemented by Yury Selivanov.

PEP 421: Adding sys.implementation

A new attribute on the sys module exposes details specific to the implementation of the currently running interpreter. The initial set of attributes on sys.implementation are name, version, hexversion, and cache_tag.

The intention of sys.implementation is to consolidate into one namespace the implementation-specific data used by the standard library. This allows different Python implementations to share a single standard library code base much more easily. In its initial state, sys.implementation holds only a small portion of the implementation-specific data. Over time that ratio will shift in order to make the standard library more portable.

One example of improved standard library portability is cache_tag. As of Python 3.3, sys.implementation.cache_tag is used by importlib to support PEP 3147 [https://peps.python.org/pep-3147/] compliance. Any Python implementation that uses importlib for its built-in import system may use cache_tag to control the caching behavior for modules.

SimpleNamespace

The implementation of sys.implementation also introduces a new type to Python: types.SimpleNamespace. In contrast to a mapping-based namespace, like dict, SimpleNamespace is attribute-based, like object. However, unlike object, SimpleNamespace instances are writable. This means that you can add, remove, and modify the namespace through normal attribute access.

Ver também

PEP 421 [https://peps.python.org/pep-0421/] - Adding sys.implementation

PEP written and implemented by Eric Snow.

Using importlib as the Implementation of Import

bpo-2377 [https://bugs.python.org/issue?@action=redirect&bpo=2377] - Replace __import__ w/ importlib.__import__ bpo-13959 [https://bugs.python.org/issue?@action=redirect&bpo=13959] - Re-implement parts of imp in pure Python bpo-14605 [https://bugs.python.org/issue?@action=redirect&bpo=14605] - Make import machinery explicit bpo-14646 [https://bugs.python.org/issue?@action=redirect&bpo=14646] - Require loaders set __loader__ and __package__

The __import__() function is now powered by importlib.__import__(). This work leads to the completion of “phase 2” of PEP 302 [https://peps.python.org/pep-0302/]. There are multiple benefits to this change. First, it has allowed for more of the machinery powering import to be exposed instead of being implicit and hidden within the C code. It also provides a single implementation for all Python VMs supporting Python 3.3 to use, helping to end any VM-specific deviations in import semantics. And finally it eases the maintenance of import, allowing for future growth to occur.

For the common user, there should be no visible change in semantics. For those whose code currently manipulates import or calls import programmatically, the code changes that might possibly be required are covered in the Porting Python code section of this document.

New APIs

One of the large benefits of this work is the exposure of what goes into making the import statement work. That means the various importers that were once implicit are now fully exposed as part of the importlib package.

The abstract base classes defined in importlib.abc have been expanded to properly delineate between meta path finders and path entry finders by introducing importlib.abc.MetaPathFinder and importlib.abc.PathEntryFinder, respectively. The old ABC of importlib.abc.Finder is now only provided for backwards-compatibility and does not enforce any method requirements.

In terms of finders, importlib.machinery.FileFinder exposes the mechanism used to search for source and bytecode files of a module. Previously this class was an implicit member of sys.path_hooks.

For loaders, the new abstract base class importlib.abc.FileLoader helps write a loader that uses the file system as the storage mechanism for a module’s code. The loader for source files (importlib.machinery.SourceFileLoader), sourceless bytecode files (importlib.machinery.SourcelessFileLoader), and extension modules (importlib.machinery.ExtensionFileLoader) are now available for direct use.

ImportError now has name and path attributes which are set when there is relevant data to provide. The message for failed imports will also provide the full name of the module now instead of just the tail end of the module’s name.

The importlib.invalidate_caches() function will now call the method with the same name on all finders cached in sys.path_importer_cache to help clean up any stored state as necessary.

Visible Changes

For potential required changes to code, see the Porting Python code section.

Beyond the expanse of what importlib now exposes, there are other visible changes to import. The biggest is that sys.meta_path and sys.path_hooks now store all of the meta path finders and path entry hooks used by import. Previously the finders were implicit and hidden within the C code of import instead of being directly exposed. This means that one can now easily remove or change the order of the various finders to fit one’s needs.

Another change is that all modules have a __loader__ attribute, storing the loader used to create the module. PEP 302 [https://peps.python.org/pep-0302/] has been updated to make this attribute mandatory for loaders to implement, so in the future once 3rd-party loaders have been updated people will be able to rely on the existence of the attribute. Until such time, though, import is setting the module post-load.

Loaders are also now expected to set the __package__ attribute from PEP 366 [https://peps.python.org/pep-0366/]. Once again, import itself is already setting this on all loaders from importlib and import itself is setting the attribute post-load.

None is now inserted into sys.path_importer_cache when no finder can be found on sys.path_hooks. Since imp.NullImporter is not directly exposed on sys.path_hooks it could no longer be relied upon to always be available to use as a value representing no finder found.

All other changes relate to semantic changes which should be taken into consideration when updating code for Python 3.3, and thus should be read about in the Porting Python code section of this document.

(Implementation by Brett Cannon)

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

Added support for Unicode name aliases and named sequences. Both unicodedata.lookup() and '\N{...}' now resolve name aliases, and unicodedata.lookup() resolves named sequences too.

(Contributed by Ezio Melotti in bpo-12753 [https://bugs.python.org/issue?@action=redirect&bpo=12753].)

Unicode database updated to UCD version 6.1.0

Equality comparisons on range() objects now return a result reflecting the equality of the underlying sequences generated by those range objects. (bpo-13201 [https://bugs.python.org/issue?@action=redirect&bpo=13201])

The count(), find(), rfind(), index() and rindex() methods of bytes and bytearray objects now accept an integer between 0 and 255 as their first argument.

(Contributed by Petri Lehtinen in bpo-12170 [https://bugs.python.org/issue?@action=redirect&bpo=12170].)

The rjust(), ljust(), and center() methods of bytes and bytearray now accept a bytearray for the fill argument. (Contributed by Petri Lehtinen in bpo-12380 [https://bugs.python.org/issue?@action=redirect&bpo=12380].)

New methods have been added to list and bytearray: copy() and clear() (bpo-10516 [https://bugs.python.org/issue?@action=redirect&bpo=10516]). Consequently, MutableSequence now also defines a clear() method (bpo-11388 [https://bugs.python.org/issue?@action=redirect&bpo=11388]).

Raw bytes literals can now be written rb"..." as well as br"...".

(Contributed by Antoine Pitrou in bpo-13748 [https://bugs.python.org/issue?@action=redirect&bpo=13748].)

dict.setdefault() now does only one lookup for the given key, making it atomic when used with built-in types.

(Contributed by Filip Gruszczyński in bpo-13521 [https://bugs.python.org/issue?@action=redirect&bpo=13521].)

The error messages produced when a function call does not match the function signature have been significantly improved.

(Contributed by Benjamin Peterson.)

A Finer-Grained Import Lock

Previous versions of CPython have always relied on a global import lock. This led to unexpected annoyances, such as deadlocks when importing a module would trigger code execution in a different thread as a side-effect. Clumsy workarounds were sometimes employed, such as the PyImport_ImportModuleNoBlock() C API function.

In Python 3.3, importing a module takes a per-module lock. This correctly serializes importation of a given module from multiple threads (preventing the exposure of incompletely initialized modules), while eliminating the aforementioned annoyances.

(Contributed by Antoine Pitrou in bpo-9260 [https://bugs.python.org/issue?@action=redirect&bpo=9260].)

Builtin functions and types

open() gets a new opener parameter: the underlying file descriptor for the file object is then obtained by calling opener with (file, flags). It can be used to use custom flags like os.O_CLOEXEC for example. The 'x' mode was added: open for exclusive creation, failing if the file already exists.

print(): added the flush keyword argument. If the flush keyword argument is true, the stream is forcibly flushed.

hash(): hash randomization is enabled by default, see object.__hash__() and PYTHONHASHSEED.

The str type gets a new casefold() method: return a casefolded copy of the string, casefolded strings may be used for caseless matching. For example, 'ß'.casefold() returns 'ss'.

The sequence documentation has been substantially rewritten to better explain the binary/text sequence distinction and to provide specific documentation sections for the individual builtin sequence types (bpo-4966 [https://bugs.python.org/issue?@action=redirect&bpo=4966]).

Novos módulos

faulthandler

This new debug module faulthandler contains functions to dump Python tracebacks explicitly, on a fault (a crash like a segmentation fault), after a timeout, or on a user signal. Call faulthandler.enable() to install fault handlers for the SIGSEGV, SIGFPE, SIGABRT, SIGBUS, and SIGILL signals. You can also enable them at startup by setting the PYTHONFAULTHANDLER environment variable or by using -X faulthandler command line option.

Example of a segmentation fault on Linux:

$ python -q -X faulthandler
>>> import ctypes
>>> ctypes.string_at(0)
Fatal Python error: Segmentation fault

Current thread 0x00007fb899f39700:
  File "/home/python/cpython/Lib/ctypes/__init__.py", line 486 in string_at
  File "<stdin>", line 1 in <module>
Segmentation fault

ipaddress

The new ipaddress module provides tools for creating and manipulating objects representing IPv4 and IPv6 addresses, networks and interfaces (i.e. an IP address associated with a specific IP subnet).

(Contributed by Google and Peter Moody in PEP 3144 [https://peps.python.org/pep-3144/].)

lzma

The newly added lzma module provides data compression and decompression using the LZMA algorithm, including support for the .xz and .lzma file formats.

(Contributed by Nadeem Vawda and Per Øyvind Karlsen in bpo-6715 [https://bugs.python.org/issue?@action=redirect&bpo=6715].)

Módulos melhorados

abc

Improved support for abstract base classes containing descriptors composed with abstract methods. The recommended approach to declaring abstract descriptors is now to provide __isabstractmethod__ as a dynamically updated property. The built-in descriptors have been updated accordingly.

abc.abstractproperty has been deprecated, use property with abc.abstractmethod() instead.

abc.abstractclassmethod has been deprecated, use classmethod with abc.abstractmethod() instead.

abc.abstractstaticmethod has been deprecated, use staticmethod with abc.abstractmethod() instead.

(Contributed by Darren Dale in bpo-11610 [https://bugs.python.org/issue?@action=redirect&bpo=11610].)

abc.ABCMeta.register() now returns the registered subclass, which means it can now be used as a class decorator (bpo-10868 [https://bugs.python.org/issue?@action=redirect&bpo=10868]).

array

The array module supports the long long type using q and Q type codes.

(Contributed by Oren Tirosh and Hirokazu Yamamoto in bpo-1172711 [https://bugs.python.org/issue?@action=redirect&bpo=1172711].)

base64

ASCII-only Unicode strings are now accepted by the decoding functions of the base64 modern interface. For example, base64.b64decode('YWJj') returns b'abc'. (Contributed by Catalin Iacob in bpo-13641 [https://bugs.python.org/issue?@action=redirect&bpo=13641].)

binascii

In addition to the binary objects they normally accept, the a2b_ functions now all also accept ASCII-only strings as input. (Contributed by Antoine Pitrou in bpo-13637 [https://bugs.python.org/issue?@action=redirect&bpo=13637].)

bz2

The bz2 module has been rewritten from scratch. In the process, several new features have been added:

New bz2.open() function: open a bzip2-compressed file in binary or text mode.

bz2.BZ2File can now read from and write to arbitrary file-like objects, by means of its constructor’s fileobj argument.

(Contributed by Nadeem Vawda in bpo-5863 [https://bugs.python.org/issue?@action=redirect&bpo=5863].)

bz2.BZ2File and bz2.decompress() can now decompress multi-stream inputs (such as those produced by the pbzip2 tool). bz2.BZ2File can now also be used to create this type of file, using the 'a' (append) mode.

(Contributed by Nir Aides in bpo-1625 [https://bugs.python.org/issue?@action=redirect&bpo=1625].)

bz2.BZ2File now implements all of the io.BufferedIOBase API, except for the detach() and truncate() methods.

codecs

The mbcs codec has been rewritten to handle correctly replace and ignore error handlers on all Windows versions. The mbcs codec now supports all error handlers, instead of only replace to encode and ignore to decode.

A new Windows-only codec has been added: cp65001 (bpo-13216 [https://bugs.python.org/issue?@action=redirect&bpo=13216]). It is the Windows code page 65001 (Windows UTF-8, CP_UTF8). For example, it is used by sys.stdout if the console output code page is set to cp65001 (e.g., using chcp 65001 command).

Multibyte CJK decoders now resynchronize faster. They only ignore the first byte of an invalid byte sequence. For example, b'\xff\n'.decode('gb2312', 'replace') now returns a \n after the replacement character.

(bpo-12016 [https://bugs.python.org/issue?@action=redirect&bpo=12016])

Incremental CJK codec encoders are no longer reset at each call to their encode() methods. For example:

>>> import codecs
>>> encoder = codecs.getincrementalencoder('hz')('strict')
>>> b''.join(encoder.encode(x) for x in '\u52ff\u65bd\u65bc\u4eba\u3002 Bye.')
b'~{NpJ)l6HK!#~} Bye.'

This example gives b'~{Np~}~{J)~}~{l6~}~{HK~}~{!#~} Bye.' with older Python versions.

(bpo-12100 [https://bugs.python.org/issue?@action=redirect&bpo=12100])

The unicode_internal codec has been deprecated.

collections

Addition of a new ChainMap class to allow treating a number of mappings as a single unit. (Written by Raymond Hettinger for bpo-11089 [https://bugs.python.org/issue?@action=redirect&bpo=11089], made public in bpo-11297 [https://bugs.python.org/issue?@action=redirect&bpo=11297].)

The abstract base classes have been moved in a new collections.abc module, to better differentiate between the abstract and the concrete collections classes. Aliases for ABCs are still present in the collections module to preserve existing imports. (bpo-11085 [https://bugs.python.org/issue?@action=redirect&bpo=11085])

The Counter class now supports the unary + and - operators, as well as the in-place operators +=, -=, |=, and &=. (Contributed by Raymond Hettinger in bpo-13121 [https://bugs.python.org/issue?@action=redirect&bpo=13121].)

contextlib

ExitStack now provides a solid foundation for programmatic manipulation of context managers and similar cleanup functionality. Unlike the previous contextlib.nested API (which was deprecated and removed), the new API is designed to work correctly regardless of whether context managers acquire their resources in their __init__ method (for example, file objects) or in their __enter__ method (for example, synchronisation objects from the threading module).

(bpo-13585 [https://bugs.python.org/issue?@action=redirect&bpo=13585])

crypt

Addition of salt and modular crypt format (hashing method) and the mksalt() function to the crypt module.

(bpo-10924 [https://bugs.python.org/issue?@action=redirect&bpo=10924])

curses

If the curses module is linked to the ncursesw library, use Unicode functions when Unicode strings or characters are passed (e.g. waddwstr()), and bytes functions otherwise (e.g. waddstr()).

Use the locale encoding instead of utf-8 to encode Unicode strings.

curses.window has a new curses.window.encoding attribute.

The curses.window class has a new get_wch() method to get a wide character

The curses module has a new unget_wch() function to push a wide character so the next get_wch() will return it

(Contributed by Iñigo Serna in bpo-6755 [https://bugs.python.org/issue?@action=redirect&bpo=6755].)

datetime

Equality comparisons between naive and aware datetime instances now return False instead of raising TypeError (bpo-15006 [https://bugs.python.org/issue?@action=redirect&bpo=15006]).

New datetime.datetime.timestamp() method: Return POSIX timestamp corresponding to the datetime instance.

The datetime.datetime.strftime() method supports formatting years older than 1000.

The datetime.datetime.astimezone() method can now be called without arguments to convert datetime instance to the system timezone.

decimal

bpo-7652 [https://bugs.python.org/issue?@action=redirect&bpo=7652] - integrate fast native decimal arithmetic.

C-module and libmpdec written by Stefan Krah.

The new C version of the decimal module integrates the high speed libmpdec library for arbitrary precision correctly rounded decimal floating-point arithmetic. libmpdec conforms to IBM’s General Decimal Arithmetic Specification.

Performance gains range from 10x for database applications to 100x for numerically intensive applications. These numbers are expected gains for standard precisions used in decimal floating-point arithmetic. Since the precision is user configurable, the exact figures may vary. For example, in integer bignum arithmetic the differences can be significantly higher.

The following table is meant as an illustration. Benchmarks are available at https://www.bytereef.org/mpdecimal/quickstart.html.

decimal.py

_decimal

speedup

pi

42.02s

0.345s

120x

telco

172.19s

5.68s

30x

psycopg

3.57s

0.29s

12x

Recursos

The FloatOperation signal optionally enables stricter semantics for mixing floats and Decimals.

If Python is compiled without threads, the C version automatically disables the expensive thread local context machinery. In this case, the variable HAVE_THREADS is set to False.

Mudanças na API

The C module has the following context limits, depending on the machine architecture:

32 bits

64 bits

MAX_PREC

425000000

999999999999999999

MAX_EMAX

425000000

999999999999999999

MIN_EMIN

-425000000

-999999999999999999

In the context templates (DefaultContext, BasicContext and ExtendedContext) the magnitude of Emax and Emin has changed to 999999.

The Decimal constructor in decimal.py does not observe the context limits and converts values with arbitrary exponents or precision exactly. Since the C version has internal limits, the following scheme is used: If possible, values are converted exactly, otherwise InvalidOperation is raised and the result is NaN. In the latter case it is always possible to use create_decimal() in order to obtain a rounded or inexact value.

The power function in decimal.py is always correctly rounded. In the C version, it is defined in terms of the correctly rounded exp() and ln() functions, but the final result is only “almost always correctly rounded”.

In the C version, the context dictionary containing the signals is a MutableMapping. For speed reasons, flags and traps always refer to the same MutableMapping that the context was initialized with. If a new signal dictionary is assigned, flags and traps are updated with the new values, but they do not reference the RHS dictionary.

Pickling a Context produces a different output in order to have a common interchange format for the Python and C versions.

The order of arguments in the Context constructor has been changed to match the order displayed by repr().

The watchexp parameter in the quantize() method is deprecated.

email

Policy Framework

The email package now has a policy framework. A Policy is an object with several methods and properties that control how the email package behaves. The primary policy for Python 3.3 is the Compat32 policy, which provides backward compatibility with the email package in Python 3.2. A policy can be specified when an email message is parsed by a parser, or when a Message object is created, or when an email is serialized using a generator. Unless overridden, a policy passed to a parser is inherited by all the Message object and sub-objects created by the parser. By default a generator will use the policy of the Message object it is serializing. The default policy is compat32.

The minimum set of controls implemented by all policy objects are:

max_line_length

The maximum length, excluding the linesep character(s), individual lines may have when a Message is serialized. Defaults to 78.

linesep

The character used to separate individual lines when a Message is serialized. Defaults to \n.

cte_type

7bit or 8bit. 8bit applies only to a Bytes generator, and means that non-ASCII may be used where allowed by the protocol (or where it exists in the original input).

raise_on_defect

Causes a parser to raise error when defects are encountered instead of adding them to the Message object’s defects list.

A new policy instance, with new settings, is created using the clone() method of policy objects. clone takes any of the above controls as keyword arguments. Any control not specified in the call retains its default value. Thus you can create a policy that uses \r\n linesep characters like this:

mypolicy = compat32.clone(linesep='\r\n')

Policies can be used to make the generation of messages in the format needed by your application simpler. Instead of having to remember to specify linesep='\r\n' in all the places you call a generator, you can specify it once, when you set the policy used by the parser or the Message, whichever your program uses to create Message objects. On the other hand, if you need to generate messages in multiple forms, you can still specify the parameters in the appropriate generator call. Or you can have custom policy instances for your different cases, and pass those in when you create the generator.

Provisional Policy with New Header API

While the policy framework is worthwhile all by itself, the main motivation for introducing it is to allow the creation of new policies that implement new features for the email package in a way that maintains backward compatibility for those who do not use the new policies. Because the new policies introduce a new API, we are releasing them in Python 3.3 as a provisional policy. Backwards incompatible changes (up to and including removal of the code) may occur if deemed necessary by the core developers.

The new policies are instances of EmailPolicy, and add the following additional controls:

refold_source

Controls whether or not headers parsed by a parser are refolded by the generator. It can be none, long, or all. The default is long, which means that source headers with a line longer than max_line_length get refolded. none means no line get refolded, and all means that all lines get refolded.

header_factory

A callable that take a name and value and produces a custom header object.

The header_factory is the key to the new features provided by the new policies. When one of the new policies is used, any header retrieved from a Message object is an object produced by the header_factory, and any time you set a header on a Message it becomes an object produced by header_factory. All such header objects have a name attribute equal to the header name. Address and Date headers have additional attributes that give you access to the parsed data of the header. This means you can now do things like this:

>>> m = Message(policy=SMTP)
>>> m['To'] = 'Éric <foo@example.com>'
>>> m['to']
'Éric <foo@example.com>'
>>> m['to'].addresses
(Address(display_name='Éric', username='foo', domain='example.com'),)
>>> m['to'].addresses[0].username
'foo'
>>> m['to'].addresses[0].display_name
'Éric'
>>> m['Date'] = email.utils.localtime()
>>> m['Date'].datetime
datetime.datetime(2012, 5, 25, 21, 39, 24, 465484, tzinfo=datetime.timezone(datetime.timedelta(-1, 72000), 'EDT'))
>>> m['Date']
'Fri, 25 May 2012 21:44:27 -0400'
>>> print(m)
To: =?utf-8?q?=C3=89ric?= <foo@example.com>
Date: Fri, 25 May 2012 21:44:27 -0400

You will note that the unicode display name is automatically encoded as utf-8 when the message is serialized, but that when the header is accessed directly, you get the unicode version. This eliminates any need to deal with the email.header decode_header() or make_header() functions.

You can also create addresses from parts:

>>> m['cc'] = [Group('pals', [Address('Bob', 'bob', 'example.com'),
...                           Address('Sally', 'sally', 'example.com')]),
...            Address('Bonzo', addr_spec='bonz@laugh.com')]
>>> print(m)
To: =?utf-8?q?=C3=89ric?= <foo@example.com>
Date: Fri, 25 May 2012 21:44:27 -0400
cc: pals: Bob <bob@example.com>, Sally <sally@example.com>;, Bonzo <bonz@laugh.com>

Decoding to unicode is done automatically:

>>> m2 = message_from_string(str(m))
>>> m2['to']
'Éric <foo@example.com>'

When you parse a message, you can use the addresses and groups attributes of the header objects to access the groups and individual addresses:

>>> m2['cc'].addresses
(Address(display_name='Bob', username='bob', domain='example.com'), Address(display_name='Sally', username='sally', domain='example.com'), Address(display_name='Bonzo', username='bonz', domain='laugh.com'))
>>> m2['cc'].groups
(Group(display_name='pals', addresses=(Address(display_name='Bob', username='bob', domain='example.com'), Address(display_name='Sally', username='sally', domain='example.com')), Group(display_name=None, addresses=(Address(display_name='Bonzo', username='bonz', domain='laugh.com'),))

In summary, if you use one of the new policies, header manipulation works the way it ought to: your application works with unicode strings, and the email package transparently encodes and decodes the unicode to and from the RFC standard Content Transfer Encodings.

Other API Changes

New BytesHeaderParser, added to the parser module to complement HeaderParser and complete the Bytes API.

New utility functions:

format_datetime(): given a datetime, produce a string formatted for use in an email header.

parsedate_to_datetime(): given a date string from an email header, convert it into an aware datetime, or a naive datetime if the offset is -0000.

localtime(): With no argument, returns the current local time as an aware datetime using the local timezone. Given an aware datetime, converts it into an aware datetime using the local timezone.

ftplib

ftplib.FTP now accepts a source_address keyword argument to specify the (host, port) to use as the source address in the bind call when creating the outgoing socket. (Contributed by Giampaolo Rodolà in bpo-8594 [https://bugs.python.org/issue?@action=redirect&bpo=8594].)

The FTP_TLS class now provides a new ccc() function to revert control channel back to plaintext. This can be useful to take advantage of firewalls that know how to handle NAT with non-secure FTP without opening fixed ports. (Contributed by Giampaolo Rodolà in bpo-12139 [https://bugs.python.org/issue?@action=redirect&bpo=12139].)

Added ftplib.FTP.mlsd() method which provides a parsable directory listing format and deprecates ftplib.FTP.nlst() and ftplib.FTP.dir(). (Contributed by Giampaolo Rodolà in bpo-11072 [https://bugs.python.org/issue?@action=redirect&bpo=11072].)

functools

The functools.lru_cache() decorator now accepts a typed keyword argument (that defaults to False to ensure that it caches values of different types that compare equal in separate cache slots. (Contributed by Raymond Hettinger in bpo-13227 [https://bugs.python.org/issue?@action=redirect&bpo=13227].)

gc

It is now possible to register callbacks invoked by the garbage collector before and after collection using the new callbacks list.

hmac

A new compare_digest() function has been added to prevent side channel attacks on digests through timing analysis. (Contributed by Nick Coghlan and Christian Heimes in bpo-15061 [https://bugs.python.org/issue?@action=redirect&bpo=15061].)

http

http.server.BaseHTTPRequestHandler now buffers the headers and writes them all at once when end_headers() is called. A new method flush_headers() can be used to directly manage when the accumulated headers are sent. (Contributed by Andrew Schaaf in bpo-3709 [https://bugs.python.org/issue?@action=redirect&bpo=3709].)

http.server now produces valid HTML 4.01 strict output. (Contributed by Ezio Melotti in bpo-13295 [https://bugs.python.org/issue?@action=redirect&bpo=13295].)

http.client.HTTPResponse now has a readinto() method, which means it can be used as an io.RawIOBase class. (Contributed by John Kuhn in bpo-13464 [https://bugs.python.org/issue?@action=redirect&bpo=13464].)

html

html.parser.HTMLParser is now able to parse broken markup without raising errors, therefore the strict argument of the constructor and the HTMLParseError exception are now deprecated. The ability to parse broken markup is the result of a number of bug fixes that are also available on the latest bug fix releases of Python 2.7/3.2. (Contributed by Ezio Melotti in bpo-15114 [https://bugs.python.org/issue?@action=redirect&bpo=15114], and bpo-14538 [https://bugs.python.org/issue?@action=redirect&bpo=14538], bpo-13993 [https://bugs.python.org/issue?@action=redirect&bpo=13993], bpo-13960 [https://bugs.python.org/issue?@action=redirect&bpo=13960], bpo-13358 [https://bugs.python.org/issue?@action=redirect&bpo=13358], bpo-1745761 [https://bugs.python.org/issue?@action=redirect&bpo=1745761], bpo-755670 [https://bugs.python.org/issue?@action=redirect&bpo=755670], bpo-13357 [https://bugs.python.org/issue?@action=redirect&bpo=13357], bpo-12629 [https://bugs.python.org/issue?@action=redirect&bpo=12629], bpo-1200313 [https://bugs.python.org/issue?@action=redirect&bpo=1200313], bpo-670664 [https://bugs.python.org/issue?@action=redirect&bpo=670664], bpo-13273 [https://bugs.python.org/issue?@action=redirect&bpo=13273], bpo-12888 [https://bugs.python.org/issue?@action=redirect&bpo=12888], bpo-7311 [https://bugs.python.org/issue?@action=redirect&bpo=7311].)

A new html5 dictionary that maps HTML5 named character references to the equivalent Unicode character(s) (e.g. html5['gt;'] == '>') has been added to the html.entities module. The dictionary is now also used by HTMLParser. (Contributed by Ezio Melotti in bpo-11113 [https://bugs.python.org/issue?@action=redirect&bpo=11113] and bpo-15156 [https://bugs.python.org/issue?@action=redirect&bpo=15156].)

imaplib

The IMAP4_SSL constructor now accepts an SSLContext parameter to control parameters of the secure channel.

(Contributed by Sijin Joseph in bpo-8808 [https://bugs.python.org/issue?@action=redirect&bpo=8808].)

inspect

A new getclosurevars() function has been added. This function reports the current binding of all names referenced from the function body and where those names were resolved, making it easier to verify correct internal state when testing code that relies on stateful closures.

(Contributed by Meador Inge and Nick Coghlan in bpo-13062 [https://bugs.python.org/issue?@action=redirect&bpo=13062].)

A new getgeneratorlocals() function has been added. This function reports the current binding of local variables in the generator’s stack frame, making it easier to verify correct internal state when testing generators.

(Contributed by Meador Inge in bpo-15153 [https://bugs.python.org/issue?@action=redirect&bpo=15153].)

io

The open() function has a new 'x' mode that can be used to exclusively create a new file, and raise a FileExistsError if the file already exists. It is based on the C11 ‘x’ mode to fopen().

(Contributed by David Townshend in bpo-12760 [https://bugs.python.org/issue?@action=redirect&bpo=12760].)

The constructor of the TextIOWrapper class has a new write_through optional argument. If write_through is True, calls to write() are guaranteed not to be buffered: any data written on the TextIOWrapper object is immediately handled to its underlying binary buffer.

itertools

accumulate() now takes an optional func argument for providing a user-supplied binary function.

logging

The basicConfig() function now supports an optional handlers argument taking an iterable of handlers to be added to the root logger.

A class level attribute append_nul has been added to SysLogHandler to allow control of the appending of the NUL (\000) byte to syslog records, since for some daemons it is required while for others it is passed through to the log.

math

The math module has a new function, log2(), which returns the base-2 logarithm of x.

(Written by Mark Dickinson in bpo-11888 [https://bugs.python.org/issue?@action=redirect&bpo=11888].)

mmap

The read() method is now more compatible with other file-like objects: if the argument is omitted or specified as None, it returns the bytes from the current file position to the end of the mapping. (Contributed by Petri Lehtinen in bpo-12021 [https://bugs.python.org/issue?@action=redirect&bpo=12021].)

multiprocessing

The new multiprocessing.connection.wait() function allows polling multiple objects (such as connections, sockets and pipes) with a timeout. (Contributed by Richard Oudkerk in bpo-12328 [https://bugs.python.org/issue?@action=redirect&bpo=12328].)

multiprocessing.Connection objects can now be transferred over multiprocessing connections. (Contributed by Richard Oudkerk in bpo-4892 [https://bugs.python.org/issue?@action=redirect&bpo=4892].)

multiprocessing.Process now accepts a daemon keyword argument to override the default behavior of inheriting the daemon flag from the parent process (bpo-6064 [https://bugs.python.org/issue?@action=redirect&bpo=6064]).

New attribute multiprocessing.Process.sentinel allows a program to wait on multiple Process objects at one time using the appropriate OS primitives (for example, select on posix systems).

New methods multiprocessing.pool.Pool.starmap() and starmap_async() provide itertools.starmap() equivalents to the existing multiprocessing.pool.Pool.map() and map_async() functions. (Contributed by Hynek Schlawack in bpo-12708 [https://bugs.python.org/issue?@action=redirect&bpo=12708].)

nntplib

The nntplib.NNTP class now supports the context management protocol to unconditionally consume socket.error exceptions and to close the NNTP connection when done:

>>> from nntplib import NNTP
>>> with NNTP('news.gmane.org') as n:
...     n.group('gmane.comp.python.committers')
...
('211 1755 1 1755 gmane.comp.python.committers', 1755, 1, 1755, 'gmane.comp.python.committers')
>>>

(Contributed by Giampaolo Rodolà in bpo-9795 [https://bugs.python.org/issue?@action=redirect&bpo=9795].)

os

The os module has a new pipe2() function that makes it possible to create a pipe with O_CLOEXEC or O_NONBLOCK flags set atomically. This is especially useful to avoid race conditions in multi-threaded programs.

The os module has a new sendfile() function which provides an efficient “zero-copy” way for copying data from one file (or socket) descriptor to another. The phrase “zero-copy” refers to the fact that all of the copying of data between the two descriptors is done entirely by the kernel, with no copying of data into userspace buffers. sendfile() can be used to efficiently copy data from a file on disk to a network socket, e.g. for downloading a file.

(Patch submitted by Ross Lagerwall and Giampaolo Rodolà in bpo-10882 [https://bugs.python.org/issue?@action=redirect&bpo=10882].)

To avoid race conditions like symlink attacks and issues with temporary files and directories, it is more reliable (and also faster) to manipulate file descriptors instead of file names. Python 3.3 enhances existing functions and introduces new functions to work on file descriptors (bpo-4761 [https://bugs.python.org/issue?@action=redirect&bpo=4761], bpo-10755 [https://bugs.python.org/issue?@action=redirect&bpo=10755] and bpo-14626 [https://bugs.python.org/issue?@action=redirect&bpo=14626]).

The os module has a new fwalk() function similar to walk() except that it also yields file descriptors referring to the directories visited. This is especially useful to avoid symlink races.

The following functions get new optional dir_fd (paths relative to directory descriptors) and/or follow_symlinks (not following symlinks): access(), chflags(), chmod(), chown(), link(), lstat(), mkdir(), mkfifo(), mknod(), open(), readlink(), remove(), rename(), replace(), rmdir(), stat(), symlink(), unlink(), utime(). Platform support for using these parameters can be checked via the sets os.supports_dir_fd and os.supports_follows_symlinks.

The following functions now support a file descriptor for their path argument: chdir(), chmod(), chown(), execve(), listdir(), pathconf(), exists(), stat(), statvfs(), utime(). Platform support for this can be checked via the os.supports_fd set.

access() accepts an effective_ids keyword argument to turn on using the effective uid/gid rather than the real uid/gid in the access check. Platform support for this can be checked via the supports_effective_ids set.

The os module has two new functions: getpriority() and setpriority(). They can be used to get or set process niceness/priority in a fashion similar to os.nice() but extended to all processes instead of just the current one.

(Patch submitted by Giampaolo Rodolà in bpo-10784 [https://bugs.python.org/issue?@action=redirect&bpo=10784].)

The new os.replace() function allows cross-platform renaming of a file with overwriting the destination. With os.rename(), an existing destination file is overwritten under POSIX, but raises an error under Windows. (Contributed by Antoine Pitrou in bpo-8828 [https://bugs.python.org/issue?@action=redirect&bpo=8828].)

The stat family of functions (stat(), fstat(), and lstat()) now support reading a file’s timestamps with nanosecond precision. Symmetrically, utime() can now write file timestamps with nanosecond precision. (Contributed by Larry Hastings in bpo-14127 [https://bugs.python.org/issue?@action=redirect&bpo=14127].)

The new os.get_terminal_size() function queries the size of the terminal attached to a file descriptor. See also shutil.get_terminal_size(). (Contributed by Zbigniew Jędrzejewski-Szmek in bpo-13609 [https://bugs.python.org/issue?@action=redirect&bpo=13609].)

New functions to support Linux extended attributes (bpo-12720 [https://bugs.python.org/issue?@action=redirect&bpo=12720]): getxattr(), listxattr(), removexattr(), setxattr().

New interface to the scheduler. These functions control how a process is allocated CPU time by the operating system. New functions: sched_get_priority_max(), sched_get_priority_min(), sched_getaffinity(), sched_getparam(), sched_getscheduler(), sched_rr_get_interval(), sched_setaffinity(), sched_setparam(), sched_setscheduler(), sched_yield(),

New functions to control the file system:

posix_fadvise(): Announces an intention to access data in a specific pattern thus allowing the kernel to make optimizations.

posix_fallocate(): Ensures that enough disk space is allocated for a file.

sync(): Force write of everything to disk.

Additional new posix functions:

lockf(): Apply, test or remove a POSIX lock on an open file descriptor.

pread(): Read from a file descriptor at an offset, the file offset remains unchanged.

pwrite(): Write to a file descriptor from an offset, leaving the file offset unchanged.

readv(): Read from a file descriptor into a number of writable buffers.

truncate(): Truncate the file corresponding to path, so that it is at most length bytes in size.

waitid(): Wait for the completion of one or more child processes.

writev(): Write the contents of buffers to a file descriptor, where buffers is an arbitrary sequence of buffers.

getgrouplist() (bpo-9344 [https://bugs.python.org/issue?@action=redirect&bpo=9344]): Return list of group ids that specified user belongs to.

times() and uname(): Return type changed from a tuple to a tuple-like object with named attributes.

Some platforms now support additional constants for the lseek() function, such as os.SEEK_HOLE and os.SEEK_DATA.

New constants RTLD_LAZY, RTLD_NOW, RTLD_GLOBAL, RTLD_LOCAL, RTLD_NODELETE, RTLD_NOLOAD, and RTLD_DEEPBIND are available on platforms that support them. These are for use with the sys.setdlopenflags() function, and supersede the similar constants defined in ctypes and DLFCN. (Contributed by Victor Stinner in bpo-13226 [https://bugs.python.org/issue?@action=redirect&bpo=13226].)

os.symlink() now accepts (and ignores) the target_is_directory keyword argument on non-Windows platforms, to ease cross-platform support.

pdb

Tab-completion is now available not only for command names, but also their arguments. For example, for the break command, function and file names are completed.

(Contributed by Georg Brandl in bpo-14210 [https://bugs.python.org/issue?@action=redirect&bpo=14210])

pickle

pickle.Pickler objects now have an optional dispatch_table attribute allowing per-pickler reduction functions to be set.

(Contributed by Richard Oudkerk in bpo-14166 [https://bugs.python.org/issue?@action=redirect&bpo=14166].)

pydoc

The Tk GUI and the serve() function have been removed from the pydoc module: pydoc -g and serve() have been deprecated in Python 3.2.

re

str regular expressions now support \u and \U escapes.

(Contributed by Serhiy Storchaka in bpo-3665 [https://bugs.python.org/issue?@action=redirect&bpo=3665].)

sched

run() now accepts a blocking parameter which when set to false makes the method execute the scheduled events due to expire soonest (if any) and then return immediately. This is useful in case you want to use the scheduler in non-blocking applications. (Contributed by Giampaolo Rodolà in bpo-13449 [https://bugs.python.org/issue?@action=redirect&bpo=13449].)

scheduler class can now be safely used in multi-threaded environments. (Contributed by Josiah Carlson and Giampaolo Rodolà in bpo-8684 [https://bugs.python.org/issue?@action=redirect&bpo=8684].)

timefunc and delayfunct parameters of scheduler class constructor are now optional and defaults to time.time() and time.sleep() respectively. (Contributed by Chris Clark in bpo-13245 [https://bugs.python.org/issue?@action=redirect&bpo=13245].)

enter() and enterabs() argument parameter is now optional. (Contributed by Chris Clark in bpo-13245 [https://bugs.python.org/issue?@action=redirect&bpo=13245].)

enter() and enterabs() now accept a kwargs parameter. (Contributed by Chris Clark in bpo-13245 [https://bugs.python.org/issue?@action=redirect&bpo=13245].)

select

Solaris and derivative platforms have a new class select.devpoll for high performance asynchronous sockets via /dev/poll. (Contributed by Jesús Cea Avión in bpo-6397 [https://bugs.python.org/issue?@action=redirect&bpo=6397].)

shlex

The previously undocumented helper function quote from the pipes modules has been moved to the shlex module and documented. quote() properly escapes all characters in a string that might be otherwise given special meaning by the shell.

shutil

Novas Funções:

disk_usage(): provides total, used and free disk space statistics. (Contributed by Giampaolo Rodolà in bpo-12442 [https://bugs.python.org/issue?@action=redirect&bpo=12442].)

chown(): allows one to change user and/or group of the given path also specifying the user/group names and not only their numeric ids. (Contributed by Sandro Tosi in bpo-12191 [https://bugs.python.org/issue?@action=redirect&bpo=12191].)

shutil.get_terminal_size(): returns the size of the terminal window to which the interpreter is attached. (Contributed by Zbigniew Jędrzejewski-Szmek in bpo-13609 [https://bugs.python.org/issue?@action=redirect&bpo=13609].)

copy2() and copystat() now preserve file timestamps with nanosecond precision on platforms that support it. They also preserve file “extended attributes” on Linux. (Contributed by Larry Hastings in bpo-14127 [https://bugs.python.org/issue?@action=redirect&bpo=14127] and bpo-15238 [https://bugs.python.org/issue?@action=redirect&bpo=15238].)

Several functions now take an optional symlinks argument: when that parameter is true, symlinks aren’t dereferenced and the operation instead acts on the symlink itself (or creates one, if relevant). (Contributed by Hynek Schlawack in bpo-12715 [https://bugs.python.org/issue?@action=redirect&bpo=12715].)

When copying files to a different file system, move() now handles symlinks the way the posix mv command does, recreating the symlink rather than copying the target file contents. (Contributed by Jonathan Niehof in bpo-9993 [https://bugs.python.org/issue?@action=redirect&bpo=9993].) move() now also returns the dst argument as its result.

rmtree() is now resistant to symlink attacks on platforms which support the new dir_fd parameter in os.open() and os.unlink(). (Contributed by Martin von Löwis and Hynek Schlawack in bpo-4489 [https://bugs.python.org/issue?@action=redirect&bpo=4489].)

signal

The signal module has new functions:

pthread_sigmask(): fetch and/or change the signal mask of the calling thread (Contributed by Jean-Paul Calderone in bpo-8407 [https://bugs.python.org/issue?@action=redirect&bpo=8407]);

pthread_kill(): send a signal to a thread;

sigpending(): examine pending functions;

sigwait(): wait a signal;

sigwaitinfo(): wait for a signal, returning detailed information about it;

sigtimedwait(): like sigwaitinfo() but with a timeout.

The signal handler writes the signal number as a single byte instead of a nul byte into the wakeup file descriptor. So it is possible to wait more than one signal and know which signals were raised.

signal.signal() and signal.siginterrupt() raise an OSError, instead of a RuntimeError: OSError has an errno attribute.

smtpd

The smtpd module now supports RFC 5321 [https://datatracker.ietf.org/doc/html/rfc5321.html] (extended SMTP) and RFC 1870 [https://datatracker.ietf.org/doc/html/rfc1870.html] (size extension). Per the standard, these extensions are enabled if and only if the client initiates the session with an EHLO command.

(Initial ELHO support by Alberto Trevino. Size extension by Juhana Jauhiainen. Substantial additional work on the patch contributed by Michele Orrù and Dan Boswell. bpo-8739 [https://bugs.python.org/issue?@action=redirect&bpo=8739])

smtplib

The SMTP, SMTP_SSL, and LMTP classes now accept a source_address keyword argument to specify the (host, port) to use as the source address in the bind call when creating the outgoing socket. (Contributed by Paulo Scardine in bpo-11281 [https://bugs.python.org/issue?@action=redirect&bpo=11281].)

SMTP now supports the context management protocol, allowing an SMTP instance to be used in a with statement. (Contributed by Giampaolo Rodolà in bpo-11289 [https://bugs.python.org/issue?@action=redirect&bpo=11289].)

The SMTP_SSL constructor and the starttls() method now accept an SSLContext parameter to control parameters of the secure channel. (Contributed by Kasun Herath in bpo-8809 [https://bugs.python.org/issue?@action=redirect&bpo=8809].)

socket

The socket class now exposes additional methods to process ancillary data when supported by the underlying platform:

sendmsg()

recvmsg()

recvmsg_into()

(Contributed by David Watson in bpo-6560 [https://bugs.python.org/issue?@action=redirect&bpo=6560], based on an earlier patch by Heiko Wundram)

The socket class now supports the PF_CAN protocol family (https://en.wikipedia.org/wiki/Socketcan), on Linux (https://lwn.net/Articles/253425).

(Contributed by Matthias Fuchs, updated by Tiago Gonçalves in bpo-10141 [https://bugs.python.org/issue?@action=redirect&bpo=10141].)

The socket class now supports the PF_RDS protocol family (https://en.wikipedia.org/wiki/Reliable_Datagram_Sockets and https://oss.oracle.com/projects/rds [https://web.archive.org/web/20130115155505/https://oss.oracle.com/projects/rds/]).

The socket class now supports the PF_SYSTEM protocol family on OS X. (Contributed by Michael Goderbauer in bpo-13777 [https://bugs.python.org/issue?@action=redirect&bpo=13777].)

New function sethostname() allows the hostname to be set on Unix systems if the calling process has sufficient privileges. (Contributed by Ross Lagerwall in bpo-10866 [https://bugs.python.org/issue?@action=redirect&bpo=10866].)

socketserver

BaseServer now has an overridable method service_actions() that is called by the serve_forever() method in the service loop. ForkingMixIn now uses this to clean up zombie child processes. (Contributed by Justin Warkentin in bpo-11109 [https://bugs.python.org/issue?@action=redirect&bpo=11109].)

sqlite3

New sqlite3.Connection method set_trace_callback() can be used to capture a trace of all sql commands processed by sqlite. (Contributed by Torsten Landschoff in bpo-11688 [https://bugs.python.org/issue?@action=redirect&bpo=11688].)

ssl

The ssl module has two new random generation functions:

RAND_bytes(): generate cryptographically strong pseudo-random bytes.

RAND_pseudo_bytes(): generate pseudo-random bytes.

(Contributed by Victor Stinner in bpo-12049 [https://bugs.python.org/issue?@action=redirect&bpo=12049].)

The ssl module now exposes a finer-grained exception hierarchy in order to make it easier to inspect the various kinds of errors. (Contributed by Antoine Pitrou in bpo-11183 [https://bugs.python.org/issue?@action=redirect&bpo=11183].)

load_cert_chain() now accepts a password argument to be used if the private key is encrypted. (Contributed by Adam Simpkins in bpo-12803 [https://bugs.python.org/issue?@action=redirect&bpo=12803].)

Diffie-Hellman key exchange, both regular and Elliptic Curve-based, is now supported through the load_dh_params() and set_ecdh_curve() methods. (Contributed by Antoine Pitrou in bpo-13626 [https://bugs.python.org/issue?@action=redirect&bpo=13626] and bpo-13627 [https://bugs.python.org/issue?@action=redirect&bpo=13627].)

SSL sockets have a new get_channel_binding() method allowing the implementation of certain authentication mechanisms such as SCRAM-SHA-1-PLUS. (Contributed by Jacek Konieczny in bpo-12551 [https://bugs.python.org/issue?@action=redirect&bpo=12551].)

You can query the SSL compression algorithm used by an SSL socket, thanks to its new compression() method. The new attribute OP_NO_COMPRESSION can be used to disable compression. (Contributed by Antoine Pitrou in bpo-13634 [https://bugs.python.org/issue?@action=redirect&bpo=13634].)

Support has been added for the Next Protocol Negotiation extension using the ssl.SSLContext.set_npn_protocols() method. (Contributed by Colin Marc in bpo-14204 [https://bugs.python.org/issue?@action=redirect&bpo=14204].)

SSL errors can now be introspected more easily thanks to library and reason attributes. (Contributed by Antoine Pitrou in bpo-14837 [https://bugs.python.org/issue?@action=redirect&bpo=14837].)

The get_server_certificate() function now supports IPv6. (Contributed by Charles-François Natali in bpo-11811 [https://bugs.python.org/issue?@action=redirect&bpo=11811].)

New attribute OP_CIPHER_SERVER_PREFERENCE allows setting SSLv3 server sockets to use the server’s cipher ordering preference rather than the client’s (bpo-13635 [https://bugs.python.org/issue?@action=redirect&bpo=13635]).

stat

The undocumented tarfile.filemode function has been moved to stat.filemode(). It can be used to convert a file’s mode to a string of the form ‘-rwxrwxrwx’.

(Contributed by Giampaolo Rodolà in bpo-14807 [https://bugs.python.org/issue?@action=redirect&bpo=14807].)

struct

The struct module now supports ssize_t and size_t via the new codes n and N, respectively. (Contributed by Antoine Pitrou in bpo-3163 [https://bugs.python.org/issue?@action=redirect&bpo=3163].)

subprocess

Command strings can now be bytes objects on posix platforms. (Contributed by Victor Stinner in bpo-8513 [https://bugs.python.org/issue?@action=redirect&bpo=8513].)

A new constant DEVNULL allows suppressing output in a platform-independent fashion. (Contributed by Ross Lagerwall in bpo-5870 [https://bugs.python.org/issue?@action=redirect&bpo=5870].)

sys

The sys module has a new thread_info named tuple holding information about the thread implementation (bpo-11223 [https://bugs.python.org/issue?@action=redirect&bpo=11223]).

tarfile

tarfile now supports lzma encoding via the lzma module. (Contributed by Lars Gustäbel in bpo-5689 [https://bugs.python.org/issue?@action=redirect&bpo=5689].)

tempfile

tempfile.SpooledTemporaryFile's truncate() method now accepts a size parameter. (Contributed by Ryan Kelly in bpo-9957 [https://bugs.python.org/issue?@action=redirect&bpo=9957].)

textwrap

The textwrap module has a new indent() that makes it straightforward to add a common prefix to selected lines in a block of text (bpo-13857 [https://bugs.python.org/issue?@action=redirect&bpo=13857]).

threading

threading.Condition, threading.Semaphore, threading.BoundedSemaphore, threading.Event, and threading.Timer, all of which used to be factory functions returning a class instance, are now classes and may be subclassed. (Contributed by Éric Araujo in bpo-10968 [https://bugs.python.org/issue?@action=redirect&bpo=10968].)

The threading.Thread constructor now accepts a daemon keyword argument to override the default behavior of inheriting the daemon flag value from the parent thread (bpo-6064 [https://bugs.python.org/issue?@action=redirect&bpo=6064]).

The formerly private function _thread.get_ident is now available as the public function threading.get_ident(). This eliminates several cases of direct access to the _thread module in the stdlib. Third party code that used _thread.get_ident should likewise be changed to use the new public interface.

time

The PEP 418 [https://peps.python.org/pep-0418/] added new functions to the time module:

get_clock_info(): Get information on a clock.

monotonic(): Monotonic clock (cannot go backward), not affected by system clock updates.

perf_counter(): Performance counter with the highest available resolution to measure a short duration.

process_time(): Sum of the system and user CPU time of the current process.

Other new functions:

clock_getres(), clock_gettime() and clock_settime() functions with CLOCK_xxx constants. (Contributed by Victor Stinner in bpo-10278 [https://bugs.python.org/issue?@action=redirect&bpo=10278].)

To improve cross platform consistency, sleep() now raises a ValueError when passed a negative sleep value. Previously this was an error on posix, but produced an infinite sleep on Windows.

types

Add a new types.MappingProxyType class: Read-only proxy of a mapping. (bpo-14386 [https://bugs.python.org/issue?@action=redirect&bpo=14386])

The new functions types.new_class() and types.prepare_class() provide support for PEP 3115 [https://peps.python.org/pep-3115/] compliant dynamic type creation. (bpo-14588 [https://bugs.python.org/issue?@action=redirect&bpo=14588])

unittest

assertRaises(), assertRaisesRegex(), assertWarns(), and assertWarnsRegex() now accept a keyword argument msg when used as context managers. (Contributed by Ezio Melotti and Winston Ewert in bpo-10775 [https://bugs.python.org/issue?@action=redirect&bpo=10775].)

unittest.TestCase.run() now returns the TestResult object.

urllib

The Request class, now accepts a method argument used by get_method() to determine what HTTP method should be used. For example, this will send a 'HEAD' request:

>>> urlopen(Request('https://www.python.org', method='HEAD'))

(bpo-1673007 [https://bugs.python.org/issue?@action=redirect&bpo=1673007])

webbrowser

The webbrowser module supports more “browsers”: Google Chrome (named chrome, chromium, chrome-browser or chromium-browser depending on the version and operating system), and the generic launchers xdg-open, from the FreeDesktop.org project, and gvfs-open, which is the default URI handler for GNOME 3. (The former contributed by Arnaud Calmettes in bpo-13620 [https://bugs.python.org/issue?@action=redirect&bpo=13620], the latter by Matthias Klose in bpo-14493 [https://bugs.python.org/issue?@action=redirect&bpo=14493].)

xml.etree.ElementTree

The xml.etree.ElementTree module now imports its C accelerator by default; there is no longer a need to explicitly import xml.etree.cElementTree (this module stays for backwards compatibility, but is now deprecated). In addition, the iter family of methods of Element has been optimized (rewritten in C). The module’s documentation has also been greatly improved with added examples and a more detailed reference.

zlib

New attribute zlib.Decompress.eof makes it possible to distinguish between a properly formed compressed stream and an incomplete or truncated one. (Contributed by Nadeem Vawda in bpo-12646 [https://bugs.python.org/issue?@action=redirect&bpo=12646].)

New attribute zlib.ZLIB_RUNTIME_VERSION reports the version string of the underlying zlib library that is loaded at runtime. (Contributed by Torsten Landschoff in bpo-12306 [https://bugs.python.org/issue?@action=redirect&bpo=12306].)

Otimizações

Major performance enhancements have been added:

Thanks to PEP 393 [https://peps.python.org/pep-0393/], some operations on Unicode strings have been optimized:

the memory footprint is divided by 2 to 4 depending on the text

encode an ASCII string to UTF-8 doesn’t need to encode characters anymore, the UTF-8 representation is shared with the ASCII representation

the UTF-8 encoder has been optimized

repeating a single ASCII letter and getting a substring of an ASCII string is 4 times faster

UTF-8 is now 2x to 4x faster. UTF-16 encoding is now up to 10x faster.

(Contributed by Serhiy Storchaka, bpo-14624 [https://bugs.python.org/issue?@action=redirect&bpo=14624], bpo-14738 [https://bugs.python.org/issue?@action=redirect&bpo=14738] and bpo-15026 [https://bugs.python.org/issue?@action=redirect&bpo=15026].)

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

New PEP 3118 [https://peps.python.org/pep-3118/] related function:

PyMemoryView_FromMemory()

PEP 393 [https://peps.python.org/pep-0393/] added new Unicode types, macros and functions:

High-level API:

PyUnicode_CopyCharacters()

PyUnicode_FindChar()

PyUnicode_GetLength(), PyUnicode_GET_LENGTH

PyUnicode_New()

PyUnicode_Substring()

PyUnicode_ReadChar(), PyUnicode_WriteChar()

Low-level API:

Py_UCS1, Py_UCS2, Py_UCS4 types

PyASCIIObject and PyCompactUnicodeObject structures

PyUnicode_READY

PyUnicode_FromKindAndData()

PyUnicode_AsUCS4(), PyUnicode_AsUCS4Copy()

PyUnicode_DATA, PyUnicode_1BYTE_DATA, PyUnicode_2BYTE_DATA, PyUnicode_4BYTE_DATA

PyUnicode_KIND with PyUnicode_Kind enum: PyUnicode_WCHAR_KIND, PyUnicode_1BYTE_KIND, PyUnicode_2BYTE_KIND, PyUnicode_4BYTE_KIND

PyUnicode_READ, PyUnicode_READ_CHAR, PyUnicode_WRITE

PyUnicode_MAX_CHAR_VALUE

PyArg_ParseTuple now accepts a bytearray for the c format (bpo-12380 [https://bugs.python.org/issue?@action=redirect&bpo=12380]).

Descontinuados

Unsupported Operating Systems

OS/2 and VMS are no longer supported due to the lack of a maintainer.

Windows 2000 and Windows platforms which set COMSPEC to command.com are no longer supported due to maintenance burden.

OSF support, which was deprecated in 3.2, has been completely removed.

Deprecated Python modules, functions and methods

Passing a non-empty string to object.__format__() is deprecated, and will produce a TypeError in Python 3.4 (bpo-9856 [https://bugs.python.org/issue?@action=redirect&bpo=9856]).

The unicode_internal codec has been deprecated because of the PEP 393 [https://peps.python.org/pep-0393/], use UTF-8, UTF-16 (utf-16-le or utf-16-be), or UTF-32 (utf-32-le or utf-32-be)

ftplib.FTP.nlst() and ftplib.FTP.dir(): use ftplib.FTP.mlsd()

platform.popen(): use the subprocess module. Check especially the Replacing Older Functions with the subprocess Module section (bpo-11377 [https://bugs.python.org/issue?@action=redirect&bpo=11377]).

bpo-13374 [https://bugs.python.org/issue?@action=redirect&bpo=13374]: The Windows bytes API has been deprecated in the os module. Use Unicode filenames, instead of bytes filenames, to not depend on the ANSI code page anymore and to support any filename.

bpo-13988 [https://bugs.python.org/issue?@action=redirect&bpo=13988]: The xml.etree.cElementTree module is deprecated. The accelerator is used automatically whenever available.

The behaviour of time.clock() depends on the platform: use the new time.perf_counter() or time.process_time() function instead, depending on your requirements, to have a well defined behaviour.

The os.stat_float_times() function is deprecated.

abc module:

abc.abstractproperty has been deprecated, use property with abc.abstractmethod() instead.

abc.abstractclassmethod has been deprecated, use classmethod with abc.abstractmethod() instead.

abc.abstractstaticmethod has been deprecated, use staticmethod with abc.abstractmethod() instead.

importlib package:

importlib.abc.SourceLoader.path_mtime() is now deprecated in favour of importlib.abc.SourceLoader.path_stats() as bytecode files now store both the modification time and size of the source file the bytecode file was compiled from.

Deprecated functions and types of the C API

The Py_UNICODE has been deprecated by PEP 393 [https://peps.python.org/pep-0393/] and will be removed in Python 4. All functions using this type are deprecated:

Unicode functions and methods using Py_UNICODE and Py_UNICODE* types:

PyUnicode_FromUnicode: use PyUnicode_FromWideChar() or PyUnicode_FromKindAndData()

PyUnicode_AS_UNICODE, PyUnicode_AsUnicode(), PyUnicode_AsUnicodeAndSize(): use PyUnicode_AsWideCharString()

PyUnicode_AS_DATA: use PyUnicode_DATA with PyUnicode_READ and PyUnicode_WRITE

PyUnicode_GET_SIZE, PyUnicode_GetSize(): use PyUnicode_GET_LENGTH or PyUnicode_GetLength()

PyUnicode_GET_DATA_SIZE: use PyUnicode_GET_LENGTH(str) * PyUnicode_KIND(str) (only work on ready strings)

PyUnicode_AsUnicodeCopy(): use PyUnicode_AsUCS4Copy() or PyUnicode_AsWideCharString()

PyUnicode_GetMax()

Functions and macros manipulating Py_UNICODE* strings:

Py_UNICODE_strlen(): use PyUnicode_GetLength() or PyUnicode_GET_LENGTH

Py_UNICODE_strcat(): use PyUnicode_CopyCharacters() or PyUnicode_FromFormat()

Py_UNICODE_strcpy(), Py_UNICODE_strncpy(), Py_UNICODE_COPY(): use PyUnicode_CopyCharacters() or PyUnicode_Substring()

Py_UNICODE_strcmp(): use PyUnicode_Compare()

Py_UNICODE_strncmp(): use PyUnicode_Tailmatch()

Py_UNICODE_strchr(), Py_UNICODE_strrchr(): use PyUnicode_FindChar()

Py_UNICODE_FILL(): use PyUnicode_Fill()

Py_UNICODE_MATCH

Encoders:

PyUnicode_Encode(): use PyUnicode_AsEncodedObject()

PyUnicode_EncodeUTF7()

PyUnicode_EncodeUTF8(): use PyUnicode_AsUTF8() or PyUnicode_AsUTF8String()

PyUnicode_EncodeUTF32()

PyUnicode_EncodeUTF16()

PyUnicode_EncodeUnicodeEscape() use PyUnicode_AsUnicodeEscapeString()

PyUnicode_EncodeRawUnicodeEscape() use PyUnicode_AsRawUnicodeEscapeString()

PyUnicode_EncodeLatin1(): use PyUnicode_AsLatin1String()

PyUnicode_EncodeASCII(): use PyUnicode_AsASCIIString()

PyUnicode_EncodeCharmap()

PyUnicode_TranslateCharmap()

PyUnicode_EncodeMBCS(): use PyUnicode_AsMBCSString() or PyUnicode_EncodeCodePage() (with CP_ACP code_page)

PyUnicode_EncodeDecimal(), PyUnicode_TransformDecimalToASCII()

Deprecated features

The array module’s 'u' format code is now deprecated and will be removed in Python 4 together with the rest of the (Py_UNICODE) API.

Porting to Python 3.3

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

Porting Python code

Hash randomization is enabled by default. Set the PYTHONHASHSEED environment variable to 0 to disable hash randomization. See also the object.__hash__() method.

bpo-12326 [https://bugs.python.org/issue?@action=redirect&bpo=12326]: On Linux, sys.platform doesn’t contain the major version anymore. It is now always ‘linux’, instead of ‘linux2’ or ‘linux3’ depending on the Linux version used to build Python. Replace sys.platform == ‘linux2’ with sys.platform.startswith(‘linux’), or directly sys.platform == ‘linux’ if you don’t need to support older Python versions.

bpo-13847 [https://bugs.python.org/issue?@action=redirect&bpo=13847], bpo-14180 [https://bugs.python.org/issue?@action=redirect&bpo=14180]: time and datetime: OverflowError is now raised instead of ValueError if a timestamp is out of range. OSError is now raised if C functions gmtime() or localtime() failed.

The default finders used by import now utilize a cache of what is contained within a specific directory. If you create a Python source file or sourceless bytecode file, make sure to call importlib.invalidate_caches() to clear out the cache for the finders to notice the new file.

ImportError now uses the full name of the module that was attempted to be imported. Doctests that check ImportErrors’ message will need to be updated to use the full name of the module instead of just the tail of the name.

The index argument to __import__() now defaults to 0 instead of -1 and no longer support negative values. It was an oversight when PEP 328 [https://peps.python.org/pep-0328/] was implemented that the default value remained -1. If you need to continue to perform a relative import followed by an absolute import, then perform the relative import using an index of 1, followed by another import using an index of 0. It is preferred, though, that you use importlib.import_module() rather than call __import__() directly.

__import__() no longer allows one to use an index value other than 0 for top-level modules. E.g. __import__('sys', level=1) is now an error.

Because sys.meta_path and sys.path_hooks now have finders on them by default, you will most likely want to use list.insert() instead of list.append() to add to those lists.

Because None is now inserted into sys.path_importer_cache, if you are clearing out entries in the dictionary of paths that do not have a finder, you will need to remove keys paired with values of None and imp.NullImporter to be backwards-compatible. This will lead to extra overhead on older versions of Python that re-insert None into sys.path_importer_cache where it represents the use of implicit finders, but semantically it should not change anything.

importlib.abc.Finder no longer specifies a find_module() abstract method that must be implemented. If you were relying on subclasses to implement that method, make sure to check for the method’s existence first. You will probably want to check for find_loader() first, though, in the case of working with path entry finders.

pkgutil has been converted to use importlib internally. This eliminates many edge cases where the old behaviour of the PEP 302 [https://peps.python.org/pep-0302/] import emulation failed to match the behaviour of the real import system. The import emulation itself is still present, but is now deprecated. The pkgutil.iter_importers() and pkgutil.walk_packages() functions special case the standard import hooks so they are still supported even though they do not provide the non-standard iter_modules() method.

A longstanding RFC-compliance bug (bpo-1079 [https://bugs.python.org/issue?@action=redirect&bpo=1079]) in the parsing done by email.header.decode_header() has been fixed. Code that uses the standard idiom to convert encoded headers into unicode (str(make_header(decode_header(h))) will see no change, but code that looks at the individual tuples returned by decode_header will see that whitespace that precedes or follows ASCII sections is now included in the ASCII section. Code that builds headers using make_header should also continue to work without change, since make_header continues to add whitespace between ASCII and non-ASCII sections if it is not already present in the input strings.

email.utils.formataddr() now does the correct content transfer encoding when passed non-ASCII display names. Any code that depended on the previous buggy behavior that preserved the non-ASCII unicode in the formatted output string will need to be changed (bpo-1690608 [https://bugs.python.org/issue?@action=redirect&bpo=1690608]).

poplib.POP3.quit() may now raise protocol errors like all other poplib methods. Code that assumes quit does not raise poplib.error_proto errors may need to be changed if errors on quit are encountered by a particular application (bpo-11291 [https://bugs.python.org/issue?@action=redirect&bpo=11291]).

The strict argument to email.parser.Parser, deprecated since Python 2.4, has finally been removed.

The deprecated method unittest.TestCase.assertSameElements has been removed.

The deprecated variable time.accept2dyear has been removed.

The deprecated Context._clamp attribute has been removed from the decimal module. It was previously replaced by the public attribute clamp. (See bpo-8540 [https://bugs.python.org/issue?@action=redirect&bpo=8540].)

The undocumented internal helper class SSLFakeFile has been removed from smtplib, since its functionality has long been provided directly by socket.socket.makefile().

Passing a negative value to time.sleep() on Windows now raises an error instead of sleeping forever. It has always raised an error on posix.

The ast.__version__ constant has been removed. If you need to make decisions affected by the AST version, use sys.version_info to make the decision.

Code that used to work around the fact that the threading module used factory functions by subclassing the private classes will need to change to subclass the now-public classes.

The undocumented debugging machinery in the threading module has been removed, simplifying the code. This should have no effect on production code, but is mentioned here in case any application debug frameworks were interacting with it (bpo-13550 [https://bugs.python.org/issue?@action=redirect&bpo=13550]).

Porting C code

In the course of changes to the buffer API the undocumented smalltable member of the Py_buffer structure has been removed and the layout of the PyMemoryViewObject has changed.

All extensions relying on the relevant parts in memoryobject.h or object.h must be rebuilt.

Due to PEP 393, the Py_UNICODE type and all functions using this type are deprecated (but will stay available for at least five years). If you were using low-level Unicode APIs to construct and access unicode objects and you want to benefit of the memory footprint reduction provided by PEP 393 [https://peps.python.org/pep-0393/], you have to convert your code to the new Unicode API.

However, if you only have been using high-level functions such as PyUnicode_Concat(), PyUnicode_Join() or PyUnicode_FromFormat(), your code will automatically take advantage of the new unicode representations.

PyImport_GetMagicNumber() now returns -1 upon failure.

As a negative value for the level argument to __import__() is no longer valid, the same now holds for PyImport_ImportModuleLevel(). This also means that the value of level used by PyImport_ImportModuleEx() is now 0 instead of -1.

Building C extensions

The range of possible file names for C extensions has been narrowed. Very rarely used spellings have been suppressed: under POSIX, files named xxxmodule.so, xxxmodule.abi3.so and xxxmodule.cpython-*.so are no longer recognized as implementing the xxx module. If you had been generating such files, you have to switch to the other spellings (i.e., remove the module string from the file names).

(implemented in bpo-14040 [https://bugs.python.org/issue?@action=redirect&bpo=14040].)

Command Line Switch Changes

The -Q command-line flag and related artifacts have been removed. Code checking sys.flags.division_warning will need updating.

(bpo-10998 [https://bugs.python.org/issue?@action=redirect&bpo=10998], contributed by Éric Araujo.)

When python is started with -S, import site will no longer add site-specific paths to the module search paths. In previous versions, it did.

(bpo-11591 [https://bugs.python.org/issue?@action=redirect&bpo=11591], contributed by Carl Meyer with editions by Éric Araujo.)

O que há de novo no Python 3.2

Autor:

Raymond Hettinger

This article explains the new features in Python 3.2 as compared to 3.1. Python 3.2 was released on February 20, 2011. It focuses on a few highlights and gives a few examples. For full details, see the Misc/NEWS [https://github.com/python/cpython/blob/076ca6c3c8df3030307e548d9be792ce3c1c6eea/Misc/NEWS] file.

Ver também

PEP 392 [https://peps.python.org/pep-0392/] - Python 3.2 Release Schedule

PEP 384: Defining a Stable ABI

In the past, extension modules built for one Python version were often not usable with other Python versions. Particularly on Windows, every feature release of Python required rebuilding all extension modules that one wanted to use. This requirement was the result of the free access to Python interpreter internals that extension modules could use.

With Python 3.2, an alternative approach becomes available: extension modules which restrict themselves to a limited API (by defining Py_LIMITED_API) cannot use many of the internals, but are constrained to a set of API functions that are promised to be stable for several releases. As a consequence, extension modules built for 3.2 in that mode will also work with 3.3, 3.4, and so on. Extension modules that make use of details of memory structures can still be built, but will need to be recompiled for every feature release.

Ver também

PEP 384 [https://peps.python.org/pep-0384/] - Defining a Stable ABI

PEP written by Martin von Löwis.

PEP 389: Argparse Command Line Parsing Module

A new module for command line parsing, argparse, was introduced to overcome the limitations of optparse which did not provide support for positional arguments (not just options), subcommands, required options and other common patterns of specifying and validating options.

This module has already had widespread success in the community as a third-party module. Being more fully featured than its predecessor, the argparse module is now the preferred module for command-line processing. The older module is still being kept available because of the substantial amount of legacy code that depends on it.

Here’s an annotated example parser showing features like limiting results to a set of choices, specifying a metavar in the help screen, validating that one or more positional arguments is present, and making a required option:

import argparse
parser = argparse.ArgumentParser(
            description = 'Manage servers',         # main description for help
            epilog = 'Tested on Solaris and Linux') # displayed after help
parser.add_argument('action',                       # argument name
            choices = ['deploy', 'start', 'stop'],  # three allowed values
            help = 'action on each target')         # help msg
parser.add_argument('targets',
            metavar = 'HOSTNAME',                   # var name used in help msg
            nargs = '+',                            # require one or more targets
            help = 'url for target machines')       # help msg explanation
parser.add_argument('-u', '--user',                 # -u or --user option
            required = True,                        # make it a required argument
            help = 'login as user')

Example of calling the parser on a command string:

>>> cmd = 'deploy sneezy.example.com sleepy.example.com -u skycaptain'
>>> result = parser.parse_args(cmd.split())
>>> result.action
'deploy'
>>> result.targets
['sneezy.example.com', 'sleepy.example.com']
>>> result.user
'skycaptain'

Example of the parser’s automatically generated help:

>>> parser.parse_args('-h'.split())

usage: manage_cloud.py [-h] -u USER
                       {deploy,start,stop} HOSTNAME [HOSTNAME ...]

Manage servers

positional arguments:
  {deploy,start,stop}   action on each target
  HOSTNAME              url for target machines

optional arguments:
  -h, --help            show this help message and exit
  -u USER, --user USER  login as user

Tested on Solaris and Linux

An especially nice argparse feature is the ability to define subparsers, each with their own argument patterns and help displays:

import argparse
parser = argparse.ArgumentParser(prog='HELM')
subparsers = parser.add_subparsers()

parser_l = subparsers.add_parser('launch', help='Launch Control')   # first subgroup
parser_l.add_argument('-m', '--missiles', action='store_true')
parser_l.add_argument('-t', '--torpedos', action='store_true')

parser_m = subparsers.add_parser('move', help='Move Vessel',        # second subgroup
                                 aliases=('steer', 'turn'))         # equivalent names
parser_m.add_argument('-c', '--course', type=int, required=True)
parser_m.add_argument('-s', '--speed', type=int, default=0)

$ ./helm.py --help                         # top level help (launch and move)
$ ./helm.py launch --help                  # help for launch options
$ ./helm.py launch --missiles              # set missiles=True and torpedos=False
$ ./helm.py steer --course 180 --speed 5   # set movement parameters

Ver também

PEP 389 [https://peps.python.org/pep-0389/] - New Command Line Parsing Module

PEP written by Steven Bethard.

Atualizando código optparse for details on the differences from optparse.

PEP 391: Dictionary Based Configuration for Logging

The logging module provided two kinds of configuration, one style with function calls for each option or another style driven by an external file saved in a configparser format. Those options did not provide the flexibility to create configurations from JSON or YAML files, nor did they support incremental configuration, which is needed for specifying logger options from a command line.

To support a more flexible style, the module now offers logging.config.dictConfig() for specifying logging configuration with plain Python dictionaries. The configuration options include formatters, handlers, filters, and loggers. Here’s a working example of a configuration dictionary:

{"version": 1,
 "formatters": {"brief": {"format": "%(levelname)-8s: %(name)-15s: %(message)s"},
                "full": {"format": "%(asctime)s %(name)-15s %(levelname)-8s %(message)s"}
                },
 "handlers": {"console": {
                   "class": "logging.StreamHandler",
                   "formatter": "brief",
                   "level": "INFO",
                   "stream": "ext://sys.stdout"},
              "console_priority": {
                   "class": "logging.StreamHandler",
                   "formatter": "full",
                   "level": "ERROR",
                   "stream": "ext://sys.stderr"}
              },
 "root": {"level": "DEBUG", "handlers": ["console", "console_priority"]}}

If that dictionary is stored in a file called conf.json, it can be loaded and called with code like this:

>>> import json, logging.config
>>> with open('conf.json') as f:
...     conf = json.load(f)
...
>>> logging.config.dictConfig(conf)
>>> logging.info("Transaction completed normally")
INFO    : root           : Transaction completed normally
>>> logging.critical("Abnormal termination")
2011-02-17 11:14:36,694 root            CRITICAL Abnormal termination

Ver também

PEP 391 [https://peps.python.org/pep-0391/] - Dictionary Based Configuration for Logging

PEP written by Vinay Sajip.

PEP 3148: The concurrent.futures module

Code for creating and managing concurrency is being collected in a new top-level namespace, concurrent. Its first member is a futures package which provides a uniform high-level interface for managing threads and processes.

The design for concurrent.futures was inspired by the java.util.concurrent package. In that model, a running call and its result are represented by a Future object that abstracts features common to threads, processes, and remote procedure calls. That object supports status checks (running or done), timeouts, cancellations, adding callbacks, and access to results or exceptions.

The primary offering of the new module is a pair of executor classes for launching and managing calls. The goal of the executors is to make it easier to use existing tools for making parallel calls. They save the effort needed to setup a pool of resources, launch the calls, create a results queue, add time-out handling, and limit the total number of threads, processes, or remote procedure calls.

Ideally, each application should share a single executor across multiple components so that process and thread limits can be centrally managed. This solves the design challenge that arises when each component has its own competing strategy for resource management.

Both classes share a common interface with three methods: submit() for scheduling a callable and returning a Future object; map() for scheduling many asynchronous calls at a time, and shutdown() for freeing resources. The class is a context manager and can be used in a with statement to assure that resources are automatically released when currently pending futures are done executing.

A simple of example of ThreadPoolExecutor is a launch of four parallel threads for copying files:

import concurrent.futures, shutil
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as e:
    e.submit(shutil.copy, 'src1.txt', 'dest1.txt')
    e.submit(shutil.copy, 'src2.txt', 'dest2.txt')
    e.submit(shutil.copy, 'src3.txt', 'dest3.txt')
    e.submit(shutil.copy, 'src3.txt', 'dest4.txt')

Ver também

PEP 3148 [https://peps.python.org/pep-3148/] - Futures – Execute Computations Asynchronously

PEP written by Brian Quinlan.

Code for Threaded Parallel URL reads, an example using threads to fetch multiple web pages in parallel.

Code for computing prime numbers in parallel, an example demonstrating ProcessPoolExecutor.

PEP 3147: PYC Repository Directories

Python’s scheme for caching bytecode in .pyc files did not work well in environments with multiple Python interpreters. If one interpreter encountered a cached file created by another interpreter, it would recompile the source and overwrite the cached file, thus losing the benefits of caching.

The issue of “pyc fights” has become more pronounced as it has become commonplace for Linux distributions to ship with multiple versions of Python. These conflicts also arise with CPython alternatives such as Unladen Swallow.

To solve this problem, Python’s import machinery has been extended to use distinct filenames for each interpreter. Instead of Python 3.2 and Python 3.3 and Unladen Swallow each competing for a file called “mymodule.pyc”, they will now look for “mymodule.cpython-32.pyc”, “mymodule.cpython-33.pyc”, and “mymodule.unladen10.pyc”. And to prevent all of these new files from cluttering source directories, the pyc files are now collected in a “__pycache__” directory stored under the package directory.

Aside from the filenames and target directories, the new scheme has a few aspects that are visible to the programmer:

Imported modules now have a __cached__ attribute which stores the name of the actual file that was imported:

>>> import collections
>>> collections.__cached__
'c:/py32/lib/__pycache__/collections.cpython-32.pyc'

The tag that is unique to each interpreter is accessible from the imp module:

>>> import imp
>>> imp.get_tag()
'cpython-32'

Scripts that try to deduce source filename from the imported file now need to be smarter. It is no longer sufficient to simply strip the “c” from a “.pyc” filename. Instead, use the new functions in the imp module:

>>> imp.source_from_cache('c:/py32/lib/__pycache__/collections.cpython-32.pyc')
'c:/py32/lib/collections.py'
>>> imp.cache_from_source('c:/py32/lib/collections.py')
'c:/py32/lib/__pycache__/collections.cpython-32.pyc'

The py_compile and compileall modules have been updated to reflect the new naming convention and target directory. The command-line invocation of compileall has new options: -i for specifying a list of files and directories to compile and -b which causes bytecode files to be written to their legacy location rather than __pycache__.

The importlib.abc module has been updated with new abstract base classes for loading bytecode files. The obsolete ABCs, PyLoader and PyPycLoader, have been deprecated (instructions on how to stay Python 3.1 compatible are included with the documentation).

Ver também

PEP 3147 [https://peps.python.org/pep-3147/] - PYC Repository Directories

PEP written by Barry Warsaw.

PEP 3149: ABI Version Tagged .so Files

The PYC repository directory allows multiple bytecode cache files to be co-located. This PEP implements a similar mechanism for shared object files by giving them a common directory and distinct names for each version.

The common directory is “pyshared” and the file names are made distinct by identifying the Python implementation (such as CPython, PyPy, Jython, etc.), the major and minor version numbers, and optional build flags (such as “d” for debug, “m” for pymalloc, “u” for wide-unicode). For an arbitrary package “foo”, you may see these files when the distribution package is installed:

/usr/share/pyshared/foo.cpython-32m.so
/usr/share/pyshared/foo.cpython-33md.so

In Python itself, the tags are accessible from functions in the sysconfig module:

>>> import sysconfig
>>> sysconfig.get_config_var('SOABI')       # find the version tag
'cpython-32mu'
>>> sysconfig.get_config_var('EXT_SUFFIX')  # find the full filename extension
'.cpython-32mu.so'

Ver também

PEP 3149 [https://peps.python.org/pep-3149/] - ABI Version Tagged .so Files

PEP written by Barry Warsaw.

PEP 3333: Python Web Server Gateway Interface v1.0.1

This informational PEP clarifies how bytes/text issues are to be handled by the WSGI protocol. The challenge is that string handling in Python 3 is most conveniently handled with the str type even though the HTTP protocol is itself bytes oriented.

The PEP differentiates so-called native strings that are used for request/response headers and metadata versus byte strings which are used for the bodies of requests and responses.

The native strings are always of type str but are restricted to code points between U+0000 through U+00FF which are translatable to bytes using Latin-1 encoding. These strings are used for the keys and values in the environment dictionary and for response headers and statuses in the start_response() function. They must follow RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html] with respect to encoding. That is, they must either be ISO-8859-1 characters or use RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] MIME encoding.

For developers porting WSGI applications from Python 2, here are the salient points:

If the app already used strings for headers in Python 2, no change is needed.

If instead, the app encoded output headers or decoded input headers, then the headers will need to be re-encoded to Latin-1. For example, an output header encoded in utf-8 was using h.encode('utf-8') now needs to convert from bytes to native strings using h.encode('utf-8').decode('latin-1').

Values yielded by an application or sent using the write() method must be byte strings. The start_response() function and environ must use native strings. The two cannot be mixed.

For server implementers writing CGI-to-WSGI pathways or other CGI-style protocols, the users must to be able access the environment using native strings even though the underlying platform may have a different convention. To bridge this gap, the wsgiref module has a new function, wsgiref.handlers.read_environ() for transcoding CGI variables from os.environ into native strings and returning a new dictionary.

Ver também

PEP 3333 [https://peps.python.org/pep-3333/] - Python Web Server Gateway Interface v1.0.1

PEP written by Phillip Eby.

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

String formatting for format() and str.format() gained new capabilities for the format character #. Previously, for integers in binary, octal, or hexadecimal, it caused the output to be prefixed with ‘0b’, ‘0o’, or ‘0x’ respectively. Now it can also handle floats, complex, and Decimal, causing the output to always have a decimal point even when no digits follow it.

>>> format(20, '#o')
'0o24'
>>> format(12.34, '#5.0f')
'  12.'

(Suggested by Mark Dickinson and implemented by Eric Smith in bpo-7094 [https://bugs.python.org/issue?@action=redirect&bpo=7094].)

There is also a new str.format_map() method that extends the capabilities of the existing str.format() method by accepting arbitrary mapping objects. This new method makes it possible to use string formatting with any of Python’s many dictionary-like objects such as defaultdict, Shelf, ConfigParser, or dbm. It is also useful with custom dict subclasses that normalize keys before look-up or that supply a __missing__() method for unknown keys:

>>> import shelve
>>> d = shelve.open('tmp.shl')
>>> 'The {project_name} status is {status} as of {date}'.format_map(d)
'The testing project status is green as of February 15, 2011'

>>> class LowerCasedDict(dict):
...     def __getitem__(self, key):
...         return dict.__getitem__(self, key.lower())
...
>>> lcd = LowerCasedDict(part='widgets', quantity=10)
>>> 'There are {QUANTITY} {Part} in stock'.format_map(lcd)
'There are 10 widgets in stock'

>>> class PlaceholderDict(dict):
...     def __missing__(self, key):
...         return '<{}>'.format(key)
...
>>> 'Hello {name}, welcome to {location}'.format_map(PlaceholderDict())
'Hello <name>, welcome to <location>'

(Suggested by Raymond Hettinger and implemented by Eric Smith in bpo-6081 [https://bugs.python.org/issue?@action=redirect&bpo=6081].)

The interpreter can now be started with a quiet option, -q, to prevent the copyright and version information from being displayed in the interactive mode. The option can be introspected using the sys.flags attribute:

$ python -q
>>> sys.flags
sys.flags(debug=0, division_warning=0, inspect=0, interactive=0,
optimize=0, dont_write_bytecode=0, no_user_site=0, no_site=0,
ignore_environment=0, verbose=0, bytes_warning=0, quiet=1)

(Contributed by Marcin Wojdyr in bpo-1772833 [https://bugs.python.org/issue?@action=redirect&bpo=1772833]).

The hasattr() function works by calling getattr() and detecting whether an exception is raised. This technique allows it to detect methods created dynamically by __getattr__() or __getattribute__() which would otherwise be absent from the class dictionary. Formerly, hasattr would catch any exception, possibly masking genuine errors. Now, hasattr has been tightened to only catch AttributeError and let other exceptions pass through:

>>> class A:
...     @property
...     def f(self):
...         return 1 // 0
...
>>> a = A()
>>> hasattr(a, 'f')
Traceback (most recent call last):
  ...
ZeroDivisionError: integer division or modulo by zero

(Discovered by Yury Selivanov and fixed by Benjamin Peterson; bpo-9666 [https://bugs.python.org/issue?@action=redirect&bpo=9666].)

The str() of a float or complex number is now the same as its repr(). Previously, the str() form was shorter but that just caused confusion and is no longer needed now that the shortest possible repr() is displayed by default:

>>> import math
>>> repr(math.pi)
'3.141592653589793'
>>> str(math.pi)
'3.141592653589793'

(Proposed and implemented by Mark Dickinson; bpo-9337 [https://bugs.python.org/issue?@action=redirect&bpo=9337].)

memoryview objects now have a release() method and they also now support the context management protocol. This allows timely release of any resources that were acquired when requesting a buffer from the original object.

>>> with memoryview(b'abcdefgh') as v:
...     print(v.tolist())
[97, 98, 99, 100, 101, 102, 103, 104]

(Added by Antoine Pitrou; bpo-9757 [https://bugs.python.org/issue?@action=redirect&bpo=9757].)

Previously it was illegal to delete a name from the local namespace if it occurs as a free variable in a nested block:

def outer(x):
    def inner():
        return x
    inner()
    del x

This is now allowed. Remember that the target of an except clause is cleared, so this code which used to work with Python 2.6, raised a SyntaxError with Python 3.1 and now works again:

def f():
    def print_error():
        print(e)
    try:
        something
    except Exception as e:
        print_error()
        # implicit "del e" here

(See bpo-4617 [https://bugs.python.org/issue?@action=redirect&bpo=4617].)

Struct sequence types are now subclasses of tuple. This means that C structures like those returned by os.stat(), time.gmtime(), and sys.version_info now work like a named tuple and now work with functions and methods that expect a tuple as an argument. This is a big step forward in making the C structures as flexible as their pure Python counterparts:

>>> import sys
>>> isinstance(sys.version_info, tuple)
True
>>> 'Version %d.%d.%d %s(%d)' % sys.version_info
'Version 3.2.0 final(0)'

(Suggested by Arfrever Frehtes Taifersar Arahesis and implemented by Benjamin Peterson in bpo-8413 [https://bugs.python.org/issue?@action=redirect&bpo=8413].)

Warnings are now easier to control using the PYTHONWARNINGS environment variable as an alternative to using -W at the command line:

$ export PYTHONWARNINGS='ignore::RuntimeWarning::,once::UnicodeWarning::'

(Suggested by Barry Warsaw and implemented by Philip Jenvey in bpo-7301 [https://bugs.python.org/issue?@action=redirect&bpo=7301].)

A new warning category, ResourceWarning, has been added. It is emitted when potential issues with resource consumption or cleanup are detected. It is silenced by default in normal release builds but can be enabled through the means provided by the warnings module, or on the command line.

A ResourceWarning is issued at interpreter shutdown if the gc.garbage list isn’t empty, and if gc.DEBUG_UNCOLLECTABLE is set, all uncollectable objects are printed. This is meant to make the programmer aware that their code contains object finalization issues.

A ResourceWarning is also issued when a file object is destroyed without having been explicitly closed. While the deallocator for such object ensures it closes the underlying operating system resource (usually, a file descriptor), the delay in deallocating the object could produce various issues, especially under Windows. Here is an example of enabling the warning from the command line:

$ python -q -Wdefault
>>> f = open("foo", "wb")
>>> del f
__main__:1: ResourceWarning: unclosed file <_io.BufferedWriter name='foo'>

(Added by Antoine Pitrou and Georg Brandl in bpo-10093 [https://bugs.python.org/issue?@action=redirect&bpo=10093] and bpo-477863 [https://bugs.python.org/issue?@action=redirect&bpo=477863].)

range objects now support index and count methods. This is part of an effort to make more objects fully implement the collections.Sequence abstract base class. As a result, the language will have a more uniform API. In addition, range objects now support slicing and negative indices, even with values larger than sys.maxsize. This makes range more interoperable with lists:

>>> range(0, 100, 2).count(10)
1
>>> range(0, 100, 2).index(10)
5
>>> range(0, 100, 2)[5]
10
>>> range(0, 100, 2)[0:5]
range(0, 10, 2)

(Contributed by Daniel Stutzbach in bpo-9213 [https://bugs.python.org/issue?@action=redirect&bpo=9213], by Alexander Belopolsky in bpo-2690 [https://bugs.python.org/issue?@action=redirect&bpo=2690], and by Nick Coghlan in bpo-10889 [https://bugs.python.org/issue?@action=redirect&bpo=10889].)

The callable() builtin function from Py2.x was resurrected. It provides a concise, readable alternative to using an abstract base class in an expression like isinstance(x, collections.Callable):

>>> callable(max)
True
>>> callable(20)
False

(See bpo-10518 [https://bugs.python.org/issue?@action=redirect&bpo=10518].)

Python’s import mechanism can now load modules installed in directories with non-ASCII characters in the path name. This solved an aggravating problem with home directories for users with non-ASCII characters in their usernames.

(Required extensive work by Victor Stinner in bpo-9425 [https://bugs.python.org/issue?@action=redirect&bpo=9425].)

New, Improved, and Deprecated Modules

Python’s standard library has undergone significant maintenance efforts and quality improvements.

The biggest news for Python 3.2 is that the email package, mailbox module, and nntplib modules now work correctly with the bytes/text model in Python 3. For the first time, there is correct handling of messages with mixed encodings.

Throughout the standard library, there has been more careful attention to encodings and text versus bytes issues. In particular, interactions with the operating system are now better able to exchange non-ASCII data using the Windows MBCS encoding, locale-aware encodings, or UTF-8.

Another significant win is the addition of substantially better support for SSL connections and security certificates.

In addition, more classes now implement a context manager to support convenient and reliable resource clean-up using a with statement.

email

The usability of the email package in Python 3 has been mostly fixed by the extensive efforts of R. David Murray. The problem was that emails are typically read and stored in the form of bytes rather than str text, and they may contain multiple encodings within a single email. So, the email package had to be extended to parse and generate email messages in bytes format.

New functions message_from_bytes() and message_from_binary_file(), and new classes BytesFeedParser and BytesParser allow binary message data to be parsed into model objects.

Given bytes input to the model, get_payload() will by default decode a message body that has a Content-Transfer-Encoding of 8bit using the charset specified in the MIME headers and return the resulting string.

Given bytes input to the model, Generator will convert message bodies that have a Content-Transfer-Encoding of 8bit to instead have a 7bit Content-Transfer-Encoding.

Headers with unencoded non-ASCII bytes are deemed to be RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html]-encoded using the unknown-8bit character set.

A new class BytesGenerator produces bytes as output, preserving any unchanged non-ASCII data that was present in the input used to build the model, including message bodies with a Content-Transfer-Encoding of 8bit.

The smtplib SMTP class now accepts a byte string for the msg argument to the sendmail() method, and a new method, send_message() accepts a Message object and can optionally obtain the from_addr and to_addrs addresses directly from the object.

(Proposed and implemented by R. David Murray, bpo-4661 [https://bugs.python.org/issue?@action=redirect&bpo=4661] and bpo-10321 [https://bugs.python.org/issue?@action=redirect&bpo=10321].)

elementtree

The xml.etree.ElementTree package and its xml.etree.cElementTree counterpart have been updated to version 1.3.

Several new and useful functions and methods have been added:

xml.etree.ElementTree.fromstringlist() which builds an XML document from a sequence of fragments

xml.etree.ElementTree.register_namespace() for registering a global namespace prefix

xml.etree.ElementTree.tostringlist() for string representation including all sublists

xml.etree.ElementTree.Element.extend() for appending a sequence of zero or more elements

xml.etree.ElementTree.Element.iterfind() searches an element and subelements

xml.etree.ElementTree.Element.itertext() creates a text iterator over an element and its subelements

xml.etree.ElementTree.TreeBuilder.end() closes the current element

xml.etree.ElementTree.TreeBuilder.doctype() handles a doctype declaration

Two methods have been deprecated:

xml.etree.ElementTree.getchildren() use list(elem) instead.

xml.etree.ElementTree.getiterator() use Element.iter instead.

For details of the update, see Introducing ElementTree [https://web.archive.org/web/20200703234532/http://effbot.org/zone/elementtree-13-intro.htm] on Fredrik Lundh’s website.

(Contributed by Florent Xicluna and Fredrik Lundh, bpo-6472 [https://bugs.python.org/issue?@action=redirect&bpo=6472].)

functools

The functools module includes a new decorator for caching function calls. functools.lru_cache() can save repeated queries to an external resource whenever the results are expected to be the same.

For example, adding a caching decorator to a database query function can save database accesses for popular searches:

>>> import functools
>>> @functools.lru_cache(maxsize=300)
... def get_phone_number(name):
...     c = conn.cursor()
...     c.execute('SELECT phonenumber FROM phonelist WHERE name=?', (name,))
...     return c.fetchone()[0]

>>> for name in user_requests:
...     get_phone_number(name)        # cached lookup

To help with choosing an effective cache size, the wrapped function is instrumented for tracking cache statistics:

>>> get_phone_number.cache_info()
CacheInfo(hits=4805, misses=980, maxsize=300, currsize=300)

If the phonelist table gets updated, the outdated contents of the cache can be cleared with:

>>> get_phone_number.cache_clear()

(Contributed by Raymond Hettinger and incorporating design ideas from Jim Baker, Miki Tebeka, and Nick Coghlan; see recipe 498245 [https://code.activestate.com/recipes/498245-lru-and-lfu-cache-decorators/], recipe 577479 [https://code.activestate.com/recipes/577479-simple-caching-decorator/], bpo-10586 [https://bugs.python.org/issue?@action=redirect&bpo=10586], and bpo-10593 [https://bugs.python.org/issue?@action=redirect&bpo=10593].)

The functools.wraps() decorator now adds a __wrapped__ attribute pointing to the original callable function. This allows wrapped functions to be introspected. It also copies __annotations__ if defined. And now it also gracefully skips over missing attributes such as __doc__ which might not be defined for the wrapped callable.

In the above example, the cache can be removed by recovering the original function:

>>> get_phone_number = get_phone_number.__wrapped__    # uncached function

(By Nick Coghlan and Terrence Cole; bpo-9567 [https://bugs.python.org/issue?@action=redirect&bpo=9567], bpo-3445 [https://bugs.python.org/issue?@action=redirect&bpo=3445], and bpo-8814 [https://bugs.python.org/issue?@action=redirect&bpo=8814].)

To help write classes with rich comparison methods, a new decorator functools.total_ordering() will use existing equality and inequality methods to fill in the remaining methods.

For example, supplying __eq__ and __lt__ will enable total_ordering() to fill-in __le__, __gt__ and __ge__:

@total_ordering
class Student:
    def __eq__(self, other):
        return ((self.lastname.lower(), self.firstname.lower()) ==
                (other.lastname.lower(), other.firstname.lower()))

    def __lt__(self, other):
        return ((self.lastname.lower(), self.firstname.lower()) <
                (other.lastname.lower(), other.firstname.lower()))

With the total_ordering decorator, the remaining comparison methods are filled in automatically.

(Contributed by Raymond Hettinger.)

To aid in porting programs from Python 2, the functools.cmp_to_key() function converts an old-style comparison function to modern key function:

>>> # locale-aware sort order
>>> sorted(iterable, key=cmp_to_key(locale.strcoll))

For sorting examples and a brief sorting tutorial, see the Sorting HowTo [https://wiki.python.org/moin/HowTo/Sorting/] tutorial.

(Contributed by Raymond Hettinger.)

itertools

The itertools module has a new accumulate() function modeled on APL’s scan operator and Numpy’s accumulate function:

>>> from itertools import accumulate
>>> list(accumulate([8, 2, 50]))
[8, 10, 60]

>>> prob_dist = [0.1, 0.4, 0.2, 0.3]
>>> list(accumulate(prob_dist))      # cumulative probability distribution
[0.1, 0.5, 0.7, 1.0]

For an example using accumulate(), see the examples for the random module.

(Contributed by Raymond Hettinger and incorporating design suggestions from Mark Dickinson.)

collections

The collections.Counter class now has two forms of in-place subtraction, the existing -= operator for saturating subtraction [https://en.wikipedia.org/wiki/Saturation_arithmetic] and the new subtract() method for regular subtraction. The former is suitable for multisets [https://en.wikipedia.org/wiki/Multiset] which only have positive counts, and the latter is more suitable for use cases that allow negative counts:

>>> from collections import Counter
>>> tally = Counter(dogs=5, cats=3)
>>> tally -= Counter(dogs=2, cats=8)    # saturating subtraction
>>> tally
Counter({'dogs': 3})

>>> tally = Counter(dogs=5, cats=3)
>>> tally.subtract(dogs=2, cats=8)      # regular subtraction
>>> tally
Counter({'dogs': 3, 'cats': -5})

(Contributed by Raymond Hettinger.)

The collections.OrderedDict class has a new method move_to_end() which takes an existing key and moves it to either the first or last position in the ordered sequence.

The default is to move an item to the last position. This is equivalent of renewing an entry with od[k] = od.pop(k).

A fast move-to-end operation is useful for resequencing entries. For example, an ordered dictionary can be used to track order of access by aging entries from the oldest to the most recently accessed.

>>> from collections import OrderedDict
>>> d = OrderedDict.fromkeys(['a', 'b', 'X', 'd', 'e'])
>>> list(d)
['a', 'b', 'X', 'd', 'e']
>>> d.move_to_end('X')
>>> list(d)
['a', 'b', 'd', 'e', 'X']

(Contributed by Raymond Hettinger.)

The collections.deque class grew two new methods count() and reverse() that make them more substitutable for list objects:

>>> from collections import deque
>>> d = deque('simsalabim')
>>> d.count('s')
2
>>> d.reverse()
>>> d
deque(['m', 'i', 'b', 'a', 'l', 'a', 's', 'm', 'i', 's'])

(Contributed by Raymond Hettinger.)

threading

The threading module has a new Barrier synchronization class for making multiple threads wait until all of them have reached a common barrier point. Barriers are useful for making sure that a task with multiple preconditions does not run until all of the predecessor tasks are complete.

Barriers can work with an arbitrary number of threads. This is a generalization of a Rendezvous [https://en.wikipedia.org/wiki/Synchronous_rendezvous] which is defined for only two threads.

Implemented as a two-phase cyclic barrier, Barrier objects are suitable for use in loops. The separate filling and draining phases assure that all threads get released (drained) before any one of them can loop back and re-enter the barrier. The barrier fully resets after each cycle.

Example of using barriers:

from threading import Barrier, Thread

def get_votes(site):
    ballots = conduct_election(site)
    all_polls_closed.wait()        # do not count until all polls are closed
    totals = summarize(ballots)
    publish(site, totals)

all_polls_closed = Barrier(len(sites))
for site in sites:
    Thread(target=get_votes, args=(site,)).start()

In this example, the barrier enforces a rule that votes cannot be counted at any polling site until all polls are closed. Notice how a solution with a barrier is similar to one with threading.Thread.join(), but the threads stay alive and continue to do work (summarizing ballots) after the barrier point is crossed.

If any of the predecessor tasks can hang or be delayed, a barrier can be created with an optional timeout parameter. Then if the timeout period elapses before all the predecessor tasks reach the barrier point, all waiting threads are released and a BrokenBarrierError exception is raised:

def get_votes(site):
    ballots = conduct_election(site)
    try:
        all_polls_closed.wait(timeout=midnight - time.now())
    except BrokenBarrierError:
        lockbox = seal_ballots(ballots)
        queue.put(lockbox)
    else:
        totals = summarize(ballots)
        publish(site, totals)

In this example, the barrier enforces a more robust rule. If some election sites do not finish before midnight, the barrier times-out and the ballots are sealed and deposited in a queue for later handling.

See Barrier Synchronization Patterns [https://osl.cs.illinois.edu/media/papers/karmani-2009-barrier_synchronization_pattern.pdf] for more examples of how barriers can be used in parallel computing. Also, there is a simple but thorough explanation of barriers in The Little Book of Semaphores [https://greenteapress.com/semaphores/LittleBookOfSemaphores.pdf], section 3.6.

(Contributed by Kristján Valur Jónsson with an API review by Jeffrey Yasskin in bpo-8777 [https://bugs.python.org/issue?@action=redirect&bpo=8777].)

datetime and time

The datetime module has a new type timezone that implements the tzinfo interface by returning a fixed UTC offset and timezone name. This makes it easier to create timezone-aware datetime objects:

>>> from datetime import datetime, timezone

>>> datetime.now(timezone.utc)
datetime.datetime(2010, 12, 8, 21, 4, 2, 923754, tzinfo=datetime.timezone.utc)

>>> datetime.strptime("01/01/2000 12:00 +0000", "%m/%d/%Y %H:%M %z")
datetime.datetime(2000, 1, 1, 12, 0, tzinfo=datetime.timezone.utc)

Also, timedelta objects can now be multiplied by float and divided by float and int objects. And timedelta objects can now divide one another.

The datetime.date.strftime() method is no longer restricted to years after 1900. The new supported year range is from 1000 to 9999 inclusive.

Whenever a two-digit year is used in a time tuple, the interpretation has been governed by time.accept2dyear. The default is True which means that for a two-digit year, the century is guessed according to the POSIX rules governing the %y strptime format.

Starting with Py3.2, use of the century guessing heuristic will emit a DeprecationWarning. Instead, it is recommended that time.accept2dyear be set to False so that large date ranges can be used without guesswork:

>>> import time, warnings
>>> warnings.resetwarnings()      # remove the default warning filters

>>> time.accept2dyear = True      # guess whether 11 means 11 or 2011
>>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
Warning (from warnings module):
  ...
DeprecationWarning: Century info guessed for a 2-digit year.
'Fri Jan  1 12:34:56 2011'

>>> time.accept2dyear = False     # use the full range of allowable dates
>>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
'Fri Jan  1 12:34:56 11'

Several functions now have significantly expanded date ranges. When time.accept2dyear is false, the time.asctime() function will accept any year that fits in a C int, while the time.mktime() and time.strftime() functions will accept the full range supported by the corresponding operating system functions.

(Contributed by Alexander Belopolsky and Victor Stinner in bpo-1289118 [https://bugs.python.org/issue?@action=redirect&bpo=1289118], bpo-5094 [https://bugs.python.org/issue?@action=redirect&bpo=5094], bpo-6641 [https://bugs.python.org/issue?@action=redirect&bpo=6641], bpo-2706 [https://bugs.python.org/issue?@action=redirect&bpo=2706], bpo-1777412 [https://bugs.python.org/issue?@action=redirect&bpo=1777412], bpo-8013 [https://bugs.python.org/issue?@action=redirect&bpo=8013], and bpo-10827 [https://bugs.python.org/issue?@action=redirect&bpo=10827].)

math

The math module has been updated with six new functions inspired by the C99 standard.

The isfinite() function provides a reliable and fast way to detect special values. It returns True for regular numbers and False for Nan or Infinity:

>>> from math import isfinite
>>> [isfinite(x) for x in (123, 4.56, float('Nan'), float('Inf'))]
[True, True, False, False]

The expm1() function computes e**x-1 for small values of x without incurring the loss of precision that usually accompanies the subtraction of nearly equal quantities:

>>> from math import expm1
>>> expm1(0.013671875)   # more accurate way to compute e**x-1 for a small x
0.013765762467652909

The erf() function computes a probability integral or Gaussian error function [https://en.wikipedia.org/wiki/Error_function]. The complementary error function, erfc(), is 1 - erf(x):

>>> from math import erf, erfc, sqrt
>>> erf(1.0/sqrt(2.0))   # portion of normal distribution within 1 standard deviation
0.682689492137086
>>> erfc(1.0/sqrt(2.0))  # portion of normal distribution outside 1 standard deviation
0.31731050786291404
>>> erf(1.0/sqrt(2.0)) + erfc(1.0/sqrt(2.0))
1.0

The gamma() function is a continuous extension of the factorial function. See https://en.wikipedia.org/wiki/Gamma_function for details. Because the function is related to factorials, it grows large even for small values of x, so there is also a lgamma() function for computing the natural logarithm of the gamma function:

>>> from math import gamma, lgamma
>>> gamma(7.0)           # six factorial
720.0
>>> lgamma(801.0)        # log(800 factorial)
4551.950730698041

(Contributed by Mark Dickinson.)

abc

The abc module now supports abstractclassmethod() and abstractstaticmethod().

These tools make it possible to define an abstract base class that requires a particular classmethod() or staticmethod() to be implemented:

class Temperature(metaclass=abc.ABCMeta):
    @abc.abstractclassmethod
    def from_fahrenheit(cls, t):
        ...
    @abc.abstractclassmethod
    def from_celsius(cls, t):
        ...

(Patch submitted by Daniel Urban; bpo-5867 [https://bugs.python.org/issue?@action=redirect&bpo=5867].)

io

The io.BytesIO has a new method, getbuffer(), which provides functionality similar to memoryview(). It creates an editable view of the data without making a copy. The buffer’s random access and support for slice notation are well-suited to in-place editing:

>>> REC_LEN, LOC_START, LOC_LEN = 34, 7, 11

>>> def change_location(buffer, record_number, location):
...     start = record_number * REC_LEN + LOC_START
...     buffer[start: start+LOC_LEN] = location

>>> import io

>>> byte_stream = io.BytesIO(
...     b'G3805  storeroom  Main chassis    '
...     b'X7899  shipping   Reserve cog     '
...     b'L6988  receiving  Primary sprocket'
... )
>>> buffer = byte_stream.getbuffer()
>>> change_location(buffer, 1, b'warehouse  ')
>>> change_location(buffer, 0, b'showroom   ')
>>> print(byte_stream.getvalue())
b'G3805  showroom   Main chassis    '
b'X7899  warehouse  Reserve cog     '
b'L6988  receiving  Primary sprocket'

(Contributed by Antoine Pitrou in bpo-5506 [https://bugs.python.org/issue?@action=redirect&bpo=5506].)

reprlib

When writing a __repr__() method for a custom container, it is easy to forget to handle the case where a member refers back to the container itself. Python’s builtin objects such as list and set handle self-reference by displaying “…” in the recursive part of the representation string.

To help write such __repr__() methods, the reprlib module has a new decorator, recursive_repr(), for detecting recursive calls to __repr__() and substituting a placeholder string instead:

>>> class MyList(list):
...     @recursive_repr()
...     def __repr__(self):
...         return '<' + '|'.join(map(repr, self)) + '>'
...
>>> m = MyList('abc')
>>> m.append(m)
>>> m.append('x')
>>> print(m)
<'a'|'b'|'c'|...|'x'>

(Contributed by Raymond Hettinger in bpo-9826 [https://bugs.python.org/issue?@action=redirect&bpo=9826] and bpo-9840 [https://bugs.python.org/issue?@action=redirect&bpo=9840].)

logging

In addition to dictionary-based configuration described above, the logging package has many other improvements.

The logging documentation has been augmented by a basic tutorial, an advanced tutorial, and a cookbook of logging recipes. These documents are the fastest way to learn about logging.

The logging.basicConfig() set-up function gained a style argument to support three different types of string formatting. It defaults to “%” for traditional %-formatting, can be set to “{” for the new str.format() style, or can be set to “$” for the shell-style formatting provided by string.Template. The following three configurations are equivalent:

>>> from logging import basicConfig
>>> basicConfig(style='%', format="%(name)s -> %(levelname)s: %(message)s")
>>> basicConfig(style='{', format="{name} -> {levelname} {message}")
>>> basicConfig(style='$', format="$name -> $levelname: $message")

If no configuration is set-up before a logging event occurs, there is now a default configuration using a StreamHandler directed to sys.stderr for events of WARNING level or higher. Formerly, an event occurring before a configuration was set-up would either raise an exception or silently drop the event depending on the value of logging.raiseExceptions. The new default handler is stored in logging.lastResort.

The use of filters has been simplified. Instead of creating a Filter object, the predicate can be any Python callable that returns True or False.

There were a number of other improvements that add flexibility and simplify configuration. See the module documentation for a full listing of changes in Python 3.2.

csv

The csv module now supports a new dialect, unix_dialect, which applies quoting for all fields and a traditional Unix style with '\n' as the line terminator. The registered dialect name is unix.

The csv.DictWriter has a new method, writeheader() for writing-out an initial row to document the field names:

>>> import csv, sys
>>> w = csv.DictWriter(sys.stdout, ['name', 'dept'], dialect='unix')
>>> w.writeheader()
"name","dept"
>>> w.writerows([
...     {'name': 'tom', 'dept': 'accounting'},
...     {'name': 'susan', 'dept': 'Salesl'}])
"tom","accounting"
"susan","sales"

(New dialect suggested by Jay Talbot in bpo-5975 [https://bugs.python.org/issue?@action=redirect&bpo=5975], and the new method suggested by Ed Abraham in bpo-1537721 [https://bugs.python.org/issue?@action=redirect&bpo=1537721].)

contextlib

There is a new and slightly mind-blowing tool ContextDecorator that is helpful for creating a context manager that does double duty as a function decorator.

As a convenience, this new functionality is used by contextmanager() so that no extra effort is needed to support both roles.

The basic idea is that both context managers and function decorators can be used for pre-action and post-action wrappers. Context managers wrap a group of statements using a with statement, and function decorators wrap a group of statements enclosed in a function. So, occasionally there is a need to write a pre-action or post-action wrapper that can be used in either role.

For example, it is sometimes useful to wrap functions or groups of statements with a logger that can track the time of entry and time of exit. Rather than writing both a function decorator and a context manager for the task, the contextmanager() provides both capabilities in a single definition:

from contextlib import contextmanager
import logging

logging.basicConfig(level=logging.INFO)

@contextmanager
def track_entry_and_exit(name):
    logging.info('Entering: %s', name)
    yield
    logging.info('Exiting: %s', name)

Formerly, this would have only been usable as a context manager:

with track_entry_and_exit('widget loader'):
    print('Some time consuming activity goes here')
    load_widget()

Now, it can be used as a decorator as well:

@track_entry_and_exit('widget loader')
def activity():
    print('Some time consuming activity goes here')
    load_widget()

Trying to fulfill two roles at once places some limitations on the technique. Context managers normally have the flexibility to return an argument usable by a with statement, but there is no parallel for function decorators.

In the above example, there is not a clean way for the track_entry_and_exit context manager to return a logging instance for use in the body of enclosed statements.

(Contributed by Michael Foord in bpo-9110 [https://bugs.python.org/issue?@action=redirect&bpo=9110].)

decimal and fractions

Mark Dickinson crafted an elegant and efficient scheme for assuring that different numeric datatypes will have the same hash value whenever their actual values are equal (bpo-8188 [https://bugs.python.org/issue?@action=redirect&bpo=8188]):

assert hash(Fraction(3, 2)) == hash(1.5) == \
       hash(Decimal("1.5")) == hash(complex(1.5, 0))

Some of the hashing details are exposed through a new attribute, sys.hash_info, which describes the bit width of the hash value, the prime modulus, the hash values for infinity and nan, and the multiplier used for the imaginary part of a number:

>>> sys.hash_info
sys.hash_info(width=64, modulus=2305843009213693951, inf=314159, nan=0, imag=1000003)

An early decision to limit the interoperability of various numeric types has been relaxed. It is still unsupported (and ill-advised) to have implicit mixing in arithmetic expressions such as Decimal('1.1') + float('1.1') because the latter loses information in the process of constructing the binary float. However, since existing floating-point value can be converted losslessly to either a decimal or rational representation, it makes sense to add them to the constructor and to support mixed-type comparisons.

The decimal.Decimal constructor now accepts float objects directly so there in no longer a need to use the from_float() method (bpo-8257 [https://bugs.python.org/issue?@action=redirect&bpo=8257]).

Mixed type comparisons are now fully supported so that Decimal objects can be directly compared with float and fractions.Fraction (bpo-2531 [https://bugs.python.org/issue?@action=redirect&bpo=2531] and bpo-8188 [https://bugs.python.org/issue?@action=redirect&bpo=8188]).

Similar changes were made to fractions.Fraction so that the from_float() and from_decimal() methods are no longer needed (bpo-8294 [https://bugs.python.org/issue?@action=redirect&bpo=8294]):

>>> from decimal import Decimal
>>> from fractions import Fraction
>>> Decimal(1.1)
Decimal('1.100000000000000088817841970012523233890533447265625')
>>> Fraction(1.1)
Fraction(2476979795053773, 2251799813685248)

Another useful change for the decimal module is that the Context.clamp attribute is now public. This is useful in creating contexts that correspond to the decimal interchange formats specified in IEEE 754 (see bpo-8540 [https://bugs.python.org/issue?@action=redirect&bpo=8540]).

(Contributed by Mark Dickinson and Raymond Hettinger.)

ftp

The ftplib.FTP class now supports the context management protocol to unconditionally consume socket.error exceptions and to close the FTP connection when done:

>>> from ftplib import FTP
>>> with FTP("ftp1.at.proftpd.org") as ftp:
        ftp.login()
        ftp.dir()

'230 Anonymous login ok, restrictions apply.'
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 .
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 ..
dr-xr-xr-x   5 ftp      ftp          4096 May  6 10:43 CentOS
dr-xr-xr-x   3 ftp      ftp            18 Jul 10  2008 Fedora

Other file-like objects such as mmap.mmap and fileinput.input() also grew auto-closing context managers:

with fileinput.input(files=('log1.txt', 'log2.txt')) as f:
    for line in f:
        process(line)

(Contributed by Tarek Ziadé and Giampaolo Rodolà in bpo-4972 [https://bugs.python.org/issue?@action=redirect&bpo=4972], and by Georg Brandl in bpo-8046 [https://bugs.python.org/issue?@action=redirect&bpo=8046] and bpo-1286 [https://bugs.python.org/issue?@action=redirect&bpo=1286].)

The FTP_TLS class now accepts a context parameter, which is a ssl.SSLContext object allowing bundling SSL configuration options, certificates and private keys into a single (potentially long-lived) structure.

(Contributed by Giampaolo Rodolà; bpo-8806 [https://bugs.python.org/issue?@action=redirect&bpo=8806].)

popen

The os.popen() and subprocess.Popen() functions now support with statements for auto-closing of the file descriptors.

(Contributed by Antoine Pitrou and Brian Curtin in bpo-7461 [https://bugs.python.org/issue?@action=redirect&bpo=7461] and bpo-10554 [https://bugs.python.org/issue?@action=redirect&bpo=10554].)

select

The select module now exposes a new, constant attribute, PIPE_BUF, which gives the minimum number of bytes which are guaranteed not to block when select.select() says a pipe is ready for writing.

>>> import select
>>> select.PIPE_BUF
512

(Available on Unix systems. Patch by Sébastien Sablé in bpo-9862 [https://bugs.python.org/issue?@action=redirect&bpo=9862])

gzip and zipfile

gzip.GzipFile now implements the io.BufferedIOBase abstract base class (except for truncate()). It also has a peek() method and supports unseekable as well as zero-padded file objects.

The gzip module also gains the compress() and decompress() functions for easier in-memory compression and decompression. Keep in mind that text needs to be encoded as bytes before compressing and decompressing:

>>> import gzip
>>> s = 'Three shall be the number thou shalt count, '
>>> s += 'and the number of the counting shall be three'
>>> b = s.encode()                        # convert to utf-8
>>> len(b)
89
>>> c = gzip.compress(b)
>>> len(c)
77
>>> gzip.decompress(c).decode()[:42]      # decompress and convert to text
'Three shall be the number thou shalt count'

(Contributed by Anand B. Pillai in bpo-3488 [https://bugs.python.org/issue?@action=redirect&bpo=3488]; and by Antoine Pitrou, Nir Aides and Brian Curtin in bpo-9962 [https://bugs.python.org/issue?@action=redirect&bpo=9962], bpo-1675951 [https://bugs.python.org/issue?@action=redirect&bpo=1675951], bpo-7471 [https://bugs.python.org/issue?@action=redirect&bpo=7471] and bpo-2846 [https://bugs.python.org/issue?@action=redirect&bpo=2846].)

Also, the zipfile.ZipExtFile class was reworked internally to represent files stored inside an archive. The new implementation is significantly faster and can be wrapped in an io.BufferedReader object for more speedups. It also solves an issue where interleaved calls to read and readline gave the wrong results.

(Patch submitted by Nir Aides in bpo-7610 [https://bugs.python.org/issue?@action=redirect&bpo=7610].)

tarfile

The TarFile class can now be used as a context manager. In addition, its add() method has a new option, filter, that controls which files are added to the archive and allows the file metadata to be edited.

The new filter option replaces the older, less flexible exclude parameter which is now deprecated. If specified, the optional filter parameter needs to be a keyword argument. The user-supplied filter function accepts a TarInfo object and returns an updated TarInfo object, or if it wants the file to be excluded, the function can return None:

>>> import tarfile, glob

>>> def myfilter(tarinfo):
...     if tarinfo.isfile():             # only save real files
...         tarinfo.uname = 'monty'      # redact the user name
...         return tarinfo

>>> with tarfile.open(name='myarchive.tar.gz', mode='w:gz') as tf:
...     for filename in glob.glob('*.txt'):
...         tf.add(filename, filter=myfilter)
...     tf.list()
-rw-r--r-- monty/501        902 2011-01-26 17:59:11 annotations.txt
-rw-r--r-- monty/501        123 2011-01-26 17:59:11 general_questions.txt
-rw-r--r-- monty/501       3514 2011-01-26 17:59:11 prion.txt
-rw-r--r-- monty/501        124 2011-01-26 17:59:11 py_todo.txt
-rw-r--r-- monty/501       1399 2011-01-26 17:59:11 semaphore_notes.txt

(Proposed by Tarek Ziadé and implemented by Lars Gustäbel in bpo-6856 [https://bugs.python.org/issue?@action=redirect&bpo=6856].)

hashlib

The hashlib module has two new constant attributes listing the hashing algorithms guaranteed to be present in all implementations and those available on the current implementation:

>>> import hashlib

>>> hashlib.algorithms_guaranteed
{'sha1', 'sha224', 'sha384', 'sha256', 'sha512', 'md5'}

>>> hashlib.algorithms_available
{'md2', 'SHA256', 'SHA512', 'dsaWithSHA', 'mdc2', 'SHA224', 'MD4', 'sha256',
'sha512', 'ripemd160', 'SHA1', 'MDC2', 'SHA', 'SHA384', 'MD2',
'ecdsa-with-SHA1','md4', 'md5', 'sha1', 'DSA-SHA', 'sha224',
'dsaEncryption', 'DSA', 'RIPEMD160', 'sha', 'MD5', 'sha384'}

(Suggested by Carl Chenet in bpo-7418 [https://bugs.python.org/issue?@action=redirect&bpo=7418].)

ast

The ast module has a wonderful a general-purpose tool for safely evaluating expression strings using the Python literal syntax. The ast.literal_eval() function serves as a secure alternative to the builtin eval() function which is easily abused. Python 3.2 adds bytes and set literals to the list of supported types: strings, bytes, numbers, tuples, lists, dicts, sets, booleans, and None.

>>> from ast import literal_eval

>>> request = "{'req': 3, 'func': 'pow', 'args': (2, 0.5)}"
>>> literal_eval(request)
{'args': (2, 0.5), 'req': 3, 'func': 'pow'}

>>> request = "os.system('do something harmful')"
>>> literal_eval(request)
Traceback (most recent call last):
  ...
ValueError: malformed node or string: <_ast.Call object at 0x101739a10>

(Implemented by Benjamin Peterson and Georg Brandl.)

os

Different operating systems use various encodings for filenames and environment variables. The os module provides two new functions, fsencode() and fsdecode(), for encoding and decoding filenames:

>>> import os
>>> filename = 'Sehenswürdigkeiten'
>>> os.fsencode(filename)
b'Sehensw\xc3\xbcrdigkeiten'

Some operating systems allow direct access to encoded bytes in the environment. If so, the os.supports_bytes_environ constant will be true.

For direct access to encoded environment variables (if available), use the new os.getenvb() function or use os.environb which is a bytes version of os.environ.

(Contributed by Victor Stinner.)

shutil

The shutil.copytree() function has two new options:

ignore_dangling_symlinks: when symlinks=False so that the function copies a file pointed to by a symlink, not the symlink itself. This option will silence the error raised if the file doesn’t exist.

copy_function: is a callable that will be used to copy files. shutil.copy2() is used by default.

(Contributed by Tarek Ziadé.)

In addition, the shutil module now supports archiving operations for zipfiles, uncompressed tarfiles, gzipped tarfiles, and bzipped tarfiles. And there are functions for registering additional archiving file formats (such as xz compressed tarfiles or custom formats).

The principal functions are make_archive() and unpack_archive(). By default, both operate on the current directory (which can be set by os.chdir()) and on any sub-directories. The archive filename needs to be specified with a full pathname. The archiving step is non-destructive (the original files are left unchanged).

>>> import shutil, pprint

>>> os.chdir('mydata')  # change to the source directory
>>> f = shutil.make_archive('/var/backup/mydata',
...                         'zip')      # archive the current directory
>>> f                                   # show the name of archive
'/var/backup/mydata.zip'
>>> os.chdir('tmp')                     # change to an unpacking
>>> shutil.unpack_archive('/var/backup/mydata.zip')  # recover the data

>>> pprint.pprint(shutil.get_archive_formats())  # display known formats
[('bztar', "bzip2'ed tar-file"),
 ('gztar', "gzip'ed tar-file"),
 ('tar', 'uncompressed tar file'),
 ('zip', 'ZIP file')]

>>> shutil.register_archive_format(     # register a new archive format
...     name='xz',
...     function=xz.compress,           # callable archiving function
...     extra_args=[('level', 8)],      # arguments to the function
...     description='xz compression'
... )

(Contributed by Tarek Ziadé.)

sqlite3

The sqlite3 module was updated to pysqlite version 2.6.0. It has two new capabilities.

The sqlite3.Connection.in_transit attribute is true if there is an active transaction for uncommitted changes.

The sqlite3.Connection.enable_load_extension() and sqlite3.Connection.load_extension() methods allows you to load SQLite extensions from “.so” files. One well-known extension is the fulltext-search extension distributed with SQLite.

(Contributed by R. David Murray and Shashwat Anand; bpo-8845 [https://bugs.python.org/issue?@action=redirect&bpo=8845].)

html

A new html module was introduced with only a single function, escape(), which is used for escaping reserved characters from HTML markup:

>>> import html
>>> html.escape('x > 2 && x < 7')
'x &gt; 2 &amp;&amp; x &lt; 7'

socket

The socket module has two new improvements.

Socket objects now have a detach() method which puts the socket into closed state without actually closing the underlying file descriptor. The latter can then be reused for other purposes. (Added by Antoine Pitrou; bpo-8524 [https://bugs.python.org/issue?@action=redirect&bpo=8524].)

socket.create_connection() now supports the context management protocol to unconditionally consume socket.error exceptions and to close the socket when done. (Contributed by Giampaolo Rodolà; bpo-9794 [https://bugs.python.org/issue?@action=redirect&bpo=9794].)

ssl

The ssl module added a number of features to satisfy common requirements for secure (encrypted, authenticated) internet connections:

A new class, SSLContext, serves as a container for persistent SSL data, such as protocol settings, certificates, private keys, and various other options. It includes a wrap_socket() for creating an SSL socket from an SSL context.

A new function, ssl.match_hostname(), supports server identity verification for higher-level protocols by implementing the rules of HTTPS (from RFC 2818 [https://datatracker.ietf.org/doc/html/rfc2818.html]) which are also suitable for other protocols.

The ssl.wrap_socket() constructor function now takes a ciphers argument. The ciphers string lists the allowed encryption algorithms using the format described in the OpenSSL documentation [https://docs.openssl.org/1.0.2/man1/ciphers/#cipher-list-format].

When linked against recent versions of OpenSSL, the ssl module now supports the Server Name Indication extension to the TLS protocol, allowing multiple “virtual hosts” using different certificates on a single IP port. This extension is only supported in client mode, and is activated by passing the server_hostname argument to ssl.SSLContext.wrap_socket().

Various options have been added to the ssl module, such as OP_NO_SSLv2 which disables the insecure and obsolete SSLv2 protocol.

The extension now loads all the OpenSSL ciphers and digest algorithms. If some SSL certificates cannot be verified, they are reported as an “unknown algorithm” error.

The version of OpenSSL being used is now accessible using the module attributes ssl.OPENSSL_VERSION (a string), ssl.OPENSSL_VERSION_INFO (a 5-tuple), and ssl.OPENSSL_VERSION_NUMBER (an integer).

(Contributed by Antoine Pitrou in bpo-8850 [https://bugs.python.org/issue?@action=redirect&bpo=8850], bpo-1589 [https://bugs.python.org/issue?@action=redirect&bpo=1589], bpo-8322 [https://bugs.python.org/issue?@action=redirect&bpo=8322], bpo-5639 [https://bugs.python.org/issue?@action=redirect&bpo=5639], bpo-4870 [https://bugs.python.org/issue?@action=redirect&bpo=4870], bpo-8484 [https://bugs.python.org/issue?@action=redirect&bpo=8484], and bpo-8321 [https://bugs.python.org/issue?@action=redirect&bpo=8321].)

nntp

The nntplib module has a revamped implementation with better bytes and text semantics as well as more practical APIs. These improvements break compatibility with the nntplib version in Python 3.1, which was partly dysfunctional in itself.

Support for secure connections through both implicit (using nntplib.NNTP_SSL) and explicit (using nntplib.NNTP.starttls()) TLS has also been added.

(Contributed by Antoine Pitrou in bpo-9360 [https://bugs.python.org/issue?@action=redirect&bpo=9360] and Andrew Vant in bpo-1926 [https://bugs.python.org/issue?@action=redirect&bpo=1926].)

certificates

http.client.HTTPSConnection, urllib.request.HTTPSHandler and urllib.request.urlopen() now take optional arguments to allow for server certificate checking against a set of Certificate Authorities, as recommended in public uses of HTTPS.

(Added by Antoine Pitrou, bpo-9003 [https://bugs.python.org/issue?@action=redirect&bpo=9003].)

imaplib

Support for explicit TLS on standard IMAP4 connections has been added through the new imaplib.IMAP4.starttls method.

(Contributed by Lorenzo M. Catucci and Antoine Pitrou, bpo-4471 [https://bugs.python.org/issue?@action=redirect&bpo=4471].)

http.client

There were a number of small API improvements in the http.client module. The old-style HTTP 0.9 simple responses are no longer supported and the strict parameter is deprecated in all classes.

The HTTPConnection and HTTPSConnection classes now have a source_address parameter for a (host, port) tuple indicating where the HTTP connection is made from.

Support for certificate checking and HTTPS virtual hosts were added to HTTPSConnection.

The request() method on connection objects allowed an optional body argument so that a file object could be used to supply the content of the request. Conveniently, the body argument now also accepts an iterable object so long as it includes an explicit Content-Length header. This extended interface is much more flexible than before.

To establish an HTTPS connection through a proxy server, there is a new set_tunnel() method that sets the host and port for HTTP Connect tunneling.

To match the behavior of http.server, the HTTP client library now also encodes headers with ISO-8859-1 (Latin-1) encoding. It was already doing that for incoming headers, so now the behavior is consistent for both incoming and outgoing traffic. (See work by Armin Ronacher in bpo-10980 [https://bugs.python.org/issue?@action=redirect&bpo=10980].)

unittest

The unittest module has a number of improvements supporting test discovery for packages, easier experimentation at the interactive prompt, new testcase methods, improved diagnostic messages for test failures, and better method names.

The command-line call python -m unittest can now accept file paths instead of module names for running specific tests (bpo-10620 [https://bugs.python.org/issue?@action=redirect&bpo=10620]). The new test discovery can find tests within packages, locating any test importable from the top-level directory. The top-level directory can be specified with the -t option, a pattern for matching files with -p, and a directory to start discovery with -s:

$ python -m unittest discover -s my_proj_dir -p _test.py

(Contributed by Michael Foord.)

Experimentation at the interactive prompt is now easier because the unittest.TestCase class can now be instantiated without arguments:

>>> from unittest import TestCase
>>> TestCase().assertEqual(pow(2, 3), 8)

(Contributed by Michael Foord.)

The unittest module has two new methods, assertWarns() and assertWarnsRegex() to verify that a given warning type is triggered by the code under test:

with self.assertWarns(DeprecationWarning):
    legacy_function('XYZ')

(Contributed by Antoine Pitrou, bpo-9754 [https://bugs.python.org/issue?@action=redirect&bpo=9754].)

Another new method, assertCountEqual() is used to compare two iterables to determine if their element counts are equal (whether the same elements are present with the same number of occurrences regardless of order):

def test_anagram(self):
    self.assertCountEqual('algorithm', 'logarithm')

(Contributed by Raymond Hettinger.)

A principal feature of the unittest module is an effort to produce meaningful diagnostics when a test fails. When possible, the failure is recorded along with a diff of the output. This is especially helpful for analyzing log files of failed test runs. However, since diffs can sometime be voluminous, there is a new maxDiff attribute that sets maximum length of diffs displayed.

In addition, the method names in the module have undergone a number of clean-ups.

For example, assertRegex() is the new name for assertRegexpMatches() which was misnamed because the test uses re.search(), not re.match(). Other methods using regular expressions are now named using short form “Regex” in preference to “Regexp” – this matches the names used in other unittest implementations, matches Python’s old name for the re module, and it has unambiguous camel-casing.

(Contributed by Raymond Hettinger and implemented by Ezio Melotti.)

To improve consistency, some long-standing method aliases are being deprecated in favor of the preferred names:

Old Name

Preferred Name

assert_()

assertTrue()

assertEquals()

assertEqual()

assertNotEquals()

assertNotEqual()

assertAlmostEquals()

assertAlmostEqual()

assertNotAlmostEquals()

assertNotAlmostEqual()

Likewise, the TestCase.fail* methods deprecated in Python 3.1 are expected to be removed in Python 3.3.

(Contributed by Ezio Melotti; bpo-9424 [https://bugs.python.org/issue?@action=redirect&bpo=9424].)

The assertDictContainsSubset() method was deprecated because it was misimplemented with the arguments in the wrong order. This created hard-to-debug optical illusions where tests like TestCase().assertDictContainsSubset({'a':1, 'b':2}, {'a':1}) would fail.

(Contributed by Raymond Hettinger.)

random

The integer methods in the random module now do a better job of producing uniform distributions. Previously, they computed selections with int(n*random()) which had a slight bias whenever n was not a power of two. Now, multiple selections are made from a range up to the next power of two and a selection is kept only when it falls within the range 0 <= x < n. The functions and methods affected are randrange(), randint(), choice(), shuffle() and sample().

(Contributed by Raymond Hettinger; bpo-9025 [https://bugs.python.org/issue?@action=redirect&bpo=9025].)

poplib

POP3_SSL class now accepts a context parameter, which is a ssl.SSLContext object allowing bundling SSL configuration options, certificates and private keys into a single (potentially long-lived) structure.

(Contributed by Giampaolo Rodolà; bpo-8807 [https://bugs.python.org/issue?@action=redirect&bpo=8807].)

asyncore

asyncore.dispatcher now provides a handle_accepted() method returning a (sock, addr) pair which is called when a connection has actually been established with a new remote endpoint. This is supposed to be used as a replacement for old handle_accept() and avoids the user to call accept() directly.

(Contributed by Giampaolo Rodolà; bpo-6706 [https://bugs.python.org/issue?@action=redirect&bpo=6706].)

tempfile

The tempfile module has a new context manager, TemporaryDirectory which provides easy deterministic cleanup of temporary directories:

with tempfile.TemporaryDirectory() as tmpdirname:
    print('created temporary dir:', tmpdirname)

(Contributed by Neil Schemenauer and Nick Coghlan; bpo-5178 [https://bugs.python.org/issue?@action=redirect&bpo=5178].)

inspect

The inspect module has a new function getgeneratorstate() to easily identify the current state of a generator-iterator:

>>> from inspect import getgeneratorstate
>>> def gen():
...     yield 'demo'
...
>>> g = gen()
>>> getgeneratorstate(g)
'GEN_CREATED'
>>> next(g)
'demo'
>>> getgeneratorstate(g)
'GEN_SUSPENDED'
>>> next(g, None)
>>> getgeneratorstate(g)
'GEN_CLOSED'

(Contributed by Rodolpho Eckhardt and Nick Coghlan, bpo-10220 [https://bugs.python.org/issue?@action=redirect&bpo=10220].)

To support lookups without the possibility of activating a dynamic attribute, the inspect module has a new function, getattr_static(). Unlike hasattr(), this is a true read-only search, guaranteed not to change state while it is searching:

>>> class A:
...     @property
...     def f(self):
...         print('Running')
...         return 10
...
>>> a = A()
>>> getattr(a, 'f')
Running
10
>>> inspect.getattr_static(a, 'f')
<property object at 0x1022bd788>

(Contributed by Michael Foord.)

pydoc

The pydoc module now provides a much-improved web server interface, as well as a new command-line option -b to automatically open a browser window to display that server:

$ pydoc3.2 -b

(Contributed by Ron Adam; bpo-2001 [https://bugs.python.org/issue?@action=redirect&bpo=2001].)

dis

The dis module gained two new functions for inspecting code, code_info() and show_code(). Both provide detailed code object information for the supplied function, method, source code string or code object. The former returns a string and the latter prints it:

>>> import dis, random
>>> dis.show_code(random.choice)
Name:              choice
Filename:          /Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/random.py
Argument count:    2
Kw-only arguments: 0
Number of locals:  3
Stack size:        11
Flags:             OPTIMIZED, NEWLOCALS, NOFREE
Constants:
   0: 'Choose a random element from a non-empty sequence.'
   1: 'Cannot choose from an empty sequence'
Names:
   0: _randbelow
   1: len
   2: ValueError
   3: IndexError
Variable names:
   0: self
   1: seq
   2: i

In addition, the dis() function now accepts string arguments so that the common idiom dis(compile(s, '', 'eval')) can be shortened to dis(s):

>>> dis('3*x+1 if x%2==1 else x//2')
  1           0 LOAD_NAME                0 (x)
              3 LOAD_CONST               0 (2)
              6 BINARY_MODULO
              7 LOAD_CONST               1 (1)
             10 COMPARE_OP               2 (==)
             13 POP_JUMP_IF_FALSE       28
             16 LOAD_CONST               2 (3)
             19 LOAD_NAME                0 (x)
             22 BINARY_MULTIPLY
             23 LOAD_CONST               1 (1)
             26 BINARY_ADD
             27 RETURN_VALUE
        >>   28 LOAD_NAME                0 (x)
             31 LOAD_CONST               0 (2)
             34 BINARY_FLOOR_DIVIDE
             35 RETURN_VALUE

Taken together, these improvements make it easier to explore how CPython is implemented and to see for yourself what the language syntax does under-the-hood.

(Contributed by Nick Coghlan in bpo-9147 [https://bugs.python.org/issue?@action=redirect&bpo=9147].)

dbm

All database modules now support the get() and setdefault() methods.

(Suggested by Ray Allen in bpo-9523 [https://bugs.python.org/issue?@action=redirect&bpo=9523].)

ctypes

A new type, ctypes.c_ssize_t represents the C ssize_t datatype.

site

The site module has three new functions useful for reporting on the details of a given Python installation.

getsitepackages() lists all global site-packages directories.

getuserbase() reports on the user’s base directory where data can be stored.

getusersitepackages() reveals the user-specific site-packages directory path.

>>> import site
>>> site.getsitepackages()
['/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/site-packages',
 '/Library/Frameworks/Python.framework/Versions/3.2/lib/site-python',
 '/Library/Python/3.2/site-packages']
>>> site.getuserbase()
'/Users/raymondhettinger/Library/Python/3.2'
>>> site.getusersitepackages()
'/Users/raymondhettinger/Library/Python/3.2/lib/python/site-packages'

Conveniently, some of site’s functionality is accessible directly from the command-line:

$ python -m site --user-base
/Users/raymondhettinger/.local
$ python -m site --user-site
/Users/raymondhettinger/.local/lib/python3.2/site-packages

(Contributed by Tarek Ziadé in bpo-6693 [https://bugs.python.org/issue?@action=redirect&bpo=6693].)

sysconfig

The new sysconfig module makes it straightforward to discover installation paths and configuration variables that vary across platforms and installations.

The module offers access simple access functions for platform and version information:

get_platform() returning values like linux-i586 or macosx-10.6-ppc.

get_python_version() returns a Python version string such as “3.2”.

It also provides access to the paths and variables corresponding to one of seven named schemes used by distutils. Those include posix_prefix, posix_home, posix_user, nt, nt_user, os2, os2_home:

get_paths() makes a dictionary containing installation paths for the current installation scheme.

get_config_vars() returns a dictionary of platform specific variables.

There is also a convenient command-line interface:

C:\Python32>python -m sysconfig
Platform: "win32"
Python version: "3.2"
Current installation scheme: "nt"

Paths:
        data = "C:\Python32"
        include = "C:\Python32\Include"
        platinclude = "C:\Python32\Include"
        platlib = "C:\Python32\Lib\site-packages"
        platstdlib = "C:\Python32\Lib"
        purelib = "C:\Python32\Lib\site-packages"
        scripts = "C:\Python32\Scripts"
        stdlib = "C:\Python32\Lib"

Variables:
        BINDIR = "C:\Python32"
        BINLIBDEST = "C:\Python32\Lib"
        EXE = ".exe"
        INCLUDEPY = "C:\Python32\Include"
        LIBDEST = "C:\Python32\Lib"
        SO = ".pyd"
        VERSION = "32"
        abiflags = ""
        base = "C:\Python32"
        exec_prefix = "C:\Python32"
        platbase = "C:\Python32"
        prefix = "C:\Python32"
        projectbase = "C:\Python32"
        py_version = "3.2"
        py_version_nodot = "32"
        py_version_short = "3.2"
        srcdir = "C:\Python32"
        userbase = "C:\Documents and Settings\Raymond\Application Data\Python"

(Moved out of Distutils by Tarek Ziadé.)

pdb

The pdb debugger module gained a number of usability improvements:

pdb.py now has a -c option that executes commands as given in a .pdbrc script file.

A .pdbrc script file can contain continue and next commands that continue debugging.

The Pdb class constructor now accepts a nosigint argument.

New commands: l(list), ll(long list) and source for listing source code.

New commands: display and undisplay for showing or hiding the value of an expression if it has changed.

New command: interact for starting an interactive interpreter containing the global and local names found in the current scope.

Breakpoints can be cleared by breakpoint number.

(Contributed by Georg Brandl, Antonio Cuni and Ilya Sandler.)

configparser

The configparser module was modified to improve usability and predictability of the default parser and its supported INI syntax. The old ConfigParser class was removed in favor of SafeConfigParser which has in turn been renamed to ConfigParser. Support for inline comments is now turned off by default and section or option duplicates are not allowed in a single configuration source.

Config parsers gained a new API based on the mapping protocol:

>>> parser = ConfigParser()
>>> parser.read_string("""
... [DEFAULT]
... location = upper left
... visible = yes
... editable = no
... color = blue
...
... [main]
... title = Main Menu
... color = green
...
... [options]
... title = Options
... """)
>>> parser['main']['color']
'green'
>>> parser['main']['editable']
'no'
>>> section = parser['options']
>>> section['title']
'Options'
>>> section['title'] = 'Options (editable: %(editable)s)'
>>> section['title']
'Options (editable: no)'

The new API is implemented on top of the classical API, so custom parser subclasses should be able to use it without modifications.

The INI file structure accepted by config parsers can now be customized. Users can specify alternative option/value delimiters and comment prefixes, change the name of the DEFAULT section or switch the interpolation syntax.

There is support for pluggable interpolation including an additional interpolation handler ExtendedInterpolation:

>>> parser = ConfigParser(interpolation=ExtendedInterpolation())
>>> parser.read_dict({'buildout': {'directory': '/home/ambv/zope9'},
...                   'custom': {'prefix': '/usr/local'}})
>>> parser.read_string("""
... [buildout]
... parts =
...   zope9
...   instance
... find-links =
...   ${buildout:directory}/downloads/dist
...
... [zope9]
... recipe = plone.recipe.zope9install
... location = /opt/zope
...
... [instance]
... recipe = plone.recipe.zope9instance
... zope9-location = ${zope9:location}
... zope-conf = ${custom:prefix}/etc/zope.conf
... """)
>>> parser['buildout']['find-links']
'\n/home/ambv/zope9/downloads/dist'
>>> parser['instance']['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance = parser['instance']
>>> instance['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance['zope9-location']
'/opt/zope'

A number of smaller features were also introduced, like support for specifying encoding in read operations, specifying fallback values for get-functions, or reading directly from dictionaries and strings.

(All changes contributed by Łukasz Langa.)

urllib.parse

A number of usability improvements were made for the urllib.parse module.

The urlparse() function now supports IPv6 [https://en.wikipedia.org/wiki/IPv6] addresses as described in RFC 2732 [https://datatracker.ietf.org/doc/html/rfc2732.html]:

>>> import urllib.parse
>>> urllib.parse.urlparse('http://[dead:beef:cafe:5417:affe:8FA3:deaf:feed]/foo/')
ParseResult(scheme='http',
            netloc='[dead:beef:cafe:5417:affe:8FA3:deaf:feed]',
            path='/foo/',
            params='',
            query='',
            fragment='')

The urldefrag() function now returns a named tuple:

>>> r = urllib.parse.urldefrag('http://python.org/about/#target')
>>> r
DefragResult(url='http://python.org/about/', fragment='target')
>>> r[0]
'http://python.org/about/'
>>> r.fragment
'target'

And, the urlencode() function is now much more flexible, accepting either a string or bytes type for the query argument. If it is a string, then the safe, encoding, and error parameters are sent to quote_plus() for encoding:

>>> urllib.parse.urlencode([
...      ('type', 'telenovela'),
...      ('name', '¿Dónde Está Elisa?')],
...      encoding='latin-1')
'type=telenovela&name=%BFD%F3nde+Est%E1+Elisa%3F'

As detailed in Analisando bytes codificados em ASCII, all the urllib.parse functions now accept ASCII-encoded byte strings as input, so long as they are not mixed with regular strings. If ASCII-encoded byte strings are given as parameters, the return types will also be an ASCII-encoded byte strings:

>>> urllib.parse.urlparse(b'http://www.python.org:80/about/')
ParseResultBytes(scheme=b'http', netloc=b'www.python.org:80',
                 path=b'/about/', params=b'', query=b'', fragment=b'')

(Work by Nick Coghlan, Dan Mahn, and Senthil Kumaran in bpo-2987 [https://bugs.python.org/issue?@action=redirect&bpo=2987], bpo-5468 [https://bugs.python.org/issue?@action=redirect&bpo=5468], and bpo-9873 [https://bugs.python.org/issue?@action=redirect&bpo=9873].)

mailbox

Thanks to a concerted effort by R. David Murray, the mailbox module has been fixed for Python 3.2. The challenge was that mailbox had been originally designed with a text interface, but email messages are best represented with bytes because various parts of a message may have different encodings.

The solution harnessed the email package’s binary support for parsing arbitrary email messages. In addition, the solution required a number of API changes.

As expected, the add() method for mailbox.Mailbox objects now accepts binary input.

StringIO and text file input are deprecated. Also, string input will fail early if non-ASCII characters are used. Previously it would fail when the email was processed in a later step.

There is also support for binary output. The get_file() method now returns a file in the binary mode (where it used to incorrectly set the file to text-mode). There is also a new get_bytes() method that returns a bytes representation of a message corresponding to a given key.

It is still possible to get non-binary output using the old API’s get_string() method, but that approach is not very useful. Instead, it is best to extract messages from a Message object or to load them from binary input.

(Contributed by R. David Murray, with efforts from Steffen Daode Nurpmeso and an initial patch by Victor Stinner in bpo-9124 [https://bugs.python.org/issue?@action=redirect&bpo=9124].)

turtledemo

The demonstration code for the turtle module was moved from the Demo directory to main library. It includes over a dozen sample scripts with lively displays. Being on sys.path, it can now be run directly from the command-line:

$ python -m turtledemo

(Moved from the Demo directory by Alexander Belopolsky in bpo-10199 [https://bugs.python.org/issue?@action=redirect&bpo=10199].)

Multi-threading

The mechanism for serializing execution of concurrently running Python threads (generally known as the GIL or Global Interpreter Lock) has been rewritten. Among the objectives were more predictable switching intervals and reduced overhead due to lock contention and the number of ensuing system calls. The notion of a “check interval” to allow thread switches has been abandoned and replaced by an absolute duration expressed in seconds. This parameter is tunable through sys.setswitchinterval(). It currently defaults to 5 milliseconds.

Additional details about the implementation can be read from a python-dev mailing-list message [https://mail.python.org/pipermail/python-dev/2009-October/093321.html] (however, “priority requests” as exposed in this message have not been kept for inclusion).

(Contribuição de Antoine Pitrou.)

Regular and recursive locks now accept an optional timeout argument to their acquire() method. (Contributed by Antoine Pitrou; bpo-7316 [https://bugs.python.org/issue?@action=redirect&bpo=7316].)

Similarly, threading.Semaphore.acquire() also gained a timeout argument. (Contributed by Torsten Landschoff; bpo-850728 [https://bugs.python.org/issue?@action=redirect&bpo=850728].)

Regular and recursive lock acquisitions can now be interrupted by signals on platforms using Pthreads. This means that Python programs that deadlock while acquiring locks can be successfully killed by repeatedly sending SIGINT to the process (by pressing Ctrl+C in most shells). (Contributed by Reid Kleckner; bpo-8844 [https://bugs.python.org/issue?@action=redirect&bpo=8844].)

Otimizações

A number of small performance enhancements have been added:

Python’s peephole optimizer now recognizes patterns such x in {1, 2, 3} as being a test for membership in a set of constants. The optimizer recasts the set as a frozenset and stores the pre-built constant.

Now that the speed penalty is gone, it is practical to start writing membership tests using set-notation. This style is both semantically clear and operationally fast:

extension = name.rpartition('.')[2]
if extension in {'xml', 'html', 'xhtml', 'css'}:
    handle(name)

(Patch and additional tests contributed by Dave Malcolm; bpo-6690 [https://bugs.python.org/issue?@action=redirect&bpo=6690]).

Serializing and unserializing data using the pickle module is now several times faster.

(Contributed by Alexandre Vassalotti, Antoine Pitrou and the Unladen Swallow team in bpo-9410 [https://bugs.python.org/issue?@action=redirect&bpo=9410] and bpo-3873 [https://bugs.python.org/issue?@action=redirect&bpo=3873].)

The Timsort algorithm [https://en.wikipedia.org/wiki/Timsort] used in list.sort() and sorted() now runs faster and uses less memory when called with a key function. Previously, every element of a list was wrapped with a temporary object that remembered the key value associated with each element. Now, two arrays of keys and values are sorted in parallel. This saves the memory consumed by the sort wrappers, and it saves time lost to delegating comparisons.

(Patch by Daniel Stutzbach in bpo-9915 [https://bugs.python.org/issue?@action=redirect&bpo=9915].)

JSON decoding performance is improved and memory consumption is reduced whenever the same string is repeated for multiple keys. Also, JSON encoding now uses the C speedups when the sort_keys argument is true.

(Contributed by Antoine Pitrou in bpo-7451 [https://bugs.python.org/issue?@action=redirect&bpo=7451] and by Raymond Hettinger and Antoine Pitrou in bpo-10314 [https://bugs.python.org/issue?@action=redirect&bpo=10314].)

Recursive locks (created with the threading.RLock() API) now benefit from a C implementation which makes them as fast as regular locks, and between 10x and 15x faster than their previous pure Python implementation.

(Contributed by Antoine Pitrou; bpo-3001 [https://bugs.python.org/issue?@action=redirect&bpo=3001].)

The fast-search algorithm in stringlib is now used by the split(), rsplit(), splitlines() and replace() methods on bytes, bytearray and str objects. Likewise, the algorithm is also used by rfind(), rindex(), rsplit() and rpartition().

(Patch by Florent Xicluna in bpo-7622 [https://bugs.python.org/issue?@action=redirect&bpo=7622] and bpo-7462 [https://bugs.python.org/issue?@action=redirect&bpo=7462].)

Integer to string conversions now work two “digits” at a time, reducing the number of division and modulo operations.

(bpo-6713 [https://bugs.python.org/issue?@action=redirect&bpo=6713] by Gawain Bolton, Mark Dickinson, and Victor Stinner.)

There were several other minor optimizations. Set differencing now runs faster when one operand is much larger than the other (patch by Andress Bennetts in bpo-8685 [https://bugs.python.org/issue?@action=redirect&bpo=8685]). The array.repeat() method has a faster implementation (bpo-1569291 [https://bugs.python.org/issue?@action=redirect&bpo=1569291] by Alexander Belopolsky). The BaseHTTPRequestHandler has more efficient buffering (bpo-3709 [https://bugs.python.org/issue?@action=redirect&bpo=3709] by Andrew Schaaf). The operator.attrgetter() function has been sped-up (bpo-10160 [https://bugs.python.org/issue?@action=redirect&bpo=10160] by Christos Georgiou). And ConfigParser loads multi-line arguments a bit faster (bpo-7113 [https://bugs.python.org/issue?@action=redirect&bpo=7113] by Łukasz Langa).

Unicode

Python has been updated to Unicode 6.0.0 [https://unicode.org/versions/Unicode6.0.0/]. The update to the standard adds over 2,000 new characters including emoji [https://en.wikipedia.org/wiki/Emoji] symbols which are important for mobile phones.

In addition, the updated standard has altered the character properties for two Kannada characters (U+0CF1, U+0CF2) and one New Tai Lue numeric character (U+19DA), making the former eligible for use in identifiers while disqualifying the latter. For more information, see Unicode Character Database Changes [https://www.unicode.org/versions/Unicode6.0.0/#Database_Changes].

Codecs

Support was added for cp720 Arabic DOS encoding (bpo-1616979 [https://bugs.python.org/issue?@action=redirect&bpo=1616979]).

MBCS encoding no longer ignores the error handler argument. In the default strict mode, it raises an UnicodeDecodeError when it encounters an undecodable byte sequence and an UnicodeEncodeError for an unencodable character.

The MBCS codec supports 'strict' and 'ignore' error handlers for decoding, and 'strict' and 'replace' for encoding.

To emulate Python3.1 MBCS encoding, select the 'ignore' handler for decoding and the 'replace' handler for encoding.

On Mac OS X, Python decodes command line arguments with 'utf-8' rather than the locale encoding.

By default, tarfile uses 'utf-8' encoding on Windows (instead of 'mbcs') and the 'surrogateescape' error handler on all operating systems.

Documentação

The documentation continues to be improved.

A table of quick links has been added to the top of lengthy sections such as Funções embutidas. In the case of itertools, the links are accompanied by tables of cheatsheet-style summaries to provide an overview and memory jog without having to read all of the docs.

In some cases, the pure Python source code can be a helpful adjunct to the documentation, so now many modules now feature quick links to the latest version of the source code. For example, the functools module documentation has a quick link at the top labeled:

Source code Lib/functools.py [https://github.com/python/cpython/tree/3.13/Lib/functools.py].

(Contributed by Raymond Hettinger; see rationale [https://rhettinger.wordpress.com/2011/01/28/open-your-source-more/].)

The docs now contain more examples and recipes. In particular, re module has an extensive section, Exemplos de expressão regular. Likewise, the itertools module continues to be updated with new Receitas com itertools.

The datetime module now has an auxiliary implementation in pure Python. No functionality was changed. This just provides an easier-to-read alternate implementation.

(Contributed by Alexander Belopolsky in bpo-9528 [https://bugs.python.org/issue?@action=redirect&bpo=9528].)

The unmaintained Demo directory has been removed. Some demos were integrated into the documentation, some were moved to the Tools/demo directory, and others were removed altogether.

(Contributed by Georg Brandl in bpo-7962 [https://bugs.python.org/issue?@action=redirect&bpo=7962].)

IDLE

The format menu now has an option to clean source files by stripping trailing whitespace.

(Contributed by Raymond Hettinger; bpo-5150 [https://bugs.python.org/issue?@action=redirect&bpo=5150].)

IDLE on Mac OS X now works with both Carbon AquaTk and Cocoa AquaTk.

(Contributed by Kevin Walzer, Ned Deily, and Ronald Oussoren; bpo-6075 [https://bugs.python.org/issue?@action=redirect&bpo=6075].)

Code Repository

In addition to the existing Subversion code repository at https://svn.python.org there is now a Mercurial [https://www.mercurial-scm.org/] repository at https://hg.python.org/.

After the 3.2 release, there are plans to switch to Mercurial as the primary repository. This distributed version control system should make it easier for members of the community to create and share external changesets. See PEP 385 [https://peps.python.org/pep-0385/] for details.

To learn to use the new version control system, see the Quick Start [https://www.mercurial-scm.org/wiki/QuickStart] or the Guide to Mercurial Workflows [https://www.mercurial-scm.org/guide].

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

The idle, pydoc and 2to3 scripts are now installed with a version-specific suffix on make altinstall (bpo-10679 [https://bugs.python.org/issue?@action=redirect&bpo=10679]).

The C functions that access the Unicode Database now accept and return characters from the full Unicode range, even on narrow unicode builds (Py_UNICODE_TOLOWER, Py_UNICODE_ISDECIMAL, and others). A visible difference in Python is that unicodedata.numeric() now returns the correct value for large code points, and repr() may consider more characters as printable.

(Reported by Bupjoe Lee and fixed by Amaury Forgeot D’Arc; bpo-5127 [https://bugs.python.org/issue?@action=redirect&bpo=5127].)

Computed gotos are now enabled by default on supported compilers (which are detected by the configure script). They can still be disabled selectively by specifying --without-computed-gotos.

(Contributed by Antoine Pitrou; bpo-9203 [https://bugs.python.org/issue?@action=redirect&bpo=9203].)

The option --with-wctype-functions was removed. The built-in unicode database is now used for all functions.

(Contributed by Amaury Forgeot D’Arc; bpo-9210 [https://bugs.python.org/issue?@action=redirect&bpo=9210].)

Hash values are now values of a new type, Py_hash_t, which is defined to be the same size as a pointer. Previously they were of type long, which on some 64-bit operating systems is still only 32 bits long. As a result of this fix, set and dict can now hold more than 2**32 entries on builds with 64-bit pointers (previously, they could grow to that size but their performance degraded catastrophically).

(Suggested by Raymond Hettinger and implemented by Benjamin Peterson; bpo-9778 [https://bugs.python.org/issue?@action=redirect&bpo=9778].)

A new macro Py_VA_COPY copies the state of the variable argument list. It is equivalent to C99 va_copy but available on all Python platforms (bpo-2443 [https://bugs.python.org/issue?@action=redirect&bpo=2443]).

A new C API function PySys_SetArgvEx() allows an embedded interpreter to set sys.argv without also modifying sys.path (bpo-5753 [https://bugs.python.org/issue?@action=redirect&bpo=5753]).

PyEval_CallObject() is now only available in macro form. The function declaration, which was kept for backwards compatibility reasons, is now removed – the macro was introduced in 1997 (bpo-8276 [https://bugs.python.org/issue?@action=redirect&bpo=8276]).

There is a new function PyLong_AsLongLongAndOverflow() which is analogous to PyLong_AsLongAndOverflow(). They both serve to convert Python int into a native fixed-width type while providing detection of cases where the conversion won’t fit (bpo-7767 [https://bugs.python.org/issue?@action=redirect&bpo=7767]).

The PyUnicode_CompareWithASCIIString() function now returns not equal if the Python string is NUL terminated.

There is a new function PyErr_NewExceptionWithDoc() that is like PyErr_NewException() but allows a docstring to be specified. This lets C exceptions have the same self-documenting capabilities as their pure Python counterparts (bpo-7033 [https://bugs.python.org/issue?@action=redirect&bpo=7033]).

When compiled with the --with-valgrind option, the pymalloc allocator will be automatically disabled when running under Valgrind. This gives improved memory leak detection when running under Valgrind, while taking advantage of pymalloc at other times (bpo-2422 [https://bugs.python.org/issue?@action=redirect&bpo=2422]).

Removed the O? format from the PyArg_Parse functions. The format is no longer used and it had never been documented (bpo-8837 [https://bugs.python.org/issue?@action=redirect&bpo=8837]).

There were a number of other small changes to the C-API. See the Misc/NEWS [https://github.com/python/cpython/blob/v3.2.6/Misc/NEWS] file for a complete list.

Also, there were a number of updates to the Mac OS X build, see Mac/BuildScript/README.txt [https://github.com/python/cpython/blob/v3.2.6/Mac/BuildScript/README.txt] for details. For users running a 32/64-bit build, there is a known problem with the default Tcl/Tk on Mac OS X 10.6. Accordingly, we recommend installing an updated alternative such as ActiveState Tcl/Tk 8.5.9 [https://web.archive.org/web/20101208191259/https://www.activestate.com/activetcl/downloads]. See https://www.python.org/download/mac/tcltk/ for additional details.

Porting to Python 3.2

Esta seção lista as alterações descritas anteriormente e outras correções que podem exigir alterações no seu código.

The configparser module has a number of clean-ups. The major change is to replace the old ConfigParser class with long-standing preferred alternative SafeConfigParser. In addition there are a number of smaller incompatibilities:

The interpolation syntax is now validated on get() and set() operations. In the default interpolation scheme, only two tokens with percent signs are valid: %(name)s and %%, the latter being an escaped percent sign.

The set() and add_section() methods now verify that values are actual strings. Formerly, unsupported types could be introduced unintentionally.

Duplicate sections or options from a single source now raise either DuplicateSectionError or DuplicateOptionError. Formerly, duplicates would silently overwrite a previous entry.

Inline comments are now disabled by default so now the ; character can be safely used in values.

Comments now can be indented. Consequently, for ; or # to appear at the start of a line in multiline values, it has to be interpolated. This keeps comment prefix characters in values from being mistaken as comments.

"" is now a valid value and is no longer automatically converted to an empty string. For empty strings, use "option =" in a line.

The nntplib module was reworked extensively, meaning that its APIs are often incompatible with the 3.1 APIs.

bytearray objects can no longer be used as filenames; instead, they should be converted to bytes.

The array.tostring() and array.fromstring() have been renamed to array.tobytes() and array.frombytes() for clarity. The old names have been deprecated. (See bpo-8990 [https://bugs.python.org/issue?@action=redirect&bpo=8990].)

PyArg_Parse*() functions:

“t#” format has been removed: use “s#” or “s*” instead

“w” and “w#” formats has been removed: use “w*” instead

The PyCObject type, deprecated in 3.1, has been removed. To wrap opaque C pointers in Python objects, the PyCapsule API should be used instead; the new type has a well-defined interface for passing typing safety information and a less complicated signature for calling a destructor.

The sys.setfilesystemencoding() function was removed because it had a flawed design.

The random.seed() function and method now salt string seeds with an sha512 hash function. To access the previous version of seed in order to reproduce Python 3.1 sequences, set the version argument to 1, random.seed(s, version=1).

The previously deprecated string.maketrans() function has been removed in favor of the static methods bytes.maketrans() and bytearray.maketrans(). This change solves the confusion around which types were supported by the string module. Now, str, bytes, and bytearray each have their own maketrans and translate methods with intermediate translation tables of the appropriate type.

(Contributed by Georg Brandl; bpo-5675 [https://bugs.python.org/issue?@action=redirect&bpo=5675].)

The previously deprecated contextlib.nested() function has been removed in favor of a plain with statement which can accept multiple context managers. The latter technique is faster (because it is built-in), and it does a better job finalizing multiple context managers when one of them raises an exception:

with open('mylog.txt') as infile, open('a.out', 'w') as outfile:
    for line in infile:
        if '<critical>' in line:
            outfile.write(line)

(Contributed by Georg Brandl and Mattias Brändström; appspot issue 53094 [https://codereview.appspot.com/53094].)

struct.pack() now only allows bytes for the s string pack code. Formerly, it would accept text arguments and implicitly encode them to bytes using UTF-8. This was problematic because it made assumptions about the correct encoding and because a variable-length encoding can fail when writing to fixed length segment of a structure.

Code such as struct.pack('<6sHHBBB', 'GIF87a', x, y) should be rewritten with to use bytes instead of text, struct.pack('<6sHHBBB', b'GIF87a', x, y).

(Discovered by David Beazley and fixed by Victor Stinner; bpo-10783 [https://bugs.python.org/issue?@action=redirect&bpo=10783].)

The xml.etree.ElementTree class now raises an xml.etree.ElementTree.ParseError when a parse fails. Previously it raised an xml.parsers.expat.ExpatError.

The new, longer str() value on floats may break doctests which rely on the old output format.

In subprocess.Popen, the default value for close_fds is now True under Unix; under Windows, it is True if the three standard streams are set to None, False otherwise. Previously, close_fds was always False by default, which produced difficult to solve bugs or race conditions when open file descriptors would leak into the child process.

Support for legacy HTTP 0.9 has been removed from urllib.request and http.client. Such support is still present on the server side (in http.server).

(Contributed by Antoine Pitrou, bpo-10711 [https://bugs.python.org/issue?@action=redirect&bpo=10711].)

SSL sockets in timeout mode now raise socket.timeout when a timeout occurs, rather than a generic SSLError.

(Contributed by Antoine Pitrou, bpo-10272 [https://bugs.python.org/issue?@action=redirect&bpo=10272].)

The misleading functions PyEval_AcquireLock() and PyEval_ReleaseLock() have been officially deprecated. The thread-state aware APIs (such as PyEval_SaveThread() and PyEval_RestoreThread()) should be used instead.

Due to security risks, asyncore.handle_accept() has been deprecated, and a new function, asyncore.handle_accepted(), was added to replace it.

(Contributed by Giampaolo Rodola in bpo-6706 [https://bugs.python.org/issue?@action=redirect&bpo=6706].)

Due to the new GIL implementation, PyEval_InitThreads() cannot be called before Py_Initialize() anymore.

O que há de novo no Python 3.1

Autor:

Raymond Hettinger

Esse artigo explica os novos recursos em Python 3.1, comparado ao 3.0. Python 3.1 foi lançado em 27 de junho de 2009.

PEP 372: Dicionários ordenados

Regular Python dictionaries iterate over key/value pairs in arbitrary order. Over the years, a number of authors have written alternative implementations that remember the order that the keys were originally inserted. Based on the experiences from those implementations, a new collections.OrderedDict class has been introduced.

The OrderedDict API is substantially the same as regular dictionaries but will iterate over keys and values in a guaranteed order depending on when a key was first inserted. If a new entry overwrites an existing entry, the original insertion position is left unchanged. Deleting an entry and reinserting it will move it to the end.

A biblioteca padrão agora possui suporte para dicionários ordenados em vários módulos. O módulo configparser usa-os por padrão. Isso permite que os arquivos de configuração sejam lidos, modificados e depois gravados de volta na ordem original. O método _asdict() para collections.namedtuple() agora retorna um dicionário ordenado com os valores aparecendo na mesma ordem que os índices de tupla subjacentes. O módulo json está sendo construído com um object_pairs_hook para permitir que OrderedDicts sejam construídos pelo decodificador. Também foi adicionado suporte para ferramentas de terceiros como PyYAML [https://pyyaml.org/].

Ver também

PEP 372 [https://peps.python.org/pep-0372/] - Dicionários ordenados

PEP written by Armin Ronacher and Raymond Hettinger. Implementation written by Raymond Hettinger.

Uma vez que dicionários ordenados lembram sua ordem de inserção, isso pode ser usada em conjunto com classificação para criar um dicionário classificado:

>>> # regular unsorted dictionary
>>> d = {'banana': 3, 'apple':4, 'pear': 1, 'orange': 2}

>>> # dictionary sorted by key
>>> OrderedDict(sorted(d.items(), key=lambda t: t[0]))
OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])

>>> # dictionary sorted by value
>>> OrderedDict(sorted(d.items(), key=lambda t: t[1]))
OrderedDict([('pear', 1), ('orange', 2), ('banana', 3), ('apple', 4)])

>>> # dictionary sorted by length of the key string
>>> OrderedDict(sorted(d.items(), key=lambda t: len(t[0])))
OrderedDict([('pear', 1), ('apple', 4), ('orange', 2), ('banana', 3)])

Os novos dicionários classificados mantem suas ordem de classificação quando entradas são removidas. Mas quando novas chaves são adicionadas, as chaves são adicionados ao fim e a classificação não é mantida.

PEP 378: Especificador de formato para separador de milhares

The built-in format() function and the str.format() method use a mini-language that now includes a simple, non-locale aware way to format a number with a thousands separator. That provides a way to humanize a program’s output, improving its professional appearance and readability:

>>> format(1234567, ',d')
'1,234,567'
>>> format(1234567.89, ',.2f')
'1,234,567.89'
>>> format(12345.6 + 8901234.12j, ',f')
'12,345.600000+8,901,234.120000j'
>>> format(Decimal('1234567.89'), ',f')
'1,234,567.89'

The supported types are int, float, complex and decimal.Decimal.

Discussions are underway about how to specify alternative separators like dots, spaces, apostrophes, or underscores. Locale-aware applications should use the existing n format specifier which already has some support for thousands separators.

Ver também

PEP 378 [https://peps.python.org/pep-0378/] - Especificador de formato para separador de milhares

PEP escrita por Raymond Hettinger e implementada por Eric Smith e Mark Dickinson.

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

Directories and zip archives containing a __main__.py file can now be executed directly by passing their name to the interpreter. The directory/zipfile is automatically inserted as the first entry in sys.path. (Suggestion and initial patch by Andy Chu; revised patch by Phillip J. Eby and Nick Coghlan; bpo-1739468 [https://bugs.python.org/issue?@action=redirect&bpo=1739468].)

The int() type gained a bit_length method that returns the number of bits necessary to represent its argument in binary:

>>> n = 37
>>> bin(37)
'0b100101'
>>> n.bit_length()
6
>>> n = 2**123-1
>>> n.bit_length()
123
>>> (n+1).bit_length()
124

(Contributed by Fredrik Johansson, Victor Stinner, Raymond Hettinger, and Mark Dickinson; bpo-3439 [https://bugs.python.org/issue?@action=redirect&bpo=3439].)

The fields in format() strings can now be automatically numbered:

>>> 'Sir {} of {}'.format('Gallahad', 'Camelot')
'Sir Gallahad of Camelot'

Formerly, the string would have required numbered fields such as: 'Sir {0} of {1}'.

(Contributed by Eric Smith; bpo-5237 [https://bugs.python.org/issue?@action=redirect&bpo=5237].)

The string.maketrans() function is deprecated and is replaced by new static methods, bytes.maketrans() and bytearray.maketrans(). This change solves the confusion around which types were supported by the string module. Now, str, bytes, and bytearray each have their own maketrans and translate methods with intermediate translation tables of the appropriate type.

(Contributed by Georg Brandl; bpo-5675 [https://bugs.python.org/issue?@action=redirect&bpo=5675].)

The syntax of the with statement now allows multiple context managers in a single statement:

>>> with open('mylog.txt') as infile, open('a.out', 'w') as outfile:
...     for line in infile:
...         if '<critical>' in line:
...             outfile.write(line)

With the new syntax, the contextlib.nested() function is no longer needed and is now deprecated.

(Contributed by Georg Brandl and Mattias Brändström; appspot issue 53094 [https://codereview.appspot.com/53094].)

round(x, n) now returns an integer if x is an integer. Previously it returned a float:

>>> round(1123, -2)
1100

(Contributed by Mark Dickinson; bpo-4707 [https://bugs.python.org/issue?@action=redirect&bpo=4707].)

Python now uses David Gay’s algorithm for finding the shortest floating-point representation that doesn’t change its value. This should help mitigate some of the confusion surrounding binary floating-point numbers.

The significance is easily seen with a number like 1.1 which does not have an exact equivalent in binary floating point. Since there is no exact equivalent, an expression like float('1.1') evaluates to the nearest representable value which is 0x1.199999999999ap+0 in hex or 1.100000000000000088817841970012523233890533447265625 in decimal. That nearest value was and still is used in subsequent floating-point calculations.

What is new is how the number gets displayed. Formerly, Python used a simple approach. The value of repr(1.1) was computed as format(1.1, '.17g') which evaluated to '1.1000000000000001'. The advantage of using 17 digits was that it relied on IEEE-754 guarantees to assure that eval(repr(1.1)) would round-trip exactly to its original value. The disadvantage is that many people found the output to be confusing (mistaking intrinsic limitations of binary floating-point representation as being a problem with Python itself).

The new algorithm for repr(1.1) is smarter and returns '1.1'. Effectively, it searches all equivalent string representations (ones that get stored with the same underlying float value) and returns the shortest representation.

The new algorithm tends to emit cleaner representations when possible, but it does not change the underlying values. So, it is still the case that 1.1 + 2.2 != 3.3 even though the representations may suggest otherwise.

The new algorithm depends on certain features in the underlying floating-point implementation. If the required features are not found, the old algorithm will continue to be used. Also, the text pickle protocols assure cross-platform portability by using the old algorithm.

(Contributed by Eric Smith and Mark Dickinson; bpo-1580 [https://bugs.python.org/issue?@action=redirect&bpo=1580])

New, Improved, and Deprecated Modules

Added a collections.Counter class to support convenient counting of unique items in a sequence or iterable:

>>> Counter(['red', 'blue', 'red', 'green', 'blue', 'blue'])
Counter({'blue': 3, 'red': 2, 'green': 1})

(Contributed by Raymond Hettinger; bpo-1696199 [https://bugs.python.org/issue?@action=redirect&bpo=1696199].)

Added a new module, tkinter.ttk for access to the Tk themed widget set. The basic idea of ttk is to separate, to the extent possible, the code implementing a widget’s behavior from the code implementing its appearance.

(Contributed by Guilherme Polo; bpo-2983 [https://bugs.python.org/issue?@action=redirect&bpo=2983].)

The gzip.GzipFile and bz2.BZ2File classes now support the context management protocol:

>>> # Automatically close file after writing
>>> with gzip.GzipFile(filename, "wb") as f:
...     f.write(b"xxx")

(Contribuição de Antoine Pitrou.)

The decimal module now supports methods for creating a decimal object from a binary float. The conversion is exact but can sometimes be surprising:

>>> Decimal.from_float(1.1)
Decimal('1.100000000000000088817841970012523233890533447265625')

The long decimal result shows the actual binary fraction being stored for 1.1. The fraction has many digits because 1.1 cannot be exactly represented in binary.

(Contributed by Raymond Hettinger and Mark Dickinson.)

The itertools module grew two new functions. The itertools.combinations_with_replacement() function is one of four for generating combinatorics including permutations and Cartesian products. The itertools.compress() function mimics its namesake from APL. Also, the existing itertools.count() function now has an optional step argument and can accept any type of counting sequence including fractions.Fraction and decimal.Decimal:

>>> [p+q for p,q in combinations_with_replacement('LOVE', 2)]
['LL', 'LO', 'LV', 'LE', 'OO', 'OV', 'OE', 'VV', 'VE', 'EE']

>>> list(compress(data=range(10), selectors=[0,0,1,1,0,1,0,1,0,0]))
[2, 3, 5, 7]

>>> c = count(start=Fraction(1,2), step=Fraction(1,6))
>>> [next(c), next(c), next(c), next(c)]
[Fraction(1, 2), Fraction(2, 3), Fraction(5, 6), Fraction(1, 1)]

(Contributed by Raymond Hettinger.)

collections.namedtuple() now supports a keyword argument rename which lets invalid fieldnames be automatically converted to positional names in the form _0, _1, etc. This is useful when the field names are being created by an external source such as a CSV header, SQL field list, or user input:

>>> query = input()
SELECT region, dept, count(*) FROM main GROUPBY region, dept

>>> cursor.execute(query)
>>> query_fields = [desc[0] for desc in cursor.description]
>>> UserQuery = namedtuple('UserQuery', query_fields, rename=True)
>>> pprint.pprint([UserQuery(*row) for row in cursor])
[UserQuery(region='South', dept='Shipping', _2=185),
 UserQuery(region='North', dept='Accounting', _2=37),
 UserQuery(region='West', dept='Sales', _2=419)]

(Contributed by Raymond Hettinger; bpo-1818 [https://bugs.python.org/issue?@action=redirect&bpo=1818].)

The re.sub(), re.subn() and re.split() functions now accept a flags parameter.

(Contributed by Gregory Smith.)

The logging module now implements a simple logging.NullHandler class for applications that are not using logging but are calling library code that does. Setting-up a null handler will suppress spurious warnings such as “No handlers could be found for logger foo”:

>>> h = logging.NullHandler()
>>> logging.getLogger("foo").addHandler(h)

(Contributed by Vinay Sajip; bpo-4384 [https://bugs.python.org/issue?@action=redirect&bpo=4384]).

The runpy module which supports the -m command line switch now supports the execution of packages by looking for and executing a __main__ submodule when a package name is supplied.

(Contributed by Andi Vajda; bpo-4195 [https://bugs.python.org/issue?@action=redirect&bpo=4195].)

The pdb module can now access and display source code loaded via zipimport (or any other conformant PEP 302 [https://peps.python.org/pep-0302/] loader).

(Contributed by Alexander Belopolsky; bpo-4201 [https://bugs.python.org/issue?@action=redirect&bpo=4201].)

functools.partial objects can now be pickled.

(Suggested by Antoine Pitrou and Jesse Noller. Implemented by Jack Diederich; bpo-5228 [https://bugs.python.org/issue?@action=redirect&bpo=5228].)

Add pydoc help topics for symbols so that help('@') works as expected in the interactive environment.

(Contributed by David Laban; bpo-4739 [https://bugs.python.org/issue?@action=redirect&bpo=4739].)

The unittest module now supports skipping individual tests or classes of tests. And it supports marking a test as an expected failure, a test that is known to be broken, but shouldn’t be counted as a failure on a TestResult:

class TestGizmo(unittest.TestCase):

    @unittest.skipUnless(sys.platform.startswith("win"), "requires Windows")
    def test_gizmo_on_windows(self):
        ...

    @unittest.expectedFailure
    def test_gimzo_without_required_library(self):
        ...

Also, tests for exceptions have been builtout to work with context managers using the with statement:

def test_division_by_zero(self):
    with self.assertRaises(ZeroDivisionError):
        x / 0

In addition, several new assertion methods were added including assertSetEqual(), assertDictEqual(), assertDictContainsSubset(), assertListEqual(), assertTupleEqual(), assertSequenceEqual(), assertRaisesRegexp(), assertIsNone(), and assertIsNotNone().

(Contributed by Benjamin Peterson and Antoine Pitrou.)

The io module has three new constants for the seek() method: SEEK_SET, SEEK_CUR, and SEEK_END.

The sys.version_info tuple is now a named tuple:

>>> sys.version_info
sys.version_info(major=3, minor=1, micro=0, releaselevel='alpha', serial=2)

(Contributed by Ross Light; bpo-4285 [https://bugs.python.org/issue?@action=redirect&bpo=4285].)

The nntplib and imaplib modules now support IPv6.

(Contributed by Derek Morr; bpo-1655 [https://bugs.python.org/issue?@action=redirect&bpo=1655] and bpo-1664 [https://bugs.python.org/issue?@action=redirect&bpo=1664].)

The pickle module has been adapted for better interoperability with Python 2.x when used with protocol 2 or lower. The reorganization of the standard library changed the formal reference for many objects. For example, __builtin__.set in Python 2 is called builtins.set in Python 3. This change confounded efforts to share data between different versions of Python. But now when protocol 2 or lower is selected, the pickler will automatically use the old Python 2 names for both loading and dumping. This remapping is turned-on by default but can be disabled with the fix_imports option:

>>> s = {1, 2, 3}
>>> pickle.dumps(s, protocol=0)
b'c__builtin__\nset\np0\n((lp1\nL1L\naL2L\naL3L\natp2\nRp3\n.'
>>> pickle.dumps(s, protocol=0, fix_imports=False)
b'cbuiltins\nset\np0\n((lp1\nL1L\naL2L\naL3L\natp2\nRp3\n.'

An unfortunate but unavoidable side-effect of this change is that protocol 2 pickles produced by Python 3.1 won’t be readable with Python 3.0. The latest pickle protocol, protocol 3, should be used when migrating data between Python 3.x implementations, as it doesn’t attempt to remain compatible with Python 2.x.

(Contributed by Alexandre Vassalotti and Antoine Pitrou, bpo-6137 [https://bugs.python.org/issue?@action=redirect&bpo=6137].)

A new module, importlib was added. It provides a complete, portable, pure Python reference implementation of the import statement and its counterpart, the __import__() function. It represents a substantial step forward in documenting and defining the actions that take place during imports.

(Contributed by Brett Cannon.)

Otimizações

Major performance enhancements have been added:

The new I/O library (as defined in PEP 3116 [https://peps.python.org/pep-3116/]) was mostly written in Python and quickly proved to be a problematic bottleneck in Python 3.0. In Python 3.1, the I/O library has been entirely rewritten in C and is 2 to 20 times faster depending on the task at hand. The pure Python version is still available for experimentation purposes through the _pyio module.

(Contributed by Amaury Forgeot d’Arc and Antoine Pitrou.)

Added a heuristic so that tuples and dicts containing only untrackable objects are not tracked by the garbage collector. This can reduce the size of collections and therefore the garbage collection overhead on long-running programs, depending on their particular use of datatypes.

(Contributed by Antoine Pitrou, bpo-4688 [https://bugs.python.org/issue?@action=redirect&bpo=4688].)

Enabling a configure option named --with-computed-gotos on compilers that support it (notably: gcc, SunPro, icc), the bytecode evaluation loop is compiled with a new dispatch mechanism which gives speedups of up to 20%, depending on the system, the compiler, and the benchmark.

(Contributed by Antoine Pitrou along with a number of other participants, bpo-4753 [https://bugs.python.org/issue?@action=redirect&bpo=4753]).

The decoding of UTF-8, UTF-16 and LATIN-1 is now two to four times faster.

(Contributed by Antoine Pitrou and Amaury Forgeot d’Arc, bpo-4868 [https://bugs.python.org/issue?@action=redirect&bpo=4868].)

The json module now has a C extension to substantially improve its performance. In addition, the API was modified so that json works only with str, not with bytes. That change makes the module closely match the JSON specification [https://json.org/] which is defined in terms of Unicode.

(Contributed by Bob Ippolito and converted to Py3.1 by Antoine Pitrou and Benjamin Peterson; bpo-4136 [https://bugs.python.org/issue?@action=redirect&bpo=4136].)

Unpickling now interns the attribute names of pickled objects. This saves memory and allows pickles to be smaller.

(Contributed by Jake McGuire and Antoine Pitrou; bpo-5084 [https://bugs.python.org/issue?@action=redirect&bpo=5084].)

IDLE

IDLE’s format menu now provides an option to strip trailing whitespace from a source file.

(Contributed by Roger D. Serwy; bpo-5150 [https://bugs.python.org/issue?@action=redirect&bpo=5150].)

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

Os inteiros agora são armazenados internamente na base 2**15 ou na base 2**30, the base being determined at build time. Previously, they were sempre armazenado na base 2**15. Usando a base 2**30 dá significativa performance de desempenho em máquinas de 64 bits, mas resultados de referência em 32 bits máquinas foram misturadas. Portanto, o padrão é usar a base 2**30 em máquinas de 64 bits e base 2**15 em máquinas de 32 bits; no Unix, há uma nova opção de configuração --enable-big-digits que pode ser usada para substituir este padrão.

Além das melhorias de desempenho, essa alteração deve ser invisível para os usuários finais, com uma exceção: para fins de teste e depuração, há um novo structseq sys.int_info que fornece informações sobre o formato interno, fornecendo o número de bits por dígito e o tamanho em bytes do tipo C usado para armazenar cada dígito:

>>> import sys
>>> sys.int_info
sys.int_info(bits_per_digit=30, sizeof_digit=4)

(Contributed by Mark Dickinson; bpo-4258 [https://bugs.python.org/issue?@action=redirect&bpo=4258].)

The PyLong_AsUnsignedLongLong() function now handles a negative pylong by raising OverflowError instead of TypeError.

(Contributed by Mark Dickinson and Lisandro Dalcrin; bpo-5175 [https://bugs.python.org/issue?@action=redirect&bpo=5175].)

Deprecated PyNumber_Int(). Use PyNumber_Long() instead.

(Contributed by Mark Dickinson; bpo-4910 [https://bugs.python.org/issue?@action=redirect&bpo=4910].)

Added a new PyOS_string_to_double() function to replace the deprecated functions PyOS_ascii_strtod() and PyOS_ascii_atof().

(Contributed by Mark Dickinson; bpo-5914 [https://bugs.python.org/issue?@action=redirect&bpo=5914].)

Added PyCapsule as a replacement for the PyCObject API. The principal difference is that the new type has a well defined interface for passing typing safety information and a less complicated signature for calling a destructor. The old type had a problematic API and is now deprecated.

(Contributed by Larry Hastings; bpo-5630 [https://bugs.python.org/issue?@action=redirect&bpo=5630].)

Porting to Python 3.1

Esta seção lista as alterações descritas anteriormente e outras correções de bugs que podem exigir alterações em seu código:

The new floating-point string representations can break existing doctests. For example:

def e():
    '''Compute the base of natural logarithms.

    >>> e()
    2.7182818284590451

    '''
    return sum(1/math.factorial(x) for x in reversed(range(30)))

doctest.testmod()

**********************************************************************
Failed example:
    e()
Expected:
    2.7182818284590451
Got:
    2.718281828459045
**********************************************************************

The automatic name remapping in the pickle module for protocol 2 or lower can make Python 3.1 pickles unreadable in Python 3.0. One solution is to use protocol 3. Another solution is to set the fix_imports option to False. See the discussion above for more details.

O que há de novo no Python 3.0

Autor:

Guido van Rossum

Este artigo explica os novos recursos do Python 3.0, em comparação com o 2.6. O Python 3.0, também conhecido como “Python 3000” ou “Py3K”, é o primeiro lançamento do Python intencionalmente incompatível com versões anteriores. O Python 3.0 foi lançado em 3 de dezembro de 2008. Há mais mudanças do que em um lançamento típico, e mais que são importantes para todos os usuários do Python. No entanto, depois de digerir as mudanças, você verá que o Python realmente não mudou tanto assim – em geral, estamos principalmente corrigindo aborrecimentos bem conhecidos, e removendo muita sujeira antiga.

Este artigo não tenta fornecer uma especificação completa de todos os novos recursos, mas tenta dar uma visão geral conveniente. Para detalhes completos, você deve consultar a documentação do Python 3.0 e/ou as muitas PEPs referenciadas no texto. Se você quiser entender a implementação completa e a lógica de design para um recurso específico, as PEPs geralmente têm mais detalhes do que a documentação regular; mas observe que as PEPs geralmente não são mantidas atualizadas depois que um recurso foi totalmente implementado.

Devido a restrições de tempo, este documento não está tão completo quanto deveria ser. Como sempre para um novo lançamento, o arquivo Misc/NEWS na distribuição fonte contém uma riqueza de informações detalhadas sobre cada pequena coisa que foi alterada.

Obstáculos comuns

Esta seção lista as poucas mudanças que provavelmente irão lhe atrapalhar se você estiver acostumado com o Python 2.5.

print é uma função

A instrução print foi substituída por uma função print(), com argumentos nomeados para substituir a maior parte da sintaxe especial da antiga instrução print (PEP 3105 [https://peps.python.org/pep-3105/]). Exemplos:

Old: print "The answer is", 2*2
New: print("The answer is", 2*2)

Old: print x,           # Trailing comma suppresses newline
New: print(x, end=" ")  # Appends a space instead of a newline

Old: print              # Prints a newline
New: print()            # You must call the function!

Old: print >>sys.stderr, "fatal error"
New: print("fatal error", file=sys.stderr)

Old: print (x, y)       # prints repr((x, y))
New: print((x, y))      # Not the same as print(x, y)!

Você também pode personalizar o separador entre itens, por exemplo:

print("There are <", 2**32, "> possibilities!", sep="")

que produz:

There are <4294967296> possibilities!

Nota:

A função print() não tem suporte ao recurso “softspace” da antiga instrução print. Por exemplo, no Python 2.x, print "A\n", "B" escreveria "A\nB\n"; mas no Python 3.0, print("A\n", "B") escreve "A\n B\n".

Inicialmente, você vai se pegar digitando o antigo print x bastante no modo interativo. É hora de treinar seus dedos para digitar print(x) em vez disso!

Ao usar a ferramenta de conversão de fonte para fonte 2to3, todas as instruções print são automaticamente convertidas em chamadas de função print(), então isso geralmente não é um problema para projetos maiores.

Visualizações e iteradores em vez de listas

Algumas APIs conhecidas não retornam mais listas:

Os métodos dict.keys(), dict.items() e dict.values() de dict retornam visualizações, ou “views”, em vez de listas. Por exemplo, isso não funciona mais: k = d.keys(); k.sort(). Use k = sorted(d) em vez disso (isso funciona no Python 2.5 também e é igualmente eficiente).

Além disso, os métodos dict.iterkeys(), dict.iteritems() e dict.itervalues() não são mais suportados.

map() e filter() retornam iteradores. Se você realmente precisa de uma lista e as sequências de entrada são todas de comprimento igual, uma solução rápida é envolver map() em list(), por exemplo, list(map(...)), mas uma solução melhor é frequentemente usar uma compreensão de lista (especialmente quando o código original usa lambda), ou reescrever o código para que ele não precise de uma lista. Particularmente complicado é map() invocado para os efeitos colaterais da função; a transformação correta é usar um laço for regular (já que criar uma lista seria apenas desperdício).

Se as sequências de entrada não tiverem o mesmo comprimento, map() irá parar no término da mais curta das sequências. Para compatibilidade total com map() do Python 2.x, também envolva as sequências em itertools.zip_longest(), por exemplo, map(func, *sequences) se torna list(map(func, itertools.zip_longest(*sequences))).

range() agora se comporta como xrange() costumava se comportar, exceto que funciona com valores de tamanho arbitrário. Este último não existe mais.

zip() agora retorna um iterador.

Comparações de ordenação

O Python 3.0 simplificou as regras para ordenar comparações:

Os operadores de comparação de ordenação (<, <=, >=, >) levantam uma exceção TypeError quando os operandos não têm uma ordenação natural significativa. Assim, expressões como 1 < '', 0 > None ou len <= len não são mais válidas e, por exemplo, None < None levanta TypeError em vez de retornar False. Um corolário é que classificar uma lista heterogênea não faz mais sentido – todos os elementos devem ser comparáveis ​​entre si. Observe que isso não se aplica aos operadores == e !=: objetos de diferentes tipos incomparáveis ​​sempre são comparados de forma diferente entre si.

builtin.sorted() e list.sort() não aceitam mais o argumento cmp fornecendo uma função de comparação. Use o argumento key em vez disso. N.B. os argumentos key e reverse agora são “somente-nomeados”.

A função cmp() deve ser tratada como extinta, e o método especial __cmp__() não é mais suportado. Use __lt__() para classificação, __eq__() com __hash__() e outras comparações avançadas conforme necessário. (Se você realmente precisa da funcionalidade cmp(), pode usar a expressão (a > b) - (a < b) como o equivalente para cmp(a, b).)

Inteiros

PEP 237 [https://peps.python.org/pep-0237/]: Essencialmente, long foi renomeado para int. Ou seja, há apenas um tipo integral embutido, chamado int; mas ele se comporta principalmente como o antigo tipo long.

PEP 238 [https://peps.python.org/pep-0238/]: Uma expressão como 1/2 retorna um float. Use 1//2 para obter o comportamento de truncamento. (A última sintaxe existe há anos, pelo menos desde o Python 2.2.)

A constante sys.maxint foi removida, pois não há mais um limite para o valor de inteiros. No entanto, sys.maxsize pode ser usado como um inteiro maior do que qualquer lista prática ou índice de string. Ele está em conformidade com o tamanho inteiro “natural” da implementação e é tipicamente o mesmo que sys.maxint em versões anteriores na mesma plataforma (assumindo as mesmas opções de construção).

O repr() de um inteiro longo não inclui mais o L final, então o código que remove esse caractere incondicionalmente cortará o último dígito. (Use str() em vez disso.)

Literais octais não estão mais no formato 0720; em vez disso, use 0o720.

Texto vs. Dados em vez de Unicode vs. 8 bits

Tudo o que você achava que sabia sobre dados binários e Unicode mudou.

O Python 3.0 usa os conceitos de texto e dados (binários) em vez de strings Unicode e strings de 8 bits. Todo texto é Unicode; no entanto, o Unicode codificado é representado como dados binários. O tipo usado para armazenar texto é str, o tipo usado para armazenar dados é bytes. A maior diferença com a situação 2.x é que qualquer tentativa de misturar texto e dados no Python 3.0 levanta TypeError, enquanto que se você misturasse strings Unicode e de 8 bits no Python 2.x, funcionaria se a string de 8 bits contivesse apenas bytes de 7 bits (ASCII), mas você obteria UnicodeDecodeError se contivesse valores não ASCII. Esse comportamento específico de valor causou inúmeras caras tristes ao longo dos anos.

Como consequência dessa mudança na filosofia, praticamente todo código que usa Unicode, codificações ou dados binários provavelmente terá que mudar. A mudança é para melhor, pois no mundo 2.x havia vários bugs relacionados à mistura de texto codificado e não codificado. Para estar preparado no Python 2.x, comece a usar unicode para todo texto não codificado e str apenas para dados binários ou codificados. Então a ferramenta 2to3 fará a maior parte do trabalho para você.

Você não pode mais usar literais u"..." para texto Unicode. No entanto, você deve usar literais b"..." para dados binários.

Como os tipos str e bytes não podem ser misturados, você deve sempre converter explicitamente entre eles. Use str.encode() para ir de str para bytes, e bytes.decode() para ir de bytes para str. Você também pode usar bytes(s, encoding=...) e str(b, encoding=...), respectivamente.

Assim como str, o tipo bytes é imutável. Há um tipo mutável separado para armazenar dados binários em buffer, bytearray. Quase todas as APIs que aceitam bytes também aceitam bytearray. A API mutável é baseada em collections.MutableSequence.

Todas as contrabarras em literais de strings brutas são interpretadas literalmente. Isso significa que os escapes '\U' e '\u' em strings brutas não são tratados de forma especial. Por exemplo, r'\u20ac' é uma string de 6 caracteres no Python 3.0, enquanto no 2.6, ur'\u20ac' era o único caractere “euro”. (É claro que essa mudança afeta apenas literais de strings brutas; o caractere euro é '\u20ac' no Python 3.0.)

O tipo abstrato embutido basestring foi removido. Use str em vez disso. Os tipos str e bytes não têm funcionalidade suficiente em comum para garantir uma classe base compartilhada. A ferramenta 2to3 (veja abaixo) substitui cada ocorrência de basestring por str.

Arquivos abertos como arquivos texto (ainda o modo padrão para open()) sempre usam uma codificação para mapear entre strings (na memória) e bytes (no disco). Arquivos binários (abertos com um b no argumento mode) sempre usam bytes na memória. Isso significa que se um arquivo for aberto usando um modo ou codificação incorretos, a E/S provavelmente falhará ruidosamente, em vez de produzir dados incorretos silenciosamente. Isso também significa que até mesmo usuários Unix terão que especificar o modo correto (texto ou binário) ao abrir um arquivo. Há uma codificação padrão dependente da plataforma, que em plataformas Unixy pode ser definida com a variável de ambiente LANG (e às vezes também com algumas outras variáveis ​​de ambiente relacionadas à localidade específicas da plataforma). Em muitos casos, mas não em todos, o padrão do sistema é UTF-8; você nunca deve contar com esse padrão. Qualquer aplicação que leia ou escreva mais do que texto ASCII puro provavelmente deve ter uma maneira de substituir a codificação. Não há mais necessidade de usar os fluxos com reconhecimento de codificação no módulo codecs.

Os valores iniciais de sys.stdin, sys.stdout e sys.stderr agora são arquivos texto somente unicode (ou seja, são instâncias de io.TextIOBase). Para ler e gravar dados de bytes com esses fluxos, você precisa usar o atributo io.TextIOBase.buffer deles.

Nomes de arquivo são passados ​​e retornados de APIs como strings (Unicode). Isso pode apresentar problemas específicos de plataforma porque em algumas plataformas nomes de arquivo são strings de bytes arbitrárias. (Por outro lado, no Windows nomes de arquivo são armazenados nativamente como Unicode.) Como solução alternativa, a maioria das APIs (por exemplo, open() e muitas funções no módulo os) que aceitam nomes de arquivo aceitam objetos bytes assim como strings, e algumas APIs têm uma maneira de pedir um valor de retorno bytes. Assim, os.listdir() retorna uma lista de instâncias bytes se o argumento for uma instância bytes, e os.getcwdb() retorna o diretório de trabalho atual como uma instância bytes. Observe que quando os.listdir() retorna uma lista de strings, os nomes de arquivos que não podem ser decodificados corretamente são omitidos em vez de levantar UnicodeError.

Algumas APIs de sistema como os.environ e sys.argv também podem apresentar problemas quando os bytes disponibilizados pelo sistema não são interpretáveis ​​usando a codificação padrão. Definir a variável LANG e executar o programa novamente é provavelmente a melhor abordagem.

PEP 3138 [https://peps.python.org/pep-3138/]: A repr() de uma string não escapa mais caracteres não-ASCII. No entanto, ele ainda escapa caracteres de controle e pontos de código com status não imprimível no padrão Unicode.

PEP 3120 [https://peps.python.org/pep-3120/]: A codificação de fontes padrão agora é UTF-8.

PEP 3131 [https://peps.python.org/pep-3131/]: Letras não ASCII agora são permitidas em identificadores. (No entanto, a biblioteca padrão permanece somente ASCII, com exceção dos nomes dos colaboradores nos comentários.)

Os módulos StringIO e cStringIO se foram. Em vez disso, importe o módulo io e use io.StringIO ou io.BytesIO para texto e dados, respectivamente.

Veja também o guia Unicode, que foi atualizado para o Python 3.0.

Visão geral das alterações da sintaxe

Esta seção fornece uma breve visão geral de cada mudança sintática no Python 3.0.

Nova sintaxe

PEP 3107 [https://peps.python.org/pep-3107/]: Function argument and return value annotations. This provides a standardized way of annotating a function’s parameters and return value. There are no semantics attached to such annotations except that they can be introspected at runtime using the __annotations__ attribute. The intent is to encourage experimentation through metaclasses, decorators or frameworks.

PEP 3102 [https://peps.python.org/pep-3102/]: Argumentos somente-nomeados. Parâmetros nomeados que ocorrem após *args na lista de parâmetros devem ser especificados usando a sintaxe dos nomes na chamada. Você também pode usar um * simples na lista de parâmetros para indicar que não aceita uma lista de argumentos de comprimento variável, mas tem argumentos somente-nomeados.

Argumentos nomeados são permitidos após a lista de classes base em uma definição de classe. Isso é usado pela nova convenção para especificar uma metaclasse (veja a próxima seção), mas pode ser usado para outros propósitos também, desde que a metaclasse dê suporte.

PEP 3104 [https://peps.python.org/pep-3104/]: instrução nonlocal. Usando nonlocal x, agora você pode atribuir diretamente a uma variável em um escopo externo (mas não global). nonlocal é uma nova palavra reservada.

PEP 3132 [https://peps.python.org/pep-3132/]: Desempacotamento iterável estendido. Agora você pode escrever coisas como a, b, *rest = some_sequence. E até mesmo *rest, a = stuff. O objeto rest é sempre uma lista (possivelmente vazia); o lado direito pode ser qualquer iterável. Exemplo:

(a, *rest, b) = range(5)

Isso define a como 0, b como 4 e rest como [1, 2, 3].

Compreensões de dicionário: {k: v for k, v in stuff} significa a mesma coisa que dict(stuff), mas é mais flexível. (Isto é PEP 274 [https://peps.python.org/pep-0274/] justificada. :-)

Definir literais, por exemplo, {1, 2}. Note que {} é um dicionário vazio; use set() para um conjunto vazio. Compreensões de conjuntos também são suportadas; por exemplo, {x for x in stuff} significa a mesma coisa que set(stuff), mas é mais flexível.

Novos literais octais, por exemplo, 0o720 (já em 2.6). Os antigos literais octais (0720) se foram.

Novos literais binários, por exemplo, 0b1010 (já em 2.6), e há uma nova função embutida correspondente, bin().

Literais de bytes são introduzidos com um b ou B no início, e há uma nova função embutida correspondente, bytes().

Sintaxe alterada

PEP 3109 [https://peps.python.org/pep-3109/] e PEP 3134 [https://peps.python.org/pep-3134/]: nova sintaxe da instrução raise: raise [expr [from expr]]. Veja abaixo.

as e with agora são palavras reservadas. (Desde a versão 2.6, na verdade.)

True, False e None são palavras reservadas. (A versão 2.6 já aplicava parcialmente as restrições em None.)

Alteração de except exc, var para except exc as var. Veja a PEP 3110 [https://peps.python.org/pep-3110/].

PEP 3115 [https://peps.python.org/pep-3115/]: Nova sintaxe de metaclasse. Em vez de:

class C:
    __metaclass__ = M
    ...

agora você deve usar:

class C(metaclass=M):
    ...

A variável global do módulo __metaclass__ não é mais suportada. (Era uma ajuda para facilitar a mudança do padrão para classes de novo estilo sem derivar cada classe de object.)

As compreensões de lista não têm mais suporte a mais a forma sintática [... for var in item1, item2, ...]. Use [... for var in (item1, item2, ...)] em vez disso. Observe também que as compreensões de lista têm semântica diferente: elas estão mais próximas do açúcar sintático para uma expressão geradora dentro de um construtor list() e, em particular, as variáveis ​​de controle de laço não são mais vazadas para o escopo circundante.

As reticências (...) podem ser usadas como uma expressão atômica em qualquer lugar. (Anteriormente, eram permitidas apenas em fatias.) Além disso, agora devem ser escritas como .... (Anteriormente, também poderiam ser escritas como . . ., por um mero acidente da gramática.)

Sintaxe removida

PEP 3113 [https://peps.python.org/pep-3113/]: Desempacotamento de parâmetro de tupla removido. Você não pode mais escrever def foo(a, (b, c)): .... Em vez disso, use def foo(a, b_c): b, c = b_c.

Removidos backticks (use repr()).

Removido <> (use !=).

Removida palavra reservada: exec() não é mais uma palavra reservada; ela permanece como uma função. (Felizmente a sintaxe da função também era aceita nas versões 2.x.) Observe também que exec() não aceita mais um argumento de fluxo; em vez de exec(f) você pode usar exec(f.read()).

Literais de inteiro não mais têm suporte a um l ou L final.

Literais de string não mais têm suporte a um u ou U no início.

A sintaxe from módulo import * é permitida somente no nível do módulo, não mais dentro de funções.

A única sintaxe aceitável para importações relativas é from .[module] import name. Todos as formas de import que não começam com . são interpretadas como importações absolutas. (PEP 328 [https://peps.python.org/pep-0328/])

As classes clássicas se foram.

Mudanças já presentes no Python 2.6

Como muitos usuários provavelmente fazem o salto direto do Python 2.5 para o Python 3.0, esta seção lembra o leitor dos novos recursos que foram originalmente projetados para o Python 3.0, mas que foram portados de volta para o Python 2.6. As seções correspondentes em O que há de novo no Python 2.6 devem ser consultadas para descrições mais longas.

PEP 343: The ‘with’ statement. A instrução with agora é um recurso padrão e não precisa mais ser importada de __future__. Confira também Writing Context Managers e The contextlib module.

PEP 366: Explicit Relative Imports From a Main Module. Isso aumenta a utilidade da opção -m quando o módulo referenciado reside em um pacote.

PEP 370: Per-user site-packages Directory.

PEP 371: The multiprocessing Package.

PEP 3101: Advanced String Formatting. Nota: a descrição da versão 2.6 menciona o método format() para strings de 8 bits e Unicode. No 3.0, apenas o tipo str (strings de texto com suporte a Unicode) tem suporte a esse método; o tipo bytes não. O plano é eventualmente tornar esta a única API para formatação de strings e começar a descontinuar o operador % no Python 3.1.

PEP 3105: print As a Function. Este é agora um recurso padrão e não precisa mais ser importado de __future__. Mais detalhes foram fornecidos acima.

PEP 3110: Exception-Handling Changes. A sintaxe except exc as var agora é padrão e except exc, var não é mais suportado. (Claro, a parte as var ainda é opcional.)

PEP 3112: Byte Literals. A notação de literal de string b"..." (e suas variantes como b'...', b"""...""" e br"...") agora produz um literal do tipo bytes.

PEP 3116: New I/O Library. O módulo io agora é a maneira padrão de fazer E/S de arquivo. A função embutida open() agora é um apelido para io.open() e tem argumentos nomeados adicionais encoding, errors, newline e closefd. Observe também que um argumento mode inválido agora levanta ValueError, não IOError. O objeto arquivo binário subjacente a um objeto arquivo texto pode ser acessado como f.buffer (mas tome cuidado, pois o objeto texto mantém um buffer de si mesmo para acelerar as operações de codificação e decodificação).

PEP 3118: Revised Buffer Protocol. A antiga função embutida buffer() agora realmente se foi; a nova função embutida memoryview() fornece funcionalidade (principalmente) semelhante.

PEP 3119: Abstract Base Classes. O módulo abc e as ABCs definidas no módulo collections desempenham um papel um pouco mais proeminente na linguagem agora, e tipos embutidos de coleção como dict e list estão em conformidade com as ABCs collections.MutableMapping e collections.MutableSequence, respectivamente.

PEP 3127: Integer Literal Support and Syntax. Conforme mencionado acima, a nova notação de literal octal é a única suportada, e literais binários foram adicionados.

PEP 3129: Class Decorators.

PEP 3141: A Type Hierarchy for Numbers. O módulo numbers é outro novo uso de ABCs, definindo a “torre numérica” do Python. Observe também o novo módulo fractions que implementa numbers.Rational.

Mudanças na biblioteca

Devido a restrições de tempo, este documento não cobre exaustivamente as mudanças muito extensas na biblioteca padrão. PEP 3108 [https://peps.python.org/pep-3108/] é a referência para as principais mudanças na biblioteca. Aqui está uma revisão resumida:

Muitos módulos antigos foram removidos. Alguns, como gopherlib (não mais usado) e md5 (substituído por hashlib), já tinham sido descontinuados pela PEP 4 [https://peps.python.org/pep-0004/]. Outros foram removidos como resultado da remoção do suporte para várias plataformas, como Irix, BeOS e Mac OS 9 (veja PEP 11 [https://peps.python.org/pep-0011/]). Alguns módulos também foram selecionados para remoção no Python 3.0 devido à falta de uso ou porque existe uma substituição melhor. Veja PEP 3108 [https://peps.python.org/pep-3108/] para uma lista exaustiva.

O pacote bsddb3 foi removido porque sua presença na biblioteca padrão principal provou ao longo do tempo ser um fardo particular para os desenvolvedores principais devido à instabilidade dos testes e ao cronograma de lançamento do Berkeley DB. No entanto, o pacote está vivo e bem, mantido externamente em https://www.jcea.es/programacion/pybsddb.htm.

Alguns módulos foram renomeados porque seu nome antigo desobedecia a PEP 8 [https://peps.python.org/pep-0008/], ou por vários outros motivos. Aqui está a lista:

Antigo nome

Novo nome

_winreg

winreg

ConfigParser

configparser

copy_reg

copyreg

Queue

queue

SocketServer

socketserver

markupbase

_markupbase

repr

reprlib

test.test_support

test.support

Um padrão comum no Python 2.x é ter uma versão de um módulo implementada em Python puro, com uma versão acelerada opcional implementada como uma extensão C; por exemplo, pickle e cPickle. Isso coloca o fardo de importar a versão acelerada e recorrer à versão Python pura em cada usuário desses módulos. No Python 3.0, as versões aceleradas são consideradas detalhes de implementação das versões Python puras. Os usuários devem sempre importar a versão padrão, que tenta importar a versão acelerada e recorrer à versão Python pura. O par pickle / cPickle recebeu esse tratamento. O módulo profile está na lista para 3.1. O módulo StringIO foi transformado em uma classe no módulo io.

Alguns módulos relacionados foram agrupados em pacotes e, geralmente, os nomes dos submódulos foram simplificados. Os novos pacotes resultantes são:

dbm (anydbm, dbhash, dbm, dumbdbm, gdbm, whichdb).

html (HTMLParser, htmlentitydefs).

http (httplib, BaseHTTPServer, CGIHTTPServer, SimpleHTTPServer, Cookie, cookielib).

tkinter (todos os módulos relacionados a Tkinter, exceto turtle). O público-alvo de turtle não se importa muito com tkinter. Observe também que, a partir do Python 2.6, a funcionalidade de turtle foi bastante aprimorada.

urllib (urllib, urllib2, urlparse, robotparse).

xmlrpc (xmlrpclib, DocXMLRPCServer, SimpleXMLRPCServer).

Algumas outras mudanças nos módulos da biblioteca padrão, não cobertas pela PEP 3108 [https://peps.python.org/pep-3108/]:

sets eliminado. Use a classe embutida set().

Limpeza do módulo sys: removidos sys.exitfunc(), sys.exc_clear(), sys.exc_type, sys.exc_value, sys.exc_traceback. (Observe que sys.last_type etc. permanecem.)

Limpeza do tipo array.array: os métodos read() e write() foram removidos; use fromfile() e tofile() em vez disso. Além disso, o typecode 'c' para vetor foi removido – use 'b' para bytes ou 'u' para caracteres Unicode.

Limpeza do módulo operator: removidos sequenceIncludes() e isCallable().

Limpeza do módulo thread: acquire_lock() e release_lock() foram removidos; use acquire() e release() em vez disso.

Limpeza do módulo random: removida a API jumpahead().

O módulo new foi removido.

As funções os.tmpnam(), os.tempnam() e os.tmpfile() foram removidas em favor do módulo tempfile.

O módulo tokenize foi alterado para funcionar com bytes. O ponto de entrada principal agora é tokenize.tokenize(), em vez de generate_tokens.

string.letters e seus amigos (string.lowercase e string.uppercase) se foram. Use string.ascii_letters etc. em vez disso. (O motivo da remoção é que string.letters e amigos tinham comportamento específico de localidade, o que é uma má ideia para “constantes” globais com nomes tão atraentes.)

Renomeado o módulo __builtin__ para builtins (removendo os sublinhados, adicionando um ‘s’). A variável __builtins__ encontrada na maioria dos espaços de nomes globais não foi alterada. Para modificar um builtin, você deve usar builtins, não __builtins__!

PEP 3101 [https://peps.python.org/pep-3101/]: Uma nova abordagem para formatação de strings

Um novo sistema para operações de formatação de strings embutidas substitui o operador de formatação de strings %. (No entanto, o operador % ainda é suportado; ele será descontinuado no Python 3.1 e removido da linguagem em algum momento posterior.) Leia a PEP 3101 [https://peps.python.org/pep-3101/] para obter informações completas.

Mudanças para exceções

As APIs para levantar e capturar exceções foram limpas e novos recursos poderosos foram adicionados:

PEP 352 [https://peps.python.org/pep-0352/]: Todas as exceções devem ser derivadas (direta ou indiretamente) de BaseException. Esta é a raiz da hierarquia de exceções. Isso não é novo como recomendação, mas o requisito para herdar de BaseException é novo. (O Python 2.6 ainda permitia que classes clássicas fossem levantadas e não colocava nenhuma restrição sobre o que você pode capturar.) Como consequência, exceções de string estão finalmente verdadeira e completamente mortas.

Quase todas as exceções devem derivar de Exception; BaseException deve ser usado apenas como uma classe base para exceções que devem ser manipuladas apenas no nível superior, como SystemExit ou KeyboardInterrupt. O idioma recomendado para manipular todas as exceções, exceto para esta última categoria, é usar except Exception.

StandardError foi removida.

As exceções não se comportam mais como sequências. Use o atributo args em vez disso.

PEP 3109 [https://peps.python.org/pep-3109/]: levantando exceções. Agora você deve usar raise Exception(args) em vez de raise Exception, args. Além disso, você não pode mais especificar explicitamente um traceback (situação da pilha de execução); em vez disso, se você precisar fazer isso, você pode atribuir diretamente ao atributo __traceback__ (veja abaixo).

PEP 3110 [https://peps.python.org/pep-3110/]: Capturando exceções. Agora você deve usar except SomeException as variable em vez de except SomeException, variable. Além disso, a variável variable é explicitamente excluída quando o bloco except é deixado.

PEP 3134 [https://peps.python.org/pep-3134/]: Encadeamento de exceções. Existem dois casos: encadeamento implícito e encadeamento explícito. O encadeamento implícito acontece quando uma exceção é levantada em um bloco manipulador except ou finally. Isso geralmente acontece devido a um bug no bloco do manipulador; chamamos isso de exceção secundária. Nesse caso, a exceção original (que estava sendo manipulada) é salva como o atributo __context__ da exceção secundária. O encadeamento explícito é invocado com esta sintaxe:

raise SecondaryException() from primary_exception

(onde primary_exception é qualquer expressão que produz um objeto de exceção, provavelmente uma exceção que foi capturada anteriormente). Neste caso, a exceção primária é armazenada no atributo __cause__ da exceção secundária. O traceback impresso quando uma exceção não tratada ocorre percorre a cadeia de atributos __cause__ e __context__ e imprime um traceback separado para cada componente da cadeia, com a exceção primária no topo. (Usuários Java podem reconhecer este comportamento.)

PEP 3134 [https://peps.python.org/pep-3134/]: Objetos exceção agora armazenam seu traceback como o atributo __traceback__. Isso significa que um objeto de exceção agora contém todas as informações pertencentes a uma exceção, e há menos motivos para usar sys.exc_info() (embora o último não seja removido).

Algumas mensagens de exceção estão melhores quando o Windows falha ao carregar um módulo de extensão. Por exemplo, error code 193 agora é %1 is not a valid Win32 application. As strings agora lidam com localidades que não sejam em inglês.

Outras mudanças diversas

Operadores e métodos especiais

!= agora retorna o oposto de ==, a menos que == retorne NotImplemented.

O conceito de “métodos não vinculados” foi removido da linguagem. Ao referenciar um método como um atributo de classe, agora você obtém um objeto função simples.

__getslice__(), __setslice__() e __delslice__() foram eliminados. A sintaxe a[i:j] agora é traduzida para a.__getitem__(slice(i, j)) (ou __setitem__() ou __delitem__(), quando usado como um alvo de atribuição ou exclusão, respectivamente).

PEP 3114 [https://peps.python.org/pep-3114/]: o método padrão next() foi renomeado para __next__().

Os métodos especiais __oct__() e __hex__() foram removidos – oct() e hex() usam __index__() agora para converter o argumento em um inteiro.

Removido o suporte para __members__ e __methods__.

Os atributos de função chamados func_X foram renomeados para usar o formato __X__, liberando esses nomes no espaço de nomes de atributos de função para atributos definidos pelo usuário. A saber, func_closure, func_code, func_defaults, func_dict, func_doc, func_globals, func_name foram renomeados para __closure__, __code__, __defaults__, __dict__, __doc__, __globals__, __name__, respectivamente.

__nonzero__() agora é __bool__().

Funções embutidas

PEP 3135 [https://peps.python.org/pep-3135/]: Nova função super(). Agora você pode invocar super() sem argumentos e (presumindo que isso esteja em um método de instância regular definido dentro de uma instrução class) a classe e instância corretas serão automaticamente escolhidas. Com argumentos, o comportamento de super() não é alterado.

PEP 3111 [https://peps.python.org/pep-3111/]: raw_input() foi renomeada para input(). Ou seja, a nova função input() lê uma linha de sys.stdin e a retorna com a nova linha final removida. Ela levanta EOFError se a entrada for encerrada prematuramente. Para obter o comportamento antigo de input(), use eval(input()).

Uma nova função embutido next() foi adicionada para chamar o método __next__() em um objeto.

A estratégia de arredondamento da função round() e o tipo de retorno foram alterados. Casos exatos de meio caminho agora são arredondados para o resultado par mais próximo em vez de para longe de zero. (Por exemplo, round(2.5) agora retorna 2 em vez de 3.) round(x[, n]) agora delega para x.__round__([n]) em vez de sempre retornar um float. Geralmente retorna um inteiro quando chamado com um único argumento e um valor do mesmo tipo que x quando chamado com dois argumentos.

Movida intern() para sys.intern().

Removida: apply(). Em vez de apply(f, args) use f(*args).

Removida callable(). Em vez de callable(f) você pode usar isinstance(f, collections.Callable). A função operator.isCallable() também foi removida.

Removida coerce(). Esta função não tem mais propósito agora que as classes clássicas desapareceram.

Removida execfile(). Em vez de execfile(fn) use exec(open(fn).read()).

Removido o tipo file. Use open(). Agora há vários tipos diferentes de fluxos que open pode retornar no módulo io.

Removida reduce(). Use functools.reduce() se realmente precisar; no entanto, 99 por cento das vezes um laço explícito for é mais legível.

Removida reload(). Use imp.reload().

Removida. dict.has_key() – use o operador in em vez disso.

Mudanças a construções e API C

Devido a restrições de tempo, aqui está uma lista muito incompleta de alterações na API C.

O suporte para várias plataformas foi descartado, incluindo, mas não se limitando a Mac OS 9, BeOS, RISCOS, Irix e Tru64.

PEP 3118 [https://peps.python.org/pep-3118/]: Nova API de Buffer.

PEP 3121 [https://peps.python.org/pep-3121/]: Inicialização e finalização do módulo de extensão.

PEP 3123 [https://peps.python.org/pep-3123/]: Tornando PyObject_HEAD conforme o padrão C.

Não há mais suporte à API C para execução restrita.

As APIs C PyNumber_Coerce(), PyNumber_CoerceEx(), PyMember_Get() e PyMember_Set() foram removidas.

Nova API C PyImport_ImportModuleNoBlock(), funciona como PyImport_ImportModule(), mas não bloqueia na trava de importação (retornando um erro).

Renomeado o slot e o método de nível C de conversão booleana: nb_nonzero agora é nb_bool.

Removidas METH_OLDARGS e WITH_CYCLE_GC da API C.

Desempenho

O resultado líquido das generalizações do 3.0 é que o Python 3.0 executa o benchmark pystone cerca de 10% mais lento que o Python 2.5. Provavelmente a maior causa é a remoção do uso de maiúsculas e minúsculas especiais para números inteiros pequenos. Há espaço para melhorias, mas isso acontecerá após o lançamento do 3.0!

Portando para o Python 3.0

Para portar o código-fonte existente do Python 2.5 ou 2.6 para o Python 3.0, a melhor estratégia é a seguinte:

(Pré-requisito:) Comece com uma excelente cobertura de teste.

Portar para o Python 2.6. Isso não deve dar mais trabalho do que o port médio do Python 2.x para o Python 2.(x+1). Certifique-se de que todos os seus testes passem.

(Ainda usando 2.6:) Ative a opção de linha de comando -3. Isso habilita avisos sobre recursos que serão removidos (ou alterados) no 3.0. Execute seu conjunto de testes novamente e corrija o código sobre o qual você recebe avisos até que não haja mais avisos e todos os seus testes ainda passem.

Execute o tradutor de fonte para fonte 2to3 em sua árvore de código-fonte. Execute o resultado da tradução no Python 3.0. Corrija manualmente quaisquer problemas restantes, corrigindo problemas até que todos os testes passem novamente.

Não é recomendado tentar escrever código-fonte que seja executado inalterado no Python 2.6 e 3.0; você teria que usar um estilo de codificação muito distorcido, por exemplo, evitando instruções print, metaclasses e muito mais. Se você estiver mantendo uma biblioteca que precisa ter suporte ao Python 2.6 e Python 3.0, a melhor abordagem é modificar a etapa 3 acima editando a versão 2.6 do código-fonte e executando o tradutor 2to3 novamente, em vez de editar a versão 3.0 do código-fonte.

Para portar extensões C para Python 3.0, consulte Portando módulos de extensão para o Python 3.

O que há de novo no Python 2.7

Autor:

A.M. Kuchling (amk at amk.ca)

Este artigo explica os novos recursos do Python 2.7. O Python 2.7 foi lançado em 3 de julho de 2010.

A manipulação numérica foi aprimorada de várias maneiras, tanto para números de ponto flutuante quanto para a classe Decimal. Existem algumas adições úteis à biblioteca padrão, como um módulo unittest bastante aprimorado, o módulo argparse para analisar as opções da linha de comando, classes convenientes OrderedDict e Counter no módulo collections e muitas outras melhorias.

O Python 2.7 está planejado para ser o último dos lançamentos 2.x, por isso trabalhamos para torná-lo um bom lançamento a longo prazo. Para ajudar na migração para o Python 3, vários novos recursos da série Python 3.x foram incluídos no 2.7.

Este artigo não tenta fornecer uma especificação completa dos novos recursos, mas fornece uma visão geral conveniente. Para detalhes completos, você deve consultar a documentação do Python 2.7 em https://docs.python.org. Se você deseja entender a lógica do design e implementação, consulte a PEP para obter um novo recurso específico ou o problema em https://bugs.python.org no qual uma alteração foi discutida. Sempre que possível, o “O que há de novo no Python” é vinculado ao item de bug/patch de cada alteração.

O futuro para o Python 2.x

Python 2.7 é o último grande lançamento da série 2.x, já que os mantenedores do Python mudaram o foco de seus esforços de desenvolvimento de novos recursos para a série Python 3.x. Isso significa que, embora o Python 2 continue recebendo correções de bugs e seja atualizado para construir corretamente em novo hardware e versões de sistemas operados com suporte, não haverá novos lançamentos de recursos completos para a linguagem ou biblioteca padrão.

No entanto, embora haja um grande subconjunto comum entre Python 2.7 e Python 3, e muitas das mudanças envolvidas na migração para esse subconjunto comum, ou diretamente para Python 3, podem ser automatizadas com segurança, algumas outras mudanças (principalmente aquelas associadas ao tratamento Unicode) pode exigir uma consideração cuidadosa e, de preferência, conjuntos de testes de regressão automatizados robustos, para migrar com eficácia.

Isso significa que o Python 2.7 permanecerá em vigor por um longo tempo, fornecendo uma plataforma base estável e com suporte para sistemas de produção que ainda não foram portados para Python 3. O ciclo de vida completo esperado da série Python 2.7 é detalhado na PEP 373 [https://peps.python.org/pep-0373/].

Algumas consequências principais da significância de longo prazo de 2.7 são:

Conforme observado acima, a versão 2.7 tem um período de manutenção muito mais longo em comparação com as versões 2.x anteriores. Atualmente, espera-se que o Python 2.7 continue com o suporte da equipe de desenvolvimento central (recebendo atualizações de segurança e outras correções de bugs) até pelo menos 2020 (10 anos após seu lançamento inicial, em comparação com o período de suporte mais típico de 18-24 meses).

Conforme a biblioteca padrão do Python 2.7 envelhece, fazer uso efetivo do Python Package Index (diretamente ou por meio de um redistribuidor) torna-se mais importante para os usuários do Python 2. Além de uma grande variedade de pacotes de terceiros para várias tarefas, os pacotes disponíveis incluem backports de novos módulos e recursos da biblioteca padrão do Python 3 que são compatíveis com o Python 2, bem como várias ferramentas e bibliotecas que podem tornar mais fácil migre para Python 3. O Guia de Usuário para Empacotamento de Python [https://packaging.python.org] fornece orientação sobre como baixar e instalar software do Python Package Index.

Embora a abordagem preferida para aprimorar o Python 2 agora seja a publicação de novos pacotes no Python Package Index, essa abordagem não funciona necessariamente em todos os casos, especialmente aqueles relacionados à segurança de rede. Em casos excepcionais que não podem ser tratados adequadamente com a publicação de pacotes novos ou atualizados no PyPI, o processo de Proposta de Melhoria do Python, ou PEP, pode ser usado para justificar a adição de novos recursos diretamente à biblioteca padrão do Python 2. Quaisquer adições, e as versões de manutenção onde foram adicionadas, serão observadas na seção Novos recursos adicionados às versões de manutenção do Python 2.7 abaixo.

Para projetos que desejam migrar de Python 2 para Python 3, ou para desenvolvedores de bibliotecas e frameworks que desejam oferecer suporte a usuários em Python 2 e Python 3, há uma variedade de ferramentas e guias disponíveis para ajudar a decidir sobre uma abordagem adequada e gerenciar alguns dos os detalhes técnicos envolvidos. O ponto de partida recomendado é o guia Como portar códigos do Python 2 para o Python 3.

Mudanças no tratamento de avisos de descontinuação

Para Python 2.7, uma decisão política foi feita para silenciar avisos apenas de interesse para desenvolvedores por padrão. DeprecationWarning e seus descendentes agora são ignorados a menos que solicitado de outra forma, evitando que os usuários vejam avisos acionados por uma aplicação. Essa mudança também foi feita no branch que se tornou o Python 3.2. (Discutido em stdlib-sig e realizado em bpo-7319 [https://bugs.python.org/issue?@action=redirect&bpo=7319].)

Em versões anteriores, as mensagens DeprecationWarning eram habilitadas por padrão, fornecendo aos desenvolvedores de Python uma indicação clara de onde seu código pode quebrar em uma versão principal futura do Python.

No entanto, há cada vez mais usuários de aplicações baseadas em Python que não estão diretamente envolvidos no desenvolvimento dessas aplicações. Mensagens de DeprecationWarning são irrelevantes para tais usuários, fazendo-os se preocupar com uma aplicação que está realmente funcionando corretamente e sobrecarregando os desenvolvedores de aplicações com a resposta a essas preocupações.

Você pode reativar a exibição de mensagens DeprecationWarning executando Python com a opção -Wdefault (forma curta: -Wd) ou definindo a variável de ambiente PYTHONWARNINGS para "default" (ou "d") antes de executar o Python. O código Python também pode reativá-los chamando warnings.simplefilter('default').

O módulo unittest também reativa automaticamente os avisos de depreciação ao executar testes.

Recursos do Python 3.1

Assim como o Python 2.6 incorporou recursos do Python 3.0, a versão 2.7 incorpora alguns dos novos recursos do Python 3.1. A série 2.x continua a fornecer ferramentas para migração para a série 3.x.

Uma lista parcial de recursos do 3.1 que foram transferidos para o 2.7:

A sintaxe para conjuntos de literais ({1,2,3} é um conjunto mutável).

Compreensões de dicionário e conjunto ({i: i*2 for i in range(3)}).

Vários gerenciadores de contexto em uma única instrução with.

Uma nova versão da biblioteca io, reescrita em C para melhor desempenho.

O tipo de dicionário ordenado descrito na PEP 372: Adicionando um dicionário ordenado a coleções.

O novo especificador de formato "," descrito na PEP 378: Especificador de formato para separador de milhares.

O objeto memoryview.

Um pequeno subconjunto do módulo importlib, descrito sob.

O repr() de um ponto flutuante x é mais curto em muitos casos: agora é baseado na string decimal mais curta que é garantida para arredondar de volta para x. Como nas versões anteriores do Python, é garantido que float(repr(x)) recupera x.

As conversões de ponto flutuante para string e string para ponto flutuante são arredondadas corretamente. A função round() também está agora corretamente arredondada.

O tipo PyCapsule, usado para fornecer uma API C para módulos de extensão.

A função de API C PyLong_AsLongAndOverflow().

Outros novos avisos do modo Python3 incluem:

operator.isCallable() e operator.sequenceIncludes(), que não são suportados no 3.x, agora disparam avisos.

A opção -3 agora habilita automaticamente a opção -Qwarn que causa avisos sobre o uso de divisão clássica com inteiros e inteiros longos.

PEP 372: Adicionando um dicionário ordenado a coleções

Dicionários regulares no Python iteram sobre pares de chave/valor em ordem arbitrária. Ao longo dos anos, vários autores escreveram implementações alternativas que lembram a ordem em que as chaves foram inseridas originalmente. Com base nas experiências dessas implementações, 2.7 introduz uma nova classe OrderedDict no módulo collections.

A API OrderedDict fornece a mesma interface que os dicionários regulares, mas itera sobre chaves e valores em uma ordem garantida dependendo de quando uma chave foi inserida pela primeira vez:

>>> from collections import OrderedDict
>>> d = OrderedDict([('first', 1),
...                  ('second', 2),
...                  ('third', 3)])
>>> d.items()
[('first', 1), ('second', 2), ('third', 3)]

Se uma nova entrada substituir uma entrada existente, a posição de inserção original permanece inalterada:

>>> d['second'] = 4
>>> d.items()
[('first', 1), ('second', 4), ('third', 3)]

Excluir uma entrada e reinseri-la irá movê-la para o final:

>>> del d['second']
>>> d['second'] = 5
>>> d.items()
[('first', 1), ('third', 3), ('second', 5)]

O método popitem() tem um argumento opcional last cujo valor padrão é True. Se last for true, a chave adicionada mais recentemente é retornada e removida; se for falso, a chave mais antiga é selecionada:

>>> od = OrderedDict([(x,0) for x in range(20)])
>>> od.popitem()
(19, 0)
>>> od.popitem()
(18, 0)
>>> od.popitem(last=False)
(0, 0)
>>> od.popitem(last=False)
(1, 0)

A comparação de dois dicionários ordenados verifica as chaves e os valores e exige que o pedido de inserção seja o mesmo:

>>> od1 = OrderedDict([('first', 1),
...                    ('second', 2),
...                    ('third', 3)])
>>> od2 = OrderedDict([('third', 3),
...                    ('first', 1),
...                    ('second', 2)])
>>> od1 == od2
False
>>> # Move 'third' key to the end
>>> del od2['third']; od2['third'] = 3
>>> od1 == od2
True

Comparar um OrderedDict com um dicionário regular ignora a ordem de inserção e apenas compara as chaves e valores.

Como funciona a OrderedDict? Ela mantém uma lista duplamente vinculada de chaves, acrescentando novas chaves à lista à medida que são inseridas. Um dicionário secundário mapeia as chaves para seu nó de lista correspondente, portanto, a exclusão não precisa percorrer toda a lista vinculada e, portanto, permanece O(1).

A biblioteca padrão agora oferece suporte ao uso de dicionários ordenados em vários módulos.

O módulo ConfigParser os usa por padrão, o que significa que os arquivos de configuração agora podem ser lidos, modificados e então escritos de volta em sua ordem original.

The _asdict() method for collections.namedtuple() now returns an ordered dictionary with the values appearing in the same order as the underlying tuple indices.

O construtor de classe JSONDecoder do módulo json foi estendido com um parâmetro object_pairs_hook para permitir que instâncias OrderedDict sejam construídas pelo decodificador. O suporte também foi adicionado para ferramentas de terceiros como PyYAML [https://pyyaml.org/].

Ver também

PEP 372 [https://peps.python.org/pep-0372/] - Adicionando um dicionário ordenado às coleções

PEP escrita por Armin Ronacher e Raymond Hettinger; implementada por Raymond Hettinger.

PEP 378: Especificador de formato para separador de milhares

Para tornar a saída do programa mais legível, pode ser útil adicionar separadores a números grandes, renderizando-os como 18,446,744.073,709,551,616 em vez de 18446744073709551616.

A solução totalmente geral para fazer isso é o módulo locale, que pode usar diferentes separadores (“,” na América do Norte, “.” na Europa) e diferentes tamanhos de agrupamento, mas locale é complicado para usar e inadequado para aplicativos multithread onde diferentes threads estão produzindo saída para diferentes localidades.

Portanto, um mecanismo simples de agrupamento de vírgulas foi adicionado à minilinguagem usada pelo método str.format(). Ao formatar um número de ponto flutuante, basta incluir uma vírgula entre a largura e a precisão:

>>> '{:20,.2f}'.format(18446744073709551616.0)
'18,446,744,073,709,551,616.00'

Ao formatar um número inteiro, inclua a vírgula após a largura:

>>> '{:20,d}'.format(18446744073709551616)
'18,446,744,073,709,551,616'

Este mecanismo não é adaptável de forma alguma; vírgulas são sempre usadas como separadores e o agrupamento é sempre em grupos de três dígitos. O mecanismo de formatação de vírgula não é tão geral quanto o módulo locale, mas é mais fácil de usar.

Ver também

PEP 378 [https://peps.python.org/pep-0378/] - Especificador de formato para separador de milhares

PEP escrita por Raymond Hettinger; implementada por Eric Smith.

PEP 389: O módulo argparse para analisar linhas de comando

O módulo argparse para analisar argumentos de linha de comando foi adicionado como um substituto mais poderoso para o módulo optparse.

Isso significa que Python agora oferece suporte a três módulos diferentes para analisar argumentos de linha de comando: getopt, optparse e argparse. O módulo getopt se assemelha muito à função getopt() da biblioteca C, portanto continua útil se você estiver escrevendo um protótipo Python que eventualmente será reescrito em C. optparse torna-se redundante, mas não há planos para removê-lo porque muitos scripts ainda o utilizam e não há uma maneira automatizada de atualizar esses scripts. (Tornar a API argparse consistente com a interface de optparse foi discutido, mas rejeitado por ser muito confuso e difícil.)

Resumindo, se você está escrevendo um novo script e não precisa se preocupar com a compatibilidade com versões anteriores do Python, use argparse ao invés de optparse.

Aqui está um exemplo:

import argparse

parser = argparse.ArgumentParser(description='Command-line example.')

# Add optional switches
parser.add_argument('-v', action='store_true', dest='is_verbose',
                    help='produce verbose output')
parser.add_argument('-o', action='store', dest='output',
                    metavar='FILE',
                    help='direct output to FILE instead of stdout')
parser.add_argument('-C', action='store', type=int, dest='context',
                    metavar='NUM', default=0,
                    help='display NUM lines of added context')

# Allow any number of additional arguments.
parser.add_argument(nargs='*', action='store', dest='inputs',
                    help='input filenames (default is stdin)')

args = parser.parse_args()
print args.__dict__

A menos que você o substitua, as opções -h e --help são adicionadas automaticamente e produzem uma saída formatada de maneira organizada:

-> ./python.exe argparse-example.py --help
usage: argparse-example.py [-h] [-v] [-o FILE] [-C NUM] [inputs [inputs ...]]

Command-line example.

positional arguments:
  inputs      input filenames (default is stdin)

optional arguments:
  -h, --help  show this help message and exit
  -v          produce verbose output
  -o FILE     direct output to FILE instead of stdout
  -C NUM      display NUM lines of added context

Como em optparse, as opções e argumentos da linha de comando são retornados como um objeto com atributos nomeados pelos parâmetros dest:

-> ./python.exe argparse-example.py -v
{'output': None,
 'is_verbose': True,
 'context': 0,
 'inputs': []}

-> ./python.exe argparse-example.py -v -o /tmp/output -C 4 file1 file2
{'output': '/tmp/output',
 'is_verbose': True,
 'context': 4,
 'inputs': ['file1', 'file2']}

argparse tem uma validação muito mais sofisticada que optparse; você pode especificar um número exato de argumentos como um inteiro, 0 ou mais argumentos passando '*', 1 ou mais passando '+', ou um argumento opcional com '?'. Um analisador de nível superior pode conter sub-analisadores para definir subcomandos que possuem diferentes conjuntos de opções, como em svn commit, svn checkout, etc. Você pode especificar o tipo de um argumento como FileType, que abrirá arquivos automaticamente para você e entende que '-' significa entrada ou saída padrão.

Ver também

Documentação do argparse

A página de documentação do módulo argparse.

Atualizando código optparse

Parte da documentação do Python, descrevendo como converter o código que usa optparse.

PEP 389 [https://peps.python.org/pep-0389/] - argparse - Novo módulo de análise sintática de linha de comando

PEP escrita e implementada por Steven Bethard.

PEP 391: Configuração baseada em dicionário para logging

O módulo logging é muito flexível; os aplicativos podem definir uma árvore de subsistemas de log e cada logger nessa árvore pode filtrar determinadas mensagens, formatá-las de maneira diferente e direcionar mensagens para um número variável de manipuladores.

Toda essa flexibilidade pode exigir muita configuração. Você pode escrever instruções Python para criar objetos e definir suas propriedades, mas uma configuração complexa requer um código detalhado, mas enfadonho. logging também suporta uma função fileConfig() que analisa um arquivo, mas o formato do arquivo não oferece suporte à configuração de filtros, e é mais confuso gerar programaticamente.

O Python 2.7 adiciona uma função dictConfig() que usa um dicionário para configurar o log. Existem muitas maneiras de produzir um dicionário a partir de diferentes fontes: construir um com código; analisar um arquivo contendo JSON; ou use uma biblioteca de análise de YAML se houver uma instalada. Para mais informações veja Configuration functions.

O exemplo a seguir configura dois loggers, o logger raiz e um logger denominado “network”. As mensagens enviadas para o registrador raiz serão enviadas para o log do sistema usando o protocolo syslog, e as mensagens para o logger “network” serão gravadas em um arquivo network.log que será rotacionado assim que o log atingir 1 MB.

import logging
import logging.config

configdict = {
 'version': 1,    # Configuration schema in use; must be 1 for now
 'formatters': {
     'standard': {
         'format': ('%(asctime)s %(name)-15s '
                    '%(levelname)-8s %(message)s')}},

 'handlers': {'netlog': {'backupCount': 10,
                     'class': 'logging.handlers.RotatingFileHandler',
                     'filename': '/logs/network.log',
                     'formatter': 'standard',
                     'level': 'INFO',
                     'maxBytes': 1000000},
              'syslog': {'class': 'logging.handlers.SysLogHandler',
                         'formatter': 'standard',
                         'level': 'ERROR'}},

 # Specify all the subordinate loggers
 'loggers': {
             'network': {
                         'handlers': ['netlog']
             }
 },
 # Specify properties of the root logger
 'root': {
          'handlers': ['syslog']
 },
}

# Set up configuration
logging.config.dictConfig(configdict)

# As an example, log two error messages
logger = logging.getLogger('/')
logger.error('Database not found')

netlogger = logging.getLogger('network')
netlogger.error('Connection failed')

Três melhorias menores no módulo logging, todas implementadas por Vinay Sajip, são:

A classe SysLogHandler agora tem suporte a syslogging sobre TCP. O construtor tem um parâmetro socktype que fornece o tipo de soquete a ser usado, socket.SOCK_DGRAM para UDP ou socket.SOCK_STREAM para TCP. O protocolo padrão permanece UDP.

As instâncias Logger ganharam um método getChild() que recupera um logger descendente usando um caminho relativo. Por exemplo, depois de recuperar um logger fazendo log = getLogger('app'), chamar log.getChild('network.listen') é equivalente a getLogger('app.network.listen').

A classe LoggerAdapter ganhou um método isEnabledFor() que pega um level e retorna se o logger subjacente processaria uma mensagem desse nível de importância.

Ver também

PEP 391 [https://peps.python.org/pep-0391/] - Configuração baseada em dicionário para logging

PEP escrita e implementada por Vinay Sajip.

PEP 3106: Views de dicionário

Os métodos de dicionário keys(), values() e items() são diferentes no Python 3.x. Eles retornam um objeto chamado view em vez de uma lista totalmente materializada.

Não é possível alterar os valores de retorno de keys(), values() e items() no Python 2.7 porque muito código seria interrompido. Em vez disso, as versões 3.x foram adicionadas com os novos nomes viewkeys(), viewvalues() e viewitems().

>>> d = dict((i*10, chr(65+i)) for i in range(26))
>>> d
{0: 'A', 130: 'N', 10: 'B', 140: 'O', 20: ..., 250: 'Z'}
>>> d.viewkeys()
dict_keys([0, 130, 10, 140, 20, 150, 30, ..., 250])

As views podem ser iteradas, mas as exibições de chave e item também se comportam como conjuntos. O operador & realiza a interseção, e o | realiza uma união:

>>> d1 = dict((i*10, chr(65+i)) for i in range(26))
>>> d2 = dict((i**.5, i) for i in range(1000))
>>> d1.viewkeys() & d2.viewkeys()
set([0.0, 10.0, 20.0, 30.0])
>>> d1.viewkeys() | range(0, 30)
set([0, 1, 130, 3, 4, 5, 6, ..., 120, 250])

A view acompanha o dicionário e seu conteúdo muda à medida que o dicionário é modificado:

>>> vk = d.viewkeys()
>>> vk
dict_keys([0, 130, 10, ..., 250])
>>> d[260] = '&'
>>> vk
dict_keys([0, 130, 260, 10, ..., 250])

No entanto, observe que você não pode adicionar ou remover chaves enquanto estiver iterando na view:

>>> for k in vk:
...     d[k*2] = k
...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: dictionary changed size during iteration

Você pode usar os métodos de exibição no código Python 2.x, e o conversor 2to3 irá alterá-los para os métodos padrão keys(), values() e items().

Ver também

PEP 3106 [https://peps.python.org/pep-3106/] - Repaginação de dict.keys(), .values() e .items()

PEP escrita por Guido van Rossum. Backported para 2.7 por Alexandre Vassalotti; bpo-1967 [https://bugs.python.org/issue?@action=redirect&bpo=1967].

PEP 3137: O objeto memoryview

O objeto memoryview fornece uma visão do conteúdo da memória de outro objeto que corresponde à interface do tipo bytes.

>>> import string
>>> m = memoryview(string.letters)
>>> m
<memory at 0x37f850>
>>> len(m)           # Returns length of underlying object
52
>>> m[0], m[25], m[26]   # Indexing returns one byte
('a', 'z', 'A')
>>> m2 = m[0:26]         # Slicing returns another memoryview
>>> m2
<memory at 0x37f080>

O conteúdo da viewq pode ser convertido em uma string de bytes ou uma lista de inteiros:

>>> m2.tobytes()
'abcdefghijklmnopqrstuvwxyz'
>>> m2.tolist()
[97, 98, 99, 100, 101, 102, 103, ... 121, 122]
>>>

Objetos memoryview permitem modificar o objeto subjacente se for um objeto mutável.

>>> m2[0] = 75
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: cannot modify read-only memory
>>> b = bytearray(string.letters)  # Creating a mutable object
>>> b
bytearray(b'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ')
>>> mb = memoryview(b)
>>> mb[0] = '*'         # Assign to view, changing the bytearray.
>>> b[0:5]              # The bytearray has been changed.
bytearray(b'*bcde')
>>>

Ver também

PEP 3137 [https://peps.python.org/pep-3137/] - Bytes imutáveis e buffer mutável

PEP escrita por Guido van Rossum. Implementada por Travis Oliphant, Antoine Pitrou e outros. Portado para 2.7 por Antoine Pitrou; bpo-2396 [https://bugs.python.org/issue?@action=redirect&bpo=2396].

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

A sintaxe para set literais foi portada do Python 3.x. Os colchetes são usados para cercar o conteúdo do conjunto mutável resultante; os literais definidos são diferenciados dos dicionários por não conterem caracteres de dois pontos e valores. {} continua a representar um dicionário vazio; use set() para um conjunto vazio.

>>> {1, 2, 3, 4, 5}
set([1, 2, 3, 4, 5])
>>> set() # empty set
set([])
>>> {}    # empty dict
{}

Portado por Alexandre Vassalotti; bpo-2335 [https://bugs.python.org/issue?@action=redirect&bpo=2335].

As compreensões de dicionário e conjunto são outro recurso importado do 3.x, generalizando as compreensões de lista/gerador para usar a sintaxe literal para conjuntos e dicionários.

>>> {x: x*x for x in range(6)}
{0: 0, 1: 1, 2: 4, 3: 9, 4: 16, 5: 25}
>>> {('a'*x) for x in range(6)}
set(['', 'a', 'aa', 'aaa', 'aaaa', 'aaaaa'])

Portado por Alexandre Vassalotti; bpo-2333 [https://bugs.python.org/issue?@action=redirect&bpo=2333].

A instrução with agora pode usar vários gerenciadores de contexto em uma instrução. Os gerenciadores de contexto são processados da esquerda para a direita e cada um é tratado como o início de uma nova instrução with. Isso significa que:

with A() as a, B() as b:
    ... suite of statements ...

é equivalente a:

with A() as a:
    with B() as b:
        ... suite of statements ...

A função contextlib.nested() fornece uma função muito similar, então não é mais necessária e foi descontinuada.

(Proposta em https://codereview.appspot.com/53094; implementada por Georg Brandl.)

As conversões entre números de ponto flutuante, ou float. e strings agora são arredondadas corretamente na maioria das plataformas. Estas conversões ocorrem em muitos lugares diferentes: str() em floats e números complexos; os construtores float e complex; formatação numérica; serializar e desserializar floats e números complexos usando os módulos marshal, pickle e json; análise de float e literais imaginários no código Python; e a conversão Decimal-para-float.

Relacionado a isso, o repr() de um número de ponto flutuante x agora retorna um resultado baseado na string decimal mais curta que é garantida para arredondar de volta para x sob o arredondamento correto (com o modo de arredondamento round-half-to-even). Anteriormente, fornecia uma string baseada no arredondamento x para 17 dígitos decimais.

A biblioteca de arredondamento responsável por essa melhoria funciona no Windows e em plataformas Unix usando os compiladores gcc, icc ou suncc. Pode haver um pequeno número de plataformas onde a operação correta deste código não pode ser garantida, então o código não é usado em tais sistemas. Você pode descobrir qual código está sendo usado verificando sys.float_repr_style, que será short se o novo código estiver em uso e legacy se não estiver.

Implementada por Eric Smith and Mark Dickinson, usando a biblioteca dtoa.c de David Gay; bpo-7117 [https://bugs.python.org/issue?@action=redirect&bpo=7117].

As conversões de inteiros longos e inteiros regulares para ponto flutuante agora arredondam de maneira diferente, retornando o número de ponto flutuante mais próximo ao número. Isso não importa para pequenos inteiros que podem ser convertidos exatamente, mas para grandes números que inevitavelmente perderão a precisão, o Python 2.7 agora se aproxima mais. Por exemplo, o Python 2.6 computou o seguinte:

>>> n = 295147905179352891391
>>> float(n)
2.9514790517935283e+20
>>> n - long(float(n))
65535L

O resultado de ponto flutuante do Python 2.7 é maior, mas muito mais próximo do valor verdadeiro:

>>> n = 295147905179352891391
>>> float(n)
2.9514790517935289e+20
>>> n - long(float(n))
-1L

(Implementada por Mark Dickinson; bpo-3166 [https://bugs.python.org/issue?@action=redirect&bpo=3166].)

A divisão inteira também é mais precisa em seus comportamentos de arredondamento. (Também implementada por Mark Dickinson; bpo-1811 [https://bugs.python.org/issue?@action=redirect&bpo=1811].)

A coerção implícita para números complexos foi removida; o interpretador nunca mais tentará chamar um método __coerce__() em objetos complexos. (Removido por Meador Inge e Mark Dickinson; bpo-5211 [https://bugs.python.org/issue?@action=redirect&bpo=5211].)

O método str.format() agora tem suporte à numeração automática dos campos de substituição. Isso torna o uso de str.format() mais parecido com o uso da formatação %s:

>>> '{}:{}:{}'.format(2009, 04, 'Sunday')
'2009:4:Sunday'
>>> '{}:{}:{day}'.format(2009, 4, day='Sunday')
'2009:4:Sunday'

A numeração automática leva os campos da esquerda para a direita, então o primeiro especificador {...} usará o primeiro argumento para str.format(), o próximo especificador usará o próximo argumento e breve. Você não pode misturar a numeração automática e a numeração explícita – numerar todos os seus campos especificadores ou nenhum deles – mas você pode misturar a numeração automática e os campos nomeados, como no segundo exemplo acima. (Contribuição de Eric Smith; bpo-5237 [https://bugs.python.org/issue?@action=redirect&bpo=5237].)

Números complexos agora suportam corretamente o uso com format(), e o padrão é alinhamento à direita. A especificação de uma precisão ou separação por vírgula aplica-se às partes reais e imaginárias do número, mas uma largura de campo e alinhamento especificados são aplicados a toda a saída 1.5+3j resultante. (Contribuição de Eric Smith; bpo-1588 [https://bugs.python.org/issue?@action=redirect&bpo=1588] e bpo-7988 [https://bugs.python.org/issue?@action=redirect&bpo=7988].)

O código de formato ‘F’ agora sempre formata sua saída usando caracteres maiúsculos, então agora produzirá ‘INF’ e ‘NAN’. (Contribuição de Eric Smith; bpo-3382 [https://bugs.python.org/issue?@action=redirect&bpo=3382].)

Uma alteração de baixo nível: o método object.__format__() agora aciona um PendingDeprecationWarning se for passado uma string de formato, porque o método __format__() para object converte o objeto para uma representação de string e formata isso. Anteriormente, o método aplicava silenciosamente a string de formato à representação da string, mas isso poderia ocultar erros no código Python. Se você estiver fornecendo informações de formatação, como alinhamento ou precisão, presumivelmente espera que a formatação seja aplicada de alguma maneira específica do objeto. (Correção de Eric Smith; bpo-7994 [https://bugs.python.org/issue?@action=redirect&bpo=7994].)

Os tipos int() e long() ganharam um método bit_length que retorna o número de bits necessários para representar seu argumento em binário:

>>> n = 37
>>> bin(n)
'0b100101'
>>> n.bit_length()
6
>>> n = 2**123-1
>>> n.bit_length()
123
>>> (n+1).bit_length()
124

(Contribuição de Fredrik Johansson e Victor Stinner; bpo-3439 [https://bugs.python.org/issue?@action=redirect&bpo=3439].)

A instrução import não tentará mais uma importação absoluta se uma importação relativa (por exemplo, from .os import sep) falhar. Isso corrige um bug, mas pode possivelmente quebrar certas instruções import que estavam funcionando apenas por acidente. (Correção de Meador Inge; bpo-7902 [https://bugs.python.org/issue?@action=redirect&bpo=7902].)

Agora é possível para uma subclasse do tipo embutido unicode substituir o método __unicode__(). (Implementado por Victor Stinner; bpo-1583863 [https://bugs.python.org/issue?@action=redirect&bpo=1583863].)

O método translate() do tipo bytearray agora aceita None como seu primeiro argumento. (Correção de Georg Brandl; bpo-4759 [https://bugs.python.org/issue?@action=redirect&bpo=4759].)

Ao usar @classmethod e @staticmethod para agrupar métodos como classe ou métodos estáticos, o objeto wrapper agora expõe a função agrupada como seu atributo __func__. (Contribuição de Amaury Forgeot d’Arc, após sugestão de George Sakkis; bpo-5982 [https://bugs.python.org/issue?@action=redirect&bpo=5982].)

Quando um conjunto restrito de atributos foi definido usando __slots__, excluir um atributo não definido não levantaria AttributeError como seria de esperar. Correção de Benjamin Peterson; bpo-7604 [https://bugs.python.org/issue?@action=redirect&bpo=7604].)

Duas novas codificações agora são suportadas: “cp720”, usado principalmente para texto em árabe; e “cp858”, uma variante do CP 850 que adiciona o símbolo do euro. (CP720 foi contribuição de Alexander Belchenko e Amaury Forgeot d’Arc em bpo-1616979 [https://bugs.python.org/issue?@action=redirect&bpo=1616979]; CP858 foi contribuição de Tim Hatch em bpo-8016 [https://bugs.python.org/issue?@action=redirect&bpo=8016].)

O objeto file agora definirá o atributo filename na exceção IOError ao tentar abrir um diretório em plataformas POSIX (observado por Jan Kaliszewski; bpo-4764 [https://bugs.python.org/issue?@action=redirect&bpo=4764]) , e agora verifica explicitamente e proíbe a gravação em objetos arquivo somente leitura em vez de confiar na biblioteca C para detectar e relatar o erro (correção de Stefan Krah; bpo-5677 [https://bugs.python.org/issue?@action=redirect&bpo=5677]).

O tokenizador do Python agora traduz as próprias terminações de linha, então a função embutida compile() agora aceita código usando qualquer convenção de terminação de linha. Além disso, não requer mais que o código termine em uma nova linha.

Parênteses extras em definições de função são ilegais no Python 3.x, o que significa que você obtém um erro de sintaxe de def f((x)): pass. No modo de aviso do Python3, o Python 2.7 agora avisará sobre esse uso estranho. (Notado por James Lingard; bpo-7362 [https://bugs.python.org/issue?@action=redirect&bpo=7362].)

Agora é possível criar referências fracas para objetos de classe de estilo antigo. As classes de novo estilo sempre tiveram referências fracas. (Correção de Antoine Pitrou; bpo-8268 [https://bugs.python.org/issue?@action=redirect&bpo=8268].)

Quando um objeto de módulo é coletado como lixo, o dicionário do módulo agora só é limpo se ninguém mais estiver mantendo uma referência ao dicionário (bpo-7140 [https://bugs.python.org/issue?@action=redirect&bpo=7140]).

Alterações no interpretador

Uma nova variável de ambiente, PYTHONWARNINGS, permite controlar os avisos. Deve ser definido como uma string contendo configurações de aviso, equivalentes àquelas usadas com a opção -W, separadas por vírgulas. (Contribuição de Brian Curtin; bpo-7301 [https://bugs.python.org/issue?@action=redirect&bpo=7301].)

Por exemplo, a configuração a seguir imprimirá avisos toda vez que ocorrerem, mas transformará os avisos do módulo Cookie em um erro. (A sintaxe exata para definir uma variável de ambiente varia entre sistemas operacionais e shells.)

export PYTHONWARNINGS=all,error:::Cookie:0

Otimizações

Vários aprimoramentos de desempenho foram adicionados:

Um novo opcode foi adicionado para executar a configuração inicial das instruções with, procurando os métodos __enter__() e __exit__(). (Contribuição de Benjamin Peterson.)

O coletor de lixo agora funciona melhor para um padrão de uso comum: quando muitos objetos estão sendo alocados sem desalocar nenhum deles. Anteriormente, isso levaria um tempo quadrático para coleta de lixo, mas agora o número de coletas de lixo completas é reduzido à medida que o número de objetos no heap aumenta. A nova lógica só executa uma passagem completa de coleta de lixo quando a geração intermediária tiver sido coletada 10 vezes e quando o número de objetos sobreviventes da geração intermediária exceder 10% do número de objetos da geração mais antiga. (Sugerido por Martin von Löwis e implementado por Antoine Pitrou; bpo-4074 [https://bugs.python.org/issue?@action=redirect&bpo=4074].)

O coletor de lixo tenta evitar o rastreamento de contêineres simples que não podem fazer parte de um ciclo. No Python 2.7, isso agora é verdade para tuplas e dicts contendo tipos atômicos (como ints, strings, etc.). Transitivamente, um dict contendo tuplas de tipos atômicos também não será rastreado. Isso ajuda a reduzir o custo de cada coleta de lixo diminuindo o número de objetos a serem considerados e percorridos pelo coletor. (Contribuição de Antoine Pitrou; bpo-4688 [https://bugs.python.org/issue?@action=redirect&bpo=4688].)

Inteiros longos agora são armazenados internamente na base 2**15 ou na base 2**30, sendo a base determinada no momento da compilação. Anteriormente, eles eram sempre armazenados na base 2**15. O uso de base 2**30 oferece melhorias significativas de desempenho em máquinas de 64 bits, mas os resultados de benchmark em máquinas de 32 bits foram mistos. Portanto, o padrão é usar base 2**30 em máquinas de 64 bits e base 2**15 em máquinas de 32 bits; no Unix, há uma nova opção de configuração --enable-big-digits que pode ser usada para substituir esse padrão.

Além das melhorias de desempenho, essa alteração deve ser invisível para os usuários finais, com uma exceção: para fins de teste e depuração, há um novo structseq sys.long_info que fornece informações sobre o formato interno, fornecendo o número de bits por dígito e o tamanho em bytes do tipo C usado para armazenar cada dígito:

>>> import sys
>>> sys.long_info
sys.long_info(bits_per_digit=30, sizeof_digit=4)

(Contribuição de Mark Dickinson; bpo-4258 [https://bugs.python.org/issue?@action=redirect&bpo=4258].)

Outro conjunto de alterações tornou os objetos longos alguns bytes menores: 2 bytes menores em sistemas de 32 bits e 6 bytes em sistemas de 64 bits. (Contribuição de Mark Dickinson; bpo-5260 [https://bugs.python.org/issue?@action=redirect&bpo=5260].)

O algoritmo de divisão para números inteiros longos ficou mais rápido apertando o laço interno, fazendo deslocamentos em vez de multiplicações e corrigindo uma iteração extra desnecessária. Vários benchmarks mostram acelerações entre 50% e 150% para divisões inteiras longas e operações de módulo. (Contribuição de Mark Dickinson; bpo-5512 [https://bugs.python.org/issue?@action=redirect&bpo=5512].) Operações bit a bit também são significativamente mais rápidas (patch inicial de Gregory Smith; bpo-1087418 [https://bugs.python.org/issue?@action=redirect&bpo=1087418]).

A implementação de % verifica se o operando do lado esquerdo é uma string Python e usa casos especiais; isso resulta em um aumento de desempenho de 1 a 3% para aplicativos que usam frequentemente % com strings, como bibliotecas de modelos. (Implementação de Collin Winter; bpo-5176 [https://bugs.python.org/issue?@action=redirect&bpo=5176].)

Compreensões de lista com uma condição if são compiladas em bytecode mais rápido. (Patch de Antoine Pitrou, retroportado para 2.7 por Jeffrey Yasskin; bpo-4715 [https://bugs.python.org/issue?@action=redirect&bpo=4715].)

A conversão de um inteiro ou inteiro longo em uma string decimal ficou mais rápida com o uso de maiúsculas e minúsculas especiais na base 10, em vez de usar uma função de conversão generalizada que oferece suporte a bases arbitrárias. (Patch por Gawain Bolton; bpo-6713 [https://bugs.python.org/issue?@action=redirect&bpo=6713].)

Os métodos split(), replace(), rindex(), rpartition() e rsplit() de tipos semelhantes a strings (strings, Strings Unicode e objetos bytearray) agora usam um algoritmo de pesquisa reversa rápida em vez de uma varredura caractere por caractere. Às vezes, isso é mais rápido por um fator de 10. (Adicionado por Florent Xicluna; bpo-7462 [https://bugs.python.org/issue?@action=redirect&bpo=7462] e bpo-7622 [https://bugs.python.org/issue?@action=redirect&bpo=7622].)

Os módulos pickle e cPickle agora internalizam automaticamente as strings usadas para nomes de atributos, reduzindo o uso de memória dos objetos resultantes da desserialização com pickle. (Contribuição de Jake McGuire; bpo-5084 [https://bugs.python.org/issue?@action=redirect&bpo=5084].)

O módulo cPickle agora usa dicionários de casos especiais, reduzindo quase pela metade o tempo necessário para serializá-los com pickle. (Contribuição de Collin Winter; bpo-5670 [https://bugs.python.org/issue?@action=redirect&bpo=5670].)

Módulos Novos ou Aprimorados

Como em todas os lançamentos, a biblioteca padrão do Python recebeu diversas melhorias e correções de bugs. Aqui está uma lista parcial das mudanças mais notáveis, classificadas em ordem alfabética por nome do módulo. Consulte o arquivo Misc/NEWS na árvore de código-fonte para uma lista mais completa de alterações, ou procure nos logs do Subversion para todos os detalhes.

A classe de depuração base do módulo bdb Bdb ganhou um recurso para pular módulos. O construtor agora usa um iterável contendo padrões estilo glob como django.*; o depurador não entrará nos quadros de pilha de um módulo que corresponda a um desses padrões. (Contribuição de Maru Newby após sugestão de Senthil Kumaran; bpo-5142 [https://bugs.python.org/issue?@action=redirect&bpo=5142].)

O módulo binascii agora oferece suporte à API de buffer, então ele pode ser usado com instâncias memoryview e outros objetos buffer similares. (Backport de 3.x por Florent Xicluna; bpo-7703 [https://bugs.python.org/issue?@action=redirect&bpo=7703].)

Módulo atualizado: o módulo bsddb foi atualizado de 4.7.2devel9 para a versão 4.8.4 do pacote pybsddb [https://www.jcea.es/programacion/pybsddb.htm]. A nova versão apresenta melhor compatibilidade com Python 3.x, várias correções de bugs e adiciona vários novos sinalizadores e métodos BerkeleyDB. (Atualizado por Jesús Cea Avión; bpo-8156 [https://bugs.python.org/issue?@action=redirect&bpo=8156]. O changelog do pybsddb pode ser lido em https://hg.jcea.es/pybsddb/file/tip/ChangeLog.)

O BZ2File do módulo bz2 agora oferece suporte ao protocolo de gerenciamento de contexto, então você pode escrever with bz2.BZ2File(...) as f:. (Contribuição de Hagen Fürstenau; bpo-3860 [https://bugs.python.org/issue?@action=redirect&bpo=3860].)

Nova classe: a classe Counter no módulo collections é útil para contabilizar dados. As instâncias Counter se comportam principalmente como dicionários, mas retornam zero para chaves ausentes em vez de levantar uma exceção KeyError:

>>> from collections import Counter
>>> c = Counter()
>>> for letter in 'here is a sample of english text':
...   c[letter] += 1
...
>>> c
Counter({' ': 6, 'e': 5, 's': 3, 'a': 2, 'i': 2, 'h': 2,
'l': 2, 't': 2, 'g': 1, 'f': 1, 'm': 1, 'o': 1, 'n': 1,
'p': 1, 'r': 1, 'x': 1})
>>> c['e']
5
>>> c['z']
0

Existem três métodos Counter adicionais. most_common() retorna os N elementos mais comuns e suas contagens. elements() retorna um iterador sobre os elementos contidos, repetindo cada elemento tantas vezes quanto sua contagem. subtract() pega um iterável e subtrai um para cada elemento em vez de adicionar; se o argumento for um dicionário ou outro Counter, as contagens são subtraídas.

>>> c.most_common(5)
[(' ', 6), ('e', 5), ('s', 3), ('a', 2), ('i', 2)]
>>> c.elements() ->
   'a', 'a', ' ', ' ', ' ', ' ', ' ', ' ',
   'e', 'e', 'e', 'e', 'e', 'g', 'f', 'i', 'i',
   'h', 'h', 'm', 'l', 'l', 'o', 'n', 'p', 's',
   's', 's', 'r', 't', 't', 'x'
>>> c['e']
5
>>> c.subtract('very heavy on the letter e')
>>> c['e']    # Count is now lower
-1

Contribuição de Raymond Hettinger; bpo-1696199 [https://bugs.python.org/issue?@action=redirect&bpo=1696199].

Nova classe: OrderedDict é descrita na seção anterior PEP 372: Adicionando um dicionário ordenado a coleções.

Novo método: O tipo de dados deque agora tem um método count() que retorna o número de elementos contidos igual ao argumento fornecido x, e um reverse() método que inverte os elementos do deque no local. deque também expõe seu comprimento máximo como o atributo somente leitura maxlen. (Ambos os recursos adicionados por Raymond Hettinger.)

A classe namedtuple agora possui um parâmetro opcional rename. Se rename for verdadeiro, os nomes de campos inválidos porque foram repetidos ou não são identificadores Python legais serão renomeados para nomes legais derivados da posição do campo na lista de campos:

>>> from collections import namedtuple
>>> T = namedtuple('T', ['field1', '$illegal', 'for', 'field2'], rename=True)
>>> T._fields
('field1', '_1', '_2', 'field2')

(Adição de Raymond Hettinger; bpo-1818 [https://bugs.python.org/issue?@action=redirect&bpo=1818].)

Finalmente, a classe base abstrata Mapping agora retorna NotImplemented se um mapeamento for comparado a outro tipo que não seja um Mapping. (Correção de Daniel Stutzbach; bpo-8729 [https://bugs.python.org/issue?@action=redirect&bpo=8729].)

Construtores para as classes de análise no módulo ConfigParser agora recebem um parâmetro allow_no_value, cujo padrão é false; se verdadeiro, opções sem valores serão permitidas. Por exemplo:

>>> import ConfigParser, StringIO
>>> sample_config = """
... [mysqld]
... user = mysql
... pid-file = /var/run/mysqld/mysqld.pid
... skip-bdb
... """
>>> config = ConfigParser.RawConfigParser(allow_no_value=True)
>>> config.readfp(StringIO.StringIO(sample_config))
>>> config.get('mysqld', 'user')
'mysql'
>>> print config.get('mysqld', 'skip-bdb')
None
>>> print config.get('mysqld', 'unknown')
Traceback (most recent call last):
  ...
NoOptionError: No option 'unknown' in section: 'mysqld'

(Contribuição de Mats Kindahl; bpo-7005 [https://bugs.python.org/issue?@action=redirect&bpo=7005].)

Função descontinuada: contextlib.nested(), que permite lidar com mais de um gerenciador de contexto com uma única instrução with, foi descontinuada porque a instrução with agora oferece suporte a múltiplos contextos gerentes.

O módulo cookielib agora ignora cookies que possuem um campo de versão inválido, que não contém um valor inteiro. (Correção de John J. Lee; bpo-3924 [https://bugs.python.org/issue?@action=redirect&bpo=3924].)

A função deepcopy() do módulo copy agora copiará corretamente os métodos de instância vinculados. (Implementado por Robert Collins; bpo-1515 [https://bugs.python.org/issue?@action=redirect&bpo=1515].)

O módulo ctypes agora sempre converte None em um ponteiro C NULL para argumentos declarados como ponteiros. (Alterado por Thomas Heller; bpo-4606 [https://bugs.python.org/issue?@action=redirect&bpo=4606].) A biblioteca libffi [https://sourceware.org/libffi/] subjacente foi atualizada para a versão 3.0.9, contendo várias correções para diferentes plataformas. (Atualizado por Matthias Klose; bpo-8142 [https://bugs.python.org/issue?@action=redirect&bpo=8142].)

Novo método: a classe timedelta do módulo datetime ganhou um método total_seconds() que retorna o número de segundos na duração. (Contribuição de Brian Quinlan; bpo-5788 [https://bugs.python.org/issue?@action=redirect&bpo=5788].)

Novo método: a classe Decimal ganhou um método de classe from_float() que realiza uma conversão exata de um número de ponto flutuante para um Decimal. Essa conversão exata busca a maior aproximação decimal do valor da representação de ponto flutuante; o valor decimal resultante ainda incluirá a imprecisão, se houver. Por exemplo, Decimal.from_float(0.1) retorna Decimal('0.1000000000000000055511151231257827021181583404541015625'). (Implementado por Raymond Hettinger; bpo-4796 [https://bugs.python.org/issue?@action=redirect&bpo=4796].)

Comparar instâncias de Decimal com números de ponto flutuante agora produz resultados sensatos com base nos valores numéricos dos operandos. Anteriormente, essas comparações recorreriam às regras padrão do Python para comparar objetos, que produziam resultados arbitrários com base em seu tipo. Observe que você ainda não pode combinar Decimal e ponto flutuante em outras operações, como adição, já que você deve escolher explicitamente como converter entre float e Decimal. (Corrigido por Mark Dickinson; bpo-2531 [https://bugs.python.org/issue?@action=redirect&bpo=2531].)

O construtor para Decimal agora aceita números de ponto flutuante (adicionados por Raymond Hettinger; bpo-8257 [https://bugs.python.org/issue?@action=redirect&bpo=8257]) e caracteres Unicode não europeus, como dígitos árabe-índicos (contribuição de Mark Dickinson; bpo-6595 [https://bugs.python.org/issue?@action=redirect&bpo=6595]).

A maioria dos métodos da classe Context agora aceitam números inteiros, bem como instâncias Decimal; as únicas exceções são os métodos canonical() e is_canonical(). (Patch de Juan José Conti; bpo-7633 [https://bugs.python.org/issue?@action=redirect&bpo=7633].)

Ao usar instâncias Decimal com o método format() de uma string, o alinhamento padrão era anteriormente o alinhamento à esquerda. Isso foi alterado para alinhamento à direita, que é mais sensato para tipos numéricos. (Alteração de Mark Dickinson; bpo-6857 [https://bugs.python.org/issue?@action=redirect&bpo=6857].)

Comparações envolvendo um valor NaN de sinalização (ou sNAN) agora sinalizam InvalidOperation em vez de retornar silenciosamente um valor verdadeiro ou falso dependendo do operador de comparação. Valores silenciosos de NaN (ou NaN) agora são hasheáveis. (Corrigido por Mark Dickinson; bpo-7279 [https://bugs.python.org/issue?@action=redirect&bpo=7279].)

O módulo difflib agora produz uma saída que é mais compatível com as ferramentas diff/patch modernas através de uma pequena mudança, usando um caractere de tabulação em vez de espaços como separador no cabeçalho, fornecendo o nome do arquivo. (Correção de Anatoly Techtonik; bpo-7585 [https://bugs.python.org/issue?@action=redirect&bpo=7585].)

O comando Distutils sdist agora sempre regenera o arquivo MANIFEST, pois mesmo que os arquivos MANIFEST.in ou setup.py não tenham sido modificados, o usuário pode ter criado alguns novos arquivos que deveriam ser incluídos. (Correção de Tarek Ziadé; bpo-8688 [https://bugs.python.org/issue?@action=redirect&bpo=8688].)

O sinalizador IGNORE_EXCEPTION_DETAIL do módulo doctest irá agora ignorar o nome do módulo que contém a exceção que está sendo testada. (Patch de Lennart Regebro; bpo-7490 [https://bugs.python.org/issue?@action=redirect&bpo=7490].)

A classe Message do módulo email agora aceitará uma carga útil com valor Unicode, convertendo automaticamente a carga útil para a codificação especificada por output_charset. (Adição de R. David Murray; bpo-1368247 [https://bugs.python.org/issue?@action=redirect&bpo=1368247].)

A classe Fraction agora aceita uma única instância float ou Decimal, ou dois números racionais, como argumentos para seu construtor. (Implementação de Mark Dickinson; racionais adicionados em bpo-5812 [https://bugs.python.org/issue?@action=redirect&bpo=5812] e float/decimal em bpo-8294 [https://bugs.python.org/issue?@action=redirect&bpo=8294].)

Ordenar comparações (<, <=, >, >=) entre frações e números complexos agora levanta um TypeError. Isso corrige um descuido, fazendo com que Fraction corresponda aos outros tipos numéricos.

Nova classe: FTP_TLS no módulo ftplib fornece conexões FTP seguras usando encapsulamento TLS de autenticação, bem como controle subsequente e transferências de dados. (Contribuição de Giampaolo Rodola; bpo-2054 [https://bugs.python.org/issue?@action=redirect&bpo=2054].)

O método storbinary() para envios de binários agora pode reiniciar envios graças a um parâmetro rest adicionado (patch de Pablo Mouzo; bpo-6845 [https://bugs.python.org/issue?@action=redirect&bpo=6845].)

Novo decorador de classe: total_ordering() no módulo functools pega uma classe que define um método __eq__() e um de __lt__() , __le__(), __gt__() ou __ge__() e gera os métodos de comparação ausentes. Como o método __cmp__() está sendo descontinuado no Python 3.x, esse decorador facilita a definição de classes ordenadas. (Adicionado por Raymond Hettinger; bpo-5479 [https://bugs.python.org/issue?@action=redirect&bpo=5479].)

Nova função: cmp_to_key() usará uma função de comparação de estilo antigo que espera dois argumentos e retornará um novo chamável que pode ser usado como parâmetro key para funções como sorted(), min() e max(), etc. O principal uso pretendido é ajudar a tornar o código compatível com Python 3.x. (Adição de Raymond Hettinger.)

Nova função: o is_tracked() do módulo gc retorna verdadeiro se uma determinada instância for rastreada pelo coletor de lixo, falso caso contrário. (Contribuição de Antoine Pitrou; bpo-4688 [https://bugs.python.org/issue?@action=redirect&bpo=4688])

O GzipFile do módulo gzip agora oferece suporte ao protocolo de gerenciamento de contexto, então você pode escrever with gzip.GzipFile(...) as f: (contribuição de Hagen Fürstenau; bpo-3860 [https://bugs.python.org/issue?@action=redirect&bpo=3860]), e agora implementa o io.BufferedIOBase ABC, então você pode envolvê-lo com io.BufferedReader para processamento mais rápido (contribuição de Nir Aides; bpo-7471 [https://bugs.python.org/issue?@action=redirect&bpo=7471]). Agora também é possível substituir o horário de modificação registrado em um arquivo compactado, fornecendo um registro de data e hora opcional ao construtor. (Contribuição de Jacques Frechet; bpo-4272 [https://bugs.python.org/issue?@action=redirect&bpo=4272].)

Arquivos no formato gzip podem ser preenchidos com zero bytes à direita; o módulo gzip agora consumirá esses bytes finais. (Correção de Tadek Pietraszek e Brian Curtin; bpo-2846 [https://bugs.python.org/issue?@action=redirect&bpo=2846].)

Novo atributo: o módulo hashlib agora possui um atributo algorithms contendo uma tupla nomeando os algoritmos suportados. No Python 2.7, hashlib.algorithms contém ('md5', 'sha1', 'sha224', 'sha256', 'sha384', 'sha512'). (Contribuição de Carl Chenet; bpo-7418 [https://bugs.python.org/issue?@action=redirect&bpo=7418].)

A classe padrão HTTPResponse usada pelo módulo httplib agora oferece suporte a buffering, resultando em uma leitura muito mais rápida de respostas HTTP. (Contribuição de Kristján Valur Jónsson; bpo-4879 [https://bugs.python.org/issue?@action=redirect&bpo=4879].)

As classes HTTPConnection e HTTPSConnection agora oferecem suporte a um parâmetro source_address, uma tupla de 2 elementos (host, port) fornecendo o endereço de origem que será usado para a conexão. (Contribuição de Eldon Ziegler; bpo-3972 [https://bugs.python.org/issue?@action=redirect&bpo=3972].)

O módulo ihooks agora oferece suporte a importações relativas. Observe que ihooks é um módulo mais antigo para personalizar importações, substituído pelo módulo imputil adicionado no Python 2.0. (Suporte relativo à importação adicionado por Neil Schemenauer.)

O módulo imaplib agora oferece suporte a endereços IPv6. (Contribuição de Derek Morr; bpo-1655 [https://bugs.python.org/issue?@action=redirect&bpo=1655].)

Nova função: getcallargs() do módulo inspect pega um chamável e seus argumentos nomeados e posicionais, e descobre quais dos parâmetros do chamável receberão cada argumento, retornando um dicionário mapeando nomes de argumentos para seus valores. Por exemplo:

>>> from inspect import getcallargs
>>> def f(a, b=1, *pos, **named):
...     pass
...
>>> getcallargs(f, 1, 2, 3)
{'a': 1, 'b': 2, 'pos': (3,), 'named': {}}
>>> getcallargs(f, a=2, x=4)
{'a': 2, 'b': 1, 'pos': (), 'named': {'x': 4}}
>>> getcallargs(f)
Traceback (most recent call last):
...
TypeError: f() takes at least 1 argument (0 given)

Contribuição de George Sakkis; bpo-3135 [https://bugs.python.org/issue?@action=redirect&bpo=3135].

Módulo atualizado: A biblioteca io foi atualizada para a versão fornecida com Python 3.1. Para 3.1, a biblioteca de E/S foi totalmente reescrita em C e é de 2 a 20 vezes mais rápida dependendo da tarefa que está sendo executada. A versão original do Python foi renomeada para o módulo _pyio.

Uma pequena mudança resultante: a classe io.TextIOBase agora tem um atributo errors fornecendo a configuração de erro usada para erros de codificação e decodificação (um dos 'strict' , 'replace', 'ignore').

A classe io.FileIO agora levanta uma exceção OSError quando passa um descritor de arquivo inválido. (Implementado por Benjamin Peterson; bpo-4991 [https://bugs.python.org/issue?@action=redirect&bpo=4991].) O método truncate() agora preserva a posição do arquivo; anteriormente, mudaria a posição do arquivo para o final do novo arquivo. (Correção de Pascal Chambon; bpo-6939 [https://bugs.python.org/issue?@action=redirect&bpo=6939].)

Nova função: itertools.compress(data, selectors) aceita dois iteradores. Elementos de data serão retornados se o valor correspondente em selectors for verdadeiro:

itertools.compress('ABCDEF', [1,0,1,0,1,1]) =>
  A, C, E, F

Nova função: itertools.combinations_with_replacement(iter, r) retorna todas as combinações possíveis de elementos de comprimento r do iter iterável. Ao contrário de combinations(), elementos individuais podem ser repetidos nas combinações geradas:

itertools.combinations_with_replacement('abc', 2) =>
  ('a', 'a'), ('a', 'b'), ('a', 'c'),
  ('b', 'b'), ('b', 'c'), ('c', 'c')

Observe que os elementos são tratados como únicos dependendo de sua posição na entrada, não de seus valores reais.

A função itertools.count() agora tem um argumento step que permite incrementar por valores diferentes de 1. count() agora também permite argumentos nomeados e o uso de valores não inteiros, como floats ou Decimal instâncias. (Implementação de Raymond Hettinger; bpo-5032 [https://bugs.python.org/issue?@action=redirect&bpo=5032].)

itertools.combinations() e itertools.product() anteriormente levantavam ValueError para valores de r maiores que o iterável de entrada. Isto foi considerado um erro de especificação, então agora elas retornam um iterador vazio. (Corrigido por Raymond Hettinger; bpo-4816 [https://bugs.python.org/issue?@action=redirect&bpo=4816].)

Módulo atualizado: O módulo json foi atualizado para a versão 2.0.9 do pacote simplejson, que inclui uma extensão C que torna a codificação e decodificação mais rápidas. (Contribuição de Bob Ippolito; bpo-4136 [https://bugs.python.org/issue?@action=redirect&bpo=4136].)

Para oferecer suporte ao novo tipo collections.OrderedDict, json.load() agora tem um parâmetro opcional object_pairs_hook que será chamado com qualquer literal de objeto que decodifica para uma lista de pares. (Contribuição de Raymond Hettinger; bpo-5381 [https://bugs.python.org/issue?@action=redirect&bpo=5381].)

A classe Maildir do módulo mailbox agora registra o registro de data e hora nos diretórios que lê, e apenas os relê se o horário de modificação for alterado posteriormente. Isso melhora o desempenho, evitando varreduras de diretório desnecessárias. (Corrigido por AM Kuchling e Antoine Pitrou; bpo-1607951 [https://bugs.python.org/issue?@action=redirect&bpo=1607951], bpo-6896 [https://bugs.python.org/issue?@action=redirect&bpo=6896].)

Novas funções: o módulo math ganhou erf() e erfc() para a função de erro e a função de erro complementar, expm1() que calcula e**x - 1 com mais precisão do que usar exp() e subtrair 1, gamma() para a função Gamma, e lgamma() para o log natural da função Gamma. (Contribuição de Mark Dickinson e nirinA raseliarison; bpo-3366 [https://bugs.python.org/issue?@action=redirect&bpo=3366].)

As classes Manager* do módulo multiprocessing agora podem receber um chamável que será chamado sempre que um subprocesso for iniciado, junto com um conjunto de argumentos que serão passados para o chamável. (Contribuição de lekma; bpo-5585 [https://bugs.python.org/issue?@action=redirect&bpo=5585].)

A classe Pool, que controla um conjunto de processos de trabalho, agora possui um parâmetro opcional maxtasksperchild. Os processos de trabalho executarão o número especificado de tarefas e então sairão, fazendo com que Pool inicie um novo trabalhador. Isso é útil se as tarefas puderem vazar memória ou outros recursos, ou se algumas tarefas fizerem com que o trabalho fique muito grande. (Contribuição de Charles Cazabon; bpo-6963 [https://bugs.python.org/issue?@action=redirect&bpo=6963].)

O módulo nntplib agora oferece suporte para endereços IPv6. (Contribuição de Derek Morr; bpo-1664 [https://bugs.python.org/issue?@action=redirect&bpo=1664].)

Novas funções: o módulo os envolve as seguintes chamadas de sistema POSIX: getresgid() e getresuid(), que retornam os GIDs e UIDs reais, efetivos e salvos ; setresgid() e setresuid(), que definem GIDs e UIDs reais, efetivos e salvos para novos valores; initgroups(), que inicializa a lista de acesso do grupo para o processo atual. (Funções GID/UID foram contribuição de Travis H.; bpo-6508 [https://bugs.python.org/issue?@action=redirect&bpo=6508]. Suporte para initgroups adicionado por Jean-Paul Calderone; bpo-7333 [https://bugs.python.org/issue?@action=redirect&bpo=7333].)

A função os.fork() agora reinicializa a trava de importação no processo filho; isso corrige problemas no Solaris quando fork() é chamado de um thread. (Correção de Zsolt Cserna; bpo-7242 [https://bugs.python.org/issue?@action=redirect&bpo=7242].)

No módulo os.path, as funções normpath() e abspath() agora preservam o Unicode; se o caminho de entrada for uma string Unicode, o valor de retorno também será uma string Unicode. (normpath() corrigido por Matt Giuca em bpo-5827 [https://bugs.python.org/issue?@action=redirect&bpo=5827]; abspath() corrigido por Ezio Melotti em bpo-3426 [https://bugs.python.org/issue?@action=redirect&bpo=3426].)

O módulo pydoc agora tem ajuda para os vários símbolos que o Python usa. Agora você pode fazer help('<<') ou help('@'), por exemplo. (Contribuição de David Laban; bpo-4739 [https://bugs.python.org/issue?@action=redirect&bpo=4739].)

Os módulos re split(), sub() e subn() agora aceitam um argumento opcional flags, para consistência com as outras funções do módulo. (Adição de Gregory P. Smith.)

Nova função: run_path() no módulo runpy executará o código em um argumento path fornecido. path pode ser o caminho de um arquivo fonte Python (example.py), um arquivo de bytecode compilado (example.pyc), um diretório (./package/) ou um arquivo zip (example.zip). Se um diretório ou zip path for fornecido, ele será adicionado na frente de sys.path e o módulo __main__ será importado. É esperado que o diretório ou zip contenha um __main__.py; caso contrário, algum outro __main__.py poderá ser importado de um local posteriormente em sys.path. Isso torna mais o maquinário de runpy disponível para scripts que desejam imitar a maneira como a linha de comando do Python processa um nome de caminho explícito. (Adição de Nick Coghlan; bpo-6816 [https://bugs.python.org/issue?@action=redirect&bpo=6816].)

Nova função: no módulo shutil, make_archive() pega um nome de arquivo, tipo de arquivo (formato zip ou tar) e um caminho de diretório, e cria um arquivo contendo o conteúdo do diretório. (Adição de Tarek Ziadé.)

As funções copyfile() e copytree() de shutil agora levantam uma exceção SpecialFileError quando solicitado a copiar um encadeamento nomeado. Anteriormente, o código trataria pipes nomeados como um arquivo normal, abrindo-os para leitura, e isso seria bloqueado indefinidamente. (Correção de Antoine Pitrou; bpo-3002 [https://bugs.python.org/issue?@action=redirect&bpo=3002].)

O módulo signal não reinstala mais o manipulador de sinal a menos que isso seja realmente necessário, o que corrige um bug que poderia tornar impossível capturar o sinal EINTR de forma robusta. (Correção de Charles-François Natali; bpo-8354 [https://bugs.python.org/issue?@action=redirect&bpo=8354].)

Novas funções: no módulo site, três novas funções retornam vários caminhos específicos do site e do usuário. getsitepackages() retorna uma lista contendo todos os diretórios globais de pacotes de sites, getusersitepackages() retorna o caminho do diretório de pacotes de sites do usuário e getuserbase() retorna o valor da variável de ambiente USER_BASE, fornecendo o caminho para um diretório que pode ser usado para armazenar dados. (Contribuição de Tarek Ziadé; bpo-6693 [https://bugs.python.org/issue?@action=redirect&bpo=6693].)

O módulo site agora reporta exceções que ocorrem quando o módulo sitecustomize é importado, e não irá mais capturar e engolir a exceção KeyboardInterrupt. (Correção de Victor Stinner; bpo-3137 [https://bugs.python.org/issue?@action=redirect&bpo=3137].)

A função create_connection() ganhou um parâmetro source_address, uma tupla de 2 elementos (host, port) fornecendo o endereço de origem que será usado para a conexão. (Contribuição de Eldon Ziegler; bpo-3972 [https://bugs.python.org/issue?@action=redirect&bpo=3972].)

Os métodos recv_into() e recvfrom_into() agora escreverão em objetos que oferecem suporte à API de buffer, mais utilmente objetos bytearray e memoryview. (Implementação de Antoine Pitrou; bpo-8104 [https://bugs.python.org/issue?@action=redirect&bpo=8104].)

A classe TCPServer do módulo SocketServer agora oferece suporte a limite de tempo de soquete e desativação do algoritmo Nagle. O atributo de classe disable_nagle_algorithm é padronizado como False; se substituído como verdadeiro, novas conexões de solicitação terão a opção TCP_NODELAY definida para evitar o armazenamento em buffer de muitos envios pequenos em um único pacote TCP. O atributo de classe timeout pode conter um tempo limite em segundos que será aplicado ao soquete de solicitação; se nenhuma solicitação for recebida dentro desse tempo, handle_timeout() será chamado e handle_request() retornará. (Contribuição de Kristján Valur Jónsson; bpo-6192 [https://bugs.python.org/issue?@action=redirect&bpo=6192] e bpo-6267 [https://bugs.python.org/issue?@action=redirect&bpo=6267].)

Módulo atualizado: o módulo sqlite3 foi atualizado para a versão 2.6.0 do pacote pysqlite [https://github.com/ghaering/pysqlite]. A versão 2.6.0 inclui uma série de correções de bugs e adiciona a capacidade de carregar extensões SQLite de bibliotecas compartilhadas. Chame o método enable_load_extension(True) para habilitar extensões, e então chame load_extension() para carregar uma biblioteca compartilhada específica. (Atualização de Gerhard Häring.)

Os objetos SSLSocket do módulo ssl agora oferecem suporte à API de buffer, que corrigiu uma falha na suíte de testes (correção de Antoine Pitrou; bpo-7133 [https://bugs.python.org/issue?@action=redirect&bpo=7133]) e definiu automaticamente SSL_MODE_AUTO_RETRY do OpenSSL, que impedirá que um código de erro seja retornado de operações recv() que acionam uma renegociação SSL (correção por Antoine Pitrou; bpo-8222 [https://bugs.python.org/issue?@action=redirect&bpo=8222]).

The wrap_socket() constructor function now takes a ciphers argument that’s a string listing the encryption algorithms to be allowed; the format of the string is described in the OpenSSL documentation [https://docs.openssl.org/1.0.2/man1/ciphers/]. (Added by Antoine Pitrou; bpo-8322 [https://bugs.python.org/issue?@action=redirect&bpo=8322].)

Outra mudança faz com que a extensão carregue todas as cifras e algoritmos de resumo do OpenSSL para que estejam todos disponíveis. Não foi possível verificar alguns certificados SSL, reportando um erro de “algoritmo desconhecido”. (Relato de Beda Kosata e correção de Antoine Pitrou; bpo-8484 [https://bugs.python.org/issue?@action=redirect&bpo=8484].)

A versão do OpenSSL usada agora está disponível como os atributos do módulo ssl.OPENSSL_VERSION (uma string), ssl.OPENSSL_VERSION_INFO (uma tupla de 5) e ssl.OPENSSL_VERSION_NUMBER (um número inteiro). (Adição de Antoine Pitrou; bpo-8321 [https://bugs.python.org/issue?@action=redirect&bpo=8321].)

O módulo struct não irá mais ignorar silenciosamente erros de overflow quando um valor for muito grande para um código de formato inteiro específico (um de bBhHiIlLqQ); agora sempre levanta uma exceção struct.error. (Alteração de Mark Dickinson; bpo-1523 [https://bugs.python.org/issue?@action=redirect&bpo=1523].) A função pack() também tentará usar __index__() para converter e empacotar números não inteiros antes de tentar o método __int__() ou relatar um erro. (Alteração de Mark Dickinson; bpo-8300 [https://bugs.python.org/issue?@action=redirect&bpo=8300].)

Nova função: o check_output() do módulo subprocess executa um comando com um conjunto especificado de argumentos e retorna a saída do comando como uma string quando o comando é executado sem erros, ou levanta uma exceção CalledProcessError caso contrário.

>>> subprocess.check_output(['df', '-h', '.'])
'Filesystem     Size   Used  Avail Capacity  Mounted on\n
/dev/disk0s2    52G    49G   3.0G    94%    /\n'

>>> subprocess.check_output(['df', '-h', '/bogus'])
  ...
subprocess.CalledProcessError: Command '['df', '-h', '/bogus']' returned non-zero exit status 1

(Contribuição de Gregory P. Smith.)

O módulo subprocess agora tentará novamente suas chamadas internas do sistema ao receber um sinal EINTR. (Relato por várias pessoas; patch final por Gregory P. Smith em bpo-1068268 [https://bugs.python.org/issue?@action=redirect&bpo=1068268].)

Nova função: is_declared_global() no módulo symtable retorna verdadeiro para variáveis que são explicitamente declaradas como globais, falso para aquelas que são implicitamente globais. (Contribuição de Jeremy Hylton.)

O módulo syslog agora usará o valor de sys.argv[0] como identificador em vez do valor padrão anterior de 'python'. (Alteração de Sean Reifschneider; bpo-8451 [https://bugs.python.org/issue?@action=redirect&bpo=8451].)

O valor sys.version_info agora é uma tupla nomeada, com atributos chamados major, minor, micro, releaselevel e serial. (Contribuição de Ross Light; bpo-4285 [https://bugs.python.org/issue?@action=redirect&bpo=4285].)

sys.getwindowsversion() também retorna uma tupla nomeada, com atributos chamados major, minor, build, platform, service_pack, service_pack_major, service_pack_minor, suite_mask e product_type. (Contribuição de Brian Curtin; bpo-7766 [https://bugs.python.org/issue?@action=redirect&bpo=7766].)

O tratamento de erros padrão do módulo tarfile foi alterado, para não mais suprimir erros fatais. O nível de erro padrão era anteriormente 0, o que significava que os erros resultariam apenas na gravação de uma mensagem no log de depuração, mas como o log de depuração não está ativado por padrão, esses erros passam despercebidos. O nível de erro padrão agora é 1, o que levanta uma exceção se houver um erro. (Alteração de Lars Gustäbel; bpo-7357 [https://bugs.python.org/issue?@action=redirect&bpo=7357].)

tarfile agora oferece suporte à filtragem de objetos TarInfo sendo adicionados a um arquivo tar. Quando você chama add(), você pode fornecer um argumento filter opcional que é chamável. O chamável filter receberá o TarInfo para cada arquivo sendo adicionado, e pode modificá-lo e retorná-lo. Se o chamável retornar None, o arquivo será excluído do arquivo resultante. Isto é mais poderoso do que o argumento exclude existente, que foi, portanto, descontinuado. (Adição de Lars Gustäbel; bpo-6856 [https://bugs.python.org/issue?@action=redirect&bpo=6856].) A classe TarFile agora também oferece suporte ao protocolo de gerenciamento de contexto. (Adição de Lars Gustäbel; bpo-7232 [https://bugs.python.org/issue?@action=redirect&bpo=7232].)

O método wait() da classe threading.Event agora retorna o sinalizador interno na saída. Isso significa que o método geralmente retornará verdadeiro porque wait() deve ser bloqueado até que o sinalizador interno se torne verdadeiro. O valor de retorno só será falso se um tempo limite tiver sido fornecido e a operação tiver expirado. (Contribuição de Tim Lesher; bpo-1674032 [https://bugs.python.org/issue?@action=redirect&bpo=1674032].)

O banco de dados Unicode fornecido pelo módulo unicodedata agora é usado internamente para determinar quais caracteres são numéricos, espaços em branco ou representam quebras de linha. O banco de dados também inclui informações do arquivo de dados Unihan.txt (patch de Anders Chrigström e Amaury Forgeot d’Arc; bpo-1571184 [https://bugs.python.org/issue?@action=redirect&bpo=1571184]) e foi atualizado para a versão 5.2.0 (atualização de Florent Xicluna; bpo-8024 [https://bugs.python.org/issue?@action=redirect&bpo=8024]).

A função urlsplit() do módulo urlparse agora lida com esquemas de URL desconhecidos de uma forma compatível com RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html]: se a URL estiver no formato "<alguma_coisa>://...", o texto antes de :// é tratado como o esquema, mesmo que seja um esquema inventado que o módulo não conhece. Essa alteração pode quebrar o código que contornava o comportamento antigo. Por exemplo, Python 2.6.4 ou 2.5 retornará o seguinte:

>>> import urlparse
>>> urlparse.urlsplit('invented://host/filename?query')
('invented', '', '//host/filename?query', '', '')

Python 2.7 (e Python 2.6.5) vai retornar:

>>> import urlparse
>>> urlparse.urlsplit('invented://host/filename?query')
('invented', 'host', '/filename?query', '', '')

(Na verdade, o Python 2.7 produz uma saída ligeiramente diferente, pois retorna uma tupla nomeada em vez de uma tupla padrão.)

O módulo urlparse também oferece suporte a endereços IPv6 literais conforme definido pelo RFC 2732 [https://datatracker.ietf.org/doc/html/rfc2732.html] (contribuição de Senthil Kumaran; bpo-2987 [https://bugs.python.org/issue?@action=redirect&bpo=2987]).

>>> urlparse.urlparse('http://[1080::8:800:200C:417A]/foo')
ParseResult(scheme='http', netloc='[1080::8:800:200C:417A]',
            path='/foo', params='', query='', fragment='')

Nova classe: a classe WeakSet no módulo weakref é um conjunto que contém apenas referências fracas aos seus elementos; os elementos serão removidos quando não houver referências apontando para eles. (Originalmente implementado em Python 3.x por Raymond Hettinger e portado para 2.7 por Michael Foord.)

A biblioteca xml.etree.ElementTree não escapa mais caracteres de E comercial e de sinal de maior e de menor ao gerar uma instrução de processamento XML (que se parece com <?xml-stylesheet href="#style1"?>) ou comentário (que se parece com <!-- comentário -->). (Patch de Neil Muller; bpo-2746 [https://bugs.python.org/issue?@action=redirect&bpo=2746].)

O cliente e servidor de XML-RPC, fornecidos pelos módulos xmlrpclib e SimpleXMLRPCServer, melhoraram o desempenho ao prover suporte a kep-alive do HTTP/1.1 e, opcionalmente, usando a codificação gzip para compactar o XML que está sendo trocado. A compactação gzip é controlada pelo atributo encode_threshold de SimpleXMLRPCRequestHandler, que contém um tamanho em bytes; respostas maiores que isso serão compactadas. (Contribuição de Kristján Valur Jónsson; bpo-6267 [https://bugs.python.org/issue?@action=redirect&bpo=6267].)

A classe ZipFile do módulo zipfile agora oferece suporte ao protocolo de gerenciamento de contexto, então você pode escrever with zipfile.ZipFile(...) as f:. (Contribuição de Brian Curtin; bpo-5511 [https://bugs.python.org/issue?@action=redirect&bpo=5511].)

zipfile agora também oferece suporte ao arquivamento de diretórios vazios e os extrai corretamente. (Correção de Kuba Wieczorek; bpo-4710 [https://bugs.python.org/issue?@action=redirect&bpo=4710].) Ler arquivos de um arquivo é mais rápido e intercalar read() e readline() agora funciona corretamente. (Contribuição de Nir Aides; bpo-7610 [https://bugs.python.org/issue?@action=redirect&bpo=7610].)

A função is_zipfile() agora aceita um objeto arquivo, além dos nomes de caminho aceitos em versões anteriores. (Contribuição de Gabriel Genellina; bpo-4756 [https://bugs.python.org/issue?@action=redirect&bpo=4756].)

O método writestr() agora tem um parâmetro compress_type opcional que permite substituir o método de compactação padrão especificado no construtor de ZipFile. (Contribuição de Ronald Oussoren; bpo-6003 [https://bugs.python.org/issue?@action=redirect&bpo=6003].)

Novo módulo: importlib

Python 3.1 inclui o pacote importlib, uma reimplementação da lógica subjacente à instrução import do Python. importlib é útil para implementadores de interpretadores Python e para usuários que desejam escrever novos importadores que possam participar do processo de importação. Python 2.7 não contém o pacote importlib completo, mas em vez disso possui um pequeno subconjunto que contém uma única função, import_module().

import_module(name, package=None) importa um módulo. name é uma string contendo o nome do módulo ou pacote. É possível fazer importações relativas fornecendo uma string que começa com um caractere ., como ..utils.errors. Para importações relativas, o argumento package deve ser fornecido e é o nome do pacote que será usado como âncora para a importação relativa. import_module() insere o módulo importado em sys.modules e retorna o objeto do módulo.

Veja alguns exemplos:

>>> from importlib import import_module
>>> anydbm = import_module('anydbm')  # Standard absolute import
>>> anydbm
<module 'anydbm' from '/p/python/Lib/anydbm.py'>
>>> # Relative import
>>> file_util = import_module('..file_util', 'distutils.command')
>>> file_util
<module 'distutils.file_util' from '/python/Lib/distutils/file_util.pyc'>

importlib foi implementado por Brett Cannon e introduzido no Python 3.1.

Novo módulo: sysconfig

O módulo sysconfig foi retirado do pacote Distutils, tornando-se um novo módulo de nível independente. sysconfig fornece funções para obter informações sobre o processo de construção do Python: opções do compilador, caminhos de instalação, o nome da plataforma e se o Python está sendo executado a partir de seu diretório de código-fonte.

Algumas das funções do módulo são:

get_config_var() retorna variáveis do Makefile do Python e do arquivo pyconfig.h.

get_config_vars() retorna um dicionário contendo todas as variáveis de configuração.

get_path() retorna o caminho configurado para um tipo específico de módulo: a biblioteca padrão, módulos específicos do site, módulos específicos da plataforma, etc.

is_python_build() retorna verdadeiro se você estiver executando um binário de uma árvore de código-fonte em Python, e falso caso contrário.

Consulte a documentação do sysconfig para mais detalhes e para uma lista completa de funções.

O pacote Distutils e sysconfig agora são mantidos por Tarek Ziadé, que também iniciou um pacote Distutils2 (repositório fonte em https://hg.python.org/distutils2/) para desenvolver uma versão de próxima geração do Distutils.

ttk: Widgets temáticos para Tk

O Tcl/Tk 8.5 inclui um conjunto de widgets temáticos que reimplementam widgets Tk básicos, mas têm uma aparência mais personalizável e podem, portanto, se assemelhar mais aos widgets da plataforma nativa. Este conjunto de widgets foi originalmente chamado de Tile, mas foi renomeado para Ttk (para “Tk temático”) ao ser adicionado ao Tcl/Tck versão 8.5.

Para saber mais, leia a documentação do módulo ttk. Você também pode ler a página de manual do Tcl/Tk que descreve o mecanismo do tema Ttk, disponível em https://www.tcl.tk/man/tcl8.5/TkCmd/ttk_intro.html. Algumas capturas de tela do código Python/Ttk em uso estão em https://code.google.com/archive/p/python-ttk/wikis/Screenshots.wiki.

O módulo tkinter.ttk foi escrito por Guilherme Polo e adicionado em bpo-2983 [https://bugs.python.org/issue?@action=redirect&bpo=2983]. Uma versão alternativa chamada Tile.py, escrita por Martin Franklin e mantida por Kevin Walzer, foi proposta para inclusão em bpo-2618 [https://bugs.python.org/issue?@action=redirect&bpo=2618], mas os autores argumentaram que o trabalho de Guilherme Polo era mais abrangente.

Módulo atualizado: unittest

O módulo unittest foi bastante aprimorado; muitos novos recursos foram adicionados. A maioria desses recursos foi implementada por Michael Foord, salvo indicação em contrário. A versão aprimorada do módulo pode ser baixada separadamente para uso com as versões 2.4 a 2.6 do Python, empacotadas como o pacote unittest2, de unittest2 [https://pypi.org/project/unittest2/].

Quando usado na linha de comando, o módulo pode descobrir testes automaticamente. Não é tão sofisticado quanto py.test [https://pytest.org] ou nose [https://nose.readthedocs.io/], mas fornece uma maneira simples de executar testes mantidos dentro de um conjunto de diretórios de pacotes. Por exemplo, o comando a seguir irá pesquisar no subdiretório test/ por quaisquer arquivos de teste importáveis chamados test*.py:

python -m unittest discover -s test

Consulte a documentação do módulo unittest para mais detalhes. (Desenvolvido em bpo-6001 [https://bugs.python.org/issue?@action=redirect&bpo=6001].)

A função main() oferece suporte a algumas outras novas opções:

-b ou --buffer armazenará em buffer a saída padrão e os fluxos de erro padrão durante cada teste. Se o teste for aprovado, qualquer saída resultante será descartada; em caso de falha, a saída em buffer será exibida.

-c ou --catch fará com que a interrupção control-C seja tratada com mais elegância. Em vez de interromper imediatamente o processo de teste, o teste em execução será concluído e então os resultados parciais até a interrupção serão relatados. Se você estiver impaciente, um segundo toque no controle C causará uma interrupção imediata.

Este manipulador de control-C tenta evitar causar problemas quando o código que está sendo testado ou os testes em execução definiram um manipulador de sinal próprio, percebendo que um manipulador de sinal já estava definido e chamando-o. Se isso não funcionar para você, existe um decorador removeHandler() que pode ser usado para marcar testes que devem ter o manuseio de control-C desabilitado.

-f ou --failfast faz com que a execução do teste pare imediatamente quando um teste falha, em vez de continuar a executar testes adicionais. (Sugerido por Cliff Dyer e implementado por Michael Foord; bpo-8074 [https://bugs.python.org/issue?@action=redirect&bpo=8074].)

As mensagens de progresso agora mostram ‘x’ para falhas esperadas e ‘u’ para sucessos inesperados quando executadas em modo detalhado. (Contribuição de Benjamin Peterson.)

Os casos de teste podem levantar a exceção SkipTest para pular um teste (bpo-1034053 [https://bugs.python.org/issue?@action=redirect&bpo=1034053]).

As mensagens de erro para falhas assertEqual(), assertTrue() e assertFalse() agora fornecem mais informações. Se você definir o atributo longMessage de suas classes TestCase como true, tanto a mensagem de erro padrão quanto qualquer mensagem adicional que você fornecer serão impressas para falhas. (Adição de Michael Foord; bpo-5663 [https://bugs.python.org/issue?@action=redirect&bpo=5663].)

O método assertRaises() agora retorna um manipulador de contexto quando chamado sem fornecer um objeto chamável para ser executado. Por exemplo, você pode escrever isto:

with self.assertRaises(KeyError):
    {}['foo']

(implementação de Antoine Pitrou; bpo-4444 [https://bugs.python.org/issue?@action=redirect&bpo=4444].)

Correções de desmontagem e configuração em nível de módulo e classe agora são suportados. Os módulos podem conter funções setUpModule() e tearDownModule(). As classes podem ter métodos setUpClass() e tearDownClass() que devem ser definidos como métodos de classe (usando @classmethod ou equivalente). Essas funções e métodos são invocados quando o executor de teste alterna para um caso de teste em um módulo ou classe diferente.

Os métodos addCleanup() e doCleanups() foram adicionados. addCleanup() permite adicionar funções de limpeza que serão chamadas incondicionalmente (após setUp() se setUp() falhar, caso contrário, após tearDown()). Isso permite uma alocação e desalocação de recursos muito mais simples durante os testes (bpo-5679 [https://bugs.python.org/issue?@action=redirect&bpo=5679]).

Foram adicionados vários novos métodos que fornecem testes mais especializados. Muitos desses métodos foram escritos por engenheiros do Google para uso em seus conjuntos de testes; Gregory P. Smith, Michael Foord e GvR trabalharam na fusão deles na versão Python de unittest.

assertIsNone() e assertIsNotNone() pegam uma expressão e verificam se o resultado é ou não None.

assertIs() e assertIsNot() pegam dois valores e verificam se os dois valores são avaliados como o mesmo objeto ou não. (Adicionado por Michael Foord; bpo-2578 [https://bugs.python.org/issue?@action=redirect&bpo=2578].)

assertIsInstance() e assertNotIsInstance() verificam se o objeto resultante é uma instância de uma classe específica ou de uma tupla de classes. (Adicionado por Georg Brandl; bpo-7031 [https://bugs.python.org/issue?@action=redirect&bpo=7031].)

assertGreater(), assertGreaterEqual(), assertLess(), e assertLessEqual() comparam duas quantidades.

assertMultiLineEqual() compara duas strings e, se não forem iguais, exibe uma comparação útil que destaca as diferenças nas duas strings. Esta comparação agora é usada por padrão quando strings Unicode são comparadas com assertEqual().

assertRegexpMatches() e assertNotRegexpMatches() verificam se o primeiro argumento é uma string que corresponde ou não à expressão regular fornecida como o segundo argumento (bpo-8038 [https://bugs.python.org/issue?@action=redirect&bpo=8038]).

assertRaisesRegexp() verifica se uma exceção específica foi levantada e também verifica se a representação da string da exceção corresponde à expressão regular fornecida.

assertIn() e assertNotIn() testa se primeiro está ou não em segundo.

assertItemsEqual() testa se duas sequências fornecidas contêm os mesmos elementos.

assertSetEqual() compara se dois conjuntos são iguais e apenas relata as diferenças entre os conjuntos em caso de erro.

Da mesma forma, assertListEqual() e assertTupleEqual() comparam os tipos especificados e explicam quaisquer diferenças sem necessariamente imprimir seus valores completos; esses métodos agora são usados por padrão ao comparar listas e tuplas usando assertEqual(). De forma mais geral, assertSequenceEqual() compara duas sequências e pode opcionalmente verificar se ambas as sequências são de um tipo específico.

assertDictEqual() compara dois dicionários e relata as diferenças; agora é usado por padrão quando você compara dois dicionários usando assertEqual(). assertDictContainsSubset() verifica se todos os pares chave/valor em first são encontrados em second.

assertAlmostEqual() e assertNotAlmostEqual() testam se first e second são aproximadamente iguais. Este método pode arredondar a diferença para um número opcionalmente especificado de places (o padrão é 7) e compará-lo com zero, ou exigir que a diferença seja menor que um valor delta fornecido.

loadTestsFromName() respeita corretamente o atributo suiteClass do TestLoader. (Correção de Mark Roddy; bpo-6866 [https://bugs.python.org/issue?@action=redirect&bpo=6866].)

Um novo gancho permite estender o método assertEqual() para lidar com novos tipos de dados. O método addTypeEqualityFunc() leva um objeto de tipo e uma função. A função será usada quando ambos os objetos comparados forem do tipo especificado. Esta função deve comparar os dois objetos e gerar uma exceção se eles não corresponderem; é uma boa ideia que a função forneça informações adicionais sobre por que os dois objetos não correspondem, assim como fazem os novos métodos de comparação de sequências.

unittest.main() agora recebe um argumento exit opcional. Se for falso, main() não chama sys.exit(), permitindo que main() seja usado a partir do interpretador interativo. (Contribuição de J. Pablo Fernández; bpo-3379 [https://bugs.python.org/issue?@action=redirect&bpo=3379].)

TestResult tem novos métodos startTestRun() e stopTestRun() que são chamados imediatamente antes e depois de uma execução de teste. (Contribuição de Robert Collins; bpo-5728 [https://bugs.python.org/issue?@action=redirect&bpo=5728].)

Com todas essas mudanças, o unittest.py estava ficando estranhamente grande, então o módulo foi transformado em um pacote e o código dividido em vários arquivos (por Benjamin Peterson). Isso não afeta como o módulo é importado ou usado.

Ver também

https://web.archive.org/web/20210619163128/http://www.voidspace.org.uk/python/articles/unittest2.shtml

Descreve os novos recursos, como usá-los e a justificativa para diversas decisões de design. (Por Michael Foord.)

Módulo atualizado: ElementTree 1.3

A versão da biblioteca ElementTree incluída no Python foi atualizada para a versão 1.3. Alguns dos novos recursos são:

As várias funções de análise agora recebem um argumento nomeado parser fornecendo uma instância XMLParser que será usada. Isso torna possível substituir a codificação interna do arquivo:

p = ET.XMLParser(encoding='utf-8')
t = ET.XML("""<root/>""", parser=p)

Erros na análise de XML agora levantam uma exceção ParseError, cujas instâncias possuem um atributo position contendo uma tupla (linha, coluna) fornecendo a localização do problema.

O código do ElementTree para converter árvores em strings foi significativamente reformulado, tornando-o aproximadamente duas vezes mais rápido em muitos casos. Os métodos ElementTree.write() e Element.write() agora possuem um parâmetro method que pode ser “xml” (o padrão), “html” ou “text”. O modo HTML produzirá elementos vazios como <empty></empty> em vez de <empty/>, e o modo texto irá pular os elementos e exibir apenas os pedaços de texto. Se você definir o atributo tag de um elemento como None mas deixar seus filhos no lugar, o elemento será omitido quando a árvore for escrita, então você não precisa fazer um rearranjo mais extenso para remover um único elemento.

O tratamento de espaço de nomes também foi melhorado. Todas as declarações xmlns:<alguma_coisa> agora são geradas no elemento raiz, não espalhadas pelo XML resultante. Você pode definir o espaço de nomes padrão para uma árvore definindo o atributo default_namespace e pode registrar novos prefixos com register_namespace(). No modo XML, você pode usar o parâmetro verdadeiro/falso xml_declaration para suprimir a declaração XML.

Novo método Element: extend() anexa os itens de uma sequência aos filhos do elemento. Os próprios elementos se comportam como sequências, por isso é fácil mover os filhos de um elemento para outro:

from xml.etree import ElementTree as ET

t = ET.XML("""<list>
  <item>1</item> <item>2</item>  <item>3</item>
</list>""")
new = ET.XML('<root/>')
new.extend(t)

# Outputs <root><item>1</item>...</root>
print ET.tostring(new)

Novo método Element: iter() produz os filhos do elemento como um gerador. Também é possível escrever for child in elem: para percorrer os filhos de um elemento. O método existente getiterator() agora está descontinuado, assim como getchildren() que constrói e retorna uma lista de filhos.

Novo método Element: itertext() produz todos os pedaços de texto que são descendentes do elemento. Por exemplo:

t = ET.XML("""<list>
  <item>1</item> <item>2</item>  <item>3</item>
</list>""")

# Outputs ['\n  ', '1', ' ', '2', '  ', '3', '\n']
print list(t.itertext())

Descontinuado: usar um elemento como booleano (ou seja, if elem:) retornaria verdadeiro se o elemento tivesse algum filho, ou falso se não houvesse nenhum filho. Este comportamento é confuso – None é falso, mas um elemento sem filhos também o é? – então agora irá acionar um FutureWarning. Em seu código, você deve ser explícito: escreva len(elem) != 0 se estiver interessado no número de filhos, ou elem is not None.

Fredrik Lundh desenvolve ElementTree e produziu a versão 1.3; você pode ler o artigo dele descrevendo 1.3 em https://web.archive.org/web/20200703234532/http://effbot.org/zone/elementtree-13-intro.htm. Florent Xicluna atualizou a versão incluída no Python, após discussões em python-dev e em bpo-6472 [https://bugs.python.org/issue?@action=redirect&bpo=6472].)

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

O uso da versão mais recente do GNU Debugger, GDB 7, pode ser programado usando Python [https://web.archive.org/web/20110715084810/http://sourceware.org/gdb/current/onlinedocs/gdb/Python.html]. Quando você começa a depurar um programa executável P, o GDB irá procurar por um arquivo chamado P-gdb.py e lê-lo automaticamente. Dave Malcolm contribuiu com um python-gdb.py que adiciona vários comandos úteis ao depurar o próprio Python. Por exemplo, py-up e py-down sobem ou descem um quadro de pilha Python, que geralmente corresponde a vários quadros de pilha C. py-print imprime o valor de uma variável Python e py-bt imprime o stack trace do Python. (Adicionado como resultado de bpo-8032 [https://bugs.python.org/issue?@action=redirect&bpo=8032].)

Se você usar o arquivo .gdbinit fornecido com Python, a macro “pyo” na versão 2.7 agora funciona corretamente quando o thread que está sendo depurado não contém a GIL; a macro agora a adquire antes de imprimir. (Contribuição de Victor Stinner; bpo-3632 [https://bugs.python.org/issue?@action=redirect&bpo=3632].)

Py_AddPendingCall() agora é segura para thread, permitindo que qualquer thread de trabalho envie notificações para o thread principal do Python. Isto é particularmente útil para operações de E/S assíncronas. (Contribuição de Kristján Valur Jónsson; bpo-4293 [https://bugs.python.org/issue?@action=redirect&bpo=4293].)

Nova função: PyCode_NewEmpty() cria um objeto código vazio; apenas o nome do arquivo, o nome da função e o número da primeira linha são necessários. Isto é útil para módulos de extensão que estão tentando construir uma pilha de traceback mais útil. Anteriormente, essas extensões precisavam chamar PyCode_New(), que tinha muito mais argumentos. (Adição de Jeffrey Yasskin.)

Nova função: PyErr_NewExceptionWithDoc() cria uma nova classe de exceção, assim como a PyErr_NewException() existente faz, mas recebe um argumento char * extra contendo a docstring para a nova classe de exceção . (Adição de ‘lekma’ no rastreador de bugs do Python; bpo-7033 [https://bugs.python.org/issue?@action=redirect&bpo=7033].)

Nova função: PyFrame_GetLineNumber() pega um objeto quadro e retorna o número da linha que o frame está executando atualmente. Anteriormente, o código precisaria obter o índice da instrução de bytecode atualmente em execução e, em seguida, procurar o número da linha correspondente a esse endereço. (Adição de Jeffrey Yasskin.)

Novas funções: PyLong_AsLongAndOverflow() e PyLong_AsLongLongAndOverflow() aproxima um inteiro longo do Python como um long ou long long do C. Se o número for muito grande para caber no tipo de saída, um sinalizador overflow será definido e retornado ao chamador. (Contribuição de Case Van Horsen; bpo-7528 [https://bugs.python.org/issue?@action=redirect&bpo=7528] e bpo-7767 [https://bugs.python.org/issue?@action=redirect&bpo=7767].)

Nova função: decorrente da reescrita da conversão string-para-float, uma nova função PyOS_string_to_double() foi adicionada. As antigas funções PyOS_ascii_strtod() e PyOS_ascii_atof() agora foram descontinuadas.

Nova função: PySys_SetArgvEx() define o valor de sys.argv e pode opcionalmente atualizar sys.path para incluir o diretório que contém o script nomeado por sys.argv[0] dependendo do valor de um parâmetro updatepath.

Esta função foi adicionada para fechar uma falha de segurança em aplicativos que incorporam Python. A função antiga, PySys_SetArgv(), sempre atualizava sys.path, e às vezes adicionava o diretório atual. Isso significava que, se você executasse uma aplicação incorporando Python em um diretório controlado por outra pessoa, os invasores poderiam colocar um módulo cavalo de Troia no diretório (digamos, um arquivo chamado os.py) que sua aplicação então usaria. importar e executar.

Se você mantém uma aplicação C/C++ que incorpora Python, verifique se está chamando PySys_SetArgv() e considere cuidadosamente se a aplicação deve usar PySys_SetArgvEx() com updatepath definido como false.

Problema de segurança relatado como CVE 2008-5983 [https://www.cve.org/CVERecord?id=CVE-2008-5983]; discutido em bpo-5753 [https://bugs.python.org/issue?@action=redirect&bpo=5753], e corrigido por Antoine Pitrou.

Novas macros: os arquivos de cabeçalho do Python agora definem as seguintes macros: Py_ISALNUM, Py_ISALPHA, Py_ISDIGIT, Py_ISLOWER, Py_ISSPACE, Py_ISUPPER, Py_ISXDIGIT, Py_TOLOWER e Py_TOUPPER. Todas essas funções são análogas às macros padrão C para classificação de caracteres, mas ignoram a configuração de localidade atual, porque em vários lugares o Python precisa analisar caracteres de maneira independente de localidade. (Adição de Eric Smith; bpo-5793 [https://bugs.python.org/issue?@action=redirect&bpo=5793].)

Função removida: PyEval_CallObject() agora está disponível apenas como uma macro. Uma versão de função estava sendo mantida para preservar a compatibilidade de links ABI, mas isso foi em 1997; certamente pode ser excluído agora. (Remoção de Antoine Pitrou; bpo-8276 [https://bugs.python.org/issue?@action=redirect&bpo=8276].)

Novos códigos de formato: as funções PyString_FromFormat(), PyString_FromFormatV() e PyErr_Format() agora aceitam %lld e %llu códigos de formato para exibir os tipos long long de C. (Contribuição de Mark Dickinson; bpo-7228 [https://bugs.python.org/issue?@action=redirect&bpo=7228].)

A complicada interação entre threads e forks de processos foi alterada. Anteriormente, o processo filho criado por os.fork() pode falhar porque o filho é criado com apenas um único thread em execução, a thread executando os.fork(). Se outros threads estivessem mantendo uma trava, como a trava de importação do Python, quando o fork fosse executado, a trava ainda seria marcada como “retida” no novo processo. Mas no processo filho nada liberaria a trava, pois os outros threads não foram replicados e o processo filho não seria mais capaz de realizar importações.

Python 2.7 adquire a trava de importação antes de executar um os.fork(), e também limpará quaisquer travas criadas usando o módulo threading. Módulos de extensão C que possuem travas internas, ou que chamam fork() eles próprios, não se beneficiarão desta limpeza.

(Correção de Thomas Wouters; bpo-1590864 [https://bugs.python.org/issue?@action=redirect&bpo=1590864].)

A função Py_Finalize() agora chama a função interna threading._shutdown(); isso evita que algumas exceções sejam levantadas quando um interpretador é encerrado. (Patch de Adam Olsen; bpo-1722344 [https://bugs.python.org/issue?@action=redirect&bpo=1722344].)

Ao usar a estrutura PyMemberDef para definir atributos de um tipo, o Python não permitirá mais que você tente excluir ou definir um atributo T_STRING_INPLACE.

Símbolos globais definidos pelo módulo ctypes agora são prefixados com Py, ou com _ctypes. (Implementado por Thomas Heller; bpo-3102 [https://bugs.python.org/issue?@action=redirect&bpo=3102].)

Nova opção de configuração: a opção --with-system-expat permite construir o módulo pyexpat para usar a biblioteca Expat do sistema. (Contribuição de Arfrever Frehtes Taifersar Arahesis; bpo-7609 [https://bugs.python.org/issue?@action=redirect&bpo=7609].)

Nova opção de configuração: a opção --with-valgrind agora desativará o alocador pymalloc, o que é difícil para o detector de erros de memória Valgrind analisar corretamente. Valgrind será, portanto, melhor na detecção de vazamentos e sobrecargas de memória. (Contribuição de James Henstridge; bpo-2422 [https://bugs.python.org/issue?@action=redirect&bpo=2422].)

Nova opção de configuração: agora você pode fornecer uma string vazia para --with-dbmliborder= para desabilitar todos os vários módulos DBM. (Adição de Arfrever Frehtes Taifersar Arahesis; bpo-6491 [https://bugs.python.org/issue?@action=redirect&bpo=6491].)

O script configure agora verifica erros de arredondamento de ponto flutuante em certos chips Intel de 32 bits e define uma definição de preprocessador X87_DOUBLE_ROUNDING. Nenhum código atualmente usa esta definição, mas ela está disponível se alguém desejar usá-la. (Adicionado por Mark Dickinson; bpo-2937 [https://bugs.python.org/issue?@action=redirect&bpo=2937].)

configure agora também define uma variável Makefile LDCXXSHARED para prover suporte à vinculação C++. (Contribuição de Arfrever Frehtes Taifersar Arahesis; bpo-1222585 [https://bugs.python.org/issue?@action=redirect&bpo=1222585].)

O processo de construção agora cria os arquivos necessários para suporte ao pkg-config. (Contribuição de Clinton Roy; bpo-3585 [https://bugs.python.org/issue?@action=redirect&bpo=3585].)

O processo de construção agora prover suporte ao Subversion 1.7. (Contribuição de Arfrever Frehtes Taifersar Arahesis; bpo-6094 [https://bugs.python.org/issue?@action=redirect&bpo=6094].)

Capsules

Python 3.1 adiciona um novo tipo de dados C, PyCapsule, para fornecer uma API C para um módulo de extensão. Uma cápsula é essencialmente o detentor de um ponteiro C void * e é disponibilizada como um atributo de módulo; por exemplo, a API do módulo socket é exposta como socket.CAPI, e unicodedata expõe ucnhash_CAPI. Outras extensões podem importar o módulo, acessar seu dicionário para obter o objeto cápsula e então obter o ponteiro void *, que normalmente apontará para uma matriz de ponteiros para as diversas funções da API do módulo.

Já existe um tipo de dados usado para isso, PyCObject, mas ele não fornece segurança de tipo. Código maligno escrito em Python puro pode causar uma falha de segmentação pegando um PyCObject do módulo A e de alguma forma substituindo-o por PyCObject no módulo B. As cápsulas sabem seu próprio nome , e para obter o ponteiro é necessário fornecer o nome:

void *vtable;

if (!PyCapsule_IsValid(capsule, "mymodule.CAPI") {
        PyErr_SetString(PyExc_ValueError, "argument type invalid");
        return NULL;
}

vtable = PyCapsule_GetPointer(capsule, "mymodule.CAPI");

Você tem certeza de que vtable aponta para o que você espera. Se uma cápsula diferente fosse passada, PyCapsule_IsValid() detectaria o nome incompatível e retornaria falso. Consulte Providing a C API for an Extension Module para mais informações sobre como usar esses objetos.

Python 2.7 agora usa cápsulas internamente para fornecer várias APIs de módulo de extensão, mas o PyCObject_AsVoidPtr() foi modificado para lidar com cápsulas, preservando a compatibilidade em tempo de compilação com a interface PyCObject. O uso de PyCObject_AsVoidPtr() sinalizará uma exceção PendingDeprecationWarning, que é silencioso por padrão.

Implementado em Python 3.1 e portado para 2.7 por Larry Hastings; discutido em bpo-5630 [https://bugs.python.org/issue?@action=redirect&bpo=5630].

Alterações específicas da porta: Windows

O módulo msvcrt agora contém algumas constantes do arquivo de cabeçalho crtassem.h: CRT_ASSEMBLY_VERSION, VC_ASSEMBLY_PUBLICKEYTOKEN e LIBRARIES_ASSEMBLY_NAME_PREFIX. (Contribuição de David Cournapeau; bpo-4365 [https://bugs.python.org/issue?@action=redirect&bpo=4365].)

O módulo _winreg para acessar o registro agora implementa as funções CreateKeyEx() e DeleteKeyEx(), versões estendidas de funções suportadas anteriormente que recebem vários argumentos extras. Os DisableReflectionKey(), EnableReflectionKey() e QueryReflectionKey() também foram testados e documentados. (Implementação de Brian Curtin: bpo-7347 [https://bugs.python.org/issue?@action=redirect&bpo=7347].)

A nova API _beginthreadex() é usada para iniciar threads, e as funções nativas de armazenamento local de thread agora são usadas. (Contribuição de Kristján Valur Jónsson; bpo-3582 [https://bugs.python.org/issue?@action=redirect&bpo=3582].)

A função os.kill() agora funciona no Windows. O valor do sinal pode ser as constantes CTRL_C_EVENT, CTRL_BREAK_EVENT ou qualquer número inteiro. As duas primeiras constantes enviarão eventos de pressionamento de tecla Control-C e Control-Break para subprocessos; qualquer outro valor usará a API TerminateProcess(). (Contribuição de Miki Tebeka; bpo-1220212 [https://bugs.python.org/issue?@action=redirect&bpo=1220212].)

A função os.listdir() agora falha corretamente para um caminho vazio. (Correção de Hirokazu Yamamoto; bpo-5913 [https://bugs.python.org/issue?@action=redirect&bpo=5913].)

O módulo mimetypes agora irá ler o banco de dados MIME do registro do Windows ao inicializar. (Patch de Gabriel Genellina; bpo-4969 [https://bugs.python.org/issue?@action=redirect&bpo=4969].)

Alterações específicas da porta: Mac OS X

O caminho /Library/Python/2.7/site-packages agora é anexado a sys.path, para compartilhar pacotes adicionados entre a instalação do sistema e uma cópia da mesma versão instalada pelo usuário. (Alteração de Ronald Oussoren; bpo-4865 [https://bugs.python.org/issue?@action=redirect&bpo=4865].)

Alterado na versão 2.7.13: A partir da versão 2.7.13, esta alteração foi removida. /Library/Python/2.7/site-packages, o diretório site-packages usado pelo sistema Python 2.7 fornecido pela Apple não é mais anexado a sys.path para Pythons instalados pelo usuário, como do Instaladores do python.org. A partir do macOS 10.12, a Apple mudou a forma como o diretório site-packages do sistema é configurado, o que pode causar falha na instalação de componentes pip, como setuptools. Os pacotes instalados para o sistema Python não serão mais compartilhados com Pythons instalados pelo usuário. ( bpo-28440 [https://bugs.python.org/issue?@action=redirect&bpo=28440])

Alterações específicas da porta: FreeBSD

Constante SO_SETFIB do FreeBSD 7.1, usada com os métodos getsockopt() e setsockopt() do socket() para selecionar uma tabela de roteamento alternativa, agora está disponível no módulo socket. (Adição de Kyle VanderBeek; bpo-8235 [https://bugs.python.org/issue?@action=redirect&bpo=8235].)

Outras alterações e correções

Dois scripts de benchmark, iobench e ccbench, foram adicionados ao diretório Tools. iobench mede a velocidade dos objetos embutidos de E/S de arquivo retornados por open() durante a execução de várias operações, e ccbench é um benchmark de simultaneidade que tenta medir o rendimento da computação, latência de comutação de threads e largura de banda de processamento de E/S ao executar diversas tarefas usando um número variável de threads.

O script Tools/i18n/msgfmt.py agora entende formas plurais em arquivos .po. (Correção de Martin von Löwis; bpo-5464 [https://bugs.python.org/issue?@action=redirect&bpo=5464].)

Ao importar um módulo de um arquivo .pyc ou .pyo com uma contraparte .py existente, os atributos co_filename dos objetos código resultantes são substituídos quando o nome do arquivo original fica obsoleto. Isso pode acontecer se o arquivo tiver sido renomeado, movido ou acessado por caminhos diferentes. (Patch de Ziga Seilnacht e Jean-Paul Calderone; bpo-1180193 [https://bugs.python.org/issue?@action=redirect&bpo=1180193].)

O script regrtest.py agora usa uma opção --randseed= que recebe um número inteiro que será usado como semente aleatória para a opção -r que executa testes em ordem aleatória. A opção -r também informa a semente que foi usada (Adição de Collin Winter.)

Outra opção regrtest.py é -j, que recebe um número inteiro especificando quantos testes são executados em paralelo. Isto permite reduzir o tempo total de execução em máquinas com vários núcleos. Esta opção é compatível com várias outras opções, incluindo a opção -R que é conhecida por produzir longos tempos de execução. (Adicionado por Antoine Pitrou, bpo-6152 [https://bugs.python.org/issue?@action=redirect&bpo=6152].) Isso também pode ser usado com uma nova opção -F que executa testes selecionados em um loop até que eles falhem. (Adição de Antoine Pitrou; bpo-7312 [https://bugs.python.org/issue?@action=redirect&bpo=7312].)

Quando executado como um script, o módulo py_compile.py agora aceita '-' como argumento, que lerá a entrada padrão para a lista de nomes de arquivos a serem compilados. (Contribuição de Piotr Ożarowski; bpo-8233 [https://bugs.python.org/issue?@action=redirect&bpo=8233].)

Portando para Python 2.7

Esta seção lista as alterações descritas anteriormente e outras correções de bugs que podem exigir alterações em seu código:

A função range() processa seus argumentos de forma mais consistente; agora ele chamará __int__() em argumentos que não são ponto flutuantes nem inteiros que são fornecidos a ele. (Correção de Alexander Belopolsky; bpo-1533 [https://bugs.python.org/issue?@action=redirect&bpo=1533].)

O método string format() alterou a precisão padrão usada para números de ponto flutuante e complexos de 6 casas decimais para 12, o que corresponde à precisão usada por str(). (Alteração de Eric Smith; bpo-5920 [https://bugs.python.org/issue?@action=redirect&bpo=5920].)

Por causa de uma otimização para a instrução with, os métodos especiais __enter__() e __exit__() devem pertencer ao tipo do objeto e não podem ser diretamente anexados ao instância do objeto. Isto afeta classes de novo estilo (derivadas de object) e tipos de extensão C. (bpo-6101 [https://bugs.python.org/issue?@action=redirect&bpo=6101].)

Devido a um bug no Python 2.6, o parâmetro exc_value para os métodos __exit__() era frequentemente a representação de string da exceção, não uma instância. Isso foi corrigido na versão 2.7, então exc_value será uma instância conforme esperado. (Correção de Florent Xicluna; bpo-7853 [https://bugs.python.org/issue?@action=redirect&bpo=7853].)

Quando um conjunto restrito de atributos foi definido usando __slots__, excluir um atributo não definido não levantaria AttributeError como seria de esperar. Correção de Benjamin Peterson; bpo-7604 [https://bugs.python.org/issue?@action=redirect&bpo=7604].)

Na biblioteca padrão:

Operações com instâncias datetime que resultaram em um ano fora do intervalo suportado nem sempre levantam OverflowError. Esses erros agora são verificados com mais cuidado e irão levantar a exceção. (Relato de Mark Leander, patch de Anand B. Pillai e Alexander Belopolsky; bpo-7150 [https://bugs.python.org/issue?@action=redirect&bpo=7150].)

Ao usar instâncias Decimal com o método format() de uma string, o alinhamento padrão era anteriormente o alinhamento à esquerda. Isso foi alterado para alinhamento à direita, o que pode alterar a saída dos seus programas. (Alteração de Mark Dickinson; bpo-6857 [https://bugs.python.org/issue?@action=redirect&bpo=6857].)

Comparações envolvendo um valor NaN de sinalização (ou sNAN) agora sinalizam InvalidOperation em vez de retornar silenciosamente um valor verdadeiro ou falso dependendo do operador de comparação. Valores silenciosos de NaN (ou NaN) agora são hasheáveis. (Corrigido por Mark Dickinson; bpo-7279 [https://bugs.python.org/issue?@action=redirect&bpo=7279].)

A biblioteca xml.etree.ElementTree não escapa mais os caracteres de e-comercial e colchetes angulares ao gerar uma instrução de processamento XML (que se parece com <?xml-stylesheet href="#style1"?>) ou comentário ( que se parece com <!-- comment -->). (Patch de Neil Muller; bpo-2746 [https://bugs.python.org/issue?@action=redirect&bpo=2746].)

O método readline() dos objetos StringIO agora não faz nada quando um comprimento negativo é solicitado, como fazem outros objetos arquivo ou similar. (bpo-7348 [https://bugs.python.org/issue?@action=redirect&bpo=7348]).

O módulo syslog agora usará o valor de sys.argv[0] como identificador em vez do valor padrão anterior de 'python'. (Alteração de Sean Reifschneider; bpo-8451 [https://bugs.python.org/issue?@action=redirect&bpo=8451].)

O tratamento de erros padrão do módulo tarfile foi alterado, para não mais suprimir erros fatais. O nível de erro padrão era anteriormente 0, o que significava que os erros resultariam apenas na gravação de uma mensagem no log de depuração, mas como o log de depuração não está ativado por padrão, esses erros passam despercebidos. O nível de erro padrão agora é 1, o que levanta uma exceção se houver um erro. (Alteração de Lars Gustäbel; bpo-7357 [https://bugs.python.org/issue?@action=redirect&bpo=7357].)

A função urlsplit() do módulo urlparse agora lida com esquemas de URL desconhecidos de uma forma compatível com RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html]: se a URL estiver no formato "<alguma_coisa>://...", o texto antes de :// é tratado como o esquema, mesmo que seja um esquema inventado que o módulo não conhece. Essa alteração pode quebrar o código que contornava o comportamento antigo. Por exemplo, Python 2.6.4 ou 2.5 retornará o seguinte:

>>> import urlparse
>>> urlparse.urlsplit('invented://host/filename?query')
('invented', '', '//host/filename?query', '', '')

Python 2.7 (e Python 2.6.5) vai retornar:

>>> import urlparse
>>> urlparse.urlsplit('invented://host/filename?query')
('invented', 'host', '/filename?query', '', '')

(Na verdade, o Python 2.7 produz uma saída ligeiramente diferente, pois retorna uma tupla nomeada em vez de uma tupla padrão.)

Para extensões C:

Extensões C que usam códigos de formato inteiro com a família de funções PyArg_Parse* agora levantarão uma exceção TypeError em vez de disparar uma DeprecationWarning (bpo-5080 [https://bugs.python.org/issue?@action=redirect&bpo=5080]).

Use a nova função PyOS_string_to_double() em vez das antigas funções PyOS_ascii_strtod() e PyOS_ascii_atof(), que agora estão descontinuadas.

Para aplicações que incorporam Python:

A função PySys_SetArgvEx() foi adicionada, permitindo que aplicativos fechem uma falha de segurança quando a função PySys_SetArgv() existente for usada. Verifique se você está chamando PySys_SetArgv() e considere cuidadosamente se a aplicação deve usar PySys_SetArgvEx() com updatepath definido como falso.

Novos recursos adicionados às versões de manutenção do Python 2.7

Novos recursos podem ser adicionados às versões de manutenção do Python 2.7 quando a situação realmente exigir. Quaisquer adições devem passar pelo processo de proposta de melhoria do Python, ou em inglês Python Enhancement Proposal – PEP, e apresentar um argumento convincente sobre por que não podem ser abordadas adequadamente adicionando o novo recurso apenas ao Python 3 ou publicando-o no Python Package Index.

Além das propostas específicas listadas abaixo, há uma isenção geral que permite que novos avisos -3 sejam adicionados em qualquer versão de manutenção do Python 2.7.

Duas novas variáveis de ambiente para modo de depuração

No modo de depuração, a estatística [xxx refs] não é escrita por padrão, a variável de ambiente PYTHONSHOWREFCOUNT agora também deve ser definida. (Contribuição de Victor Stinner; bpo-31733 [https://bugs.python.org/issue?@action=redirect&bpo=31733].)

Quando Python é compilado com COUNT_ALLOC definido, as contagens de alocação não são mais despejadas por padrão: a variável de ambiente PYTHONSHOWALLOCCOUNT agora também deve ser definida. Além disso, as contagens de alocação agora são despejadas no stderr, em vez do stdout. (Contribuição de Victor Stinner; bpo-31692 [https://bugs.python.org/issue?@action=redirect&bpo=31692].)

Adicionado na versão 2.7.15.

PEP 434: Exceção de aprimoramento do IDLE para todos os branches

PEP 434 [https://peps.python.org/pep-0434/] descreve uma isenção geral para alterações feitas no ambiente de desenvolvimento IDLE enviado junto com o Python. Esta isenção permite que os desenvolvedores de IDLE forneçam uma experiência de usuário mais consistente em todas as versões suportadas do Python 2 e 3.

Para obter detalhes sobre quaisquer alterações do IDLE, consulte o arquivo NEWS da versão específica.

PEP 466: Aprimoramentos de segurança de rede do Python 2.7

PEP 466 [https://peps.python.org/pep-0466/] descreve uma série de propostas de melhoria de segurança de rede que foram aprovadas para inclusão nas versões de manutenção do Python 2.7, com a primeira dessas mudanças aparecendo na versão Python 2.7.7.

Recursos relacionados a PEP 466 [https://peps.python.org/pep-0466/] adicionados no Python 2.7.7:

hmac.compare_digest() foi portado do Python 3 para disponibilizar uma operação de comparação resistente a ataques de tempo para aplicações em Python 2. (Contribuição de Alex Gaynor; bpo-21306 [https://bugs.python.org/issue?@action=redirect&bpo=21306].)

OpenSSL 1.0.1g foi atualizado nos instaladores oficiais do Windows publicados em python.org. (Contribuição de Zachary Ware; bpo-21462 [https://bugs.python.org/issue?@action=redirect&bpo=21462].)

Recursos relacionados a PEP 466 [https://peps.python.org/pep-0466/] adicionados no Python 2.7.8:

hashlib.pbkdf2_hmac() foi portado do Python 3 para tornar um algoritmo de hash adequado para armazenamento seguro de senhas amplamente disponível para aplicações Python 2. (Contribuição de Alex Gaynor; bpo-21304 [https://bugs.python.org/issue?@action=redirect&bpo=21304].)

OpenSSL 1.0.1h foi atualizado para os instaladores oficiais do Windows publicados em python.org. (Contribuição de Zachary Ware em bpo-21671 [https://bugs.python.org/issue?@action=redirect&bpo=21671] para CVE 2014-0224 [https://www.cve.org/CVERecord?id=CVE-2014-0224].)

Recursos relacionados a PEP 466 [https://peps.python.org/pep-0466/] adicionados no Python 2.7.9:

A maior parte do módulo ssl do Python 3.4 foi portada. Isso significa que ssl agora provê suporte a indicar de nome de servidor, configurações TLS1.x, acesso ao armazenamento de certificados da plataforma, a classe SSLContext e outros recursos. (Contribuição de Alex Gaynor e David Reid; bpo-21308 [https://bugs.python.org/issue?@action=redirect&bpo=21308].)

Consulte as notas “Versão adicionada: 2.7.9” na documentação do módulo para obter detalhes específicos.

os.urandom() foi alterado para armazenar em cache um descritor de arquivo para /dev/urandom em vez de reabrir /dev/urandom em cada chamada. (Contribuição de Alex Gaynor; bpo-21305 [https://bugs.python.org/issue?@action=redirect&bpo=21305].)

hashlib.algorithms_guaranteed e hashlib.algorithms_available foram portados do Python 3 para tornar mais fácil para os aplicações Python 2 selecionarem o algoritmo de hash mais forte disponível. (Contribuição de Alex Gaynor em bpo-21307 [https://bugs.python.org/issue?@action=redirect&bpo=21307])

PEP 477: Backport do ensurepip (PEP 453) para o Python 2.7

A PEP 477 [https://peps.python.org/pep-0477/] aprova a inclusão do módulo ensurepip do PEP 453 [https://peps.python.org/pep-0453/] e da documentação aprimorada que foi habilitada por ele nas versões de manutenção do Python 2.7, aparecendo primeiro na versão Python 2.7.9.

Inicializando pip por padrão

O novo módulo ensurepip (definido em PEP 453 [https://peps.python.org/pep-0453/]) fornece um mecanismo padrão de plataforma cruzada para inicializar o instalador pip em instalações Python. A versão do pip incluída no Python 2.7.9 é pip 1.5.6, e futuras versões de manutenção 2.7.x atualizarão a versão empacotada para a versão mais recente do pip que está disponível em o momento da criação do candidato a lançamento.

Por padrão, os comandos pip, pipX e pipX.Y serão instalados em todas as plataformas (onde X.Y representa a versão da instalação do Python), junto com o pacote Python via pip e suas dependências.

Para construções de fontes do CPython em sistemas POSIX, os comandos make install e make altinstall não inicializam pip por padrão. Este comportamento pode ser controlado através de opções de configuração e substituído através de opções do Makefile.

No Windows e Mac OS X, os instaladores do CPython agora instalam o pip junto com o próprio CPython (os usuários podem optar por não instalá-lo durante o processo de instalação). Os usuários do Windows precisarão optar pelas modificações automáticas do PATH para ter o pip disponível na linha de comando por padrão, caso contrário ele ainda poderá ser acessado através do iniciador Python para Windows como py -m pip.

As discussed in the PEP [https://peps.python.org/pep-0477/#disabling-ensurepip-by-downstream-distributors], platform packagers may choose not to install these commands by default, as long as, when invoked, they provide clear and simple directions on how to install them on that platform (usually using the system package manager).

Mudanças na documentação

Como parte desta mudança, as seções Instalando módulos Python e Distribuindo módulos Python da documentação foram completamente redesenhadas como breves documentos de introdução e FAQ. A maior parte da documentação de empacotamento agora foi transferida para o Python Packaging Authority, mantido no Guia de Usuário para Empacotamento de Python [https://packaging.python.org] e na documentação dos projetos individuais.

No entanto, como esta migração ainda está incompleta, as versões legadas desses guias permanecem disponíveis como Construindo extensões C e C ++ com setuptools e Construindo extensões C e C ++ com setuptools.

Ver também

PEP 453 [https://peps.python.org/pep-0453/] – Inicialização explícita do pip em instalações Python

PEP escrita por Donald Stufft e Nick Coghlan, implementada por Donald Stufft, Nick Coghlan, Martin von Löwis e Ned Deily.

PEP 476: Habilitando verificação de certificado por padrão para clientes http stdlib

PEP 476 [https://peps.python.org/pep-0476/] atualizou httplib e módulos que o utilizam, como urllib2 e xmlrpclib, para agora verificar se o servidor apresenta um certificado que é assinado por uma Autoridade Certificadora no armazenamento confiável da plataforma e cujo nome de host corresponde ao nome de host solicitado por padrão, melhorando significativamente a segurança para muitas aplicações. Essa alteração foi feita na versão 2.7.9 do Python.

Para aplicações que exigem o antigo comportamento anterior, elas podem passar um contexto alternativo:

import urllib2
import ssl

# This disables all verification
context = ssl._create_unverified_context()

# This allows using a specific certificate for the host, which doesn't need
# to be in the trust store
context = ssl.create_default_context(cafile="/path/to/file.crt")

urllib2.urlopen("https://invalid-cert", context=context)

PEP 493: Ferramentas de migração de verificação HTTPS para Python 2.7

PEP 493 [https://peps.python.org/pep-0493/] fornece ferramentas de migração adicionais para provê um processo de atualização de infraestrutura mais incremental para ambientes contendo aplicações e serviços que dependem do processamento historicamente permissivo de certificados de servidor ao estabelecer conexões HTTPS de clientes. Essas adições foram feitas na versão 2.7.12 do Python.

Estas ferramentas destinam-se a ser utilizadas em casos em que as aplicações e serviços afetados não podem ser modificados para passar explicitamente um contexto SSL mais permissivo ao estabelecer a ligação.

Para aplicações e serviços que não podem ser modificados, a nova variável de ambiente PYTHONHTTPSVERIFY pode ser definida como 0 para reverter todo um processo Python de volta ao comportamento permissivo padrão do Python 2.7.8 e anteriores.

Para casos em que o código de estabelecimento da conexão não pode ser modificado, mas a aplicação geral pode, a nova função ssl._https_verify_certificates() pode ser usada para ajustar o comportamento padrão em tempo de execução.

Novo alvo de construção make regen-all

Para simplificar a compilação cruzada e garantir que o CPython possa ser compilado de forma confiável sem exigir que uma versão existente do Python já esteja disponível, o sistema de construção baseado em autotools não tenta mais recompilar implicitamente os arquivos gerados com base nos tempos de modificação dos arquivos.

Em vez disso, um novo comando make regen-all foi adicionado para forçar a regeneração desses arquivos quando desejado (por exemplo, após uma versão inicial do Python já ter sido construída com base nas versões pré-geradas).

Alvos de regeneração mais seletivos também são definidos – veja Makefile.pre.in [https://github.com/python/cpython/tree/3.13/Makefile.pre.in] para detalhes.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Adicionado na versão 2.7.14.

Remoção do alvo de construção make touch

O alvo de construção make touch usado anteriormente para solicitar regeneração implícita de arquivos gerados atualizando seus tempos de modificação foi removido.

Ele foi substituído pelo novo alvo make regen-all.

(Contribuição de Victor Stinner em bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404].)

Alterado na versão 2.7.14.

Reconhecimentos

O autor gostaria de agradecer às seguintes pessoas por oferecerem sugestões, correções e assistência com vários rascunhos deste artigo: Nick Coghlan, Philip Jenvey, Ryan Lovett, R. David Murray, Hugh Secker-Walker.

O que há de novo no Python 2.6

Autor:

A.M. Kuchling (amk at amk.ca)

This article explains the new features in Python 2.6, released on October 1, 2008. The release schedule is described in PEP 361 [https://peps.python.org/pep-0361/].

The major theme of Python 2.6 is preparing the migration path to Python 3.0, a major redesign of the language. Whenever possible, Python 2.6 incorporates new features and syntax from 3.0 while remaining compatible with existing code by not removing older features or syntax. When it’s not possible to do that, Python 2.6 tries to do what it can, adding compatibility functions in a future_builtins module and a -3 switch to warn about usages that will become unsupported in 3.0.

Some significant new packages have been added to the standard library, such as the multiprocessing and json modules, but there aren’t many new features that aren’t related to Python 3.0 in some way.

Python 2.6 also sees a number of improvements and bugfixes throughout the source. A search through the change logs finds there were 259 patches applied and 612 bugs fixed between Python 2.5 and 2.6. Both figures are likely to be underestimates.

This article doesn’t attempt to provide a complete specification of the new features, but instead provides a convenient overview. For full details, you should refer to the documentation for Python 2.6. If you want to understand the rationale for the design and implementation, refer to the PEP for a particular new feature. Whenever possible, “What’s New in Python” links to the bug/patch item for each change.

Python 3.0

The development cycle for Python versions 2.6 and 3.0 was synchronized, with the alpha and beta releases for both versions being made on the same days. The development of 3.0 has influenced many features in 2.6.

Python 3.0 is a far-ranging redesign of Python that breaks compatibility with the 2.x series. This means that existing Python code will need some conversion in order to run on Python 3.0. However, not all the changes in 3.0 necessarily break compatibility. In cases where new features won’t cause existing code to break, they’ve been backported to 2.6 and are described in this document in the appropriate place. Some of the 3.0-derived features are:

A __complex__() method for converting objects to a complex number.

Alternate syntax for catching exceptions: except TypeError as exc.

The addition of functools.reduce() as a synonym for the built-in reduce() function.

Python 3.0 adds several new built-in functions and changes the semantics of some existing builtins. Functions that are new in 3.0 such as bin() have simply been added to Python 2.6, but existing builtins haven’t been changed; instead, the future_builtins module has versions with the new 3.0 semantics. Code written to be compatible with 3.0 can do from future_builtins import hex, map as necessary.

A new command-line switch, -3, enables warnings about features that will be removed in Python 3.0. You can run code with this switch to see how much work will be necessary to port code to 3.0. The value of this switch is available to Python code as the boolean variable sys.py3kwarning, and to C extension code as Py_Py3kWarningFlag.

Ver também

The 3xxx series of PEPs, which contains proposals for Python 3.0. PEP 3000 [https://peps.python.org/pep-3000/] describes the development process for Python 3.0. Start with PEP 3100 [https://peps.python.org/pep-3100/] that describes the general goals for Python 3.0, and then explore the higher-numbered PEPs that propose specific features.

Changes to the Development Process

While 2.6 was being developed, the Python development process underwent two significant changes: we switched from SourceForge’s issue tracker to a customized Roundup installation, and the documentation was converted from LaTeX to reStructuredText.

New Issue Tracker: Roundup

For a long time, the Python developers had been growing increasingly annoyed by SourceForge’s bug tracker. SourceForge’s hosted solution doesn’t permit much customization; for example, it wasn’t possible to customize the life cycle of issues.

The infrastructure committee of the Python Software Foundation therefore posted a call for issue trackers, asking volunteers to set up different products and import some of the bugs and patches from SourceForge. Four different trackers were examined: Jira [https://www.atlassian.com/software/jira/], Launchpad [https://launchpad.net/], Roundup [https://roundup.sourceforge.io/], and Trac [https://trac.edgewall.org/]. The committee eventually settled on Jira and Roundup as the two candidates. Jira is a commercial product that offers no-cost hosted instances to free-software projects; Roundup is an open-source project that requires volunteers to administer it and a server to host it.

After posting a call for volunteers, a new Roundup installation was set up at https://bugs.python.org. One installation of Roundup can host multiple trackers, and this server now also hosts issue trackers for Jython and for the Python web site. It will surely find other uses in the future. Where possible, this edition of “What’s New in Python” links to the bug/patch item for each change.

Hosting of the Python bug tracker is kindly provided by Upfront Systems [https://upfrontsoftware.co.za] of Stellenbosch, South Africa. Martin von Löwis put a lot of effort into importing existing bugs and patches from SourceForge; his scripts for this import operation are at https://svn.python.org/view/tracker/importer/ and may be useful to other projects wishing to move from SourceForge to Roundup.

Ver também

https://bugs.python.org

The Python bug tracker.

https://bugs.jython.org:

The Jython bug tracker.

https://roundup.sourceforge.io/

Roundup downloads and documentation.

https://svn.python.org/view/tracker/importer/

Martin von Löwis’s conversion scripts.

New Documentation Format: reStructuredText Using Sphinx

The Python documentation was written using LaTeX since the project started around 1989. In the 1980s and early 1990s, most documentation was printed out for later study, not viewed online. LaTeX was widely used because it provided attractive printed output while remaining straightforward to write once the basic rules of the markup were learned.

Today LaTeX is still used for writing publications destined for printing, but the landscape for programming tools has shifted. We no longer print out reams of documentation; instead, we browse through it online and HTML has become the most important format to support. Unfortunately, converting LaTeX to HTML is fairly complicated and Fred L. Drake Jr., the long-time Python documentation editor, spent a lot of time maintaining the conversion process. Occasionally people would suggest converting the documentation into SGML and later XML, but performing a good conversion is a major task and no one ever committed the time required to finish the job.

During the 2.6 development cycle, Georg Brandl put a lot of effort into building a new toolchain for processing the documentation. The resulting package is called Sphinx, and is available from https://www.sphinx-doc.org/.

Sphinx concentrates on HTML output, producing attractively styled and modern HTML; printed output is still supported through conversion to LaTeX. The input format is reStructuredText, a markup syntax supporting custom extensions and directives that is commonly used in the Python community.

Sphinx is a standalone package that can be used for writing, and almost two dozen other projects (listed on the Sphinx web site [https://www.sphinx-doc.org/en/master/examples.html]) have adopted Sphinx as their documentation tool.

Ver também

Documenting Python [https://devguide.python.org/documenting/]

Describes how to write for Python’s documentation.

Sphinx [https://www.sphinx-doc.org/]

Documentation and code for the Sphinx toolchain.

Docutils [https://docutils.sourceforge.io]

The underlying reStructuredText parser and toolset.

PEP 343: The ‘with’ statement

The previous version, Python 2.5, added the ‘with’ statement as an optional feature, to be enabled by a from __future__ import with_statement directive. In 2.6 the statement no longer needs to be specially enabled; this means that with is now always a keyword. The rest of this section is a copy of the corresponding section from the “What’s New in Python 2.5” document; if you’re familiar with the ‘with’ statement from Python 2.5, you can skip this section.

The ‘with’ statement clarifies code that previously would use try...finally blocks to ensure that clean-up code is executed. In this section, I’ll discuss the statement as it will commonly be used. In the next section, I’ll examine the implementation details and show how to write objects for use with this statement.

The ‘with’ statement is a control-flow structure whose basic structure is:

with expression [as variable]:
    with-block

The expression is evaluated, and it should result in an object that supports the context management protocol (that is, has __enter__() and __exit__() methods).

The object’s __enter__() is called before with-block is executed and therefore can run set-up code. It also may return a value that is bound to the name variable, if given. (Note carefully that variable is not assigned the result of expression.)

After execution of the with-block is finished, the object’s __exit__() method is called, even if the block raised an exception, and can therefore run clean-up code.

Some standard Python objects now support the context management protocol and can be used with the ‘with’ statement. File objects are one example:

with open('/etc/passwd', 'r') as f:
    for line in f:
        print line
        ... more processing code ...

After this statement has executed, the file object in f will have been automatically closed, even if the for loop raised an exception part-way through the block.

Nota

In this case, f is the same object created by open(), because __enter__() returns self.

The threading module’s locks and condition variables also support the ‘with’ statement:

lock = threading.Lock()
with lock:
    # Critical section of code
    ...

The lock is acquired before the block is executed and always released once the block is complete.

The localcontext() function in the decimal module makes it easy to save and restore the current decimal context, which encapsulates the desired precision and rounding characteristics for computations:

from decimal import Decimal, Context, localcontext

# Displays with default precision of 28 digits
v = Decimal('578')
print v.sqrt()

with localcontext(Context(prec=16)):
    # All code in this block uses a precision of 16 digits.
    # The original context is restored on exiting the block.
    print v.sqrt()

Writing Context Managers

Under the hood, the ‘with’ statement is fairly complicated. Most people will only use ‘with’ in company with existing objects and don’t need to know these details, so you can skip the rest of this section if you like. Authors of new objects will need to understand the details of the underlying implementation and should keep reading.

A high-level explanation of the context management protocol is:

The expression is evaluated and should result in an object called a “context manager”. The context manager must have __enter__() and __exit__() methods.

The context manager’s __enter__() method is called. The value returned is assigned to VAR. If no as VAR clause is present, the value is simply discarded.

The code in BLOCK is executed.

If BLOCK raises an exception, the context manager’s __exit__() method is called with three arguments, the exception details (type, value, traceback, the same values returned by sys.exc_info(), which can also be None if no exception occurred). The method’s return value controls whether an exception is re-raised: any false value re-raises the exception, and True will result in suppressing it. You’ll only rarely want to suppress the exception, because if you do the author of the code containing the ‘with’ statement will never realize anything went wrong.

If BLOCK didn’t raise an exception, the __exit__() method is still called, but type, value, and traceback are all None.

Let’s think through an example. I won’t present detailed code but will only sketch the methods necessary for a database that supports transactions.

(For people unfamiliar with database terminology: a set of changes to the database are grouped into a transaction. Transactions can be either committed, meaning that all the changes are written into the database, or rolled back, meaning that the changes are all discarded and the database is unchanged. See any database textbook for more information.)

Vamos supor que exista um objeto representando uma conexão com o banco de dados. Nosso objetivo será permitir que o usuário escreva código como este:

db_connection = DatabaseConnection()
with db_connection as cursor:
    cursor.execute('insert into ...')
    cursor.execute('delete from ...')
    # ... more operations ...

A transação deverá ser confirmada se o código no bloco funcionar perfeitamente ou revertida se houver uma exceção. Aqui está a interface básica para DatabaseConnection que presumirei:

class DatabaseConnection:
    # Database interface
    def cursor(self):
        "Returns a cursor object and starts a new transaction"
    def commit(self):
        "Commits current transaction"
    def rollback(self):
        "Rolls back current transaction"

The __enter__() method is pretty easy, having only to start a new transaction. For this application the resulting cursor object would be a useful result, so the method will return it. The user can then add as cursor to their ‘with’ statement to bind the cursor to a variable name.

class DatabaseConnection:
    ...
    def __enter__(self):
        # Code to start a new transaction
        cursor = self.cursor()
        return cursor

The __exit__() method is the most complicated because it’s where most of the work has to be done. The method has to check if an exception occurred. If there was no exception, the transaction is committed. The transaction is rolled back if there was an exception.

In the code below, execution will just fall off the end of the function, returning the default value of None. None is false, so the exception will be re-raised automatically. If you wished, you could be more explicit and add a return statement at the marked location.

class DatabaseConnection:
    ...
    def __exit__(self, type, value, tb):
        if tb is None:
            # No exception, so commit
            self.commit()
        else:
            # Exception occurred, so rollback.
            self.rollback()
            # return False

The contextlib module

The contextlib module provides some functions and a decorator that are useful when writing objects for use with the ‘with’ statement.

The decorator is called contextmanager(), and lets you write a single generator function instead of defining a new class. The generator should yield exactly one value. The code up to the yield will be executed as the __enter__() method, and the value yielded will be the method’s return value that will get bound to the variable in the ‘with’ statement’s as clause, if any. The code after the yield will be executed in the __exit__() method. Any exception raised in the block will be raised by the yield statement.

Using this decorator, our database example from the previous section could be written as:

from contextlib import contextmanager

@contextmanager
def db_transaction(connection):
    cursor = connection.cursor()
    try:
        yield cursor
    except:
        connection.rollback()
        raise
    else:
        connection.commit()

db = DatabaseConnection()
with db_transaction(db) as cursor:
    ...

The contextlib module also has a nested(mgr1, mgr2, ...) function that combines a number of context managers so you don’t need to write nested ‘with’ statements. In this example, the single ‘with’ statement both starts a database transaction and acquires a thread lock:

lock = threading.Lock()
with nested (db_transaction(db), lock) as (cursor, locked):
    ...

Finally, the closing() function returns its argument so that it can be bound to a variable, and calls the argument’s .close() method at the end of the block.

import urllib, sys
from contextlib import closing

with closing(urllib.urlopen('http://www.yahoo.com')) as f:
    for line in f:
        sys.stdout.write(line)

Ver também

PEP 343 [https://peps.python.org/pep-0343/] - A instrução “with”

PEP written by Guido van Rossum and Nick Coghlan; implemented by Mike Bland, Guido van Rossum, and Neal Norwitz. The PEP shows the code generated for a ‘with’ statement, which can be helpful in learning how the statement works.

The documentation for the contextlib module.

PEP 366: Explicit Relative Imports From a Main Module

Python’s -m switch allows running a module as a script. When you ran a module that was located inside a package, relative imports didn’t work correctly.

The fix for Python 2.6 adds a module.__package__ attribute. When this attribute is present, relative imports will be relative to the value of this attribute instead of the __name__ attribute.

PEP 302-style importers can then set __package__ as necessary. The runpy module that implements the -m switch now does this, so relative imports will now work correctly in scripts running from inside a package.

PEP 370: Per-user site-packages Directory

When you run Python, the module search path sys.path usually includes a directory whose path ends in "site-packages". This directory is intended to hold locally installed packages available to all users using a machine or a particular site installation.

Python 2.6 introduces a convention for user-specific site directories. The directory varies depending on the platform:

Unix and Mac OS X: ~/.local/

Windows: %APPDATA%/Python

Within this directory, there will be version-specific subdirectories, such as lib/python2.6/site-packages on Unix/Mac OS and Python26/site-packages on Windows.

If you don’t like the default directory, it can be overridden by an environment variable. PYTHONUSERBASE sets the root directory used for all Python versions supporting this feature. On Windows, the directory for application-specific data can be changed by setting the APPDATA environment variable. You can also modify the site.py file for your Python installation.

The feature can be disabled entirely by running Python with the -s option or setting the PYTHONNOUSERSITE environment variable.

Ver também

PEP 370 [https://peps.python.org/pep-0370/] - Per-user site-packages Directory

PEP written and implemented by Christian Heimes.

PEP 371: The multiprocessing Package

The new multiprocessing package lets Python programs create new processes that will perform a computation and return a result to the parent. The parent and child processes can communicate using queues and pipes, synchronize their operations using locks and semaphores, and can share simple arrays of data.

The multiprocessing module started out as an exact emulation of the threading module using processes instead of threads. That goal was discarded along the path to Python 2.6, but the general approach of the module is still similar. The fundamental class is the Process, which is passed a callable object and a collection of arguments. The start() method sets the callable running in a subprocess, after which you can call the is_alive() method to check whether the subprocess is still running and the join() method to wait for the process to exit.

Here’s a simple example where the subprocess will calculate a factorial. The function doing the calculation is written strangely so that it takes significantly longer when the input argument is a multiple of 4.

import time
from multiprocessing import Process, Queue

def factorial(queue, N):
    "Compute a factorial."
    # If N is a multiple of 4, this function will take much longer.
    if (N % 4) == 0:
        time.sleep(.05 * N/4)

    # Calculate the result
    fact = 1L
    for i in range(1, N+1):
        fact = fact * i

    # Put the result on the queue
    queue.put(fact)

if __name__ == '__main__':
    queue = Queue()

    N = 5

    p = Process(target=factorial, args=(queue, N))
    p.start()
    p.join()

    result = queue.get()
    print 'Factorial', N, '=', result

A Queue is used to communicate the result of the factorial. The Queue object is stored in a global variable. The child process will use the value of the variable when the child was created; because it’s a Queue, parent and child can use the object to communicate. (If the parent were to change the value of the global variable, the child’s value would be unaffected, and vice versa.)

Two other classes, Pool and Manager, provide higher-level interfaces. Pool will create a fixed number of worker processes, and requests can then be distributed to the workers by calling apply() or apply_async() to add a single request, and map() or map_async() to add a number of requests. The following code uses a Pool to spread requests across 5 worker processes and retrieve a list of results:

from multiprocessing import Pool

def factorial(N, dictionary):
    "Compute a factorial."
    ...
p = Pool(5)
result = p.map(factorial, range(1, 1000, 10))
for v in result:
    print v

This produces the following output:

1
39916800
51090942171709440000
8222838654177922817725562880000000
33452526613163807108170062053440751665152000000000
...

The other high-level interface, the Manager class, creates a separate server process that can hold master copies of Python data structures. Other processes can then access and modify these data structures using proxy objects. The following example creates a shared dictionary by calling the dict() method; the worker processes then insert values into the dictionary. (Locking is not done for you automatically, which doesn’t matter in this example. Manager’s methods also include Lock(), RLock(), and Semaphore() to create shared locks.)

import time
from multiprocessing import Pool, Manager

def factorial(N, dictionary):
    "Compute a factorial."
    # Calculate the result
    fact = 1L
    for i in range(1, N+1):
        fact = fact * i

    # Store result in dictionary
    dictionary[N] = fact

if __name__ == '__main__':
    p = Pool(5)
    mgr = Manager()
    d = mgr.dict()         # Create shared dictionary

    # Run tasks using the pool
    for N in range(1, 1000, 10):
        p.apply_async(factorial, (N, d))

    # Mark pool as closed -- no more tasks can be added.
    p.close()

    # Wait for tasks to exit
    p.join()

    # Output results
    for k, v in sorted(d.items()):
        print k, v

This will produce the output:

1 1
11 39916800
21 51090942171709440000
31 8222838654177922817725562880000000
41 33452526613163807108170062053440751665152000000000
51 15511187532873822802242430164693032110632597200169861120000...

Ver também

The documentation for the multiprocessing module.

PEP 371 [https://peps.python.org/pep-0371/] - Addition of the multiprocessing package

PEP written by Jesse Noller and Richard Oudkerk; implemented by Richard Oudkerk and Jesse Noller.

PEP 3101: Advanced String Formatting

In Python 3.0, the % operator is supplemented by a more powerful string formatting method, format(). Support for the str.format() method has been backported to Python 2.6.

In 2.6, both 8-bit and Unicode strings have a .format() method that treats the string as a template and takes the arguments to be formatted. The formatting template uses curly brackets ({, }) as special characters:

>>> # Substitute positional argument 0 into the string.
>>> "User ID: {0}".format("root")
'User ID: root'
>>> # Use the named keyword arguments
>>> "User ID: {uid}   Last seen: {last_login}".format(
...    uid="root",
...    last_login = "5 Mar 2008 07:20")
'User ID: root   Last seen: 5 Mar 2008 07:20'

Curly brackets can be escaped by doubling them:

>>> "Empty dict: {{}}".format()
"Empty dict: {}"

Field names can be integers indicating positional arguments, such as {0}, {1}, etc. or names of keyword arguments. You can also supply compound field names that read attributes or access dictionary keys:

>>> import sys
>>> print 'Platform: {0.platform}\nPython version: {0.version}'.format(sys)
Platform: darwin
Python version: 2.6a1+ (trunk:61261M, Mar  5 2008, 20:29:41)
[GCC 4.0.1 (Apple Computer, Inc. build 5367)]'

>>> import mimetypes
>>> 'Content-type: {0[.mp4]}'.format(mimetypes.types_map)
'Content-type: video/mp4'

Note that when using dictionary-style notation such as [.mp4], you don’t need to put any quotation marks around the string; it will look up the value using .mp4 as the key. Strings beginning with a number will be converted to an integer. You can’t write more complicated expressions inside a format string.

So far we’ve shown how to specify which field to substitute into the resulting string. The precise formatting used is also controllable by adding a colon followed by a format specifier. For example:

>>> # Field 0: left justify, pad to 15 characters
>>> # Field 1: right justify, pad to 6 characters
>>> fmt = '{0:15} ${1:>6}'
>>> fmt.format('Registration', 35)
'Registration    $    35'
>>> fmt.format('Tutorial', 50)
'Tutorial        $    50'
>>> fmt.format('Banquet', 125)
'Banquet         $   125'

Format specifiers can reference other fields through nesting:

>>> fmt = '{0:{1}}'
>>> width = 15
>>> fmt.format('Invoice #1234', width)
'Invoice #1234  '
>>> width = 35
>>> fmt.format('Invoice #1234', width)
'Invoice #1234                      '

The alignment of a field within the desired width can be specified:

Caractere

Effect

< (default)

Left-align

>

Right-align

^

Center

=

(For numeric types only) Pad after the sign.

Format specifiers can also include a presentation type, which controls how the value is formatted. For example, floating-point numbers can be formatted as a general number or in exponential notation:

>>> '{0:g}'.format(3.75)
'3.75'
>>> '{0:e}'.format(3.75)
'3.750000e+00'

A variety of presentation types are available. Consult the 2.6 documentation for a complete list; here’s a sample:

b

Binary. Outputs the number in base 2.

c

Character. Converts the integer to the corresponding Unicode character before printing.

d

Inteiro decimal. Exibe o número na base 10.

o

Formato octal. Exibe o número na base 8.

x

Formato hexadecimal. Produz o número na base 16, usando letras minúsculas para os dígitos acima de 9.

e

Exponent notation. Prints the number in scientific notation using the letter ‘e’ to indicate the exponent.

g

General format. This prints the number as a fixed-point number, unless the number is too large, in which case it switches to ‘e’ exponent notation.

n

Number. This is the same as ‘g’ (for floats) or ‘d’ (for integers), except that it uses the current locale setting to insert the appropriate number separator characters.

%

Percentage. Multiplies the number by 100 and displays in fixed (‘f’) format, followed by a percent sign.

Classes and types can define a __format__() method to control how they’re formatted. It receives a single argument, the format specifier:

def __format__(self, format_spec):
    if isinstance(format_spec, unicode):
        return unicode(str(self))
    else:
        return str(self)

There’s also a format() builtin that will format a single value. It calls the type’s __format__() method with the provided specifier:

>>> format(75.6564, '.2f')
'75.66'

Ver também

Sintaxe das strings de formato

The reference documentation for format fields.

PEP 3101 [https://peps.python.org/pep-3101/] - Advanced String Formatting

PEP written by Talin. Implemented by Eric Smith.

PEP 3105: print As a Function

The print statement becomes the print() function in Python 3.0. Making print() a function makes it possible to replace the function by doing def print(...) or importing a new function from somewhere else.

Python 2.6 has a __future__ import that removes print as language syntax, letting you use the functional form instead. For example:

>>> from __future__ import print_function
>>> print('# of entries', len(dictionary), file=sys.stderr)

The signature of the new function is:

def print(*args, sep=' ', end='\n', file=None)

The parameters are:

args: positional arguments whose values will be printed out.

sep: the separator, which will be printed between arguments.

end: the ending text, which will be printed after all of the arguments have been output.

file: the file object to which the output will be sent.

Ver também

PEP 3105 [https://peps.python.org/pep-3105/] - Make print a function

PEP written by Georg Brandl.

PEP 3110: Exception-Handling Changes

One error that Python programmers occasionally make is writing the following code:

try:
    ...
except TypeError, ValueError:  # Wrong!
    ...

The author is probably trying to catch both TypeError and ValueError exceptions, but this code actually does something different: it will catch TypeError and bind the resulting exception object to the local name "ValueError". The ValueError exception will not be caught at all. The correct code specifies a tuple of exceptions:

try:
    ...
except (TypeError, ValueError):
    ...

This error happens because the use of the comma here is ambiguous: does it indicate two different nodes in the parse tree, or a single node that’s a tuple?

Python 3.0 makes this unambiguous by replacing the comma with the word “as”. To catch an exception and store the exception object in the variable exc, you must write:

try:
    ...
except TypeError as exc:
    ...

Python 3.0 will only support the use of “as”, and therefore interprets the first example as catching two different exceptions. Python 2.6 supports both the comma and “as”, so existing code will continue to work. We therefore suggest using “as” when writing new Python code that will only be executed with 2.6.

Ver também

PEP 3110 [https://peps.python.org/pep-3110/] - Catching Exceptions in Python 3000

PEP written and implemented by Collin Winter.

PEP 3112: Byte Literals

Python 3.0 adopts Unicode as the language’s fundamental string type and denotes 8-bit literals differently, either as b'string' or using a bytes constructor. For future compatibility, Python 2.6 adds bytes as a synonym for the str type, and it also supports the b'' notation.

The 2.6 str differs from 3.0’s bytes type in various ways; most notably, the constructor is completely different. In 3.0, bytes([65, 66, 67]) is 3 elements long, containing the bytes representing ABC; in 2.6, bytes([65, 66, 67]) returns the 12-byte string representing the str() of the list.

The primary use of bytes in 2.6 will be to write tests of object type such as isinstance(x, bytes). This will help the 2to3 converter, which can’t tell whether 2.x code intends strings to contain either characters or 8-bit bytes; you can now use either bytes or str to represent your intention exactly, and the resulting code will also be correct in Python 3.0.

There’s also a __future__ import that causes all string literals to become Unicode strings. This means that \u escape sequences can be used to include Unicode characters:

from __future__ import unicode_literals

s = ('\u751f\u3080\u304e\u3000\u751f\u3054'
     '\u3081\u3000\u751f\u305f\u307e\u3054')

print len(s)               # 12 Unicode characters

At the C level, Python 3.0 will rename the existing 8-bit string type, called PyStringObject in Python 2.x, to PyBytesObject. Python 2.6 uses #define to support using the names PyBytesObject(), PyBytes_Check(), PyBytes_FromStringAndSize(), and all the other functions and macros used with strings.

Instances of the bytes type are immutable just as strings are. A new bytearray type stores a mutable sequence of bytes:

>>> bytearray([65, 66, 67])
bytearray(b'ABC')
>>> b = bytearray(u'\u21ef\u3244', 'utf-8')
>>> b
bytearray(b'\xe2\x87\xaf\xe3\x89\x84')
>>> b[0] = '\xe3'
>>> b
bytearray(b'\xe3\x87\xaf\xe3\x89\x84')
>>> unicode(str(b), 'utf-8')
u'\u31ef \u3244'

Byte arrays support most of the methods of string types, such as startswith()/endswith(), find()/rfind(), and some of the methods of lists, such as append(), pop(), and reverse().

>>> b = bytearray('ABC')
>>> b.append('d')
>>> b.append(ord('e'))
>>> b
bytearray(b'ABCde')

There’s also a corresponding C API, with PyByteArray_FromObject(), PyByteArray_FromStringAndSize(), and various other functions.

Ver também

PEP 3112 [https://peps.python.org/pep-3112/] - Bytes literals in Python 3000

PEP written by Jason Orendorff; backported to 2.6 by Christian Heimes.

PEP 3116: New I/O Library

Python’s built-in file objects support a number of methods, but file-like objects don’t necessarily support all of them. Objects that imitate files usually support read() and write(), but they may not support readline(), for example. Python 3.0 introduces a layered I/O library in the io module that separates buffering and text-handling features from the fundamental read and write operations.

There are three levels of abstract base classes provided by the io module:

RawIOBase defines raw I/O operations: read(), readinto(), write(), seek(), tell(), truncate(), and close(). Most of the methods of this class will often map to a single system call. There are also readable(), writable(), and seekable() methods for determining what operations a given object will allow.

Python 3.0 has concrete implementations of this class for files and sockets, but Python 2.6 hasn’t restructured its file and socket objects in this way.

BufferedIOBase is an abstract base class that buffers data in memory to reduce the number of system calls used, making I/O processing more efficient. It supports all of the methods of RawIOBase, and adds a raw attribute holding the underlying raw object.

There are five concrete classes implementing this ABC. BufferedWriter and BufferedReader are for objects that support write-only or read-only usage that have a seek() method for random access. BufferedRandom objects support read and write access upon the same underlying stream, and BufferedRWPair is for objects such as TTYs that have both read and write operations acting upon unconnected streams of data. The BytesIO class supports reading, writing, and seeking over an in-memory buffer.

TextIOBase: Provides functions for reading and writing strings (remember, strings will be Unicode in Python 3.0), and supporting universal newlines. TextIOBase defines the readline() method and supports iteration upon objects.

There are two concrete implementations. TextIOWrapper wraps a buffered I/O object, supporting all of the methods for text I/O and adding a buffer attribute for access to the underlying object. StringIO simply buffers everything in memory without ever writing anything to disk.

(In Python 2.6, io.StringIO is implemented in pure Python, so it’s pretty slow. You should therefore stick with the existing StringIO module or cStringIO for now. At some point Python 3.0’s io module will be rewritten into C for speed, and perhaps the C implementation will be backported to the 2.x releases.)

In Python 2.6, the underlying implementations haven’t been restructured to build on top of the io module’s classes. The module is being provided to make it easier to write code that’s forward-compatible with 3.0, and to save developers the effort of writing their own implementations of buffering and text I/O.

Ver também

PEP 3116 [https://peps.python.org/pep-3116/] - New I/O

PEP written by Daniel Stutzbach, Mike Verdone, and Guido van Rossum. Code by Guido van Rossum, Georg Brandl, Walter Doerwald, Jeremy Hylton, Martin von Löwis, Tony Lownds, and others.

PEP 3118: Revised Buffer Protocol

The buffer protocol is a C-level API that lets Python types exchange pointers into their internal representations. A memory-mapped file can be viewed as a buffer of characters, for example, and this lets another module such as re treat memory-mapped files as a string of characters to be searched.

The primary users of the buffer protocol are numeric-processing packages such as NumPy, which expose the internal representation of arrays so that callers can write data directly into an array instead of going through a slower API. This PEP updates the buffer protocol in light of experience from NumPy development, adding a number of new features such as indicating the shape of an array or locking a memory region.

The most important new C API function is PyObject_GetBuffer(PyObject *obj, Py_buffer *view, int flags), which takes an object and a set of flags, and fills in the Py_buffer structure with information about the object’s memory representation. Objects can use this operation to lock memory in place while an external caller could be modifying the contents, so there’s a corresponding PyBuffer_Release(Py_buffer *view) to indicate that the external caller is done.

The flags argument to PyObject_GetBuffer() specifies constraints upon the memory returned. Some examples are:

PyBUF_WRITABLE indicates that the memory must be writable.

PyBUF_LOCK requests a read-only or exclusive lock on the memory.

PyBUF_C_CONTIGUOUS and PyBUF_F_CONTIGUOUS requests a C-contiguous (last dimension varies the fastest) or Fortran-contiguous (first dimension varies the fastest) array layout.

Two new argument codes for PyArg_ParseTuple(), s* and z*, return locked buffer objects for a parameter.

Ver também

PEP 3118 [https://peps.python.org/pep-3118/] - Revising the buffer protocol

PEP written by Travis Oliphant and Carl Banks; implemented by Travis Oliphant.

PEP 3119: Abstract Base Classes

Some object-oriented languages such as Java support interfaces, declaring that a class has a given set of methods or supports a given access protocol. Abstract Base Classes (or ABCs) are an equivalent feature for Python. The ABC support consists of an abc module containing a metaclass called ABCMeta, special handling of this metaclass by the isinstance() and issubclass() builtins, and a collection of basic ABCs that the Python developers think will be widely useful. Future versions of Python will probably add more ABCs.

Let’s say you have a particular class and wish to know whether it supports dictionary-style access. The phrase “dictionary-style” is vague, however. It probably means that accessing items with obj[1] works. Does it imply that setting items with obj[2] = value works? Or that the object will have keys(), values(), and items() methods? What about the iterative variants such as iterkeys()? copy() and update()? Iterating over the object with iter()?

The Python 2.6 collections module includes a number of different ABCs that represent these distinctions. Iterable indicates that a class defines __iter__(), and Container means the class defines a __contains__() method and therefore supports x in y expressions. The basic dictionary interface of getting items, setting items, and keys(), values(), and items(), is defined by the MutableMapping ABC.

You can derive your own classes from a particular ABC to indicate they support that ABC’s interface:

import collections

class Storage(collections.MutableMapping):
    ...

Alternatively, you could write the class without deriving from the desired ABC and instead register the class by calling the ABC’s register() method:

import collections

class Storage:
    ...

collections.MutableMapping.register(Storage)

For classes that you write, deriving from the ABC is probably clearer. The register() method is useful when you’ve written a new ABC that can describe an existing type or class, or if you want to declare that some third-party class implements an ABC. For example, if you defined a PrintableType ABC, it’s legal to do:

# Register Python's types
PrintableType.register(int)
PrintableType.register(float)
PrintableType.register(str)

Classes should obey the semantics specified by an ABC, but Python can’t check this; it’s up to the class author to understand the ABC’s requirements and to implement the code accordingly.

To check whether an object supports a particular interface, you can now write:

def func(d):
    if not isinstance(d, collections.MutableMapping):
        raise ValueError("Mapping object expected, not %r" % d)

Don’t feel that you must now begin writing lots of checks as in the above example. Python has a strong tradition of duck-typing, where explicit type-checking is never done and code simply calls methods on an object, trusting that those methods will be there and raising an exception if they aren’t. Be judicious in checking for ABCs and only do it where it’s absolutely necessary.

You can write your own ABCs by using abc.ABCMeta as the metaclass in a class definition:

from abc import ABCMeta, abstractmethod

class Drawable():
    __metaclass__ = ABCMeta

    @abstractmethod
    def draw(self, x, y, scale=1.0):
        pass

    def draw_doubled(self, x, y):
        self.draw(x, y, scale=2.0)

class Square(Drawable):
    def draw(self, x, y, scale):
        ...

In the Drawable ABC above, the draw_doubled() method renders the object at twice its size and can be implemented in terms of other methods described in Drawable. Classes implementing this ABC therefore don’t need to provide their own implementation of draw_doubled(), though they can do so. An implementation of draw() is necessary, though; the ABC can’t provide a useful generic implementation.

You can apply the @abstractmethod decorator to methods such as draw() that must be implemented; Python will then raise an exception for classes that don’t define the method. Note that the exception is only raised when you actually try to create an instance of a subclass lacking the method:

>>> class Circle(Drawable):
...     pass
...
>>> c = Circle()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: Can't instantiate abstract class Circle with abstract methods draw
>>>

Abstract data attributes can be declared using the @abstractproperty decorator:

from abc import abstractproperty
...

@abstractproperty
def readonly(self):
   return self._x

Subclasses must then define a readonly() property.

Ver também

PEP 3119 [https://peps.python.org/pep-3119/] - Introduzindo classes base abstratas

PEP written by Guido van Rossum and Talin. Implemented by Guido van Rossum. Backported to 2.6 by Benjamin Aranguren, with Alex Martelli.

PEP 3127: Integer Literal Support and Syntax

Python 3.0 changes the syntax for octal (base-8) integer literals, prefixing them with “0o” or “0O” instead of a leading zero, and adds support for binary (base-2) integer literals, signalled by a “0b” or “0B” prefix.

Python 2.6 doesn’t drop support for a leading 0 signalling an octal number, but it does add support for “0o” and “0b”:

>>> 0o21, 2*8 + 1
(17, 17)
>>> 0b101111
47

The oct() builtin still returns numbers prefixed with a leading zero, and a new bin() builtin returns the binary representation for a number:

>>> oct(42)
'052'
>>> future_builtins.oct(42)
'0o52'
>>> bin(173)
'0b10101101'

The int() and long() builtins will now accept the “0o” and “0b” prefixes when base-8 or base-2 are requested, or when the base argument is zero (signalling that the base used should be determined from the string):

>>> int ('0o52', 0)
42
>>> int('1101', 2)
13
>>> int('0b1101', 2)
13
>>> int('0b1101', 0)
13

Ver também

PEP 3127 [https://peps.python.org/pep-3127/] - Integer Literal Support and Syntax

PEP written by Patrick Maupin; backported to 2.6 by Eric Smith.

PEP 3129: Class Decorators

Decorators have been extended from functions to classes. It’s now legal to write:

@foo
@bar
class A:
  pass

Isso equivale a:

class A:
  pass

A = foo(bar(A))

Ver também

PEP 3129 [https://peps.python.org/pep-3129/] - Class Decorators

PEP written by Collin Winter.

PEP 3141: A Type Hierarchy for Numbers

Python 3.0 adds several abstract base classes for numeric types inspired by Scheme’s numeric tower. These classes were backported to 2.6 as the numbers module.

The most general ABC is Number. It defines no operations at all, and only exists to allow checking if an object is a number by doing isinstance(obj, Number).

Complex is a subclass of Number. Complex numbers can undergo the basic operations of addition, subtraction, multiplication, division, and exponentiation, and you can retrieve the real and imaginary parts and obtain a number’s conjugate. Python’s built-in complex type is an implementation of Complex.

Real further derives from Complex, and adds operations that only work on real numbers: floor(), trunc(), rounding, taking the remainder mod N, floor division, and comparisons.

Rational numbers derive from Real, have numerator and denominator properties, and can be converted to floats. Python 2.6 adds a simple rational-number class, Fraction, in the fractions module. (It’s called Fraction instead of Rational to avoid a name clash with numbers.Rational.)

Integral numbers derive from Rational, and can be shifted left and right with << and >>, combined using bitwise operations such as & and |, and can be used as array indexes and slice boundaries.

In Python 3.0, the PEP slightly redefines the existing builtins round(), math.floor(), math.ceil(), and adds a new one, math.trunc(), that’s been backported to Python 2.6. math.trunc() rounds toward zero, returning the closest Integral that’s between the function’s argument and zero.

Ver também

PEP 3141 [https://peps.python.org/pep-3141/] - A Type Hierarchy for Numbers

PEP written by Jeffrey Yasskin.

Scheme’s numerical tower [https://www.gnu.org/software/guile/manual/html_node/Numerical-Tower.html#Numerical-Tower], from the Guile manual.

Scheme’s number datatypes [https://conservatory.scheme.org/schemers/Documents/Standards/R5RS/HTML/r5rs-Z-H-9.html#%_sec_6.2] from the R5RS Scheme specification.

The fractions Module

To fill out the hierarchy of numeric types, the fractions module provides a rational-number class. Rational numbers store their values as a numerator and denominator forming a fraction, and can exactly represent numbers such as 2/3 that floating-point numbers can only approximate.

The Fraction constructor takes two Integral values that will be the numerator and denominator of the resulting fraction.

>>> from fractions import Fraction
>>> a = Fraction(2, 3)
>>> b = Fraction(2, 5)
>>> float(a), float(b)
(0.66666666666666663, 0.40000000000000002)
>>> a+b
Fraction(16, 15)
>>> a/b
Fraction(5, 3)

For converting floating-point numbers to rationals, the float type now has an as_integer_ratio() method that returns the numerator and denominator for a fraction that evaluates to the same floating-point value:

>>> (2.5) .as_integer_ratio()
(5, 2)
>>> (3.1415) .as_integer_ratio()
(7074029114692207L, 2251799813685248L)
>>> (1./3) .as_integer_ratio()
(6004799503160661L, 18014398509481984L)

Note that values that can only be approximated by floating-point numbers, such as 1./3, are not simplified to the number being approximated; the fraction attempts to match the floating-point value exactly.

The fractions module is based upon an implementation by Sjoerd Mullender that was in Python’s Demo/classes/ directory for a long time. This implementation was significantly updated by Jeffrey Yasskin.

Outras mudanças na linguagem

Algumas das mudanças menores feitas no núcleo da linguagem Python são:

Directories and zip archives containing a __main__.py file can now be executed directly by passing their name to the interpreter. The directory or zip archive is automatically inserted as the first entry in sys.path. (Suggestion and initial patch by Andy Chu, subsequently revised by Phillip J. Eby and Nick Coghlan; bpo-1739468 [https://bugs.python.org/issue?@action=redirect&bpo=1739468].)

A função hasattr() estava capturando e ignorando todos os erros, sob a suposição de que eles significavam que um método __getattr__() estava falhando de alguma forma e o valor de retorno de hasattr() seria, portanto, False. Esta lógica não deve ser aplicada a KeyboardInterrupt e SystemExit, entretanto; O Python 2.6 não descartará mais tais exceções quando hasattr() as encontrar. (Correção de Benjamin Peterson; bpo-2196 [https://bugs.python.org/issue?@action=redirect&bpo=2196].)

When calling a function using the ** syntax to provide keyword arguments, you are no longer required to use a Python dictionary; any mapping will now work:

>>> def f(**kw):
...    print sorted(kw)
...
>>> ud=UserDict.UserDict()
>>> ud['a'] = 1
>>> ud['b'] = 'string'
>>> f(**ud)
['a', 'b']

(Contributed by Alexander Belopolsky; bpo-1686487 [https://bugs.python.org/issue?@action=redirect&bpo=1686487].)

It’s also become legal to provide keyword arguments after a *args argument to a function call.

>>> def f(*args, **kw):
...     print args, kw
...
>>> f(1,2,3, *(4,5,6), keyword=13)
(1, 2, 3, 4, 5, 6) {'keyword': 13}

Previously this would have been a syntax error. (Contributed by Amaury Forgeot d’Arc; bpo-3473 [https://bugs.python.org/issue?@action=redirect&bpo=3473].)

A new builtin, next(iterator, [default]) returns the next item from the specified iterator. If the default argument is supplied, it will be returned if iterator has been exhausted; otherwise, the StopIteration exception will be raised. (Backported in bpo-2719 [https://bugs.python.org/issue?@action=redirect&bpo=2719].)

Tuples now have index() and count() methods matching the list type’s index() and count() methods:

>>> t = (0,1,2,3,4,0,1,2)
>>> t.index(3)
3
>>> t.count(0)
2

(Contributed by Raymond Hettinger)

The built-in types now have improved support for extended slicing syntax, accepting various combinations of (start, stop, step). Previously, the support was partial and certain corner cases wouldn’t work. (Implemented by Thomas Wouters.)

Properties now have three attributes, getter, setter and deleter, that are decorators providing useful shortcuts for adding a getter, setter or deleter function to an existing property. You would use them like this:

class C(object):
    @property
    def x(self):
        return self._x

    @x.setter
    def x(self, value):
        self._x = value

    @x.deleter
    def x(self):
        del self._x

class D(C):
    @C.x.getter
    def x(self):
        return self._x * 2

    @x.setter
    def x(self, value):
        self._x = value / 2

Several methods of the built-in set types now accept multiple iterables: intersection(), intersection_update(), union(), update(), difference() and difference_update().

>>> s=set('1234567890')
>>> s.intersection('abc123', 'cdf246')  # Intersection between all inputs
set(['2'])
>>> s.difference('246', '789')
set(['1', '0', '3', '5'])

(Contributed by Raymond Hettinger.)

Many floating-point features were added. The float() function will now turn the string nan into an IEEE 754 Not A Number value, and +inf and -inf into positive or negative infinity. This works on any platform with IEEE 754 semantics. (Contributed by Christian Heimes; bpo-1635 [https://bugs.python.org/issue?@action=redirect&bpo=1635].)

Other functions in the math module, isinf() and isnan(), return true if their floating-point argument is infinite or Not A Number. (bpo-1640 [https://bugs.python.org/issue?@action=redirect&bpo=1640])

Conversion functions were added to convert floating-point numbers into hexadecimal strings (bpo-3008 [https://bugs.python.org/issue?@action=redirect&bpo=3008]). These functions convert floats to and from a string representation without introducing rounding errors from the conversion between decimal and binary. Floats have a hex() method that returns a string representation, and the float.fromhex() method converts a string back into a number:

>>> a = 3.75
>>> a.hex()
'0x1.e000000000000p+1'
>>> float.fromhex('0x1.e000000000000p+1')
3.75
>>> b=1./3
>>> b.hex()
'0x1.5555555555555p-2'

A numerical nicety: when creating a complex number from two floats on systems that support signed zeros (-0 and +0), the complex() constructor will now preserve the sign of the zero. (Fixed by Mark T. Dickinson; bpo-1507 [https://bugs.python.org/issue?@action=redirect&bpo=1507].)

Classes that inherit a __hash__() method from a parent class can set __hash__ = None to indicate that the class isn’t hashable. This will make hash(obj) raise a TypeError and the class will not be indicated as implementing the Hashable ABC.

You should do this when you’ve defined a __cmp__() or __eq__() method that compares objects by their value rather than by identity. All objects have a default hash method that uses id(obj) as the hash value. There’s no tidy way to remove the __hash__() method inherited from a parent class, so assigning None was implemented as an override. At the C level, extensions can set tp_hash to PyObject_HashNotImplemented(). (Fixed by Nick Coghlan and Amaury Forgeot d’Arc; bpo-2235 [https://bugs.python.org/issue?@action=redirect&bpo=2235].)

The GeneratorExit exception now subclasses BaseException instead of Exception. This means that an exception handler that does except Exception: will not inadvertently catch GeneratorExit. (Contributed by Chad Austin; bpo-1537 [https://bugs.python.org/issue?@action=redirect&bpo=1537].)

Generator objects now have a gi_code attribute that refers to the original code object backing the generator. (Contributed by Collin Winter; bpo-1473257 [https://bugs.python.org/issue?@action=redirect&bpo=1473257].)

The compile() built-in function now accepts keyword arguments as well as positional parameters. (Contributed by Thomas Wouters; bpo-1444529 [https://bugs.python.org/issue?@action=redirect&bpo=1444529].)

The complex() constructor now accepts strings containing parenthesized complex numbers, meaning that complex(repr(cplx)) will now round-trip values. For example, complex('(3+4j)') now returns the value (3+4j). (bpo-1491866 [https://bugs.python.org/issue?@action=redirect&bpo=1491866])

The string translate() method now accepts None as the translation table parameter, which is treated as the identity transformation. This makes it easier to carry out operations that only delete characters. (Contributed by Bengt Richter and implemented by Raymond Hettinger; bpo-1193128 [https://bugs.python.org/issue?@action=redirect&bpo=1193128].)

The built-in dir() function now checks for a __dir__() method on the objects it receives. This method must return a list of strings containing the names of valid attributes for the object, and lets the object control the value that dir() produces. Objects that have __getattr__() or __getattribute__() methods can use this to advertise pseudo-attributes they will honor. (bpo-1591665 [https://bugs.python.org/issue?@action=redirect&bpo=1591665])

Instance method objects have new attributes for the object and function comprising the method; the new synonym for im_self is __self__, and im_func is also available as __func__. The old names are still supported in Python 2.6, but are gone in 3.0.

An obscure change: when you use the locals() function inside a class statement, the resulting dictionary no longer returns free variables. (Free variables, in this case, are variables referenced in the class statement that aren’t attributes of the class.)

Otimizações

The warnings module has been rewritten in C. This makes it possible to invoke warnings from the parser, and may also make the interpreter’s startup faster. (Contributed by Neal Norwitz and Brett Cannon; bpo-1631171 [https://bugs.python.org/issue?@action=redirect&bpo=1631171].)

Type objects now have a cache of methods that can reduce the work required to find the correct method implementation for a particular class; once cached, the interpreter doesn’t need to traverse base classes to figure out the right method to call. The cache is cleared if a base class or the class itself is modified, so the cache should remain correct even in the face of Python’s dynamic nature. (Original optimization implemented by Armin Rigo, updated for Python 2.6 by Kevin Jacobs; bpo-1700288 [https://bugs.python.org/issue?@action=redirect&bpo=1700288].)

By default, this change is only applied to types that are included with the Python core. Extension modules may not necessarily be compatible with this cache, so they must explicitly add Py_TPFLAGS_HAVE_VERSION_TAG to the module’s tp_flags field to enable the method cache. (To be compatible with the method cache, the extension module’s code must not directly access and modify the tp_dict member of any of the types it implements. Most modules don’t do this, but it’s impossible for the Python interpreter to determine that. See bpo-1878 [https://bugs.python.org/issue?@action=redirect&bpo=1878] for some discussion.)

Function calls that use keyword arguments are significantly faster by doing a quick pointer comparison, usually saving the time of a full string comparison. (Contributed by Raymond Hettinger, after an initial implementation by Antoine Pitrou; bpo-1819 [https://bugs.python.org/issue?@action=redirect&bpo=1819].)

All of the functions in the struct module have been rewritten in C, thanks to work at the Need For Speed sprint. (Contributed by Raymond Hettinger.)

Some of the standard built-in types now set a bit in their type objects. This speeds up checking whether an object is a subclass of one of these types. (Contributed by Neal Norwitz.)

Unicode strings now use faster code for detecting whitespace and line breaks; this speeds up the split() method by about 25% and splitlines() by 35%. (Contributed by Antoine Pitrou.) Memory usage is reduced by using pymalloc for the Unicode string’s data.

The with statement now stores the __exit__() method on the stack, producing a small speedup. (Implemented by Jeffrey Yasskin.)

To reduce memory usage, the garbage collector will now clear internal free lists when garbage-collecting the highest generation of objects. This may return memory to the operating system sooner.

Alterações no interpretador

Two command-line options have been reserved for use by other Python implementations. The -J switch has been reserved for use by Jython for Jython-specific options, such as switches that are passed to the underlying JVM. -X has been reserved for options specific to a particular implementation of Python such as CPython, Jython, or IronPython. If either option is used with Python 2.6, the interpreter will report that the option isn’t currently used.

Python can now be prevented from writing .pyc or .pyo files by supplying the -B switch to the Python interpreter, or by setting the PYTHONDONTWRITEBYTECODE environment variable before running the interpreter. This setting is available to Python programs as the sys.dont_write_bytecode variable, and Python code can change the value to modify the interpreter’s behaviour. (Contributed by Neal Norwitz and Georg Brandl.)

The encoding used for standard input, output, and standard error can be specified by setting the PYTHONIOENCODING environment variable before running the interpreter. The value should be a string in the form <encoding> or <encoding>:<errorhandler>. The encoding part specifies the encoding’s name, e.g. utf-8 or latin-1; the optional errorhandler part specifies what to do with characters that can’t be handled by the encoding, and should be one of “error”, “ignore”, or “replace”. (Contributed by Martin von Löwis.)

Módulos novos ou aprimorados

Como em todas os lançamentos, a biblioteca padrão do Python recebeu diversas melhorias e correções de bugs. Aqui está uma lista parcial das mudanças mais notáveis, classificadas em ordem alfabética por nome do módulo. Consulte o arquivo Misc/NEWS na árvore de código-fonte para uma lista mais completa de alterações, ou procure nos logs do Subversion para todos os detalhes.

Os módulos asyncore e asynchat estão sendo mantidos ativamente novamente e várias correções e correções foram aplicadas. (Mantido por Josiah Carlson; veja bpo-1736190 [https://bugs.python.org/issue?@action=redirect&bpo=1736190] para um patch.)

The bsddb module also has a new maintainer, Jesús Cea Avión, and the package is now available as a standalone package. The web page for the package is www.jcea.es/programacion/pybsddb.htm [https://www.jcea.es/programacion/pybsddb.htm]. The plan is to remove the package from the standard library in Python 3.0, because its pace of releases is much more frequent than Python’s.

The bsddb.dbshelve module now uses the highest pickling protocol available, instead of restricting itself to protocol 1. (Contributed by W. Barnes.)

The cgi module will now read variables from the query string of an HTTP POST request. This makes it possible to use form actions with URLs that include query strings such as “/cgi-bin/add.py?category=1”. (Contributed by Alexandre Fiori and Nubis; bpo-1817 [https://bugs.python.org/issue?@action=redirect&bpo=1817].)

The parse_qs() and parse_qsl() functions have been relocated from the cgi module to the urlparse module. The versions still available in the cgi module will trigger PendingDeprecationWarning messages in 2.6 (bpo-600362 [https://bugs.python.org/issue?@action=redirect&bpo=600362]).

The cmath module underwent extensive revision, contributed by Mark Dickinson and Christian Heimes. Five new functions were added:

polar() converts a complex number to polar form, returning the modulus and argument of the complex number.

rect() does the opposite, turning a modulus, argument pair back into the corresponding complex number.

phase() returns the argument (also called the angle) of a complex number.

isnan() returns True if either the real or imaginary part of its argument is a NaN.

isinf() returns True if either the real or imaginary part of its argument is infinite.

The revisions also improved the numerical soundness of the cmath module. For all functions, the real and imaginary parts of the results are accurate to within a few units of least precision (ulps) whenever possible. See bpo-1381 [https://bugs.python.org/issue?@action=redirect&bpo=1381] for the details. The branch cuts for asinh(), atanh(): and atan() have also been corrected.

The tests for the module have been greatly expanded; nearly 2000 new test cases exercise the algebraic functions.

On IEEE 754 platforms, the cmath module now handles IEEE 754 special values and floating-point exceptions in a manner consistent with Annex ‘G’ of the C99 standard.

A new data type in the collections module: namedtuple(typename, fieldnames) is a factory function that creates subclasses of the standard tuple whose fields are accessible by name as well as index. For example:

>>> var_type = collections.namedtuple('variable',
...             'id name type size')
>>> # Names are separated by spaces or commas.
>>> # 'id, name, type, size' would also work.
>>> var_type._fields
('id', 'name', 'type', 'size')

>>> var = var_type(1, 'frequency', 'int', 4)
>>> print var[0], var.id    # Equivalent
1 1
>>> print var[2], var.type  # Equivalent
int int
>>> var._asdict()
{'size': 4, 'type': 'int', 'id': 1, 'name': 'frequency'}
>>> v2 = var._replace(name='amplitude')
>>> v2
variable(id=1, name='amplitude', type='int', size=4)

Several places in the standard library that returned tuples have been modified to return namedtuple() instances. For example, the Decimal.as_tuple() method now returns a named tuple with sign, digits, and exponent fields.

(Contributed by Raymond Hettinger.)

Another change to the collections module is that the deque type now supports an optional maxlen parameter; if supplied, the deque’s size will be restricted to no more than maxlen items. Adding more items to a full deque causes old items to be discarded.

>>> from collections import deque
>>> dq=deque(maxlen=3)
>>> dq
deque([], maxlen=3)
>>> dq.append(1); dq.append(2); dq.append(3)
>>> dq
deque([1, 2, 3], maxlen=3)
>>> dq.append(4)
>>> dq
deque([2, 3, 4], maxlen=3)

(Contributed by Raymond Hettinger.)

The Cookie module’s Morsel objects now support an httponly attribute. In some browsers. cookies with this attribute set cannot be accessed or manipulated by JavaScript code. (Contributed by Arvin Schnell; bpo-1638033 [https://bugs.python.org/issue?@action=redirect&bpo=1638033].)

A new window method in the curses module, chgat(), changes the display attributes for a certain number of characters on a single line. (Contributed by Fabian Kreutz.)

# Boldface text starting at y=0,x=21
# and affecting the rest of the line.
stdscr.chgat(0, 21, curses.A_BOLD)

The Textbox class in the curses.textpad module now supports editing in insert mode as well as overwrite mode. Insert mode is enabled by supplying a true value for the insert_mode parameter when creating the Textbox instance.

The datetime module’s strftime() methods now support a %f format code that expands to the number of microseconds in the object, zero-padded on the left to six places. (Contributed by Skip Montanaro; bpo-1158 [https://bugs.python.org/issue?@action=redirect&bpo=1158].)

The decimal module was updated to version 1.66 of the General Decimal Specification [https://speleotrove.com/decimal/decarith.html]. New features include some methods for some basic mathematical functions such as exp() and log10():

>>> Decimal(1).exp()
Decimal("2.718281828459045235360287471")
>>> Decimal("2.7182818").ln()
Decimal("0.9999999895305022877376682436")
>>> Decimal(1000).log10()
Decimal("3")

The as_tuple() method of Decimal objects now returns a named tuple with sign, digits, and exponent fields.

(Implemented by Facundo Batista and Mark Dickinson. Named tuple support added by Raymond Hettinger.)

The difflib module’s SequenceMatcher class now returns named tuples representing matches, with a, b, and size attributes. (Contributed by Raymond Hettinger.)

An optional timeout parameter, specifying a timeout measured in seconds, was added to the ftplib.FTP class constructor as well as the connect() method. (Added by Facundo Batista.) Also, the FTP class’s storbinary() and storlines() now take an optional callback parameter that will be called with each block of data after the data has been sent. (Contributed by Phil Schwartz; bpo-1221598 [https://bugs.python.org/issue?@action=redirect&bpo=1221598].)

The reduce() built-in function is also available in the functools module. In Python 3.0, the builtin has been dropped and reduce() is only available from functools; currently there are no plans to drop the builtin in the 2.x series. (Patched by Christian Heimes; bpo-1739906 [https://bugs.python.org/issue?@action=redirect&bpo=1739906].)

When possible, the getpass module will now use /dev/tty to print a prompt message and read the password, falling back to standard error and standard input. If the password may be echoed to the terminal, a warning is printed before the prompt is displayed. (Contributed by Gregory P. Smith.)

The glob.glob() function can now return Unicode filenames if a Unicode path was used and Unicode filenames are matched within the directory. (bpo-1001604 [https://bugs.python.org/issue?@action=redirect&bpo=1001604])

A new function in the heapq module, merge(iter1, iter2, ...), takes any number of iterables returning data in sorted order, and returns a new generator that returns the contents of all the iterators, also in sorted order. For example:

>>> list(heapq.merge([1, 3, 5, 9], [2, 8, 16]))
[1, 2, 3, 5, 8, 9, 16]

Another new function, heappushpop(heap, item), pushes item onto heap, then pops off and returns the smallest item. This is more efficient than making a call to heappush() and then heappop().

heapq is now implemented to only use less-than comparison, instead of the less-than-or-equal comparison it previously used. This makes heapq’s usage of a type match the list.sort() method. (Contributed by Raymond Hettinger.)

An optional timeout parameter, specifying a timeout measured in seconds, was added to the httplib.HTTPConnection and HTTPSConnection class constructors. (Added by Facundo Batista.)

Most of the inspect module’s functions, such as getmoduleinfo() and getargs(), now return named tuples. In addition to behaving like tuples, the elements of the return value can also be accessed as attributes. (Contributed by Raymond Hettinger.)

Some new functions in the module include isgenerator(), isgeneratorfunction(), and isabstract().

The itertools module gained several new functions.

izip_longest(iter1, iter2, ...[, fillvalue]) makes tuples from each of the elements; if some of the iterables are shorter than others, the missing values are set to fillvalue. For example:

>>> tuple(itertools.izip_longest([1,2,3], [1,2,3,4,5]))
((1, 1), (2, 2), (3, 3), (None, 4), (None, 5))

product(iter1, iter2, ..., [repeat=N]) returns the Cartesian product of the supplied iterables, a set of tuples containing every possible combination of the elements returned from each iterable.

>>> list(itertools.product([1,2,3], [4,5,6]))
[(1, 4), (1, 5), (1, 6),
 (2, 4), (2, 5), (2, 6),
 (3, 4), (3, 5), (3, 6)]

The optional repeat keyword argument is used for taking the product of an iterable or a set of iterables with themselves, repeated N times. With a single iterable argument, N-tuples are returned:

>>> list(itertools.product([1,2], repeat=3))
[(1, 1, 1), (1, 1, 2), (1, 2, 1), (1, 2, 2),
 (2, 1, 1), (2, 1, 2), (2, 2, 1), (2, 2, 2)]

With two iterables, 2N-tuples are returned.

>>> list(itertools.product([1,2], [3,4], repeat=2))
[(1, 3, 1, 3), (1, 3, 1, 4), (1, 3, 2, 3), (1, 3, 2, 4),
 (1, 4, 1, 3), (1, 4, 1, 4), (1, 4, 2, 3), (1, 4, 2, 4),
 (2, 3, 1, 3), (2, 3, 1, 4), (2, 3, 2, 3), (2, 3, 2, 4),
 (2, 4, 1, 3), (2, 4, 1, 4), (2, 4, 2, 3), (2, 4, 2, 4)]

combinations(iterable, r) returns sub-sequences of length r from the elements of iterable.

>>> list(itertools.combinations('123', 2))
[('1', '2'), ('1', '3'), ('2', '3')]
>>> list(itertools.combinations('123', 3))
[('1', '2', '3')]
>>> list(itertools.combinations('1234', 3))
[('1', '2', '3'), ('1', '2', '4'),
 ('1', '3', '4'), ('2', '3', '4')]

permutations(iter[, r]) returns all the permutations of length r of the iterable’s elements. If r is not specified, it will default to the number of elements produced by the iterable.

>>> list(itertools.permutations([1,2,3,4], 2))
[(1, 2), (1, 3), (1, 4),
 (2, 1), (2, 3), (2, 4),
 (3, 1), (3, 2), (3, 4),
 (4, 1), (4, 2), (4, 3)]

itertools.chain(*iterables) is an existing function in itertools that gained a new constructor in Python 2.6. itertools.chain.from_iterable(iterable) takes a single iterable that should return other iterables. chain() will then return all the elements of the first iterable, then all the elements of the second, and so on.

>>> list(itertools.chain.from_iterable([[1,2,3], [4,5,6]]))
[1, 2, 3, 4, 5, 6]

(All contributed by Raymond Hettinger.)

The logging module’s FileHandler class and its subclasses WatchedFileHandler, RotatingFileHandler, and TimedRotatingFileHandler now have an optional delay parameter to their constructors. If delay is true, opening of the log file is deferred until the first emit() call is made. (Contributed by Vinay Sajip.)

TimedRotatingFileHandler also has a utc constructor parameter. If the argument is true, UTC time will be used in determining when midnight occurs and in generating filenames; otherwise local time will be used.

Several new functions were added to the math module:

isinf() and isnan() determine whether a given float is a (positive or negative) infinity or a NaN (Not a Number), respectively.

copysign() copies the sign bit of an IEEE 754 number, returning the absolute value of x combined with the sign bit of y. For example, math.copysign(1, -0.0) returns -1.0. (Contributed by Christian Heimes.)

factorial() computes the factorial of a number. (Contributed by Raymond Hettinger; bpo-2138 [https://bugs.python.org/issue?@action=redirect&bpo=2138].)

fsum() adds up the stream of numbers from an iterable, and is careful to avoid loss of precision through using partial sums. (Contributed by Jean Brouwers, Raymond Hettinger, and Mark Dickinson; bpo-2819 [https://bugs.python.org/issue?@action=redirect&bpo=2819].)

acosh(), asinh() and atanh() compute the inverse hyperbolic functions.

log1p() returns the natural logarithm of 1+x (base e).

trunc() rounds a number toward zero, returning the closest Integral that’s between the function’s argument and zero. Added as part of the backport of PEP 3141’s type hierarchy for numbers.

The math module has been improved to give more consistent behaviour across platforms, especially with respect to handling of floating-point exceptions and IEEE 754 special values.

Whenever possible, the module follows the recommendations of the C99 standard about 754’s special values. For example, sqrt(-1.) should now give a ValueError across almost all platforms, while sqrt(float('NaN')) should return a NaN on all IEEE 754 platforms. Where Annex ‘F’ of the C99 standard recommends signaling ‘divide-by-zero’ or ‘invalid’, Python will raise ValueError. Where Annex ‘F’ of the C99 standard recommends signaling ‘overflow’, Python will raise OverflowError. (See bpo-711019 [https://bugs.python.org/issue?@action=redirect&bpo=711019] and bpo-1640 [https://bugs.python.org/issue?@action=redirect&bpo=1640].)

(Contributed by Christian Heimes and Mark Dickinson.)

mmap objects now have a rfind() method that searches for a substring beginning at the end of the string and searching backwards. The find() method also gained an end parameter giving an index at which to stop searching. (Contributed by John Lenton.)

The operator module gained a methodcaller() function that takes a name and an optional set of arguments, returning a callable that will call the named function on any arguments passed to it. For example:

>>> # Equivalent to lambda s: s.replace('old', 'new')
>>> replacer = operator.methodcaller('replace', 'old', 'new')
>>> replacer('old wine in old bottles')
'new wine in new bottles'

(Contributed by Georg Brandl, after a suggestion by Gregory Petrosyan.)

The attrgetter() function now accepts dotted names and performs the corresponding attribute lookups:

>>> inst_name = operator.attrgetter(
...        '__class__.__name__')
>>> inst_name('')
'str'
>>> inst_name(help)
'_Helper'

(Contributed by Georg Brandl, after a suggestion by Barry Warsaw.)

The os module now wraps several new system calls. fchmod(fd, mode) and fchown(fd, uid, gid) change the mode and ownership of an opened file, and lchmod(path, mode) changes the mode of a symlink. (Contributed by Georg Brandl and Christian Heimes.)

chflags() and lchflags() are wrappers for the corresponding system calls (where they’re available), changing the flags set on a file. Constants for the flag values are defined in the stat module; some possible values include UF_IMMUTABLE to signal the file may not be changed and UF_APPEND to indicate that data can only be appended to the file. (Contributed by M. Levinson.)

os.closerange(low, high) efficiently closes all file descriptors from low to high, ignoring any errors and not including high itself. This function is now used by the subprocess module to make starting processes faster. (Contributed by Georg Brandl; bpo-1663329 [https://bugs.python.org/issue?@action=redirect&bpo=1663329].)

The os.environ object’s clear() method will now unset the environment variables using os.unsetenv() in addition to clearing the object’s keys. (Contributed by Martin Horcicka; bpo-1181 [https://bugs.python.org/issue?@action=redirect&bpo=1181].)

The os.walk() function now has a followlinks parameter. If set to True, it will follow symlinks pointing to directories and visit the directory’s contents. For backward compatibility, the parameter’s default value is false. Note that the function can fall into an infinite recursion if there’s a symlink that points to a parent directory. (bpo-1273829 [https://bugs.python.org/issue?@action=redirect&bpo=1273829])

In the os.path module, the splitext() function has been changed to not split on leading period characters. This produces better results when operating on Unix’s dot-files. For example, os.path.splitext('.ipython') now returns ('.ipython', '') instead of ('', '.ipython'). (bpo-1115886 [https://bugs.python.org/issue?@action=redirect&bpo=1115886])

A new function, os.path.relpath(path, start='.'), returns a relative path from the start path, if it’s supplied, or from the current working directory to the destination path. (Contributed by Richard Barran; bpo-1339796 [https://bugs.python.org/issue?@action=redirect&bpo=1339796].)

On Windows, os.path.expandvars() will now expand environment variables given in the form “%var%”, and “~user” will be expanded into the user’s home directory path. (Contributed by Josiah Carlson; bpo-957650 [https://bugs.python.org/issue?@action=redirect&bpo=957650].)

The Python debugger provided by the pdb module gained a new command: “run” restarts the Python program being debugged and can optionally take new command-line arguments for the program. (Contributed by Rocky Bernstein; bpo-1393667 [https://bugs.python.org/issue?@action=redirect&bpo=1393667].)

The pdb.post_mortem() function, used to begin debugging a traceback, will now use the traceback returned by sys.exc_info() if no traceback is supplied. (Contributed by Facundo Batista; bpo-1106316 [https://bugs.python.org/issue?@action=redirect&bpo=1106316].)

The pickletools module now has an optimize() function that takes a string containing a pickle and removes some unused opcodes, returning a shorter pickle that contains the same data structure. (Contributed by Raymond Hettinger.)

A get_data() function was added to the pkgutil module that returns the contents of resource files included with an installed Python package. For example:

>>> import pkgutil
>>> print pkgutil.get_data('test', 'exception_hierarchy.txt')
BaseException
 +-- SystemExit
 +-- KeyboardInterrupt
 +-- GeneratorExit
 +-- Exception
      +-- StopIteration
      +-- StandardError
 ...

(Contributed by Paul Moore; bpo-2439 [https://bugs.python.org/issue?@action=redirect&bpo=2439].)

The pyexpat module’s Parser objects now allow setting their buffer_size attribute to change the size of the buffer used to hold character data. (Contributed by Achim Gaedke; bpo-1137 [https://bugs.python.org/issue?@action=redirect&bpo=1137].)

The Queue module now provides queue variants that retrieve entries in different orders. The PriorityQueue class stores queued items in a heap and retrieves them in priority order, and LifoQueue retrieves the most recently added entries first, meaning that it behaves like a stack. (Contributed by Raymond Hettinger.)

The random module’s Random objects can now be pickled on a 32-bit system and unpickled on a 64-bit system, and vice versa. Unfortunately, this change also means that Python 2.6’s Random objects can’t be unpickled correctly on earlier versions of Python. (Contributed by Shawn Ligocki; bpo-1727780 [https://bugs.python.org/issue?@action=redirect&bpo=1727780].)

The new triangular(low, high, mode) function returns random numbers following a triangular distribution. The returned values are between low and high, not including high itself, and with mode as the most frequently occurring value in the distribution. (Contributed by Wladmir van der Laan and Raymond Hettinger; bpo-1681432 [https://bugs.python.org/issue?@action=redirect&bpo=1681432].)

Long regular expression searches carried out by the re module will check for signals being delivered, so time-consuming searches can now be interrupted. (Contributed by Josh Hoyt and Ralf Schmitt; bpo-846388 [https://bugs.python.org/issue?@action=redirect&bpo=846388].)

The regular expression module is implemented by compiling bytecodes for a tiny regex-specific virtual machine. Untrusted code could create malicious strings of bytecode directly and cause crashes, so Python 2.6 includes a verifier for the regex bytecode. (Contributed by Guido van Rossum from work for Google App Engine; bpo-3487 [https://bugs.python.org/issue?@action=redirect&bpo=3487].)

The rlcompleter module’s Completer.complete() method will now ignore exceptions triggered while evaluating a name. (Fixed by Lorenz Quack; bpo-2250 [https://bugs.python.org/issue?@action=redirect&bpo=2250].)

The sched module’s scheduler instances now have a read-only queue attribute that returns the contents of the scheduler’s queue, represented as a list of named tuples with the fields (time, priority, action, argument). (Contributed by Raymond Hettinger; bpo-1861 [https://bugs.python.org/issue?@action=redirect&bpo=1861].)

The select module now has wrapper functions for the Linux epoll() and BSD kqueue() system calls. modify() method was added to the existing poll objects; pollobj.modify(fd, eventmask) takes a file descriptor or file object and an event mask, modifying the recorded event mask for that file. (Contributed by Christian Heimes; bpo-1657 [https://bugs.python.org/issue?@action=redirect&bpo=1657].)

The shutil.copytree() function now has an optional ignore argument that takes a callable object. This callable will receive each directory path and a list of the directory’s contents, and returns a list of names that will be ignored, not copied.

The shutil module also provides an ignore_patterns() function for use with this new parameter. ignore_patterns() takes an arbitrary number of glob-style patterns and returns a callable that will ignore any files and directories that match any of these patterns. The following example copies a directory tree, but skips both .svn directories and Emacs backup files, which have names ending with ‘~’:

shutil.copytree('Doc/library', '/tmp/library',
                ignore=shutil.ignore_patterns('*~', '.svn'))

(Contributed by Tarek Ziadé; bpo-2663 [https://bugs.python.org/issue?@action=redirect&bpo=2663].)

Integrating signal handling with GUI handling event loops like those used by Tkinter or GTk+ has long been a problem; most software ends up polling, waking up every fraction of a second to check if any GUI events have occurred. The signal module can now make this more efficient. Calling signal.set_wakeup_fd(fd) sets a file descriptor to be used; when a signal is received, a byte is written to that file descriptor. There’s also a C-level function, PySignal_SetWakeupFd(), for setting the descriptor.

Event loops will use this by opening a pipe to create two descriptors, one for reading and one for writing. The writable descriptor will be passed to set_wakeup_fd(), and the readable descriptor will be added to the list of descriptors monitored by the event loop via select() or poll(). On receiving a signal, a byte will be written and the main event loop will be woken up, avoiding the need to poll.

(Contributed by Adam Olsen; bpo-1583 [https://bugs.python.org/issue?@action=redirect&bpo=1583].)

The siginterrupt() function is now available from Python code, and allows changing whether signals can interrupt system calls or not. (Contributed by Ralf Schmitt.)

The setitimer() and getitimer() functions have also been added (where they’re available). setitimer() allows setting interval timers that will cause a signal to be delivered to the process after a specified time, measured in wall-clock time, consumed process time, or combined process+system time. (Contributed by Guilherme Polo; bpo-2240 [https://bugs.python.org/issue?@action=redirect&bpo=2240].)

The smtplib module now supports SMTP over SSL thanks to the addition of the SMTP_SSL class. This class supports an interface identical to the existing SMTP class. (Contributed by Monty Taylor.) Both class constructors also have an optional timeout parameter that specifies a timeout for the initial connection attempt, measured in seconds. (Contributed by Facundo Batista.)

An implementation of the LMTP protocol (RFC 2033 [https://datatracker.ietf.org/doc/html/rfc2033.html]) was also added to the module. LMTP is used in place of SMTP when transferring e-mail between agents that don’t manage a mail queue. (LMTP implemented by Leif Hedstrom; bpo-957003 [https://bugs.python.org/issue?@action=redirect&bpo=957003].)

SMTP.starttls() now complies with RFC 3207 [https://datatracker.ietf.org/doc/html/rfc3207.html] and forgets any knowledge obtained from the server not obtained from the TLS negotiation itself. (Patch contributed by Bill Fenner; bpo-829951 [https://bugs.python.org/issue?@action=redirect&bpo=829951].)

The socket module now supports TIPC (https://tipc.sourceforge.net/), a high-performance non-IP-based protocol designed for use in clustered environments. TIPC addresses are 4- or 5-tuples. (Contributed by Alberto Bertogli; bpo-1646 [https://bugs.python.org/issue?@action=redirect&bpo=1646].)

A new function, create_connection(), takes an address and connects to it using an optional timeout value, returning the connected socket object. This function also looks up the address’s type and connects to it using IPv4 or IPv6 as appropriate. Changing your code to use create_connection() instead of socket(socket.AF_INET, ...) may be all that’s required to make your code work with IPv6.

The base classes in the SocketServer module now support calling a handle_timeout() method after a span of inactivity specified by the server’s timeout attribute. (Contributed by Michael Pomraning.) The serve_forever() method now takes an optional poll interval measured in seconds, controlling how often the server will check for a shutdown request. (Contributed by Pedro Werneck and Jeffrey Yasskin; bpo-742598 [https://bugs.python.org/issue?@action=redirect&bpo=742598], bpo-1193577 [https://bugs.python.org/issue?@action=redirect&bpo=1193577].)

The sqlite3 module, maintained by Gerhard Häring, has been updated from version 2.3.2 in Python 2.5 to version 2.4.1.

The struct module now supports the C99 _Bool type, using the format character '?'. (Contributed by David Remahl.)

The Popen objects provided by the subprocess module now have terminate(), kill(), and send_signal() methods. On Windows, send_signal() only supports the SIGTERM signal, and all these methods are aliases for the Win32 API function TerminateProcess(). (Contributed by Christian Heimes.)

A new variable in the sys module, float_info, is an object containing information derived from the float.h file about the platform’s floating-point support. Attributes of this object include mant_dig (number of digits in the mantissa), epsilon (smallest difference between 1.0 and the next largest value representable), and several others. (Contributed by Christian Heimes; bpo-1534 [https://bugs.python.org/issue?@action=redirect&bpo=1534].)

Another new variable, dont_write_bytecode, controls whether Python writes any .pyc or .pyo files on importing a module. If this variable is true, the compiled files are not written. The variable is initially set on start-up by supplying the -B switch to the Python interpreter, or by setting the PYTHONDONTWRITEBYTECODE environment variable before running the interpreter. Python code can subsequently change the value of this variable to control whether bytecode files are written or not. (Contributed by Neal Norwitz and Georg Brandl.)

Information about the command-line arguments supplied to the Python interpreter is available by reading attributes of a named tuple available as sys.flags. For example, the verbose attribute is true if Python was executed in verbose mode, debug is true in debugging mode, etc. These attributes are all read-only. (Contributed by Christian Heimes.)

A new function, getsizeof(), takes a Python object and returns the amount of memory used by the object, measured in bytes. Built-in objects return correct results; third-party extensions may not, but can define a __sizeof__() method to return the object’s size. (Contributed by Robert Schuppenies; bpo-2898 [https://bugs.python.org/issue?@action=redirect&bpo=2898].)

It’s now possible to determine the current profiler and tracer functions by calling sys.getprofile() and sys.gettrace(). (Contributed by Georg Brandl; bpo-1648 [https://bugs.python.org/issue?@action=redirect&bpo=1648].)

The tarfile module now supports POSIX.1-2001 (pax) tarfiles in addition to the POSIX.1-1988 (ustar) and GNU tar formats that were already supported. The default format is GNU tar; specify the format parameter to open a file using a different format:

tar = tarfile.open("output.tar", "w",
                   format=tarfile.PAX_FORMAT)

The new encoding and errors parameters specify an encoding and an error handling scheme for character conversions. 'strict', 'ignore', and 'replace' are the three standard ways Python can handle errors,; 'utf-8' is a special value that replaces bad characters with their UTF-8 representation. (Character conversions occur because the PAX format supports Unicode filenames, defaulting to UTF-8 encoding.)

The TarFile.add() method now accepts an exclude argument that’s a function that can be used to exclude certain filenames from an archive. The function must take a filename and return true if the file should be excluded or false if it should be archived. The function is applied to both the name initially passed to add() and to the names of files in recursively added directories.

(All changes contributed by Lars Gustäbel).

An optional timeout parameter was added to the telnetlib.Telnet class constructor, specifying a timeout measured in seconds. (Added by Facundo Batista.)

The tempfile.NamedTemporaryFile class usually deletes the temporary file it created when the file is closed. This behaviour can now be changed by passing delete=False to the constructor. (Contributed by Damien Miller; bpo-1537850 [https://bugs.python.org/issue?@action=redirect&bpo=1537850].)

A new class, SpooledTemporaryFile, behaves like a temporary file but stores its data in memory until a maximum size is exceeded. On reaching that limit, the contents will be written to an on-disk temporary file. (Contributed by Dustin J. Mitchell.)

The NamedTemporaryFile and SpooledTemporaryFile classes both work as context managers, so you can write with tempfile.NamedTemporaryFile() as tmp: .... (Contributed by Alexander Belopolsky; bpo-2021 [https://bugs.python.org/issue?@action=redirect&bpo=2021].)

The test.test_support module gained a number of context managers useful for writing tests. EnvironmentVarGuard() is a context manager that temporarily changes environment variables and automatically restores them to their old values.

Another context manager, TransientResource, can surround calls to resources that may or may not be available; it will catch and ignore a specified list of exceptions. For example, a network test may ignore certain failures when connecting to an external web site:

with test_support.TransientResource(IOError,
                                errno=errno.ETIMEDOUT):
    f = urllib.urlopen('https://sf.net')
    ...

Finally, check_warnings() resets the warning module’s warning filters and returns an object that will record all warning messages triggered (bpo-3781 [https://bugs.python.org/issue?@action=redirect&bpo=3781]):

with test_support.check_warnings() as wrec:
    warnings.simplefilter("always")
    # ... code that triggers a warning ...
    assert str(wrec.message) == "function is outdated"
    assert len(wrec.warnings) == 1, "Multiple warnings raised"

(Contributed by Brett Cannon.)

The textwrap module can now preserve existing whitespace at the beginnings and ends of the newly created lines by specifying drop_whitespace=False as an argument:

>>> S = """This  sentence  has a bunch   of
...   extra   whitespace."""
>>> print textwrap.fill(S, width=15)
This  sentence
has a bunch
of    extra
whitespace.
>>> print textwrap.fill(S, drop_whitespace=False, width=15)
This  sentence
  has a bunch
   of    extra
   whitespace.
>>>

(Contributed by Dwayne Bailey; bpo-1581073 [https://bugs.python.org/issue?@action=redirect&bpo=1581073].)

The threading module API is being changed to use properties such as daemon instead of setDaemon() and isDaemon() methods, and some methods have been renamed to use underscores instead of camel-case; for example, the activeCount() method is renamed to active_count(). Both the 2.6 and 3.0 versions of the module support the same properties and renamed methods, but don’t remove the old methods. No date has been set for the deprecation of the old APIs in Python 3.x; the old APIs won’t be removed in any 2.x version. (Carried out by several people, most notably Benjamin Peterson.)

The threading module’s Thread objects gained an ident property that returns the thread’s identifier, a nonzero integer. (Contributed by Gregory P. Smith; bpo-2871 [https://bugs.python.org/issue?@action=redirect&bpo=2871].)

The timeit module now accepts callables as well as strings for the statement being timed and for the setup code. Two convenience functions were added for creating Timer instances: repeat(stmt, setup, time, repeat, number) and timeit(stmt, setup, time, number) create an instance and call the corresponding method. (Contributed by Erik Demaine; bpo-1533909 [https://bugs.python.org/issue?@action=redirect&bpo=1533909].)

The Tkinter module now accepts lists and tuples for options, separating the elements by spaces before passing the resulting value to Tcl/Tk. (Contributed by Guilherme Polo; bpo-2906 [https://bugs.python.org/issue?@action=redirect&bpo=2906].)

The turtle module for turtle graphics was greatly enhanced by Gregor Lingl. New features in the module include:

Better animation of turtle movement and rotation.

Control over turtle movement using the new delay(), tracer(), and speed() methods.

The ability to set new shapes for the turtle, and to define a new coordinate system.

Turtles now have an undo() method that can roll back actions.

Simple support for reacting to input events such as mouse and keyboard activity, making it possible to write simple games.

A turtle.cfg file can be used to customize the starting appearance of the turtle’s screen.

The module’s docstrings can be replaced by new docstrings that have been translated into another language.

(bpo-1513695 [https://bugs.python.org/issue?@action=redirect&bpo=1513695])

An optional timeout parameter was added to the urllib.urlopen function and the urllib.ftpwrapper class constructor, as well as the urllib2.urlopen function. The parameter specifies a timeout measured in seconds. For example:

>>> u = urllib2.urlopen("http://slow.example.com",
                        timeout=3)
Traceback (most recent call last):
  ...
urllib2.URLError: <urlopen error timed out>
>>>

(Added by Facundo Batista.)

The Unicode database provided by the unicodedata module has been updated to version 5.1.0. (Updated by Martin von Löwis; bpo-3811 [https://bugs.python.org/issue?@action=redirect&bpo=3811].)

The warnings module’s formatwarning() and showwarning() gained an optional line argument that can be used to supply the line of source code. (Added as part of bpo-1631171 [https://bugs.python.org/issue?@action=redirect&bpo=1631171], which re-implemented part of the warnings module in C code.)

A new function, catch_warnings(), is a context manager intended for testing purposes that lets you temporarily modify the warning filters and then restore their original values (bpo-3781 [https://bugs.python.org/issue?@action=redirect&bpo=3781]).

The XML-RPC SimpleXMLRPCServer and DocXMLRPCServer classes can now be prevented from immediately opening and binding to their socket by passing False as the bind_and_activate constructor parameter. This can be used to modify the instance’s allow_reuse_address attribute before calling the server_bind() and server_activate() methods to open the socket and begin listening for connections. (Contributed by Peter Parente; bpo-1599845 [https://bugs.python.org/issue?@action=redirect&bpo=1599845].)

SimpleXMLRPCServer also has a _send_traceback_header attribute; if true, the exception and formatted traceback are returned as HTTP headers “X-Exception” and “X-Traceback”. This feature is for debugging purposes only and should not be used on production servers because the tracebacks might reveal passwords or other sensitive information. (Contributed by Alan McIntyre as part of his project for Google’s Summer of Code 2007.)

The xmlrpclib module no longer automatically converts datetime.date and datetime.time to the xmlrpclib.DateTime type; the conversion semantics were not necessarily correct for all applications. Code using xmlrpclib should convert date and time instances. (bpo-1330538 [https://bugs.python.org/issue?@action=redirect&bpo=1330538]) The code can also handle dates before 1900 (contributed by Ralf Schmitt; bpo-2014 [https://bugs.python.org/issue?@action=redirect&bpo=2014]) and 64-bit integers represented by using <i8> in XML-RPC responses (contributed by Riku Lindblad; bpo-2985 [https://bugs.python.org/issue?@action=redirect&bpo=2985]).

The zipfile module’s ZipFile class now has extract() and extractall() methods that will unpack a single file or all the files in the archive to the current directory, or to a specified directory:

z = zipfile.ZipFile('python-251.zip')

# Unpack a single file, writing it relative
# to the /tmp directory.
z.extract('Python/sysmodule.c', '/tmp')

# Unpack all the files in the archive.
z.extractall()

(Contributed by Alan McIntyre; bpo-467924 [https://bugs.python.org/issue?@action=redirect&bpo=467924].)

The open(), read() and extract() methods can now take either a filename or a ZipInfo object. This is useful when an archive accidentally contains a duplicated filename. (Contributed by Graham Horler; bpo-1775025 [https://bugs.python.org/issue?@action=redirect&bpo=1775025].)

Finally, zipfile now supports using Unicode filenames for archived files. (Contributed by Alexey Borzenkov; bpo-1734346 [https://bugs.python.org/issue?@action=redirect&bpo=1734346].)

The ast module

The ast module provides an Abstract Syntax Tree representation of Python code, and Armin Ronacher contributed a set of helper functions that perform a variety of common tasks. These will be useful for HTML templating packages, code analyzers, and similar tools that process Python code.

The parse() function takes an expression and returns an AST. The dump() function outputs a representation of a tree, suitable for debugging:

import ast

t = ast.parse("""
d = {}
for i in 'abcdefghijklm':
    d[i + i] = ord(i) - ord('a') + 1
print d
""")
print ast.dump(t)

This outputs a deeply nested tree:

Module(body=[
  Assign(targets=[
    Name(id='d', ctx=Store())
   ], value=Dict(keys=[], values=[]))
  For(target=Name(id='i', ctx=Store()),
      iter=Str(s='abcdefghijklm'), body=[
    Assign(targets=[
      Subscript(value=
        Name(id='d', ctx=Load()),
          slice=
          Index(value=
            BinOp(left=Name(id='i', ctx=Load()), op=Add(),
             right=Name(id='i', ctx=Load()))), ctx=Store())
     ], value=
     BinOp(left=
      BinOp(left=
       Call(func=
        Name(id='ord', ctx=Load()), args=[
          Name(id='i', ctx=Load())
         ], keywords=[], starargs=None, kwargs=None),
       op=Sub(), right=Call(func=
        Name(id='ord', ctx=Load()), args=[
          Str(s='a')
         ], keywords=[], starargs=None, kwargs=None)),
       op=Add(), right=Num(n=1)))
    ], orelse=[])
   Print(dest=None, values=[
     Name(id='d', ctx=Load())
   ], nl=True)
 ])

The literal_eval() method takes a string or an AST representing a literal expression, parses and evaluates it, and returns the resulting value. A literal expression is a Python expression containing only strings, numbers, dictionaries, etc. but no statements or function calls. If you need to evaluate an expression but cannot accept the security risk of using an eval() call, literal_eval() will handle it safely:

>>> literal = '("a", "b", {2:4, 3:8, 1:2})'
>>> print ast.literal_eval(literal)
('a', 'b', {1: 2, 2: 4, 3: 8})
>>> print ast.literal_eval('"a" + "b"')
Traceback (most recent call last):
  ...
ValueError: malformed string

The module also includes NodeVisitor and NodeTransformer classes for traversing and modifying an AST, and functions for common transformations such as changing line numbers.

The future_builtins module

Python 3.0 makes many changes to the repertoire of built-in functions, and most of the changes can’t be introduced in the Python 2.x series because they would break compatibility. The future_builtins module provides versions of these built-in functions that can be imported when writing 3.0-compatible code.

The functions in this module currently include:

ascii(obj): equivalent to repr(). In Python 3.0, repr() will return a Unicode string, while ascii() will return a pure ASCII bytestring.

filter(predicate, iterable), map(func, iterable1, ...): the 3.0 versions return iterators, unlike the 2.x builtins which return lists.

hex(value), oct(value): instead of calling the __hex__() or __oct__() methods, these versions will call the __index__() method and convert the result to hexadecimal or octal. oct() will use the new 0o notation for its result.

The json module: JavaScript Object Notation

The new json module supports the encoding and decoding of Python types in JSON (Javascript Object Notation). JSON is a lightweight interchange format often used in web applications. For more information about JSON, see http://www.json.org.

json comes with support for decoding and encoding most built-in Python types. The following example encodes and decodes a dictionary:

>>> import json
>>> data = {"spam": "foo", "parrot": 42}
>>> in_json = json.dumps(data) # Encode the data
>>> in_json
'{"parrot": 42, "spam": "foo"}'
>>> json.loads(in_json) # Decode into a Python object
{"spam": "foo", "parrot": 42}

It’s also possible to write your own decoders and encoders to support more types. Pretty-printing of the JSON strings is also supported.

json (originally called simplejson) was written by Bob Ippolito.

The plistlib module: A Property-List Parser

The .plist format is commonly used on Mac OS X to store basic data types (numbers, strings, lists, and dictionaries) by serializing them into an XML-based format. It resembles the XML-RPC serialization of data types.

Despite being primarily used on Mac OS X, the format has nothing Mac-specific about it and the Python implementation works on any platform that Python supports, so the plistlib module has been promoted to the standard library.

Using the module is simple:

import sys
import plistlib
import datetime

# Create data structure
data_struct = dict(lastAccessed=datetime.datetime.now(),
                   version=1,
                   categories=('Personal','Shared','Private'))

# Create string containing XML.
plist_str = plistlib.writePlistToString(data_struct)
new_struct = plistlib.readPlistFromString(plist_str)
print data_struct
print new_struct

# Write data structure to a file and read it back.
plistlib.writePlist(data_struct, '/tmp/customizations.plist')
new_struct = plistlib.readPlist('/tmp/customizations.plist')

# read/writePlist accepts file-like objects as well as paths.
plistlib.writePlist(data_struct, sys.stdout)

ctypes Enhancements

Thomas Heller continued to maintain and enhance the ctypes module.

ctypes now supports a c_bool datatype that represents the C99 bool type. (Contributed by David Remahl; bpo-1649190 [https://bugs.python.org/issue?@action=redirect&bpo=1649190].)

The ctypes string, buffer and array types have improved support for extended slicing syntax, where various combinations of (start, stop, step) are supplied. (Implemented by Thomas Wouters.)

All ctypes data types now support from_buffer() and from_buffer_copy() methods that create a ctypes instance based on a provided buffer object. from_buffer_copy() copies the contents of the object, while from_buffer() will share the same memory area.

A new calling convention tells ctypes to clear the errno or Win32 LastError variables at the outset of each wrapped call. (Implemented by Thomas Heller; bpo-1798 [https://bugs.python.org/issue?@action=redirect&bpo=1798].)

You can now retrieve the Unix errno variable after a function call. When creating a wrapped function, you can supply use_errno=True as a keyword parameter to the DLL() function and then call the module-level methods set_errno() and get_errno() to set and retrieve the error value.

The Win32 LastError variable is similarly supported by the DLL(), OleDLL(), and WinDLL() functions. You supply use_last_error=True as a keyword parameter and then call the module-level methods set_last_error() and get_last_error().

The byref() function, used to retrieve a pointer to a ctypes instance, now has an optional offset parameter that is a byte count that will be added to the returned pointer.

Improved SSL Support

Bill Janssen made extensive improvements to Python 2.6’s support for the Secure Sockets Layer by adding a new module, ssl, that’s built atop the OpenSSL [https://www.openssl.org/] library. This new module provides more control over the protocol negotiated, the X.509 certificates used, and has better support for writing SSL servers (as opposed to clients) in Python. The existing SSL support in the socket module hasn’t been removed and continues to work, though it will be removed in Python 3.0.

To use the new module, you must first create a TCP connection in the usual way and then pass it to the ssl.wrap_socket() function. It’s possible to specify whether a certificate is required, and to obtain certificate info by calling the getpeercert() method.

Ver também

The documentation for the ssl module.

Deprecations and Removals

String exceptions have been removed. Attempting to use them raises a TypeError.

Changes to the Exception interface as dictated by PEP 352 [https://peps.python.org/pep-0352/] continue to be made. For 2.6, the message attribute is being deprecated in favor of the args attribute.

(3.0-warning mode) Python 3.0 will feature a reorganized standard library that will drop many outdated modules and rename others. Python 2.6 running in 3.0-warning mode will warn about these modules when they are imported.

The list of deprecated modules is: audiodev, bgenlocations, buildtools, bundlebuilder, Canvas, compiler, dircache, dl, fpformat, gensuitemodule, ihooks, imageop, imgfile, linuxaudiodev, mhlib, mimetools, multifile, new, pure, statvfs, sunaudiodev, test.testall, and toaiff.

The gopherlib module has been removed.

The MimeWriter module and mimify module have been deprecated; use the email package instead.

The md5 module has been deprecated; use the hashlib module instead.

The posixfile module has been deprecated; fcntl.lockf() provides better locking.

The popen2 module has been deprecated; use the subprocess module.

The rgbimg module has been removed.

The sets module has been deprecated; it’s better to use the built-in set and frozenset types.

The sha module has been deprecated; use the hashlib module instead.

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

Python now must be compiled with C89 compilers (after 19 years!). This means that the Python source tree has dropped its own implementations of memmove() and strerror(), which are in the C89 standard library.

Python 2.6 can be built with Microsoft Visual Studio 2008 (version 9.0), and this is the new default compiler. See the PCbuild directory for the build files. (Implemented by Christian Heimes.)

On Mac OS X, Python 2.6 can be compiled as a 4-way universal build. The configure script can take a --with-universal-archs=[32-bit|64-bit|all] switch, controlling whether the binaries are built for 32-bit architectures (x86, PowerPC), 64-bit (x86-64 and PPC-64), or both. (Contributed by Ronald Oussoren.)

A new function added in Python 2.6.6, PySys_SetArgvEx(), sets the value of sys.argv and can optionally update sys.path to include the directory containing the script named by sys.argv[0] depending on the value of an updatepath parameter.

Esta função foi adicionada para fechar uma falha de segurança em aplicativos que incorporam Python. A função antiga, PySys_SetArgv(), sempre atualizava sys.path, e às vezes adicionava o diretório atual. Isso significava que, se você executasse uma aplicação incorporando Python em um diretório controlado por outra pessoa, os invasores poderiam colocar um módulo cavalo de Troia no diretório (digamos, um arquivo chamado os.py) que sua aplicação então usaria. importar e executar.

If you maintain a C/C++ application that embeds Python, check whether you’re calling PySys_SetArgv() and carefully consider whether the application should be using PySys_SetArgvEx() with updatepath set to false. Note that using this function will break compatibility with Python versions 2.6.5 and earlier; if you have to continue working with earlier versions, you can leave the call to PySys_SetArgv() alone and call PyRun_SimpleString("sys.path.pop(0)\n") afterwards to discard the first sys.path component.

Security issue reported as CVE 2008-5983 [https://www.cve.org/CVERecord?id=CVE-2008-5983]; discussed in gh-50003 [https://github.com/python/cpython/issues/50003], and fixed by Antoine Pitrou.

The BerkeleyDB module now has a C API object, available as bsddb.db.api. This object can be used by other C extensions that wish to use the bsddb module for their own purposes. (Contributed by Duncan Grisby.)

The new buffer interface, previously described in the PEP 3118 section, adds PyObject_GetBuffer() and PyBuffer_Release(), as well as a few other functions.

Python’s use of the C stdio library is now thread-safe, or at least as thread-safe as the underlying library is. A long-standing potential bug occurred if one thread closed a file object while another thread was reading from or writing to the object. In 2.6 file objects have a reference count, manipulated by the PyFile_IncUseCount() and PyFile_DecUseCount() functions. File objects can’t be closed unless the reference count is zero. PyFile_IncUseCount() should be called while the GIL is still held, before carrying out an I/O operation using the FILE * pointer, and PyFile_DecUseCount() should be called immediately after the GIL is re-acquired. (Contributed by Antoine Pitrou and Gregory P. Smith.)

Importing modules simultaneously in two different threads no longer deadlocks; it will now raise an ImportError. A new API function, PyImport_ImportModuleNoBlock(), will look for a module in sys.modules first, then try to import it after acquiring an import lock. If the import lock is held by another thread, an ImportError is raised. (Contributed by Christian Heimes.)

Several functions return information about the platform’s floating-point support. PyFloat_GetMax() returns the maximum representable floating-point value, and PyFloat_GetMin() returns the minimum positive value. PyFloat_GetInfo() returns an object containing more information from the float.h file, such as "mant_dig" (number of digits in the mantissa), "epsilon" (smallest difference between 1.0 and the next largest value representable), and several others. (Contributed by Christian Heimes; bpo-1534 [https://bugs.python.org/issue?@action=redirect&bpo=1534].)

C functions and methods that use PyComplex_AsCComplex() will now accept arguments that have a __complex__() method. In particular, the functions in the cmath module will now accept objects with this method. This is a backport of a Python 3.0 change. (Contributed by Mark Dickinson; bpo-1675423 [https://bugs.python.org/issue?@action=redirect&bpo=1675423].)

Python’s C API now includes two functions for case-insensitive string comparisons, PyOS_stricmp(char*, char*) and PyOS_strnicmp(char*, char*, Py_ssize_t). (Contributed by Christian Heimes; bpo-1635 [https://bugs.python.org/issue?@action=redirect&bpo=1635].)

Many C extensions define their own little macro for adding integers and strings to the module’s dictionary in the init* function. Python 2.6 finally defines standard macros for adding values to a module, PyModule_AddStringMacro and PyModule_AddIntMacro(). (Contributed by Christian Heimes.)

Some macros were renamed in both 3.0 and 2.6 to make it clearer that they are macros, not functions. Py_Size() became Py_SIZE(), Py_Type() became Py_TYPE(), and Py_Refcnt() became Py_REFCNT(). The mixed-case macros are still available in Python 2.6 for backward compatibility. (bpo-1629 [https://bugs.python.org/issue?@action=redirect&bpo=1629])

Distutils now places C extensions it builds in a different directory when running on a debug version of Python. (Contributed by Collin Winter; bpo-1530959 [https://bugs.python.org/issue?@action=redirect&bpo=1530959].)

Several basic data types, such as integers and strings, maintain internal free lists of objects that can be re-used. The data structures for these free lists now follow a naming convention: the variable is always named free_list, the counter is always named numfree, and a macro Py<typename>_MAXFREELIST is always defined.

A new Makefile target, “make patchcheck”, prepares the Python source tree for making a patch: it fixes trailing whitespace in all modified .py files, checks whether the documentation has been changed, and reports whether the Misc/ACKS and Misc/NEWS files have been updated. (Contributed by Brett Cannon.)

Another new target, “make profile-opt”, compiles a Python binary using GCC’s profile-guided optimization. It compiles Python with profiling enabled, runs the test suite to obtain a set of profiling results, and then compiles using these results for optimization. (Contributed by Gregory P. Smith.)

Port-Specific Changes: Windows

The support for Windows 95, 98, ME and NT4 has been dropped. Python 2.6 requires at least Windows 2000 SP4.

The new default compiler on Windows is Visual Studio 2008 (version 9.0). The build directories for Visual Studio 2003 (version 7.1) and 2005 (version 8.0) were moved into the PC/ directory. The new PCbuild directory supports cross compilation for X64, debug builds and Profile Guided Optimization (PGO). PGO builds are roughly 10% faster than normal builds. (Contributed by Christian Heimes with help from Amaury Forgeot d’Arc and Martin von Löwis.)

The msvcrt module now supports both the normal and wide char variants of the console I/O API. The getwch() function reads a keypress and returns a Unicode value, as does the getwche() function. The putwch() function takes a Unicode character and writes it to the console. (Contributed by Christian Heimes.)

os.path.expandvars() will now expand environment variables in the form “%var%”, and “~user” will be expanded into the user’s home directory path. (Contributed by Josiah Carlson; bpo-957650 [https://bugs.python.org/issue?@action=redirect&bpo=957650].)

The socket module’s socket objects now have an ioctl() method that provides a limited interface to the WSAIoctl() system interface.

The _winreg module now has a function, ExpandEnvironmentStrings(), that expands environment variable references such as %NAME% in an input string. The handle objects provided by this module now support the context protocol, so they can be used in with statements. (Contributed by Christian Heimes.)

_winreg also has better support for x64 systems, exposing the DisableReflectionKey(), EnableReflectionKey(), and QueryReflectionKey() functions, which enable and disable registry reflection for 32-bit processes running on 64-bit systems. (bpo-1753245 [https://bugs.python.org/issue?@action=redirect&bpo=1753245])

The msilib module’s Record object gained GetInteger() and GetString() methods that return field values as an integer or a string. (Contributed by Floris Bruynooghe; bpo-2125 [https://bugs.python.org/issue?@action=redirect&bpo=2125].)

Port-Specific Changes: Mac OS X

When compiling a framework build of Python, you can now specify the framework name to be used by providing the --with-framework-name= option to the configure script.

The macfs module has been removed. This in turn required the macostools.touched() function to be removed because it depended on the macfs module. (bpo-1490190 [https://bugs.python.org/issue?@action=redirect&bpo=1490190])

Many other Mac OS modules have been deprecated and will be removed in Python 3.0: _builtinSuites, aepack, aetools, aetypes, applesingle, appletrawmain, appletrunner, argvemulator, Audio_mac, autoGIL, Carbon, cfmfile, CodeWarrior, ColorPicker, EasyDialogs, Explorer, Finder, FrameWork, findertools, ic, icglue, icopen, macerrors, MacOS, macfs, macostools, macresource, MiniAEFrame, Nav, Netscape, OSATerminology, pimp, PixMapWrapper, StdSuites, SystemEvents, Terminal, and terminalcommand.

Port-Specific Changes: IRIX

A number of old IRIX-specific modules were deprecated and will be removed in Python 3.0: al and AL, cd, cddb, cdplayer, CL and cl, DEVICE, ERRNO, FILE, FL and fl, flp, fm, GET, GLWS, GL and gl, IN, IOCTL, jpeg, panelparser, readcd, SV and sv, torgb, videoreader, and WAIT.

Porting to Python 2.6

Esta seção lista as alterações descritas anteriormente e outras correções de bugs que podem exigir alterações em seu código:

Classes that aren’t supposed to be hashable should set __hash__ = None in their definitions to indicate the fact.

String exceptions have been removed. Attempting to use them raises a TypeError.

The __init__() method of collections.deque now clears any existing contents of the deque before adding elements from the iterable. This change makes the behavior match list.__init__().

object.__init__() previously accepted arbitrary arguments and keyword arguments, ignoring them. In Python 2.6, this is no longer allowed and will result in a TypeError. This will affect __init__() methods that end up calling the corresponding method on object (perhaps through using super()). See bpo-1683368 [https://bugs.python.org/issue?@action=redirect&bpo=1683368] for discussion.

The Decimal constructor now accepts leading and trailing whitespace when passed a string. Previously it would raise an InvalidOperation exception. On the other hand, the create_decimal() method of Context objects now explicitly disallows extra whitespace, raising a ConversionSyntax exception.

Due to an implementation accident, if you passed a file path to the built-in __import__() function, it would actually import the specified file. This was never intended to work, however, and the implementation now explicitly checks for this case and raises an ImportError.

C API: the PyImport_Import() and PyImport_ImportModule() functions now default to absolute imports, not relative imports. This will affect C extensions that import other modules.

C API: extension data types that shouldn’t be hashable should define their tp_hash slot to PyObject_HashNotImplemented().

The socket module exception socket.error now inherits from IOError. Previously it wasn’t a subclass of StandardError but now it is, through IOError. (Implemented by Gregory P. Smith; bpo-1706815 [https://bugs.python.org/issue?@action=redirect&bpo=1706815].)

The xmlrpclib module no longer automatically converts datetime.date and datetime.time to the xmlrpclib.DateTime type; the conversion semantics were not necessarily correct for all applications. Code using xmlrpclib should convert date and time instances. (bpo-1330538 [https://bugs.python.org/issue?@action=redirect&bpo=1330538])

(3.0-warning mode) The Exception class now warns when accessed using slicing or index access; having Exception behave like a tuple is being phased out.

(3.0-warning mode) inequality comparisons between two dictionaries or two objects that don’t implement comparison methods are reported as warnings. dict1 == dict2 still works, but dict1 < dict2 is being phased out.

Comparisons between cells, which are an implementation detail of Python’s scoping rules, also cause warnings because such comparisons are forbidden entirely in 3.0.

For applications that embed Python:

The PySys_SetArgvEx() function was added in Python 2.6.6, letting applications close a security hole when the existing PySys_SetArgv() function was used. Check whether you’re calling PySys_SetArgv() and carefully consider whether the application should be using PySys_SetArgvEx() with updatepath set to false.

Reconhecimentos

The author would like to thank the following people for offering suggestions, corrections and assistance with various drafts of this article: Georg Brandl, Steve Brown, Nick Coghlan, Ralph Corderoy, Jim Jewett, Kent Johnson, Chris Lambacher, Martin Michlmayr, Antoine Pitrou, Brian Warner.

What’s New in Python 2.5

Autor:

A.M. Kuchling

This article explains the new features in Python 2.5. The final release of Python 2.5 is scheduled for August 2006; PEP 356 [https://peps.python.org/pep-0356/] describes the planned release schedule. Python 2.5 was released on September 19, 2006.

The changes in Python 2.5 are an interesting mix of language and library improvements. The library enhancements will be more important to Python’s user community, I think, because several widely useful packages were added. New modules include ElementTree for XML processing (xml.etree), the SQLite database module (sqlite), and the ctypes module for calling C functions.

The language changes are of middling significance. Some pleasant new features were added, but most of them aren’t features that you’ll use every day. Conditional expressions were finally added to the language using a novel syntax; see section PEP 308: Conditional Expressions. The new ‘with’ statement will make writing cleanup code easier (section PEP 343: The ‘with’ statement). Values can now be passed into generators (section PEP 342: New Generator Features). Imports are now visible as either absolute or relative (section PEP 328: Absolute and Relative Imports). Some corner cases of exception handling are handled better (section PEP 341: Unified try/except/finally). All these improvements are worthwhile, but they’re improvements to one specific language feature or another; none of them are broad modifications to Python’s semantics.

As well as the language and library additions, other improvements and bugfixes were made throughout the source tree. A search through the SVN change logs finds there were 353 patches applied and 458 bugs fixed between Python 2.4 and 2.5. (Both figures are likely to be underestimates.)

This article doesn’t try to be a complete specification of the new features; instead changes are briefly introduced using helpful examples. For full details, you should always refer to the documentation for Python 2.5 at https://docs.python.org. If you want to understand the complete implementation and design rationale, refer to the PEP for a particular new feature.

Comments, suggestions, and error reports for this document are welcome; please e-mail them to the author or open a bug in the Python bug tracker.

PEP 308: Conditional Expressions

For a long time, people have been requesting a way to write conditional expressions, which are expressions that return value A or value B depending on whether a Boolean value is true or false. A conditional expression lets you write a single assignment statement that has the same effect as the following:

if condition:
    x = true_value
else:
    x = false_value

There have been endless tedious discussions of syntax on both python-dev and comp.lang.python. A vote was even held that found the majority of voters wanted conditional expressions in some form, but there was no syntax that was preferred by a clear majority. Candidates included C’s cond ? true_v : false_v, if cond then true_v else false_v, and 16 other variations.

Guido van Rossum eventually chose a surprising syntax:

x = true_value if condition else false_value

Evaluation is still lazy as in existing Boolean expressions, so the order of evaluation jumps around a bit. The condition expression in the middle is evaluated first, and the true_value expression is evaluated only if the condition was true. Similarly, the false_value expression is only evaluated when the condition is false.

This syntax may seem strange and backwards; why does the condition go in the middle of the expression, and not in the front as in C’s c ? x : y? The decision was checked by applying the new syntax to the modules in the standard library and seeing how the resulting code read. In many cases where a conditional expression is used, one value seems to be the ‘common case’ and one value is an ‘exceptional case’, used only on rarer occasions when the condition isn’t met. The conditional syntax makes this pattern a bit more obvious:

contents = ((doc + '\n') if doc else '')

I read the above statement as meaning “here contents is usually assigned a value of doc+'\n'; sometimes doc is empty, in which special case an empty string is returned.” I doubt I will use conditional expressions very often where there isn’t a clear common and uncommon case.

There was some discussion of whether the language should require surrounding conditional expressions with parentheses. The decision was made to not require parentheses in the Python language’s grammar, but as a matter of style I think you should always use them. Consider these two statements:

# First version -- no parens
level = 1 if logging else 0

# Second version -- with parens
level = (1 if logging else 0)

In the first version, I think a reader’s eye might group the statement into ‘level = 1’, ‘if logging’, ‘else 0’, and think that the condition decides whether the assignment to level is performed. The second version reads better, in my opinion, because it makes it clear that the assignment is always performed and the choice is being made between two values.

Another reason for including the brackets: a few odd combinations of list comprehensions and lambdas could look like incorrect conditional expressions. See PEP 308 [https://peps.python.org/pep-0308/] for some examples. If you put parentheses around your conditional expressions, you won’t run into this case.

Ver também

PEP 308 [https://peps.python.org/pep-0308/] - Conditional Expressions

PEP written by Guido van Rossum and Raymond D. Hettinger; implemented by Thomas Wouters.

PEP 309: Partial Function Application

The functools module is intended to contain tools for functional-style programming.

One useful tool in this module is the partial() function. For programs written in a functional style, you’ll sometimes want to construct variants of existing functions that have some of the parameters filled in. Consider a Python function f(a, b, c); you could create a new function g(b, c) that was equivalent to f(1, b, c). This is called “partial function application”.

partial() takes the arguments (function, arg1, arg2, ... kwarg1=value1, kwarg2=value2). The resulting object is callable, so you can just call it to invoke function with the filled-in arguments.

Aqui está um pequeno mas bem realístico exemplo:

import functools

def log (message, subsystem):
    "Write the contents of 'message' to the specified subsystem."
    print '%s: %s' % (subsystem, message)
    ...

server_log = functools.partial(log, subsystem='server')
server_log('Unable to open socket')

Here’s another example, from a program that uses PyGTK. Here a context-sensitive pop-up menu is being constructed dynamically. The callback provided for the menu option is a partially applied version of the open_item() method, where the first argument has been provided.

...
class Application:
    def open_item(self, path):
       ...
    def init (self):
        open_func = functools.partial(self.open_item, item_path)
        popup_menu.append( ("Open", open_func, 1) )

Another function in the functools module is the update_wrapper(wrapper, wrapped) function that helps you write well-behaved decorators. update_wrapper() copies the name, module, and docstring attribute to a wrapper function so that tracebacks inside the wrapped function are easier to understand. For example, you might write:

def my_decorator(f):
    def wrapper(*args, **kwds):
        print 'Calling decorated function'
        return f(*args, **kwds)
    functools.update_wrapper(wrapper, f)
    return wrapper

wraps() is a decorator that can be used inside your own decorators to copy the wrapped function’s information. An alternate version of the previous example would be:

def my_decorator(f):
    @functools.wraps(f)
    def wrapper(*args, **kwds):
        print 'Calling decorated function'
        return f(*args, **kwds)
    return wrapper

Ver também

PEP 309 [https://peps.python.org/pep-0309/] - Partial Function Application

PEP proposed and written by Peter Harris; implemented by Hye-Shik Chang and Nick Coghlan, with adaptations by Raymond Hettinger.

PEP 314: Metadata for Python Software Packages v1.1

Some simple dependency support was added to Distutils. The setup() function now has requires, provides, and obsoletes keyword parameters. When you build a source distribution using the sdist command, the dependency information will be recorded in the PKG-INFO file.

Another new keyword parameter is download_url, which should be set to a URL for the package’s source code. This means it’s now possible to look up an entry in the package index, determine the dependencies for a package, and download the required packages.

VERSION = '1.0'
setup(name='PyPackage',
      version=VERSION,
      requires=['numarray', 'zlib (>=1.1.4)'],
      obsoletes=['OldPackage']
      download_url=('http://www.example.com/pypackage/dist/pkg-%s.tar.gz'
                    % VERSION),
     )

Another new enhancement to the Python package index at https://pypi.org is storing source and binary archives for a package. The new upload Distutils command will upload a package to the repository.

Before a package can be uploaded, you must be able to build a distribution using the sdist Distutils command. Once that works, you can run python setup.py upload to add your package to the PyPI archive. Optionally you can GPG-sign the package by supplying the --sign and --identity options.

Package uploading was implemented by Martin von Löwis and Richard Jones.

Ver também

PEP 314 [https://peps.python.org/pep-0314/] - Metadata for Python Software Packages v1.1

PEP proposed and written by A.M. Kuchling, Richard Jones, and Fred Drake; implemented by Richard Jones and Fred Drake.

PEP 328: Absolute and Relative Imports

The simpler part of PEP 328 [https://peps.python.org/pep-0328/] was implemented in Python 2.4: parentheses could now be used to enclose the names imported from a module using the from ... import ... statement, making it easier to import many different names.

The more complicated part has been implemented in Python 2.5: importing a module can be specified to use absolute or package-relative imports. The plan is to move toward making absolute imports the default in future versions of Python.

Let’s say you have a package directory like this:

pkg/
pkg/__init__.py
pkg/main.py
pkg/string.py

This defines a package named pkg containing the pkg.main and pkg.string submodules.

Consider the code in the main.py module. What happens if it executes the statement import string? In Python 2.4 and earlier, it will first look in the package’s directory to perform a relative import, finds pkg/string.py, imports the contents of that file as the pkg.string module, and that module is bound to the name string in the pkg.main module’s namespace.

That’s fine if pkg.string was what you wanted. But what if you wanted Python’s standard string module? There’s no clean way to ignore pkg.string and look for the standard module; generally you had to look at the contents of sys.modules, which is slightly unclean. Holger Krekel’s py.std package provides a tidier way to perform imports from the standard library, import py; py.std.string.join(), but that package isn’t available on all Python installations.

Reading code which relies on relative imports is also less clear, because a reader may be confused about which module, string or pkg.string, is intended to be used. Python users soon learned not to duplicate the names of standard library modules in the names of their packages’ submodules, but you can’t protect against having your submodule’s name being used for a new module added in a future version of Python.

In Python 2.5, you can switch import’s behaviour to absolute imports using a from __future__ import absolute_import directive. This absolute-import behaviour will become the default in a future version (probably Python 2.7). Once absolute imports are the default, import string will always find the standard library’s version. It’s suggested that users should begin using absolute imports as much as possible, so it’s preferable to begin writing from pkg import string in your code.

Relative imports are still possible by adding a leading period to the module name when using the from ... import form:

# Import names from pkg.string
from .string import name1, name2
# Import pkg.string
from . import string

This imports the string module relative to the current package, so in pkg.main this will import name1 and name2 from pkg.string. Additional leading periods perform the relative import starting from the parent of the current package. For example, code in the A.B.C module can do:

from . import D                 # Imports A.B.D
from .. import E                # Imports A.E
from ..F import G               # Imports A.F.G

Leading periods cannot be used with the import modname form of the import statement, only the from ... import form.

Ver também

PEP 328 [https://peps.python.org/pep-0328/] - Importações: Multilinha e absoluta/relativa

PEP written by Aahz; implemented by Thomas Wouters.

https://pylib.readthedocs.io/

The py library by Holger Krekel, which contains the py.std package.

PEP 338: Executing Modules as Scripts

The -m switch added in Python 2.4 to execute a module as a script gained a few more abilities. Instead of being implemented in C code inside the Python interpreter, the switch now uses an implementation in a new module, runpy.

The runpy module implements a more sophisticated import mechanism so that it’s now possible to run modules in a package such as pychecker.checker. The module also supports alternative import mechanisms such as the zipimport module. This means you can add a .zip archive’s path to sys.path and then use the -m switch to execute code from the archive.

Ver também

PEP 338 [https://peps.python.org/pep-0338/] - Executing modules as scripts

PEP written and implemented by Nick Coghlan.

PEP 341: Unified try/except/finally

Until Python 2.5, the try statement came in two flavours. You could use a finally block to ensure that code is always executed, or one or more except blocks to catch specific exceptions. You couldn’t combine both except blocks and a finally block, because generating the right bytecode for the combined version was complicated and it wasn’t clear what the semantics of the combined statement should be.

Guido van Rossum spent some time working with Java, which does support the equivalent of combining except blocks and a finally block, and this clarified what the statement should mean. In Python 2.5, you can now write:

try:
    block-1 ...
except Exception1:
    handler-1 ...
except Exception2:
    handler-2 ...
else:
    else-block
finally:
    final-block

The code in block-1 is executed. If the code raises an exception, the various except blocks are tested: if the exception is of class Exception1, handler-1 is executed; otherwise if it’s of class Exception2, handler-2 is executed, and so forth. If no exception is raised, the else-block is executed.

No matter what happened previously, the final-block is executed once the code block is complete and any raised exceptions handled. Even if there’s an error in an exception handler or the else-block and a new exception is raised, the code in the final-block is still run.

Ver também

PEP 341 [https://peps.python.org/pep-0341/] - Unifying try-except and try-finally

PEP written by Georg Brandl; implementation by Thomas Lee.

PEP 342: New Generator Features

Python 2.5 adds a simple way to pass values into a generator. As introduced in Python 2.3, generators only produce output; once a generator’s code was invoked to create an iterator, there was no way to pass any new information into the function when its execution is resumed. Sometimes the ability to pass in some information would be useful. Hackish solutions to this include making the generator’s code look at a global variable and then changing the global variable’s value, or passing in some mutable object that callers then modify.

To refresh your memory of basic generators, here’s a simple example:

def counter (maximum):
    i = 0
    while i < maximum:
        yield i
        i += 1

When you call counter(10), the result is an iterator that returns the values from 0 up to 9. On encountering the yield statement, the iterator returns the provided value and suspends the function’s execution, preserving the local variables. Execution resumes on the following call to the iterator’s next() method, picking up after the yield statement.

In Python 2.3, yield was a statement; it didn’t return any value. In 2.5, yield is now an expression, returning a value that can be assigned to a variable or otherwise operated on:

val = (yield i)

I recommend that you always put parentheses around a yield expression when you’re doing something with the returned value, as in the above example. The parentheses aren’t always necessary, but it’s easier to always add them instead of having to remember when they’re needed.

(PEP 342 [https://peps.python.org/pep-0342/] explains the exact rules, which are that a yield-expression must always be parenthesized except when it occurs at the top-level expression on the right-hand side of an assignment. This means you can write val = yield i but have to use parentheses when there’s an operation, as in val = (yield i) + 12.)

Values are sent into a generator by calling its send(value) method. The generator’s code is then resumed and the yield expression returns the specified value. If the regular next() method is called, the yield returns None.

Here’s the previous example, modified to allow changing the value of the internal counter.

def counter (maximum):
    i = 0
    while i < maximum:
        val = (yield i)
        # If value provided, change counter
        if val is not None:
            i = val
        else:
            i += 1

And here’s an example of changing the counter:

>>> it = counter(10)
>>> print it.next()
0
>>> print it.next()
1
>>> print it.send(8)
8
>>> print it.next()
9
>>> print it.next()
Traceback (most recent call last):
  File "t.py", line 15, in ?
    print it.next()
StopIteration

yield will usually return None, so you should always check for this case. Don’t just use its value in expressions unless you’re sure that the send() method will be the only method used to resume your generator function.

In addition to send(), there are two other new methods on generators:

throw(type, value=None, traceback=None) is used to raise an exception inside the generator; the exception is raised by the yield expression where the generator’s execution is paused.

close() raises a new GeneratorExit exception inside the generator to terminate the iteration. On receiving this exception, the generator’s code must either raise GeneratorExit or StopIteration. Catching the GeneratorExit exception and returning a value is illegal and will trigger a RuntimeError; if the function raises some other exception, that exception is propagated to the caller. close() will also be called by Python’s garbage collector when the generator is garbage-collected.

If you need to run cleanup code when a GeneratorExit occurs, I suggest using a try: ... finally: suite instead of catching GeneratorExit.

The cumulative effect of these changes is to turn generators from one-way producers of information into both producers and consumers.

Generators also become coroutines, a more generalized form of subroutines. Subroutines are entered at one point and exited at another point (the top of the function, and a return statement), but coroutines can be entered, exited, and resumed at many different points (the yield statements). We’ll have to figure out patterns for using coroutines effectively in Python.

The addition of the close() method has one side effect that isn’t obvious. close() is called when a generator is garbage-collected, so this means the generator’s code gets one last chance to run before the generator is destroyed. This last chance means that try...finally statements in generators can now be guaranteed to work; the finally clause will now always get a chance to run. The syntactic restriction that you couldn’t mix yield statements with a try...finally suite has therefore been removed. This seems like a minor bit of language trivia, but using generators and try...finally is actually necessary in order to implement the with statement described by PEP 343 [https://peps.python.org/pep-0343/]. I’ll look at this new statement in the following section.

Another even more esoteric effect of this change: previously, the gi_frame attribute of a generator was always a frame object. It’s now possible for gi_frame to be None once the generator has been exhausted.

Ver também

PEP 342 [https://peps.python.org/pep-0342/] - Corrotinas via Geradores Aprimorados

PEP written by Guido van Rossum and Phillip J. Eby; implemented by Phillip J. Eby. Includes examples of some fancier uses of generators as coroutines.

Earlier versions of these features were proposed in PEP 288 [https://peps.python.org/pep-0288/] by Raymond Hettinger and PEP 325 [https://peps.python.org/pep-0325/] by Samuele Pedroni.

https://en.wikipedia.org/wiki/Coroutine

The Wikipedia entry for coroutines.

https://web.archive.org/web/20160321211320/http://www.sidhe.org/~dan/blog/archives/000178.html

An explanation of coroutines from a Perl point of view, written by Dan Sugalski.

PEP 343: The ‘with’ statement

The ‘with’ statement clarifies code that previously would use try...finally blocks to ensure that clean-up code is executed. In this section, I’ll discuss the statement as it will commonly be used. In the next section, I’ll examine the implementation details and show how to write objects for use with this statement.

The ‘with’ statement is a new control-flow structure whose basic structure is:

with expression [as variable]:
    with-block

The expression is evaluated, and it should result in an object that supports the context management protocol (that is, has __enter__() and __exit__() methods.

The object’s __enter__() is called before with-block is executed and therefore can run set-up code. It also may return a value that is bound to the name variable, if given. (Note carefully that variable is not assigned the result of expression.)

After execution of the with-block is finished, the object’s __exit__() method is called, even if the block raised an exception, and can therefore run clean-up code.

To enable the statement in Python 2.5, you need to add the following directive to your module:

from __future__ import with_statement

The statement will always be enabled in Python 2.6.

Some standard Python objects now support the context management protocol and can be used with the ‘with’ statement. File objects are one example:

with open('/etc/passwd', 'r') as f:
    for line in f:
        print line
        ... more processing code ...

After this statement has executed, the file object in f will have been automatically closed, even if the for loop raised an exception part-way through the block.

Nota

In this case, f is the same object created by open(), because __enter__() returns self.

As travas e variáveis ​​de condição do módulo threading também oferecem suporte à instrução ‘with’:

lock = threading.Lock()
with lock:
    # Critical section of code
    ...

The lock is acquired before the block is executed and always released once the block is complete.

The new localcontext() function in the decimal module makes it easy to save and restore the current decimal context, which encapsulates the desired precision and rounding characteristics for computations:

from decimal import Decimal, Context, localcontext

# Displays with default precision of 28 digits
v = Decimal('578')
print v.sqrt()

with localcontext(Context(prec=16)):
    # All code in this block uses a precision of 16 digits.
    # The original context is restored on exiting the block.
    print v.sqrt()

Writing Context Managers

Under the hood, the ‘with’ statement is fairly complicated. Most people will only use ‘with’ in company with existing objects and don’t need to know these details, so you can skip the rest of this section if you like. Authors of new objects will need to understand the details of the underlying implementation and should keep reading.

A high-level explanation of the context management protocol is:

The expression is evaluated and should result in an object called a “context manager”. The context manager must have __enter__() and __exit__() methods.

The context manager’s __enter__() method is called. The value returned is assigned to VAR. If no 'as VAR' clause is present, the value is simply discarded.

The code in BLOCK is executed.

If BLOCK raises an exception, the __exit__(type, value, traceback) is called with the exception details, the same values returned by sys.exc_info(). The method’s return value controls whether the exception is re-raised: any false value re-raises the exception, and True will result in suppressing it. You’ll only rarely want to suppress the exception, because if you do the author of the code containing the ‘with’ statement will never realize anything went wrong.

If BLOCK didn’t raise an exception, the __exit__() method is still called, but type, value, and traceback are all None.

Let’s think through an example. I won’t present detailed code but will only sketch the methods necessary for a database that supports transactions.

(For people unfamiliar with database terminology: a set of changes to the database are grouped into a transaction. Transactions can be either committed, meaning that all the changes are written into the database, or rolled back, meaning that the changes are all discarded and the database is unchanged. See any database textbook for more information.)

Vamos supor que exista um objeto representando uma conexão com o banco de dados. Nosso objetivo será permitir que o usuário escreva código como este:

db_connection = DatabaseConnection()
with db_connection as cursor:
    cursor.execute('insert into ...')
    cursor.execute('delete from ...')
    # ... more operations ...

A transação deverá ser confirmada se o código no bloco funcionar perfeitamente ou revertida se houver uma exceção. Aqui está a interface básica para DatabaseConnection que presumirei:

class DatabaseConnection:
    # Database interface
    def cursor (self):
        "Returns a cursor object and starts a new transaction"
    def commit (self):
        "Commits current transaction"
    def rollback (self):
        "Rolls back current transaction"

The __enter__() method is pretty easy, having only to start a new transaction. For this application the resulting cursor object would be a useful result, so the method will return it. The user can then add as cursor to their ‘with’ statement to bind the cursor to a variable name.

class DatabaseConnection:
    ...
    def __enter__ (self):
        # Code to start a new transaction
        cursor = self.cursor()
        return cursor

The __exit__() method is the most complicated because it’s where most of the work has to be done. The method has to check if an exception occurred. If there was no exception, the transaction is committed. The transaction is rolled back if there was an exception.

In the code below, execution will just fall off the end of the function, returning the default value of None. None is false, so the exception will be re-raised automatically. If you wished, you could be more explicit and add a return statement at the marked location.

class DatabaseConnection:
    ...
    def __exit__ (self, type, value, tb):
        if tb is None:
            # No exception, so commit
            self.commit()
        else:
            # Exception occurred, so rollback.
            self.rollback()
            # return False

The contextlib module

The new contextlib module provides some functions and a decorator that are useful for writing objects for use with the ‘with’ statement.

The decorator is called contextmanager(), and lets you write a single generator function instead of defining a new class. The generator should yield exactly one value. The code up to the yield will be executed as the __enter__() method, and the value yielded will be the method’s return value that will get bound to the variable in the ‘with’ statement’s as clause, if any. The code after the yield will be executed in the __exit__() method. Any exception raised in the block will be raised by the yield statement.

Our database example from the previous section could be written using this decorator as:

from contextlib import contextmanager

@contextmanager
def db_transaction (connection):
    cursor = connection.cursor()
    try:
        yield cursor
    except:
        connection.rollback()
        raise
    else:
        connection.commit()

db = DatabaseConnection()
with db_transaction(db) as cursor:
    ...

The contextlib module also has a nested(mgr1, mgr2, ...) function that combines a number of context managers so you don’t need to write nested ‘with’ statements. In this example, the single ‘with’ statement both starts a database transaction and acquires a thread lock:

lock = threading.Lock()
with nested (db_transaction(db), lock) as (cursor, locked):
    ...

Finally, the closing(object) function returns object so that it can be bound to a variable, and calls object.close at the end of the block.

import urllib, sys
from contextlib import closing

with closing(urllib.urlopen('http://www.yahoo.com')) as f:
    for line in f:
        sys.stdout.write(line)

Ver também

PEP 343 [https://peps.python.org/pep-0343/] - A instrução “with”

PEP written by Guido van Rossum and Nick Coghlan; implemented by Mike Bland, Guido van Rossum, and Neal Norwitz. The PEP shows the code generated for a ‘with’ statement, which can be helpful in learning how the statement works.

The documentation for the contextlib module.

PEP 352: Exceptions as New-Style Classes

Exception classes can now be new-style classes, not just classic classes, and the built-in Exception class and all the standard built-in exceptions (NameError, ValueError, etc.) are now new-style classes.

The inheritance hierarchy for exceptions has been rearranged a bit. In 2.5, the inheritance relationships are:

BaseException       # New in Python 2.5
|- KeyboardInterrupt
|- SystemExit
|- Exception
   |- (all other current built-in exceptions)

This rearrangement was done because people often want to catch all exceptions that indicate program errors. KeyboardInterrupt and SystemExit aren’t errors, though, and usually represent an explicit action such as the user hitting Control-C or code calling sys.exit(). A bare except: will catch all exceptions, so you commonly need to list KeyboardInterrupt and SystemExit in order to re-raise them. The usual pattern is:

try:
    ...
except (KeyboardInterrupt, SystemExit):
    raise
except:
    # Log error...
    # Continue running program...

In Python 2.5, you can now write except Exception to achieve the same result, catching all the exceptions that usually indicate errors but leaving KeyboardInterrupt and SystemExit alone. As in previous versions, a bare except: still catches all exceptions.

The goal for Python 3.0 is to require any class raised as an exception to derive from BaseException or some descendant of BaseException, and future releases in the Python 2.x series may begin to enforce this constraint. Therefore, I suggest you begin making all your exception classes derive from Exception now. It’s been suggested that the bare except: form should be removed in Python 3.0, but Guido van Rossum hasn’t decided whether to do this or not.

Raising of strings as exceptions, as in the statement raise "Error occurred", is deprecated in Python 2.5 and will trigger a warning. The aim is to be able to remove the string-exception feature in a few releases.

Ver também

PEP 352 [https://peps.python.org/pep-0352/] - Required Superclass for Exceptions

PEP written by Brett Cannon and Guido van Rossum; implemented by Brett Cannon.

PEP 353: Using ssize_t as the index type

A wide-ranging change to Python’s C API, using a new Py_ssize_t type definition instead of int, will permit the interpreter to handle more data on 64-bit platforms. This change doesn’t affect Python’s capacity on 32-bit platforms.

Various pieces of the Python interpreter used C’s int type to store sizes or counts; for example, the number of items in a list or tuple were stored in an int. The C compilers for most 64-bit platforms still define int as a 32-bit type, so that meant that lists could only hold up to 2**31 - 1 = 2147483647 items. (There are actually a few different programming models that 64-bit C compilers can use – see https://unix.org/version2/whatsnew/lp64_wp.html for a discussion – but the most commonly available model leaves int as 32 bits.)

A limit of 2147483647 items doesn’t really matter on a 32-bit platform because you’ll run out of memory before hitting the length limit. Each list item requires space for a pointer, which is 4 bytes, plus space for a PyObject representing the item. 2147483647*4 is already more bytes than a 32-bit address space can contain.

It’s possible to address that much memory on a 64-bit platform, however. The pointers for a list that size would only require 16 GiB of space, so it’s not unreasonable that Python programmers might construct lists that large. Therefore, the Python interpreter had to be changed to use some type other than int, and this will be a 64-bit type on 64-bit platforms. The change will cause incompatibilities on 64-bit machines, so it was deemed worth making the transition now, while the number of 64-bit users is still relatively small. (In 5 or 10 years, we may all be on 64-bit machines, and the transition would be more painful then.)

This change most strongly affects authors of C extension modules. Python strings and container types such as lists and tuples now use Py_ssize_t to store their size. Functions such as PyList_Size() now return Py_ssize_t. Code in extension modules may therefore need to have some variables changed to Py_ssize_t.

The PyArg_ParseTuple() and Py_BuildValue() functions have a new conversion code, n, for Py_ssize_t. PyArg_ParseTuple()’s s# and t# still output int by default, but you can define the macro PY_SSIZE_T_CLEAN before including Python.h to make them return Py_ssize_t.

PEP 353 [https://peps.python.org/pep-0353/] has a section on conversion guidelines that extension authors should read to learn about supporting 64-bit platforms.

Ver também

PEP 353 [https://peps.python.org/pep-0353/] - Using ssize_t as the index type

PEP written and implemented by Martin von Löwis.

PEP 357: The ‘__index__’ method

The NumPy developers had a problem that could only be solved by adding a new special method, __index__(). When using slice notation, as in [start:stop:step], the values of the start, stop, and step indexes must all be either integers or long integers. NumPy defines a variety of specialized integer types corresponding to unsigned and signed integers of 8, 16, 32, and 64 bits, but there was no way to signal that these types could be used as slice indexes.

Slicing can’t just use the existing __int__() method because that method is also used to implement coercion to integers. If slicing used __int__(), floating-point numbers would also become legal slice indexes and that’s clearly an undesirable behaviour.

Instead, a new special method called __index__() was added. It takes no arguments and returns an integer giving the slice index to use. For example:

class C:
    def __index__ (self):
        return self.value

The return value must be either a Python integer or long integer. The interpreter will check that the type returned is correct, and raises a TypeError if this requirement isn’t met.

A corresponding nb_index slot was added to the C-level PyNumberMethods structure to let C extensions implement this protocol. PyNumber_Index(obj) can be used in extension code to call the __index__() function and retrieve its result.

Ver também

PEP 357 [https://peps.python.org/pep-0357/] - Allowing Any Object to be Used for Slicing

PEP written and implemented by Travis Oliphant.

Outras mudanças na linguagem

Here are all of the changes that Python 2.5 makes to the core Python language.

The dict type has a new hook for letting subclasses provide a default value when a key isn’t contained in the dictionary. When a key isn’t found, the dictionary’s __missing__(key) method will be called. This hook is used to implement the new defaultdict class in the collections module. The following example defines a dictionary that returns zero for any missing key:

class zerodict (dict):
    def __missing__ (self, key):
        return 0

d = zerodict({1:1, 2:2})
print d[1], d[2]   # Prints 1, 2
print d[3], d[4]   # Prints 0, 0

Both 8-bit and Unicode strings have new partition(sep) and rpartition(sep) methods that simplify a common use case.

The find(S) method is often used to get an index which is then used to slice the string and obtain the pieces that are before and after the separator. partition(sep) condenses this pattern into a single method call that returns a 3-tuple containing the substring before the separator, the separator itself, and the substring after the separator. If the separator isn’t found, the first element of the tuple is the entire string and the other two elements are empty. rpartition(sep) also returns a 3-tuple but starts searching from the end of the string; the r stands for ‘reverse’.

Alguns exemplos:

>>> ('http://www.python.org').partition('://')
('http', '://', 'www.python.org')
>>> ('file:/usr/share/doc/index.html').partition('://')
('file:/usr/share/doc/index.html', '', '')
>>> (u'Subject: a quick question').partition(':')
(u'Subject', u':', u' a quick question')
>>> 'www.python.org'.rpartition('.')
('www.python', '.', 'org')
>>> 'www.python.org'.rpartition(':')
('', '', 'www.python.org')

(Implemented by Fredrik Lundh following a suggestion by Raymond Hettinger.)

The startswith() and endswith() methods of string types now accept tuples of strings to check for.

def is_image_file (filename):
    return filename.endswith(('.gif', '.jpg', '.tiff'))

(Implemented by Georg Brandl following a suggestion by Tom Lynn.)

The min() and max() built-in functions gained a key keyword parameter analogous to the key argument for sort(). This parameter supplies a function that takes a single argument and is called for every value in the list; min()/max() will return the element with the smallest/largest return value from this function. For example, to find the longest string in a list, you can do:

L = ['medium', 'longest', 'short']
# Prints 'longest'
print max(L, key=len)
# Prints 'short', because lexicographically 'short' has the largest value
print max(L)

(Contributed by Steven Bethard and Raymond Hettinger.)

Two new built-in functions, any() and all(), evaluate whether an iterator contains any true or false values. any() returns True if any value returned by the iterator is true; otherwise it will return False. all() returns True only if all of the values returned by the iterator evaluate as true. (Suggested by Guido van Rossum, and implemented by Raymond Hettinger.)

The result of a class’s __hash__() method can now be either a long integer or a regular integer. If a long integer is returned, the hash of that value is taken. In earlier versions the hash value was required to be a regular integer, but in 2.5 the id() built-in was changed to always return non-negative numbers, and users often seem to use id(self) in __hash__() methods (though this is discouraged).

ASCII is now the default encoding for modules. It’s now a syntax error if a module contains string literals with 8-bit characters but doesn’t have an encoding declaration. In Python 2.4 this triggered a warning, not a syntax error. See PEP 263 [https://peps.python.org/pep-0263/] for how to declare a module’s encoding; for example, you might add a line like this near the top of the source file:

# -*- coding: latin1 -*-

A new warning, UnicodeWarning, is triggered when you attempt to compare a Unicode string and an 8-bit string that can’t be converted to Unicode using the default ASCII encoding. The result of the comparison is false:

>>> chr(128) == unichr(128)   # Can't convert chr(128) to Unicode
__main__:1: UnicodeWarning: Unicode equal comparison failed
  to convert both arguments to Unicode - interpreting them
  as being unequal
False
>>> chr(127) == unichr(127)   # chr(127) can be converted
True

Previously this would raise a UnicodeDecodeError exception, but in 2.5 this could result in puzzling problems when accessing a dictionary. If you looked up unichr(128) and chr(128) was being used as a key, you’d get a UnicodeDecodeError exception. Other changes in 2.5 resulted in this exception being raised instead of suppressed by the code in dictobject.c that implements dictionaries.

Raising an exception for such a comparison is strictly correct, but the change might have broken code, so instead UnicodeWarning was introduced.

(Implemented by Marc-André Lemburg.)

One error that Python programmers sometimes make is forgetting to include an __init__.py module in a package directory. Debugging this mistake can be confusing, and usually requires running Python with the -v switch to log all the paths searched. In Python 2.5, a new ImportWarning warning is triggered when an import would have picked up a directory as a package but no __init__.py was found. This warning is silently ignored by default; provide the -Wd option when running the Python executable to display the warning message. (Implemented by Thomas Wouters.)

The list of base classes in a class definition can now be empty. As an example, this is now legal:

class C():
    pass

(Implemented by Brett Cannon.)

Interactive Interpreter Changes

In the interactive interpreter, quit and exit have long been strings so that new users get a somewhat helpful message when they try to quit:

>>> quit
'Use Ctrl-D (i.e. EOF) to exit.'

In Python 2.5, quit and exit are now objects that still produce string representations of themselves, but are also callable. Newbies who try quit() or exit() will now exit the interpreter as they expect. (Implemented by Georg Brandl.)

The Python executable now accepts the standard long options --help and --version; on Windows, it also accepts the /? option for displaying a help message. (Implemented by Georg Brandl.)

Otimizações

Several of the optimizations were developed at the NeedForSpeed sprint, an event held in Reykjavik, Iceland, from May 21–28 2006. The sprint focused on speed enhancements to the CPython implementation and was funded by EWT LLC with local support from CCP Games. Those optimizations added at this sprint are specially marked in the following list.

When they were introduced in Python 2.4, the built-in set and frozenset types were built on top of Python’s dictionary type. In 2.5 the internal data structure has been customized for implementing sets, and as a result sets will use a third less memory and are somewhat faster. (Implemented by Raymond Hettinger.)

The speed of some Unicode operations, such as finding substrings, string splitting, and character map encoding and decoding, has been improved. (Substring search and splitting improvements were added by Fredrik Lundh and Andrew Dalke at the NeedForSpeed sprint. Character maps were improved by Walter Dörwald and Martin von Löwis.)

The long(str, base) function is now faster on long digit strings because fewer intermediate results are calculated. The peak is for strings of around 800–1000 digits where the function is 6 times faster. (Contributed by Alan McIntyre and committed at the NeedForSpeed sprint.)

It’s now illegal to mix iterating over a file with for line in file and calling the file object’s read()/readline()/readlines() methods. Iteration uses an internal buffer and the read*() methods don’t use that buffer. Instead they would return the data following the buffer, causing the data to appear out of order. Mixing iteration and these methods will now trigger a ValueError from the read*() method. (Implemented by Thomas Wouters.)

The struct module now compiles structure format strings into an internal representation and caches this representation, yielding a 20% speedup. (Contributed by Bob Ippolito at the NeedForSpeed sprint.)

The re module got a 1 or 2% speedup by switching to Python’s allocator functions instead of the system’s malloc() and free(). (Contributed by Jack Diederich at the NeedForSpeed sprint.)

The code generator’s peephole optimizer now performs simple constant folding in expressions. If you write something like a = 2+3, the code generator will do the arithmetic and produce code corresponding to a = 5. (Proposed and implemented by Raymond Hettinger.)

Function calls are now faster because code objects now keep the most recently finished frame (a “zombie frame”) in an internal field of the code object, reusing it the next time the code object is invoked. (Original patch by Michael Hudson, modified by Armin Rigo and Richard Jones; committed at the NeedForSpeed sprint.) Frame objects are also slightly smaller, which may improve cache locality and reduce memory usage a bit. (Contributed by Neal Norwitz.)

Python’s built-in exceptions are now new-style classes, a change that speeds up instantiation considerably. Exception handling in Python 2.5 is therefore about 30% faster than in 2.4. (Contributed by Richard Jones, Georg Brandl and Sean Reifschneider at the NeedForSpeed sprint.)

Importing now caches the paths tried, recording whether they exist or not so that the interpreter makes fewer open() and stat() calls on startup. (Contributed by Martin von Löwis and Georg Brandl.)

New, Improved, and Removed Modules

The standard library received many enhancements and bug fixes in Python 2.5. Here’s a partial list of the most notable changes, sorted alphabetically by module name. Consult the Misc/NEWS file in the source tree for a more complete list of changes, or look through the SVN logs for all the details.

The audioop module now supports the a-LAW encoding, and the code for u-LAW encoding has been improved. (Contributed by Lars Immisch.)

The codecs module gained support for incremental codecs. The codec.lookup() function now returns a CodecInfo instance instead of a tuple. CodecInfo instances behave like a 4-tuple to preserve backward compatibility but also have the attributes encode, decode, incrementalencoder, incrementaldecoder, streamwriter, and streamreader. Incremental codecs can receive input and produce output in multiple chunks; the output is the same as if the entire input was fed to the non-incremental codec. See the codecs module documentation for details. (Designed and implemented by Walter Dörwald.)

The collections module gained a new type, defaultdict, that subclasses the standard dict type. The new type mostly behaves like a dictionary but constructs a default value when a key isn’t present, automatically adding it to the dictionary for the requested key value.

The first argument to defaultdict’s constructor is a factory function that gets called whenever a key is requested but not found. This factory function receives no arguments, so you can use built-in type constructors such as list() or int(). For example, you can make an index of words based on their initial letter like this:

words = """Nel mezzo del cammin di nostra vita
mi ritrovai per una selva oscura
che la diritta via era smarrita""".lower().split()

index = defaultdict(list)

for w in words:
    init_letter = w[0]
    index[init_letter].append(w)

Printing index results in the following output:

defaultdict(<type 'list'>, {'c': ['cammin', 'che'], 'e': ['era'],
        'd': ['del', 'di', 'diritta'], 'm': ['mezzo', 'mi'],
        'l': ['la'], 'o': ['oscura'], 'n': ['nel', 'nostra'],
        'p': ['per'], 's': ['selva', 'smarrita'],
        'r': ['ritrovai'], 'u': ['una'], 'v': ['vita', 'via']}

(Contributed by Guido van Rossum.)

The deque double-ended queue type supplied by the collections module now has a remove(value) method that removes the first occurrence of value in the queue, raising ValueError if the value isn’t found. (Contributed by Raymond Hettinger.)

New module: The contextlib module contains helper functions for use with the new ‘with’ statement. See section The contextlib module for more about this module.

New module: The cProfile module is a C implementation of the existing profile module that has much lower overhead. The module’s interface is the same as profile: you run cProfile.run('main()') to profile a function, can save profile data to a file, etc. It’s not yet known if the Hotshot profiler, which is also written in C but doesn’t match the profile module’s interface, will continue to be maintained in future versions of Python. (Contributed by Armin Rigo.)

Also, the pstats module for analyzing the data measured by the profiler now supports directing the output to any file object by supplying a stream argument to the Stats constructor. (Contributed by Skip Montanaro.)

The csv module, which parses files in comma-separated value format, received several enhancements and a number of bugfixes. You can now set the maximum size in bytes of a field by calling the csv.field_size_limit(new_limit) function; omitting the new_limit argument will return the currently set limit. The reader class now has a line_num attribute that counts the number of physical lines read from the source; records can span multiple physical lines, so line_num is not the same as the number of records read.

The CSV parser is now stricter about multi-line quoted fields. Previously, if a line ended within a quoted field without a terminating newline character, a newline would be inserted into the returned field. This behavior caused problems when reading files that contained carriage return characters within fields, so the code was changed to return the field without inserting newlines. As a consequence, if newlines embedded within fields are important, the input should be split into lines in a manner that preserves the newline characters.

(Contributed by Skip Montanaro and Andrew McNamara.)

The datetime class in the datetime module now has a strptime(string, format) method for parsing date strings, contributed by Josh Spoerri. It uses the same format characters as time.strptime() and time.strftime():

from datetime import datetime

ts = datetime.strptime('10:13:15 2006-03-07',
                       '%H:%M:%S %Y-%m-%d')

The SequenceMatcher.get_matching_blocks() method in the difflib module now guarantees to return a minimal list of blocks describing matching subsequences. Previously, the algorithm would occasionally break a block of matching elements into two list entries. (Enhancement by Tim Peters.)

The doctest module gained a SKIP option that keeps an example from being executed at all. This is intended for code snippets that are usage examples intended for the reader and aren’t actually test cases.

An encoding parameter was added to the testfile() function and the DocFileSuite class to specify the file’s encoding. This makes it easier to use non-ASCII characters in tests contained within a docstring. (Contributed by Bjorn Tillenius.)

The email package has been updated to version 4.0. (Contributed by Barry Warsaw.)

The fileinput module was made more flexible. Unicode filenames are now supported, and a mode parameter that defaults to "r" was added to the input() function to allow opening files in binary or universal newlines mode. Another new parameter, openhook, lets you use a function other than open() to open the input files. Once you’re iterating over the set of files, the FileInput object’s new fileno() returns the file descriptor for the currently opened file. (Contributed by Georg Brandl.)

In the gc module, the new get_count() function returns a 3-tuple containing the current collection counts for the three GC generations. This is accounting information for the garbage collector; when these counts reach a specified threshold, a garbage collection sweep will be made. The existing gc.collect() function now takes an optional generation argument of 0, 1, or 2 to specify which generation to collect. (Contributed by Barry Warsaw.)

The nsmallest() and nlargest() functions in the heapq module now support a key keyword parameter similar to the one provided by the min()/max() functions and the sort() methods. For example:

>>> import heapq
>>> L = ["short", 'medium', 'longest', 'longer still']
>>> heapq.nsmallest(2, L)  # Return two lowest elements, lexicographically
['longer still', 'longest']
>>> heapq.nsmallest(2, L, key=len)   # Return two shortest elements
['short', 'medium']

(Contributed by Raymond Hettinger.)

The itertools.islice() function now accepts None for the start and step arguments. This makes it more compatible with the attributes of slice objects, so that you can now write the following:

s = slice(5)     # Create slice object
itertools.islice(iterable, s.start, s.stop, s.step)

(Contributed by Raymond Hettinger.)

The format() function in the locale module has been modified and two new functions were added, format_string() and currency().

The format() function’s val parameter could previously be a string as long as no more than one %char specifier appeared; now the parameter must be exactly one %char specifier with no surrounding text. An optional monetary parameter was also added which, if True, will use the locale’s rules for formatting currency in placing a separator between groups of three digits.

To format strings with multiple %char specifiers, use the new format_string() function that works like format() but also supports mixing %char specifiers with arbitrary text.

A new currency() function was also added that formats a number according to the current locale’s settings.

(Contributed by Georg Brandl.)

The mailbox module underwent a massive rewrite to add the capability to modify mailboxes in addition to reading them. A new set of classes that include mbox, MH, and Maildir are used to read mailboxes, and have an add(message) method to add messages, remove(key) to remove messages, and lock()/unlock() to lock/unlock the mailbox. The following example converts a maildir-format mailbox into an mbox-format one:

import mailbox

# 'factory=None' uses email.Message.Message as the class representing
# individual messages.
src = mailbox.Maildir('maildir', factory=None)
dest = mailbox.mbox('/tmp/mbox')

for msg in src:
    dest.add(msg)

(Contributed by Gregory K. Johnson. Funding was provided by Google’s 2005 Summer of Code.)

New module: the msilib module allows creating Microsoft Installer .msi files and CAB files. Some support for reading the .msi database is also included. (Contributed by Martin von Löwis.)

The nis module now supports accessing domains other than the system default domain by supplying a domain argument to the nis.match() and nis.maps() functions. (Contributed by Ben Bell.)

The operator module’s itemgetter() and attrgetter() functions now support multiple fields. A call such as operator.attrgetter('a', 'b') will return a function that retrieves the a and b attributes. Combining this new feature with the sort() method’s key parameter lets you easily sort lists using multiple fields. (Contributed by Raymond Hettinger.)

The optparse module was updated to version 1.5.1 of the Optik library. The OptionParser class gained an epilog attribute, a string that will be printed after the help message, and a destroy() method to break reference cycles created by the object. (Contributed by Greg Ward.)

The os module underwent several changes. The stat_float_times variable now defaults to true, meaning that os.stat() will now return time values as floats. (This doesn’t necessarily mean that os.stat() will return times that are precise to fractions of a second; not all systems support such precision.)

Constants named os.SEEK_SET, os.SEEK_CUR, and os.SEEK_END have been added; these are the parameters to the os.lseek() function. Two new constants for locking are os.O_SHLOCK and os.O_EXLOCK.

Two new functions, wait3() and wait4(), were added. They’re similar the waitpid() function which waits for a child process to exit and returns a tuple of the process ID and its exit status, but wait3() and wait4() return additional information. wait3() doesn’t take a process ID as input, so it waits for any child process to exit and returns a 3-tuple of process-id, exit-status, resource-usage as returned from the resource.getrusage() function. wait4(pid) does take a process ID. (Contributed by Chad J. Schroeder.)

On FreeBSD, the os.stat() function now returns times with nanosecond resolution, and the returned object now has st_gen and st_birthtime. The st_flags attribute is also available, if the platform supports it. (Contributed by Antti Louko and Diego Pettenò.)

The Python debugger provided by the pdb module can now store lists of commands to execute when a breakpoint is reached and execution stops. Once breakpoint #1 has been created, enter commands 1 and enter a series of commands to be executed, finishing the list with end. The command list can include commands that resume execution, such as continue or next. (Contributed by Grégoire Dooms.)

The pickle and cPickle modules no longer accept a return value of None from the __reduce__() method; the method must return a tuple of arguments instead. The ability to return None was deprecated in Python 2.4, so this completes the removal of the feature.

The pkgutil module, containing various utility functions for finding packages, was enhanced to support PEP 302 [https://peps.python.org/pep-0302/]’s import hooks and now also works for packages stored in ZIP-format archives. (Contributed by Phillip J. Eby.)

The pybench benchmark suite by Marc-André Lemburg is now included in the Tools/pybench directory. The pybench suite is an improvement on the commonly used pystone.py program because pybench provides a more detailed measurement of the interpreter’s speed. It times particular operations such as function calls, tuple slicing, method lookups, and numeric operations, instead of performing many different operations and reducing the result to a single number as pystone.py does.

The pyexpat module now uses version 2.0 of the Expat parser. (Contributed by Trent Mick.)

The Queue class provided by the Queue module gained two new methods. join() blocks until all items in the queue have been retrieved and all processing work on the items have been completed. Worker threads call the other new method, task_done(), to signal that processing for an item has been completed. (Contributed by Raymond Hettinger.)

The old regex and regsub modules, which have been deprecated ever since Python 2.0, have finally been deleted. Other deleted modules: statcache, tzparse, whrandom.

Also deleted: the lib-old directory, which includes ancient modules such as dircmp and ni, was removed. lib-old wasn’t on the default sys.path, so unless your programs explicitly added the directory to sys.path, this removal shouldn’t affect your code.

The rlcompleter module is no longer dependent on importing the readline module and therefore now works on non-Unix platforms. (Patch from Robert Kiendl.)

The SimpleXMLRPCServer and DocXMLRPCServer classes now have a rpc_paths attribute that constrains XML-RPC operations to a limited set of URL paths; the default is to allow only '/' and '/RPC2'. Setting rpc_paths to None or an empty tuple disables this path checking.

The socket module now supports AF_NETLINK sockets on Linux, thanks to a patch from Philippe Biondi. Netlink sockets are a Linux-specific mechanism for communications between a user-space process and kernel code; an introductory article about them is at https://www.linuxjournal.com/article/7356. In Python code, netlink addresses are represented as a tuple of 2 integers, (pid, group_mask).

Two new methods on socket objects, recv_into(buffer) and recvfrom_into(buffer), store the received data in an object that supports the buffer protocol instead of returning the data as a string. This means you can put the data directly into an array or a memory-mapped file.

Socket objects also gained getfamily(), gettype(), and getproto() accessor methods to retrieve the family, type, and protocol values for the socket.

New module: the spwd module provides functions for accessing the shadow password database on systems that support shadow passwords.

The struct is now faster because it compiles format strings into Struct objects with pack() and unpack() methods. This is similar to how the re module lets you create compiled regular expression objects. You can still use the module-level pack() and unpack() functions; they’ll create Struct objects and cache them. Or you can use Struct instances directly:

s = struct.Struct('ih3s')

data = s.pack(1972, 187, 'abc')
year, number, name = s.unpack(data)

You can also pack and unpack data to and from buffer objects directly using the pack_into(buffer, offset, v1, v2, ...) and unpack_from(buffer, offset) methods. This lets you store data directly into an array or a memory-mapped file.

(Struct objects were implemented by Bob Ippolito at the NeedForSpeed sprint. Support for buffer objects was added by Martin Blais, also at the NeedForSpeed sprint.)

The Python developers switched from CVS to Subversion during the 2.5 development process. Information about the exact build version is available as the sys.subversion variable, a 3-tuple of (interpreter-name, branch-name, revision-range). For example, at the time of writing my copy of 2.5 was reporting ('CPython', 'trunk', '45313:45315').

This information is also available to C extensions via the Py_GetBuildInfo() function that returns a string of build information like this: "trunk:45355:45356M, Apr 13 2006, 07:42:19". (Contributed by Barry Warsaw.)

Another new function, sys._current_frames(), returns the current stack frames for all running threads as a dictionary mapping thread identifiers to the topmost stack frame currently active in that thread at the time the function is called. (Contributed by Tim Peters.)

The TarFile class in the tarfile module now has an extractall() method that extracts all members from the archive into the current working directory. It’s also possible to set a different directory as the extraction target, and to unpack only a subset of the archive’s members.

The compression used for a tarfile opened in stream mode can now be autodetected using the mode 'r|*'. (Contributed by Lars Gustäbel.)

The threading module now lets you set the stack size used when new threads are created. The stack_size([*size*]) function returns the currently configured stack size, and supplying the optional size parameter sets a new value. Not all platforms support changing the stack size, but Windows, POSIX threading, and OS/2 all do. (Contributed by Andrew MacIntyre.)

The unicodedata module has been updated to use version 4.1.0 of the Unicode character database. Version 3.2.0 is required by some specifications, so it’s still available as unicodedata.ucd_3_2_0.

New module: the uuid module generates universally unique identifiers (UUIDs) according to RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html]. The RFC defines several different UUID versions that are generated from a starting string, from system properties, or purely randomly. This module contains a UUID class and functions named uuid1(), uuid3(), uuid4(), and uuid5() to generate different versions of UUID. (Version 2 UUIDs are not specified in RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html] and are not supported by this module.)

>>> import uuid
>>> # make a UUID based on the host ID and current time
>>> uuid.uuid1()
UUID('a8098c1a-f86e-11da-bd1a-00112444be1e')

>>> # make a UUID using an MD5 hash of a namespace UUID and a name
>>> uuid.uuid3(uuid.NAMESPACE_DNS, 'python.org')
UUID('6fa459ea-ee8a-3ca4-894e-db77e160355e')

>>> # make a random UUID
>>> uuid.uuid4()
UUID('16fd2706-8baf-433b-82eb-8c7fada847da')

>>> # make a UUID using a SHA-1 hash of a namespace UUID and a name
>>> uuid.uuid5(uuid.NAMESPACE_DNS, 'python.org')
UUID('886313e1-3b8a-5372-9b90-0c9aee199e5d')

(Contributed by Ka-Ping Yee.)

The weakref module’s WeakKeyDictionary and WeakValueDictionary types gained new methods for iterating over the weak references contained in the dictionary. iterkeyrefs() and keyrefs() methods were added to WeakKeyDictionary, and itervaluerefs() and valuerefs() were added to WeakValueDictionary. (Contributed by Fred L. Drake, Jr.)

The webbrowser module received a number of enhancements. It’s now usable as a script with python -m webbrowser, taking a URL as the argument; there are a number of switches to control the behaviour (-n for a new browser window, -t for a new tab). New module-level functions, open_new() and open_new_tab(), were added to support this. The module’s open() function supports an additional feature, an autoraise parameter that signals whether to raise the open window when possible. A number of additional browsers were added to the supported list such as Firefox, Opera, Konqueror, and elinks. (Contributed by Oleg Broytmann and Georg Brandl.)

The xmlrpclib module now supports returning datetime objects for the XML-RPC date type. Supply use_datetime=True to the loads() function or the Unmarshaller class to enable this feature. (Contributed by Skip Montanaro.)

The zipfile module now supports the ZIP64 version of the format, meaning that a .zip archive can now be larger than 4 GiB and can contain individual files larger than 4 GiB. (Contributed by Ronald Oussoren.)

The zlib module’s Compress and Decompress objects now support a copy() method that makes a copy of the object’s internal state and returns a new Compress or Decompress object. (Contributed by Chris AtLee.)

The ctypes package

The ctypes package, written by Thomas Heller, has been added to the standard library. ctypes lets you call arbitrary functions in shared libraries or DLLs. Long-time users may remember the dl module, which provides functions for loading shared libraries and calling functions in them. The ctypes package is much fancier.

To load a shared library or DLL, you must create an instance of the CDLL class and provide the name or path of the shared library or DLL. Once that’s done, you can call arbitrary functions by accessing them as attributes of the CDLL object.

import ctypes

libc = ctypes.CDLL('libc.so.6')
result = libc.printf("Line of output\n")

Type constructors for the various C types are provided: c_int(), c_float(), c_double(), c_char_p() (equivalent to char*), and so forth. Unlike Python’s types, the C versions are all mutable; you can assign to their value attribute to change the wrapped value. Python integers and strings will be automatically converted to the corresponding C types, but for other types you must call the correct type constructor. (And I mean must; getting it wrong will often result in the interpreter crashing with a segmentation fault.)

You shouldn’t use c_char_p() with a Python string when the C function will be modifying the memory area, because Python strings are supposed to be immutable; breaking this rule will cause puzzling bugs. When you need a modifiable memory area, use create_string_buffer():

s = "this is a string"
buf = ctypes.create_string_buffer(s)
libc.strfry(buf)

C functions are assumed to return integers, but you can set the restype attribute of the function object to change this:

>>> libc.atof('2.71828')
-1783957616
>>> libc.atof.restype = ctypes.c_double
>>> libc.atof('2.71828')
2.71828

ctypes also provides a wrapper for Python’s C API as the ctypes.pythonapi object. This object does not release the global interpreter lock before calling a function, because the lock must be held when calling into the interpreter’s code. There’s a py_object type constructor that will create a PyObject* pointer. A simple usage:

import ctypes

d = {}
ctypes.pythonapi.PyObject_SetItem(ctypes.py_object(d),
          ctypes.py_object("abc"),  ctypes.py_object(1))
# d is now {'abc', 1}.

Don’t forget to use py_object(); if it’s omitted you end up with a segmentation fault.

ctypes has been around for a while, but people still write and distribution hand-coded extension modules because you can’t rely on ctypes being present. Perhaps developers will begin to write Python wrappers atop a library accessed through ctypes instead of extension modules, now that ctypes is included with core Python.

Ver também

https://web.archive.org/web/20180410025338/http://starship.python.net/crew/theller/ctypes/

The pre-stdlib ctypes web page, with a tutorial, reference, and FAQ.

The documentation for the ctypes module.

The ElementTree package

A subset of Fredrik Lundh’s ElementTree library for processing XML has been added to the standard library as xml.etree. The available modules are ElementTree, ElementPath, and ElementInclude from ElementTree 1.2.6. The cElementTree accelerator module is also included.

The rest of this section will provide a brief overview of using ElementTree. Full documentation for ElementTree is available at https://web.archive.org/web/20201124024954/http://effbot.org/zone/element-index.htm.

ElementTree represents an XML document as a tree of element nodes. The text content of the document is stored as the text and tail attributes of (This is one of the major differences between ElementTree and the Document Object Model; in the DOM there are many different types of node, including TextNode.)

The most commonly used parsing function is parse(), that takes either a string (assumed to contain a filename) or a file-like object and returns an ElementTree instance:

from xml.etree import ElementTree as ET

tree = ET.parse('ex-1.xml')

feed = urllib.urlopen(
          'http://planet.python.org/rss10.xml')
tree = ET.parse(feed)

Once you have an ElementTree instance, you can call its getroot() method to get the root Element node.

There’s also an XML() function that takes a string literal and returns an Element node (not an ElementTree). This function provides a tidy way to incorporate XML fragments, approaching the convenience of an XML literal:

svg = ET.XML("""<svg width="10px" version="1.0">
             </svg>""")
svg.set('height', '320px')
svg.append(elem1)

Each XML element supports some dictionary-like and some list-like access methods. Dictionary-like operations are used to access attribute values, and list-like operations are used to access child nodes.

Operação

Resultado

elem[n]

Returns n’th child element.

elem[m:n]

Returns list of m’th through n’th child elements.

len(elem)

Returns number of child elements.

list(elem)

Returns list of child elements.

elem.append(elem2)

Adds elem2 as a child.

elem.insert(index, elem2)

Inserts elem2 at the specified location.

del elem[n]

Deletes n’th child element.

elem.keys()

Returns list of attribute names.

elem.get(name)

Returns value of attribute name.

elem.set(name, value)

Sets new value for attribute name.

elem.attrib

Retrieves the dictionary containing attributes.

del elem.attrib[name]

Deletes attribute name.

Comments and processing instructions are also represented as Element nodes. To check if a node is a comment or processing instructions:

if elem.tag is ET.Comment:
    ...
elif elem.tag is ET.ProcessingInstruction:
    ...

To generate XML output, you should call the ElementTree.write() method. Like parse(), it can take either a string or a file-like object:

# Encoding is US-ASCII
tree.write('output.xml')

# Encoding is UTF-8
f = open('output.xml', 'w')
tree.write(f, encoding='utf-8')

(Caution: the default encoding used for output is ASCII. For general XML work, where an element’s name may contain arbitrary Unicode characters, ASCII isn’t a very useful encoding because it will raise an exception if an element’s name contains any characters with values greater than 127. Therefore, it’s best to specify a different encoding such as UTF-8 that can handle any Unicode character.)

This section is only a partial description of the ElementTree interfaces. Please read the package’s official documentation for more details.

Ver também

https://web.archive.org/web/20201124024954/http://effbot.org/zone/element-index.htm

Official documentation for ElementTree.

The hashlib package

A new hashlib module, written by Gregory P. Smith, has been added to replace the md5 and sha modules. hashlib adds support for additional secure hashes (SHA-224, SHA-256, SHA-384, and SHA-512). When available, the module uses OpenSSL for fast platform optimized implementations of algorithms.

The old md5 and sha modules still exist as wrappers around hashlib to preserve backwards compatibility. The new module’s interface is very close to that of the old modules, but not identical. The most significant difference is that the constructor functions for creating new hashing objects are named differently.

# Old versions
h = md5.md5()
h = md5.new()

# New version
h = hashlib.md5()

# Old versions
h = sha.sha()
h = sha.new()

# New version
h = hashlib.sha1()

# Hash that weren't previously available
h = hashlib.sha224()
h = hashlib.sha256()
h = hashlib.sha384()
h = hashlib.sha512()

# Alternative form
h = hashlib.new('md5')          # Provide algorithm as a string

Once a hash object has been created, its methods are the same as before: update(string) hashes the specified string into the current digest state, digest() and hexdigest() return the digest value as a binary string or a string of hex digits, and copy() returns a new hashing object with the same digest state.

Ver também

The documentation for the hashlib module.

The sqlite3 package

The pysqlite module (https://www.pysqlite.org), a wrapper for the SQLite embedded database, has been added to the standard library under the package name sqlite3.

SQLite é uma biblioteca C que fornece um banco de dados leve baseado em disco que não requer um processo de servidor separado e permite acessar o banco de dados usando uma variante não padrão da linguagem de consulta SQL. Algumas aplicações podem usar SQLite para armazenamento interno de dados. Também é possível prototipar um aplicativo usando SQLite e, em seguida, portar o código para um banco de dados maior, como PostgreSQL ou Oracle.

pysqlite was written by Gerhard Häring and provides a SQL interface compliant with the DB-API 2.0 specification described by PEP 249 [https://peps.python.org/pep-0249/].

If you’re compiling the Python source yourself, note that the source tree doesn’t include the SQLite code, only the wrapper module. You’ll need to have the SQLite libraries and headers installed before compiling Python, and the build process will compile the module when the necessary headers are available.

To use the module, you must first create a Connection object that represents the database. Here the data will be stored in the /tmp/example file:

conn = sqlite3.connect('/tmp/example')

You can also supply the special name :memory: to create a database in RAM.

Once you have a Connection, you can create a Cursor object and call its execute() method to perform SQL commands:

c = conn.cursor()

# Create table
c.execute('''create table stocks
(date text, trans text, symbol text,
 qty real, price real)''')

# Insert a row of data
c.execute("""insert into stocks
          values ('2006-01-05','BUY','RHAT',100,35.14)""")

Usually your SQL operations will need to use values from Python variables. You shouldn’t assemble your query using Python’s string operations because doing so is insecure; it makes your program vulnerable to an SQL injection attack.

Instead, use the DB-API’s parameter substitution. Put ? as a placeholder wherever you want to use a value, and then provide a tuple of values as the second argument to the cursor’s execute() method. (Other database modules may use a different placeholder, such as %s or :1.) For example:

# Never do this -- insecure!
symbol = 'IBM'
c.execute("... where symbol = '%s'" % symbol)

# Do this instead
t = (symbol,)
c.execute('select * from stocks where symbol=?', t)

# Larger example
for t in (('2006-03-28', 'BUY', 'IBM', 1000, 45.00),
          ('2006-04-05', 'BUY', 'MSOFT', 1000, 72.00),
          ('2006-04-06', 'SELL', 'IBM', 500, 53.00),
         ):
    c.execute('insert into stocks values (?,?,?,?,?)', t)

To retrieve data after executing a SELECT statement, you can either treat the cursor as an iterator, call the cursor’s fetchone() method to retrieve a single matching row, or call fetchall() to get a list of the matching rows.

This example uses the iterator form:

>>> c = conn.cursor()
>>> c.execute('select * from stocks order by price')
>>> for row in c:
...    print row
...
(u'2006-01-05', u'BUY', u'RHAT', 100, 35.140000000000001)
(u'2006-03-28', u'BUY', u'IBM', 1000, 45.0)
(u'2006-04-06', u'SELL', u'IBM', 500, 53.0)
(u'2006-04-05', u'BUY', u'MSOFT', 1000, 72.0)
>>>

For more information about the SQL dialect supported by SQLite, see https://www.sqlite.org.

Ver também

https://www.pysqlite.org

The pysqlite web page.

https://www.sqlite.org

A página web do SQLite; a documentação descreve a sintaxe e os tipos de dados disponíveis para o dialeto SQL suportado.

The documentation for the sqlite3 module.

PEP 249 [https://peps.python.org/pep-0249/] - Especificação 2.0 da API de banco de dados

PEP escrita por Marc-André Lemburg.

The wsgiref package

The Web Server Gateway Interface (WSGI) v1.0 defines a standard interface between web servers and Python web applications and is described in PEP 333 [https://peps.python.org/pep-0333/]. The wsgiref package is a reference implementation of the WSGI specification.

The package includes a basic HTTP server that will run a WSGI application; this server is useful for debugging but isn’t intended for production use. Setting up a server takes only a few lines of code:

from wsgiref import simple_server

wsgi_app = ...

host = ''
port = 8000
httpd = simple_server.make_server(host, port, wsgi_app)
httpd.serve_forever()

Ver também

https://web.archive.org/web/20160331090247/http://wsgi.readthedocs.org/en/latest/

A central web site for WSGI-related resources.

PEP 333 [https://peps.python.org/pep-0333/] - Python Web Server Gateway Interface v1.0

PEP written by Phillip J. Eby.

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

The Python source tree was converted from CVS to Subversion, in a complex migration procedure that was supervised and flawlessly carried out by Martin von Löwis. The procedure was developed as PEP 347 [https://peps.python.org/pep-0347/].

Coverity, a company that markets a source code analysis tool called Prevent, provided the results of their examination of the Python source code. The analysis found about 60 bugs that were quickly fixed. Many of the bugs were refcounting problems, often occurring in error-handling code. See https://scan.coverity.com for the statistics.

The largest change to the C API came from PEP 353 [https://peps.python.org/pep-0353/], which modifies the interpreter to use a Py_ssize_t type definition instead of int. See the earlier section PEP 353: Using ssize_t as the index type for a discussion of this change.

The design of the bytecode compiler has changed a great deal, no longer generating bytecode by traversing the parse tree. Instead the parse tree is converted to an abstract syntax tree (or AST), and it is the abstract syntax tree that’s traversed to produce the bytecode.

It’s possible for Python code to obtain AST objects by using the compile() built-in and specifying _ast.PyCF_ONLY_AST as the value of the flags parameter:

from _ast import PyCF_ONLY_AST
ast = compile("""a=0
for i in range(10):
    a += i
""", "<string>", 'exec', PyCF_ONLY_AST)

assignment = ast.body[0]
for_loop = ast.body[1]

No official documentation has been written for the AST code yet, but PEP 339 [https://peps.python.org/pep-0339/] discusses the design. To start learning about the code, read the definition of the various AST nodes in Parser/Python.asdl. A Python script reads this file and generates a set of C structure definitions in Include/Python-ast.h. The PyParser_ASTFromString() and PyParser_ASTFromFile(), defined in Include/pythonrun.h, take Python source as input and return the root of an AST representing the contents. This AST can then be turned into a code object by PyAST_Compile(). For more information, read the source code, and then ask questions on python-dev.

The AST code was developed under Jeremy Hylton’s management, and implemented by (in alphabetical order) Brett Cannon, Nick Coghlan, Grant Edwards, John Ehresman, Kurt Kaiser, Neal Norwitz, Tim Peters, Armin Rigo, and Neil Schemenauer, plus the participants in a number of AST sprints at conferences such as PyCon.

Evan Jones’s patch to obmalloc, first described in a talk at PyCon DC 2005, was applied. Python 2.4 allocated small objects in 256K-sized arenas, but never freed arenas. With this patch, Python will free arenas when they’re empty. The net effect is that on some platforms, when you allocate many objects, Python’s memory usage may actually drop when you delete them and the memory may be returned to the operating system. (Implemented by Evan Jones, and reworked by Tim Peters.)

Note that this change means extension modules must be more careful when allocating memory. Python’s API has many different functions for allocating memory that are grouped into families. For example, PyMem_Malloc(), PyMem_Realloc(), and PyMem_Free() are one family that allocates raw memory, while PyObject_Malloc(), PyObject_Realloc(), and PyObject_Free() are another family that’s supposed to be used for creating Python objects.

Previously these different families all reduced to the platform’s malloc() and free() functions. This meant it didn’t matter if you got things wrong and allocated memory with the PyMem function but freed it with the PyObject function. With 2.5’s changes to obmalloc, these families now do different things and mismatches will probably result in a segfault. You should carefully test your C extension modules with Python 2.5.

The built-in set types now have an official C API. Call PySet_New() and PyFrozenSet_New() to create a new set, PySet_Add() and PySet_Discard() to add and remove elements, and PySet_Contains() and PySet_Size() to examine the set’s state. (Contributed by Raymond Hettinger.)

C code can now obtain information about the exact revision of the Python interpreter by calling the Py_GetBuildInfo() function that returns a string of build information like this: "trunk:45355:45356M, Apr 13 2006, 07:42:19". (Contributed by Barry Warsaw.)

Two new macros can be used to indicate C functions that are local to the current file so that a faster calling convention can be used. Py_LOCAL(type) declares the function as returning a value of the specified type and uses a fast-calling qualifier. Py_LOCAL_INLINE(type) does the same thing and also requests the function be inlined. If macro PY_LOCAL_AGGRESSIVE is defined before python.h is included, a set of more aggressive optimizations are enabled for the module; you should benchmark the results to find out if these optimizations actually make the code faster. (Contributed by Fredrik Lundh at the NeedForSpeed sprint.)

PyErr_NewException(name, base, dict) can now accept a tuple of base classes as its base argument. (Contributed by Georg Brandl.)

The PyErr_Warn() function for issuing warnings is now deprecated in favour of PyErr_WarnEx(category, message, stacklevel) which lets you specify the number of stack frames separating this function and the caller. A stacklevel of 1 is the function calling PyErr_WarnEx(), 2 is the function above that, and so forth. (Added by Neal Norwitz.)

The CPython interpreter is still written in C, but the code can now be compiled with a C++ compiler without errors. (Implemented by Anthony Baxter, Martin von Löwis, Skip Montanaro.)

The PyRange_New() function was removed. It was never documented, never used in the core code, and had dangerously lax error checking. In the unlikely case that your extensions were using it, you can replace it by something like the following:

range = PyObject_CallFunction((PyObject*) &PyRange_Type, "lll",
                              start, stop, step);

Port-Specific Changes

MacOS X (10.3 and higher): dynamic loading of modules now uses the dlopen() function instead of MacOS-specific functions.

MacOS X: an --enable-universalsdk switch was added to the configure script that compiles the interpreter as a universal binary able to run on both PowerPC and Intel processors. (Contributed by Ronald Oussoren; bpo-2573 [https://bugs.python.org/issue?@action=redirect&bpo=2573].)

Windows: .dll is no longer supported as a filename extension for extension modules. .pyd is now the only filename extension that will be searched for.

Porting to Python 2.5

This section lists previously described changes that may require changes to your code:

ASCII is now the default encoding for modules. It’s now a syntax error if a module contains string literals with 8-bit characters but doesn’t have an encoding declaration. In Python 2.4 this triggered a warning, not a syntax error.

Previously, the gi_frame attribute of a generator was always a frame object. Because of the PEP 342 [https://peps.python.org/pep-0342/] changes described in section PEP 342: New Generator Features, it’s now possible for gi_frame to be None.

A new warning, UnicodeWarning, is triggered when you attempt to compare a Unicode string and an 8-bit string that can’t be converted to Unicode using the default ASCII encoding. Previously such comparisons would raise a UnicodeDecodeError exception.

Library: the csv module is now stricter about multi-line quoted fields. If your files contain newlines embedded within fields, the input should be split into lines in a manner which preserves the newline characters.

Library: the locale module’s format() function’s would previously accept any string as long as no more than one %char specifier appeared. In Python 2.5, the argument must be exactly one %char specifier with no surrounding text.

Library: The pickle and cPickle modules no longer accept a return value of None from the __reduce__() method; the method must return a tuple of arguments instead. The modules also no longer accept the deprecated bin keyword parameter.

Library: The SimpleXMLRPCServer and DocXMLRPCServer classes now have a rpc_paths attribute that constrains XML-RPC operations to a limited set of URL paths; the default is to allow only '/' and '/RPC2'. Setting rpc_paths to None or an empty tuple disables this path checking.

C API: Many functions now use Py_ssize_t instead of int to allow processing more data on 64-bit machines. Extension code may need to make the same change to avoid warnings and to support 64-bit machines. See the earlier section PEP 353: Using ssize_t as the index type for a discussion of this change.

C API: The obmalloc changes mean that you must be careful to not mix usage of the PyMem_* and PyObject_* families of functions. Memory allocated with one family’s *_Malloc must be freed with the corresponding family’s *_Free function.

Reconhecimentos

The author would like to thank the following people for offering suggestions, corrections and assistance with various drafts of this article: Georg Brandl, Nick Coghlan, Phillip J. Eby, Lars Gustäbel, Raymond Hettinger, Ralf W. Grosse-Kunstleve, Kent Johnson, Iain Lowe, Martin von Löwis, Fredrik Lundh, Andrew McNamara, Skip Montanaro, Gustavo Niemeyer, Paul Prescod, James Pryor, Mike Rovner, Scott Weikart, Barry Warsaw, Thomas Wouters.

What’s New in Python 2.4

Autor:

A.M. Kuchling

This article explains the new features in Python 2.4.1, released on March 30, 2005.

Python 2.4 is a medium-sized release. It doesn’t introduce as many changes as the radical Python 2.2, but introduces more features than the conservative 2.3 release. The most significant new language features are function decorators and generator expressions; most other changes are to the standard library.

According to the CVS change logs, there were 481 patches applied and 502 bugs fixed between Python 2.3 and 2.4. Both figures are likely to be underestimates.

This article doesn’t attempt to provide a complete specification of every single new feature, but instead provides a brief introduction to each feature. For full details, you should refer to the documentation for Python 2.4, such as the Python Library Reference and the Python Reference Manual. Often you will be referred to the PEP for a particular new feature for explanations of the implementation and design rationale.

PEP 218: Built-In Set Objects

Python 2.3 introduced the sets module. C implementations of set data types have now been added to the Python core as two new built-in types, set(iterable) and frozenset(iterable). They provide high speed operations for membership testing, for eliminating duplicates from sequences, and for mathematical operations like unions, intersections, differences, and symmetric differences.

>>> a = set('abracadabra')              # form a set from a string
>>> 'z' in a                            # fast membership testing
False
>>> a                                   # unique letters in a
set(['a', 'r', 'b', 'c', 'd'])
>>> ''.join(a)                          # convert back into a string
'arbcd'

>>> b = set('alacazam')                 # form a second set
>>> a - b                               # letters in a but not in b
set(['r', 'd', 'b'])
>>> a | b                               # letters in either a or b
set(['a', 'c', 'r', 'd', 'b', 'm', 'z', 'l'])
>>> a & b                               # letters in both a and b
set(['a', 'c'])
>>> a ^ b                               # letters in a or b but not both
set(['r', 'd', 'b', 'm', 'z', 'l'])

>>> a.add('z')                          # add a new element
>>> a.update('wxy')                     # add multiple new elements
>>> a
set(['a', 'c', 'b', 'd', 'r', 'w', 'y', 'x', 'z'])
>>> a.remove('x')                       # take one element out
>>> a
set(['a', 'c', 'b', 'd', 'r', 'w', 'y', 'z'])

The frozenset() type is an immutable version of set(). Since it is immutable and hashable, it may be used as a dictionary key or as a member of another set.

The sets module remains in the standard library, and may be useful if you wish to subclass the Set or ImmutableSet classes. There are currently no plans to deprecate the module.

Ver também

PEP 218 [https://peps.python.org/pep-0218/] - Adding a Built-In Set Object Type

Originally proposed by Greg Wilson and ultimately implemented by Raymond Hettinger.

PEP 237: Unifying Long Integers and Integers

The lengthy transition process for this PEP, begun in Python 2.2, takes another step forward in Python 2.4. In 2.3, certain integer operations that would behave differently after int/long unification triggered FutureWarning warnings and returned values limited to 32 or 64 bits (depending on your platform). In 2.4, these expressions no longer produce a warning and instead produce a different result that’s usually a long integer.

The problematic expressions are primarily left shifts and lengthy hexadecimal and octal constants. For example, 2 << 32 results in a warning in 2.3, evaluating to 0 on 32-bit platforms. In Python 2.4, this expression now returns the correct answer, 8589934592.

Ver também

PEP 237 [https://peps.python.org/pep-0237/] - Unifying Long Integers and Integers

Original PEP written by Moshe Zadka and GvR. The changes for 2.4 were implemented by Kalle Svensson.

PEP 289: Generator Expressions

The iterator feature introduced in Python 2.2 and the itertools module make it easier to write programs that loop through large data sets without having the entire data set in memory at one time. List comprehensions don’t fit into this picture very well because they produce a Python list object containing all of the items. This unavoidably pulls all of the objects into memory, which can be a problem if your data set is very large. When trying to write a functionally styled program, it would be natural to write something like:

links = [link for link in get_all_links() if not link.followed]
for link in links:
    ...

instead of

for link in get_all_links():
    if link.followed:
        continue
    ...

The first form is more concise and perhaps more readable, but if you’re dealing with a large number of link objects you’d have to write the second form to avoid having all link objects in memory at the same time.

Generator expressions work similarly to list comprehensions but don’t materialize the entire list; instead they create a generator that will return elements one by one. The above example could be written as:

links = (link for link in get_all_links() if not link.followed)
for link in links:
    ...

Generator expressions always have to be written inside parentheses, as in the above example. The parentheses signalling a function call also count, so if you want to create an iterator that will be immediately passed to a function you could write:

print sum(obj.count for obj in list_all_objects())

Generator expressions differ from list comprehensions in various small ways. Most notably, the loop variable (obj in the above example) is not accessible outside of the generator expression. List comprehensions leave the variable assigned to its last value; future versions of Python will change this, making list comprehensions match generator expressions in this respect.

Ver também

PEP 289 [https://peps.python.org/pep-0289/] - Generator Expressions

Proposed by Raymond Hettinger and implemented by Jiwon Seo with early efforts steered by Hye-Shik Chang.

PEP 292: Simpler String Substitutions

Some new classes in the standard library provide an alternative mechanism for substituting variables into strings; this style of substitution may be better for applications where untrained users need to edit templates.

The usual way of substituting variables by name is the % operator:

>>> '%(page)i: %(title)s' % {'page':2, 'title': 'The Best of Times'}
'2: The Best of Times'

When writing the template string, it can be easy to forget the i or s after the closing parenthesis. This isn’t a big problem if the template is in a Python module, because you run the code, get an “Unsupported format character” ValueError, and fix the problem. However, consider an application such as Mailman where template strings or translations are being edited by users who aren’t aware of the Python language. The format string’s syntax is complicated to explain to such users, and if they make a mistake, it’s difficult to provide helpful feedback to them.

PEP 292 adds a Template class to the string module that uses $ to indicate a substitution:

>>> import string
>>> t = string.Template('$page: $title')
>>> t.substitute({'page':2, 'title': 'The Best of Times'})
'2: The Best of Times'

If a key is missing from the dictionary, the substitute() method will raise a KeyError. There’s also a safe_substitute() method that ignores missing keys:

>>> t = string.Template('$page: $title')
>>> t.safe_substitute({'page':3})
'3: $title'

Ver também

PEP 292 [https://peps.python.org/pep-0292/] - Simpler String Substitutions

Written and implemented by Barry Warsaw.

PEP 318: Decorators for Functions and Methods

Python 2.2 extended Python’s object model by adding static methods and class methods, but it didn’t extend Python’s syntax to provide any new way of defining static or class methods. Instead, you had to write a def statement in the usual way, and pass the resulting method to a staticmethod() or classmethod() function that would wrap up the function as a method of the new type. Your code would look like this:

class C:
   def meth (cls):
       ...

   meth = classmethod(meth)   # Rebind name to wrapped-up class method

If the method was very long, it would be easy to miss or forget the classmethod() invocation after the function body.

The intention was always to add some syntax to make such definitions more readable, but at the time of 2.2’s release a good syntax was not obvious. Today a good syntax still isn’t obvious but users are asking for easier access to the feature; a new syntactic feature has been added to meet this need.

The new feature is called “function decorators”. The name comes from the idea that classmethod(), staticmethod(), and friends are storing additional information on a function object; they’re decorating functions with more details.

The notation borrows from Java and uses the '@' character as an indicator. Using the new syntax, the example above would be written:

class C:

   @classmethod
   def meth (cls):
       ...

The @classmethod is shorthand for the meth=classmethod(meth) assignment. More generally, if you have the following:

@A
@B
@C
def f ():
    ...

It’s equivalent to the following pre-decorator code:

def f(): ...
f = A(B(C(f)))

Decorators must come on the line before a function definition, one decorator per line, and can’t be on the same line as the def statement, meaning that @A def f(): ... is illegal. You can only decorate function definitions, either at the module level or inside a class; you can’t decorate class definitions.

A decorator is just a function that takes the function to be decorated as an argument and returns either the same function or some new object. The return value of the decorator need not be callable (though it typically is), unless further decorators will be applied to the result. It’s easy to write your own decorators. The following simple example just sets an attribute on the function object:

>>> def deco(func):
...    func.attr = 'decorated'
...    return func
...
>>> @deco
... def f(): pass
...
>>> f
<function f at 0x402ef0d4>
>>> f.attr
'decorated'
>>>

As a slightly more realistic example, the following decorator checks that the supplied argument is an integer:

def require_int (func):
    def wrapper (arg):
        assert isinstance(arg, int)
        return func(arg)

    return wrapper

@require_int
def p1 (arg):
    print arg

@require_int
def p2(arg):
    print arg*2

An example in PEP 318 [https://peps.python.org/pep-0318/] contains a fancier version of this idea that lets you both specify the required type and check the returned type.

Decorator functions can take arguments. If arguments are supplied, your decorator function is called with only those arguments and must return a new decorator function; this function must take a single function and return a function, as previously described. In other words, @A @B @C(args) becomes:

def f(): ...
_deco = C(args)
f = A(B(_deco(f)))

Getting this right can be slightly brain-bending, but it’s not too difficult.

A small related change makes the func_name attribute of functions writable. This attribute is used to display function names in tracebacks, so decorators should change the name of any new function that’s constructed and returned.

Ver também

PEP 318 [https://peps.python.org/pep-0318/] - Decorators for Functions, Methods and Classes

Written by Kevin D. Smith, Jim Jewett, and Skip Montanaro. Several people wrote patches implementing function decorators, but the one that was actually checked in was patch #979728, written by Mark Russell.

https://wiki.python.org/moin/PythonDecoratorLibrary

This Wiki page contains several examples of decorators.

PEP 322: Reverse Iteration

A new built-in function, reversed(seq), takes a sequence and returns an iterator that loops over the elements of the sequence in reverse order.

>>> for i in reversed(xrange(1,4)):
...    print i
...
3
2
1

Compared to extended slicing, such as range(1,4)[::-1], reversed() is easier to read, runs faster, and uses substantially less memory.

Note that reversed() only accepts sequences, not arbitrary iterators. If you want to reverse an iterator, first convert it to a list with list().

>>> input = open('/etc/passwd', 'r')
>>> for line in reversed(list(input)):
...   print line
...
root:*:0:0:System Administrator:/var/root:/bin/tcsh
  ...

Ver também

PEP 322 [https://peps.python.org/pep-0322/] - Reverse Iteration

Written and implemented by Raymond Hettinger.

PEP 324: New subprocess Module

The standard library provides a number of ways to execute a subprocess, offering different features and different levels of complexity. os.system(command) is easy to use, but slow (it runs a shell process which executes the command) and dangerous (you have to be careful about escaping the shell’s metacharacters). The popen2 module offers classes that can capture standard output and standard error from the subprocess, but the naming is confusing. The subprocess module cleans this up, providing a unified interface that offers all the features you might need.

Instead of popen2’s collection of classes, subprocess contains a single class called subprocess.Popen whose constructor supports a number of different keyword arguments.

class Popen(args, bufsize=0, executable=None,
            stdin=None, stdout=None, stderr=None,
            preexec_fn=None, close_fds=False, shell=False,
            cwd=None, env=None, universal_newlines=False,
            startupinfo=None, creationflags=0):

args is commonly a sequence of strings that will be the arguments to the program executed as the subprocess. (If the shell argument is true, args can be a string which will then be passed on to the shell for interpretation, just as os.system() does.)

stdin, stdout, and stderr specify what the subprocess’s input, output, and error streams will be. You can provide a file object or a file descriptor, or you can use the constant subprocess.PIPE to create a pipe between the subprocess and the parent.

The constructor has a number of handy options:

close_fds requests that all file descriptors be closed before running the subprocess.

cwd specifies the working directory in which the subprocess will be executed (defaulting to whatever the parent’s working directory is).

env is a dictionary specifying environment variables.

preexec_fn is a function that gets called before the child is started.

universal_newlines opens the child’s input and output using Python’s universal newlines feature.

Once you’ve created the Popen instance, you can call its wait() method to pause until the subprocess has exited, poll() to check if it’s exited without pausing, or communicate(data) to send the string data to the subprocess’s standard input. communicate(data) then reads any data that the subprocess has sent to its standard output or standard error, returning a tuple (stdout_data, stderr_data).

call() is a shortcut that passes its arguments along to the Popen constructor, waits for the command to complete, and returns the status code of the subprocess. It can serve as a safer analog to os.system():

sts = subprocess.call(['dpkg', '-i', '/tmp/new-package.deb'])
if sts == 0:
    # Success
    ...
else:
    # dpkg returned an error
    ...

The command is invoked without use of the shell. If you really do want to use the shell, you can add shell=True as a keyword argument and provide a string instead of a sequence:

sts = subprocess.call('dpkg -i /tmp/new-package.deb', shell=True)

The PEP takes various examples of shell and Python code and shows how they’d be translated into Python code that uses subprocess. Reading this section of the PEP is highly recommended.

Ver também

PEP 324 [https://peps.python.org/pep-0324/] - subprocess - New process module

Written and implemented by Peter Åstrand, with assistance from Fredrik Lundh and others.

PEP 327: Decimal Data Type

Python has always supported floating-point (FP) numbers, based on the underlying C double type, as a data type. However, while most programming languages provide a floating-point type, many people (even programmers) are unaware that floating-point numbers don’t represent certain decimal fractions accurately. The new Decimal type can represent these fractions accurately, up to a user-specified precision limit.

Why is Decimal needed?

The limitations arise from the representation used for floating-point numbers. FP numbers are made up of three components:

The sign, which is positive or negative.

The mantissa, which is a single-digit binary number followed by a fractional part. For example, 1.01 in base-2 notation is 1 + 0/2 + 1/4, or 1.25 in decimal notation.

The exponent, which tells where the decimal point is located in the number represented.

For example, the number 1.25 has positive sign, a mantissa value of 1.01 (in binary), and an exponent of 0 (the decimal point doesn’t need to be shifted). The number 5 has the same sign and mantissa, but the exponent is 2 because the mantissa is multiplied by 4 (2 to the power of the exponent 2); 1.25 * 4 equals 5.

Modern systems usually provide floating-point support that conforms to a standard called IEEE 754. C’s double type is usually implemented as a 64-bit IEEE 754 number, which uses 52 bits of space for the mantissa. This means that numbers can only be specified to 52 bits of precision. If you’re trying to represent numbers whose expansion repeats endlessly, the expansion is cut off after 52 bits. Unfortunately, most software needs to produce output in base 10, and common fractions in base 10 are often repeating decimals in binary. For example, 1.1 decimal is binary 1.0001100110011 ...; .1 = 1/16 + 1/32 + 1/256 plus an infinite number of additional terms. IEEE 754 has to chop off that infinitely repeated decimal after 52 digits, so the representation is slightly inaccurate.

Sometimes you can see this inaccuracy when the number is printed:

>>> 1.1
1.1000000000000001

The inaccuracy isn’t always visible when you print the number because the FP-to-decimal-string conversion is provided by the C library, and most C libraries try to produce sensible output. Even if it’s not displayed, however, the inaccuracy is still there and subsequent operations can magnify the error.

For many applications this doesn’t matter. If I’m plotting points and displaying them on my monitor, the difference between 1.1 and 1.1000000000000001 is too small to be visible. Reports often limit output to a certain number of decimal places, and if you round the number to two or three or even eight decimal places, the error is never apparent. However, for applications where it does matter, it’s a lot of work to implement your own custom arithmetic routines.

Hence, the Decimal type was created.

The Decimal type

A new module, decimal, was added to Python’s standard library. It contains two classes, Decimal and Context. Decimal instances represent numbers, and Context instances are used to wrap up various settings such as the precision and default rounding mode.

Decimal instances are immutable, like regular Python integers and FP numbers; once it’s been created, you can’t change the value an instance represents. Decimal instances can be created from integers or strings:

>>> import decimal
>>> decimal.Decimal(1972)
Decimal("1972")
>>> decimal.Decimal("1.1")
Decimal("1.1")

You can also provide tuples containing the sign, the mantissa represented as a tuple of decimal digits, and the exponent:

>>> decimal.Decimal((1, (1, 4, 7, 5), -2))
Decimal("-14.75")

Cautionary note: the sign bit is a Boolean value, so 0 is positive and 1 is negative.

Converting from floating-point numbers poses a bit of a problem: should the FP number representing 1.1 turn into the decimal number for exactly 1.1, or for 1.1 plus whatever inaccuracies are introduced? The decision was to dodge the issue and leave such a conversion out of the API. Instead, you should convert the floating-point number into a string using the desired precision and pass the string to the Decimal constructor:

>>> f = 1.1
>>> decimal.Decimal(str(f))
Decimal("1.1")
>>> decimal.Decimal('%.12f' % f)
Decimal("1.100000000000")

Once you have Decimal instances, you can perform the usual mathematical operations on them. One limitation: exponentiation requires an integer exponent:

>>> a = decimal.Decimal('35.72')
>>> b = decimal.Decimal('1.73')
>>> a+b
Decimal("37.45")
>>> a-b
Decimal("33.99")
>>> a*b
Decimal("61.7956")
>>> a/b
Decimal("20.64739884393063583815028902")
>>> a ** 2
Decimal("1275.9184")
>>> a**b
Traceback (most recent call last):
  ...
decimal.InvalidOperation: x ** (non-integer)

You can combine Decimal instances with integers, but not with floating-point numbers:

>>> a + 4
Decimal("39.72")
>>> a + 4.5
Traceback (most recent call last):
  ...
TypeError: You can interact Decimal only with int, long or Decimal data types.
>>>

Decimal numbers can be used with the math and cmath modules, but note that they’ll be immediately converted to floating-point numbers before the operation is performed, resulting in a possible loss of precision and accuracy. You’ll also get back a regular floating-point number and not a Decimal.

>>> import math, cmath
>>> d = decimal.Decimal('123456789012.345')
>>> math.sqrt(d)
351364.18288201344
>>> cmath.sqrt(-d)
351364.18288201344j

Decimal instances have a sqrt() method that returns a Decimal, but if you need other things such as trigonometric functions you’ll have to implement them.

>>> d.sqrt()
Decimal("351364.1828820134592177245001")

The Context type

Instances of the Context class encapsulate several settings for decimal operations:

prec is the precision, the number of decimal places.

rounding specifies the rounding mode. The decimal module has constants for the various possibilities: ROUND_DOWN, ROUND_CEILING, ROUND_HALF_EVEN, and various others.

traps is a dictionary specifying what happens on encountering certain error conditions: either an exception is raised or a value is returned. Some examples of error conditions are division by zero, loss of precision, and overflow.

There’s a thread-local default context available by calling getcontext(); you can change the properties of this context to alter the default precision, rounding, or trap handling. The following example shows the effect of changing the precision of the default context:

>>> decimal.getcontext().prec
28
>>> decimal.Decimal(1) / decimal.Decimal(7)
Decimal("0.1428571428571428571428571429")
>>> decimal.getcontext().prec = 9
>>> decimal.Decimal(1) / decimal.Decimal(7)
Decimal("0.142857143")

The default action for error conditions is selectable; the module can either return a special value such as infinity or not-a-number, or exceptions can be raised:

>>> decimal.Decimal(1) / decimal.Decimal(0)
Traceback (most recent call last):
  ...
decimal.DivisionByZero: x / 0
>>> decimal.getcontext().traps[decimal.DivisionByZero] = False
>>> decimal.Decimal(1) / decimal.Decimal(0)
Decimal("Infinity")
>>>

The Context instance also has various methods for formatting numbers such as to_eng_string() and to_sci_string().

For more information, see the documentation for the decimal module, which includes a quick-start tutorial and a reference.

Ver também

PEP 327 [https://peps.python.org/pep-0327/] - Decimal Data Type

Written by Facundo Batista and implemented by Facundo Batista, Eric Price, Raymond Hettinger, Aahz, and Tim Peters.

http://www.lahey.com/float.htm [https://web.archive.org/web/20230604072523/http://www.lahey.com/float.htm]

The article uses Fortran code to illustrate many of the problems that floating-point inaccuracy can cause.

https://speleotrove.com/decimal/

A description of a decimal-based representation. This representation is being proposed as a standard, and underlies the new Python decimal type. Much of this material was written by Mike Cowlishaw, designer of the Rexx language.

PEP 328: Multi-line Imports

One language change is a small syntactic tweak aimed at making it easier to import many names from a module. In a from module import names statement, names is a sequence of names separated by commas. If the sequence is very long, you can either write multiple imports from the same module, or you can use backslashes to escape the line endings like this:

from SimpleXMLRPCServer import SimpleXMLRPCServer,\
            SimpleXMLRPCRequestHandler,\
            CGIXMLRPCRequestHandler,\
            resolve_dotted_attribute

The syntactic change in Python 2.4 simply allows putting the names within parentheses. Python ignores newlines within a parenthesized expression, so the backslashes are no longer needed:

from SimpleXMLRPCServer import (SimpleXMLRPCServer,
                                SimpleXMLRPCRequestHandler,
                                CGIXMLRPCRequestHandler,
                                resolve_dotted_attribute)

The PEP also proposes that all import statements be absolute imports, with a leading . character to indicate a relative import. This part of the PEP was not implemented for Python 2.4, but was completed for Python 2.5.

Ver também

PEP 328 [https://peps.python.org/pep-0328/] - Imports: Multi-Line and Absolute/Relative

Written by Aahz. Multi-line imports were implemented by Dima Dorfman.

PEP 331: Locale-Independent Float/String Conversions

The locale modules lets Python software select various conversions and display conventions that are localized to a particular country or language. However, the module was careful to not change the numeric locale because various functions in Python’s implementation required that the numeric locale remain set to the 'C' locale. Often this was because the code was using the C library’s atof() function.

Not setting the numeric locale caused trouble for extensions that used third-party C libraries, however, because they wouldn’t have the correct locale set. The motivating example was GTK+, whose user interface widgets weren’t displaying numbers in the current locale.

The solution described in the PEP is to add three new functions to the Python API that perform ASCII-only conversions, ignoring the locale setting:

PyOS_ascii_strtod(str, ptr) and PyOS_ascii_atof(str, ptr) both convert a string to a C double.

PyOS_ascii_formatd(buffer, buf_len, format, d) converts a double to an ASCII string.

The code for these functions came from the GLib library (https://developer-old.gnome.org/glib/2.26/ [http://web.archive.org/web/20210306104320/https://developer.gnome.org/glib/2.26/]), whose developers kindly relicensed the relevant functions and donated them to the Python Software Foundation. The locale module can now change the numeric locale, letting extensions such as GTK+ produce the correct results.

Ver também

PEP 331 [https://peps.python.org/pep-0331/] - Locale-Independent Float/String Conversions

Written by Christian R. Reis, and implemented by Gustavo Carneiro.

Outras mudanças na linguagem

Here are all of the changes that Python 2.4 makes to the core Python language.

Decorators for functions and methods were added (PEP 318 [https://peps.python.org/pep-0318/]).

Built-in set() and frozenset() types were added (PEP 218 [https://peps.python.org/pep-0218/]). Other new built-ins include the reversed(seq) function (PEP 322 [https://peps.python.org/pep-0322/]).

Generator expressions were added (PEP 289 [https://peps.python.org/pep-0289/]).

Certain numeric expressions no longer return values restricted to 32 or 64 bits (PEP 237 [https://peps.python.org/pep-0237/]).

You can now put parentheses around the list of names in a from module import names statement (PEP 328 [https://peps.python.org/pep-0328/]).

The dict.update() method now accepts the same argument forms as the dict constructor. This includes any mapping, any iterable of key/value pairs, and keyword arguments. (Contributed by Raymond Hettinger.)

The string methods ljust(), rjust(), and center() now take an optional argument for specifying a fill character other than a space. (Contributed by Raymond Hettinger.)

Strings also gained an rsplit() method that works like the split() method but splits from the end of the string. (Contributed by Sean Reifschneider.)

>>> 'www.python.org'.split('.', 1)
['www', 'python.org']
'www.python.org'.rsplit('.', 1)
['www.python', 'org']

Three keyword parameters, cmp, key, and reverse, were added to the sort() method of lists. These parameters make some common usages of sort() simpler. All of these parameters are optional.

For the cmp parameter, the value should be a comparison function that takes two parameters and returns -1, 0, or +1 depending on how the parameters compare. This function will then be used to sort the list. Previously this was the only parameter that could be provided to sort().

key should be a single-parameter function that takes a list element and returns a comparison key for the element. The list is then sorted using the comparison keys. The following example sorts a list case-insensitively:

>>> L = ['A', 'b', 'c', 'D']
>>> L.sort()                 # Case-sensitive sort
>>> L
['A', 'D', 'b', 'c']
>>> # Using 'key' parameter to sort list
>>> L.sort(key=lambda x: x.lower())
>>> L
['A', 'b', 'c', 'D']
>>> # Old-fashioned way
>>> L.sort(cmp=lambda x,y: cmp(x.lower(), y.lower()))
>>> L
['A', 'b', 'c', 'D']

The last example, which uses the cmp parameter, is the old way to perform a case-insensitive sort. It works but is slower than using a key parameter. Using key calls lower() method once for each element in the list while using cmp will call it twice for each comparison, so using key saves on invocations of the lower() method.

For simple key functions and comparison functions, it is often possible to avoid a lambda expression by using an unbound method instead. For example, the above case-insensitive sort is best written as:

>>> L.sort(key=str.lower)
>>> L
['A', 'b', 'c', 'D']

Finally, the reverse parameter takes a Boolean value. If the value is true, the list will be sorted into reverse order. Instead of L.sort(); L.reverse(), you can now write L.sort(reverse=True).

The results of sorting are now guaranteed to be stable. This means that two entries with equal keys will be returned in the same order as they were input. For example, you can sort a list of people by name, and then sort the list by age, resulting in a list sorted by age where people with the same age are in name-sorted order.

(All changes to sort() contributed by Raymond Hettinger.)

There is a new built-in function sorted(iterable) that works like the in-place list.sort() method but can be used in expressions. The differences are:

the input may be any iterable;

a newly formed copy is sorted, leaving the original intact; and

the expression returns the new sorted copy

>>> L = [9,7,8,3,2,4,1,6,5]
>>> [10+i for i in sorted(L)]       # usable in a list comprehension
[11, 12, 13, 14, 15, 16, 17, 18, 19]
>>> L                               # original is left unchanged
[9,7,8,3,2,4,1,6,5]
>>> sorted('Monty Python')          # any iterable may be an input
[' ', 'M', 'P', 'h', 'n', 'n', 'o', 'o', 't', 't', 'y', 'y']

>>> # List the contents of a dict sorted by key values
>>> colormap = dict(red=1, blue=2, green=3, black=4, yellow=5)
>>> for k, v in sorted(colormap.iteritems()):
...     print k, v
...
black 4
blue 2
green 3
red 1
yellow 5

(Contributed by Raymond Hettinger.)

Integer operations will no longer trigger an OverflowWarning. The OverflowWarning warning will disappear in Python 2.5.

The interpreter gained a new switch, -m, that takes a name, searches for the corresponding module on sys.path, and runs the module as a script. For example, you can now run the Python profiler with python -m profile. (Contributed by Nick Coghlan.)

The eval(expr, globals, locals) and execfile(filename, globals, locals) functions and the exec statement now accept any mapping type for the locals parameter. Previously this had to be a regular Python dictionary. (Contributed by Raymond Hettinger.)

The zip() built-in function and itertools.izip() now return an empty list if called with no arguments. Previously they raised a TypeError exception. This makes them more suitable for use with variable length argument lists:

>>> def transpose(array):
...    return zip(*array)
...
>>> transpose([(1,2,3), (4,5,6)])
[(1, 4), (2, 5), (3, 6)]
>>> transpose([])
[]

(Contributed by Raymond Hettinger.)

Encountering a failure while importing a module no longer leaves a partially initialized module object in sys.modules. The incomplete module object left behind would fool further imports of the same module into succeeding, leading to confusing errors. (Fixed by Tim Peters.)

None is now a constant; code that binds a new value to the name None is now a syntax error. (Contributed by Raymond Hettinger.)

Otimizações

The inner loops for list and tuple slicing were optimized and now run about one-third faster. The inner loops for dictionaries were also optimized, resulting in performance boosts for keys(), values(), items(), iterkeys(), itervalues(), and iteritems(). (Contributed by Raymond Hettinger.)

The machinery for growing and shrinking lists was optimized for speed and for space efficiency. Appending and popping from lists now runs faster due to more efficient code paths and less frequent use of the underlying system realloc(). List comprehensions also benefit. list.extend() was also optimized and no longer converts its argument into a temporary list before extending the base list. (Contributed by Raymond Hettinger.)

list(), tuple(), map(), filter(), and zip() now run several times faster with non-sequence arguments that supply a __len__() method. (Contributed by Raymond Hettinger.)

The methods list.__getitem__(), dict.__getitem__(), and dict.__contains__() are now implemented as method_descriptor objects rather than wrapper_descriptor objects. This form of access doubles their performance and makes them more suitable for use as arguments to functionals: map(mydict.__getitem__, keylist). (Contributed by Raymond Hettinger.)

Added a new opcode, LIST_APPEND, that simplifies the generated bytecode for list comprehensions and speeds them up by about a third. (Contributed by Raymond Hettinger.)

The peephole bytecode optimizer has been improved to produce shorter, faster bytecode; remarkably, the resulting bytecode is more readable. (Enhanced by Raymond Hettinger.)

String concatenations in statements of the form s = s + "abc" and s += "abc" are now performed more efficiently in certain circumstances. This optimization won’t be present in other Python implementations such as Jython, so you shouldn’t rely on it; using the join() method of strings is still recommended when you want to efficiently glue a large number of strings together. (Contributed by Armin Rigo.)

The net result of the 2.4 optimizations is that Python 2.4 runs the pystone benchmark around 5% faster than Python 2.3 and 35% faster than Python 2.2. (pystone is not a particularly good benchmark, but it’s the most commonly used measurement of Python’s performance. Your own applications may show greater or smaller benefits from Python 2.4.)

New, Improved, and Deprecated Modules

As usual, Python’s standard library received a number of enhancements and bug fixes. Here’s a partial list of the most notable changes, sorted alphabetically by module name. Consult the Misc/NEWS file in the source tree for a more complete list of changes, or look through the CVS logs for all the details.

The asyncore module’s loop() function now has a count parameter that lets you perform a limited number of passes through the polling loop. The default is still to loop forever.

The base64 module now has more complete RFC 3548 [https://datatracker.ietf.org/doc/html/rfc3548.html] support for Base64, Base32, and Base16 encoding and decoding, including optional case folding and optional alternative alphabets. (Contributed by Barry Warsaw.)

The bisect module now has an underlying C implementation for improved performance. (Contributed by Dmitry Vasiliev.)

The CJKCodecs collections of East Asian codecs, maintained by Hye-Shik Chang, was integrated into 2.4. The new encodings are:

Chinese (PRC): gb2312, gbk, gb18030, big5hkscs, hz

Chinese (ROC): big5, cp950

Japanese: cp932, euc-jis-2004, euc-jp, euc-jisx0213, iso-2022-jp,

iso-2022-jp-1, iso-2022-jp-2, iso-2022-jp-3, iso-2022-jp-ext, iso-2022-jp-2004, shift-jis, shift-jisx0213, shift-jis-2004

Korean: cp949, euc-kr, johab, iso-2022-kr

Some other new encodings were added: HP Roman8, ISO_8859-11, ISO_8859-16, PCTP-154, and TIS-620.

The UTF-8 and UTF-16 codecs now cope better with receiving partial input. Previously the StreamReader class would try to read more data, making it impossible to resume decoding from the stream. The read() method will now return as much data as it can and future calls will resume decoding where previous ones left off. (Implemented by Walter Dörwald.)

There is a new collections module for various specialized collection datatypes. Currently it contains just one type, deque, a double-ended queue that supports efficiently adding and removing elements from either end:

>>> from collections import deque
>>> d = deque('ghi')        # make a new deque with three items
>>> d.append('j')           # add a new entry to the right side
>>> d.appendleft('f')       # add a new entry to the left side
>>> d                       # show the representation of the deque
deque(['f', 'g', 'h', 'i', 'j'])
>>> d.pop()                 # return and remove the rightmost item
'j'
>>> d.popleft()             # return and remove the leftmost item
'f'
>>> list(d)                 # list the contents of the deque
['g', 'h', 'i']
>>> 'h' in d                # search the deque
True

Several modules, such as the Queue and threading modules, now take advantage of collections.deque for improved performance. (Contributed by Raymond Hettinger.)

The ConfigParser classes have been enhanced slightly. The read() method now returns a list of the files that were successfully parsed, and the set() method raises TypeError if passed a value argument that isn’t a string. (Contributed by John Belmonte and David Goodger.)

The curses module now supports the ncurses extension use_default_colors(). On platforms where the terminal supports transparency, this makes it possible to use a transparent background. (Contributed by Jörg Lehmann.)

The difflib module now includes an HtmlDiff class that creates an HTML table showing a side by side comparison of two versions of a text. (Contributed by Dan Gass.)

The email package was updated to version 3.0, which dropped various deprecated APIs and removes support for Python versions earlier than 2.3. The 3.0 version of the package uses a new incremental parser for MIME messages, available in the email.FeedParser module. The new parser doesn’t require reading the entire message into memory, and doesn’t raise exceptions if a message is malformed; instead it records any problems in the defect attribute of the message. (Developed by Anthony Baxter, Barry Warsaw, Thomas Wouters, and others.)

The heapq module has been converted to C. The resulting tenfold improvement in speed makes the module suitable for handling high volumes of data. In addition, the module has two new functions nlargest() and nsmallest() that use heaps to find the N largest or smallest values in a dataset without the expense of a full sort. (Contributed by Raymond Hettinger.)

The httplib module now contains constants for HTTP status codes defined in various HTTP-related RFC documents. Constants have names such as OK, CREATED, CONTINUE, and MOVED_PERMANENTLY; use pydoc to get a full list. (Contributed by Andrew Eland.)

The imaplib module now supports IMAP’s THREAD command (contributed by Yves Dionne) and new deleteacl() and myrights() methods (contributed by Arnaud Mazin).

The itertools module gained a groupby(iterable[, *func*]) function. iterable is something that can be iterated over to return a stream of elements, and the optional func parameter is a function that takes an element and returns a key value; if omitted, the key is simply the element itself. groupby() then groups the elements into subsequences which have matching values of the key, and returns a series of 2-tuples containing the key value and an iterator over the subsequence.

Here’s an example to make this clearer. The key function simply returns whether a number is even or odd, so the result of groupby() is to return consecutive runs of odd or even numbers.

>>> import itertools
>>> L = [2, 4, 6, 7, 8, 9, 11, 12, 14]
>>> for key_val, it in itertools.groupby(L, lambda x: x % 2):
...    print key_val, list(it)
...
0 [2, 4, 6]
1 [7]
0 [8]
1 [9, 11]
0 [12, 14]
>>>

groupby() is typically used with sorted input. The logic for groupby() is similar to the Unix uniq filter which makes it handy for eliminating, counting, or identifying duplicate elements:

>>> word = 'abracadabra'
>>> letters = sorted(word)   # Turn string into a sorted list of letters
>>> letters
['a', 'a', 'a', 'a', 'a', 'b', 'b', 'c', 'd', 'r', 'r']
>>> for k, g in itertools.groupby(letters):
...    print k, list(g)
...
a ['a', 'a', 'a', 'a', 'a']
b ['b', 'b']
c ['c']
d ['d']
r ['r', 'r']
>>> # List unique letters
>>> [k for k, g in groupby(letters)]
['a', 'b', 'c', 'd', 'r']
>>> # Count letter occurrences
>>> [(k, len(list(g))) for k, g in groupby(letters)]
[('a', 5), ('b', 2), ('c', 1), ('d', 1), ('r', 2)]

(Contributed by Hye-Shik Chang.)

itertools also gained a function named tee(iterator, N) that returns N independent iterators that replicate iterator. If N is omitted, the default is 2.

>>> L = [1,2,3]
>>> i1, i2 = itertools.tee(L)
>>> i1,i2
(<itertools.tee object at 0x402c2080>, <itertools.tee object at 0x402c2090>)
>>> list(i1)               # Run the first iterator to exhaustion
[1, 2, 3]
>>> list(i2)               # Run the second iterator to exhaustion
[1, 2, 3]

Note that tee() has to keep copies of the values returned by the iterator; in the worst case, it may need to keep all of them. This should therefore be used carefully if the leading iterator can run far ahead of the trailing iterator in a long stream of inputs. If the separation is large, then you might as well use list() instead. When the iterators track closely with one another, tee() is ideal. Possible applications include bookmarking, windowing, or lookahead iterators. (Contributed by Raymond Hettinger.)

A number of functions were added to the locale module, such as bind_textdomain_codeset() to specify a particular encoding and a family of l*gettext() functions that return messages in the chosen encoding. (Contributed by Gustavo Niemeyer.)

Some keyword arguments were added to the logging package’s basicConfig() function to simplify log configuration. The default behavior is to log messages to standard error, but various keyword arguments can be specified to log to a particular file, change the logging format, or set the logging level. For example:

import logging
logging.basicConfig(filename='/var/log/application.log',
    level=0,  # Log all messages
    format='%(levelname):%(process):%(thread):%(message)')

Other additions to the logging package include a log(level, msg) convenience method, as well as a TimedRotatingFileHandler class that rotates its log files at a timed interval. The module already had RotatingFileHandler, which rotated logs once the file exceeded a certain size. Both classes derive from a new BaseRotatingHandler class that can be used to implement other rotating handlers.

(Changes implemented by Vinay Sajip.)

The marshal module now shares interned strings on unpacking a data structure. This may shrink the size of certain pickle strings, but the primary effect is to make .pyc files significantly smaller. (Contributed by Martin von Löwis.)

The nntplib module’s NNTP class gained description() and descriptions() methods to retrieve newsgroup descriptions for a single group or for a range of groups. (Contributed by Jürgen A. Erhard.)

Two new functions were added to the operator module, attrgetter(attr) and itemgetter(index). Both functions return callables that take a single argument and return the corresponding attribute or item; these callables make excellent data extractors when used with map() or sorted(). For example:

>>> L = [('c', 2), ('d', 1), ('a', 4), ('b', 3)]
>>> map(operator.itemgetter(0), L)
['c', 'd', 'a', 'b']
>>> map(operator.itemgetter(1), L)
[2, 1, 4, 3]
>>> sorted(L, key=operator.itemgetter(1)) # Sort list by second tuple item
[('d', 1), ('c', 2), ('b', 3), ('a', 4)]

(Contributed by Raymond Hettinger.)

The optparse module was updated in various ways. The module now passes its messages through gettext.gettext(), making it possible to internationalize Optik’s help and error messages. Help messages for options can now include the string '%default', which will be replaced by the option’s default value. (Contributed by Greg Ward.)

The long-term plan is to deprecate the rfc822 module in some future Python release in favor of the email package. To this end, the email.Utils.formatdate function has been changed to make it usable as a replacement for rfc822.formatdate(). You may want to write new e-mail processing code with this in mind. (Change implemented by Anthony Baxter.)

A new urandom(n) function was added to the os module, returning a string containing n bytes of random data. This function provides access to platform-specific sources of randomness such as /dev/urandom on Linux or the Windows CryptoAPI. (Contributed by Trevor Perrin.)

Another new function: os.path.lexists(path) returns true if the file specified by path exists, whether or not it’s a symbolic link. This differs from the existing os.path.exists(path) function, which returns false if path is a symlink that points to a destination that doesn’t exist. (Contributed by Beni Cherniavsky.)

A new getsid() function was added to the posix module that underlies the os module. (Contributed by J. Raynor.)

The poplib module now supports POP over SSL. (Contributed by Hector Urtubia.)

The profile module can now profile C extension functions. (Contributed by Nick Bastin.)

The random module has a new method called getrandbits(N) that returns a long integer N bits in length. The existing randrange() method now uses getrandbits() where appropriate, making generation of arbitrarily large random numbers more efficient. (Contributed by Raymond Hettinger.)

The regular expression language accepted by the re module was extended with simple conditional expressions, written as (?(group)A|B). group is either a numeric group ID or a group name defined with (?P<group>...) earlier in the expression. If the specified group matched, the regular expression pattern A will be tested against the string; if the group didn’t match, the pattern B will be used instead. (Contributed by Gustavo Niemeyer.)

The re module is also no longer recursive, thanks to a massive amount of work by Gustavo Niemeyer. In a recursive regular expression engine, certain patterns result in a large amount of C stack space being consumed, and it was possible to overflow the stack. For example, if you matched a 30000-byte string of a characters against the expression (a|b)+, one stack frame was consumed per character. Python 2.3 tried to check for stack overflow and raise a RuntimeError exception, but certain patterns could sidestep the checking and if you were unlucky Python could segfault. Python 2.4’s regular expression engine can match this pattern without problems.

The signal module now performs tighter error-checking on the parameters to the signal.signal() function. For example, you can’t set a handler on the SIGKILL signal; previous versions of Python would quietly accept this, but 2.4 will raise a RuntimeError exception.

Two new functions were added to the socket module. socketpair() returns a pair of connected sockets and getservbyport(port) looks up the service name for a given port number. (Contributed by Dave Cole and Barry Warsaw.)

The sys.exitfunc() function has been deprecated. Code should be using the existing atexit module, which correctly handles calling multiple exit functions. Eventually sys.exitfunc() will become a purely internal interface, accessed only by atexit.

The tarfile module now generates GNU-format tar files by default. (Contributed by Lars Gustäbel.)

The threading module now has an elegantly simple way to support thread-local data. The module contains a local class whose attribute values are local to different threads.

import threading

data = threading.local()
data.number = 42
data.url = ('www.python.org', 80)

Other threads can assign and retrieve their own values for the number and url attributes. You can subclass local to initialize attributes or to add methods. (Contributed by Jim Fulton.)

The timeit module now automatically disables periodic garbage collection during the timing loop. This change makes consecutive timings more comparable. (Contributed by Raymond Hettinger.)

The weakref module now supports a wider variety of objects including Python functions, class instances, sets, frozensets, deques, arrays, files, sockets, and regular expression pattern objects. (Contributed by Raymond Hettinger.)

The xmlrpclib module now supports a multi-call extension for transmitting multiple XML-RPC calls in a single HTTP operation. (Contributed by Brian Quinlan.)

The mpz, rotor, and xreadlines modules have been removed.

cookielib

The cookielib library supports client-side handling for HTTP cookies, mirroring the Cookie module’s server-side cookie support. Cookies are stored in cookie jars; the library transparently stores cookies offered by the web server in the cookie jar, and fetches the cookie from the jar when connecting to the server. As in web browsers, policy objects control whether cookies are accepted or not.

In order to store cookies across sessions, two implementations of cookie jars are provided: one that stores cookies in the Netscape format so applications can use the Mozilla or Lynx cookie files, and one that stores cookies in the same format as the Perl libwww library.

urllib2 has been changed to interact with cookielib: HTTPCookieProcessor manages a cookie jar that is used when accessing URLs.

This module was contributed by John J. Lee.

doctest

The doctest module underwent considerable refactoring thanks to Edward Loper and Tim Peters. Testing can still be as simple as running doctest.testmod(), but the refactorings allow customizing the module’s operation in various ways

The new DocTestFinder class extracts the tests from a given object’s docstrings:

def f (x, y):
    """>>> f(2,2)
4
>>> f(3,2)
6
    """
    return x*y

finder = doctest.DocTestFinder()

# Get list of DocTest instances
tests = finder.find(f)

The new DocTestRunner class then runs individual tests and can produce a summary of the results:

runner = doctest.DocTestRunner()
for t in tests:
    tried, failed = runner.run(t)

runner.summarize(verbose=1)

The above example produces the following output:

1 items passed all tests:
   2 tests in f
2 tests in 1 items.
2 passed and 0 failed.
Test passed.

DocTestRunner uses an instance of the OutputChecker class to compare the expected output with the actual output. This class takes a number of different flags that customize its behaviour; ambitious users can also write a completely new subclass of OutputChecker.

The default output checker provides a number of handy features. For example, with the doctest.ELLIPSIS option flag, an ellipsis (...) in the expected output matches any substring, making it easier to accommodate outputs that vary in minor ways:

def o (n):
    """>>> o(1)
<__main__.C instance at 0x...>
>>>
"""

Another special string, <BLANKLINE>, matches a blank line:

def p (n):
    """>>> p(1)
<BLANKLINE>
>>>
"""

Another new capability is producing a diff-style display of the output by specifying the doctest.REPORT_UDIFF (unified diffs), doctest.REPORT_CDIFF (context diffs), or doctest.REPORT_NDIFF (delta-style) option flags. For example:

def g (n):
    """>>> g(4)
here
is
a
lengthy
>>>"""
    L = 'here is a rather lengthy list of words'.split()
    for word in L[:n]:
        print word

Running the above function’s tests with doctest.REPORT_UDIFF specified, you get the following output:

**********************************************************************
File "t.py", line 15, in g
Failed example:
    g(4)
Differences (unified diff with -expected +actual):
    @@ -2,3 +2,3 @@
     is
     a
    -lengthy
    +rather
**********************************************************************

Mudanças a construções e API C

Some of the changes to Python’s build process and to the C API are:

Three new convenience macros were added for common return values from extension functions: Py_RETURN_NONE, Py_RETURN_TRUE, and Py_RETURN_FALSE. (Contributed by Brett Cannon.)

Another new macro, Py_CLEAR, decreases the reference count of obj and sets obj to the null pointer. (Contributed by Jim Fulton.)

A new function, PyTuple_Pack(N, obj1, obj2, ..., objN), constructs tuples from a variable length argument list of Python objects. (Contributed by Raymond Hettinger.)

A new function, PyDict_Contains(d, k), implements fast dictionary lookups without masking exceptions raised during the look-up process. (Contributed by Raymond Hettinger.)

The Py_IS_NAN(X) macro returns 1 if its float or double argument X is a NaN. (Contributed by Tim Peters.)

C code can avoid unnecessary locking by using the new PyEval_ThreadsInitialized() function to tell if any thread operations have been performed. If this function returns false, no lock operations are needed. (Contributed by Nick Coghlan.)

A new function, PyArg_VaParseTupleAndKeywords(), is the same as PyArg_ParseTupleAndKeywords() but takes a va_list instead of a number of arguments. (Contributed by Greg Chapman.)

A new method flag, METH_COEXIST, allows a function defined in slots to co-exist with a PyCFunction having the same name. This can halve the access time for a method such as set.__contains__(). (Contributed by Raymond Hettinger.)

Python can now be built with additional profiling for the interpreter itself, intended as an aid to people developing the Python core. Providing --enable-profiling to the configure script will let you profile the interpreter with gprof, and providing the --with-tsc switch enables profiling using the Pentium’s Time-Stamp-Counter register. Note that the --with-tsc switch is slightly misnamed, because the profiling feature also works on the PowerPC platform, though that processor architecture doesn’t call that register “the TSC register”. (Contributed by Jeremy Hylton.)

The tracebackobject type has been renamed to PyTracebackObject.

Port-Specific Changes

The Windows port now builds under MSVC++ 7.1 as well as version 6. (Contributed by Martin von Löwis.)

Porting to Python 2.4

This section lists previously described changes that may require changes to your code:

Left shifts and hexadecimal/octal constants that are too large no longer trigger a FutureWarning and return a value limited to 32 or 64 bits; instead they return a long integer.

Integer operations will no longer trigger an OverflowWarning. The OverflowWarning warning will disappear in Python 2.5.

The zip() built-in function and itertools.izip() now return an empty list instead of raising a TypeError exception if called with no arguments.

You can no longer compare the date and datetime instances provided by the datetime module. Two instances of different classes will now always be unequal, and relative comparisons (<, >) will raise a TypeError.

dircache.listdir() now passes exceptions to the caller instead of returning empty lists.

LexicalHandler.startDTD() used to receive the public and system IDs in the wrong order. This has been corrected; applications relying on the wrong order need to be fixed.

fcntl.ioctl() now warns if the mutate argument is omitted and relevant.

The tarfile module now generates GNU-format tar files by default.

Encountering a failure while importing a module no longer leaves a partially initialized module object in sys.modules.

None is now a constant; code that binds a new value to the name None is now a syntax error.

The signals.signal() function now raises a RuntimeError exception for certain illegal values; previously these errors would pass silently. For example, you can no longer set a handler on the SIGKILL signal.

Reconhecimentos

The author would like to thank the following people for offering suggestions, corrections and assistance with various drafts of this article: Koray Can, Hye-Shik Chang, Michael Dyck, Raymond Hettinger, Brian Hurt, Hamish Lawson, Fredrik Lundh, Sean Reifschneider, Sadruddin Rejeb.

What’s New in Python 2.3

Autor:

A.M. Kuchling

This article explains the new features in Python 2.3. Python 2.3 was released on July 29, 2003.

The main themes for Python 2.3 are polishing some of the features added in 2.2, adding various small but useful enhancements to the core language, and expanding the standard library. The new object model introduced in the previous version has benefited from 18 months of bugfixes and from optimization efforts that have improved the performance of new-style classes. A few new built-in functions have been added such as sum() and enumerate(). The in operator can now be used for substring searches (e.g. "ab" in "abc" returns True).

Some of the many new library features include Boolean, set, heap, and date/time data types, the ability to import modules from ZIP-format archives, metadata support for the long-awaited Python catalog, an updated version of IDLE, and modules for logging messages, wrapping text, parsing CSV files, processing command-line options, using BerkeleyDB databases… the list of new and enhanced modules is lengthy.

This article doesn’t attempt to provide a complete specification of the new features, but instead provides a convenient overview. For full details, you should refer to the documentation for Python 2.3, such as the Python Library Reference and the Python Reference Manual. If you want to understand the complete implementation and design rationale, refer to the PEP for a particular new feature.

PEP 218: A Standard Set Datatype

The new sets module contains an implementation of a set datatype. The Set class is for mutable sets, sets that can have members added and removed. The ImmutableSet class is for sets that can’t be modified, and instances of ImmutableSet can therefore be used as dictionary keys. Sets are built on top of dictionaries, so the elements within a set must be hashable.

Here’s a simple example:

>>> import sets
>>> S = sets.Set([1,2,3])
>>> S
Set([1, 2, 3])
>>> 1 in S
True
>>> 0 in S
False
>>> S.add(5)
>>> S.remove(3)
>>> S
Set([1, 2, 5])
>>>

The union and intersection of sets can be computed with the union() and intersection() methods; an alternative notation uses the bitwise operators & and |. Mutable sets also have in-place versions of these methods, union_update() and intersection_update().

>>> S1 = sets.Set([1,2,3])
>>> S2 = sets.Set([4,5,6])
>>> S1.union(S2)
Set([1, 2, 3, 4, 5, 6])
>>> S1 | S2                  # Alternative notation
Set([1, 2, 3, 4, 5, 6])
>>> S1.intersection(S2)
Set([])
>>> S1 & S2                  # Alternative notation
Set([])
>>> S1.union_update(S2)
>>> S1
Set([1, 2, 3, 4, 5, 6])
>>>

It’s also possible to take the symmetric difference of two sets. This is the set of all elements in the union that aren’t in the intersection. Another way of putting it is that the symmetric difference contains all elements that are in exactly one set. Again, there’s an alternative notation (^), and an in-place version with the ungainly name symmetric_difference_update().

>>> S1 = sets.Set([1,2,3,4])
>>> S2 = sets.Set([3,4,5,6])
>>> S1.symmetric_difference(S2)
Set([1, 2, 5, 6])
>>> S1 ^ S2
Set([1, 2, 5, 6])
>>>

There are also issubset() and issuperset() methods for checking whether one set is a subset or superset of another:

>>> S1 = sets.Set([1,2,3])
>>> S2 = sets.Set([2,3])
>>> S2.issubset(S1)
True
>>> S1.issubset(S2)
False
>>> S1.issuperset(S2)
True
>>>

Ver também

PEP 218 [https://peps.python.org/pep-0218/] - Adding a Built-In Set Object Type

PEP written by Greg V. Wilson. Implemented by Greg V. Wilson, Alex Martelli, and GvR.

PEP 255: Simple Generators

In Python 2.2, generators were added as an optional feature, to be enabled by a from __future__ import generators directive. In 2.3 generators no longer need to be specially enabled, and are now always present; this means that yield is now always a keyword. The rest of this section is a copy of the description of generators from the “What’s New in Python 2.2” document; if you read it back when Python 2.2 came out, you can skip the rest of this section.

You’re doubtless familiar with how function calls work in Python or C. When you call a function, it gets a private namespace where its local variables are created. When the function reaches a return statement, the local variables are destroyed and the resulting value is returned to the caller. A later call to the same function will get a fresh new set of local variables. But, what if the local variables weren’t thrown away on exiting a function? What if you could later resume the function where it left off? This is what generators provide; they can be thought of as resumable functions.

Here’s the simplest example of a generator function:

def generate_ints(N):
    for i in range(N):
        yield i

A new keyword, yield, was introduced for generators. Any function containing a yield statement is a generator function; this is detected by Python’s bytecode compiler which compiles the function specially as a result.

When you call a generator function, it doesn’t return a single value; instead it returns a generator object that supports the iterator protocol. On executing the yield statement, the generator outputs the value of i, similar to a return statement. The big difference between yield and a return statement is that on reaching a yield the generator’s state of execution is suspended and local variables are preserved. On the next call to the generator’s .next() method, the function will resume executing immediately after the yield statement. (For complicated reasons, the yield statement isn’t allowed inside the try block of a try…finally statement; read PEP 255 [https://peps.python.org/pep-0255/] for a full explanation of the interaction between yield and exceptions.)

Here’s a sample usage of the generate_ints() generator:

>>> gen = generate_ints(3)
>>> gen
<generator object at 0x8117f90>
>>> gen.next()
0
>>> gen.next()
1
>>> gen.next()
2
>>> gen.next()
Traceback (most recent call last):
  File "stdin", line 1, in ?
  File "stdin", line 2, in generate_ints
StopIteration

You could equally write for i in generate_ints(5), or a,b,c = generate_ints(3).

Inside a generator function, the return statement can only be used without a value, and signals the end of the procession of values; afterwards the generator cannot return any further values. return with a value, such as return 5, is a syntax error inside a generator function. The end of the generator’s results can also be indicated by raising StopIteration manually, or by just letting the flow of execution fall off the bottom of the function.

You could achieve the effect of generators manually by writing your own class and storing all the local variables of the generator as instance variables. For example, returning a list of integers could be done by setting self.count to 0, and having the next() method increment self.count and return it. However, for a moderately complicated generator, writing a corresponding class would be much messier. Lib/test/test_generators.py contains a number of more interesting examples. The simplest one implements an in-order traversal of a tree using generators recursively.

# A recursive generator that generates Tree leaves in in-order.
def inorder(t):
    if t:
        for x in inorder(t.left):
            yield x
        yield t.label
        for x in inorder(t.right):
            yield x

Two other examples in Lib/test/test_generators.py produce solutions for the N-Queens problem (placing $N$ queens on an $NxN$ chess board so that no queen threatens another) and the Knight’s Tour (a route that takes a knight to every square of an $NxN$ chessboard without visiting any square twice).

The idea of generators comes from other programming languages, especially Icon (https://www2.cs.arizona.edu/icon/), where the idea of generators is central. In Icon, every expression and function call behaves like a generator. One example from “An Overview of the Icon Programming Language” at https://www2.cs.arizona.edu/icon/docs/ipd266.htm gives an idea of what this looks like:

sentence := "Store it in the neighboring harbor"
if (i := find("or", sentence)) > 5 then write(i)

In Icon the find() function returns the indexes at which the substring “or” is found: 3, 23, 33. In the if statement, i is first assigned a value of 3, but 3 is less than 5, so the comparison fails, and Icon retries it with the second value of 23. 23 is greater than 5, so the comparison now succeeds, and the code prints the value 23 to the screen.

Python doesn’t go nearly as far as Icon in adopting generators as a central concept. Generators are considered part of the core Python language, but learning or using them isn’t compulsory; if they don’t solve any problems that you have, feel free to ignore them. One novel feature of Python’s interface as compared to Icon’s is that a generator’s state is represented as a concrete object (the iterator) that can be passed around to other functions or stored in a data structure.

Ver também

PEP 255 [https://peps.python.org/pep-0255/] - Simple Generators

Written by Neil Schemenauer, Tim Peters, Magnus Lie Hetland. Implemented mostly by Neil Schemenauer and Tim Peters, with other fixes from the Python Labs crew.

PEP 263: Source Code Encodings

Python source files can now be declared as being in different character set encodings. Encodings are declared by including a specially formatted comment in the first or second line of the source file. For example, a UTF-8 file can be declared with:

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

Without such an encoding declaration, the default encoding used is 7-bit ASCII. Executing or importing modules that contain string literals with 8-bit characters and have no encoding declaration will result in a DeprecationWarning being signalled by Python 2.3; in 2.4 this will be a syntax error.

The encoding declaration only affects Unicode string literals, which will be converted to Unicode using the specified encoding. Note that Python identifiers are still restricted to ASCII characters, so you can’t have variable names that use characters outside of the usual alphanumerics.

Ver também

PEP 263 [https://peps.python.org/pep-0263/] - Defining Python Source Code Encodings

Written by Marc-André Lemburg and Martin von Löwis; implemented by Suzuki Hisao and Martin von Löwis.

PEP 273: Importing Modules from ZIP Archives

The new zipimport module adds support for importing modules from a ZIP-format archive. You don’t need to import the module explicitly; it will be automatically imported if a ZIP archive’s filename is added to sys.path. For example:

amk@nyman:~/src/python$ unzip -l /tmp/example.zip
Archive:  /tmp/example.zip
  Length     Date   Time    Name
 --------    ----   ----    ----
     8467  11-26-02 22:30   jwzthreading.py
 --------                   -------
     8467                   1 file
amk@nyman:~/src/python$ ./python
Python 2.3 (#1, Aug 1 2003, 19:54:32)
>>> import sys
>>> sys.path.insert(0, '/tmp/example.zip')  # Add .zip file to front of path
>>> import jwzthreading
>>> jwzthreading.__file__
'/tmp/example.zip/jwzthreading.py'
>>>

An entry in sys.path can now be the filename of a ZIP archive. The ZIP archive can contain any kind of files, but only files named *.py, *.pyc, or *.pyo can be imported. If an archive only contains *.py files, Python will not attempt to modify the archive by adding the corresponding *.pyc file, meaning that if a ZIP archive doesn’t contain *.pyc files, importing may be rather slow.

A path within the archive can also be specified to only import from a subdirectory; for example, the path /tmp/example.zip/lib/ would only import from the lib/ subdirectory within the archive.

Ver também

PEP 273 [https://peps.python.org/pep-0273/] - Import Modules from Zip Archives

Written by James C. Ahlstrom, who also provided an implementation. Python 2.3 follows the specification in PEP 273 [https://peps.python.org/pep-0273/], but uses an implementation written by Just van Rossum that uses the import hooks described in PEP 302 [https://peps.python.org/pep-0302/]. See section PEP 302: New Import Hooks for a description of the new import hooks.

PEP 277: Unicode file name support for Windows NT

On Windows NT, 2000, and XP, the system stores file names as Unicode strings. Traditionally, Python has represented file names as byte strings, which is inadequate because it renders some file names inaccessible.

Python now allows using arbitrary Unicode strings (within the limitations of the file system) for all functions that expect file names, most notably the open() built-in function. If a Unicode string is passed to os.listdir(), Python now returns a list of Unicode strings. A new function, os.getcwdu(), returns the current directory as a Unicode string.

Byte strings still work as file names, and on Windows Python will transparently convert them to Unicode using the mbcs encoding.

Other systems also allow Unicode strings as file names but convert them to byte strings before passing them to the system, which can cause a UnicodeError to be raised. Applications can test whether arbitrary Unicode strings are supported as file names by checking os.path.supports_unicode_filenames, a Boolean value.

Under MacOS, os.listdir() may now return Unicode filenames.

Ver também

PEP 277 [https://peps.python.org/pep-0277/] - Unicode file name support for Windows NT

Written by Neil Hodgson; implemented by Neil Hodgson, Martin von Löwis, and Mark Hammond.

PEP 278: Universal Newline Support

The three major operating systems used today are Microsoft Windows, Apple’s Macintosh OS, and the various Unix derivatives. A minor irritation of cross-platform work is that these three platforms all use different characters to mark the ends of lines in text files. Unix uses the linefeed (ASCII character 10), MacOS uses the carriage return (ASCII character 13), and Windows uses a two-character sequence of a carriage return plus a newline.

Python’s file objects can now support end of line conventions other than the one followed by the platform on which Python is running. Opening a file with the mode 'U' or 'rU' will open a file for reading in universal newlines mode. All three line ending conventions will be translated to a '\n' in the strings returned by the various file methods such as read() and readline().

Universal newline support is also used when importing modules and when executing a file with the execfile() function. This means that Python modules can be shared between all three operating systems without needing to convert the line-endings.

This feature can be disabled when compiling Python by specifying the --without-universal-newlines switch when running Python’s configure script.

Ver também

PEP 278 [https://peps.python.org/pep-0278/] - Universal Newline Support

Written and implemented by Jack Jansen.

PEP 279: enumerate()

A new built-in function, enumerate(), will make certain loops a bit clearer. enumerate(thing), where thing is either an iterator or a sequence, returns an iterator that will return (0, thing[0]), (1, thing[1]), (2, thing[2]), and so forth.

A common idiom to change every element of a list looks like this:

for i in range(len(L)):
    item = L[i]
    # ... compute some result based on item ...
    L[i] = result

This can be rewritten using enumerate() as:

for i, item in enumerate(L):
    # ... compute some result based on item ...
    L[i] = result

Ver também

PEP 279 [https://peps.python.org/pep-0279/] - The enumerate() built-in function

Written and implemented by Raymond D. Hettinger.

PEP 282: The logging Package

A standard package for writing logs, logging, has been added to Python 2.3. It provides a powerful and flexible mechanism for generating logging output which can then be filtered and processed in various ways. A configuration file written in a standard format can be used to control the logging behavior of a program. Python includes handlers that will write log records to standard error or to a file or socket, send them to the system log, or even e-mail them to a particular address; of course, it’s also possible to write your own handler classes.

The Logger class is the primary class. Most application code will deal with one or more Logger objects, each one used by a particular subsystem of the application. Each Logger is identified by a name, and names are organized into a hierarchy using . as the component separator. For example, you might have Logger instances named server, server.auth and server.network. The latter two instances are below server in the hierarchy. This means that if you turn up the verbosity for server or direct server messages to a different handler, the changes will also apply to records logged to server.auth and server.network. There’s also a root Logger that’s the parent of all other loggers.

For simple uses, the logging package contains some convenience functions that always use the root log:

import logging

logging.debug('Debugging information')
logging.info('Informational message')
logging.warning('Warning:config file %s not found', 'server.conf')
logging.error('Error occurred')
logging.critical('Critical error -- shutting down')

This produces the following output:

WARNING:root:Alerta:arquivo de configuração server.conf não encontrado
ERROR:root:Ocorreu um erro
CRITICAL:root:Erro crítico -- shutting down

In the default configuration, informational and debugging messages are suppressed and the output is sent to standard error. You can enable the display of informational and debugging messages by calling the setLevel() method on the root logger.

Notice the warning() call’s use of string formatting operators; all of the functions for logging messages take the arguments (msg, arg1, arg2, ...) and log the string resulting from msg % (arg1, arg2, ...).

There’s also an exception() function that records the most recent traceback. Any of the other functions will also record the traceback if you specify a true value for the keyword argument exc_info.

def f():
    try:    1/0
    except: logging.exception('Problem recorded')

f()

This produces the following output:

ERROR:root:Problem recorded
Traceback (most recent call last):
  File "t.py", line 6, in f
    1/0
ZeroDivisionError: integer division or modulo by zero

Slightly more advanced programs will use a logger other than the root logger. The getLogger(name) function is used to get a particular log, creating it if it doesn’t exist yet. getLogger(None) returns the root logger.

log = logging.getLogger('server')
 ...
log.info('Listening on port %i', port)
 ...
log.critical('Disk full')
 ...

Log records are usually propagated up the hierarchy, so a message logged to server.auth is also seen by server and root, but a Logger can prevent this by setting its propagate attribute to False.

There are more classes provided by the logging package that can be customized. When a Logger instance is told to log a message, it creates a LogRecord instance that is sent to any number of different Handler instances. Loggers and handlers can also have an attached list of filters, and each filter can cause the LogRecord to be ignored or can modify the record before passing it along. When they’re finally output, LogRecord instances are converted to text by a Formatter class. All of these classes can be replaced by your own specially written classes.

With all of these features the logging package should provide enough flexibility for even the most complicated applications. This is only an incomplete overview of its features, so please see the package’s reference documentation for all of the details. Reading PEP 282 [https://peps.python.org/pep-0282/] will also be helpful.

Ver também

PEP 282 [https://peps.python.org/pep-0282/] - A Logging System

Written by Vinay Sajip and Trent Mick; implemented by Vinay Sajip.

PEP 285: A Boolean Type

A Boolean type was added to Python 2.3. Two new constants were added to the __builtin__ module, True and False. (True and False constants were added to the built-ins in Python 2.2.1, but the 2.2.1 versions are simply set to integer values of 1 and 0 and aren’t a different type.)

The type object for this new type is named bool; the constructor for it takes any Python value and converts it to True or False.

>>> bool(1)
True
>>> bool(0)
False
>>> bool([])
False
>>> bool( (1,) )
True

Most of the standard library modules and built-in functions have been changed to return Booleans.

>>> obj = []
>>> hasattr(obj, 'append')
True
>>> isinstance(obj, list)
True
>>> isinstance(obj, tuple)
False

Python’s Booleans were added with the primary goal of making code clearer. For example, if you’re reading a function and encounter the statement return 1, you might wonder whether the 1 represents a Boolean truth value, an index, or a coefficient that multiplies some other quantity. If the statement is return True, however, the meaning of the return value is quite clear.

Python’s Booleans were not added for the sake of strict type-checking. A very strict language such as Pascal would also prevent you performing arithmetic with Booleans, and would require that the expression in an if statement always evaluate to a Boolean result. Python is not this strict and never will be, as PEP 285 [https://peps.python.org/pep-0285/] explicitly says. This means you can still use any expression in an if statement, even ones that evaluate to a list or tuple or some random object. The Boolean type is a subclass of the int class so that arithmetic using a Boolean still works.

>>> True + 1
2
>>> False + 1
1
>>> False * 75
0
>>> True * 75
75

To sum up True and False in a sentence: they’re alternative ways to spell the integer values 1 and 0, with the single difference that str() and repr() return the strings 'True' and 'False' instead of '1' and '0'.

Ver também

PEP 285 [https://peps.python.org/pep-0285/] - Adding a bool type

Written and implemented by GvR.

PEP 293: Codec Error Handling Callbacks

When encoding a Unicode string into a byte string, unencodable characters may be encountered. So far, Python has allowed specifying the error processing as either “strict” (raising UnicodeError), “ignore” (skipping the character), or “replace” (using a question mark in the output string), with “strict” being the default behavior. It may be desirable to specify alternative processing of such errors, such as inserting an XML character reference or HTML entity reference into the converted string.

Python now has a flexible framework to add different processing strategies. New error handlers can be added with codecs.register_error(), and codecs then can access the error handler with codecs.lookup_error(). An equivalent C API has been added for codecs written in C. The error handler gets the necessary state information such as the string being converted, the position in the string where the error was detected, and the target encoding. The handler can then either raise an exception or return a replacement string.

Two additional error handlers have been implemented using this framework: “backslashreplace” uses Python backslash quoting to represent unencodable characters and “xmlcharrefreplace” emits XML character references.

Ver também

PEP 293 [https://peps.python.org/pep-0293/] - Codec Error Handling Callbacks

Written and implemented by Walter Dörwald.

PEP 301: Package Index and Metadata for Distutils

Support for the long-requested Python catalog makes its first appearance in 2.3.

The heart of the catalog is the new Distutils register command. Running python setup.py register will collect the metadata describing a package, such as its name, version, maintainer, description, &c., and send it to a central catalog server. The resulting catalog is available from https://pypi.org.

To make the catalog a bit more useful, a new optional classifiers keyword argument has been added to the Distutils setup() function. A list of Trove [http://catb.org/~esr/trove/]-style strings can be supplied to help classify the software.

Here’s an example setup.py with classifiers, written to be compatible with older versions of the Distutils:

from distutils import core
kw = {'name': "Quixote",
      'version': "0.5.1",
      'description': "A highly Pythonic Web application framework",
      # ...
      }

if (hasattr(core, 'setup_keywords') and
    'classifiers' in core.setup_keywords):
    kw['classifiers'] = \
        ['Topic :: Internet :: WWW/HTTP :: Dynamic Content',
         'Environment :: No Input/Output (Daemon)',
         'Intended Audience :: Developers'],

core.setup(**kw)

The full list of classifiers can be obtained by running python setup.py register --list-classifiers.

Ver também

PEP 301 [https://peps.python.org/pep-0301/] - Package Index and Metadata for Distutils

Written and implemented by Richard Jones.

PEP 302: New Import Hooks

While it’s been possible to write custom import hooks ever since the ihooks module was introduced in Python 1.3, no one has ever been really happy with it because writing new import hooks is difficult and messy. There have been various proposed alternatives such as the imputil and iu modules, but none of them has ever gained much acceptance, and none of them were easily usable from C code.

PEP 302 [https://peps.python.org/pep-0302/] borrows ideas from its predecessors, especially from Gordon McMillan’s iu module. Three new items are added to the sys module:

sys.path_hooks is a list of callable objects; most often they’ll be classes. Each callable takes a string containing a path and either returns an importer object that will handle imports from this path or raises an ImportError exception if it can’t handle this path.

sys.path_importer_cache caches importer objects for each path, so sys.path_hooks will only need to be traversed once for each path.

sys.meta_path is a list of importer objects that will be traversed before sys.path is checked. This list is initially empty, but user code can add objects to it. Additional built-in and frozen modules can be imported by an object added to this list.

Importer objects must have a single method, find_module(fullname, path=None). fullname will be a module or package name, e.g. string or distutils.core. find_module() must return a loader object that has a single method, load_module(fullname), that creates and returns the corresponding module object.

Pseudo-code for Python’s new import logic, therefore, looks something like this (simplified a bit; see PEP 302 [https://peps.python.org/pep-0302/] for the full details):

for mp in sys.meta_path:
    loader = mp(fullname)
    if loader is not None:
        <module> = loader.load_module(fullname)

for path in sys.path:
    for hook in sys.path_hooks:
        try:
            importer = hook(path)
        except ImportError:
            # ImportError, so try the other path hooks
            pass
        else:
            loader = importer.find_module(fullname)
            <module> = loader.load_module(fullname)

# Not found!
raise ImportError

Ver também

PEP 302 [https://peps.python.org/pep-0302/] - New Import Hooks

Written by Just van Rossum and Paul Moore. Implemented by Just van Rossum.

PEP 305: Comma-separated Files

Comma-separated files are a format frequently used for exporting data from databases and spreadsheets. Python 2.3 adds a parser for comma-separated files.

Comma-separated format is deceptively simple at first glance:

Costs,150,200,3.95

Read a line and call line.split(','): what could be simpler? But toss in string data that can contain commas, and things get more complicated:

"Costs",150,200,3.95,"Includes taxes, shipping, and sundry items"

A big ugly regular expression can parse this, but using the new csv package is much simpler:

import csv

input = open('datafile', 'rb')
reader = csv.reader(input)
for line in reader:
    print line

The reader() function takes a number of different options. The field separator isn’t limited to the comma and can be changed to any character, and so can the quoting and line-ending characters.

Different dialects of comma-separated files can be defined and registered; currently there are two dialects, both used by Microsoft Excel. A separate csv.writer class will generate comma-separated files from a succession of tuples or lists, quoting strings that contain the delimiter.

Ver também

PEP 305 [https://peps.python.org/pep-0305/] - CSV File API

Written and implemented by Kevin Altis, Dave Cole, Andrew McNamara, Skip Montanaro, Cliff Wells.

PEP 307: Pickle Enhancements

The pickle and cPickle modules received some attention during the 2.3 development cycle. In 2.2, new-style classes could be pickled without difficulty, but they weren’t pickled very compactly; PEP 307 [https://peps.python.org/pep-0307/] quotes a trivial example where a new-style class results in a pickled string three times longer than that for a classic class.

The solution was to invent a new pickle protocol. The pickle.dumps() function has supported a text-or-binary flag for a long time. In 2.3, this flag is redefined from a Boolean to an integer: 0 is the old text-mode pickle format, 1 is the old binary format, and now 2 is a new 2.3-specific format. A new constant, pickle.HIGHEST_PROTOCOL, can be used to select the fanciest protocol available.

Unpickling is no longer considered a safe operation. 2.2’s pickle provided hooks for trying to prevent unsafe classes from being unpickled (specifically, a __safe_for_unpickling__ attribute), but none of this code was ever audited and therefore it’s all been ripped out in 2.3. You should not unpickle untrusted data in any version of Python.

To reduce the pickling overhead for new-style classes, a new interface for customizing pickling was added using three special methods: __getstate__(), __setstate__(), and __getnewargs__(). Consult PEP 307 [https://peps.python.org/pep-0307/] for the full semantics of these methods.

As a way to compress pickles yet further, it’s now possible to use integer codes instead of long strings to identify pickled classes. The Python Software Foundation will maintain a list of standardized codes; there’s also a range of codes for private use. Currently no codes have been specified.

Ver também

PEP 307 [https://peps.python.org/pep-0307/] - Extensions to the pickle protocol

Written and implemented by Guido van Rossum and Tim Peters.

Extended Slices

Ever since Python 1.4, the slicing syntax has supported an optional third “step” or “stride” argument. For example, these are all legal Python syntax: L[1:10:2], L[:-1:1], L[::-1]. This was added to Python at the request of the developers of Numerical Python, which uses the third argument extensively. However, Python’s built-in list, tuple, and string sequence types have never supported this feature, raising a TypeError if you tried it. Michael Hudson contributed a patch to fix this shortcoming.

For example, you can now easily extract the elements of a list that have even indexes:

>>> L = range(10)
>>> L[::2]
[0, 2, 4, 6, 8]

Negative values also work to make a copy of the same list in reverse order:

>>> L[::-1]
[9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

This also works for tuples, arrays, and strings:

>>> s='abcd'
>>> s[::2]
'ac'
>>> s[::-1]
'dcba'

If you have a mutable sequence such as a list or an array you can assign to or delete an extended slice, but there are some differences between assignment to extended and regular slices. Assignment to a regular slice can be used to change the length of the sequence:

>>> a = range(3)
>>> a
[0, 1, 2]
>>> a[1:3] = [4, 5, 6]
>>> a
[0, 4, 5, 6]

Extended slices aren’t this flexible. When assigning to an extended slice, the list on the right hand side of the statement must contain the same number of items as the slice it is replacing:

>>> a = range(4)
>>> a
[0, 1, 2, 3]
>>> a[::2]
[0, 2]
>>> a[::2] = [0, -1]
>>> a
[0, 1, -1, 3]
>>> a[::2] = [0,1,2]
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
ValueError: attempt to assign sequence of size 3 to extended slice of size 2

Deletion is more straightforward:

>>> a = range(4)
>>> a
[0, 1, 2, 3]
>>> a[::2]
[0, 2]
>>> del a[::2]
>>> a
[1, 3]

One can also now pass slice objects to the __getitem__() methods of the built-in sequences:

>>> range(10).__getitem__(slice(0, 5, 2))
[0, 2, 4]

Or use slice objects directly in subscripts:

>>> range(10)[slice(0, 5, 2)]
[0, 2, 4]

To simplify implementing sequences that support extended slicing, slice objects now have a method indices(length) which, given the length of a sequence, returns a (start, stop, step) tuple that can be passed directly to range(). indices() handles omitted and out-of-bounds indices in a manner consistent with regular slices (and this innocuous phrase hides a welter of confusing details!). The method is intended to be used like this:

class FakeSeq:
    ...
    def calc_item(self, i):
        ...
    def __getitem__(self, item):
        if isinstance(item, slice):
            indices = item.indices(len(self))
            return FakeSeq([self.calc_item(i) for i in range(*indices)])
        else:
            return self.calc_item(i)

From this example you can also see that the built-in slice object is now the type object for the slice type, and is no longer a function. This is consistent with Python 2.2, where int, str, etc., underwent the same change.

Outras mudanças na linguagem

Here are all of the changes that Python 2.3 makes to the core Python language.

The yield statement is now always a keyword, as described in section PEP 255: Simple Generators of this document.

A new built-in function enumerate() was added, as described in section PEP 279: enumerate() of this document.

Two new constants, True and False were added along with the built-in bool type, as described in section PEP 285: A Boolean Type of this document.

The int() type constructor will now return a long integer instead of raising an OverflowError when a string or floating-point number is too large to fit into an integer. This can lead to the paradoxical result that isinstance(int(expression), int) is false, but that seems unlikely to cause problems in practice.

Built-in types now support the extended slicing syntax, as described in section Extended Slices of this document.

A new built-in function, sum(iterable, start=0), adds up the numeric items in the iterable object and returns their sum. sum() only accepts numbers, meaning that you can’t use it to concatenate a bunch of strings. (Contributed by Alex Martelli.)

list.insert(pos, value) used to insert value at the front of the list when pos was negative. The behaviour has now been changed to be consistent with slice indexing, so when pos is -1 the value will be inserted before the last element, and so forth.

list.index(value), which searches for value within the list and returns its index, now takes optional start and stop arguments to limit the search to only part of the list.

Dictionaries have a new method, pop(key[, *default*]), that returns the value corresponding to key and removes that key/value pair from the dictionary. If the requested key isn’t present in the dictionary, default is returned if it’s specified and KeyError raised if it isn’t.

>>> d = {1:2}
>>> d
{1: 2}
>>> d.pop(4)
Traceback (most recent call last):
  File "stdin", line 1, in ?
KeyError: 4
>>> d.pop(1)
2
>>> d.pop(1)
Traceback (most recent call last):
  File "stdin", line 1, in ?
KeyError: 'pop(): dictionary is empty'
>>> d
{}
>>>

There’s also a new class method, dict.fromkeys(iterable, value), that creates a dictionary with keys taken from the supplied iterator iterable and all values set to value, defaulting to None.

(Patches contributed by Raymond Hettinger.)

Also, the dict() constructor now accepts keyword arguments to simplify creating small dictionaries:

>>> dict(red=1, blue=2, green=3, black=4)
{'blue': 2, 'black': 4, 'green': 3, 'red': 1}

(Contributed by Just van Rossum.)

The assert statement no longer checks the __debug__ flag, so you can no longer disable assertions by assigning to __debug__. Running Python with the -O switch will still generate code that doesn’t execute any assertions.

Most type objects are now callable, so you can use them to create new objects such as functions, classes, and modules. (This means that the new module can be deprecated in a future Python version, because you can now use the type objects available in the types module.) For example, you can create a new module object with the following code:

>>> import types
>>> m = types.ModuleType('abc','docstring')
>>> m
<module 'abc' (built-in)>
>>> m.__doc__
'docstring'

A new warning, PendingDeprecationWarning was added to indicate features which are in the process of being deprecated. The warning will not be printed by default. To check for use of features that will be deprecated in the future, supply -Walways::PendingDeprecationWarning:: on the command line or use warnings.filterwarnings().

The process of deprecating string-based exceptions, as in raise "Error occurred", has begun. Raising a string will now trigger PendingDeprecationWarning.

Using None as a variable name will now result in a SyntaxWarning warning. In a future version of Python, None may finally become a keyword.

The xreadlines() method of file objects, introduced in Python 2.1, is no longer necessary because files now behave as their own iterator. xreadlines() was originally introduced as a faster way to loop over all the lines in a file, but now you can simply write for line in file_obj. File objects also have a new read-only encoding attribute that gives the encoding used by the file; Unicode strings written to the file will be automatically converted to bytes using the given encoding.

The method resolution order used by new-style classes has changed, though you’ll only notice the difference if you have a really complicated inheritance hierarchy. Classic classes are unaffected by this change. Python 2.2 originally used a topological sort of a class’s ancestors, but 2.3 now uses the C3 algorithm as described in the paper “A Monotonic Superclass Linearization for Dylan” [https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.19.3910]. To understand the motivation for this change, read Michele Simionato’s article A Ordem de Resolução de Métodos do Python 2.3, or read the thread on python-dev starting with the message at https://mail.python.org/pipermail/python-dev/2002-October/029035.html. Samuele Pedroni first pointed out the problem and also implemented the fix by coding the C3 algorithm.

Python runs multithreaded programs by switching between threads after executing N bytecodes. The default value for N has been increased from 10 to 100 bytecodes, speeding up single-threaded applications by reducing the switching overhead. Some multithreaded applications may suffer slower response time, but that’s easily fixed by setting the limit back to a lower number using sys.setcheckinterval(N). The limit can be retrieved with the new sys.getcheckinterval() function.

One minor but far-reaching change is that the names of extension types defined by the modules included with Python now contain the module and a '.' in front of the type name. For example, in Python 2.2, if you created a socket and printed its __class__, you’d get this output:

>>> s = socket.socket()
>>> s.__class__
<type 'socket'>

In 2.3, you get this:

>>> s.__class__
<type '_socket.socket'>

One of the noted incompatibilities between old- and new-style classes has been removed: you can now assign to the __name__ and __bases__ attributes of new-style classes. There are some restrictions on what can be assigned to __bases__ along the lines of those relating to assigning to an instance’s __class__ attribute.

String Changes

The in operator now works differently for strings. Previously, when evaluating X in Y where X and Y are strings, X could only be a single character. That’s now changed; X can be a string of any length, and X in Y will return True if X is a substring of Y. If X is the empty string, the result is always True.

>>> 'ab' in 'abcd'
True
>>> 'ad' in 'abcd'
False
>>> '' in 'abcd'
True

Note that this doesn’t tell you where the substring starts; if you need that information, use the find() string method.

The strip(), lstrip(), and rstrip() string methods now have an optional argument for specifying the characters to strip. The default is still to remove all whitespace characters:

>>> '   abc '.strip()
'abc'
>>> '><><abc<><><>'.strip('<>')
'abc'
>>> '><><abc<><><>\n'.strip('<>')
'abc<><><>\n'
>>> u'\u4000\u4001abc\u4000'.strip(u'\u4000')
u'\u4001abc'
>>>

(Suggested by Simon Brunning and implemented by Walter Dörwald.)

The startswith() and endswith() string methods now accept negative numbers for the start and end parameters.

Another new string method is zfill(), originally a function in the string module. zfill() pads a numeric string with zeros on the left until it’s the specified width. Note that the % operator is still more flexible and powerful than zfill().

>>> '45'.zfill(4)
'0045'
>>> '12345'.zfill(4)
'12345'
>>> 'goofy'.zfill(6)
'0goofy'

(Contributed by Walter Dörwald.)

A new type object, basestring, has been added. Both 8-bit strings and Unicode strings inherit from this type, so isinstance(obj, basestring) will return True for either kind of string. It’s a completely abstract type, so you can’t create basestring instances.

Interned strings are no longer immortal and will now be garbage-collected in the usual way when the only reference to them is from the internal dictionary of interned strings. (Implemented by Oren Tirosh.)

Otimizações

The creation of new-style class instances has been made much faster; they’re now faster than classic classes!

The sort() method of list objects has been extensively rewritten by Tim Peters, and the implementation is significantly faster.

Multiplication of large long integers is now much faster thanks to an implementation of Karatsuba multiplication, an algorithm that scales better than the O(n²) required for the grade-school multiplication algorithm. (Original patch by Christopher A. Craig, and significantly reworked by Tim Peters.)

The SET_LINENO opcode is now gone. This may provide a small speed increase, depending on your compiler’s idiosyncrasies. See section Outras alterações e correções for a longer explanation. (Removed by Michael Hudson.)

xrange() objects now have their own iterator, making for i in xrange(n) slightly faster than for i in range(n). (Patch by Raymond Hettinger.)

A number of small rearrangements have been made in various hotspots to improve performance, such as inlining a function or removing some code. (Implemented mostly by GvR, but lots of people have contributed single changes.)

The net result of the 2.3 optimizations is that Python 2.3 runs the pystone benchmark around 25% faster than Python 2.2.

New, Improved, and Deprecated Modules

As usual, Python’s standard library received a number of enhancements and bug fixes. Here’s a partial list of the most notable changes, sorted alphabetically by module name. Consult the Misc/NEWS file in the source tree for a more complete list of changes, or look through the CVS logs for all the details.

The array module now supports arrays of Unicode characters using the 'u' format character. Arrays also now support using the += assignment operator to add another array’s contents, and the *= assignment operator to repeat an array. (Contributed by Jason Orendorff.)

The bsddb module has been replaced by version 4.1.6 of the PyBSDDB [https://pybsddb.sourceforge.net] package, providing a more complete interface to the transactional features of the BerkeleyDB library.

The old version of the module has been renamed to bsddb185 and is no longer built automatically; you’ll have to edit Modules/Setup to enable it. Note that the new bsddb package is intended to be compatible with the old module, so be sure to file bugs if you discover any incompatibilities. When upgrading to Python 2.3, if the new interpreter is compiled with a new version of the underlying BerkeleyDB library, you will almost certainly have to convert your database files to the new version. You can do this fairly easily with the new scripts db2pickle.py and pickle2db.py which you will find in the distribution’s Tools/scripts directory. If you’ve already been using the PyBSDDB package and importing it as bsddb3, you will have to change your import statements to import it as bsddb.

The new bz2 module is an interface to the bz2 data compression library. bz2-compressed data is usually smaller than corresponding zlib-compressed data. (Contributed by Gustavo Niemeyer.)

A set of standard date/time types has been added in the new datetime module. See the following section for more details.

The Distutils Extension class now supports an extra constructor argument named depends for listing additional source files that an extension depends on. This lets Distutils recompile the module if any of the dependency files are modified. For example, if sampmodule.c includes the header file sample.h, you would create the Extension object like this:

ext = Extension("samp",
                sources=["sampmodule.c"],
                depends=["sample.h"])

Modifying sample.h would then cause the module to be recompiled. (Contributed by Jeremy Hylton.)

Other minor changes to Distutils: it now checks for the CC, CFLAGS, CPP, LDFLAGS, and CPPFLAGS environment variables, using them to override the settings in Python’s configuration (contributed by Robert Weber).

Previously the doctest module would only search the docstrings of public methods and functions for test cases, but it now also examines private ones as well. The DocTestSuite() function creates a unittest.TestSuite object from a set of doctest tests.

The new gc.get_referents(object) function returns a list of all the objects referenced by object.

The getopt module gained a new function, gnu_getopt(), that supports the same arguments as the existing getopt() function but uses GNU-style scanning mode. The existing getopt() stops processing options as soon as a non-option argument is encountered, but in GNU-style mode processing continues, meaning that options and arguments can be mixed. For example:

>>> getopt.getopt(['-f', 'filename', 'output', '-v'], 'f:v')
([('-f', 'filename')], ['output', '-v'])
>>> getopt.gnu_getopt(['-f', 'filename', 'output', '-v'], 'f:v')
([('-f', 'filename'), ('-v', '')], ['output'])

(Contributed by Peter Åstrand.)

The grp, pwd, and resource modules now return enhanced tuples:

>>> import grp
>>> g = grp.getgrnam('amk')
>>> g.gr_name, g.gr_gid
('amk', 500)

The gzip module can now handle files exceeding 2 GiB.

The new heapq module contains an implementation of a heap queue algorithm. A heap is an array-like data structure that keeps items in a partially sorted order such that, for every index k, heap[k] <= heap[2*k+1] and heap[k] <= heap[2*k+2]. This makes it quick to remove the smallest item, and inserting a new item while maintaining the heap property is O(log n). (See https://xlinux.nist.gov/dads//HTML/priorityque.html for more information about the priority queue data structure.)

The heapq module provides heappush() and heappop() functions for adding and removing items while maintaining the heap property on top of some other mutable Python sequence type. Here’s an example that uses a Python list:

>>> import heapq
>>> heap = []
>>> for item in [3, 7, 5, 11, 1]:
...    heapq.heappush(heap, item)
...
>>> heap
[1, 3, 5, 11, 7]
>>> heapq.heappop(heap)
1
>>> heapq.heappop(heap)
3
>>> heap
[5, 7, 11]

(Contributed by Kevin O’Connor.)

The IDLE integrated development environment has been updated using the code from the IDLEfork project (https://idlefork.sourceforge.net). The most notable feature is that the code being developed is now executed in a subprocess, meaning that there’s no longer any need for manual reload() operations. IDLE’s core code has been incorporated into the standard library as the idlelib package.

The imaplib module now supports IMAP over SSL. (Contributed by Piers Lauder and Tino Lange.)

The itertools contains a number of useful functions for use with iterators, inspired by various functions provided by the ML and Haskell languages. For example, itertools.ifilter(predicate, iterator) returns all elements in the iterator for which the function predicate() returns True, and itertools.repeat(obj, N) returns obj N times. There are a number of other functions in the module; see the package’s reference documentation for details. (Contributed by Raymond Hettinger.)

Two new functions in the math module, degrees(rads) and radians(degs), convert between radians and degrees. Other functions in the math module such as math.sin() and math.cos() have always required input values measured in radians. Also, an optional base argument was added to math.log() to make it easier to compute logarithms for bases other than e and 10. (Contributed by Raymond Hettinger.)

Several new POSIX functions (getpgid(), killpg(), lchown(), loadavg(), major(), makedev(), minor(), and mknod()) were added to the posix module that underlies the os module. (Contributed by Gustavo Niemeyer, Geert Jansen, and Denis S. Otkidach.)

In the os module, the *stat() family of functions can now report fractions of a second in a timestamp. Such time stamps are represented as floats, similar to the value returned by time.time().

During testing, it was found that some applications will break if time stamps are floats. For compatibility, when using the tuple interface of the stat_result time stamps will be represented as integers. When using named fields (a feature first introduced in Python 2.2), time stamps are still represented as integers, unless os.stat_float_times() is invoked to enable float return values:

>>> os.stat("/tmp").st_mtime
1034791200
>>> os.stat_float_times(True)
>>> os.stat("/tmp").st_mtime
1034791200.6335014

In Python 2.4, the default will change to always returning floats.

Application developers should enable this feature only if all their libraries work properly when confronted with floating-point time stamps, or if they use the tuple API. If used, the feature should be activated on an application level instead of trying to enable it on a per-use basis.

The optparse module contains a new parser for command-line arguments that can convert option values to a particular Python type and will automatically generate a usage message. See the following section for more details.

The old and never-documented linuxaudiodev module has been deprecated, and a new version named ossaudiodev has been added. The module was renamed because the OSS sound drivers can be used on platforms other than Linux, and the interface has also been tidied and brought up to date in various ways. (Contributed by Greg Ward and Nicholas FitzRoy-Dale.)

The new platform module contains a number of functions that try to determine various properties of the platform you’re running on. There are functions for getting the architecture, CPU type, the Windows OS version, and even the Linux distribution version. (Contributed by Marc-André Lemburg.)

The parser objects provided by the pyexpat module can now optionally buffer character data, resulting in fewer calls to your character data handler and therefore faster performance. Setting the parser object’s buffer_text attribute to True will enable buffering.

The sample(population, k) function was added to the random module. population is a sequence or xrange object containing the elements of a population, and sample() chooses k elements from the population without replacing chosen elements. k can be any value up to len(population). For example:

>>> days = ['Mo', 'Tu', 'We', 'Th', 'Fr', 'St', 'Sn']
>>> random.sample(days, 3)      # Choose 3 elements
['St', 'Sn', 'Th']
>>> random.sample(days, 7)      # Choose 7 elements
['Tu', 'Th', 'Mo', 'We', 'St', 'Fr', 'Sn']
>>> random.sample(days, 7)      # Choose 7 again
['We', 'Mo', 'Sn', 'Fr', 'Tu', 'St', 'Th']
>>> random.sample(days, 8)      # Can't choose eight
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "random.py", line 414, in sample
      raise ValueError, "sample larger than population"
ValueError: sample larger than population
>>> random.sample(xrange(1,10000,2), 10)   # Choose ten odd nos. under 10000
[3407, 3805, 1505, 7023, 2401, 2267, 9733, 3151, 8083, 9195]

The random module now uses a new algorithm, the Mersenne Twister, implemented in C. It’s faster and more extensively studied than the previous algorithm.

(All changes contributed by Raymond Hettinger.)

The readline module also gained a number of new functions: get_history_item(), get_current_history_length(), and redisplay().

The rexec and Bastion modules have been declared dead, and attempts to import them will fail with a RuntimeError. New-style classes provide new ways to break out of the restricted execution environment provided by rexec, and no one has interest in fixing them or time to do so. If you have applications using rexec, rewrite them to use something else.

(Sticking with Python 2.2 or 2.1 will not make your applications any safer because there are known bugs in the rexec module in those versions. To repeat: if you’re using rexec, stop using it immediately.)

The rotor module has been deprecated because the algorithm it uses for encryption is not believed to be secure. If you need encryption, use one of the several AES Python modules that are available separately.

The shutil module gained a move(src, dest) function that recursively moves a file or directory to a new location.

Support for more advanced POSIX signal handling was added to the signal but then removed again as it proved impossible to make it work reliably across platforms.

The socket module now supports timeouts. You can call the settimeout(t) method on a socket object to set a timeout of t seconds. Subsequent socket operations that take longer than t seconds to complete will abort and raise a socket.timeout exception.

The original timeout implementation was by Tim O’Malley. Michael Gilfix integrated it into the Python socket module and shepherded it through a lengthy review. After the code was checked in, Guido van Rossum rewrote parts of it. (This is a good example of a collaborative development process in action.)

On Windows, the socket module now ships with Secure Sockets Layer (SSL) support.

The value of the C PYTHON_API_VERSION macro is now exposed at the Python level as sys.api_version. The current exception can be cleared by calling the new sys.exc_clear() function.

The new tarfile module allows reading from and writing to tar-format archive files. (Contributed by Lars Gustäbel.)

The new textwrap module contains functions for wrapping strings containing paragraphs of text. The wrap(text, width) function takes a string and returns a list containing the text split into lines of no more than the chosen width. The fill(text, width) function returns a single string, reformatted to fit into lines no longer than the chosen width. (As you can guess, fill() is built on top of wrap(). For example:

>>> import textwrap
>>> paragraph = "Not a whit, we defy augury: ... more text ..."
>>> textwrap.wrap(paragraph, 60)
["Not a whit, we defy augury: there's a special providence in",
 "the fall of a sparrow. If it be now, 'tis not to come; if it",
 ...]
>>> print textwrap.fill(paragraph, 35)
Not a whit, we defy augury: there's
a special providence in the fall of
a sparrow. If it be now, 'tis not
to come; if it be not to come, it
will be now; if it be not now, yet
it will come: the readiness is all.
>>>

The module also contains a TextWrapper class that actually implements the text wrapping strategy. Both the TextWrapper class and the wrap() and fill() functions support a number of additional keyword arguments for fine-tuning the formatting; consult the module’s documentation for details. (Contributed by Greg Ward.)

The thread and threading modules now have companion modules, dummy_thread and dummy_threading, that provide a do-nothing implementation of the thread module’s interface for platforms where threads are not supported. The intention is to simplify thread-aware modules (ones that don’t rely on threads to run) by putting the following code at the top:

try:
    import threading as _threading
except ImportError:
    import dummy_threading as _threading

In this example, _threading is used as the module name to make it clear that the module being used is not necessarily the actual threading module. Code can call functions and use classes in _threading whether or not threads are supported, avoiding an if statement and making the code slightly clearer. This module will not magically make multithreaded code run without threads; code that waits for another thread to return or to do something will simply hang forever.

The time module’s strptime() function has long been an annoyance because it uses the platform C library’s strptime() implementation, and different platforms sometimes have odd bugs. Brett Cannon contributed a portable implementation that’s written in pure Python and should behave identically on all platforms.

The new timeit module helps measure how long snippets of Python code take to execute. The timeit.py file can be run directly from the command line, or the module’s Timer class can be imported and used directly. Here’s a short example that figures out whether it’s faster to convert an 8-bit string to Unicode by appending an empty Unicode string to it or by using the unicode() function:

import timeit

timer1 = timeit.Timer('unicode("abc")')
timer2 = timeit.Timer('"abc" + u""')

# Run three trials
print timer1.repeat(repeat=3, number=100000)
print timer2.repeat(repeat=3, number=100000)

# On my laptop this outputs:
# [0.36831796169281006, 0.37441694736480713, 0.35304892063140869]
# [0.17574405670166016, 0.18193507194519043, 0.17565798759460449]

The Tix module has received various bug fixes and updates for the current version of the Tix package.

The Tkinter module now works with a thread-enabled version of Tcl. Tcl’s threading model requires that widgets only be accessed from the thread in which they’re created; accesses from another thread can cause Tcl to panic. For certain Tcl interfaces, Tkinter will now automatically avoid this when a widget is accessed from a different thread by marshalling a command, passing it to the correct thread, and waiting for the results. Other interfaces can’t be handled automatically but Tkinter will now raise an exception on such an access so that you can at least find out about the problem. See https://mail.python.org/pipermail/python-dev/2002-December/031107.html for a more detailed explanation of this change. (Implemented by Martin von Löwis.)

Calling Tcl methods through _tkinter no longer returns only strings. Instead, if Tcl returns other objects those objects are converted to their Python equivalent, if one exists, or wrapped with a _tkinter.Tcl_Obj object if no Python equivalent exists. This behavior can be controlled through the wantobjects() method of tkapp objects.

When using _tkinter through the Tkinter module (as most Tkinter applications will), this feature is always activated. It should not cause compatibility problems, since Tkinter would always convert string results to Python types where possible.

If any incompatibilities are found, the old behavior can be restored by setting the wantobjects variable in the Tkinter module to false before creating the first tkapp object.

import Tkinter
Tkinter.wantobjects = 0

Any breakage caused by this change should be reported as a bug.

The UserDict module has a new DictMixin class which defines all dictionary methods for classes that already have a minimum mapping interface. This greatly simplifies writing classes that need to be substitutable for dictionaries, such as the classes in the shelve module.

Adding the mix-in as a superclass provides the full dictionary interface whenever the class defines __getitem__(), __setitem__(), __delitem__(), and keys(). For example:

>>> import UserDict
>>> class SeqDict(UserDict.DictMixin):
...     """Dictionary lookalike implemented with lists."""
...     def __init__(self):
...         self.keylist = []
...         self.valuelist = []
...     def __getitem__(self, key):
...         try:
...             i = self.keylist.index(key)
...         except ValueError:
...             raise KeyError
...         return self.valuelist[i]
...     def __setitem__(self, key, value):
...         try:
...             i = self.keylist.index(key)
...             self.valuelist[i] = value
...         except ValueError:
...             self.keylist.append(key)
...             self.valuelist.append(value)
...     def __delitem__(self, key):
...         try:
...             i = self.keylist.index(key)
...         except ValueError:
...             raise KeyError
...         self.keylist.pop(i)
...         self.valuelist.pop(i)
...     def keys(self):
...         return list(self.keylist)
...
>>> s = SeqDict()
>>> dir(s)      # See that other dictionary methods are implemented
['__cmp__', '__contains__', '__delitem__', '__doc__', '__getitem__',
 '__init__', '__iter__', '__len__', '__module__', '__repr__',
 '__setitem__', 'clear', 'get', 'has_key', 'items', 'iteritems',
 'iterkeys', 'itervalues', 'keylist', 'keys', 'pop', 'popitem',
 'setdefault', 'update', 'valuelist', 'values']

(Contributed by Raymond Hettinger.)

The DOM implementation in xml.dom.minidom can now generate XML output in a particular encoding by providing an optional encoding argument to the toxml() and toprettyxml() methods of DOM nodes.

The xmlrpclib module now supports an XML-RPC extension for handling nil data values such as Python’s None. Nil values are always supported on unmarshalling an XML-RPC response. To generate requests containing None, you must supply a true value for the allow_none parameter when creating a Marshaller instance.

The new DocXMLRPCServer module allows writing self-documenting XML-RPC servers. Run it in demo mode (as a program) to see it in action. Pointing the web browser to the RPC server produces pydoc-style documentation; pointing xmlrpclib to the server allows invoking the actual methods. (Contributed by Brian Quinlan.)

Support for internationalized domain names (RFCs 3454, 3490, 3491, and 3492) has been added. The “idna” encoding can be used to convert between a Unicode domain name and the ASCII-compatible encoding (ACE) of that name.

>{}>{}> u"www.Alliancefrançaise.nu".encode("idna")
'www.xn--alliancefranaise-npb.nu'

The socket module has also been extended to transparently convert Unicode hostnames to the ACE version before passing them to the C library. Modules that deal with hostnames such as httplib and ftplib) also support Unicode host names; httplib also sends HTTP Host headers using the ACE version of the domain name. urllib supports Unicode URLs with non-ASCII host names as long as the path part of the URL is ASCII only.

To implement this change, the stringprep module, the mkstringprep tool and the punycode encoding have been added.

Date/Time Type

Date and time types suitable for expressing timestamps were added as the datetime module. The types don’t support different calendars or many fancy features, and just stick to the basics of representing time.

The three primary types are: date, representing a day, month, and year; time, consisting of hour, minute, and second; and datetime, which contains all the attributes of both date and time. There’s also a timedelta class representing differences between two points in time, and time zone logic is implemented by classes inheriting from the abstract tzinfo class.

You can create instances of date and time by either supplying keyword arguments to the appropriate constructor, e.g. datetime.date(year=1972, month=10, day=15), or by using one of a number of class methods. For example, the today() class method returns the current local date.

Once created, instances of the date/time classes are all immutable. There are a number of methods for producing formatted strings from objects:

>>> import datetime
>>> now = datetime.datetime.now()
>>> now.isoformat()
'2002-12-30T21:27:03.994956'
>>> now.ctime()  # Only available on date, datetime
'Mon Dec 30 21:27:03 2002'
>>> now.strftime('%Y %d %b')
'2002 30 Dec'

The replace() method allows modifying one or more fields of a date or datetime instance, returning a new instance:

>>> d = datetime.datetime.now()
>>> d
datetime.datetime(2002, 12, 30, 22, 15, 38, 827738)
>>> d.replace(year=2001, hour = 12)
datetime.datetime(2001, 12, 30, 12, 15, 38, 827738)
>>>

Instances can be compared, hashed, and converted to strings (the result is the same as that of isoformat()). date and datetime instances can be subtracted from each other, and added to timedelta instances. The largest missing feature is that there’s no standard library support for parsing strings and getting back a date or datetime.

For more information, refer to the module’s reference documentation. (Contributed by Tim Peters.)

The optparse Module

The getopt module provides simple parsing of command-line arguments. The new optparse module (originally named Optik) provides more elaborate command-line parsing that follows the Unix conventions, automatically creates the output for --help, and can perform different actions for different options.

You start by creating an instance of OptionParser and telling it what your program’s options are.

import sys
from optparse import OptionParser

op = OptionParser()
op.add_option('-i', '--input',
              action='store', type='string', dest='input',
              help='set input filename')
op.add_option('-l', '--length',
              action='store', type='int', dest='length',
              help='set maximum length of output')

Parsing a command line is then done by calling the parse_args() method.

options, args = op.parse_args(sys.argv[1:])
print options
print args

This returns an object containing all of the option values, and a list of strings containing the remaining arguments.

Invoking the script with the various arguments now works as you’d expect it to. Note that the length argument is automatically converted to an integer.

$ ./python opt.py -i data arg1
<Values at 0x400cad4c: {'input': 'data', 'length': None}>
['arg1']
$ ./python opt.py --input=data --length=4
<Values at 0x400cad2c: {'input': 'data', 'length': 4}>
[]
$

The help message is automatically generated for you:

$ ./python opt.py --help
usage: opt.py [options]

options:
  -h, --help            show this help message and exit
  -iINPUT, --input=INPUT
                        set input filename
  -lLENGTH, --length=LENGTH
                        set maximum length of output
$

See the module’s documentation for more details.

Optik was written by Greg Ward, with suggestions from the readers of the Getopt SIG.

Pymalloc: A Specialized Object Allocator

Pymalloc, a specialized object allocator written by Vladimir Marangozov, was a feature added to Python 2.1. Pymalloc is intended to be faster than the system malloc() and to have less memory overhead for allocation patterns typical of Python programs. The allocator uses C’s malloc() function to get large pools of memory and then fulfills smaller memory requests from these pools.

In 2.1 and 2.2, pymalloc was an experimental feature and wasn’t enabled by default; you had to explicitly enable it when compiling Python by providing the --with-pymalloc option to the configure script. In 2.3, pymalloc has had further enhancements and is now enabled by default; you’ll have to supply --without-pymalloc to disable it.

This change is transparent to code written in Python; however, pymalloc may expose bugs in C extensions. Authors of C extension modules should test their code with pymalloc enabled, because some incorrect code may cause core dumps at runtime.

There’s one particularly common error that causes problems. There are a number of memory allocation functions in Python’s C API that have previously just been aliases for the C library’s malloc() and free(), meaning that if you accidentally called mismatched functions the error wouldn’t be noticeable. When the object allocator is enabled, these functions aren’t aliases of malloc() and free() any more, and calling the wrong function to free memory may get you a core dump. For example, if memory was allocated using PyObject_Malloc(), it has to be freed using PyObject_Free(), not free(). A few modules included with Python fell afoul of this and had to be fixed; doubtless there are more third-party modules that will have the same problem.

As part of this change, the confusing multiple interfaces for allocating memory have been consolidated down into two API families. Memory allocated with one family must not be manipulated with functions from the other family. There is one family for allocating chunks of memory and another family of functions specifically for allocating Python objects.

To allocate and free an undistinguished chunk of memory use the “raw memory” family: PyMem_Malloc(), PyMem_Realloc(), and PyMem_Free().

The “object memory” family is the interface to the pymalloc facility described above and is biased towards a large number of “small” allocations: PyObject_Malloc(), PyObject_Realloc(), and PyObject_Free().

To allocate and free Python objects, use the “object” family PyObject_New, PyObject_NewVar, and PyObject_Del().

Thanks to lots of work by Tim Peters, pymalloc in 2.3 also provides debugging features to catch memory overwrites and doubled frees in both extension modules and in the interpreter itself. To enable this support, compile a debugging version of the Python interpreter by running configure with --with-pydebug.

To aid extension writers, a header file Misc/pymemcompat.h is distributed with the source to Python 2.3 that allows Python extensions to use the 2.3 interfaces to memory allocation while compiling against any version of Python since 1.5.2. You would copy the file from Python’s source distribution and bundle it with the source of your extension.

Ver também

https://hg.python.org/cpython/file/default/Objects/obmalloc.c

For the full details of the pymalloc implementation, see the comments at the top of the file Objects/obmalloc.c in the Python source code. The above link points to the file within the python.org SVN browser.

Mudanças a construções e API C

As alterações no processo de construção do Python e na API C incluem:

The cycle detection implementation used by the garbage collection has proven to be stable, so it’s now been made mandatory. You can no longer compile Python without it, and the --with-cycle-gc switch to configure has been removed.

Python can now optionally be built as a shared library (libpython2.3.so) by supplying --enable-shared when running Python’s configure script. (Contributed by Ondrej Palkovsky.)

The DL_EXPORT and DL_IMPORT macros are now deprecated. Initialization functions for Python extension modules should now be declared using the new macro PyMODINIT_FUNC, while the Python core will generally use the PyAPI_FUNC and PyAPI_DATA macros.

The interpreter can be compiled without any docstrings for the built-in functions and modules by supplying --without-doc-strings to the configure script. This makes the Python executable about 10% smaller, but will also mean that you can’t get help for Python’s built-ins. (Contributed by Gustavo Niemeyer.)

The PyArg_NoArgs() macro is now deprecated, and code that uses it should be changed. For Python 2.2 and later, the method definition table can specify the METH_NOARGS flag, signalling that there are no arguments, and the argument checking can then be removed. If compatibility with pre-2.2 versions of Python is important, the code could use PyArg_ParseTuple(args, "") instead, but this will be slower than using METH_NOARGS.

PyArg_ParseTuple() accepts new format characters for various sizes of unsigned integers: B for unsigned char, H for unsigned short int, I for unsigned int, and K for unsigned long long.

A new function, PyObject_DelItemString(mapping, char *key) was added as shorthand for PyObject_DelItem(mapping, PyString_New(key)).

File objects now manage their internal string buffer differently, increasing it exponentially when needed. This results in the benchmark tests in Lib/test/test_bufio.py speeding up considerably (from 57 seconds to 1.7 seconds, according to one measurement).

It’s now possible to define class and static methods for a C extension type by setting either the METH_CLASS or METH_STATIC flags in a method’s PyMethodDef structure.

Python now includes a copy of the Expat XML parser’s source code, removing any dependence on a system version or local installation of Expat.

If you dynamically allocate type objects in your extension, you should be aware of a change in the rules relating to the __module__ and __name__ attributes. In summary, you will want to ensure the type’s dictionary contains a '__module__' key; making the module name the part of the type name leading up to the final period will no longer have the desired effect. For more detail, read the API reference documentation or the source.

Port-Specific Changes

Support for a port to IBM’s OS/2 using the EMX runtime environment was merged into the main Python source tree. EMX is a POSIX emulation layer over the OS/2 system APIs. The Python port for EMX tries to support all the POSIX-like capability exposed by the EMX runtime, and mostly succeeds; fork() and fcntl() are restricted by the limitations of the underlying emulation layer. The standard OS/2 port, which uses IBM’s Visual Age compiler, also gained support for case-sensitive import semantics as part of the integration of the EMX port into CVS. (Contributed by Andrew MacIntyre.)

On MacOS, most toolbox modules have been weaklinked to improve backward compatibility. This means that modules will no longer fail to load if a single routine is missing on the current OS version. Instead calling the missing routine will raise an exception. (Contributed by Jack Jansen.)

The RPM spec files, found in the Misc/RPM/ directory in the Python source distribution, were updated for 2.3. (Contributed by Sean Reifschneider.)

Other new platforms now supported by Python include AtheOS (http://www.atheos.cx/), GNU/Hurd, and OpenVMS.

Outras alterações e correções

As usual, there were a bunch of other improvements and bugfixes scattered throughout the source tree. A search through the CVS change logs finds there were 523 patches applied and 514 bugs fixed between Python 2.2 and 2.3. Both figures are likely to be underestimates.

Some of the more notable changes are:

If the PYTHONINSPECT environment variable is set, the Python interpreter will enter the interactive prompt after running a Python program, as if Python had been invoked with the -i option. The environment variable can be set before running the Python interpreter, or it can be set by the Python program as part of its execution.

The regrtest.py script now provides a way to allow “all resources except foo.” A resource name passed to the -u option can now be prefixed with a hyphen ('-') to mean “remove this resource.” For example, the option ‘-uall,-bsddb’ could be used to enable the use of all resources except bsddb.

The tools used to build the documentation now work under Cygwin as well as Unix.

The SET_LINENO opcode has been removed. Back in the mists of time, this opcode was needed to produce line numbers in tracebacks and support trace functions (for, e.g., pdb). Since Python 1.5, the line numbers in tracebacks have been computed using a different mechanism that works with “python -O”. For Python 2.3 Michael Hudson implemented a similar scheme to determine when to call the trace function, removing the need for SET_LINENO entirely.

It would be difficult to detect any resulting difference from Python code, apart from a slight speed up when Python is run without -O.

C extensions that access the f_lineno field of frame objects should instead call PyCode_Addr2Line(f->f_code, f->f_lasti). This will have the added effect of making the code work as desired under “python -O” in earlier versions of Python.

A nifty new feature is that trace functions can now assign to the f_lineno attribute of frame objects, changing the line that will be executed next. A jump command has been added to the pdb debugger taking advantage of this new feature. (Implemented by Richie Hindle.)

Porting to Python 2.3

This section lists previously described changes that may require changes to your code:

yield is now always a keyword; if it’s used as a variable name in your code, a different name must be chosen.

For strings X and Y, X in Y now works if X is more than one character long.

The int() type constructor will now return a long integer instead of raising an OverflowError when a string or floating-point number is too large to fit into an integer.

If you have Unicode strings that contain 8-bit characters, you must declare the file’s encoding (UTF-8, Latin-1, or whatever) by adding a comment to the top of the file. See section PEP 263: Source Code Encodings for more information.

Calling Tcl methods through _tkinter no longer returns only strings. Instead, if Tcl returns other objects those objects are converted to their Python equivalent, if one exists, or wrapped with a _tkinter.Tcl_Obj object if no Python equivalent exists.

Large octal and hex literals such as 0xffffffff now trigger a FutureWarning. Currently they’re stored as 32-bit numbers and result in a negative value, but in Python 2.4 they’ll become positive long integers.

There are a few ways to fix this warning. If you really need a positive number, just add an L to the end of the literal. If you’re trying to get a 32-bit integer with low bits set and have previously used an expression such as ~(1 << 31), it’s probably clearest to start with all bits set and clear the desired upper bits. For example, to clear just the top bit (bit 31), you could write 0xffffffffL &~(1L<<31).

You can no longer disable assertions by assigning to __debug__.

The Distutils setup() function has gained various new keyword arguments such as depends. Old versions of the Distutils will abort if passed unknown keywords. A solution is to check for the presence of the new get_distutil_options() function in your setup.py and only uses the new keywords with a version of the Distutils that supports them:

from distutils import core

kw = {'sources': 'foo.c', ...}
if hasattr(core, 'get_distutil_options'):
    kw['depends'] = ['foo.h']
ext = Extension(**kw)

Using None as a variable name will now result in a SyntaxWarning warning.

Names of extension types defined by the modules included with Python now contain the module and a '.' in front of the type name.

Reconhecimentos

The author would like to thank the following people for offering suggestions, corrections and assistance with various drafts of this article: Jeff Bauer, Simon Brunning, Brett Cannon, Michael Chermside, Andrew Dalke, Scott David Daniels, Fred L. Drake, Jr., David Fraser, Kelly Gerber, Raymond Hettinger, Michael Hudson, Chris Lambert, Detlef Lannert, Martin von Löwis, Andrew MacIntyre, Lalo Martins, Chad Netzer, Gustavo Niemeyer, Neal Norwitz, Hans Nowak, Chris Reedy, Francesco Ricciardi, Vinay Sajip, Neil Schemenauer, Roman Suzi, Jason Tishler, Just van Rossum.

What’s New in Python 2.2

Autor:

A.M. Kuchling

Introdução

This article explains the new features in Python 2.2.2, released on October 14, 2002. Python 2.2.2 is a bugfix release of Python 2.2, originally released on December 21, 2001.

Python 2.2 can be thought of as the “cleanup release”. There are some features such as generators and iterators that are completely new, but most of the changes, significant and far-reaching though they may be, are aimed at cleaning up irregularities and dark corners of the language design.

This article doesn’t attempt to provide a complete specification of the new features, but instead provides a convenient overview. For full details, you should refer to the documentation for Python 2.2, such as the Python Library Reference [https://docs.python.org/2.2/lib/lib.html] and the Python Reference Manual [https://docs.python.org/2.2/ref/ref.html]. If you want to understand the complete implementation and design rationale for a change, refer to the PEP for a particular new feature.

PEPs 252 and 253: Type and Class Changes

The largest and most far-reaching changes in Python 2.2 are to Python’s model of objects and classes. The changes should be backward compatible, so it’s likely that your code will continue to run unchanged, but the changes provide some amazing new capabilities. Before beginning this, the longest and most complicated section of this article, I’ll provide an overview of the changes and offer some comments.

A long time ago I wrote a web page listing flaws in Python’s design. One of the most significant flaws was that it’s impossible to subclass Python types implemented in C. In particular, it’s not possible to subclass built-in types, so you can’t just subclass, say, lists in order to add a single useful method to them. The UserList module provides a class that supports all of the methods of lists and that can be subclassed further, but there’s lots of C code that expects a regular Python list and won’t accept a UserList instance.

Python 2.2 fixes this, and in the process adds some exciting new capabilities. A brief summary:

You can subclass built-in types such as lists and even integers, and your subclasses should work in every place that requires the original type.

It’s now possible to define static and class methods, in addition to the instance methods available in previous versions of Python.

It’s also possible to automatically call methods on accessing or setting an instance attribute by using a new mechanism called properties. Many uses of __getattr__() can be rewritten to use properties instead, making the resulting code simpler and faster. As a small side benefit, attributes can now have docstrings, too.

The list of legal attributes for an instance can be limited to a particular set using slots, making it possible to safeguard against typos and perhaps make more optimizations possible in future versions of Python.

Some users have voiced concern about all these changes. Sure, they say, the new features are neat and lend themselves to all sorts of tricks that weren’t possible in previous versions of Python, but they also make the language more complicated. Some people have said that they’ve always recommended Python for its simplicity, and feel that its simplicity is being lost.

Personally, I think there’s no need to worry. Many of the new features are quite esoteric, and you can write a lot of Python code without ever needed to be aware of them. Writing a simple class is no more difficult than it ever was, so you don’t need to bother learning or teaching them unless they’re actually needed. Some very complicated tasks that were previously only possible from C will now be possible in pure Python, and to my mind that’s all for the better.

I’m not going to attempt to cover every single corner case and small change that were required to make the new features work. Instead this section will paint only the broad strokes. See section Related Links, “Related Links”, for further sources of information about Python 2.2’s new object model.

Old and New Classes

First, you should know that Python 2.2 really has two kinds of classes: classic or old-style classes, and new-style classes. The old-style class model is exactly the same as the class model in earlier versions of Python. All the new features described in this section apply only to new-style classes. This divergence isn’t intended to last forever; eventually old-style classes will be dropped, possibly in Python 3.0.

So how do you define a new-style class? You do it by subclassing an existing new-style class. Most of Python’s built-in types, such as integers, lists, dictionaries, and even files, are new-style classes now. A new-style class named object, the base class for all built-in types, has also been added so if no built-in type is suitable, you can just subclass object:

class C(object):
    def __init__ (self):
        ...
    ...

This means that class statements that don’t have any base classes are always classic classes in Python 2.2. (Actually you can also change this by setting a module-level variable named __metaclass__ — see PEP 253 [https://peps.python.org/pep-0253/] for the details — but it’s easier to just subclass object.)

The type objects for the built-in types are available as built-ins, named using a clever trick. Python has always had built-in functions named int(), float(), and str(). In 2.2, they aren’t functions any more, but type objects that behave as factories when called.

>>> int
<type 'int'>
>>> int('123')
123

To make the set of types complete, new type objects such as dict() and file() have been added. Here’s a more interesting example, adding a lock() method to file objects:

class LockableFile(file):
    def lock (self, operation, length=0, start=0, whence=0):
        import fcntl
        return fcntl.lockf(self.fileno(), operation,
                           length, start, whence)

The now-obsolete posixfile module contained a class that emulated all of a file object’s methods and also added a lock() method, but this class couldn’t be passed to internal functions that expected a built-in file, something which is possible with our new LockableFile.

Descriptors

In previous versions of Python, there was no consistent way to discover what attributes and methods were supported by an object. There were some informal conventions, such as defining __members__ and __methods__ attributes that were lists of names, but often the author of an extension type or a class wouldn’t bother to define them. You could fall back on inspecting the __dict__ of an object, but when class inheritance or an arbitrary __getattr__() hook were in use this could still be inaccurate.

The one big idea underlying the new class model is that an API for describing the attributes of an object using descriptors has been formalized. Descriptors specify the value of an attribute, stating whether it’s a method or a field. With the descriptor API, static methods and class methods become possible, as well as more exotic constructs.

Attribute descriptors are objects that live inside class objects, and have a few attributes of their own:

__name__ is the attribute’s name.

__doc__ is the attribute’s docstring.

__get__(object) is a method that retrieves the attribute value from object.

__set__(object, value) sets the attribute on object to value.

__delete__(object, value) deletes the value attribute of object.

For example, when you write obj.x, the steps that Python actually performs are:

descriptor = obj.__class__.x
descriptor.__get__(obj)

For methods, descriptor.__get__ returns a temporary object that’s callable, and wraps up the instance and the method to be called on it. This is also why static methods and class methods are now possible; they have descriptors that wrap up just the method, or the method and the class. As a brief explanation of these new kinds of methods, static methods aren’t passed the instance, and therefore resemble regular functions. Class methods are passed the class of the object, but not the object itself. Static and class methods are defined like this:

class C(object):
    def f(arg1, arg2):
        ...
    f = staticmethod(f)

    def g(cls, arg1, arg2):
        ...
    g = classmethod(g)

The staticmethod() function takes the function f(), and returns it wrapped up in a descriptor so it can be stored in the class object. You might expect there to be special syntax for creating such methods (def static f, defstatic f(), or something like that) but no such syntax has been defined yet; that’s been left for future versions of Python.

More new features, such as slots and properties, are also implemented as new kinds of descriptors, and it’s not difficult to write a descriptor class that does something novel. For example, it would be possible to write a descriptor class that made it possible to write Eiffel-style preconditions and postconditions for a method. A class that used this feature might be defined like this:

from eiffel import eiffelmethod

class C(object):
    def f(self, arg1, arg2):
        # The actual function
        ...
    def pre_f(self):
        # Check preconditions
        ...
    def post_f(self):
        # Check postconditions
        ...

    f = eiffelmethod(f, pre_f, post_f)

Note that a person using the new eiffelmethod() doesn’t have to understand anything about descriptors. This is why I think the new features don’t increase the basic complexity of the language. There will be a few wizards who need to know about it in order to write eiffelmethod() or the ZODB or whatever, but most users will just write code on top of the resulting libraries and ignore the implementation details.

Multiple Inheritance: The Diamond Rule

Multiple inheritance has also been made more useful through changing the rules under which names are resolved. Consider this set of classes (diagram taken from PEP 253 [https://peps.python.org/pep-0253/] by Guido van Rossum):

      class A:
        ^ ^  def save(self): ...
       /   \
      /     \
     /       \
    /         \
class B     class C:
    ^         ^  def save(self): ...
     \       /
      \     /
       \   /
        \ /
      class D

The lookup rule for classic classes is simple but not very smart; the base classes are searched depth-first, going from left to right. A reference to D.save() will search the classes D, B, and then A, where save() would be found and returned. C.save() would never be found at all. This is bad, because if C’s save() method is saving some internal state specific to C, not calling it will result in that state never getting saved.

New-style classes follow a different algorithm that’s a bit more complicated to explain, but does the right thing in this situation. (Note that Python 2.3 changes this algorithm to one that produces the same results in most cases, but produces more useful results for really complicated inheritance graphs.)

List all the base classes, following the classic lookup rule and include a class multiple times if it’s visited repeatedly. In the above example, the list of visited classes is [D, B, A, C, A].

Scan the list for duplicated classes. If any are found, remove all but one occurrence, leaving the last one in the list. In the above example, the list becomes [D, B, C, A] after dropping duplicates.

Following this rule, referring to D.save() will return C.save(), which is the behaviour we’re after. This lookup rule is the same as the one followed by Common Lisp. A new built-in function, super(), provides a way to get at a class’s superclasses without having to reimplement Python’s algorithm. The most commonly used form will be super(class, obj), which returns a bound superclass object (not the actual class object). This form will be used in methods to call a method in the superclass; for example, D’s save() method would look like this:

class D (B,C):
    def save (self):
        # Call superclass .save()
        super(D, self).save()
        # Save D's private information here
        ...

super() can also return unbound superclass objects when called as super(class) or super(class1, class2), but this probably won’t often be useful.

Attribute Access

A fair number of sophisticated Python classes define hooks for attribute access using __getattr__(); most commonly this is done for convenience, to make code more readable by automatically mapping an attribute access such as obj.parent into a method call such as obj.get_parent. Python 2.2 adds some new ways of controlling attribute access.

First, __getattr__(attr_name) is still supported by new-style classes, and nothing about it has changed. As before, it will be called when an attempt is made to access obj.foo and no attribute named foo is found in the instance’s dictionary.

New-style classes also support a new method, __getattribute__(attr_name). The difference between the two methods is that __getattribute__() is always called whenever any attribute is accessed, while the old __getattr__() is only called if foo isn’t found in the instance’s dictionary.

However, Python 2.2’s support for properties will often be a simpler way to trap attribute references. Writing a __getattr__() method is complicated because to avoid recursion you can’t use regular attribute accesses inside them, and instead have to mess around with the contents of __dict__. __getattr__() methods also end up being called by Python when it checks for other methods such as __repr__() or __coerce__(), and so have to be written with this in mind. Finally, calling a function on every attribute access results in a sizable performance loss.

property is a new built-in type that packages up three functions that get, set, or delete an attribute, and a docstring. For example, if you want to define a size attribute that’s computed, but also settable, you could write:

class C(object):
    def get_size (self):
        result = ... computation ...
        return result
    def set_size (self, size):
        ... compute something based on the size
        and set internal state appropriately ...

    # Define a property.  The 'delete this attribute'
    # method is defined as None, so the attribute
    # can't be deleted.
    size = property(get_size, set_size,
                    None,
                    "Storage size of this instance")

That is certainly clearer and easier to write than a pair of __getattr__()/__setattr__() methods that check for the size attribute and handle it specially while retrieving all other attributes from the instance’s __dict__. Accesses to size are also the only ones which have to perform the work of calling a function, so references to other attributes run at their usual speed.

Finally, it’s possible to constrain the list of attributes that can be referenced on an object using the new __slots__ class attribute. Python objects are usually very dynamic; at any time it’s possible to define a new attribute on an instance by just doing obj.new_attr=1. A new-style class can define a class attribute named __slots__ to limit the legal attributes to a particular set of names. An example will make this clear:

>>> class C(object):
...     __slots__ = ('template', 'name')
...
>>> obj = C()
>>> print obj.template
None
>>> obj.template = 'Test'
>>> print obj.template
Test
>>> obj.newattr = None
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
AttributeError: 'C' object has no attribute 'newattr'

Note how you get an AttributeError on the attempt to assign to an attribute not listed in __slots__.

Related Links

This section has just been a quick overview of the new features, giving enough of an explanation to start you programming, but many details have been simplified or ignored. Where should you go to get a more complete picture?

The Guia de descritores is a lengthy tutorial introduction to the descriptor features, written by Guido van Rossum. If my description has whetted your appetite, go read this tutorial next, because it goes into much more detail about the new features while still remaining quite easy to read.

Next, there are two relevant PEPs, PEP 252 [https://peps.python.org/pep-0252/] and PEP 253 [https://peps.python.org/pep-0253/]. PEP 252 [https://peps.python.org/pep-0252/] is titled “Making Types Look More Like Classes”, and covers the descriptor API. PEP 253 [https://peps.python.org/pep-0253/] is titled “Subtyping Built-in Types”, and describes the changes to type objects that make it possible to subtype built-in objects. PEP 253 [https://peps.python.org/pep-0253/] is the more complicated PEP of the two, and at a few points the necessary explanations of types and meta-types may cause your head to explode. Both PEPs were written and implemented by Guido van Rossum, with substantial assistance from the rest of the Zope Corp. team.

Finally, there’s the ultimate authority: the source code. Most of the machinery for the type handling is in Objects/typeobject.c, but you should only resort to it after all other avenues have been exhausted, including posting a question to python-list or python-dev.

PEP 234: Iterators

Another significant addition to 2.2 is an iteration interface at both the C and Python levels. Objects can define how they can be looped over by callers.

In Python versions up to 2.1, the usual way to make for item in obj work is to define a __getitem__() method that looks something like this:

def __getitem__(self, index):
    return <next item>

__getitem__() is more properly used to define an indexing operation on an object so that you can write obj[5] to retrieve the sixth element. It’s a bit misleading when you’re using this only to support for loops. Consider some file-like object that wants to be looped over; the index parameter is essentially meaningless, as the class probably assumes that a series of __getitem__() calls will be made with index incrementing by one each time. In other words, the presence of the __getitem__() method doesn’t mean that using file[5] to randomly access the sixth element will work, though it really should.

In Python 2.2, iteration can be implemented separately, and __getitem__() methods can be limited to classes that really do support random access. The basic idea of iterators is simple. A new built-in function, iter(obj) or iter(C, sentinel), is used to get an iterator. iter(obj) returns an iterator for the object obj, while iter(C, sentinel) returns an iterator that will invoke the callable object C until it returns sentinel to signal that the iterator is done.

Python classes can define an __iter__() method, which should create and return a new iterator for the object; if the object is its own iterator, this method can just return self. In particular, iterators will usually be their own iterators. Extension types implemented in C can implement a tp_iter function in order to return an iterator, and extension types that want to behave as iterators can define a tp_iternext function.

So, after all this, what do iterators actually do? They have one required method, next(), which takes no arguments and returns the next value. When there are no more values to be returned, calling next() should raise the StopIteration exception.

>>> L = [1,2,3]
>>> i = iter(L)
>>> print i
<iterator object at 0x8116870>
>>> i.next()
1
>>> i.next()
2
>>> i.next()
3
>>> i.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
StopIteration
>>>

In 2.2, Python’s for statement no longer expects a sequence; it expects something for which iter() will return an iterator. For backward compatibility and convenience, an iterator is automatically constructed for sequences that don’t implement __iter__() or a tp_iter slot, so for i in [1,2,3] will still work. Wherever the Python interpreter loops over a sequence, it’s been changed to use the iterator protocol. This means you can do things like this:

>>> L = [1,2,3]
>>> i = iter(L)
>>> a,b,c = i
>>> a,b,c
(1, 2, 3)

Iterator support has been added to some of Python’s basic types. Calling iter() on a dictionary will return an iterator which loops over its keys:

>>> m = {'Jan': 1, 'Feb': 2, 'Mar': 3, 'Apr': 4, 'May': 5, 'Jun': 6,
...      'Jul': 7, 'Aug': 8, 'Sep': 9, 'Oct': 10, 'Nov': 11, 'Dec': 12}
>>> for key in m: print key, m[key]
...
Mar 3
Feb 2
Aug 8
Sep 9
May 5
Jun 6
Jul 7
Jan 1
Apr 4
Nov 11
Dec 12
Oct 10

That’s just the default behaviour. If you want to iterate over keys, values, or key/value pairs, you can explicitly call the iterkeys(), itervalues(), or iteritems() methods to get an appropriate iterator. In a minor related change, the in operator now works on dictionaries, so key in dict is now equivalent to dict.has_key(key).

Files also provide an iterator, which calls the readline() method until there are no more lines in the file. This means you can now read each line of a file using code like this:

for line in file:
    # do something for each line
    ...

Note that you can only go forward in an iterator; there’s no way to get the previous element, reset the iterator, or make a copy of it. An iterator object could provide such additional capabilities, but the iterator protocol only requires a next() method.

Ver também

PEP 234 [https://peps.python.org/pep-0234/] - Iterators

Written by Ka-Ping Yee and GvR; implemented by the Python Labs crew, mostly by GvR and Tim Peters.

PEP 255: Simple Generators

Generators are another new feature, one that interacts with the introduction of iterators.

You’re doubtless familiar with how function calls work in Python or C. When you call a function, it gets a private namespace where its local variables are created. When the function reaches a return statement, the local variables are destroyed and the resulting value is returned to the caller. A later call to the same function will get a fresh new set of local variables. But, what if the local variables weren’t thrown away on exiting a function? What if you could later resume the function where it left off? This is what generators provide; they can be thought of as resumable functions.

Here’s the simplest example of a generator function:

def generate_ints(N):
    for i in range(N):
        yield i

A new keyword, yield, was introduced for generators. Any function containing a yield statement is a generator function; this is detected by Python’s bytecode compiler which compiles the function specially as a result. Because a new keyword was introduced, generators must be explicitly enabled in a module by including a from __future__ import generators statement near the top of the module’s source code. In Python 2.3 this statement will become unnecessary.

When you call a generator function, it doesn’t return a single value; instead it returns a generator object that supports the iterator protocol. On executing the yield statement, the generator outputs the value of i, similar to a return statement. The big difference between yield and a return statement is that on reaching a yield the generator’s state of execution is suspended and local variables are preserved. On the next call to the generator’s next() method, the function will resume executing immediately after the yield statement. (For complicated reasons, the yield statement isn’t allowed inside the try block of a try…finally statement; read PEP 255 [https://peps.python.org/pep-0255/] for a full explanation of the interaction between yield and exceptions.)

Here’s a sample usage of the generate_ints() generator:

>>> gen = generate_ints(3)
>>> gen
<generator object at 0x8117f90>
>>> gen.next()
0
>>> gen.next()
1
>>> gen.next()
2
>>> gen.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "<stdin>", line 2, in generate_ints
StopIteration

You could equally write for i in generate_ints(5), or a,b,c = generate_ints(3).

Inside a generator function, the return statement can only be used without a value, and signals the end of the procession of values; afterwards the generator cannot return any further values. return with a value, such as return 5, is a syntax error inside a generator function. The end of the generator’s results can also be indicated by raising StopIteration manually, or by just letting the flow of execution fall off the bottom of the function.

You could achieve the effect of generators manually by writing your own class and storing all the local variables of the generator as instance variables. For example, returning a list of integers could be done by setting self.count to 0, and having the next() method increment self.count and return it. However, for a moderately complicated generator, writing a corresponding class would be much messier. Lib/test/test_generators.py contains a number of more interesting examples. The simplest one implements an in-order traversal of a tree using generators recursively.

# A recursive generator that generates Tree leaves in in-order.
def inorder(t):
    if t:
        for x in inorder(t.left):
            yield x
        yield t.label
        for x in inorder(t.right):
            yield x

Two other examples in Lib/test/test_generators.py produce solutions for the N-Queens problem (placing $N$ queens on an $NxN$ chess board so that no queen threatens another) and the Knight’s Tour (a route that takes a knight to every square of an $NxN$ chessboard without visiting any square twice).

The idea of generators comes from other programming languages, especially Icon (https://www2.cs.arizona.edu/icon/), where the idea of generators is central. In Icon, every expression and function call behaves like a generator. One example from “An Overview of the Icon Programming Language” at https://www2.cs.arizona.edu/icon/docs/ipd266.htm gives an idea of what this looks like:

sentence := "Store it in the neighboring harbor"
if (i := find("or", sentence)) > 5 then write(i)

In Icon the find() function returns the indexes at which the substring “or” is found: 3, 23, 33. In the if statement, i is first assigned a value of 3, but 3 is less than 5, so the comparison fails, and Icon retries it with the second value of 23. 23 is greater than 5, so the comparison now succeeds, and the code prints the value 23 to the screen.

Python doesn’t go nearly as far as Icon in adopting generators as a central concept. Generators are considered a new part of the core Python language, but learning or using them isn’t compulsory; if they don’t solve any problems that you have, feel free to ignore them. One novel feature of Python’s interface as compared to Icon’s is that a generator’s state is represented as a concrete object (the iterator) that can be passed around to other functions or stored in a data structure.

Ver também

PEP 255 [https://peps.python.org/pep-0255/] - Simple Generators

Written by Neil Schemenauer, Tim Peters, Magnus Lie Hetland. Implemented mostly by Neil Schemenauer and Tim Peters, with other fixes from the Python Labs crew.

PEP 237: Unifying Long Integers and Integers

In recent versions, the distinction between regular integers, which are 32-bit values on most machines, and long integers, which can be of arbitrary size, was becoming an annoyance. For example, on platforms that support files larger than 2**32 bytes, the tell() method of file objects has to return a long integer. However, there were various bits of Python that expected plain integers and would raise an error if a long integer was provided instead. For example, in Python 1.5, only regular integers could be used as a slice index, and 'abc'[1L:] would raise a TypeError exception with the message ‘slice index must be int’.

Python 2.2 will shift values from short to long integers as required. The ‘L’ suffix is no longer needed to indicate a long integer literal, as now the compiler will choose the appropriate type. (Using the ‘L’ suffix will be discouraged in future 2.x versions of Python, triggering a warning in Python 2.4, and probably dropped in Python 3.0.) Many operations that used to raise an OverflowError will now return a long integer as their result. For example:

>>> 1234567890123
1234567890123L
>>> 2 ** 64
18446744073709551616L

In most cases, integers and long integers will now be treated identically. You can still distinguish them with the type() built-in function, but that’s rarely needed.

Ver também

PEP 237 [https://peps.python.org/pep-0237/] - Unifying Long Integers and Integers

Written by Moshe Zadka and Guido van Rossum. Implemented mostly by Guido van Rossum.

PEP 238: Changing the Division Operator

The most controversial change in Python 2.2 heralds the start of an effort to fix an old design flaw that’s been in Python from the beginning. Currently Python’s division operator, /, behaves like C’s division operator when presented with two integer arguments: it returns an integer result that’s truncated down when there would be a fractional part. For example, 3/2 is 1, not 1.5, and (-1)/2 is -1, not -0.5. This means that the results of division can vary unexpectedly depending on the type of the two operands and because Python is dynamically typed, it can be difficult to determine the possible types of the operands.

(The controversy is over whether this is really a design flaw, and whether it’s worth breaking existing code to fix this. It’s caused endless discussions on python-dev, and in July 2001 erupted into a storm of acidly sarcastic postings on comp.lang.python. I won’t argue for either side here and will stick to describing what’s implemented in 2.2. Read PEP 238 [https://peps.python.org/pep-0238/] for a summary of arguments and counter-arguments.)

Because this change might break code, it’s being introduced very gradually. Python 2.2 begins the transition, but the switch won’t be complete until Python 3.0.

First, I’ll borrow some terminology from PEP 238 [https://peps.python.org/pep-0238/]. “True division” is the division that most non-programmers are familiar with: 3/2 is 1.5, 1/4 is 0.25, and so forth. “Floor division” is what Python’s / operator currently does when given integer operands; the result is the floor of the value returned by true division. “Classic division” is the current mixed behaviour of /; it returns the result of floor division when the operands are integers, and returns the result of true division when one of the operands is a floating-point number.

Here are the changes 2.2 introduces:

A new operator, //, is the floor division operator. (Yes, we know it looks like C++’s comment symbol.) // always performs floor division no matter what the types of its operands are, so 1 // 2 is 0 and 1.0 // 2.0 is also 0.0.

// is always available in Python 2.2; you don’t need to enable it using a __future__ statement.

By including a from __future__ import division in a module, the / operator will be changed to return the result of true division, so 1/2 is 0.5. Without the __future__ statement, / still means classic division. The default meaning of / will not change until Python 3.0.

Classes can define methods called __truediv__() and __floordiv__() to overload the two division operators. At the C level, there are also slots in the PyNumberMethods structure so extension types can define the two operators.

Python 2.2 supports some command-line arguments for testing whether code will work with the changed division semantics. Running python with -Q warn will cause a warning to be issued whenever division is applied to two integers. You can use this to find code that’s affected by the change and fix it. By default, Python 2.2 will simply perform classic division without a warning; the warning will be turned on by default in Python 2.3.

Ver também

PEP 238 [https://peps.python.org/pep-0238/] - Changing the Division Operator

Written by Moshe Zadka and Guido van Rossum. Implemented by Guido van Rossum..

Unicode Changes

Python’s Unicode support has been enhanced a bit in 2.2. Unicode strings are usually stored as UCS-2, as 16-bit unsigned integers. Python 2.2 can also be compiled to use UCS-4, 32-bit unsigned integers, as its internal encoding by supplying --enable-unicode=ucs4 to the configure script. (It’s also possible to specify --disable-unicode to completely disable Unicode support.)

When built to use UCS-4 (a “wide Python”), the interpreter can natively handle Unicode characters from U+000000 to U+110000, so the range of legal values for the unichr() function is expanded accordingly. Using an interpreter compiled to use UCS-2 (a “narrow Python”), values greater than 65535 will still cause unichr() to raise a ValueError exception. This is all described in PEP 261 [https://peps.python.org/pep-0261/], “Support for ‘wide’ Unicode characters”; consult it for further details.

Another change is simpler to explain. Since their introduction, Unicode strings have supported an encode() method to convert the string to a selected encoding such as UTF-8 or Latin-1. A symmetric decode([*encoding*]) method has been added to 8-bit strings (though not to Unicode strings) in 2.2. decode() assumes that the string is in the specified encoding and decodes it, returning whatever is returned by the codec.

Using this new feature, codecs have been added for tasks not directly related to Unicode. For example, codecs have been added for uu-encoding, MIME’s base64 encoding, and compression with the zlib module:

>>> s = """Here is a lengthy piece of redundant, overly verbose,
... and repetitive text.
... """
>>> data = s.encode('zlib')
>>> data
'x\x9c\r\xc9\xc1\r\x80 \x10\x04\xc0?Ul...'
>>> data.decode('zlib')
'Here is a lengthy piece of redundant, overly verbose,\nand repetitive text.\n'
>>> print s.encode('uu')
begin 666 <data>
M2&5R92!I<R!A(&QE;F=T:'D@<&EE8V4@;V8@<F5D=6YD86YT+"!O=F5R;'D@
>=F5R8F]S92P*86YD(')E<&5T:71I=F4@=&5X="X*

end
>>> "sheesh".encode('rot-13')
'furrfu'

To convert a class instance to Unicode, a __unicode__() method can be defined by a class, analogous to __str__().

encode(), decode(), and __unicode__() were implemented by Marc-André Lemburg. The changes to support using UCS-4 internally were implemented by Fredrik Lundh and Martin von Löwis.

Ver também

PEP 261 [https://peps.python.org/pep-0261/] - Support for ‘wide’ Unicode characters

Written by Paul Prescod.

PEP 227: Nested Scopes

In Python 2.1, statically nested scopes were added as an optional feature, to be enabled by a from __future__ import nested_scopes directive. In 2.2 nested scopes no longer need to be specially enabled, and are now always present. The rest of this section is a copy of the description of nested scopes from my “What’s New in Python 2.1” document; if you read it when 2.1 came out, you can skip the rest of this section.

The largest change introduced in Python 2.1, and made complete in 2.2, is to Python’s scoping rules. In Python 2.0, at any given time there are at most three namespaces used to look up variable names: local, module-level, and the built-in namespace. This often surprised people because it didn’t match their intuitive expectations. For example, a nested recursive function definition doesn’t work:

def f():
    ...
    def g(value):
        ...
        return g(value-1) + 1
    ...

The function g() will always raise a NameError exception, because the binding of the name g isn’t in either its local namespace or in the module-level namespace. This isn’t much of a problem in practice (how often do you recursively define interior functions like this?), but this also made using the lambda expression clumsier, and this was a problem in practice. In code which uses lambda you can often find local variables being copied by passing them as the default values of arguments.

def find(self, name):
    "Return list of any entries equal to 'name'"
    L = filter(lambda x, name=name: x == name,
               self.list_attribute)
    return L

The readability of Python code written in a strongly functional style suffers greatly as a result.

The most significant change to Python 2.2 is that static scoping has been added to the language to fix this problem. As a first effect, the name=name default argument is now unnecessary in the above example. Put simply, when a given variable name is not assigned a value within a function (by an assignment, or the def, class, or import statements), references to the variable will be looked up in the local namespace of the enclosing scope. A more detailed explanation of the rules, and a dissection of the implementation, can be found in the PEP.

This change may cause some compatibility problems for code where the same variable name is used both at the module level and as a local variable within a function that contains further function definitions. This seems rather unlikely though, since such code would have been pretty confusing to read in the first place.

One side effect of the change is that the from module import * and exec statements have been made illegal inside a function scope under certain conditions. The Python reference manual has said all along that from module import * is only legal at the top level of a module, but the CPython interpreter has never enforced this before. As part of the implementation of nested scopes, the compiler which turns Python source into bytecodes has to generate different code to access variables in a containing scope. from module import * and exec make it impossible for the compiler to figure this out, because they add names to the local namespace that are unknowable at compile time. Therefore, if a function contains function definitions or lambda expressions with free variables, the compiler will flag this by raising a SyntaxError exception.

To make the preceding explanation a bit clearer, here’s an example:

x = 1
def f():
    # The next line is a syntax error
    exec 'x=2'
    def g():
        return x

Line 4 containing the exec statement is a syntax error, since exec would define a new local variable named x whose value should be accessed by g().

This shouldn’t be much of a limitation, since exec is rarely used in most Python code (and when it is used, it’s often a sign of a poor design anyway).

Ver também

PEP 227 [https://peps.python.org/pep-0227/] - Statically Nested Scopes

Written and implemented by Jeremy Hylton.

Módulos novos ou aprimorados

The xmlrpclib module was contributed to the standard library by Fredrik Lundh, providing support for writing XML-RPC clients. XML-RPC is a simple remote procedure call protocol built on top of HTTP and XML. For example, the following snippet retrieves a list of RSS channels from the O’Reilly Network, and then lists the recent headlines for one channel:

import xmlrpclib
s = xmlrpclib.Server(
      'http://www.oreillynet.com/meerkat/xml-rpc/server.php')
channels = s.meerkat.getChannels()
# channels is a list of dictionaries, like this:
# [{'id': 4, 'title': 'Freshmeat Daily News'}
#  {'id': 190, 'title': '32Bits Online'},
#  {'id': 4549, 'title': '3DGamers'}, ... ]

# Get the items for one channel
items = s.meerkat.getItems( {'channel': 4} )

# 'items' is another list of dictionaries, like this:
# [{'link': 'http://freshmeat.net/releases/52719/',
#   'description': 'A utility which converts HTML to XSL FO.',
#   'title': 'html2fo 0.3 (Default)'}, ... ]

The SimpleXMLRPCServer module makes it easy to create straightforward XML-RPC servers. See http://xmlrpc.scripting.com/ for more information about XML-RPC.

The new hmac module implements the HMAC algorithm described by RFC 2104 [https://datatracker.ietf.org/doc/html/rfc2104.html]. (Contributed by Gerhard Häring.)

Several functions that originally returned lengthy tuples now return pseudo-sequences that still behave like tuples but also have mnemonic attributes such as memberst_mtime or tm_year. The enhanced functions include stat(), fstat(), statvfs(), and fstatvfs() in the os module, and localtime(), gmtime(), and strptime() in the time module.

For example, to obtain a file’s size using the old tuples, you’d end up writing something like file_size = os.stat(filename)[stat.ST_SIZE], but now this can be written more clearly as file_size = os.stat(filename).st_size.

The original patch for this feature was contributed by Nick Mathewson.

The Python profiler has been extensively reworked and various errors in its output have been corrected. (Contributed by Fred L. Drake, Jr. and Tim Peters.)

The socket module can be compiled to support IPv6; specify the --enable-ipv6 option to Python’s configure script. (Contributed by Jun-ichiro “itojun” Hagino.)

Two new format characters were added to the struct module for 64-bit integers on platforms that support the C long long type. q is for a signed 64-bit integer, and Q is for an unsigned one. The value is returned in Python’s long integer type. (Contributed by Tim Peters.)

In the interpreter’s interactive mode, there’s a new built-in function help() that uses the pydoc module introduced in Python 2.1 to provide interactive help. help(object) displays any available help text about object. help() with no argument puts you in an online help utility, where you can enter the names of functions, classes, or modules to read their help text. (Contributed by Guido van Rossum, using Ka-Ping Yee’s pydoc module.)

Various bugfixes and performance improvements have been made to the SRE engine underlying the re module. For example, the re.sub() and re.split() functions have been rewritten in C. Another contributed patch speeds up certain Unicode character ranges by a factor of two, and a new finditer() method that returns an iterator over all the non-overlapping matches in a given string. (SRE is maintained by Fredrik Lundh. The BIGCHARSET patch was contributed by Martin von Löwis.)

The smtplib module now supports RFC 2487 [https://datatracker.ietf.org/doc/html/rfc2487.html], “Secure SMTP over TLS”, so it’s now possible to encrypt the SMTP traffic between a Python program and the mail transport agent being handed a message. smtplib also supports SMTP authentication. (Contributed by Gerhard Häring.)

The imaplib module, maintained by Piers Lauder, has support for several new extensions: the NAMESPACE extension defined in RFC 2342 [https://datatracker.ietf.org/doc/html/rfc2342.html], SORT, GETACL and SETACL. (Contributed by Anthony Baxter and Michel Pelletier.)

The rfc822 module’s parsing of email addresses is now compliant with RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html], an update to RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html]. (The module’s name is not going to be changed to rfc2822.) A new package, email, has also been added for parsing and generating e-mail messages. (Contributed by Barry Warsaw, and arising out of his work on Mailman.)

The difflib module now contains a new Differ class for producing human-readable lists of changes (a “delta”) between two sequences of lines of text. There are also two generator functions, ndiff() and restore(), which respectively return a delta from two sequences, or one of the original sequences from a delta. (Grunt work contributed by David Goodger, from ndiff.py code by Tim Peters who then did the generatorization.)

New constants ascii_letters, ascii_lowercase, and ascii_uppercase were added to the string module. There were several modules in the standard library that used string.letters to mean the ranges A-Za-z, but that assumption is incorrect when locales are in use, because string.letters varies depending on the set of legal characters defined by the current locale. The buggy modules have all been fixed to use ascii_letters instead. (Reported by an unknown person; fixed by Fred L. Drake, Jr.)

The mimetypes module now makes it easier to use alternative MIME-type databases by the addition of a MimeTypes class, which takes a list of filenames to be parsed. (Contributed by Fred L. Drake, Jr.)

A Timer class was added to the threading module that allows scheduling an activity to happen at some future time. (Contributed by Itamar Shtull-Trauring.)

Interpreter Changes and Fixes

Some of the changes only affect people who deal with the Python interpreter at the C level because they’re writing Python extension modules, embedding the interpreter, or just hacking on the interpreter itself. If you only write Python code, none of the changes described here will affect you very much.

Profiling and tracing functions can now be implemented in C, which can operate at much higher speeds than Python-based functions and should reduce the overhead of profiling and tracing. This will be of interest to authors of development environments for Python. Two new C functions were added to Python’s API, PyEval_SetProfile() and PyEval_SetTrace(). The existing sys.setprofile() and sys.settrace() functions still exist, and have simply been changed to use the new C-level interface. (Contributed by Fred L. Drake, Jr.)

Another low-level API, primarily of interest to implementers of Python debuggers and development tools, was added. PyInterpreterState_Head() and PyInterpreterState_Next() let a caller walk through all the existing interpreter objects; PyInterpreterState_ThreadHead() and PyThreadState_Next() allow looping over all the thread states for a given interpreter. (Contributed by David Beazley.)

The C-level interface to the garbage collector has been changed to make it easier to write extension types that support garbage collection and to debug misuses of the functions. Various functions have slightly different semantics, so a bunch of functions had to be renamed. Extensions that use the old API will still compile but will not participate in garbage collection, so updating them for 2.2 should be considered fairly high priority.

To upgrade an extension module to the new API, perform the following steps:

Rename Py_TPFLAGS_GC to Py_TPFLAGS_HAVE_GC.

Use PyObject_GC_New() or PyObject_GC_NewVar() to allocate

objects, and PyObject_GC_Del() to deallocate them.

Rename PyObject_GC_Init() to PyObject_GC_Track() and PyObject_GC_Fini() to PyObject_GC_UnTrack().

Remove PyGC_HEAD_SIZE from object size calculations.

Remove calls to PyObject_AS_GC() and PyObject_FROM_GC().

A new et format sequence was added to PyArg_ParseTuple(); et takes both a parameter and an encoding name, and converts the parameter to the given encoding if the parameter turns out to be a Unicode string, or leaves it alone if it’s an 8-bit string, assuming it to already be in the desired encoding. This differs from the es format character, which assumes that 8-bit strings are in Python’s default ASCII encoding and converts them to the specified new encoding. (Contributed by M.-A. Lemburg, and used for the MBCS support on Windows described in the following section.)

A different argument parsing function, PyArg_UnpackTuple(), has been added that’s simpler and presumably faster. Instead of specifying a format string, the caller simply gives the minimum and maximum number of arguments expected, and a set of pointers to PyObject* variables that will be filled in with argument values.

Two new flags METH_NOARGS and METH_O are available in method definition tables to simplify implementation of methods with no arguments or a single untyped argument. Calling such methods is more efficient than calling a corresponding method that uses METH_VARARGS. Also, the old METH_OLDARGS style of writing C methods is now officially deprecated.

Two new wrapper functions, PyOS_snprintf() and PyOS_vsnprintf() were added to provide cross-platform implementations for the relatively new snprintf() and vsnprintf() C lib APIs. In contrast to the standard sprintf() and vsprintf() functions, the Python versions check the bounds of the buffer used to protect against buffer overruns. (Contributed by M.-A. Lemburg.)

The _PyTuple_Resize() function has lost an unused parameter, so now it takes 2 parameters instead of 3. The third argument was never used, and can simply be discarded when porting code from earlier versions to Python 2.2.

Outras alterações e correções

As usual there were a bunch of other improvements and bugfixes scattered throughout the source tree. A search through the CVS change logs finds there were 527 patches applied and 683 bugs fixed between Python 2.1 and 2.2; 2.2.1 applied 139 patches and fixed 143 bugs; 2.2.2 applied 106 patches and fixed 82 bugs. These figures are likely to be underestimates.

Some of the more notable changes are:

The code for the MacOS port for Python, maintained by Jack Jansen, is now kept in the main Python CVS tree, and many changes have been made to support MacOS X.

The most significant change is the ability to build Python as a framework, enabled by supplying the --enable-framework option to the configure script when compiling Python. According to Jack Jansen, “This installs a self-contained Python installation plus the OS X framework “glue” into /Library/Frameworks/Python.framework (or another location of choice). For now there is little immediate added benefit to this (actually, there is the disadvantage that you have to change your PATH to be able to find Python), but it is the basis for creating a full-blown Python application, porting the MacPython IDE, possibly using Python as a standard OSA scripting language and much more.”

Most of the MacPython toolbox modules, which interface to MacOS APIs such as windowing, QuickTime, scripting, etc. have been ported to OS X, but they’ve been left commented out in setup.py. People who want to experiment with these modules can uncomment them manually.

Keyword arguments passed to built-in functions that don’t take them now cause a TypeError exception to be raised, with the message “function takes no keyword arguments”.

Weak references, added in Python 2.1 as an extension module, are now part of the core because they’re used in the implementation of new-style classes. The ReferenceError exception has therefore moved from the weakref module to become a built-in exception.

A new script, Tools/scripts/cleanfuture.py by Tim Peters, automatically removes obsolete __future__ statements from Python source code.

An additional flags argument has been added to the built-in function compile(), so the behaviour of __future__ statements can now be correctly observed in simulated shells, such as those presented by IDLE and other development environments. This is described in PEP 264 [https://peps.python.org/pep-0264/]. (Contributed by Michael Hudson.)

The new license introduced with Python 1.6 wasn’t GPL-compatible. This is fixed by some minor textual changes to the 2.2 license, so it’s now legal to embed Python inside a GPLed program again. Note that Python itself is not GPLed, but instead is under a license that’s essentially equivalent to the BSD license, same as it always was. The license changes were also applied to the Python 2.0.1 and 2.1.1 releases.

When presented with a Unicode filename on Windows, Python will now convert it to an MBCS encoded string, as used by the Microsoft file APIs. As MBCS is explicitly used by the file APIs, Python’s choice of ASCII as the default encoding turns out to be an annoyance. On Unix, the locale’s character set is used if locale.nl_langinfo(CODESET) is available. (Windows support was contributed by Mark Hammond with assistance from Marc-André Lemburg. Unix support was added by Martin von Löwis.)

Large file support is now enabled on Windows. (Contributed by Tim Peters.)

The Tools/scripts/ftpmirror.py script now parses a .netrc file, if you have one. (Contributed by Mike Romberg.)

Some features of the object returned by the xrange() function are now deprecated, and trigger warnings when they’re accessed; they’ll disappear in Python 2.3. xrange objects tried to pretend they were full sequence types by supporting slicing, sequence multiplication, and the in operator, but these features were rarely used and therefore buggy. The tolist() method and the start, stop, and step attributes are also being deprecated. At the C level, the fourth argument to the PyRange_New() function, repeat, has also been deprecated.

There were a bunch of patches to the dictionary implementation, mostly to fix potential core dumps if a dictionary contains objects that sneakily changed their hash value, or mutated the dictionary they were contained in. For a while python-dev fell into a gentle rhythm of Michael Hudson finding a case that dumped core, Tim Peters fixing the bug, Michael finding another case, and round and round it went.

On Windows, Python can now be compiled with Borland C thanks to a number of patches contributed by Stephen Hansen, though the result isn’t fully functional yet. (But this is progress…)

Another Windows enhancement: Wise Solutions generously offered PythonLabs use of their InstallerMaster 8.1 system. Earlier PythonLabs Windows installers used Wise 5.0a, which was beginning to show its age. (Packaged up by Tim Peters.)

Files ending in .pyw can now be imported on Windows. .pyw is a Windows-only thing, used to indicate that a script needs to be run using PYTHONW.EXE instead of PYTHON.EXE in order to prevent a DOS console from popping up to display the output. This patch makes it possible to import such scripts, in case they’re also usable as modules. (Implemented by David Bolen.)

On platforms where Python uses the C dlopen() function to load extension modules, it’s now possible to set the flags used by dlopen() using the sys.getdlopenflags() and sys.setdlopenflags() functions. (Contributed by Bram Stolk.)

The pow() built-in function no longer supports 3 arguments when floating-point numbers are supplied. pow(x, y, z) returns (x**y) % z, but this is never useful for floating-point numbers, and the final result varies unpredictably depending on the platform. A call such as pow(2.0, 8.0, 7.0) will now raise a TypeError exception.

Reconhecimentos

The author would like to thank the following people for offering suggestions, corrections and assistance with various drafts of this article: Fred Bremmer, Keith Briggs, Andrew Dalke, Fred L. Drake, Jr., Carel Fellinger, David Goodger, Mark Hammond, Stephen Hansen, Michael Hudson, Jack Jansen, Marc-André Lemburg, Martin von Löwis, Fredrik Lundh, Michael McLay, Nick Mathewson, Paul Moore, Gustavo Niemeyer, Don O’Donnell, Joonas Paalasma, Tim Peters, Jens Quade, Tom Reinhardt, Neil Schemenauer, Guido van Rossum, Greg Ward, Edward Welbourne.

What’s New in Python 2.1

Autor:

A.M. Kuchling

Introdução

This article explains the new features in Python 2.1. While there aren’t as many changes in 2.1 as there were in Python 2.0, there are still some pleasant surprises in store. 2.1 is the first release to be steered through the use of Python Enhancement Proposals, or PEPs, so most of the sizable changes have accompanying PEPs that provide more complete documentation and a design rationale for the change. This article doesn’t attempt to document the new features completely, but simply provides an overview of the new features for Python programmers. Refer to the Python 2.1 documentation, or to the specific PEP, for more details about any new feature that particularly interests you.

One recent goal of the Python development team has been to accelerate the pace of new releases, with a new release coming every 6 to 9 months. 2.1 is the first release to come out at this faster pace, with the first alpha appearing in January, 3 months after the final version of 2.0 was released.

The final release of Python 2.1 was made on April 17, 2001.

PEP 227: Nested Scopes

The largest change in Python 2.1 is to Python’s scoping rules. In Python 2.0, at any given time there are at most three namespaces used to look up variable names: local, module-level, and the built-in namespace. This often surprised people because it didn’t match their intuitive expectations. For example, a nested recursive function definition doesn’t work:

def f():
    ...
    def g(value):
        ...
        return g(value-1) + 1
    ...

The function g() will always raise a NameError exception, because the binding of the name g isn’t in either its local namespace or in the module-level namespace. This isn’t much of a problem in practice (how often do you recursively define interior functions like this?), but this also made using the lambda expression clumsier, and this was a problem in practice. In code which uses lambda you can often find local variables being copied by passing them as the default values of arguments.

def find(self, name):
    "Return list of any entries equal to 'name'"
    L = filter(lambda x, name=name: x == name,
               self.list_attribute)
    return L

The readability of Python code written in a strongly functional style suffers greatly as a result.

The most significant change to Python 2.1 is that static scoping has been added to the language to fix this problem. As a first effect, the name=name default argument is now unnecessary in the above example. Put simply, when a given variable name is not assigned a value within a function (by an assignment, or the def, class, or import statements), references to the variable will be looked up in the local namespace of the enclosing scope. A more detailed explanation of the rules, and a dissection of the implementation, can be found in the PEP.

This change may cause some compatibility problems for code where the same variable name is used both at the module level and as a local variable within a function that contains further function definitions. This seems rather unlikely though, since such code would have been pretty confusing to read in the first place.

One side effect of the change is that the from module import * and exec statements have been made illegal inside a function scope under certain conditions. The Python reference manual has said all along that from module import * is only legal at the top level of a module, but the CPython interpreter has never enforced this before. As part of the implementation of nested scopes, the compiler which turns Python source into bytecodes has to generate different code to access variables in a containing scope. from module import * and exec make it impossible for the compiler to figure this out, because they add names to the local namespace that are unknowable at compile time. Therefore, if a function contains function definitions or lambda expressions with free variables, the compiler will flag this by raising a SyntaxError exception.

To make the preceding explanation a bit clearer, here’s an example:

x = 1
def f():
    # The next line is a syntax error
    exec 'x=2'
    def g():
        return x

Line 4 containing the exec statement is a syntax error, since exec would define a new local variable named x whose value should be accessed by g().

This shouldn’t be much of a limitation, since exec is rarely used in most Python code (and when it is used, it’s often a sign of a poor design anyway).

Compatibility concerns have led to nested scopes being introduced gradually; in Python 2.1, they aren’t enabled by default, but can be turned on within a module by using a future statement as described in PEP 236 [https://peps.python.org/pep-0236/]. (See the following section for further discussion of PEP 236 [https://peps.python.org/pep-0236/].) In Python 2.2, nested scopes will become the default and there will be no way to turn them off, but users will have had all of 2.1’s lifetime to fix any breakage resulting from their introduction.

Ver também

PEP 227 [https://peps.python.org/pep-0227/] - Statically Nested Scopes

Written and implemented by Jeremy Hylton.

PEP 236: __future__ Directives

The reaction to nested scopes was widespread concern about the dangers of breaking code with the 2.1 release, and it was strong enough to make the Pythoneers take a more conservative approach. This approach consists of introducing a convention for enabling optional functionality in release N that will become compulsory in release N+1.

The syntax uses a from...import statement using the reserved module name __future__. Nested scopes can be enabled by the following statement:

from __future__ import nested_scopes

While it looks like a normal import statement, it’s not; there are strict rules on where such a future statement can be put. They can only be at the top of a module, and must precede any Python code or regular import statements. This is because such statements can affect how the Python bytecode compiler parses code and generates bytecode, so they must precede any statement that will result in bytecodes being produced.

Ver também

PEP 236 [https://peps.python.org/pep-0236/] - Back to the __future__

Written by Tim Peters, and primarily implemented by Jeremy Hylton.

PEP 207: Rich Comparisons

In earlier versions, Python’s support for implementing comparisons on user-defined classes and extension types was quite simple. Classes could implement a __cmp__() method that was given two instances of a class, and could only return 0 if they were equal or +1 or -1 if they weren’t; the method couldn’t raise an exception or return anything other than a Boolean value. Users of Numeric Python often found this model too weak and restrictive, because in the number-crunching programs that numeric Python is used for, it would be more useful to be able to perform elementwise comparisons of two matrices, returning a matrix containing the results of a given comparison for each element. If the two matrices are of different sizes, then the compare has to be able to raise an exception to signal the error.

In Python 2.1, rich comparisons were added in order to support this need. Python classes can now individually overload each of the <, <=, >, >=, ==, and != operations. The new magic method names are:

Operação

Nome do método

<

__lt__()

<=

__le__()

>

__gt__()

>=

__ge__()

==

__eq__()

!=

__ne__()

(The magic methods are named after the corresponding Fortran operators .LT.. .LE., &c. Numeric programmers are almost certainly quite familiar with these names and will find them easy to remember.)

Each of these magic methods is of the form method(self, other), where self will be the object on the left-hand side of the operator, while other will be the object on the right-hand side. For example, the expression A < B will cause A.__lt__(B) to be called.

Each of these magic methods can return anything at all: a Boolean, a matrix, a list, or any other Python object. Alternatively they can raise an exception if the comparison is impossible, inconsistent, or otherwise meaningless.

The built-in cmp(A,B) function can use the rich comparison machinery, and now accepts an optional argument specifying which comparison operation to use; this is given as one of the strings "<", "<=", ">", ">=", "==", or "!=". If called without the optional third argument, cmp() will only return -1, 0, or +1 as in previous versions of Python; otherwise it will call the appropriate method and can return any Python object.

There are also corresponding changes of interest to C programmers; there’s a new slot tp_richcmp in type objects and an API for performing a given rich comparison. I won’t cover the C API here, but will refer you to PEP 207 [https://peps.python.org/pep-0207/], or to 2.1’s C API documentation, for the full list of related functions.

Ver também

PEP 207 [https://peps.python.org/pep-0207/] - Rich Comparisons

Written by Guido van Rossum, heavily based on earlier work by David Ascher, and implemented by Guido van Rossum.

PEP 230: Warning Framework

Over its 10 years of existence, Python has accumulated a certain number of obsolete modules and features along the way. It’s difficult to know when a feature is safe to remove, since there’s no way of knowing how much code uses it — perhaps no programs depend on the feature, or perhaps many do. To enable removing old features in a more structured way, a warning framework was added. When the Python developers want to get rid of a feature, it will first trigger a warning in the next version of Python. The following Python version can then drop the feature, and users will have had a full release cycle to remove uses of the old feature.

Python 2.1 adds the warning framework to be used in this scheme. It adds a warnings module that provide functions to issue warnings, and to filter out warnings that you don’t want to be displayed. Third-party modules can also use this framework to deprecate old features that they no longer wish to support.

For example, in Python 2.1 the regex module is deprecated, so importing it causes a warning to be printed:

>>> import regex
__main__:1: DeprecationWarning: the regex module
         is deprecated; please use the re module
>>>

Warnings can be issued by calling the warnings.warn() function:

warnings.warn("feature X no longer supported")

The first parameter is the warning message; an additional optional parameters can be used to specify a particular warning category.

Filters can be added to disable certain warnings; a regular expression pattern can be applied to the message or to the module name in order to suppress a warning. For example, you may have a program that uses the regex module and not want to spare the time to convert it to use the re module right now. The warning can be suppressed by calling

import warnings
warnings.filterwarnings(action = 'ignore',
                        message='.*regex module is deprecated',
                        category=DeprecationWarning,
                        module = '__main__')

This adds a filter that will apply only to warnings of the class DeprecationWarning triggered in the __main__ module, and applies a regular expression to only match the message about the regex module being deprecated, and will cause such warnings to be ignored. Warnings can also be printed only once, printed every time the offending code is executed, or turned into exceptions that will cause the program to stop (unless the exceptions are caught in the usual way, of course).

Functions were also added to Python’s C API for issuing warnings; refer to PEP 230 or to Python’s API documentation for the details.

Ver também

PEP 5 [https://peps.python.org/pep-0005/] - Guidelines for Language Evolution

Written by Paul Prescod, to specify procedures to be followed when removing old features from Python. The policy described in this PEP hasn’t been officially adopted, but the eventual policy probably won’t be too different from Prescod’s proposal.

PEP 230 [https://peps.python.org/pep-0230/] - Warning Framework

Written and implemented by Guido van Rossum.

PEP 229: New Build System

When compiling Python, the user had to go in and edit the Modules/Setup file in order to enable various additional modules; the default set is relatively small and limited to modules that compile on most Unix platforms. This means that on Unix platforms with many more features, most notably Linux, Python installations often don’t contain all useful modules they could.

Python 2.0 added the Distutils, a set of modules for distributing and installing extensions. In Python 2.1, the Distutils are used to compile much of the standard library of extension modules, autodetecting which ones are supported on the current machine. It’s hoped that this will make Python installations easier and more featureful.

Instead of having to edit the Modules/Setup file in order to enable modules, a setup.py script in the top directory of the Python source distribution is run at build time, and attempts to discover which modules can be enabled by examining the modules and header files on the system. If a module is configured in Modules/Setup, the setup.py script won’t attempt to compile that module and will defer to the Modules/Setup file’s contents. This provides a way to specific any strange command-line flags or libraries that are required for a specific platform.

In another far-reaching change to the build mechanism, Neil Schemenauer restructured things so Python now uses a single makefile that isn’t recursive, instead of makefiles in the top directory and in each of the Python/, Parser/, Objects/, and Modules/ subdirectories. This makes building Python faster and also makes hacking the Makefiles clearer and simpler.

Ver também

PEP 229 [https://peps.python.org/pep-0229/] - Using Distutils to Build Python

Written and implemented by A.M. Kuchling.

PEP 205: Weak References

Weak references, available through the weakref module, are a minor but useful new data type in the Python programmer’s toolbox.

Storing a reference to an object (say, in a dictionary or a list) has the side effect of keeping that object alive forever. There are a few specific cases where this behaviour is undesirable, object caches being the most common one, and another being circular references in data structures such as trees.

For example, consider a memoizing function that caches the results of another function f(x) by storing the function’s argument and its result in a dictionary:

_cache = {}
def memoize(x):
    if _cache.has_key(x):
        return _cache[x]

    retval = f(x)

    # Cache the returned object
    _cache[x] = retval

    return retval

This version works for simple things such as integers, but it has a side effect; the _cache dictionary holds a reference to the return values, so they’ll never be deallocated until the Python process exits and cleans up. This isn’t very noticeable for integers, but if f() returns an object, or a data structure that takes up a lot of memory, this can be a problem.

Weak references provide a way to implement a cache that won’t keep objects alive beyond their time. If an object is only accessible through weak references, the object will be deallocated and the weak references will now indicate that the object it referred to no longer exists. A weak reference to an object obj is created by calling wr = weakref.ref(obj). The object being referred to is returned by calling the weak reference as if it were a function: wr(). It will return the referenced object, or None if the object no longer exists.

This makes it possible to write a memoize() function whose cache doesn’t keep objects alive, by storing weak references in the cache.

_cache = {}
def memoize(x):
    if _cache.has_key(x):
        obj = _cache[x]()
        # If weak reference object still exists,
        # return it
        if obj is not None: return obj

    retval = f(x)

    # Cache a weak reference
    _cache[x] = weakref.ref(retval)

    return retval

The weakref module also allows creating proxy objects which behave like weak references — an object referenced only by proxy objects is deallocated – but instead of requiring an explicit call to retrieve the object, the proxy transparently forwards all operations to the object as long as the object still exists. If the object is deallocated, attempting to use a proxy will cause a weakref.ReferenceError exception to be raised.

proxy = weakref.proxy(obj)
proxy.attr   # Equivalent to obj.attr
proxy.meth() # Equivalent to obj.meth()
del obj
proxy.attr   # raises weakref.ReferenceError

Ver também

PEP 205 [https://peps.python.org/pep-0205/] - Weak References

Written and implemented by Fred L. Drake, Jr.

PEP 232: Function Attributes

In Python 2.1, functions can now have arbitrary information attached to them. People were often using docstrings to hold information about functions and methods, because the __doc__ attribute was the only way of attaching any information to a function. For example, in the Zope web application server, functions are marked as safe for public access by having a docstring, and in John Aycock’s SPARK parsing framework, docstrings hold parts of the BNF grammar to be parsed. This overloading is unfortunate, since docstrings are really intended to hold a function’s documentation; for example, it means you can’t properly document functions intended for private use in Zope.

Arbitrary attributes can now be set and retrieved on functions using the regular Python syntax:

def f(): pass

f.publish = 1
f.secure = 1
f.grammar = "A ::= B (C D)*"

The dictionary containing attributes can be accessed as the function’s __dict__. Unlike the __dict__ attribute of class instances, in functions you can actually assign a new dictionary to __dict__, though the new value is restricted to a regular Python dictionary; you can’t be tricky and set it to a UserDict instance, or any other random object that behaves like a mapping.

Ver também

PEP 232 [https://peps.python.org/pep-0232/] - Function Attributes

Written and implemented by Barry Warsaw.

PEP 235: Importing Modules on Case-Insensitive Platforms

Some operating systems have filesystems that are case-insensitive, MacOS and Windows being the primary examples; on these systems, it’s impossible to distinguish the filenames FILE.PY and file.py, even though they do store the file’s name in its original case (they’re case-preserving, too).

In Python 2.1, the import statement will work to simulate case-sensitivity on case-insensitive platforms. Python will now search for the first case-sensitive match by default, raising an ImportError if no such file is found, so import file will not import a module named FILE.PY. Case-insensitive matching can be requested by setting the PYTHONCASEOK environment variable before starting the Python interpreter.

PEP 217: Interactive Display Hook

When using the Python interpreter interactively, the output of commands is displayed using the built-in repr() function. In Python 2.1, the variable sys.displayhook() can be set to a callable object which will be called instead of repr(). For example, you can set it to a special pretty-printing function:

>>> # Create a recursive data structure
... L = [1,2,3]
>>> L.append(L)
>>> L # Show Python's default output
[1, 2, 3, [...]]
>>> # Use pprint.pprint() as the display function
... import sys, pprint
>>> sys.displayhook = pprint.pprint
>>> L
[1, 2, 3,  <Recursion on list with id=135143996>]
>>>

Ver também

PEP 217 [https://peps.python.org/pep-0217/] - Display Hook for Interactive Use

Written and implemented by Moshe Zadka.

PEP 208: New Coercion Model

How numeric coercion is done at the C level was significantly modified. This will only affect the authors of C extensions to Python, allowing them more flexibility in writing extension types that support numeric operations.

Extension types can now set the type flag Py_TPFLAGS_CHECKTYPES in their PyTypeObject structure to indicate that they support the new coercion model. In such extension types, the numeric slot functions can no longer assume that they’ll be passed two arguments of the same type; instead they may be passed two arguments of differing types, and can then perform their own internal coercion. If the slot function is passed a type it can’t handle, it can indicate the failure by returning a reference to the Py_NotImplemented singleton value. The numeric functions of the other type will then be tried, and perhaps they can handle the operation; if the other type also returns Py_NotImplemented, then a TypeError will be raised. Numeric methods written in Python can also return Py_NotImplemented, causing the interpreter to act as if the method did not exist (perhaps raising a TypeError, perhaps trying another object’s numeric methods).

Ver também

PEP 208 [https://peps.python.org/pep-0208/] - Reworking the Coercion Model

Written and implemented by Neil Schemenauer, heavily based upon earlier work by Marc-André Lemburg. Read this to understand the fine points of how numeric operations will now be processed at the C level.

PEP 241: Metadata in Python Packages

A common complaint from Python users is that there’s no single catalog of all the Python modules in existence. T. Middleton’s Vaults of Parnassus at www.vex.net/parnassus/ (retired in February 2009, available in the Internet Archive Wayback Machine [https://web.archive.org/web/20090130140102/http://www.vex.net/parnassus/]) was the largest catalog of Python modules, but registering software at the Vaults is optional, and many people did not bother.

As a first small step toward fixing the problem, Python software packaged using the Distutils sdist command will include a file named PKG-INFO containing information about the package such as its name, version, and author (metadata, in cataloguing terminology). PEP 241 [https://peps.python.org/pep-0241/] contains the full list of fields that can be present in the PKG-INFO file. As people began to package their software using Python 2.1, more and more packages will include metadata, making it possible to build automated cataloguing systems and experiment with them. With the result experience, perhaps it’ll be possible to design a really good catalog and then build support for it into Python 2.2. For example, the Distutils sdist and bdist_* commands could support an upload option that would automatically upload your package to a catalog server.

You can start creating packages containing PKG-INFO even if you’re not using Python 2.1, since a new release of the Distutils will be made for users of earlier Python versions. Version 1.0.2 of the Distutils includes the changes described in PEP 241 [https://peps.python.org/pep-0241/], as well as various bugfixes and enhancements. It will be available from the Distutils SIG at https://www.python.org/community/sigs/current/distutils-sig/.

Ver também

PEP 241 [https://peps.python.org/pep-0241/] - Metadata for Python Software Packages

Written and implemented by A.M. Kuchling.

PEP 243 [https://peps.python.org/pep-0243/] - Module Repository Upload Mechanism

Written by Sean Reifschneider, this draft PEP describes a proposed mechanism for uploading Python packages to a central server.

Módulos novos ou aprimorados

Ka-Ping Yee contributed two new modules: inspect.py, a module for getting information about live Python code, and pydoc.py, a module for interactively converting docstrings to HTML or text. As a bonus, Tools/scripts/pydoc, which is now automatically installed, uses pydoc.py to display documentation given a Python module, package, or class name. For example, pydoc xml.dom displays the following:

Python Library Documentation: package xml.dom in xml

NAME
    xml.dom - W3C Document Object Model implementation for Python.

FILE
    /usr/local/lib/python2.1/xml/dom/__init__.pyc

DESCRIPTION
    The Python mapping of the Document Object Model is documented in the
    Python Library Reference in the section on the xml.dom package.

    This package contains the following modules:
      ...

pydoc also includes a Tk-based interactive help browser. pydoc quickly becomes addictive; try it out!

Two different modules for unit testing were added to the standard library. The doctest module, contributed by Tim Peters, provides a testing framework based on running embedded examples in docstrings and comparing the results against the expected output. PyUnit, contributed by Steve Purcell, is a unit testing framework inspired by JUnit, which was in turn an adaptation of Kent Beck’s Smalltalk testing framework. See https://pyunit.sourceforge.net/ for more information about PyUnit.

The difflib module contains a class, SequenceMatcher, which compares two sequences and computes the changes required to transform one sequence into the other. For example, this module can be used to write a tool similar to the Unix diff program, and in fact the sample program Tools/scripts/ndiff.py demonstrates how to write such a script.

curses.panel, a wrapper for the panel library, part of ncurses and of SYSV curses, was contributed by Thomas Gellekum. The panel library provides windows with the additional feature of depth. Windows can be moved higher or lower in the depth ordering, and the panel library figures out where panels overlap and which sections are visible.

The PyXML package has gone through a few releases since Python 2.0, and Python 2.1 includes an updated version of the xml package. Some of the noteworthy changes include support for Expat 1.2 and later versions, the ability for Expat parsers to handle files in any encoding supported by Python, and various bugfixes for SAX, DOM, and the minidom module.

Ping also contributed another hook for handling uncaught exceptions. sys.excepthook() can be set to a callable object. When an exception isn’t caught by any try…except blocks, the exception will be passed to sys.excepthook(), which can then do whatever it likes. At the Ninth Python Conference, Ping demonstrated an application for this hook: printing an extended traceback that not only lists the stack frames, but also lists the function arguments and the local variables for each frame.

Various functions in the time module, such as asctime() and localtime(), require a floating-point argument containing the time in seconds since the epoch. The most common use of these functions is to work with the current time, so the floating-point argument has been made optional; when a value isn’t provided, the current time will be used. For example, log file entries usually need a string containing the current time; in Python 2.1, time.asctime() can be used, instead of the lengthier time.asctime(time.localtime(time.time())) that was previously required.

This change was proposed and implemented by Thomas Wouters.

The ftplib module now defaults to retrieving files in passive mode, because passive mode is more likely to work from behind a firewall. This request came from the Debian bug tracking system, since other Debian packages use ftplib to retrieve files and then don’t work from behind a firewall. It’s deemed unlikely that this will cause problems for anyone, because Netscape defaults to passive mode and few people complain, but if passive mode is unsuitable for your application or network setup, call set_pasv(0) on FTP objects to disable passive mode.

Support for raw socket access has been added to the socket module, contributed by Grant Edwards.

The pstats module now contains a simple interactive statistics browser for displaying timing profiles for Python programs, invoked when the module is run as a script. Contributed by Eric S. Raymond.

A new implementation-dependent function, sys._getframe([depth]), has been added to return a given frame object from the current call stack. sys._getframe() returns the frame at the top of the call stack; if the optional integer argument depth is supplied, the function returns the frame that is depth calls below the top of the stack. For example, sys._getframe(1) returns the caller’s frame object.

This function is only present in CPython, not in Jython or the .NET implementation. Use it for debugging, and resist the temptation to put it into production code.

Outras alterações e correções

There were relatively few smaller changes made in Python 2.1 due to the shorter release cycle. A search through the CVS change logs turns up 117 patches applied, and 136 bugs fixed; both figures are likely to be underestimates. Some of the more notable changes are:

A specialized object allocator is now optionally available, that should be faster than the system malloc() and have less memory overhead. The allocator uses C’s malloc() function to get large pools of memory, and then fulfills smaller memory requests from these pools. It can be enabled by providing the --with-pymalloc option to the configure script; see Objects/obmalloc.c for the implementation details.

Authors of C extension modules should test their code with the object allocator enabled, because some incorrect code may break, causing core dumps at runtime. There are a bunch of memory allocation functions in Python’s C API that have previously been just aliases for the C library’s malloc() and free(), meaning that if you accidentally called mismatched functions, the error wouldn’t be noticeable. When the object allocator is enabled, these functions aren’t aliases of malloc() and free() any more, and calling the wrong function to free memory will get you a core dump. For example, if memory was allocated using PyMem_New, it has to be freed using PyMem_Del(), not free(). A few modules included with Python fell afoul of this and had to be fixed; doubtless there are more third-party modules that will have the same problem.

The object allocator was contributed by Vladimir Marangozov.

The speed of line-oriented file I/O has been improved because people often complain about its lack of speed, and because it’s often been used as a naïve benchmark. The readline() method of file objects has therefore been rewritten to be much faster. The exact amount of the speedup will vary from platform to platform depending on how slow the C library’s getc() was, but is around 66%, and potentially much faster on some particular operating systems. Tim Peters did much of the benchmarking and coding for this change, motivated by a discussion in comp.lang.python.

A new module and method for file objects was also added, contributed by Jeff Epler. The new method, xreadlines(), is similar to the existing xrange() built-in. xreadlines() returns an opaque sequence object that only supports being iterated over, reading a line on every iteration but not reading the entire file into memory as the existing readlines() method does. You’d use it like this:

for line in sys.stdin.xreadlines():
    # ... do something for each line ...
    ...

For a fuller discussion of the line I/O changes, see the python-dev summary for January 1–15, 2001 at https://mail.python.org/pipermail/python-dev/2001-January/.

A new method, popitem(), was added to dictionaries to enable destructively iterating through the contents of a dictionary; this can be faster for large dictionaries because there’s no need to construct a list containing all the keys or values. D.popitem() removes a random (key, value) pair from the dictionary D and returns it as a 2-tuple. This was implemented mostly by Tim Peters and Guido van Rossum, after a suggestion and preliminary patch by Moshe Zadka.

Modules can now control which names are imported when from module import * is used, by defining an __all__ attribute containing a list of names that will be imported. One common complaint is that if the module imports other modules such as sys or string, from module import * will add them to the importing module’s namespace. To fix this, simply list the public names in __all__:

# List public names
__all__ = ['Database', 'open']

A stricter version of this patch was first suggested and implemented by Ben Wolfson, but after some python-dev discussion, a weaker final version was checked in.

Applying repr() to strings previously used octal escapes for non-printable characters; for example, a newline was '\012'. This was a vestigial trace of Python’s C ancestry, but today octal is of very little practical use. Ka-Ping Yee suggested using hex escapes instead of octal ones, and using the \n, \t, \r escapes for the appropriate characters, and implemented this new formatting.

Syntax errors detected at compile-time can now raise exceptions containing the filename and line number of the error, a pleasant side effect of the compiler reorganization done by Jeremy Hylton.

C extensions which import other modules have been changed to use PyImport_ImportModule(), which means that they will use any import hooks that have been installed. This is also encouraged for third-party extensions that need to import some other module from C code.

The size of the Unicode character database was shrunk by another 340K thanks to Fredrik Lundh.

Some new ports were contributed: MacOS X (by Steven Majewski), Cygwin (by Jason Tishler); RISCOS (by Dietmar Schwertberger); Unixware 7 (by Billy G. Allie).

And there’s the usual list of minor bugfixes, minor memory leaks, docstring edits, and other tweaks, too lengthy to be worth itemizing; see the CVS logs for the full details if you want them.

Reconhecimentos

The author would like to thank the following people for offering suggestions on various drafts of this article: Graeme Cross, David Goodger, Jay Graves, Michael Hudson, Marc-André Lemburg, Fredrik Lundh, Neil Schemenauer, Thomas Wouters.

What’s New in Python 2.0

Autor:

A.M. Kuchling and Moshe Zadka

Introdução

A new release of Python, version 2.0, was released on October 16, 2000. This article covers the exciting new features in 2.0, highlights some other useful changes, and points out a few incompatible changes that may require rewriting code.

Python’s development never completely stops between releases, and a steady flow of bug fixes and improvements are always being submitted. A host of minor fixes, a few optimizations, additional docstrings, and better error messages went into 2.0; to list them all would be impossible, but they’re certainly significant. Consult the publicly available CVS logs if you want to see the full list. This progress is due to the five developers working for PythonLabs are now getting paid to spend their days fixing bugs, and also due to the improved communication resulting from moving to SourceForge.

What About Python 1.6?

Python 1.6 can be thought of as the Contractual Obligations Python release. After the core development team left CNRI in May 2000, CNRI requested that a 1.6 release be created, containing all the work on Python that had been performed at CNRI. Python 1.6 therefore represents the state of the CVS tree as of May 2000, with the most significant new feature being Unicode support. Development continued after May, of course, so the 1.6 tree received a few fixes to ensure that it’s forward-compatible with Python 2.0. 1.6 is therefore part of Python’s evolution, and not a side branch.

So, should you take much interest in Python 1.6? Probably not. The 1.6final and 2.0beta1 releases were made on the same day (September 5, 2000), the plan being to finalize Python 2.0 within a month or so. If you have applications to maintain, there seems little point in breaking things by moving to 1.6, fixing them, and then having another round of breakage within a month by moving to 2.0; you’re better off just going straight to 2.0. Most of the really interesting features described in this document are only in 2.0, because a lot of work was done between May and September.

New Development Process

The most important change in Python 2.0 may not be to the code at all, but to how Python is developed: in May 2000 the Python developers began using the tools made available by SourceForge for storing source code, tracking bug reports, and managing the queue of patch submissions. To report bugs or submit patches for Python 2.0, use the bug tracking and patch manager tools available from Python’s project page, located at https://sourceforge.net/projects/python/.

The most important of the services now hosted at SourceForge is the Python CVS tree, the version-controlled repository containing the source code for Python. Previously, there were roughly 7 or so people who had write access to the CVS tree, and all patches had to be inspected and checked in by one of the people on this short list. Obviously, this wasn’t very scalable. By moving the CVS tree to SourceForge, it became possible to grant write access to more people; as of September 2000 there were 27 people able to check in changes, a fourfold increase. This makes possible large-scale changes that wouldn’t be attempted if they’d have to be filtered through the small group of core developers. For example, one day Peter Schneider-Kamp took it into his head to drop K&R C compatibility and convert the C source for Python to ANSI C. After getting approval on the python-dev mailing list, he launched into a flurry of checkins that lasted about a week, other developers joined in to help, and the job was done. If there were only 5 people with write access, probably that task would have been viewed as “nice, but not worth the time and effort needed” and it would never have gotten done.

The shift to using SourceForge’s services has resulted in a remarkable increase in the speed of development. Patches now get submitted, commented on, revised by people other than the original submitter, and bounced back and forth between people until the patch is deemed worth checking in. Bugs are tracked in one central location and can be assigned to a specific person for fixing, and we can count the number of open bugs to measure progress. This didn’t come without a cost: developers now have more e-mail to deal with, more mailing lists to follow, and special tools had to be written for the new environment. For example, SourceForge sends default patch and bug notification e-mail messages that are completely unhelpful, so Ka-Ping Yee wrote an HTML screen-scraper that sends more useful messages.

The ease of adding code caused a few initial growing pains, such as code was checked in before it was ready or without getting clear agreement from the developer group. The approval process that has emerged is somewhat similar to that used by the Apache group. Developers can vote +1, +0, -0, or -1 on a patch; +1 and -1 denote acceptance or rejection, while +0 and -0 mean the developer is mostly indifferent to the change, though with a slight positive or negative slant. The most significant change from the Apache model is that the voting is essentially advisory, letting Guido van Rossum, who has Benevolent Dictator For Life status, know what the general opinion is. He can still ignore the result of a vote, and approve or reject a change even if the community disagrees with him.

Producing an actual patch is the last step in adding a new feature, and is usually easy compared to the earlier task of coming up with a good design. Discussions of new features can often explode into lengthy mailing list threads, making the discussion hard to follow, and no one can read every posting to python-dev. Therefore, a relatively formal process has been set up to write Python Enhancement Proposals (PEPs), modelled on the internet RFC process. PEPs are draft documents that describe a proposed new feature, and are continually revised until the community reaches a consensus, either accepting or rejecting the proposal. Quoting from the introduction to PEP 1 [https://peps.python.org/pep-0001/], “PEP Purpose and Guidelines”:

PEP stands for Python Enhancement Proposal. A PEP is a design document providing information to the Python community, or describing a new feature for Python. The PEP should provide a concise technical specification of the feature and a rationale for the feature.

We intend PEPs to be the primary mechanisms for proposing new features, for collecting community input on an issue, and for documenting the design decisions that have gone into Python. The PEP author is responsible for building consensus within the community and documenting dissenting opinions.

Read the rest of PEP 1 [https://peps.python.org/pep-0001/] for the details of the PEP editorial process, style, and format. PEPs are kept in the Python CVS tree on SourceForge, though they’re not part of the Python 2.0 distribution, and are also available in HTML form from https://peps.python.org/. As of September 2000, there are 25 PEPs, ranging from PEP 201 [https://peps.python.org/pep-0201/], “Lockstep Iteration”, to PEP 225, “Elementwise/Objectwise Operators”.

Unicode

The largest new feature in Python 2.0 is a new fundamental data type: Unicode strings. Unicode uses 16-bit numbers to represent characters instead of the 8-bit number used by ASCII, meaning that 65,536 distinct characters can be supported.

The final interface for Unicode support was arrived at through countless often-stormy discussions on the python-dev mailing list, and mostly implemented by Marc-André Lemburg, based on a Unicode string type implementation by Fredrik Lundh. A detailed explanation of the interface was written up as PEP 100 [https://peps.python.org/pep-0100/], “Python Unicode Integration”. This article will simply cover the most significant points about the Unicode interfaces.

In Python source code, Unicode strings are written as u"string". Arbitrary Unicode characters can be written using a new escape sequence, \uHHHH, where HHHH is a 4-digit hexadecimal number from 0000 to FFFF. The existing \xHH escape sequence can also be used, and octal escapes can be used for characters up to U+01FF, which is represented by \777.

Unicode strings, just like regular strings, are an immutable sequence type. They can be indexed and sliced, but not modified in place. Unicode strings have an encode( [encoding] ) method that returns an 8-bit string in the desired encoding. Encodings are named by strings, such as 'ascii', 'utf-8', 'iso-8859-1', or whatever. A codec API is defined for implementing and registering new encodings that are then available throughout a Python program. If an encoding isn’t specified, the default encoding is usually 7-bit ASCII, though it can be changed for your Python installation by calling the sys.setdefaultencoding(encoding) function in a customized version of site.py.

Combining 8-bit and Unicode strings always coerces to Unicode, using the default ASCII encoding; the result of 'a' + u'bc' is u'abc'.

New built-in functions have been added, and existing built-ins modified to support Unicode:

unichr(ch) returns a Unicode string 1 character long, containing the character ch.

ord(u), where u is a 1-character regular or Unicode string, returns the number of the character as an integer.

unicode(string [, encoding]  [, errors] ) creates a Unicode string from an 8-bit string. encoding is a string naming the encoding to use. The errors parameter specifies the treatment of characters that are invalid for the current encoding; passing 'strict' as the value causes an exception to be raised on any encoding error, while 'ignore' causes errors to be silently ignored and 'replace' uses U+FFFD, the official replacement character, in case of any problems.

The exec statement, and various built-ins such as eval(), getattr(), and setattr() will also accept Unicode strings as well as regular strings. (It’s possible that the process of fixing this missed some built-ins; if you find a built-in function that accepts strings but doesn’t accept Unicode strings at all, please report it as a bug.)

A new module, unicodedata, provides an interface to Unicode character properties. For example, unicodedata.category(u'A') returns the 2-character string ‘Lu’, the ‘L’ denoting it’s a letter, and ‘u’ meaning that it’s uppercase. unicodedata.bidirectional(u'\u0660') returns ‘AN’, meaning that U+0660 is an Arabic number.

The codecs module contains functions to look up existing encodings and register new ones. Unless you want to implement a new encoding, you’ll most often use the codecs.lookup(encoding) function, which returns a 4-element tuple: (encode_func, decode_func, stream_reader, stream_writer).

encode_func is a function that takes a Unicode string, and returns a 2-tuple (string, length). string is an 8-bit string containing a portion (perhaps all) of the Unicode string converted into the given encoding, and length tells you how much of the Unicode string was converted.

decode_func is the opposite of encode_func, taking an 8-bit string and returning a 2-tuple (ustring, length), consisting of the resulting Unicode string ustring and the integer length telling how much of the 8-bit string was consumed.

stream_reader is a class that supports decoding input from a stream. stream_reader(file_obj) returns an object that supports the read(), readline(), and readlines() methods. These methods will all translate from the given encoding and return Unicode strings.

stream_writer, similarly, is a class that supports encoding output to a stream. stream_writer(file_obj) returns an object that supports the write() and writelines() methods. These methods expect Unicode strings, translating them to the given encoding on output.

For example, the following code writes a Unicode string into a file, encoding it as UTF-8:

import codecs

unistr = u'\u0660\u2000ab ...'

(UTF8_encode, UTF8_decode,
 UTF8_streamreader, UTF8_streamwriter) = codecs.lookup('UTF-8')

output = UTF8_streamwriter( open( '/tmp/output', 'wb') )
output.write( unistr )
output.close()

The following code would then read UTF-8 input from the file:

input = UTF8_streamreader( open( '/tmp/output', 'rb') )
print repr(input.read())
input.close()

Unicode-aware regular expressions are available through the re module, which has a new underlying implementation called SRE written by Fredrik Lundh of Secret Labs AB.

A -U command line option was added which causes the Python compiler to interpret all string literals as Unicode string literals. This is intended to be used in testing and future-proofing your Python code, since some future version of Python may drop support for 8-bit strings and provide only Unicode strings.

List Comprehensions

Lists are a workhorse data type in Python, and many programs manipulate a list at some point. Two common operations on lists are to loop over them, and either pick out the elements that meet a certain criterion, or apply some function to each element. For example, given a list of strings, you might want to pull out all the strings containing a given substring, or strip off trailing whitespace from each line.

The existing map() and filter() functions can be used for this purpose, but they require a function as one of their arguments. This is fine if there’s an existing built-in function that can be passed directly, but if there isn’t, you have to create a little function to do the required work, and Python’s scoping rules make the result ugly if the little function needs additional information. Take the first example in the previous paragraph, finding all the strings in the list containing a given substring. You could write the following to do it:

# Given the list L, make a list of all strings
# containing the substring S.
sublist = filter( lambda s, substring=S:
                     string.find(s, substring) != -1,
                  L)

Because of Python’s scoping rules, a default argument is used so that the anonymous function created by the lambda expression knows what substring is being searched for. List comprehensions make this cleaner:

sublist = [ s for s in L if string.find(s, S) != -1 ]

List comprehensions have the form:

[ expression for expr in sequence1
             for expr2 in sequence2 ...
             for exprN in sequenceN
             if condition ]

The for…in clauses contain the sequences to be iterated over. The sequences do not have to be the same length, because they are not iterated over in parallel, but from left to right; this is explained more clearly in the following paragraphs. The elements of the generated list will be the successive values of expression. The final if clause is optional; if present, expression is only evaluated and added to the result if condition is true.

To make the semantics very clear, a list comprehension is equivalent to the following Python code:

for expr1 in sequence1:
    for expr2 in sequence2:
    ...
        for exprN in sequenceN:
             if (condition):
                  # Append the value of
                  # the expression to the
                  # resulting list.

This means that when there are multiple for…in clauses, the resulting list will be equal to the product of the lengths of all the sequences. If you have two lists of length 3, the output list is 9 elements long:

seq1 = 'abc'
seq2 = (1,2,3)
>>> [ (x,y) for x in seq1 for y in seq2]
[('a', 1), ('a', 2), ('a', 3), ('b', 1), ('b', 2), ('b', 3), ('c', 1),
('c', 2), ('c', 3)]

To avoid introducing an ambiguity into Python’s grammar, if expression is creating a tuple, it must be surrounded with parentheses. The first list comprehension below is a syntax error, while the second one is correct:

# Syntax error
[ x,y for x in seq1 for y in seq2]
# Correct
[ (x,y) for x in seq1 for y in seq2]

The idea of list comprehensions originally comes from the functional programming language Haskell (https://www.haskell.org). Greg Ewing argued most effectively for adding them to Python and wrote the initial list comprehension patch, which was then discussed for a seemingly endless time on the python-dev mailing list and kept up-to-date by Skip Montanaro.

Augmented Assignment

Augmented assignment operators, another long-requested feature, have been added to Python 2.0. Augmented assignment operators include +=, -=, *=, and so forth. For example, the statement a += 2 increments the value of the variable a by 2, equivalent to the slightly lengthier a = a + 2.

The full list of supported assignment operators is +=, -=, *=, /=, %=, **=, &=, |=, ^=, >>=, and <<=. Python classes can override the augmented assignment operators by defining methods named __iadd__(), __isub__(), etc. For example, the following Number class stores a number and supports using += to create a new instance with an incremented value.

class Number:
    def __init__(self, value):
        self.value = value
    def __iadd__(self, increment):
        return Number( self.value + increment)

n = Number(5)
n += 3
print n.value

The __iadd__() special method is called with the value of the increment, and should return a new instance with an appropriately modified value; this return value is bound as the new value of the variable on the left-hand side.

Augmented assignment operators were first introduced in the C programming language, and most C-derived languages, such as awk, C++, Java, Perl, and PHP also support them. The augmented assignment patch was implemented by Thomas Wouters.

String Methods

Until now string-manipulation functionality was in the string module, which was usually a front-end for the strop module written in C. The addition of Unicode posed a difficulty for the strop module, because the functions would all need to be rewritten in order to accept either 8-bit or Unicode strings. For functions such as string.replace(), which takes 3 string arguments, that means eight possible permutations, and correspondingly complicated code.

Instead, Python 2.0 pushes the problem onto the string type, making string manipulation functionality available through methods on both 8-bit strings and Unicode strings.

>>> 'andrew'.capitalize()
'Andrew'
>>> 'hostname'.replace('os', 'linux')
'hlinuxtname'
>>> 'moshe'.find('sh')
2

One thing that hasn’t changed, a noteworthy April Fools’ joke notwithstanding, is that Python strings are immutable. Thus, the string methods return new strings, and do not modify the string on which they operate.

The old string module is still around for backwards compatibility, but it mostly acts as a front-end to the new string methods.

Two methods which have no parallel in pre-2.0 versions, although they did exist in JPython for quite some time, are startswith() and endswith(). s.startswith(t) is equivalent to s[:len(t)] == t, while s.endswith(t) is equivalent to s[-len(t):] == t.

One other method which deserves special mention is join(). The join() method of a string receives one parameter, a sequence of strings, and is equivalent to the string.join() function from the old string module, with the arguments reversed. In other words, s.join(seq) is equivalent to the old string.join(seq, s).

Garbage Collection of Cycles

The C implementation of Python uses reference counting to implement garbage collection. Every Python object maintains a count of the number of references pointing to itself, and adjusts the count as references are created or destroyed. Once the reference count reaches zero, the object is no longer accessible, since you need to have a reference to an object to access it, and if the count is zero, no references exist any longer.

Reference counting has some pleasant properties: it’s easy to understand and implement, and the resulting implementation is portable, fairly fast, and reacts well with other libraries that implement their own memory handling schemes. The major problem with reference counting is that it sometimes doesn’t realise that objects are no longer accessible, resulting in a memory leak. This happens when there are cycles of references.

Consider the simplest possible cycle, a class instance which has a reference to itself:

instance = SomeClass()
instance.myself = instance

After the above two lines of code have been executed, the reference count of instance is 2; one reference is from the variable named 'instance', and the other is from the myself attribute of the instance.

If the next line of code is del instance, what happens? The reference count of instance is decreased by 1, so it has a reference count of 1; the reference in the myself attribute still exists. Yet the instance is no longer accessible through Python code, and it could be deleted. Several objects can participate in a cycle if they have references to each other, causing all of the objects to be leaked.

Python 2.0 fixes this problem by periodically executing a cycle detection algorithm which looks for inaccessible cycles and deletes the objects involved. A new gc module provides functions to perform a garbage collection, obtain debugging statistics, and tuning the collector’s parameters.

Running the cycle detection algorithm takes some time, and therefore will result in some additional overhead. It is hoped that after we’ve gotten experience with the cycle collection from using 2.0, Python 2.1 will be able to minimize the overhead with careful tuning. It’s not yet obvious how much performance is lost, because benchmarking this is tricky and depends crucially on how often the program creates and destroys objects. The detection of cycles can be disabled when Python is compiled, if you can’t afford even a tiny speed penalty or suspect that the cycle collection is buggy, by specifying the --without-cycle-gc switch when running the configure script.

Several people tackled this problem and contributed to a solution. An early implementation of the cycle detection approach was written by Toby Kelsey. The current algorithm was suggested by Eric Tiedemann during a visit to CNRI, and Guido van Rossum and Neil Schemenauer wrote two different implementations, which were later integrated by Neil. Lots of other people offered suggestions along the way; the March 2000 archives of the python-dev mailing list contain most of the relevant discussion, especially in the threads titled “Reference cycle collection for Python” and “Finalization again”.

Other Core Changes

Various minor changes have been made to Python’s syntax and built-in functions. None of the changes are very far-reaching, but they’re handy conveniences.

Minor Language Changes

A new syntax makes it more convenient to call a given function with a tuple of arguments and/or a dictionary of keyword arguments. In Python 1.5 and earlier, you’d use the apply() built-in function: apply(f, args, kw) calls the function f() with the argument tuple args and the keyword arguments in the dictionary kw. apply() is the same in 2.0, but thanks to a patch from Greg Ewing, f(*args, **kw) is a shorter and clearer way to achieve the same effect. This syntax is symmetrical with the syntax for defining functions:

def f(*args, **kw):
    # args is a tuple of positional args,
    # kw is a dictionary of keyword args
    ...

The print statement can now have its output directed to a file-like object by following the print with >> file, similar to the redirection operator in Unix shells. Previously you’d either have to use the write() method of the file-like object, which lacks the convenience and simplicity of print, or you could assign a new value to sys.stdout and then restore the old value. For sending output to standard error, it’s much easier to write this:

print >> sys.stderr, "Warning: action field not supplied"

Modules can now be renamed on importing them, using the syntax import module as name or from module import name as othername. The patch was submitted by Thomas Wouters.

A new format style is available when using the % operator; ‘%r’ will insert the repr() of its argument. This was also added from symmetry considerations, this time for symmetry with the existing ‘%s’ format style, which inserts the str() of its argument. For example, '%r %s' % ('abc', 'abc') returns a string containing 'abc' abc.

Previously there was no way to implement a class that overrode Python’s built-in in operator and implemented a custom version. obj in seq returns true if obj is present in the sequence seq; Python computes this by simply trying every index of the sequence until either obj is found or an IndexError is encountered. Moshe Zadka contributed a patch which adds a __contains__() magic method for providing a custom implementation for in. Additionally, new built-in objects written in C can define what in means for them via a new slot in the sequence protocol.

Earlier versions of Python used a recursive algorithm for deleting objects. Deeply nested data structures could cause the interpreter to fill up the C stack and crash; Christian Tismer rewrote the deletion logic to fix this problem. On a related note, comparing recursive objects recursed infinitely and crashed; Jeremy Hylton rewrote the code to no longer crash, producing a useful result instead. For example, after this code:

a = []
b = []
a.append(a)
b.append(b)

The comparison a==b returns true, because the two recursive data structures are isomorphic. See the thread “trashcan and PR#7” in the April 2000 archives of the python-dev mailing list for the discussion leading up to this implementation, and some useful relevant links. Note that comparisons can now also raise exceptions. In earlier versions of Python, a comparison operation such as cmp(a,b) would always produce an answer, even if a user-defined __cmp__() method encountered an error, since the resulting exception would simply be silently swallowed.

Work has been done on porting Python to 64-bit Windows on the Itanium processor, mostly by Trent Mick of ActiveState. (Confusingly, sys.platform is still 'win32' on Win64 because it seems that for ease of porting, MS Visual C++ treats code as 32 bit on Itanium.) PythonWin also supports Windows CE; see the Python CE page at https://pythonce.sourceforge.net/ for more information.

Another new platform is Darwin/MacOS X; initial support for it is in Python 2.0. Dynamic loading works, if you specify “configure –with-dyld –with-suffix=.x”. Consult the README in the Python source distribution for more instructions.

An attempt has been made to alleviate one of Python’s warts, the often-confusing NameError exception when code refers to a local variable before the variable has been assigned a value. For example, the following code raises an exception on the print statement in both 1.5.2 and 2.0; in 1.5.2 a NameError exception is raised, while 2.0 raises a new UnboundLocalError exception. UnboundLocalError is a subclass of NameError, so any existing code that expects NameError to be raised should still work.

def f():
    print "i=",i
    i = i + 1
f()

Two new exceptions, TabError and IndentationError, have been introduced. They’re both subclasses of SyntaxError, and are raised when Python code is found to be improperly indented.

Changes to Built-in Functions

A new built-in, zip(seq1, seq2, ...), has been added. zip() returns a list of tuples where each tuple contains the i-th element from each of the argument sequences. The difference between zip() and map(None, seq1, seq2) is that map() pads the sequences with None if the sequences aren’t all of the same length, while zip() truncates the returned list to the length of the shortest argument sequence.

The int() and long() functions now accept an optional “base” parameter when the first argument is a string. int('123', 10) returns 123, while int('123', 16) returns 291. int(123, 16) raises a TypeError exception with the message “can’t convert non-string with explicit base”.

A new variable holding more detailed version information has been added to the sys module. sys.version_info is a tuple (major, minor, micro, level, serial) For example, in a hypothetical 2.0.1beta1, sys.version_info would be (2, 0, 1, 'beta', 1). level is a string such as "alpha", "beta", or "final" for a final release.

Dictionaries have an odd new method, setdefault(key, default), which behaves similarly to the existing get() method. However, if the key is missing, setdefault() both returns the value of default as get() would do, and also inserts it into the dictionary as the value for key. Thus, the following lines of code:

if dict.has_key( key ): return dict[key]
else:
    dict[key] = []
    return dict[key]

can be reduced to a single return dict.setdefault(key, []) statement.

The interpreter sets a maximum recursion depth in order to catch runaway recursion before filling the C stack and causing a core dump or GPF.. Previously this limit was fixed when you compiled Python, but in 2.0 the maximum recursion depth can be read and modified using sys.getrecursionlimit() and sys.setrecursionlimit(). The default value is 1000, and a rough maximum value for a given platform can be found by running a new script, Misc/find_recursionlimit.py.

Porting to 2.0

New Python releases try hard to be compatible with previous releases, and the record has been pretty good. However, some changes are considered useful enough, usually because they fix initial design decisions that turned out to be actively mistaken, that breaking backward compatibility can’t always be avoided. This section lists the changes in Python 2.0 that may cause old Python code to break.

The change which will probably break the most code is tightening up the arguments accepted by some methods. Some methods would take multiple arguments and treat them as a tuple, particularly various list methods such as append() and insert(). In earlier versions of Python, if L is a list, L.append( 1,2 ) appends the tuple (1,2) to the list. In Python 2.0 this causes a TypeError exception to be raised, with the message: ‘append requires exactly 1 argument; 2 given’. The fix is to simply add an extra set of parentheses to pass both values as a tuple: L.append( (1,2) ).

The earlier versions of these methods were more forgiving because they used an old function in Python’s C interface to parse their arguments; 2.0 modernizes them to use PyArg_ParseTuple(), the current argument parsing function, which provides more helpful error messages and treats multi-argument calls as errors. If you absolutely must use 2.0 but can’t fix your code, you can edit Objects/listobject.c and define the preprocessor symbol NO_STRICT_LIST_APPEND to preserve the old behaviour; this isn’t recommended.

Some of the functions in the socket module are still forgiving in this way. For example, socket.connect( ('hostname', 25) ) is the correct form, passing a tuple representing an IP address, but socket.connect('hostname', 25) also works. socket.connect_ex and socket.bind are similarly easy-going. 2.0alpha1 tightened these functions up, but because the documentation actually used the erroneous multiple argument form, many people wrote code which would break with the stricter checking. GvR backed out the changes in the face of public reaction, so for the socket module, the documentation was fixed and the multiple argument form is simply marked as deprecated; it will be tightened up again in a future Python version.

The \x escape in string literals now takes exactly 2 hex digits. Previously it would consume all the hex digits following the ‘x’ and take the lowest 8 bits of the result, so \x123456 was equivalent to \x56.

The AttributeError and NameError exceptions have a more friendly error message, whose text will be something like 'Spam' instance has no attribute 'eggs' or name 'eggs' is not defined. Previously the error message was just the missing attribute name eggs, and code written to take advantage of this fact will break in 2.0.

Some work has been done to make integers and long integers a bit more interchangeable. In 1.5.2, large-file support was added for Solaris, to allow reading files larger than 2 GiB; this made the tell() method of file objects return a long integer instead of a regular integer. Some code would subtract two file offsets and attempt to use the result to multiply a sequence or slice a string, but this raised a TypeError. In 2.0, long integers can be used to multiply or slice a sequence, and it’ll behave as you’d intuitively expect it to; 3L * 'abc' produces ‘abcabcabc’, and (0,1,2,3)[2L:4L] produces (2,3). Long integers can also be used in various contexts where previously only integers were accepted, such as in the seek() method of file objects, and in the formats supported by the % operator (%d, %i, %x, etc.). For example, "%d" % 2L**64 will produce the string 18446744073709551616.

The subtlest long integer change of all is that the str() of a long integer no longer has a trailing ‘L’ character, though repr() still includes it. The ‘L’ annoyed many people who wanted to print long integers that looked just like regular integers, since they had to go out of their way to chop off the character. This is no longer a problem in 2.0, but code which does str(longval)[:-1] and assumes the ‘L’ is there, will now lose the final digit.

Taking the repr() of a float now uses a different formatting precision than str(). repr() uses %.17g format string for C’s sprintf(), while str() uses %.12g as before. The effect is that repr() may occasionally show more decimal places than str(), for certain numbers. For example, the number 8.1 can’t be represented exactly in binary, so repr(8.1) is '8.0999999999999996', while str(8.1) is '8.1'.

The -X command-line option, which turned all standard exceptions into strings instead of classes, has been removed; the standard exceptions will now always be classes. The exceptions module containing the standard exceptions was translated from Python to a built-in C module, written by Barry Warsaw and Fredrik Lundh.

Extending/Embedding Changes

Some of the changes are under the covers, and will only be apparent to people writing C extension modules or embedding a Python interpreter in a larger application. If you aren’t dealing with Python’s C API, you can safely skip this section.

The version number of the Python C API was incremented, so C extensions compiled for 1.5.2 must be recompiled in order to work with 2.0. On Windows, it’s not possible for Python 2.0 to import a third party extension built for Python 1.5.x due to how Windows DLLs work, so Python will raise an exception and the import will fail.

Users of Jim Fulton’s ExtensionClass module will be pleased to find out that hooks have been added so that ExtensionClasses are now supported by isinstance() and issubclass(). This means you no longer have to remember to write code such as if type(obj) == myExtensionClass, but can use the more natural if isinstance(obj, myExtensionClass).

The Python/importdl.c file, which was a mass of #ifdefs to support dynamic loading on many different platforms, was cleaned up and reorganised by Greg Stein. importdl.c is now quite small, and platform-specific code has been moved into a bunch of Python/dynload_*.c files. Another cleanup: there were also a number of my*.h files in the Include/ directory that held various portability hacks; they’ve been merged into a single file, Include/pyport.h.

Vladimir Marangozov’s long-awaited malloc restructuring was completed, to make it easy to have the Python interpreter use a custom allocator instead of C’s standard malloc(). For documentation, read the comments in Include/pymem.h and Include/objimpl.h. For the lengthy discussions during which the interface was hammered out, see the web archives of the ‘patches’ and ‘python-dev’ lists at python.org.

Recent versions of the GUSI development environment for MacOS support POSIX threads. Therefore, Python’s POSIX threading support now works on the Macintosh. Threading support using the user-space GNU pth library was also contributed.

Threading support on Windows was enhanced, too. Windows supports thread locks that use kernel objects only in case of contention; in the common case when there’s no contention, they use simpler functions which are an order of magnitude faster. A threaded version of Python 1.5.2 on NT is twice as slow as an unthreaded version; with the 2.0 changes, the difference is only 10%. These improvements were contributed by Yakov Markovitch.

Python 2.0’s source now uses only ANSI C prototypes, so compiling Python now requires an ANSI C compiler, and can no longer be done using a compiler that only supports K&R C.

Previously the Python virtual machine used 16-bit numbers in its bytecode, limiting the size of source files. In particular, this affected the maximum size of literal lists and dictionaries in Python source; occasionally people who are generating Python code would run into this limit. A patch by Charles G. Waldman raises the limit from 2**16 to 2**32.

Three new convenience functions intended for adding constants to a module’s dictionary at module initialization time were added: PyModule_AddObject(), PyModule_AddIntConstant(), and PyModule_AddStringConstant(). Each of these functions takes a module object, a null-terminated C string containing the name to be added, and a third argument for the value to be assigned to the name. This third argument is, respectively, a Python object, a C long, or a C string.

A wrapper API was added for Unix-style signal handlers. PyOS_getsig() gets a signal handler and PyOS_setsig() will set a new handler.

Distutils: Making Modules Easy to Install

Before Python 2.0, installing modules was a tedious affair – there was no way to figure out automatically where Python is installed, or what compiler options to use for extension modules. Software authors had to go through an arduous ritual of editing Makefiles and configuration files, which only really work on Unix and leave Windows and MacOS unsupported. Python users faced wildly differing installation instructions which varied between different extension packages, which made administering a Python installation something of a chore.

The SIG for distribution utilities, shepherded by Greg Ward, has created the Distutils, a system to make package installation much easier. They form the distutils package, a new part of Python’s standard library. In the best case, installing a Python module from source will require the same steps: first you simply mean unpack the tarball or zip archive, and the run “python setup.py install”. The platform will be automatically detected, the compiler will be recognized, C extension modules will be compiled, and the distribution installed into the proper directory. Optional command-line arguments provide more control over the installation process, the distutils package offers many places to override defaults – separating the build from the install, building or installing in non-default directories, and more.

In order to use the Distutils, you need to write a setup.py script. For the simple case, when the software contains only .py files, a minimal setup.py can be just a few lines long:

from distutils.core import setup
setup (name = "foo", version = "1.0",
       py_modules = ["module1", "module2"])

The setup.py file isn’t much more complicated if the software consists of a few packages:

from distutils.core import setup
setup (name = "foo", version = "1.0",
       packages = ["package", "package.subpackage"])

A C extension can be the most complicated case; here’s an example taken from the PyXML package:

from distutils.core import setup, Extension

expat_extension = Extension('xml.parsers.pyexpat',
     define_macros = [('XML_NS', None)],
     include_dirs = [ 'extensions/expat/xmltok',
                      'extensions/expat/xmlparse' ],
     sources = [ 'extensions/pyexpat.c',
                 'extensions/expat/xmltok/xmltok.c',
                 'extensions/expat/xmltok/xmlrole.c', ]
       )
setup (name = "PyXML", version = "0.5.4",
       ext_modules =[ expat_extension ] )

The Distutils can also take care of creating source and binary distributions. The “sdist” command, run by “python setup.py sdist’, builds a source distribution such as foo-1.0.tar.gz. Adding new commands isn’t difficult, “bdist_rpm” and “bdist_wininst” commands have already been contributed to create an RPM distribution and a Windows installer for the software, respectively. Commands to create other distribution formats such as Debian packages and Solaris .pkg files are in various stages of development.

All this is documented in a new manual, Distributing Python Modules, that joins the basic set of Python documentation.

XML Modules

Python 1.5.2 included a simple XML parser in the form of the xmllib module, contributed by Sjoerd Mullender. Since 1.5.2’s release, two different interfaces for processing XML have become common: SAX2 (version 2 of the Simple API for XML) provides an event-driven interface with some similarities to xmllib, and the DOM (Document Object Model) provides a tree-based interface, transforming an XML document into a tree of nodes that can be traversed and modified. Python 2.0 includes a SAX2 interface and a stripped-down DOM interface as part of the xml package. Here we will give a brief overview of these new interfaces; consult the Python documentation or the source code for complete details. The Python XML SIG is also working on improved documentation.

SAX2 Support

SAX defines an event-driven interface for parsing XML. To use SAX, you must write a SAX handler class. Handler classes inherit from various classes provided by SAX, and override various methods that will then be called by the XML parser. For example, the startElement() and endElement() methods are called for every starting and end tag encountered by the parser, the characters() method is called for every chunk of character data, and so forth.

The advantage of the event-driven approach is that the whole document doesn’t have to be resident in memory at any one time, which matters if you are processing really huge documents. However, writing the SAX handler class can get very complicated if you’re trying to modify the document structure in some elaborate way.

For example, this little example program defines a handler that prints a message for every starting and ending tag, and then parses the file hamlet.xml using it:

from xml import sax

class SimpleHandler(sax.ContentHandler):
    def startElement(self, name, attrs):
        print 'Start of element:', name, attrs.keys()

    def endElement(self, name):
        print 'End of element:', name

# Create a parser object
parser = sax.make_parser()

# Tell it what handler to use
handler = SimpleHandler()
parser.setContentHandler( handler )

# Parse a file!
parser.parse( 'hamlet.xml' )

For more information, consult the Python documentation, or the XML HOWTO at https://pyxml.sourceforge.net/topics/howto/xml-howto.html.

DOM Support

The Document Object Model is a tree-based representation for an XML document. A top-level Document instance is the root of the tree, and has a single child which is the top-level Element instance. This Element has children nodes representing character data and any sub-elements, which may have further children of their own, and so forth. Using the DOM you can traverse the resulting tree any way you like, access element and attribute values, insert and delete nodes, and convert the tree back into XML.

The DOM is useful for modifying XML documents, because you can create a DOM tree, modify it by adding new nodes or rearranging subtrees, and then produce a new XML document as output. You can also construct a DOM tree manually and convert it to XML, which can be a more flexible way of producing XML output than simply writing <tag1>…</tag1> to a file.

The DOM implementation included with Python lives in the xml.dom.minidom module. It’s a lightweight implementation of the Level 1 DOM with support for XML namespaces. The parse() and parseString() convenience functions are provided for generating a DOM tree:

from xml.dom import minidom
doc = minidom.parse('hamlet.xml')

doc is a Document instance. Document, like all the other DOM classes such as Element and Text, is a subclass of the Node base class. All the nodes in a DOM tree therefore support certain common methods, such as toxml() which returns a string containing the XML representation of the node and its children. Each class also has special methods of its own; for example, Element and Document instances have a method to find all child elements with a given tag name. Continuing from the previous 2-line example:

perslist = doc.getElementsByTagName( 'PERSONA' )
print perslist[0].toxml()
print perslist[1].toxml()

For the Hamlet XML file, the above few lines output:

<PERSONA>CLAUDIUS, king of Denmark. </PERSONA>
<PERSONA>HAMLET, son to the late, and nephew to the present king.</PERSONA>

The root element of the document is available as doc.documentElement, and its children can be easily modified by deleting, adding, or removing nodes:

root = doc.documentElement

# Remove the first child
root.removeChild( root.childNodes[0] )

# Move the new first child to the end
root.appendChild( root.childNodes[0] )

# Insert the new first child (originally,
# the third child) before the 20th child.
root.insertBefore( root.childNodes[0], root.childNodes[20] )

Again, I will refer you to the Python documentation for a complete listing of the different Node classes and their various methods.

Relationship to PyXML

The XML Special Interest Group has been working on XML-related Python code for a while. Its code distribution, called PyXML, is available from the SIG’s web pages at https://www.python.org/community/sigs/current/xml-sig. The PyXML distribution also used the package name xml. If you’ve written programs that used PyXML, you’re probably wondering about its compatibility with the 2.0 xml package.

The answer is that Python 2.0’s xml package isn’t compatible with PyXML, but can be made compatible by installing a recent version PyXML. Many applications can get by with the XML support that is included with Python 2.0, but more complicated applications will require that the full PyXML package will be installed. When installed, PyXML versions 0.6.0 or greater will replace the xml package shipped with Python, and will be a strict superset of the standard package, adding a bunch of additional features. Some of the additional features in PyXML include:

4DOM, a full DOM implementation from FourThought, Inc.

The xmlproc validating parser, written by Lars Marius Garshol.

The sgmlop parser accelerator module, written by Fredrik Lundh.

Module changes

Lots of improvements and bugfixes were made to Python’s extensive standard library; some of the affected modules include readline, ConfigParser, cgi, calendar, posix, readline, xmllib, aifc, chunk, wave, random, shelve, and nntplib. Consult the CVS logs for the exact patch-by-patch details.

Brian Gallew contributed OpenSSL support for the socket module. OpenSSL is an implementation of the Secure Socket Layer, which encrypts the data being sent over a socket. When compiling Python, you can edit Modules/Setup to include SSL support, which adds an additional function to the socket module: socket.ssl(socket, keyfile, certfile), which takes a socket object and returns an SSL socket. The httplib and urllib modules were also changed to support https:// URLs, though no one has implemented FTP or SMTP over SSL.

The httplib module has been rewritten by Greg Stein to support HTTP/1.1.

Backward compatibility with the 1.5 version of httplib is provided, though using HTTP/1.1 features such as pipelining will require rewriting code to use a different set of interfaces.

The Tkinter module now supports Tcl/Tk version 8.1, 8.2, or 8.3, and support for the older 7.x versions has been dropped. The Tkinter module now supports displaying Unicode strings in Tk widgets. Also, Fredrik Lundh contributed an optimization which makes operations like create_line and create_polygon much faster, especially when using lots of coordinates.

The curses module has been greatly extended, starting from Oliver Andrich’s enhanced version, to provide many additional functions from ncurses and SYSV curses, such as colour, alternative character set support, pads, and mouse support. This means the module is no longer compatible with operating systems that only have BSD curses, but there don’t seem to be any currently maintained OSes that fall into this category.

As mentioned in the earlier discussion of 2.0’s Unicode support, the underlying implementation of the regular expressions provided by the re module has been changed. SRE, a new regular expression engine written by Fredrik Lundh and partially funded by Hewlett Packard, supports matching against both 8-bit strings and Unicode strings.

Novos módulos

A number of new modules were added. We’ll simply list them with brief descriptions; consult the 2.0 documentation for the details of a particular module.

atexit: For registering functions to be called before the Python interpreter exits. Code that currently sets sys.exitfunc directly should be changed to use the atexit module instead, importing atexit and calling atexit.register() with the function to be called on exit. (Contributed by Skip Montanaro.)

codecs, encodings, unicodedata: Added as part of the new Unicode support.

filecmp: Supersedes the old cmp, cmpcache and dircmp modules, which have now become deprecated. (Contributed by Gordon MacMillan and Moshe Zadka.)

gettext: This module provides internationalization (I18N) and localization (L10N) support for Python programs by providing an interface to the GNU gettext message catalog library. (Integrated by Barry Warsaw, from separate contributions by Martin von Löwis, Peter Funk, and James Henstridge.)

linuxaudiodev: Support for the /dev/audio device on Linux, a twin to the existing sunaudiodev module. (Contributed by Peter Bosch, with fixes by Jeremy Hylton.)

mmap: An interface to memory-mapped files on both Windows and Unix. A file’s contents can be mapped directly into memory, at which point it behaves like a mutable string, so its contents can be read and modified. They can even be passed to functions that expect ordinary strings, such as the re module. (Contributed by Sam Rushing, with some extensions by A.M. Kuchling.)

pyexpat: An interface to the Expat XML parser. (Contributed by Paul Prescod.)

robotparser: Parse a robots.txt file, which is used for writing web spiders that politely avoid certain areas of a web site. The parser accepts the contents of a robots.txt file, builds a set of rules from it, and can then answer questions about the fetchability of a given URL. (Contributed by Skip Montanaro.)

tabnanny: A module/script to check Python source code for ambiguous indentation. (Contributed by Tim Peters.)

UserString: A base class useful for deriving objects that behave like strings.

webbrowser: A module that provides a platform independent way to launch a web browser on a specific URL. For each platform, various browsers are tried in a specific order. The user can alter which browser is launched by setting the BROWSER environment variable. (Originally inspired by Eric S. Raymond’s patch to urllib which added similar functionality, but the final module comes from code originally implemented by Fred Drake as Tools/idle/BrowserControl.py, and adapted for the standard library by Fred.)

_winreg: An interface to the Windows registry. _winreg is an adaptation of functions that have been part of PythonWin since 1995, but has now been added to the core distribution, and enhanced to support Unicode. _winreg was written by Bill Tutt and Mark Hammond.

zipfile: A module for reading and writing ZIP-format archives. These are archives produced by PKZIP on DOS/Windows or zip on Unix, not to be confused with gzip-format files (which are supported by the gzip module) (Contributed by James C. Ahlstrom.)

imputil: A module that provides a simpler way for writing customized import hooks, in comparison to the existing ihooks module. (Implemented by Greg Stein, with much discussion on python-dev along the way.)

IDLE Improvements

IDLE is the official Python cross-platform IDE, written using Tkinter. Python 2.0 includes IDLE 0.6, which adds a number of new features and improvements. A partial list:

UI improvements and optimizations, especially in the area of syntax highlighting and auto-indentation.

The class browser now shows more information, such as the top level functions in a module.

Tab width is now a user settable option. When opening an existing Python file, IDLE automatically detects the indentation conventions, and adapts.

There is now support for calling browsers on various platforms, used to open the Python documentation in a browser.

IDLE now has a command line, which is largely similar to the vanilla Python interpreter.

Call tips were added in many places.

IDLE can now be installed as a package.

In the editor window, there is now a line/column bar at the bottom.

Three new keystroke commands: Check module (Alt-F5), Import module (F5) and Run script (Ctrl-F5).

Deleted and Deprecated Modules

A few modules have been dropped because they’re obsolete, or because there are now better ways to do the same thing. The stdwin module is gone; it was for a platform-independent windowing toolkit that’s no longer developed.

A number of modules have been moved to the lib-old subdirectory: cmp, cmpcache, dircmp, dump, find, grep, packmail, poly, util, whatsound, zmod. If you have code which relies on a module that’s been moved to lib-old, you can simply add that directory to sys.path to get them back, but you’re encouraged to update any code that uses these modules.

Reconhecimentos

The authors would like to thank the following people for offering suggestions on various drafts of this article: David Bolen, Mark Hammond, Gregg Hauser, Jeremy Hylton, Fredrik Lundh, Detlef Lannert, Aahz Maruch, Skip Montanaro, Vladimir Marangozov, Tobias Polzin, Guido van Rossum, Neil Schemenauer, and Russ Schmidt.

Changelog

Python next

Release date: XXXX-XX-XX

Windows

gh-126084 [https://github.com/python/cpython/issues/126084]: Fix venvwlauncher to launch pythonw instead of python so no extra console window is created.

gh-125842 [https://github.com/python/cpython/issues/125842]: Fix a SystemError when sys.exit() is called with 0xffffffff on Windows.

gh-125550 [https://github.com/python/cpython/issues/125550]: Enable the Inicializador Python para Windows to detect Python 3.14 installs from the Windows Store.

gh-124448 [https://github.com/python/cpython/issues/124448]: Updated bundled Tcl/Tk to 8.6.15.

Tests

gh-125041 [https://github.com/python/cpython/issues/125041]: Re-enable skipped tests for zlib on the s390x architecture: only skip checks of the compressed bytes, which can be different between zlib’s software implementation and the hardware-accelerated implementation.

gh-124295 [https://github.com/python/cpython/issues/124295]: Add translation tests to the argparse module.

Security

gh-125140 [https://github.com/python/cpython/issues/125140]: Remove the current directory from sys.path when using PyREPL.

Library

gh-126105 [https://github.com/python/cpython/issues/126105]: Fix a crash in ast when the ast.AST._fields attribute is deleted.

gh-126106 [https://github.com/python/cpython/issues/126106]: Fixes a possible NULL pointer dereference in ssl.

gh-125984 [https://github.com/python/cpython/issues/125984]: Fix use-after-free crashes on asyncio.Future objects for which the underlying event loop implements an evil __getattribute__(). Reported by Nico-Posada. Patch by Bénédikt Tran.

gh-125969 [https://github.com/python/cpython/issues/125969]: Fix an out-of-bounds crash when an evil asyncio.loop.call_soon() mutates the length of the internal callbacks list. Patch by Bénédikt Tran.

gh-125966 [https://github.com/python/cpython/issues/125966]: Fix a use-after-free crash in asyncio.Future.remove_done_callback(). Patch by Bénédikt Tran.

gh-125789 [https://github.com/python/cpython/issues/125789]: Fix possible crash when mutating list of callbacks returned by asyncio.Future._callbacks. It now always returns a new copy in C implementation _asyncio. Patch by Kumar Aditya.

gh-125884 [https://github.com/python/cpython/issues/125884]: Fixed the bug for pdb where it can’t set breakpoints on functions with certain annotations.

gh-125355 [https://github.com/python/cpython/issues/125355]: Fix several bugs in argparse.ArgumentParser.parse_intermixed_args().

The parser no longer changes temporarily during parsing.

Default values are not processed twice.

Required mutually exclusive groups containing positional arguments are now supported.

The missing arguments report now includes the names of all required optional and positional arguments.

Unknown options can be intermixed with positional arguments in parse_known_intermixed_args().

gh-125710 [https://github.com/python/cpython/issues/125710]: [Enum] fix hashable<->nonhashable comparisons for member values

gh-125378 [https://github.com/python/cpython/issues/125378]: Fixed the bug in pdb where after a multi-line command, an empty line repeats the first line of the multi-line command, instead of the full command.

gh-125682 [https://github.com/python/cpython/issues/125682]: Reject non-ASCII digits in the Python implementation of json.loads() conforming to the JSON specification.

gh-125660 [https://github.com/python/cpython/issues/125660]: Reject invalid unicode escapes for Python implementation of json.loads().

gh-125259 [https://github.com/python/cpython/issues/125259]: Fix the notes removal logic for errors thrown in enum initialization.

gh-125590 [https://github.com/python/cpython/issues/125590]: Allow FrameLocalsProxy to delete and pop if the key is not a fast variable.

gh-125519 [https://github.com/python/cpython/issues/125519]: Improve traceback if importlib.reload() is called with an object that is not a module. Patch by Alex Waygood.

gh-125451 [https://github.com/python/cpython/issues/125451]: Fix deadlock when concurrent.futures.ProcessPoolExecutor shuts down concurrently with an error when feeding a job to a worker process.

gh-125422 [https://github.com/python/cpython/issues/125422]: Fixed the bug where pdb and bdb can step into the bottom caller frame.

gh-100141 [https://github.com/python/cpython/issues/100141]: Fixed the bug where pdb will be stuck in an infinite loop when debugging an empty file.

gh-125115 [https://github.com/python/cpython/issues/125115]: Fixed a bug in pdb where arguments starting with - can’t be passed to the debugged script.

gh-53203 [https://github.com/python/cpython/issues/53203]: Fix time.strptime() for %c, %x and %X formats in many locales that use non-ASCII digits, like Persian, Burmese, Odia and Shan.

gh-125398 [https://github.com/python/cpython/issues/125398]: Fix the conversion of the VIRTUAL_ENV path in the activate script in venv when running in Git Bash for Windows.

gh-125316 [https://github.com/python/cpython/issues/125316]: Fix using functools.partial() as enum.Enum member. A FutureWarning with suggestion to use enum.member() is now emitted when the partial instance is used as an enum member.

gh-125245 [https://github.com/python/cpython/issues/125245]: Fix race condition when importing collections.abc, which could incorrectly return an empty module.

gh-125243 [https://github.com/python/cpython/issues/125243]: Fix data race when creating zoneinfo.ZoneInfo objects in the free threading build.

gh-125254 [https://github.com/python/cpython/issues/125254]: Fix a bug where ArgumentError includes the incorrect ambiguous option in argparse.

gh-125235 [https://github.com/python/cpython/issues/125235]: Keep tkinter TCL paths in venv pointing to base installation on Windows.

gh-61011 [https://github.com/python/cpython/issues/61011]: Fix inheritance of nested mutually exclusive groups from parent parser in argparse.ArgumentParser. Previously, all nested mutually exclusive groups lost their connection to the group containing them and were displayed as belonging directly to the parser.

gh-52551 [https://github.com/python/cpython/issues/52551]: Fix encoding issues in time.strftime(), the strftime() method of the datetime classes datetime, date and time and formatting of these classes. Characters not encodable in the current locale are now acceptable in the format string. Surrogate pairs and sequence of surrogatescape-encoded bytes are no longer recombinated. Embedded null character no longer terminates the format string.

gh-125118 [https://github.com/python/cpython/issues/125118]: Don’t copy arbitrary values to _Bool in the struct module.

gh-125069 [https://github.com/python/cpython/issues/125069]: Fix an issue where providing a pathlib.PurePath object as an initializer argument to a second PurePath object with a different parser resulted in arguments to the former object’s initializer being joined by the latter object’s parser.

gh-125096 [https://github.com/python/cpython/issues/125096]: If the PYTHON_BASIC_REPL environment variable is set, the site module no longer imports the _pyrepl module. Moreover, the site module now respects -E and -I command line options: ignore PYTHON_BASIC_REPL in this case. Patch by Victor Stinner.

gh-124969 [https://github.com/python/cpython/issues/124969]: Fix locale.nl_langinfo(locale.ALT_DIGITS) on platforms with glibc. Now it returns a string consisting of up to 100 semicolon-separated symbols (an empty string in most locales) on all Posix platforms. Previously it only returned the first symbol or an empty string.

gh-124960 [https://github.com/python/cpython/issues/124960]: Fix support for the barry_as_FLUFL future flag in the new REPL.

gh-124958 [https://github.com/python/cpython/issues/124958]: Fix refcycles in exceptions raised from asyncio.TaskGroup and the python implementation of asyncio.Future

gh-53203 [https://github.com/python/cpython/issues/53203]: Fix time.strptime() for %c and %x formats in many locales: Arabic, Bislama, Breton, Bodo, Kashubian, Chuvash, Estonian, French, Irish, Ge’ez, Gurajati, Manx Gaelic, Hebrew, Hindi, Chhattisgarhi, Haitian Kreyol, Japanese, Kannada, Korean, Marathi, Malay, Norwegian, Nynorsk, Punjabi, Rajasthani, Tok Pisin, Yoruba, Yue Chinese, Yau/Nungon and Chinese.

gh-124917 [https://github.com/python/cpython/issues/124917]: Allow calling os.path.exists() and os.path.lexists() with keyword arguments on Windows. Fixes a regression in 3.13.0.

gh-124653 [https://github.com/python/cpython/issues/124653]: Fix detection of the minimal Queue API needed by the logging module. Patch by Bénédikt Tran.

gh-124858 [https://github.com/python/cpython/issues/124858]: Fix reference cycles left in tracebacks in asyncio.open_connection() when used with happy_eyeballs_delay

gh-124390 [https://github.com/python/cpython/issues/124390]: Fixed AssertionError when using asyncio.staggered.staggered_race() with asyncio.eager_task_factory.

gh-124651 [https://github.com/python/cpython/issues/124651]: Properly quote template strings in venv activation scripts.

gh-116850 [https://github.com/python/cpython/issues/116850]: Fix argparse for namespaces with not directly writable dict (e.g. classes).

gh-58573 [https://github.com/python/cpython/issues/58573]: Fix conflicts between abbreviated long options in the parent parser and subparsers in argparse.

gh-124594 [https://github.com/python/cpython/issues/124594]: All asyncio REPL prompts run in the same context. Contributed by Bartosz Sławecki.

gh-61181 [https://github.com/python/cpython/issues/61181]: Fix support of choices with string value in argparse. Substrings of the specified string no longer considered valid values.

gh-80259 [https://github.com/python/cpython/issues/80259]: Fix argparse support of positional arguments with nargs='?', default=argparse.SUPPRESS and specified type.

gh-120378 [https://github.com/python/cpython/issues/120378]: Fix a crash related to an integer overflow in curses.resizeterm() and curses.resize_term().

gh-123884 [https://github.com/python/cpython/issues/123884]: Fixed bug in itertools.tee() handling of other tee inputs (a tee in a tee). The output now has the promised n independent new iterators. Formerly, the first iterator was identical (not independent) to the input iterator. This would sometimes give surprising results.

gh-58956 [https://github.com/python/cpython/issues/58956]: Fixed a bug in pdb where sometimes the breakpoint won’t trigger if it was set on a function which is already in the call stack.

gh-124345 [https://github.com/python/cpython/issues/124345]: argparse vim supports abbreviated single-dash long options separated by = from its value.

gh-104860 [https://github.com/python/cpython/issues/104860]: Fix disallowing abbreviation of single-dash long options in argparse with allow_abbrev=False.

gh-63143 [https://github.com/python/cpython/issues/63143]: Fix parsing mutually exclusive arguments in argparse. Arguments with the value identical to the default value (e.g. booleans, small integers, empty or 1-character strings) are no longer considered “not present”.

gh-72795 [https://github.com/python/cpython/issues/72795]: Positional arguments with nargs equal to '*' or argparse.REMAINDER are no longer required. This allows to use positional argument with nargs='*' and without default in mutually exclusive group and improves error message about required arguments.

gh-59317 [https://github.com/python/cpython/issues/59317]: Fix parsing positional argument with nargs equal to '?' or '*' if it is preceded by an option and another positional argument.

gh-53780 [https://github.com/python/cpython/issues/53780]: argparse now ignores the first "--" (double dash) between an option and command.

gh-124217 [https://github.com/python/cpython/issues/124217]: Add RFC 9637 reserved IPv6 block 3fff::/20 in ipaddress module.

gh-81691 [https://github.com/python/cpython/issues/81691]: Fix handling of multiple "--" (double dashes) in argparse. Only the first one has now been removed, all subsequent ones are now taken literally.

gh-123978 [https://github.com/python/cpython/issues/123978]: Remove broken time.thread_time() and time.thread_time_ns() on NetBSD.

gh-122765 [https://github.com/python/cpython/issues/122765]: Fix unbalanced quote errors occurring when activate.csh in venv was sourced with a custom prompt containing unpaired quotes or newlines.

gh-123370 [https://github.com/python/cpython/issues/123370]: Fix the canvas not clearing after running turtledemo clock.

gh-116810 [https://github.com/python/cpython/issues/116810]: Resolve a memory leak introduced in CPython 3.10’s ssl when the ssl.SSLSocket.session property was accessed. Speeds up read and write access to said property by no longer unnecessarily cloning session objects via serialization.

gh-117766 [https://github.com/python/cpython/issues/117766]: Always use str() to print choices in argparse.

bpo-14074 [https://bugs.python.org/issue?@action=redirect&bpo=14074]: Fix argparse metavar processing to allow positional arguments to have a tuple metavar.

IDLE

gh-122392 [https://github.com/python/cpython/issues/122392]: Increase currently inadequate vertical spacing for the IDLE browsers (path, module, and stack) on high-resolution monitors.

Documentation

gh-125277 [https://github.com/python/cpython/issues/125277]: Require Sphinx 7.2.6 or later to build the Python documentation. Patch by Adam Turner.

gh-125018 [https://github.com/python/cpython/issues/125018]: The importlib.metadata documentation now includes semantic cross-reference targets for the significant documented APIs. This means intersphinx references like importlib.metadata.version() will now work as expected.

gh-70870 [https://github.com/python/cpython/issues/70870]: Clarified the dual usage of the term “free variable” (both the formal meaning of any reference to names defined outside the local scope, and the narrower pragmatic meaning of nonlocal variables named in co_freevars).

gh-121277 [https://github.com/python/cpython/issues/121277]: Writers of CPython’s documentation can now use next as the version for the versionchanged, versionadded, deprecated directives.

bpo-34008 [https://bugs.python.org/issue?@action=redirect&bpo=34008]: The Py_Main() documentation moved from the “Very High Level API” section to the “Initialization and Finalization” section.

Also make it explicit that we expect Py_Main to typically be called instead of Py_Initialize rather than after it (since Py_Main makes its own call to Py_Initialize). Document that calling both is supported but is version dependent on which settings will be applied correctly.

Core and Builtins

gh-126018 [https://github.com/python/cpython/issues/126018]: Fix a crash in sys.audit() when passing a non-string as first argument and Python was compiled in debug mode.

gh-125942 [https://github.com/python/cpython/issues/125942]: On Android, the errors setting of sys.stdout was changed from surrogateescape to backslashreplace.

gh-125859 [https://github.com/python/cpython/issues/125859]: Fix a crash in the free threading build when gc.get_objects() or gc.get_referrers() is called during an in-progress garbage collection.

gh-125593 [https://github.com/python/cpython/issues/125593]: Use color to highlight error locations in traceback from exception group

gh-125444 [https://github.com/python/cpython/issues/125444]: Fix illegal instruction for older Arm architectures. Patch by Diego Russo, testing by Ross Burton.

gh-124375 [https://github.com/python/cpython/issues/124375]: Fix a crash in the free threading build when the GC runs concurrently with a new thread starting.

gh-125221 [https://github.com/python/cpython/issues/125221]: Fix possible race condition when calling __reduce_ex__() for the first time in the free threading build.

gh-125038 [https://github.com/python/cpython/issues/125038]: Fix crash when iterating over a generator expression after direct changes on gi_frame.f_locals. Patch by Mikhail Efimov.

gh-123378 [https://github.com/python/cpython/issues/123378]: Fix a crash in the __str__() method of UnicodeError objects when the UnicodeError.start and UnicodeError.end values are invalid or out-of-range. Patch by Bénédikt Tran.

gh-122878 [https://github.com/python/cpython/issues/122878]: Use the pager binary, if available (e.g. on Debian and derivatives), to display REPL help().

gh-124188 [https://github.com/python/cpython/issues/124188]: Fix reading and decoding a line from the source file witn non-UTF-8 encoding for syntax errors raised in the compiler.

gh-123930 [https://github.com/python/cpython/issues/123930]: Improve the error message when a script shadowing a module from the standard library causes ImportError to be raised during a “from” import. Similarly, improve the error message when a script shadowing a third party module attempts to “from” import an attribute from that third party module while still initialising.

gh-118950 [https://github.com/python/cpython/issues/118950]: Fix bug where SSLProtocol.connection_lost wasn’t getting called when OSError was thrown on writing to socket.

gh-113570 [https://github.com/python/cpython/issues/113570]: Fixed a bug in reprlib.repr where it incorrectly called the repr method on shadowed Python built-in types.

C API

gh-125608 [https://github.com/python/cpython/issues/125608]: Fix a bug where dictionary watchers (e.g., PyDict_Watch()) on an object’s attribute dictionary (__dict__) were not triggered when the object’s attributes were modified.

bpo-34008 [https://bugs.python.org/issue?@action=redirect&bpo=34008]: Added Py_IsInitialized to the list of APIs that are safe to call before the interpreter is initialized, and updated the embedding tests to cover it.

Build

gh-125940 [https://github.com/python/cpython/issues/125940]: The Android build now supports 16 KB page sizes [https://developer.android.com/guide/practices/page-sizes].

gh-125269 [https://github.com/python/cpython/issues/125269]: Fix detection of whether -latomic is needed when cross-compiling CPython using the configure script.

gh-121634 [https://github.com/python/cpython/issues/121634]: Allow for specifying the target compile triple for WASI.

gh-122578 [https://github.com/python/cpython/issues/122578]: Use WASI SDK 24 for testing.

gh-115382 [https://github.com/python/cpython/issues/115382]: Fix cross compile failures when the host and target SOABIs match.

Python 3.13.0 final

Release date: 2024-10-07

Core and Builtins

gh-125008 [https://github.com/python/cpython/issues/125008]: Fix tokenize.untokenize() producing invalid syntax for double braces preceded by certain escape characters.

gh-124871 [https://github.com/python/cpython/issues/124871]: Fix compiler bug (in some versions of 3.13) where an assertion fails during reachability analysis.

Python 3.13.0 release candidate 3

Release date: 2024-10-01

macOS

gh-123797 [https://github.com/python/cpython/issues/123797]: Check for runtime availability of ptsname_r function on macos.

Windows

gh-124609 [https://github.com/python/cpython/issues/124609]: Fix _Py_ThreadId for Windows builds using MinGW. Patch by Tony Roberts.

gh-124254 [https://github.com/python/cpython/issues/124254]: Ensures experimental free-threaded binaries remain installed when updating.

gh-123915 [https://github.com/python/cpython/issues/123915]: Ensure that Tools\msi\buildrelease.bat uses different directories for AMD64 and ARM64 builds.

Tests

gh-124378 [https://github.com/python/cpython/issues/124378]: Updated test_ttk to pass with Tcl/Tk 8.6.15.

Library

gh-124538 [https://github.com/python/cpython/issues/124538]: Fixed crash when using gc.get_referents() on a capsule object.

gh-124498 [https://github.com/python/cpython/issues/124498]: Fix typing.TypeAliasType not to be generic, when type_params is an empty tuple.

gh-123017 [https://github.com/python/cpython/issues/123017]: Due to unreliable results on some devices, time.strftime() no longer accepts negative years on Android.

gh-123014 [https://github.com/python/cpython/issues/123014]: os.pidfd_open() and signal.pidfd_send_signal() are now unavailable when building against Android API levels older than 31, since the underlying system calls may cause a crash.

gh-124248 [https://github.com/python/cpython/issues/124248]: Fixed potential crash when using struct to process zero-width ‘Pascal string’ fields (0p).

gh-87041 [https://github.com/python/cpython/issues/87041]: Fix a bug in argparse where lengthy subparser argument help is incorrectly indented.

gh-124212 [https://github.com/python/cpython/issues/124212]: Fix invalid variable in venv handling of failed symlink on Windows

gh-124171 [https://github.com/python/cpython/issues/124171]: Add workaround for broken fmod() implementations on Windows, that loose zero sign (e.g. fmod(-10, 1) returns 0.0). Patch by Sergey B Kirpichev.

gh-123934 [https://github.com/python/cpython/issues/123934]: Fix unittest.mock.MagicMock reseting magic methods return values after .reset_mock(return_value=True) was called.

gh-123968 [https://github.com/python/cpython/issues/123968]: Fix the command-line interface for the random module to select floats between 0 and N, not 1 and N.

gh-123892 [https://github.com/python/cpython/issues/123892]: Add "_wmi" to sys.stdlib_module_names. Patch by Victor Stinner.

gh-123339 [https://github.com/python/cpython/issues/123339]: Fix inspect.getsource() for classes in collections.abc and decimal (for pure Python implementation) modules. inspect.getcomments() now raises OSError instead of IndexError if the __firstlineno__ value for a class is out of bound.

gh-121735 [https://github.com/python/cpython/issues/121735]: When working with zip archives, importlib.resources now properly honors module-adjacent references (e.g. files(pkg.mod) and not just files(pkg)).

gh-122145 [https://github.com/python/cpython/issues/122145]: Fix an issue when reporting tracebacks corresponding to Python code emitting an empty AST body. Patch by Nikita Sobolev and Bénédikt Tran.

gh-119004 [https://github.com/python/cpython/issues/119004]: Fix a crash in OrderedDict.__eq__ when operands are mutated during the check. Patch by Bénédikt Tran.

bpo-44864 [https://bugs.python.org/issue?@action=redirect&bpo=44864]: Do not translate user-provided strings in argparse.ArgumentParser.

IDLE

gh-112938 [https://github.com/python/cpython/issues/112938]: Fix uninteruptable hang when Shell gets rapid continuous output.

gh-120104 [https://github.com/python/cpython/issues/120104]: Fix padding in config and search dialog windows in IDLE.

Documentation

gh-124720 [https://github.com/python/cpython/issues/124720]: Update “Using Python on a Mac” section of the “Python Setup and Usage” document and include information on installing free-threading support.

gh-116622 [https://github.com/python/cpython/issues/116622]: Add an Android platform guide, and flag modules not available on Android.

Core and Builtins

gh-124567 [https://github.com/python/cpython/issues/124567]: Revert the incremental GC (in 3.13), since it’s not clear the benefits outweigh the costs at this point.

gh-124642 [https://github.com/python/cpython/issues/124642]: Fixed scalability issue in free-threaded builds for lock-free reads from dictionaries in multi-threaded scenarios

gh-116510 [https://github.com/python/cpython/issues/116510]: Fix a bug that can cause a crash when sub-interpreters use “basic” single-phase extension modules. Shared objects could refer to PyGC_Head nodes that had been freed as part of interpreter cleanup.

gh-124547 [https://github.com/python/cpython/issues/124547]: When deallocating an object with inline values whose __dict__ is still live: if memory allocation for the inline values fails, clear the dictionary. Prevents an interpreter crash.

gh-124513 [https://github.com/python/cpython/issues/124513]: Fix a crash in FrameLocalsProxy constructor: check the number of arguments. Patch by Victor Stinner.

gh-124442 [https://github.com/python/cpython/issues/124442]: Fix nondeterminism in compilation by sorting the value of __static_attributes__. Patch by kp2pml30.

gh-123856 [https://github.com/python/cpython/issues/123856]: Fix PyREPL failure when a keyboard interrupt is triggered after using a history search

gh-65961 [https://github.com/python/cpython/issues/65961]: Document the deprecation of setting and using __package__ and __cached__.

gh-124027 [https://github.com/python/cpython/issues/124027]: Support <page up>, <page down>, and <delete> keys in the Python REPL when $TERM is set to vt100.

gh-77894 [https://github.com/python/cpython/issues/77894]: Fix possible crash in the garbage collector when it tries to break a reference loop containing a memoryview object. Now a memoryview object can only be cleared if there are no buffers that refer it.

gh-123339 [https://github.com/python/cpython/issues/123339]: Setting the __module__ attribute for a class now removes the __firstlineno__ item from the type’s dict, so they will no longer be inconsistent.

C API

gh-124160 [https://github.com/python/cpython/issues/124160]: Fix crash when importing modules containing state and single-phase initialization in a subinterpreter.

gh-123880 [https://github.com/python/cpython/issues/123880]: Fixed a bug that prevented circular imports of extension modules that use single-phase initialization.

Build

gh-124487 [https://github.com/python/cpython/issues/124487]: Windows builds now use Windows 8.1 as their API baseline (installation already required Windows 8.1).

gh-124043 [https://github.com/python/cpython/issues/124043]: Building using --with-trace-refs is (temporarily) disallowed when the GIL is disabled.

Python 3.13.0 release candidate 2

Release date: 2024-09-06

macOS

gh-123418 [https://github.com/python/cpython/issues/123418]: Updated macOS installer build to use OpenSSL 3.0.15.

Windows

gh-123418 [https://github.com/python/cpython/issues/123418]: Updated Windows build to use OpenSSL 3.0.15.

gh-122573 [https://github.com/python/cpython/issues/122573]: The Windows build of CPython now requires 3.10 or newer.

gh-100256 [https://github.com/python/cpython/issues/100256]: mimetypes no longer fails when it encounters an inaccessible registry key.

gh-79846 [https://github.com/python/cpython/issues/79846]: Makes ssl.create_default_context() ignore invalid certificates in the Windows certificate store

Tools/Demos

gh-123418 [https://github.com/python/cpython/issues/123418]: Update GitHub CI workflows to use OpenSSL 3.0.15 and multissltests to use 3.0.15, 3.1.7, and 3.2.3.

Tests

gh-119727 [https://github.com/python/cpython/issues/119727]: Add --single-process command line option to Python test runner (regrtest). Patch by Victor Stinner.

gh-101525 [https://github.com/python/cpython/issues/101525]: Skip test_gdb if the binary is relocated by BOLT. Patch by Donghee Na.

Security

gh-123678 [https://github.com/python/cpython/issues/123678]: Upgrade libexpat to 2.6.3

gh-121285 [https://github.com/python/cpython/issues/121285]: Remove backtracking from tarfile header parsing for hdrcharset, PAX, and GNU sparse headers.

Library

gh-123657 [https://github.com/python/cpython/issues/123657]: Fix crash and memory leak in decimal.getcontext(). It crashed when using a thread-local context by --with-decimal-contextvar=no.

gh-123448 [https://github.com/python/cpython/issues/123448]: Fixed memory leak of typing.NoDefault by moving it to the static types array.

gh-123409 [https://github.com/python/cpython/issues/123409]: Fix ipaddress.IPv6Address.reverse_pointer output according to RFC 3596, §2.5 [https://datatracker.ietf.org/doc/html/rfc3596.html#section-2.5]. Patch by Bénédikt Tran.

gh-123270 [https://github.com/python/cpython/issues/123270]: Applied a more surgical fix for malformed payloads in zipfile.Path causing infinite loops (gh-122905 [https://github.com/python/cpython/issues/122905]) without breaking contents using legitimate characters.

gh-123228 [https://github.com/python/cpython/issues/123228]: Fix return type for _pyrepl.readline._ReadlineWrapper.get_line_buffer() to be str(). Patch by Sergey B Kirpichev.

gh-123240 [https://github.com/python/cpython/issues/123240]: Raise audit events for the input() in the new REPL.

gh-123243 [https://github.com/python/cpython/issues/123243]: Fix memory leak in _decimal.

gh-122546 [https://github.com/python/cpython/issues/122546]: Consistently use same file name for different exceptions in the new repl. Patch by Sergey B Kirpichev.

gh-123213 [https://github.com/python/cpython/issues/123213]: xml.etree.ElementTree.Element.extend() and Element assignment no longer hide the internal exception if an erronous generator is passed. Patch by Bar Harel.

gh-85110 [https://github.com/python/cpython/issues/85110]: Preserve relative path in URL without netloc in urllib.parse.urlunsplit() and urllib.parse.urlunparse().

gh-123067 [https://github.com/python/cpython/issues/123067]: Fix quadratic complexity in parsing "-quoted cookie values with backslashes by http.cookies.

gh-122981 [https://github.com/python/cpython/issues/122981]: Fix inspect.getsource() for generated classes with Python base classes (e.g. enums).

gh-122903 [https://github.com/python/cpython/issues/122903]: zipfile.Path.glob now correctly matches directories instead of silently omitting them.

gh-122905 [https://github.com/python/cpython/issues/122905]: zipfile.Path objects now sanitize names from the zipfile.

gh-122695 [https://github.com/python/cpython/issues/122695]: Fixed double-free when using gc.get_referents() with a freed asyncio.Future iterator.

gh-116263 [https://github.com/python/cpython/issues/116263]: logging.handlers.RotatingFileHandler no longer rolls over empty log files.

gh-105376 [https://github.com/python/cpython/issues/105376]: Restore the deprecated logging warn() method. It was removed in Python 3.13 alpha 1. Keep the deprecated warn() method in Python 3.13. Patch by Victor Stinner.

gh-122744 [https://github.com/python/cpython/issues/122744]: Bump the version of pip bundled in ensurepip to version 24.2.

gh-118814 [https://github.com/python/cpython/issues/118814]: Fix the typing.TypeVar constructor when name is passed by keyword.

gh-122478 [https://github.com/python/cpython/issues/122478]: Remove internal frames from tracebacks shown in code.InteractiveInterpreter with non-default sys.excepthook(). Save correct tracebacks in sys.last_traceback and update __traceback__ attribute of sys.last_value and sys.last_exc.

gh-116622 [https://github.com/python/cpython/issues/116622]: On Android, the FICLONE and FICLONERANGE constants are no longer exposed by fcntl, as these ioctls are blocked by SELinux.

gh-82378 [https://github.com/python/cpython/issues/82378]: Make sure that the new REPL interprets sys.tracebacklimit in the same way that the classic REPL did.

gh-122334 [https://github.com/python/cpython/issues/122334]: Fix crash when importing ssl after the main interpreter restarts.

gh-87320 [https://github.com/python/cpython/issues/87320]: In code.InteractiveInterpreter, handle exceptions caused by calling a non-default sys.excepthook(). Before, the exception bubbled up to the caller, ending the REPL.

gh-121650 [https://github.com/python/cpython/issues/121650]: email headers with embedded newlines are now quoted on output. The generator will now refuse to serialize (write) headers that are unsafely folded or delimited; see verify_generated_headers. (Contributed by Bas Bloemsaat and Petr Viktorin in gh-121650 [https://github.com/python/cpython/issues/121650].)

gh-121723 [https://github.com/python/cpython/issues/121723]: Make logging.config.dictConfig() accept any object implementing the Queue public API. See the queue configuration section for details. Patch by Bénédikt Tran.

gh-122081 [https://github.com/python/cpython/issues/122081]: Fix a crash in the decimal.IEEEContext() optional function available via the EXTRA_FUNCTIONALITY configuration flag.

gh-121804 [https://github.com/python/cpython/issues/121804]: Correctly show error locations, when SyntaxError raised in new repl. Patch by Sergey B Kirpichev.

gh-121151 [https://github.com/python/cpython/issues/121151]: Fix wrapping of long usage text of arguments inside a mutually exclusive group in argparse.

gh-108172 [https://github.com/python/cpython/issues/108172]: webbrowser honors OS preferred browser on Linux when its desktop entry name contains the text of a known browser name.

gh-109109 [https://github.com/python/cpython/issues/109109]: You can now get the raw TLS certificate chains from TLS connections via ssl.SSLSocket.get_verified_chain() and ssl.SSLSocket.get_unverified_chain() methods.

Contributed by Mateusz Nowak.

IDLE

gh-120083 [https://github.com/python/cpython/issues/120083]: Add explicit black IDLE Hovertip foreground color needed for recent macOS. Fixes Sonoma showing unreadable white on pale yellow. Patch by John Riggles.

Core and Builtins

gh-120221 [https://github.com/python/cpython/issues/120221]: asyncio REPL is now again properly recognizing KeyboardInterrupts. Display of exceptions raised in secondary threads is fixed.

gh-119310 [https://github.com/python/cpython/issues/119310]: Allow the new interactive shell to read history files written with the editline library that use unicode-escaped entries. Patch by aorcajo and Łukasz Langa.

gh-123572 [https://github.com/python/cpython/issues/123572]: Fix key mappings for various F-keys in Windows for the new REPL. Patch by devdanzin

gh-119034 [https://github.com/python/cpython/issues/119034]: Change <page up> and <page down> keys of the Python REPL to history search forward/backward. Patch by Victor Stinner.

gh-123545 [https://github.com/python/cpython/issues/123545]: Fix a double decref in rare cases on experimental JIT builds.

gh-123484 [https://github.com/python/cpython/issues/123484]: Fix _Py_DebugOffsets for long objects to be relative to the start of the object rather than the start of a subobject.

gh-123344 [https://github.com/python/cpython/issues/123344]: Add AST optimizations for type parameter defaults.

gh-123321 [https://github.com/python/cpython/issues/123321]: Prevent Parser/myreadline race condition from segfaulting on multi-threaded use. Patch by Bar Harel and Amit Wienner.

gh-123177 [https://github.com/python/cpython/issues/123177]: Fix a bug causing stray prompts to appear in the middle of wrapped lines in the new REPL.

gh-122982 [https://github.com/python/cpython/issues/122982]: Extend the deprecation period for bool inversion (~) by two years.

gh-123275 [https://github.com/python/cpython/issues/123275]: Support -X gil=1 and PYTHON_GIL=1 on non-free-threaded builds.

gh-123177 [https://github.com/python/cpython/issues/123177]: Deactivate line wrap in the Apple Terminal via a ANSI escape code. Patch by Pablo Galindo

gh-123229 [https://github.com/python/cpython/issues/123229]: Fix valgrind warning by initializing the f-string buffers to 0 in the tokenizer. Patch by Pablo Galindo

gh-122298 [https://github.com/python/cpython/issues/122298]: Restore printout of GC stats when gc.set_debug(gc.DEBUG_STATS) is called. This featue was accidentally removed when implementing incremental GC.

gh-121804 [https://github.com/python/cpython/issues/121804]: Correctly show error locations when a SyntaxError is raised in the basic REPL. Patch by Sergey B Kirpichev.

gh-123142 [https://github.com/python/cpython/issues/123142]: Fix too-wide source location in exception tracebacks coming from broken iterables in comprehensions.

gh-123048 [https://github.com/python/cpython/issues/123048]: Fix a bug where pattern matching code could emit a JUMP_FORWARD with no source location.

gh-123123 [https://github.com/python/cpython/issues/123123]: Fix displaying SyntaxError exceptions covering multiple lines. Patch by Pablo Galindo

gh-123083 [https://github.com/python/cpython/issues/123083]: Fix a potential use-after-free in STORE_ATTR_WITH_HINT.

gh-123022 [https://github.com/python/cpython/issues/123022]: Fix crash in free-threaded build when calling Py_Initialize() from a non-main thread.

gh-122888 [https://github.com/python/cpython/issues/122888]: Fix crash on certain calls to str() with positional arguments of the wrong type. Patch by Jelle Zijlstra.

gh-116622 [https://github.com/python/cpython/issues/116622]: Fix Android stdout and stderr messages being truncated or lost.

gh-122527 [https://github.com/python/cpython/issues/122527]: Fix a crash that occurred when a PyStructSequence was deallocated after its type’s dictionary was cleared by the GC. The type’s tp_basicsize now accounts for non-sequence fields that aren’t included in the Py_SIZE of the sequence.

gh-122445 [https://github.com/python/cpython/issues/122445]: Add only fields which are modified via self.* to __static_attributes__.

gh-98442 [https://github.com/python/cpython/issues/98442]: Fix too wide source locations of the cleanup instructions of a with statement.

gh-93691 [https://github.com/python/cpython/issues/93691]: Fix source locations of instructions generated for with statements.

gh-120097 [https://github.com/python/cpython/issues/120097]: FrameLocalsProxy now subclasses collections.abc.Mapping and can be matched as a mapping in match statements

C API

gh-122728 [https://github.com/python/cpython/issues/122728]: Fix PyEval_GetLocals() to avoid SystemError (“bad argument to internal function”). Patch by Victor Stinner.

Build

gh-123418 [https://github.com/python/cpython/issues/123418]: Updated Android build to use OpenSSL 3.0.15.

gh-123297 [https://github.com/python/cpython/issues/123297]: Propagate the value of LDFLAGS to LDCXXSHARED in sysconfig. Patch by Pablo Galindo

gh-116622 [https://github.com/python/cpython/issues/116622]: Rename build variable MODULE_LDFLAGS back to LIBPYTHON, as it’s used by package build systems (e.g. Meson).

gh-118943 [https://github.com/python/cpython/issues/118943]: Fix an issue where the experimental JIT could be built several times by the make regen-all target, leading to possible race conditions on heavily parallelized builds.

gh-118943 [https://github.com/python/cpython/issues/118943]: Fix a possible race condition affecting parallel builds configured with --enable-experimental-jit, in which FileNotFoundError could be caused by another process already moving jit_stencils.h.new to jit_stencils.h.

Python 3.13.0 release candidate 1

Release date: 2024-07-31

Tests

gh-59022 [https://github.com/python/cpython/issues/59022]: Add tests for pkgutil.extend_path(). Patch by Andreas Stocker.

gh-99242 [https://github.com/python/cpython/issues/99242]: os.getloadavg() may throw OSError when running regression tests under certain conditions (e.g. chroot). This error is now caught and ignored, since reporting load average is optional.

Security

gh-122133 [https://github.com/python/cpython/issues/122133]: Authenticate the socket connection for the socket.socketpair() fallback on platforms where AF_UNIX is not available like Windows.

Patch by Gregory P. Smith <greg@krypto.org> and Seth Larson <seth@python.org>. Reported by Ellie <el@horse64.org>

gh-121957 [https://github.com/python/cpython/issues/121957]: Fixed missing audit events around interactive use of Python, now also properly firing for python -i, as well as for python -m asyncio. The events in question are cpython.run_stdin and cpython.run_startup.

Library

gh-122400 [https://github.com/python/cpython/issues/122400]: Handle ValueErrors raised by os.stat() in filecmp.dircmp and filecmp.cmpfiles(). Patch by Bénédikt Tran.

gh-122311 [https://github.com/python/cpython/issues/122311]: Fix some error messages in pickle.

gh-122332 [https://github.com/python/cpython/issues/122332]: Fixed segfault with asyncio.Task.get_coro() when using an eager task factory.

gh-105733 [https://github.com/python/cpython/issues/105733]: ctypes.ARRAY() is now soft deprecated: it no longer emits deprecation warnings and is not scheduled for removal.

gh-122087 [https://github.com/python/cpython/issues/122087]: Restore inspect.ismethoddescriptor() and inspect.isroutine() returning False for functools.partial objects.

gh-122170 [https://github.com/python/cpython/issues/122170]: Handle ValueErrors raised by os.stat() in linecache. Patch by Bénédikt Tran.

gh-82951 [https://github.com/python/cpython/issues/82951]: Serializing objects with complex __qualname__ (such as unbound methods and nested classes) by name no longer involves serializing parent objects by value in pickle protocols < 4.

gh-113785 [https://github.com/python/cpython/issues/113785]: csv now correctly parses numeric fields (when used with csv.QUOTE_NONNUMERIC or csv.QUOTE_STRINGS) which start with an escape character.

gh-122088 [https://github.com/python/cpython/issues/122088]: @warnings.deprecated now copies the coroutine status of functions and methods so that inspect.iscoroutinefunction() returns the correct result.

gh-120930 [https://github.com/python/cpython/issues/120930]: Fixed a bug introduced by gh-92081 [https://github.com/python/cpython/issues/92081] that added an incorrect extra blank to encoded words occurring in wrapped headers.

gh-121474 [https://github.com/python/cpython/issues/121474]: Fix missing sanity check for parties arg in threading.Barrier constructor. Patch by Clinton Christian (pygeek).

gh-120289 [https://github.com/python/cpython/issues/120289]: Fixed the use-after-free issue in cProfile by disallowing disable() and clear() in external timers.

IDLE

gh-122482 [https://github.com/python/cpython/issues/122482]: Change About IDLE to direct users to discuss.python.org instead of the now unused idle-dev email and mailing list.

Core and Builtins

gh-116090 [https://github.com/python/cpython/issues/116090]: Fix an issue in JIT builds that prevented some for loops from correctly firing RAISE monitoring events.

gh-122208 [https://github.com/python/cpython/issues/122208]: Dictionary watchers now only deliver the PyDict_EVENT_ADDED event when the insertion is in a known good state to succeed.

gh-122300 [https://github.com/python/cpython/issues/122300]: Preserve AST nodes for f-string with single-element format specifiers. Patch by Pablo Galindo

gh-120906 [https://github.com/python/cpython/issues/120906]: frame.f_locals now supports arbitrary hashable objects as keys.

gh-122029 [https://github.com/python/cpython/issues/122029]: Emit c_call events in sys.setprofile() when a PyMethodObject pointing to a PyCFunction is called.

gh-122026 [https://github.com/python/cpython/issues/122026]: Fix a bug that caused the tokenizer to not correctly identify mismatched parentheses inside f-strings in some situations. Patch by Pablo Galindo

gh-118934 [https://github.com/python/cpython/issues/118934]: Make PyEval_GetLocals return borrowed reference

C API

gh-116622 [https://github.com/python/cpython/issues/116622]: Make PyObject_Print work around a bug in Android and OpenBSD which prevented it from throwing an exception when trying to write to a read-only stream.

gh-121489 [https://github.com/python/cpython/issues/121489]: Export private _PyBytes_Join() again.

Build

gh-120522 [https://github.com/python/cpython/issues/120522]: Added a --with-app-store-compliance option to patch out known issues with macOS/iOS App Store review processes.

Python 3.13.0 beta 4

Release date: 2024-07-18

Tests

gh-121084 [https://github.com/python/cpython/issues/121084]: Fix test_typing random leaks. Clear typing ABC caches when running tests for refleaks (-R option): call _abc_caches_clear() on typing abstract classes and their subclasses. Patch by Victor Stinner.

gh-121160 [https://github.com/python/cpython/issues/121160]: Add a test for readline.set_history_length(). Note that this test may fail on readline libraries.

gh-121200 [https://github.com/python/cpython/issues/121200]: Fix test_expanduser_pwd2() of test_posixpath. Call getpwnam() to get pw_dir, since it can be different than getpwall() pw_dir. Patch by Victor Stinner.

gh-121188 [https://github.com/python/cpython/issues/121188]: When creating the JUnit XML file, regrtest now escapes characters which are invalid in XML, such as the chr(27) control character used in ANSI escape sequences. Patch by Victor Stinner.

Library

gh-57141 [https://github.com/python/cpython/issues/57141]: The shallow argument to filecmp.dircmp (new in Python 3.13) is now keyword-only.

gh-121245 [https://github.com/python/cpython/issues/121245]: Simplify handling of the history file in site.register_readline() helper. The CAN_USE_PYREPL variable now will be initialized, when imported. Patch by Sergey B Kirpichev.

gh-121332 [https://github.com/python/cpython/issues/121332]: Fix constructor of ast nodes with custom _attributes. Previously, passing custom attributes would raise a DeprecationWarning. Passing arguments to the constructor that are not in _fields or _attributes remains deprecated. Patch by Jelle Zijlstra.

gh-121279 [https://github.com/python/cpython/issues/121279]: Avoid NameError for the warnings module when accessing the depracated atributes of the importlib.abc module.

gh-121245 [https://github.com/python/cpython/issues/121245]: Fix a bug in the handling of the command history of the new REPL that caused the history file to be wiped at REPL exit.

gh-87744 [https://github.com/python/cpython/issues/87744]: Fix waitpid race while calling send_signal() in asyncio. Patch by Kumar Aditya.

gh-121018 [https://github.com/python/cpython/issues/121018]: Fixed other issues where argparse.ArgumentParser did not honor exit_on_error=False.

gh-120678 [https://github.com/python/cpython/issues/120678]: Fix regression in the new REPL that meant that globals from files passed using the -i argument would not be included in the REPL’s global namespace. Patch by Alex Waygood.

gh-120782 [https://github.com/python/cpython/issues/120782]: Fix wrong references of the datetime types after reloading the module.

gh-120713 [https://github.com/python/cpython/issues/120713]: datetime.datetime.strftime() now 0-pads years with less than four digits for the format specifiers %Y and %G on Linux. Patch by Ben Hsing

gh-117983 [https://github.com/python/cpython/issues/117983]: Defer the threading import in importlib.util until lazy loading is used.

gh-119189 [https://github.com/python/cpython/issues/119189]: When using the ** operator or pow() with Fraction as the base and an exponent that is not rational, a float, or a complex, the fraction is no longer converted to a float.

gh-118714 [https://github.com/python/cpython/issues/118714]: Allow restart in post-mortem debugging of pdb. Removed restart message when the user quits pdb from post-mortem mode.

gh-105623 [https://github.com/python/cpython/issues/105623]: Fix performance degradation in logging.handlers.RotatingFileHandler. Patch by Craig Robson.

IDLE

gh-78889 [https://github.com/python/cpython/issues/78889]: Stop Shell freezes by blocking user access to non-method sys.stdout.shell attributes, which are all private.

Documentation

gh-121749 [https://github.com/python/cpython/issues/121749]: Fix documentation for PyModule_AddObjectRef().

gh-120012 [https://github.com/python/cpython/issues/120012]: Clarify the behaviours of multiprocessing.Queue.empty() and multiprocessing.SimpleQueue.empty() on closed queues. Patch by Bénédikt Tran.

Core and Builtins

gh-121860 [https://github.com/python/cpython/issues/121860]: Fix crash when rematerializing a managed dictionary after it was deleted.

gh-121814 [https://github.com/python/cpython/issues/121814]: Fixed the SegFault when PyEval_SetTrace() is used with no Python frame on stack.

gh-121295 [https://github.com/python/cpython/issues/121295]: Fix PyREPL console getting into a blocked state after interrupting a long paste

gh-121794 [https://github.com/python/cpython/issues/121794]: Fix bug in free-threaded Python where a resurrected object could lead to a negative ref count assertion failure.

gh-121657 [https://github.com/python/cpython/issues/121657]: Improve the SyntaxError message if the user tries to use yield from outside a function.

gh-121609 [https://github.com/python/cpython/issues/121609]: Fix pasting of characters containing unicode character joiners in the new REPL. Patch by Marta Gomez Macias

gh-117482 [https://github.com/python/cpython/issues/117482]: Unexpected slot wrappers are no longer created for builtin static types in subinterpreters.

gh-121499 [https://github.com/python/cpython/issues/121499]: Fix a bug affecting how multi-line history was being rendered in the new REPL after interacting with the new screen cache. Patch by Pablo Galindo

gh-121497 [https://github.com/python/cpython/issues/121497]: Fix a bug that was preventing the REPL to correctly respect the history when an input hook was set. Patch by Pablo Galindo

gh-121012 [https://github.com/python/cpython/issues/121012]: Tier 2 execution now ensures that list iterators remain exhausted, once they become exhausted.

gh-121439 [https://github.com/python/cpython/issues/121439]: Allow tuples of length 20 in the freelist to be reused.

gh-121368 [https://github.com/python/cpython/issues/121368]: Fix race condition in _PyType_Lookup in the free-threaded build due to a missing memory fence. This could lead to _PyType_Lookup returning incorrect results on arm64.

gh-121130 [https://github.com/python/cpython/issues/121130]: Fix f-strings with debug expressions in format specifiers. Patch by Pablo Galindo

gh-121115 [https://github.com/python/cpython/issues/121115]: PyLong_AsNativeBytes() no longer uses __index__() methods by default. The Py_ASNATIVEBYTES_ALLOW_INDEX flag has been added to allow it.

C API

gh-89364 [https://github.com/python/cpython/issues/89364]: Export the PySignal_SetWakeupFd() function. Previously, the function was documented but it couldn’t be used in 3rd party code. Patch by Victor Stinner.

gh-113993 [https://github.com/python/cpython/issues/113993]: PyUnicode_InternInPlace() no longer prevents its argument from being garbage collected.

Several functions that take char * are now documented as possibly preventing string objects from being garbage collected; refer to their documentation for details: PyUnicode_InternFromString(), PyDict_SetItemString(), PyObject_SetAttrString(), PyObject_DelAttrString(), PyUnicode_InternFromString(), and PyModule_Add* convenience functions.

gh-113601 [https://github.com/python/cpython/issues/113601]: Removed debug build assertions related to interning strings, which were falsely triggered by stable ABI extensions.

gh-112136 [https://github.com/python/cpython/issues/112136]: Restore the private _PyArg_Parser structure and the private _PyArg_ParseTupleAndKeywordsFast() function, previously removed in Python 3.13 alpha 1. Patch by Victor Stinner.

Build

gh-120371 [https://github.com/python/cpython/issues/120371]: Support WASI SDK 22 by explicitly skipping functions that are just stubs in wasi-libc.

gh-121731 [https://github.com/python/cpython/issues/121731]: Fix mimalloc compile error on GNU/Hurd

gh-121487 [https://github.com/python/cpython/issues/121487]: Fix deprecation warning for ATOMIC_VAR_INIT in mimalloc.

gh-121467 [https://github.com/python/cpython/issues/121467]: Fix a Makefile bug that prevented mimalloc header files from being installed.

gh-121103 [https://github.com/python/cpython/issues/121103]: On POSIX systems, excluding macOS framework installs, the lib directory for the free-threaded build now includes a “t” suffix to avoid conflicts with a co-located default build installation.

gh-120831 [https://github.com/python/cpython/issues/120831]: The default minimum iOS version was increased to 13.0.

gh-113565 [https://github.com/python/cpython/issues/113565]: Improve curses and curses.panel dependency checks in configure.

Python 3.13.0 beta 3

Release date: 2024-06-27

Core and Builtins

gh-120838 [https://github.com/python/cpython/issues/120838]: Py_Finalize() and Py_FinalizeEx() now always run with the main interpreter active.

gh-113433 [https://github.com/python/cpython/issues/113433]: Subinterpreters now get cleaned up automatically during runtime finalization.

gh-119462 [https://github.com/python/cpython/issues/119462]: Make sure that invariants of type versioning are maintained: * Superclasses always have their version number assigned before subclasses * The version tag is always zero if the tag is not valid. * The version tag is always non-zero if the tag is valid.

gh-120437 [https://github.com/python/cpython/issues/120437]: Fix _CHECK_STACK_SPACE optimization problems introduced in gh-118322 [https://github.com/python/cpython/issues/118322].

gh-120722 [https://github.com/python/cpython/issues/120722]: Correctly set the bytecode position on return instructions within lambdas. Patch by Jelle Zijlstra.

gh-120367 [https://github.com/python/cpython/issues/120367]: Fix bug where compiler creates a redundant jump during pseudo-op replacement. Can only happen with a synthetic AST that has a try on the same line as the instruction following the exception handler.

gh-113993 [https://github.com/python/cpython/issues/113993]: Strings interned with sys.intern() are again garbage-collected when no longer used, as per the documentation. Strings interned with the C function PyUnicode_InternInPlace() are still immortal. Internals of the string interning mechanism have been changed. This may affect performance and identities of str objects.

gh-120384 [https://github.com/python/cpython/issues/120384]: Fix an array out of bounds crash in list_ass_subscript, which could be invoked via some specificly tailored input: including concurrent modification of a list object, where one thread assigns a slice and another clears it.

gh-120367 [https://github.com/python/cpython/issues/120367]: Fix crash in compiler on code with redundant NOPs and JUMPs which show up after exception handlers are moved to the end of the code.

gh-120380 [https://github.com/python/cpython/issues/120380]: Fix Python implementation of pickle.Pickler for bytes and bytearray objects when using protocol version 5. Patch by Bénédikt Tran.

gh-120400 [https://github.com/python/cpython/issues/120400]: Support Linux perf profiler to see Python calls on RISC-V architecture.

gh-120221 [https://github.com/python/cpython/issues/120221]: Deliver real signals on Ctrl-C and Ctrl-Z in the new REPL. Patch by Pablo Galindo

gh-120346 [https://github.com/python/cpython/issues/120346]: Respect PYTHON_BASIC_REPL when running in interative inspect mode (python -i). Patch by Pablo Galindo

gh-93691 [https://github.com/python/cpython/issues/93691]: Fix source locations of instructions generated for the iterator of a for statement.

gh-120198 [https://github.com/python/cpython/issues/120198]: Fix a crash when multiple threads read and write to the same __class__ of an object concurrently.

gh-120298 [https://github.com/python/cpython/issues/120298]: Fix use-after free in list_richcompare_impl which can be invoked via some specificly tailored evil input.

gh-119666 [https://github.com/python/cpython/issues/119666]: Fix a compiler crash in the case where two comprehensions in class scope both reference __class__.

gh-120225 [https://github.com/python/cpython/issues/120225]: Fix crash in compiler on empty block at end of exception handler.

gh-119933 [https://github.com/python/cpython/issues/119933]: Improve SyntaxError messages for invalid expressions in a type parameters bound, a type parameter constraint tuple or a default type parameter. Patch by Bénédikt Tran.

bpo-24766 [https://bugs.python.org/issue?@action=redirect&bpo=24766]: Fix handling of doc argument to subclasses of property.

Library

gh-121027 [https://github.com/python/cpython/issues/121027]: Add a future warning in functools.partial.__get__(). In future Python versions functools.partial will be a method descriptor.

gh-121025 [https://github.com/python/cpython/issues/121025]: Improve the __repr__() of functools.partialmethod. Patch by Bénédikt Tran.

gh-121018 [https://github.com/python/cpython/issues/121018]: Fixed an issue where argparse.ArgumentParser.parses_args() did not honor exit_on_error=False when given unrecognized arguments. Patch by Ben Hsing.

gh-119614 [https://github.com/python/cpython/issues/119614]: Fix truncation of strings with embedded null characters in some internal operations in tkinter.

gh-120910 [https://github.com/python/cpython/issues/120910]: When reading installed files from an egg, use relative_to(walk_up=True) to honor files installed outside of the installation root.

gh-120888 [https://github.com/python/cpython/issues/120888]: Upgrade pip wheel bundled with ensurepip (pip 24.1.1)

gh-101830 [https://github.com/python/cpython/issues/101830]: Accessing the tkinter object’s string representation no longer converts the underlying Tcl object to a string on Windows.

gh-120811 [https://github.com/python/cpython/issues/120811]: Fix possible memory leak in contextvars.Context.run().

gh-120769 [https://github.com/python/cpython/issues/120769]: Make empty line in pdb repeats the last command even when the command is from cmdqueue.

gh-120732 [https://github.com/python/cpython/issues/120732]: Fix name passing to unittest.mock.Mock object when using unittest.mock.create_autospec().

gh-120683 [https://github.com/python/cpython/issues/120683]: Fix an error in logging.LogRecord, when the integer part of the timestamp is rounded up, while the millisecond calculation truncates, causing the log timestamp to be wrong by up to 999 ms (affected roughly 1 in 8 million timestamps).

gh-120633 [https://github.com/python/cpython/issues/120633]: Move scrollbar and remove tear-off menus in turtledemo.

gh-120541 [https://github.com/python/cpython/issues/120541]: Improve the prompt in the “less” pager when help() is called with non-string argument.

gh-120495 [https://github.com/python/cpython/issues/120495]: Fix incorrect exception handling in Tab Nanny. Patch by Wulian233.

gh-120381 [https://github.com/python/cpython/issues/120381]: Correct inspect.ismethoddescriptor() to check also for the lack of __delete__(). Patch by Jan Kaliszewski.

gh-90425 [https://github.com/python/cpython/issues/90425]: The OS byte in gzip headers is now always set to 255 when using gzip.compress().

gh-120343 [https://github.com/python/cpython/issues/120343]: Fix column offset reporting for tokens that come after multiline f-strings in the tokenize module.

gh-119600 [https://github.com/python/cpython/issues/119600]: Fix unittest.mock.patch() to not read attributes of the target when new_callable is set. Patch by Robert Collins.

gh-114053 [https://github.com/python/cpython/issues/114053]: Fix edge-case bug where typing.get_type_hints() would produce incorrect results if type parameters in a class scope were overridden by assignments in a class scope and from __future__ import annotations semantics were enabled. Patch by Alex Waygood.

gh-114053 [https://github.com/python/cpython/issues/114053]: Fix erroneous NameError when calling inspect.get_annotations() with eval_str=True` on a class that made use of PEP 695 [https://peps.python.org/pep-0695/] type parameters in a module that had from __future__ import annotations at the top of the file. Patch by Alex Waygood.

gh-120268 [https://github.com/python/cpython/issues/120268]: Prohibit passing None to pure-Python datetime.date.fromtimestamp() to achieve consistency with C-extension implementation.

gh-120244 [https://github.com/python/cpython/issues/120244]: Fix memory leak in re.sub() when the replacement string contains backreferences.

gh-120211 [https://github.com/python/cpython/issues/120211]: Fix tkinter.ttk with Tcl/Tk 9.0.

gh-71587 [https://github.com/python/cpython/issues/71587]: Fix crash in C version of datetime.datetime.strptime() when called again on the restarted interpreter.

gh-120161 [https://github.com/python/cpython/issues/120161]: datetime no longer crashes in certain complex reference cycle situations.

gh-119698 [https://github.com/python/cpython/issues/119698]: Fix symtable.Class.get_methods() and document its behaviour. Patch by Bénédikt Tran.

gh-120121 [https://github.com/python/cpython/issues/120121]: Add concurrent.futures.InvalidStateError to module’s __all__.

gh-119933 [https://github.com/python/cpython/issues/119933]: Add the symtable.SymbolTableType enumeration to represent the possible outputs of the symtable.SymbolTable.get_type method. Patch by Bénédikt Tran.

gh-120108 [https://github.com/python/cpython/issues/120108]: Fix calling copy.deepcopy() on ast trees that have been modified to have references to parent nodes. Patch by Jelle Zijlstra.

gh-112672 [https://github.com/python/cpython/issues/112672]: Support building tkinter with Tcl 9.0.

gh-65454 [https://github.com/python/cpython/issues/65454]: unittest.mock.Mock.attach_mock() no longer triggers a call to a PropertyMock being attached.

gh-81936 [https://github.com/python/cpython/issues/81936]: help() and showtopic() methods now respect a configured output argument to pydoc.Helper and not use the pager in such cases. Patch by Enrico Tröger.

gh-119577 [https://github.com/python/cpython/issues/119577]: The DeprecationWarning emitted when testing the truth value of an xml.etree.ElementTree.Element now describes unconditionally returning True in a future version rather than raising an exception in Python 3.14.

gh-118908 [https://github.com/python/cpython/issues/118908]: Limit exposed globals from internal imports and definitions on new REPL startup. Patch by Eugene Triguba and Pablo Galindo.

gh-119506 [https://github.com/python/cpython/issues/119506]: Fix io.TextIOWrapper.write() method breaks internal buffer when the method is called again during flushing internal buffer.

Build

gh-120671 [https://github.com/python/cpython/issues/120671]: Fix failing configure tests due to a missing space when appending to CFLAGS.

gh-120602 [https://github.com/python/cpython/issues/120602]: Correctly handle LLVM installs with LLVM_VERSION_SUFFIX when building with --enable-experimental-jit.

gh-120326 [https://github.com/python/cpython/issues/120326]: On Windows, fix build error when --disable-gil and --experimental-jit options are combined.

gh-120291 [https://github.com/python/cpython/issues/120291]: Make the python-config shell script compatible with non-bash shells.

C API

gh-120642 [https://github.com/python/cpython/issues/120642]: Remove the private _Py_CODEUNIT type from the public C API. The internal pycore_code.h header should now be used to get this internal type. Patch by Victor Stinner.

gh-120858 [https://github.com/python/cpython/issues/120858]: PyDict_Next() no longer locks the dictionary in the free-threaded build. The locking needs to be done by the caller around the entire iteration loop.

gh-120642 [https://github.com/python/cpython/issues/120642]: Remove the following unstable functions:

PyUnstable_Replace_Executor()

PyUnstable_SetOptimizer()

PyUnstable_GetOptimizer()

PyUnstable_GetExecutor()

PyUnstable_Optimizer_NewCounter()

PyUnstable_Optimizer_NewUOpOptimizer()

Patch by Victor Stinner.

gh-119344 [https://github.com/python/cpython/issues/119344]: The critical section API is now public as part of the non-limited C API.

gh-118789 [https://github.com/python/cpython/issues/118789]: Add PyUnstable_Object_ClearWeakRefsNoCallbacks(), which clears weakrefs without calling their callbacks.

gh-117511 [https://github.com/python/cpython/issues/117511]: Make the PyMutex public in the non-limited C API.

Python 3.13.0 beta 2

Release date: 2024-06-05

Security

gh-118773 [https://github.com/python/cpython/issues/118773]: Fixes creation of ACLs in os.mkdir() on Windows to work correctly on non-English machines.

gh-118486 [https://github.com/python/cpython/issues/118486]: os.mkdir() on Windows now accepts mode of 0o700 to restrict the new directory to the current user. This fixes CVE 2024-4030 [https://www.cve.org/CVERecord?id=CVE-2024-4030] affecting tempfile.mkdtemp() in scenarios where the base temporary directory is more permissive than the default.

Core and Builtins

gh-119724 [https://github.com/python/cpython/issues/119724]: Reverted improvements to error messages for elif/else statements not matching any valid statements, which made in hard to locate the syntax errors inside those elif/else blocks.

gh-119842 [https://github.com/python/cpython/issues/119842]: Honor PyOS_InputHook() in the new REPL. Patch by Pablo Galindo

gh-119821 [https://github.com/python/cpython/issues/119821]: Fix execution of annotation scopes within classes when globals is set to a non-dict. Patch by Jelle Zijlstra.

gh-119548 [https://github.com/python/cpython/issues/119548]: Add a clear command to the REPL. Patch by Pablo Galindo

gh-111999 [https://github.com/python/cpython/issues/111999]: Fix the signature of str.format_map().

gh-119560 [https://github.com/python/cpython/issues/119560]: An invalid assert in beta 1 has been removed. The assert would fail if PyState_FindModule() was used in an extension module’s init function before the module def had been initialized.

gh-119369 [https://github.com/python/cpython/issues/119369]: Fix deadlock during thread deletion in free-threaded build, which could occur when the GIL was enabled at runtime.

gh-119525 [https://github.com/python/cpython/issues/119525]: Fix deadlock involving _PyType_Lookup() cache in the free-threaded build when the GIL is dynamically enabled at runtime.

gh-119311 [https://github.com/python/cpython/issues/119311]: Fix bug where names are unexpectedly mangled in the bases of generic classes.

gh-119395 [https://github.com/python/cpython/issues/119395]: Fix bug where names appearing after a generic class are mangled as if they are in the generic class.

gh-119213 [https://github.com/python/cpython/issues/119213]: Non-builtin modules built with argument clinic were crashing if used in a subinterpreter before the main interpreter. The objects that were causing the problem by leaking between interpreters carelessly have been fixed.

gh-119011 [https://github.com/python/cpython/issues/119011]: Fixes type.__type_params__ to return an empty tuple instead of a descriptor.

gh-118692 [https://github.com/python/cpython/issues/118692]: Avoid creating unnecessary StopIteration instances for monitoring.

gh-119049 [https://github.com/python/cpython/issues/119049]: Fix displaying the source line for warnings created by the C API if the warnings module had not yet been imported.

gh-118844 [https://github.com/python/cpython/issues/118844]: Fix build failures when configuring with both --disable-gil and --enable-experimental-jit.

gh-118921 [https://github.com/python/cpython/issues/118921]: Add copy() method for FrameLocalsProxy which returns a snapshot dict for local variables.

gh-117657 [https://github.com/python/cpython/issues/117657]: Fix data races on the field that stores a pointer to the interpreter’s main thread that occur in free-threaded builds.

gh-118561 [https://github.com/python/cpython/issues/118561]: Fix race condition in free-threaded build where list.extend() could expose uninitialised memory to concurrent readers.

gh-117195 [https://github.com/python/cpython/issues/117195]: Avoid assertion failure for debug builds when calling object.__sizeof__(1)

Library

gh-119819 [https://github.com/python/cpython/issues/119819]: Fix regression to allow logging configuration with multiprocessing queue types.

gh-117142 [https://github.com/python/cpython/issues/117142]: The ctypes module may now be imported in all subinterpreters, including those that have their own GIL.

gh-118835 [https://github.com/python/cpython/issues/118835]: Fix _pyrepl crash when using custom prompt with ANSI escape codes.

gh-117398 [https://github.com/python/cpython/issues/117398]: The _datetime module (C implementation for datetime) now supports being imported in multiple interpreters.

gh-89727 [https://github.com/python/cpython/issues/89727]: Fix issue with shutil.rmtree() where a RecursionError is raised on deep directory trees.

gh-89727 [https://github.com/python/cpython/issues/89727]: Partially fix issue with shutil.rmtree() where a RecursionError is raised on deep directory trees. A recursion error is no longer raised when rmtree.avoids_symlink_attacks is false.

gh-119118 [https://github.com/python/cpython/issues/119118]: Fix performance regression in the tokenize module by caching the line token attribute and calculating the column offset more efficiently.

gh-89727 [https://github.com/python/cpython/issues/89727]: Fix issue with os.fwalk() where a RecursionError was raised on deep directory trees by adjusting the implementation to be iterative instead of recursive.

gh-119588 [https://github.com/python/cpython/issues/119588]: zipfile.Path.is_symlink now assesses if the given path is a symlink.

gh-119555 [https://github.com/python/cpython/issues/119555]: Catch SyntaxError from compile() in the runsource() method of the InteractiveColoredConsole. Patch by Sergey B Kirpichev.

gh-113892 [https://github.com/python/cpython/issues/113892]: Now, the method sock_connect of asyncio.ProactorEventLoop raises a ValueError if given socket is not in non-blocking mode, as well as in other loop implementations.

gh-119443 [https://github.com/python/cpython/issues/119443]: The interactive REPL no longer runs with from __future__ import annotations enabled. Patch by Jelle Zijlstra.

gh-117398 [https://github.com/python/cpython/issues/117398]: Objects in the datetime C-API are now all statically allocated, which means better memory safety, especially when the module is reloaded. This should be transparent to users.

gh-118894 [https://github.com/python/cpython/issues/118894]: asyncio REPL now has the same capabilities as PyREPL.

gh-118911 [https://github.com/python/cpython/issues/118911]: In PyREPL, updated maybe-accept’s logic so that if the user hits Enter twice, they are able to terminate the block even if there’s trailing whitespace. Also, now when the user hits arrow up, the cursor is on the last functional line. This matches IPython’s behavior. Patch by Aya Elsayed.

gh-111201 [https://github.com/python/cpython/issues/111201]: Remove dependency to readline from the new Python REPL.

gh-119174 [https://github.com/python/cpython/issues/119174]: Fix high DPI causes turtledemo(turtle-graphics examples) windows blurry Patch by Wulian233 and Terry Jan Reedy

gh-119121 [https://github.com/python/cpython/issues/119121]: Fix a NameError happening in asyncio.staggered.staggered_race. This function is now tested.

gh-119113 [https://github.com/python/cpython/issues/119113]: Fix issue where pathlib.PurePath.with_suffix() didn’t raise TypeError when given None as a suffix.

gh-118643 [https://github.com/python/cpython/issues/118643]: Fix an AttributeError in the email module when re-fold a long address list. Also fix more cases of incorrect encoding of the address separator in the address list.

gh-58933 [https://github.com/python/cpython/issues/58933]: Make pdb return to caller frame correctly when f_trace of the caller frame is not set

gh-118895 [https://github.com/python/cpython/issues/118895]: Setting attributes on typing.NoDefault now raises AttributeError instead of TypeError.

gh-118868 [https://github.com/python/cpython/issues/118868]: Fixed issue where kwargs were no longer passed to the logging handler QueueHandler

gh-118851 [https://github.com/python/cpython/issues/118851]: ctx arguments to the constructors of ast node classes now default to ast.Load(). Patch by Jelle Zijlstra.

gh-118760 [https://github.com/python/cpython/issues/118760]: Restore the default value of tkiter.wantobjects to 1.

gh-118760 [https://github.com/python/cpython/issues/118760]: Fix errors in calling Tkinter bindings on Windows.

gh-118507 [https://github.com/python/cpython/issues/118507]: Fix os.path.isfile() on Windows for pipes. Speedup os.path.isjunction() and os.path.lexists() on Windows with a native implementation.

gh-118772 [https://github.com/python/cpython/issues/118772]: Allow typing.TypeVar instances without a default to follow instances without a default in some cases. Patch by Jelle Zijlstra.

gh-110863 [https://github.com/python/cpython/issues/110863]: os.path.realpath() now suppresses any OSError from os.readlink() when strict mode is disabled (the default).

gh-118263 [https://github.com/python/cpython/issues/118263]: Speed up os.path.splitroot() & os.path.normpath() with a direct C call.

gh-118033 [https://github.com/python/cpython/issues/118033]: Fix dataclasses.dataclass() not creating a __weakref__ slot when subclassing typing.Generic.

gh-106531 [https://github.com/python/cpython/issues/106531]: In importlib.resources, sync with importlib_resources 6.3.2 [https://importlib-resources.readthedocs.io/en/latest/history.html#v6-3-2], including: MultiplexedPath now expects Traversable paths, deprecating string arguments to MultiplexedPath; Enabled support for resources in namespace packages in zip files; Fixed NotADirectoryError when calling files on a subdirectory of a namespace package.

gh-113978 [https://github.com/python/cpython/issues/113978]: Ignore warnings on text completion inside REPL.

gh-103956 [https://github.com/python/cpython/issues/103956]: Fix lack of newline characters in trace module output when line tracing is enabled but source code line for current frame is not available.

gh-92081 [https://github.com/python/cpython/issues/92081]: Fix missing spaces in email headers when the spaces are mixed with encoded 8-bit characters.

gh-103194 [https://github.com/python/cpython/issues/103194]: Prepare Tkinter for C API changes in Tcl 8.7/9.0 to avoid _tkinter.Tcl_Obj being unexpectedly returned instead of bool, str, bytearray, or int.

gh-87106 [https://github.com/python/cpython/issues/87106]: Fixed handling in inspect.Signature.bind() of keyword arguments having the same name as positional-only arguments when a variadic keyword argument (e.g. **kwargs) is present.

bpo-45767 [https://bugs.python.org/issue?@action=redirect&bpo=45767]: Fix integer conversion in os.major(), os.minor(), and os.makedev(). Support device numbers larger than 2**63-1. Support non-existent device number (NODEV).

gh-67693 [https://github.com/python/cpython/issues/67693]: Fix urllib.parse.urlunparse() and urllib.parse.urlunsplit() for URIs with path starting with multiple slashes and no authority. Based on patch by Ashwin Ramaswami.

Tests

gh-119050 [https://github.com/python/cpython/issues/119050]: regrtest test runner: Add XML support to the refleak checker (-R option). Patch by Victor Stinner.

Build

gh-119729 [https://github.com/python/cpython/issues/119729]: On POSIX systems, the pkg-config (.pc) filenames now include the ABI flags, which may include debug (“d”) and free-threaded (“t”). For example: * python-3.14.pc (default, non-debug build) * python-3.14d.pc (default, debug build) * python-3.14t.pc (free-threaded build)

gh-115119 [https://github.com/python/cpython/issues/115119]: Fall back to the bundled libmpdec if a system version cannot be found.

gh-119132 [https://github.com/python/cpython/issues/119132]: Update sys.version to identify whether the build is default build or free-threading build. Patch By Donghee Na.

gh-118836 [https://github.com/python/cpython/issues/118836]: Fix an AssertionError when building with --enable-experimental-jit and the compiler emits a SHT_NOTE section.

gh-118943 [https://github.com/python/cpython/issues/118943]: Fix a possible race condition affecting parallel builds configured with --enable-experimental-jit, in which compilation errors could be caused by an incompletely-generated header file.

Windows

gh-119679 [https://github.com/python/cpython/issues/119679]: Ensures correct import libraries are included in Windows installs.

gh-119690 [https://github.com/python/cpython/issues/119690]: Adds Unicode support and fixes audit events for _winapi.CreateNamedPipe.

gh-111201 [https://github.com/python/cpython/issues/111201]: Add support for new pyrepl on Windows

gh-119070 [https://github.com/python/cpython/issues/119070]: Fixes py.exe handling of shebangs like /usr/bin/env python3.12, which were previously interpreted as python3.exe instead of python3.12.exe.

gh-117505 [https://github.com/python/cpython/issues/117505]: Fixes an issue with the Windows installer not running ensurepip in a fully isolated environment. This could cause unexpected interactions with the user site-packages.

gh-118209 [https://github.com/python/cpython/issues/118209]: Avoid crashing in mmap on Windows when the mapped memory is inaccessible due to file system errors or access violations.

gh-116145 [https://github.com/python/cpython/issues/116145]: Updated bundled Tcl/Tk to 8.6.14.

C API

gh-119585 [https://github.com/python/cpython/issues/119585]: Fix crash when a thread state that was created by PyGILState_Ensure() calls a destructor that during PyThreadState_Clear() that calls back into PyGILState_Ensure() and PyGILState_Release(). This might occur when in the free-threaded build or when using thread-local variables whose destructors call PyGILState_Ensure().

gh-119336 [https://github.com/python/cpython/issues/119336]: Restore the removed _PyLong_NumBits() function. It is used by the pywin32 project. Patch by Ethan Smith

gh-119247 [https://github.com/python/cpython/issues/119247]: Added Py_BEGIN_CRITICAL_SECTION_SEQUENCE_FAST and Py_END_CRITICAL_SECTION_SEQUENCE_FAST macros to make it possible to use PySequence_Fast APIs safely when free-threaded, and update str.join to work without the GIL using them.

gh-111389 [https://github.com/python/cpython/issues/111389]: Add PyHASH_MULTIPLIER constant: prime multiplier used in string and various other hashes. Patch by Victor Stinner.

gh-116984 [https://github.com/python/cpython/issues/116984]: Make mimalloc includes relative to the current file to avoid embedders or extensions needing to include Internal/mimalloc if they are already including internal CPython headers.

gh-118789 [https://github.com/python/cpython/issues/118789]: Restore _PyWeakref_ClearRef that was previously removed in Python 3.13 alpha 1.

Python 3.13.0 beta 1

Release date: 2024-05-08

Security

gh-116741 [https://github.com/python/cpython/issues/116741]: Update bundled libexpat to 2.6.2

gh-117233 [https://github.com/python/cpython/issues/117233]: Detect BLAKE2, SHA3, Shake, & truncated SHA512 support in the OpenSSL-ish libcrypto library at build time. This allows hashlib to be used with libraries that do not to support every algorithm that upstream OpenSSL does.

Core and Builtins

gh-118414 [https://github.com/python/cpython/issues/118414]: Add instrumented opcodes to YIELD_VALUE assertion for tracing cases.

gh-117953 [https://github.com/python/cpython/issues/117953]: When a builtin or extension module is imported for the first time, while a subinterpreter is active, the module’s init function is now run by the main interpreter first before import continues in the subinterpreter. Consequently, single-phase init modules now fail in an isolated subinterpreter without the init function running under that interpreter, whereas before it would run under the subinterpreter before failing, potentially leaving behind global state and callbacks and otherwise leaving the module in an inconsistent state.

gh-117549 [https://github.com/python/cpython/issues/117549]: Don’t use designated initializer syntax in inline functions in internal headers. They cause problems for C++ or MSVC users who aren’t yet using the latest C++ standard (C++20). While internal, pycore_backoff.h, is included (indirectly, via pycore_code.h) by some key 3rd party software that does so for speed.

gh-95382 [https://github.com/python/cpython/issues/95382]: Improve performance of json.dumps() and json.dump() when using the argument indent. Depending on the data the encoding using json.dumps() with indent can be up to 2 to 3 times faster.

gh-116322 [https://github.com/python/cpython/issues/116322]: In --disable-gil builds, the GIL will be enabled while loading C extension modules. If the module indicates that it supports running without the GIL, the GIL will be disabled once loading is complete. Otherwise, the GIL will remain enabled for the remainder of the interpreter’s lifetime. This behavior does not apply if the GIL has been explicitly enabled or disabled with PYTHON_GIL or -Xgil.

gh-118513 [https://github.com/python/cpython/issues/118513]: Fix incorrect UnboundLocalError when two comprehensions in the same function both reference the same name, and in one comprehension the name is bound while in the other it’s an implicit global.

gh-118518 [https://github.com/python/cpython/issues/118518]: Allow the Linux perf support to work without frame pointers using perf’s advanced JIT support. The feature is activated when using the PYTHON_PERF_JIT_SUPPORT environment variable or when running Python with -Xperf_jit. Patch by Pablo Galindo.

gh-117514 [https://github.com/python/cpython/issues/117514]: Add sys._is_gil_enabled() function that returns whether the GIL is currently enabled. In the default build it always returns True because the GIL is always enabled. In the free-threaded build, it may return True or False.

gh-118164 [https://github.com/python/cpython/issues/118164]: Break a loop between the Python implementation of the decimal module and the Python code for integer to string conversion. Also optimize integer to string conversion for values in the range from 9_000 to 135_000 decimal digits.

gh-118473 [https://github.com/python/cpython/issues/118473]: Fix sys.set_asyncgen_hooks() not to be partially set when raising TypeError.

gh-118465 [https://github.com/python/cpython/issues/118465]: Compiler populates the new __firstlineno__ field on a class with the line number of the first line of the class definition.

gh-118492 [https://github.com/python/cpython/issues/118492]: Fix an issue where the type cache can expose a previously accessed attribute when a finalizer is run.

gh-117714 [https://github.com/python/cpython/issues/117714]: update async_generator.athrow().close() and async_generator.asend().close() to close their section of the underlying async generator

gh-111201 [https://github.com/python/cpython/issues/111201]: The interactive interpreter is now implemented in Python, which allows for a number of new features like colors, multiline input, history viewing, and paste mode. Contributed by Pablo Galindo, Łukasz Langa and Lysandros Nikolaou based on code from the PyPy project.

gh-74929 [https://github.com/python/cpython/issues/74929]: Implement PEP 667: converted FrameType.f_locals and PyFrame_GetLocals() to return a write-through proxy object when the frame refers to a function or comprehension.

gh-116767 [https://github.com/python/cpython/issues/116767]: Fix crash in compiler on ‘async with’ that has many context managers.

gh-118335 [https://github.com/python/cpython/issues/118335]: Change how to use the tier 2 interpreter. Instead of running Python with -X uops or setting the environment variable PYTHON_UOPS=1, this choice is now made at build time by configuring with --enable-experimental-jit=interpreter.

Beware! This changes the environment variable to enable or disable micro-ops to PYTHON_JIT. The old PYTHON_UOPS is no longer used.

gh-118306 [https://github.com/python/cpython/issues/118306]: Update JIT compilation to use LLVM 18

gh-118160 [https://github.com/python/cpython/issues/118160]: Annotation scopes within classes can now contain comprehensions. However, such comprehensions are not inlined into their parent scope at runtime. Patch by Jelle Zijlstra.

gh-118272 [https://github.com/python/cpython/issues/118272]: Fix bug where generator.close does not free the generator frame’s locals.

gh-118216 [https://github.com/python/cpython/issues/118216]: Don’t consider __future__ imports with dots before the module name.

gh-118074 [https://github.com/python/cpython/issues/118074]: Make sure that the Executor objects in the COLD_EXITS array aren’t assumed to be GC-able (which would access bytes outside the object).

gh-107674 [https://github.com/python/cpython/issues/107674]: Lazy load frame line number to improve performance of tracing

gh-118082 [https://github.com/python/cpython/issues/118082]: Improve SyntaxError message for imports without names, like in from x import and import cases. It now points out to users that import expects at least one name after it.

gh-118090 [https://github.com/python/cpython/issues/118090]: Improve SyntaxError message for empty type param brackets.

gh-117958 [https://github.com/python/cpython/issues/117958]: Added a get_jit_code() method to access JIT compiled machine code from the UOp Executor when the experimental JIT is enabled. Patch by Anthony Shaw.

gh-117901 [https://github.com/python/cpython/issues/117901]: Add option for compiler’s codegen to save nested instruction sequences for introspection.

gh-116622 [https://github.com/python/cpython/issues/116622]: Redirect stdout and stderr to system log when embedded in an Android app.

gh-109118 [https://github.com/python/cpython/issues/109118]: annotation scope within class scopes can now contain lambdas.

gh-117894 [https://github.com/python/cpython/issues/117894]: Prevent agen.aclose() objects being re-used after .throw().

gh-117881 [https://github.com/python/cpython/issues/117881]: prevent concurrent access to an async generator via athrow().throw() or asend().throw()

gh-117536 [https://github.com/python/cpython/issues/117536]: Fix a RuntimeWarning when calling agen.aclose().throw(Exception).

gh-117755 [https://github.com/python/cpython/issues/117755]: Fix mimalloc allocator for huge memory allocation (around 8,589,934,592 GiB) on s390x. Patch by Victor Stinner.

gh-117750 [https://github.com/python/cpython/issues/117750]: Fix issue where an object’s dict would get out of sync with the object’s internal values when being cleared. obj.__dict__.clear() now clears the internal values, but leaves the dict attached to the object.

gh-117431 [https://github.com/python/cpython/issues/117431]: Improve the performance of the following bytes and bytearray methods by adapting them to the METH_FASTCALL calling convention:

count()

find()

index()

rfind()

rindex()

gh-117709 [https://github.com/python/cpython/issues/117709]: Speed up calls to str() with positional-only argument, by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Erlend Aasland.

gh-117680 [https://github.com/python/cpython/issues/117680]: Give _PyInstructionSequence a Python interface and use it in tests.

gh-115776 [https://github.com/python/cpython/issues/115776]: Statically allocated objects are, by definition, immortal so must be marked as such regardless of whether they are in extension modules or not.

gh-117385 [https://github.com/python/cpython/issues/117385]: Remove unhandled PY_MONITORING_EVENT_BRANCH and PY_MONITORING_EVENT_EXCEPTION_HANDLED events from sys.settrace().

gh-116322 [https://github.com/python/cpython/issues/116322]: Extension modules may indicate to the runtime that they can run without the GIL. Multi-phase init modules do so by calling providing Py_MOD_GIL_NOT_USED for the Py_mod_gil slot, while single-phase init modules call PyUnstable_Module_SetGIL(mod, Py_MOD_GIL_NOT_USED) from their init function.

gh-116129 [https://github.com/python/cpython/issues/116129]: Implement PEP 696 [https://peps.python.org/pep-0696/], adding support for defaults on type parameters. Patch by Jelle Zijlstra.

gh-93502 [https://github.com/python/cpython/issues/93502]: Add two new functions to the C-API, PyRefTracer_SetTracer() and PyRefTracer_GetTracer(), that allows to track object creation and destruction the same way the tracemalloc module does. Patch by Pablo Galindo

gh-107674 [https://github.com/python/cpython/issues/107674]: Improved the performance of sys.settrace() significantly

gh-95754 [https://github.com/python/cpython/issues/95754]: Improve the error message when a script shadowing a module from the standard library causes AttributeError to be raised. Similarly, improve the error message when a script shadowing a third party module attempts to access an attribute from that third party module while still initialising.

gh-99180 [https://github.com/python/cpython/issues/99180]: Elide uninformative traceback indicators in return and simple assignment statements. Patch by Pablo Galindo.

gh-105879 [https://github.com/python/cpython/issues/105879]: Allow the globals and locals arguments to exec() and eval() to be passed as keywords.

Library

gh-118418 [https://github.com/python/cpython/issues/118418]: A DeprecationWarning is now emitted if you fail to pass a value to the new type_params parameter of typing._eval_type() or typing.ForwardRef._evaluate(). (Using either of these private and undocumented functions is discouraged to begin with, but failing to pass a value to the type_params parameter may lead to incorrect behaviour on Python 3.12 or newer.)

gh-118660 [https://github.com/python/cpython/issues/118660]: Add an optional second type parameter to typing.ContextManager and typing.AsyncContextManager, representing the return types of __exit__() and __aexit__() respectively. This parameter defaults to bool | None.

gh-118650 [https://github.com/python/cpython/issues/118650]: The enum module allows method named _repr_* to be defined on Enum types.

gh-118648 [https://github.com/python/cpython/issues/118648]: Add type parameter defaults to typing.Generator and typing.AsyncGenerator.

gh-101137 [https://github.com/python/cpython/issues/101137]: Mime type text/x-rst is now supported by mimetypes.

gh-118164 [https://github.com/python/cpython/issues/118164]: The Python implementation of the decimal module could appear to hang in relatively small power cases (like 2**117) if context precision was set to a very high value. A different method to check for exactly representable results is used now that doesn’t rely on computing 10**precision (which could be effectively too large to compute).

gh-111744 [https://github.com/python/cpython/issues/111744]: breakpoint() and pdb.set_trace() now enter the debugger immediately after the call rather than before the next line is executed.

gh-118500 [https://github.com/python/cpython/issues/118500]: Add pdb support for zipapps

gh-118406 [https://github.com/python/cpython/issues/118406]: Add signature for sqlite3.Connection objects.

gh-101732 [https://github.com/python/cpython/issues/101732]: Use a Y2038 compatible openssl time function when available.

gh-118404 [https://github.com/python/cpython/issues/118404]: Fix inspect.signature() for non-comparable callables.

gh-118402 [https://github.com/python/cpython/issues/118402]: Fix inspect.signature() for the result of the functools.cmp_to_key() call.

gh-116622 [https://github.com/python/cpython/issues/116622]: On Android, sysconfig.get_platform now returns the format specified by PEP 738 [https://peps.python.org/pep-0738/].

gh-118285 [https://github.com/python/cpython/issues/118285]: Allow to specify the signature of custom callable instances of extension type by the __text_signature__ attribute. Specify signatures of operator.attrgetter, operator.itemgetter, and operator.methodcaller instances.

gh-118314 [https://github.com/python/cpython/issues/118314]: Fix an edge case in binascii.a2b_base64() strict mode, where excessive padding is not detected when no padding is necessary.

gh-118271 [https://github.com/python/cpython/issues/118271]: Add the PhotoImage methods read() to read an image from a file and data() to get the image data. Add background and grayscale parameters to PhotoImage method write().

gh-118225 [https://github.com/python/cpython/issues/118225]: Add the PhotoImage method copy_replace() to copy a region from one image to other image, possibly with pixel zooming and/or subsampling. Add from_coords parameter to PhotoImage methods copy(), zoom() and subsample(). Add zoom and subsample parameters to PhotoImage method copy().

gh-118221 [https://github.com/python/cpython/issues/118221]: Fix a bug where sqlite3.Connection.iterdump() could fail if a custom row factory was used. Patch by Erlend Aasland.

gh-118013 [https://github.com/python/cpython/issues/118013]: Fix regression introduced in gh-103193 [https://github.com/python/cpython/issues/103193] that meant that calling inspect.getattr_static() on an instance would cause a strong reference to that instance’s class to persist in an internal cache in the inspect module. This caused unexpected memory consumption if the class was dynamically created, the class held strong references to other objects which took up a significant amount of memory, and the cache contained the sole strong reference to the class. The fix for the regression leads to a slowdown in getattr_static(), but the function should still be significantly faster than it was in Python 3.11. Patch by Alex Waygood.

gh-118218 [https://github.com/python/cpython/issues/118218]: Speed up itertools.pairwise() in the common case by up to 1.8x.

gh-117486 [https://github.com/python/cpython/issues/117486]: Improve the behavior of user-defined subclasses of ast.AST. Such classes will now require no changes in the usual case to conform with the behavior changes of the ast module in Python 3.13. Patch by Jelle Zijlstra.

gh-90848 [https://github.com/python/cpython/issues/90848]: Fixed unittest.mock.create_autospec() to configure parent mock with keyword arguments.

gh-118168 [https://github.com/python/cpython/issues/118168]: Fix incorrect argument substitution when typing.Unpack is used with the builtin tuple. typing.Unpack now raises TypeError when used with certain invalid types. Patch by Jelle Zijlstra.

gh-118131 [https://github.com/python/cpython/issues/118131]: Add command-line interface for the random module. Patch by Hugo van Kemenade.

gh-118107 [https://github.com/python/cpython/issues/118107]: Fix zipimport reading of ZIP64 files with file entries that are too big or offset too far.

gh-102511 [https://github.com/python/cpython/issues/102511]: Fix os.path.normpath() for UNC paths on Windows. Speed up os.path.splitroot() with a native implementation.

gh-117535 [https://github.com/python/cpython/issues/117535]: Change the unknown filename of warnings from sys to <sys> to clarify that it’s not a real filename.

gh-114053 [https://github.com/python/cpython/issues/114053]: Fix erroneous NameError when calling typing.get_type_hints() on a class that made use of PEP 695 [https://peps.python.org/pep-0695/] type parameters in a module that had from __future__ import annotations at the top of the file. Patch by Alex Waygood.

gh-116931 [https://github.com/python/cpython/issues/116931]: Add parameter fileobj check for tarfile.TarFile.addfile()

gh-117995 [https://github.com/python/cpython/issues/117995]: Don’t raise DeprecationWarning when a sequence of parameters is used to bind indexed, nameless placeholders. See also gh-100668 [https://github.com/python/cpython/issues/100668].

gh-80361 [https://github.com/python/cpython/issues/80361]: Fix TypeError in email.message.Message.get_payload() when the charset is RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] encoded.

gh-86650 [https://github.com/python/cpython/issues/86650]: Fix IndexError when parse some emails with invalid Message-ID (including one-off addresses generated by Microsoft Outlook).

gh-117691 [https://github.com/python/cpython/issues/117691]: Improve the error messages emitted by tarfile deprecation warnings relating to PEP 706. If a filter argument is not provided to extract() or extractall, the deprecation warning now points to the line in the user’s code where the relevant function was called. Patch by Alex Waygood.

gh-115874 [https://github.com/python/cpython/issues/115874]: Fixed a possible segfault during garbage collection of _asyncio.FutureIter objects. Patch by Savannah Ostrowski.

gh-115060 [https://github.com/python/cpython/issues/115060]: Speed up pathlib.Path.glob() by omitting an initial is_dir() call. As a result of this change, glob() can no longer raise OSError.

gh-77102 [https://github.com/python/cpython/issues/77102]: site module now parses .pth file with UTF-8 first, and locale encoding if UnicodeDecodeError happened. It supported only locale encoding before.

gh-76785 [https://github.com/python/cpython/issues/76785]: We’ve exposed the low-level _interpreters module for the sake of the PyPI implementation of PEP 734 [https://peps.python.org/pep-0734/]. It was sometimes available as the _xxsubinterpreters module and was formerly used only for testing. For the most part, it should be considered an internal module, like _thread and _imp. See https://discuss.python.org/t/pep-734-multiple-interpreters-in-the-stdlib/41147/26.

gh-115060 [https://github.com/python/cpython/issues/115060]: Speed up pathlib.Path.glob() by not scanning directories for non-wildcard pattern segments.

gh-117727 [https://github.com/python/cpython/issues/117727]: Speed up pathlib.Path.iterdir() by using os.scandir() internally.

gh-117586 [https://github.com/python/cpython/issues/117586]: Speed up pathlib.Path.walk() by working with strings internally.

gh-117722 [https://github.com/python/cpython/issues/117722]: Change the new multi-separator support in asyncio.StreamReader.readuntil() to only accept tuples of separators rather than arbitrary iterables.

gh-117692 [https://github.com/python/cpython/issues/117692]: Fixes a bug when doctest.DocTestFinder was failing on wrapped builtin_function_or_method.

gh-117348 [https://github.com/python/cpython/issues/117348]: Largely restored import time performance of configparser by avoiding dataclasses.

gh-117641 [https://github.com/python/cpython/issues/117641]: Speedup os.path.commonpath() on Unix.

gh-117663 [https://github.com/python/cpython/issues/117663]: Fix _simple_enum to detect aliases when multiple arguments are present but only one is the member value.

gh-117636 [https://github.com/python/cpython/issues/117636]: Speedup os.path.join().

gh-117618 [https://github.com/python/cpython/issues/117618]: Support package.module as filename for break command of pdb

gh-102247 [https://github.com/python/cpython/issues/102247]: the status codes enum with constants in http.HTTPStatus are updated to include the names from RFC9110. This RFC includes some HTTP statuses previously only used for WEBDAV and assigns more generic names to them.

The old constants are preserved for backwards compatibility.

gh-117607 [https://github.com/python/cpython/issues/117607]: Speedup os.path.relpath().

gh-117586 [https://github.com/python/cpython/issues/117586]: Speed up pathlib.Path.glob() by working with strings internally.

gh-117225 [https://github.com/python/cpython/issues/117225]: Add colour to doctest output. Patch by Hugo van Kemenade.

gh-117566 [https://github.com/python/cpython/issues/117566]: ipaddress.IPv6Address.is_loopback() will now return True for IPv4-mapped loopback addresses, i.e. addresses in the ::ffff:127.0.0.0/104 address space.

gh-117546 [https://github.com/python/cpython/issues/117546]: Fix issue where os.path.realpath() stopped resolving symlinks after encountering a symlink loop on POSIX.

gh-116720 [https://github.com/python/cpython/issues/116720]: Improved behavior of asyncio.TaskGroup when an external cancellation collides with an internal cancellation. For example, when two task groups are nested and both experience an exception in a child task simultaneously, it was possible that the outer task group would misbehave, because its internal cancellation was swallowed by the inner task group.

In the case where a task group is cancelled externally and also must raise an ExceptionGroup, it will now call the parent task’s cancel() method. This ensures that a asyncio.CancelledError will be raised at the next await, so the cancellation is not lost.

An added benefit of these changes is that task groups now preserve the cancellation count (asyncio.Task.cancelling()).

In order to handle some corner cases, asyncio.Task.uncancel() may now reset the undocumented _must_cancel flag when the cancellation count reaches zero.

gh-117516 [https://github.com/python/cpython/issues/117516]: Add typing.TypeIs, implementing PEP 742 [https://peps.python.org/pep-0742/]. Patch by Jelle Zijlstra.

gh-117503 [https://github.com/python/cpython/issues/117503]: Fix support of non-ASCII user names in bytes paths in os.path.expanduser() on Posix.

gh-117394 [https://github.com/python/cpython/issues/117394]: os.path.ismount() is now 2-3 times faster if the user has permissions.

gh-117313 [https://github.com/python/cpython/issues/117313]: Only treat '\n', '\r' and '\r\n' as line separators in re-folding the email messages. Preserve control characters '\v', '\f', '\x1c', '\x1d' and '\x1e' and Unicode line separators '\x85', '\u2028' and '\u2029' as is.

gh-117142 [https://github.com/python/cpython/issues/117142]: Convert _ctypes to multi-phase initialisation (PEP 489 [https://peps.python.org/pep-0489/]).

gh-66543 [https://github.com/python/cpython/issues/66543]: Add the mimetypes.guess_file_type() function which works with file path. Passing file path instead of URL in guess_type() is soft deprecated.

gh-68583 [https://github.com/python/cpython/issues/68583]: webbrowser CLI: replace getopt with argparse, add long options. Patch by Hugo van Kemenade.

gh-116871 [https://github.com/python/cpython/issues/116871]: Name suggestions for AttributeError and ImportError now only include underscored names if the original name was underscored.

gh-116023 [https://github.com/python/cpython/issues/116023]: Don’t show empty fields (value None or []) in ast.dump() by default. Add show_empty=False parameter to optionally show them.

gh-115961 [https://github.com/python/cpython/issues/115961]: Added name and mode attributes for compressed and archived file-like objects in modules bz2, lzma, tarfile and zipfile. The value of the mode attribute of gzip.GzipFile was changed from integer (1 or 2) to string ('rb' or 'wb'). The value of the mode attribute of the readable file-like object returned by zipfile.ZipFile.open() was changed from 'r' to 'rb'.

gh-82062 [https://github.com/python/cpython/issues/82062]: Fix inspect.signature() to correctly handle parameter defaults on methods in extension modules that use names defined in the module namespace.

gh-83856 [https://github.com/python/cpython/issues/83856]: Honor atexit for all multiprocessing start methods

gh-113081 [https://github.com/python/cpython/issues/113081]: Print colorized exception just like built-in traceback in pdb

gh-112855 [https://github.com/python/cpython/issues/112855]: Speed up pickling of pathlib.PurePath objects. Patch by Barney Gale.

gh-111744 [https://github.com/python/cpython/issues/111744]: Support opcode events in bdb

gh-109617 [https://github.com/python/cpython/issues/109617]: ncurses: fixed a crash that could occur on macOS 13 or earlier when Python was built with Apple Xcode 15’s SDK.

gh-83151 [https://github.com/python/cpython/issues/83151]: Enabled arbitrary statements and evaluations in pdb shell to access the local variables of the current frame, which made it possible for multi-scope code like generators or nested function to work.

gh-110209 [https://github.com/python/cpython/issues/110209]: Add __class_getitem__() to types.GeneratorType and types.CoroutineType for type hinting purposes. Patch by James Hilton-Balfe.

gh-108191 [https://github.com/python/cpython/issues/108191]: The types.SimpleNamespace now accepts an optional positional argument which specifies initial values of attributes as a dict or an iterable of key-value pairs.

gh-62090 [https://github.com/python/cpython/issues/62090]: Fix assertion errors caused by whitespace in metavars or SUPPRESS-ed groups in argparse by simplifying usage formatting. Patch by Ali Hamdan.

gh-102402 [https://github.com/python/cpython/issues/102402]: Adjust logging.LogRecord to use time.time_ns() and fix minor bug related to floating-point math.

gh-100242 [https://github.com/python/cpython/issues/100242]: Bring pure Python implementation functools.partial.__new__ more in line with the C-implementation by not just always checking for the presence of the attribute 'func' on the first argument of partial. Instead, both the Python version and the C version perform an isinstance(func, partial) check on the first argument of partial.

gh-99730 [https://github.com/python/cpython/issues/99730]: HEAD requests are no longer upgraded to GET request during redirects in urllib.

gh-66410 [https://github.com/python/cpython/issues/66410]: Setting the tkinter module global wantobjects to 2 before creating the Tk object or call the wantobjects() method of the Tk object with argument 2 makes now arguments to callbacks registered in the tkinter module to be passed as various Python objects (int, float, bytes, tuple), depending on their internal representation in Tcl, instead of always str. tkinter.wantobjects is now set to 2 by default.

bpo-40943 [https://bugs.python.org/issue?@action=redirect&bpo=40943]: Fix several IndexError when parse emails with truncated Message-ID, address, routes, etc, e.g. example@.

bpo-39324 [https://bugs.python.org/issue?@action=redirect&bpo=39324]: Add mime type mapping for .md <-> text/markdown

bpo-18108 [https://bugs.python.org/issue?@action=redirect&bpo=18108]: shutil.chown() now supports dir_fd and follow_symlinks keyword arguments.

bpo-30988 [https://bugs.python.org/issue?@action=redirect&bpo=30988]: Fix parsing of emails with invalid address headers having a leading or trailing dot. Patch by tsufeki.

bpo-32839 [https://bugs.python.org/issue?@action=redirect&bpo=32839]: Add the after_info() method for Tkinter widgets.

Documentation

gh-117928 [https://github.com/python/cpython/issues/117928]: The minimum Sphinx version required for the documentation is now 6.2.1.

Build

gh-118734 [https://github.com/python/cpython/issues/118734]: Fixes Windows build when invoked directly (not through the build.bat script) without specifying a value for UseTIER2.

gh-115119 [https://github.com/python/cpython/issues/115119]: The configure option --with-system-libmpdec now defaults to yes. The bundled copy of libmpdecimal will be removed in Python 3.15.

gh-117845 [https://github.com/python/cpython/issues/117845]: Fix building against recent libedit versions by detecting readline hook signatures in configure.

gh-116622 [https://github.com/python/cpython/issues/116622]: A testbed project was added to run the test suite on Android.

gh-117645 [https://github.com/python/cpython/issues/117645]: Increase WASI stack size from 512 KiB to 8 MiB and the initial memory from 10 MiB to 20 MiB. Patch by Victor Stinner.

gh-115119 [https://github.com/python/cpython/issues/115119]: configure now uses pkg-config to detect decimal dependencies if the --with-system-libmpdec option is given.

Windows

gh-115119 [https://github.com/python/cpython/issues/115119]: Update Windows installer to use libmpdecimal 4.0.0.

gh-118486 [https://github.com/python/cpython/issues/118486]: os.mkdir() now accepts mode of 0o700 to restrict the new directory to the current user.

gh-118347 [https://github.com/python/cpython/issues/118347]: Fixes launcher updates not being installed.

gh-118293 [https://github.com/python/cpython/issues/118293]: The multiprocessing module now passes the STARTF_FORCEOFFFEEDBACK flag when spawning processes to tell Windows not to change the mouse cursor.

gh-115009 [https://github.com/python/cpython/issues/115009]: Update Windows installer to use SQLite 3.45.3.

gh-90329 [https://github.com/python/cpython/issues/90329]: Suppress the warning displayed on virtual environment creation when the requested and created paths differ only by a short (8.3 style) name. Warnings will continue to be shown if a junction or symlink in the path caused the venv to be created in a different location than originally requested.

gh-117786 [https://github.com/python/cpython/issues/117786]: Fixes virtual environments not correctly launching when created from a Store install.

macOS

gh-115119 [https://github.com/python/cpython/issues/115119]: Update macOS installer to use libmpdecimal 4.0.0.

gh-114099 [https://github.com/python/cpython/issues/114099]: iOS preprocessor symbol usage was made compatible with older macOS SDKs.

gh-115009 [https://github.com/python/cpython/issues/115009]: Update macOS installer to use SQLite 3.45.3.

gh-91629 [https://github.com/python/cpython/issues/91629]: Use ~/.config/fish/conf.d configs and fish_add_path to set PATH when installing for the Fish shell.

IDLE

bpo-34774 [https://bugs.python.org/issue?@action=redirect&bpo=34774]: Use user-selected color theme for Help => IDLE Doc.

C API

gh-118124 [https://github.com/python/cpython/issues/118124]: Fix Py_BUILD_ASSERT and Py_BUILD_ASSERT_EXPR for non-constant expressions: use static_assert() on C11 and newer. Patch by Victor Stinner.

gh-110850 [https://github.com/python/cpython/issues/110850]: Add “Raw” variant of PyTime functions

PyTime_MonotonicRaw()

PyTime_PerfCounterRaw()

PyTime_TimeRaw()

Patch by Victor Stinner.

gh-117987 [https://github.com/python/cpython/issues/117987]: Restore functions removed in Python 3.13 alpha 1:

Py_SetPythonHome()

Py_SetProgramName()

PySys_SetArgvEx()

PySys_SetArgv()

Patch by Victor Stinner.

gh-117929 [https://github.com/python/cpython/issues/117929]: Restore removed PyEval_InitThreads() function. Patch by Victor Stinner.

gh-117534 [https://github.com/python/cpython/issues/117534]: Improve validation logic in the C implementation of datetime.datetime.fromisoformat() to better handle invalid years. Patch by Vlad Efanov.

gh-68114 [https://github.com/python/cpython/issues/68114]: Fixed skipitem()’s handling of the old ‘w’ and ‘w#’ formatters. These are no longer supported and now raise an exception if used.

gh-111997 [https://github.com/python/cpython/issues/111997]: Add a C-API for firing monitoring events.

Python 3.13.0 alpha 6

Release date: 2024-04-09

Core and Builtins

gh-117494 [https://github.com/python/cpython/issues/117494]: Refactored the instruction sequence data structure out of compile.c into instruction_sequence.c.

gh-116968 [https://github.com/python/cpython/issues/116968]: Introduce a unified 16-bit backoff counter type (_Py_BackoffCounter), shared between the Tier 1 adaptive specializer and the Tier 2 optimizer. The API used for adaptive specialization counters is changed but the behavior is (supposed to be) identical.

The behavior of the Tier 2 counters is changed:

There are no longer dynamic thresholds (we never varied these).

All counters now use the same exponential backoff.

The counter for JUMP_BACKWARD starts counting down from 16.

The temperature in side exits starts counting down from 64.

gh-117431 [https://github.com/python/cpython/issues/117431]: Improve the performance of the following bytes and bytearray methods by adapting them to the METH_FASTCALL calling convention:

endswith()

startswith()

gh-117431 [https://github.com/python/cpython/issues/117431]: Improve the performance of the following str methods by adapting them to the METH_FASTCALL calling convention:

count()

endswith()

find()

index()

rfind()

rindex()

startswith()

gh-117411 [https://github.com/python/cpython/issues/117411]: Move PyFutureFeatures to an internal header and make it private.

gh-109120 [https://github.com/python/cpython/issues/109120]: Added handle of incorrect star expressions, e.g f(3, *). Patch by Grigoryev Semyon

gh-117266 [https://github.com/python/cpython/issues/117266]: Fix crashes for certain user-created subclasses of ast.AST. Such classes are now expected to set the _field_types attribute.

gh-99108 [https://github.com/python/cpython/issues/99108]: Updated the hashlib built-in HACL* project [https://github.com/hacl-star/hacl-star] C code from upstream that we use for many implementations when they are not present via OpenSSL in a given build. This also avoids the rare potential for a C symbol name one definition rule linking issue.

gh-117108 [https://github.com/python/cpython/issues/117108]: Change the old space bit of objects in the young generation from 0 to gcstate->visited, so that any objects created during GC will have the old bit set correctly if they get moved into the old generation.

gh-117108 [https://github.com/python/cpython/issues/117108]: The cycle GC now chooses the size of increments based on the total heap size, instead of the rate of object creation. This ensures that it can keep up with growing heaps.

gh-116735 [https://github.com/python/cpython/issues/116735]: For INSTRUMENTED_CALL_FUNCTION_EX, set arg0 to sys.monitoring.MISSING instead of None for CALL event.

gh-113964 [https://github.com/python/cpython/issues/113964]: Starting new threads and process creation through os.fork() are now only prevented once all non-daemon threads exit.

gh-116626 [https://github.com/python/cpython/issues/116626]: Ensure INSTRUMENTED_CALL_FUNCTION_EX always emits CALL

gh-116554 [https://github.com/python/cpython/issues/116554]: list.sort() now exploits more cases of partial ordering, particularly those with long descending runs with sub-runs of equal values. Those are recognized as single runs now (previously, each block of repeated values caused a new run to be created).

gh-114099 [https://github.com/python/cpython/issues/114099]: Added a Loader that can discover extension modules in an iOS-style Frameworks folder.

gh-115775 [https://github.com/python/cpython/issues/115775]: Compiler populates the new __static_attributes__ field on a class with the names of attributes of this class which are accessed through self.X from any function in its body.

gh-115776 [https://github.com/python/cpython/issues/115776]: The array of values, the PyDictValues struct is now embedded in the object during allocation. This provides better performance in the common case, and does not degrade as much when the object’s __dict__ is materialized.

gh-108362 [https://github.com/python/cpython/issues/108362]: Implement an incremental cyclic garbage collector. By collecting the old generation in increments, there is no need for a full heap scan. This can hugely reduce maximum pause time for programs with large heaps.

Reduce the number of generations from three to two. The old generation is split into two spaces, “visited” and “pending”.

Collection happens in two steps:: * An increment is formed from the young generation and a small part of the pending space. * This increment is scanned and the survivors moved to the end of the visited space.

When the collecting space becomes empty, the two spaces are swapped.

gh-109870 [https://github.com/python/cpython/issues/109870]: Dataclasses now calls exec() once per dataclass, instead of once per method being added. This can speed up dataclass creation by up to 20%.

gh-97901 [https://github.com/python/cpython/issues/97901]: Mime type text/rtf is now supported by mimetypes.

bpo-24612 [https://bugs.python.org/issue?@action=redirect&bpo=24612]: Improve the SyntaxError that happens when ‘not’ appears after an operator. Patch by Pablo Galindo

Library

gh-117648 [https://github.com/python/cpython/issues/117648]: Improve performance of os.path.join() and os.path.expanduser().

gh-117584 [https://github.com/python/cpython/issues/117584]: Raise TypeError for non-paths in posixpath.relpath().

gh-117467 [https://github.com/python/cpython/issues/117467]: Preserve mailbox ownership when rewriting in mailbox.mbox.flush(). Patch by Tony Mountifield.

gh-114848 [https://github.com/python/cpython/issues/114848]: Raise FileNotFoundError when getcwd() returns ‘(unreachable)’, which can happen on Linux >= 2.6.36 with glibc < 2.27.

gh-117459 [https://github.com/python/cpython/issues/117459]: asyncio.asyncio.run_coroutine_threadsafe() now keeps the traceback of CancelledError, TimeoutError and InvalidStateError which are raised in the coroutine.

gh-117381 [https://github.com/python/cpython/issues/117381]: Fix error message for ntpath.commonpath().

gh-117337 [https://github.com/python/cpython/issues/117337]: Deprecate undocumented glob.glob0() and glob.glob1() functions. Use glob.glob() and pass a directory to its root_dir argument instead.

gh-117349 [https://github.com/python/cpython/issues/117349]: Optimise several functions in os.path.

gh-117348 [https://github.com/python/cpython/issues/117348]: Refactored configparser.RawConfigParser._read() to reduce cyclometric complexity and improve comprehensibility.

gh-117335 [https://github.com/python/cpython/issues/117335]: Raise TypeError for non-sequences for ntpath.commonpath().

gh-66449 [https://github.com/python/cpython/issues/66449]: configparser.ConfigParser now accepts unnamed sections before named ones, if configured to do so.

gh-88014 [https://github.com/python/cpython/issues/88014]: In documentation of gzip.GzipFile in module gzip, explain data type of optional constructor argument mtime, and recommend mtime = 0 for generating deterministic streams.

gh-117310 [https://github.com/python/cpython/issues/117310]: Fixed an unlikely early & extra Py_DECREF triggered crash in ssl when creating a new _ssl._SSLContext if CPython was built implausibly such that the default cipher list is empty or the SSL library it was linked against reports a failure from its C SSL_CTX_set_cipher_list() API.

gh-117294 [https://github.com/python/cpython/issues/117294]: A DocTestCase now reports as skipped if all examples in the doctest are skipped.

gh-98966 [https://github.com/python/cpython/issues/98966]: In subprocess, raise a more informative message when stdout=STDOUT.

gh-117225 [https://github.com/python/cpython/issues/117225]: doctest: only print “and X failed” when non-zero, don’t pluralise “1 items”. Patch by Hugo van Kemenade.

gh-117205 [https://github.com/python/cpython/issues/117205]: Speed up compileall.compile_dir() by 20% when using multiprocessing by increasing chunksize.

gh-117178 [https://github.com/python/cpython/issues/117178]: Fix regression in lazy loading of self-referential modules, introduced in gh-114781 [https://github.com/python/cpython/issues/114781].

gh-112383 [https://github.com/python/cpython/issues/112383]: Fix dis module’s handling of ENTER_EXECUTOR instructions.

gh-117182 [https://github.com/python/cpython/issues/117182]: Lazy-loading of modules that modify their own __class__ no longer reverts the __class__ to types.ModuleType.

gh-117084 [https://github.com/python/cpython/issues/117084]: Fix zipfile extraction for directory entries with the name containing backslashes on Windows.

gh-117114 [https://github.com/python/cpython/issues/117114]: Make os.path.isdevdrive() available on all platforms. For those that do not offer Dev Drives, it will always return False.

gh-117110 [https://github.com/python/cpython/issues/117110]: Fix a bug that prevents subclasses of typing.Any to be instantiated with arguments. Patch by Chris Fu.

gh-109653 [https://github.com/python/cpython/issues/109653]: Deferred select imports in importlib.metadata and importlib.resources for a 14% speedup.

gh-70647 [https://github.com/python/cpython/issues/70647]: Start the deprecation period for the current behavior of datetime.datetime.strptime() and time.strptime() which always fails to parse a date string with a ValueError involving a day of month such as strptime("02-29", "%m-%d") when a year is not specified and the date happen to be February 29th. This should help avoid users finding new bugs every four years due to a natural mistaken assumption about the API when parsing partial date values.

gh-116987 [https://github.com/python/cpython/issues/116987]: Fixed inspect.findsource() for class code objects.

gh-114099 [https://github.com/python/cpython/issues/114099]: Modify standard library to allow for iOS platform differences.

gh-90872 [https://github.com/python/cpython/issues/90872]: On Windows, subprocess.Popen.wait() no longer calls WaitForSingleObject() with a negative timeout: pass 0 ms if the timeout is negative. Patch by Victor Stinner.

gh-116957 [https://github.com/python/cpython/issues/116957]: configparser: Don’t leave ConfigParser values in an invalid state (stored as a list instead of a str) after an earlier read raised DuplicateSectionError or DuplicateOptionError.

gh-115538 [https://github.com/python/cpython/issues/115538]: _io.WindowsConsoleIO now emit a warning if a boolean value is passed as a filedescriptor argument.

gh-90095 [https://github.com/python/cpython/issues/90095]: Ignore empty lines and comments in .pdbrc

gh-106531 [https://github.com/python/cpython/issues/106531]: Refreshed zipfile._path from zipp 3.18 [https://zipp.readthedocs.io/en/latest/history.html#v3-18-0], providing better compatibility for PyPy, better glob performance for deeply nested zipfiles, and providing internal access to CompleteDirs.inject for use in other tests (like importlib.resources).

gh-63207 [https://github.com/python/cpython/issues/63207]: On Windows, time.time() now uses the GetSystemTimePreciseAsFileTime() clock to have a resolution better than 1 us, instead of the GetSystemTimeAsFileTime() clock which has a resolution of 15.6 ms. Patch by Victor Stinner.

gh-116764 [https://github.com/python/cpython/issues/116764]: Restore support of None and other false values in urllib.parse functions parse_qs() and parse_qsl(). Also, they now raise a TypeError for non-zero integers and non-empty sequences.

gh-116811 [https://github.com/python/cpython/issues/116811]: In PathFinder.invalidate_caches, delegate to MetadataPathFinder.invalidate_caches.

gh-116647 [https://github.com/python/cpython/issues/116647]: Fix recursive child in dataclasses

gh-113171 [https://github.com/python/cpython/issues/113171]: Fixed various false positives and false negatives in

ipaddress.IPv4Address.is_private (see these docs for details)

ipaddress.IPv4Address.is_global

ipaddress.IPv6Address.is_private

ipaddress.IPv6Address.is_global

Also in the corresponding ipaddress.IPv4Network and ipaddress.IPv6Network attributes.

gh-63283 [https://github.com/python/cpython/issues/63283]: In encodings.idna, any capitalization of the the ACE prefix (xn--) is now acceptable. Patch by Pepijn de Vos and Zackery Spytz.

gh-71042 [https://github.com/python/cpython/issues/71042]: Add platform.android_ver(), which provides device and OS information on Android.

gh-73468 [https://github.com/python/cpython/issues/73468]: Added new math.fma() function, wrapping C99’s fma() operation: fused multiply-add function. Patch by Mark Dickinson and Victor Stinner.

gh-116608 [https://github.com/python/cpython/issues/116608]: The importlib.resources functions is_resource(), open_binary(), open_text(), path(), read_binary(), and read_text() are un-deprecated, and support subdirectories via multiple positional arguments. The contents() function also allows subdirectories, but remains deprecated.

gh-116484 [https://github.com/python/cpython/issues/116484]: Change automatically generated tkinter.Checkbutton widget names to avoid collisions with automatically generated tkinter.ttk.Checkbutton widget names within the same parent widget.

gh-114314 [https://github.com/python/cpython/issues/114314]: In ctypes, ctype data is now stored in type objects directly rather than in a dict subclass. This is an internal change that should not affect usage.

gh-116401 [https://github.com/python/cpython/issues/116401]: Fix blocking os.fwalk() and shutil.rmtree() on opening named pipe.

gh-71052 [https://github.com/python/cpython/issues/71052]: Implement ctypes.util.find_library() on Android.

gh-90535 [https://github.com/python/cpython/issues/90535]: Fix support of interval values > 1 in logging.TimedRotatingFileHandler for when='MIDNIGHT' and when='Wx'.

gh-113308 [https://github.com/python/cpython/issues/113308]: Remove some internal protected parts from uuid: _has_uuid_generate_time_safe, _netbios_getnode, _ipconfig_getnode, and _load_system_functions. They were unused.

gh-115627 [https://github.com/python/cpython/issues/115627]: Fix the ssl module error handling of connection terminate by peer. It now throws an OSError with the appropriate error code instead of an EOFError.

gh-114847 [https://github.com/python/cpython/issues/114847]: Speed up os.path.realpath() on non-Windows platforms.

gh-114271 [https://github.com/python/cpython/issues/114271]: Fix a race in threading.Thread.join().

threading._MainThread now always represents the main thread of the main interpreter.

PyThreadState.on_delete and PyThreadState.on_delete_data have been removed.

gh-113538 [https://github.com/python/cpython/issues/113538]: Add asyncio.Server.close_clients() and asyncio.Server.abort_clients() methods which allow to more forcefully close an asyncio server.

gh-85287 [https://github.com/python/cpython/issues/85287]: Changes Unicode codecs to return UnicodeEncodeError or UnicodeDecodeError, rather than just UnicodeError.

gh-113548 [https://github.com/python/cpython/issues/113548]: pdb now allows CLI arguments to pdb -m.

gh-112948 [https://github.com/python/cpython/issues/112948]: Make completion of pdb similar to Python REPL

gh-105866 [https://github.com/python/cpython/issues/105866]: Fixed _get_slots bug which caused error when defining dataclasses with slots and a weakref_slot.

gh-96471 [https://github.com/python/cpython/issues/96471]: Add asyncio.Queue termination with shutdown() method.

gh-89739 [https://github.com/python/cpython/issues/89739]: The zipimport module can now read ZIP64 files.

bpo-33533 [https://bugs.python.org/issue?@action=redirect&bpo=33533]: asyncio.as_completed() now returns an object that is both an asynchronous iterator and plain iterator. The new asynchronous iteration pattern allows for easier correlation between prior tasks and their completed results. This is a closer match to concurrent.futures.as_completed()’s iteration pattern. Patch by Justin Arthur.

bpo-27578 [https://bugs.python.org/issue?@action=redirect&bpo=27578]: inspect.getsource() (and related functions) work with empty module files, returning '\n' (or reasonable equivalent) instead of raising OSError. Patch by Kernc.

bpo-37141 [https://bugs.python.org/issue?@action=redirect&bpo=37141]: Accept an iterable of separators in asyncio.StreamReader.readuntil(), stopping when one of them is encountered.

gh-66543 [https://github.com/python/cpython/issues/66543]: Make mimetypes.guess_type() properly parsing of URLs with only a host name, URLs containing fragment or query, and filenames with only a UNC sharepoint on Windows. Based on patch by Dong-hee Na.

bpo-15010 [https://bugs.python.org/issue?@action=redirect&bpo=15010]: unittest.TestLoader.discover() now saves the original value of unittest.TestLoader._top_level_dir and restores it at the end of the call.

Documentation

gh-115977 [https://github.com/python/cpython/issues/115977]: Remove compatibility references to Emscripten.

gh-114099 [https://github.com/python/cpython/issues/114099]: Add an iOS platform guide, and flag modules not available on iOS.

gh-91565 [https://github.com/python/cpython/issues/91565]: Changes to documentation files and config outputs to reflect the new location for reporting bugs - i.e. GitHub rather than bugs.python.org.

Tests

gh-83434 [https://github.com/python/cpython/issues/83434]: Disable JUnit XML output (--junit-xml=FILE command line option) in regrtest when hunting for reference leaks (-R option). Patch by Victor Stinner.

gh-117187 [https://github.com/python/cpython/issues/117187]: Fix XML tests for vanilla Expat <2.6.0.

gh-116333 [https://github.com/python/cpython/issues/116333]: Tests of TLS related things (error codes, etc) were updated to be more lenient about specific error message strings and behaviors as seen in the BoringSSL and AWS-LC forks of OpenSSL.

gh-117089 [https://github.com/python/cpython/issues/117089]: Consolidated tests for importlib.metadata in their own metadata package.

gh-115979 [https://github.com/python/cpython/issues/115979]: Update test_importlib so that it passes under WASI SDK 21.

gh-112536 [https://github.com/python/cpython/issues/112536]: Add –tsan to test.regrtest for running TSAN tests in reasonable execution times. Patch by Donghee Na.

gh-116307 [https://github.com/python/cpython/issues/116307]: Added import helper isolated_modules as CleanImport does not remove modules imported during the context. Use it in importlib.resources tests to avoid leaving mod around to impede importlib.metadata tests.

Build

gh-114736 [https://github.com/python/cpython/issues/114736]: Have WASI builds use WASI SDK 21.

gh-115983 [https://github.com/python/cpython/issues/115983]: Skip building test modules that must be built as shared under WASI.

gh-71052 [https://github.com/python/cpython/issues/71052]: Add Android build script and instructions.

Windows

gh-117267 [https://github.com/python/cpython/issues/117267]: Ensure DirEntry.stat().st_ctime behaves consistently with os.stat() during the deprecation period of st_ctime by containing the same value as st_birthtime. After the deprecation period, st_ctime will be the metadata change time (or unavailable through DirEntry), and only st_birthtime will contain the creation time.

gh-116195 [https://github.com/python/cpython/issues/116195]: Improves performance of os.getppid() by using an alternate system API when available. Contributed by vxiiduu.

gh-88494 [https://github.com/python/cpython/issues/88494]: On Windows, time.monotonic() now uses the QueryPerformanceCounter() clock to have a resolution better than 1 us, instead of the GetTickCount64() clock which has a resolution of 15.6 ms. Patch by Victor Stinner.

gh-116773 [https://github.com/python/cpython/issues/116773]: Fix instances of <_overlapped.Overlapped object at 0xXXX> still has pending operation at deallocation, the process may crash.

gh-91227 [https://github.com/python/cpython/issues/91227]: Fix the asyncio ProactorEventLoop implementation so that sending a datagram to an address that is not listening does not prevent receiving any more datagrams.

gh-115119 [https://github.com/python/cpython/issues/115119]: Switched from vendored libmpdecimal code to a separately-hosted external package in the cpython-source-deps repository when building the _decimal module.

C API

gh-117642 [https://github.com/python/cpython/issues/117642]: Fix PEP 737 [https://peps.python.org/pep-0737/] implementation for %#T and %#N.

gh-87193 [https://github.com/python/cpython/issues/87193]: _PyBytes_Resize() can now be called for bytes objects with reference count > 1, including 1-byte bytes objects. It creates a new bytes object and destroys the old one if it has reference count > 1.

gh-117021 [https://github.com/python/cpython/issues/117021]: Fix integer overflow in PyLong_AsPid() on non-Windows 64-bit platforms.

gh-115756 [https://github.com/python/cpython/issues/115756]: PyCode_GetFirstFree() is an ustable API now and has been renamed to PyUnstable_Code_GetFirstFree(). (Contributed by Bogdan Romanyuk in gh-115781 [https://github.com/python/cpython/issues/115781])

gh-116869 [https://github.com/python/cpython/issues/116869]: Add test_cext test: build a C extension to check if the Python C API emits C compiler warnings. Patch by Victor Stinner.

gh-116869 [https://github.com/python/cpython/issues/116869]: Make the C API compatible with -Werror=declaration-after-statement compiler flag again. Patch by Victor Stinner.

gh-116936 [https://github.com/python/cpython/issues/116936]: Add PyType_GetModuleByDef() to the limited C API. Patch by Victor Stinner.

gh-116809 [https://github.com/python/cpython/issues/116809]: Restore removed private _PyErr_ChainExceptions1() function. Patch by Victor Stinner.

gh-115754 [https://github.com/python/cpython/issues/115754]: In the limited C API version 3.13, getting Py_None, Py_False, Py_True, Py_Ellipsis and Py_NotImplemented singletons is now implemented as function calls at the stable ABI level to hide implementation details. Getting these constants still return borrowed references. Patch by Victor Stinner.

gh-115754 [https://github.com/python/cpython/issues/115754]: Add Py_GetConstant() and Py_GetConstantBorrowed() functions to get constants. For example, Py_GetConstant(Py_CONSTANT_ZERO) returns a strong reference to the constant zero. Patch by Victor Stinner.

gh-111696 [https://github.com/python/cpython/issues/111696]: Add support for %T, %T#, %N and %N# formats to PyUnicode_FromFormat(): format the fully qualified name of an object type and of a type: call PyType_GetModuleName(). See PEP 737 [https://peps.python.org/pep-0737/] for more information. Patch by Victor Stinner.

gh-111696 [https://github.com/python/cpython/issues/111696]: Add PyType_GetModuleName() function to get the type’s module name. Equivalent to getting the type.__module__ attribute. Patch by Eric Snow and Victor Stinner.

gh-111696 [https://github.com/python/cpython/issues/111696]: Add PyType_GetFullyQualifiedName() function to get the type’s fully qualified name. Equivalent to f"{type.__module__}.{type.__qualname__}", or type.__qualname__ if type.__module__ is not a string or is equal to "builtins". Patch by Victor Stinner.

gh-85283 [https://github.com/python/cpython/issues/85283]: The fcntl, grp, pwd, termios, _statistics and _testconsole C extensions are now built with the limited C API. Patch by Victor Stinner.

gh-111140 [https://github.com/python/cpython/issues/111140]: Add additional flags to PyLong_AsNativeBytes() and PyLong_FromNativeBytes() to allow the caller to determine how to handle edge cases around values that fill the entire buffer.

gh-113024 [https://github.com/python/cpython/issues/113024]: Add PyObject_GenericHash() function.

Python 3.13.0 alpha 5

Release date: 2024-03-12

Security

gh-115398 [https://github.com/python/cpython/issues/115398]: Allow controlling Expat >=2.6.0 reparse deferral (CVE 2023-52425 [https://www.cve.org/CVERecord?id=CVE-2023-52425]) by adding five new methods:

xml.etree.ElementTree.XMLParser.flush()

xml.etree.ElementTree.XMLPullParser.flush()

xml.parsers.expat.xmlparser.GetReparseDeferralEnabled()

xml.parsers.expat.xmlparser.SetReparseDeferralEnabled()

xml.sax.expatreader.ExpatParser.flush()

gh-114572 [https://github.com/python/cpython/issues/114572]: ssl.SSLContext.cert_store_stats() and ssl.SSLContext.get_ca_certs() now correctly lock access to the certificate store, when the ssl.SSLContext is shared across multiple threads.

Core and Builtins

gh-116604 [https://github.com/python/cpython/issues/116604]: Respect the status of the garbage collector when indirect calls are made via PyErr_CheckSignals() and the evaluation breaker. Patch by Pablo Galindo

gh-112087 [https://github.com/python/cpython/issues/112087]: list is now compatible with the implementation of PEP 703 [https://peps.python.org/pep-0703/].

gh-116381 [https://github.com/python/cpython/issues/116381]: Add specialization for CONTAINS_OP.

gh-116296 [https://github.com/python/cpython/issues/116296]: Fix possible refleak in object.__reduce__() internal error handling.

gh-115823 [https://github.com/python/cpython/issues/115823]: Properly calculate error ranges in the parser when raising SyntaxError exceptions caused by invalid byte sequences. Patch by Pablo Galindo

gh-115778 [https://github.com/python/cpython/issues/115778]: Add tierN annotation for instruction definition in interpreter DSL.

gh-115733 [https://github.com/python/cpython/issues/115733]: Fix crash when calling next() on exhausted list iterators.

gh-115700 [https://github.com/python/cpython/issues/115700]: The regen-cases build stage now works on Windows.

gh-115347 [https://github.com/python/cpython/issues/115347]: Fix bug where docstring was replaced by a redundant NOP when Python is run with -OO.

gh-115323 [https://github.com/python/cpython/issues/115323]: Make error message more meaningful for when bytearray.extend() is called with a str object.

gh-112175 [https://github.com/python/cpython/issues/112175]: Every PyThreadState now has its own eval_breaker, allowing specific threads to be interrupted.

gh-115154 [https://github.com/python/cpython/issues/115154]: Fix a bug that was causing the tokenize.untokenize() function to handle unicode named literals incorrectly. Patch by Pablo Galindo

gh-112433 [https://github.com/python/cpython/issues/112433]: Add ability to force alignment of ctypes.Structure by way of the new _align_ attribute on the class.

gh-104090 [https://github.com/python/cpython/issues/104090]: The multiprocessing resource tracker now exits with non-zero status code if a resource leak was detected. It still exits with status code 0 otherwise.

gh-105858 [https://github.com/python/cpython/issues/105858]: Improve the constructors for ast nodes. Arguments of list types now default to an empty list if omitted, and optional fields default to None. AST nodes now have an __annotations__ attribute with the expected types of their attributes. Passing unrecognized extra arguments to AST nodes is deprecated and will become an error in Python 3.15. Omitting a required argument to an AST node is deprecated and will become an error in Python 3.15. Patch by Jelle Zijlstra.

gh-101860 [https://github.com/python/cpython/issues/101860]: Expose __name__ attribute on property.

gh-96497 [https://github.com/python/cpython/issues/96497]: Fix incorrect resolution of mangled class variables used in assignment expressions in comprehensions.

Library

gh-116600 [https://github.com/python/cpython/issues/116600]: Fix repr() for global Flag members.

gh-116349 [https://github.com/python/cpython/issues/116349]: platform.java_ver() is deprecated and will be removed in 3.15. It was largely untested, had a confusing API, and was only useful for Jython support.

gh-116143 [https://github.com/python/cpython/issues/116143]: Fix a race in pydoc _start_server, eliminating a window in which _start_server can return a thread that is “serving” but without a docserver set.

gh-116127 [https://github.com/python/cpython/issues/116127]: typing: implement PEP 705 [https://peps.python.org/pep-0705/] which adds typing.ReadOnly support to typing.TypedDict.

gh-116325 [https://github.com/python/cpython/issues/116325]: typing: raise SyntaxError instead of AttributeError on forward references as empty strings.

gh-115957 [https://github.com/python/cpython/issues/115957]: When asyncio.TaskGroup.create_task is called on an inactive asyncio.TaskGroup, the given coroutine will be closed (which prevents a RuntimeWarning).

gh-115978 [https://github.com/python/cpython/issues/115978]: Disable preadv(), readv(), pwritev(), and writev() on WASI.

Under wasmtime for WASI 0.2, these functions don’t pass test_posix (https://github.com/bytecodealliance/wasmtime/issues/7830).

gh-88352 [https://github.com/python/cpython/issues/88352]: Fix the computation of the next rollover time in the logging.TimedRotatingFileHandler handler. computeRollover() now always returns a timestamp larger than the specified time and works correctly during the DST change. doRollover() no longer overwrite the already rolled over file, saving from data loss when run at midnight or during repeated time at the DST change.

gh-87115 [https://github.com/python/cpython/issues/87115]: Set __main__.__spec__ to None when running a script with pdb

gh-76511 [https://github.com/python/cpython/issues/76511]: Fix UnicodeEncodeError in email.Message.as_string() that results when a message that claims to be in the ascii character set actually has non-ascii characters. Non-ascii characters are now replaced with the U+FFFD replacement character, like in the replace error handler.

gh-89547 [https://github.com/python/cpython/issues/89547]: Add support for nested typing special forms like Final[ClassVar[int]].

gh-65824 [https://github.com/python/cpython/issues/65824]: Improve the less prompt in pydoc.

gh-116040 [https://github.com/python/cpython/issues/116040]: [Enum] fix by-value calls when second value is falsey; e.g. Cardinal(1, 0)

gh-115821 [https://github.com/python/cpython/issues/115821]: [Enum] Improve error message when calling super().__new__() in custom __new__.

gh-85644 [https://github.com/python/cpython/issues/85644]: Use the XDG_CURRENT_DESKTOP environment variable in webbrowser to check desktop. Prefer it to the deprecated GNOME_DESKTOP_SESSION_ID for GNOME detection.

gh-75988 [https://github.com/python/cpython/issues/75988]: Fixed unittest.mock.create_autospec() to pass the call through to the wrapped object to return the real result.

gh-115881 [https://github.com/python/cpython/issues/115881]: Fix issue where ast.parse() would incorrectly flag conditional context managers (such as with (x() if y else z()): ...) as invalid syntax if feature_version=(3, 8) was passed. This reverts changes to the grammar made as part of gh-94949 [https://github.com/python/cpython/issues/94949].

gh-115886 [https://github.com/python/cpython/issues/115886]: Fix silent truncation of the name with an embedded null character in multiprocessing.shared_memory.SharedMemory.

gh-115532 [https://github.com/python/cpython/issues/115532]: Add kernel density estimation to the statistics module.

gh-115714 [https://github.com/python/cpython/issues/115714]: On WASI, the time module no longer get process time using times() or CLOCK_PROCESS_CPUTIME_ID, system API is that is unreliable and is likely to be removed from WASI. The affected clock functions fall back to calling clock().

gh-115809 [https://github.com/python/cpython/issues/115809]: Improve algorithm for computing which rolled-over log files to delete in logging.TimedRotatingFileHandler. It is now reliable for handlers without namer and with arbitrary deterministic namer that leaves the datetime part in the file name unmodified.

gh-74668 [https://github.com/python/cpython/issues/74668]: urllib.parse functions parse_qs() and parse_qsl() now support bytes arguments containing raw and percent-encoded non-ASCII data.

gh-67044 [https://github.com/python/cpython/issues/67044]: csv.writer() now always quotes or escapes '\r' and '\n', regardless of lineterminator value.

gh-115712 [https://github.com/python/cpython/issues/115712]: Restore support of space delimiter with skipinitialspace=True in csv. csv.writer() now quotes empty fields if delimiter is a space and skipinitialspace is true and raises exception if quoting is not possible.

gh-112364 [https://github.com/python/cpython/issues/112364]: Fixed ast.unparse() to handle format_spec with ", ' or \\. Patched by Frank Hoffmann.

gh-112997 [https://github.com/python/cpython/issues/112997]: Stop logging potentially sensitive callback arguments in asyncio unless debug mode is active.

gh-114914 [https://github.com/python/cpython/issues/114914]: Fix an issue where an abandoned StreamWriter would not be garbage collected.

gh-111358 [https://github.com/python/cpython/issues/111358]: Fix a bug in asyncio.BaseEventLoop.shutdown_default_executor() to ensure the timeout passed to the coroutine behaves as expected.

gh-115618 [https://github.com/python/cpython/issues/115618]: Fix improper decreasing the reference count for None argument in property methods getter(), setter() and deleter().

gh-112720 [https://github.com/python/cpython/issues/112720]: Refactor dis.ArgResolver to make it possible to subclass and change the way jump args are interpreted.

gh-112006 [https://github.com/python/cpython/issues/112006]: Fix inspect.unwrap() for types with the __wrapper__ data descriptor. Fix inspect.Signature.from_callable() for builtins classmethod() and staticmethod().

gh-101293 [https://github.com/python/cpython/issues/101293]: Support callables with the __call__() method and types with __new__() and __init__() methods set to class methods, static methods, bound methods, partial functions, and other types of methods and descriptors in inspect.Signature.from_callable().

gh-103092 [https://github.com/python/cpython/issues/103092]: Isolate _lsprof (apply PEP 687 [https://peps.python.org/pep-0687/]).

gh-113942 [https://github.com/python/cpython/issues/113942]: pydoc no longer skips global functions implemented as builtin methods, such as MethodDescriptorType and WrapperDescriptorType.

gh-115256 [https://github.com/python/cpython/issues/115256]: Added DeprecationWarning when accessing the tarfile attribute of TarInfo objects. The attribute is never used internally and is only attached to TarInfos when the tarfile is opened in write-mode, not read-mode. The attribute creates an unnecessary reference cycle which may cause corruption when not closing the handle after writing a tarfile.

gh-115197 [https://github.com/python/cpython/issues/115197]: urllib.request no longer resolves the hostname before checking it against the system’s proxy bypass list on macOS and Windows.

gh-113812 [https://github.com/python/cpython/issues/113812]: DatagramTransport.sendto() will now send zero-length datagrams if called with an empty bytes object. The transport flow control also now accounts for the datagram header when calculating the buffer size.

gh-114763 [https://github.com/python/cpython/issues/114763]: Protect modules loaded with importlib.util.LazyLoader from race conditions when multiple threads try to access attributes before the loading is complete.

gh-114709 [https://github.com/python/cpython/issues/114709]: posixpath.commonpath() now raises a ValueError exception when passed an empty iterable. Previously, IndexError was raised.

posixpath.commonpath() now raises a TypeError exception when passed None. Previously, ValueError was raised.

gh-114610 [https://github.com/python/cpython/issues/114610]: Fix bug where pathlib.PurePath.with_stem() converted a non-empty path suffix to a stem when given an empty stem argument. It now raises ValueError, just like pathlib.PurePath.with_suffix() does when called on a path with an empty stem, given a non-empty suffix argument.

gh-107361 [https://github.com/python/cpython/issues/107361]: Add ssl.VERIFY_X509_PARTIAL_CHAIN and VERIFY_X509_STRICT to the default SSL context created with ssl.create_default_context().

gh-112281 [https://github.com/python/cpython/issues/112281]: Allow creating union of types for typing.Annotated with unhashable metadata.

gh-111775 [https://github.com/python/cpython/issues/111775]: Fix importlib.resources.simple.ResourceHandle.open() for text mode, added missed stream argument.

gh-90095 [https://github.com/python/cpython/issues/90095]: Make .pdbrc and -c work with any valid pdb commands.

gh-107625 [https://github.com/python/cpython/issues/107625]: Raise configparser.ParsingError from read() and read_file() methods of configparser.ConfigParser if a key without a corresponding value is continued (that is, followed by an indented line).

gh-107155 [https://github.com/python/cpython/issues/107155]: Fix incorrect output of help(x) where x is a lambda function, which has an __annotations__ dictionary attribute with a "return" key.

gh-57141 [https://github.com/python/cpython/issues/57141]: Add option for non-shallow comparisons to filecmp.dircmp like filecmp.cmp(). Original patch by Steven Ward. Enhanced by Tobias Rautenkranz

gh-69990 [https://github.com/python/cpython/issues/69990]: Profile.print_stats() has been improved to accept multiple sort arguments. Patched by Chiu-Hsiang Hsu and Furkan Onder.

gh-104061 [https://github.com/python/cpython/issues/104061]: Add socket.SO_BINDTOIFINDEX constant.

gh-60346 [https://github.com/python/cpython/issues/60346]: Fix ArgumentParser inconsistent with parse_known_args.

gh-102389 [https://github.com/python/cpython/issues/102389]: Add windows_31j to aliases for cp932 codec

gh-72249 [https://github.com/python/cpython/issues/72249]: functools.partial`s of :func:`repr() has been improved to include the module name. Patched by Furkan Onder and Anilyka Barry.

gh-100985 [https://github.com/python/cpython/issues/100985]: Update HTTPSConnection to consistently wrap IPv6 Addresses when using a proxy.

gh-100884 [https://github.com/python/cpython/issues/100884]: email: fix misfolding of comma in address-lists over multiple lines in combination with unicode encoding.

gh-95782 [https://github.com/python/cpython/issues/95782]: Fix io.BufferedReader.tell(), io.BufferedReader.seek(), _pyio.BufferedReader.tell(), io.BufferedRandom.tell(), io.BufferedRandom.seek() and _pyio.BufferedRandom.tell() being able to return negative offsets.

gh-96310 [https://github.com/python/cpython/issues/96310]: Fix a traceback in argparse when all options in a mutually exclusive group are suppressed.

gh-93205 [https://github.com/python/cpython/issues/93205]: Fixed a bug in logging.handlers.TimedRotatingFileHandler where multiple rotating handler instances pointing to files with the same name but different extensions would conflict and not delete the correct files.

bpo-31116 [https://bugs.python.org/issue?@action=redirect&bpo=31116]: Add Z85 encoding to base64.

bpo-44865 [https://bugs.python.org/issue?@action=redirect&bpo=44865]: Add missing call to localization function in argparse.

bpo-43952 [https://bugs.python.org/issue?@action=redirect&bpo=43952]: Fix multiprocessing.connection.Listener.accept() to accept empty bytes as authkey. Not accepting empty bytes as key causes it to hang indefinitely.

bpo-42125 [https://bugs.python.org/issue?@action=redirect&bpo=42125]: linecache: get module name from __spec__ if available. This allows getting source code for the __main__ module when a custom loader is used.

bpo-41122 [https://bugs.python.org/issue?@action=redirect&bpo=41122]: Failing to pass arguments properly to functools.singledispatchmethod() now throws a TypeError instead of hitting an index out of bounds internally.

bpo-40818 [https://bugs.python.org/issue?@action=redirect&bpo=40818]: The asyncio REPL now runs sys.__interactivehook__ on startup. The default implementation of sys.__interactivehook__ provides auto-completion to the asyncio REPL. Patch contributed by Rémi Lapeyre.

bpo-33775 [https://bugs.python.org/issue?@action=redirect&bpo=33775]: Add ‘default’ and ‘version’ help text for localization in argparse.

Documentation

gh-115399 [https://github.com/python/cpython/issues/115399]: Document CVE 2023-52425 [https://www.cve.org/CVERecord?id=CVE-2023-52425] of Expat <2.6.0 under “XML vulnerabilities”.

gh-109653 [https://github.com/python/cpython/issues/109653]: Improve import time of uuid on Linux.

Tests

gh-71052 [https://github.com/python/cpython/issues/71052]: Add test exclusions to support running the test suite on Android.

gh-71052 [https://github.com/python/cpython/issues/71052]: Enable test_concurrent_futures on platforms that support threading but not multiprocessing.

gh-115796 [https://github.com/python/cpython/issues/115796]: Make ‘_testinternalcapi.assemble_code_object’ construct the exception table for the code object.

gh-115720 [https://github.com/python/cpython/issues/115720]: Leak tests (-R, --huntrleaks) now show a summary of the number of leaks found in each iteration.

gh-115122 [https://github.com/python/cpython/issues/115122]: Add --bisect option to regrtest test runner: run failed tests with test.bisect_cmd to identify failing tests. Patch by Victor Stinner.

gh-115596 [https://github.com/python/cpython/issues/115596]: Fix ProgramPriorityTests in test_os permanently changing the process priority.

gh-115556 [https://github.com/python/cpython/issues/115556]: On Windows, commas passed in arguments to Tools\buildbot\test.bat and PCbuild\\rt.bat are now properly handled.

gh-115420 [https://github.com/python/cpython/issues/115420]: Fix translation of exception handler targets by _testinternalcapi.optimize_cfg.

gh-115376 [https://github.com/python/cpython/issues/115376]: Fix segfault in _testinternalcapi.compiler_codegen on bad input.

Build

gh-116313 [https://github.com/python/cpython/issues/116313]: Get WASI builds to work under wasmtime 18 w/ WASI 0.2/preview2 primitives.

gh-71052 [https://github.com/python/cpython/issues/71052]: Change Android’s sys.platform from "linux" to "android".

gh-116117 [https://github.com/python/cpython/issues/116117]: Backport libb2’s PR #42 to fix compiling CPython on 32-bit Windows with clang-cl.

gh-71052 [https://github.com/python/cpython/issues/71052]: Fix several Android build issues

gh-114099 [https://github.com/python/cpython/issues/114099]: A testbed project was added to run the test suite on iOS.

gh-115350 [https://github.com/python/cpython/issues/115350]: Fix building ctypes module with -DWIN32_LEAN_AND_MEAN defined

gh-111225 [https://github.com/python/cpython/issues/111225]: Link extension modules against libpython on Android.

gh-115737 [https://github.com/python/cpython/issues/115737]: The install name for libPython is now correctly set for non-framework macOS builds.

gh-114099 [https://github.com/python/cpython/issues/114099]: Makefile targets were added to support compiling an iOS-compatible framework build.

Windows

gh-116012 [https://github.com/python/cpython/issues/116012]: Ensure the value of GetLastError() is preserved across GIL operations.

gh-115582 [https://github.com/python/cpython/issues/115582]: Building extensions intended for free-threaded builds of CPython now require compiling with /DPy_GIL_DISABLED manually when using a regular install. This is expected to change in future releases.

gh-115554 [https://github.com/python/cpython/issues/115554]: The installer now has more strict rules about updating the Inicializador Python para Windows. In general, most users only have a single launcher installed and will see no difference. When multiple launchers have been installed, the option to install the launcher is disabled until all but one have been removed. Downgrading the launcher (which was never allowed) is now more obviously blocked.

gh-115543 [https://github.com/python/cpython/issues/115543]: Inicializador Python para Windows can now detect Python 3.13 when installed from the Microsoft Store, and will install Python 3.12 by default when PYLAUNCHER_ALLOW_INSTALL is set.

macOS

gh-116145 [https://github.com/python/cpython/issues/116145]: Update macOS installer to Tcl/Tk 8.6.14.

IDLE

gh-88516 [https://github.com/python/cpython/issues/88516]: On macOS show a proxy icon in the title bar of editor windows to match platform behaviour.

Tools/Demos

gh-100176 [https://github.com/python/cpython/issues/100176]: Remove outdated Tools/{io,cc,string}bench

bpo-45101 [https://bugs.python.org/issue?@action=redirect&bpo=45101]: Add consistency in usage message IO between 2 versions of python-config.

C API

gh-114626 [https://github.com/python/cpython/issues/114626]: Add again _PyCFunctionFastWithKeywords name, removed in Python 3.13 alpha 4 by mistake. Keep the old private _PyCFunctionFastWithKeywords name (Python 3.7) as an alias to the new public name PyCFunctionFastWithKeywords (Python 3.13a4). Patch by Victor Stinner.

gh-111418 [https://github.com/python/cpython/issues/111418]: Add PyHASH_MODULUS, PyHASH_BITS, PyHASH_INF and PyHASH_IMAG C macros. Patch by Sergey B Kirpichev.

Python 3.13.0 alpha 4

Release date: 2024-02-15

Security

gh-115399 [https://github.com/python/cpython/issues/115399]: Update bundled libexpat to 2.6.0

gh-115243 [https://github.com/python/cpython/issues/115243]: Fix possible crashes in collections.deque.index() when the deque is concurrently modified.

Core and Builtins

gh-112087 [https://github.com/python/cpython/issues/112087]: For an empty reverse iterator for list will be reduced to reversed(). Patch by Donghee Na

gh-114570 [https://github.com/python/cpython/issues/114570]: Add PythonFinalizationError exception. This exception derived from RuntimeError is raised when an operation is blocked during the Python finalization. Patch by Victor Stinner.

gh-114695 [https://github.com/python/cpython/issues/114695]: Add sys._clear_internal_caches(), which clears all internal performance-related caches (and deprecate the less-general sys._clear_type_cache() function).

gh-114828 [https://github.com/python/cpython/issues/114828]: Fix compilation crashes in uncommon code examples using super() inside a comprehension in a class body.

gh-112069 [https://github.com/python/cpython/issues/112069]: Adapt set and frozenset methods to Argument Clinic.

gh-115011 [https://github.com/python/cpython/issues/115011]: Setters for members with an unsigned integer type now support the same range of valid values for objects that has a __index__() method as for int.

gh-114887 [https://github.com/python/cpython/issues/114887]: Changed socket type validation in create_datagram_endpoint() to accept all non-stream sockets. This fixes a regression in compatibility with raw sockets.

gh-114944 [https://github.com/python/cpython/issues/114944]: Fixes a race between PyParkingLot_Park and _PyParkingLot_UnparkAll.

gh-113462 [https://github.com/python/cpython/issues/113462]: Limit the number of versions that a single class can use. Prevents a few wayward classes using up all the version numbers.

gh-76763 [https://github.com/python/cpython/issues/76763]: The chr() builtin function now always raises ValueError for values outside the valid range. Previously it raised OverflowError for very large or small values.

gh-114806 [https://github.com/python/cpython/issues/114806]: No longer specialize calls to classes, if those classes have metaclasses. Fixes bug where the __call__ method of the metaclass was not being called.

gh-107944 [https://github.com/python/cpython/issues/107944]: Improve error message for function calls with bad keyword arguments via getargs

gh-112529 [https://github.com/python/cpython/issues/112529]: The free-threaded build no longer allocates space for the PyGC_Head structure in objects that support cyclic garbage collection. A number of other fields and data structures are used as replacements, including ob_gc_bits, ob_tid, and mimalloc internal data structures.

gh-114456 [https://github.com/python/cpython/issues/114456]: Lower the recursion limit under a debug build of WASI.

gh-114083 [https://github.com/python/cpython/issues/114083]: Compiler applies folding of LOAD_CONST with following instruction in a separate pass before other optimisations. This enables jump threading in certain circumstances.

gh-114388 [https://github.com/python/cpython/issues/114388]: Fix a RuntimeWarning emitted when assign an integer-like value that is not an instance of int to an attribute that corresponds to a C struct member of type T_UINT and T_ULONG. Fix a double RuntimeWarning emitted when assign a negative integer value to an attribute that corresponds to a C struct member of type T_UINT.

gh-114265 [https://github.com/python/cpython/issues/114265]: Compiler propagates line numbers before optimization, leading to more optimization opportunities and removing the need for the guarantee_lineno_for_exits hack.

gh-112529 [https://github.com/python/cpython/issues/112529]: The free-threaded build now has its own thread-safe GC implementation that uses mimalloc to find GC tracked objects. It is non-generational, unlike the existing GC implementation.

gh-114050 [https://github.com/python/cpython/issues/114050]: Fix segmentation fault caused by an incorrect format string in TypeError exception when more than two arguments are passed to int.

gh-112354 [https://github.com/python/cpython/issues/112354]: The END_FOR instruction now pops only one value. This is to better support side exits in loops.

gh-113884 [https://github.com/python/cpython/issues/113884]: Make queue.SimpleQueue thread safe when the GIL is disabled.

gh-114058 [https://github.com/python/cpython/issues/114058]: Implement the foundations of the Tier 2 redundancy eliminator.

gh-113939 [https://github.com/python/cpython/issues/113939]: frame.clear(): Clear frame.f_locals as well, and not only the fast locals. This is relevant once frame.f_locals was accessed, which would contain also references to all the locals.

gh-112050 [https://github.com/python/cpython/issues/112050]: Convert collections.deque to use Argument Clinic.

gh-112050 [https://github.com/python/cpython/issues/112050]: Make methods on collections.deque thread-safe when the GIL is disabled.

gh-113464 [https://github.com/python/cpython/issues/113464]: Add an option (--enable-experimental-jit for configure-based builds or --experimental-jit for PCbuild-based ones) to build an experimental just-in-time compiler, based on copy-and-patch [https://fredrikbk.com/publications/copy-and-patch.pdf]

gh-113055 [https://github.com/python/cpython/issues/113055]: Make interp->obmalloc a pointer. For interpreters that share state with the main interpreter, this points to the same static memory structure. For interpreters with their own obmalloc state, it is heap allocated. Add free_obmalloc_arenas() which will free the obmalloc arenas and radix tree structures for interpreters with their own obmalloc state.

gh-55664 [https://github.com/python/cpython/issues/55664]: Add warning when creating type using a namespace dictionary with non-string keys. Patched by Daniel Urban and Furkan Onder.

gh-104530 [https://github.com/python/cpython/issues/104530]: Use native Win32 condition variables.

Library

gh-115392 [https://github.com/python/cpython/issues/115392]: Fix a bug in doctest where incorrect line numbers would be reported for decorated functions.

gh-114563 [https://github.com/python/cpython/issues/114563]: Fix several format() bugs when using the C implementation of Decimal: * memory leak in some rare cases when using the z format option (coerce negative 0) * incorrect output when applying the z format option to type F (fixed-point with capital NAN / INF) * incorrect output when applying the # format option (alternate form)

gh-102840 [https://github.com/python/cpython/issues/102840]: Fix confused traceback when floordiv, mod, or divmod operations happens between instances of fractions.Fraction and complex.

gh-115165 [https://github.com/python/cpython/issues/115165]: Most exceptions are now ignored when attempting to set the __orig_class__ attribute on objects returned when calling typing generic aliases (including generic aliases created using typing.Annotated). Previously only AttributeError was ignored. Patch by Dave Shawley.

gh-112903 [https://github.com/python/cpython/issues/112903]: Fix “issubclass() arg 1 must be a class” errors in certain cases of multiple inheritance with generic aliases (regression in early 3.13 alpha releases).

gh-115133 [https://github.com/python/cpython/issues/115133]: Fix tests for XMLPullParser with Expat 2.6.0.

gh-115059 [https://github.com/python/cpython/issues/115059]: io.BufferedRandom.read1() now flushes the underlying write buffer.

gh-79382 [https://github.com/python/cpython/issues/79382]: Trailing ** no longer allows to match files and non-existing paths in recursive glob().

gh-67837 [https://github.com/python/cpython/issues/67837]: Avoid race conditions in the creation of directories during concurrent extraction in tarfile and zipfile.

gh-115060 [https://github.com/python/cpython/issues/115060]: Speed up pathlib.Path.glob() by removing redundant regex matching.

gh-97928 [https://github.com/python/cpython/issues/97928]: Partially revert the behavior of tkinter.Text.count(). By default it preserves the behavior of older Python versions, except that setting wantobjects to 0 no longer has effect. Add a new parameter return_ints: specifying return_ints=True makes Text.count() always returning the single count as an integer instead of a 1-tuple or None.

gh-114628 [https://github.com/python/cpython/issues/114628]: When csv.Error is raised when handling TypeError, do not print the TypeError traceback.

gh-85984 [https://github.com/python/cpython/issues/85984]: Added _POSIX_VDISABLE from C’s <unistd.h> to termios.

gh-114965 [https://github.com/python/cpython/issues/114965]: Update bundled pip to 24.0

gh-114959 [https://github.com/python/cpython/issues/114959]: tarfile no longer ignores errors when trying to extract a directory on top of a file.

gh-114894 [https://github.com/python/cpython/issues/114894]: Add array.array.clear().

gh-114071 [https://github.com/python/cpython/issues/114071]: Support tuple subclasses using auto() for enum member value.

gh-109475 [https://github.com/python/cpython/issues/109475]: Fix support of explicit option value “–” in argparse (e.g. --option=--).

gh-49766 [https://github.com/python/cpython/issues/49766]: Fix date-datetime comparison. Now the special comparison methods like __eq__ and __lt__ return NotImplemented if one of comparands is date and other is datetime instead of ignoring the time part and the time zone or forcefully return “not equal” or raise TypeError. It makes comparison of date and datetime subclasses more symmetric and allows to change the default behavior by overriding the special comparison methods in subclasses.

gh-110190 [https://github.com/python/cpython/issues/110190]: Fix ctypes structs with array on Windows ARM64 platform by setting MAX_STRUCT_SIZE to 32 in stgdict. Patch by Diego Russo

gh-114678 [https://github.com/python/cpython/issues/114678]: Ensure that deprecation warning for ‘N’ specifier in Decimal format is not raised for cases where ‘N’ appears in other places in the format specifier. Based on patch by Stefan Krah.

gh-70303 [https://github.com/python/cpython/issues/70303]: Return both files and directories from pathlib.Path.glob() if a pattern ends with “**”. Previously only directories were returned.

gh-109653 [https://github.com/python/cpython/issues/109653]: Improve import time of importlib.metadata and email.utils.

gh-113280 [https://github.com/python/cpython/issues/113280]: Fix a leak of open socket in rare cases when error occurred in ssl.SSLSocket creation.

gh-77749 [https://github.com/python/cpython/issues/77749]: email.policy.EmailPolicy.fold() now always encodes non-ASCII characters in headers if utf8 is false.

gh-83383 [https://github.com/python/cpython/issues/83383]: Synchronization of the dbm.dumb database is now no-op if there was no modification since opening or last synchronization. The directory file for a newly created empty dbm.dumb database is now created immediately after opening instead of deferring this until synchronizing or closing.

gh-91602 [https://github.com/python/cpython/issues/91602]: Add filter keyword-only parameter to sqlite3.Connection.iterdump() for filtering database objects to dump. Patch by Mariusz Felisiak.

gh-112451 [https://github.com/python/cpython/issues/112451]: Prohibit subclassing pure-Python datetime.timezone. This is consistent with C-extension implementation. Patch by Mariusz Felisiak.

gh-69893 [https://github.com/python/cpython/issues/69893]: Add the close() method for the iterator returned by xml.etree.ElementTree.iterparse().

gh-109653 [https://github.com/python/cpython/issues/109653]: Reduce the import time of threading module by ~50%. Patch by Daniel Hollas.

gh-114492 [https://github.com/python/cpython/issues/114492]: Make the result of termios.tcgetattr() reproducible on Alpine Linux. Previously it could leave a random garbage in some fields.

gh-114315 [https://github.com/python/cpython/issues/114315]: Make threading.Lock a real class, not a factory function. Add __new__ to _thread.lock type.

gh-100414 [https://github.com/python/cpython/issues/100414]: Add dbm.sqlite3 as a backend to dbm, and make it the new default dbm backend. Patch by Raymond Hettinger and Erlend E. Aasland.

gh-113267 [https://github.com/python/cpython/issues/113267]: Revert changes in gh-106584 [https://github.com/python/cpython/issues/106584] which made calls of TestResult methods startTest() and stopTest() unbalanced.

gh-75128 [https://github.com/python/cpython/issues/75128]: Ignore an OSError in asyncio.BaseEventLoop.create_server() when IPv6 is available but the interface cannot actually support it.

gh-114423 [https://github.com/python/cpython/issues/114423]: _DummyThread entries in threading._active are now automatically removed when the related thread dies.

gh-114257 [https://github.com/python/cpython/issues/114257]: Dismiss the FileNotFound error in ctypes.util.find_library() and just return None on Linux.

gh-114321 [https://github.com/python/cpython/issues/114321]: Expose more platform specific constants in the fcntl module on Linux, macOS, FreeBSD and NetBSD.

gh-114328 [https://github.com/python/cpython/issues/114328]: The tty.setcbreak() and new tty.cfmakecbreak() no longer clears the terminal input ICRLF flag. This fixes a regression introduced in 3.12 that no longer matched how OSes define cbreak mode in their stty(1) manual pages.

gh-114281 [https://github.com/python/cpython/issues/114281]: Remove type hints from Lib/asyncio/staggered.py. The annotations in the typeshed [https://github.com/python/typeshed] project should be used instead.

gh-101438 [https://github.com/python/cpython/issues/101438]: Avoid reference cycle in ElementTree.iterparse. The iterator returned by ElementTree.iterparse may hold on to a file descriptor. The reference cycle prevented prompt clean-up of the file descriptor if the returned iterator was not exhausted.

gh-114198 [https://github.com/python/cpython/issues/114198]: The signature for the __replace__ method on dataclasses now has the first argument named self, rather than obj.

gh-104522 [https://github.com/python/cpython/issues/104522]: OSError raised when run a subprocess now only has filename attribute set to cwd if the error was caused by a failed attempt to change the current directory.

gh-114149 [https://github.com/python/cpython/issues/114149]: Enum: correctly handle tuple subclasses in custom __new__.

gh-83648 [https://github.com/python/cpython/issues/83648]: Support deprecation of options, positional arguments and subcommands in argparse.

gh-114087 [https://github.com/python/cpython/issues/114087]: Speed up dataclasses.asdict up to 1.35x.

gh-109534 [https://github.com/python/cpython/issues/109534]: Fix a reference leak in asyncio.selector_events.BaseSelectorEventLoop when SSL handshakes fail. Patch contributed by Jamie Phan.

gh-79634 [https://github.com/python/cpython/issues/79634]: Accept path-like objects as patterns in pathlib.Path.glob() and rglob().

gh-112202 [https://github.com/python/cpython/issues/112202]: Ensure that a asyncio.Condition.notify() call does not get lost if the awakened Task is simultaneously cancelled or encounters any other error.

gh-113951 [https://github.com/python/cpython/issues/113951]: Fix the behavior of tag_unbind() methods of tkinter.Text and tkinter.Canvas classes with three arguments. Previously, widget.tag_unbind(tag, sequence, funcid) destroyed the current binding for sequence, leaving sequence unbound, and deleted the funcid command. Now it removes only funcid from the binding for sequence, keeping other commands, and deletes the funcid command. It leaves sequence unbound only if funcid was the last bound command.

gh-97959 [https://github.com/python/cpython/issues/97959]: Fix rendering class methods, bound methods, method and function aliases in pydoc. Class methods no longer have “method of builtins.type instance” note. Corresponding notes are now added for class and unbound methods. Method and function aliases now have references to the module or the class where the origin was defined if it differs from the current. Bound methods are now listed in the static methods section. Methods of builtin classes are now supported as well as methods of Python classes.

gh-113796 [https://github.com/python/cpython/issues/113796]: Add more validation checks in the csv.Dialect constructor. ValueError is now raised if the same character is used in different roles.

gh-113732 [https://github.com/python/cpython/issues/113732]: Fix support of QUOTE_NOTNULL and QUOTE_STRINGS in csv.reader().

gh-113225 [https://github.com/python/cpython/issues/113225]: Speed up pathlib.Path.walk() by using os.DirEntry.path where possible.

gh-89039 [https://github.com/python/cpython/issues/89039]: When replace() method is called on a subclass of datetime, date or time, properly call derived constructor. Previously, only the base class’s constructor was called.

Also, make sure to pass non-zero fold values when creating subclasses in various methods. Previously, fold was silently ignored.

gh-112919 [https://github.com/python/cpython/issues/112919]: Speed-up datetime.datetime.replace(), datetime.date.replace() and datetime.time.replace().

gh-59013 [https://github.com/python/cpython/issues/59013]: Set breakpoint on the first executable line of the function, instead of the line of function definition when the user do break func using pdb

gh-112343 [https://github.com/python/cpython/issues/112343]: Improve handling of pdb convenience variables to avoid replacing string contents.

gh-112240 [https://github.com/python/cpython/issues/112240]: Add option to calendar module CLI to specify the weekday to start each week. Patch by Steven Ward.

gh-111741 [https://github.com/python/cpython/issues/111741]: Recognise image/webp as a standard format in the mimetypes module.

gh-43457 [https://github.com/python/cpython/issues/43457]: Fix the tkinter widget method wm_attributes(). It now accepts the attribute name without the minus prefix to get window attributes and allows to specify attributes and values to set as keyword arguments. Add new optional keyword argument return_python_dict: calling w.wm_attributes(return_python_dict=True) returns the attributes as a dict instead of a tuple. Calling w.wm_attributes() now returns a tuple instead of string if wantobjects was set to 0.

gh-82626 [https://github.com/python/cpython/issues/82626]: Many functions now emit a warning if a boolean value is passed as a file descriptor argument.

gh-111051 [https://github.com/python/cpython/issues/111051]: Added check for file modification during debugging with pdb

gh-110345 [https://github.com/python/cpython/issues/110345]: Show the Tcl/Tk patchlevel (rather than version) in tkinter._test().

gh-38807 [https://github.com/python/cpython/issues/38807]: Fix race condition in trace. Instead of checking if a directory exists and creating it, directly call os.makedirs() with the kwarg exist_ok=True.

gh-75705 [https://github.com/python/cpython/issues/75705]: Set unixfrom envelope in mailbox.mbox and mailbox.MMDF.

gh-106233 [https://github.com/python/cpython/issues/106233]: Fix stacklevel in InvalidTZPathWarning during zoneinfo module import.

gh-105102 [https://github.com/python/cpython/issues/105102]: Allow ctypes.Union to be nested in ctypes.Structure when the system endianness is the opposite of the classes.

gh-104282 [https://github.com/python/cpython/issues/104282]: Fix null pointer dereference in lzma._decode_filter_properties() due to improper handling of BCJ filters with properties of zero length. Patch by Radislav Chugunov.

gh-96471 [https://github.com/python/cpython/issues/96471]: Add queue.Queue termination with shutdown().

gh-101599 [https://github.com/python/cpython/issues/101599]: Changed argparse flag options formatting to remove redundancy.

gh-85984 [https://github.com/python/cpython/issues/85984]: Add POSIX pseudo-terminal functions os.posix_openpt(), os.grantpt(), os.unlockpt(), and os.ptsname().

gh-102512 [https://github.com/python/cpython/issues/102512]: When os.fork() is called from a foreign thread (aka _DummyThread), the type of the thread in a child process is changed to _MainThread. Also changed its name and daemonic status, it can be now joined.

gh-88569 [https://github.com/python/cpython/issues/88569]: Add os.path.isreserved(), which identifies reserved pathnames such as “NUL”, “AUX” and “CON”. This function is only available on Windows.

Deprecate pathlib.PurePath.is_reserved().

bpo-38364 [https://bugs.python.org/issue?@action=redirect&bpo=38364]: The inspect functions isgeneratorfunction, iscoroutinefunction, isasyncgenfunction now support functools.partialmethod wrapped functions the same way they support functools.partial.

Documentation

gh-115233 [https://github.com/python/cpython/issues/115233]: Fix an example for LoggerAdapter in the Logging Cookbook.

gh-114123 [https://github.com/python/cpython/issues/114123]: Move the csv module docstring to the csv module instead of reexporting it from the internal _csv module, and remove __doc__ from csv.__all__.

Move csv.__version__ to the csv module instead of reexporting it from the internal _csv module, and remove __version__ from csv.__all__.

Tests

gh-114099 [https://github.com/python/cpython/issues/114099]: Added test exclusions required to run the test suite on iOS.

gh-105089 [https://github.com/python/cpython/issues/105089]: Fix test.test_zipfile.test_core.TestWithDirectory.test_create_directory_with_write test in AIX by doing a bitwise AND of 0xFFFF on mode , so that it will be in sync with zinfo.external_attr

Build

gh-115167 [https://github.com/python/cpython/issues/115167]: Avoid vendoring vcruntime140_threads.dll when building with Visual Studio 2022 version 17.8.

gh-113632 [https://github.com/python/cpython/issues/113632]: Promote WASI to a tier 2 platform and drop Emscripten from tier 3 in configure.ac.

gh-114099 [https://github.com/python/cpython/issues/114099]: configure and Makefile were refactored to accommodate framework builds on Apple platforms other than macOS.

gh-114875 [https://github.com/python/cpython/issues/114875]: Add getgrent() as a prerequisite for building the grp module.

Windows

gh-115049 [https://github.com/python/cpython/issues/115049]: Fixes py.exe launcher failing when run as users without user profiles.

gh-115009 [https://github.com/python/cpython/issues/115009]: Update Windows installer to use SQLite 3.45.1.

gh-109991 [https://github.com/python/cpython/issues/109991]: Update Windows build to use OpenSSL 3.0.13.

gh-111239 [https://github.com/python/cpython/issues/111239]: Update Windows builds to use zlib v1.3.1.

gh-100107 [https://github.com/python/cpython/issues/100107]: The py.exe launcher will no longer attempt to run the Microsoft Store redirector when launching a script containing a /usr/bin/env shebang

gh-112984 [https://github.com/python/cpython/issues/112984]: Adds free-threaded binaries to Windows installer as an optional component.

gh-89240 [https://github.com/python/cpython/issues/89240]: Allows multiprocessing to create pools of greater than 62 processes.

macOS

gh-115009 [https://github.com/python/cpython/issues/115009]: Update macOS installer to use SQLite 3.45.1.

gh-109991 [https://github.com/python/cpython/issues/109991]: Update macOS installer to use OpenSSL 3.0.13.

gh-114490 [https://github.com/python/cpython/issues/114490]: Add Mach-O linkage support for platform.architecture().

gh-87804 [https://github.com/python/cpython/issues/87804]: On macOS the result of os.statvfs and os.fstatvfs now correctly report the size of very large disks, in previous versions the reported number of blocks was wrong for disks with at least 2**32 blocks.

IDLE

gh-96905 [https://github.com/python/cpython/issues/96905]: In idlelib code, stop redefining built-ins ‘dict’ and ‘object’.

gh-103820 [https://github.com/python/cpython/issues/103820]: Revise IDLE bindings so that events from mouse button 4/5 on non-X11 windowing systems (i.e. Win32 and Aqua) are not mistaken for scrolling.

Tools/Demos

gh-113516 [https://github.com/python/cpython/issues/113516]: Don’t set LDSHARED when building for WASI.

gh-109991 [https://github.com/python/cpython/issues/109991]: Update GitHub CI workflows to use OpenSSL 3.0.13 and multissltests to use 1.1.1w, 3.0.13, 3.1.5, and 3.2.1.

gh-115015 [https://github.com/python/cpython/issues/115015]: Fix a bug in Argument Clinic that generated incorrect code for methods with no parameters that use the METH_METHOD | METH_FASTCALL | METH_KEYWORDS calling convention. Only the positional parameter count was checked; any keyword argument passed would be silently accepted.

C API

gh-111140 [https://github.com/python/cpython/issues/111140]: Adds PyLong_AsNativeBytes(), PyLong_FromNativeBytes() and PyLong_FromUnsignedNativeBytes() functions.

gh-114685 [https://github.com/python/cpython/issues/114685]: PyBuffer_FillInfo() now raises a SystemError if called with PyBUF_READ or PyBUF_WRITE as flags. These flags should only be used with the PyMemoryView_* C API.

gh-114685 [https://github.com/python/cpython/issues/114685]: PyObject_GetBuffer() now raises a SystemError if called with PyBUF_READ or PyBUF_WRITE as flags. These flags should only be used with the PyMemoryView_* C API.

gh-114626 [https://github.com/python/cpython/issues/114626]: Add PyCFunctionFast and PyCFunctionFastWithKeywords typedefs (identical to the existing _PyCFunctionFast and _PyCFunctionFastWithKeywords typedefs, just without a leading _ prefix).

gh-114329 [https://github.com/python/cpython/issues/114329]: Add PyList_GetItemRef(), which is similar to PyList_GetItem() but returns a strong reference instead of a borrowed reference.

gh-110850 [https://github.com/python/cpython/issues/110850]: Add PyTime C API:

PyTime_t type.

PyTime_MIN and PyTime_MAX constants.

PyTime_AsSecondsDouble(), PyTime_Monotonic(), PyTime_PerfCounter(), and PyTime_Time() functions.

Patch by Victor Stinner.

gh-112066 [https://github.com/python/cpython/issues/112066]: Add PyDict_SetDefaultRef(): insert a key and value into a dictionary if the key is not already present. This is similar to dict.setdefault(), but returns an integer value indicating if the key was already present. It is also similar to PyDict_SetDefault(), but returns a strong reference instead of a borrowed reference.

Python 3.13.0 alpha 3

Release date: 2024-01-17

Security

gh-113659 [https://github.com/python/cpython/issues/113659]: Skip .pth files with names starting with a dot or hidden file attribute.

gh-112302 [https://github.com/python/cpython/issues/112302]: Created a Software Bill-of-Materials document and tooling for tracking dependencies.

Core and Builtins

gh-107901 [https://github.com/python/cpython/issues/107901]: Compiler duplicates basic blocks that have an eval breaker check, no line number, and multiple predecessors.

gh-107901 [https://github.com/python/cpython/issues/107901]: A jump leaving an exception handler back to normal code no longer checks the eval breaker.

gh-113655 [https://github.com/python/cpython/issues/113655]: Set the C recursion limit to 4000 on Windows, and 10000 on Linux/OSX. This seems to be near the sweet spot to maintain safety, but not compromise backwards compatibility.

gh-113710 [https://github.com/python/cpython/issues/113710]: Add typed stack effects to the interpreter DSL, along with various instruction annotations.

gh-77046 [https://github.com/python/cpython/issues/77046]: On Windows, file descriptors wrapping Windows handles are now created non inheritable by default (PEP 446 [https://peps.python.org/pep-0446/]). Patch by Zackery Spytz and Victor Stinner.

gh-113853 [https://github.com/python/cpython/issues/113853]: Guarantee that all executors make progress. This then guarantees that tier 2 execution always makes progress.

gh-113753 [https://github.com/python/cpython/issues/113753]: Fix an issue where the finalizer of PyAsyncGenASend objects might not be called if they were allocated from a free list.

gh-107901 [https://github.com/python/cpython/issues/107901]: Compiler changed so that synthetic jumps which are not at loop end no longer check the eval breaker.

gh-113703 [https://github.com/python/cpython/issues/113703]: Fix a regression in the codeop module that was causing it to incorrectly identify incomplete f-strings. Patch by Pablo Galindo

gh-89811 [https://github.com/python/cpython/issues/89811]: Check for a valid tp_version_tag before performing bytecode specializations that rely on this value being usable.

gh-111488 [https://github.com/python/cpython/issues/111488]: Changed error message in case of no ‘in’ keyword after ‘for’ in list comprehensions

gh-113657 [https://github.com/python/cpython/issues/113657]: Fix an issue that caused important instruction pointer updates to be optimized out of tier two traces.

gh-113603 [https://github.com/python/cpython/issues/113603]: Fixed bug where a redundant NOP is not removed, causing an assertion to fail in the compiler in debug mode.

gh-113602 [https://github.com/python/cpython/issues/113602]: Fix an error that was causing the parser to try to overwrite existing errors and crashing in the process. Patch by Pablo Galindo

gh-113486 [https://github.com/python/cpython/issues/113486]: No longer issue spurious PY_UNWIND events for optimized calls to classes.

gh-113297 [https://github.com/python/cpython/issues/113297]: Fix segfault in the compiler on with statement with 19 context managers.

gh-113212 [https://github.com/python/cpython/issues/113212]: Improve super error messages.

gh-111375 [https://github.com/python/cpython/issues/111375]: Only use NULL in the exception stack to indicate an exception was handled. Patch by Carey Metcalfe.

gh-112215 [https://github.com/python/cpython/issues/112215]: Increase the C recursion limit by a factor of 3 for non-debug builds, except for webassembly and s390 platforms which are unchanged. This mitigates some regressions in 3.12 with deep recursion mixing builtin (C) and Python code.

gh-113054 [https://github.com/python/cpython/issues/113054]: Fixed bug where a redundant NOP is not removed, causing an assertion to fail in the compiler in debug mode.

gh-106905 [https://github.com/python/cpython/issues/106905]: Use per AST-parser state rather than global state to track recursion depth within the AST parser to prevent potential race condition due to simultaneous parsing.

The issue primarily showed up in 3.11 by multithreaded users of ast.parse(). In 3.12 a change to when garbage collection can be triggered prevented the race condition from occurring.

gh-108866 [https://github.com/python/cpython/issues/108866]: Change the API and contract of _PyExecutorObject to return the next_instr pointer, instead of the frame, and to always execute at least one instruction.

gh-90350 [https://github.com/python/cpython/issues/90350]: Optimize builtin functions min() and max().

gh-112943 [https://github.com/python/cpython/issues/112943]: Correctly compute end column offsets for multiline tokens in the tokenize module. Patch by Pablo Galindo

gh-112125 [https://github.com/python/cpython/issues/112125]: Fix None.__ne__(None) returning NotImplemented instead of False.

gh-74616 [https://github.com/python/cpython/issues/74616]: input() now raises a ValueError when output on the terminal if the prompt contains embedded null characters instead of silently truncating it.

gh-112716 [https://github.com/python/cpython/issues/112716]: Fix SystemError in the import statement and in __reduce__() methods of builtin types when __builtins__ is not a dict.

gh-112730 [https://github.com/python/cpython/issues/112730]: Use color to highlight error locations in tracebacks. Patch by Pablo Galindo

gh-112625 [https://github.com/python/cpython/issues/112625]: Fixes a bug where a bytearray object could be cleared while iterating over an argument in the bytearray.join() method that could result in reading memory after it was freed.

gh-112660 [https://github.com/python/cpython/issues/112660]: Do not clear unexpected errors during formatting error messages for ImportError and AttributeError for modules.

gh-105967 [https://github.com/python/cpython/issues/105967]: Workaround a bug in Apple’s macOS platform zlib library where zlib.crc32() and binascii.crc32() could produce incorrect results on multi-gigabyte inputs. Including when using zipfile on zips containing large data.

gh-95754 [https://github.com/python/cpython/issues/95754]: Provide a better error message when accessing invalid attributes on partially initialized modules. The origin of the module being accessed is now included in the message to help with the common issue of shadowing other modules.

gh-112217 [https://github.com/python/cpython/issues/112217]: Add check for the type of __cause__ returned from calling the type T in raise from T.

gh-111058 [https://github.com/python/cpython/issues/111058]: Change coro.cr_frame/gen.gi_frame to return None after the coroutine/generator has been closed. This fixes a bug where getcoroutinestate() and getgeneratorstate() return the wrong state for a closed coroutine/generator.

gh-112388 [https://github.com/python/cpython/issues/112388]: Fix an error that was causing the parser to try to overwrite tokenizer errors. Patch by pablo Galindo

gh-112387 [https://github.com/python/cpython/issues/112387]: Fix error positions for decoded strings with backwards tokenize errors. Patch by Pablo Galindo

gh-99606 [https://github.com/python/cpython/issues/99606]: Make code generated for an empty f-string identical to the code of an empty normal string.

gh-112367 [https://github.com/python/cpython/issues/112367]: Avoid undefined behaviour when using the perf trampolines by not freeing the code arenas until shutdown. Patch by Pablo Galindo

gh-112320 [https://github.com/python/cpython/issues/112320]: The Tier 2 translator now tracks the confidence level for staying “on trace” (i.e. not exiting back to the Tier 1 interpreter) for branch instructions based on the number of bits set in the branch “counter”. Trace translation ends when the confidence drops below 1/3rd.

gh-109598 [https://github.com/python/cpython/issues/109598]: PyComplex_RealAsDouble()/PyComplex_ImagAsDouble() now tries to convert an object to a complex instance using its __complex__() method before falling back to the __float__() method. Patch by Sergey B Kirpichev.

gh-94606 [https://github.com/python/cpython/issues/94606]: Fix UnicodeEncodeError when email.message.get_payload() reads a message with a Unicode surrogate character and the message content is not well-formed for surrogateescape encoding. Patch by Sidney Markowitz.

bpo-21861 [https://bugs.python.org/issue?@action=redirect&bpo=21861]: Use the object’s actual class name in _io.FileIO.__repr__(), _io._WindowsConsoleIO() and _io.TextIOWrapper.__repr__(), to make these methods subclass friendly.

bpo-45369 [https://bugs.python.org/issue?@action=redirect&bpo=45369]: Remove LibreSSL workarounds as per PEP 644 [https://peps.python.org/pep-0644/].

bpo-34392 [https://bugs.python.org/issue?@action=redirect&bpo=34392]: Added sys._is_interned().

Library

gh-114077 [https://github.com/python/cpython/issues/114077]: Fix possible OverflowError in socket.socket.sendfile() when pass count larger than 2 GiB on 32-bit platform.

gh-111803 [https://github.com/python/cpython/issues/111803]: plistlib now supports loading more deeply nested lists in binary format.

gh-114014 [https://github.com/python/cpython/issues/114014]: Fixed a bug in fractions.Fraction where an invalid string using d in the decimals part creates a different error compared to other invalid letters/characters. Patch by Jeremiah Gabriel Pascual.

gh-108364 [https://github.com/python/cpython/issues/108364]: sqlite3.Connection.iterdump() now ensures that foreign key support is disabled before dumping the database schema, if there is any foreign key violation. Patch by Erlend E. Aasland and Mariusz Felisiak.

gh-113971 [https://github.com/python/cpython/issues/113971]: The zipfile.ZipInfo previously protected ._compresslevel attribute has been made public as .compress_level with the old _compresslevel name remaining available as a property to retain compatibility.

gh-113877 [https://github.com/python/cpython/issues/113877]: Fix tkinter method winfo_pathname() on 64-bit Windows.

gh-113868 [https://github.com/python/cpython/issues/113868]: Added mmap.MAP_NORESERVE, mmap.MAP_NOEXTEND, mmap.MAP_HASSEMAPHORE, mmap.MAP_NOCACHE, mmap.MAP_JIT, mmap.MAP_RESILIENT_CODESIGN, mmap.MAP_RESILIENT_MEDIA, mmap.MAP_32BIT, mmap.MAP_TRANSLATED_ALLOW_EXECUTE, mmap.MAP_UNIX03 and mmap.MAP_TPRO. All of them are mmap(2) flags on macOS.

gh-113848 [https://github.com/python/cpython/issues/113848]: asyncio.TaskGroup() and asyncio.timeout() context managers now handle CancelledError subclasses as well as exact CancelledError.

gh-113661 [https://github.com/python/cpython/issues/113661]: unittest runner: Don’t exit 5 if tests were skipped. The intention of exiting 5 was to detect issues where the test suite wasn’t discovered at all. If we skipped tests, it was correctly discovered.

gh-96037 [https://github.com/python/cpython/issues/96037]: Insert TimeoutError in the context of the exception that was raised during exiting an expired asyncio.timeout() block.

gh-113781 [https://github.com/python/cpython/issues/113781]: Silence unraisable AttributeError when warnings are emitted during Python finalization.

gh-113238 [https://github.com/python/cpython/issues/113238]: Add Anchor to importlib.resources (in order for the code to comply with the documentation)

gh-111693 [https://github.com/python/cpython/issues/111693]: asyncio.Condition.wait() now re-raises the same CancelledError instance that may have caused it to be interrupted. Fixed race condition in asyncio.Semaphore.acquire() when interrupted with a CancelledError.

gh-113791 [https://github.com/python/cpython/issues/113791]: Add CLOCK_MONOTONIC_RAW_APPROX and CLOCK_UPTIME_RAW_APPROX to time on macOS. These are clocks available on macOS 10.12 or later.

gh-112932 [https://github.com/python/cpython/issues/112932]: Restore the ability for zipfile to extractall from zip files with a “/” directory entry in them as is commonly added to zips by some wiki or bug tracker data exporters.

gh-113568 [https://github.com/python/cpython/issues/113568]: Raise deprecation warnings from pathlib.PurePath and not its private base class PurePathBase.

gh-113594 [https://github.com/python/cpython/issues/113594]: Fix UnicodeEncodeError in email when re-fold lines that contain unknown-8bit encoded part followed by non-unknown-8bit encoded part.

gh-113538 [https://github.com/python/cpython/issues/113538]: In asyncio.StreamReaderProtocol.connection_made(), there is callback that logs an error if the task wrapping the “connected callback” fails. This callback would itself fail if the task was cancelled. Prevent this by checking whether the task was cancelled first. If so, close the transport but don’t log an error.

gh-113626 [https://github.com/python/cpython/issues/113626]: Add support for the allow_code argument in the marshal module. Passing allow_code=False prevents serialization and de-serialization of code objects which is incompatible between Python versions.

gh-85567 [https://github.com/python/cpython/issues/85567]: Fix resource warnings for unclosed files in pickle and pickletools command line interfaces.

gh-113537 [https://github.com/python/cpython/issues/113537]: Support loads str in plistlib.loads().

gh-89850 [https://github.com/python/cpython/issues/89850]: Add default implementations of pickle.Pickler.persistent_id() and pickle.Unpickler.persistent_load() methods in the C implementation. Calling super().persistent_id() and super().persistent_load() in subclasses of the C implementation of pickle.Pickler and pickle.Unpickler classes no longer causes infinite recursion.

gh-113569 [https://github.com/python/cpython/issues/113569]: Indicate if there were no actual calls in unittest assert_has_calls() failure.

gh-101225 [https://github.com/python/cpython/issues/101225]: Increase the backlog for multiprocessing.connection.Listener objects created by multiprocessing.manager and multiprocessing.resource_sharer to significantly reduce the risk of getting a connection refused error when creating a multiprocessing.connection.Connection to them.

gh-113568 [https://github.com/python/cpython/issues/113568]: Raise audit events from pathlib.Path and not its private base class PathBase.

gh-113543 [https://github.com/python/cpython/issues/113543]: Make sure that webbrowser.MacOSXOSAScript sends webbrowser.open audit event.

gh-113028 [https://github.com/python/cpython/issues/113028]: When a second reference to a string appears in the input to pickle, and the Python implementation is in use, we are guaranteed that a single copy gets pickled and a single object is shared when reloaded. Previously, in protocol 0, when a string contained certain characters (e.g. newline) it resulted in duplicate objects.

gh-113421 [https://github.com/python/cpython/issues/113421]: Fix multiprocessing logger for %(filename)s.

gh-111784 [https://github.com/python/cpython/issues/111784]: Fix segfaults in the _elementtree module. Fix first segfault during deallocation of _elementtree.XMLParser instances by keeping strong reference to pyexpat module in module state for capsule lifetime. Fix second segfault which happens in the same deallocation process by keeping strong reference to _elementtree module in XMLParser structure for _elementtree module lifetime.

gh-113407 [https://github.com/python/cpython/issues/113407]: Fix import of unittest.mock when CPython is built without docstrings.

gh-113320 [https://github.com/python/cpython/issues/113320]: Fix regression in Python 3.12 where Protocol classes that were not marked as runtime-checkable would be unnecessarily introspected, potentially causing exceptions to be raised if the protocol had problematic members. Patch by Alex Waygood.

gh-53502 [https://github.com/python/cpython/issues/53502]: Add a new option aware_datetime in plistlib to loads or dumps aware datetime.

gh-113358 [https://github.com/python/cpython/issues/113358]: Fix rendering tracebacks with exceptions with a broken __getattr__

gh-113214 [https://github.com/python/cpython/issues/113214]: Fix an AttributeError during asyncio SSL protocol aborts in SSL-over-SSL scenarios.

gh-113246 [https://github.com/python/cpython/issues/113246]: Update bundled pip to 23.3.2.

gh-87264 [https://github.com/python/cpython/issues/87264]: Fixed tarfile list() method to show file type.

gh-112182 [https://github.com/python/cpython/issues/112182]: asyncio.futures.Future.set_exception() now transforms StopIteration into RuntimeError instead of hanging or other misbehavior. Patch contributed by Jamie Phan.

gh-113225 [https://github.com/python/cpython/issues/113225]: Speed up pathlib.Path.glob() by using os.DirEntry.path where possible.

gh-113149 [https://github.com/python/cpython/issues/113149]: Improve error message when a JSON array or object contains a trailing comma. Patch by Carson Radtke.

gh-113117 [https://github.com/python/cpython/issues/113117]: The subprocess module can now use the os.posix_spawn() function with close_fds=True on platforms where posix_spawn_file_actions_addclosefrom_np is available. Patch by Jakub Kulik.

gh-113199 [https://github.com/python/cpython/issues/113199]: Make http.client.HTTPResponse.read1 and http.client.HTTPResponse.readline close IO after reading all data when content length is known. Patch by Illia Volochii.

gh-113191 [https://github.com/python/cpython/issues/113191]: Add support of os.fchmod() and a file descriptor in os.chmod() on Windows.

gh-113188 [https://github.com/python/cpython/issues/113188]: Fix shutil.copymode() and shutil.copystat() on Windows. Previously they worked differently if dst is a symbolic link: they modified the permission bits of dst itself rather than the file it points to if follow_symlinks is true or src is not a symbolic link, and did not modify the permission bits if follow_symlinks is false and src is a symbolic link.

gh-113119 [https://github.com/python/cpython/issues/113119]: os.posix_spawn() now accepts env=None, which makes the newly spawned process use the current process environment. Patch by Jakub Kulik.

gh-113202 [https://github.com/python/cpython/issues/113202]: Add a strict option to batched() in the itertools module.

gh-61648 [https://github.com/python/cpython/issues/61648]: Detect line numbers of properties in doctests.

gh-113175 [https://github.com/python/cpython/issues/113175]: Sync with importlib_metadata 7.0, including improved type annotations, fixed issue with symlinked packages in package_distributions, added EntryPoints.__repr__, introduced the diagnose script, added Distribution.origin property, and removed deprecated EntryPoint access by numeric index (tuple behavior).

gh-59616 [https://github.com/python/cpython/issues/59616]: Add support of os.lchmod() and the follow_symlinks argument in os.chmod() on Windows. Note that the default value of follow_symlinks in os.lchmod() is False on Windows.

gh-112559 [https://github.com/python/cpython/issues/112559]: signal.signal() and signal.getsignal() no longer call repr on callable handlers. asyncio.run() and asyncio.Runner.run() no longer call repr on the task results. Patch by Yilei Yang.

gh-112962 [https://github.com/python/cpython/issues/112962]: dis module functions add cache information to the Instruction instance rather than creating fake Instruction instances to represent the cache entries.

gh-112989 [https://github.com/python/cpython/issues/112989]: Reduce overhead to connect sockets with asyncio SelectorEventLoop.

gh-112970 [https://github.com/python/cpython/issues/112970]: Use closefrom() on Linux where available (e.g. glibc-2.34), rather than only FreeBSD.

gh-110190 [https://github.com/python/cpython/issues/110190]: Fix ctypes structs with array on PPC64LE platform by setting MAX_STRUCT_SIZE to 64 in stgdict. Patch by Diego Russo.

gh-112540 [https://github.com/python/cpython/issues/112540]: The statistics.geometric_mean() function now returns zero for datasets containing a zero. Formerly, it would raise an exception.

gh-87286 [https://github.com/python/cpython/issues/87286]: Added LOG_FTP, LOG_NETINFO, LOG_REMOTEAUTH, LOG_INSTALL, LOG_RAS, and LOG_LAUNCHD tot the syslog module, all of them constants on used on macOS.

gh-112800 [https://github.com/python/cpython/issues/112800]: Fix asyncio SubprocessTransport.close() not to throw PermissionError when used with setuid executables.

gh-51944 [https://github.com/python/cpython/issues/51944]: Add the following constants to the termios module. These values are present in macOS system headers: ALTWERASE, B14400, B28800, B7200, B76800, CCAR_OFLOW, CCTS_OFLOW, CDSR_OFLOW, CDTR_IFLOW, CIGNORE, CRTS_IFLOW, EXTPROC, IUTF8, MDMBUF, NL2, NL3, NOKERNINFO, ONOEOT, OXTABS, VDSUSP, VSTATUS.

gh-79325 [https://github.com/python/cpython/issues/79325]: Fix an infinite recursion error in tempfile.TemporaryDirectory() cleanup on Windows.

gh-94692 [https://github.com/python/cpython/issues/94692]: shutil.rmtree() now only catches OSError exceptions. Previously a symlink attack resistant version of shutil.rmtree() could ignore or pass to the error handler arbitrary exception when invalid arguments were provided.

gh-112736 [https://github.com/python/cpython/issues/112736]: The use of del-safe symbols in subprocess was refactored to allow for use in cross-platform build environments.

gh-112727 [https://github.com/python/cpython/issues/112727]: Speed up pathlib.Path.absolute(). Patch by Barney Gale.

gh-74690 [https://github.com/python/cpython/issues/74690]: Speedup issubclass() checks against simple runtime-checkable protocols by around 6%. Patch by Alex Waygood.

gh-74690 [https://github.com/python/cpython/issues/74690]: Speedup isinstance() checks by roughly 20% for runtime-checkable protocols that only have one callable member. Speedup issubclass() checks for these protocols by roughly 10%. Patch by Alex Waygood.

gh-112645 [https://github.com/python/cpython/issues/112645]: Remove deprecation error on passing onerror to shutil.rmtree().

gh-112640 [https://github.com/python/cpython/issues/112640]: Add kwdefaults parameter to types.FunctionType to set default keyword argument values.

gh-112622 [https://github.com/python/cpython/issues/112622]: Ensure name parameter is passed to event loop in asyncio.create_task().

gh-112618 [https://github.com/python/cpython/issues/112618]: Fix a caching bug relating to typing.Annotated. Annotated[str, True] is no longer identical to Annotated[str, 1].

gh-112334 [https://github.com/python/cpython/issues/112334]: Fixed a performance regression in 3.12’s subprocess on Linux where it would no longer use the fast-path vfork() system call when it could have due to a logic bug, instead falling back to the safe but slower fork().

Also fixed a second 3.12.0 potential security bug. If a value of extra_groups=[] was passed to subprocess.Popen or related APIs, the underlying setgroups(0, NULL) system call to clear the groups list would not be made in the child process prior to exec().

This was identified via code inspection in the process of fixing the first bug.

gh-110190 [https://github.com/python/cpython/issues/110190]: Fix ctypes structs with array on Arm platform by setting MAX_STRUCT_SIZE to 32 in stgdict. Patch by Diego Russo.

gh-81194 [https://github.com/python/cpython/issues/81194]: Fix a crash in socket.if_indextoname() with specific value (UINT_MAX). Fix an integer overflow in socket.if_indextoname() on 64-bit non-Windows platforms.

gh-112578 [https://github.com/python/cpython/issues/112578]: Fix a spurious RuntimeWarning when executing the zipfile module.

gh-112516 [https://github.com/python/cpython/issues/112516]: Update the bundled copy of pip to version 23.3.1.

gh-112510 [https://github.com/python/cpython/issues/112510]: Add readline.backend for the backend readline uses (editline or readline)

gh-112328 [https://github.com/python/cpython/issues/112328]: [Enum] Make EnumDict, EnumDict.member_names, EnumType._add_alias_ and EnumType._add_value_alias_ public.

gh-112509 [https://github.com/python/cpython/issues/112509]: Fix edge cases that could cause a key to be present in both the __required_keys__ and __optional_keys__ attributes of a typing.TypedDict. Patch by Jelle Zijlstra.

gh-101336 [https://github.com/python/cpython/issues/101336]: Add keep_alive keyword parameter for AbstractEventLoop.create_server() and BaseEventLoop.create_server().

gh-63284 [https://github.com/python/cpython/issues/63284]: Added support for TLS-PSK (pre-shared key) mode to the ssl module.

gh-112414 [https://github.com/python/cpython/issues/112414]: Fix regression in Python 3.12 where calling repr() on a module that had been imported using a custom loader could fail with AttributeError. Patch by Alex Waygood.

gh-112358 [https://github.com/python/cpython/issues/112358]: Revert change to struct.Struct initialization that broke some cases of subclassing.

gh-112405 [https://github.com/python/cpython/issues/112405]: Optimize pathlib.PurePath.relative_to(). Patch by Alex Waygood.

gh-94722 [https://github.com/python/cpython/issues/94722]: Fix bug where comparison between instances of DocTest fails if one of them has None as its lineno.

gh-112361 [https://github.com/python/cpython/issues/112361]: Speed up a small handful of pathlib methods by removing some temporary objects.

gh-112345 [https://github.com/python/cpython/issues/112345]: Improve error message when trying to call issubclass() against a typing.Protocol that has non-method members. Patch by Randolf Scholz.

gh-112137 [https://github.com/python/cpython/issues/112137]: Change dis output to display no-lineno as “–” instead of “None”.

gh-112332 [https://github.com/python/cpython/issues/112332]: Deprecate the exc_type field of traceback.TracebackException. Add exc_type_str to replace it.

gh-81620 [https://github.com/python/cpython/issues/81620]: Add extra tests for random.binomialvariate()

gh-112292 [https://github.com/python/cpython/issues/112292]: Fix a crash in readline when imported from a sub interpreter. Patch by Anthony Shaw

gh-77621 [https://github.com/python/cpython/issues/77621]: Slightly improve the import time of the pathlib module by deferring some imports. Patch by Barney Gale.

gh-112137 [https://github.com/python/cpython/issues/112137]: Change dis output to display logical labels for jump targets instead of offsets.

gh-112139 [https://github.com/python/cpython/issues/112139]: Add Signature.format() to format signatures to string with extra options. And use it in pydoc to render more readable signatures that have new lines between parameters.

gh-112105 [https://github.com/python/cpython/issues/112105]: Make readline.set_completer_delims() work with libedit

gh-106922 [https://github.com/python/cpython/issues/106922]: Display multiple lines with traceback when errors span multiple lines.

gh-111874 [https://github.com/python/cpython/issues/111874]: When creating a typing.NamedTuple class, ensure __set_name__() is called on all objects that define __set_name__ and exist in the values of the NamedTuple class’s class dictionary. Patch by Alex Waygood.

gh-68166 [https://github.com/python/cpython/issues/68166]: Add support of the “vsapi” element type in tkinter.ttk.Style.element_create().

gh-110275 [https://github.com/python/cpython/issues/110275]: Named tuple’s methods _replace() and __replace__() now raise TypeError instead of ValueError for invalid keyword arguments.

gh-99367 [https://github.com/python/cpython/issues/99367]: Do not mangle sys.path[0] in pdb if safe_path is set

gh-111615 [https://github.com/python/cpython/issues/111615]: Fix a regression caused by a fix to gh-93162 [https://github.com/python/cpython/issues/93162] whereby you couldn’t configure a QueueHandler without specifying handlers.

gh-75666 [https://github.com/python/cpython/issues/75666]: Fix the behavior of tkinter widget’s unbind() method with two arguments. Previously, widget.unbind(sequence, funcid) destroyed the current binding for sequence, leaving sequence unbound, and deleted the funcid command. Now it removes only funcid from the binding for sequence, keeping other commands, and deletes the funcid command. It leaves sequence unbound only if funcid was the last bound command.

gh-67790 [https://github.com/python/cpython/issues/67790]: Implement basic formatting support (minimum width, alignment, fill) for fractions.Fraction.

gh-111049 [https://github.com/python/cpython/issues/111049]: Fix crash during garbage collection of the io.BytesIO buffer object.

gh-102980 [https://github.com/python/cpython/issues/102980]: Redirect the output of interact command of pdb to the same channel as the debugger. Add tests and improve docs.

gh-102988 [https://github.com/python/cpython/issues/102988]: email.utils.getaddresses() and email.utils.parseaddr() now return ('', '') 2-tuples in more situations where invalid email addresses are encountered instead of potentially inaccurate values. Add optional strict parameter to these two functions: use strict=False to get the old behavior, accept malformed inputs. getattr(email.utils, 'supports_strict_parsing', False) can be use to check if the strict parameter is available. Patch by Thomas Dwyer and Victor Stinner to improve the CVE 2023-27043 [https://www.cve.org/CVERecord?id=CVE-2023-27043] fix.

gh-52161 [https://github.com/python/cpython/issues/52161]: cmd.Cmd.do_help() now cleans docstrings with inspect.cleandoc() before writing them. Patch by Filip Łapkiewicz.

gh-82300 [https://github.com/python/cpython/issues/82300]: Add track parameter to multiprocessing.shared_memory.SharedMemory that allows using shared memory blocks without having to register with the POSIX resource tracker that automatically releases them upon process exit.

gh-110109 [https://github.com/python/cpython/issues/110109]: Add private pathlib._PurePathBase class: a base class for pathlib.PurePath that omits certain magic methods. It may be made public (along with _PathBase) in future.

gh-109858 [https://github.com/python/cpython/issues/109858]: Protect zipfile from “quoted-overlap” zipbomb. It now raises BadZipFile when try to read an entry that overlaps with other entry or central directory.

gh-109786 [https://github.com/python/cpython/issues/109786]: Fix possible reference leaks and crash when re-enter the __next__() method of itertools.pairwise.

gh-91539 [https://github.com/python/cpython/issues/91539]: Small (10 - 20%) and trivial performance improvement of urllib.request.getproxies_environment(), typically useful when there are many environment variables to go over.

gh-103363 [https://github.com/python/cpython/issues/103363]: Add follow_symlinks keyword-only argument to pathlib.Path.owner() and group(), defaulting to True.

gh-102130 [https://github.com/python/cpython/issues/102130]: Support tab completion in cmd for editline.

gh-99437 [https://github.com/python/cpython/issues/99437]: runpy.run_path() now decodes path-like objects, making sure __file__ and sys.argv[0] of the module being run are always strings.

gh-104003 [https://github.com/python/cpython/issues/104003]: Add warnings.deprecated(), a decorator to mark deprecated functions to static type checkers and to warn on usage of deprecated classes and functions. See PEP 702 [https://peps.python.org/pep-0702/]. Patch by Jelle Zijlstra.

gh-103708 [https://github.com/python/cpython/issues/103708]: Make hardcoded python name, a configurable parameter so that different implementations of python can override it instead of making huge diffs in sysconfig.py

gh-66515 [https://github.com/python/cpython/issues/66515]: mailbox.MH now supports folders that do not contain a .mh_sequences file (e.g. Claws Mail IMAP-cache folders). Patch by Serhiy Storchaka.

gh-83162 [https://github.com/python/cpython/issues/83162]: Renamed re.error to PatternError for clarity, and kept re.error for backward compatibility. Patch by Matthias Bussonnier and Adam Chhina.

gh-91133 [https://github.com/python/cpython/issues/91133]: Fix a bug in tempfile.TemporaryDirectory cleanup, which now no longer dereferences symlinks when working around file system permission errors.

bpo-43153 [https://bugs.python.org/issue?@action=redirect&bpo=43153]: On Windows, tempfile.TemporaryDirectory previously masked a PermissionError with NotADirectoryError during directory cleanup. It now correctly raises PermissionError if errors are not ignored. Patch by Andrei Kulakov and Ken Jin.

bpo-32731 [https://bugs.python.org/issue?@action=redirect&bpo=32731]: getpass.getuser() now raises OSError for all failures rather than ImportError on systems lacking the pwd module or KeyError if the password database is empty.

bpo-34321 [https://bugs.python.org/issue?@action=redirect&bpo=34321]: mmap.mmap now has a trackfd parameter on Unix; if it is False, the file descriptor specified by fileno will not be duplicated.

bpo-35332 [https://bugs.python.org/issue?@action=redirect&bpo=35332]: The shutil.rmtree() function now ignores errors when calling os.close() when ignore_errors is True, and os.close() no longer retried after error.

bpo-35928 [https://bugs.python.org/issue?@action=redirect&bpo=35928]: io.TextIOWrapper now correctly handles the decoding buffer after read() and write().

bpo-26791 [https://bugs.python.org/issue?@action=redirect&bpo=26791]: shutil.move() now moves a symlink into a directory when that directory is the target of the symlink. This provides the same behavior as the mv shell command. The previous behavior raised an exception. Patch by Jeffrey Kintscher.

bpo-41422 [https://bugs.python.org/issue?@action=redirect&bpo=41422]: Fixed memory leaks of pickle.Pickler and pickle.Unpickler involving cyclic references via the internal memo mapping.

bpo-19821 [https://bugs.python.org/issue?@action=redirect&bpo=19821]: The pydoc.ispackage() function has been deprecated.

bpo-40262 [https://bugs.python.org/issue?@action=redirect&bpo=40262]: The ssl.SSLSocket.recv_into() method no longer requires the buffer argument to implement __len__ and supports buffers with arbitrary item size.

bpo-39912 [https://bugs.python.org/issue?@action=redirect&bpo=39912]: warnings.filterwarnings() and warnings.simplefilter() now raise appropriate exceptions instead of AssertionError. Patch contributed by Rémi Lapeyre.

bpo-37260 [https://bugs.python.org/issue?@action=redirect&bpo=37260]: Fixed a race condition in shutil.rmtree() in which directory entries removed by another process or thread while shutil.rmtree() is running can cause it to raise FileNotFoundError. Patch by Jeffrey Kintscher.

bpo-36959 [https://bugs.python.org/issue?@action=redirect&bpo=36959]: Fix some error messages for invalid ISO format string combinations in strptime() that referred to directives not contained in the format string. Patch by Gordon P. Hemsley.

bpo-18060 [https://bugs.python.org/issue?@action=redirect&bpo=18060]: Fixed a class inheritance issue that can cause segfaults when deriving two or more levels of subclasses from a base class of Structure or Union.

bpo-29779 [https://bugs.python.org/issue?@action=redirect&bpo=29779]: Add a new PYTHON_HISTORY environment variable to set the location of a .python_history file.

bpo-21360 [https://bugs.python.org/issue?@action=redirect&bpo=21360]: mailbox.Maildir now ignores files with a leading dot.

Documentation

gh-111699 [https://github.com/python/cpython/issues/111699]: Relocate smtpd deprecation notice to its own section rather than under locale in What’s New in Python 3.12 document

gh-110746 [https://github.com/python/cpython/issues/110746]: Improved markup for valid options/values for methods ttk.treeview.column and ttk.treeview.heading, and for Layouts.

gh-95649 [https://github.com/python/cpython/issues/95649]: Document that the asyncio module contains code taken from v0.16.0 of the uvloop project [https://github.com/MagicStack/uvloop/tree/v0.16.0], as well as the required MIT licensing information.

Tests

gh-111798 [https://github.com/python/cpython/issues/111798]: Disable test_super_deep() from test_call under pydebug builds on WASI; the stack depth is too small to make the test useful.

gh-111801 [https://github.com/python/cpython/issues/111801]: Lower the recursion limit in test_isinstance for test_infinitely_many_bases(). This prevents a stack overflow on a pydebug build of WASI.

gh-111802 [https://github.com/python/cpython/issues/111802]: Specify a low recursion depth for test_bad_getattr() in test.pickletester to avoid exhausting the stack under a pydebug build for WASI.

gh-44626 [https://github.com/python/cpython/issues/44626]: Fix os.path.isabs() incorrectly returning True when given a path that starts with exactly one (back)slash on Windows.

Fix pathlib.PureWindowsPath.is_absolute() incorrectly returning False for some paths beginning with two (back)slashes.

gh-113633 [https://github.com/python/cpython/issues/113633]: Use module state for the _testcapi extension module.

gh-109980 [https://github.com/python/cpython/issues/109980]: Fix test_tarfile_vs_tar in test_shutil for macOS, where system tar can include more information in the archive than shutil.make_archive.

gh-112769 [https://github.com/python/cpython/issues/112769]: The tests now correctly compare zlib version when zlib.ZLIB_RUNTIME_VERSION contains non-integer suffixes. For example zlib-ng defines the version as 1.3.0.zlib-ng.

gh-112334 [https://github.com/python/cpython/issues/112334]: Adds a regression test to verify that vfork() is used when expected by subprocess on vfork enabled POSIX systems (Linux).

gh-108927 [https://github.com/python/cpython/issues/108927]: Fixed order dependence in running tests in the same process when a test that has submodules (e.g. test_importlib) follows a test that imports its submodule (e.g. test_importlib.util) and precedes a test (e.g. test_unittest or test_compileall) that uses that submodule.

bpo-40648 [https://bugs.python.org/issue?@action=redirect&bpo=40648]: Test modes that file can get with chmod() on Windows.

Build

gh-114013 [https://github.com/python/cpython/issues/114013]: Fix Tools/wasm/wasi.py to not include the path to python.wasm as part of HOSTRUNNER. The environment variable is meant to specify how to run the WASI host only, having python.wasm and relevant flags appended to the HOSTRUNNER. This fixes make test work.

gh-113258 [https://github.com/python/cpython/issues/113258]: Changed the Windows build to write out generated frozen modules into the build tree instead of the source tree.

gh-112305 [https://github.com/python/cpython/issues/112305]: Fixed the check-clean-src step performed on out of tree builds to detect errant $(srcdir)/Python/frozen_modules/*.h files and recommend appropriate source tree cleanup steps to get a working build again.

gh-112536 [https://github.com/python/cpython/issues/112536]: Add support for thread sanitizer (TSAN)

gh-112867 [https://github.com/python/cpython/issues/112867]: Fix the build for the case that WITH_PYMALLOC_RADIX_TREE=0 set.

gh-103065 [https://github.com/python/cpython/issues/103065]: Introduce Tools/wasm/wasi.py to simplify doing a WASI build.

bpo-11102 [https://bugs.python.org/issue?@action=redirect&bpo=11102]: The os.major(), os.makedev(), and os.minor() functions are now available on HP-UX v3.

bpo-36351 [https://bugs.python.org/issue?@action=redirect&bpo=36351]: Do not set ipv6type when cross-compiling.

Windows

gh-114096 [https://github.com/python/cpython/issues/114096]: Process privileges that are activated for creating directory junctions are now restored afterwards, avoiding behaviour changes in other parts of the program.

gh-111877 [https://github.com/python/cpython/issues/111877]: os.stat() calls were returning incorrect time values for files that could not be accessed directly.

gh-111973 [https://github.com/python/cpython/issues/111973]: Update Windows installer to use SQLite 3.44.2.

gh-113009 [https://github.com/python/cpython/issues/113009]: multiprocessing: On Windows, fix a race condition in Process.terminate(): no longer set the returncode attribute to always call WaitForSingleObject() in Process.wait(). Previously, sometimes the process was still running after TerminateProcess() even if GetExitCodeProcess() is not STILL_ACTIVE. Patch by Victor Stinner.

gh-86179 [https://github.com/python/cpython/issues/86179]: Fixes path calculations when launching Python on Windows through a symlink.

gh-71383 [https://github.com/python/cpython/issues/71383]: Update Tcl/Tk in Windows installer to 8.6.13 with a patch to suppress incorrect ThemeChanged warnings.

gh-111650 [https://github.com/python/cpython/issues/111650]: Ensures the Py_GIL_DISABLED preprocessor variable is defined in pyconfig.h so that extension modules written in C are able to use it.

gh-112278 [https://github.com/python/cpython/issues/112278]: Reduce the time cost for some functions in platform on Windows if current user has no permission to the WMI.

gh-73427 [https://github.com/python/cpython/issues/73427]: Deprecate sys._enablelegacywindowsfsencoding(). Use PYTHONLEGACYWINDOWSFSENCODING instead. Patch by Inada Naoki.

gh-87868 [https://github.com/python/cpython/issues/87868]: Correctly sort and remove duplicate environment variables in _winapi.CreateProcess().

bpo-37308 [https://bugs.python.org/issue?@action=redirect&bpo=37308]: Fix mojibake in mmap.mmap when using a non-ASCII tagname argument on Windows.

macOS

gh-113666 [https://github.com/python/cpython/issues/113666]: Add the following constants to module stat: UF_SETTABLE, UF_TRACKED, UF_DATAVAULT, SF_SUPPORTED, SF_SETTABLE, SF_SYNTHETIC, SF_RESTRICTED, SF_FIRMLINK and SF_DATALESS. The values UF_SETTABLE, SF_SUPPORTED, SF_SETTABLE and SF_SYNTHETIC are only available on macOS.

gh-113536 [https://github.com/python/cpython/issues/113536]: os.waitid() is now available on macOS

gh-110459 [https://github.com/python/cpython/issues/110459]: Running configure ... --with-openssl-rpath=X/Y/Z no longer fails to detect OpenSSL on macOS.

gh-74573 [https://github.com/python/cpython/issues/74573]: Document that dbm.ndbm can silently corrupt DBM files on updates when exceeding undocumented platform limits, and can crash (segmentation fault) when reading such a corrupted file. (FB8919203)

gh-65701 [https://github.com/python/cpython/issues/65701]: The freeze tool doesn’t work with framework builds of Python. Document this and bail out early when running the tool with such a build.

gh-87277 [https://github.com/python/cpython/issues/87277]: webbrowser: Don’t look for X11 browsers on macOS. Those are generally not used and probing for them can result in starting XQuartz even if it isn’t used otherwise.

gh-111973 [https://github.com/python/cpython/issues/111973]: Update macOS installer to use SQLite 3.44.2.

gh-108269 [https://github.com/python/cpython/issues/108269]: Set CFBundleAllowMixedLocalizations to true in the Info.plist for the framework, embedded Python.app and IDLE.app with framework installs on macOS. This allows applications to pick up the user’s preferred locale when that’s different from english.

gh-102362 [https://github.com/python/cpython/issues/102362]: Make sure the result of sysconfig.get_plaform() includes at least a major and minor versions, even if MACOSX_DEPLOYMENT_TARGET is set to only a major version during build to match the format expected by pip.

gh-110017 [https://github.com/python/cpython/issues/110017]: Disable a signal handling stress test on macOS due to a bug in macOS (FB13453490).

gh-110820 [https://github.com/python/cpython/issues/110820]: Make sure the preprocessor definitions for ALIGNOF_MAX_ALIGN_T, SIZEOF_LONG_DOUBLE and HAVE_GCC_ASM_FOR_X64 are correct for Universal 2 builds on macOS.

gh-109981 [https://github.com/python/cpython/issues/109981]: Use /dev/fd on macOS to determine the number of open files in test.support.os_helper.fd_count to avoid a crash with “guarded” file descriptors when probing for open files.

IDLE

gh-72284 [https://github.com/python/cpython/issues/72284]: Improve the lists of features, editor key bindings, and shell key bingings in the IDLE doc.

gh-113903 [https://github.com/python/cpython/issues/113903]: Fix rare failure of test.test_idle, in test_configdialog.

gh-113729 [https://github.com/python/cpython/issues/113729]: Fix the “Help -> IDLE Doc” menu bug in 3.11.7 and 3.12.1.

gh-113269 [https://github.com/python/cpython/issues/113269]: Fix test_editor hang on macOS Catalina.

gh-112898 [https://github.com/python/cpython/issues/112898]: Fix processing unsaved files when quitting IDLE on macOS.

bpo-13586 [https://bugs.python.org/issue?@action=redirect&bpo=13586]: Enter the selected text when opening the “Replace” dialog.

C API

gh-106560 [https://github.com/python/cpython/issues/106560]: Fix redundant declarations in the public C API. Declare PyBool_Type, PyLong_Type and PySys_Audit() only once. Patch by Victor Stinner.

gh-112438 [https://github.com/python/cpython/issues/112438]: Fix support of format units “es”, “et”, “es#”, and “et#” in nested tuples in PyArg_ParseTuple()-like functions.

gh-111545 [https://github.com/python/cpython/issues/111545]: Add Py_HashPointer() function to hash a pointer. Patch by Victor Stinner.

gh-65210 [https://github.com/python/cpython/issues/65210]: Change the declaration of the keywords parameter of PyArg_ParseTupleAndKeywords() and PyArg_VaParseTupleAndKeywords() for better compatibility with C++.

Python 3.13.0 alpha 2

Release date: 2023-11-22

Core and Builtins

gh-112243 [https://github.com/python/cpython/issues/112243]: Don’t include comments in f-string debug expressions. Patch by Pablo Galindo

gh-112287 [https://github.com/python/cpython/issues/112287]: Slightly optimize the Tier 2 (uop) interpreter by only loading oparg and operand when needed. Also double the trace size limit again, to 512 this time.

gh-112266 [https://github.com/python/cpython/issues/112266]: Change docstrings of __dict__ and __weakref__.

gh-111807 [https://github.com/python/cpython/issues/111807]: Lower the max parser stack depth to 1000 under WASI debug builds.

gh-111798 [https://github.com/python/cpython/issues/111798]: When Python is built in debug mode, set the C recursion limit to 500 instead of 1500. A debug build is likely built with low optimization level which implies higher stack memory usage than a release build. Patch by Victor Stinner.

gh-106529 [https://github.com/python/cpython/issues/106529]: Enable translating unspecialized FOR_ITER to Tier 2.

gh-111916 [https://github.com/python/cpython/issues/111916]: Make hashlib related modules thread-safe without the GIL

gh-81137 [https://github.com/python/cpython/issues/81137]: Deprecate assignment to a function’s __code__ field when the new code object is of a mismatched type (e.g., from a generator to a plain function).

gh-79932 [https://github.com/python/cpython/issues/79932]: Raise exception if frame.clear() is called on a suspended frame.

gh-81925 [https://github.com/python/cpython/issues/81925]: Implement native thread ids for GNU KFreeBSD.

gh-111843 [https://github.com/python/cpython/issues/111843]: Use exponential backoff to reduce the number of failed tier 2 optimization attempts by over 99%.

gh-110829 [https://github.com/python/cpython/issues/110829]: Joining a thread now ensures the underlying OS thread has exited. This is required for safer fork() in multi-threaded processes.

gh-109369 [https://github.com/python/cpython/issues/109369]: Make sure that tier 2 traces are de-optimized if the code is instrumented

gh-111772 [https://github.com/python/cpython/issues/111772]: Specialize slot loads and stores for _Py_T_OBJECT as well as Py_T_OBJECT_EX

gh-111666 [https://github.com/python/cpython/issues/111666]: Speed up BaseExceptionGroup.derive(), BaseExceptionGroup.subgroup(), and BaseExceptionGroup.split() by changing how they parse passed arguments.

gh-111654 [https://github.com/python/cpython/issues/111654]: Fix runtime crash when some error happens in opcode LOAD_FROM_DICT_OR_DEREF.

gh-111623 [https://github.com/python/cpython/issues/111623]: Add support for sharing tuples between interpreters using the cross-interpreter API. Patch by Anthony Shaw.

gh-111354 [https://github.com/python/cpython/issues/111354]: The oparg of YIELD_VALUE is now 1 if the instruction is part of a yield-from or await, and 0 otherwise.

The SUSPENDED frame state is now split into SUSPENDED and SUSPENDED_YIELD_FROM. This simplifies the code in _PyGen_yf.

gh-111520 [https://github.com/python/cpython/issues/111520]: Merge the Tier 1 (bytecode) and Tier 2 (micro-ops) interpreters together, moving the Tier 2 interpreter loop and switch into _PyEval_EvalFrameDefault() in Python/ceval.c. The Python/executor.c file is gone. Also the TIER_ONE and TIER_TWO macros are now handled by the code generator.

Beware! This changes the environment variables to enable micro-ops and their debugging to PYTHON_UOPS and PYTHON_LLTRACE.

gh-109181 [https://github.com/python/cpython/issues/109181]: Speed up Traceback object creation by lazily compute the line number. Patch by Pablo Galindo

gh-111420 [https://github.com/python/cpython/issues/111420]: Allow type comments in parenthesized with statements

gh-111438 [https://github.com/python/cpython/issues/111438]: Add support for sharing floats between interpreters using the cross-interpreter API. Patch by Anthony Shaw.

gh-111435 [https://github.com/python/cpython/issues/111435]: Add support for sharing of True and False between interpreters using the cross-interpreter API. Patch by Anthony Shaw.

gh-102388 [https://github.com/python/cpython/issues/102388]: Fix a bug where iso2022_jp_3 and iso2022_jp_2004 codecs read out of bounds

gh-111366 [https://github.com/python/cpython/issues/111366]: Fix an issue in the codeop that was causing SyntaxError exceptions raised in the presence of invalid syntax to not contain precise error messages. Patch by Pablo Galindo

gh-111380 [https://github.com/python/cpython/issues/111380]: Fix a bug that was causing SyntaxWarning to appear twice when parsing if invalid syntax is encountered later. Patch by Pablo galindo

gh-111374 [https://github.com/python/cpython/issues/111374]: Added a new environment variable PYTHON_FROZEN_MODULES. It determines whether or not frozen modules are ignored by the import machinery, equivalent of the -X frozen_modules command-line option.

gh-111354 [https://github.com/python/cpython/issues/111354]: Remove oparg from YIELD_VALUE. Change oparg of RESUME to include information about the except-depth. These changes make it possible to simplify the code in generator close.

gh-94438 [https://github.com/python/cpython/issues/94438]: Fix a regression that prevented jumping across is None and is not None when debugging. Patch by Savannah Ostrowski.

gh-67224 [https://github.com/python/cpython/issues/67224]: Show source lines in tracebacks when using the -c option when running Python. Patch by Pablo Galindo

gh-111123 [https://github.com/python/cpython/issues/111123]: Fix a bug where a global declaration in an except block is rejected when the global is used in the else block.

gh-110938 [https://github.com/python/cpython/issues/110938]: Fix error messages for indented blocks with functions and classes with generic type parameters. Patch by Pablo Galindo

gh-109214 [https://github.com/python/cpython/issues/109214]: Remove unnecessary instruction pointer updates before returning from frames.

gh-110912 [https://github.com/python/cpython/issues/110912]: Correctly display the traceback for MemoryError exceptions using the traceback module. Patch by Pablo Galindo

gh-109894 [https://github.com/python/cpython/issues/109894]: Fixed crash due to improperly initialized static MemoryError in subinterpreter.

gh-110892 [https://github.com/python/cpython/issues/110892]: Return NULL for PyTrace_RETURN events caused by an exception

gh-110864 [https://github.com/python/cpython/issues/110864]: Fix argument parsing by _PyArg_UnpackKeywordsWithVararg for functions defining pos-or-keyword, vararg, and kw-only parameters.

gh-109094 [https://github.com/python/cpython/issues/109094]: Replace prev_instr on the interpreter frame by instr_ptr which points to the beginning of the instruction that is currently executing (or will execute once the frame resumes).

gh-110805 [https://github.com/python/cpython/issues/110805]: Allow the repl to show source code and complete tracebacks. Patch by Pablo Galindo

gh-110722 [https://github.com/python/cpython/issues/110722]: Add PYTHON_PRESITE=package.module to import a module early in the interpreter lifecycle before site.py is executed. Python needs to be built in debug mode for this option to exist.

gh-110481 [https://github.com/python/cpython/issues/110481]: Implement biased reference counting in --disable-gil builds.

gh-110543 [https://github.com/python/cpython/issues/110543]: Fix regression in Python 3.12 where types.CodeType.replace() would produce a broken code object if called on a module or class code object that contains a comprehension. Patch by Jelle Zijlstra.

gh-89519 [https://github.com/python/cpython/issues/89519]: Removed chained classmethod descriptors (introduced in bpo-19072 [https://bugs.python.org/issue?@action=redirect&bpo=19072]). This can no longer be used to wrap other descriptors such as property. The core design of this feature was flawed and caused a number of downstream problems. To “pass-through” a classmethod, consider using the __wrapped__ attribute that was added in Python 3.10.

gh-103615 [https://github.com/python/cpython/issues/103615]: Use local events for opcode tracing

bpo-46657 [https://bugs.python.org/issue?@action=redirect&bpo=46657]: Add mimalloc memory allocator support.

gh-106718 [https://github.com/python/cpython/issues/106718]: When PyConfig.stdlib_dir is explicitly set, it’s now respected and won’t be overridden by PyConfig.home.

gh-106905 [https://github.com/python/cpython/issues/106905]: Fix incorrect SystemError about AST constructor recursion depth mismatch.

gh-100445 [https://github.com/python/cpython/issues/100445]: Improve error message for unterminated strings with escapes.

bpo-45759 [https://bugs.python.org/issue?@action=redirect&bpo=45759]: Improved error messages for elif/else statements not matching any valid statements. Patch by Jeremiah Vivian.

Library

gh-111942 [https://github.com/python/cpython/issues/111942]: Fix SystemError in the TextIOWrapper constructor with non-encodable “errors” argument in non-debug mode.

gh-111995 [https://github.com/python/cpython/issues/111995]: Added the NI_IDN constant to the socket module when present in C at build time for use with socket.getnameinfo().

gh-109538 [https://github.com/python/cpython/issues/109538]: Issue warning message instead of having RuntimeError be displayed when event loop has already been closed at StreamWriter.__del__().

gh-111942 [https://github.com/python/cpython/issues/111942]: Fix crashes in io.TextIOWrapper.reconfigure() when pass invalid arguments, e.g. non-string encoding.

gh-111460 [https://github.com/python/cpython/issues/111460]: curses: restore wide character support (including curses.unget_wch() and get_wch()) on macOS, which was unavailable due to a regression in Python 3.12.

gh-103791 [https://github.com/python/cpython/issues/103791]: contextlib.suppress now supports suppressing exceptions raised as part of a BaseExceptionGroup, in addition to the recent support for ExceptionGroup.

gh-111835 [https://github.com/python/cpython/issues/111835]: The mmap.mmap class now has an seekable() method that can be used when a seekable file-like object is required. The seek() method now returns the new absolute position. Patch by Donghee Na.

gh-111804 [https://github.com/python/cpython/issues/111804]: Remove posix.fallocate() under WASI as the underlying posix_fallocate() is not available in WASI preview2.

gh-111841 [https://github.com/python/cpython/issues/111841]: Fix truncating arguments on an embedded null character in os.putenv() and os.unsetenv() on Windows.

gh-111768 [https://github.com/python/cpython/issues/111768]: wsgiref.util.is_hop_by_hop() is now exposed correctly in __all__.

gh-80731 [https://github.com/python/cpython/issues/80731]: Avoid executing the default function in cmd.Cmd in an except block

gh-111541 [https://github.com/python/cpython/issues/111541]: Fix doctest for SyntaxError not-builtin subclasses.

gh-111719 [https://github.com/python/cpython/issues/111719]: Add extra argument validation for alias command in pdb

gh-111482 [https://github.com/python/cpython/issues/111482]: time: Make time.clock_gettime() and time.clock_gettime_ns() functions up to 2x faster by faster calling convention. Patch by Victor Stinner.

gh-110894 [https://github.com/python/cpython/issues/110894]: Call loop exception handler for exceptions in client_connected_cb of asyncio.start_server() so that applications can handle it. Patch by Kumar Aditya.

gh-111531 [https://github.com/python/cpython/issues/111531]: Fix reference leaks in bind_class() and bind_all() methods of tkinter widgets.

gh-111246 [https://github.com/python/cpython/issues/111246]: asyncio.loop.create_unix_server() will now automatically remove the Unix socket when the server is closed.

gh-111356 [https://github.com/python/cpython/issues/111356]: Added io.text_encoding(), io.DEFAULT_BUFFER_SIZE, and io.IncrementalNewlineDecoder to io.__all__.

gh-66425 [https://github.com/python/cpython/issues/66425]: Remove the code to set the REMOTE_HOST header from wsgiref module, as it is unreachable. This header is used for performance reasons, which is not necessary in the wsgiref module.

gh-111429 [https://github.com/python/cpython/issues/111429]: Speed up pathlib.PurePath.relative_to() and is_relative_to().

gh-111342 [https://github.com/python/cpython/issues/111342]: Fixed typo in math.sumprod().

gh-68166 [https://github.com/python/cpython/issues/68166]: Remove mention of not supported “vsapi” element type in tkinter.ttk.Style.element_create(). Add tests for element_create() and other ttk.Style methods. Add examples for element_create() in the documentation.

gh-111388 [https://github.com/python/cpython/issues/111388]: Add show_group parameter to traceback.format_exception_only(), which allows to format ExceptionGroup instances.

gh-79033 [https://github.com/python/cpython/issues/79033]: Another attempt at fixing asyncio.Server.wait_closed(). It now blocks until both conditions are true: the server is closed, and there are no more active connections. (This means that in some cases where in 3.12.0 this function would incorrectly have returned immediately, it will now block; in particular, when there are no active connections but the server hasn’t been closed yet.)

gh-111259 [https://github.com/python/cpython/issues/111259]: Optimize recursive wildcards in pathlib.

gh-111295 [https://github.com/python/cpython/issues/111295]: Fix time not checking for errors when initializing.

gh-111253 [https://github.com/python/cpython/issues/111253]: Add error checking during _socket module init.

gh-111251 [https://github.com/python/cpython/issues/111251]: Fix _blake2 not checking for errors when initializing.

gh-111233 [https://github.com/python/cpython/issues/111233]: Fix select not checking for errors when initializing.

gh-111230 [https://github.com/python/cpython/issues/111230]: Fix ssl not checking for errors when initializing.

gh-111174 [https://github.com/python/cpython/issues/111174]: Fix crash in io.BytesIO.getbuffer() called repeatedly for empty BytesIO.

gh-111187 [https://github.com/python/cpython/issues/111187]: Postpone removal version for locale.getdefaultlocale() to Python 3.15.

gh-111159 [https://github.com/python/cpython/issues/111159]: Fix doctest output comparison for exceptions with notes.

gh-110910 [https://github.com/python/cpython/issues/110910]: Fix invalid state handling in asyncio.TaskGroup and asyncio.Timeout. They now raise proper RuntimeError if they are improperly used and are left in consistent state after this.

gh-111092 [https://github.com/python/cpython/issues/111092]: Make turtledemo run without default root enabled.

gh-110944 [https://github.com/python/cpython/issues/110944]: Support alias and convenience vars for pdb completion

gh-110745 [https://github.com/python/cpython/issues/110745]: Added newline parameter to pathlib.Path.read_text(). Patch by Junya Okabe.

gh-84583 [https://github.com/python/cpython/issues/84583]: Make pdb enter post-mortem mode even for SyntaxError

gh-80675 [https://github.com/python/cpython/issues/80675]: Set f_trace_lines = True on all frames upon pdb.set_trace()

gh-110771 [https://github.com/python/cpython/issues/110771]: Expose the setup and cleanup portions of asyncio.run_forever() as the standalone methods asyncio.run_forever_setup() and asyncio.run_forever_cleanup(). This allows for tighter integration with GUI event loops.

gh-110774 [https://github.com/python/cpython/issues/110774]: Support setting the asyncio.Runner loop_factory kwarg in unittest.IsolatedAsyncioTestCase

gh-110392 [https://github.com/python/cpython/issues/110392]: Fix tty.setraw() and tty.setcbreak(): previously they returned partially modified list of the original tty attributes. tty.cfmakeraw() and tty.cfmakecbreak() now make a copy of the list of special characters before modifying it.

gh-59013 [https://github.com/python/cpython/issues/59013]: Make line number of function breakpoint more precise in pdb

gh-88434 [https://github.com/python/cpython/issues/88434]: Emit deprecation warning for non-integer numbers in gettext functions and methods that consider plural forms even if the translation was not found.

gh-110395 [https://github.com/python/cpython/issues/110395]: Ensure that select.kqueue() objects correctly appear as closed in forked children, to prevent operations on an invalid file descriptor.

gh-110196 [https://github.com/python/cpython/issues/110196]: Add __reduce__ method to IPv6Address in order to keep scope_id

gh-109747 [https://github.com/python/cpython/issues/109747]: Improve errors for unsupported look-behind patterns. Now re.error is raised instead of OverflowError or RuntimeError for too large width of look-behind pattern.

gh-109466 [https://github.com/python/cpython/issues/109466]: Add the ipaddress.IPv4Address.ipv6_mapped property, which returns the IPv4-mapped IPv6 address.

gh-85098 [https://github.com/python/cpython/issues/85098]: Implement the CLI of the symtable module and improve the repr of Symbol.

gh-108791 [https://github.com/python/cpython/issues/108791]: Improved error handling in pdb command line interface, making it produce more concise error messages.

gh-105931 [https://github.com/python/cpython/issues/105931]: Change compileall to only strip the stripdir prefix from the full path recorded in the compiled .pyc file, when the prefix matches the start of the full path in its entirety. When the prefix does not match, no stripping is performed and a warning to this effect is displayed.

Previously all path components of the stripdir prefix that matched the full path were removed, while those that did not match were left alone (including ones interspersed between matching components).

gh-107431 [https://github.com/python/cpython/issues/107431]: Make the DictProxy and ListProxy types in multiprocessing.managers Generic Alias Types for [] use in typing contexts.

gh-72904 [https://github.com/python/cpython/issues/72904]: Add glob.translate(). This function converts a pathname with shell-style wildcards to a regular expression.

gh-90026 [https://github.com/python/cpython/issues/90026]: Define USE_XATTRS on Cygwin so that XATTR-related functions in the os module become available.

gh-90890 [https://github.com/python/cpython/issues/90890]: New methods mailbox.Maildir.get_info(), mailbox.Maildir.set_info(), mailbox.Maildir.get_flags(), mailbox.Maildir.set_flags(), mailbox.Maildir.add_flag(), mailbox.Maildir.remove_flag(). These methods speed up accessing a message’s info and/or flags and are useful when it is not necessary to access the message’s contents, as when iterating over a Maildir to find messages with specific flags.

gh-102956 [https://github.com/python/cpython/issues/102956]: Fix returning of empty byte strings after seek in zipfile module

gh-102895 [https://github.com/python/cpython/issues/102895]: Added a parameter local_exit for code.interact() to prevent exit() and quit from closing sys.stdin and raise SystemExit.

gh-97928 [https://github.com/python/cpython/issues/97928]: Change the behavior of tkinter.Text.count(). It now always returns an integer if one or less counting options are specified. Previously it could return a single count as a 1-tuple, an integer (only if option "update" was specified) or None if no items found. The result is now the same if wantobjects is set to 0.

gh-96954 [https://github.com/python/cpython/issues/96954]: Switch the storage of the unicode codepoint names to use a different data-structure, a directed acyclic word graph [https://en.wikipedia.org/wiki/Deterministic_acyclic_finite_state_automaton]. This makes the unicodedata shared library about 440 KiB smaller. Contributed by Carl Friedrich Bolz-Tereick using code from the PyPy project.

gh-73561 [https://github.com/python/cpython/issues/73561]: Omit the interface scope from an IPv6 address when used as Host header by http.client.

gh-86826 [https://github.com/python/cpython/issues/86826]: zipinfo now supports the full range of values in the TZ string determined by RFC 8536 and detects all invalid formats. Both Python and C implementations now raise exceptions of the same type on invalid data.

Tests

gh-111808 [https://github.com/python/cpython/issues/111808]: Make the default value of test.support.infinite_recursion() to be conditional based on whether optimizations were used when compiling the interpreter. This helps with platforms like WASI whose stack size is greatly restricted in debug builds.

gh-110722 [https://github.com/python/cpython/issues/110722]: Gathering line coverage of standard libraries within the regression test suite is now precise, as well as much faster. Patch by Łukasz Langa.

gh-110367 [https://github.com/python/cpython/issues/110367]: Make regrtest --verbose3 option compatible with --huntrleaks -jN options. The ./python -m test -j1 -R 3:3 --verbose3 command now works as expected. Patch by Victor Stinner.

gh-111165 [https://github.com/python/cpython/issues/111165]: Remove no longer used functions run_unittest() and run_doctest() from the test.support module.

gh-110932 [https://github.com/python/cpython/issues/110932]: Fix regrtest if the SOURCE_DATE_EPOCH environment variable is defined: use the variable value as the random seed. Patch by Victor Stinner.

gh-110995 [https://github.com/python/cpython/issues/110995]: test_gdb: Fix detection of gdb built without Python scripting support. Patch by Victor Stinner.

gh-110918 [https://github.com/python/cpython/issues/110918]: Test case matching patterns specified by options --match, --ignore, --matchfile and --ignorefile are now tested in the order of specification, and the last match determines whether the test case be run or ignored.

gh-108747 [https://github.com/python/cpython/issues/108747]: Add unit test for usercustomize and sitecustomize hooks from site.

Build

gh-96954 [https://github.com/python/cpython/issues/96954]: Make make regen-unicodedata work for out-of-tree builds of CPython.

gh-112088 [https://github.com/python/cpython/issues/112088]: Add Tools/build/regen-configure.sh script to regenerate the configure with an Ubuntu container image. The quay.io/tiran/cpython_autoconf:271 container image (tiran/cpython_autoconf [https://github.com/tiran/cpython_autoconf]) is no longer used. Patch by Victor Stinner.

gh-111046 [https://github.com/python/cpython/issues/111046]: For wasi-threads, memory is now exported to fix compatibility issues with some wasm runtimes.

gh-110828 [https://github.com/python/cpython/issues/110828]: AIX 32bit needs -latomic to build the _testcapi extension module.

gh-85283 [https://github.com/python/cpython/issues/85283]: The errno, md5, resource, winsound, _ctypes_test, _multiprocessing.posixshmem, _scproxy, _stat, _testimportmultiple and _uuid C extensions are now built with the limited C API. Patch by Victor Stinner.

Windows

gh-111856 [https://github.com/python/cpython/issues/111856]: Fixes fstat() on file systems that do not support file ID requests. This includes FAT32 and exFAT.

gh-111293 [https://github.com/python/cpython/issues/111293]: Fix os.DirEntry.inode dropping higher 64 bits of a file id on some filesystems on Windows.

gh-110913 [https://github.com/python/cpython/issues/110913]: WindowsConsoleIO now correctly chunks large buffers without splitting up UTF-8 sequences.

macOS

gh-59703 [https://github.com/python/cpython/issues/59703]: For macOS framework builds, in getpath.c use the system dladdr function to find the path to the shared library rather than depending on deprecated macOS APIs.

gh-110950 [https://github.com/python/cpython/issues/110950]: Update macOS installer to include an upstream Tcl/Tk fix for the Secure coding is not enabled for restorable state! warning encountered in Tkinter on macOS 14 Sonoma.

gh-111015 [https://github.com/python/cpython/issues/111015]: Ensure that IDLE.app and Python Launcher.app are installed with appropriate permissions on macOS builds.

gh-71383 [https://github.com/python/cpython/issues/71383]: Update macOS installer to include an upstream Tcl/Tk fix for the ttk::ThemeChanged error encountered in Tkinter.

gh-92603 [https://github.com/python/cpython/issues/92603]: Update macOS installer to include a fix accepted by upstream Tcl/Tk for a crash encountered after the first tkinter.Tk() instance is destroyed.

IDLE

bpo-35668 [https://bugs.python.org/issue?@action=redirect&bpo=35668]: Add docstrings to the IDLE debugger module. Fix two bugs: initialize Idb.botframe (should be in Bdb); in Idb.in_rpc_code, check whether prev_frame is None before trying to use it. Greatly expand test_debugger.

Tools/Demos

gh-111903 [https://github.com/python/cpython/issues/111903]: Argument Clinic now supports the @critical_section directive that instructs Argument Clinic to generate a critical section around the function call, which locks the self object in --disable-gil builds. Patch by Sam Gross.

C API

gh-112026 [https://github.com/python/cpython/issues/112026]: Add again the private _PyThreadState_UncheckedGet() function as an alias to the new public PyThreadState_GetUnchecked() function. Patch by Victor Stinner.

gh-112026 [https://github.com/python/cpython/issues/112026]: Restore the removed _PyDict_GetItemStringWithError() function. It is used by numpy. Patch by Victor Stinner.

gh-112026 [https://github.com/python/cpython/issues/112026]: Restore removed private C API functions, macros and structures which have no simple replacement for now:

_PyDict_GetItem_KnownHash()

_PyDict_NewPresized()

_PyHASH_BITS

_PyHASH_IMAG

_PyHASH_INF

_PyHASH_MODULUS

_PyHASH_MULTIPLIER

_PyLong_Copy()

_PyLong_FromDigits()

_PyLong_New()

_PyLong_Sign()

_PyObject_CallMethodId()

_PyObject_CallMethodNoArgs()

_PyObject_CallMethodOneArg()

_PyObject_CallOneArg()

_PyObject_EXTRA_INIT

_PyObject_FastCallDict()

_PyObject_GetAttrId()

_PyObject_Vectorcall()

_PyObject_VectorcallMethod()

_PyStack_AsDict()

_PyThread_CurrentFrames()

_PyUnicodeWriter structure

_PyUnicodeWriter_Dealloc()

_PyUnicodeWriter_Finish()

_PyUnicodeWriter_Init()

_PyUnicodeWriter_Prepare()

_PyUnicodeWriter_PrepareKind()

_PyUnicodeWriter_WriteASCIIString()

_PyUnicodeWriter_WriteChar()

_PyUnicodeWriter_WriteLatin1String()

_PyUnicodeWriter_WriteStr()

_PyUnicodeWriter_WriteSubstring()

_PyUnicode_AsString()

_PyUnicode_FromId()

_PyVectorcall_Function()

_Py_IDENTIFIER()

_Py_c_abs()

_Py_c_diff()

_Py_c_neg()

_Py_c_pow()

_Py_c_prod()

_Py_c_quot()

_Py_c_sum()

_Py_static_string()

_Py_static_string_init()

Patch by Victor Stinner.

gh-112026 [https://github.com/python/cpython/issues/112026]: Add again <ctype.h> and <unistd.h> includes in Python.h, but don’t include them in the limited C API version 3.13 and newer. Patch by Victor Stinner.

gh-111956 [https://github.com/python/cpython/issues/111956]: Add internal-only one-time initialization API: _PyOnceFlag and _PyOnceFlag_CallOnce.

gh-111262 [https://github.com/python/cpython/issues/111262]: Add PyDict_Pop() and PyDict_PopString() functions: remove a key from a dictionary and optionally return the removed value. This is similar to dict.pop(), but without the default value and not raising KeyError if the key missing. Patch by Stefan Behnel and Victor Stinner.

gh-111863 [https://github.com/python/cpython/issues/111863]: Rename Py_NOGIL to Py_GIL_DISABLED. Patch by Hugo van Kemenade.

gh-111138 [https://github.com/python/cpython/issues/111138]: Add PyList_Extend() and PyList_Clear() functions: similar to Python list.extend() and list.clear() methods. Patch by Victor Stinner.

gh-108765 [https://github.com/python/cpython/issues/108765]: On Windows, Python.h no longer includes the <stddef.h> standard header file. If needed, it should now be included explicitly. Patch by Victor Stinner.

gh-111569 [https://github.com/python/cpython/issues/111569]: Implement “Python Critical Sections” from PEP 703 [https://peps.python.org/pep-0703/]. These are macros to help replace the GIL with per-object locks in the --disable-gil build of CPython. The macros are no-ops in the default build.

gh-111506 [https://github.com/python/cpython/issues/111506]: In the limited C API version 3.13, Py_SET_REFCNT() function is now implemented as an opaque function call. Patch by Victor Stinner.

gh-108082 [https://github.com/python/cpython/issues/108082]: Add PyErr_FormatUnraisable() function.

gh-110964 [https://github.com/python/cpython/issues/110964]: Move the undocumented private _PyArg functions and _PyArg_Parser structure to internal C API (pycore_modsupport.h). Patch by Victor Stinner.

gh-110815 [https://github.com/python/cpython/issues/110815]: Support non-ASCII keyword names in PyArg_ParseTupleAndKeywords().

gh-109587 [https://github.com/python/cpython/issues/109587]: Introduced PyUnstable_PerfTrampoline_CompileCode(), PyUnstable_PerfTrampoline_SetPersistAfterFork() and PyUnstable_CopyPerfMapFile(). These functions allow extension modules to initialize trampolines eagerly, after the application is “warmed up”. This makes it possible to have perf-trampolines running in an always-enabled fashion.

gh-85283 [https://github.com/python/cpython/issues/85283]: Add the PySys_Audit() function to the limited C API. Patch by Victor Stinner.

gh-85283 [https://github.com/python/cpython/issues/85283]: Add PyMem_RawMalloc(), PyMem_RawCalloc(), PyMem_RawRealloc() and PyMem_RawFree() to the limited C API. Patch by Victor Stinner.

gh-106672 [https://github.com/python/cpython/issues/106672]: Functions PyDict_GetItem(), PyDict_GetItemString(), PyMapping_HasKey(), PyMapping_HasKeyString(), PyObject_HasAttr(), PyObject_HasAttrString(), and PySys_GetObject(), which clear all errors occurred during calling the function, report now them using sys.unraisablehook().

gh-67565 [https://github.com/python/cpython/issues/67565]: Remove redundant C-contiguity check in getargs.c, binascii, ssl and Argument Clinic. Patched by Stefan Krah and Furkan Onder

Python 3.13.0 alpha 1

Release date: 2023-10-13

Security

gh-108310 [https://github.com/python/cpython/issues/108310]: Fixed an issue where instances of ssl.SSLSocket were vulnerable to a bypass of the TLS handshake and included protections (like certificate verification) and treating sent unencrypted data as if it were post-handshake TLS encrypted data. Security issue reported as CVE 2023-40217 [https://www.cve.org/CVERecord?id=CVE-2023-40217] by Aapo Oksman. Patch by Gregory P. Smith.

gh-107774 [https://github.com/python/cpython/issues/107774]: PEP 669 specifies that sys.monitoring.register_callback will generate an audit event. Pre-releases of Python 3.12 did not generate the audit event. This is now fixed.

gh-102988 [https://github.com/python/cpython/issues/102988]: Reverted the email.utils security improvement change released in 3.12beta4 that unintentionally caused email.utils.getaddresses to fail to parse email addresses with a comma in the quoted name field. See gh-106669 [https://github.com/python/cpython/issues/106669].

gh-99108 [https://github.com/python/cpython/issues/99108]: Refresh our new HACL* built-in hashlib code from upstream. Built-in SHA2 should be faster and an issue with SHA3 on 32-bit platforms is fixed.

gh-102509 [https://github.com/python/cpython/issues/102509]: Start initializing ob_digit during creation of PyLongObject objects. Patch by Illia Volochii.

Core and Builtins

gh-110782 [https://github.com/python/cpython/issues/110782]: Fix crash when typing.TypeVar is constructed with a keyword argument. Patch by Jelle Zijlstra.

gh-110752 [https://github.com/python/cpython/issues/110752]: Reset ceval.eval_breaker in interpreter_clear()

gh-110721 [https://github.com/python/cpython/issues/110721]: Use the traceback implementation for the default PyErr_Display() functionality. Patch by Pablo Galindo

gh-110696 [https://github.com/python/cpython/issues/110696]: Fix incorrect error message for invalid argument unpacking. Patch by Pablo Galindo

gh-104169 [https://github.com/python/cpython/issues/104169]: Split the tokenizer into two separate directories: - One part includes the actual lexeme producing logic and lives in Parser/lexer. - The second part wraps the lexer according to the different tokenization modes we have (string, utf-8, file, interactive, readline) and lives in Parser/tokenizer.

gh-110688 [https://github.com/python/cpython/issues/110688]: Remove undocumented test_c_api method from set, which was only defined for testing purposes under Py_DEBUG. Now we have proper CAPI tests.

gh-104584 [https://github.com/python/cpython/issues/104584]: Fix a reference leak when running with PYTHONUOPS or -X uops enabled.

gh-110514 [https://github.com/python/cpython/issues/110514]: Add PY_THROW to sys.setprofile() events

gh-110489 [https://github.com/python/cpython/issues/110489]: Optimise math.ceil() when the input is exactly a float, resulting in about a 10% improvement.

gh-110455 [https://github.com/python/cpython/issues/110455]: Guard assert(tstate->thread_id > 0) with #ifndef HAVE_PTHREAD_STUBS. This allows for for pydebug builds to work under WASI which (currently) lacks thread support.

gh-110309 [https://github.com/python/cpython/issues/110309]: Remove unnecessary empty constant nodes in the ast of f-string specs.

gh-110259 [https://github.com/python/cpython/issues/110259]: Correctly identify the format spec in f-strings (with single or triple quotes) that have multiple lines in the expression part and include a formatting spec. Patch by Pablo Galindo

gh-110237 [https://github.com/python/cpython/issues/110237]: Fix missing error checks for calls to PyList_Append in _PyEval_MatchClass.

gh-110164 [https://github.com/python/cpython/issues/110164]: regrtest: If the SOURCE_DATE_EPOCH environment variable is defined, regrtest now disables tests randomization. Patch by Victor Stinner.

gh-109889 [https://github.com/python/cpython/issues/109889]: Fix the compiler’s redundant NOP detection algorithm to skip over NOPs with no line number when looking for the next instruction’s lineno.

gh-109853 [https://github.com/python/cpython/issues/109853]: sys.path[0] is now set correctly for subinterpreters.

gh-109923 [https://github.com/python/cpython/issues/109923]: Set line number on the POP_TOP that follows a RETURN_GENERATOR.

gh-105716 [https://github.com/python/cpython/issues/105716]: Subinterpreters now correctly handle the case where they have threads running in the background. Before, such threads would interfere with cleaning up and destroying them, as well as prevent running another script.

gh-109369 [https://github.com/python/cpython/issues/109369]: The internal eval_breaker and supporting flags, plus the monitoring version have been merged into a single atomic integer to speed up checks.

gh-109823 [https://github.com/python/cpython/issues/109823]: Fix bug where compiler does not adjust labels when removing an empty basic block which is a jump target.

gh-109793 [https://github.com/python/cpython/issues/109793]: The main thread no longer exits prematurely when a subinterpreter is cleaned up during runtime finalization. The bug was a problem particularly because, when triggered, the Python process would always return with a 0 exitcode, even if it failed.

gh-109719 [https://github.com/python/cpython/issues/109719]: Fix missing jump target labels when compiler reorders cold/warm blocks.

gh-109595 [https://github.com/python/cpython/issues/109595]: Add -X cpu_count command line option to override return results of os.cpu_count() and os.process_cpu_count(). This option is useful for users who need to limit CPU resources of a container system without having to modify the container (application code). Patch by Donghee Na.

gh-109627 [https://github.com/python/cpython/issues/109627]: Fix bug where the compiler does not assign a new jump target label to a duplicated small exit block.

gh-109596 [https://github.com/python/cpython/issues/109596]: Fix some tokens in the grammar that were incorrectly marked as soft keywords. Also fix some repeated rule names and ensure that repeated rules are not allowed. Patch by Pablo Galindo

gh-109496 [https://github.com/python/cpython/issues/109496]: On a Python built in debug mode, Py_DECREF() now calls _Py_NegativeRefcount() if the object is a dangling pointer to deallocated memory: memory filled with 0xDD “dead byte” by the debug hook on memory allocators. The fix is to check the reference count before checking for _Py_IsImmortal(). Patch by Victor Stinner.

gh-107265 [https://github.com/python/cpython/issues/107265]: Deopt opcodes hidden by the executor when base opcode is needed

gh-109371 [https://github.com/python/cpython/issues/109371]: Deopted instructions correctly for tool initialization and modified the incorrect assertion in instrumentation, when a previous tool already sets INSTRUCTION events

gh-105658 [https://github.com/python/cpython/issues/105658]: Fix bug where the line trace of an except block ending with a conditional includes an excess event with the line of the conditional expression.

gh-109219 [https://github.com/python/cpython/issues/109219]: Fix compiling type param scopes that use a name which is also free in an inner scope.

gh-109351 [https://github.com/python/cpython/issues/109351]: Fix crash when compiling an invalid AST involving a named (walrus) expression.

gh-109341 [https://github.com/python/cpython/issues/109341]: Fix crash when compiling an invalid AST involving a ast.TypeAlias.

gh-109195 [https://github.com/python/cpython/issues/109195]: Fix source location for the LOAD_* instruction preceding a LOAD_SUPER_ATTR to load the super global (or shadowing variable) so that it encompasses only the name super and not the following parentheses.

gh-109256 [https://github.com/python/cpython/issues/109256]: Opcode IDs for specialized opcodes are allocated in their own range to improve stability of the IDs for the ‘real’ opcodes.

gh-109216 [https://github.com/python/cpython/issues/109216]: Fix possible memory leak in BUILD_MAP.

gh-109207 [https://github.com/python/cpython/issues/109207]: Fix a SystemError in __repr__ of symtable entry object.

gh-109179 [https://github.com/python/cpython/issues/109179]: Fix bug where the C traceback display drops notes from SyntaxError.

gh-109118 [https://github.com/python/cpython/issues/109118]: Disallow nested scopes (lambdas, generator expressions, and comprehensions) within PEP 695 annotation scopes that are nested within classes.

gh-109156 [https://github.com/python/cpython/issues/109156]: Add tests for de-instrumenting instructions while keeping the instrumentation for lines

gh-109114 [https://github.com/python/cpython/issues/109114]: Relax the detection of the error message for invalid lambdas inside f-strings to not search for arbitrary replacement fields to avoid false positives. Patch by Pablo Galindo

gh-105848 [https://github.com/python/cpython/issues/105848]: Add a new CALL_KW opcode, used for calls containing keyword arguments. Also, fix a possible crash when jumping over method calls in a debugger.

gh-109052 [https://github.com/python/cpython/issues/109052]: Use the base opcode when comparing code objects to avoid interference from instrumentation

gh-109118 [https://github.com/python/cpython/issues/109118]: Fix interpreter crash when a NameError is raised inside the type parameters of a generic class.

gh-88943 [https://github.com/python/cpython/issues/88943]: Improve syntax error for non-ASCII character that follows a numerical literal. It now points on the invalid non-ASCII character, not on the valid numerical literal.

gh-108976 [https://github.com/python/cpython/issues/108976]: Fix crash that occurs after de-instrumenting a code object in a monitoring callback.

gh-108732 [https://github.com/python/cpython/issues/108732]: Make iteration variables of module- and class-scoped comprehensions visible to pdb and other tools that use frame.f_locals again.

gh-108959 [https://github.com/python/cpython/issues/108959]: Fix caret placement for error locations for subscript and binary operations that involve non-semantic parentheses and spaces. Patch by Pablo Galindo

gh-104584 [https://github.com/python/cpython/issues/104584]: Fix a crash when running with PYTHONUOPS or -X uops enabled and an error occurs during optimization.

gh-108727 [https://github.com/python/cpython/issues/108727]: Define tp_dealloc for CounterOptimizer_Type. This fixes a segfault on deallocation.

gh-108520 [https://github.com/python/cpython/issues/108520]: Fix multiprocessing.synchronize.SemLock.__setstate__() to properly initialize multiprocessing.synchronize.SemLock._is_fork_ctx. This fixes a regression when passing a SemLock across nested processes.

Rename multiprocessing.synchronize.SemLock.is_fork_ctx to multiprocessing.synchronize.SemLock._is_fork_ctx to avoid exposing it as public API.

gh-108654 [https://github.com/python/cpython/issues/108654]: Restore locals shadowed by an inlined comprehension if the comprehension raises an exception.

gh-108488 [https://github.com/python/cpython/issues/108488]: Change the initialization of inline cache entries so that the cache entry for JUMP_BACKWARD is initialized to zero, instead of the adaptive_counter_warmup() value used for all other instructions. This counter, unique among instructions, counts up from zero.

gh-108716 [https://github.com/python/cpython/issues/108716]: Turn off deep-freezing of code objects. Modules are still frozen, so that a file system search is not needed for common modules.

gh-108614 [https://github.com/python/cpython/issues/108614]: Add RESUME_CHECK instruction, to avoid having to handle instrumentation, signals, and contexts switches in the tier 2 execution engine.

gh-108487 [https://github.com/python/cpython/issues/108487]: Move an assert that would cause a spurious crash in a devious case that should only trigger deoptimization.

gh-106176 [https://github.com/python/cpython/issues/106176]: Use a WeakValueDictionary to track the lists containing the modules each thread is currently importing. This helps avoid a reference leak from keeping the list around longer than necessary. Weakrefs are used as GC can’t interrupt the cleanup.

gh-105481 [https://github.com/python/cpython/issues/105481]: The regen-opcode build stage was removed and its work is now done in regen-cases.

gh-107901 [https://github.com/python/cpython/issues/107901]: Fix missing line number on JUMP_BACKWARD at the end of a for loop.

gh-108113 [https://github.com/python/cpython/issues/108113]: The compile() built-in can now accept a new flag, ast.PyCF_OPTIMIZED_AST, which is similar to ast.PyCF_ONLY_AST except that the returned AST is optimized according to the value of the optimize argument.

ast.parse() now accepts an optional argument optimize which is passed on to the compile() built-in. This makes it possible to obtain an optimized AST.

gh-107971 [https://github.com/python/cpython/issues/107971]: Opcode IDs are generated from bytecodes.c instead of being hard coded in opcode.py.

gh-107944 [https://github.com/python/cpython/issues/107944]: Improve error message for function calls with bad keyword arguments. Patch by Pablo Galindo

gh-108390 [https://github.com/python/cpython/issues/108390]: Raise an exception when setting a non-local event (RAISE, EXCEPTION_HANDLED, etc.) in sys.monitoring.set_local_events.

Fixes crash when tracing in recursive calls to Python classes.

gh-108035 [https://github.com/python/cpython/issues/108035]: Remove the _PyCFrame struct, moving the pointer to the current interpreter frame back to the threadstate, as it was for 3.10 and earlier. The _PyCFrame existed as a performance optimization for tracing. Since PEP 669 has been implemented, this optimization no longer applies.

gh-91051 [https://github.com/python/cpython/issues/91051]: Fix abort / segfault when using all eight type watcher slots, on platforms where char is signed by default.

gh-106581 [https://github.com/python/cpython/issues/106581]: Fix possible assertion failures and missing instrumentation events when PYTHONUOPS or -X uops is enabled.

gh-107526 [https://github.com/python/cpython/issues/107526]: Revert converting vars, dir, next, getattr, and iter to argument clinic.

gh-84805 [https://github.com/python/cpython/issues/84805]: Autogenerate signature for METH_NOARGS and METH_O extension functions.

gh-107758 [https://github.com/python/cpython/issues/107758]: Make the dump_stack() routine used by the lltrace feature (low-level interpreter debugging) robust against recursion by ensuring that it never calls a __repr__ method implemented in Python. Also make the similar output for Tier-2 uops appear on stdout (instead of stderr), to match the lltrace code in ceval.c.

gh-107659 [https://github.com/python/cpython/issues/107659]: Add docstrings for ctypes.pointer() and ctypes.POINTER().

gh-105848 [https://github.com/python/cpython/issues/105848]: Modify the bytecode so that the actual callable for a CALL is at a consistent position on the stack (regardless of whether or not bound-method-calling optimizations are active).

gh-107674 [https://github.com/python/cpython/issues/107674]: Fixed performance regression in sys.settrace.

gh-107724 [https://github.com/python/cpython/issues/107724]: In pre-release versions of 3.12, up to rc1, the sys.monitoring callback function for the PY_THROW event was missing the third, exception argument. That is now fixed.

gh-84436 [https://github.com/python/cpython/issues/84436]: Skip reference count modifications for many known immortal objects.

gh-107596 [https://github.com/python/cpython/issues/107596]: Specialize subscripting str objects by int indexes.

gh-107080 [https://github.com/python/cpython/issues/107080]: Trace refs builds (--with-trace-refs) were crashing when used with isolated subinterpreters. The problematic global state has been isolated to each interpreter. Other fixing the crashes, this change does not affect users.

gh-107557 [https://github.com/python/cpython/issues/107557]: Generate the cases needed for the barebones tier 2 abstract interpreter for optimization passes in CPython.

gh-106608 [https://github.com/python/cpython/issues/106608]: Make _PyUOpExecutorObject variable length.

gh-100964 [https://github.com/python/cpython/issues/100964]: Clear generators’ exception state after return to break reference cycles.

gh-107455 [https://github.com/python/cpython/issues/107455]: Improve error messages when converting an incompatible type to ctypes.c_char_p, ctypes.c_wchar_p and ctypes.c_void_p.

gh-107263 [https://github.com/python/cpython/issues/107263]: Increase C recursion limit for functions other than the main interpreter from 800 to 1500. This should allow functions like list.__repr__ and json.dumps to handle all the inputs that they could prior to 3.12

gh-104584 [https://github.com/python/cpython/issues/104584]: Fix an issue which caused incorrect inline caches to be read when running with PYTHONUOPS or -X uops enabled.

gh-104432 [https://github.com/python/cpython/issues/104432]: Fix potential unaligned memory access on C APIs involving returned sequences of char * pointers within the grp and socket modules. These were revealed using a -fsaniziter=alignment build on ARM macOS. Patch by Christopher Chavez.

gh-106078 [https://github.com/python/cpython/issues/106078]: Isolate _decimal (apply PEP 687 [https://peps.python.org/pep-0687/]). Patch by Charlie Zhao.

gh-106898 [https://github.com/python/cpython/issues/106898]: Add the exception as the third argument to PY_UNIND callbacks in sys.monitoring. This makes the PY_UNWIND callback consistent with the other exception handling callbacks.

gh-106895 [https://github.com/python/cpython/issues/106895]: Raise a ValueError when a monitoring callback function returns DISABLE for events that cannot be disabled locally.

gh-106897 [https://github.com/python/cpython/issues/106897]: Add a RERAISE event to sys.monitoring, which occurs when an exception is reraise, either explicitly by a plain raise statement, or implicitly in an except or finally block.

gh-77377 [https://github.com/python/cpython/issues/77377]: Ensure that multiprocessing synchronization objects created in a fork context are not sent to a different process created in a spawn context. This changes a segfault into an actionable RuntimeError in the parent process.

gh-106931 [https://github.com/python/cpython/issues/106931]: Statically allocated string objects are now interned globally instead of per-interpreter. This fixes a situation where such a string would only be interned in a single interpreter. Normal string objects are unaffected.

gh-104621 [https://github.com/python/cpython/issues/104621]: Unsupported modules now always fail to be imported.

gh-107122 [https://github.com/python/cpython/issues/107122]: Add dbm.ndbm.ndbm.clear() to dbm.ndbm. Patch By Donghee Na.

gh-107122 [https://github.com/python/cpython/issues/107122]: Add dbm.gnu.gdbm.clear() to dbm.gnu. Patch By Donghee Na.

gh-107015 [https://github.com/python/cpython/issues/107015]: The ASYNC and AWAIT tokens are removed from the Grammar, which removes the possibility of making async and await soft keywords when using feature_version<7 in ast.parse().

gh-106917 [https://github.com/python/cpython/issues/106917]: Fix classmethod-style super() method calls (i.e., where the second argument to super(), or the implied second argument drawn from self/cls in the case of zero-arg super, is a type) when the target of the call is not a classmethod.

gh-105699 [https://github.com/python/cpython/issues/105699]: Python no longer crashes due an infrequent race when initializing per-interpreter interned strings. The crash would manifest when the interpreter was finalized.

gh-105699 [https://github.com/python/cpython/issues/105699]: Python no longer crashes due to an infrequent race in setting Py_FileSystemDefaultEncoding and Py_FileSystemDefaultEncodeErrors (both deprecated), when simultaneously initializing two isolated subinterpreters. Now they are only set during runtime initialization.

gh-106908 [https://github.com/python/cpython/issues/106908]: Fix various hangs, reference leaks, test failures, and tracing/introspection bugs when running with PYTHONUOPS or -X uops enabled.

gh-106092 [https://github.com/python/cpython/issues/106092]: Fix a segmentation fault caused by a use-after-free bug in frame_dealloc when the trashcan delays the deallocation of a PyFrameObject.

gh-106485 [https://github.com/python/cpython/issues/106485]: Reduce the number of materialized instances dictionaries by dematerializing them when possible.

gh-106719 [https://github.com/python/cpython/issues/106719]: No longer suppress arbitrary errors in the __annotations__ getter and setter in the type and module types.

gh-106723 [https://github.com/python/cpython/issues/106723]: Propagate frozen_modules to multiprocessing spawned process interpreters.

gh-104909 [https://github.com/python/cpython/issues/104909]: Split LOAD_ATTR_INSTANCE_VALUE into micro-ops.

gh-104909 [https://github.com/python/cpython/issues/104909]: Split LOAD_GLOBAL specializations into micro-ops.

gh-106597 [https://github.com/python/cpython/issues/106597]: A new debug structure of offsets has been added to the _PyRuntimeState that will help out-of-process debuggers and profilers to obtain the offsets to relevant interpreter structures in a way that is agnostic of how Python was compiled and that doesn’t require copying the headers. Patch by Pablo Galindo

gh-106487 [https://github.com/python/cpython/issues/106487]: Allow the count argument of str.replace() to be a keyword. Patch by Hugo van Kemenade.

gh-96844 [https://github.com/python/cpython/issues/96844]: Improve error message of list.remove(). Patch by Donghee Na.

gh-81283 [https://github.com/python/cpython/issues/81283]: Compiler now strips indents from docstrings. It reduces pyc file size 5% when the module is heavily documented. This change affects to __doc__ so tools like doctest will be affected.

gh-106396 [https://github.com/python/cpython/issues/106396]: When the format specification of an f-string expression is empty, the parser now generates an empty ast.JoinedStr node for it instead of an one-element ast.JoinedStr with an empty string ast.Constant.

gh-100288 [https://github.com/python/cpython/issues/100288]: Specialize LOAD_ATTR for non-descriptors on the class. Adds LOAD_ATTR_NONDESCRIPTOR_WITH_VALUES and LOAD_ATTR_NONDESCRIPTOR_NO_DICT.

gh-106008 [https://github.com/python/cpython/issues/106008]: Fix possible reference leaks when failing to optimize comparisons with None in the bytecode compiler.

gh-106145 [https://github.com/python/cpython/issues/106145]: Make end_lineno and end_col_offset required on type_param ast nodes.

gh-106213 [https://github.com/python/cpython/issues/106213]: Changed the way that Emscripten call trampolines work for compatibility with Wasm/JS Promise integration.

gh-106182 [https://github.com/python/cpython/issues/106182]: sys.getfilesystemencoding() and sys.getfilesystemencodeerrors now return interned Unicode object.

gh-106210 [https://github.com/python/cpython/issues/106210]: Removed Emscripten import trampoline as it was no longer necessary for Pyodide.

gh-104584 [https://github.com/python/cpython/issues/104584]: Added a new, experimental, tracing optimizer and interpreter (a.k.a. “tier 2”). This currently pessimizes, so don’t use yet – this is infrastructure so we can experiment with optimizing passes. To enable it, pass -Xuops or set PYTHONUOPS=1. To get debug output, set PYTHONUOPSDEBUG=N where N is a debug level (0-4, where 0 is no debug output and 4 is excessively verbose).

gh-105775 [https://github.com/python/cpython/issues/105775]: LOAD_CLOSURE is now a pseudo-op.

gh-105730 [https://github.com/python/cpython/issues/105730]: Allow any callable other than type objects as the condition predicate in BaseExceptionGroup.split() and BaseExceptionGroup.subgroup().

gh-105979 [https://github.com/python/cpython/issues/105979]: Fix crash in _imp.get_frozen_object() due to improper exception handling.

gh-106003 [https://github.com/python/cpython/issues/106003]: Add a new TO_BOOL instruction, which performs boolean conversions for POP_JUMP_IF_TRUE, POP_JUMP_IF_FALSE, and UNARY_NOT (which all expect exact bool values now). Also, modify the oparg of COMPARE_OP to include an optional “boolean conversion” flag.

gh-98931 [https://github.com/python/cpython/issues/98931]: Ensure custom SyntaxError error messages are raised for invalid imports with multiple targets. Patch by Pablo Galindo

gh-105724 [https://github.com/python/cpython/issues/105724]: Improve assert error messages by providing exact error range.

gh-105908 [https://github.com/python/cpython/issues/105908]: Fixed bug where gh-99111 [https://github.com/python/cpython/issues/99111] breaks future import barry_as_FLUFL in the Python REPL.

gh-105840 [https://github.com/python/cpython/issues/105840]: Fix possible crashes when specializing function calls with too many __defaults__.

gh-105831 [https://github.com/python/cpython/issues/105831]: Fix an f-string bug, where using a debug expression (the = sign) that appears in the last line of a file results to the debug buffer that holds the expression text being one character too small.

gh-105800 [https://github.com/python/cpython/issues/105800]: Correctly issue SyntaxWarning in f-strings if invalid sequences are used. Patch by Pablo Galindo

gh-105340 [https://github.com/python/cpython/issues/105340]: Include the comprehension iteration variable in locals() inside a module- or class-scope comprehension.

gh-105331 [https://github.com/python/cpython/issues/105331]: Raise ValueError if the delay argument to asyncio.sleep() is a NaN (matching time.sleep()).

gh-105587 [https://github.com/python/cpython/issues/105587]: The runtime can’t guarantee that immortal objects will not be mutated by Extensions. Thus, this modifies _PyStaticObject_CheckRefcnt to warn instead of asserting.

gh-105564 [https://github.com/python/cpython/issues/105564]: Don’t include artificil newlines in the line attribute of tokens in the APIs of the tokenize module. Patch by Pablo Galindo

gh-105549 [https://github.com/python/cpython/issues/105549]: Tokenize separately NUMBER and NAME tokens that are not ambiguous. Patch by Pablo Galindo.

gh-105588 [https://github.com/python/cpython/issues/105588]: Fix an issue that could result in crashes when compiling malformed ast nodes.

gh-100987 [https://github.com/python/cpython/issues/100987]: Allow objects other than code objects as the “executable” in internal frames. In the long term, this can help tools like Cython and PySpy interact more efficiently. In the shorter term, it allows us to perform some optimizations more simply.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in the builtins module where exceptions could end up being overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bug in the compiler where an exception could end up being overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Improve error handling in PyUnicode_BuildEncodingMap() where an exception could end up being overwritten.

gh-105486 [https://github.com/python/cpython/issues/105486]: Change the repr of ParamSpec list of args in types.GenericAlias.

gh-105678 [https://github.com/python/cpython/issues/105678]: Break the MAKE_FUNCTION instruction into two parts, MAKE_FUNCTION which makes the function and SET_FUNCTION_ATTRIBUTE which sets the attributes on the function. This makes the stack effect of MAKE_FUNCTION regular to ease optimization and code generation.

gh-105435 [https://github.com/python/cpython/issues/105435]: Fix spurious newline character if file ends on a comment without a newline. Patch by Pablo Galindo

gh-105390 [https://github.com/python/cpython/issues/105390]: Correctly raise tokenize.TokenError exceptions instead of SyntaxError for tokenize errors such as incomplete input. Patch by Pablo Galindo

gh-105259 [https://github.com/python/cpython/issues/105259]: Don’t include newline character for trailing NEWLINE tokens emitted in the tokenize module. Patch by Pablo Galindo

gh-104635 [https://github.com/python/cpython/issues/104635]: Eliminate redundant STORE_FAST instructions in the compiler. Patch by Donghee Na and Carl Meyer.

gh-105324 [https://github.com/python/cpython/issues/105324]: Fix the main function of the tokenize module when reading from sys.stdin. Patch by Pablo Galindo

gh-33092 [https://github.com/python/cpython/issues/33092]: Simplify and speed up interpreter for f-strings. Removes FORMAT_VALUE opcode. Add CONVERT_VALUE, FORMAT_SIMPLE and FORMAT_WITH_SPEC opcode. Compiler emits more efficient sequence for each format expression.

gh-105229 [https://github.com/python/cpython/issues/105229]: Remove remaining two-codeunit superinstructions. All remaining superinstructions only take a single codeunit, simplifying instrumentation and quickening.

gh-105235 [https://github.com/python/cpython/issues/105235]: Prevent out-of-bounds memory access during mmap.find() calls.

gh-98963 [https://github.com/python/cpython/issues/98963]: Restore the ability for a subclass of property to define __slots__ or otherwise be dict-less by ignoring failures to set a docstring on such a class. This behavior had regressed in 3.12beta1. An AttributeError where there had not previously been one was disruptive to existing code.

gh-104812 [https://github.com/python/cpython/issues/104812]: The “pending call” machinery now works for all interpreters, not just the main interpreter, and runs in all threads, not just the main thread. Some calls are still only done in the main thread, ergo in the main interpreter. This change does not affect signal handling nor the existing public C-API (Py_AddPendingCall()), which both still only target the main thread. The new functionality is meant strictly for internal use for now, since consequences of its use are not well understood yet outside some very restricted cases. This change brings the capability in line with the intention when the state was made per-interpreter several years ago.

gh-105194 [https://github.com/python/cpython/issues/105194]: Do not escape with backslashes f-string format specifiers. Patch by Pablo Galindo

gh-105229 [https://github.com/python/cpython/issues/105229]: Replace some dynamic superinstructions with single instruction equivalents.

gh-105162 [https://github.com/python/cpython/issues/105162]: Fixed bug in generator.close()/throw() where an inner iterator would be ignored when the outer iterator was instrumented.

gh-105164 [https://github.com/python/cpython/issues/105164]: Ensure annotations are set up correctly if the only annotation in a block is within a match block. Patch by Jelle Zijlstra.

gh-105148 [https://github.com/python/cpython/issues/105148]: Make _PyASTOptimizeState internal to ast_opt.c. Make _PyAST_Optimize take two integers instead of a pointer to this struct. This avoids the need to include pycore_compile.h in ast_opt.c.

gh-104799 [https://github.com/python/cpython/issues/104799]: Attributes of ast nodes that are lists now default to the empty list if omitted. This means that some code that previously raised TypeError when the AST node was used will now proceed with the empty list instead. Patch by Jelle Zijlstra.

gh-105111 [https://github.com/python/cpython/issues/105111]: Remove the old trashcan macros Py_TRASHCAN_SAFE_BEGIN and Py_TRASHCAN_SAFE_END. They should be replaced by the new macros Py_TRASHCAN_BEGIN and Py_TRASHCAN_END.

gh-105035 [https://github.com/python/cpython/issues/105035]: Fix super() calls on types with custom tp_getattro implementation (e.g. meta-types.)

gh-105017 [https://github.com/python/cpython/issues/105017]: Show CRLF lines in the tokenize string attribute in both NL and NEWLINE tokens. Patch by Marta Gómez.

gh-105013 [https://github.com/python/cpython/issues/105013]: Fix handling of multiline parenthesized lambdas in inspect.getsource(). Patch by Pablo Galindo

gh-105017 [https://github.com/python/cpython/issues/105017]: Do not include an additional final NL token when parsing files having CRLF lines. Patch by Marta Gómez.

gh-104976 [https://github.com/python/cpython/issues/104976]: Ensure that trailing DEDENT tokenize.TokenInfo objects emitted by the tokenize module are reported as in Python 3.11. Patch by Pablo Galindo

gh-104972 [https://github.com/python/cpython/issues/104972]: Ensure that the line attribute in tokenize.TokenInfo objects in the tokenize module are always correct. Patch by Pablo Galindo

gh-104955 [https://github.com/python/cpython/issues/104955]: Fix signature for the new __release_buffer__() slot. Patch by Jelle Zijlstra.

gh-104690 [https://github.com/python/cpython/issues/104690]: Starting new threads and process creation through os.fork() during interpreter shutdown (such as from atexit handlers) is no longer supported. It can lead to race condition between the main Python runtime thread freeing thread states while internal threading routines are trying to allocate and use the state of just created threads. Or forked children trying to use the mid-shutdown runtime and thread state in the child process.

gh-104879 [https://github.com/python/cpython/issues/104879]: Fix crash when accessing the __module__ attribute of type aliases defined outside a module. Patch by Jelle Zijlstra.

gh-104825 [https://github.com/python/cpython/issues/104825]: Tokens emitted by the tokenize module do not include an implicit \n character in the line attribute anymore. Patch by Pablo Galindo

gh-104770 [https://github.com/python/cpython/issues/104770]: If a generator returns a value upon being closed, the value is now returned by generator.close().

gh-89091 [https://github.com/python/cpython/issues/89091]: Raise RuntimeWarning for unawaited async generator methods like asend(), athrow() and aclose(). Patch by Kumar Aditya.

gh-96663 [https://github.com/python/cpython/issues/96663]: Add a better, more introspect-able error message when setting attributes on classes without a __dict__ and no slot member for the attribute.

gh-93627 [https://github.com/python/cpython/issues/93627]: Update the Python pickle module implementation to match the C implementation of the pickle module. For objects setting reduction methods like __reduce_ex__() or __reduce__() to None, pickling will result in a TypeError.

gh-101006 [https://github.com/python/cpython/issues/101006]: Improve error handling when read marshal data.

gh-91095 [https://github.com/python/cpython/issues/91095]: Specializes calls to most Python classes. Specifically, any class that inherits from object, or another Python class, and does not override __new__.

The specialized instruction does the following:

Creates the object (by calling object.__new__)

Pushes a shim frame to the frame stack (to cleanup after __init__)

Pushes the frame for __init__ to the frame stack

Speeds up the instantiation of most Python classes.

Library

gh-110786 [https://github.com/python/cpython/issues/110786]: sysconfig’s CLI now ignores BrokenPipeError, making it exit normally if its output is being piped and the pipe closes.

gh-103480 [https://github.com/python/cpython/issues/103480]: The sysconfig module is now a package, instead of a single-file module.

gh-110733 [https://github.com/python/cpython/issues/110733]: Micro-optimization: Avoid calling min(), max() in BaseEventLoop._run_once().

gh-94597 [https://github.com/python/cpython/issues/94597]: Added asyncio.EventLoop for use with the asyncio.run() loop_factory kwarg to avoid calling the asyncio policy system.

gh-110682 [https://github.com/python/cpython/issues/110682]: runtime-checkable protocols used to consider __match_args__ a protocol member in __instancecheck__ if it was present on the protocol. Now, this attribute is ignored if it is present.

gh-110488 [https://github.com/python/cpython/issues/110488]: Fix a couple of issues in pathlib.PurePath.with_name(): a single dot was incorrectly considered a valid name, and in PureWindowsPath, a name with an NTFS alternate data stream, like a:b, was incorrectly considered invalid.

gh-110590 [https://github.com/python/cpython/issues/110590]: Fix a bug in _sre.compile() where TypeError would be overwritten by OverflowError when the code argument was a list of non-ints.

gh-65052 [https://github.com/python/cpython/issues/65052]: Prevent pdb from crashing when trying to display undisplayable objects

gh-110519 [https://github.com/python/cpython/issues/110519]: Deprecation warning about non-integer number in gettext now always refers to the line in the user code where gettext function or method is used. Previously it could refer to a line in gettext code.

gh-89902 [https://github.com/python/cpython/issues/89902]: Deprecate non-standard format specifier “N” for decimal.Decimal. It was not documented and only supported in the C implementation.

gh-110378 [https://github.com/python/cpython/issues/110378]: contextmanager() and asynccontextmanager() context managers now close an invalid underlying generator object that yields more then one value.

gh-106670 [https://github.com/python/cpython/issues/106670]: In pdb, set convenience variable $_exception for post mortem debugging.

gh-110365 [https://github.com/python/cpython/issues/110365]: Fix termios.tcsetattr() bug that was overwriting existing errors during parsing integers from term list.

gh-109653 [https://github.com/python/cpython/issues/109653]: Slightly improve the import time of several standard-library modules by deferring imports of warnings within those modules. Patch by Alex Waygood.

gh-110273 [https://github.com/python/cpython/issues/110273]: dataclasses.replace() now raises TypeError instead of ValueError if specify keyword argument for a field declared with init=False or miss keyword argument for required InitVar field.

gh-110249 [https://github.com/python/cpython/issues/110249]: Add --inline-caches flag to dis command line.

gh-109653 [https://github.com/python/cpython/issues/109653]: Fix a Python 3.12 regression in the import time of random. Patch by Alex Waygood.

gh-110222 [https://github.com/python/cpython/issues/110222]: Add support of struct sequence objects in copy.replace(). Patched by Xuehai Pan.

gh-109649 [https://github.com/python/cpython/issues/109649]: multiprocessing, concurrent.futures, compileall: Replace os.cpu_count() with os.process_cpu_count() to select the default number of worker threads and processes. Get the CPU affinity if supported. Patch by Victor Stinner.

gh-110150 [https://github.com/python/cpython/issues/110150]: Fix base case handling in statistics.quantiles. Now allows a single data point.

gh-110036 [https://github.com/python/cpython/issues/110036]: On Windows, multiprocessing Popen.terminate() now catches PermissionError and get the process exit code. If the process is still running, raise again the PermissionError. Otherwise, the process terminated as expected: store its exit code. Patch by Victor Stinner.

gh-110038 [https://github.com/python/cpython/issues/110038]: Fixed an issue that caused KqueueSelector.select() to not return all the ready events in some cases when a file descriptor is registered for both read and write.

gh-110045 [https://github.com/python/cpython/issues/110045]: Update the symtable module to support the new scopes introduced by PEP 695 [https://peps.python.org/pep-0695/].

gh-88402 [https://github.com/python/cpython/issues/88402]: Add new variables to sysconfig.get_config_vars() on Windows: LIBRARY, LDLIBRARY, LIBDIR, SOABI, and Py_NOGIL.

gh-109631 [https://github.com/python/cpython/issues/109631]: re functions such as re.findall(), re.split(), re.search() and re.sub() which perform short repeated matches can now be interrupted by user.

gh-109653 [https://github.com/python/cpython/issues/109653]: Reduce the import time of email.utils by around 43%. This results in the import time of email.message falling by around 18%, which in turn reduces the import time of importlib.metadata by around 6%. Patch by Alex Waygood.

gh-109818 [https://github.com/python/cpython/issues/109818]: Fix reprlib.recursive_repr() not copying __type_params__ from decorated function.

gh-109047 [https://github.com/python/cpython/issues/109047]: concurrent.futures: The executor manager thread now catches exceptions when adding an item to the call queue. During Python finalization, creating a new thread can now raise RuntimeError. Catch the exception and call terminate_broken() in this case. Patch by Victor Stinner.

gh-109782 [https://github.com/python/cpython/issues/109782]: Ensure the signature of os.path.isdir() is identical on all platforms. Patch by Amin Alaee.

gh-109653 [https://github.com/python/cpython/issues/109653]: Improve import time of functools by around 13%. Patch by Alex Waygood.

gh-109590 [https://github.com/python/cpython/issues/109590]: shutil.which() will prefer files with an extension in PATHEXT if the given mode includes os.X_OK on win32. If no PATHEXT match is found, a file without an extension in PATHEXT can be returned. This change will have shutil.which() act more similarly to previous behavior in Python 3.11.

gh-109653 [https://github.com/python/cpython/issues/109653]: Reduce the import time of enum by over 50%. Patch by Alex Waygood.

gh-109593 [https://github.com/python/cpython/issues/109593]: Avoid deadlocking on a reentrant call to the multiprocessing resource tracker. Such a reentrant call, though unlikely, can happen if a GC pass invokes the finalizer for a multiprocessing object such as SemLock.

gh-109653 [https://github.com/python/cpython/issues/109653]: Reduce the import time of typing by around a third. Patch by Alex Waygood.

gh-109649 [https://github.com/python/cpython/issues/109649]: Add os.process_cpu_count() function to get the number of logical CPUs usable by the calling thread of the current process. Patch by Victor Stinner.

gh-74481 [https://github.com/python/cpython/issues/74481]: Add set_error_mode related constants in msvcrt module in Python debug build.

gh-109613 [https://github.com/python/cpython/issues/109613]: Fix os.stat() and os.DirEntry.stat(): check for exceptions. Previously, on Python built in debug mode, these functions could trigger a fatal Python error (and abort the process) when a function succeeded with an exception set. Patch by Victor Stinner.

gh-109599 [https://github.com/python/cpython/issues/109599]: Expose the type of PyCapsule objects as types.CapsuleType.

gh-109109 [https://github.com/python/cpython/issues/109109]: You can now get the raw TLS certificate chains from TLS connections via ssl.SSLSocket.get_verified_chain() and ssl.SSLSocket.get_unverified_chain() methods.

Contributed by Mateusz Nowak.

gh-109559 [https://github.com/python/cpython/issues/109559]: Update unicodedata database to Unicode 15.1.0.

gh-109543 [https://github.com/python/cpython/issues/109543]: Remove unnecessary hasattr() check during typing.TypedDict creation.

gh-109495 [https://github.com/python/cpython/issues/109495]: Remove unnecessary extra __slots__ in datetime's pure python implementation to reduce memory size, as they are defined in the superclass. Patch by James Hilton-Balfe

gh-109461 [https://github.com/python/cpython/issues/109461]: logging: Use a context manager for lock acquisition.

gh-109096 [https://github.com/python/cpython/issues/109096]: http.server.CGIHTTPRequestHandler has been deprecated for removal in 3.15. Its design is old and the web world has long since moved beyond CGI.

gh-109409 [https://github.com/python/cpython/issues/109409]: Fix error when it was possible to inherit a frozen dataclass from multiple parents some of which were possibly not frozen.

gh-109375 [https://github.com/python/cpython/issues/109375]: The pdb alias command now prevents registering aliases without arguments.

gh-109319 [https://github.com/python/cpython/issues/109319]: Deprecate the dis.HAVE_ARGUMENT field in favour of dis.hasarg.

gh-107219 [https://github.com/python/cpython/issues/107219]: Fix a race condition in concurrent.futures. When a process in the process pool was terminated abruptly (while the future was running or pending), close the connection write end. If the call queue is blocked on sending bytes to a worker process, closing the connection write end interrupts the send, so the queue can be closed. Patch by Victor Stinner.

gh-66143 [https://github.com/python/cpython/issues/66143]: The codecs.CodecInfo object has been made copyable and pickleable. Patched by Robert Lehmann and Furkan Onder.

gh-109187 [https://github.com/python/cpython/issues/109187]: pathlib.Path.resolve() now treats symlink loops like other errors: in strict mode, OSError is raised, and in non-strict mode, no exception is raised.

gh-50644 [https://github.com/python/cpython/issues/50644]: Attempts to pickle or create a shallow or deep copy of codecs streams now raise a TypeError. Previously, copying failed with a RecursionError, while pickling produced wrong results that eventually caused unpickling to fail with a RecursionError.

gh-109174 [https://github.com/python/cpython/issues/109174]: Add support of types.SimpleNamespace in copy.replace().

gh-109164 [https://github.com/python/cpython/issues/109164]: pdb: Replace getopt with argparse for parsing command line arguments.

gh-109151 [https://github.com/python/cpython/issues/109151]: Enable readline editing features in the sqlite3 command-line interface (python -m sqlite3).

gh-108987 [https://github.com/python/cpython/issues/108987]: Fix _thread.start_new_thread() race condition. If a thread is created during Python finalization, the newly spawned thread now exits immediately instead of trying to access freed memory and lead to a crash. Patch by Victor Stinner.

gh-108682 [https://github.com/python/cpython/issues/108682]: Enum: require names=() or type=... to create an empty enum using the functional syntax.

gh-109033 [https://github.com/python/cpython/issues/109033]: Exceptions raised by os.utime builtin function now include the related filename

gh-108843 [https://github.com/python/cpython/issues/108843]: Fix an issue in ast.unparse() when unparsing f-strings containing many quote types.

gh-108469 [https://github.com/python/cpython/issues/108469]: ast.unparse() now supports new f-string syntax introduced in Python 3.12. Note that the f-string quotes are reselected for simplicity under the new syntax. (Patch by Steven Sun)

gh-108751 [https://github.com/python/cpython/issues/108751]: Add copy.replace() function which allows to create a modified copy of an object. It supports named tuples, dataclasses, and many other objects.

gh-108682 [https://github.com/python/cpython/issues/108682]: Enum: raise TypeError if super().__new__() is called from a custom __new__.

gh-108278 [https://github.com/python/cpython/issues/108278]: Deprecate passing the callback callable by keyword for the following sqlite3.Connection APIs:

set_authorizer()

set_progress_handler()

set_trace_callback()

The affected parameters will become positional-only in Python 3.15.

Patch by Erlend E. Aasland.

gh-105829 [https://github.com/python/cpython/issues/105829]: Fix concurrent.futures.ProcessPoolExecutor deadlock

gh-108295 [https://github.com/python/cpython/issues/108295]: Fix crashes related to use of weakrefs on typing.TypeVar.

gh-108463 [https://github.com/python/cpython/issues/108463]: Make expressions/statements work as expected in pdb

gh-108277 [https://github.com/python/cpython/issues/108277]: Add os.timerfd_create(), os.timerfd_settime(), os.timerfd_gettime(), os.timerfd_settime_ns(), and os.timerfd_gettime_ns() to provide a low level interface for Linux’s timer notification file descriptor.

gh-107811 [https://github.com/python/cpython/issues/107811]: tarfile: extraction of members with overly large UID or GID (e.g. on an OS with 32-bit id_t) now fails in the same way as failing to set the ID.

gh-64662 [https://github.com/python/cpython/issues/64662]: Fix support for virtual tables in sqlite3.Connection.iterdump(). Patch by Aviv Palivoda.

gh-108111 [https://github.com/python/cpython/issues/108111]: Fix a regression introduced in gh-101251 [https://github.com/python/cpython/issues/101251] for 3.12, resulting in an incorrect offset calculation in gzip.GzipFile.seek().

gh-108294 [https://github.com/python/cpython/issues/108294]: time.sleep() now raises an auditing event.

gh-108278 [https://github.com/python/cpython/issues/108278]: Deprecate passing name, number of arguments, and the callable as keyword arguments, for the following sqlite3.Connection APIs:

create_function()

create_aggregate()

The affected parameters will become positional-only in Python 3.15.

Patch by Erlend E. Aasland.

gh-108322 [https://github.com/python/cpython/issues/108322]: Speed-up NormalDist.samples() by using the inverse CDF method instead of calling random.gauss().

gh-83417 [https://github.com/python/cpython/issues/83417]: Add the ability for venv to create a .gitignore file which causes the created environment to be ignored by Git. It is on by default when venv is called via its CLI.

gh-105736 [https://github.com/python/cpython/issues/105736]: Harmonized the pure Python version of OrderedDict with the C version. Now, both versions set up their internal state in __new__. Formerly, the pure Python version did the set up in __init__.

gh-108083 [https://github.com/python/cpython/issues/108083]: Fix bugs in the constructor of sqlite3.Connection and sqlite3.Connection.close() where exceptions could be leaked. Patch by Erlend E. Aasland.

gh-107932 [https://github.com/python/cpython/issues/107932]: Fix dis module to properly report and display bytecode that do not have source lines.

gh-105539 [https://github.com/python/cpython/issues/105539]: sqlite3 now emits an ResourceWarning if a sqlite3.Connection object is not closed explicitly. Patch by Erlend E. Aasland.

gh-107995 [https://github.com/python/cpython/issues/107995]: The __module__ attribute on instances of functools.cached_property is now set to the name of the module in which the cached_property is defined, rather than “functools”. This means that doctests in cached_property docstrings are now properly collected by the doctest module. Patch by Tyler Smart.

gh-107963 [https://github.com/python/cpython/issues/107963]: Fix multiprocessing.set_forkserver_preload() to check the given list of modules names. Patch by Donghee Na.

gh-106242 [https://github.com/python/cpython/issues/106242]: Fixes os.path.normpath() to handle embedded null characters without truncating the path.

gh-81555 [https://github.com/python/cpython/issues/81555]: xml.dom.minidom now only quotes " in attributes.

gh-50002 [https://github.com/python/cpython/issues/50002]: xml.dom.minidom now preserves whitespaces in attributes.

gh-93057 [https://github.com/python/cpython/issues/93057]: Passing more than one positional argument to sqlite3.connect() and the sqlite3.Connection constructor is deprecated. The remaining parameters will become keyword-only in Python 3.15. Patch by Erlend E. Aasland.

gh-76913 [https://github.com/python/cpython/issues/76913]: Add merge_extra parameter/feature to logging.LoggerAdapter

gh-107913 [https://github.com/python/cpython/issues/107913]: Fix possible losses of errno and winerror values in OSError exceptions if they were cleared or modified by the cleanup code before creating the exception object.

gh-107845 [https://github.com/python/cpython/issues/107845]: tarfile.data_filter() now takes the location of symlinks into account when determining their target, so it will no longer reject some valid tarballs with LinkOutsideDestinationError.

gh-107812 [https://github.com/python/cpython/issues/107812]: Extend socket’s netlink support to the FreeBSD platform.

gh-107805 [https://github.com/python/cpython/issues/107805]: Fix signatures of module-level generated functions in turtle.

gh-107782 [https://github.com/python/cpython/issues/107782]: pydoc is now able to show signatures which are not representable in Python, e.g. for getattr and dict.pop.

gh-56166 [https://github.com/python/cpython/issues/56166]: Deprecate passing optional arguments maxsplit, count and flags in module-level functions re.split(), re.sub() and re.subn() as positional. They should only be passed by keyword.

gh-107710 [https://github.com/python/cpython/issues/107710]: Speed up logging.getHandlerNames().

gh-107715 [https://github.com/python/cpython/issues/107715]: Fix doctest.DocTestFinder.find() in presence of class names with special characters. Patch by Gertjan van Zwieten.

gh-100814 [https://github.com/python/cpython/issues/100814]: Passing a callable object as an option value to a Tkinter image now raises the expected TclError instead of an AttributeError.

gh-72684 [https://github.com/python/cpython/issues/72684]: Add tkinter widget methods: tk_busy_hold(), tk_busy_configure(), tk_busy_cget(), tk_busy_forget(), tk_busy_current(), and tk_busy_status().

gh-106684 [https://github.com/python/cpython/issues/106684]: Raise ResourceWarning when asyncio.StreamWriter is not closed leading to memory leaks. Patch by Kumar Aditya.

gh-107465 [https://github.com/python/cpython/issues/107465]: Add pathlib.Path.from_uri() classmethod.

gh-107077 [https://github.com/python/cpython/issues/107077]: Seems that in some conditions, OpenSSL will return SSL_ERROR_SYSCALL instead of SSL_ERROR_SSL when a certification verification has failed, but the error parameters will still contain ERR_LIB_SSL and SSL_R_CERTIFICATE_VERIFY_FAILED. We are now detecting this situation and raising the appropriate ssl.SSLCertVerificationError. Patch by Pablo Galindo

gh-107576 [https://github.com/python/cpython/issues/107576]: Fix types.get_original_bases() to only return __orig_bases__ if it is present on cls directly. Patch by James Hilton-Balfe.

gh-105481 [https://github.com/python/cpython/issues/105481]: Remove opcode.is_pseudo, opcode.MIN_PSEUDO_OPCODE and opcode.MAX_PSEUDO_OPCODE, which were added in 3.12, were never documented and were not intended to be used externally.

gh-105481 [https://github.com/python/cpython/issues/105481]: opcode.ENABLE_SPECIALIZATION (which was added in 3.12 but never documented or intended for external usage) is moved to _opcode.ENABLE_SPECIALIZATION where tests can access it.

gh-107396 [https://github.com/python/cpython/issues/107396]: tarfiles; Fixed use before assignment of self.exception for gzip decompression

gh-107409 [https://github.com/python/cpython/issues/107409]: Set __wrapped__ attribute in reprlib.recursive_repr().

gh-107406 [https://github.com/python/cpython/issues/107406]: Implement new __repr__() method for struct.Struct. Now it returns Struct(<format repr>).

gh-107369 [https://github.com/python/cpython/issues/107369]: Optimize textwrap.indent(). It is ~30% faster for large input. Patch by Inada Naoki.

gh-78722 [https://github.com/python/cpython/issues/78722]: Fix issue where pathlib.Path.iterdir() did not raise OSError until iterated.

gh-105578 [https://github.com/python/cpython/issues/105578]: Deprecate typing.AnyStr in favor of the new Type Parameter syntax. See PEP 695.

gh-62519 [https://github.com/python/cpython/issues/62519]: Make gettext.pgettext() search plural definitions when translation is not found.

gh-107089 [https://github.com/python/cpython/issues/107089]: Shelves opened with shelve.open() have a much faster clear() method. Patch by James Cave.

gh-82500 [https://github.com/python/cpython/issues/82500]: Fix overflow on 32-bit systems with asyncio os.sendfile() implementation.

gh-83006 [https://github.com/python/cpython/issues/83006]: Document behavior of shutil.disk_usage() for non-mounted filesystems on Unix.

gh-65495 [https://github.com/python/cpython/issues/65495]: Use lowercase mail from and rcpt to in smptlib.SMTP.

gh-106186 [https://github.com/python/cpython/issues/106186]: Do not report MultipartInvariantViolationDefect defect when the email.parser.Parser class is used to parse emails with headersonly=True.

gh-105002 [https://github.com/python/cpython/issues/105002]: Fix invalid result from PurePath.relative_to() method when attempting to walk a “..” segment in other with walk_up enabled. A ValueError exception is now raised in this case.

gh-106739 [https://github.com/python/cpython/issues/106739]: Add the rtype_cache to the warning message (as an addition to the type of leaked objects and the number of leaked objects already included in the message) to make debugging leaked objects easier when the multiprocessing resource tracker process finds leaked objects at shutdown. This helps more quickly identify what was leaked and/or why the leaked object was not properly cleaned up.

gh-106751 [https://github.com/python/cpython/issues/106751]: Optimize SelectSelector.select() for many iteration case. Patch By Donghee Na.

gh-106751 [https://github.com/python/cpython/issues/106751]: Optimize _PollLikeSelector.select() for many iteration case.

gh-106751 [https://github.com/python/cpython/issues/106751]: Optimize KqueueSelector.select() for many iteration case. Patch By Donghee Na.

gh-106831 [https://github.com/python/cpython/issues/106831]: Fix potential missing NULL check of d2i_SSL_SESSION result in _ssl.c.

gh-105481 [https://github.com/python/cpython/issues/105481]: The various opcode lists in the dis module are now generated from bytecodes.c instead of explicitly constructed in opcode.py.

gh-106727 [https://github.com/python/cpython/issues/106727]: Make inspect.getsource() smarter for class for same name definitions

gh-106789 [https://github.com/python/cpython/issues/106789]: Remove import of pprint from sysconfig.

gh-105726 [https://github.com/python/cpython/issues/105726]: Added __slots__ to contextlib.AbstractContextManager and contextlib.AbstractAsyncContextManager so that child classes can use __slots__.

gh-106774 [https://github.com/python/cpython/issues/106774]: Update the bundled copy of pip to version 23.2.1.

gh-106751 [https://github.com/python/cpython/issues/106751]: selectors: Optimize EpollSelector.select() code by moving some code outside of the loop.

gh-106752 [https://github.com/python/cpython/issues/106752]: Fixed several bugs in zipfile.Path, including: in zipfile.Path.match(), Windows separators are no longer honored (and never were meant to be); Fixed name/suffix/suffixes/stem operations when no filename is present and the Path is not at the root of the zipfile; Reworked glob for performance and more correct matching behavior.

gh-105293 [https://github.com/python/cpython/issues/105293]: Remove call to SSL_CTX_set_session_id_context during client side context creation in the ssl module.

gh-106734 [https://github.com/python/cpython/issues/106734]: Disable tab completion in multiline mode of pdb

gh-105481 [https://github.com/python/cpython/issues/105481]: Expose opcode metadata through _opcode.

gh-106670 [https://github.com/python/cpython/issues/106670]: Add the new exceptions command to the Pdb debugger. It makes it possible to move between chained exceptions when using post mortem debugging.

gh-106602 [https://github.com/python/cpython/issues/106602]: Add __copy__ and __deepcopy__ in enum

gh-106664 [https://github.com/python/cpython/issues/106664]: selectors: Add _SelectorMapping.get() method and optimize _SelectorMapping.__getitem__().

gh-106628 [https://github.com/python/cpython/issues/106628]: Speed up parsing of emails by about 20% by not compiling a new regular expression for every single email.

gh-89427 [https://github.com/python/cpython/issues/89427]: Set the environment variable VIRTUAL_ENV_PROMPT at venv activation, even when VIRTUAL_ENV_DISABLE_PROMPT is set.

gh-106530 [https://github.com/python/cpython/issues/106530]: Revert a change to colorsys.rgb_to_hls() that caused division by zero for certain almost-white inputs. Patch by Terry Jan Reedy.

gh-106584 [https://github.com/python/cpython/issues/106584]: Fix exit code for unittest if all tests are skipped. Patch by Egor Eliseev.

gh-106566 [https://github.com/python/cpython/issues/106566]: Optimize (?!) (pattern which always fails) in regular expressions.

gh-106554 [https://github.com/python/cpython/issues/106554]: selectors: Reduce Selector overhead by using a dict.get() to lookup file descriptors.

gh-106558 [https://github.com/python/cpython/issues/106558]: Remove ref cycle in callers of convert_to_error() by deleting result from scope in a finally block.

gh-100502 [https://github.com/python/cpython/issues/100502]: Add pathlib.PurePath.pathmod class attribute that stores the implementation of os.path used for low-level path operations: either posixpath or ntpath.

gh-106527 [https://github.com/python/cpython/issues/106527]: Reduce overhead to add and remove asyncio readers and writers.

gh-106524 [https://github.com/python/cpython/issues/106524]: Fix crash in _sre.template() with templates containing invalid group indices.

gh-106531 [https://github.com/python/cpython/issues/106531]: Removed _legacy and the names it provided from importlib.resources: Resource, contents, is_resource, open_binary, open_text, path, read_binary, and read_text.

gh-106052 [https://github.com/python/cpython/issues/106052]: re module: fix the matching of possessive quantifiers in the case of a subpattern containing backtracking.

gh-106510 [https://github.com/python/cpython/issues/106510]: Improve debug output for atomic groups in regular expressions.

gh-106503 [https://github.com/python/cpython/issues/106503]: Fix ref cycle in asyncio._SelectorSocketTransport by removing _write_ready in close.

gh-105497 [https://github.com/python/cpython/issues/105497]: Fix flag mask inversion when unnamed flags exist.

gh-90876 [https://github.com/python/cpython/issues/90876]: Prevent multiprocessing.spawn from failing to import in environments where sys.executable is None. This regressed in 3.11 with the addition of support for path-like objects in multiprocessing.

gh-106403 [https://github.com/python/cpython/issues/106403]: Instances of typing.TypeVar, typing.ParamSpec, typing.ParamSpecArgs, typing.ParamSpecKwargs, and typing.TypeVarTuple once again support weak references, fixing a regression introduced in Python 3.12.0 beta 1. Patch by Jelle Zijlstra.

gh-89812 [https://github.com/python/cpython/issues/89812]: Add private pathlib._PathBase class, which provides experimental support for virtual filesystems, and may be made public in a future version of Python.

gh-106292 [https://github.com/python/cpython/issues/106292]: Check for an instance-dict cached value in the __get__() method of functools.cached_property(). This better matches the pre-3.12 behavior and improves compatibility for users subclassing functools.cached_property() and adding a __set__() method.

gh-106350 [https://github.com/python/cpython/issues/106350]: Detect possible memory allocation failure in the libtommath function mp_init() used by the _tkinter module.

gh-106330 [https://github.com/python/cpython/issues/106330]: Fix incorrect matching of empty paths in pathlib.PurePath.match(). This bug was introduced in Python 3.12.0 beta 1.

gh-106309 [https://github.com/python/cpython/issues/106309]: Deprecate typing.no_type_check_decorator(). No major type checker ever added support for this decorator. Patch by Alex Waygood.

gh-102541 [https://github.com/python/cpython/issues/102541]: Make pydoc.doc() catch bad module ImportError when output stream is not None.

gh-106263 [https://github.com/python/cpython/issues/106263]: Fix crash when calling repr with a manually constructed SignalDict object. Patch by Charlie Zhao.

gh-106236 [https://github.com/python/cpython/issues/106236]: Replace assert statements with raise RuntimeError in threading, so that _DummyThread cannot be joined even with -OO.

gh-106238 [https://github.com/python/cpython/issues/106238]: Fix rare concurrency bug in lock acquisition by the logging package.

gh-106152 [https://github.com/python/cpython/issues/106152]: Added PY_THROW event hook for cProfile for generators

gh-106075 [https://github.com/python/cpython/issues/106075]: Added asyncio.taskgroups.__all__ to asyncio.__all__ for export in star imports.

gh-104527 [https://github.com/python/cpython/issues/104527]: Zipapp will now skip over appending an archive to itself.

gh-106046 [https://github.com/python/cpython/issues/106046]: Improve the error message from os.fspath() if called on an object where __fspath__ is set to None. Patch by Alex Waygood.

gh-105987 [https://github.com/python/cpython/issues/105987]: Fix crash due to improper reference counting in asyncio eager task factory internal routines.

gh-105974 [https://github.com/python/cpython/issues/105974]: Fix bug where a typing.Protocol class that had one or more non-callable members would raise TypeError when issubclass() was called against it, even if it defined a custom __subclasshook__ method. The behaviour in Python 3.11 and lower – which has now been restored – was not to raise TypeError in these situations if a custom __subclasshook__ method was defined. Patch by Alex Waygood.

gh-96145 [https://github.com/python/cpython/issues/96145]: Reverted addition of json.AttrDict.

gh-89812 [https://github.com/python/cpython/issues/89812]: Add pathlib.UnsupportedOperation, which is raised instead of NotImplementedError when a path operation isn’t supported.

gh-105808 [https://github.com/python/cpython/issues/105808]: Fix a regression introduced in gh-101251 [https://github.com/python/cpython/issues/101251] for 3.12, causing gzip.GzipFile.flush() to not flush the compressor (nor pass along the zip_mode argument).

gh-105481 [https://github.com/python/cpython/issues/105481]: stack_effect() no longer raises an exception if an oparg is provided for an opcode that doesn’t use its arg, or when it is not provided for an opcode that does use it. In the latter case, the stack effect is returned for oparg=0.

gh-104799 [https://github.com/python/cpython/issues/104799]: Enable ast.unparse() to unparse function and class definitions created without the new type_params field from PEP 695 [https://peps.python.org/pep-0695/]. Patch by Jelle Zijlstra.

gh-105793 [https://github.com/python/cpython/issues/105793]: Add follow_symlinks keyword-only argument to pathlib.Path.is_dir() and is_file(), defaulting to True.

gh-105570 [https://github.com/python/cpython/issues/105570]: Deprecate two methods of creating typing.TypedDict classes with 0 fields using the functional syntax: TD = TypedDict("TD") and TD = TypedDict("TD", None). Both will be disallowed in Python 3.15. To create a TypedDict class with 0 fields, either use class TD(TypedDict): pass or TD = TypedDict("TD", {}).

gh-105745 [https://github.com/python/cpython/issues/105745]: Fix webbrowser.Konqueror.open method.

gh-105733 [https://github.com/python/cpython/issues/105733]: ctypes: Deprecate undocumented ctypes.SetPointerType() and ctypes.ARRAY() functions. Patch by Victor Stinner.

gh-105687 [https://github.com/python/cpython/issues/105687]: Remove deprecated re.template, re.T, re.TEMPLATE, sre_constans.SRE_FLAG_TEMPLATE.

gh-105684 [https://github.com/python/cpython/issues/105684]: Supporting asyncio.Task.set_name() is now mandatory for third party task implementations. The undocumented _set_task_name() function (deprecated since 3.8) has been removed. Patch by Kumar Aditya.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix a bug in _Unpickler_SetInputStream() where an exception could end up being overwritten in case of failure.

gh-105626 [https://github.com/python/cpython/issues/105626]: Change the default return value of http.client.HTTPConnection.get_proxy_response_headers() to be None and not {}.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in sys where exceptions could end up being overwritten because of deferred error handling.

gh-105605 [https://github.com/python/cpython/issues/105605]: Harden pyexpat error handling during module initialisation to prevent exceptions from possibly being overwritten, and objects from being dereferenced twice.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bug in decimal where an exception could end up being overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in _datetime where exceptions could be overwritten in case of module initialisation failure.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in _ssl initialisation which could lead to leaked references and overwritten exceptions.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix a bug in array.array where an exception could end up being overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in _ctypes where exceptions could end up being overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix a bug in the posix module where an exception could be overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in _elementtree where exceptions could be overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in zoneinfo where exceptions could be overwritten.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in errno where exceptions could be overwritten.

gh-105566 [https://github.com/python/cpython/issues/105566]: Deprecate creating a typing.NamedTuple class using keyword arguments to denote the fields (NT = NamedTuple("NT", x=int, y=str)). This will be disallowed in Python 3.15. Use the class-based syntax or the functional syntax instead.

Two methods of creating NamedTuple classes with 0 fields using the functional syntax are also deprecated, and will be disallowed in Python 3.15: NT = NamedTuple("NT") and NT = NamedTuple("NT", None). To create a NamedTuple class with 0 fields, either use class NT(NamedTuple): pass or NT = NamedTuple("NT", []).

gh-105545 [https://github.com/python/cpython/issues/105545]: Remove deprecated in 3.11 webbrowser.MacOSXOSAScript._name attribute.

gh-105497 [https://github.com/python/cpython/issues/105497]: Fix flag inversion when alias/mask members exist.

gh-105509 [https://github.com/python/cpython/issues/105509]: typing.Annotated is now implemented as an instance of typing._SpecialForm rather than a class. This should have no user-facing impact for users of the typing module public API.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix bugs in pickle where exceptions could be overwritten.

gh-70303 [https://github.com/python/cpython/issues/70303]: Emit FutureWarning from pathlib.Path.glob() and rglob() if the given pattern ends with “**”. In a future Python release, patterns with this ending will match both files and directories. Add a trailing slash to only match directories.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix a bug in sqlite3 where an exception could be overwritten in the collation callback.

gh-105382 [https://github.com/python/cpython/issues/105382]: Remove cafile, capath and cadefault parameters of the urllib.request.urlopen() function, deprecated in Python 3.6. Patch by Victor Stinner.

gh-105376 [https://github.com/python/cpython/issues/105376]: logging: Remove undocumented and untested Logger.warn() and LoggerAdapter.warn() methods and logging.warn() function. Deprecated since Python 3.3, they were aliases to the logging.Logger.warning() method, logging.LoggerAdapter.warning() method and logging.warning() function. Patch by Victor Stinner.

gh-105332 [https://github.com/python/cpython/issues/105332]: Revert pickling method from by-name back to by-value.

gh-104554 [https://github.com/python/cpython/issues/104554]: Add RTSPS scheme support in urllib.parse

gh-105292 [https://github.com/python/cpython/issues/105292]: Add option to traceback.format_exception_only() to recurse into the nested exception of a BaseExceptionGroup.

gh-105280 [https://github.com/python/cpython/issues/105280]: Fix bug where isinstance([], collections.abc.Mapping) could evaluate to True if garbage collection happened at the wrong time. The bug was caused by changes to the implementation of typing.Protocol in Python 3.12.

gh-80480 [https://github.com/python/cpython/issues/80480]: array: Add 'w' typecode that represents Py_UCS4.

gh-105239 [https://github.com/python/cpython/issues/105239]: Fix longstanding bug where issubclass(object, typing.Protocol) would evaluate to True in some edge cases. Patch by Alex Waygood.

gh-104310 [https://github.com/python/cpython/issues/104310]: In the beta 1 release we added a utility function for extension module authors, to use when testing their module for support in multiple interpreters or under a per-interpreter GIL. The name of that function has changed from allowing_all_extensions to _incompatible_extension_module_restrictions. The default for the “disable_check” argument has change from True to False, to better match the new function name.

gh-105080 [https://github.com/python/cpython/issues/105080]: Fixed inconsistent signature on derived classes for inspect.signature()

gh-105144 [https://github.com/python/cpython/issues/105144]: Fix a recent regression in the typing module. The regression meant that doing class Foo(X, typing.Protocol), where X was a class that had abc.ABCMeta as its metaclass, would then cause subsequent isinstance(1, X) calls to erroneously raise TypeError. Patch by Alex Waygood.

gh-62948 [https://github.com/python/cpython/issues/62948]: The io.IOBase finalizer now logs the close() method errors with sys.unraisablehook. Previously, errors were ignored silently by default, and only logged in Python Development Mode or on Python built on debug mode. Patch by Victor Stinner.

gh-105096 [https://github.com/python/cpython/issues/105096]: wave: Deprecate the getmark(), setmark() and getmarkers() methods of the wave.Wave_read and wave.Wave_write classes. They will be removed in Python 3.15. Patch by Victor Stinner.

gh-104992 [https://github.com/python/cpython/issues/104992]: Remove the untested and undocumented unittest.TestProgram.usageExit() method, deprecated in Python 3.11. Patch by Hugo van Kemenade.

gh-104996 [https://github.com/python/cpython/issues/104996]: Improve performance of pathlib.PurePath initialisation by deferring joining of paths when multiple arguments are given.

gh-101588 [https://github.com/python/cpython/issues/101588]: Deprecate undocumented copy/deepcopy/pickle support for itertools.

gh-103631 [https://github.com/python/cpython/issues/103631]: Fix pathlib.PurePosixPath(pathlib.PureWindowsPath(...)) not converting path separators to restore 3.11 compatible behavior.

gh-104947 [https://github.com/python/cpython/issues/104947]: Make comparisons between pathlib.PureWindowsPath objects consistent across Windows and Posix to match 3.11 behavior.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the audioop module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the aifc module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the uu module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104935 [https://github.com/python/cpython/issues/104935]: Fix bugs with the interaction between typing.runtime_checkable() and typing.Generic that were introduced by the PEP 695 [https://peps.python.org/pep-0695/] implementation. Patch by Jelle Zijlstra.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the crypt module and its private _crypt extension, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the nis module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104898 [https://github.com/python/cpython/issues/104898]: Add missing __slots__ to os.PathLike.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the xdrlib module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the nntplib module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104886 [https://github.com/python/cpython/issues/104886]: Remove the undocumented configparser.LegacyInterpolation class, deprecated in the docstring since Python 3.2, and with a deprecation warning since Python 3.11. Patch by Hugo van Kemenade.

gh-104786 [https://github.com/python/cpython/issues/104786]: Remove kwargs-based typing.TypedDict creation

gh-104876 [https://github.com/python/cpython/issues/104876]: Remove the turtle.RawTurtle.settiltangle() method, deprecated in docs since Python 3.1 and with a deprecation warning since Python 3.11. Patch by Hugo van Kemenade.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Removed the msilib package, deprecated in Python 3.11.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the spwd module, deprecated in Python 3.11: the python-pam [https://pypi.org/project/python-pam/] project can be used instead. Patch by Victor Stinner.

gh-75552 [https://github.com/python/cpython/issues/75552]: Removed the tkinter.tix module, deprecated since Python 3.6.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the chunk module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the mailcap module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the sunau module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104780 [https://github.com/python/cpython/issues/104780]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the ossaudiodev module, deprecated in Python 3.11. Patch Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the pipes module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104873 [https://github.com/python/cpython/issues/104873]: Add typing.get_protocol_members() to return the set of members defining a typing.Protocol. Add typing.is_protocol() to check whether a class is a typing.Protocol. Patch by Jelle Zijlstra.

gh-104874 [https://github.com/python/cpython/issues/104874]: Document the __name__ and __supertype__ attributes of typing.NewType. Patch by Jelle Zijlstra.

gh-104835 [https://github.com/python/cpython/issues/104835]: Removed the following unittest functions, deprecated in Python 3.11:

unittest.findTestCases()

unittest.makeSuite()

unittest.getTestCaseNames()

Use TestLoader methods instead:

unittest.TestLoader.loadTestsFromModule()

unittest.TestLoader.loadTestsFromTestCase()

unittest.TestLoader.getTestCaseNames()

Patch by Hugo van Kemenade.

gh-104804 [https://github.com/python/cpython/issues/104804]: Remove the untested and undocumented webbrowser MacOSX class, deprecated in Python 3.11. Patch by Hugo van Kemenade.

gh-83863 [https://github.com/python/cpython/issues/83863]: Support for using pathlib.Path objects as context managers has been removed. Before Python 3.9, exiting the context manager marked a path as “closed”, which caused some (but not all!) methods to raise when called. Since Python 3.9, using a path as a context manager does nothing.

gh-104799 [https://github.com/python/cpython/issues/104799]: Adjust the location of the (see PEP 695 [https://peps.python.org/pep-0695/]) type_params field on ast.ClassDef, ast.AsyncFunctionDef, and ast.FunctionDef to better preserve backward compatibility. Patch by Jelle Zijlstra

gh-104797 [https://github.com/python/cpython/issues/104797]: Allow typing.Protocol classes to inherit from collections.abc.Buffer. Patch by Jelle Zijlstra.

gh-104783 [https://github.com/python/cpython/issues/104783]: Remove locale.resetlocale() function deprecated in Python 3.11. Patch by Victor Stinner.

gh-104780 [https://github.com/python/cpython/issues/104780]: Remove the 2to3 program and the lib2to3 module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the telnetlib module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the imghdr module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the cgi and cgitb modules, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104773 [https://github.com/python/cpython/issues/104773]: PEP 594 [https://peps.python.org/pep-0594/]: Remove the sndhdr module, deprecated in Python 3.11. Patch by Victor Stinner.

gh-104372 [https://github.com/python/cpython/issues/104372]: On Linux where subprocess can use the vfork() syscall for faster spawning, prevent the parent process from blocking other threads by dropping the GIL while it waits for the vfork’ed child process exec() outcome. This prevents spawning a binary from a slow filesystem from blocking the rest of the application.

gh-99108 [https://github.com/python/cpython/issues/99108]: We now release the GIL around built-in hashlib computations of reasonable size for the SHA families and MD5 hash functions, matching what our OpenSSL backed hash computations already does.

gh-102613 [https://github.com/python/cpython/issues/102613]: Improve performance of pathlib.Path.glob() when expanding a pattern with a non-terminal “**” component by filtering walked paths through a regular expression, rather than calling os.scandir() more than once on each directory.

gh-104399 [https://github.com/python/cpython/issues/104399]: Prepare the _tkinter module for building with Tcl 9.0 and future libtommath by replacing usage of deprecated functions mp_to_unsigned_bin_n() and mp_unsigned_bin_size() when necessary.

gh-102676 [https://github.com/python/cpython/issues/102676]: Add fields start_offset, cache_offset, end_offset, baseopname, baseopcode, jump_target and oparg to dis.Instruction.

gh-103558 [https://github.com/python/cpython/issues/103558]: Fixed parent argument validation mechanism of argparse. Improved test coverage.

gh-103464 [https://github.com/python/cpython/issues/103464]: Provide helpful usage messages when parsing incorrect pdb commands.

gh-103384 [https://github.com/python/cpython/issues/103384]: Generalize the regex pattern BaseConfigurator.INDEX_PATTERN to allow spaces and non-alphanumeric characters in keys.

gh-103124 [https://github.com/python/cpython/issues/103124]: Added multiline statement support for pdb

gh-101162 [https://github.com/python/cpython/issues/101162]: Forbid using builtins.issubclass() with types.GenericAlias as the first argument.

gh-103200 [https://github.com/python/cpython/issues/103200]: Fix cache repopulation semantics of zipimport.invalidate_caches(). The cache is now repopulated upon retrieving files with an invalid cache, not when the cache is invalidated.

gh-100061 [https://github.com/python/cpython/issues/100061]: Fix a bug that causes wrong matches for regular expressions with possessive qualifier.

gh-77609 [https://github.com/python/cpython/issues/77609]: Add follow_symlinks argument to pathlib.Path.glob() and rglob(), defaulting to false.

gh-102541 [https://github.com/python/cpython/issues/102541]: Hide traceback in help() prompt, when import failed.

gh-102120 [https://github.com/python/cpython/issues/102120]: Added a stream mode to tarfile that allows for reading archives without caching info about the inner files.

gh-102029 [https://github.com/python/cpython/issues/102029]: Deprecate passing any arguments to threading.RLock().

gh-88233 [https://github.com/python/cpython/issues/88233]: Refactored zipfile._strip_extra to use higher level abstractions for extras instead of a heavy-state loop.

gh-102024 [https://github.com/python/cpython/issues/102024]: Reduce calls of _idle_semaphore.release() in concurrent.futures.thread._worker().

gh-73435 [https://github.com/python/cpython/issues/73435]: Add support for recursive wildcards in pathlib.PurePath.match().

gh-84867 [https://github.com/python/cpython/issues/84867]: unittest.TestLoader no longer loads test cases from exact unittest.TestCase and unittest.FunctionTestCase classes.

gh-99203 [https://github.com/python/cpython/issues/99203]: Restore following CPython <= 3.10.5 behavior of shutil.make_archive(): do not create an empty archive if root_dir is not a directory, and, in that case, raise FileNotFoundError or NotADirectoryError regardless of format choice. Beyond the brought-back behavior, the function may now also raise these exceptions in dry_run mode.

gh-80480 [https://github.com/python/cpython/issues/80480]: Emit DeprecationWarning for array’s 'u' type code, deprecated in docs since Python 3.3.

gh-94924 [https://github.com/python/cpython/issues/94924]: unittest.mock.create_autospec() now properly returns coroutine functions compatible with inspect.iscoroutinefunction()

gh-94777 [https://github.com/python/cpython/issues/94777]: Fix hanging multiprocessing ProcessPoolExecutor when a child process crashes while data is being written in the call queue.

gh-92871 [https://github.com/python/cpython/issues/92871]: Remove the typing.io and typing.re namespaces, deprecated since Python 3.8. All items are still available from the main typing module.

bpo-43633 [https://bugs.python.org/issue?@action=redirect&bpo=43633]: Improve the textual representation of IPv4-mapped IPv6 addresses (RFC 4291 [https://datatracker.ietf.org/doc/html/rfc4291.html] Sections 2.2, 2.5.5.2) in ipaddress. Patch by Oleksandr Pavliuk.

bpo-44850 [https://bugs.python.org/issue?@action=redirect&bpo=44850]: Improve performance of operator.methodcaller() using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall convention. Patch by Anthony Lee and Pieter Eendebak.

bpo-44185 [https://bugs.python.org/issue?@action=redirect&bpo=44185]: unittest.mock.mock_open() will call the close() method of the file handle mock when it is exiting from the context manager. Patch by Samet Yaslan.

bpo-40988 [https://bugs.python.org/issue?@action=redirect&bpo=40988]: Improve performance of functools.singledispatchmethod by caching the generated dispatch wrapper. Optimization suggested by frederico. Patch by @mental32, Alex Waygood and Pieter Eendebak.

bpo-41768 [https://bugs.python.org/issue?@action=redirect&bpo=41768]: unittest.mock speccing no longer calls class properties. Patch by Melanie Witt.

bpo-18319 [https://bugs.python.org/issue?@action=redirect&bpo=18319]: Ensure gettext(msg) retrieve translations even if a plural form exists. In other words: gettext(msg) == ngettext(msg, '', 1).

bpo-17013 [https://bugs.python.org/issue?@action=redirect&bpo=17013]: Add ThreadingMock to unittest.mock that can be used to create Mock objects that can wait until they are called. Patch by Karthikeyan Singaravelan and Mario Corchero.

Documentation

gh-109209 [https://github.com/python/cpython/issues/109209]: The minimum Sphinx version required for the documentation is now 4.2.

gh-108826 [https://github.com/python/cpython/issues/108826]: dis module command-line interface is now mentioned in documentation.

gh-107305 [https://github.com/python/cpython/issues/107305]: Add documentation for PyInterpreterConfig and Py_NewInterpreterFromConfig(). Also clarify some of the nearby docs relative to per-interpreter GIL.

gh-107008 [https://github.com/python/cpython/issues/107008]: Document the curses module variables LINES and COLS.

gh-106948 [https://github.com/python/cpython/issues/106948]: Add a number of standard external names to nitpick_ignore.

gh-106232 [https://github.com/python/cpython/issues/106232]: Make timeit doc command lines compatible with Windows by using double quotes for arguments. This works on linux and macOS also.

gh-105172 [https://github.com/python/cpython/issues/105172]: Fixed functools.lru_cache() docstring accounting for typed argument’s different handling of str and int. Patch by Bar Harel.

gh-105052 [https://github.com/python/cpython/issues/105052]: Update timeit doc to specify that time in seconds is just the default.

gh-89455 [https://github.com/python/cpython/issues/89455]: Add missing documentation for the max_group_depth and max_group_width parameters and the exceptions attribute of the traceback.TracebackException class.

gh-89412 [https://github.com/python/cpython/issues/89412]: Add missing documentation for the end_lineno and end_offset attributes of the traceback.TracebackException class.

gh-104943 [https://github.com/python/cpython/issues/104943]: Remove mentions of old Python versions in typing.NamedTuple.

gh-54738 [https://github.com/python/cpython/issues/54738]: Add documentation on how to localize the argparse module.

gh-102823 [https://github.com/python/cpython/issues/102823]: Document the return type of x // y when x and y have type float.

gh-102759 [https://github.com/python/cpython/issues/102759]: Align function signature for functools.reduce in documentation and docstring with the C implementation.

Tests

gh-110647 [https://github.com/python/cpython/issues/110647]: Fix test_stress_modifying_handlers() of test_signal. Patch by Victor Stinner.

gh-103053 [https://github.com/python/cpython/issues/103053]: Fix test_tools.test_freeze on FreeBSD: run “make distclean” instead of “make clean” in the copied source directory to remove also the “python” program. Patch by Victor Stinner.

gh-110167 [https://github.com/python/cpython/issues/110167]: Fix a deadlock in test_socket when server fails with a timeout but the client is still running in its thread. Don’t hold a lock to call cleanup functions in doCleanups(). One of the cleanup function waits until the client completes, whereas the client could deadlock if it called addCleanup() in such situation. Patch by Victor Stinner.

gh-110388 [https://github.com/python/cpython/issues/110388]: Add tests for tty.

gh-81002 [https://github.com/python/cpython/issues/81002]: Add tests for termios.

gh-110367 [https://github.com/python/cpython/issues/110367]: regrtest: When using worker processes (-jN) with –verbose3 option, regrtest can now display the worker output even if a worker process does crash. Previously, sys.stdout and sys.stderr were replaced and so the worker output was lost on a crash. Patch by Victor Stinner.

gh-110267 [https://github.com/python/cpython/issues/110267]: Add tests for pickling and copying PyStructSequence objects. Patched by Xuehai Pan.

gh-110171 [https://github.com/python/cpython/issues/110171]: libregrtest now always sets and shows random.seed, so tests are more reproducible. Use --randseed flag to pass the explicit random seed for tests.

gh-110152 [https://github.com/python/cpython/issues/110152]: Remove Tools/scripts/run_tests.py and make hostrunnertest. Just run ./python -m test --slow-ci, make buildbottest or make test instead. Python test runner (regrtest) now handles cross-compilation and HOSTRUNNER. It also adds options to Python such fast -u -E -W default -bb when --fast-ci or --slow-ci option is used. Patch by Victor Stinner.

gh-110031 [https://github.com/python/cpython/issues/110031]: Skip test_threading tests using thread+fork if Python is built with Address Sanitizer (ASAN). Patch by Victor Stinner.

gh-110088 [https://github.com/python/cpython/issues/110088]: Fix test_asyncio timeouts: don’t measure the maximum duration, a test should not measure a CI performance. Only measure the minimum duration when a task has a timeout or delay. Add CLOCK_RES to test_asyncio.utils. Patch by Victor Stinner.

gh-109974 [https://github.com/python/cpython/issues/109974]: Fix race conditions in test_threading lock tests. Wait until a condition is met rather than using time.sleep() with a hardcoded number of seconds. Patch by Victor Stinner.

gh-110033 [https://github.com/python/cpython/issues/110033]: Fix test_interprocess_signal() of test_signal. Make sure that the subprocess.Popen object is deleted before the test raising an exception in a signal handler. Otherwise, Popen.__del__() can get the exception which is logged as Exception ignored in: ... and the test fails. Patch by Victor Stinner.

gh-109594 [https://github.com/python/cpython/issues/109594]: Fix test_timeout() of test_concurrent_futures.test_wait. Remove the future which may or may not complete depending if it takes longer than the timeout or not. Keep the second future which does not complete before wait() timeout. Patch by Victor Stinner.

gh-109972 [https://github.com/python/cpython/issues/109972]: Split test_gdb.py file into a test_gdb package made of multiple tests, so tests can now be run in parallel. Patch by Victor Stinner.

gh-109566 [https://github.com/python/cpython/issues/109566]: regrtest: When --fast-ci or --slow-ci option is used, regrtest now replaces the current process with a new process to add -u -W default -bb -E options to Python. Patch by Victor Stinner.

gh-109748 [https://github.com/python/cpython/issues/109748]: Fix test_zippath_from_non_installed_posix() of test_venv: don’t copy __pycache__/ sub-directories, because they can be modified by other Python tests running in parallel. Patch by Victor Stinner.

gh-109739 [https://github.com/python/cpython/issues/109739]: regrtest: Fix reference leak check on Windows. Disable the load tracker on Windows in the reference leak check mode (-R option). Patch by Victor Stinner.

gh-109276 [https://github.com/python/cpython/issues/109276]: regrtest: When a test fails with “env changed” and the –rerun option is used, the test is now re-run in verbose mode in a fresh process. Patch by Victor Stinner.

gh-103053 [https://github.com/python/cpython/issues/103053]: Skip test_freeze_simple_script() of test_tools.test_freeze if Python is built with ./configure --enable-optimizations, which means with Profile Guided Optimization (PGO): it just makes the test too slow. The freeze tool is tested by many other CIs with other (faster) compiler flags. Patch by Victor Stinner.

gh-109580 [https://github.com/python/cpython/issues/109580]: Skip test_perf_profiler if Python is built with ASAN, MSAN or UBSAN sanitizer. Python does crash randomly in this test on such build. Patch by Victor Stinner.

gh-109566 [https://github.com/python/cpython/issues/109566]: regrtest: Add --fast-ci and --slow-ci options. --fast-ci uses a default timeout of 10 minutes and -u all,-cpu (skip slowest tests). --slow-ci uses a default timeout of 20 minutes and -u all (run all tests). Patch by Victor Stinner.

gh-109425 [https://github.com/python/cpython/issues/109425]: libregrtest now decodes stdout of test worker processes with the “backslashreplace” error handler to log corrupted stdout, instead of failing with an error and not logging the stdout. Patch by Victor Stinner.

gh-109396 [https://github.com/python/cpython/issues/109396]: Fix test_socket.test_hmac_sha1() in FIPS mode. Use a longer key: FIPS mode requires at least of at least 112 bits. The previous key was only 32 bits. Patch by Victor Stinner.

gh-104736 [https://github.com/python/cpython/issues/104736]: Fix test_gdb on Python built with LLVM clang 16 on Linux ppc64le (ex: Fedora 38). Search patterns in gdb “bt” command output to detect when gdb fails to retrieve the traceback. For example, skip a test if Backtrace stopped: frame did not save the PC is found. Patch by Victor Stinner.

gh-109276 [https://github.com/python/cpython/issues/109276]: libregrtest now calls random.seed() before running each test file when -r/--randomize command line option is used. Moreover, it’s also called in worker processes. It should help to make tests more deterministic. Previously, it was only called once in the main process before running all test files and it was not called in worker processes. Patch by Victor Stinner.

gh-109276 [https://github.com/python/cpython/issues/109276]: libregrtest now uses a separated file descriptor to write test result as JSON. Previously, if a test wrote debug messages late around the JSON, the main test process failed to parse JSON. Patch by Victor Stinner.

gh-108996 [https://github.com/python/cpython/issues/108996]: Fix and enable test_msvcrt.

gh-109237 [https://github.com/python/cpython/issues/109237]: Fix test_site.test_underpth_basic() when the working directory contains at least one non-ASCII character: encode the ._pth file to UTF-8 and enable the UTF-8 Mode to use UTF-8 for the child process stdout. Patch by Victor Stinner.

gh-109230 [https://github.com/python/cpython/issues/109230]: Fix test_pyexpat.test_exception(): it can now be run from a directory different than Python source code directory. Before, the test failed in this case. Skip the test if Modules/pyexpat.c source is not available. Skip also the test on Python implementations other than CPython. Patch by Victor Stinner.

gh-108996 [https://github.com/python/cpython/issues/108996]: Add tests for msvcrt.

gh-109015 [https://github.com/python/cpython/issues/109015]: Fix test_asyncio, test_imaplib and test_socket tests on FreeBSD if the TCP blackhole is enabled (sysctl net.inet.tcp.blackhole). Skip the few tests which failed with ETIMEDOUT which such non standard configuration. Currently, the FreeBSD GCP image enables TCP and UDP blackhole [https://reviews.freebsd.org/D41751] (sysctl net.inet.tcp.blackhole=2 and sysctl net.inet.udp.blackhole=1). Patch by Victor Stinner.

gh-91960 [https://github.com/python/cpython/issues/91960]: Skip test_gdb if gdb is unable to retrieve Python frame objects: if a frame is <optimized out>. When Python is built with “clang -Og”, gdb can fail to retrieve the frame parameter of _PyEval_EvalFrameDefault(). In this case, tests like py_bt() are likely to fail. Without getting access to Python frames, python-gdb.py is mostly clueless on retrieving the Python traceback. Moreover, test_gdb is no longer skipped on macOS if Python is built with Clang. Patch by Victor Stinner.

gh-108962 [https://github.com/python/cpython/issues/108962]: Skip test_tempfile.test_flags() if chflags() fails with “OSError: [Errno 45] Operation not supported” (ex: on FreeBSD 13). Patch by Victor Stinner.

gh-91960 [https://github.com/python/cpython/issues/91960]: FreeBSD 13.2 CI coverage for pull requests is now provided by Cirrus-CI (a hosted CI service that supports Linux, macOS, Windows, and FreeBSD).

gh-89392 [https://github.com/python/cpython/issues/89392]: Removed support of test_main() function in tests. They now always use normal unittest test runner.

gh-108851 [https://github.com/python/cpython/issues/108851]: Fix test_tomllib recursion tests for WASI buildbots: reduce the recursion limit and compute the maximum nested array/dict depending on the current available recursion limit. Patch by Victor Stinner.

gh-108851 [https://github.com/python/cpython/issues/108851]: Add get_recursion_available() and get_recursion_depth() functions to the test.support module. Patch by Victor Stinner.

gh-108834 [https://github.com/python/cpython/issues/108834]: Add --fail-rerun option option to regrtest: if a test failed when then passed when rerun in verbose mode, exit the process with exit code 2 (error), instead of exit code 0 (success). Patch by Victor Stinner.

gh-108834 [https://github.com/python/cpython/issues/108834]: Rename regrtest --verbose2 option (-w) to --rerun. Keep --verbose2 as a deprecated alias. Patch by Victor Stinner.

gh-108834 [https://github.com/python/cpython/issues/108834]: When regrtest reruns failed tests in verbose mode (./python -m test --rerun), tests are now rerun in fresh worker processes rather than being executed in the main process. If a test does crash or is killed by a timeout, the main process can detect and handle the killed worker process. Tests are rerun in parallel if the -jN option is used to run tests in parallel. Patch by Victor Stinner.

gh-108822 [https://github.com/python/cpython/issues/108822]: regrtest now computes statistics on all tests: successes, failures and skipped. test_netrc, test_pep646_syntax and test_xml_etree now return results in their test_main() function. Patch by Victor Stinner and Alex Waygood.

gh-108794 [https://github.com/python/cpython/issues/108794]: The doctest.DocTestRunner.run() method now counts the number of skipped tests. Add doctest.DocTestRunner.skips and doctest.TestResults.skipped attributes. Patch by Victor Stinner.

gh-108388 [https://github.com/python/cpython/issues/108388]: Convert test_concurrent_futures to a package of 7 sub-tests. Patch by Victor Stinner.

gh-108388 [https://github.com/python/cpython/issues/108388]: Split test_multiprocessing_fork, test_multiprocessing_forkserver and test_multiprocessing_spawn into test packages. Each package is made of 4 sub-tests: processes, threads, manager and misc. It allows running more tests in parallel and so reduce the total test duration. Patch by Victor Stinner.

gh-105776 [https://github.com/python/cpython/issues/105776]: Fix test_cppext when the C compiler command -std=c11 option: remove -std= options from the compiler command. Patch by Victor Stinner.

gh-107652 [https://github.com/python/cpython/issues/107652]: Set up CIFuzz to run fuzz targets in GitHub Actions. Patch by Illia Volochii.

gh-107237 [https://github.com/python/cpython/issues/107237]: test_logging: Fix test_udp_reconnection() by increasing the timeout from 100 ms to 5 minutes (LONG_TIMEOUT). Patch by Victor Stinner.

gh-107178 [https://github.com/python/cpython/issues/107178]: Add the C API test for functions in the Mapping Protocol, the Sequence Protocol and some functions in the Object Protocol.

gh-106714 [https://github.com/python/cpython/issues/106714]: test_capi: Fix test_no_FatalError_infinite_loop() to no longer write a coredump, by using test.support.SuppressCrashReport. Patch by Victor Stinner.

gh-104090 [https://github.com/python/cpython/issues/104090]: Avoid creating a reference to the test object in collectedDurations().

gh-106752 [https://github.com/python/cpython/issues/106752]: Moved tests for zipfile.Path into Lib/test/test_zipfile/_path. Made zipfile._path a package.

gh-106690 [https://github.com/python/cpython/issues/106690]: Add .coveragerc to cpython repository for use with coverage package.

gh-101634 [https://github.com/python/cpython/issues/101634]: When running the Python test suite with -jN option, if a worker stdout cannot be decoded from the locale encoding report a failed testn so the exitcode is non-zero. Patch by Victor Stinner.

gh-105084 [https://github.com/python/cpython/issues/105084]: When the Python build is configured --with-wheel-pkg-dir, tests requiring the setuptools and wheel wheels will search for the wheels in WHEEL_PKG_DIR.

gh-81005 [https://github.com/python/cpython/issues/81005]: String tests are modified to reflect that str and unicode are merged in Python 3. Patch by Daniel Fortunov.

gh-103186 [https://github.com/python/cpython/issues/103186]: Suppress and assert expected RuntimeWarnings in test_sys_settrace.py

gh-69714 [https://github.com/python/cpython/issues/69714]: Add additional tests to calendar to achieve full test coverage.

Build

gh-103053 [https://github.com/python/cpython/issues/103053]: “make check-clean-src” now also checks if the “python” program is found in the source directory: fail with an error if it does exist. Patch by Victor Stinner.

gh-109191 [https://github.com/python/cpython/issues/109191]: Fix compile error when building with recent versions of libedit.

gh-110276 [https://github.com/python/cpython/issues/110276]: No longer ignore PROFILE_TASK failure silently: command used by Profile Guided Optimization (PGO). Patch by Victor Stinner.

gh-109566 [https://github.com/python/cpython/issues/109566]: Remove make testall target: use make buildbottest instead. Patch by Victor Stinner.

gh-109740 [https://github.com/python/cpython/issues/109740]: The experimental --disable-gil configure flag now includes “t” (for “threaded”) in extension ABI tags.

gh-109054 [https://github.com/python/cpython/issues/109054]: Fix building the _testcapi extension on Linux AArch64 which requires linking to libatomic when <cpython/pyatomic.h> is used: the _Py_atomic_or_uint64() function requires libatomic __atomic_fetch_or_8() on this platform. The configure script now checks if linking to libatomic is needed and generates a new LIBATOMIC variable used to build the _testcapi extension. Patch by Victor Stinner.

gh-63760 [https://github.com/python/cpython/issues/63760]: Fix Solaris build: no longer redefine the gethostname() function. Solaris defines the function since 2005. Patch by Victor Stinner, original patch by Jakub Kulík.

gh-108740 [https://github.com/python/cpython/issues/108740]: Fix a race condition in make regen-all. The deepfreeze.c source and files generated by Argument Clinic are now generated or updated before generating “global objects”. Previously, some identifiers may miss depending on the order in which these files were generated. Patch by Victor Stinner.

gh-108634 [https://github.com/python/cpython/issues/108634]: Python built with configure --with-trace-refs (tracing references) is now ABI compatible with Python release build and debug build. Patch by Victor Stinner.

gh-85283 [https://github.com/python/cpython/issues/85283]: The _stat C extension is now built with the limited C API. Patch by Victor Stinner.

gh-108447 [https://github.com/python/cpython/issues/108447]: Fix x86_64 GNU/Hurd build

gh-107814 [https://github.com/python/cpython/issues/107814]: When calling find_python.bat with -q it did not properly silence the output of nuget. That is now fixed.

gh-105481 [https://github.com/python/cpython/issues/105481]: Remove the make target regen-opcode-targets, merge its work into regen-opcode which repeats most of the calculation. This simplifies the code for the build and reduces code duplication.

gh-106881 [https://github.com/python/cpython/issues/106881]: Check for linux/limits.h before including it in Modules/posixmodule.c.

gh-95855 [https://github.com/python/cpython/issues/95855]: Refactor platform triplet detection code and add detection for MIPS soft float and musl libc.

gh-106962 [https://github.com/python/cpython/issues/106962]: Detect MPI compilers in configure.

gh-106118 [https://github.com/python/cpython/issues/106118]: Fix compilation for platforms without O_CLOEXEC. The issue was introduced with Python 3.12b1 in gh-103295 [https://github.com/python/cpython/issues/103295]. Patch by Erlend Aasland.

gh-105875 [https://github.com/python/cpython/issues/105875]: SQLite 3.15.2 or newer is required to build the sqlite3 extension module. Patch by Erlend Aasland.

gh-90005 [https://github.com/python/cpython/issues/90005]: Fix a regression in configure where we could end up unintentionally linking with libbsd.

gh-102404 [https://github.com/python/cpython/issues/102404]: Document how to perform a WASI build on Linux. Also add Tools/wasm/build_wasi.sh as a reference implementation of the docs.

gh-89886 [https://github.com/python/cpython/issues/89886]: Autoconf 2.71 and aclocal 1.16.4 is now required to regenerate !configure.

gh-104692 [https://github.com/python/cpython/issues/104692]: Include commoninstall as a prerequisite for bininstall

This ensures that commoninstall is completed before bininstall is started when parallel builds are used (make -j install), and so the python3 symlink is only installed after all standard library modules are installed.

gh-101538 [https://github.com/python/cpython/issues/101538]: Add experimental wasi-threads support. Patch by Takashi Yamamoto.

Windows

gh-110437 [https://github.com/python/cpython/issues/110437]: Allows overriding the source of VC redistributables so that releases can be guaranteed to never downgrade between updates.

gh-109286 [https://github.com/python/cpython/issues/109286]: Update Windows installer to use SQLite 3.43.1.

gh-82367 [https://github.com/python/cpython/issues/82367]: os.path.realpath() now resolves MS-DOS style file names even if the file is not accessible. Patch by Moonsik Park.

gh-109991 [https://github.com/python/cpython/issues/109991]: Update Windows build to use OpenSSL 3.0.11.

gh-106242 [https://github.com/python/cpython/issues/106242]: Fixes realpath() to behave consistently when passed a path containing an embedded null character on Windows. In strict mode, it now raises OSError instead of the unexpected ValueError, and in non-strict mode will make the path absolute.

gh-83180 [https://github.com/python/cpython/issues/83180]: Changes the Inicializador Python para Windows to prefer an active virtual environment when the launched script has a shebang line using a Unix-like virtual command, even if the command requests a specific version of Python.

gh-106844 [https://github.com/python/cpython/issues/106844]: Fix integer overflow and truncating by the null character in _winapi.LCMapStringEx() which affects ntpath.normcase().

gh-105436 [https://github.com/python/cpython/issues/105436]: Ensure that an empty environment block is terminated by two null characters, as is required by Windows.

gh-105146 [https://github.com/python/cpython/issues/105146]: Updated the links at the end of the installer to point to Discourse rather than the mailing lists.

gh-103646 [https://github.com/python/cpython/issues/103646]: When installed from the Microsoft Store, pip no longer defaults to per-user installs. However, as the install directory is unwritable, it should automatically decide to do a per-user install anyway. This should resolve issues when pip is passed an option that conflicts with --user.

gh-88745 [https://github.com/python/cpython/issues/88745]: Improve performance of shutil.copy2() by using the operating system’s CopyFile2 function. This may result in subtle changes to metadata copied along with some files, bringing them in line with normal OS behavior.

gh-104820 [https://github.com/python/cpython/issues/104820]: Fixes stat() and related functions on file systems that do not support file ID requests. This includes FAT32 and exFAT.

gh-104803 [https://github.com/python/cpython/issues/104803]: Add os.path.isdevdrive() to detect whether a path is on a Windows Dev Drive. Returns False on platforms that do not support Dev Drive, and is absent on non-Windows platforms.

macOS

gh-109286 [https://github.com/python/cpython/issues/109286]: Update macOS installer to use SQLite 3.43.1.

gh-109991 [https://github.com/python/cpython/issues/109991]: Update macOS installer to use OpenSSL 3.0.11.

gh-99079 [https://github.com/python/cpython/issues/99079]: Update macOS installer to use OpenSSL 3.0.9.

IDLE

gh-104719 [https://github.com/python/cpython/issues/104719]: Remove IDLE’s modification of tokenize.tabsize and test other uses of tokenize data and methods.

Tools/Demos

gh-109991 [https://github.com/python/cpython/issues/109991]: Update GitHub CI workflows to use OpenSSL 3.0.11 and multissltests to use 1.1.1w, 3.0.11, and 3.1.3.

gh-108494 [https://github.com/python/cpython/issues/108494]: Argument Clinic [https://devguide.python.org/development-tools/clinic/] now has a partial support of the Limited API: see documentation in the Python Developer’s Guide [https://devguide.python.org/development-tools/clinic/#clinic-howto-limited-capi] Patch by Victor Stinner.

gh-107704 [https://github.com/python/cpython/issues/107704]: It is now possible to deprecate passing keyword arguments for keyword-or-positional parameters with Argument Clinic, using the new / [from X.Y] syntax. (To be read as “positional-only from Python version X.Y”.) See documentation in the Python Developer’s Guide [https://devguide.python.org/development-tools/clinic/#clinic-howto-deprecate-keyword] for more information.

gh-107880 [https://github.com/python/cpython/issues/107880]: Argument Clinic can now clone __init__() and __new__() methods.

gh-104683 [https://github.com/python/cpython/issues/104683]: Add --exclude option to Argument Clinic CLI.

gh-95065 [https://github.com/python/cpython/issues/95065]: Argument Clinic now supports overriding automatically generated signature by using directive @text_signature. See documentation in the Python Developer’s Guide [https://devguide.python.org/development-tools/clinic/#clinic-howto-override-signature]

gh-107609 [https://github.com/python/cpython/issues/107609]: Fix duplicate module check in Argument Clinic. Previously, a duplicate definition would incorrectly be silently accepted. Patch by Erlend E. Aasland.

gh-107467 [https://github.com/python/cpython/issues/107467]: The Argument Clinic command-line tool now prints to stderr instead of stdout on failure.

gh-106970 [https://github.com/python/cpython/issues/106970]: Fix bugs in the Argument Clinic destination <name> clear command; the destination buffers would never be cleared, and the destination directive parser would simply continue to the fault handler after processing the command. Patch by Erlend E. Aasland.

gh-106706 [https://github.com/python/cpython/issues/106706]: Change bytecode syntax for families to remove redundant name matching pseudo syntax.

gh-106359 [https://github.com/python/cpython/issues/106359]: Argument Clinic now explicitly forbids “kwarg splats” in function calls used as annotations.

gh-103186 [https://github.com/python/cpython/issues/103186]: freeze now fetches CONFIG_ARGS from the original CPython instance the Makefile uses to call utility scripts. Patch by Ijtaba Hussain.

gh-95065 [https://github.com/python/cpython/issues/95065]: It is now possible to deprecate passing parameters positionally with Argument Clinic, using the new * [from X.Y] syntax. (To be read as “keyword-only from Python version X.Y”.) See documentation in the Python Developer’s Guide [https://devguide.python.org/development-tools/clinic/#clinic-howto-deprecate-positional] for more information. Patch by Erlend E. Aasland with help from Alex Waygood, Nikita Sobolev, and Serhiy Storchaka.

C API

gh-85283 [https://github.com/python/cpython/issues/85283]: If the Py_LIMITED_API macro is defined, Py_BUILD_CORE, Py_BUILD_CORE_BUILTIN and Py_BUILD_CORE_MODULE macros are now undefined by <Python.h>. Patch by Victor Stinner.

gh-110289 [https://github.com/python/cpython/issues/110289]: Add PyUnicode_EqualToUTF8AndSize() and PyUnicode_EqualToUTF8() functions.

gh-110235 [https://github.com/python/cpython/issues/110235]: Raise TypeError for duplicate/unknown fields in PyStructSequence constructor. Patched by Xuehai Pan.

gh-110014 [https://github.com/python/cpython/issues/110014]: Remove undocumented PY_TIMEOUT_MAX constant from the limited C API. Patch by Victor Stinner.

gh-109521 [https://github.com/python/cpython/issues/109521]: PyImport_GetImporter() now sets RuntimeError if it fails to get sys.path_hooks or sys.path_importer_cache or they are not list and dict correspondingly. Previously it could return NULL without setting error in obscure cases, crash or raise SystemError if these attributes have wrong type.

gh-108724 [https://github.com/python/cpython/issues/108724]: Add PyMutex internal-only lightweight locking API.

gh-85283 [https://github.com/python/cpython/issues/85283]: Add PySys_AuditTuple() function: similar to PySys_Audit(), but pass event arguments as a Python tuple object. Patch by Victor Stinner.

gh-108867 [https://github.com/python/cpython/issues/108867]: Add PyThreadState_GetUnchecked() function: similar to PyThreadState_Get(), but don’t kill the process with a fatal error if it is NULL. The caller is responsible to check if the result is NULL. Previously, the function was private and known as _PyThreadState_UncheckedGet(). Patch by Victor Stinner.

gh-108765 [https://github.com/python/cpython/issues/108765]: Python.h no longer includes the <ctype.h> standard header file. If needed, it should now be included explicitly. For example, it provides isalpha() and tolower() functions which are locale dependent. Python provides locale independent functions, like Py_ISALPHA() and Py_TOLOWER(). Patch by Victor Stinner.

gh-108765 [https://github.com/python/cpython/issues/108765]: Python.h no longer includes the <unistd.h> standard header file. If needed, it should now be included explicitly. For example, it provides the functions: close(), getpagesize(), getpid() and sysconf(). Patch by Victor Stinner.

gh-108765 [https://github.com/python/cpython/issues/108765]: Python.h no longer includes the <ieeefp.h> standard header. It was included for the finite() function which is now provided by the <math.h> header. It should now be included explicitly if needed. Remove also the HAVE_IEEEFP_H macro. Patch by Victor Stinner.

gh-108765 [https://github.com/python/cpython/issues/108765]: Python.h no longer includes these standard header files: <time.h>, <sys/select.h> and <sys/time.h>. If needed, they should now be included explicitly. For example, <time.h> provides the clock() and gmtime() functions, <sys/select.h> provides the select() function, and <sys/time.h> provides the futimes(), gettimeofday() and setitimer() functions. Patch by Victor Stinner.

gh-108511 [https://github.com/python/cpython/issues/108511]: Add functions PyObject_HasAttrWithError(), PyObject_HasAttrStringWithError(), PyMapping_HasKeyWithError() and PyMapping_HasKeyStringWithError().

gh-107073 [https://github.com/python/cpython/issues/107073]: Add PyObject_VisitManagedDict() and PyObject_ClearManagedDict() functions which must be called by the traverse and clear functions of a type using Py_TPFLAGS_MANAGED_DICT flag. Patch by Victor Stinner.

gh-108634 [https://github.com/python/cpython/issues/108634]: Python built with configure --with-trace-refs (tracing references) now supports the Limited API. Patch by Victor Stinner.

gh-108014 [https://github.com/python/cpython/issues/108014]: Add PyLong_AsInt() function: similar to PyLong_AsLong(), but store the result in a C int instead of a C long. Previously, it was known as the private function _PyLong_AsInt() (with an underscore prefix). Patch by Victor Stinner.

gh-108314 [https://github.com/python/cpython/issues/108314]: Add PyDict_ContainsString() function: same as PyDict_Contains(), but key is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*. Patch by Victor Stinner.

gh-108337 [https://github.com/python/cpython/issues/108337]: Add atomic operations on additional data types in pyatomic.h.

gh-108014 [https://github.com/python/cpython/issues/108014]: Add Py_IsFinalizing() function: check if the main Python interpreter is shutting down. Patch by Victor Stinner.

gh-107916 [https://github.com/python/cpython/issues/107916]: C API functions PyErr_SetFromErrnoWithFilename(), PyErr_SetExcFromWindowsErrWithFilename() and PyErr_SetFromWindowsErrWithFilename() save now the error code before calling PyUnicode_DecodeFSDefault().

gh-107915 [https://github.com/python/cpython/issues/107915]: Such C API functions as PyErr_SetString(), PyErr_Format(), PyErr_SetFromErrnoWithFilename() and many others no longer crash or ignore errors if it failed to format the error message or decode the filename. Instead, they keep a corresponding error.

gh-107810 [https://github.com/python/cpython/issues/107810]: Improve DeprecationWarning for uses of PyType_Spec with metaclasses that have custom tp_new.

gh-107249 [https://github.com/python/cpython/issues/107249]: Implement the Py_UNUSED macro for Windows MSVC compiler. Patch by Victor Stinner.

gh-107226 [https://github.com/python/cpython/issues/107226]: PyModule_AddObjectRef() is now only available in the limited API version 3.10 or later.

gh-106320 [https://github.com/python/cpython/issues/106320]: Remove private _PyUnicode_AsString() alias to PyUnicode_AsUTF8(). It was kept for backward compatibility with Python 3.0 - 3.2. The PyUnicode_AsUTF8() is available since Python 3.3. The PyUnicode_AsUTF8String() function can be used to keep compatibility with Python 3.2 and older. Patch by Victor Stinner.

gh-106572 [https://github.com/python/cpython/issues/106572]: Convert PyObject_DelAttr() and PyObject_DelAttrString() macros to functions. Patch by Victor Stinner.

gh-106307 [https://github.com/python/cpython/issues/106307]: Add PyMapping_GetOptionalItem() function.

gh-106521 [https://github.com/python/cpython/issues/106521]: Add PyObject_GetOptionalAttr() and PyObject_GetOptionalAttrString() functions.

gh-106320 [https://github.com/python/cpython/issues/106320]: Remove _PyInterpreterState_Get() alias to PyInterpreterState_Get() which was kept for backward compatibility with Python 3.8. Patch by Victor Stinner.

gh-106316 [https://github.com/python/cpython/issues/106316]: Remove cpython/pytime.h header file: it only contained private functions. Patch by Victor Stinner.

gh-106023 [https://github.com/python/cpython/issues/106023]: Remove private _PyObject_FastCall() function: use PyObject_Vectorcall() which is available since Python 3.8 (PEP 590 [https://peps.python.org/pep-0590/]). Patch by Victor Stinner.

gh-106168 [https://github.com/python/cpython/issues/106168]: If Python is built in debug mode or with assertions, PyTuple_SET_ITEM() and PyList_SET_ITEM() now check the index argument with an assertion. If the assertion fails, make sure that the size is set before. Patch by Victor Stinner.

gh-106084 [https://github.com/python/cpython/issues/106084]: Remove the old aliases to functions calling functions which were kept for backward compatibility with Python 3.8 provisional API:

_PyObject_CallMethodNoArgs(): use PyObject_CallMethodNoArgs()

_PyObject_CallMethodOneArg(): use PyObject_CallMethodOneArg()

_PyObject_CallOneArg(): use PyObject_CallOneArg()

_PyObject_FastCallDict(): use PyObject_VectorcallDict()

_PyObject_Vectorcall(): use PyObject_Vectorcall()

_PyObject_VectorcallMethod(): use PyObject_VectorcallMethod()

_PyVectorcall_Function(): use PyVectorcall_Function()

Just remove the underscore prefix to update your code. Patch by Victor Stinner.

gh-106004 [https://github.com/python/cpython/issues/106004]: Adds PyDict_GetItemRef() and PyDict_GetItemStringRef() functions: similar to PyDict_GetItemWithError() but returning a strong reference instead of a borrowed reference. Patch by Victor Stinner.

gh-105927 [https://github.com/python/cpython/issues/105927]: Deprecate the PyWeakref_GetObject() and PyWeakref_GET_OBJECT() functions: use the new PyWeakref_GetRef() function instead. Patch by Victor Stinner.

gh-105927 [https://github.com/python/cpython/issues/105927]: Add PyWeakref_GetRef() function: similar to PyWeakref_GetObject() but returns a strong reference, or NULL if the referent is no longer live. Patch by Victor Stinner.

gh-105922 [https://github.com/python/cpython/issues/105922]: Add PyImport_AddModuleRef(): similar to PyImport_AddModule(), but return a strong reference instead of a borrowed reference. Patch by Victor Stinner.

gh-105227 [https://github.com/python/cpython/issues/105227]: The new PyType_GetDict() provides the dictionary for the given type object that is normally exposed by cls.__dict__. Normally it’s sufficient to use tp_dict, but for the static builtin types tp_dict is now always NULL. PyType_GetDict() provides the correct dict object instead.

gh-105375 [https://github.com/python/cpython/issues/105375]: Fix a bug in PyErr_WarnExplicit() where an exception could end up being overwritten if the API failed internally.

gh-105603 [https://github.com/python/cpython/issues/105603]: We’ve renamed the new (in 3.12) PyInterpreterConfig.own_gil to PyInterpreterConfig.gil and changed the meaning of the value from “bool” to an integer with supported values of PyInterpreterConfig_DEFAULT_GIL, PyInterpreterConfig_SHARED_GIL, and PyInterpreterConfig_OWN_GIL. The default is “shared”.

gh-105387 [https://github.com/python/cpython/issues/105387]: In the limited C API version 3.12, Py_INCREF() and Py_DECREF() functions are now implemented as opaque function calls to hide implementation details. Patch by Victor Stinner.

gh-105396 [https://github.com/python/cpython/issues/105396]: Deprecate the PyImport_ImportModuleNoBlock() function which is just an alias to PyImport_ImportModule() since Python 3.3. Patch by Victor Stinner.

gh-103968 [https://github.com/python/cpython/issues/103968]: PyType_FromMetaclass() now allows metaclasses with tp_new set to NULL.

gh-105268 [https://github.com/python/cpython/issues/105268]: Remove the old private, undocumented and untested _PyGC_FINALIZED() macro which was kept for backward compatibility with Python 3.8 and older. Patch by Victor Stinner.

gh-105182 [https://github.com/python/cpython/issues/105182]: Remove PyEval_AcquireLock() and PyEval_ReleaseLock() functions, deprecated in Python 3.2. Patch by Victor Stinner.

gh-105182 [https://github.com/python/cpython/issues/105182]: Remove PyEval_InitThreads() and PyEval_ThreadsInitialized() functions, deprecated in Python 3.9. Patch by Victor Stinner.

gh-105145 [https://github.com/python/cpython/issues/105145]: Deprecate old Python initialization functions:

PySys_ResetWarnOptions()

Py_GetExecPrefix()

Py_GetPath()

Py_GetPrefix()

Py_GetProgramFullPath()

Py_GetProgramName()

Py_GetPythonHome()

Patch by Victor Stinner.

gh-85275 [https://github.com/python/cpython/issues/85275]: PyObject_AsCharBuffer(), PyObject_AsReadBuffer(), PyObject_CheckReadBuffer(), and PyObject_AsWriteBuffer() are removed. Please migrate to new buffer protocol; PyObject_GetBuffer() and PyBuffer_Release().

gh-105156 [https://github.com/python/cpython/issues/105156]: Deprecate the old Py_UNICODE and PY_UNICODE_TYPE types: use directly the wchar_t type instead. Since Python 3.3, Py_UNICODE and PY_UNICODE_TYPE are just aliases to wchar_t. Patch by Victor Stinner.

gh-105145 [https://github.com/python/cpython/issues/105145]: Remove the following old functions to configure the Python initialization, deprecated in Python 3.11:

PySys_AddWarnOptionUnicode()

PySys_AddWarnOption()

PySys_AddXOption()

PySys_HasWarnOptions()

PySys_SetArgvEx()

PySys_SetArgv()

PySys_SetPath()

Py_SetPath()

Py_SetProgramName()

Py_SetPythonHome()

Py_SetStandardStreamEncoding()

_Py_SetProgramFullPath()

Patch by Victor Stinner.

gh-105107 [https://github.com/python/cpython/issues/105107]: Remove functions deprecated in Python 3.9.

PyEval_CallObject(), PyEval_CallObjectWithKeywords(): use PyObject_CallNoArgs() and PyObject_Call() (positional arguments must not be NULL) instead.

PyEval_CallFunction(): use PyObject_CallFunction() instead.

PyEval_CallMethod(): use PyObject_CallMethod() instead.

PyCFunction_Call(): use PyObject_Call() instead.

Patch by Victor Stinner.

gh-105115 [https://github.com/python/cpython/issues/105115]: PyTypeObject.tp_bases (and tp_mro) for builtin static types are now shared by all interpreters, whereas in 3.12-beta1 they were stored on PyInterpreterState. Also note that now the tuples are immortal objects.

gh-105071 [https://github.com/python/cpython/issues/105071]: Add PyUnstable_Exc_PrepReraiseStar to the unstable C api to expose the implementation of except*.

gh-104922 [https://github.com/python/cpython/issues/104922]: PY_SSIZE_T_CLEAN is no longer required to use '#' formats in APIs like PyArg_ParseTuple() and Py_BuildValue(). They uses Py_ssize_t for '#' regardless PY_SSIZE_T_CLEAN.

gh-104584 [https://github.com/python/cpython/issues/104584]: Add an unstable C API for hooking in an optimizer. This is mainly internal, but marked “unstable” to allow third-party experimentation.

gh-104668 [https://github.com/python/cpython/issues/104668]: Don’t call PyOS_InputHook or PyOS_ReadlineFunctionPointer in subinterpreters, since it’s generally difficult to avoid using global state in their registered callbacks. This also avoids situations where extensions may find themselves running in a subinterpreter they don’t support (or haven’t yet been loaded in).

bpo-42327 [https://bugs.python.org/issue?@action=redirect&bpo=42327]: Add PyModule_Add() function: similar to PyModule_AddObjectRef() and PyModule_AddObject(), but always steals a reference to the value.

bpo-40309 [https://bugs.python.org/issue?@action=redirect&bpo=40309]: Properly handle trailing spaces before closing parenthesis in Py_BuildValue() format strings.

Python 3.12.0 beta 1

Release date: 2023-05-22

Security

gh-99889 [https://github.com/python/cpython/issues/99889]: Fixed a security in flaw in uu.decode() that could allow for directory traversal based on the input if no out_file was specified.

gh-104049 [https://github.com/python/cpython/issues/104049]: Do not expose the local on-disk location in directory indexes produced by http.client.SimpleHTTPRequestHandler.

gh-99108 [https://github.com/python/cpython/issues/99108]: Upgrade built-in hashlib SHA3 implementation to a verified implementation from the HACL* project. Used when OpenSSL is not present or lacks SHA3.

gh-102153 [https://github.com/python/cpython/issues/102153]: urllib.parse.urlsplit() now strips leading C0 control and space characters following the specification for URLs defined by WHATWG in response to CVE 2023-24329 [https://www.cve.org/CVERecord?id=CVE-2023-24329]. Patch by Illia Volochii.

Core and Builtins

gh-102856 [https://github.com/python/cpython/issues/102856]: Implement PEP 701 changes in the tokenize module. Patch by Marta Gómez Macías and Pablo Galindo Salgado

gh-104615 [https://github.com/python/cpython/issues/104615]: Fix wrong ordering of assignments in code like a, a = x, y. Contributed by Carl Meyer.

gh-104572 [https://github.com/python/cpython/issues/104572]: Improve syntax error message for invalid constructs in PEP 695 [https://peps.python.org/pep-0695/] contexts and in annotations when from __future__ import annotations is active.

gh-104482 [https://github.com/python/cpython/issues/104482]: Fix three error handling bugs in ast.c’s validation of pattern matching statements.

gh-102818 [https://github.com/python/cpython/issues/102818]: Do not add a frame to the traceback in the sys.setprofile and sys.settrace trampoline functions. This ensures that frames are not duplicated if an exception is raised in the callback function, and ensures that frames are not omitted if a C callback is used and that does not add the frame.

gh-104405 [https://github.com/python/cpython/issues/104405]: Fix an issue where some bytecode instructions could ignore PEP 523 [https://peps.python.org/pep-0523/] when “inlining” calls.

gh-103082 [https://github.com/python/cpython/issues/103082]: Change behavior of sys.monitoring.events.LINE events in sys.monitoring: Line events now occur when a new line is reached dynamically, instead of using a static approximation, as before. This makes the behavior very similar to that of “line” events in sys.settrace. This should ease porting of tools from 3.11 to 3.12.

gh-104263 [https://github.com/python/cpython/issues/104263]: Fix float("nan") to produce a quiet NaN on platforms (like MIPS) where the meaning of the signalling / quiet bit is inverted from its usual meaning. Also introduce a new macro Py_INFINITY matching C99’s INFINITY, and refactor internals to rely on C99’s NAN and INFINITY macros instead of hard-coding bit patterns for infinities and NaNs. Thanks Sebastian Berg.

gh-99113 [https://github.com/python/cpython/issues/99113]: Multi-phase init extension modules may now indicate that they support running in subinterpreters that have their own GIL. This is done by using Py_MOD_PER_INTERPRETER_GIL_SUPPORTED as the value for the Py_mod_multiple_interpreters module def slot. Otherwise the module, by default, cannot be imported in such subinterpreters. (This does not affect the main interpreter or subinterpreters that do not have their own GIL.) In addition to the isolation that multi-phase init already normally requires, support for per-interpreter GIL involves one additional constraint: thread-safety. If the module has external (linked) dependencies and those libraries have any state that isn’t thread-safe then the module must do the additional work to add thread-safety. This should be an uncommon case.

gh-99113 [https://github.com/python/cpython/issues/99113]: The GIL is now (optionally) per-interpreter. This is the fundamental change for PEP 684. This is all made possible by virtue of the isolated state of each interpreter in the process. The behavior of the main interpreter remains unchanged. Likewise, interpreters created using Py_NewInterpreter() are not affected. To get an interpreter with its own GIL, call Py_NewInterpreterFromConfig().

gh-104108 [https://github.com/python/cpython/issues/104108]: Multi-phase init extension modules may now indicate whether or not they actually support multiple interpreters. By default such modules are expected to support use in multiple interpreters. In the uncommon case that one does not, it may use the new Py_mod_multiple_interpreters module def slot. A value of 0 means the module does not support them. 1 means it does. The default is 1.

gh-104142 [https://github.com/python/cpython/issues/104142]: Fix an issue where list or tuple repetition could fail to respect PEP 683 [https://peps.python.org/pep-0683/].

gh-104078 [https://github.com/python/cpython/issues/104078]: Improve the performance of PyObject_HasAttrString()

gh-104066 [https://github.com/python/cpython/issues/104066]: Improve the performance of hasattr() for module objects with a missing attribute.

gh-104028 [https://github.com/python/cpython/issues/104028]: Reduce object creation while calling callback function from gc. Patch by Donghee Na.

gh-104018 [https://github.com/python/cpython/issues/104018]: Disallow the “z” format specifier in %-format of bytes objects.

gh-102213 [https://github.com/python/cpython/issues/102213]: Fix performance loss when accessing an object’s attributes with __getattr__ defined.

gh-103895 [https://github.com/python/cpython/issues/103895]: Improve handling of edge cases in showing Exception.__notes__. Ensures that the messages always end with a newline and that string/bytes are not exploded over multiple lines. Patch by Carey Metcalfe.

gh-103907 [https://github.com/python/cpython/issues/103907]: Don’t modify the refcounts of known immortal objects (True, False, and None) in the main interpreter loop.

gh-103899 [https://github.com/python/cpython/issues/103899]: Provide a helpful hint in the TypeError message when accidentally calling a module object that has a callable attribute of the same name (such as dis.dis() or datetime.datetime).

gh-103845 [https://github.com/python/cpython/issues/103845]: Remove both line and instruction instrumentation before adding new ones for monitoring, to avoid newly added instrumentation being removed immediately.

gh-103763 [https://github.com/python/cpython/issues/103763]: Implement PEP 695 [https://peps.python.org/pep-0695/], adding syntactic support for generic classes, generic functions, and type aliases.

A new type X = ... syntax is added for type aliases, which resolves at runtime to an instance of the new class typing.TypeAliasType. The value is lazily evaluated and is accessible through the .__value__ attribute. This is implemented as a new AST node ast.TypeAlias.

New syntax (class X[T]: ..., def func[T](): ...) is added for defining generic functions and classes. This is implemented as a new type_params attribute on the AST nodes for classes and functions. This node holds instances of the new AST classes ast.TypeVar, ast.ParamSpec, and ast.TypeVarTuple.

typing.TypeVar, typing.ParamSpec, typing.ParamSpecArgs, typing.ParamSpecKwargs, typing.TypeVarTuple, and typing.Generic are now implemented in C rather than Python.

There are new bytecode instructions LOAD_LOCALS, LOAD_CLASSDICT_OR_GLOBAL, and LOAD_CLASSDICT_OR_DEREF to support correct resolution of names in class namespaces.

Patch by Eric Traut, Larry Hastings, and Jelle Zijlstra.

gh-103801 [https://github.com/python/cpython/issues/103801]: Adds three minor linting fixes to the wasm module caught that were caught by ruff.

gh-103793 [https://github.com/python/cpython/issues/103793]: Optimized asyncio Task creation by deferring expensive string formatting (task name generation) from Task creation to the first time get_name is called. This makes asyncio benchmarks up to 5% faster.

gh-102310 [https://github.com/python/cpython/issues/102310]: Change the error range for invalid bytes literals.

gh-103590 [https://github.com/python/cpython/issues/103590]: Do not wrap a single exception raised from a try-except* construct in an ExceptionGroup.

gh-103650 [https://github.com/python/cpython/issues/103650]: Change the perf map format to remove the ‘0x’ prefix from the addresses

gh-102856 [https://github.com/python/cpython/issues/102856]: Implement the required C tokenizer changes for PEP 701. Patch by Pablo Galindo Salgado, Lysandros Nikolaou, Batuhan Taskaya, Marta Gómez Macías and sunmy2019.

gh-100530 [https://github.com/python/cpython/issues/100530]: Clarify the error message raised when the called part of a class pattern isn’t actually a class.

gh-101517 [https://github.com/python/cpython/issues/101517]: Fix bug in line numbers of instructions emitted for except*.

gh-103492 [https://github.com/python/cpython/issues/103492]: Clarify SyntaxWarning with literal is comparison by specifying which literal is problematic, since comparisons using is with e.g. None and bool literals are idiomatic.

gh-87729 [https://github.com/python/cpython/issues/87729]: Add LOAD_SUPER_ATTR (and a specialization for super().method()) to speed up super().method() and super().attr. This makes super().method() roughly 2.3x faster and brings it within 20% of the performance of a simple method call. Patch by Vladimir Matveev and Carl Meyer.

gh-103488 [https://github.com/python/cpython/issues/103488]: Change the internal offset distinguishing yield and return target addresses, so that the instruction pointer is correct for exception handling and other stack unwinding.

gh-82012 [https://github.com/python/cpython/issues/82012]: The bitwise inversion operator (~) on bool is deprecated. It returns the bitwise inversion of the underlying int representation such that bool(~True) == True, which can be confusing. Use not for logical negation of bools. In the rare case that you really need the bitwise inversion of the underlying int, convert to int explicitly ~int(x).

gh-77757 [https://github.com/python/cpython/issues/77757]: Exceptions raised in a typeobject’s __set_name__ method are no longer wrapped by a RuntimeError. Context information is added to the exception as a PEP 678 [https://peps.python.org/pep-0678/] note.

gh-103333 [https://github.com/python/cpython/issues/103333]: AttributeError now retains the name attribute when pickled and unpickled.

gh-103242 [https://github.com/python/cpython/issues/103242]: Migrate set_ecdh_curve() method not to use deprecated OpenSSL APIs. Patch by Donghee Na.

gh-103323 [https://github.com/python/cpython/issues/103323]: We’ve replaced our use of _PyRuntime.tstate_current with a thread-local variable. This is a fairly low-level implementation detail, and there should be no change in behavior.

gh-84436 [https://github.com/python/cpython/issues/84436]: The implementation of PEP-683 which adds Immortal Objects by using a fixed reference count that skips reference counting to make objects truly immutable.

gh-102700 [https://github.com/python/cpython/issues/102700]: Allow built-in modules to be submodules. This allows submodules to be statically linked into a CPython binary.

gh-103082 [https://github.com/python/cpython/issues/103082]: Implement PEP 669 [https://peps.python.org/pep-0669/] Low Impact Monitoring for CPython.

gh-88691 [https://github.com/python/cpython/issues/88691]: Reduce the number of inline CACHE entries for CALL.

gh-102500 [https://github.com/python/cpython/issues/102500]: Make the buffer protocol accessible in Python code using the new __buffer__ and __release_buffer__ magic methods. See PEP 688 [https://peps.python.org/pep-0688/] for details. Patch by Jelle Zijlstra.

gh-97933 [https://github.com/python/cpython/issues/97933]: PEP 709 [https://peps.python.org/pep-0709/]: inline list, dict and set comprehensions to improve performance and reduce bytecode size.

gh-99184 [https://github.com/python/cpython/issues/99184]: Bypass instance attribute access of __name__ in repr of weakref.ref.

gh-98003 [https://github.com/python/cpython/issues/98003]: Complex function calls are now faster and consume no C stack space.

bpo-39610 [https://bugs.python.org/issue?@action=redirect&bpo=39610]: len() for 0-dimensional memoryview objects (such as memoryview(ctypes.c_uint8(42))) now raises a TypeError. Previously this returned 1, which was not consistent with mem_0d[0] raising an IndexError.

bpo-31821 [https://bugs.python.org/issue?@action=redirect&bpo=31821]: Fix pause_reading() to work when called from connection_made() in asyncio.

Library

gh-104600 [https://github.com/python/cpython/issues/104600]: functools.update_wrapper() now sets the __type_params__ attribute (added by PEP 695 [https://peps.python.org/pep-0695/]).

gh-104340 [https://github.com/python/cpython/issues/104340]: When an asyncio pipe protocol loses its connection due to an error, and the caller doesn’t await wait_closed() on the corresponding StreamWriter, don’t log a warning about an exception that was never retrieved. After all, according to the StreamWriter.close() docs, the wait_closed() call is optional (“not mandatory”).

gh-104555 [https://github.com/python/cpython/issues/104555]: Fix issue where an issubclass() check comparing a class X against a runtime-checkable protocol Y with non-callable members would not cause TypeError to be raised if an isinstance() call had previously been made comparing an instance of X to Y. This issue was present in edge cases on Python 3.11, but became more prominent in 3.12 due to some unrelated changes that were made to runtime-checkable protocols. Patch by Alex Waygood.

gh-104372 [https://github.com/python/cpython/issues/104372]: Refactored the _posixsubprocess internals to avoid Python C API usage between fork and exec when marking pass_fds= file descriptors inheritable.

gh-104484 [https://github.com/python/cpython/issues/104484]: Added case_sensitive argument to pathlib.PurePath.match()

gh-75367 [https://github.com/python/cpython/issues/75367]: Fix data descriptor detection in inspect.getattr_static().

gh-104536 [https://github.com/python/cpython/issues/104536]: Fix a race condition in the internal multiprocessing.process cleanup logic that could manifest as an unintended AttributeError when calling process.close().

gh-103857 [https://github.com/python/cpython/issues/103857]: Update datetime deprecations’ stracktrace to point to the calling line

gh-101520 [https://github.com/python/cpython/issues/101520]: Move the core functionality of the tracemalloc module in the Python/ folder, leaving just the module wrapper in Modules/.

gh-104392 [https://github.com/python/cpython/issues/104392]: Remove undocumented and unused _paramspec_tvars attribute from some classes in typing.

gh-102613 [https://github.com/python/cpython/issues/102613]: Fix issue where pathlib.Path.glob() raised RecursionError when walking deep directory trees.

gh-103000 [https://github.com/python/cpython/issues/103000]: Improve performance of dataclasses.asdict() for the common case where dict_factory is dict. Patch by David C Ellis.

gh-104301 [https://github.com/python/cpython/issues/104301]: Allow leading whitespace in disambiguated statements in pdb.

gh-104139 [https://github.com/python/cpython/issues/104139]: Teach urllib.parse.unsplit() to retain the "//" when assembling itms-services://?action=generate-bugs style Apple Platform Deployment [https://support.apple.com/en-gb/guide/deployment/depce7cefc4d/web] URLs.

gh-104307 [https://github.com/python/cpython/issues/104307]: socket.getnameinfo() now releases the GIL while contacting the DNS server

gh-104310 [https://github.com/python/cpython/issues/104310]: Users may now use importlib.util.allowing_all_extensions() (a context manager) to temporarily disable the strict compatibility checks for importing extension modules in subinterpreters.

gh-87695 [https://github.com/python/cpython/issues/87695]: Fix issue where pathlib.Path.glob() raised OSError when it encountered a symlink to an overly long path.

gh-104265 [https://github.com/python/cpython/issues/104265]: Prevent possible crash by disallowing instantiation of the _csv.Reader and _csv.Writer types. The regression was introduced in 3.10.0a4 with PR 23224 (bpo-14935 [https://bugs.python.org/issue?@action=redirect&bpo=14935]). Patch by Radislav Chugunov.

gh-102613 [https://github.com/python/cpython/issues/102613]: Improve performance of pathlib.Path.glob() when expanding recursive wildcards (”**”) by merging adjacent wildcards and de-duplicating results only when necessary.

gh-65772 [https://github.com/python/cpython/issues/65772]: Remove unneeded comments and code in turtle.py.

gh-90208 [https://github.com/python/cpython/issues/90208]: Fixed issue where pathlib.Path.glob() returned incomplete results when it encountered a PermissionError. This method now suppresses all OSError exceptions, except those raised from calling is_dir() on the top-level path.

gh-104144 [https://github.com/python/cpython/issues/104144]: Optimize asyncio.TaskGroup when using asyncio.eager_task_factory(). Skip scheduling a done callback if a TaskGroup task completes eagerly.

gh-104144 [https://github.com/python/cpython/issues/104144]: Optimize asyncio.gather() when using asyncio.eager_task_factory() to complete eagerly if all fututres completed eagerly. Avoid scheduling done callbacks for futures that complete eagerly.

gh-104114 [https://github.com/python/cpython/issues/104114]: Fix issue where pathlib.Path.glob() returns paths using the case of non-wildcard segments for corresponding path segments, rather than the real filesystem case.

gh-104104 [https://github.com/python/cpython/issues/104104]: Improve performance of pathlib.Path.glob() by using re.IGNORECASE to implement case-insensitive matching.

gh-104102 [https://github.com/python/cpython/issues/104102]: Improve performance of pathlib.Path.glob() when evaluating patterns that contain '../' segments.

gh-103822 [https://github.com/python/cpython/issues/103822]: Update the return type of weekday to the newly added Day attribute

gh-103629 [https://github.com/python/cpython/issues/103629]: Update the repr of typing.Unpack according to PEP 692 [https://peps.python.org/pep-0692/].

gh-103963 [https://github.com/python/cpython/issues/103963]: Make dis display the names of the args for CALL_INTRINSIC_*.

gh-104035 [https://github.com/python/cpython/issues/104035]: Do not ignore user-defined __getstate__ and __setstate__ methods for slotted frozen dataclasses.

gh-103987 [https://github.com/python/cpython/issues/103987]: In mmap, fix several bugs that could lead to access to memory-mapped files after they have been invalidated.

gh-103977 [https://github.com/python/cpython/issues/103977]: Improve import time of platform module.

gh-88773 [https://github.com/python/cpython/issues/88773]: Added turtle.teleport() to the turtle module to move a turtle to a new point without tracing a line, visible or invisible. Patch by Liam Gersten.

gh-103935 [https://github.com/python/cpython/issues/103935]: Use io.open_code() for files to be executed instead of raw open()

gh-68968 [https://github.com/python/cpython/issues/68968]: Fixed garbled output of assertEqual() when an input lacks final newline.

gh-100370 [https://github.com/python/cpython/issues/100370]: Fix potential OverflowError in sqlite3.Connection.blobopen() for 32-bit builds. Patch by Erlend E. Aasland.

gh-102628 [https://github.com/python/cpython/issues/102628]: Substitute CTRL-D with CTRL-Z in sqlite3 CLI banner when running on Windows.

gh-103636 [https://github.com/python/cpython/issues/103636]: Module-level attributes January and February are deprecated from calendar.

gh-103583 [https://github.com/python/cpython/issues/103583]: Isolate _multibytecodec and codecs extension modules. Patches by Erlend E. Aasland.

gh-103848 [https://github.com/python/cpython/issues/103848]: Add checks to ensure that [ bracketed ] hosts found by urllib.parse.urlsplit() are of IPv6 or IPvFuture format.

gh-103872 [https://github.com/python/cpython/issues/103872]: Update the bundled copy of pip to version 23.1.2.

gh-99944 [https://github.com/python/cpython/issues/99944]: Make dis display the value of oparg of KW_NAMES.

gh-74940 [https://github.com/python/cpython/issues/74940]: The C.UTF-8 locale is no longer converted to en_US.UTF-8, enabling the use of UTF-8 encoding on systems which have no locales installed.

gh-103861 [https://github.com/python/cpython/issues/103861]: Fix zipfile.Zipfile creating invalid zip files when force_zip64 was used to add files to them. Patch by Carey Metcalfe.

gh-103857 [https://github.com/python/cpython/issues/103857]: Deprecated datetime.datetime.utcnow() and datetime.datetime.utcfromtimestamp(). (Patch by Paul Ganssle)

gh-103839 [https://github.com/python/cpython/issues/103839]: Avoid compilation error due to tommath.h not being found when building Tkinter against Tcl 8.7 built with bundled libtommath.

gh-103791 [https://github.com/python/cpython/issues/103791]: contextlib.suppress now supports suppressing exceptions raised as part of an ExceptionGroup. If other exceptions exist on the group, they are re-raised in a group that does not contain the suppressed exceptions.

gh-90750 [https://github.com/python/cpython/issues/90750]: Use datetime.datetime.fromisocalendar() in the implementation of datetime.datetime.strptime(), which should now accept only valid ISO dates. (Patch by Paul Ganssle)

gh-103685 [https://github.com/python/cpython/issues/103685]: Prepare tkinter.Menu.index() for Tk 8.7 so that it does not raise TclError: expected integer but got "" when it should return None.

gh-81403 [https://github.com/python/cpython/issues/81403]: urllib.request.CacheFTPHandler no longer raises URLError if a cached FTP instance is reused. ftplib’s endtransfer method calls voidresp to drain the connection to handle FTP instance reuse properly.

gh-103699 [https://github.com/python/cpython/issues/103699]: Add __orig_bases__ to non-generic TypedDicts, call-based TypedDicts, and call-based NamedTuples. Other TypedDicts and NamedTuples already had the attribute.

gh-103693 [https://github.com/python/cpython/issues/103693]: Add convenience variable feature to pdb

gh-92248 [https://github.com/python/cpython/issues/92248]: Deprecate type, choices, and metavar parameters of argparse.BooleanOptionalAction.

gh-89415 [https://github.com/python/cpython/issues/89415]: Add socket constants for source-specific multicast. Patch by Reese Hyde.

gh-103673 [https://github.com/python/cpython/issues/103673]: socketserver gains ForkingUnixStreamServer and ForkingUnixDatagramServer classes. Patch by Jay Berry.

gh-103636 [https://github.com/python/cpython/issues/103636]: Added Enum for months and days in the calendar module.

gh-84976 [https://github.com/python/cpython/issues/84976]: Create a new Lib/_pydatetime.py file that defines the Python version of the datetime module, and make datetime import the contents of the new library only if the C implementation is missing. Currently, the full Python implementation is defined and then deleted if the C implementation is not available, slowing down import datetime unnecessarily.

gh-103596 [https://github.com/python/cpython/issues/103596]: Attributes/methods are no longer shadowed by same-named enum members, although they may be shadowed by enum.property’s.

gh-103584 [https://github.com/python/cpython/issues/103584]: Updated importlib.metadata with changes from importlib_metadata 5.2 through 6.5.0, including: Support installed-files.txt for Distribution.files when present. PackageMetadata now stipulates an additional get method allowing for easy querying of metadata keys that may not be present. packages_distributions now honors packages and modules with Python modules that not .py sources (e.g. .pyc, .so). Expand protocol for PackageMetadata.get_all to match the upstream implementation of email.message.Message.get_all in python/typeshed#9620. Deprecated use of Distribution without defining abstract methods. Deprecated expectation that PackageMetadata.__getitem__ will return None for missing keys. In the future, it will raise a KeyError.

gh-103578 [https://github.com/python/cpython/issues/103578]: Fixed a bug where pdb crashes when reading source file with different encoding by replacing io.open() with io.open_code(). The new method would also call into the hook set by PyFile_SetOpenCodeHook().

gh-103556 [https://github.com/python/cpython/issues/103556]: Now creating inspect.Signature objects with positional-only parameter with a default followed by a positional-or-keyword parameter without one is impossible.

gh-103559 [https://github.com/python/cpython/issues/103559]: Update the bundled copy of pip to version 23.1.1.

gh-103548 [https://github.com/python/cpython/issues/103548]: Improve performance of pathlib.Path.absolute() and cwd() by joining paths only when necessary. Also improve performance of pathlib.PurePath.is_absolute() on Posix by skipping path parsing and normalization.

gh-103538 [https://github.com/python/cpython/issues/103538]: Remove _tkinter module code guarded by definition of the TK_AQUA macro which was only needed for Tk 8.4.7 or earlier and was never actually defined by any build system or documented for manual use.

gh-103533 [https://github.com/python/cpython/issues/103533]: Update cProfile to use PEP 669 API

gh-103525 [https://github.com/python/cpython/issues/103525]: Fix misleading exception message when mixed str and bytes arguments are supplied to pathlib.PurePath and Path.

gh-103489 [https://github.com/python/cpython/issues/103489]: Add getconfig() and setconfig() to Connection to make configuration changes to a database connection. Patch by Erlend E. Aasland.

gh-103365 [https://github.com/python/cpython/issues/103365]: Set default Flag boundary to STRICT and fix bitwise operations.

gh-103472 [https://github.com/python/cpython/issues/103472]: Avoid a potential ResourceWarning in http.client.HTTPConnection by closing the proxy / tunnel’s CONNECT response explicitly.

gh-103462 [https://github.com/python/cpython/issues/103462]: Fixed an issue with using writelines() in asyncio to send very large payloads that exceed the amount of data that can be written in one call to socket.socket.send() or socket.socket.sendmsg(), resulting in the remaining buffer being left unwritten.

gh-103449 [https://github.com/python/cpython/issues/103449]: Fix a bug in doc string generation in dataclasses.dataclass().

gh-103092 [https://github.com/python/cpython/issues/103092]: Isolate _collections (apply PEP 687 [https://peps.python.org/pep-0687/]). Patch by Erlend E. Aasland.

gh-103357 [https://github.com/python/cpython/issues/103357]: Added support for logging.Formatter defaults parameter to logging.config.dictConfig() and logging.config.fileConfig(). Patch by Bar Harel.

gh-103092 [https://github.com/python/cpython/issues/103092]: Adapt the winreg extension module to PEP 687 [https://peps.python.org/pep-0687/].

gh-74690 [https://github.com/python/cpython/issues/74690]: The performance of isinstance() checks against runtime-checkable protocols has been considerably improved for protocols that only have a few members. To achieve this improvement, several internal implementation details of the typing module have been refactored, including typing._ProtocolMeta.__instancecheck__, typing._is_callable_members_only, and typing._get_protocol_attrs. Patches by Alex Waygood.

gh-74690 [https://github.com/python/cpython/issues/74690]: The members of a runtime-checkable protocol are now considered “frozen” at runtime as soon as the class has been created. See “What’s new in Python 3.12” for more details.

gh-103256 [https://github.com/python/cpython/issues/103256]: Fixed a bug that caused hmac to raise an exception when the requested hash algorithm was not available in OpenSSL despite being available separately as part of hashlib itself. It now falls back properly to the built-in. This could happen when, for example, your OpenSSL does not include SHA3 support and you want to compute hmac.digest(b'K', b'M', 'sha3_256').

gh-102778 [https://github.com/python/cpython/issues/102778]: Support sys.last_exc in idlelib.

gh-103285 [https://github.com/python/cpython/issues/103285]: Improve performance of ast.get_source_segment().

gh-103225 [https://github.com/python/cpython/issues/103225]: Fix a bug in pdb when displaying line numbers of module-level source code.

gh-103092 [https://github.com/python/cpython/issues/103092]: Adapt the msvcrt extension module to PEP 687 [https://peps.python.org/pep-0687/].

gh-103092 [https://github.com/python/cpython/issues/103092]: Adapt the winsound extension module to PEP 687 [https://peps.python.org/pep-0687/].

gh-93910 [https://github.com/python/cpython/issues/93910]: Remove deprecation of enum member.member access.

gh-102978 [https://github.com/python/cpython/issues/102978]: Fixes unittest.mock.patch() not enforcing function signatures for methods decorated with @classmethod or @staticmethod when patch is called with autospec=True.

gh-103092 [https://github.com/python/cpython/issues/103092]: Isolate _socket (apply PEP 687 [https://peps.python.org/pep-0687/]). Patch by Erlend E. Aasland.

gh-100479 [https://github.com/python/cpython/issues/100479]: Add pathlib.PurePath.with_segments(), which creates a path object from arguments. This method is called whenever a derivative path is created, such as from pathlib.PurePath.parent. Subclasses may override this method to share information between path objects.

gh-103220 [https://github.com/python/cpython/issues/103220]: Fix issue where os.path.join() added a slash when joining onto an incomplete UNC drive with a trailing slash on Windows.

gh-103204 [https://github.com/python/cpython/issues/103204]: Fixes http.server accepting HTTP requests with HTTP version numbers preceded by ‘+’, or ‘-’, or with digit-separating ‘_’ characters. The length of the version numbers is also constrained.

gh-75586 [https://github.com/python/cpython/issues/75586]: Fix various Windows-specific issues with shutil.which.

gh-103193 [https://github.com/python/cpython/issues/103193]: Improve performance of inspect.getattr_static(). Patch by Alex Waygood.

gh-103176 [https://github.com/python/cpython/issues/103176]: sys._current_exceptions() now returns a mapping from thread-id to an exception instance, rather than to a (typ, exc, tb) tuple.

gh-103143 [https://github.com/python/cpython/issues/103143]: Polish the help messages and docstrings of pdb.

gh-103015 [https://github.com/python/cpython/issues/103015]: Add entrypoint keyword-only parameter to sqlite3.Connection.load_extension(), for overriding the SQLite extension entry point. Patch by Erlend E. Aasland.

gh-103000 [https://github.com/python/cpython/issues/103000]: Improve performance of dataclasses.astuple() and dataclasses.asdict() in cases where the contents are common Python types.

gh-102953 [https://github.com/python/cpython/issues/102953]: The extraction methods in tarfile, and shutil.unpack_archive(), have a new a filter argument that allows limiting tar features than may be surprising or dangerous, such as creating files outside the destination directory. See Filtros de extração for details.

gh-97696 [https://github.com/python/cpython/issues/97696]: Implemented an eager task factory in asyncio. When used as a task factory on an event loop, it performs eager execution of coroutines. Coroutines that are able to complete synchronously (e.g. return or raise without blocking) are returned immediately as a finished task, and the task is never scheduled to the event loop. If the coroutine blocks, the (pending) task is scheduled and returned.

gh-81079 [https://github.com/python/cpython/issues/81079]: Add case_sensitive keyword-only argument to pathlib.Path.glob() and rglob().

gh-101819 [https://github.com/python/cpython/issues/101819]: Isolate the io extension module by applying PEP 687 [https://peps.python.org/pep-0687/]. Patch by Kumar Aditya, Victor Stinner, and Erlend E. Aasland.

gh-91896 [https://github.com/python/cpython/issues/91896]: Deprecate collections.abc.ByteString

gh-101362 [https://github.com/python/cpython/issues/101362]: Speed up pathlib.Path construction by omitting the path anchor from the internal list of path parts.

gh-102114 [https://github.com/python/cpython/issues/102114]: Functions in the dis module that accept a source code string as argument now print a more concise traceback when the string contains a syntax or indentation error.

gh-62432 [https://github.com/python/cpython/issues/62432]: The unittest runner will now exit with status code 5 if no tests were run. It is common for test runner misconfiguration to fail to find any tests, this should be an error.

gh-78079 [https://github.com/python/cpython/issues/78079]: Fix incorrect normalization of UNC device path roots, and partial UNC share path roots, in pathlib.PurePath. Pathlib no longer appends a trailing slash to such paths.

gh-85984 [https://github.com/python/cpython/issues/85984]: Add tty.cfmakeraw() and tty.cfmakecbreak() to tty and modernize, the behavior of tty.setraw() and tty.setcbreak() to use POSIX.1-2017 Chapter 11 “General Terminal Interface” flag masks by default.

gh-101688 [https://github.com/python/cpython/issues/101688]: Implement types.get_original_bases() to provide further introspection for types.

gh-101640 [https://github.com/python/cpython/issues/101640]: argparse.ArgumentParser now catches errors when writing messages, such as when sys.stderr is None. Patch by Oleg Iarygin.

gh-83861 [https://github.com/python/cpython/issues/83861]: Fix datetime.astimezone method return value when invoked on a naive datetime instance that represents local time falling in a timezone transition gap. PEP 495 requires that instances with fold=1 produce earlier times than those with fold=0 in this case.

gh-89550 [https://github.com/python/cpython/issues/89550]: Decrease execution time of some gzip file writes by 15% by adding more appropriate buffering.

gh-95299 [https://github.com/python/cpython/issues/95299]: Remove the bundled setuptools wheel from ensurepip, and stop installing setuptools in environments created by venv.

gh-99353 [https://github.com/python/cpython/issues/99353]: Respect the http.client.HTTPConnection .debuglevel flag in urllib.request.AbstractHTTPHandler when its constructor parameter debuglevel is not set. And do the same for *HTTPS*.

gh-98040 [https://github.com/python/cpython/issues/98040]: Remove the long-deprecated imp module.

gh-97850 [https://github.com/python/cpython/issues/97850]: Deprecate pkgutil.find_loader() and pkgutil.get_loader() in favor of importlib.util.find_spec().

gh-94473 [https://github.com/python/cpython/issues/94473]: Flatten arguments in tkinter.Canvas.coords(). It now accepts not only x1, y1, x2, y2, ... and [x1, y1, x2, y2, ...], but also (x1, y1), (x2, y2), ... and [(x1, y1), (x2, y2), ...].

gh-98040 [https://github.com/python/cpython/issues/98040]: Remove more deprecated importlib APIs: find_loader(), find_module(), importlib.abc.Finder, pkgutil.ImpImporter, pkgutil.ImpLoader.

gh-96522 [https://github.com/python/cpython/issues/96522]: Fix potential deadlock in pty.spawn()

gh-96534 [https://github.com/python/cpython/issues/96534]: Support divert(4) added in FreeBSD 14.

gh-87474 [https://github.com/python/cpython/issues/87474]: Fix potential file descriptor leaks in subprocess.Popen.

gh-94906 [https://github.com/python/cpython/issues/94906]: Support multiple steps in math.nextafter(). Patch by Shantanu Jain and Matthias Gorgens.

gh-51574 [https://github.com/python/cpython/issues/51574]: Make tempfile.mkdtemp() return absolute paths when its dir parameter is relative.

gh-94518 [https://github.com/python/cpython/issues/94518]: Convert private _posixsubprocess.fork_exec() to use Argument Clinic.

gh-92184 [https://github.com/python/cpython/issues/92184]: When creating zip files using zipfile, os.altsep, if not None, will always be treated as a path separator even when it is not /. Patch by Carey Metcalfe.

bpo-46797 [https://bugs.python.org/issue?@action=redirect&bpo=46797]: Deprecation warnings are now emitted for ast.Num, ast.Bytes, ast.Str, ast.NameConstant and ast.Ellipsis. These have been documented as deprecated since Python 3.8, and will be removed in Python 3.14.

bpo-44844 [https://bugs.python.org/issue?@action=redirect&bpo=44844]: Enables webbrowser to detect and launch Microsoft Edge browser.

bpo-45606 [https://bugs.python.org/issue?@action=redirect&bpo=45606]: Fixed the bug in pathlib.Path.glob() – previously a dangling symlink would not be found by this method when the pattern is an exact match, but would be found when the pattern contains a wildcard or the recursive wildcard (**). With this change, a dangling symlink will be found in both cases.

bpo-23041 [https://bugs.python.org/issue?@action=redirect&bpo=23041]: Add QUOTE_STRINGS and QUOTE_NOTNULL to the suite of csv module quoting styles.

bpo-24964 [https://bugs.python.org/issue?@action=redirect&bpo=24964]: Added http.client.HTTPConnection.get_proxy_response_headers() that provides access to the HTTP headers on a proxy server response to the CONNECT request.

bpo-17258 [https://bugs.python.org/issue?@action=redirect&bpo=17258]: multiprocessing now supports stronger HMAC algorithms for inter-process connection authentication rather than only HMAC-MD5.

bpo-39744 [https://bugs.python.org/issue?@action=redirect&bpo=39744]: Make asyncio.subprocess.Process.communicate() close the subprocess’s stdin even when called with input=None.

bpo-22708 [https://bugs.python.org/issue?@action=redirect&bpo=22708]: http.client CONNECT method tunnel improvements: Use HTTP 1.1 protocol; send a matching Host: header with CONNECT, if one is not provided; convert IDN domain names to Punycode. Patch by Michael Handler.

Documentation

gh-67056 [https://github.com/python/cpython/issues/67056]: Document that the effect of registering or unregistering an atexit cleanup function from within a registered cleanup function is undefined.

gh-103629 [https://github.com/python/cpython/issues/103629]: Mention the new way of typing **kwargs with Unpack and TypedDict introduced in PEP 692 [https://peps.python.org/pep-0692/].

gh-48241 [https://github.com/python/cpython/issues/48241]: Clarifying documentation about the url parameter to urllib.request.urlopen and urllib.request.Request needing to be encoded properly.

gh-86094 [https://github.com/python/cpython/issues/86094]: Add support for Unicode Path Extra Field in ZipFile. Patch by Yeojin Kim and Andrea Giudiceandrea

gh-99202 [https://github.com/python/cpython/issues/99202]: Fix extension type from documentation for compiling in C++20 mode

Tests

gh-104494 [https://github.com/python/cpython/issues/104494]: Update test_pack_configure_in and test_place_configure_in for changes to error message formatting in Tk 8.7.

gh-104461 [https://github.com/python/cpython/issues/104461]: Run test_configure_screen on X11 only, since the DISPLAY environment variable and -screen option for toplevels are not useful on Tk for Win32 or Aqua.

gh-86275 [https://github.com/python/cpython/issues/86275]: Added property-based tests to the zoneinfo tests, along with stubs for the hypothesis interface. (Patch by Paul Ganssle)

gh-103329 [https://github.com/python/cpython/issues/103329]: Regression tests for the behaviour of unittest.mock.PropertyMock were added.

gh-102795 [https://github.com/python/cpython/issues/102795]: fix use of poll in test_epoll’s test_control_and_wait

gh-75729 [https://github.com/python/cpython/issues/75729]: Fix the os.spawn* tests failing on Windows when the working directory or interpreter path contains spaces.

Build

gh-101282 [https://github.com/python/cpython/issues/101282]: BOLT optimization is now applied to the libpython shared library if building a shared library. BOLT instrumentation and application settings can now be influenced via the BOLT_INSTRUMENT_FLAGS and BOLT_APPLY_FLAGS configure variables.

gh-99017 [https://github.com/python/cpython/issues/99017]: PYTHON_FOR_REGEN now require Python 3.10 or newer.

gh-104490 [https://github.com/python/cpython/issues/104490]: Define .PHONY / virtual make targets consistently and properly.

gh-104106 [https://github.com/python/cpython/issues/104106]: Add gcc fallback of mkfifoat/mknodat for macOS. Patch by Donghee Na.

gh-103532 [https://github.com/python/cpython/issues/103532]: The TKINTER_PROTECT_LOADTK macro is no longer defined or used in the _tkinter module. It was previously only defined when building against Tk 8.4.13 and older, but Tk older than 8.5.12 has been unsupported since gh-91152 [https://github.com/python/cpython/issues/91152].

gh-99069 [https://github.com/python/cpython/issues/99069]: Extended workaround defining static_assert when missing from the libc headers to all clang and gcc builds. In particular, this fixes building on macOS <= 10.10.

gh-100220 [https://github.com/python/cpython/issues/100220]: Changed the default value of the SHELL Makefile variable from /bin/sh to /bin/sh -e to ensure that complex recipes correctly fail after an error. Previously, make install could fail to install some files and yet return a successful result.

gh-90656 [https://github.com/python/cpython/issues/90656]: Add platform triplets for 64-bit LoongArch:

loongarch64-linux-gnusf

loongarch64-linux-gnuf32

loongarch64-linux-gnu

Patch by Zhang Na.

Windows

gh-104623 [https://github.com/python/cpython/issues/104623]: Update Windows installer to use SQLite 3.42.0.

gh-82814 [https://github.com/python/cpython/issues/82814]: Fix a potential [Errno 13] Permission denied when using shutil.copystat() within Windows Subsystem for Linux (WSL) on a mounted filesystem by adding errno.EACCES to the list of ignored errors within the internal implementation.

gh-103088 [https://github.com/python/cpython/issues/103088]: Fix virtual environment activate script having incorrect line endings for Cygwin.

gh-103088 [https://github.com/python/cpython/issues/103088]: Fixes venvs not working in bash on Windows across different disks

gh-102997 [https://github.com/python/cpython/issues/102997]: Update Windows installer to use SQLite 3.41.2.

gh-88013 [https://github.com/python/cpython/issues/88013]: Fixed a bug where TypeError was raised when calling ntpath.realpath() with a bytes parameter in some cases.

macOS

gh-99834 [https://github.com/python/cpython/issues/99834]: Update macOS installer to Tcl/Tk 8.6.13.

gh-104623 [https://github.com/python/cpython/issues/104623]: Update macOS installer to SQLite 3.42.0.

gh-103545 [https://github.com/python/cpython/issues/103545]: Add os.PRIO_DARWIN_THREAD, os.PRIO_DARWIN_PROCESS, os.PRIO_DARWIN_BG and os.PRIO_DARWIN_NONUI. These can be used with os.setpriority to run the process at a lower priority and make use of the efficiency cores on Apple Silicon systems.

gh-104180 [https://github.com/python/cpython/issues/104180]: Support reading SOCKS proxy configuration from macOS System Configuration. Patch by Sam Schott.

gh-60436 [https://github.com/python/cpython/issues/60436]: update curses textbox to additionally handle backspace using the curses.ascii.DEL key press.

gh-102997 [https://github.com/python/cpython/issues/102997]: Update macOS installer to SQLite 3.41.2.

IDLE

gh-104499 [https://github.com/python/cpython/issues/104499]: Fix completions for Tk Aqua 8.7 (currently blank).

gh-104496 [https://github.com/python/cpython/issues/104496]: About prints both tcl and tk versions if different (expected someday).

gh-88496 [https://github.com/python/cpython/issues/88496]: Fix IDLE test hang on macOS.

Tools/Demos

gh-104389 [https://github.com/python/cpython/issues/104389]: Argument Clinic C converters now accept the unused keyword, for wrapping a parameter with Py_UNUSED. Patch by Erlend E. Aasland.

C API

gh-101291 [https://github.com/python/cpython/issues/101291]: Added unstable C API for extracting the value of “compact” integers: PyUnstable_Long_IsCompact() and PyUnstable_Long_CompactValue().

gh-104109 [https://github.com/python/cpython/issues/104109]: We’ve added Py_NewInterpreterFromConfig() and PyInterpreterConfig to the public C-API (but not the stable ABI; not yet at least). The new function may be used to create a new interpreter with various features configured. The function was added to support PEP 684 (per-interpreter GIL).

gh-103968 [https://github.com/python/cpython/issues/103968]: PyType_FromSpec() and its variants now allow creating classes whose metaclass overrides tp_new. The tp_new is ignored. This behavior is deprecated and will be disallowed in 3.14+. The new PyType_FromMetaclass() already disallows it.

gh-103743 [https://github.com/python/cpython/issues/103743]: Add PyUnstable_Object_GC_NewWithExtraData() function that can be used to allocate additional memory after an object for data not managed by Python.

gh-103295 [https://github.com/python/cpython/issues/103295]: Introduced PyUnstable_WritePerfMapEntry(), PyUnstable_PerfMapState_Init() and PyUnstable_PerfMapState_Fini(). These allow extension modules (JIT compilers in particular) to write to perf-map files in a thread safe manner. The Suporte do Python ao perfilador perf do Linux also uses these APIs to write entries in the perf-map file.

gh-103509 [https://github.com/python/cpython/issues/103509]: Added C API for extending types whose instance memory layout is opaque: PyType_Spec.basicsize can now be zero or negative, PyObject_GetTypeData() can be used to get subclass-specific data, and Py_TPFLAGS_ITEMS_AT_END can be used to safely extend variable-size objects. See PEP 697 [https://peps.python.org/pep-0697/] for details.

gh-103091 [https://github.com/python/cpython/issues/103091]: Add a new C-API function to eagerly assign a version tag to a PyTypeObject: PyUnstable_Type_AssignVersionTag().

gh-101408 [https://github.com/python/cpython/issues/101408]: PyObject_GC_Resize should calculate preheader size if needed. Patch by Donghee Na.

gh-98836 [https://github.com/python/cpython/issues/98836]: Add support of more formatting options (left aligning, octals, uppercase hexadecimals, intmax_t, ptrdiff_t, wchar_t C strings, variable width and precision) in PyUnicode_FromFormat() and PyUnicode_FromFormatV().

gh-96803 [https://github.com/python/cpython/issues/96803]: Add unstable C-API functions to get the code object, lasti and line number from the internal _PyInterpreterFrame in the limited API. The functions are:

PyCodeObject * PyUnstable_InterpreterFrame_GetCode(struct _PyInterpreterFrame *frame)

int PyUnstable_InterpreterFrame_GetLasti(struct _PyInterpreterFrame *frame)

int PyUnstable_InterpreterFrame_GetLine(struct _PyInterpreterFrame *frame)

Python 3.12.0 alpha 7

Release date: 2023-04-04

Core and Builtins

gh-102192 [https://github.com/python/cpython/issues/102192]: Deprecated _PyErr_ChainExceptions in favour of _PyErr_ChainExceptions1.

gh-89987 [https://github.com/python/cpython/issues/89987]: Reduce the number of inline CACHE entries for BINARY_SUBSCR.

gh-102859 [https://github.com/python/cpython/issues/102859]: Removed JUMP_IF_FALSE_OR_POP and JUMP_IF_TRUE_OR_POP instructions.

gh-101975 [https://github.com/python/cpython/issues/101975]: Fixed stacktop value on tracing entries to avoid corruption on garbage collection.

gh-102778 [https://github.com/python/cpython/issues/102778]: Add sys.last_exc and deprecate sys.last_type, sys.last_value and sys.last_traceback, which hold the same information in its legacy form.

gh-100982 [https://github.com/python/cpython/issues/100982]: Replace all occurrences of COMPARE_AND_BRANCH with COMPARE_OP.

gh-102701 [https://github.com/python/cpython/issues/102701]: Fix overflow when creating very large dict.

gh-102755 [https://github.com/python/cpython/issues/102755]: Add PyErr_DisplayException() which takes just an exception instance, to replace the legacy PyErr_Display() which takes the (typ, exc, tb) triplet.

gh-102594 [https://github.com/python/cpython/issues/102594]: Add note to exception raised in PyErr_SetObject when normalization fails.

gh-90997 [https://github.com/python/cpython/issues/90997]: Shrink the number of inline CACHE entries used by LOAD_GLOBAL.

gh-102491 [https://github.com/python/cpython/issues/102491]: Improve import time of platform by removing IronPython version parsing. The IronPython version parsing was not functional (see https://github.com/IronLanguages/ironpython3/issues/1667).

gh-101291 [https://github.com/python/cpython/issues/101291]: Rearrage bits in first field (after header) of PyLongObject. * Bits 0 and 1: 1 - sign. I.e. 0 for positive numbers, 1 for zero and 2 for negative numbers. * Bit 2 reserved (probably for the immortal bit) * Bits 3+ the unsigned size.

This makes a few operations slightly more efficient, and will enable a more compact and faster 2s-complement representation of most ints in future.

gh-102397 [https://github.com/python/cpython/issues/102397]: Fix segfault from race condition in signal handling during garbage collection. Patch by Kumar Aditya.

gh-102406 [https://github.com/python/cpython/issues/102406]: codecs encoding/decoding errors now get the context information (which operation and which codecs) attached as PEP 678 [https://peps.python.org/pep-0678/] notes instead of through chaining a new instance of the exception.

gh-102281 [https://github.com/python/cpython/issues/102281]: Fix potential nullptr dereference and use of uninitialized memory in fileutils. Patch by Max Bachmann.

gh-102300 [https://github.com/python/cpython/issues/102300]: Reuse operands with refcount of 1 in float specializations of BINARY_OP.

gh-102213 [https://github.com/python/cpython/issues/102213]: Fix performance loss when accessing an object’s attributes with __getattr__ defined.

gh-102255 [https://github.com/python/cpython/issues/102255]: Improve build support for the Xbox. Patch by Max Bachmann.

gh-102027 [https://github.com/python/cpython/issues/102027]: Fix SSE2 and SSE3 detection in _blake2 internal module. Patch by Max Bachmann.

gh-101865 [https://github.com/python/cpython/issues/101865]: Deprecate co_lnotab in code objects, schedule it for removal in Python 3.14

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Adapt _pickle to PEP 687 [https://peps.python.org/pep-0687/]. Patch by Mohamed Koubaa and Erlend Aasland.

Library

gh-103085 [https://github.com/python/cpython/issues/103085]: Pure python locale.getencoding() will not warn deprecation.

gh-103068 [https://github.com/python/cpython/issues/103068]: It’s no longer possible to register conditional breakpoints in Pdb that raise SyntaxError. Patch by Tian Gao.

gh-102549 [https://github.com/python/cpython/issues/102549]: Don’t ignore exceptions in member type creation.

gh-103056 [https://github.com/python/cpython/issues/103056]: Ensure final _generate_next_value_ is a staticmethod.

gh-103046 [https://github.com/python/cpython/issues/103046]: Display current line label correctly in dis when show_caches is False and lasti points to a CACHE entry.

gh-102433 [https://github.com/python/cpython/issues/102433]: isinstance() checks against runtime-checkable protocols now use inspect.getattr_static() rather than hasattr() to lookup whether attributes exist. This means that descriptors and __getattr__() methods are no longer unexpectedly evaluated during isinstance() checks against runtime-checkable protocols. However, it may also mean that some objects which used to be considered instances of a runtime-checkable protocol may no longer be considered instances of that protocol on Python 3.12+, and vice versa. Most users are unlikely to be affected by this change. Patch by Alex Waygood.

gh-103023 [https://github.com/python/cpython/issues/103023]: It’s no longer possible to register expressions to display in Pdb that raise SyntaxError. Patch by Tian Gao.

gh-102947 [https://github.com/python/cpython/issues/102947]: Improve traceback when dataclasses.fields() is called on a non-dataclass. Patch by Alex Waygood

gh-102780 [https://github.com/python/cpython/issues/102780]: The asyncio.Timeout context manager now works reliably even when performing cleanup due to task cancellation. Previously it could raise a CancelledError instead of an TimeoutError in such cases.

gh-102871 [https://github.com/python/cpython/issues/102871]: Remove support for obsolete browsers from webbrowser. Removed browsers include Grail, Mosaic, Netscape, Galeon, Skipstone, Iceape, Firebird, and Firefox versions 35 and below.

gh-102839 [https://github.com/python/cpython/issues/102839]: Improve performance of math.log() arguments handling by removing the argument clinic.

gh-102828 [https://github.com/python/cpython/issues/102828]: Add the onexc arg to shutil.rmtree(), which is like onerror but expects an exception instance rather than an exc_info tuple. Deprecate onerror.

gh-88965 [https://github.com/python/cpython/issues/88965]: typing: Fix a bug relating to substitution in custom classes generic over a ParamSpec. Previously, if the ParamSpec was substituted with a parameters list that itself contained a TypeVar, the TypeVar in the parameters list could not be subsequently substituted. This is now fixed.

Patch by Nikita Sobolev.

gh-76846 [https://github.com/python/cpython/issues/76846]: Fix issue where __new__() and __init__() methods of pathlib.PurePath and Path subclasses were not called in some circumstances.

gh-78530 [https://github.com/python/cpython/issues/78530]: asyncio.wait() now accepts generators yielding tasks. Patch by Kumar Aditya.

gh-102748 [https://github.com/python/cpython/issues/102748]: asyncio.iscoroutine() now returns False for generators as asyncio does not support legacy generator-based coroutines. Patch by Kumar Aditya.

gh-102670 [https://github.com/python/cpython/issues/102670]: Optimized fmean(), correlation(), covariance(), and linear_regression() using the new math.sumprod() function.

gh-102615 [https://github.com/python/cpython/issues/102615]: Typing: Improve the repr of generic aliases for classes generic over a ParamSpec. (Use square brackets to represent a parameter list.)

gh-100112 [https://github.com/python/cpython/issues/100112]: asyncio.Task.get_coro() now always returns a coroutine when wrapping an awaitable object. Patch by Kumar Aditya.

gh-102578 [https://github.com/python/cpython/issues/102578]: Speed up setting or deleting mutable attributes on non-dataclass subclasses of frozen dataclasses. Due to the implementation of __setattr__ and __delattr__ for frozen dataclasses, this previously had a time complexity of O(n). It now has a time complexity of O(1).

gh-102519 [https://github.com/python/cpython/issues/102519]: Add os.listdrives(), os.listvolumes() and os.listmounts() functions on Windows for enumerating drives, volumes and mount points

gh-74468 [https://github.com/python/cpython/issues/74468]: Attribute name of the extracted tarfile file object now holds filename of itself rather than of the archive it is contained in. Patch by Oleg Iarygin.

gh-102378 [https://github.com/python/cpython/issues/102378]: Private helper method inspect._signature_strip_non_python_syntax will no longer strip / from the input string.

gh-79940 [https://github.com/python/cpython/issues/79940]: Add inspect.getasyncgenstate() and inspect.getasyncgenlocals(). Patch by Thomas Krennwallner.

gh-102103 [https://github.com/python/cpython/issues/102103]: Add module argument to dataclasses.make_dataclass() and make classes produced by it pickleable.

gh-102069 [https://github.com/python/cpython/issues/102069]: Fix __weakref__ descriptor generation for custom dataclasses.

gh-102038 [https://github.com/python/cpython/issues/102038]: Skip a stat in site if we have already found a pyvenv.cfg

gh-98886 [https://github.com/python/cpython/issues/98886]: Fix issues when defining dataclasses that have fields with specific underscore names that aren’t clearly reserved by dataclasses.

gh-101673 [https://github.com/python/cpython/issues/101673]: Fix a pdb bug where ll clears the changes to local variables.

gh-101313 [https://github.com/python/cpython/issues/101313]: Added -h and –help arguments to the webbrowser CLI

gh-100372 [https://github.com/python/cpython/issues/100372]: ssl.SSLContext.load_verify_locations() no longer incorrectly accepts some cases of trailing data when parsing DER.

gh-89727 [https://github.com/python/cpython/issues/89727]: Fix pathlib.Path.walk RecursionError on deep directory trees by rewriting it using iteration instead of recursion.

gh-100131 [https://github.com/python/cpython/issues/100131]: Added an optional delete keyword argument to tempfile.TemporaryDirectory.

gh-48330 [https://github.com/python/cpython/issues/48330]: Added --durations command line option, showing the N slowest test cases. unittest.TextTestRunner and unittest.TextTestResult constructors accept a new durations keyword argument. Subclasses should take this into account or accept **kwargs. Added unittest.TestResult.addDuration() method and unittest.TestResult.collectedDurations attribute.

(Contributed by Giampaolo Rodola)

gh-98169 [https://github.com/python/cpython/issues/98169]: Fix dataclasses.astuple() crash when collections.defaultdict is present in the attributes.

gh-96931 [https://github.com/python/cpython/issues/96931]: Fix incorrect results from ssl.SSLSocket.shared_ciphers()

gh-95495 [https://github.com/python/cpython/issues/95495]: When built against OpenSSL 3.0, the ssl module had a bug where it reported unauthenticated EOFs (i.e. without close_notify) as a clean TLS-level EOF. It now raises SSLEOFError, matching the behavior in previous versions of OpenSSL. The options attribute on SSLContext also no longer includes OP_IGNORE_UNEXPECTED_EOF by default. This option may be set to specify the previous OpenSSL 3.0 behavior.

gh-94684 [https://github.com/python/cpython/issues/94684]: Now uuid.uuid3() and uuid.uuid5() functions support bytes objects as their name argument.

gh-94440 [https://github.com/python/cpython/issues/94440]: Fix a concurrent.futures.process bug where ProcessPoolExecutor shutdown could hang after a future has been quickly submitted and canceled.

gh-72346 [https://github.com/python/cpython/issues/72346]: Added deprecation warning to isdst parameter of email.utils.localtime().

bpo-36305 [https://bugs.python.org/issue?@action=redirect&bpo=36305]: Fix handling of Windows filenames that resemble drives, such as ./a:b, in pathlib.

Documentation

gh-103112 [https://github.com/python/cpython/issues/103112]: Add docstring to http.client.HTTPResponse.read() to fix pydoc output.

Tests

gh-102980 [https://github.com/python/cpython/issues/102980]: Improve test coverage on pdb.

gh-102537 [https://github.com/python/cpython/issues/102537]: Adjust the error handling strategy in test_zoneinfo.TzPathTest.python_tzpath_context. Patch by Paul Ganssle.

gh-101377 [https://github.com/python/cpython/issues/101377]: Improved test_locale_calendar_formatweekday of calendar.

Build

gh-102973 [https://github.com/python/cpython/issues/102973]: Add a dev container (along with accompanying Dockerfile) for development purposes.

gh-102711 [https://github.com/python/cpython/issues/102711]: Fix -Wstrict-prototypes compiler warnings.

Windows

gh-102690 [https://github.com/python/cpython/issues/102690]: Update webbrowser to fall back to Microsoft Edge instead of Internet Explorer.

gh-99726 [https://github.com/python/cpython/issues/99726]: Improves correctness of stat results for Windows, and uses faster API when available

Tools/Demos

gh-102809 [https://github.com/python/cpython/issues/102809]: Misc/gdbinit was removed.

C API

gh-102013 [https://github.com/python/cpython/issues/102013]: Add a new (unstable) C-API function for iterating over GC’able objects using a callback: PyUnstable_VisitObjects.

Python 3.12.0 alpha 6

Release date: 2023-03-07

Security

gh-99108 [https://github.com/python/cpython/issues/99108]: Replace builtin hashlib implementations of MD5 and SHA1 with verified ones from the HACL* project.

gh-101727 [https://github.com/python/cpython/issues/101727]: Updated the OpenSSL version used in Windows and macOS binary release builds to 1.1.1t to address CVE 2023-0286 [https://www.cve.org/CVERecord?id=CVE-2023-0286], CVE 2022-4303 [https://www.cve.org/CVERecord?id=CVE-2022-4303], and CVE 2022-4303 [https://www.cve.org/CVERecord?id=CVE-2022-4303] per the OpenSSL 2023-02-07 security advisory [https://openssl-library.org/news/secadv/20230207.txt].

gh-99108 [https://github.com/python/cpython/issues/99108]: Replace the builtin hashlib implementations of SHA2-384 and SHA2-512 originally from LibTomCrypt with formally verified, side-channel resistant code from the HACL* [https://github.com/hacl-star/hacl-star/] project. The builtins remain a fallback only used when OpenSSL does not provide them.

gh-101283 [https://github.com/python/cpython/issues/101283]: subprocess.Popen now uses a safer approach to find cmd.exe when launching with shell=True. Patch by Eryk Sun, based on a patch by Oleg Iarygin.

Core and Builtins

gh-102493 [https://github.com/python/cpython/issues/102493]: Fix regression in semantics of normalisation in PyErr_SetObject.

gh-102416 [https://github.com/python/cpython/issues/102416]: Do not memoize incorrectly automatically generated loop rules in the parser. Patch by Pablo Galindo.

gh-102356 [https://github.com/python/cpython/issues/102356]: Fix a bug that caused a crash when deallocating deeply nested filter objects. Patch by Marta Gómez Macías.

gh-102336 [https://github.com/python/cpython/issues/102336]: Cleanup Windows 7 specific special handling. Patch by Max Bachmann.

gh-102250 [https://github.com/python/cpython/issues/102250]: Fixed a segfault occurring when the interpreter calls a __bool__ method that raises.

gh-102126 [https://github.com/python/cpython/issues/102126]: Fix deadlock at shutdown when clearing thread states if any finalizer tries to acquire the runtime head lock. Patch by Kumar Aditya.

gh-102027 [https://github.com/python/cpython/issues/102027]: Use GetCurrentProcessId on Windows when getpid is unavailable. Patch by Max Bachmann.

gh-102056 [https://github.com/python/cpython/issues/102056]: Fix error handling bugs in interpreter’s exception printing code, which could cause a crash on infinite recursion.

gh-100982 [https://github.com/python/cpython/issues/100982]: Restrict the scope of the FOR_ITER_RANGE instruction to the scope of the original FOR_ITER instruction, to allow instrumentation.

gh-101967 [https://github.com/python/cpython/issues/101967]: Fix possible segfault in positional_only_passed_as_keyword function, when new list created.

gh-101952 [https://github.com/python/cpython/issues/101952]: Fix possible segfault in BUILD_SET opcode, when new set created.

gh-74895 [https://github.com/python/cpython/issues/74895]: socket.getaddrinfo no longer raises OverflowError for int port values outside of the C long range. Out of range values are left up to the underlying string based C library API to report. A socket.gaierror SAI_SERVICE may occur instead, or no error at all as not all platform C libraries generate an error.

gh-101799 [https://github.com/python/cpython/issues/101799]: Add CALL_INTRINSIC_2 and use it instead of PREP_RERAISE_STAR.

gh-101857 [https://github.com/python/cpython/issues/101857]: Fix xattr support detection on Linux systems by widening the check to linux, not just glibc. This fixes support for musl.

gh-84783 [https://github.com/python/cpython/issues/84783]: Make the slice object hashable. Patch by Will Bradshaw and Furkan Onder.

gh-87849 [https://github.com/python/cpython/issues/87849]: Change the SEND instruction to leave the receiver on the stack. This allows the specialized form of SEND to skip the chain of C calls and jump directly to the RESUME in the generator or coroutine.

gh-101765 [https://github.com/python/cpython/issues/101765]: Fix SystemError / segmentation fault in iter __reduce__ when internal access of builtins.__dict__ keys mutates the iter object.

gh-101430 [https://github.com/python/cpython/issues/101430]: Update tracemalloc to handle presize of object properly. Patch by Donghee Na.

gh-101696 [https://github.com/python/cpython/issues/101696]: Invalidate type version tag in _PyStaticType_Dealloc for static types, avoiding bug where a false cache hit could crash the interpreter. Patch by Kumar Aditya.

gh-101632 [https://github.com/python/cpython/issues/101632]: Adds a new RETURN_CONST instruction.

gh-100719 [https://github.com/python/cpython/issues/100719]: Remove gi_code field from generator (and coroutine and async generator) objects as it is redundant. The frame already includes a reference to the code object.

gh-98627 [https://github.com/python/cpython/issues/98627]: When an interpreter is configured to check (and only then), importing an extension module will now fail when the extension does not support multiple interpreters (i.e. doesn’t implement PEP 489 multi-phase init). This does not apply to the main interpreter, nor to subinterpreters created with Py_NewInterpreter().

Library

gh-102302 [https://github.com/python/cpython/issues/102302]: Micro-optimise hashing of inspect.Parameter, reducing the time it takes to hash an instance by around 40%.

gh-101979 [https://github.com/python/cpython/issues/101979]: Fix a bug where parentheses in the metavar argument to argparse.ArgumentParser.add_argument() were dropped. Patch by Yeojin Kim.

gh-91038 [https://github.com/python/cpython/issues/91038]: platform.platform() now has boolean default arguments.

gh-81652 [https://github.com/python/cpython/issues/81652]: Add mmap.MAP_ALIGNED_SUPER FreeBSD and mmap.MAP_CONCEAL OpenBSD constants to mmap. Patch by Yeojin Kim.

gh-102179 [https://github.com/python/cpython/issues/102179]: Fix os.dup2() error message for negative fds.

gh-101961 [https://github.com/python/cpython/issues/101961]: For the binary mode, fileinput.hookcompressed() doesn’t set the encoding value even if the value is None. Patch by Gihwan Kim.

gh-101936 [https://github.com/python/cpython/issues/101936]: The default value of fp becomes io.BytesIO if HTTPError is initialized without a designated fp parameter. Patch by Long Vo.

gh-101566 [https://github.com/python/cpython/issues/101566]: In zipfile, sync Path with zipp 3.14 [https://zipp.readthedocs.io/en/latest/history.html#v3-14-0], including fix for extractall on the underlying zipfile after being wrapped in Path.

gh-97930 [https://github.com/python/cpython/issues/97930]: Apply changes from importlib_resources 5.12 [https://importlib-resources.readthedocs.io/en/latest/history.html#v5-12-0], including fix for MultiplexedPath to support directories in multiple namespaces (python/importlib_resources#265).

gh-101997 [https://github.com/python/cpython/issues/101997]: Upgrade pip wheel bundled with ensurepip (pip 23.0.1)

gh-99108 [https://github.com/python/cpython/issues/99108]: The built-in extension modules for hashlib SHA2 algorithms, used when OpenSSL does not provide them, now live in a single internal _sha2 module instead of separate _sha256 and _sha512 modules.

gh-101892 [https://github.com/python/cpython/issues/101892]: Callable iterators no longer raise SystemError when the callable object exhausts the iterator but forgets to either return a sentinel value or raise StopIteration.

gh-87634 [https://github.com/python/cpython/issues/87634]: Remove locking behavior from functools.cached_property().

gh-97786 [https://github.com/python/cpython/issues/97786]: Fix potential undefined behaviour in corner cases of floating-point-to-time conversions.

gh-101517 [https://github.com/python/cpython/issues/101517]: Fixed bug where bdb looks up the source line with linecache with a lineno=None, which causes it to fail with an unhandled exception.

gh-101773 [https://github.com/python/cpython/issues/101773]: Optimize fractions.Fraction for small components. The private argument _normalize of the fractions.Fraction constructor has been removed.

gh-101693 [https://github.com/python/cpython/issues/101693]: In sqlite3.Cursor.execute(), DeprecationWarning is now emitted when named placeholders are used together with parameters supplied as a sequence instead of as a dict. Starting from Python 3.14, using named placeholders with parameters supplied as a sequence will raise a ProgrammingError. Patch by Erlend E. Aasland.

gh-101446 [https://github.com/python/cpython/issues/101446]: Change repr of collections.OrderedDict to use regular dictionary formatting instead of pairs of keys and values.

gh-101362 [https://github.com/python/cpython/issues/101362]: Speed up pathlib.PurePath construction by handling arguments more uniformly. When a pathlib.Path argument is supplied, we use its string representation rather than joining its parts with os.path.join().

gh-101362 [https://github.com/python/cpython/issues/101362]: Speed up pathlib.PurePath construction by calling os.path.join() only when two or more arguments are given.

gh-101362 [https://github.com/python/cpython/issues/101362]: Speed up pathlib.Path construction by running the path flavour compatibility check only when pathlib is imported.

gh-85984 [https://github.com/python/cpython/issues/85984]: Refactored the implementation of pty.fork() to use os.login_tty().

A DeprecationWarning is now raised by pty.master_open() and pty.slave_open(). They were undocumented and deprecated long long ago in the docstring in favor of pty.openpty().

gh-101561 [https://github.com/python/cpython/issues/101561]: Add a new decorator typing.override(). See PEP 698 [https://peps.python.org/pep-0698/] for details. Patch by Steven Troxler.

gh-63301 [https://github.com/python/cpython/issues/63301]: Set exit code when tabnanny CLI exits on error.

gh-101360 [https://github.com/python/cpython/issues/101360]: Fix anchor matching in pathlib.PureWindowsPath.match(). Path and pattern anchors are now matched with fnmatch, just like other path parts. This allows patterns such as "*:/Users/*" to be matched.

gh-101277 [https://github.com/python/cpython/issues/101277]: Remove global state from itertools module (PEP 687 [https://peps.python.org/pep-0687/]). Patches by Erlend E. Aasland.

gh-100809 [https://github.com/python/cpython/issues/100809]: Fix handling of drive-relative paths (like ‘C:’ and ‘C:foo’) in pathlib.Path.absolute(). This method now uses the OS API to retrieve the correct current working directory for the drive.

gh-99138 [https://github.com/python/cpython/issues/99138]: Apply PEP 687 [https://peps.python.org/pep-0687/] to zoneinfo. Patch by Erlend E. Aasland.

gh-96764 [https://github.com/python/cpython/issues/96764]: asyncio.wait_for() now uses asyncio.timeout() as its underlying implementation. Patch by Kumar Aditya.

gh-88233 [https://github.com/python/cpython/issues/88233]: Correctly preserve “extra” fields in zipfile regardless of their ordering relative to a zip64 “extra.”

bpo-23224 [https://bugs.python.org/issue?@action=redirect&bpo=23224]: Fix segfaults when creating lzma.LZMADecompressor and bz2.BZ2Decompressor objects without calling __init__(), and fix leakage of locks and internal buffers when calling the __init__() methods of lzma.LZMADecompressor, lzma.LZMACompressor, bz2.BZ2Compressor, and bz2.BZ2Decompressor objects multiple times.

Documentation

gh-85417 [https://github.com/python/cpython/issues/85417]: Update cmath documentation to clarify behaviour on branch cuts.

gh-97725 [https://github.com/python/cpython/issues/97725]: Fix asyncio.Task.print_stack() description for file=None. Patch by Oleg Iarygin.

Tests

gh-102019 [https://github.com/python/cpython/issues/102019]: Fix deadlock on shutdown if test_current_{exception,frames} fails. Patch by Jacob Bower.

gh-85984 [https://github.com/python/cpython/issues/85984]: Utilize new “winsize” functions from termios in pty tests.

gh-89792 [https://github.com/python/cpython/issues/89792]: test_tools now copies up to 10x less source data to a temporary directory during the freeze test by ignoring git metadata and other artifacts. It also limits its python build parallelism based on os.cpu_count instead of hard coding it as 8 cores.

Build

gh-99942 [https://github.com/python/cpython/issues/99942]: On Android, in a static build, python-config in embed mode no longer incorrectly reports a library to link to.

gh-99942 [https://github.com/python/cpython/issues/99942]: On Android, python.pc now correctly reports the library to link to, the same as python-config.sh.

gh-100221 [https://github.com/python/cpython/issues/100221]: Fix creating install directories in make sharedinstall if they exist outside DESTDIR already.

gh-96821 [https://github.com/python/cpython/issues/96821]: Explicitly mark C extension modules that need defined signed integer overflow, and add a configure option --with-strict-overflow. Patch by Matthias Görgens and Shantanu Jain.

Windows

gh-102344 [https://github.com/python/cpython/issues/102344]: Implement winreg.QueryValue using QueryValueEx and winreg.SetValue using SetValueEx. Patch by Max Bachmann.

gh-101881 [https://github.com/python/cpython/issues/101881]: Handle read and write operations on non-blocking pipes properly on Windows.

gh-101881 [https://github.com/python/cpython/issues/101881]: Add support for the os.get_blocking() and os.set_blocking() functions on Windows.

gh-101849 [https://github.com/python/cpython/issues/101849]: Ensures installer will correctly upgrade existing py.exe launcher installs.

gh-101763 [https://github.com/python/cpython/issues/101763]: Updates copy of libffi bundled with Windows installs to 3.4.4.

gh-101759 [https://github.com/python/cpython/issues/101759]: Update Windows installer to SQLite 3.40.1.

gh-101614 [https://github.com/python/cpython/issues/101614]: Correctly handle extensions built against debug binaries that reference python3_d.dll.

gh-101196 [https://github.com/python/cpython/issues/101196]: The functions os.path.isdir, os.path.isfile, os.path.islink and os.path.exists are now 13% to 28% faster on Windows, by making fewer Win32 API calls.

macOS

gh-101759 [https://github.com/python/cpython/issues/101759]: Update macOS installer to SQLite 3.40.1.

C API

gh-101907 [https://github.com/python/cpython/issues/101907]: Removes use of non-standard C++ extension in public header files.

gh-99293 [https://github.com/python/cpython/issues/99293]: Document that the Py_TPFLAGS_VALID_VERSION_TAG is an internal feature, should not be used, and will be removed.

gh-101578 [https://github.com/python/cpython/issues/101578]: Add PyErr_GetRaisedException() and PyErr_SetRaisedException() for saving and restoring the current exception. These functions return and accept a single exception object, rather than the triple arguments of the now-deprecated PyErr_Fetch() and PyErr_Restore(). This is less error prone and a bit more efficient.

Add PyException_GetArgs() and PyException_SetArgs() as convenience functions for retrieving and modifying the args passed to the exception’s constructor.

gh-91744 [https://github.com/python/cpython/issues/91744]: Introduced the Unstable C API tier, marking APi that is allowed to change in minor releases without a deprecation period. See PEP 689 [https://peps.python.org/pep-0689/] for details.

Python 3.12.0 alpha 5

Release date: 2023-02-07

Security

gh-99108 [https://github.com/python/cpython/issues/99108]: Replace the builtin hashlib implementations of SHA2-224 and SHA2-256 originally from LibTomCrypt with formally verified, side-channel resistant code from the HACL* [https://github.com/hacl-star/hacl-star/] project. The builtins remain a fallback only used when OpenSSL does not provide them.

Core and Builtins

gh-92173 [https://github.com/python/cpython/issues/92173]: Fix the defs and kwdefs arguments to PyEval_EvalCodeEx() and a reference leak in that function.

gh-59956 [https://github.com/python/cpython/issues/59956]: The GILState API is now partially compatible with subinterpreters. Previously, PyThreadState_GET() and PyGILState_GetThisThreadState() would get out of sync, causing inconsistent behavior and crashes.

gh-101400 [https://github.com/python/cpython/issues/101400]: Fix wrong lineno in exception message on continue or break which are not in a loop. Patch by Donghee Na.

gh-101372 [https://github.com/python/cpython/issues/101372]: Fix is_normalized() to properly handle the UCD 3.2.0 cases. Patch by Donghee Na.

gh-101266 [https://github.com/python/cpython/issues/101266]: Fix sys.getsizeof() reporting for int subclasses.

gh-101291 [https://github.com/python/cpython/issues/101291]: Refactor the PyLongObject struct into a normal Python object header and a PyLongValue struct.

gh-101046 [https://github.com/python/cpython/issues/101046]: Fix a possible memory leak in the parser when raising MemoryError. Patch by Pablo Galindo

gh-101037 [https://github.com/python/cpython/issues/101037]: Fix potential memory underallocation issue for instances of int subclasses with value zero.

gh-100762 [https://github.com/python/cpython/issues/100762]: Record the (virtual) exception block depth in the oparg of YIELD_VALUE. Use this to avoid the expensive throw() when closing generators (and coroutines) that can be closed trivially.

gh-100982 [https://github.com/python/cpython/issues/100982]: Adds a new COMPARE_AND_BRANCH instruction. This is a bit more efficient when performing a comparison immediately followed by a branch, and restores the design intent of PEP 659 that specializations are local to a single instruction.

gh-100942 [https://github.com/python/cpython/issues/100942]: Fixed segfault in property.getter/setter/deleter that occurred when a property subclass overrode the __new__ method to return a non-property instance.

gh-100923 [https://github.com/python/cpython/issues/100923]: Remove the mask cache entry for the COMPARE_OP instruction and embed the mask into the oparg.

gh-100892 [https://github.com/python/cpython/issues/100892]: Fix race while iterating over thread states in clearing threading.local. Patch by Kumar Aditya.

gh-91351 [https://github.com/python/cpython/issues/91351]: Fix a case where re-entrant imports could corrupt the import deadlock detection code and cause a KeyError to be raised out of importlib/_bootstrap. In addition to the straightforward cases, this could also happen when garbage collection leads to a warning being emitted – as happens when it collects an open socket or file)

gh-100726 [https://github.com/python/cpython/issues/100726]: Optimize construction of range object for medium size integers.

gh-100712 [https://github.com/python/cpython/issues/100712]: Added option to build cpython with specialization disabled, by setting ENABLE_SPECIALIZATION=False in opcode, followed by make regen-all.

bpo-32780 [https://bugs.python.org/issue?@action=redirect&bpo=32780]: Inter-field padding is now inserted into the PEP3118 format strings obtained from ctypes.Structure objects, reflecting their true representation in memory.

Library

gh-101541 [https://github.com/python/cpython/issues/101541]: [Enum] - fix psuedo-flag creation

gh-101570 [https://github.com/python/cpython/issues/101570]: Upgrade pip wheel bundled with ensurepip (pip 23.0)

gh-101323 [https://github.com/python/cpython/issues/101323]: Fix a bug where errors where not thrown by zlib._ZlibDecompressor if encountered during decompressing.

gh-101317 [https://github.com/python/cpython/issues/101317]: Add ssl_shutdown_timeout parameter for asyncio.StreamWriter.start_tls().

gh-101326 [https://github.com/python/cpython/issues/101326]: Fix regression when passing None as second or third argument to FutureIter.throw.

gh-92123 [https://github.com/python/cpython/issues/92123]: Adapt the _elementtree extension module to multi-phase init (PEP 489 [https://peps.python.org/pep-0489/]). Patches by Erlend E. Aasland.

gh-100795 [https://github.com/python/cpython/issues/100795]: Avoid potential unexpected freeaddrinfo call (double free) in socket when when a libc getaddrinfo() implementation leaves garbage in an output pointer when returning an error. Original patch by Sergey G. Brester.

gh-101143 [https://github.com/python/cpython/issues/101143]: Remove unused references to TimerHandle in asyncio.base_events.BaseEventLoop._add_callback.

gh-101144 [https://github.com/python/cpython/issues/101144]: Make zipfile.Path.open() and zipfile.Path.read_text() also accept encoding as a positional argument. This was the behavior in Python 3.9 and earlier. 3.10 introduced a regression where supplying it as a positional argument would lead to a TypeError.

gh-94518 [https://github.com/python/cpython/issues/94518]: Group-related variables of _posixsubprocess module are renamed to stress that supplementary group affinity is added to a fork, not replace the inherited ones. Patch by Oleg Iarygin.

gh-101015 [https://github.com/python/cpython/issues/101015]: Fix typing.get_type_hints() on '*tuple[...]' and *tuple[...]. It must not drop the Unpack part.

gh-101000 [https://github.com/python/cpython/issues/101000]: Add os.path.splitroot(), which splits a path into a 3-item tuple (drive, root, tail). This new function is used by pathlib to improve the performance of path construction by up to a third.

gh-100573 [https://github.com/python/cpython/issues/100573]: Fix a Windows asyncio bug with named pipes where a client doing os.stat() on the pipe would cause an error in the server that disabled serving future requests.

gh-39615 [https://github.com/python/cpython/issues/39615]: warnings.warn() now has the ability to skip stack frames based on code filename prefix rather than only a numeric stacklevel via the new skip_file_prefixes keyword argument.

gh-100750 [https://github.com/python/cpython/issues/100750]: pass encoding kwarg to subprocess in platform

gh-100160 [https://github.com/python/cpython/issues/100160]: Emit a deprecation warning in asyncio.DefaultEventLoopPolicy.get_event_loop() if there is no current event loop set and it decides to create one.

gh-96290 [https://github.com/python/cpython/issues/96290]: Fix handling of partial and invalid UNC drives in ntpath.splitdrive(), and in ntpath.normpath() on non-Windows systems. Paths such as ‘\server’ and ‘\’ are now considered by splitdrive() to contain only a drive, and consequently are not modified by normpath() on non-Windows systems. The behaviour of normpath() on Windows systems is unaffected, as native OS APIs are used. Patch by Eryk Sun, with contributions by Barney Gale.

gh-99952 [https://github.com/python/cpython/issues/99952]: Fix a reference undercounting issue in ctypes.Structure with from_param() results larger than a C pointer.

gh-67790 [https://github.com/python/cpython/issues/67790]: Add float-style formatting support for fractions.Fraction instances.

gh-99266 [https://github.com/python/cpython/issues/99266]: Preserve more detailed error messages in ctypes.

gh-86682 [https://github.com/python/cpython/issues/86682]: Ensure runtime-created collections have the correct module name using the newly added (internal) sys._getframemodulename().

gh-88597 [https://github.com/python/cpython/issues/88597]: uuid now has a command line interface. Try python -m uuid -h.

gh-60580 [https://github.com/python/cpython/issues/60580]: ctypes.wintypes.BYTE definition changed from c_byte to c_ubyte to match Windows SDK. Patch by Anatoly Techtonik and Oleg Iarygin.

gh-94518 [https://github.com/python/cpython/issues/94518]: _posixsubprocess now initializes all UID and GID variables using a reserved -1 value instead of a separate flag. Patch by Oleg Iarygin.

bpo-38941 [https://bugs.python.org/issue?@action=redirect&bpo=38941]: The xml.etree.ElementTree module now emits DeprecationWarning when testing the truth value of an xml.etree.ElementTree.Element. Before, the Python implementation emitted FutureWarning, and the C implementation emitted nothing.

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert elementtree types to heap types. Patch by Erlend E. Aasland.

bpo-29847 [https://bugs.python.org/issue?@action=redirect&bpo=29847]: Fix a bug where pathlib.Path accepted and ignored keyword arguments. Patch provided by Yurii Karabas.

gh-77772 [https://github.com/python/cpython/issues/77772]: ctypes.CDLL, ctypes.OleDLL, ctypes.WinDLL, and ctypes.PyDLL now accept path-like objects as their name argument. Patch by Robert Hoelzl.

Documentation

gh-88324 [https://github.com/python/cpython/issues/88324]: Reword subprocess to emphasize default behavior of stdin, stdout, and stderr arguments. Remove inaccurate statement about child file handle inheritance.

Tests

gh-101334 [https://github.com/python/cpython/issues/101334]: test_tarfile has been updated to pass when run as a high UID.

Build

gh-101282 [https://github.com/python/cpython/issues/101282]: Update BOLT configuration not to use deprecated usage of --split functions. Patch by Donghee Na.

gh-101522 [https://github.com/python/cpython/issues/101522]: Allow overriding Windows dependencies versions and paths using MSBuild properties.

gh-77532 [https://github.com/python/cpython/issues/77532]: Minor fixes to allow building with PlatformToolset=ClangCL on Windows.

gh-101152 [https://github.com/python/cpython/issues/101152]: In accordance with PEP 699 [https://peps.python.org/pep-0699/], the ma_version_tag field in PyDictObject is deprecated for extension modules. Accessing this field will generate a compiler warning at compile time. This field will be removed in Python 3.14.

gh-100340 [https://github.com/python/cpython/issues/100340]: Allows -Wno-int-conversion for wasm-sdk 17 and onwards, thus enables building WASI builds once against the latest sdk.

gh-101060 [https://github.com/python/cpython/issues/101060]: Conditionally add -fno-reorder-blocks-and-partition in configure. Effectively fixes --enable-bolt when using Clang, as this appears to be a GCC-only flag.

gh-98705 [https://github.com/python/cpython/issues/98705]: __bool__ is defined in AIX system header files which breaks the build in AIX, so undefine it.

gh-98636 [https://github.com/python/cpython/issues/98636]: Fix a regression in detecting gdbm_compat library for the _gdbm module build.

gh-96305 [https://github.com/python/cpython/issues/96305]: _aix_support now uses a simple code to get platform details rather than the now non-existent _bootsubprocess during bootstrap.

Windows

gh-101543 [https://github.com/python/cpython/issues/101543]: Ensure the install path in the registry is only used when the standard library hasn’t been located in any other way.

gh-101467 [https://github.com/python/cpython/issues/101467]: The py.exe launcher now correctly filters when only a single runtime is installed. It also correctly handles prefix matches on tags so that -3.1 does not match 3.11, but would still match 3.1-32.

gh-99834 [https://github.com/python/cpython/issues/99834]: Updates bundled copy of Tcl/Tk to 8.6.13.0

gh-101135 [https://github.com/python/cpython/issues/101135]: Restore ability to launch older 32-bit versions from the py.exe launcher when both 32-bit and 64-bit installs of the same version are available.

gh-82052 [https://github.com/python/cpython/issues/82052]: Fixed an issue where writing more than 32K of Unicode output to the console screen in one go can result in mojibake.

gh-100320 [https://github.com/python/cpython/issues/100320]: Ensures the PythonPath registry key from an install is used when launching from a different copy of Python that relies on an existing install to provide a copy of its modules and standard library.

gh-100247 [https://github.com/python/cpython/issues/100247]: Restores support for the py.exe launcher finding shebang commands in its configuration file using the full command name.

Python 3.12.0 alpha 4

Release date: 2023-01-10

Core and Builtins

gh-100776 [https://github.com/python/cpython/issues/100776]: Fix misleading default value in input()’s __text_signature__.

gh-99005 [https://github.com/python/cpython/issues/99005]: Remove UNARY_POSITIVE, ASYNC_GEN_WRAP and LIST_TO_TUPLE, replacing them with intrinsics.

gh-99005 [https://github.com/python/cpython/issues/99005]: Add new CALL_INTRINSIC_1 instruction. Remove IMPORT_STAR, PRINT_EXPR and STOPITERATION_ERROR, replacing them with the CALL_INTRINSIC_1 instruction.

gh-100288 [https://github.com/python/cpython/issues/100288]: Remove the LOAD_ATTR_METHOD_WITH_DICT specialized instruction. Stats show it is not useful.

gh-100720 [https://github.com/python/cpython/issues/100720]: Added _PyFrame_NumSlotsForCodeObject, which returns the number of slots needed in a frame for a given code object.

gh-100719 [https://github.com/python/cpython/issues/100719]: Removed the co_nplaincellvars field from the code object, as it is redundant.

gh-100637 [https://github.com/python/cpython/issues/100637]: Fix int.__sizeof__() calculation to include the 1-element ob_digit array for 0 and False.

gh-100649 [https://github.com/python/cpython/issues/100649]: Update the native_thread_id field of PyThreadState after fork.

gh-100126 [https://github.com/python/cpython/issues/100126]: Fix an issue where “incomplete” frames could be briefly visible to C code while other frames are being torn down, possibly resulting in corruption or hard crashes of the interpreter while running finalizers.

gh-87447 [https://github.com/python/cpython/issues/87447]: Fix SyntaxError on comprehension rebind checking with names that are not actually redefined.

Now reassigning b in [(b := 1) for a, b.prop in some_iter] is allowed. Reassigning a is still disallowed as per PEP 572 [https://peps.python.org/pep-0572/].

gh-100268 [https://github.com/python/cpython/issues/100268]: Add int.is_integer() to improve duck type compatibility between int and float.

gh-100425 [https://github.com/python/cpython/issues/100425]: Improve the accuracy of sum() with compensated summation.

gh-100374 [https://github.com/python/cpython/issues/100374]: Fix incorrect result and delay in socket.getfqdn(). Patch by Dominic Socular.

gh-100357 [https://github.com/python/cpython/issues/100357]: Convert vars, dir, next, getattr, and iter to argument clinic.

gh-100117 [https://github.com/python/cpython/issues/100117]: Improve the output of codeobject.co_lines() by emitting only one entry for each line range.

gh-90043 [https://github.com/python/cpython/issues/90043]: Handle NaNs when specializing COMPARE_OP for float values.

gh-100222 [https://github.com/python/cpython/issues/100222]: Redefine the _Py_CODEUNIT typedef as a union to describe its layout to the C compiler, avoiding type punning and improving clarity.

gh-99955 [https://github.com/python/cpython/issues/99955]: Internal compiler functions (in compile.c) now consistently return -1 on error and 0 on success.

gh-100188 [https://github.com/python/cpython/issues/100188]: The BINARY_SUBSCR_LIST_INT and BINARY_SUBSCR_TUPLE_INT instructions are no longer used for negative integers because those instructions always miss when encountering negative integers.

gh-99110 [https://github.com/python/cpython/issues/99110]: Initialize frame->previous in frameobject.c to fix a segmentation fault when accessing frames created by PyFrame_New().

gh-94155 [https://github.com/python/cpython/issues/94155]: Improved the hashing algorithm for code objects, mitigating some hash collisions.

gh-99540 [https://github.com/python/cpython/issues/99540]: None now hashes to a constant value. This is not a requirements change.

gh-100143 [https://github.com/python/cpython/issues/100143]: When built with --enable-pystats, stats collection is now off by default. To enable it early at startup, pass the -Xpystats flag. Stats are now always dumped, even if switched off.

gh-100146 [https://github.com/python/cpython/issues/100146]: Improve BUILD_LIST opcode so that it works similarly to the BUILD_TUPLE opcode, by stealing references from the stack rather than repeatedly using stack operations to set list elements. Implementation details are in a new private API _PyList_FromArraySteal().

gh-100110 [https://github.com/python/cpython/issues/100110]: Specialize FOR_ITER for tuples.

gh-100050 [https://github.com/python/cpython/issues/100050]: Honor existing errors obtained when searching for mismatching parentheses in the tokenizer. Patch by Pablo Galindo

gh-92216 [https://github.com/python/cpython/issues/92216]: Improve the performance of hasattr() for type objects with a missing attribute.

gh-99582 [https://github.com/python/cpython/issues/99582]: Freeze zipimport module into _bootstrap_python.

gh-99554 [https://github.com/python/cpython/issues/99554]: Pack debugging location tables more efficiently during bytecode compilation.

gh-98522 [https://github.com/python/cpython/issues/98522]: Add an internal version number to code objects, to give better versioning of inner functions and comprehensions, and thus better specialization of those functions. This change is invisible to both Python and C extensions.

gh-94603 [https://github.com/python/cpython/issues/94603]: Improve performance of list.pop for small lists.

gh-89051 [https://github.com/python/cpython/issues/89051]: Add ssl.OP_LEGACY_SERVER_CONNECT

bpo-32782 [https://bugs.python.org/issue?@action=redirect&bpo=32782]: ctypes arrays of length 0 now report a correct itemsize when a memoryview is constructed from them, rather than always giving a value of 0.

Library

gh-100833 [https://github.com/python/cpython/issues/100833]: Speed up math.fsum() by removing defensive volatile qualifiers.

gh-100805 [https://github.com/python/cpython/issues/100805]: Modify random.choice() implementation to once again work with NumPy arrays.

gh-100813 [https://github.com/python/cpython/issues/100813]: Add socket.IP_PKTINFO constant.

gh-100792 [https://github.com/python/cpython/issues/100792]: Make email.message.Message.__contains__() twice as fast.

gh-91851 [https://github.com/python/cpython/issues/91851]: Microoptimizations for fractions.Fraction.__round__(), fractions.Fraction.__ceil__() and fractions.Fraction.__floor__().

gh-90104 [https://github.com/python/cpython/issues/90104]: Avoid RecursionError on repr if a dataclass field definition has a cyclic reference.

gh-100689 [https://github.com/python/cpython/issues/100689]: Fix crash in pyexpat by statically allocating PyExpat_CAPI capsule.

gh-100740 [https://github.com/python/cpython/issues/100740]: Fix unittest.mock.Mock not respecting the spec for attribute names prefixed with assert.

gh-91219 [https://github.com/python/cpython/issues/91219]: Change SimpleHTTPRequestHandler to support subclassing to provide a different set of index file names instead of using __init__ parameters.

gh-100690 [https://github.com/python/cpython/issues/100690]: Mock objects which are not unsafe will now raise an AttributeError when accessing an attribute that matches the name of an assertion but without the prefix assert_, e.g. accessing called_once instead of assert_called_once. This is in addition to this already happening for accessing attributes with prefixes assert, assret, asert, aseert, and assrt.

gh-89727 [https://github.com/python/cpython/issues/89727]: Simplify and optimize os.walk() by using isinstance() checks to check the top of the stack.

gh-100485 [https://github.com/python/cpython/issues/100485]: Add math.sumprod() to compute the sum of products.

gh-86508 [https://github.com/python/cpython/issues/86508]: Fix asyncio.open_connection() to skip binding to local addresses of different family. Patch by Kumar Aditya.

gh-97930 [https://github.com/python/cpython/issues/97930]: importlib.resources.files now accepts a module as an anchor instead of only accepting packages. If a module is passed, resources are resolved adjacent to that module (in the same package or at the package root). The parameter was renamed from package to anchor with a compatibility shim for those passing by keyword. Additionally, the new anchor parameter is now optional and will default to the caller’s module.

gh-100585 [https://github.com/python/cpython/issues/100585]: Fixed a bug where importlib.resources.as_file was leaving file pointers open

gh-100562 [https://github.com/python/cpython/issues/100562]: Improve performance of pathlib.Path.absolute() by nearly 2x. This comes at the cost of a performance regression in pathlib.Path.cwd(), which is generally used less frequently in user code.

gh-100519 [https://github.com/python/cpython/issues/100519]: Small simplification of http.cookiejar.eff_request_host() that improves readability and better matches the RFC wording.

gh-100287 [https://github.com/python/cpython/issues/100287]: Fix the interaction of unittest.mock.seal() with unittest.mock.AsyncMock.

gh-100488 [https://github.com/python/cpython/issues/100488]: Add Fraction.is_integer() to check whether a fractions.Fraction is an integer. This improves duck type compatibility with float and int.

gh-100474 [https://github.com/python/cpython/issues/100474]: http.server now checks that an index page is actually a regular file before trying to serve it. This avoids issues with directories named index.html.

gh-100363 [https://github.com/python/cpython/issues/100363]: Speed up asyncio.get_running_loop() by removing redundant getpid checks. Patch by Kumar Aditya.

gh-78878 [https://github.com/python/cpython/issues/78878]: Fix crash when creating an instance of _ctypes.CField.

gh-100348 [https://github.com/python/cpython/issues/100348]: Fix ref cycle in asyncio._SelectorSocketTransport by removing _read_ready_cb in close.

gh-100344 [https://github.com/python/cpython/issues/100344]: Provide C implementation for asyncio.current_task() for a 4x-6x speedup.

gh-100272 [https://github.com/python/cpython/issues/100272]: Fix JSON serialization of OrderedDict. It now preserves the order of keys.

gh-83076 [https://github.com/python/cpython/issues/83076]: Instantiation of Mock() and AsyncMock() is now 3.8x faster.

gh-100234 [https://github.com/python/cpython/issues/100234]: Set a default value of 1.0 for the lambd parameter in random.expovariate().

gh-100228 [https://github.com/python/cpython/issues/100228]: A DeprecationWarning may be raised when os.fork() or os.forkpty() is called from multi-threaded processes. Forking with threads is unsafe and can cause deadlocks, crashes and subtle problems. Lack of a warning does not indicate that the fork call was actually safe, as Python may not be aware of all threads.

gh-100039 [https://github.com/python/cpython/issues/100039]: Improve signatures for enums and flags.

gh-100133 [https://github.com/python/cpython/issues/100133]: Fix regression in asyncio where a subprocess would sometimes lose data received from pipe.

bpo-44592 [https://bugs.python.org/issue?@action=redirect&bpo=44592]: Fixes inconsistent handling of case sensitivity of extrasaction arg in csv.DictWriter.

gh-100098 [https://github.com/python/cpython/issues/100098]: Fix tuple subclasses being cast to tuple when used as enum values.

gh-85432 [https://github.com/python/cpython/issues/85432]: Rename the fmt parameter of the pure-Python implementation of datetime.time.strftime() to format. Rename the t parameter of datetime.datetime.fromtimestamp() to timestamp. These changes mean the parameter names in the pure-Python implementation now match the parameter names in the C implementation. Patch by Alex Waygood.

gh-98778 [https://github.com/python/cpython/issues/98778]: Update HTTPError to be initialized properly, even if the fp is None. Patch by Donghee Na.

gh-99925 [https://github.com/python/cpython/issues/99925]: Unify error messages in JSON serialization between json.dumps(float('nan'), allow_nan=False) and json.dumps(float('nan'), allow_nan=False, indent=<SOMETHING>). Now both include the representation of the value that could not be serialized.

gh-89727 [https://github.com/python/cpython/issues/89727]: Fix issue with os.walk() where a RecursionError would occur on deep directory structures by adjusting the implementation of os.walk() to be iterative instead of recursive.

gh-94943 [https://github.com/python/cpython/issues/94943]: Add Dataclass support to the Enum __repr__(). When inheriting from a dataclass, only show the field names in the value section of the member repr(), and not the dataclass’ class name.

gh-83035 [https://github.com/python/cpython/issues/83035]: Fix inspect.getsource() handling of decorator calls with nested parentheses.

gh-99576 [https://github.com/python/cpython/issues/99576]: Fix .save() method for LWPCookieJar and MozillaCookieJar: saved file was not truncated on repeated save.

gh-94912 [https://github.com/python/cpython/issues/94912]: Add inspect.markcoroutinefunction() decorator which manually marks a function as a coroutine for the benefit of iscoroutinefunction().

gh-99509 [https://github.com/python/cpython/issues/99509]: Add PEP 585 [https://peps.python.org/pep-0585/] support for multiprocessing.queues.Queue.

gh-99482 [https://github.com/python/cpython/issues/99482]: Remove Jython partial compatibility code from several stdlib modules.

gh-99433 [https://github.com/python/cpython/issues/99433]: Fix doctest failure on types.MethodWrapperType in modules.

gh-85267 [https://github.com/python/cpython/issues/85267]: Several improvements to inspect.signature()’s handling of __text_signature. - Fixes a case where inspect.signature() dropped parameters - Fixes a case where inspect.signature() raised tokenize.TokenError - Allows inspect.signature() to understand defaults involving binary operations of constants - inspect.signature() is documented as only raising TypeError or ValueError, but sometimes raised RuntimeError. These cases now raise ValueError - Removed a dead code path

gh-91166 [https://github.com/python/cpython/issues/91166]: asyncio is optimized to avoid excessive copying when writing to socket and use sendmsg() if the platform supports it. Patch by Kumar Aditya.

gh-98030 [https://github.com/python/cpython/issues/98030]: Add missing TCP socket options from Linux: TCP_MD5SIG, TCP_THIN_LINEAR_TIMEOUTS, TCP_THIN_DUPACK, TCP_REPAIR, TCP_REPAIR_QUEUE, TCP_QUEUE_SEQ, TCP_REPAIR_OPTIONS, TCP_TIMESTAMP, TCP_CC_INFO, TCP_SAVE_SYN, TCP_SAVED_SYN, TCP_REPAIR_WINDOW, TCP_FASTOPEN_CONNECT, TCP_ULP, TCP_MD5SIG_EXT, TCP_FASTOPEN_KEY, TCP_FASTOPEN_NO_COOKIE, TCP_ZEROCOPY_RECEIVE, TCP_INQ, TCP_TX_DELAY.

gh-88500 [https://github.com/python/cpython/issues/88500]: Reduced the memory usage of urllib.parse.unquote() and urllib.parse.unquote_to_bytes() on large values.

gh-96127 [https://github.com/python/cpython/issues/96127]: inspect.signature was raising TypeError on call with mock objects. Now it correctly returns (*args, **kwargs) as inferred signature.

gh-95882 [https://github.com/python/cpython/issues/95882]: Fix a 3.11 regression in asynccontextmanager(), which caused it to propagate exceptions with incorrect tracebacks and fix a 3.11 regression in contextmanager(), which caused it to propagate exceptions with incorrect tracebacks for StopIteration.

gh-78707 [https://github.com/python/cpython/issues/78707]: Deprecate passing more than one positional argument to pathlib.PurePath.relative_to() and is_relative_to().

gh-92122 [https://github.com/python/cpython/issues/92122]: Fix reStructuredText syntax errors in docstrings in the enum module.

gh-91851 [https://github.com/python/cpython/issues/91851]: Optimize the Fraction arithmetics for small components.

bpo-24132 [https://bugs.python.org/issue?@action=redirect&bpo=24132]: Make pathlib.PurePath and Path subclassable (private to start). Previously, attempting to instantiate a subclass resulted in an AttributeError being raised. Patch by Barney Gale.

bpo-40447 [https://bugs.python.org/issue?@action=redirect&bpo=40447]: Accept os.PathLike (such as pathlib.Path) in the stripdir arguments of compileall.compile_file() and compileall.compile_dir().

bpo-36880 [https://bugs.python.org/issue?@action=redirect&bpo=36880]: Fix a reference counting issue when a ctypes callback with return type py_object returns None, which could cause crashes.

Documentation

gh-100616 [https://github.com/python/cpython/issues/100616]: Document existing attr parameter to curses.window.vline() function in curses.

gh-100472 [https://github.com/python/cpython/issues/100472]: Remove claim in documentation that the stripdir, prependdir and limit_sl_dest parameters of compileall.compile_dir() and compileall.compile_file() could be bytes.

bpo-25377 [https://bugs.python.org/issue?@action=redirect&bpo=25377]: Clarify use of octal format of mode argument in help(os.chmod) as well as help(os.fchmod)

Tests

gh-100454 [https://github.com/python/cpython/issues/100454]: Start running SSL tests with OpenSSL 3.1.0-beta1.

gh-100086 [https://github.com/python/cpython/issues/100086]: The Python test runner (libregrtest) now logs Python build information like “debug” vs “release” build, or LTO and PGO optimizations. Patch by Victor Stinner.

gh-93018 [https://github.com/python/cpython/issues/93018]: Make two tests forgiving towards host system libexpat with backported security fixes applied.

Build

gh-100540 [https://github.com/python/cpython/issues/100540]: Removed the --with-system-ffi configure option; libffi must now always be supplied by the system on all non-Windows platforms. The option has had no effect on non-Darwin platforms for several releases, and in 3.11 only had the non-obvious effect of invoking pkg-config to find libffi and never setting -DUSING_APPLE_OS_LIBFFI. Now on Darwin platforms configure will first check for the OS libffi and then fall back to the same processing as other platforms if it is not found.

gh-88267 [https://github.com/python/cpython/issues/88267]: Avoid exporting Python symbols in linked Windows applications when the core is built as static.

bpo-41916 [https://bugs.python.org/issue?@action=redirect&bpo=41916]: Allow override of ac_cv_cxx_thread so that cross compiled python can set -pthread for CXX.

Windows

gh-100180 [https://github.com/python/cpython/issues/100180]: Update Windows installer to OpenSSL 1.1.1s

gh-99191 [https://github.com/python/cpython/issues/99191]: Use _MSVC_LANG >= 202002L instead of less-precise _MSC_VER >=1929 to more accurately test for C++20 support in PC/_wmimodule.cpp.

gh-79218 [https://github.com/python/cpython/issues/79218]: Define MS_WIN64 for Mingw-w64 64bit, fix cython compilation failure.

gh-99941 [https://github.com/python/cpython/issues/99941]: Ensure that asyncio.Protocol.data_received() receives an immutable bytes object (as documented), instead of bytearray.

bpo-43984 [https://bugs.python.org/issue?@action=redirect&bpo=43984]: winreg.SetValueEx() now leaves the target value untouched in the case of conversion errors. Previously, -1 would be written in case of such errors.

bpo-34816 [https://bugs.python.org/issue?@action=redirect&bpo=34816]: hasattr(ctypes.windll, 'nonexistant') now returns False instead of raising OSError.

macOS

gh-100180 [https://github.com/python/cpython/issues/100180]: Update macOS installer to OpenSSL 1.1.1s

gh-100540 [https://github.com/python/cpython/issues/100540]: Removed obsolete dlfcn.h shim from the _ctypes extension module, which has not been necessary since Mac OS X 10.2.

Tools/Demos

bpo-45256 [https://bugs.python.org/issue?@action=redirect&bpo=45256]: Fix a bug that caused an AttributeError to be raised in python-gdb.py when py-locals is used without a frame.

gh-100342 [https://github.com/python/cpython/issues/100342]: Add missing NULL check for possible allocation failure in *args parsing in Argument Clinic.

C API

gh-99947 [https://github.com/python/cpython/issues/99947]: Raising SystemError on import will now have its cause be set to the original unexpected exception.

gh-99240 [https://github.com/python/cpython/issues/99240]: In argument parsing, after deallocating newly allocated memory, reset its pointer to NULL.

gh-98724 [https://github.com/python/cpython/issues/98724]: The Py_CLEAR, Py_SETREF and Py_XSETREF macros now only evaluate their arguments once. If an argument has side effects, these side effects are no longer duplicated. Patch by Victor Stinner.

Python 3.12.0 alpha 3

Release date: 2022-12-06

Security

gh-100001 [https://github.com/python/cpython/issues/100001]: python -m http.server no longer allows terminal control characters sent within a garbage request to be printed to the stderr server log.

This is done by changing the http.server BaseHTTPRequestHandler .log_message method to replace control characters with a \xHH hex escape before printing.

gh-87604 [https://github.com/python/cpython/issues/87604]: Avoid publishing list of active per-interpreter audit hooks via the gc module

Core and Builtins

gh-99891 [https://github.com/python/cpython/issues/99891]: Fix a bug in the tokenizer that could cause infinite recursion when showing syntax warnings that happen in the first line of the source. Patch by Pablo Galindo

gh-91054 [https://github.com/python/cpython/issues/91054]: Add PyCode_AddWatcher() and PyCode_ClearWatcher() APIs to register callbacks to receive notification on creation and destruction of code objects.

gh-99729 [https://github.com/python/cpython/issues/99729]: Fix an issue that could cause frames to be visible to Python code as they are being torn down, possibly leading to memory corruption or hard crashes of the interpreter.

gh-99708 [https://github.com/python/cpython/issues/99708]: Fix bug where compiler crashes on an if expression with an empty body block.

gh-99578 [https://github.com/python/cpython/issues/99578]: Fix a reference bug in _imp.create_builtin() after the creation of the first sub-interpreter for modules builtins and sys. Patch by Victor Stinner.

gh-99581 [https://github.com/python/cpython/issues/99581]: Fixed a bug that was causing a buffer overflow if the tokenizer copies a line missing the newline character from a file that is as long as the available tokenizer buffer. Patch by Pablo galindo

gh-99553 [https://github.com/python/cpython/issues/99553]: Fix bug where an ExceptionGroup subclass can wrap a BaseException.

gh-99547 [https://github.com/python/cpython/issues/99547]: Add a function to os.path to check if a path is a junction: isjunction. Add similar functionality to pathlib.Path as is_junction.

gh-99370 [https://github.com/python/cpython/issues/99370]: Fix zip path for venv created from a non-installed python on POSIX platforms.

gh-99377 [https://github.com/python/cpython/issues/99377]: Add audit events for thread creation and clear operations.

gh-98686 [https://github.com/python/cpython/issues/98686]: Remove the BINARY_OP_GENERIC and COMPARE_OP_GENERIC “specializations”.

gh-99298 [https://github.com/python/cpython/issues/99298]: Remove the remaining error paths for attribute specializations, and refuse to specialize attribute accesses on types that haven’t had PyType_Ready() called on them yet.

gh-99127 [https://github.com/python/cpython/issues/99127]: Allow some features of syslog to the main interpreter only. Patch by Donghee Na.

gh-91053 [https://github.com/python/cpython/issues/91053]: Optimizing interpreters and JIT compilers may need to invalidate internal metadata when functions are modified. This change adds the ability to provide a callback that will be invoked each time a function is created, modified, or destroyed.

gh-90994 [https://github.com/python/cpython/issues/90994]: Improve error messages when there’s a syntax error with call arguments. The following three cases are covered: - No value is assigned to a named argument, eg foo(a=). - A value is assigned to a star argument, eg foo(*args=[0]). - A value is assigned to a double-star keyword argument, eg foo(**kwarg={'a': 0}).

bpo-45026 [https://bugs.python.org/issue?@action=redirect&bpo=45026]: Optimize the range object iterator. It is now smaller, faster iteration of ranges containing large numbers. Smaller pickles, faster unpickling.

bpo-31718 [https://bugs.python.org/issue?@action=redirect&bpo=31718]: Raise ValueError instead of SystemError when methods of uninitialized io.IncrementalNewlineDecoder objects are called. Patch by Oren Milman.

bpo-38031 [https://bugs.python.org/issue?@action=redirect&bpo=38031]: Fix a possible assertion failure in io.FileIO when the opener returns an invalid file descriptor.

Library

gh-100001 [https://github.com/python/cpython/issues/100001]: Also escape s in the http.server BaseHTTPRequestHandler.log_message so that it is technically possible to parse the line and reconstruct what the original data was. Without this a xHH is ambiguous as to if it is a hex replacement we put in or the characters r”x” came through in the original request line.

gh-99957 [https://github.com/python/cpython/issues/99957]: Add frozen_default parameter to typing.dataclass_transform().

gh-79033 [https://github.com/python/cpython/issues/79033]: Fix asyncio.Server.wait_closed() to actually do what the docs promise – wait for all existing connections to complete, after closing the server.

gh-51524 [https://github.com/python/cpython/issues/51524]: Fix bug when calling trace.CoverageResults with valid infile.

gh-99645 [https://github.com/python/cpython/issues/99645]: Fix a bug in handling class cleanups in unittest.TestCase. Now addClassCleanup() uses separate lists for different TestCase subclasses, and doClassCleanups() only cleans up the particular class.

gh-99508 [https://github.com/python/cpython/issues/99508]: Fix TypeError in Lib/importlib/_bootstrap_external.py while calling _imp.source_hash().

gh-66285 [https://github.com/python/cpython/issues/66285]: Fix asyncio to not share event loop and signal wakeupfd in forked processes. Patch by Kumar Aditya.

gh-97001 [https://github.com/python/cpython/issues/97001]: Release the GIL when calling termios APIs to avoid blocking threads.

gh-92647 [https://github.com/python/cpython/issues/92647]: Use final status of an enum to determine lookup or creation branch of functional API.

gh-99388 [https://github.com/python/cpython/issues/99388]: Add loop_factory parameter to asyncio.run() to allow specifying a custom event loop factory. Patch by Kumar Aditya.

gh-99341 [https://github.com/python/cpython/issues/99341]: Fix ast.increment_lineno() to also cover ast.TypeIgnore when changing line numbers.

gh-99382 [https://github.com/python/cpython/issues/99382]: Check the number of arguments in substitution in user generics containing a TypeVarTuple and one or more TypeVar.

gh-99379 [https://github.com/python/cpython/issues/99379]: Fix substitution of ParamSpec followed by TypeVarTuple in generic aliases.

gh-99344 [https://github.com/python/cpython/issues/99344]: Fix substitution of TypeVarTuple and ParamSpec together in user generics.

gh-99284 [https://github.com/python/cpython/issues/99284]: Remove _use_broken_old_ctypes_structure_semantics_ old untested and undocumented hack from ctypes.

gh-99201 [https://github.com/python/cpython/issues/99201]: Fix IndexError when initializing the config variables on Windows if HAVE_DYNAMIC_LOADING is not set.

gh-99240 [https://github.com/python/cpython/issues/99240]: Fix double-free bug in Argument Clinic str_converter by extracting memory clean up to a new post_parsing section.

gh-64490 [https://github.com/python/cpython/issues/64490]: Fix refcount error when arguments are packed to tuple in Argument Clinic.

gh-99029 [https://github.com/python/cpython/issues/99029]: pathlib.PurePath.relative_to() now treats naked Windows drive paths as relative. This brings its behaviour in line with other parts of pathlib.

gh-98253 [https://github.com/python/cpython/issues/98253]: The implementation of the typing module is now more resilient to reference leaks in binary extension modules.

Previously, a reference leak in a typed C API-based extension module could leak internals of the typing module, which could in turn introduce leaks in essentially any other package with typed function signatures. Although the typing package is not the original source of the problem, such non-local dependences exacerbate debugging of large-scale projects, and the implementation was therefore changed to reduce harm by providing better isolation.

gh-98458 [https://github.com/python/cpython/issues/98458]: Fix infinite loop in unittest when a self-referencing chained exception is raised

gh-93453 [https://github.com/python/cpython/issues/93453]: asyncio.get_event_loop() and many other asyncio functions like asyncio.ensure_future(), asyncio.shield() or asyncio.gather(), and also the get_event_loop() method of asyncio.BaseDefaultEventLoopPolicy now raise a RuntimeError if called when there is no running event loop and the current event loop was not set. Previously they implicitly created and set a new current event loop. DeprecationWarning is no longer emitted if there is no running event loop but the current event loop was set.

gh-97966 [https://github.com/python/cpython/issues/97966]: On uname_result, restored expectation that _fields and _asdict would include all six properties including processor.

gh-98248 [https://github.com/python/cpython/issues/98248]: Provide informative error messages in struct.pack() when its integral arguments are not in range.

gh-98108 [https://github.com/python/cpython/issues/98108]: zipfile.Path is now pickleable if its initialization parameters were pickleable (e.g. for file system paths).

gh-98098 [https://github.com/python/cpython/issues/98098]: Created packages from zipfile and test_zipfile modules, separating zipfile.Path functionality.

gh-82836 [https://github.com/python/cpython/issues/82836]: Fix is_private properties in the ipaddress module. Previously non-private networks (0.0.0.0/0) would return True from this method; now they correctly return False.

gh-96828 [https://github.com/python/cpython/issues/96828]: Add an OP_ENABLE_KTLS option for enabling the use of the kernel TLS (kTLS). Patch by Illia Volochii.

gh-88863 [https://github.com/python/cpython/issues/88863]: To avoid apparent memory leaks when asyncio.open_connection() raises, break reference cycles generated by local exception and future instances (which has exception instance as its member var). Patch by Dong Uk, Kang.

gh-91078 [https://github.com/python/cpython/issues/91078]: TarFile.next() now returns None when called on an empty tarfile.

bpo-47220 [https://bugs.python.org/issue?@action=redirect&bpo=47220]: Document the optional callback parameter of WeakMethod. Patch by Géry Ogam.

bpo-44817 [https://bugs.python.org/issue?@action=redirect&bpo=44817]: Ignore WinError 53 (ERROR_BAD_NETPATH), 65 (ERROR_NETWORK_ACCESS_DENIED) and 161 (ERROR_BAD_PATHNAME) when using ntpath.realpath().

bpo-41260 [https://bugs.python.org/issue?@action=redirect&bpo=41260]: Rename the fmt parameter of the pure Python implementation of datetime.date.strftime() to format.

bpo-15999 [https://bugs.python.org/issue?@action=redirect&bpo=15999]: All built-in functions now accept arguments of any type instead of just bool and int for boolean parameters.

Documentation

gh-99931 [https://github.com/python/cpython/issues/99931]: Use sphinxext-opengraph [https://sphinxext-opengraph.readthedocs.io/] to generate OpenGraph metadata [https://ogp.me/].

gh-89682 [https://github.com/python/cpython/issues/89682]: Reworded docstring of the default __contains__ to clarify that it returns a bool.

gh-88330 [https://github.com/python/cpython/issues/88330]: Improved the description of what a resource is in importlib.resources docs.

gh-92892 [https://github.com/python/cpython/issues/92892]: Document that calling variadic functions with ctypes requires special care on macOS/arm64 (and possibly other platforms).

bpo-41825 [https://bugs.python.org/issue?@action=redirect&bpo=41825]: Restructured the documentation for the os.wait* family of functions, and improved the docs for os.waitid() with more explanation of the possible argument constants.

Tests

gh-99892 [https://github.com/python/cpython/issues/99892]: Skip test_normalization() of test_unicodedata if it fails to download NormalizationTest.txt file from pythontest.net. Patch by Victor Stinner.

gh-99934 [https://github.com/python/cpython/issues/99934]: Correct test_marsh on (32 bit) x86: test_deterministic sets was failing.

gh-99741 [https://github.com/python/cpython/issues/99741]: We’ve implemented multi-phase init (PEP 489/630/687) for the internal (for testing) _xxsubinterpreters module.

gh-99659 [https://github.com/python/cpython/issues/99659]: Optional big memory tests in test_sqlite3 now catch the correct sqlite.DataError exception type in case of too large strings and/or blobs passed.

gh-99593 [https://github.com/python/cpython/issues/99593]: Cover the Unicode C API with tests.

gh-96002 [https://github.com/python/cpython/issues/96002]: Add functional test for Argument Clinic.

Build

gh-99086 [https://github.com/python/cpython/issues/99086]: Fix -Wimplicit-int, -Wstrict-prototypes, and -Wimplicit-function-declaration compiler warnings in configure checks.

gh-99337 [https://github.com/python/cpython/issues/99337]: Fix a compilation issue with GCC 12 on macOS.

gh-99289 [https://github.com/python/cpython/issues/99289]: Add a COMPILEALL_OPTS variable in Makefile to override compileall options (default: -j0) in make install. Also merged the compileall commands into a single command building .pyc files for the all optimization levels (0, 1, 2) at once. Patch by Victor Stinner.

gh-98872 [https://github.com/python/cpython/issues/98872]: Fix a possible fd leak in Programs/_freeze_module.c introduced in Python 3.11.

gh-88226 [https://github.com/python/cpython/issues/88226]: Always define TARGET_* labels in Python/ceval.c, even if USE_COMPUTED_GOTOS is disabled. This allows breakpoints to be set at those labels in (for instance) gdb.

Windows

gh-99345 [https://github.com/python/cpython/issues/99345]: Use faster initialization functions to detect install location for Windows Store package

gh-98629 [https://github.com/python/cpython/issues/98629]: Fix initialization of sys.version and sys._git on Windows

gh-99442 [https://github.com/python/cpython/issues/99442]: Fix handling in Inicializador Python para Windows when argv[0] does not include a file extension.

bpo-40882 [https://bugs.python.org/issue?@action=redirect&bpo=40882]: Fix a memory leak in multiprocessing.shared_memory.SharedMemory on Windows.

macOS

gh-87235 [https://github.com/python/cpython/issues/87235]: On macOS python3 /dev/fd/9 9</path/to/script.py failed for any script longer than a couple of bytes.

gh-98940 [https://github.com/python/cpython/issues/98940]: Fix Mac/Extras.install.py file filter bug.

Tools/Demos

gh-64490 [https://github.com/python/cpython/issues/64490]: Argument Clinic varargs bugfixes

Fix out-of-bounds error in _PyArg_UnpackKeywordsWithVararg().

Fix incorrect check which allowed more than one varargs in clinic.py.

Fix miscalculation of noptargs in generated code.

Do not generate noptargs when there is a vararg argument and no optional argument.

C API

gh-98680 [https://github.com/python/cpython/issues/98680]: PyBUF_* constants were marked as part of Limited API of Python 3.11+. These were available in 3.11.0 with Py_LIMITED_API defined for 3.11, and are necessary to use the buffer API.

gh-99612 [https://github.com/python/cpython/issues/99612]: Fix PyUnicode_DecodeUTF8Stateful() for ASCII-only data: *consumed was not set.

gh-47146 [https://github.com/python/cpython/issues/47146]: The structmember.h header is deprecated. Its non-deprecated contents are now available just by including Python.h, with a Py_ prefix added if it was missing. (Deprecated contents are T_OBJECT, T_NONE, and no-op flags.) Patch by Petr Viktorin, based on earlier work by Alexander Belopolsky and Matthias Braun.

Python 3.12.0 alpha 2

Release date: 2022-11-14

Security

gh-98433 [https://github.com/python/cpython/issues/98433]: The IDNA codec decoder used on DNS hostnames by socket or asyncio related name resolution functions no longer involves a quadratic algorithm. This prevents a potential CPU denial of service if an out-of-spec excessive length hostname involving bidirectional characters were decoded. Some protocols such as urllib http 3xx redirects potentially allow for an attacker to supply such a name.

Individual labels within an IDNA encoded DNS name will now raise an error early during IDNA decoding if they are longer than 1024 unicode characters given that each decoded DNS label must be 63 or fewer characters and the entire decoded DNS name is limited to 255. Only an application presenting a hostname or label consisting primarily of RFC 3454 [https://datatracker.ietf.org/doc/html/rfc3454.html] section 3.1 “Nothing” characters to be removed would run into of this new limit. See also RFC 5894 [https://datatracker.ietf.org/doc/html/rfc5894.html] section 6 and RFC 3491 [https://datatracker.ietf.org/doc/html/rfc3491.html].

gh-98739 [https://github.com/python/cpython/issues/98739]: Update bundled libexpat to 2.5.0

Core and Builtins

gh-81057 [https://github.com/python/cpython/issues/81057]: The docs clearly say that PyImport_Inittab, PyImport_AppendInittab(), and PyImport_ExtendInittab() should not be used after Py_Initialize() has been called. We now enforce this for the two functions. Additionally, the runtime now uses an internal copy of PyImport_Inittab, to guard against modification.

gh-99298 [https://github.com/python/cpython/issues/99298]: Fix an issue that could potentially cause incorrect error handling for some bytecode instructions.

gh-99254 [https://github.com/python/cpython/issues/99254]: The compiler now removes all unused constants from code objects (except the first one, which may be a docstring).

gh-99205 [https://github.com/python/cpython/issues/99205]: Fix an issue that prevented PyThreadState and PyInterpreterState memory from being freed properly.

gh-81057 [https://github.com/python/cpython/issues/81057]: The 18 global C variables holding the state of the allocators have been moved to _PyRuntimeState. This is a strictly internal change with no change in behavior.

gh-99181 [https://github.com/python/cpython/issues/99181]: Fix failure in except* with unhashable exceptions.

gh-99204 [https://github.com/python/cpython/issues/99204]: Fix calculation of sys._base_executable when inside a POSIX virtual environment using copies of the python binary when the base installation does not provide the executable name used by the venv. Calculation will fall back to alternative names (“python<MAJOR>”, “python<MAJOR>.<MINOR>”).

gh-96055 [https://github.com/python/cpython/issues/96055]: Update faulthandler to emit an error message with the proper unexpected signal number. Patch by Donghee Na.

gh-99153 [https://github.com/python/cpython/issues/99153]: Fix location of SyntaxError for a try block with both except and except*.

gh-98686 [https://github.com/python/cpython/issues/98686]: Merge the adaptive opcode logic into each instruction’s unquickened variant, and merge the logic in EXTENDED_ARG_QUICK into EXTENDED_ARG. With these changes, the quickening that happens at code object creation is now only responsible for initializing warmup counters and inserting superinstructions.

gh-99103 [https://github.com/python/cpython/issues/99103]: Fix the error reporting positions of specialized traceback anchors when the source line contains Unicode characters.

gh-99139 [https://github.com/python/cpython/issues/99139]: Improve the error suggestion for NameError exceptions for instances. Now if a NameError is raised in a method and the instance has an attribute that’s exactly equal to the name in the exception, the suggestion will include self.<NAME> instead of the closest match in the method scope. Patch by Pablo Galindo

gh-98401 [https://github.com/python/cpython/issues/98401]: Octal escapes with value larger than 0o377 (ex: "\477"), deprecated in Python 3.11, now produce a SyntaxWarning, instead of DeprecationWarning. In a future Python version they will be eventually a SyntaxError. Patch by Victor Stinner.

gh-98401 [https://github.com/python/cpython/issues/98401]: A backslash-character pair that is not a valid escape sequence now generates a SyntaxWarning, instead of DeprecationWarning. For example, re.compile("\d+\.\d+") now emits a SyntaxWarning ("\d" is an invalid escape sequence), use raw strings for regular expression: re.compile(r"\d+\.\d+"). In a future Python version, SyntaxError will eventually be raised, instead of SyntaxWarning. Patch by Victor Stinner.

gh-96793 [https://github.com/python/cpython/issues/96793]: Handle StopIteration and StopAsyncIteration raised in generator or coroutines in the bytecode, rather than in wrapping C code.

gh-98931 [https://github.com/python/cpython/issues/98931]: Improve the SyntaxError error message when the user types import x from y instead of from y import x. Patch by Pablo Galindo

gh-98852 [https://github.com/python/cpython/issues/98852]: Fix subscription of type aliases containing bare generic types or types like TypeVar: for example tuple[A, T][int] and tuple[TypeVar, T][int], where A is a generic type, and T is a type variable.

gh-98925 [https://github.com/python/cpython/issues/98925]: Lower the recursion depth for marshal on WASI to support (in-development) wasmtime 2.0.

gh-98783 [https://github.com/python/cpython/issues/98783]: Fix multiple crashes in debug mode when str subclasses are used instead of str itself.

gh-98811 [https://github.com/python/cpython/issues/98811]: Use complete source locations to simplify detection of __future__ imports which are not at the beginning of the file. Also corrects the offset in the exception raised in one case, which was off by one and impeded highlighting.

gh-96793 [https://github.com/python/cpython/issues/96793]: Add specialization of FOR_ITER for generators. Saves multiple layers of dispatch and checking to get from the FOR_ITER instruction in the caller to the RESUME in the generator.

gh-98762 [https://github.com/python/cpython/issues/98762]: Fix source locations of match sub-patterns.

gh-98586 [https://github.com/python/cpython/issues/98586]: Added the methods PyObject_Vectorcall() and PyObject_VectorcallMethod() to the Limited API along with the auxiliary macro constant PY_VECTORCALL_ARGUMENTS_OFFSET.

The availability of these functions enables more efficient PEP 590 [https://peps.python.org/pep-0590/] vector calls from binary extension modules that avoid argument boxing/unboxing overheads.

gh-99257 [https://github.com/python/cpython/issues/99257]: Fix an issue where member descriptors (such as those for __slots__) could behave incorrectly or crash instead of raising a TypeError when accessed via an instance of an invalid type.

gh-93143 [https://github.com/python/cpython/issues/93143]: Rather than changing co_code, the interpreter will now display a RuntimeWarning and assign None to any fast locals that are left unbound after jumps or del statements executed while tracing.

gh-96421 [https://github.com/python/cpython/issues/96421]: When calling into Python code from C code, through PyEval_EvalFrameEx() or a related C-API function, a shim frame in inserted into the call stack. This occurs in the _PyEval_EvalFrameDefault() function. The extra frame should be invisible to all Python and most C extensions, but out-of-process profilers and debuggers need to be aware of it. These shim frames can be detected by checking frame->owner == FRAME_OWNED_BY_CSTACK.

Extensions implementing their own interpreters using PEP 523 need to be aware of this shim frame and the changes to the semantics of RETURN_VALUE, YIELD_VALUE, and RETURN_GENERATOR, which now clear the frame.

gh-98415 [https://github.com/python/cpython/issues/98415]: Fix detection of MAC addresses for uuid on certain OSs. Patch by Chaim Sanders

gh-98686 [https://github.com/python/cpython/issues/98686]: Quicken all code objects, and specialize adaptive bytecode instructions more aggressively.

gh-92119 [https://github.com/python/cpython/issues/92119]: Print exception class name instead of its string representation when raising errors from ctypes calls.

gh-91058 [https://github.com/python/cpython/issues/91058]: ImportError raised from failed from <module> import <name> now include suggestions for the value of <name> based on the available names in <module>. Patch by Pablo Galindo

gh-96793 [https://github.com/python/cpython/issues/96793]: The FOR_ITER now leaves the iterator on the stack on termination of the loop. This is to assist specialization of loops for generators.

gh-90716 [https://github.com/python/cpython/issues/90716]: Add _pylong.py module. It includes asymptotically faster algorithms that can be used for operations on integers with many digits. It is used by longobject.c to speed up some operations.

gh-95389 [https://github.com/python/cpython/issues/95389]: Expose ETH_P_ALL and some of the ETHERTYPE_* constants in socket. Patch by Noam Cohen.

gh-93696 [https://github.com/python/cpython/issues/93696]: Allow pdb to locate source for frozen modules in the standard library.

Library

gh-99418 [https://github.com/python/cpython/issues/99418]: Fix bug in urllib.parse.urlparse() that causes URL schemes that begin with a digit, a plus sign, or a minus sign to be parsed incorrectly.

gh-94597 [https://github.com/python/cpython/issues/94597]: Deprecate asyncio.AbstractChildWatcher to be removed in Python 3.14. Patch by Kumar Aditya.

gh-99305 [https://github.com/python/cpython/issues/99305]: Improve performance of secrets.token_hex().

gh-74044 [https://github.com/python/cpython/issues/74044]: Fixed bug where inspect.signature() reported incorrect arguments for decorated methods.

gh-99275 [https://github.com/python/cpython/issues/99275]: Fix SystemError in ctypes when exception was not set during __initsubclass__.

gh-99277 [https://github.com/python/cpython/issues/99277]: Remove older version of _SSLProtocolTransport.get_write_buffer_limits in asyncio.sslproto

gh-99248 [https://github.com/python/cpython/issues/99248]: fix negative numbers failing in verify()

gh-99155 [https://github.com/python/cpython/issues/99155]: Fix statistics.NormalDist pickle with 0 and 1 protocols.

gh-93464 [https://github.com/python/cpython/issues/93464]: enum.auto() is now correctly activated when combined with other assignment values. E.g. ONE = auto(), 'some text' will now evaluate as (1, 'some text').

gh-99134 [https://github.com/python/cpython/issues/99134]: Update the bundled copy of pip to version 22.3.1.

gh-92584 [https://github.com/python/cpython/issues/92584]: Remove the distutils package. It was deprecated in Python 3.10 by PEP 632 [https://peps.python.org/pep-0632/] “Deprecate distutils module”. For projects still using distutils and cannot be updated to something else, the setuptools project can be installed: it still provides distutils. Patch by Victor Stinner.

gh-98999 [https://github.com/python/cpython/issues/98999]: Now _pyio is consistent with _io in raising ValueError when executing methods over closed buffers.

gh-83004 [https://github.com/python/cpython/issues/83004]: Clean up refleak on failed module initialisation in _zoneinfo

gh-83004 [https://github.com/python/cpython/issues/83004]: Clean up refleaks on failed module initialisation in _pickle

gh-83004 [https://github.com/python/cpython/issues/83004]: Clean up refleak on failed module initialisation in _io.

gh-98897 [https://github.com/python/cpython/issues/98897]: Fix memory leak in math.dist() when both points don’t have the same dimension. Patch by Kumar Aditya.

gh-98878 [https://github.com/python/cpython/issues/98878]: Use the frame bound builtins when offering a name suggestion in traceback to prevent crashing when __builtins__ is not a dict.

gh-98139 [https://github.com/python/cpython/issues/98139]: In importlib._bootstrap, enhance namespace package repr to <module 'x' (namespace) from ['path']>.

gh-90352 [https://github.com/python/cpython/issues/90352]: Fix _SelectorDatagramTransport to inherit from DatagramTransport in asyncio. Patch by Kumar Aditya.

gh-98793 [https://github.com/python/cpython/issues/98793]: Fix argument typechecks in _overlapped.WSAConnect() and _overlapped.Overlapped.WSASendTo() functions.

gh-98744 [https://github.com/python/cpython/issues/98744]: Prevent crashing in traceback when retrieving the byte-offset for some source files that contain certain unicode characters.

gh-98740 [https://github.com/python/cpython/issues/98740]: Fix internal error in the re module which in very rare circumstances prevented compilation of a regular expression containing a conditional expression without the “else” branch.

gh-98703 [https://github.com/python/cpython/issues/98703]: Fix asyncio.StreamWriter.drain() to call protocol.connection_lost callback only once on Windows.

gh-98624 [https://github.com/python/cpython/issues/98624]: Add a mutex to unittest.mock.NonCallableMock to protect concurrent access to mock attributes.

gh-98658 [https://github.com/python/cpython/issues/98658]: The array.array class now supports subscripting, making it a generic type.

gh-98284 [https://github.com/python/cpython/issues/98284]: Improved TypeError message for undefined abstract methods of a abc.ABC instance. The names of the missing methods are surrounded by single-quotes to highlight them.

gh-96151 [https://github.com/python/cpython/issues/96151]: Allow BUILTINS to be a valid field name for frozen dataclasses.

gh-98086 [https://github.com/python/cpython/issues/98086]: Make sure patch.dict() can be applied on async functions.

gh-72719 [https://github.com/python/cpython/issues/72719]: Remove modules asyncore and asynchat, which were deprecated by PEP 594 [https://peps.python.org/pep-0594/].

gh-96192 [https://github.com/python/cpython/issues/96192]: Fix handling of bytes path-like objects in os.ismount().

gh-94172 [https://github.com/python/cpython/issues/94172]: ftplib: Remove the FTP_TLS.ssl_version class attribute: use the context parameter instead. Patch by Victor Stinner

gh-94172 [https://github.com/python/cpython/issues/94172]: Remove the keyfile and certfile parameters from the ftplib, imaplib, poplib and smtplib modules, and the key_file, cert_file and check_hostname parameters from the http.client module, all deprecated since Python 3.6. Use the context parameter (ssl_context in imaplib) instead. Patch by Victor Stinner.

gh-83638 [https://github.com/python/cpython/issues/83638]: Add the autocommit attribute to sqlite3.Connection and the autocommit parameter to sqlite3.connect() to control PEP 249 [https://peps.python.org/pep-0249/]-compliant transaction handling. Patch by Erlend E. Aasland.

gh-92452 [https://github.com/python/cpython/issues/92452]: Fixed a race condition that could cause sysconfig.get_config_var() to incorrectly return None in multi-threaded programs.

gh-91803 [https://github.com/python/cpython/issues/91803]: Fix an error when using a method of objects mocked with unittest.mock.create_autospec() after it was sealed with unittest.mock.seal() function.

bpo-38523 [https://bugs.python.org/issue?@action=redirect&bpo=38523]: shutil.copytree() now applies the ignore_dangling_symlinks argument recursively.

bpo-40358 [https://bugs.python.org/issue?@action=redirect&bpo=40358]: Add walk_up argument in pathlib.PurePath.relative_to().

bpo-36267 [https://bugs.python.org/issue?@action=redirect&bpo=36267]: Fix IndexError in argparse.ArgumentParser when a store_true action is given an explicit argument.

Documentation

gh-98832 [https://github.com/python/cpython/issues/98832]: Changes wording of docstring for pathlib.Path.iterdir().

gh-97966 [https://github.com/python/cpython/issues/97966]: Update uname docs to clarify the special nature of the platform attribute and to indicate when it became late-bound.

Tests

gh-98903 [https://github.com/python/cpython/issues/98903]: The Python test suite now fails with exit code 4 if no tests ran. It should help detecting typos in test names and test methods.

gh-98713 [https://github.com/python/cpython/issues/98713]: Fix a bug in the typing tests where a test relying on CPython-specific implementation details was not decorated with @cpython_only and was not skipped on other implementations.

gh-87390 [https://github.com/python/cpython/issues/87390]: Add tests for star-unpacking with PEP 646, and some other miscellaneous PEP 646 tests.

gh-96853 [https://github.com/python/cpython/issues/96853]: Added explicit coverage of Py_Initialize (and hence Py_InitializeEx) back to the embedding tests (all other embedding tests migrated to Py_InitializeFromConfig in Python 3.11)

bpo-34272 [https://bugs.python.org/issue?@action=redirect&bpo=34272]: Some C API tests were moved into the new Lib/test/test_capi/ directory.

Build

gh-99086 [https://github.com/python/cpython/issues/99086]: Fix -Wimplicit-int compiler warning in configure check for PTHREAD_SCOPE_SYSTEM.

gh-99016 [https://github.com/python/cpython/issues/99016]: Fix build with PYTHON_FOR_REGEN=python3.8.

gh-97731 [https://github.com/python/cpython/issues/97731]: Specify the full path to the source location for make docclean (needed for cross-builds).

gh-98949 [https://github.com/python/cpython/issues/98949]: Drop unused build dependency on readelf.

gh-98989 [https://github.com/python/cpython/issues/98989]: Use python3.11, if available, for regeneration and freezing.

gh-98831 [https://github.com/python/cpython/issues/98831]: Add new tooling, in Tools/cases_generator, to generate the interpreter switch statement from a list of opcode definitions. This only affects adding, modifying or removing instruction definitions. The instruction definitions now live in Python/bytecodes.c, in the form of a custom DSL (under development) [https://github.com/faster-cpython/ideas/blob/main/3.12/interpreter_definition.md]. The tooling reads this file and writes Python/generated_cases.c.h, which is then included by Python/ceval.c to provide most of the cases of the main interpreter switch.

gh-98817 [https://github.com/python/cpython/issues/98817]: Remove PCbuild/lib.pyproj: it’s not used for anything, is only a minor convenience for Visual Studio users (who probably mostly don’t even know about it), and it takes a lot of maintenance effort to keep updated.

gh-98776 [https://github.com/python/cpython/issues/98776]: Fix make regen-test-levenshtein for out-of-tree builds.

gh-98707 [https://github.com/python/cpython/issues/98707]: Don’t use vendored libmpdec headers if --with-system-libmpdec is passed to configure. Don’t use vendored libexpat headers if --with-system-expat is passed to configure.

Windows

gh-98689 [https://github.com/python/cpython/issues/98689]: Update Windows builds to zlib v1.2.13. v1.2.12 has CVE 2022-37434 [https://www.cve.org/CVERecord?id=CVE-2022-37434], but the vulnerable inflateGetHeader API is not used by Python.

gh-98790 [https://github.com/python/cpython/issues/98790]: Assumes that a missing DLLs directory means that standard extension modules are in the executable’s directory.

gh-98745 [https://github.com/python/cpython/issues/98745]: Update py.exe launcher to install 3.11 by default and 3.12 on request.

gh-98692 [https://github.com/python/cpython/issues/98692]: Fix the Inicializador Python para Windows ignoring unrecognized shebang lines instead of treating them as local paths

gh-94328 [https://github.com/python/cpython/issues/94328]: Update Windows installer to use SQLite 3.39.4.

macOS

gh-94328 [https://github.com/python/cpython/issues/94328]: Update macOS installer to SQLite 3.39.4.

C API

gh-98724 [https://github.com/python/cpython/issues/98724]: The Py_CLEAR, Py_SETREF and Py_XSETREF macros now only evaluate their argument once. If the argument has side effects, these side effects are no longer duplicated. Patch by Victor Stinner.

gh-98978 [https://github.com/python/cpython/issues/98978]: Fix use-after-free in Py_SetPythonHome(NULL), Py_SetProgramName(NULL) and _Py_SetProgramFullPath(NULL) function calls. Issue reported by Benedikt Reinartz. Patch by Victor Stinner.

gh-98410 [https://github.com/python/cpython/issues/98410]: Add getbufferproc and releasebufferproc to the stable API.

gh-98610 [https://github.com/python/cpython/issues/98610]: Some configurable capabilities of sub-interpreters have changed. They always allow subprocesses (subprocess) now, whereas before subprocesses could be optionally disallowed for a sub-interpreter. Instead os.exec() can now be disallowed. Disallowing daemon threads is now supported. Disallowing all threads is still allowed, but is never done by default. Note that the optional restrictions are only available through _Py_NewInterpreterFromConfig(), which isn’t a public API. They do not affect the main interpreter, nor Py_NewInterpreter().

gh-98608 [https://github.com/python/cpython/issues/98608]: A _PyInterpreterConfig has been added and _Py_NewInterpreter() has been renamed to _Py_NewInterpreterFromConfig(). The “isolated_subinterpreters” argument is now a granular config that captures the previous behavior. Note that this is all “private” API.

gh-96853 [https://github.com/python/cpython/issues/96853]: Py_InitializeEx now correctly calls PyConfig_Clear after initializing the interpreter (the omission didn’t cause a memory leak only because none of the dynamically allocated config fields are populated by the wrapper function)

gh-91248 [https://github.com/python/cpython/issues/91248]: Add PyFrame_GetVar() and PyFrame_GetVarString() functions to get a frame variable by its name. Patch by Victor Stinner.

Python 3.12.0 alpha 1

Release date: 2022-10-25

Security

gh-97616 [https://github.com/python/cpython/issues/97616]: Fix multiplying a list by an integer (list *= int): detect the integer overflow when the new allocated length is close to the maximum size. Issue reported by Jordan Limor. Patch by Victor Stinner.

gh-97514 [https://github.com/python/cpython/issues/97514]: On Linux the multiprocessing module returns to using filesystem backed unix domain sockets for communication with the forkserver process instead of the Linux abstract socket namespace. Only code that chooses to use the “forkserver” start method is affected.

Abstract sockets have no permissions and could allow any user on the system in the same network namespace [https://man7.org/linux/man-pages/man7/network_namespaces.7.html] (often the whole system) to inject code into the multiprocessing forkserver process. This was a potential privilege escalation. Filesystem based socket permissions restrict this to the forkserver process user as was the default in Python 3.8 and earlier.

This prevents Linux CVE 2022-42919 [https://www.cve.org/CVERecord?id=CVE-2022-42919].

gh-87389 [https://github.com/python/cpython/issues/87389]: http.server: Fix an open redirection vulnerability in the HTTP server when an URI path starts with //. Vulnerability discovered, and initial fix proposed, by Hamza Avvan.

gh-79096 [https://github.com/python/cpython/issues/79096]: LWPCookieJar and MozillaCookieJar create files with file mode 600 instead of 644 (Microsoft Windows is not affected)

gh-92888 [https://github.com/python/cpython/issues/92888]: Fix memoryview use after free when accessing the backing buffer in certain cases.

gh-68966 [https://github.com/python/cpython/issues/68966]: The deprecated mailcap module now refuses to inject unsafe text (filenames, MIME types, parameters) into shell commands. Instead of using such text, it will warn and act as if a match was not found (or for test commands, as if the test failed).

Core and Builtins

gh-98374 [https://github.com/python/cpython/issues/98374]: Suppress ImportError for invalid query for help() command. Patch by Donghee Na.

gh-98461 [https://github.com/python/cpython/issues/98461]: Fix source location in bytecode for list, set and dict comprehensions as well as generator expressions.

gh-98354 [https://github.com/python/cpython/issues/98354]: Added unicode check for name attribute of spec argument passed in _imp.create_builtin() function.

gh-98398 [https://github.com/python/cpython/issues/98398]: Fix source location of ‘assert’ bytecodes.

gh-98390 [https://github.com/python/cpython/issues/98390]: Fix location of sub-expressions of boolean expressions, by reducing their scope to that of the sub-expression.

gh-98254 [https://github.com/python/cpython/issues/98254]: Modules from the standard library are now potentially suggested as part of the error messages displayed by the interpreter when an NameError is raised to the top level. Patch by Pablo Galindo

gh-97997 [https://github.com/python/cpython/issues/97997]: Add running column offset to the tokenizer state to avoid calculating AST column information with pointer arithmetic.

gh-97973 [https://github.com/python/cpython/issues/97973]: Modify the tokenizer to return all necessary information the parser needs to set location information in the AST nodes, so that the parser does not have to calculate those doing pointer arithmetic.

gh-96078 [https://github.com/python/cpython/issues/96078]: os.sched_yield() now release the GIL while calling sched_yield(2). Patch by Donghee Na.

gh-97955 [https://github.com/python/cpython/issues/97955]: Migrate zoneinfo to Argument Clinic.

gh-97912 [https://github.com/python/cpython/issues/97912]: The compiler now avoids quadratic behavior when finding which instructions should use the LOAD_FAST_CHECK opcode.

gh-97002 [https://github.com/python/cpython/issues/97002]: Fix an issue where several frame objects could be backed by the same interpreter frame, possibly leading to corrupted memory and hard crashes of the interpreter.

gh-97943 [https://github.com/python/cpython/issues/97943]: Bugfix: PyFunction_GetAnnotations() should return a borrowed reference. It was returning a new reference.

gh-97922 [https://github.com/python/cpython/issues/97922]: The Garbage Collector now runs only on the eval breaker mechanism of the Python bytecode evaluation loop instead on object allocations. The GC can also run when PyErr_CheckSignals() is called so C extensions that need to run for a long time without executing any Python code also have a chance to execute the GC periodically.

gh-65961 [https://github.com/python/cpython/issues/65961]: When __package__ is different than __spec__.parent, raise a DeprecationWarning instead of ImportWarning.

Also remove importlib.util.set_package() which was scheduled for removal.

gh-97850 [https://github.com/python/cpython/issues/97850]: Long deprecated, module_repr() should now be completely eradicated.

gh-86298 [https://github.com/python/cpython/issues/86298]: In cases where warnings.warn_explicit() consults the module’s loader, an DeprecationWarning is issued when m.__loader__ differs from m.__spec__.loader.

gh-97779 [https://github.com/python/cpython/issues/97779]: Ensure that all Python frame objects are backed by “complete” frames.

gh-91052 [https://github.com/python/cpython/issues/91052]: Add API for subscribing to modification events on selected dictionaries.

gh-97752 [https://github.com/python/cpython/issues/97752]: Fix possible data corruption or crashes when accessing the f_back member of newly-created generator or coroutine frames.

gh-97591 [https://github.com/python/cpython/issues/97591]: Fixed a missing incref/decref pair in Exception.__setstate__(). Patch by Ofey Chan.

gh-97670 [https://github.com/python/cpython/issues/97670]: Remove the sys.getdxp() function and the Tools/scripts/analyze_dxp.py script. DXP stands for “dynamic execution pairs”. They were related to DYNAMIC_EXECUTION_PROFILE and DXPAIRS macros which have been removed in Python 3.11. Python can now be built with ./configure --enable-pystats to gather statistics on Python opcodes. Patch by Victor Stinner.

gh-94526 [https://github.com/python/cpython/issues/94526]: Fix the Python path configuration used to initialized sys.path at Python startup. Paths are no longer encoded to UTF-8/strict to avoid encoding errors if it contains surrogate characters (bytes paths are decoded with the surrogateescape error handler). Patch by Victor Stinner.

gh-96670 [https://github.com/python/cpython/issues/96670]: The parser now raises SyntaxError when parsing source code containing null bytes. Patch by Pablo Galindo

gh-96975 [https://github.com/python/cpython/issues/96975]: Fix a crash occurring when PyEval_GetFrame() is called while the topmost Python frame is in a partially-initialized state.

gh-96848 [https://github.com/python/cpython/issues/96848]: Fix command line parsing: reject -X int_max_str_digits option with no value (invalid) when the PYTHONINTMAXSTRDIGITS environment variable is set to a valid limit. Patch by Victor Stinner.

gh-95921 [https://github.com/python/cpython/issues/95921]: Fix overly-broad source position information for chained comparisons used as branching conditions.

gh-96821 [https://github.com/python/cpython/issues/96821]: Fix undefined behaviour in audioop.c.

gh-96821 [https://github.com/python/cpython/issues/96821]: Fix undefined behaviour in _testcapimodule.c.

gh-95778 [https://github.com/python/cpython/issues/95778]: When ValueError is raised if an integer is larger than the limit, mention the sys.set_int_max_str_digits() function in the error message. Patch by Victor Stinner.

gh-96387 [https://github.com/python/cpython/issues/96387]: At Python exit, sometimes a thread holding the GIL can wait forever for a thread (usually a daemon thread) which requested to drop the GIL, whereas the thread already exited. To fix the race condition, the thread which requested the GIL drop now resets its request before exiting. Issue discovered and analyzed by Mingliang ZHAO. Patch by Victor Stinner.

gh-96864 [https://github.com/python/cpython/issues/96864]: Fix a possible assertion failure, fatal error, or SystemError if a line tracing event raises an exception while opcode tracing is enabled.

gh-95778 [https://github.com/python/cpython/issues/95778]: The PyLong_FromString function was refactored to make it more maintainable and extensible.

gh-96678 [https://github.com/python/cpython/issues/96678]: Fix undefined behaviour in C code of null pointer arithmetic.

gh-96754 [https://github.com/python/cpython/issues/96754]: Make sure that all frame objects created are created from valid interpreter frames. Prevents the possibility of invalid frames in backtraces and signal handlers.

gh-90997 [https://github.com/python/cpython/issues/90997]: Improve the performance of reading and writing inline bytecode caches on some platforms.

gh-96751 [https://github.com/python/cpython/issues/96751]: Remove dead code from CALL_FUNCTION_EX opcode.

gh-90751 [https://github.com/python/cpython/issues/90751]: memoryview now supports half-floats. Patch by Donghee Na and Antoine Pitrou.

gh-96678 [https://github.com/python/cpython/issues/96678]: Fix case of undefined behavior in ceval.c

gh-64373 [https://github.com/python/cpython/issues/64373]: Convert _functools to argument clinic.

gh-96641 [https://github.com/python/cpython/issues/96641]: Do not expose KeyWrapper in _functools.

gh-96636 [https://github.com/python/cpython/issues/96636]: Ensure that tracing, sys.setrace(), is turned on immediately. In pre-release versions of 3.11, some tracing events might have been lost when turning on tracing in a __del__ method or interrupt.

gh-96572 [https://github.com/python/cpython/issues/96572]: Fix use after free in trace refs build mode. Patch by Kumar Aditya.

gh-96611 [https://github.com/python/cpython/issues/96611]: When loading a file with invalid UTF-8 inside a multi-line string, a correct SyntaxError is emitted.

gh-96612 [https://github.com/python/cpython/issues/96612]: Make sure that incomplete frames do not show up in tracemalloc traces.

gh-90230 [https://github.com/python/cpython/issues/90230]: Fix compiler warnings and test failures when building with --enable-pystats.

gh-96587 [https://github.com/python/cpython/issues/96587]: Correctly raise SyntaxError on exception groups (PEP 654 [https://peps.python.org/pep-0654/]) on python versions prior to 3.11

gh-96569 [https://github.com/python/cpython/issues/96569]: Remove two cases of undefined behavior, by adding NULL checks.

gh-96582 [https://github.com/python/cpython/issues/96582]: Fix possible NULL pointer dereference in _PyThread_CurrentFrames. Patch by Kumar Aditya.

gh-91079 [https://github.com/python/cpython/issues/91079]: Separate Python recursion checking from C recursion checking which reduces the chance of C stack overflow and allows the recursion limit to be increased safely.

gh-93911 [https://github.com/python/cpython/issues/93911]: Fix an issue that could prevent LOAD_ATTR from specializing properly when accessing properties.

gh-96348 [https://github.com/python/cpython/issues/96348]: Emit a DeprecationWarning when throw(), throw() or athrow() are called with more than one argument.

gh-95196 [https://github.com/python/cpython/issues/95196]: Disable incorrect pickling of the C implemented classmethod descriptors.

gh-96364 [https://github.com/python/cpython/issues/96364]: Fix text signatures of list.__getitem__ and dict.__getitem__.

gh-96352 [https://github.com/python/cpython/issues/96352]: Fix AttributeError missing name and obj attributes in object.__getattribute__(). Patch by Philip Georgi.

gh-93554 [https://github.com/python/cpython/issues/93554]: Change the jump opcodes so that all conditional jumps are forward jumps. Backward jumps are converted by the assembler into a conditional forward jump whose target is the fallthrough block (and with a reversed condition), followed by an unconditional backward jump. For example:

POP_JUMP_IF_TRUE BACKWARD_TARGET becomes POP_JUMP_IF_FALSE NEXT_BLOCK; JUMP BACKWARD_TARGET.

All the directed conditional jump opcodes were removed: POP_JUMP_FORWARD_IF_TRUE, POP_JUMP_BACKWARD_IF_TRUE, POP_JUMP_FORWARD_IF_FALSE, POP_JUMP_BACKWARD_IF_FALSE, POP_JUMP_FORWARD_IF_NONE, POP_JUMP_BACKWARD_IF_NONE, POP_JUMP_FORWARD_IF_NOT_NONE, POP_JUMP_BACKWARD_IF_NOT_NONE.

The corresponding opcodes without direction are no longer pseudo-instructions, and they implement the forward conditional jumps.

gh-96268 [https://github.com/python/cpython/issues/96268]: Loading a file with invalid UTF-8 will now report the broken character at the correct location.

gh-96237 [https://github.com/python/cpython/issues/96237]: The internal field _PyInterpreterFrame.f_func is renamed to _PyInterpreterFrame.f_funcobj and may be any object. The f_globals and f_builtin fields may hold junk values.

It is safest to treat the _PyInterpreterFrame struct as opaque.

gh-96187 [https://github.com/python/cpython/issues/96187]: Fixed a bug that caused _PyCode_GetExtra to return garbage for negative indexes. Patch by Pablo Galindo

gh-96143 [https://github.com/python/cpython/issues/96143]: Add a new -X perf Python command line option as well as sys.activate_stack_trampoline() and sys.deactivate_stack_trampoline() function in the sys module that allows to set/unset the interpreter in a way that the Linux perf profiler can detect Python calls. The new sys.is_stack_trampoline_active() function allows to query the state of the perf trampoline. Design by Pablo Galindo. Patch by Pablo Galindo and Christian Heimes with contributions from Gregory P. Smith [Google] and Mark Shannon.

gh-96071 [https://github.com/python/cpython/issues/96071]: Fix a deadlock in PyGILState_Ensure() when allocating new thread state. Patch by Kumar Aditya.

gh-96046 [https://github.com/python/cpython/issues/96046]: PyType_Ready() now initializes ht_cached_keys and performs additional checks to ensure that type objects are properly configured. This avoids crashes in 3rd party packages that don’t use regular API to create new types.

gh-96005 [https://github.com/python/cpython/issues/96005]: On WASI ENOTCAPABLE is now mapped to PermissionError. The errno modules exposes the new error number. getpath.py now ignores PermissionError when it cannot open landmark files pybuilddir.txt and pyenv.cfg.

gh-93678 [https://github.com/python/cpython/issues/93678]: Added test a harness for direct unit tests of the compiler’s optimization stage. The _testinternalcapi.optimize_cfg() function runs the optimiser on a sequence of instructions. The CfgOptimizationTestCase class in test.support has utilities for invoking the optimizer and checking the output.

gh-95245 [https://github.com/python/cpython/issues/95245]: Reduces the size of a “simple” Python object from 8 to 6 words by moving the weakreflist pointer into the pre-header directly before the object’s dict/values pointer.

gh-90997 [https://github.com/python/cpython/issues/90997]: Compile virtual try/except blocks to handle exceptions raised during close() or throw() calls through a suspended frame.

gh-95977 [https://github.com/python/cpython/issues/95977]: Optimized calling __get__() with vectorcall. Patch by Kumar Aditya.

gh-91210 [https://github.com/python/cpython/issues/91210]: Improve error message when a parameter without a default value follows one with a default value, and show the same message, even when the non-default/default sequence is preceded by positional-only parameters.

gh-95922 [https://github.com/python/cpython/issues/95922]: Fixed bug where the compiler’s eliminate_empty_basic_blocks function ignores the last block of the code unit.

gh-95818 [https://github.com/python/cpython/issues/95818]: Skip over incomplete frames in PyThreadState_GetFrame().

gh-95876 [https://github.com/python/cpython/issues/95876]: Fix format string in _PyPegen_raise_error_known_location that can lead to memory corruption on some 64bit systems. The function was building a tuple with i (int) instead of n (Py_ssize_t) for Py_ssize_t arguments.

gh-95605 [https://github.com/python/cpython/issues/95605]: Fix misleading contents of error message when converting an all-whitespace string to float.

gh-95150 [https://github.com/python/cpython/issues/95150]: Update code object hashing and equality to consider all debugging and exception handling tables. This fixes an issue where certain non-identical code objects could be “deduplicated” during compilation.

gh-91146 [https://github.com/python/cpython/issues/91146]: Reduce allocation size of list from str.split() and str.rsplit(). Patch by Donghee Na and Inada Naoki.

gh-87092 [https://github.com/python/cpython/issues/87092]: Create a ‘jump target label’ abstraction in the compiler so that the compiler’s codegen stage does not work directly with basic blocks. This prepares the code for changes to the underlying CFG generation mechanism.

gh-95355 [https://github.com/python/cpython/issues/95355]: _PyPegen_Parser_New now properly detects token memory allocation errors. Patch by Honglin Zhu.

gh-90081 [https://github.com/python/cpython/issues/90081]: Run Python code in tracer/profiler function at full speed. Fixes slowdown in earlier versions of 3.11.

gh-95324 [https://github.com/python/cpython/issues/95324]: Emit a warning in debug mode if an object does not call PyObject_GC_UnTrack() before deallocation. Patch by Pablo Galindo.

gh-95245 [https://github.com/python/cpython/issues/95245]: Merge managed dict and values pointer into a single tagged pointer to save one word in the pre-header.

gh-93678 [https://github.com/python/cpython/issues/93678]: Add cfg_builder struct and refactor the relevant code so that a cfg can be constructed without an instance of the compiler struct.

gh-95185 [https://github.com/python/cpython/issues/95185]: Prevented crashes in the AST constructor when compiling some absurdly long expressions like "+0"*1000000. RecursionError is now raised instead. Patch by Pablo Galindo

gh-93351 [https://github.com/python/cpython/issues/93351]: ast.AST node positions are now validated when provided to compile() and other related functions. If invalid positions are detected, a ValueError will be raised.

gh-94438 [https://github.com/python/cpython/issues/94438]: Fix an issue that caused extended opcode arguments and some conditional pops to be ignored when calculating valid jump targets for assignments to the f_lineno attribute of frame objects. In some cases, this could cause inconsistent internal state, resulting in a hard crash of the interpreter.

gh-95060 [https://github.com/python/cpython/issues/95060]: Undocumented PyCode_Addr2Location function now properly returns when addrq argument is less than zero.

gh-95113 [https://github.com/python/cpython/issues/95113]: Replace all EXTENDED_ARG_QUICK instructions with basic EXTENDED_ARG instructions in unquickened code. Consumers of non-adaptive bytecode should be able to handle extended arguments the same way they were handled in CPython 3.10 and older.

gh-91409 [https://github.com/python/cpython/issues/91409]: Fix incorrect source location info caused by certain optimizations in the bytecode compiler.

gh-95023 [https://github.com/python/cpython/issues/95023]: Implement os.setns() and os.unshare() for Linux. Patch by Noam Cohen.

gh-94036 [https://github.com/python/cpython/issues/94036]: Fix incorrect source location info for some multi-line attribute accesses and method calls.

gh-94938 [https://github.com/python/cpython/issues/94938]: Fix error detection in some builtin functions when keyword argument name is an instance of a str subclass with overloaded __eq__ and __hash__. Previously it could cause SystemError or other undesired behavior.

gh-94996 [https://github.com/python/cpython/issues/94996]: ast.parse() will no longer parse function definitions with positional-only params when passed feature_version less than (3, 8). Patch by Shantanu Jain.

gh-94739 [https://github.com/python/cpython/issues/94739]: Allow jumping within, out of, and across exception handlers in the debugger.

gh-94949 [https://github.com/python/cpython/issues/94949]: ast.parse() will no longer parse parenthesized context managers when passed feature_version less than (3, 9). Patch by Shantanu Jain.

gh-94947 [https://github.com/python/cpython/issues/94947]: ast.parse() will no longer parse assignment expressions when passed feature_version less than (3, 8). Patch by Shantanu Jain.

gh-91256 [https://github.com/python/cpython/issues/91256]: Ensures the program name is known for help text during interpreter startup.

gh-94869 [https://github.com/python/cpython/issues/94869]: Fix the column offsets for some expressions in multi-line f-strings ast nodes. Patch by Pablo Galindo.

gh-94893 [https://github.com/python/cpython/issues/94893]: Fix an issue where frame object manipulations could corrupt inline bytecode caches.

gh-94822 [https://github.com/python/cpython/issues/94822]: Fix an issue where lookups of metaclass descriptors may be ignored when an identically-named attribute also exists on the class itself.

gh-91153 [https://github.com/python/cpython/issues/91153]: Fix an issue where a bytearray item assignment could crash if it’s resized by the new value’s __index__() method.

gh-90699 [https://github.com/python/cpython/issues/90699]: Fix reference counting bug in bool.__repr__(). Patch by Kumar Aditya.

gh-94694 [https://github.com/python/cpython/issues/94694]: Fix an issue that could cause code with multi-line method lookups to have misleading or incorrect column offset information. In some cases (when compiling a hand-built AST) this could have resulted in a hard crash of the interpreter.

gh-93252 [https://github.com/python/cpython/issues/93252]: Fix an issue that caused internal frames to outlive failed Python function calls, possibly resulting in memory leaks or hard interpreter crashes.

gh-94215 [https://github.com/python/cpython/issues/94215]: Fix an issue where exceptions raised by line-tracing events would cause frames to be left in an invalid state, possibly resulting in a hard crash of the interpreter.

gh-92228 [https://github.com/python/cpython/issues/92228]: Disable the compiler’s inline-small-exit-blocks optimization for exit blocks that are associated with source code lines. This fixes a bug where the debugger cannot tell where an exception handler ends and the following code block begins.

gh-94485 [https://github.com/python/cpython/issues/94485]: Line number of a module’s RESUME instruction is set to 0 as specified in PEP 626 [https://peps.python.org/pep-0626/].

gh-94438 [https://github.com/python/cpython/issues/94438]: Account for instructions that can push NULL to the stack when setting line number in a frame. Prevents some (unlikely) crashes.

gh-91719 [https://github.com/python/cpython/issues/91719]: Reload opcode when raising unknown opcode error in the interpreter main loop, for C compilers to generate dispatching code independently.

gh-94329 [https://github.com/python/cpython/issues/94329]: Compile and run code with unpacking of extremely large sequences (1000s of elements). Such code failed to compile. It now compiles and runs correctly.

gh-94360 [https://github.com/python/cpython/issues/94360]: Fixed a tokenizer crash when reading encoded files with syntax errors from stdin with non utf-8 encoded text. Patch by Pablo Galindo

gh-88116 [https://github.com/python/cpython/issues/88116]: Fix an issue when reading line numbers from code objects if the encoded line numbers are close to INT_MIN. Patch by Pablo Galindo

gh-94262 [https://github.com/python/cpython/issues/94262]: Don’t create frame objects for incomplete frames. Prevents the creation of generators and closures from being observable to Python and C extensions, restoring the behavior of 3.10 and earlier.

gh-94192 [https://github.com/python/cpython/issues/94192]: Fix error for dictionary literals with invalid expression as value.

gh-87995 [https://github.com/python/cpython/issues/87995]: types.MappingProxyType instances are now hashable if the underlying mapping is hashable.

gh-93883 [https://github.com/python/cpython/issues/93883]: Revise the display strategy of traceback enhanced error locations. The indicators are only shown when the location doesn’t span the whole line.

gh-94163 [https://github.com/python/cpython/issues/94163]: Add BINARY_SLICE and STORE_SLICE instructions for more efficient handling and better specialization of slicing operations, where the slice is explicit in the source code.

gh-94021 [https://github.com/python/cpython/issues/94021]: Fix unreachable code warning in Python/specialize.c.

gh-93911 [https://github.com/python/cpython/issues/93911]: Specialize LOAD_ATTR for objects with custom __getattribute__.

gh-93955 [https://github.com/python/cpython/issues/93955]: Improve performance of attribute lookups on objects with custom __getattribute__ and __getattr__. Patch by Ken Jin.

gh-93911 [https://github.com/python/cpython/issues/93911]: Specialize LOAD_ATTR for property() attributes.

gh-93678 [https://github.com/python/cpython/issues/93678]: Refactor compiler optimisation code so that it no longer needs the struct assembler and struct compiler passed around. Instead, each function takes the CFG and other data that it actually needs. This will make it possible to test this code directly.

gh-93841 [https://github.com/python/cpython/issues/93841]: When built with -enable-pystats, sys._stats_on(), sys._stats_off(), sys._stats_clear() and sys._stats_dump() functions have been added to enable gathering stats for parts of programs.

gh-93516 [https://github.com/python/cpython/issues/93516]: Store offset of first traceable instruction in code object to avoid having to recompute it for each instruction when tracing.

gh-93516 [https://github.com/python/cpython/issues/93516]: Lazily create a table mapping bytecode offsets to line numbers to speed up calculation of line numbers when tracing.

gh-89828 [https://github.com/python/cpython/issues/89828]: types.GenericAlias no longer relays the __class__ attribute. For example, isinstance(list[int], type) no longer returns True.

gh-93678 [https://github.com/python/cpython/issues/93678]: Refactor the compiler to reduce boilerplate and repetition.

gh-93671 [https://github.com/python/cpython/issues/93671]: Fix some exponential backtrace case happening with deeply nested sequence patterns in match statements. Patch by Pablo Galindo

gh-93662 [https://github.com/python/cpython/issues/93662]: Make sure that the end column offsets are correct in multi-line method calls. Previously, the end column could precede the column offset.

gh-93461 [https://github.com/python/cpython/issues/93461]: importlib.invalidate_caches() now drops entries from sys.path_importer_cache with a relative path as name. This solves a caching issue when a process changes its current working directory.

FileFinder no longer inserts a dot in the path, e.g. /egg/./spam is now /egg/spam.

gh-93621 [https://github.com/python/cpython/issues/93621]: Change order of bytecode instructions emitted for with and async with to reduce the number of entries in the exception table.

gh-93533 [https://github.com/python/cpython/issues/93533]: Reduce the size of the inline cache for LOAD_METHOD by 2 bytes.

gh-93444 [https://github.com/python/cpython/issues/93444]: Removed redundant fields from the compiler’s basicblock struct: b_nofallthrough, b_exit, b_return. They can be easily calculated from the opcode of the last instruction of the block.

gh-93429 [https://github.com/python/cpython/issues/93429]: LOAD_METHOD instruction has been removed. It was merged back into LOAD_ATTR.

gh-93418 [https://github.com/python/cpython/issues/93418]: Fixed an assert where an f-string has an equal sign ‘=’ following an expression, but there’s no trailing brace. For example, f”{i=”.

gh-93382 [https://github.com/python/cpython/issues/93382]: Cache the result of PyCode_GetCode() function to restore the O(1) lookup of the co_code attribute.

gh-93359 [https://github.com/python/cpython/issues/93359]: Ensure that custom ast nodes without explicit end positions can be compiled. Patch by Pablo Galindo.

gh-93356 [https://github.com/python/cpython/issues/93356]: Code for exception handlers is emitted at the end of the code unit’s bytecode. This avoids one jump when no exception is raised.

gh-93354 [https://github.com/python/cpython/issues/93354]: Use exponential backoff for specialization counters in the interpreter. Can reduce the number of failed specializations significantly and avoid slowdown for those parts of a program that are not suitable for specialization.

gh-93283 [https://github.com/python/cpython/issues/93283]: Improve error message for invalid syntax of conversion character in f-string expressions.

gh-93345 [https://github.com/python/cpython/issues/93345]: Fix a crash in substitution of a TypeVar in nested generic alias after TypeVarTuple.

gh-93223 [https://github.com/python/cpython/issues/93223]: When a bytecode instruction jumps to an unconditional jump instruction, the first instruction can often be optimized to target the unconditional jump’s target directly. For tracing reasons, this would previously only occur if both instructions have the same line number. This also now occurs if the unconditional jump is artificial, i.e., if it has no associated line number.

gh-84694 [https://github.com/python/cpython/issues/84694]: The --experimental-isolated-subinterpreters configure option and EXPERIMENTAL_ISOLATED_SUBINTERPRETERS macro have been removed.

gh-91924 [https://github.com/python/cpython/issues/91924]: Fix __lltrace__ debug feature if the stdout encoding is not UTF-8. Patch by Victor Stinner.

gh-93040 [https://github.com/python/cpython/issues/93040]: Wraps unused parameters in Objects/obmalloc.c with Py_UNUSED.

gh-93143 [https://github.com/python/cpython/issues/93143]: Avoid NULL checks for uninitialized local variables by determining at compile time which variables must be initialized.

gh-93061 [https://github.com/python/cpython/issues/93061]: Backward jumps after async for loops are no longer given dubious line numbers.

gh-93065 [https://github.com/python/cpython/issues/93065]: Fix contextvars HAMT implementation to handle iteration over deep trees.

The bug was discovered and fixed by Eli Libman. See MagicStack/immutables#84 [https://github.com/MagicStack/immutables/issues/84] for more details.

gh-93012 [https://github.com/python/cpython/issues/93012]: Added the new function PyType_FromMetaclass(), which generalizes the existing PyType_FromModuleAndSpec() using an additional metaclass argument. This is useful for language binding tools, where it can be used to intercept type-related operations like subclassing or static attribute access by specifying a metaclass with custom slots.

Importantly, PyType_FromMetaclass() is available in the Limited API, which provides a path towards migrating more binding tools onto the Stable ABI.

gh-93021 [https://github.com/python/cpython/issues/93021]: Fix the __text_signature__ for __get__() methods implemented in C. Patch by Jelle Zijlstra.

gh-89914 [https://github.com/python/cpython/issues/89914]: The operand of the YIELD_VALUE instruction is set to the stack depth. This is done to help frame handling on yield and may assist debuggers.

gh-92955 [https://github.com/python/cpython/issues/92955]: Fix memory leak in code object’s lines and positions iterators as they were not finalized at exit. Patch by Kumar Aditya.

gh-92930 [https://github.com/python/cpython/issues/92930]: Fixed a crash in _pickle.c from mutating collections during __reduce__ or persistent_id.

gh-90690 [https://github.com/python/cpython/issues/90690]: The PRECALL instruction has been removed. It offered only a small advantage for specialization and is not needed in the vast majority of cases.

gh-92914 [https://github.com/python/cpython/issues/92914]: Always round the allocated size for lists up to the nearest even number.

gh-92858 [https://github.com/python/cpython/issues/92858]: Improve error message for some suites with syntax error before ‘:’

gh-90473 [https://github.com/python/cpython/issues/90473]: Decrease default recursion limit on WASI to address limited call stack size.

gh-92804 [https://github.com/python/cpython/issues/92804]: Fix memory leak in memoryview iterator as it was not finalized at exit. Patch by Kumar Aditya.

gh-92777 [https://github.com/python/cpython/issues/92777]: Specialize LOAD_METHOD for objects with lazy dictionaries. Patch by Ken Jin.

gh-92658 [https://github.com/python/cpython/issues/92658]: Add support for connecting and binding to Hyper-V sockets on Windows Hyper-V hosts and guests.

gh-92236 [https://github.com/python/cpython/issues/92236]: Remove spurious “LINE” event when starting a generator or coroutine, visible tracing functions implemented in C.

gh-91102 [https://github.com/python/cpython/issues/91102]: _warnings.warn_explicit() is ported to Argument Clinic.

gh-92619 [https://github.com/python/cpython/issues/92619]: Make the compiler duplicate an exit block only if none of its instructions have a lineno (previously only the first instruction in the block was checked, leading to unnecessarily duplicated blocks).

gh-88750 [https://github.com/python/cpython/issues/88750]: The deprecated debug build only PYTHONTHREADDEBUG environment variable no longer does anything.

gh-92261 [https://github.com/python/cpython/issues/92261]: Fix hang when trying to iterate over a typing.Union.

gh-91432 [https://github.com/python/cpython/issues/91432]: Specialized the FOR_ITER opcode using the PEP 659 machinery

gh-91399 [https://github.com/python/cpython/issues/91399]: Removed duplicate ‘{0, 0, 0, 0, 0, 0}’ entry in ‘Objects/unicodetype_db.h’.

gh-91578 [https://github.com/python/cpython/issues/91578]: Updates the error message for abstract class.

bpo-47091 [https://bugs.python.org/issue?@action=redirect&bpo=47091]: Improve performance of repetition of list and tuple by using memcpy to copy data and performing the reference increments in one step.

bpo-46142 [https://bugs.python.org/issue?@action=redirect&bpo=46142]: Make --help output shorter by moving some info to the new --help-env and --help-xoptions command-line options. Also add --help-all option to print complete usage.

bpo-42316 [https://bugs.python.org/issue?@action=redirect&bpo=42316]: Document some places where an assignment expression needs parentheses.

Library

gh-89237 [https://github.com/python/cpython/issues/89237]: Fix hang on Windows in subprocess.wait_closed() in asyncio with ProactorEventLoop. Patch by Kumar Aditya.

gh-97928 [https://github.com/python/cpython/issues/97928]: tkinter.Text.count() raises now an exception for options starting with “-” instead of silently ignoring them.

gh-98393 [https://github.com/python/cpython/issues/98393]: The os module no longer accepts bytes-like paths, like bytearray and memoryview types: only the exact bytes type is accepted for bytes strings. Patch by Victor Stinner.

gh-98363 [https://github.com/python/cpython/issues/98363]: Added itertools.batched() to batch data into lists of a given length with the last list possibly being shorter than the others.

gh-98331 [https://github.com/python/cpython/issues/98331]: Update the bundled copies of pip and setuptools to versions 22.3 and 65.5.0 respectively.

gh-98307 [https://github.com/python/cpython/issues/98307]: A createSocket() method was added to SysLogHandler.

gh-96035 [https://github.com/python/cpython/issues/96035]: Fix bug in urllib.parse.urlparse() that causes certain port numbers containing whitespace, underscores, plus and minus signs, or non-ASCII digits to be incorrectly accepted.

gh-98257 [https://github.com/python/cpython/issues/98257]: Make sys.setprofile() and sys.settrace() functions reentrant. They can no long fail with: RuntimeError("Cannot install a trace function while another trace function is being installed"). Patch by Victor Stinner.

gh-98251 [https://github.com/python/cpython/issues/98251]: Allow venv to pass along PYTHON* variables to ensurepip and pip when they do not impact path resolution

gh-94597 [https://github.com/python/cpython/issues/94597]: Deprecated asyncio.AbstractEventLoopPolicy.get_child_watcher() and asyncio.AbstractEventLoopPolicy.set_child_watcher() methods to be removed in Python 3.14. Patch by Kumar Aditya.

gh-98178 [https://github.com/python/cpython/issues/98178]: On macOS, fix a crash in syslog.syslog() in multi-threaded applications. On macOS, the libc syslog() function is not thread-safe, so syslog.syslog() no longer releases the GIL to call it. Patch by Victor Stinner.

gh-44098 [https://github.com/python/cpython/issues/44098]: Release the GIL when creating mmap.mmap objects on Unix.

gh-87730 [https://github.com/python/cpython/issues/87730]: Wrap network errors consistently in urllib FTP support, so the test suite doesn’t fail when a network is available but the public internet is not reachable.

gh-94597 [https://github.com/python/cpython/issues/94597]: The child watcher classes MultiLoopChildWatcher, FastChildWatcher and SafeChildWatcher are deprecated and will be removed in Python 3.14. Patch by Kumar Aditya.

gh-98023 [https://github.com/python/cpython/issues/98023]: Change default child watcher to PidfdChildWatcher on Linux systems which supports it. Patch by Kumar Aditya.

gh-90985 [https://github.com/python/cpython/issues/90985]: Earlier in 3.11 we deprecated asyncio.Task.cancel("message"). We realized we were too harsh, and have undeprecated it.

gh-65961 [https://github.com/python/cpython/issues/65961]: Do not rely solely on __cached__ on modules; code will also support __spec__.cached.

gh-97646 [https://github.com/python/cpython/issues/97646]: Replace deprecated application/javascript with text/javascript in mimetypes. See RFC 9239 [https://datatracker.ietf.org/doc/html/rfc9239.html]. Patch by Noam Cohen.

gh-97930 [https://github.com/python/cpython/issues/97930]: Apply changes from importlib_resources 5.8 and 5.9: Traversable.joinpath provides a concrete implementation. as_file now supports directories of resources.

gh-97850 [https://github.com/python/cpython/issues/97850]: Remove deprecated importlib.util.set_loader() and importlib.util.module_for_loader() from importlib.util.

gh-97837 [https://github.com/python/cpython/issues/97837]: Change deprecate warning message in unittest from

It is deprecated to return a value!=None

to

It is deprecated to return a value that is not None from a test case

gh-97825 [https://github.com/python/cpython/issues/97825]: Fixes AttributeError when subprocess.check_output() is used with argument input=None and either of the arguments encoding or errors are used.

gh-97008 [https://github.com/python/cpython/issues/97008]: NameError and AttributeError spelling suggestions provided since gh-82711 [https://github.com/python/cpython/issues/82711] are now also emitted by the pure Python traceback module. Tests for those suggestions now exercise both implementations to ensure they are equivalent. Patch by Carl Friedrich Bolz-Tereick and Łukasz Langa.

gh-97799 [https://github.com/python/cpython/issues/97799]: dataclass now uses inspect.get_annotations() to examine the annotations on class objects.

gh-97781 [https://github.com/python/cpython/issues/97781]: Removed deprecated interfaces in importlib.metadata (entry points accessed as dictionary, implicit dictionary construction of sequence of EntryPoint objects, mutablility of EntryPoints result, access of entry point by index). entry_points now has a simpler, more straightforward API (returning EntryPoints).

gh-96827 [https://github.com/python/cpython/issues/96827]: Avoid spurious tracebacks from asyncio when default executor cleanup is delayed until after the event loop is closed (e.g. as the result of a keyboard interrupt).

gh-95534 [https://github.com/python/cpython/issues/95534]: gzip.GzipFile.read() reads 10% faster.

gh-97592 [https://github.com/python/cpython/issues/97592]: Avoid a crash in the C version of asyncio.Future.remove_done_callback() when an evil argument is passed.

gh-97639 [https://github.com/python/cpython/issues/97639]: Remove tokenize.NL check from tabnanny.

gh-97545 [https://github.com/python/cpython/issues/97545]: Make Semaphore run faster.

gh-73588 [https://github.com/python/cpython/issues/73588]: Fix generation of the default name of tkinter.Checkbutton. Previously, checkbuttons in different parent widgets could have the same short name and share the same state if arguments “name” and “variable” are not specified. Now they are globally unique.

gh-96865 [https://github.com/python/cpython/issues/96865]: fix Flag to use boundary CONFORM

This restores previous Flag behavior of allowing flags with non-sequential values to be combined; e.g.

class Skip(Flag): TWO = 2 EIGHT = 8

Skip.TWO | Skip.EIGHT -> <Skip.TWO|EIGHT: 10>

gh-97005 [https://github.com/python/cpython/issues/97005]: Update bundled libexpat to 2.4.9

gh-85760 [https://github.com/python/cpython/issues/85760]: Fix race condition in asyncio where process_exited() called before the pipe_data_received() leading to inconsistent output. Patch by Kumar Aditya.

gh-96704 [https://github.com/python/cpython/issues/96704]: Pass the correct contextvars.Context when a asyncio exception handler is called on behalf of a task or callback handle. This adds a new Task method, get_context, and also a new Handle method with the same name. If this method is not found on a task object (perhaps because it is a third-party library that does not yet provide this method), the context prevailing at the time the exception handler is called is used.

gh-96819 [https://github.com/python/cpython/issues/96819]: Fixed check in multiprocessing.resource_tracker that guarantees that the length of a write to a pipe is not greater than PIPE_BUF.

gh-95865 [https://github.com/python/cpython/issues/95865]: Reduce urllib.parse.quote_from_bytes() memory use on large values.

Contributed by Dennis Sweeney.

gh-96741 [https://github.com/python/cpython/issues/96741]: Corrected type annotation for dataclass attribute pstats.FunctionProfile.ncalls to be str.

gh-96734 [https://github.com/python/cpython/issues/96734]: Update unicodedata database to Unicode 15.0.0.

gh-96735 [https://github.com/python/cpython/issues/96735]: Fix undefined behaviour in struct.unpack().

gh-46412 [https://github.com/python/cpython/issues/46412]: Improve performance of bool(db) for large ndb/gdb databases. Previously this would call len(db) which would iterate over all keys – the answer (empty or not) is known after the first key.

gh-96652 [https://github.com/python/cpython/issues/96652]: Fix the faulthandler implementation of faulthandler.register(signal, chain=True) if the sigaction() function is not available: don’t call the previous signal handler if it’s NULL. Patch by Victor Stinner.

gh-68163 [https://github.com/python/cpython/issues/68163]: Correct conversion of numbers.Rational’s to float.

gh-96538 [https://github.com/python/cpython/issues/96538]: Speed up bisect.bisect() functions by taking advantage of type-stability.

gh-96465 [https://github.com/python/cpython/issues/96465]: Fraction hashes are now cached.

gh-96079 [https://github.com/python/cpython/issues/96079]: In typing, fix missing field name and incorrect __module__ in _AnnotatedAlias.

gh-96415 [https://github.com/python/cpython/issues/96415]: Remove types._cell_factory from module namespace.

gh-95987 [https://github.com/python/cpython/issues/95987]: Fix repr of Any subclasses.

gh-96388 [https://github.com/python/cpython/issues/96388]: Work around missing socket functions in socket’s __repr__.

gh-96385 [https://github.com/python/cpython/issues/96385]: Fix TypeVarTuple.__typing_prepare_subst__. TypeError was not raised when using more than one TypeVarTuple, like [*T, *V] in type alias substitutions.

gh-96142 [https://github.com/python/cpython/issues/96142]: Add match_args, kw_only, slots, and weakref_slot to _DataclassParams.

gh-96073 [https://github.com/python/cpython/issues/96073]: In inspect, fix overeager replacement of “typing.” in formatting annotations.

gh-89258 [https://github.com/python/cpython/issues/89258]: Added a getChildren() method to logging.Logger, to get the immediate child loggers of a logger.

gh-96346 [https://github.com/python/cpython/issues/96346]: Use double caching for compiled RE patterns.

gh-96349 [https://github.com/python/cpython/issues/96349]: Fixed a minor performance regression in threading.Event.__init__()

gh-90467 [https://github.com/python/cpython/issues/90467]: Fix asyncio.streams.StreamReaderProtocol to keep a strong reference to the created task, so that it’s not garbage collected

gh-96172 [https://github.com/python/cpython/issues/96172]: Fix a bug in unicodedata: east_asian_width used to return the wrong value for unassigned characters; and for yet unassigned, but reserved characters.

gh-96159 [https://github.com/python/cpython/issues/96159]: Fix a performance regression in logging TimedRotatingFileHandler. Only check for special files when the rollover time has passed.

gh-96175 [https://github.com/python/cpython/issues/96175]: Fix unused localName parameter in the Attr class in xml.dom.minidom.

gh-96145 [https://github.com/python/cpython/issues/96145]: Add AttrDict to JSON module for use with object_hook.

gh-96052 [https://github.com/python/cpython/issues/96052]: Fix handling compiler warnings (SyntaxWarning and DeprecationWarning) in codeop.compile_command() when checking for incomplete input. Previously it emitted warnings and raised a SyntaxError. Now it always returns None for incomplete input without emitting any warnings.

gh-96125 [https://github.com/python/cpython/issues/96125]: Fix incorrect condition that causes sys.thread_info.name to be wrong on pthread platforms.

gh-96019 [https://github.com/python/cpython/issues/96019]: Fix a bug in the makeunicodedata.py script leading to about 13 KiB of space saving in the unicodedata module, specifically the character decomposition data.

gh-95463 [https://github.com/python/cpython/issues/95463]: Remove an incompatible change from bpo-28080 [https://bugs.python.org/issue?@action=redirect&bpo=28080] that caused a regression that ignored the utf8 in ZipInfo.flag_bits. Patch by Pablo Galindo.

gh-69142 [https://github.com/python/cpython/issues/69142]: Add %:z strftime format code (generates tzoffset with colons as separator), see strftime() and strptime() Behavior.

gh-95899 [https://github.com/python/cpython/issues/95899]: Fix asyncio.Runner to call asyncio.set_event_loop() only once to avoid calling attach_loop() multiple times on child watchers. Patch by Kumar Aditya.

gh-95736 [https://github.com/python/cpython/issues/95736]: Fix unittest.IsolatedAsyncioTestCase to set event loop before calling setup functions. Patch by Kumar Aditya.

gh-95865 [https://github.com/python/cpython/issues/95865]: Speed up urllib.parse.quote_from_bytes() by replacing a list comprehension with map().

gh-95861 [https://github.com/python/cpython/issues/95861]: Add support for computing Spearman’s correlation coefficient to the existing statistics.correlation() function.

gh-95804 [https://github.com/python/cpython/issues/95804]: Fix logging shutdown handler so it respects MemoryHandler.flushOnClose.

gh-95704 [https://github.com/python/cpython/issues/95704]: When a task catches asyncio.CancelledError and raises some other error, the other error should generally not silently be suppressed.

gh-95149 [https://github.com/python/cpython/issues/95149]: The HTTPStatus enum offers a couple of properties to indicate the HTTP status category e.g. HTTPStatus.OK.is_success.

gh-95609 [https://github.com/python/cpython/issues/95609]: Update bundled pip to 22.2.2.

gh-95289 [https://github.com/python/cpython/issues/95289]: Fix asyncio.TaskGroup to propagate exception when asyncio.CancelledError was replaced with another exception by a context manager. Patch by Kumar Aditya and Guido van Rossum.

gh-94909 [https://github.com/python/cpython/issues/94909]: Fix incorrect joining of relative Windows paths with drives in pathlib.PurePath initializer.

gh-95385 [https://github.com/python/cpython/issues/95385]: Faster json.dumps() when sorting of keys is not requested (default).

gh-83901 [https://github.com/python/cpython/issues/83901]: Improve Signature.bind error message for missing keyword-only arguments.

gh-95339 [https://github.com/python/cpython/issues/95339]: Update bundled pip to 22.2.1.

gh-95045 [https://github.com/python/cpython/issues/95045]: Fix GC crash when deallocating _lsprof.Profiler by untracking it before calling any callbacks. Patch by Kumar Aditya.

gh-95231 [https://github.com/python/cpython/issues/95231]: Fail gracefully if EPERM or ENOSYS is raised when loading crypt methods. This may happen when trying to load MD5 on a Linux kernel with FIPS enabled.

gh-95097 [https://github.com/python/cpython/issues/95097]: Fix asyncio.run() for asyncio.Task implementations without uncancel() method. Patch by Kumar Aditya.

gh-95087 [https://github.com/python/cpython/issues/95087]: Fix IndexError in parsing invalid date in the email module.

gh-95199 [https://github.com/python/cpython/issues/95199]: Upgrade bundled setuptools to 63.2.0.

gh-95194 [https://github.com/python/cpython/issues/95194]: Upgrade bundled pip to 22.2.

gh-93899 [https://github.com/python/cpython/issues/93899]: Fix check for existence of os.EFD_CLOEXEC, os.EFD_NONBLOCK and os.EFD_SEMAPHORE flags on older kernel versions where these flags are not present. Patch by Kumar Aditya.

gh-95166 [https://github.com/python/cpython/issues/95166]: Fix concurrent.futures.Executor.map() to cancel the currently waiting on future on an error - e.g. TimeoutError or KeyboardInterrupt.

gh-95132 [https://github.com/python/cpython/issues/95132]: Fix a sqlite3 regression where *args and **kwds were incorrectly relayed from connect() to the Connection factory. The regression was introduced in 3.11a1 with PR 24421 (gh-85128 [https://github.com/python/cpython/issues/85128]). Patch by Erlend E. Aasland.

gh-93157 [https://github.com/python/cpython/issues/93157]: Fix fileinput module didn’t support errors option when inplace is true.

gh-91212 [https://github.com/python/cpython/issues/91212]: Fixed flickering of the turtle window when the tracer is turned off. Patch by Shin-myoung-serp.

gh-95077 [https://github.com/python/cpython/issues/95077]: Add deprecation warning for enum member.member access (e.g. Color.RED.BLUE). Remove EnumMeta.__getattr__.

gh-95109 [https://github.com/python/cpython/issues/95109]: Ensure that timeouts scheduled with asyncio.Timeout that have already expired are delivered promptly.

gh-95105 [https://github.com/python/cpython/issues/95105]: wsgiref.types.InputStream.__iter__() should return Iterator[bytes], not Iterable[bytes]. Patch by Shantanu Jain.

gh-95066 [https://github.com/python/cpython/issues/95066]: Replaced assert with exception in ast.parse(), when feature_version has an invalid major version. Patch by Shantanu Jain.

gh-77617 [https://github.com/python/cpython/issues/77617]: Add sqlite3 command-line interface. Patch by Erlend Aasland.

gh-95005 [https://github.com/python/cpython/issues/95005]: Replace _PyAccu with _PyUnicodeWriter in JSON encoder and StringIO and remove the _PyAccu implementation.

gh-90085 [https://github.com/python/cpython/issues/90085]: Remove -c/--clock and -t/--time CLI options of timeit. The options had been deprecated since Python 3.3 and the functionality was removed in Python 3.7. Patch by Shantanu Jain.

gh-94857 [https://github.com/python/cpython/issues/94857]: Fix refleak in _io.TextIOWrapper.reconfigure. Patch by Kumar Aditya.

gh-94821 [https://github.com/python/cpython/issues/94821]: Fix binding of unix socket to empty address on Linux to use an available address from the abstract namespace, instead of “0”.

gh-94736 [https://github.com/python/cpython/issues/94736]: Fix crash when deallocating an instance of a subclass of _multiprocessing.SemLock. Patch by Kumar Aditya.

gh-81620 [https://github.com/python/cpython/issues/81620]: Add random.binomialvariate().

gh-74116 [https://github.com/python/cpython/issues/74116]: Allow asyncio.StreamWriter.drain() to be awaited concurrently by multiple tasks. Patch by Kumar Aditya.

gh-87822 [https://github.com/python/cpython/issues/87822]: When called with capture_locals=True, the traceback module functions swallow exceptions raised from calls to repr() on local variables of frames. This is in order to prioritize the original exception over rendering errors. An indication of the failure is printed in place of the missing value. (Patch by Simon-Martin Schroeder).

gh-88050 [https://github.com/python/cpython/issues/88050]: Fix asyncio subprocess transport to kill process cleanly when process is blocked and avoid RuntimeError when loop is closed. Patch by Kumar Aditya.

gh-94637 [https://github.com/python/cpython/issues/94637]: SSLContext.set_default_verify_paths() now releases the GIL around SSL_CTX_set_default_verify_paths call. The function call performs I/O and CPU intensive work.

gh-94309 [https://github.com/python/cpython/issues/94309]: Deprecate aliases typing.Hashable and typing.Sized

gh-92546 [https://github.com/python/cpython/issues/92546]: An undocumented python -m pprint benchmark is moved into pprint suite of pyperformance. Patch by Oleg Iarygin.

gh-94607 [https://github.com/python/cpython/issues/94607]: Fix subclassing complex generics with type variables in typing. Previously an error message saying Some type variables ... are not listed in Generic[...] was shown. typing no longer populates __parameters__ with the __parameters__ of a Python class.

gh-94619 [https://github.com/python/cpython/issues/94619]: Remove the long-deprecated module_repr() from importlib.

gh-93910 [https://github.com/python/cpython/issues/93910]: The ability to access the other values of an enum on an enum (e.g. Color.RED.BLUE) has been restored in order to fix a performance regression.

gh-93896 [https://github.com/python/cpython/issues/93896]: Fix asyncio.run() and unittest.IsolatedAsyncioTestCase to always the set event loop as it was done in Python 3.10 and earlier. Patch by Kumar Aditya.

gh-94343 [https://github.com/python/cpython/issues/94343]: Allow setting the attributes of reprlib.Repr during object initialization

gh-94382 [https://github.com/python/cpython/issues/94382]: Port static types of _multiprocessing module to heap types. Patch by Kumar Aditya.

gh-78724 [https://github.com/python/cpython/issues/78724]: Fix crash in struct.Struct when it was not completely initialized by initializing it in __new__(). Patch by Kumar Aditya.

gh-94510 [https://github.com/python/cpython/issues/94510]: Re-entrant calls to sys.setprofile() and sys.settrace() now raise RuntimeError. Patch by Pablo Galindo.

gh-92336 [https://github.com/python/cpython/issues/92336]: Fix bug where linecache.getline() fails on bad files with UnicodeDecodeError or SyntaxError. It now returns an empty string as per the documentation.

gh-94398 [https://github.com/python/cpython/issues/94398]: Once a asyncio.TaskGroup has started shutting down (i.e., at least one task has failed and the task group has started cancelling the remaining tasks), it should not be possible to add new tasks to the task group.

gh-94383 [https://github.com/python/cpython/issues/94383]: xml.etree: Remove the ElementTree.Element.copy() method of the pure Python implementation, deprecated in Python 3.10, use the copy.copy() function instead. The C implementation of xml.etree has no copy() method, only a __copy__() method. Patch by Victor Stinner.

gh-94379 [https://github.com/python/cpython/issues/94379]: zipimport: Remove find_loader() and find_module() methods, deprecated in Python 3.10: use the find_spec() method instead. See PEP 451 [https://peps.python.org/pep-0451/] for the rationale. Patch by Victor Stinner.

gh-94352 [https://github.com/python/cpython/issues/94352]: shlex.split(): Passing None for s argument now raises an exception, rather than reading sys.stdin. The feature was deprecated in Python 3.9. Patch by Victor Stinner.

gh-94318 [https://github.com/python/cpython/issues/94318]: Strip trailing spaces in pydoc text output.

gh-89988 [https://github.com/python/cpython/issues/89988]: Fix memory leak in pickle.Pickler when looking up dispatch_table. Patch by Kumar Aditya.

gh-90016 [https://github.com/python/cpython/issues/90016]: Deprecate sqlite3 default adapters and converters. Patch by Erlend E. Aasland.

gh-94254 [https://github.com/python/cpython/issues/94254]: Fixed types of struct module to be immutable. Patch by Kumar Aditya.

gh-93259 [https://github.com/python/cpython/issues/93259]: Now raise ValueError when None or an empty string are passed to Distribution.from_name (and other callers).

gh-74696 [https://github.com/python/cpython/issues/74696]: shutil.make_archive() now passes the root_dir argument to custom archivers which support it.

gh-94216 [https://github.com/python/cpython/issues/94216]: The dis module now has the opcodes for pseudo instructions (those which are used by the compiler during code generation but then removed or replaced by real opcodes before the final bytecode is emitted).

gh-93096 [https://github.com/python/cpython/issues/93096]: Removed undocumented python -m codecs. Use python -m unittest test.test_codecs.EncodedFileTest instead.

gh-94207 [https://github.com/python/cpython/issues/94207]: Made _struct.Struct GC-tracked in order to fix a reference leak in the _struct module.

gh-93096 [https://github.com/python/cpython/issues/93096]: Removed undocumented -t argument of python -m base64. Use python -m unittest test.test_base64.LegacyBase64TestCase.test_encodebytes instead.

gh-94226 [https://github.com/python/cpython/issues/94226]: Remove the locale.format() function, deprecated in Python 3.7: use locale.format_string() instead. Patch by Victor Stinner.

gh-94199 [https://github.com/python/cpython/issues/94199]: Remove the ssl.match_hostname() function. The ssl.match_hostname() was deprecated in Python 3.7. OpenSSL performs hostname matching since Python 3.7, Python no longer uses the ssl.match_hostname() function. Patch by Victor Stinner.

gh-94214 [https://github.com/python/cpython/issues/94214]: Document the context object used in the venv.EnvBuilder class, and add the new environment’s library path to it.

gh-94199 [https://github.com/python/cpython/issues/94199]: Remove the ssl.wrap_socket() function, deprecated in Python 3.7: instead, create a ssl.SSLContext object and call its ssl.SSLContext.wrap_socket method. Any package that still uses ssl.wrap_socket() is broken and insecure. The function neither sends a SNI TLS extension nor validates server hostname. Code is subject to CWE 295 [https://cwe.mitre.org/data/definitions/295.html] Improper Certificate Validation. Patch by Victor Stinner.

gh-94199 [https://github.com/python/cpython/issues/94199]: Remove the ssl.RAND_pseudo_bytes() function, deprecated in Python 3.6: use os.urandom() or ssl.RAND_bytes() instead. Patch by Victor Stinner.

gh-94199 [https://github.com/python/cpython/issues/94199]: hashlib: Remove the pure Python implementation of hashlib.pbkdf2_hmac(), deprecated in Python 3.10. Python 3.10 and newer requires OpenSSL 1.1.1 (PEP 644 [https://peps.python.org/pep-0644/]): this OpenSSL version provides a C implementation of pbkdf2_hmac() which is faster. Patch by Victor Stinner.

gh-94196 [https://github.com/python/cpython/issues/94196]: gzip: Remove the filename attribute of gzip.GzipFile, deprecated since Python 2.6, use the name attribute instead. In write mode, the filename attribute added '.gz' file extension if it was not present. Patch by Victor Stinner.

gh-94182 [https://github.com/python/cpython/issues/94182]: run the asyncio.PidfdChildWatcher on the running loop, this allows event loops to run subprocesses when there is no default event loop running on the main thread

gh-94169 [https://github.com/python/cpython/issues/94169]: Remove io.OpenWrapper and _pyio.OpenWrapper, deprecated in Python 3.10: just use open() instead. The open() (io.open()) function is a built-in function. Since Python 3.10, _pyio.open() is also a static method. Patch by Victor Stinner.

gh-91742 [https://github.com/python/cpython/issues/91742]: Fix pdb crash after jump caused by a null pointer dereference. Patch by Kumar Aditya.

gh-94101 [https://github.com/python/cpython/issues/94101]: Manual instantiation of ssl.SSLSession objects is no longer allowed as it lead to misconfigured instances that crashed the interpreter when attributes where accessed on them.

gh-84753 [https://github.com/python/cpython/issues/84753]: inspect.iscoroutinefunction(), inspect.isgeneratorfunction(), and inspect.isasyncgenfunction() now properly return True for duck-typed function-like objects like instances of unittest.mock.AsyncMock.

This makes inspect.iscoroutinefunction() consistent with the behavior of asyncio.iscoroutinefunction(). Patch by Mehdi ABAAKOUK.

gh-94028 [https://github.com/python/cpython/issues/94028]: Fix a regression in the sqlite3 where statement objects were not properly cleared and reset after use in cursor iters. The regression was introduced by PR 27884 in Python 3.11a1. Patch by Erlend E. Aasland.

gh-93973 [https://github.com/python/cpython/issues/93973]: Add keyword argument all_errors to asyncio.create_connection so that multiple connection errors can be raised as an ExceptionGroup.

gh-93963 [https://github.com/python/cpython/issues/93963]: Officially deprecate from importlib.abc classes moved to importlib.resources.abc.

gh-93858 [https://github.com/python/cpython/issues/93858]: Prevent error when activating venv in nested fish instances.

gh-93820 [https://github.com/python/cpython/issues/93820]: Pickle enum.Flag by name.

gh-93847 [https://github.com/python/cpython/issues/93847]: Fix repr of enum of generic aliases.

gh-91404 [https://github.com/python/cpython/issues/91404]: Revert the re memory leak when a match is terminated by a signal or memory allocation failure as the implemented fix caused a major performance regression.

gh-83499 [https://github.com/python/cpython/issues/83499]: Fix double closing of file description in tempfile.

gh-93820 [https://github.com/python/cpython/issues/93820]: Fixed a regression when copy.copy()-ing enum.Flag with multiple flag members.

gh-79512 [https://github.com/python/cpython/issues/79512]: Fixed names and __module__ value of weakref classes ReferenceType, ProxyType, CallableProxyType. It makes them pickleable.

gh-91389 [https://github.com/python/cpython/issues/91389]: Fix an issue where dis utilities could report missing or incorrect position information in the presence of CACHE entries.

gh-93626 [https://github.com/python/cpython/issues/93626]: Set __future__.annotations to have a None mandatoryRelease to indicate that it is currently ‘TBD’.

gh-90473 [https://github.com/python/cpython/issues/90473]: Emscripten and WASI have no home directory and cannot provide PEP 370 [https://peps.python.org/pep-0370/] user site directory.

gh-90494 [https://github.com/python/cpython/issues/90494]: copy.copy() and copy.deepcopy() now always raise a TypeError if __reduce__() returns a tuple with length 6 instead of silently ignore the 6th item or produce incorrect result.

gh-90549 [https://github.com/python/cpython/issues/90549]: Fix a multiprocessing bug where a global named resource (such as a semaphore) could leak when a child process is spawned (as opposed to forked).

gh-93521 [https://github.com/python/cpython/issues/93521]: Fixed a case where dataclasses would try to add __weakref__ into the __slots__ for a dataclass that specified weakref_slot=True when it was already defined in one of its bases. This resulted in a TypeError upon the new class being created.

gh-79579 [https://github.com/python/cpython/issues/79579]: sqlite3 now correctly detects DML queries with leading comments. Patch by Erlend E. Aasland.

gh-93421 [https://github.com/python/cpython/issues/93421]: Update sqlite3.Cursor.rowcount when a DML statement has run to completion. This fixes the row count for SQL queries like UPDATE ... RETURNING. Patch by Erlend E. Aasland.

gh-93475 [https://github.com/python/cpython/issues/93475]: Expose FICLONE and FICLONERANGE constants in fcntl. Patch by Illia Volochii.

gh-93370 [https://github.com/python/cpython/issues/93370]: Deprecate sqlite3.version and sqlite3.version_info.

gh-91810 [https://github.com/python/cpython/issues/91810]: Suppress writing an XML declaration in open files in ElementTree.write() with encoding='unicode' and xml_declaration=None.

gh-91162 [https://github.com/python/cpython/issues/91162]: Support splitting of unpacked arbitrary-length tuple over TypeVar and TypeVarTuple parameters. For example:

A[T, *Ts][*tuple[int, ...]] -> A[int, *tuple[int, ...]]

A[*Ts, T][*tuple[int, ...]] -> A[*tuple[int, ...], int]

gh-93353 [https://github.com/python/cpython/issues/93353]: Fix the importlib.resources.as_file() context manager to remove the temporary file if destroyed late during Python finalization: keep a local reference to the os.remove() function. Patch by Victor Stinner.

gh-83658 [https://github.com/python/cpython/issues/83658]: Make multiprocessing.Pool raise an exception if maxtasksperchild is not None or a positive int.

gh-93312 [https://github.com/python/cpython/issues/93312]: Add os.PIDFD_NONBLOCK flag to open a file descriptor for a process with os.pidfd_open() in non-blocking mode. Patch by Kumar Aditya.

gh-88123 [https://github.com/python/cpython/issues/88123]: Implement Enum.__contains__ that returns True or False to replace the deprecated behaviour that would sometimes raise a TypeError.

gh-93297 [https://github.com/python/cpython/issues/93297]: Make asyncio task groups prevent child tasks from being GCed

gh-85308 [https://github.com/python/cpython/issues/85308]: Changed argparse.ArgumentParser to use filesystem encoding and error handler instead of default text encoding to read arguments from file (e.g. fromfile_prefix_chars option). This change affects Windows; argument file should be encoded with UTF-8 instead of ANSI Codepage.

gh-93156 [https://github.com/python/cpython/issues/93156]: Accessing the pathlib.PurePath.parents sequence of an absolute path using negative index values produced incorrect results.

gh-93162 [https://github.com/python/cpython/issues/93162]: Add the ability for logging.config.dictConfig() to usefully configure QueueHandler and QueueListener as a pair, and add logging.getHandlerByName() and logging.getHandlerNames() APIs to allow access to handlers by name.

gh-93243 [https://github.com/python/cpython/issues/93243]: The smtpd module was removed per the schedule in PEP 594 [https://peps.python.org/pep-0594/].

gh-92886 [https://github.com/python/cpython/issues/92886]: Replace assert statements with raise AssertionError() in BaseHandler so that the tested behaviour is maintained running with optimizations (-O).

gh-90155 [https://github.com/python/cpython/issues/90155]: Fix broken asyncio.Semaphore when acquire is cancelled.

gh-90817 [https://github.com/python/cpython/issues/90817]: The locale.resetlocale() function is deprecated and will be removed in Python 3.13. Use locale.setlocale(locale.LC_ALL, "") instead. Patch by Victor Stinner.

gh-91513 [https://github.com/python/cpython/issues/91513]: Added taskName attribute to logging module for use with asyncio tasks.

gh-74696 [https://github.com/python/cpython/issues/74696]: shutil.make_archive() no longer temporarily changes the current working directory during creation of standard .zip or tar archives.

gh-92728 [https://github.com/python/cpython/issues/92728]: The re.template() function and the corresponding re.TEMPLATE and re.T flags are restored after they were removed in 3.11.0b1, but they are now deprecated, so they might be removed from Python 3.13.

gh-93033 [https://github.com/python/cpython/issues/93033]: Search in some strings (platform dependent i.e [U+0xFFFF, U+0x0100] on Windows or [U+0xFFFFFFFF, U+0x00010000] on Linux 64-bit) are now up to 10 times faster.

gh-89973 [https://github.com/python/cpython/issues/89973]: Fix re.error raised in fnmatch if the pattern contains a character range with upper bound lower than lower bound (e.g. [c-a]). Now such ranges are interpreted as empty ranges.

gh-93044 [https://github.com/python/cpython/issues/93044]: No longer convert the database argument of sqlite3.connect() to bytes before passing it to the factory.

gh-93010 [https://github.com/python/cpython/issues/93010]: In a very special case, the email package tried to append the nonexistent InvalidHeaderError to the defect list. It should have been InvalidHeaderDefect.

gh-92986 [https://github.com/python/cpython/issues/92986]: Fix ast.unparse() when ImportFrom.level is None

gh-92932 [https://github.com/python/cpython/issues/92932]: Now dis() and get_instructions() handle operand values for instructions prefixed by EXTENDED_ARG_QUICK. Patch by Sam Gross and Donghee Na.

gh-92675 [https://github.com/python/cpython/issues/92675]: Fix venv.ensure_directories() to accept pathlib.Path arguments in addition to str paths. Patch by David Foster.

gh-87901 [https://github.com/python/cpython/issues/87901]: Removed the encoding argument from os.popen() that was added in 3.11b1.

gh-91922 [https://github.com/python/cpython/issues/91922]: Fix function sqlite.connect() and the sqlite.Connection constructor on non-UTF-8 locales. Also, they now support bytes paths non-decodable with the current FS encoding.

gh-92869 [https://github.com/python/cpython/issues/92869]: Added c_time_t to ctypes, which has the same size as the time_t type in C.

gh-92839 [https://github.com/python/cpython/issues/92839]: Fixed crash resulting from calling bisect.insort() or bisect.insort_left() with the key argument not equal to None.

gh-90473 [https://github.com/python/cpython/issues/90473]: subprocess now fails early on Emscripten and WASI platforms to work around missing os.pipe() on WASI.

gh-89325 [https://github.com/python/cpython/issues/89325]: Removed many old deprecated unittest features: TestCase method aliases, undocumented and broken TestCase method assertDictContainsSubset, undocumented TestLoader.loadTestsFromModule parameter use_load_tests, and an underscored alias of the TextTestResult class.

gh-92734 [https://github.com/python/cpython/issues/92734]: Allow multi-element reprs emitted by reprlib to be pretty-printed using configurable indentation.

gh-92671 [https://github.com/python/cpython/issues/92671]: Fixed ast.unparse() for empty tuples in the assignment target context.

gh-91581 [https://github.com/python/cpython/issues/91581]: utcfromtimestamp() no longer attempts to resolve fold in the pure Python implementation, since the fold is never 1 in UTC. In addition to being slightly faster in the common case, this also prevents some errors when the timestamp is close to datetime.min. Patch by Paul Ganssle.

gh-86388 [https://github.com/python/cpython/issues/86388]: Removed randrange() functionality deprecated since Python 3.10. Formerly, randrange(10.0) losslessly converted to randrange(10). Now, it raises a TypeError. Also, the exception raised for non-integral values such as randrange(10.5) or randrange(‘10’) has been changed from ValueError to TypeError.

gh-90385 [https://github.com/python/cpython/issues/90385]: Add pathlib.Path.walk() as an alternative to os.walk().

gh-92550 [https://github.com/python/cpython/issues/92550]: Fix pathlib.Path.rglob() for empty pattern.

gh-92591 [https://github.com/python/cpython/issues/92591]: Allow logging filters to return a logging.LogRecord instance so that filters attached to logging.Handlers can enrich records without side effects on other handlers.

gh-92445 [https://github.com/python/cpython/issues/92445]: Fix a bug in argparse where nargs="*" would raise an error instead of returning an empty list when 0 arguments were supplied if choice was also defined in parser.add_argument.

gh-92547 [https://github.com/python/cpython/issues/92547]: Remove undocumented sqlite3 features deprecated in Python 3.10:

sqlite3.enable_shared_cache()

sqlite3.OptimizedUnicode

Patch by Erlend E. Aasland.

gh-92530 [https://github.com/python/cpython/issues/92530]: Fix an issue that occurred after interrupting threading.Condition.notify().

gh-92531 [https://github.com/python/cpython/issues/92531]: The statistics.median_grouped() function now always return a float. Formerly, it did not convert the input type when for sequences of length one.

gh-84131 [https://github.com/python/cpython/issues/84131]: The pathlib.Path deprecated method link_to has been removed. Use 3.10’s hardlink_to() method instead as its semantics are consistent with that of symlink_to().

gh-89336 [https://github.com/python/cpython/issues/89336]: Removed configparser module APIs: the SafeConfigParser class alias, the ParsingError.filename property and parameter, and the ConfigParser.readfp method, all of which were deprecated since Python 3.2.

gh-92391 [https://github.com/python/cpython/issues/92391]: Add __class_getitem__() to csv.DictReader and csv.DictWriter, allowing them to be parameterized at runtime. Patch by Marc Mueller.

gh-91968 [https://github.com/python/cpython/issues/91968]: Add SO_RTABLE and SO_USER_COOKIE constants to socket.

gh-91810 [https://github.com/python/cpython/issues/91810]: ElementTree method write() and function tostring() now use the text file’s encoding (“UTF-8” if not available) instead of locale encoding in XML declaration when encoding="unicode" is specified.

gh-81790 [https://github.com/python/cpython/issues/81790]: os.path.splitdrive() now understands DOS device paths with UNC links (beginning \\?\UNC\). Contributed by Barney Gale.

gh-91760 [https://github.com/python/cpython/issues/91760]: Apply more strict rules for numerical group references and group names in regular expressions. Only sequence of ASCII digits is now accepted as a numerical reference. The group name in bytes patterns and replacement strings can now only contain ASCII letters and digits and underscore.

gh-90622 [https://github.com/python/cpython/issues/90622]: Worker processes for concurrent.futures.ProcessPoolExecutor are no longer spawned on demand (a feature added in 3.9) when the multiprocessing context start method is "fork" as that can lead to deadlocks in the child processes due to a fork happening while threads are running.

gh-91577 [https://github.com/python/cpython/issues/91577]: Move imports in SharedMemory methods to module level so that they can be executed late in python finalization.

gh-91581 [https://github.com/python/cpython/issues/91581]: Remove an unhandled error case in the C implementation of calls to datetime.fromtimestamp with no time zone (i.e. getting a local time from an epoch timestamp). This should have no user-facing effect other than giving a possibly more accurate error message when called with timestamps that fall on 10000-01-01 in the local time. Patch by Paul Ganssle.

gh-91539 [https://github.com/python/cpython/issues/91539]: Improve performance of urllib.request.getproxies_environment when there are many environment variables

gh-91524 [https://github.com/python/cpython/issues/91524]: Speed up the regular expression substitution (functions re.sub() and re.subn() and corresponding re.Pattern methods) for replacement strings containing group references by 2–3 times.

gh-91447 [https://github.com/python/cpython/issues/91447]: Fix findtext in the xml module to only give an empty string when the text attribute is set to None.

gh-91456 [https://github.com/python/cpython/issues/91456]: Deprecate current default auto() behavior: In 3.13 the default will be for for auto() to always return the largest member value incremented by 1, and to raise if incompatible value types are used.

bpo-47231 [https://bugs.python.org/issue?@action=redirect&bpo=47231]: Fixed an issue with inconsistent trailing slashes in tarfile longname directories.

bpo-39064 [https://bugs.python.org/issue?@action=redirect&bpo=39064]: zipfile.ZipFile now raises zipfile.BadZipFile instead of ValueError when reading a corrupt zip file in which the central directory offset is negative.

bpo-41287 [https://bugs.python.org/issue?@action=redirect&bpo=41287]: Fix handling of the doc argument in subclasses of property().

gh-90005 [https://github.com/python/cpython/issues/90005]: ctypes dependency libffi is now detected with pkg-config.

bpo-32547 [https://bugs.python.org/issue?@action=redirect&bpo=32547]: The constructors for DictWriter and DictReader now coerce the fieldnames argument to a list if it is an iterator.

bpo-35540 [https://bugs.python.org/issue?@action=redirect&bpo=35540]: Fix dataclasses.asdict() crash when collections.defaultdict is present in the attributes.

bpo-47063 [https://bugs.python.org/issue?@action=redirect&bpo=47063]: Add an index_pages parameter to support using non-default index page names.

bpo-47025 [https://bugs.python.org/issue?@action=redirect&bpo=47025]: Drop support for bytes on sys.path.

bpo-46951 [https://bugs.python.org/issue?@action=redirect&bpo=46951]: Order the contents of zipapp archives, to make builds more reproducible.

bpo-42777 [https://bugs.python.org/issue?@action=redirect&bpo=42777]: Implement pathlib.Path.is_mount() for Windows paths.

bpo-46755 [https://bugs.python.org/issue?@action=redirect&bpo=46755]: In QueueHandler, clear stack_info from LogRecord to prevent stack trace from being written twice.

bpo-45393 [https://bugs.python.org/issue?@action=redirect&bpo=45393]: Fix the formatting for await x and not x in the operator precedence table when using the help() system.

bpo-46642 [https://bugs.python.org/issue?@action=redirect&bpo=46642]: Improve error message when trying to subclass an instance of typing.TypeVar, typing.ParamSpec, typing.TypeVarTuple, etc. Based on patch by Gregory Beauregard.

bpo-46364 [https://bugs.python.org/issue?@action=redirect&bpo=46364]: Restrict use of sockets instead of pipes for stdin of subprocesses created by asyncio to AIX platform only.

bpo-28249 [https://bugs.python.org/issue?@action=redirect&bpo=28249]: Set doctest.DocTest.lineno to None when an object does not have __doc__.

bpo-46197 [https://bugs.python.org/issue?@action=redirect&bpo=46197]: Fix ensurepip environment isolation for subprocess running pip.

bpo-45924 [https://bugs.python.org/issue?@action=redirect&bpo=45924]: Fix asyncio incorrect traceback when future’s exception is raised multiple times. Patch by Kumar Aditya.

bpo-45046 [https://bugs.python.org/issue?@action=redirect&bpo=45046]: Add support of context managers in unittest: methods enterContext() and enterClassContext() of class TestCase, method enterAsyncContext() of class IsolatedAsyncioTestCase and function unittest.enterModuleContext().

bpo-44173 [https://bugs.python.org/issue?@action=redirect&bpo=44173]: Enable fast seeking of uncompressed unencrypted zipfile.ZipExtFile

bpo-42627 [https://bugs.python.org/issue?@action=redirect&bpo=42627]: Fix incorrect parsing of Windows registry proxy settings

bpo-42047 [https://bugs.python.org/issue?@action=redirect&bpo=42047]: Add threading.get_native_id() support for DragonFly BSD. Patch by David Carlier.

bpo-14243 [https://bugs.python.org/issue?@action=redirect&bpo=14243]: The tempfile.NamedTemporaryFile function has a new optional parameter delete_on_close

bpo-41246 [https://bugs.python.org/issue?@action=redirect&bpo=41246]: Give the same callback function for when the overlapped operation is done to the functions recv, recv_into, recvfrom, sendto, send and sendfile inside IocpProactor.

bpo-39264 [https://bugs.python.org/issue?@action=redirect&bpo=39264]: Fixed collections.UserDict.get() to not call __missing__() when a value is not found. This matches the behavior of dict. Patch by Bar Harel.

bpo-38693 [https://bugs.python.org/issue?@action=redirect&bpo=38693]: importlib now uses f-strings internally instead of str.format.

bpo-38267 [https://bugs.python.org/issue?@action=redirect&bpo=38267]: Add timeout parameter to asyncio.loop.shutdown_default_executor(). The default value is None, which means the executor will be given an unlimited amount of time. When called from asyncio.Runner or asyncio.run(), the default timeout is 5 minutes.

bpo-34828 [https://bugs.python.org/issue?@action=redirect&bpo=34828]: sqlite3.Connection.iterdump() now handles databases that use AUTOINCREMENT in one or more tables.

bpo-32990 [https://bugs.python.org/issue?@action=redirect&bpo=32990]: Support reading wave files with the WAVE_FORMAT_EXTENSIBLE format in the wave module.

bpo-26253 [https://bugs.python.org/issue?@action=redirect&bpo=26253]: Allow adjustable compression level for tarfile streams in tarfile.open().

Documentation

gh-85525 [https://github.com/python/cpython/issues/85525]: Remove extra row

gh-86404 [https://github.com/python/cpython/issues/86404]: Deprecated tools make suspicious and rstlint.py are now removed. They have been replaced by sphinx-lint [https://pypi.org/project/sphinx-lint/].

gh-97741 [https://github.com/python/cpython/issues/97741]: Fix ! in c domain ref target syntax via a conf.py patch, so it works as intended to disable ref target resolution.

gh-96432 [https://github.com/python/cpython/issues/96432]: Fraction literals now support whitespace around the forward slash, Fraction('2 / 3').

gh-96098 [https://github.com/python/cpython/issues/96098]: Improve discoverability of the higher level concurrent.futures module by providing clearer links from the lower level threading and multiprocessing modules.

gh-95957 [https://github.com/python/cpython/issues/95957]: What’s New 3.11 now has instructions for how to provide compiler and linker flags for Tcl/Tk and OpenSSL on RHEL 7 and CentOS 7.

gh-95588 [https://github.com/python/cpython/issues/95588]: Clarified the conflicting advice given in the ast documentation about ast.literal_eval() being “safe” for use on untrusted input while at the same time warning that it can crash the process. The latter statement is true and is deemed unfixable without a large amount of work unsuitable for a bugfix. So we keep the warning and no longer claim that literal_eval is safe.

gh-91207 [https://github.com/python/cpython/issues/91207]: Fix stylesheet not working in Windows CHM htmlhelp docs and add warning that they are deprecated. Contributed by C.A.M. Gerlach.

gh-95454 [https://github.com/python/cpython/issues/95454]: Replaced incorrectly written true/false values in documentation. Patch by Robert O’Shea

gh-95451 [https://github.com/python/cpython/issues/95451]: Update library documentation with availability information on WebAssembly platforms wasm32-emscripten and wasm32-wasi.

gh-95415 [https://github.com/python/cpython/issues/95415]: Use consistent syntax for platform availability. The directive now supports a content body and emits a warning when it encounters an unknown platform.

gh-94321 [https://github.com/python/cpython/issues/94321]: Document the PEP 246 [https://peps.python.org/pep-0246/] style protocol type sqlite3.PrepareProtocol.

gh-86128 [https://github.com/python/cpython/issues/86128]: Document a limitation in ThreadPoolExecutor where its exit handler is executed before any handlers in atexit.

gh-61162 [https://github.com/python/cpython/issues/61162]: Clarify sqlite3 behavior when How to use the connection context manager.

gh-87260 [https://github.com/python/cpython/issues/87260]: Align sqlite3 argument specs with the actual implementation.

gh-86986 [https://github.com/python/cpython/issues/86986]: The minimum Sphinx version required to build the documentation is now 3.2.

gh-88831 [https://github.com/python/cpython/issues/88831]: Augmented documentation of asyncio.create_task(). Clarified the need to keep strong references to tasks and added a code snippet detailing how to do this.

gh-86438 [https://github.com/python/cpython/issues/86438]: Clarify that -W and PYTHONWARNINGS are matched literally and case-insensitively, rather than as regular expressions, in warnings.

gh-93031 [https://github.com/python/cpython/issues/93031]: Update tutorial introduction output to use 3.10+ SyntaxError invalid range.

gh-92240 [https://github.com/python/cpython/issues/92240]: Added release dates for “What’s New in Python 3.X” for 3.0, 3.1, 3.2, 3.8 and 3.10

bpo-47161 [https://bugs.python.org/issue?@action=redirect&bpo=47161]: Document that pathlib.PurePath does not collapse initial double slashes because they denote UNC paths.

bpo-40838 [https://bugs.python.org/issue?@action=redirect&bpo=40838]: Document that inspect.getdoc(), inspect.getmodule(), and inspect.getsourcefile() might return None.

bpo-43689 [https://bugs.python.org/issue?@action=redirect&bpo=43689]: The Differ documentation now also mentions other whitespace characters, which make it harder to understand the diff output.

bpo-38056 [https://bugs.python.org/issue?@action=redirect&bpo=38056]: Overhaul the Error Handlers documentation in codecs.

bpo-13553 [https://bugs.python.org/issue?@action=redirect&bpo=13553]: Document tkinter.Tk args.

Tests

gh-95027 [https://github.com/python/cpython/issues/95027]: On Windows, when the Python test suite is run with the -jN option, the ANSI code page is now used as the encoding for the stdout temporary file, rather than using UTF-8 which can lead to decoding errors. Patch by Victor Stinner.

gh-96624 [https://github.com/python/cpython/issues/96624]: Fixed the failure of repeated runs of test.test_unittest caused by side effects in test_dotted_but_module_not_loaded.

gh-95243 [https://github.com/python/cpython/issues/95243]: Mitigate the inherent race condition from using find_unused_port() in testSockName() by trying to find an unused port a few times before failing. Patch by Ross Burton.

gh-95573 [https://github.com/python/cpython/issues/95573]: Lib/test/test_asyncio/test_ssl.py [https://github.com/python/cpython/tree/3.13/Lib/test/test_asyncio/test_ssl.py] exposed a bug in the macOS kernel where intense concurrent load on non-blocking sockets occasionally causes errno.ENOBUFS (“No buffer space available”) to be emitted. FB11063974 filed with Apple, in the mean time as a workaround buffer size used in tests on macOS is decreased to avoid intermittent failures. Patch by Fantix King.

gh-95280 [https://github.com/python/cpython/issues/95280]: Fix problem with test_ssl test_get_ciphers on systems that require perfect forward secrecy (PFS) ciphers.

gh-95212 [https://github.com/python/cpython/issues/95212]: Make multiprocessing test case test_shared_memory_recreate parallel-safe.

gh-95218 [https://github.com/python/cpython/issues/95218]: Move tests for importlib.resources into test_importlib.resources.

gh-93963 [https://github.com/python/cpython/issues/93963]: Updated tests to use preferred location for importlib.resources ABCs.

gh-94675 [https://github.com/python/cpython/issues/94675]: Add a regression test for re exponentional slowdown when using rjsmin.

gh-91330 [https://github.com/python/cpython/issues/91330]: Added more tests for dataclasses to cover behavior with data descriptor-based fields.

gh-94208 [https://github.com/python/cpython/issues/94208]: test_ssl is now checking for supported TLS version and protocols in more tests.

gh-94315 [https://github.com/python/cpython/issues/94315]: Tests now check for DAC override capability instead of relying on os.geteuid().

gh-54781 [https://github.com/python/cpython/issues/54781]: Rename test_tk to test_tkinter, and rename test_ttk_guionly to test_ttk. Patch by Victor Stinner.

gh-93839 [https://github.com/python/cpython/issues/93839]: Move Lib/ctypes/test/ to Lib/test/test_ctypes/. Patch by Victor Stinner.

gh-93951 [https://github.com/python/cpython/issues/93951]: In test_bdb.StateTestCase.test_skip, avoid including auxiliary importers.

gh-93957 [https://github.com/python/cpython/issues/93957]: Provide nicer error reporting from subprocesses in test_venv.EnsurePipTest.test_with_pip.

gh-93884 [https://github.com/python/cpython/issues/93884]: Add test cases for PyNumber_ToBase() that take a large number or a non-int object as parameter.

gh-93852 [https://github.com/python/cpython/issues/93852]: test_asyncio, test_logging, test_socket and test_socketserver now create AF_UNIX domains in the current directory to no longer fail with OSError("AF_UNIX path too long") if the temporary directory (the TMPDIR environment variable) is too long. Patch by Victor Stinner.

gh-93353 [https://github.com/python/cpython/issues/93353]: regrtest now checks if a test leaks temporary files or directories if run with -jN option. Patch by Victor Stinner.

gh-84461 [https://github.com/python/cpython/issues/84461]: run_tests.py now handles cross compiling env vars correctly and pass HOSTRUNNER to regression tests.

gh-93616 [https://github.com/python/cpython/issues/93616]: test_modulefinder now creates a temporary directory in ModuleFinderTest.setUp() instead of module scope.

gh-93575 [https://github.com/python/cpython/issues/93575]: Fix issue with test_unicode test_raiseMemError. The test case now use test.support.calcobjsize to calculate size of PyUnicode structs. sys.getsizeof() may return different size when string has UTF-8 memory.

gh-90473 [https://github.com/python/cpython/issues/90473]: WASI does not have a chmod(2) syscall. os.chmod() is now a dummy function on WASI. Skip all tests that depend on working os.chmod().

gh-90473 [https://github.com/python/cpython/issues/90473]: Skip tests on WASI that require symlinks with absolute paths.

gh-57539 [https://github.com/python/cpython/issues/57539]: Increase calendar test coverage for calendar.LocaleTextCalendar.formatweekday().

gh-90473 [https://github.com/python/cpython/issues/90473]: Skip symlink tests on WASI. wasmtime uses openat2(2) with RESOLVE_BENEATH flag, which prevents symlinks with absolute paths.

gh-89858 [https://github.com/python/cpython/issues/89858]: Fix test_embed for out-of-tree builds. Patch by Kumar Aditya.

gh-92886 [https://github.com/python/cpython/issues/92886]: Fixing tests that fail when running with optimizations (-O) in test_imaplib.py.

gh-92886 [https://github.com/python/cpython/issues/92886]: Fixing tests that fail when running with optimizations (-O) in test_zipimport.py

gh-92886 [https://github.com/python/cpython/issues/92886]: Fixing tests that fail when running with optimizations (-O) in test_py_compile.py

gh-92886 [https://github.com/python/cpython/issues/92886]: Fixing tests that fail when running with optimizations (-O) in test_sys_settrace.py.

gh-92886 [https://github.com/python/cpython/issues/92886]: Fixing tests that fail when running with optimizations (-O) in _test_multiprocessing.py

gh-92670 [https://github.com/python/cpython/issues/92670]: Skip test_shutil.TestCopy.test_copyfile_nonexistent_dir test on AIX as the test uses a trailing slash to force the OS consider the path as a directory, but on AIX the trailing slash has no effect and is considered as a file.

gh-92514 [https://github.com/python/cpython/issues/92514]: Remove unused test.support.BasicTestRunner. Patch by Jelle Zijlstra.

bpo-47016 [https://bugs.python.org/issue?@action=redirect&bpo=47016]: Create a GitHub Actions workflow for verifying bundled pip and setuptools. Patch by Illia Volochii and Adam Turner.

Build

gh-96761 [https://github.com/python/cpython/issues/96761]: Fix the build process of clang compiler for _bootstrap_python if LTO optimization is applied. Patch by Matthias Görgens and Donghee Na.

gh-96883 [https://github.com/python/cpython/issues/96883]: wasm32-emscripten builds for browsers now include concurrent.futures for asyncio and unittest.mock.

gh-85936 [https://github.com/python/cpython/issues/85936]: CPython now uses the ThinLTO option as the default policy if the Clang compiler accepts the flag. Patch by Donghee Na.

gh-96729 [https://github.com/python/cpython/issues/96729]: Ensure that Windows releases built with Tools\msi\buildrelease.bat are upgradable to and from official Python releases.

gh-96269 [https://github.com/python/cpython/issues/96269]: Shared module targets now depend on new MODULE_DEPS variable, which includes EXPORTSYMS. This fixes a build order issue on unsupported AIX platform.

gh-84461 [https://github.com/python/cpython/issues/84461]: wasm32-emscripten platform no longer builds resource module, getresuid(), getresgid(), and their setters. The APIs are stubs and not functional.

gh-95973 [https://github.com/python/cpython/issues/95973]: Add a new --with-dsymutil configure option to link debug information in macOS. Patch by Pablo Galindo.

gh-90536 [https://github.com/python/cpython/issues/90536]: Use the BOLT post-link optimizer to improve performance, particularly on medium-to-large applications.

gh-93744 [https://github.com/python/cpython/issues/93744]: Remove the configure --with-cxx-main build option: it didn’t work for many years. Remove the MAINCC variable from configure and Makefile. Patch by Victor Stinner.

gh-94801 [https://github.com/python/cpython/issues/94801]: Fix a regression in configure script that caused some header checks to ignore custom CPPFLAGS. The regression was introduced in gh-94802 [https://github.com/python/cpython/issues/94802].

gh-95145 [https://github.com/python/cpython/issues/95145]: wasm32-wasi builds no longer depend on WASIX’s pthread stubs. Python now has its own stubbed pthread API.

gh-95174 [https://github.com/python/cpython/issues/95174]: Python now detects missing dup function in WASI and works around some missing errno, select, and socket constants.

gh-95174 [https://github.com/python/cpython/issues/95174]: Python now skips missing socket functions and methods on WASI. WASI can only create sockets from existing fd / accept and has no netdb.

gh-95085 [https://github.com/python/cpython/issues/95085]: Platforms wasm32-unknown-emscripten and wasm32-unknown-wasi have been promoted to PEP 11 [https://peps.python.org/pep-0011/] tier 3 platform support.

gh-94847 [https://github.com/python/cpython/issues/94847]: Fixed _decimal module build issue on GCC when compiling with LTO and pydebug. Debug builds no longer force inlining of functions.

gh-94841 [https://github.com/python/cpython/issues/94841]: Fix the possible performance regression of PyObject_Free() compiled with MSVC version 1932.

gh-94801 [https://github.com/python/cpython/issues/94801]: configure now uses custom flags like ZLIB_CFLAGS and ZLIB_LIBS when searching for headers and libraries.

gh-94773 [https://github.com/python/cpython/issues/94773]: deepfreeze.py now supports code object with frozensets that contain incompatible, unsortable types.

gh-94682 [https://github.com/python/cpython/issues/94682]: Build and test with OpenSSL 1.1.1q

gh-90005 [https://github.com/python/cpython/issues/90005]: Dependencies of readline and curses module are now detected in configure script with pkg-config. Only ncurses / ncursesw are detected automatically. The old curses library is not configured automatically. Workaround for missing termcap or tinfo library has been removed.

gh-90005 [https://github.com/python/cpython/issues/90005]: Fix building _ctypes extension without pkg-config.

gh-90005 [https://github.com/python/cpython/issues/90005]: _dbm module dependencies are now detected by configure.

gh-94404 [https://github.com/python/cpython/issues/94404]: makesetup now works around an issue with sed on macOS and uses correct CFLAGS for object files that end up in a shared extension. Module CFLAGS are used before PY_STDMODULE_CFLAGS to avoid clashes with system headers.

gh-93939 [https://github.com/python/cpython/issues/93939]: C extension modules are now built by configure and make instead of distutils and setup.py.

gh-93939 [https://github.com/python/cpython/issues/93939]: The 2to3, idle, and pydoc scripts are now generated and installed by Makefile instead of setup.py.

gh-94280 [https://github.com/python/cpython/issues/94280]: Updated pegen regeneration script on Windows to find and use Python 3.9 or higher. Prior to this, pegen regeneration already required 3.9 or higher, but the script may have used lower versions of Python.

gh-93584 [https://github.com/python/cpython/issues/93584]: Address race condition in Makefile when installing a PGO build. All test and install targets now depend on all target.

gh-93491 [https://github.com/python/cpython/issues/93491]: configure now detects and reports PEP 11 [https://peps.python.org/pep-0011/] support tiers.

gh-69093 [https://github.com/python/cpython/issues/69093]: Fix Modules/Setup.stdlib.in rule for _sqlite3 extension.

gh-93207 [https://github.com/python/cpython/issues/93207]: va_start() with two parameters, like va_start(args, format), is now required to build Python. va_start() is no longer called with a single parameter. Patch by Kumar Aditya.

gh-93202 [https://github.com/python/cpython/issues/93202]: Python now always use the %zu and %zd printf formats to format a size_t or Py_ssize_t number. Building Python 3.12 requires a C11 compiler, so these printf formats are now always supported. Patch by Victor Stinner.

gh-90473 [https://github.com/python/cpython/issues/90473]: Disable pymalloc and increase stack size on wasm32-wasi.

bpo-34449 [https://bugs.python.org/issue?@action=redirect&bpo=34449]: Drop invalid compiler switch -fPIC for HP aCC on HP-UX. Patch by Michael Osipov.

Windows

gh-98360 [https://github.com/python/cpython/issues/98360]: Fixes multiprocessing spawning child processes on Windows from a virtual environment to ensure that child processes that also use multiprocessing to spawn more children will recognize that they are in a virtual environment.

gh-98414 [https://github.com/python/cpython/issues/98414]: Fix py.exe launcher handling of -V:<company>/ option when default preferences have been set in environment variables or configuration files.

gh-97728 [https://github.com/python/cpython/issues/97728]: Fix possible crashes caused by the use of uninitialized variables when pass invalid arguments in os.system() on Windows and in Windows-specific modules (like winreg).

gh-90989 [https://github.com/python/cpython/issues/90989]: Made Inicializador Python para Windows install per-user by default (unless an all users install already exists), and clarify some text in the installer.

gh-97649 [https://github.com/python/cpython/issues/97649]: The Tools directory is no longer installed on Windows

gh-96965 [https://github.com/python/cpython/issues/96965]: Update libffi to 3.4.3

gh-96577 [https://github.com/python/cpython/issues/96577]: Fixes a potential buffer overrun in msilib.

gh-96559 [https://github.com/python/cpython/issues/96559]: Fixes the Windows launcher not using the compatible interpretation of default tags found in configuration files when no tag was passed to the command.

gh-94781 [https://github.com/python/cpython/issues/94781]: Fix pcbuild.proj to clean previous instances of output files in Python\deepfreeze and Python\frozen_modules directories on Windows. Patch by Charlie Zhao.

gh-89545 [https://github.com/python/cpython/issues/89545]: Updates platform code getting the Windows version to use native Windows Management Instrumentation (WMI) queries to determine OS version, type, and architecture.

gh-95733 [https://github.com/python/cpython/issues/95733]: Make certain requirements of the Windows Store package optional to allow installing on earlier updates of Windows.

gh-95656 [https://github.com/python/cpython/issues/95656]: Enable the enable_load_extension() sqlite3 API.

gh-95587 [https://github.com/python/cpython/issues/95587]: Fixes some issues where the Windows installer would incorrectly detect certain features of an existing install when upgrading.

gh-94399 [https://github.com/python/cpython/issues/94399]: Restores the behaviour of Inicializador Python para Windows for /usr/bin/env shebang lines, which will now search PATH for an executable matching the given command. If none is found, the usual search process is used.

gh-95445 [https://github.com/python/cpython/issues/95445]: Fixes the unsuccessful removal of the HTML document directory when uninstalling with Windows msi.

gh-95359 [https://github.com/python/cpython/issues/95359]: Fix Inicializador Python para Windows handling of py.ini commands (it was incorrectly expecting a py_ prefix on keys) and crashes when reading per-user configuration file.

gh-95285 [https://github.com/python/cpython/issues/95285]: Fix Inicializador Python para Windows handling of command lines where it is only passed a short executable name.

gh-90844 [https://github.com/python/cpython/issues/90844]: Allow virtual environments to correctly launch when they have spaces in the path.

gh-94772 [https://github.com/python/cpython/issues/94772]: Fix incorrect handling of shebang lines in py.exe launcher

gh-94018 [https://github.com/python/cpython/issues/94018]: zipfile will now remove trailing spaces from path components when extracting files on Windows.

gh-93824 [https://github.com/python/cpython/issues/93824]: Drag and drop of files onto Python files in Windows Explorer has been enabled for Windows ARM64.

gh-43414 [https://github.com/python/cpython/issues/43414]: os.get_terminal_size() now attempts to read the size from any provided handle, rather than only supporting file descriptors 0, 1 and 2.

gh-92817 [https://github.com/python/cpython/issues/92817]: Ensures that py.exe will prefer an active virtual environment over default tags specified with environment variables or through a py.ini file.

gh-92984 [https://github.com/python/cpython/issues/92984]: Explicitly disable incremental linking for non-Debug builds

gh-92841 [https://github.com/python/cpython/issues/92841]: asyncio no longer throws RuntimeError: Event loop is closed on interpreter exit after asynchronous socket activity. Patch by Oleg Iarygin.

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update Windows installer to use SQLite 3.38.4.

gh-91061 [https://github.com/python/cpython/issues/91061]: Accept os.PathLike for the argument to winsound.PlaySound

bpo-42658 [https://bugs.python.org/issue?@action=redirect&bpo=42658]: Support native Windows case-insensitive path comparisons by using LCMapStringEx instead of str.lower() in ntpath.normcase(). Add LCMapStringEx to the _winapi module.

bpo-38704 [https://bugs.python.org/issue?@action=redirect&bpo=38704]: Prevent installation on unsupported Windows versions.

macOS

gh-97897 [https://github.com/python/cpython/issues/97897]: The macOS 13 SDK includes support for the mkfifoat and mknodat system calls. Using the dir_fd option with either os.mkfifo() or os.mknod() could result in a segfault if cpython is built with the macOS 13 SDK but run on an earlier version of macOS. Prevent this by adding runtime support for detection of these system calls (“weaklinking”) as is done for other newer syscalls on macOS.

IDLE

gh-97527 [https://github.com/python/cpython/issues/97527]: Fix a bug in the previous bugfix that caused IDLE to not start when run with 3.10.8, 3.12.0a1, and at least Microsoft Python 3.10.2288.0 installed without the Lib/test package. 3.11.0 was never affected.

gh-65802 [https://github.com/python/cpython/issues/65802]: Document handling of extensions in Save As dialogs.

gh-95191 [https://github.com/python/cpython/issues/95191]: Include prompts when saving Shell (interactive input and output).

gh-95511 [https://github.com/python/cpython/issues/95511]: Fix the Shell context menu copy-with-prompts bug of copying an extra line when one selects whole lines.

gh-95471 [https://github.com/python/cpython/issues/95471]: In the Edit menu, move Select All and add a new separator.

gh-95411 [https://github.com/python/cpython/issues/95411]: Enable using IDLE’s module browser with .pyw files.

gh-89610 [https://github.com/python/cpython/issues/89610]: Add .pyi as a recognized extension for IDLE on macOS. This allows opening stub files by double clicking on them in the Finder.

Tools/Demos

gh-68686 [https://github.com/python/cpython/issues/68686]: Remove ptags and eptags scripts.

gh-97681 [https://github.com/python/cpython/issues/97681]: Remove the Tools/demo/ directory which contained old demo scripts. A copy can be found in the old-demos project [https://github.com/gvanrossum/old-demos]. Patch by Victor Stinner.

gh-97669 [https://github.com/python/cpython/issues/97669]: Remove outdated example scripts of the Tools/scripts/ directory. A copy can be found in the old-demos project [https://github.com/gvanrossum/old-demos]. Patch by Victor Stinner.

gh-95853 [https://github.com/python/cpython/issues/95853]: The wasm_build.py script now pre-builds Emscripten ports, checks for broken EMSDK versions, and warns about pkg-config env vars.

gh-95853 [https://github.com/python/cpython/issues/95853]: The new tool Tools/wasm/wasm_builder.py automates configure, compile, and test steps for building CPython on WebAssembly platforms.

gh-95731 [https://github.com/python/cpython/issues/95731]: Fix handling of module docstrings in Tools/i18n/pygettext.py.

gh-93939 [https://github.com/python/cpython/issues/93939]: Add script Tools/scripts/check_modules.py to check and validate builtin and shared extension modules. The script also handles Modules/Setup and will eventually replace setup.py.

gh-94538 [https://github.com/python/cpython/issues/94538]: Fix Argument Clinic output to custom file destinations. Patch by Erlend E. Aasland.

gh-94430 [https://github.com/python/cpython/issues/94430]: Allow parameters named module and self with custom C names in Argument Clinic. Patch by Erlend E. Aasland

gh-86087 [https://github.com/python/cpython/issues/86087]: The Tools/scripts/parseentities.py script used to parse HTML4 entities has been removed.

C API

gh-98393 [https://github.com/python/cpython/issues/98393]: The PyUnicode_FSDecoder() function no longer accepts bytes-like paths, like bytearray and memoryview types: only the exact bytes type is accepted for bytes strings. Patch by Victor Stinner.

gh-91051 [https://github.com/python/cpython/issues/91051]: Add PyType_Watch() and related APIs to allow callbacks on PyType_Modified().

gh-95756 [https://github.com/python/cpython/issues/95756]: Lazily create and cache co_ attributes for better performance for code getters.

gh-96512 [https://github.com/python/cpython/issues/96512]: Configuration for the integer string conversion length limitation now lives in the PyConfig C API struct.

gh-95589 [https://github.com/python/cpython/issues/95589]: Extensions classes that set tp_dictoffset and tp_weaklistoffset lose the support for multiple inheritance, but are now safe. Extension classes should use Py_TPFLAGS_MANAGED_DICT and Py_TPFLAGS_MANAGED_WEAKREF instead.

gh-95781 [https://github.com/python/cpython/issues/95781]: An unrecognized format character in PyUnicode_FromFormat() and PyUnicode_FromFormatV() now sets a SystemError. In previous versions it caused all the rest of the format string to be copied as-is to the result string, and any extra arguments discarded.

gh-92678 [https://github.com/python/cpython/issues/92678]: Restore the 3.10 behavior for multiple inheritance of C extension classes that store their dictionary at the end of the struct.

gh-92678 [https://github.com/python/cpython/issues/92678]: Support C extensions using managed dictionaries by setting the Py_TPFLAGS_MANAGED_DICT flag.

gh-93274 [https://github.com/python/cpython/issues/93274]: API for implementing vectorcall (Py_TPFLAGS_HAVE_VECTORCALL, PyVectorcall_NARGS() and PyVectorcall_Call()) was added to the limited API and stable ABI.

gh-95504 [https://github.com/python/cpython/issues/95504]: Fix sign placement when specifying width or precision in PyUnicode_FromFormat() and PyUnicode_FromFormatV(). Patch by Philip Georgi.

gh-93012 [https://github.com/python/cpython/issues/93012]: The Py_TPFLAGS_HAVE_VECTORCALL flag is now removed from a class when the class’s __call__() method is reassigned. This makes vectorcall safe to use with mutable types (i.e. heap types without the immutable flag). Mutable types that do not override tp_call now inherit the Py_TPFLAGS_HAVE_VECTORCALL flag.

gh-95388 [https://github.com/python/cpython/issues/95388]: Creating immutable types with mutable bases is deprecated and is planned to be disabled in Python 3.14.

gh-92678 [https://github.com/python/cpython/issues/92678]: Adds unstable C-API functions _PyObject_VisitManagedDict and _PyObject_ClearManagedDict to allow C extensions to allow the VM to manage their object’s dictionaries.

gh-94936 [https://github.com/python/cpython/issues/94936]: Added PyCode_GetVarnames(), PyCode_GetCellvars() and PyCode_GetFreevars() for accessing co_varnames, co_cellvars and co_freevars respectively via the C API.

gh-94930 [https://github.com/python/cpython/issues/94930]: Fix SystemError raised when PyArg_ParseTupleAndKeywords() is used with # in (...) but without PY_SSIZE_T_CLEAN defined.

gh-94731 [https://github.com/python/cpython/issues/94731]: Python again uses C-style casts for most casting operations when compiled with C++. This may trigger compiler warnings, if they are enabled with e.g. -Wold-style-cast or -Wzero-as-null-pointer-constant options for g++.

gh-93937 [https://github.com/python/cpython/issues/93937]: The following frame functions and type are now directly available with #include <Python.h>, it’s no longer needed to add #include <frameobject.h>:

PyFrame_Check()

PyFrame_GetBack()

PyFrame_GetBuiltins()

PyFrame_GetGenerator()

PyFrame_GetGlobals()

PyFrame_GetLasti()

PyFrame_GetLocals()

PyFrame_Type

Patch by Victor Stinner.

gh-91321 [https://github.com/python/cpython/issues/91321]: Fix the compatibility of the Python C API with C++ older than C++11. Patch by Victor Stinner.

gh-91731 [https://github.com/python/cpython/issues/91731]: Avoid defining the static_assert when compiling with C++ 11, where this is a keyword and redefining it can lead to undefined behavior. Patch by Pablo Galindo

gh-89546 [https://github.com/python/cpython/issues/89546]: PyType_FromMetaclass() (and other PyType_From* functions) now check that offsets and the base class’s tp_basicsize fit in the new class’s tp_basicsize.

gh-93503 [https://github.com/python/cpython/issues/93503]: Add two new public functions to the public C-API, PyEval_SetProfileAllThreads() and PyEval_SetTraceAllThreads(), that allow to set tracing and profiling functions in all running threads in addition to the calling one. Also, two analogous functions to the threading module (threading.setprofile_all_threads() and threading.settrace_all_threads()) that allow to do the same from Python. Patch by Pablo Galindo

gh-93442 [https://github.com/python/cpython/issues/93442]: Add C++ overloads for _Py_CAST_impl() to handle 0/NULL. This will allow C++ extensions that pass 0 or NULL to macros using _Py_CAST() to continue to compile.

gh-93466 [https://github.com/python/cpython/issues/93466]: Slot IDs in PyType_Spec may not be repeated. The documentation was updated to mention this. For some cases of repeated slots, PyType_FromSpec and related functions will now raise an exception.

gh-92898 [https://github.com/python/cpython/issues/92898]: Fix C++ compiler warnings when casting function arguments to PyObject*. Patch by Serge Guelton.

gh-93103 [https://github.com/python/cpython/issues/93103]: Deprecate global configuration variables, like Py_IgnoreEnvironmentFlag, in the documentation: the Py_InitializeFromConfig() API should be instead. Patch by Victor Stinner.

gh-77782 [https://github.com/python/cpython/issues/77782]: Deprecate global configuration variable like Py_IgnoreEnvironmentFlag: the Py_InitializeFromConfig() API should be instead. Patch by Victor Stinner.

gh-92913 [https://github.com/python/cpython/issues/92913]: Ensures changes to PyConfig.module_search_paths are ignored unless PyConfig.module_search_paths_set is set

gh-92781 [https://github.com/python/cpython/issues/92781]: Avoid mixing declarations and code in the C API to fix the compiler warning: “ISO C90 forbids mixed declarations and code” [-Werror=declaration-after-statement]. Patch by Victor Stinner.

gh-92651 [https://github.com/python/cpython/issues/92651]: Remove the token.h header file. There was never any public tokenizer C API. The token.h header file was only designed to be used by Python internals. Patch by Victor Stinner.

gh-92536 [https://github.com/python/cpython/issues/92536]: Remove legacy Unicode APIs based on Py_UNICODE*.

gh-85858 [https://github.com/python/cpython/issues/85858]: Remove the PyUnicode_InternImmortal() function and the SSTATE_INTERNED_IMMORTAL macro. Patch by Victor Stinner.

gh-92193 [https://github.com/python/cpython/issues/92193]: Add new function PyFunction_SetVectorcall() to the C API which sets the vectorcall field of a given PyFunctionObject.

Warning: extensions using this API must preserve the behavior of the unaltered function!

gh-59121 [https://github.com/python/cpython/issues/59121]: Fixed an assert that prevented PyRun_InteractiveOne from providing tracebacks when parsing from the provided FD.

bpo-45383 [https://bugs.python.org/issue?@action=redirect&bpo=45383]: The PyType_FromSpec() API will now find and use a metaclass based on the provided bases. An error will be raised if there is a metaclass conflict.

Python 3.11.0 beta 1

Release date: 2022-05-06

Security

gh-57684 [https://github.com/python/cpython/issues/57684]: Add the -P command line option and the PYTHONSAFEPATH environment variable to not prepend a potentially unsafe path to sys.path. Patch by Victor Stinner.

Core and Builtins

gh-89519 [https://github.com/python/cpython/issues/89519]: Chaining classmethod descriptors (introduced in bpo-19072 [https://bugs.python.org/issue?@action=redirect&bpo=19072]) is deprecated. It can no longer be used to wrap other descriptors such as property(). The core design of this feature was flawed, and it caused a number of downstream problems.

gh-92345 [https://github.com/python/cpython/issues/92345]: pymain_run_python() now imports readline and rlcompleter before sys.path is extended to include the current working directory of an interactive interpreter. Non-interactive interpreters are not affected.

bpo-43857 [https://bugs.python.org/issue?@action=redirect&bpo=43857]: Improve the AttributeError message when deleting a missing attribute. Patch by Géry Ogam.

gh-92245 [https://github.com/python/cpython/issues/92245]: Make sure that PEP 523 is respected in all cases. In 3.11a7, specialization may have prevented Python-to-Python calls respecting PEP 523.

gh-92203 [https://github.com/python/cpython/issues/92203]: Add a closure keyword-only parameter to exec(). It can only be specified when exec-ing a code object that uses free variables. When specified, it must be a tuple, with exactly the number of cell variables referenced by the code object. closure has a default value of None, and it must be None if the code object doesn’t refer to any free variables.

gh-91173 [https://github.com/python/cpython/issues/91173]: Disable frozen modules in debug builds. Patch by Kumar Aditya.

gh-92114 [https://github.com/python/cpython/issues/92114]: Improve error message when subscript a type with __class_getitem__ set to None.

gh-92112 [https://github.com/python/cpython/issues/92112]: Fix crash triggered by an evil custom mro() on a metaclass.

gh-92063 [https://github.com/python/cpython/issues/92063]: The PRECALL_METHOD_DESCRIPTOR_FAST_WITH_KEYWORDS instruction now ensures methods are called only on objects of the correct type.

gh-92031 [https://github.com/python/cpython/issues/92031]: Deoptimize statically allocated code objects during Py_FINALIZE() so that future _PyCode_Quicken calls always start with unquickened code.

gh-92036 [https://github.com/python/cpython/issues/92036]: Fix a crash in subinterpreters related to the garbage collector. When a subinterpreter is deleted, untrack all objects tracked by its GC. To prevent a crash in deallocator functions expecting objects to be tracked by the GC, leak a strong reference to these objects on purpose, so they are never deleted and their deallocator functions are not called. Patch by Victor Stinner.

gh-92032 [https://github.com/python/cpython/issues/92032]: The interpreter can now autocomplete soft keywords, as of now match, case, and _ (wildcard pattern) from PEP 634 [https://peps.python.org/pep-0634/].

gh-87999 [https://github.com/python/cpython/issues/87999]: The warning emitted by the Python parser for a numeric literal immediately followed by keyword has been changed from deprecation warning to syntax warning.

gh-91869 [https://github.com/python/cpython/issues/91869]: Fix an issue where specialized opcodes with extended arguments could produce incorrect tracing output or lead to assertion failures.

gh-91603 [https://github.com/python/cpython/issues/91603]: Speed up types.UnionType instantiation. Based on patch provided by Yurii Karabas.

gh-89373 [https://github.com/python/cpython/issues/89373]: If Python is built in debug mode, Python now ensures that deallocator functions leave the current exception unchanged. Patch by Victor Stinner.

gh-91632 [https://github.com/python/cpython/issues/91632]: Fix a minor memory leak at exit: release the memory of the generic_alias_iterator type. Patch by Donghee Na.

gh-81548 [https://github.com/python/cpython/issues/81548]: Octal escapes with value larger than 0o377 now produce a DeprecationWarning. In a future Python version they will be a SyntaxWarning and eventually a SyntaxError.

bpo-43950 [https://bugs.python.org/issue?@action=redirect&bpo=43950]: Use a single compact table for line starts, ends and column offsets. Reduces memory consumption for location info by half

gh-91102 [https://github.com/python/cpython/issues/91102]: Use Argument Clinic for EncodingMap. Patch by Oleg Iarygin.

gh-91636 [https://github.com/python/cpython/issues/91636]: Fixed a crash in a garbage-collection edge-case, in which a PyFunction_Type.tp_clear function could leave a python function object in an inconsistent state.

gh-91603 [https://github.com/python/cpython/issues/91603]: Speed up isinstance() and issubclass() checks for types.UnionType. Patch by Yurii Karabas.

gh-91625 [https://github.com/python/cpython/issues/91625]: Fixed a bug in which adaptive opcodes ignored any preceding EXTENDED_ARGs on specialization failure.

gh-78607 [https://github.com/python/cpython/issues/78607]: The LLTRACE special build now looks for the name __lltrace__ defined in module globals, rather than the name __ltrace__, which had been introduced as a typo.

gh-91576 [https://github.com/python/cpython/issues/91576]: Speed up iteration of ascii strings by 50%. Patch by Kumar Aditya.

gh-89279 [https://github.com/python/cpython/issues/89279]: Improve interpreter performance on Windows by inlining a few specific macros.

gh-91502 [https://github.com/python/cpython/issues/91502]: Add a new _PyFrame_IsEntryFrame() API function, to check if a PyFrameObject is an entry frame. Patch by Pablo Galindo.

gh-91266 [https://github.com/python/cpython/issues/91266]: Refactor the bytearray strip methods strip, lstrip and rstrip to use a common implementation.

gh-91479 [https://github.com/python/cpython/issues/91479]: Replaced the __note__ field of BaseException (added in an earlier version of 3.11) with the final design of PEP 678 [https://peps.python.org/pep-0678/]. Namely, BaseException gets an add_note() method, and its __notes__ field is created when necessary.

gh-46055 [https://github.com/python/cpython/issues/46055]: Speed up right shift of negative integers, by removing unnecessary creation of temporaries. Original patch by Xinhang Xu, reworked by Mark Dickinson.

gh-91462 [https://github.com/python/cpython/issues/91462]: Make the interpreter’s low-level tracing (lltrace) feature output more readable by displaying opcode names (rather than just numbers), and by displaying stack contents before each opcode.

gh-89455 [https://github.com/python/cpython/issues/89455]: Fixed an uninitialized bool value in the traceback printing code path that was introduced by the initial bpo-45292 [https://bugs.python.org/issue?@action=redirect&bpo=45292] exception groups work.

gh-91421 [https://github.com/python/cpython/issues/91421]: Fix a potential integer overflow in _Py_DecodeUTF8Ex.

gh-91428 [https://github.com/python/cpython/issues/91428]: Add static const char *const _PyOpcode_OpName[256] = {...}; to opcode.h for debug builds to assist in debugging the Python interpreter. It is now more convenient to make various forms of debugging output more human-readable by including opcode names rather than just the corresponding decimal digits.

bpo-47120 [https://bugs.python.org/issue?@action=redirect&bpo=47120]: Make POP_JUMP_IF_TRUE, POP_JUMP_IF_FALSE, POP_JUMP_IF_NONE and POP_JUMP_IF_NOT_NONE virtual, mapping to new relative jump opcodes.

bpo-45317 [https://bugs.python.org/issue?@action=redirect&bpo=45317]: Add internal documentation explaining design of new (for 3.11) frame stack.

bpo-47197 [https://bugs.python.org/issue?@action=redirect&bpo=47197]: ctypes used to mishandle void return types, so that for instance a function declared like ctypes.CFUNCTYPE(None, ctypes.c_int) would be called with signature int f(int) instead of void f(int). Wasm targets require function pointers to be called with the correct signatures so this led to crashes. The problem is now fixed.

bpo-47120 [https://bugs.python.org/issue?@action=redirect&bpo=47120]: Make opcodes JUMP_IF_TRUE_OR_POP and JUMP_IF_FALSE_OR_POP relative rather than absolute.

bpo-47177 [https://bugs.python.org/issue?@action=redirect&bpo=47177]: Replace the f_lasti member of the internal _PyInterpreterFrame structure with a prev_instr pointer, which reduces overhead in the main interpreter loop. The f_lasti attribute of Python-layer frame objects is preserved for backward-compatibility.

bpo-46961 [https://bugs.python.org/issue?@action=redirect&bpo=46961]: Integer mod/remainder operations, including the three-argument form of pow(), now consistently return ints from the global small integer cache when applicable.

bpo-46962 [https://bugs.python.org/issue?@action=redirect&bpo=46962]: Classes and functions that unconditionally declared their docstrings ignoring the --without-doc-strings compilation flag no longer do so.

The classes affected are ctypes.UnionType, pickle.PickleBuffer, testcapi.RecursingInfinitelyError, and types.GenericAlias.

The functions affected are 24 methods in ctypes.

Patch by Oleg Iarygin.

bpo-46942 [https://bugs.python.org/issue?@action=redirect&bpo=46942]: Use Argument Clinic for the types.MethodType constructor. Patch by Oleg Iarygin.

bpo-46764 [https://bugs.python.org/issue?@action=redirect&bpo=46764]: Fix wrapping bound methods with @classmethod

bpo-43464 [https://bugs.python.org/issue?@action=redirect&bpo=43464]: Optimize set.intersection() for non-set arguments.

bpo-46721 [https://bugs.python.org/issue?@action=redirect&bpo=46721]: Optimize set.issuperset() for non-set argument.

bpo-46509 [https://bugs.python.org/issue?@action=redirect&bpo=46509]: Add type-specialized versions of the Py_DECREF(), and use them for float, int, str, bool, and None to avoid pointer-chasing at runtime where types are known at C compile time.

bpo-46045 [https://bugs.python.org/issue?@action=redirect&bpo=46045]: Do not use POSIX semaphores on NetBSD

bpo-36819 [https://bugs.python.org/issue?@action=redirect&bpo=36819]: Fix crashes in built-in encoders with error handlers that return position less or equal than the starting position of non-encodable characters.

bpo-34093 [https://bugs.python.org/issue?@action=redirect&bpo=34093]: marshal.dumps() uses FLAG_REF for all interned strings. This makes output more deterministic and helps reproducible build.

bpo-26579 [https://bugs.python.org/issue?@action=redirect&bpo=26579]: Added object.__getstate__ which provides the default implementation of the __getstate__() method.

Copying and pickling instances of subclasses of builtin types bytearray, set, frozenset, collections.OrderedDict, collections.deque, weakref.WeakSet, and datetime.tzinfo now copies and pickles instance attributes implemented as slots.

Library

gh-87901 [https://github.com/python/cpython/issues/87901]: Add the encoding parameter to os.popen().

gh-90997 [https://github.com/python/cpython/issues/90997]: Fix an issue where dis utilities may interpret populated inline cache entries as valid instructions.

gh-92332 [https://github.com/python/cpython/issues/92332]: Deprecate typing.Text (removal of the class is currently not planned). Patch by Alex Waygood.

Deprecate nested classes in enum definitions becoming members – in 3.13 they will be normal classes; add member and nonmember functions to allow control over results now.

gh-92356 [https://github.com/python/cpython/issues/92356]: Fixed a performance regression in ctypes function calls.

gh-90997 [https://github.com/python/cpython/issues/90997]: Show the actual named values stored in inline caches when show_caches=True is passed to dis utilities.

gh-92301 [https://github.com/python/cpython/issues/92301]: Prefer close_range() to iterating over procfs for file descriptor closing in subprocess for better performance.

gh-67248 [https://github.com/python/cpython/issues/67248]: Sort the miscellaneous topics in Cmd.do_help()

gh-92210 [https://github.com/python/cpython/issues/92210]: Port socket.__init__ to Argument Clinic. Patch by Cinder.

gh-80010 [https://github.com/python/cpython/issues/80010]: Add support for generalized ISO 8601 parsing to datetime.datetime.fromisoformat(), datetime.date.fromisoformat() and datetime.time.fromisoformat(). Patch by Paul Ganssle.

gh-92118 [https://github.com/python/cpython/issues/92118]: Fix a 3.11 regression in contextmanager(), which caused it to propagate exceptions with incorrect tracebacks.

gh-90887 [https://github.com/python/cpython/issues/90887]: Adding COPYFILE_STAT, COPYFILE_ACL and COPYFILE_XATTR constants for os.fcopyfile() available in macOs.

gh-91215 [https://github.com/python/cpython/issues/91215]: For @dataclass, add weakref_slot. The new parameter defaults to False. If true, and if slots=True, add a slot named "__weakref__", which will allow instances to be weakref’d. Contributed by Eric V. Smith

gh-85984 [https://github.com/python/cpython/issues/85984]: New function os.login_tty() for Unix.

gh-92128 [https://github.com/python/cpython/issues/92128]: Add __class_getitem__() to logging.LoggerAdapter and logging.StreamHandler, allowing them to be parameterized at runtime. Patch by Alex Waygood.

gh-92049 [https://github.com/python/cpython/issues/92049]: Forbid pickling constants re._constants.SUCCESS etc. Previously, pickling did not fail, but the result could not be unpickled.

gh-92062 [https://github.com/python/cpython/issues/92062]: inspect.Parameter now raises ValueError if name is a keyword, in addition to the existing check that it is an identifier.

gh-87390 [https://github.com/python/cpython/issues/87390]: Add an __unpacked__ attribute to types.GenericAlias. Patch by Jelle Zijlstra.

gh-88089 [https://github.com/python/cpython/issues/88089]: Add support for generic typing.NamedTuple.

gh-91996 [https://github.com/python/cpython/issues/91996]: New http.HTTPMethod enum to represent all the available HTTP request methods in a convenient way

gh-91984 [https://github.com/python/cpython/issues/91984]: Modified test strings in test_argparse.py to not contain trailing spaces before end of line.

gh-91952 [https://github.com/python/cpython/issues/91952]: Add encoding="locale" support to TextIOWrapper.reconfigure().

gh-91954 [https://github.com/python/cpython/issues/91954]: Add encoding and errors arguments to subprocess.getoutput() and subprocess.getstatusoutput().

bpo-47029 [https://bugs.python.org/issue?@action=redirect&bpo=47029]: Always close the read end of the pipe used by multiprocessing.Queue after the last write of buffered data to the write end of the pipe to avoid BrokenPipeError at garbage collection and at multiprocessing.Queue.close() calls. Patch by Géry Ogam.

gh-91928 [https://github.com/python/cpython/issues/91928]: Add datetime.UTC alias for datetime.timezone.utc.

Patch by Kabir Kwatra.

gh-68966 [https://github.com/python/cpython/issues/68966]: The mailcap module is now deprecated and will be removed in Python 3.13. See PEP 594 [https://peps.python.org/pep-0594/] for the rationale and the mimetypes module for an alternative. Patch by Victor Stinner.

gh-91401 [https://github.com/python/cpython/issues/91401]: Provide a way to disable subprocess use of vfork() just in case it is ever needed and document the existing mechanism for posix_spawn().

gh-64783 [https://github.com/python/cpython/issues/64783]: Fix signal.NSIG value on FreeBSD to accept signal numbers greater than 32, like signal.SIGRTMIN and signal.SIGRTMAX. Patch by Victor Stinner.

gh-91910 [https://github.com/python/cpython/issues/91910]: Add missing f prefix to f-strings in error messages from the multiprocessing and asyncio modules.

gh-91860 [https://github.com/python/cpython/issues/91860]: Add typing.dataclass_transform(), implementing PEP 681 [https://peps.python.org/pep-0681/]. Patch by Jelle Zijlstra.

gh-91832 [https://github.com/python/cpython/issues/91832]: Add required attribute to argparse.Action repr output.

gh-91827 [https://github.com/python/cpython/issues/91827]: In the tkinter module add method info_patchlevel() which returns the exact version of the Tcl library as a named tuple similar to sys.version_info.

gh-84461 [https://github.com/python/cpython/issues/84461]: Add --enable-wasm-pthreads to enable pthreads support for WASM builds. Emscripten/node no longer has threading enabled by default. Include additional file systems.

gh-91821 [https://github.com/python/cpython/issues/91821]: Fix unstable test_from_tuple test in test_decimal.py.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the xdrlib module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the uu module.

gh-91760 [https://github.com/python/cpython/issues/91760]: More strict rules will be applied for numerical group references and group names in regular expressions. For now, a deprecation warning is emitted for group references and group names which will be errors in future Python versions.

gh-84461 [https://github.com/python/cpython/issues/84461]: Add provisional sys._emscripten_info named tuple with build-time and run-time information about Emscripten platform.

gh-90623 [https://github.com/python/cpython/issues/90623]: signal.raise_signal() and os.kill() now check immediately for pending signals. Patch by Victor Stinner.

gh-91734 [https://github.com/python/cpython/issues/91734]: Fix OSS audio support on Solaris.

gh-90633 [https://github.com/python/cpython/issues/90633]: Include the passed value in the exception thrown by typing.assert_never(). Patch by Jelle Zijlstra.

gh-91700 [https://github.com/python/cpython/issues/91700]: Compilation of regular expression containing a conditional expression (?(group)...) now raises an appropriate re.error if the group number refers to not defined group. Previously an internal RuntimeError was raised.

gh-91231 [https://github.com/python/cpython/issues/91231]: Add an optional keyword shutdown_timeout parameter to the multiprocessing.BaseManager constructor. Kill the process if terminate() takes longer than the timeout. Patch by Victor Stinner.

gh-91621 [https://github.com/python/cpython/issues/91621]: Fix typing.get_type_hints() for collections.abc.Callable. Patch by Shantanu Jain.

gh-90568 [https://github.com/python/cpython/issues/90568]: Parsing \N escapes of Unicode Named Character Sequences in a regular expression raises now re.error instead of TypeError.

gh-91670 [https://github.com/python/cpython/issues/91670]: Remove deprecated SO config variable in sysconfig.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the telnetlib module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the sunau module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the spwd module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the sndhdr module, as well as inline needed functionality for email.mime.MIMEAudio.

gh-91616 [https://github.com/python/cpython/issues/91616]: re module, fix fullmatch() mismatch when using Atomic Grouping or Possessive Quantifiers.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the ‘pipes’ module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the ossaudiodev module.

bpo-47256 [https://bugs.python.org/issue?@action=redirect&bpo=47256]: re module, limit the maximum capturing group to 1,073,741,823 in 64-bit build, this increases the depth of backtracking.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the nis module.

gh-91595 [https://github.com/python/cpython/issues/91595]: Fix the comparison of character and integer inside Tools.gdb.libpython.write_repr(). Patch by Yu Liu.

gh-74166 [https://github.com/python/cpython/issues/74166]: Add option to raise all errors from create_connection() in an ExceptionGroup when it fails to create a connection. The default remains to raise only the last error that had occurred when multiple addresses were tried.

gh-91487 [https://github.com/python/cpython/issues/91487]: Optimize asyncio UDP speed, over 100 times faster when transferring a large file.

gh-91575 [https://github.com/python/cpython/issues/91575]: Update case-insensitive matching in the re module to the latest Unicode version.

gh-90622 [https://github.com/python/cpython/issues/90622]: In concurrent.futures.process.ProcessPoolExecutor disallow the “fork” multiprocessing start method when the new max_tasks_per_child feature is used as the mix of threads+fork can hang the child processes. Default to using the safe “spawn” start method in that circumstance if no mp_context was supplied.

gh-89022 [https://github.com/python/cpython/issues/89022]: In sqlite3, SQLITE_MISUSE result codes are now mapped to InterfaceError instead of ProgrammingError. Also, more accurate exceptions are raised when binding parameters fail. Patch by Erlend E. Aasland.

gh-91526 [https://github.com/python/cpython/issues/91526]: Stop calling os.device_encoding(file.fileno()) in TextIOWrapper. It was complex, never documented, and didn’t work for most cases. (Patch by Inada Naoki.)

gh-88116 [https://github.com/python/cpython/issues/88116]: Change the frame-related functions in the inspect module to return a regular object (that is backwards compatible with the old tuple-like interface) that include the extended PEP 657 [https://peps.python.org/pep-0657/] position information (end line number, column and end column). The affected functions are: inspect.getframeinfo(), inspect.getouterframes(), inspect.getinnerframes(), inspect.stack() and inspect.trace(). Patch by Pablo Galindo.

gh-69093 [https://github.com/python/cpython/issues/69093]: Add indexing and slicing support to sqlite3.Blob. Patch by Aviv Palivoda and Erlend E. Aasland.

gh-69093 [https://github.com/python/cpython/issues/69093]: Add context manager support to sqlite3.Blob. Patch by Aviv Palivoda and Erlend E. Aasland.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate nntplib.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate msilib.

gh-91404 [https://github.com/python/cpython/issues/91404]: Improve the performance of re matching by using computed gotos (or “threaded code”) on supported platforms and removing expensive pointer indirections.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the imghdr module.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the crypt module.

gh-91276 [https://github.com/python/cpython/issues/91276]: Make space for longer opcodes in dis output.

bpo-47000 [https://bugs.python.org/issue?@action=redirect&bpo=47000]: Make TextIOWrapper uses locale encoding when encoding="locale" is specified even in UTF-8 mode.

gh-91230 [https://github.com/python/cpython/issues/91230]: warnings.catch_warnings() now accepts arguments for warnings.simplefilter(), providing a more concise way to locally ignore warnings or convert them to errors.

gh-91217 [https://github.com/python/cpython/issues/91217]: Deprecate the chunk module.

Add the TCP_CONNECTION_INFO option (available on macOS) to socket.

bpo-47260 [https://bugs.python.org/issue?@action=redirect&bpo=47260]: Fix os.closerange() potentially being a no-op in a Linux seccomp sandbox.

bpo-47087 [https://bugs.python.org/issue?@action=redirect&bpo=47087]: Implement typing.Required and typing.NotRequired (PEP 655 [https://peps.python.org/pep-0655/]). Patch by David Foster and Jelle Zijlstra.

bpo-47061 [https://bugs.python.org/issue?@action=redirect&bpo=47061]: Deprecate cgi and cgitb.

bpo-47061 [https://bugs.python.org/issue?@action=redirect&bpo=47061]: Deprecate audioop.

bpo-47000 [https://bugs.python.org/issue?@action=redirect&bpo=47000]: Add locale.getencoding() to get the current locale encoding. It is similar to locale.getpreferredencoding(False) but ignores the Python UTF-8 Mode.

bpo-42012 [https://bugs.python.org/issue?@action=redirect&bpo=42012]: Add wsgiref.types, containing WSGI-specific types for static type checking.

bpo-47227 [https://bugs.python.org/issue?@action=redirect&bpo=47227]: Suppress expression chaining for more re parsing errors.

bpo-47211 [https://bugs.python.org/issue?@action=redirect&bpo=47211]: Remove undocumented and never working function re.template() and flag re.TEMPLATE. This was later reverted in 3.11.0b2 and deprecated instead.

bpo-47135 [https://bugs.python.org/issue?@action=redirect&bpo=47135]: decimal.localcontext() now accepts context attributes via keyword arguments

bpo-43323 [https://bugs.python.org/issue?@action=redirect&bpo=43323]: Fix errors in the email module if the charset itself contains undecodable/unencodable characters.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Disassembly of quickened code.

bpo-46681 [https://bugs.python.org/issue?@action=redirect&bpo=46681]: Forward gzip.compress() compresslevel to zlib.

bpo-45100 [https://bugs.python.org/issue?@action=redirect&bpo=45100]: Add typing.get_overloads() and typing.clear_overloads(). Patch by Jelle Zijlstra.

bpo-44807 [https://bugs.python.org/issue?@action=redirect&bpo=44807]: typing.Protocol no longer silently replaces __init__() methods defined on subclasses. Patch by Adrian Garcia Badaracco.

bpo-46787 [https://bugs.python.org/issue?@action=redirect&bpo=46787]: Fix concurrent.futures.ProcessPoolExecutor exception memory leak

bpo-46720 [https://bugs.python.org/issue?@action=redirect&bpo=46720]: Add support for path-like objects to multiprocessing.set_executable() for Windows to be on a par with Unix-like systems. Patch by Géry Ogam.

bpo-46696 [https://bugs.python.org/issue?@action=redirect&bpo=46696]: Add SO_INCOMING_CPU constant to socket.

bpo-46053 [https://bugs.python.org/issue?@action=redirect&bpo=46053]: Fix OSS audio support on NetBSD.

bpo-45639 [https://bugs.python.org/issue?@action=redirect&bpo=45639]: image/avif and image/webp were added to mimetypes.

bpo-46285 [https://bugs.python.org/issue?@action=redirect&bpo=46285]: Add command-line option -p/--protocol to module http.server which specifies the HTTP version to which the server is conformant (HTTP/1.1 conformant servers can now be run from the command-line interface of module http.server). Patch by Géry Ogam.

bpo-44791 [https://bugs.python.org/issue?@action=redirect&bpo=44791]: Accept ellipsis as the last argument of typing.Concatenate.

bpo-46547 [https://bugs.python.org/issue?@action=redirect&bpo=46547]: Remove variables leaking into pydoc.Helper class namespace.

bpo-46415 [https://bugs.python.org/issue?@action=redirect&bpo=46415]: Fix ipaddress.ip_{address,interface,network} raising TypeError instead of ValueError if given invalid tuple as address parameter.

bpo-46075 [https://bugs.python.org/issue?@action=redirect&bpo=46075]: CookieJar with DefaultCookiePolicy now can process cookies from localhost with domain=localhost explicitly specified in Set-Cookie header.

bpo-45995 [https://bugs.python.org/issue?@action=redirect&bpo=45995]: Add a “z” option to the string formatting specification that coerces negative zero floating-point values to positive zero after rounding to the format precision. Contributed by John Belmonte.

bpo-26175 [https://bugs.python.org/issue?@action=redirect&bpo=26175]: Fully implement the io.BufferedIOBase or io.TextIOBase interface for tempfile.SpooledTemporaryFile objects. This lets them work correctly with higher-level layers (like compression modules). Patch by Carey Metcalfe.

bpo-45138 [https://bugs.python.org/issue?@action=redirect&bpo=45138]: Fix a regression in the sqlite3 trace callback where bound parameters were not expanded in the passed statement string. The regression was introduced in Python 3.10 by bpo-40318 [https://bugs.python.org/issue?@action=redirect&bpo=40318]. Patch by Erlend E. Aasland.

bpo-44863 [https://bugs.python.org/issue?@action=redirect&bpo=44863]: Allow TypedDict subclasses to also include Generic as a base class in class based syntax. Thereby allowing the user to define a generic TypedDict, just like a user-defined generic but with TypedDict semantics.

bpo-44587 [https://bugs.python.org/issue?@action=redirect&bpo=44587]: Fix BooleanOptionalAction to not automatically add a default string. If a default string is desired, use a formatter to add it.

bpo-43827 [https://bugs.python.org/issue?@action=redirect&bpo=43827]: All positional-or-keyword parameters to ABCMeta.__new__ are now positional-only to avoid conflicts with keyword arguments to be passed to __init_subclass__().

bpo-43218 [https://bugs.python.org/issue?@action=redirect&bpo=43218]: Prevent creation of a venv whose path contains the PATH separator. This could affect the usage of the activate script. Patch by Dustin Rodrigues.

bpo-38435 [https://bugs.python.org/issue?@action=redirect&bpo=38435]: Add a process_group parameter to subprocess.Popen to help move more things off of the unsafe preexec_fn parameter.

bpo-42066 [https://bugs.python.org/issue?@action=redirect&bpo=42066]: Fix cookies getting sorted in CookieJar.__iter__() which is an extra behavior and not mentioned in RFC 2965 or Netscape cookie protocol. Now the cookies in CookieJar follows the order of the Set-Cookie header. Patch by Iman Kermani.

bpo-40617 [https://bugs.python.org/issue?@action=redirect&bpo=40617]: Add create_window_function() to sqlite3.Connection for creating aggregate window functions. Patch by Erlend E. Aasland.

bpo-40676 [https://bugs.python.org/issue?@action=redirect&bpo=40676]: Convert csv to use Argument Clinic for csv.field_size_limit(), csv.get_dialect(), csv.unregister_dialect() and csv.list_dialects().

bpo-39716 [https://bugs.python.org/issue?@action=redirect&bpo=39716]: Raise an ArgumentError when the same subparser name is added twice to an argparse.ArgumentParser. This is consistent with the (default) behavior when the same option string is added twice to an ArgumentParser.

bpo-36073 [https://bugs.python.org/issue?@action=redirect&bpo=36073]: Raise ProgrammingError instead of segfaulting on recursive usage of cursors in sqlite3 converters. Patch by Sergey Fedoseev.

bpo-34975 [https://bugs.python.org/issue?@action=redirect&bpo=34975]: Adds a start_tls() method to StreamWriter, which upgrades the connection with TLS using the given SSLContext.

bpo-22276 [https://bugs.python.org/issue?@action=redirect&bpo=22276]: Path methods glob() and rglob() return only directories if pattern ends with a pathname components separator (/ or sep). Patch by Eisuke Kawashima.

bpo-24905 [https://bugs.python.org/issue?@action=redirect&bpo=24905]: Add blobopen() to sqlite3.Connection. sqlite3.Blob allows incremental I/O operations on blobs. Patch by Aviv Palivoda and Erlend E. Aasland.

Documentation

gh-91888 [https://github.com/python/cpython/issues/91888]: Add a new gh role to the documentation to link to GitHub issues.

gh-91783 [https://github.com/python/cpython/issues/91783]: Document security issues concerning the use of the function shutil.unpack_archive()

gh-91547 [https://github.com/python/cpython/issues/91547]: Remove “Undocumented modules” page.

gh-91298 [https://github.com/python/cpython/issues/91298]: In importlib.resources.abc, refined the documentation of the Traversable Protocol, applying changes from importlib_resources 5.7.1.

bpo-44347 [https://bugs.python.org/issue?@action=redirect&bpo=44347]: Clarify the meaning of dirs_exist_ok, a kwarg of shutil.copytree().

bpo-36329 [https://bugs.python.org/issue?@action=redirect&bpo=36329]: Remove ‘make -C Doc serve’ in favour of ‘make -C Doc htmlview’

bpo-47189 [https://bugs.python.org/issue?@action=redirect&bpo=47189]: Add a What’s New in Python 3.11 entry for the Faster CPython project. Documentation by Ken Jin and Kumar Aditya.

bpo-38668 [https://bugs.python.org/issue?@action=redirect&bpo=38668]: Update the introduction to documentation for os.path to remove warnings that became irrelevant after the implementations of PEP 383 [https://peps.python.org/pep-0383/] and PEP 529 [https://peps.python.org/pep-0529/].

bpo-47115 [https://bugs.python.org/issue?@action=redirect&bpo=47115]: The documentation now lists which members of C structs are part of the Limited API/Stable ABI.

bpo-46962 [https://bugs.python.org/issue?@action=redirect&bpo=46962]: All docstrings in code snippets are now wrapped into PyDoc_STR to follow the guideline of PEP 7’s Documentation Strings paragraph [https://peps.python.org/pep-0007/#documentation-strings]. Patch by Oleg Iarygin.

bpo-26792 [https://bugs.python.org/issue?@action=redirect&bpo=26792]: Improve the docstrings of runpy.run_module() and runpy.run_path(). Original patch by Andrew Brezovsky.

Tests

gh-92169 [https://github.com/python/cpython/issues/92169]: Use warnings_helper.import_deprecated() to import deprecated modules uniformly in tests. Patch by Hugo van Kemenade.

gh-84461 [https://github.com/python/cpython/issues/84461]: When multiprocessing is enabled, libregrtest can now use a Python executable other than sys.executable via the --python flag.

gh-91904 [https://github.com/python/cpython/issues/91904]: Fix initialization of PYTHONREGRTEST_UNICODE_GUARD which prevented running regression tests on non-UTF-8 locale.

gh-91752 [https://github.com/python/cpython/issues/91752]: Added @requires_zlib to test.test_tools.test_freeze.TestFreeze.

gh-91607 [https://github.com/python/cpython/issues/91607]: Fix test_concurrent_futures to test the correct multiprocessing start method context in several cases where the test logic mixed this up.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Threading tests are now skipped on WASM targets without pthread support.

bpo-47109 [https://bugs.python.org/issue?@action=redirect&bpo=47109]: Test for ctypes.macholib.dyld, ctypes.macholib.dylib, and ctypes.macholib.framework are brought from manual pre-unittest times to ctypes.test location and structure. Patch by Oleg Iarygin.

bpo-29890 [https://bugs.python.org/issue?@action=redirect&bpo=29890]: Add tests for ipaddress.IPv4Interface and ipaddress.IPv6Interface construction with tuple arguments. Original patch and tests by louisom.

Build

gh-89452 [https://github.com/python/cpython/issues/89452]: gdbm-compat is now preferred over ndbm if both are available on the system. This allows avoiding the problematic ndbm.h on macOS.

gh-91731 [https://github.com/python/cpython/issues/91731]: Python is now built with -std=c11 compiler option, rather than -std=c99. Patch by Victor Stinner.

bpo-47152 [https://bugs.python.org/issue?@action=redirect&bpo=47152]: Add script and make target for generating sre_constants.h.

bpo-47103 [https://bugs.python.org/issue?@action=redirect&bpo=47103]: Windows PGInstrument builds now copy a required DLL into the output directory, making it easier to run the profile stage of a PGO build.

Windows

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update Windows installer to use SQLite 3.38.3.

bpo-47239 [https://bugs.python.org/issue?@action=redirect&bpo=47239]: Fixed –list and –list-paths output for Inicializador Python para Windows when used in an active virtual environment.

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update Windows installer to use SQLite 3.38.2.

bpo-46785 [https://bugs.python.org/issue?@action=redirect&bpo=46785]: Fix race condition between os.stat() and unlinking a file on Windows, by using errors codes returned by FindFirstFileW() when appropriate in win32_xstat_impl.

bpo-40859 [https://bugs.python.org/issue?@action=redirect&bpo=40859]: Update Windows build to use xz-5.2.5

macOS

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update macOS installer to SQLite 3.38.4.

Tools/Demos

gh-91583 [https://github.com/python/cpython/issues/91583]: Fix regression in the code generated by Argument Clinic for functions with the defining_class parameter.

gh-91575 [https://github.com/python/cpython/issues/91575]: Add script Tools/scripts/generate_re_casefix.py and the make target regen-re for generating additional data for case-insensitive matching according to the current Unicode version.

gh-91551 [https://github.com/python/cpython/issues/91551]: Remove the ancient Pynche color editor. It has moved to https://gitlab.com/warsaw/pynche

C API

gh-88279 [https://github.com/python/cpython/issues/88279]: Deprecate the C functions: PySys_SetArgv(), PySys_SetArgvEx(), PySys_SetPath(). Patch by Victor Stinner.

gh-92154 [https://github.com/python/cpython/issues/92154]: Added the PyCode_GetCode() function. This function does the equivalent of the Python code getattr(code_object, 'co_code').

gh-92173 [https://github.com/python/cpython/issues/92173]: Fix the closure argument to PyEval_EvalCodeEx().

gh-91320 [https://github.com/python/cpython/issues/91320]: Fix C++ compiler warnings about “old-style cast” (g++ -Wold-style-cast) in the Python C API. Use C++ reinterpret_cast<> and static_cast<> casts when the Python C API is used in C++. Patch by Victor Stinner.

gh-80527 [https://github.com/python/cpython/issues/80527]: Mark functions as deprecated by PEP 623 [https://peps.python.org/pep-0623/]: PyUnicode_AS_DATA(), PyUnicode_AS_UNICODE(), PyUnicode_GET_DATA_SIZE(), PyUnicode_GET_SIZE(). Patch by Victor Stinner.

gh-91768 [https://github.com/python/cpython/issues/91768]: Py_REFCNT(), Py_TYPE(), Py_SIZE() and Py_IS_TYPE() functions argument type is now PyObject*, rather than const PyObject*. Patch by Victor Stinner.

gh-91020 [https://github.com/python/cpython/issues/91020]: Add PyBytes_Type.tp_alloc to initialize PyBytesObject.ob_shash for bytes subclasses.

bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421]: Add PyFrame_GetLasti C-API function to access frame object’s f_lasti attribute safely from C code.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: Remove the Include/code.h header file. C extensions should only include the main <Python.h> header file. Patch by Victor Stinner.

bpo-47169 [https://bugs.python.org/issue?@action=redirect&bpo=47169]: PyOS_CheckStack() is now exported in the Stable ABI on Windows.

bpo-47169 [https://bugs.python.org/issue?@action=redirect&bpo=47169]: PyThread_get_thread_native_id() is excluded from the stable ABI on platforms where it doesn’t exist (like Solaris).

bpo-46343 [https://bugs.python.org/issue?@action=redirect&bpo=46343]: Added PyErr_GetHandledException() and PyErr_SetHandledException() as simpler alternatives to PyErr_GetExcInfo() and PyErr_SetExcInfo().

They are included in the stable ABI.

Python 3.11.0 alpha 7

Release date: 2022-04-05

Core and Builtins

bpo-47212 [https://bugs.python.org/issue?@action=redirect&bpo=47212]: Raise IndentationError instead of SyntaxError for a bare except with no following indent. Improve SyntaxError locations for an un-parenthesized generator used as arguments. Patch by Matthieu Dartiailh.

bpo-47186 [https://bugs.python.org/issue?@action=redirect&bpo=47186]: Replace JUMP_IF_NOT_EG_MATCH by CHECK_EG_MATCH + jump.

bpo-47176 [https://bugs.python.org/issue?@action=redirect&bpo=47176]: Emscripten builds cannot handle signals in the usual way due to platform limitations. Python can now handle signals. To use, set Module.Py_EmscriptenSignalBuffer to be a single byte SharedArrayBuffer and set Py_EMSCRIPTEN_SIGNAL_HANDLING to 1. Writing a number into the SharedArrayBuffer will cause the corresponding signal to be raised into the Python thread.

bpo-47186 [https://bugs.python.org/issue?@action=redirect&bpo=47186]: Replace JUMP_IF_NOT_EXC_MATCH by CHECK_EXC_MATCH + jump.

bpo-47120 [https://bugs.python.org/issue?@action=redirect&bpo=47120]: Replace the absolute jump opcode JUMP_NO_INTERRUPT by the relative JUMP_BACKWARD_NO_INTERRUPT.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Avoid unnecessary allocations when comparing code objects.

bpo-47182 [https://bugs.python.org/issue?@action=redirect&bpo=47182]: Fix a crash when using a named unicode character like "\N{digit nine}" after the main interpreter has been initialized a second time.

bpo-47162 [https://bugs.python.org/issue?@action=redirect&bpo=47162]: WebAssembly cannot deal with bad function pointer casts (different count or types of arguments). Python can now use call trampolines to mitigate the problem. Define PY_CALL_TRAMPOLINE to enable call trampolines.

bpo-46775 [https://bugs.python.org/issue?@action=redirect&bpo=46775]: Some Windows system error codes(>= 10000) are now mapped into the correct errno and may now raise a subclass of OSError. Patch by Donghee Na.

bpo-47129 [https://bugs.python.org/issue?@action=redirect&bpo=47129]: Improve error messages in f-string syntax errors concerning empty expressions.

bpo-47117 [https://bugs.python.org/issue?@action=redirect&bpo=47117]: Fix a crash if we fail to decode characters in interactive mode if the tokenizer buffers are uninitialized. Patch by Pablo Galindo.

bpo-47127 [https://bugs.python.org/issue?@action=redirect&bpo=47127]: Speed up calls to c functions with keyword arguments by 25% with specialization. Patch by Kumar Aditya.

bpo-47120 [https://bugs.python.org/issue?@action=redirect&bpo=47120]: Replaced JUMP_ABSOLUTE by the relative jump JUMP_BACKWARD.

bpo-42197 [https://bugs.python.org/issue?@action=redirect&bpo=42197]: PyFrame_FastToLocalsWithError() and PyFrame_LocalsToFast() are no longer called during profiling nor tracing. C code can access the f_locals attribute of PyFrameObject by calling PyFrame_GetLocals().

bpo-47070 [https://bugs.python.org/issue?@action=redirect&bpo=47070]: Improve performance of array_inplace_repeat by reducing the number of invocations of memcpy. Refactor the repeat and inplace repeat methods of array, bytes, bytearray and unicodeobject to use the common _PyBytes_Repeat.

bpo-47053 [https://bugs.python.org/issue?@action=redirect&bpo=47053]: Reduce de-optimization in the specialized BINARY_OP_INPLACE_ADD_UNICODE opcode.

bpo-47045 [https://bugs.python.org/issue?@action=redirect&bpo=47045]: Remove the f_state field from the _PyInterpreterFrame struct. Add the owner field to the _PyInterpreterFrame struct to make ownership explicit to simplify clearing and deallocing frames and generators.

bpo-46968 [https://bugs.python.org/issue?@action=redirect&bpo=46968]: Check for the existence of the “sys/auxv.h” header in faulthandler to avoid compilation problems in systems where this header doesn’t exist. Patch by Pablo Galindo

bpo-46329 [https://bugs.python.org/issue?@action=redirect&bpo=46329]: Use low bit of LOAD_GLOBAL to indicate whether to push a NULL before the global. Helps streamline the call sequence a bit.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Quicken bytecode in-place by storing it as part of the corresponding PyCodeObject.

bpo-47012 [https://bugs.python.org/issue?@action=redirect&bpo=47012]: Speed up iteration of bytes and bytearray by 30%. Patch by Kumar Aditya.

bpo-47009 [https://bugs.python.org/issue?@action=redirect&bpo=47009]: Improved the performance of list.append() and list comprehensions by optimizing for the common case, where no resize is needed. Patch by Dennis Sweeney.

bpo-47005 [https://bugs.python.org/issue?@action=redirect&bpo=47005]: Improve performance of bytearray_repeat and bytearray_irepeat by reducing the number of invocations of memcpy.

bpo-46829 [https://bugs.python.org/issue?@action=redirect&bpo=46829]: Deprecate passing a message into asyncio.Future.cancel() and asyncio.Task.cancel()

bpo-46993 [https://bugs.python.org/issue?@action=redirect&bpo=46993]: Speed up bytearray creation from list and tuple by 40%. Patch by Kumar Aditya.

bpo-39829 [https://bugs.python.org/issue?@action=redirect&bpo=39829]: Removed the __len__() call when initializing a list and moved initializing to list_extend. Patch by Jeremiah Pascual.

bpo-46944 [https://bugs.python.org/issue?@action=redirect&bpo=46944]: Speed up throwing exception in generator with METH_FASTCALL calling convention. Patch by Kumar Aditya.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Modify STORE_SUBSCR to use an inline cache entry (rather than its oparg) as an adaptive counter.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline caching for PRECALL and CALL, and remove the internal machinery for managing the (now unused) non-inline caches.

bpo-46881 [https://bugs.python.org/issue?@action=redirect&bpo=46881]: Statically allocate and initialize the latin1 characters.

bpo-46838 [https://bugs.python.org/issue?@action=redirect&bpo=46838]: Improve syntax errors for incorrect function definitions. Patch by Pablo Galindo

bpo-43721 [https://bugs.python.org/issue?@action=redirect&bpo=43721]: Fix docstrings of getter, setter, and deleter to clarify that they create a new copy of the property.

bpo-43224 [https://bugs.python.org/issue?@action=redirect&bpo=43224]: Make grammar changes required for PEP 646.

Library

bpo-47208 [https://bugs.python.org/issue?@action=redirect&bpo=47208]: Allow vendors to override CTYPES_MAX_ARGCOUNT.

bpo-23689 [https://bugs.python.org/issue?@action=redirect&bpo=23689]: re module: fix memory leak when a match is terminated by a signal or memory allocation failure. Patch by Ma Lin.

bpo-47167 [https://bugs.python.org/issue?@action=redirect&bpo=47167]: Allow overriding a future compliance check in asyncio.Task.

bpo-47151 [https://bugs.python.org/issue?@action=redirect&bpo=47151]: When subprocess tries to use vfork, it now falls back to fork if vfork returns an error. This allows use in situations where vfork isn’t allowed by the OS kernel.

bpo-47152 [https://bugs.python.org/issue?@action=redirect&bpo=47152]: Convert the re module into a package. Deprecate modules sre_compile, sre_constants and sre_parse.

bpo-4833 [https://bugs.python.org/issue?@action=redirect&bpo=4833]: Add ZipFile.mkdir()

bpo-27929 [https://bugs.python.org/issue?@action=redirect&bpo=27929]: Fix asyncio.loop.sock_connect() to only resolve names for socket.AF_INET or socket.AF_INET6 families. Resolution may not make sense for other families, like socket.AF_BLUETOOTH and socket.AF_UNIX.

bpo-14265 [https://bugs.python.org/issue?@action=redirect&bpo=14265]: Adds the fully qualified test name to unittest output

bpo-47061 [https://bugs.python.org/issue?@action=redirect&bpo=47061]: Deprecate the aifc module.

bpo-39622 [https://bugs.python.org/issue?@action=redirect&bpo=39622]: Handle Ctrl+C in asyncio programs to interrupt the main task.

bpo-47101 [https://bugs.python.org/issue?@action=redirect&bpo=47101]: hashlib.algorithms_available now lists only algorithms that are provided by activated crypto providers on OpenSSL 3.0. Legacy algorithms are not listed unless the legacy provider has been loaded into the default OSSL context.

bpo-47099 [https://bugs.python.org/issue?@action=redirect&bpo=47099]: All URLError exception messages raised in urllib.request.URLopener now contain a colon between ftp error and the rest of the message. Previously, open_ftp() missed the colon. Patch by Oleg Iarygin.

bpo-47099 [https://bugs.python.org/issue?@action=redirect&bpo=47099]: Exception chaining is changed from Exception.with_traceback()/sys.exc_info() to PEP 3134 [https://peps.python.org/pep-3134/]. Patch by Oleg Iarygin.

bpo-47095 [https://bugs.python.org/issue?@action=redirect&bpo=47095]: hashlib’s internal _blake2 module now prefers libb2 from https://www.blake2.net/ over Python’s vendored copy of blake2.

bpo-47098 [https://bugs.python.org/issue?@action=redirect&bpo=47098]: The Keccak Code Package for hashlib’s internal _sha3 module has been replaced with tiny_sha3. The module is used as fallback when Python is built without OpenSSL.

bpo-47088 [https://bugs.python.org/issue?@action=redirect&bpo=47088]: Implement typing.LiteralString, part of PEP 675 [https://peps.python.org/pep-0675/]. Patch by Jelle Zijlstra.

bpo-42885 [https://bugs.python.org/issue?@action=redirect&bpo=42885]: Optimize re.search(), re.split(), re.findall(), re.finditer() and re.sub() for regular expressions starting with \A or ^.

bpo-23691 [https://bugs.python.org/issue?@action=redirect&bpo=23691]: Protect the re.finditer() iterator from re-entering.

bpo-47067 [https://bugs.python.org/issue?@action=redirect&bpo=47067]: Optimize calling GenericAlias objects by using PEP 590 [https://peps.python.org/pep-0590/] vectorcall and by replacing PyObject_SetAttrString with PyObject_SetAttr.

bpo-28080 [https://bugs.python.org/issue?@action=redirect&bpo=28080]: Add the metadata_encoding parameter in the zipfile.ZipFile constructor and the --metadata-encoding option in the zipfile CLI to allow reading zipfiles using non-standard codecs to encode the filenames within the archive.

bpo-47000 [https://bugs.python.org/issue?@action=redirect&bpo=47000]: Make io.text_encoding() returns “utf-8” when UTF-8 mode is enabled.

bpo-42369 [https://bugs.python.org/issue?@action=redirect&bpo=42369]: Fix thread safety of zipfile._SharedFile.tell() to avoid a “zipfile.BadZipFile: Bad CRC-32 for file” exception when reading a ZipFile from multiple threads.

bpo-38256 [https://bugs.python.org/issue?@action=redirect&bpo=38256]: Fix binascii.crc32() when it is compiled to use zlib’c crc32 to work properly on inputs 4+GiB in length instead of returning the wrong result. The workaround prior to this was to always feed the function data in increments smaller than 4GiB or to just call the zlib module function.

We also have binascii.crc32() release the GIL when computing on larger inputs as zlib.crc32() and hashlib do.

This also boosts performance on Windows as it now uses the zlib crc32 implementation for binascii.crc32() for a 2-3x speedup.

That the stdlib has a crc32 API in two modules is a known historical oddity. This moves us closer to a single implementation behind them.

bpo-47066 [https://bugs.python.org/issue?@action=redirect&bpo=47066]: Global inline flags (e.g. (?i)) can now only be used at the start of the regular expressions. Using them not at the start of expression was deprecated since Python 3.6.

bpo-39394 [https://bugs.python.org/issue?@action=redirect&bpo=39394]: A warning about inline flags not at the start of the regular expression now contains the position of the flag.

bpo-433030 [https://bugs.python.org/issue?@action=redirect&bpo=433030]: Add support of atomic grouping ((?>...)) and possessive quantifiers (*+, ++, ?+, {m,n}+) in regular expressions.

bpo-47062 [https://bugs.python.org/issue?@action=redirect&bpo=47062]: Implement asyncio.Runner context manager.

bpo-46382 [https://bugs.python.org/issue?@action=redirect&bpo=46382]: dataclass() slots=True now correctly omits slots already defined in base classes. Patch by Arie Bovenberg.

bpo-47057 [https://bugs.python.org/issue?@action=redirect&bpo=47057]: Use FASTCALL convention for FutureIter.throw()

bpo-47061 [https://bugs.python.org/issue?@action=redirect&bpo=47061]: Deprecate the various modules listed by PEP 594 [https://peps.python.org/pep-0594/]:

aifc, asynchat, asyncore, audioop, cgi, cgitb, chunk, crypt, imghdr, msilib, nntplib, nis, ossaudiodev, pipes, smtpd, sndhdr, spwd, sunau, telnetlib, uu, xdrlib

bpo-34790 [https://bugs.python.org/issue?@action=redirect&bpo=34790]: Remove passing coroutine objects to asyncio.wait().

bpo-47039 [https://bugs.python.org/issue?@action=redirect&bpo=47039]: Normalize repr() of asyncio future and task objects.

bpo-2604 [https://bugs.python.org/issue?@action=redirect&bpo=2604]: Fix bug where doctests using globals would fail when run multiple times.

bpo-45150 [https://bugs.python.org/issue?@action=redirect&bpo=45150]: Add hashlib.file_digest() helper for efficient hashing of file object.

bpo-34861 [https://bugs.python.org/issue?@action=redirect&bpo=34861]: Made cumtime the default sorting key for cProfile

bpo-45997 [https://bugs.python.org/issue?@action=redirect&bpo=45997]: Fix asyncio.Semaphore re-aquiring FIFO order.

bpo-47022 [https://bugs.python.org/issue?@action=redirect&bpo=47022]: The asynchat, asyncore and smtpd modules have been deprecated since at least Python 3.6. Their documentation and deprecation warnings and have now been updated to note they will removed in Python 3.12 (PEP 594 [https://peps.python.org/pep-0594/]).

bpo-43253 [https://bugs.python.org/issue?@action=redirect&bpo=43253]: Fix a crash when closing transports where the underlying socket handle is already invalid on the Proactor event loop.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: select.select() now passes NULL to select for each empty fdset.

bpo-47004 [https://bugs.python.org/issue?@action=redirect&bpo=47004]: Apply bugfixes from importlib_metadata 4.11.3, including bugfix for EntryPoint.extras, which was returning match objects and not the extras strings.

bpo-46998 [https://bugs.python.org/issue?@action=redirect&bpo=46998]: Allow subclassing of typing.Any. Patch by Shantanu Jain.

bpo-46995 [https://bugs.python.org/issue?@action=redirect&bpo=46995]: Deprecate missing asyncio.Task.set_name() for third-party task implementations, schedule making it mandatory in Python 3.13.

bpo-46994 [https://bugs.python.org/issue?@action=redirect&bpo=46994]: Accept explicit contextvars.Context in asyncio.create_task() and asyncio.loop.create_task().

bpo-46981 [https://bugs.python.org/issue?@action=redirect&bpo=46981]: typing.get_args(typing.Tuple[()]) now returns () instead of ((),).

bpo-46968 [https://bugs.python.org/issue?@action=redirect&bpo=46968]: Add os.sysconf_names['SC_MINSIGSTKSZ'].

bpo-46985 [https://bugs.python.org/issue?@action=redirect&bpo=46985]: Upgrade pip wheel bundled with ensurepip (pip 22.0.4)

bpo-46968 [https://bugs.python.org/issue?@action=redirect&bpo=46968]: faulthandler: On Linux 5.14 and newer, dynamically determine size of signal handler stack size CPython allocates using getauxval(AT_MINSIGSTKSZ). This changes allows for Python extension’s request to Linux kernel to use AMX_TILE instruction set on Sapphire Rapids Xeon processor to succeed, unblocking use of the ISA in frameworks.

bpo-46917 [https://bugs.python.org/issue?@action=redirect&bpo=46917]: The math.nan value is now always available. Patch by Victor Stinner.

bpo-46955 [https://bugs.python.org/issue?@action=redirect&bpo=46955]: Expose asyncio.base_events.Server as asyncio.Server. Patch by Stefan Zabka.

bpo-23325 [https://bugs.python.org/issue?@action=redirect&bpo=23325]: The signal module no longer assumes that SIG_IGN and SIG_DFL are small int singletons.

bpo-46932 [https://bugs.python.org/issue?@action=redirect&bpo=46932]: Update bundled libexpat to 2.4.7

bpo-46933 [https://bugs.python.org/issue?@action=redirect&bpo=46933]: The pwd module is now optional. os.path.expanduser() returns the path when the pwd module is not available.

bpo-40059 [https://bugs.python.org/issue?@action=redirect&bpo=40059]: PEP 680 [https://peps.python.org/pep-0680/], the tomllib module. Adds support for parsing TOML.

bpo-464471 [https://bugs.python.org/issue?@action=redirect&bpo=464471]: asyncio.timeout() and asyncio.timeout_at() context managers added. Patch by Tin Tvrtković and Andrew Svetlov.

bpo-46805 [https://bugs.python.org/issue?@action=redirect&bpo=46805]: Added raw datagram socket functions for asyncio: sock_sendto(), sock_recvfrom() and sock_recvfrom_into().

bpo-46644 [https://bugs.python.org/issue?@action=redirect&bpo=46644]: No longer require valid typeforms to be callable. This allows typing.Annotated to wrap typing.ParamSpecArgs and dataclasses.InitVar. Patch by Gregory Beauregard.

bpo-46581 [https://bugs.python.org/issue?@action=redirect&bpo=46581]: Brings ParamSpec propagation for GenericAlias in line with Concatenate (and others).

bpo-45413 [https://bugs.python.org/issue?@action=redirect&bpo=45413]: Define posix_venv and nt_venv sysconfig installation schemes to be used for bootstrapping new virtual environments. Add venv sysconfig installation scheme to get the appropriate one of the above. The schemes are identical to the pre-existing posix_prefix and nt install schemes. The venv module now uses the venv scheme to create new virtual environments instead of hardcoding the paths depending only on the platform. Downstream Python distributors customizing the posix_prefix or nt install scheme in a way that is not compatible with the install scheme used in virtual environments are encouraged not to customize the venv schemes. When Python itself runs in a virtual environment, sysconfig.get_default_scheme() and sysconfig.get_preferred_scheme() with key="prefix" returns venv.

bpo-43224 [https://bugs.python.org/issue?@action=redirect&bpo=43224]: Implement support for PEP 646 in typing.py.

bpo-43224 [https://bugs.python.org/issue?@action=redirect&bpo=43224]: Allow unpacking types.GenericAlias objects, e.g. *tuple[int, str].

bpo-46557 [https://bugs.python.org/issue?@action=redirect&bpo=46557]: Warnings captured by the logging module are now logged without a format string to prevent systems that group logs by the msg argument from grouping captured warnings together.

bpo-41370 [https://bugs.python.org/issue?@action=redirect&bpo=41370]: typing.get_type_hints() now supports evaluating strings as forward references in PEP 585 generic aliases.

bpo-46607 [https://bugs.python.org/issue?@action=redirect&bpo=46607]: Add DeprecationWarning to LegacyInterpolation, deprecated in the docstring since Python 3.2. Will be removed in Python 3.13. Use BasicInterpolation or ExtendedInterpolation instead.

bpo-26120 [https://bugs.python.org/issue?@action=redirect&bpo=26120]: pydoc now excludes __future__ imports from the module’s data items.

bpo-46480 [https://bugs.python.org/issue?@action=redirect&bpo=46480]: Add typing.assert_type(). Patch by Jelle Zijlstra.

bpo-46421 [https://bugs.python.org/issue?@action=redirect&bpo=46421]: Fix a unittest issue where if the command was invoked as python -m unittest and the filename(s) began with a dot (.), a ValueError is returned.

bpo-46245 [https://bugs.python.org/issue?@action=redirect&bpo=46245]: Add optional parameter dir_fd in shutil.rmtree().

bpo-22859 [https://bugs.python.org/issue?@action=redirect&bpo=22859]: unittest.TestProgram.usageExit() is marked as deprecated, to be removed in Python 3.13.

bpo-46170 [https://bugs.python.org/issue?@action=redirect&bpo=46170]: Improve the error message when you try to subclass an instance of typing.NewType.

bpo-40296 [https://bugs.python.org/issue?@action=redirect&bpo=40296]: Fix supporting generic aliases in pydoc.

bpo-20392 [https://bugs.python.org/issue?@action=redirect&bpo=20392]: Fix inconsistency with uppercase file extensions in MimeTypes.guess_type(). Patch by Kumar Aditya.

bpo-46030 [https://bugs.python.org/issue?@action=redirect&bpo=46030]: Add LOCAL_CREDS, LOCAL_CREDS_PERSISTENT and SCM_CREDS2 FreeBSD constants to the socket module.

bpo-44439 [https://bugs.python.org/issue?@action=redirect&bpo=44439]: Fix .write() method of a member file in ZipFile, when the input data is an object that supports the buffer protocol, the file length may be wrong.

bpo-45171 [https://bugs.python.org/issue?@action=redirect&bpo=45171]: Fix handling of the stacklevel argument to logging functions in the logging module so that it is consistent across all logging functions and, as advertised, similar to the stacklevel argument used in warn().

bpo-24959 [https://bugs.python.org/issue?@action=redirect&bpo=24959]: Fix bug where unittest sometimes drops frames from tracebacks of exceptions raised in tests.

bpo-44859 [https://bugs.python.org/issue?@action=redirect&bpo=44859]: Raise more accurate and PEP 249 [https://peps.python.org/pep-0249/] compatible exceptions in sqlite3.

Raise InterfaceError instead of ProgrammingError for SQLITE_MISUSE errors.

Don’t overwrite BufferError with ValueError when conversion to BLOB fails.

Raise ProgrammingError instead of Warning if user tries to execute() more than one SQL statement.

Raise ProgrammingError instead of ValueError if an SQL query contains null characters.

bpo-44493 [https://bugs.python.org/issue?@action=redirect&bpo=44493]: Add missing terminated NUL in sockaddr_un’s length

This was potentially observable when using non-abstract AF_UNIX datagram sockets to processes written in another programming language.

bpo-41930 [https://bugs.python.org/issue?@action=redirect&bpo=41930]: Add serialize() and deserialize() support to sqlite3. Patch by Erlend E. Aasland.

bpo-33178 [https://bugs.python.org/issue?@action=redirect&bpo=33178]: Added ctypes.BigEndianUnion and ctypes.LittleEndianUnion classes, as originally documented in the library docs but not yet implemented.

bpo-43352 [https://bugs.python.org/issue?@action=redirect&bpo=43352]: Add an Barrier object in synchronization primitives of asyncio Lib in order to be consistent with Barrier from threading and multiprocessing libs*

bpo-35859 [https://bugs.python.org/issue?@action=redirect&bpo=35859]: re module, fix a few bugs about capturing group. In rare cases, capturing group gets an incorrect string. Patch by Ma Lin.

Documentation

bpo-45099 [https://bugs.python.org/issue?@action=redirect&bpo=45099]: Document internal asyncio API.

bpo-47126 [https://bugs.python.org/issue?@action=redirect&bpo=47126]: Update PEP URLs to PEP 676 [https://peps.python.org/pep-0676/]’s new canonical form.

bpo-47040 [https://bugs.python.org/issue?@action=redirect&bpo=47040]: Clarified the old Python versions compatibility note of binascii.crc32() / zlib.adler32() / zlib.crc32() functions.

bpo-46033 [https://bugs.python.org/issue?@action=redirect&bpo=46033]: Clarify for statement execution in its doc.

bpo-45790 [https://bugs.python.org/issue?@action=redirect&bpo=45790]: Adjust inaccurate phrasing in Definindo Tipos de Extensão: Tutorial about the ob_base field and the macros used to access its contents.

bpo-42340 [https://bugs.python.org/issue?@action=redirect&bpo=42340]: Document that in some circumstances KeyboardInterrupt may cause the code to enter an inconsistent state. Provided a sample workaround to avoid it if needed.

bpo-41233 [https://bugs.python.org/issue?@action=redirect&bpo=41233]: Link the errnos referenced in Doc/library/exceptions.rst to their respective section in Doc/library/errno.rst, and vice versa. Previously this was only done for EINTR and InterruptedError. Patch by Yan “yyyyyyyan” Orestes.

Tests

bpo-47205 [https://bugs.python.org/issue?@action=redirect&bpo=47205]: Skip test for sched_getaffinity() and sched_setaffinity() error case on FreeBSD.

bpo-46126 [https://bugs.python.org/issue?@action=redirect&bpo=46126]: Restore ‘descriptions’ when running tests internally.

bpo-47104 [https://bugs.python.org/issue?@action=redirect&bpo=47104]: Rewrite asyncio.to_thread() tests to use unittest.IsolatedAsyncioTestCase.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: The test suite is now passing on the Emscripten platform. All fork, socket, and subprocess-based tests are skipped.

bpo-47037 [https://bugs.python.org/issue?@action=redirect&bpo=47037]: Skip strftime("%4Y") feature test on Windows. It can cause an assertion error in debug builds.

bpo-46587 [https://bugs.python.org/issue?@action=redirect&bpo=46587]: Skip tests if platform’s strftime does not support non-portable glibc extensions.

bpo-47015 [https://bugs.python.org/issue?@action=redirect&bpo=47015]: A test case for os.sendfile() is converted from deprecated asyncore (see PEP 594 [https://peps.python.org/pep-0594/]) to asyncio. Patch by Oleg Iarygin.

Build

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Add configure option --enable-wasm-dynamic-linking to enable dlopen and MAIN_MODULE / SIDE_MODULE on wasm32-emscripten.

bpo-46023 [https://bugs.python.org/issue?@action=redirect&bpo=46023]: makesetup now detects and skips all duplicated module definitions. The first entry wins.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Add SOABI wasm32-emscripten for Emscripten and wasm32-wasi for WASI on 32bit WASM as well as wasm64 counter parts.

bpo-47032 [https://bugs.python.org/issue?@action=redirect&bpo=47032]: Ensure Windows install builds fail correctly with a non-zero exit code when part of the build fails.

bpo-47024 [https://bugs.python.org/issue?@action=redirect&bpo=47024]: Update OpenSSL to 1.1.1n for macOS installers and all Windows builds.

bpo-46996 [https://bugs.python.org/issue?@action=redirect&bpo=46996]: The tkinter package now requires Tcl/Tk version 8.5.12 or newer.

bpo-46973 [https://bugs.python.org/issue?@action=redirect&bpo=46973]: Add regen-configure make target to regenerate configure script with Christian’s container image quay.io/tiran/cpython_autoconf:269.

bpo-46917 [https://bugs.python.org/issue?@action=redirect&bpo=46917]: Building Python now requires support of IEEE 754 floating-point numbers. Patch by Victor Stinner.

bpo-45774 [https://bugs.python.org/issue?@action=redirect&bpo=45774]: configure now verifies that all SQLite C APIs needed for the sqlite3 extension module are found.

Windows

bpo-47194 [https://bugs.python.org/issue?@action=redirect&bpo=47194]: Update zlib to v1.2.12 to resolve CVE 2018-25032 [https://www.cve.org/CVERecord?id=CVE-2018-25032].

bpo-47171 [https://bugs.python.org/issue?@action=redirect&bpo=47171]: Enables installing the py.exe launcher on Windows ARM64.

bpo-46566 [https://bugs.python.org/issue?@action=redirect&bpo=46566]: Upgraded Inicializador Python para Windows to support a new -V:company/tag argument for full PEP 514 [https://peps.python.org/pep-0514/] support and to detect ARM64 installs. The -64 suffix on arguments is deprecated, but still selects any non-32-bit install. Setting PYLAUNCHER_ALLOW_INSTALL and specifying a version that is not installed will attempt to install the requested version from the Microsoft Store.

bpo-47086 [https://bugs.python.org/issue?@action=redirect&bpo=47086]: The installer for Windows now includes documentation as loose HTML files rather than a single compiled .chm file.

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update Windows installer to use SQLite 3.38.1.

bpo-44549 [https://bugs.python.org/issue?@action=redirect&bpo=44549]: Update bzip2 to 1.0.8 in Windows builds to mitigate CVE 2016-3189 [https://www.cve.org/CVERecord?id=CVE-2016-3189] and CVE 2019-12900 [https://www.cve.org/CVERecord?id=CVE-2019-12900].

bpo-46948 [https://bugs.python.org/issue?@action=redirect&bpo=46948]: Prevent CVE 2022-26488 [https://www.cve.org/CVERecord?id=CVE-2022-26488] by ensuring the Add to PATH option in the Windows installer uses the correct path when being repaired.

macOS

bpo-46890 [https://bugs.python.org/issue?@action=redirect&bpo=46890]: Fix a regression in the setting of sys._base_executable in framework builds, and thereby fix a regression in venv virtual environments with such builds.

bpo-46907 [https://bugs.python.org/issue?@action=redirect&bpo=46907]: Update macOS installer to SQLite 3.38.1.

Tools/Demos

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Replace Emscripten’s limited shell with Katie Bell’s browser-ui REPL from python-wasm project.

C API

bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421]: Add PyFrame_GetBuiltins, PyFrame_GetGenerator and PyFrame_GetGlobals C-API functions to access frame object attributes safely from C code.

bpo-46850 [https://bugs.python.org/issue?@action=redirect&bpo=46850]: Move the private _PyFrameEvalFunction type, and private _PyInterpreterState_GetEvalFrameFunc() and _PyInterpreterState_SetEvalFrameFunc() functions to the internal C API. The _PyFrameEvalFunction callback function type now uses the _PyInterpreterFrame type which is part of the internal C API. Patch by Victor Stinner.

bpo-46850 [https://bugs.python.org/issue?@action=redirect&bpo=46850]: Move the private undocumented _PyEval_EvalFrameDefault() function to the internal C API. The function now uses the _PyInterpreterFrame type which is part of the internal C API. Patch by Victor Stinner.

bpo-46850 [https://bugs.python.org/issue?@action=redirect&bpo=46850]: Remove the private undocumented function _PyEval_CallTracing() from the C API. Call the public sys.call_tracing() function instead. Patch by Victor Stinner.

bpo-46850 [https://bugs.python.org/issue?@action=redirect&bpo=46850]: Remove the private undocumented function _PyEval_GetCoroutineOriginTrackingDepth() from the C API. Call the public sys.get_coroutine_origin_tracking_depth() function instead. Patch by Victor Stinner.

bpo-46850 [https://bugs.python.org/issue?@action=redirect&bpo=46850]: Remove the following private undocumented functions from the C API:

_PyEval_GetAsyncGenFirstiter()

_PyEval_GetAsyncGenFinalizer()

_PyEval_SetAsyncGenFirstiter()

_PyEval_SetAsyncGenFinalizer()

Call the public sys.get_asyncgen_hooks() and sys.set_asyncgen_hooks() functions instead. Patch by Victor Stinner.

bpo-46987 [https://bugs.python.org/issue?@action=redirect&bpo=46987]: Remove private functions _PySys_GetObjectId() and _PySys_SetObjectId(). Patch by Donghee Na.

bpo-46906 [https://bugs.python.org/issue?@action=redirect&bpo=46906]: Add new functions to pack and unpack C double (serialize and deserialize): PyFloat_Pack2(), PyFloat_Pack4(), PyFloat_Pack8(), PyFloat_Unpack2(), PyFloat_Unpack4() and PyFloat_Unpack8(). Patch by Victor Stinner.

Python 3.11.0 alpha 6

Release date: 2022-03-07

Core and Builtins

bpo-46940 [https://bugs.python.org/issue?@action=redirect&bpo=46940]: Avoid overriding AttributeError metadata information for nested attribute access calls. Patch by Pablo Galindo.

bpo-46927 [https://bugs.python.org/issue?@action=redirect&bpo=46927]: Include the type’s name in the error message for subscripting non-generic types.

bpo-46921 [https://bugs.python.org/issue?@action=redirect&bpo=46921]: Support vectorcall for super(). Patch by Ken Jin.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Fix incorrect handling of inline cache entries when specializing BINARY_OP.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use an oparg to simplify the construction of helpful error messages in GET_AWAITABLE.

bpo-46903 [https://bugs.python.org/issue?@action=redirect&bpo=46903]: Make sure that str subclasses can be used as attribute names for instances with virtual dictionaries. Fixes regression in 3.11alpha

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Add more detailed specialization failure stats for COMPARE_OP followed by EXTENDED_ARG.

bpo-46891 [https://bugs.python.org/issue?@action=redirect&bpo=46891]: Fix bug introduced during 3.11alpha where subclasses of types.ModuleType with __slots__ were not initialized correctly, resulting in an interpreter crash.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline caching for LOAD_ATTR, LOAD_METHOD, and STORE_ATTR.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline cache for BINARY_SUBSCR.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline caching for COMPARE_OP.

bpo-46864 [https://bugs.python.org/issue?@action=redirect&bpo=46864]: Deprecate PyBytesObject.ob_shash. It will be removed in Python 3.13.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline caching for UNPACK_SEQUENCE.

bpo-46845 [https://bugs.python.org/issue?@action=redirect&bpo=46845]: Reduces dict size by removing hash value from hash table when all inserted keys are Unicode. For example, sys.getsizeof(dict.fromkeys("abcdefg")) becomes 272 bytes from 352 bytes on 64bit platform.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Use inline cache for LOAD_GLOBAL.

bpo-46852 [https://bugs.python.org/issue?@action=redirect&bpo=46852]: Rename the private undocumented float.__set_format__() method to float.__setformat__() to fix a typo introduced in Python 3.7. The method is only used by test_float. Patch by Victor Stinner.

bpo-46852 [https://bugs.python.org/issue?@action=redirect&bpo=46852]: Remove the undocumented private float.__set_format__() method, previously known as float.__setformat__() in Python 3.7. Its docstring said: “You probably don’t want to use this function. It exists mainly to be used in Python’s test suite.” Patch by Victor Stinner.

bpo-40116 [https://bugs.python.org/issue?@action=redirect&bpo=40116]: Fix regression that dict.update(other) may don’t respect iterate order of other when other is key sharing dict.

bpo-46712 [https://bugs.python.org/issue?@action=redirect&bpo=46712]: Share global string identifiers in deep-frozen modules.

bpo-46430 [https://bugs.python.org/issue?@action=redirect&bpo=46430]: Fix memory leak in interned strings of deep-frozen modules.

bpo-46841 [https://bugs.python.org/issue?@action=redirect&bpo=46841]: Store BINARY_OP caches inline using a new CACHE instruction.

bpo-45107 [https://bugs.python.org/issue?@action=redirect&bpo=45107]: Specialize LOAD_METHOD for instances with a dict.

bpo-44337 [https://bugs.python.org/issue?@action=redirect&bpo=44337]: Reduce the memory usage of specialized LOAD_ATTR and STORE_ATTR instructions.

bpo-46729 [https://bugs.python.org/issue?@action=redirect&bpo=46729]: Add number of sub-exceptions to BaseException.__str__().

bpo-45885 [https://bugs.python.org/issue?@action=redirect&bpo=45885]: Don’t un-adapt COMPARE_OP when collecting specialization stats.

bpo-46329 [https://bugs.python.org/issue?@action=redirect&bpo=46329]: Fix specialization stats gathering for PRECALL instructions.

bpo-46794 [https://bugs.python.org/issue?@action=redirect&bpo=46794]: Bump up the libexpat version into 2.4.6

bpo-46823 [https://bugs.python.org/issue?@action=redirect&bpo=46823]: Implement a specialized combined opcode LOAD_FAST__LOAD_ATTR_INSTANCE_VALUE. Patch by Dennis Sweeney.

bpo-46820 [https://bugs.python.org/issue?@action=redirect&bpo=46820]: Fix parsing a numeric literal immediately (without spaces) followed by “not in” keywords, like in 1not in x. Now the parser only emits a warning, not a syntax error.

bpo-46329 [https://bugs.python.org/issue?@action=redirect&bpo=46329]: Move KW_NAMES before PRECALL instruction in call sequence. Change operand of CALL to match PRECALL for easier specialization.

bpo-46808 [https://bugs.python.org/issue?@action=redirect&bpo=46808]: Remove the NEXT_BLOCK macro from compile.c, and make the compiler automatically generate implicit blocks when they are needed.

bpo-46329 [https://bugs.python.org/issue?@action=redirect&bpo=46329]: Add PUSH_NULL instruction. This is used as a prefix when evaluating a callable, so that the stack has the same shape for methods and other calls. PRECALL_FUNCTION and PRECALL_METHOD are merged into a single PRECALL instruction.

There is no change in semantics.

bpo-46762 [https://bugs.python.org/issue?@action=redirect&bpo=46762]: Fix an assert failure in debug builds when a ‘<’, ‘>’, or ‘=’ is the last character in an f-string that’s missing a closing right brace.

bpo-46730 [https://bugs.python.org/issue?@action=redirect&bpo=46730]: Message of AttributeError caused by getting, setting or deleting a property without the corresponding function now mentions that the attribute is in fact a property and also specifies type of the class that it belongs to.

bpo-46724 [https://bugs.python.org/issue?@action=redirect&bpo=46724]: Make sure that all backwards jumps use the JUMP_ABSOLUTE instruction, rather than JUMP_FORWARD with an argument of (2**32)+offset.

bpo-46732 [https://bugs.python.org/issue?@action=redirect&bpo=46732]: Correct the docstring for the __bool__() method. Patch by Jelle Zijlstra.

bpo-46072 [https://bugs.python.org/issue?@action=redirect&bpo=46072]: Add more detailed specialization failure statistics for BINARY_OP.

bpo-46707 [https://bugs.python.org/issue?@action=redirect&bpo=46707]: Avoid potential exponential backtracking when producing some syntax errors involving lots of brackets. Patch by Pablo Galindo.

bpo-46323 [https://bugs.python.org/issue?@action=redirect&bpo=46323]: ctypes now allocates memory on the stack instead of on the heap to pass arguments while calling a Python callback function. Patch by Donghee Na.

bpo-45923 [https://bugs.python.org/issue?@action=redirect&bpo=45923]: Add a quickened form of RESUME that skips quickening checks.

bpo-46702 [https://bugs.python.org/issue?@action=redirect&bpo=46702]: Specialize UNPACK_SEQUENCE for tuple and list unpackings.

bpo-46072 [https://bugs.python.org/issue?@action=redirect&bpo=46072]: Opcode pair stats are now gathered with --enable-pystats. Defining DYNAMIC_EXECUTION_PROFILE or DXPAIRS no longer has any effect.

bpo-46675 [https://bugs.python.org/issue?@action=redirect&bpo=46675]: Allow more than 16 items in a split dict before it is combined. The limit is now 254.

bpo-40479 [https://bugs.python.org/issue?@action=redirect&bpo=40479]: Add a missing call to va_end() in Modules/_hashopenssl.c.

bpo-46323 [https://bugs.python.org/issue?@action=redirect&bpo=46323]: Use PyObject_Vectorcall() while calling ctypes callback function. Patch by Donghee Na.

bpo-46615 [https://bugs.python.org/issue?@action=redirect&bpo=46615]: When iterating over sets internally in setobject.c, acquire strong references to the resulting items from the set. This prevents crashes in corner-cases of various set operations where the set gets mutated.

bpo-45828 [https://bugs.python.org/issue?@action=redirect&bpo=45828]: The bytecode compiler now attempts to apply runtime stack manipulations at compile-time (whenever it is feasible to do so).

bpo-30496 [https://bugs.python.org/issue?@action=redirect&bpo=30496]: Fixed a minor portability issue in the implementation of PyLong_FromLong(), and added a fast path for single-digit integers to PyLong_FromLongLong().

Library

bpo-25707 [https://bugs.python.org/issue?@action=redirect&bpo=25707]: Fixed a file leak in xml.etree.ElementTree.iterparse() when the iterator is not exhausted. Patch by Jacob Walls.

bpo-46877 [https://bugs.python.org/issue?@action=redirect&bpo=46877]: Export unittest.doModuleCleanups() in unittest. Patch by Kumar Aditya.

bpo-46848 [https://bugs.python.org/issue?@action=redirect&bpo=46848]: For performance, use the optimized string-searching implementations from find() and rfind() for find() and rfind().

bpo-46736 [https://bugs.python.org/issue?@action=redirect&bpo=46736]: SimpleHTTPRequestHandler now uses HTML5 grammar. Patch by Donghee Na.

bpo-44886 [https://bugs.python.org/issue?@action=redirect&bpo=44886]: Inherit asyncio proactor datagram transport from asyncio.DatagramTransport.

bpo-46827 [https://bugs.python.org/issue?@action=redirect&bpo=46827]: Support UDP sockets in asyncio.loop.sock_connect() for selector-based event loops. Patch by Thomas Grainger.

bpo-46811 [https://bugs.python.org/issue?@action=redirect&bpo=46811]: Make test suite support Expat >=2.4.5

bpo-46252 [https://bugs.python.org/issue?@action=redirect&bpo=46252]: Raise TypeError if ssl.SSLSocket is passed to transport-based APIs.

bpo-46784 [https://bugs.python.org/issue?@action=redirect&bpo=46784]: Fix libexpat symbols collisions with user dynamically loaded or statically linked libexpat in embedded Python.

bpo-46786 [https://bugs.python.org/issue?@action=redirect&bpo=46786]: The HTML serialisation in xml.etree.ElementTree now writes embed, source, track and wbr as empty tags, as defined in HTML 5.

bpo-39327 [https://bugs.python.org/issue?@action=redirect&bpo=39327]: shutil.rmtree() can now work with VirtualBox shared folders when running from the guest operating-system.

bpo-45390 [https://bugs.python.org/issue?@action=redirect&bpo=45390]: Propagate asyncio.CancelledError message from inner task to outer awaiter.

bpo-46756 [https://bugs.python.org/issue?@action=redirect&bpo=46756]: Fix a bug in urllib.request.HTTPPasswordMgr.find_user_password() and urllib.request.HTTPPasswordMgrWithPriorAuth.is_authenticated() which allowed to bypass authorization. For example, access to URI example.org/foobar was allowed if the user was authorized for URI example.org/foo.

bpo-46737 [https://bugs.python.org/issue?@action=redirect&bpo=46737]: random.gauss() and random.normalvariate() now have default arguments.

bpo-46752 [https://bugs.python.org/issue?@action=redirect&bpo=46752]: Add task groups to asyncio (structured concurrency, inspired by Trio’s nurseries). This also introduces a change to task cancellation, where a cancelled task can’t be cancelled again until it calls .uncancel().

bpo-46724 [https://bugs.python.org/issue?@action=redirect&bpo=46724]: Fix dis behavior on negative jump offsets.

bpo-46333 [https://bugs.python.org/issue?@action=redirect&bpo=46333]: The __repr__() method of typing.ForwardRef now includes the module parameter of typing.ForwardRef when it is set.

bpo-46643 [https://bugs.python.org/issue?@action=redirect&bpo=46643]: In typing.get_type_hints(), support evaluating stringified ParamSpecArgs and ParamSpecKwargs annotations. Patch by Gregory Beauregard.

bpo-45863 [https://bugs.python.org/issue?@action=redirect&bpo=45863]: When the tarfile module creates a pax format archive, it will put an integer representation of timestamps in the ustar header (if possible) for the benefit of older unarchivers, in addition to the existing full-precision timestamps in the pax extended header.

bpo-46066 [https://bugs.python.org/issue?@action=redirect&bpo=46066]: Deprecate kwargs-based syntax for typing.TypedDict definitions. It had confusing semantics when specifying totality, and was largely unused. Patch by Jingchen Ye.

bpo-46676 [https://bugs.python.org/issue?@action=redirect&bpo=46676]: Make typing.ParamSpec args and kwargs equal to themselves. Patch by Gregory Beauregard.

bpo-46323 [https://bugs.python.org/issue?@action=redirect&bpo=46323]: ctypes.CFUNCTYPE() and ctypes.WINFUNCTYPE() now fail to create the type if its _argtypes_ member contains too many arguments. Previously, the error was only raised when calling a function. Patch by Victor Stinner.

bpo-46672 [https://bugs.python.org/issue?@action=redirect&bpo=46672]: Fix NameError in asyncio.gather() when initial type check fails.

bpo-46659 [https://bugs.python.org/issue?@action=redirect&bpo=46659]: The calendar.LocaleTextCalendar and calendar.LocaleHTMLCalendar classes now use locale.getlocale(), instead of using locale.getdefaultlocale(), if no locale is specified. Patch by Victor Stinner.

bpo-46659 [https://bugs.python.org/issue?@action=redirect&bpo=46659]: The locale.getdefaultlocale() function is deprecated and will be removed in Python 3.13. Use locale.setlocale(), locale.getpreferredencoding(False) and locale.getlocale() functions instead. Patch by Victor Stinner.

bpo-46655 [https://bugs.python.org/issue?@action=redirect&bpo=46655]: In typing.get_type_hints(), support evaluating bare stringified TypeAlias annotations. Patch by Gregory Beauregard.

bpo-45948 [https://bugs.python.org/issue?@action=redirect&bpo=45948]: Fixed a discrepancy in the C implementation of the xml.etree.ElementTree module. Now, instantiating an xml.etree.ElementTree.XMLParser with a target=None keyword provides a default xml.etree.ElementTree.TreeBuilder target as the Python implementation does.

bpo-46626 [https://bugs.python.org/issue?@action=redirect&bpo=46626]: Expose Linux’s IP_BIND_ADDRESS_NO_PORT option in socket.

bpo-46521 [https://bugs.python.org/issue?@action=redirect&bpo=46521]: Fix a bug in the codeop module that was incorrectly identifying invalid code involving string quotes as valid code.

bpo-46571 [https://bugs.python.org/issue?@action=redirect&bpo=46571]: Improve typing.no_type_check().

Now it does not modify external classes and functions. We also now correctly mark classmethods as not to be type checked.

bpo-46400 [https://bugs.python.org/issue?@action=redirect&bpo=46400]: expat: Update libexpat from 2.4.1 to 2.4.4

bpo-46556 [https://bugs.python.org/issue?@action=redirect&bpo=46556]: Deprecate undocumented support for using a pathlib.Path object as a context manager.

bpo-46534 [https://bugs.python.org/issue?@action=redirect&bpo=46534]: Implement PEP 673 [https://peps.python.org/pep-0673/] typing.Self. Patch by James Hilton-Balfe.

bpo-46522 [https://bugs.python.org/issue?@action=redirect&bpo=46522]: Make various module __getattr__ AttributeErrors more closely match a typical AttributeError

bpo-46475 [https://bugs.python.org/issue?@action=redirect&bpo=46475]: Add typing.Never and typing.assert_never(). Patch by Jelle Zijlstra.

bpo-46333 [https://bugs.python.org/issue?@action=redirect&bpo=46333]: The __eq__() and __hash__() methods of typing.ForwardRef now honor the module parameter of typing.ForwardRef. Forward references from different modules are now differentiated.

bpo-46246 [https://bugs.python.org/issue?@action=redirect&bpo=46246]: Add missing __slots__ to importlib.metadata.DeprecatedList. Patch by Arie Bovenberg.

bpo-46232 [https://bugs.python.org/issue?@action=redirect&bpo=46232]: The ssl module now handles certificates with bit strings in DN correctly.

bpo-46195 [https://bugs.python.org/issue?@action=redirect&bpo=46195]: typing.get_type_hints() no longer adds Optional to parameters with None as a default. This aligns to changes to PEP 484 in https://github.com/python/peps/pull/689

bpo-31369 [https://bugs.python.org/issue?@action=redirect&bpo=31369]: Add RegexFlag to re.__all__ and documented it. Add NOFLAG to indicate no flags being set.

bpo-45898 [https://bugs.python.org/issue?@action=redirect&bpo=45898]: ctypes no longer defines ffi_type_* symbols in cfield.c. The symbols have been provided by libffi for over a decade.

bpo-44953 [https://bugs.python.org/issue?@action=redirect&bpo=44953]: Calling operator.itemgetter objects and operator.attrgetter objects is now faster due to use of the vectorcall calling convention.

bpo-44289 [https://bugs.python.org/issue?@action=redirect&bpo=44289]: Fix an issue with is_tarfile() method when using fileobj argument: position in the fileobj was advanced forward which made it unreadable with tarfile.TarFile.open().

bpo-44011 [https://bugs.python.org/issue?@action=redirect&bpo=44011]: Reimplement SSL/TLS support in asyncio, borrow the implementation from uvloop library.

bpo-41086 [https://bugs.python.org/issue?@action=redirect&bpo=41086]: Make the configparser.ConfigParser constructor raise TypeError if the interpolation parameter is not of type configparser.Interpolation

bpo-29418 [https://bugs.python.org/issue?@action=redirect&bpo=29418]: Implement inspect.ismethodwrapper() and fix inspect.isroutine() for cases where methodwrapper is given. Patch by Hakan Çelik.

bpo-14156 [https://bugs.python.org/issue?@action=redirect&bpo=14156]: argparse.FileType now supports an argument of ‘-’ in binary mode, returning the .buffer attribute of sys.stdin/sys.stdout as appropriate. Modes including ‘x’ and ‘a’ are treated equivalently to ‘w’ when argument is ‘-’. Patch contributed by Josh Rosenberg

Documentation

bpo-42238 [https://bugs.python.org/issue?@action=redirect&bpo=42238]: Doc/tools/rstlint.py has moved to its own repository and is now packaged on PyPI as sphinx-lint.

Tests

bpo-46913 [https://bugs.python.org/issue?@action=redirect&bpo=46913]: Fix test_faulthandler.test_sigfpe() if Python is built with undefined behavior sanitizer (UBSAN): disable UBSAN on the faulthandler_sigfpe() function. Patch by Victor Stinner.

bpo-46760 [https://bugs.python.org/issue?@action=redirect&bpo=46760]: Remove bytecode offsets from expected values in test.test_dis module. Reduces the obstacles to modifying the VM or compiler.

bpo-46708 [https://bugs.python.org/issue?@action=redirect&bpo=46708]: Prevent default asyncio event loop policy modification warning after test_asyncio execution.

bpo-46678 [https://bugs.python.org/issue?@action=redirect&bpo=46678]: The function make_legacy_pyc in Lib/test/support/import_helper.py no longer fails when PYTHONPYCACHEPREFIX is set to a directory on a different device from where tempfiles are stored.

bpo-46623 [https://bugs.python.org/issue?@action=redirect&bpo=46623]: Skip test_pair() and test_speech128() of test_zlib on s390x since they fail if zlib uses the s390x hardware accelerator. Patch by Victor Stinner.

Build

bpo-46860 [https://bugs.python.org/issue?@action=redirect&bpo=46860]: Respect --with-suffix when building on case-insensitive file systems.

bpo-46656 [https://bugs.python.org/issue?@action=redirect&bpo=46656]: Building Python now requires a C11 compiler. Optional C11 features are not required. Patch by Victor Stinner.

bpo-46656 [https://bugs.python.org/issue?@action=redirect&bpo=46656]: Building Python now requires support for floating-point Not-a-Number (NaN): remove the Py_NO_NAN macro. Patch by Victor Stinner.

bpo-46640 [https://bugs.python.org/issue?@action=redirect&bpo=46640]: Building Python now requires a C99 <math.h> header file providing a NAN constant, or the __builtin_nan() built-in function. Patch by Victor Stinner.

bpo-46608 [https://bugs.python.org/issue?@action=redirect&bpo=46608]: Exclude marshalled-frozen data if deep-freezing to save 300 KB disk space. This includes adding a new is_package field to _frozen. Patch by Kumar Aditya.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Fix wasm32-emscripten test failures and platform issues. - Disable syscalls that are not supported or don’t work, e.g. wait, getrusage, prlimit, mkfifo, mknod, setres[gu]id, setgroups. - Use fd_count to count open fds. - Add more checks for subprocess and fork. - Add workarounds for missing _multiprocessing and failing socket.accept(). - Enable bzip2. - Disable large file support. - Disable signal.alarm.

bpo-46430 [https://bugs.python.org/issue?@action=redirect&bpo=46430]: Intern strings in deep-frozen modules. Patch by Kumar Aditya.

Windows

bpo-46744 [https://bugs.python.org/issue?@action=redirect&bpo=46744]: The default all users install directory for ARM64 is now under the native Program Files folder, rather than Program Files (Arm) which is intended for ARM (32-bit) files.

bpo-46567 [https://bugs.python.org/issue?@action=redirect&bpo=46567]: Adds Tcl and Tk support for Windows ARM64. This also adds IDLE to the installation.

bpo-46638 [https://bugs.python.org/issue?@action=redirect&bpo=46638]: Ensures registry virtualization is consistently disabled. For 3.10 and earlier, it remains enabled (some registry writes are protected), while for 3.11 and later it is disabled (registry modifications affect all applications).

IDLE

bpo-46630 [https://bugs.python.org/issue?@action=redirect&bpo=46630]: Make query dialogs on Windows start with a cursor in the entry box.

bpo-45447 [https://bugs.python.org/issue?@action=redirect&bpo=45447]: Apply IDLE syntax highlighting to .pyi files. Patch by Alex Waygood and Terry Jan Reedy.

C API

bpo-46748 [https://bugs.python.org/issue?@action=redirect&bpo=46748]: Python’s public headers no longer import <stdbool.h>, leaving code that embeds/extends Python free to define bool, true and false.

bpo-46836 [https://bugs.python.org/issue?@action=redirect&bpo=46836]: Move the PyFrameObject type definition (struct _frame) to the internal C API pycore_frame.h header file. Patch by Victor Stinner.

bpo-45459 [https://bugs.python.org/issue?@action=redirect&bpo=45459]: Rename Include/buffer.h header file to Include/pybuffer.h to avoid conflicts with projects having an existing buffer.h header file. Patch by Victor Stinner.

bpo-45412 [https://bugs.python.org/issue?@action=redirect&bpo=45412]: Remove the HAVE_PY_SET_53BIT_PRECISION macro (moved to the internal C API). Patch by Victor Stinner.

bpo-46613 [https://bugs.python.org/issue?@action=redirect&bpo=46613]: Added function PyType_GetModuleByDef(), which allows access to module state when a method’s defining class is not available.

Python 3.11.0 alpha 5

Release date: 2022-02-03

Core and Builtins

bpo-45773 [https://bugs.python.org/issue?@action=redirect&bpo=45773]: Remove two invalid “peephole” optimizations from the bytecode compiler.

bpo-46564 [https://bugs.python.org/issue?@action=redirect&bpo=46564]: Do not create frame objects when creating super object. Patch by Kumar Aditya.

bpo-45885 [https://bugs.python.org/issue?@action=redirect&bpo=45885]: Added more fined-grained specialization failure stats regarding the COMPARE_OP bytecode.

bpo-44977 [https://bugs.python.org/issue?@action=redirect&bpo=44977]: The delegation of int() to __trunc__() is now deprecated. Calling int(a) when type(a) implements __trunc__() but not __int__() or __index__() now raises a DeprecationWarning.

bpo-46458 [https://bugs.python.org/issue?@action=redirect&bpo=46458]: Reorder code emitted by the compiler for a try-except block so that the else block’s code immediately follows the try body (without a jump). This is more optimal for the happy path.

bpo-46527 [https://bugs.python.org/issue?@action=redirect&bpo=46527]: Allow passing iterable as a keyword argument to enumerate() again. Patch by Jelle Zijlstra.

bpo-46528 [https://bugs.python.org/issue?@action=redirect&bpo=46528]: Replace several stack manipulation instructions (DUP_TOP, DUP_TOP_TWO, ROT_TWO, ROT_THREE, ROT_FOUR, and ROT_N) with new COPY and SWAP instructions.

bpo-46329 [https://bugs.python.org/issue?@action=redirect&bpo=46329]: Use two or three bytecodes to implement most calls.

Calls without named arguments are implemented as a sequence of two instructions: PRECALL; CALL. Calls with named arguments are implemented as a sequence of three instructions: PRECALL; KW_NAMES; CALL. There are two different PRECALL instructions: PRECALL_FUNTION and PRECALL_METHOD. The latter pairs with LOAD_METHOD.

This partition into pre-call and call allows better specialization, and thus better performance ultimately.

There is no change in semantics.

bpo-46503 [https://bugs.python.org/issue?@action=redirect&bpo=46503]: Fix an assert when parsing some invalid N escape sequences in f-strings.

bpo-46431 [https://bugs.python.org/issue?@action=redirect&bpo=46431]: Improve error message on invalid calls to BaseExceptionGroup.__new__().

bpo-46476 [https://bugs.python.org/issue?@action=redirect&bpo=46476]: Fix memory leak in code objects generated by deepfreeze. Patch by Kumar Aditya.

bpo-46481 [https://bugs.python.org/issue?@action=redirect&bpo=46481]: Speed up calls to weakref.ref.__call__() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-46417 [https://bugs.python.org/issue?@action=redirect&bpo=46417]: Fix a race condition on setting a type __bases__ attribute: the internal function add_subclass() now gets the PyTypeObject.tp_subclasses member after calling PyWeakref_NewRef() which can trigger a garbage collection which can indirectly modify PyTypeObject.tp_subclasses. Patch by Victor Stinner.

bpo-46417 [https://bugs.python.org/issue?@action=redirect&bpo=46417]: python -X showrefcount now shows the total reference count after clearing and destroyed the main Python interpreter. Previously, it was shown before. Patch by Victor Stinner.

bpo-43683 [https://bugs.python.org/issue?@action=redirect&bpo=43683]: Add ASYNC_GEN_WRAP opcode to wrap the value to be yielded in async generators. Removes the need to special case async generators in the YIELD_VALUE instruction.

bpo-46407 [https://bugs.python.org/issue?@action=redirect&bpo=46407]: Optimize some modulo operations in Objects/longobject.c. Patch by Jeremiah Vivian.

bpo-46409 [https://bugs.python.org/issue?@action=redirect&bpo=46409]: Add new RETURN_GENERATOR bytecode to make generators. Simplifies calling Python functions in the VM, as they no longer any need to special case generator functions.

Also add JUMP_NO_INTERRUPT bytecode that acts like JUMP_ABSOLUTE, but does not check for interrupts.

bpo-46406 [https://bugs.python.org/issue?@action=redirect&bpo=46406]: The integer division // implementation has been optimized to better let the compiler understand its constraints. It can be 20% faster on the amd64 platform when dividing an int by a value smaller than 2**30.

bpo-46383 [https://bugs.python.org/issue?@action=redirect&bpo=46383]: Fix invalid signature of _zoneinfo’s module_free function to resolve a crash on wasm32-emscripten platform.

bpo-46361 [https://bugs.python.org/issue?@action=redirect&bpo=46361]: Ensure that “small” integers created by int.from_bytes() and decimal.Decimal are properly cached.

bpo-46161 [https://bugs.python.org/issue?@action=redirect&bpo=46161]: Fix the class building error when the arguments are constants and CALL_FUNCTION_EX is used.

bpo-46028 [https://bugs.python.org/issue?@action=redirect&bpo=46028]: Fixes calculation of sys._base_executable when inside a virtual environment that uses symlinks with different binary names than the base environment provides.

bpo-46091 [https://bugs.python.org/issue?@action=redirect&bpo=46091]: Correctly calculate indentation levels for lines with whitespace character that are ended by line continuation characters. Patch by Pablo Galindo

bpo-30512 [https://bugs.python.org/issue?@action=redirect&bpo=30512]: Add CAN Socket support for NetBSD.

bpo-46045 [https://bugs.python.org/issue?@action=redirect&bpo=46045]: Do not use POSIX semaphores on NetBSD

bpo-44024 [https://bugs.python.org/issue?@action=redirect&bpo=44024]: Improve the TypeError message for non-string second arguments passed to the built-in functions getattr() and hasattr(). Patch by Géry Ogam.

Library

bpo-46624 [https://bugs.python.org/issue?@action=redirect&bpo=46624]: Restore support for non-integer arguments of random.randrange() and random.randint().

bpo-46591 [https://bugs.python.org/issue?@action=redirect&bpo=46591]: Make the IDLE doc URL on the About IDLE dialog clickable.

bpo-46565 [https://bugs.python.org/issue?@action=redirect&bpo=46565]: Remove loop variables that are leaking into modules’ namespaces.

bpo-46553 [https://bugs.python.org/issue?@action=redirect&bpo=46553]: In typing.get_type_hints(), support evaluating bare stringified ClassVar annotations. Patch by Gregory Beauregard.

bpo-46544 [https://bugs.python.org/issue?@action=redirect&bpo=46544]: Don’t leak x & uspace intermediate vars in textwrap.TextWrapper.

bpo-46487 [https://bugs.python.org/issue?@action=redirect&bpo=46487]: Add the get_write_buffer_limits method to asyncio.transports.WriteTransport and to the SSL transport.

bpo-45173 [https://bugs.python.org/issue?@action=redirect&bpo=45173]: Note the configparser deprecations will be removed in Python 3.12.

bpo-45162 [https://bugs.python.org/issue?@action=redirect&bpo=45162]: The deprecated unittest APIs removed in 3.11a1 have been temporarily restored to be removed in 3.12 while cleanups in external projects go in.

bpo-46539 [https://bugs.python.org/issue?@action=redirect&bpo=46539]: In typing.get_type_hints(), support evaluating stringified ClassVar and Final annotations inside Annotated. Patch by Gregory Beauregard.

bpo-46510 [https://bugs.python.org/issue?@action=redirect&bpo=46510]: Add missing test for types.TracebackType and types.FrameType. Calculate them directly from the caught exception without calling sys.exc_info().

bpo-46491 [https://bugs.python.org/issue?@action=redirect&bpo=46491]: Allow typing.Annotated to wrap typing.Final and typing.ClassVar. Patch by Gregory Beauregard.

bpo-46483 [https://bugs.python.org/issue?@action=redirect&bpo=46483]: Remove __class_getitem__() from pathlib.PurePath as this class was not supposed to be generic.

bpo-46436 [https://bugs.python.org/issue?@action=redirect&bpo=46436]: Fix command-line option -d/--directory in module http.server which is ignored when combined with command-line option --cgi. Patch by Géry Ogam.

bpo-41403 [https://bugs.python.org/issue?@action=redirect&bpo=41403]: Make mock.patch() raise a TypeError with a relevant error message on invalid arg. Previously it allowed a cryptic AttributeError to escape.

bpo-46474 [https://bugs.python.org/issue?@action=redirect&bpo=46474]: In importlib.metadata.EntryPoint.pattern, avoid potential REDoS by limiting ambiguity in consecutive whitespace.

bpo-46474 [https://bugs.python.org/issue?@action=redirect&bpo=46474]: Removed private method from importlib.metadata.Path. Sync with importlib_metadata 4.10.0.

bpo-46470 [https://bugs.python.org/issue?@action=redirect&bpo=46470]: Remove unused branch from typing._remove_dups_flatten

bpo-46469 [https://bugs.python.org/issue?@action=redirect&bpo=46469]: asyncio generic classes now return types.GenericAlias in __class_getitem__ instead of the same class.

bpo-41906 [https://bugs.python.org/issue?@action=redirect&bpo=41906]: Support passing filter instances in the filters values of handlers and loggers in the dictionary passed to logging.config.dictConfig().

bpo-46422 [https://bugs.python.org/issue?@action=redirect&bpo=46422]: Use dis.Positions in dis.Instruction instead of a regular tuple.

bpo-46434 [https://bugs.python.org/issue?@action=redirect&bpo=46434]: pdb now gracefully handles help when __doc__ is missing, for example when run with pregenerated optimized .pyc files.

bpo-43869 [https://bugs.python.org/issue?@action=redirect&bpo=43869]: Python uses the same time Epoch on all platforms. Add an explicit unit test to ensure that it’s the case. Patch by Victor Stinner.

bpo-46414 [https://bugs.python.org/issue?@action=redirect&bpo=46414]: Add typing.reveal_type(). Patch by Jelle Zijlstra.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: subprocess now imports Windows-specific imports when msvcrt module is available, and POSIX-specific imports on all other platforms. This gives a clean exception when _posixsubprocess is not available (e.g. Emscripten browser target).

bpo-40066 [https://bugs.python.org/issue?@action=redirect&bpo=40066]: IntEnum, IntFlag, and StrEnum use the mixed-in type for their str() and format() output.

bpo-46316 [https://bugs.python.org/issue?@action=redirect&bpo=46316]: Optimize pathlib.Path.iterdir() by removing an unnecessary check for special entries.

bpo-29688 [https://bugs.python.org/issue?@action=redirect&bpo=29688]: Document pathlib.Path.absolute() (which has always existed).

bpo-43012 [https://bugs.python.org/issue?@action=redirect&bpo=43012]: The pathlib module’s obsolete and internal _Accessor class has been removed to prepare the terrain for upcoming enhancements to the module.

bpo-46258 [https://bugs.python.org/issue?@action=redirect&bpo=46258]: Speed up math.isqrt() for small positive integers by replacing two division steps with a lookup table.

bpo-46242 [https://bugs.python.org/issue?@action=redirect&bpo=46242]: Improve error message when creating a new enum.Enum type subclassing an existing Enum with _member_names_ using enum.Enum.__call__().

bpo-43118 [https://bugs.python.org/issue?@action=redirect&bpo=43118]: Fix a bug in inspect.signature() that was causing it to fail on some subclasses of classes with a __text_signature__ referencing module globals. Patch by Weipeng Hong.

bpo-26552 [https://bugs.python.org/issue?@action=redirect&bpo=26552]: Fixed case where failing asyncio.ensure_future() did not close the coroutine. Patch by Kumar Aditya.

bpo-21987 [https://bugs.python.org/issue?@action=redirect&bpo=21987]: Fix an issue with tarfile.TarFile.getmember() getting a directory name with a trailing slash.

bpo-46124 [https://bugs.python.org/issue?@action=redirect&bpo=46124]: Update zoneinfo to rely on importlib.resources traversable API.

bpo-46103 [https://bugs.python.org/issue?@action=redirect&bpo=46103]: Now inspect.getmembers() only gets __bases__ attribute from class type. Patch by Weipeng Hong.

bpo-46080 [https://bugs.python.org/issue?@action=redirect&bpo=46080]: Fix exception in argparse help text generation if a argparse.BooleanOptionalAction argument’s default is argparse.SUPPRESS and it has help specified. Patch by Felix Fontein.

bpo-44791 [https://bugs.python.org/issue?@action=redirect&bpo=44791]: Fix substitution of ParamSpec in Concatenate with different parameter expressions. Substitution with a list of types returns now a tuple of types. Substitution with Concatenate returns now a Concatenate with concatenated lists of arguments.

Documentation

bpo-46463 [https://bugs.python.org/issue?@action=redirect&bpo=46463]: Fixes escape4chm.py script used when building the CHM documentation file

Tests

bpo-43478 [https://bugs.python.org/issue?@action=redirect&bpo=43478]: Mocks can no longer be provided as the specs for other Mocks. As a result, an already-mocked object cannot be passed to mock.Mock(). This can uncover bugs in tests since these Mock-derived Mocks will always pass certain tests (e.g. isinstance) and builtin assert functions (e.g. assert_called_once_with) will unconditionally pass.

bpo-46616 [https://bugs.python.org/issue?@action=redirect&bpo=46616]: Ensures test_importlib.test_windows cleans up registry keys after completion.

bpo-44359 [https://bugs.python.org/issue?@action=redirect&bpo=44359]: test_ftplib now silently ignores socket errors to prevent logging unhandled threading exceptions. Patch by Victor Stinner.

bpo-46600 [https://bugs.python.org/issue?@action=redirect&bpo=46600]: Fix test_gdb.test_pycfunction() for Python built with clang -Og. Tolerate inlined functions in the gdb traceback. Patch by Victor Stinner.

bpo-46542 [https://bugs.python.org/issue?@action=redirect&bpo=46542]: Fix a Python crash in test_lib2to3 when using Python built in debug mode: limit the recursion limit. Patch by Victor Stinner.

bpo-46576 [https://bugs.python.org/issue?@action=redirect&bpo=46576]: test_peg_generator now disables compiler optimization when testing compilation of its own C extensions to significantly speed up the testing on non-debug builds of CPython.

bpo-46542 [https://bugs.python.org/issue?@action=redirect&bpo=46542]: Fix test_json tests checking for RecursionError: modify these tests to use support.infinite_recursion(). Patch by Victor Stinner.

bpo-13886 [https://bugs.python.org/issue?@action=redirect&bpo=13886]: Skip test_builtin PTY tests on non-ASCII characters if the readline module is loaded. The readline module changes input() behavior, but test_builtin is not intended to test the readline module. Patch by Victor Stinner.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Add test.support.requires_fork() decorators to mark tests that require a working os.fork().

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Add test.support.requires_subprocess() decorator to mark tests which require working subprocess module or os.spawn*. The wasm32-emscripten platform has no support for processes.

bpo-46126 [https://bugs.python.org/issue?@action=redirect&bpo=46126]: Disable ‘descriptions’ when running tests internally.

Build

bpo-46602 [https://bugs.python.org/issue?@action=redirect&bpo=46602]: Tidied up configure.ac so that conftest.c is truncated rather than appended. This assists in the case where the ‘rm’ of conftest.c fails to happen between tests. Downstream issues such as a clobbered SOABI can result.

bpo-46600 [https://bugs.python.org/issue?@action=redirect&bpo=46600]: Fix the test checking if the C compiler supports -Og option in the ./configure script to also use -Og on clang which supports it. Patch by Victor Stinner.

bpo-38472 [https://bugs.python.org/issue?@action=redirect&bpo=38472]: Fix GCC detection in setup.py when cross-compiling. The C compiler is now run with LC_ALL=C. Previously, the detection failed with a German locale.

bpo-46513 [https://bugs.python.org/issue?@action=redirect&bpo=46513]: configure no longer uses AC_C_CHAR_UNSIGNED macro and pyconfig.h no longer defines reserved symbol __CHAR_UNSIGNED__.

bpo-46471 [https://bugs.python.org/issue?@action=redirect&bpo=46471]: Use global singletons for single byte bytes objects in deepfreeze.

bpo-46443 [https://bugs.python.org/issue?@action=redirect&bpo=46443]: Deepfreeze now uses cached small integers as it saves some space for common small integers.

bpo-46429 [https://bugs.python.org/issue?@action=redirect&bpo=46429]: Merge all deep-frozen files into one for space savings. Patch by Kumar Aditya.

bpo-45569 [https://bugs.python.org/issue?@action=redirect&bpo=45569]: The build now defaults to using 30-bit digits for Python integers. Previously either 15-bit or 30-bit digits would be selected, depending on the platform. 15-bit digits may still be selected using the --enable-big-digits=15 option to the configure script, or by defining PYLONG_BITS_IN_DIGIT in pyconfig.h.

bpo-45925 [https://bugs.python.org/issue?@action=redirect&bpo=45925]: Update Windows installer to use SQLite 3.37.2.

bpo-43112 [https://bugs.python.org/issue?@action=redirect&bpo=43112]: Detect musl libc as a separate SOABI (tagged as linux-musl).

Windows

bpo-33125 [https://bugs.python.org/issue?@action=redirect&bpo=33125]: The traditional EXE/MSI based installer for Windows is now available for ARM64

bpo-46362 [https://bugs.python.org/issue?@action=redirect&bpo=46362]: os.path.abspath(“C:CON”) is now fixed to return “\.CON”, not the same path. The regression was true of all legacy DOS devices such as COM1, LPT1, or NUL.

bpo-44934 [https://bugs.python.org/issue?@action=redirect&bpo=44934]: The installer now offers a command-line only option to add the installation directory to the end of PATH instead of at the start.

macOS

bpo-45925 [https://bugs.python.org/issue?@action=redirect&bpo=45925]: Update macOS installer to SQLite 3.37.2.

IDLE

bpo-45296 [https://bugs.python.org/issue?@action=redirect&bpo=45296]: Clarify close, quit, and exit in IDLE. In the File menu, ‘Close’ and ‘Exit’ are now ‘Close Window’ (the current one) and ‘Exit’ is now ‘Exit IDLE’ (by closing all windows). In Shell, ‘quit()’ and ‘exit()’ mean ‘close Shell’. If there are no other windows, this also exits IDLE.

C API

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Remove the PyHeapType_GET_MEMBERS() macro. It was exposed in the public C API by mistake, it must only be used by Python internally. Use the PyTypeObject.tp_members member instead. Patch by Victor Stinner.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Move _Py_GetAllocatedBlocks() and _PyObject_DebugMallocStats() private functions to the internal C API. Patch by Victor Stinner.

bpo-46433 [https://bugs.python.org/issue?@action=redirect&bpo=46433]: The internal function _PyType_GetModuleByDef now correctly handles inheritance patterns involving static types.

bpo-45459 [https://bugs.python.org/issue?@action=redirect&bpo=45459]: Py_buffer and various Py_buffer related functions are now part of the limited API and stable ABI.

bpo-14916 [https://bugs.python.org/issue?@action=redirect&bpo=14916]: Fixed bug in the tokenizer that prevented PyRun_InteractiveOne from parsing from the provided FD.

Python 3.11.0 alpha 4

Release date: 2022-01-13

Core and Builtins

bpo-46070 [https://bugs.python.org/issue?@action=redirect&bpo=46070]: Py_EndInterpreter() now explicitly untracks all objects currently tracked by the GC. Previously, if an object was used later by another interpreter, calling PyObject_GC_UnTrack() on the object crashed if the previous or the next object of the PyGC_Head structure became a dangling pointer. Patch by Victor Stinner.

bpo-46347 [https://bugs.python.org/issue?@action=redirect&bpo=46347]: Fix memory leak in PyEval_EvalCodeEx.

bpo-46339 [https://bugs.python.org/issue?@action=redirect&bpo=46339]: Fix a crash in the parser when retrieving the error text for multi-line f-strings expressions that do not start in the first line of the string. Patch by Pablo Galindo

bpo-46331 [https://bugs.python.org/issue?@action=redirect&bpo=46331]: Do not set line number of instruction storing doc-string. Fixes regression introduced in 3.11 alpha.

bpo-46314 [https://bugs.python.org/issue?@action=redirect&bpo=46314]: Remove spurious “call” event when creating a lambda function that was accidentally introduced in 3.11a4.

bpo-46289 [https://bugs.python.org/issue?@action=redirect&bpo=46289]: ASDL declaration of FormattedValue has changed to reflect conversion field is not optional.

bpo-46297 [https://bugs.python.org/issue?@action=redirect&bpo=46297]: Fixed an interpreter crash on bootup with multiple PythonPaths set in the Windows registry. Patch by Derzsi Dániel.

bpo-46237 [https://bugs.python.org/issue?@action=redirect&bpo=46237]: Fix the line number of tokenizer errors inside f-strings. Patch by Pablo Galindo.

bpo-46263 [https://bugs.python.org/issue?@action=redirect&bpo=46263]: We always expect the “use_frozen_modules” config to be set, now that getpath.c was rewritten in pure Python and the logic improved.

bpo-46006 [https://bugs.python.org/issue?@action=redirect&bpo=46006]: Fix a regression when a type method like __init__() is modified in a subinterpreter. Fix a regression in _PyUnicode_EqualToASCIIId() and type update_slot(). Revert the change which made the Unicode dictionary of interned strings compatible with subinterpreters: the internal interned dictionary is shared again by all interpreters. Patch by Victor Stinner.

bpo-45923 [https://bugs.python.org/issue?@action=redirect&bpo=45923]: Add RESUME opcode. This is a logical no-op. It is emitted by the compiler anywhere a Python function can be entered. It is used by the interpreter to perform tracing and optimizer checks.

bpo-46208 [https://bugs.python.org/issue?@action=redirect&bpo=46208]: Fix the regression of os.path.normpath(“A/../../B”) not returning expected “../B” but “B”.

bpo-46240 [https://bugs.python.org/issue?@action=redirect&bpo=46240]: Correct the error message for unclosed parentheses when the tokenizer doesn’t reach the end of the source when the error is reported. Patch by Pablo Galindo

bpo-46009 [https://bugs.python.org/issue?@action=redirect&bpo=46009]: Remove the GEN_START opcode.

bpo-46235 [https://bugs.python.org/issue?@action=redirect&bpo=46235]: Certain sequence multiplication operations like [0] * 1_000 are now faster due to reference-counting optimizations. Patch by Dennis Sweeney.

bpo-46221 [https://bugs.python.org/issue?@action=redirect&bpo=46221]: PREP_RERAISE_STAR no longer pushes lasti to the stack.

bpo-46202 [https://bugs.python.org/issue?@action=redirect&bpo=46202]: Remove POP_EXCEPT_AND_RERAISE and replace it by an equivalent sequence of other opcodes.

bpo-46085 [https://bugs.python.org/issue?@action=redirect&bpo=46085]: Fix iterator cache mechanism of OrderedDict.

bpo-46055 [https://bugs.python.org/issue?@action=redirect&bpo=46055]: Speed up shifting operation involving integers less than PyLong_BASE. Patch by Xinhang Xu.

bpo-46110 [https://bugs.python.org/issue?@action=redirect&bpo=46110]: Add a maximum recursion check to the PEG parser to avoid stack overflow. Patch by Pablo Galindo

bpo-46107 [https://bugs.python.org/issue?@action=redirect&bpo=46107]: Fix bug where ExceptionGroup.split() and ExceptionGroup.subgroup() did not copy the exception group’s __note__ field to the parts.

bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711]: The interpreter state’s representation of handled exceptions (a.k.a exc_info, or _PyErr_StackItem) now has only the exc_value field, exc_type and exc_traceback have been removed as their values can be derived from exc_value.

bpo-44525 [https://bugs.python.org/issue?@action=redirect&bpo=44525]: Replace the four call bytecode instructions which one pre-call instruction and two call instructions.

Removes CALL_FUNCTION, CALL_FUNCTION_KW, CALL_METHOD and CALL_METHOD_KW.

Adds CALL_NO_KW and CALL_KW call instructions, and PRECALL_METHOD prefix for pairing with LOAD_METHOD.

bpo-46039 [https://bugs.python.org/issue?@action=redirect&bpo=46039]: Remove the YIELD_FROM instruction and replace it with the SEND instruction which performs the same operation, but without the loop.

bpo-45635 [https://bugs.python.org/issue?@action=redirect&bpo=45635]: The code called from _PyErr_Display() was refactored to improve error handling. It now exits immediately upon an unrecoverable error.

bpo-46054 [https://bugs.python.org/issue?@action=redirect&bpo=46054]: Fix parser error when parsing non-utf8 characters in source files. Patch by Pablo Galindo.

bpo-46042 [https://bugs.python.org/issue?@action=redirect&bpo=46042]: Improve the location of the caret in SyntaxError exceptions emitted by the symbol table. Patch by Pablo Galindo.

bpo-46049 [https://bugs.python.org/issue?@action=redirect&bpo=46049]: Ensure ._pth files work as intended on platforms other than Windows.

bpo-46048 [https://bugs.python.org/issue?@action=redirect&bpo=46048]: Fixes parsing of ._pth files on startup so that single-character paths are correctly read.

bpo-37971 [https://bugs.python.org/issue?@action=redirect&bpo=37971]: Fix a bug where the line numbers given in a traceback when a decorator application raised an exception were wrong.

bpo-46031 [https://bugs.python.org/issue?@action=redirect&bpo=46031]: Add POP_JUMP_IF_NOT_NONE and POP_JUMP_IF_NONE opcodes to speed up conditional jumps.

bpo-45654 [https://bugs.python.org/issue?@action=redirect&bpo=45654]: Deepfreeze runpy, patch by Kumar Aditya.

bpo-46025 [https://bugs.python.org/issue?@action=redirect&bpo=46025]: Fix a crash in the atexit module involving functions that unregister themselves before raising exceptions. Patch by Pablo Galindo.

bpo-46000 [https://bugs.python.org/issue?@action=redirect&bpo=46000]: Improve compatibility of the curses module with NetBSD curses.

bpo-44525 [https://bugs.python.org/issue?@action=redirect&bpo=44525]: Specialize the CALL_FUNCTION instruction for calls to builtin types with a single argument. Speeds up range(x), list(x), and specifically type(obj).

bpo-42918 [https://bugs.python.org/issue?@action=redirect&bpo=42918]: Fix bug where the built-in compile() function did not always raise a SyntaxError when passed multiple statements in ‘single’ mode. Patch by Weipeng Hong.

bpo-45953 [https://bugs.python.org/issue?@action=redirect&bpo=45953]: The main interpreter in _PyRuntimeState.interpreters is now statically allocated (as part of _PyRuntime). Likewise for the initial thread state of each interpreter. This means less allocation during runtime init, as well as better memory locality for these key state objects.

bpo-45292 [https://bugs.python.org/issue?@action=redirect&bpo=45292]: Complete the PEP 654 [https://peps.python.org/pep-0654/] implementation: add except*.

bpo-43413 [https://bugs.python.org/issue?@action=redirect&bpo=43413]: Revert changes in set.__init__. Subclass of set needs to define a __init__() method if it defines a __new__() method with additional keyword parameters.

bpo-43931 [https://bugs.python.org/issue?@action=redirect&bpo=43931]: Added the Py_Version constant which bears the same value as PY_VERSION_HEX. Patch by Gabriele N. Tornetta.

Library

bpo-46342 [https://bugs.python.org/issue?@action=redirect&bpo=46342]: The @typing.final decorator now sets the __final__ attribute on the decorated object to allow runtime introspection. Patch by Jelle Zijlstra.

bpo-46328 [https://bugs.python.org/issue?@action=redirect&bpo=46328]: Added the sys.exception() method which returns the active exception instance.

bpo-46307 [https://bugs.python.org/issue?@action=redirect&bpo=46307]: Add string.Template.is_valid() and string.Template.get_identifiers() methods.

bpo-46306 [https://bugs.python.org/issue?@action=redirect&bpo=46306]: Assume that types.CodeType always has types.CodeType.co_firstlineno in doctest.

bpo-40479 [https://bugs.python.org/issue?@action=redirect&bpo=40479]: Fix hashlib usedforsecurity option to work correctly with OpenSSL 3.0.0 in FIPS mode.

bpo-46070 [https://bugs.python.org/issue?@action=redirect&bpo=46070]: Fix possible segfault when importing the asyncio module from different sub-interpreters in parallel. Patch by Erlend E. Aasland.

bpo-46244 [https://bugs.python.org/issue?@action=redirect&bpo=46244]: Removed __slots__ from typing.ParamSpec and typing.TypeVar. They served no purpose. Patch by Arie Bovenberg.

bpo-46278 [https://bugs.python.org/issue?@action=redirect&bpo=46278]: Reflect context argument in AbstractEventLoop.call_*() methods. Loop implementations already support it.

bpo-46269 [https://bugs.python.org/issue?@action=redirect&bpo=46269]: Remove special-casing of __new__ in enum.Enum.__dir__().

bpo-46266 [https://bugs.python.org/issue?@action=redirect&bpo=46266]: Improve day constants in calendar.

Now all constants (MONDAY … SUNDAY) are documented, tested, and added to __all__.

bpo-46257 [https://bugs.python.org/issue?@action=redirect&bpo=46257]: Optimized the mean, variance, and stdev functions in the statistics module. If the input is an iterator, it is consumed in a single pass rather than eating memory by conversion to a list. The single pass algorithm is about twice as fast as the previous two pass code.

bpo-41011 [https://bugs.python.org/issue?@action=redirect&bpo=41011]: Added two new variables to pyvenv.cfg which is generated by venv module: executable for the executable and command for the command line used to create the environment.

bpo-46239 [https://bugs.python.org/issue?@action=redirect&bpo=46239]: Improve error message when importing asyncio.windows_events on non-Windows.

bpo-46238 [https://bugs.python.org/issue?@action=redirect&bpo=46238]: Reuse _winapi constants in asyncio.windows_events.

bpo-46222 [https://bugs.python.org/issue?@action=redirect&bpo=46222]: Adding SF_NOCACHE sendfile constant for FreeBSD for the posixmodule.

bpo-37295 [https://bugs.python.org/issue?@action=redirect&bpo=37295]: Add fast path for 0 <= k <= n <= 67 for math.comb().

bpo-46176 [https://bugs.python.org/issue?@action=redirect&bpo=46176]: Adding the MAP_STACK constant for the mmap module.

bpo-43424 [https://bugs.python.org/issue?@action=redirect&bpo=43424]: Deprecate webbrowser.MacOSXOSAScript._name and use name instead.

bpo-45321 [https://bugs.python.org/issue?@action=redirect&bpo=45321]: Added missing error codes to module xml.parsers.expat.errors.

bpo-46125 [https://bugs.python.org/issue?@action=redirect&bpo=46125]: Refactor tests to test traversable API directly. Includes changes from importlib 5.4.0.

bpo-46118 [https://bugs.python.org/issue?@action=redirect&bpo=46118]: Moved importlib.resources and its related functionality to a package.

bpo-37578 [https://bugs.python.org/issue?@action=redirect&bpo=37578]: Add include_hidden parameter to glob() and iglob() to match hidden files and directories when using special characters like *, **, ? and [].

bpo-20369 [https://bugs.python.org/issue?@action=redirect&bpo=20369]: concurrent.futures.wait() no longer blocks forever when given duplicate Futures. Patch by Kumar Aditya.

bpo-46105 [https://bugs.python.org/issue?@action=redirect&bpo=46105]: Honor spec when generating requirement specs with urls and extras (importlib_metadata 4.8.3).

bpo-44893 [https://bugs.python.org/issue?@action=redirect&bpo=44893]: EntryPoint objects are no longer tuples. Recommended means to access is by attribute (‘.name’, ‘.group’) or accessor (‘.load()’). Access by index is deprecated and will raise deprecation warning.

bpo-22815 [https://bugs.python.org/issue?@action=redirect&bpo=22815]: Print unexpected successes together with failures and errors in summary in unittest.TextTestResult.

bpo-22047 [https://bugs.python.org/issue?@action=redirect&bpo=22047]: Calling add_argument_group() on an argument group is deprecated. Calling add_argument_group() or add_mutually_exclusive_group() on a mutually exclusive group is deprecated.

These features were never supported and do not always work correctly. The functions exist on the API by accident through inheritance and will be removed in the future.

bpo-26952 [https://bugs.python.org/issue?@action=redirect&bpo=26952]: argparse raises ValueError with clear message when trying to render usage for an empty mutually exclusive group. Previously it raised a cryptic IndexError.

bpo-45615 [https://bugs.python.org/issue?@action=redirect&bpo=45615]: Functions in the traceback module raise TypeError rather than AttributeError when an exception argument is not of type BaseException.

bpo-16594 [https://bugs.python.org/issue?@action=redirect&bpo=16594]: Add allow allow_reuse_port flag in socketserver.

bpo-27718 [https://bugs.python.org/issue?@action=redirect&bpo=27718]: Fix help for the signal module. Some functions (e.g. signal() and getsignal()) were omitted.

bpo-46032 [https://bugs.python.org/issue?@action=redirect&bpo=46032]: The registry() method of functools.singledispatch() functions checks now the first argument or the first parameter annotation and raises a TypeError if it is not supported. Previously unsupported “types” were ignored (e.g. typing.List[int]) or caused an error at calling time (e.g. list[int]).

bpo-46014 [https://bugs.python.org/issue?@action=redirect&bpo=46014]: Add ability to use typing.Union and types.UnionType as dispatch argument to functools.singledispatch. Patch provided by Yurii Karabas.

bpo-27062 [https://bugs.python.org/issue?@action=redirect&bpo=27062]: Add __all__ to inspect, patch by Kumar Aditya.

bpo-46018 [https://bugs.python.org/issue?@action=redirect&bpo=46018]: Ensure that math.expm1() does not raise on underflow.

bpo-46016 [https://bugs.python.org/issue?@action=redirect&bpo=46016]: Adding F_DUP2FD and F_DUP2FD_CLOEXEC constants from FreeBSD into the fcntl module.

bpo-45755 [https://bugs.python.org/issue?@action=redirect&bpo=45755]: typing generic aliases now reveal the class attributes of the original generic class when passed to dir(). This was the behavior up to Python 3.6, but was changed in 3.7-3.9.

bpo-45874 [https://bugs.python.org/issue?@action=redirect&bpo=45874]: The empty query string, consisting of no query arguments, is now handled correctly in urllib.parse.parse_qsl. This caused problems before when strict parsing was enabled.

bpo-44674 [https://bugs.python.org/issue?@action=redirect&bpo=44674]: Change how dataclasses disallows mutable default values. It used to use a list of known types (list, dict, set). Now it disallows unhashable objects to be defaults. It’s using unhashability as a proxy for mutability. Patch by Eric V. Smith, idea by Raymond Hettinger.

bpo-23882 [https://bugs.python.org/issue?@action=redirect&bpo=23882]: Remove namespace package (PEP 420) support from unittest discovery. It was introduced in Python 3.4 but has been broken since Python 3.7.

bpo-25066 [https://bugs.python.org/issue?@action=redirect&bpo=25066]: Added a __repr__() method to multiprocessing.Event objects, patch by Kumar Aditya.

bpo-45643 [https://bugs.python.org/issue?@action=redirect&bpo=45643]: Added signal.SIGSTKFLT on platforms where this signal is defined.

bpo-44092 [https://bugs.python.org/issue?@action=redirect&bpo=44092]: Fetch across rollback no longer raises InterfaceError. Instead we leave it to the SQLite library to handle these cases. Patch by Erlend E. Aasland.

bpo-42413 [https://bugs.python.org/issue?@action=redirect&bpo=42413]: Replace concurrent.futures.TimeoutError and asyncio.TimeoutError with builtin TimeoutError, keep these names as deprecated aliases.

Documentation

bpo-46196 [https://bugs.python.org/issue?@action=redirect&bpo=46196]: Document method cmd.Cmd.columnize().

bpo-46120 [https://bugs.python.org/issue?@action=redirect&bpo=46120]: State that | is preferred for readability over Union in the typing docs.

bpo-46109 [https://bugs.python.org/issue?@action=redirect&bpo=46109]: Extracted importlib.resources and importlib.resources.abc documentation into separate files.

bpo-19737 [https://bugs.python.org/issue?@action=redirect&bpo=19737]: Update the documentation for the globals() function.

Tests

bpo-46296 [https://bugs.python.org/issue?@action=redirect&bpo=46296]: Add a test case for enum with _use_args_ == True and _member_type_ == object.

bpo-46205 [https://bugs.python.org/issue?@action=redirect&bpo=46205]: Fix hang in runtest_mp due to race condition

bpo-46263 [https://bugs.python.org/issue?@action=redirect&bpo=46263]: Fix test_capi on FreeBSD 14-dev: instruct jemalloc to not fill freed memory with junk byte.

bpo-46262 [https://bugs.python.org/issue?@action=redirect&bpo=46262]: Cover ValueError path in tests for enum.Flag._missing_().

bpo-46150 [https://bugs.python.org/issue?@action=redirect&bpo=46150]: Now fakename in test_pathlib.PosixPathTest.test_expanduser is checked to be non-existent.

bpo-46129 [https://bugs.python.org/issue?@action=redirect&bpo=46129]: Rewrite asyncio.locks tests with unittest.IsolatedAsyncioTestCase usage.

bpo-23819 [https://bugs.python.org/issue?@action=redirect&bpo=23819]: Fixed asyncio tests in python optimized mode. Patch by Kumar Aditya.

bpo-46114 [https://bugs.python.org/issue?@action=redirect&bpo=46114]: Fix test case for OpenSSL 3.0.1 version. OpenSSL 3.0 uses 0xMNN00PP0L.

Build

bpo-44133 [https://bugs.python.org/issue?@action=redirect&bpo=44133]: When Python is configured with --without-static-libpython, the Python static library (libpython.a) is no longer built. Patch by Victor Stinner.

bpo-44133 [https://bugs.python.org/issue?@action=redirect&bpo=44133]: When Python is built without --enable-shared, the python program is now linked to object files, rather than being linked to the Python static library (libpython.a), to make sure that all symbols are exported. Previously, the linker omitted some symbols like the Py_FrozenMain() function. Patch by Victor Stinner.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: The configure script has a new option --with-emscripten-target to select browser or node as Emscripten build target.

bpo-46315 [https://bugs.python.org/issue?@action=redirect&bpo=46315]: Added and fixed #ifdef HAVE_FEATURE checks for functionality that is not available on WASI platform.

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: Fixed a regression in configure check for select.epoll().

bpo-46263 [https://bugs.python.org/issue?@action=redirect&bpo=46263]: configure no longer sets MULTIARCH on FreeBSD platforms.

bpo-46106 [https://bugs.python.org/issue?@action=redirect&bpo=46106]: Updated OpenSSL to 1.1.1m in Windows builds, macOS installer builds, and CI. Patch by Kumar Aditya.

bpo-46088 [https://bugs.python.org/issue?@action=redirect&bpo=46088]: Automatically detect or install bootstrap Python runtime when building from Visual Studio.

bpo-46072 [https://bugs.python.org/issue?@action=redirect&bpo=46072]: Add a –with-pystats configure option to turn on internal statistics gathering.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: A new directory Tools/wasm contains WebAssembly-related helpers like config.site override for wasm32-emscripten, wasm assets generator to bundle the stdlib, and a README.

bpo-46023 [https://bugs.python.org/issue?@action=redirect&bpo=46023]: makesetup no longer builds extensions that have been marked as disabled. This allows users to disable modules in Modules/Setup.local.

bpo-45949 [https://bugs.python.org/issue?@action=redirect&bpo=45949]: Use pure Python freeze_module for all but importlib bootstrap files. --with-freeze-module configure option is no longer needed for cross builds.

Windows

bpo-46217 [https://bugs.python.org/issue?@action=redirect&bpo=46217]: Removed parameter that is unsupported on Windows 8.1 and early Windows 10 and may have caused build or runtime failures.

macOS

bpo-40477 [https://bugs.python.org/issue?@action=redirect&bpo=40477]: The Python Launcher app for macOS now properly launches scripts and, if necessary, the Terminal app when running on recent macOS releases.

C API

bpo-46236 [https://bugs.python.org/issue?@action=redirect&bpo=46236]: Fix a bug in PyFunction_GetAnnotations() that caused it to return a tuple instead of a dict.

bpo-46140 [https://bugs.python.org/issue?@action=redirect&bpo=46140]: PyBuffer_GetPointer(), PyBuffer_FromContiguous(), PyBuffer_ToContiguous() and PyMemoryView_FromBuffer() now take buffer info by const Py_buffer * instead of Py_buffer *, as they do not need mutability. PyBuffer_FromContiguous() also now takes the source buffer as const void *, and similarly PyBuffer_GetPointer() takes the strides as const Py_ssize_t *.

bpo-45855 [https://bugs.python.org/issue?@action=redirect&bpo=45855]: Document that the no_block argument to PyCapsule_Import() is a no-op now.

bpo-45855 [https://bugs.python.org/issue?@action=redirect&bpo=45855]: Replaced deprecated usage of PyImport_ImportModuleNoBlock() with PyImport_ImportModule() in stdlib modules. Patch by Kumar Aditya.

bpo-46007 [https://bugs.python.org/issue?@action=redirect&bpo=46007]: The PyUnicode_CHECK_INTERNED() macro has been excluded from the limited C API. It was never usable there, because it used internal structures which are not available in the limited C API. Patch by Victor Stinner.

Python 3.11.0 alpha 3

Release date: 2021-12-08

Core and Builtins

bpo-46009 [https://bugs.python.org/issue?@action=redirect&bpo=46009]: Restore behavior from 3.9 and earlier when sending non-None to newly started generator. In 3.9 this did not affect the state of the generator. In 3.10.0 and 3.10.1 gen_func().send(0) is equivalent to gen_func().throw(TypeError(...) which exhausts the generator. In 3.10.2 onward, the behavior has been reverted to that of 3.9.

bpo-46004 [https://bugs.python.org/issue?@action=redirect&bpo=46004]: Fix the SyntaxError location for errors involving for loops with invalid targets. Patch by Pablo Galindo

bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711]: _PyErr_ChainStackItem() no longer normalizes exc_info (including setting the traceback on the exception instance) because exc_info is always normalized.

bpo-45607 [https://bugs.python.org/issue?@action=redirect&bpo=45607]: The __note__ field was added to BaseException. It is None by default but can be set to a string which is added to the exception’s traceback.

bpo-45947 [https://bugs.python.org/issue?@action=redirect&bpo=45947]: Place pointers to dict and values immediately before GC header. This reduces number of dependent memory loads to access either dict or values from 3 to 1.

bpo-45915 [https://bugs.python.org/issue?@action=redirect&bpo=45915]: is_valid_fd now uses faster fcntl(fd, F_GETFD) on Linux, macOS, and Windows.

bpo-44530 [https://bugs.python.org/issue?@action=redirect&bpo=44530]: Reverts a change to the code.__new__ audit event from an earlier prerelease.

bpo-42268 [https://bugs.python.org/issue?@action=redirect&bpo=42268]: Fail the configure step if the selected compiler doesn’t support memory sanitizer. Patch by Pablo Galindo

bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711]: The three values of exc_info are now always consistent with each other. In particular, the type and traceback fields are now derived from the exception instance. This impacts the return values of sys.exc_info() and PyErr_GetExcInfo() if the exception instance is modified while the exception is handled, as well as PyErr_SetExcInfo(), which now ignores the type and traceback arguments provided to it.

bpo-45727 [https://bugs.python.org/issue?@action=redirect&bpo=45727]: Refine the custom syntax error that suggests that a comma may be missing to trigger only when the expressions are detected between parentheses or brackets. Patch by Pablo Galindo

bpo-45885 [https://bugs.python.org/issue?@action=redirect&bpo=45885]: Specialized the COMPARE_OP opcode using the PEP 659 machinery.

bpo-45786 [https://bugs.python.org/issue?@action=redirect&bpo=45786]: Allocate space for the interpreter frame in the frame object, to avoid an additional allocation when the frame object outlives the frame activation.

bpo-45614 [https://bugs.python.org/issue?@action=redirect&bpo=45614]: Fix traceback display for exceptions with invalid module name.

bpo-45813 [https://bugs.python.org/issue?@action=redirect&bpo=45813]: Fix crash when calling coro.cr_frame.clear() after coroutine has been freed.

bpo-45811 [https://bugs.python.org/issue?@action=redirect&bpo=45811]: Improve the tokenizer errors when encountering invisible control characters in the parser. Patch by Pablo Galindo

bpo-45848 [https://bugs.python.org/issue?@action=redirect&bpo=45848]: Allow the parser to obtain error lines directly from encoded files. Patch by Pablo Galindo

bpo-45709 [https://bugs.python.org/issue?@action=redirect&bpo=45709]: Restore behavior from 3.10 when tracing an exception raised within a with statement.

bpo-44525 [https://bugs.python.org/issue?@action=redirect&bpo=44525]: Adds new COPY_FREE_VARS opcode, to make copying of free variables from function to frame explicit. Helps optimization of calls to Python function.

bpo-45829 [https://bugs.python.org/issue?@action=redirect&bpo=45829]: Specialize BINARY_SUBSCR for classes with a __getitem__ method implemented in Python

bpo-45826 [https://bugs.python.org/issue?@action=redirect&bpo=45826]: Fixed a crash when calling .with_traceback(None) on NameError. This occurs internally in unittest.TestCase.assertRaises().

bpo-45822 [https://bugs.python.org/issue?@action=redirect&bpo=45822]: Fixed a bug in the parser that was causing it to not respect PEP 263 [https://peps.python.org/pep-0263/] coding cookies when no flags are provided. Patch by Pablo Galindo

bpo-45820 [https://bugs.python.org/issue?@action=redirect&bpo=45820]: Fix a segfault when the parser fails without reading any input. Patch by Pablo Galindo

bpo-45636 [https://bugs.python.org/issue?@action=redirect&bpo=45636]: Simplify the implementation of BINARY_OP by indexing into an array of function pointers (rather than switching on the oparg).

bpo-42540 [https://bugs.python.org/issue?@action=redirect&bpo=42540]: Fix crash when os.fork() is called with an active non-default memory allocator.

bpo-45738 [https://bugs.python.org/issue?@action=redirect&bpo=45738]: Fix computation of error location for invalid continuation characters in the parser. Patch by Pablo Galindo.

bpo-45636 [https://bugs.python.org/issue?@action=redirect&bpo=45636]: Remove an existing “fast path” for old-style string formatting, since it no longer appears to have any measurable impact.

bpo-45753 [https://bugs.python.org/issue?@action=redirect&bpo=45753]: Make recursion checks a bit more efficient by tracking amount of calls left before overflow.

bpo-45773 [https://bugs.python.org/issue?@action=redirect&bpo=45773]: Fix a compiler hang when attempting to optimize certain jump patterns.

bpo-45764 [https://bugs.python.org/issue?@action=redirect&bpo=45764]: The parser now gives a better error message when leaving out the opening parenthesis ( after a def-statement:

>>> def f:
  File "<stdin>", line 1
    def f:
         ^
SyntaxError: expected '('

bpo-45609 [https://bugs.python.org/issue?@action=redirect&bpo=45609]: Specialized the STORE_SUBSCR opcode using the PEP 659 machinery.

bpo-45636 [https://bugs.python.org/issue?@action=redirect&bpo=45636]: Replace all numeric BINARY_* and INPLACE_* instructions with a single BINARY_OP implementation.

bpo-45582 [https://bugs.python.org/issue?@action=redirect&bpo=45582]: Path calculation (known as getpath) has been reimplemented as a frozen Python module. This should have no visible impact, but may affect calculation of all paths referenced in sys and sysconfig.

bpo-45450 [https://bugs.python.org/issue?@action=redirect&bpo=45450]: Improve the syntax error message for parenthesized arguments. Patch by Pablo Galindo.

Library

bpo-27946 [https://bugs.python.org/issue?@action=redirect&bpo=27946]: Fix possible crash when getting an attribute of xml.etree.ElementTree.Element simultaneously with replacing the attrib dict.

bpo-45711 [https://bugs.python.org/issue?@action=redirect&bpo=45711]: Make asyncio normalize exceptions as soon as they are captured with PyErr_Fetch(), and before they are stored as an exc_info triplet. This brings asyncio in line with the rest of the codebase, where an exc_info triplet is always normalized.

bpo-23819 [https://bugs.python.org/issue?@action=redirect&bpo=23819]: Replaced asserts with exceptions in asyncio, patch by Kumar Aditya.

bpo-13236 [https://bugs.python.org/issue?@action=redirect&bpo=13236]: unittest.TextTestResult and unittest.TextTestRunner flush now the output stream more often.

bpo-45917 [https://bugs.python.org/issue?@action=redirect&bpo=45917]: Added math.exp2():, which returns 2 raised to the power of x.

bpo-37658 [https://bugs.python.org/issue?@action=redirect&bpo=37658]: Fix issue when on certain conditions asyncio.wait_for() may allow a coroutine to complete successfully, but fail to return the result, potentially causing memory leaks or other issues.

bpo-45876 [https://bugs.python.org/issue?@action=redirect&bpo=45876]: Improve the accuracy of stdev() and pstdev() in the statistics module. When the inputs are floats or fractions, the output is a correctly rounded float

bpo-44649 [https://bugs.python.org/issue?@action=redirect&bpo=44649]: Handle dataclass(slots=True) with a field that has default a default value, but for which init=False.

bpo-45803 [https://bugs.python.org/issue?@action=redirect&bpo=45803]: Added missing kw_only parameter to dataclasses.make_dataclass().

bpo-45837 [https://bugs.python.org/issue?@action=redirect&bpo=45837]: The turtle.RawTurtle.settiltangle() is deprecated since Python 3.1, it now emits a deprecation warning and will be removed in Python 3.13.

Use turtle.RawTurtle.tiltangle() instead.

turtle.RawTurtle.tiltangle() was earlier incorrectly marked as deprecated, its docstring has been corrected.

Patch by Hugo van Kemenade.

bpo-45831 [https://bugs.python.org/issue?@action=redirect&bpo=45831]: faulthandler can now write ASCII-only strings (like filenames and function names) with a single write() syscall when dumping a traceback. It reduces the risk of getting an unreadable dump when two threads or two processes dump a traceback to the same file (like stderr) at the same time. Patch by Victor Stinner.

bpo-45828 [https://bugs.python.org/issue?@action=redirect&bpo=45828]: sqlite C callbacks now use unraisable exceptions if callback tracebacks are enabled. Patch by Erlend E. Aasland.

bpo-41735 [https://bugs.python.org/issue?@action=redirect&bpo=41735]: Fix thread lock in zlib.Decompress.flush() method before PyObject_GetBuffer.

bpo-45235 [https://bugs.python.org/issue?@action=redirect&bpo=45235]: Reverted an argparse bugfix that caused regression in the handling of default arguments for subparsers. This prevented leaf level arguments from taking precedence over root level arguments.

bpo-45754 [https://bugs.python.org/issue?@action=redirect&bpo=45754]: Fix a regression in Python 3.11a1 and 3.11a2 where sqlite3 incorrectly would use SQLITE_LIMIT_LENGTH when checking SQL statement lengths. Now, SQLITE_LIMIT_SQL_LENGTH is used. Patch by Erlend E. Aasland.

bpo-45766 [https://bugs.python.org/issue?@action=redirect&bpo=45766]: Added proportional option to statistics.linear_regression().

bpo-45765 [https://bugs.python.org/issue?@action=redirect&bpo=45765]: In importlib.metadata, fix distribution discovery for an empty path.

bpo-45757 [https://bugs.python.org/issue?@action=redirect&bpo=45757]: Fix bug where dis produced an incorrect oparg when EXTENDED_ARG is followed by an opcode that does not use its argument.

bpo-45644 [https://bugs.python.org/issue?@action=redirect&bpo=45644]: In-place JSON file formatting using python3 -m json.tool infile infile now works correctly, previously it left the file empty. Patch by Chris Wesseling.

bpo-45703 [https://bugs.python.org/issue?@action=redirect&bpo=45703]: When a namespace package is imported before another module from the same namespace is created/installed in a different sys.path location while the program is running, calling the importlib.invalidate_caches() function will now also guarantee the new module is noticed.

bpo-45535 [https://bugs.python.org/issue?@action=redirect&bpo=45535]: Improve output of dir() with Enums.

bpo-45664 [https://bugs.python.org/issue?@action=redirect&bpo=45664]: Fix types.resolve_bases() and types.new_class() for types.GenericAlias instance as a base.

bpo-45663 [https://bugs.python.org/issue?@action=redirect&bpo=45663]: Fix dataclasses.is_dataclass() for dataclasses which are subclasses of types.GenericAlias.

bpo-45662 [https://bugs.python.org/issue?@action=redirect&bpo=45662]: Fix the repr of dataclasses.InitVar with a type alias to the built-in class, e.g. InitVar[list[int]].

bpo-43137 [https://bugs.python.org/issue?@action=redirect&bpo=43137]: Launch GNOME web browsers via gio tool instead of obsolete gvfs-open

bpo-45429 [https://bugs.python.org/issue?@action=redirect&bpo=45429]: On Windows, time.sleep() now uses a waitable timer which supports high-resolution timers. Patch by Donghee Na and Eryk Sun.

bpo-37295 [https://bugs.python.org/issue?@action=redirect&bpo=37295]: Optimize math.comb() and math.perm().

bpo-45514 [https://bugs.python.org/issue?@action=redirect&bpo=45514]: Deprecated legacy functions in importlib.resources.

bpo-45507 [https://bugs.python.org/issue?@action=redirect&bpo=45507]: Add tests for truncated/missing trailers in gzip.decompress implementation.

bpo-45359 [https://bugs.python.org/issue?@action=redirect&bpo=45359]: Implement PEP 585 [https://peps.python.org/pep-0585/] for graphlib.TopologicalSorter.

bpo-44733 [https://bugs.python.org/issue?@action=redirect&bpo=44733]: Add max_tasks_per_child to concurrent.futures.ProcessPoolExecutor. This allows users to specify the maximum number of tasks a single process should execute before the process needs to be restarted.

bpo-28806 [https://bugs.python.org/issue?@action=redirect&bpo=28806]: Improve netrc library. netrc file no longer needs to contain all tokens. And if the login name is anonymous, security check is no longer need.

bpo-43498 [https://bugs.python.org/issue?@action=redirect&bpo=43498]: Avoid a possible “RuntimeError: dictionary changed size during iteration” when adjusting the process count of ProcessPoolExecutor.

bpo-42158 [https://bugs.python.org/issue?@action=redirect&bpo=42158]: Add MIME types for N-quads, N-triples, Notation3 and TriG to mimetypes.

bpo-30533 [https://bugs.python.org/issue?@action=redirect&bpo=30533]: Add inspect.getmembers_static() , it return all members without triggering dynamic lookup via the descriptor protocol. Patch by Weipeng Hong.

Documentation

bpo-42238 [https://bugs.python.org/issue?@action=redirect&bpo=42238]: make -C Doc suspicious will be removed soon in favor of make -C Doc check, mark it as deprecated.

bpo-45840 [https://bugs.python.org/issue?@action=redirect&bpo=45840]: Improve cross-references in the documentation for the data model.

bpo-45640 [https://bugs.python.org/issue?@action=redirect&bpo=45640]: Properly marked-up grammar tokens in the documentation are now clickable and take you to the definition of a given piece of grammar. Patch by Arthur Milchior.

bpo-45788 [https://bugs.python.org/issue?@action=redirect&bpo=45788]: Link doc for sys.prefix to sysconfig doc on installation paths.

bpo-45772 [https://bugs.python.org/issue?@action=redirect&bpo=45772]: socket.socket documentation is corrected to a class from a function.

bpo-45392 [https://bugs.python.org/issue?@action=redirect&bpo=45392]: Update the docstring of the type built-in to remove a redundant line and to mention keyword arguments for the constructor.

bpo-45250 [https://bugs.python.org/issue?@action=redirect&bpo=45250]: Update the documentation to note that CPython does not consistently require iterators to define __iter__.

bpo-25381 [https://bugs.python.org/issue?@action=redirect&bpo=25381]: In the extending chapter of the extending doc, update a paragraph about the global variables containing exception information.

bpo-43905 [https://bugs.python.org/issue?@action=redirect&bpo=43905]: Expanded astuple() and asdict() docs, warning about deepcopy being applied and providing a workaround.

Tests

bpo-45695 [https://bugs.python.org/issue?@action=redirect&bpo=45695]: Out-of-tree builds with a read-only source directory are now tested by CI.

bpo-19460 [https://bugs.python.org/issue?@action=redirect&bpo=19460]: Add new Test for Lib/email/mime/nonmultipart.py::MIMENonMultipart.

bpo-45835 [https://bugs.python.org/issue?@action=redirect&bpo=45835]: Fix race condition in test_queue tests with multiple “feeder” threads.

bpo-45783 [https://bugs.python.org/issue?@action=redirect&bpo=45783]: The test for the freeze tool now handles file moves and deletions.

bpo-45745 [https://bugs.python.org/issue?@action=redirect&bpo=45745]: Remove the --findleaks command line option of regrtest: use the --fail-env-changed option instead. Since Python 3.7, it was a deprecated alias to the --fail-env-changed option.

bpo-45701 [https://bugs.python.org/issue?@action=redirect&bpo=45701]: Add tests with tuple type with functools.lru_cache() to test_functools.

Build

bpo-44035 [https://bugs.python.org/issue?@action=redirect&bpo=44035]: CI now verifies that autoconf files have been regenerated with a current and unpatched autoconf package.

bpo-45950 [https://bugs.python.org/issue?@action=redirect&bpo=45950]: The build system now uses a _bootstrap_python interpreter for freezing and deepfreezing again. To speed up build process the build tools _bootstrap_python and _freeze_module are no longer build with LTO.

bpo-45881 [https://bugs.python.org/issue?@action=redirect&bpo=45881]: The configure script now accepts --with-build-python and --with-freeze-module options to make cross compiling easier.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Emscripten platform now uses .wasm suffix by default.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: Disable unusable core extension modules on WASM/Emscripten targets.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: configure now checks for socket shutdown function. The check makes it possible to disable SYS_shutdown with ac_cv_func_shutdown=no in CONFIG_SITE.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: configure now checks for functions fork1, getegid, geteuid, getgid, getppid, getuid, opendir, pipe, system, wait, ttyname.

bpo-33393 [https://bugs.python.org/issue?@action=redirect&bpo=33393]: Update config.guess to 2021-06-03 and config.sub to 2021-08-14. Makefile now has an update-config target to make updating more convenient.

bpo-45866 [https://bugs.python.org/issue?@action=redirect&bpo=45866]: make regen-all now produces the same output when run from a directory other than the source tree: when building Python out of the source tree. pegen now strips directory of the “generated by pygen from <FILENAME>” header Patch by Victor Stinner.

bpo-40280 [https://bugs.python.org/issue?@action=redirect&bpo=40280]: configure now accepts machine wasm32 or wasm64 and OS wasi or emscripten for cross building, e.g. wasm32-unknown-emscripten, wasm32-wasi, or wasm32-unknown-wasi.

bpo-41498 [https://bugs.python.org/issue?@action=redirect&bpo=41498]: Python now compiles on platforms without sigset_t. Several functions in signal are not available when sigset_t is missing.

Based on patch by Roman Yurchak for pyodide.

bpo-45881 [https://bugs.python.org/issue?@action=redirect&bpo=45881]: setup.py now uses CC from environment first to discover multiarch and cross compile paths.

bpo-45886 [https://bugs.python.org/issue?@action=redirect&bpo=45886]: The _freeze_module program path can now be overridden on the command line, e.g. make FREEZE_MODULE=../x86_64/Program/_freeze_module.

bpo-45873 [https://bugs.python.org/issue?@action=redirect&bpo=45873]: Get rid of the _bootstrap_python build step. The deepfreeze.py script is now run using $(PYTHON_FOR_REGEN) which can be Python 3.7 or newer (on Windows, 3.8 or newer).

bpo-45847 [https://bugs.python.org/issue?@action=redirect&bpo=45847]: Port builtin hashlib extensions to PY_STDLIB_MOD macro and addext().

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: Add autoconf helpers for saving and restoring environment variables:

SAVE_ENV: Save $CFLAGS, $LDFLAGS, $LIBS, and $CPPFLAGS.

RESTORE_ENV: Restore $CFLAGS, $LDFLAGS, $LIBS, and $CPPFLAGS.

WITH_SAVE_ENV([SCRIPT]): Run SCRIPT wrapped with SAVE_ENV and RESTORE_ENV.

Patch by Erlend E. Aasland.

bpo-45573 [https://bugs.python.org/issue?@action=redirect&bpo=45573]: Mandatory core modules, that are required to bootstrap Python, are now in Modules/Setup.bootstrap.

bpo-45573 [https://bugs.python.org/issue?@action=redirect&bpo=45573]: configure now creates Modules/Setup.stdlib with conditionally enabled/disabled extension module lines. The file is not used, yet.

bpo-45573 [https://bugs.python.org/issue?@action=redirect&bpo=45573]: configure now uses a unified format to set state, compiler flags, and linker flags in Makefile. The new macro PY_STDLIB_MOD sets three variables that are consumed by Modules/Setup and setup.py.

bpo-45816 [https://bugs.python.org/issue?@action=redirect&bpo=45816]: Python now supports building with Visual Studio 2022 (MSVC v143, VS Version 17.0). Patch by Jeremiah Vivian.

bpo-45800 [https://bugs.python.org/issue?@action=redirect&bpo=45800]: Settings for pyexpat C extension are now detected by configure. The bundled expat library is built in Makefile.

bpo-45798 [https://bugs.python.org/issue?@action=redirect&bpo=45798]: Settings for decimal internal C extension are now detected by configure. The bundled libmpdec library is built in Makefile.

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: configure has a new option --with-pkg-config to disable or require pkg-config.

bpo-45774 [https://bugs.python.org/issue?@action=redirect&bpo=45774]: The build dependencies for sqlite3 are now detected by configure and pkg-config. Patch by Erlend E. Aasland.

bpo-45763 [https://bugs.python.org/issue?@action=redirect&bpo=45763]: The build dependencies for zlib, bz2, and lzma are now detected by configure.

bpo-45747 [https://bugs.python.org/issue?@action=redirect&bpo=45747]: gdbm and dbm build dependencies are now detected by configure.

bpo-45743 [https://bugs.python.org/issue?@action=redirect&bpo=45743]: On macOS, the build system no longer passes search_paths_first to the linker. The flag has been the default since Xcode 4 / macOS 10.6.

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: configure.ac is now compatible with autoconf 2.71. Deprecated checks STDC_HEADERS and AC_HEADER_TIME have been removed.

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: configure now prints a warning when pkg-config is missing.

bpo-45731 [https://bugs.python.org/issue?@action=redirect&bpo=45731]: configure --enable-loadable-sqlite-extensions is now handled by new PY_SQLITE_ENABLE_LOAD_EXTENSION macro instead of logic in setup.py.

bpo-45723 [https://bugs.python.org/issue?@action=redirect&bpo=45723]: configure.ac now uses custom helper macros and AC_CACHE_CHECK to simplify and speed up configure runs.

bpo-45696 [https://bugs.python.org/issue?@action=redirect&bpo=45696]: Skip the marshal step for frozen modules by generating C code that produces a set of ready-to-use code objects. This speeds up startup time by another 10% or more.

bpo-45561 [https://bugs.python.org/issue?@action=redirect&bpo=45561]: Run smelly.py tool from $(srcdir).

Windows

bpo-46105 [https://bugs.python.org/issue?@action=redirect&bpo=46105]: Fixed calculation of sys.path in a venv on Windows.

bpo-45901 [https://bugs.python.org/issue?@action=redirect&bpo=45901]: When installed through the Microsoft Store and set as the default app for *.py files, command line arguments will now be passed to Python when invoking a script without explicitly launching Python (that is, script.py args rather than python script.py args).

bpo-45616 [https://bugs.python.org/issue?@action=redirect&bpo=45616]: Fix Python Launcher’s ability to distinguish between versions 3.1 and 3.10 when either one is explicitly requested. Previously, 3.1 would be used if 3.10 was requested but not installed, and 3.10 would be used if 3.1 was requested but 3.10 was installed.

bpo-45850 [https://bugs.python.org/issue?@action=redirect&bpo=45850]: Implement changes to build with deep-frozen modules on Windows. Note that we now require Python 3.10 as the “bootstrap” or “host” Python.

bpo-45732 [https://bugs.python.org/issue?@action=redirect&bpo=45732]: Updates bundled Tcl/Tk to 8.6.12.

bpo-45720 [https://bugs.python.org/issue?@action=redirect&bpo=45720]: Internal reference to shlwapi.dll was dropped to help improve startup time. This DLL will no longer be loaded at the start of every Python process.

macOS

bpo-45732 [https://bugs.python.org/issue?@action=redirect&bpo=45732]: Update python.org macOS installer to use Tcl/Tk 8.6.12.

C API

bpo-39026 [https://bugs.python.org/issue?@action=redirect&bpo=39026]: Fix Python.h to build C extensions with Xcode: remove a relative include from Include/cpython/pystate.h.

Python 3.11.0 alpha 2

Release date: 2021-11-05

Core and Builtins

bpo-45716 [https://bugs.python.org/issue?@action=redirect&bpo=45716]: Improve the SyntaxError message when using True, None or False as keywords in a function call. Patch by Pablo Galindo.

bpo-45688 [https://bugs.python.org/issue?@action=redirect&bpo=45688]: sys.stdlib_module_names now contains the macOS-specific module _scproxy.

bpo-45379 [https://bugs.python.org/issue?@action=redirect&bpo=45379]: Clarify ImportError message when we try to explicitly import a frozen module but frozen modules are disabled.

bpo-44525 [https://bugs.python.org/issue?@action=redirect&bpo=44525]: Specialize simple calls to Python functions (no starargs, keyword dict, or closure)

bpo-45530 [https://bugs.python.org/issue?@action=redirect&bpo=45530]: Cases of sorting using tuples as keys may now be significantly faster in some cases. Patch by Tim Peters.

The order of the result may differ from earlier releases if the tuple elements don’t define a total ordering (see Comparações de valor for information on total ordering). It’s generally true that the result of sorting simply isn’t well-defined in the absence of a total ordering on list elements.

bpo-45526 [https://bugs.python.org/issue?@action=redirect&bpo=45526]: In obmalloc, set ADDRESS_BITS to not ignore any bits (ignored 16 before). That is safer in the case that the kernel gives user-space virtual addresses that span a range greater than 48 bits.

bpo-30570 [https://bugs.python.org/issue?@action=redirect&bpo=30570]: Fixed a crash in issubclass() from infinite recursion when searching pathological __bases__ tuples.

bpo-45521 [https://bugs.python.org/issue?@action=redirect&bpo=45521]: Fix a bug in the obmalloc radix tree code. On 64-bit machines, the bug causes the tree to hold 46-bits of virtual addresses, rather than the intended 48-bits.

bpo-45494 [https://bugs.python.org/issue?@action=redirect&bpo=45494]: Fix parser crash when reporting errors involving invalid continuation characters. Patch by Pablo Galindo.

bpo-45445 [https://bugs.python.org/issue?@action=redirect&bpo=45445]: Python now fails to initialize if it finds an invalid -X option in the command line. Patch by Pablo Galindo.

bpo-45340 [https://bugs.python.org/issue?@action=redirect&bpo=45340]: Object attributes are held in an array instead of a dictionary. An object’s dictionary are created lazily, only when needed. Reduces the memory consumption of a typical Python object by about 30%. Patch by Mark Shannon.

bpo-45408 [https://bugs.python.org/issue?@action=redirect&bpo=45408]: Fix a crash in the parser when reporting tokenizer errors that occur at the same time unclosed parentheses are detected. Patch by Pablo Galindo.

bpo-29410 [https://bugs.python.org/issue?@action=redirect&bpo=29410]: Add SipHash13 for string hash algorithm and use it by default.

bpo-45385 [https://bugs.python.org/issue?@action=redirect&bpo=45385]: Fix reference leak from descr_check. Patch by Donghee Na.

bpo-45367 [https://bugs.python.org/issue?@action=redirect&bpo=45367]: Specialized the BINARY_MULTIPLY opcode to BINARY_MULTIPLY_INT and BINARY_MULTIPLY_FLOAT using the PEP 659 machinery.

bpo-21736 [https://bugs.python.org/issue?@action=redirect&bpo=21736]: Frozen stdlib modules now have __file__ to the .py file they would otherwise be loaded from, if possible. For packages, __path__ now has the correct entry instead of being an empty list, which allows unfrozen submodules to be imported. These are set only if the stdlib directory is known when the runtime is initialized. Note that the file at __file__ is not guaranteed to exist. None of this affects non-stdlib frozen modules nor, for now, frozen modules imported using PyImport_ImportFrozenModule(). Also, at the moment co_filename is not updated for the module.

bpo-45020 [https://bugs.python.org/issue?@action=redirect&bpo=45020]: For frozen stdlib modules, record the original module name as module.__spec__.loader_state.origname. If the value is different than module.__spec__.name then the module was defined as an alias in Tools/scripts/freeze_modules.py. If it is None then the module comes from a source file outside the stdlib.

bpo-45324 [https://bugs.python.org/issue?@action=redirect&bpo=45324]: In FrozenImporter.find_spec(), we now preserve the information needed in exec_module() to load the module. This change mostly impacts internal details, rather than changing the importer’s behavior.

bpo-45292 [https://bugs.python.org/issue?@action=redirect&bpo=45292]: Implement PEP 654 [https://peps.python.org/pep-0654/]. Add ExceptionGroup and BaseExceptionGroup. Update traceback display code.

bpo-40116 [https://bugs.python.org/issue?@action=redirect&bpo=40116]: Change to the implementation of split dictionaries. Classes where the instances differ either in the exact set of attributes, or in the order in which those attributes are set, can still share keys. This should have no observable effect on users of Python or the C-API. Patch by Mark Shannon.

bpo-44050 [https://bugs.python.org/issue?@action=redirect&bpo=44050]: Extensions that indicate they use global state (by setting m_size to -1) can again be used in multiple interpreters. This reverts to behavior of Python 3.8.

bpo-44525 [https://bugs.python.org/issue?@action=redirect&bpo=44525]: Setup initial specialization infrastructure for the CALL_FUNCTION opcode. Implemented initial specializations for C function calls:

CALL_FUNCTION_BUILTIN_O for METH_O flag.

CALL_FUNCTION_BUILTIN_FAST for METH_FASTCALL flag without keywords.

CALL_FUNCTION_LEN for len(o).

CALL_FUNCTION_ISINSTANCE for isinstance(o, t).

bpo-44511 [https://bugs.python.org/issue?@action=redirect&bpo=44511]: Improve the generated bytecode for class and mapping patterns.

bpo-43706 [https://bugs.python.org/issue?@action=redirect&bpo=43706]: Speed up calls to enumerate() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

Library

bpo-45679 [https://bugs.python.org/issue?@action=redirect&bpo=45679]: Fix caching of multi-value typing.Literal. Literal[True, 2] is no longer equal to Literal[1, 2].

bpo-42064 [https://bugs.python.org/issue?@action=redirect&bpo=42064]: Convert sqlite3 to multi-phase initialisation (PEP 489). Patches by Erlend E. Aasland.

bpo-45438 [https://bugs.python.org/issue?@action=redirect&bpo=45438]: Fix typing.Signature string representation for generic builtin types.

bpo-45613 [https://bugs.python.org/issue?@action=redirect&bpo=45613]: sqlite3 now sets sqlite3.threadsafety based on the default threading mode the underlying SQLite library has been compiled with. Patch by Erlend E. Aasland.

bpo-45574 [https://bugs.python.org/issue?@action=redirect&bpo=45574]: Fix warning about print_escape being unused.

bpo-45581 [https://bugs.python.org/issue?@action=redirect&bpo=45581]: sqlite3.connect() now correctly raises MemoryError if the underlying SQLite API signals memory error. Patch by Erlend E. Aasland.

bpo-45557 [https://bugs.python.org/issue?@action=redirect&bpo=45557]: pprint.pprint() now handles underscore_numbers correctly. Previously it was always setting it to False.

bpo-44019 [https://bugs.python.org/issue?@action=redirect&bpo=44019]: Add operator.call() to operator.__all__. Patch by Kreusada.

bpo-42174 [https://bugs.python.org/issue?@action=redirect&bpo=42174]: shutil.get_terminal_size() now falls back to sane values if the column or line count are 0.

bpo-35673 [https://bugs.python.org/issue?@action=redirect&bpo=35673]: Improve the introspectability of the __loader__ attribute for namespace packages. importlib.machinery.NamespaceLoader is now public, and implements the importlib.abc.InspectLoader interface. _NamespaceLoader is kept for backward compatibility.

bpo-45515 [https://bugs.python.org/issue?@action=redirect&bpo=45515]: Add references to zoneinfo in the datetime documentation, mostly replacing outdated references to dateutil.tz. Change by Paul Ganssle.

bpo-45475 [https://bugs.python.org/issue?@action=redirect&bpo=45475]: Reverted optimization of iterating gzip.GzipFile, bz2.BZ2File, and lzma.LZMAFile (see bpo-43787 [https://bugs.python.org/issue?@action=redirect&bpo=43787]) because it caused regression when user iterate them without having reference of them. Patch by Inada Naoki.

bpo-45489 [https://bugs.python.org/issue?@action=redirect&bpo=45489]: Update ForwardRef to support | operator. Patch by Donghee Na.

bpo-42222 [https://bugs.python.org/issue?@action=redirect&bpo=42222]: Removed deprecated support for float arguments in randrange().

bpo-45428 [https://bugs.python.org/issue?@action=redirect&bpo=45428]: Fix a regression in py_compile when reading filenames from standard input.

bpo-45467 [https://bugs.python.org/issue?@action=redirect&bpo=45467]: Fix incremental decoder and stream reader in the “raw-unicode-escape” codec. Previously they failed if the escape sequence was split.

bpo-45461 [https://bugs.python.org/issue?@action=redirect&bpo=45461]: Fix incremental decoder and stream reader in the “unicode-escape” codec. Previously they failed if the escape sequence was split.

bpo-45239 [https://bugs.python.org/issue?@action=redirect&bpo=45239]: Fixed email.utils.parsedate_tz() crashing with UnboundLocalError on certain invalid input instead of returning None. Patch by Ben Hoyt.

bpo-45417 [https://bugs.python.org/issue?@action=redirect&bpo=45417]: Fix quadratic behaviour in the enum module: Creation of enum classes with a lot of entries was quadratic.

bpo-45249 [https://bugs.python.org/issue?@action=redirect&bpo=45249]: Fix the behaviour of traceback.print_exc() when displaying the caret when the end_offset in the exception is set to 0. Patch by Pablo Galindo

bpo-45416 [https://bugs.python.org/issue?@action=redirect&bpo=45416]: Fix use of asyncio.Condition with explicit asyncio.Lock objects, which was a regression due to removal of explicit loop arguments. Patch by Joongi Kim.

bpo-20028 [https://bugs.python.org/issue?@action=redirect&bpo=20028]: Empty escapechar/quotechar is not allowed when initializing csv.Dialect. Patch by Vajrasky Kok and Donghee Na.

bpo-44904 [https://bugs.python.org/issue?@action=redirect&bpo=44904]: Fix bug in the doctest module that caused it to fail if a docstring included an example with a classmethod property. Patch by Alex Waygood.

bpo-45406 [https://bugs.python.org/issue?@action=redirect&bpo=45406]: Make inspect.getmodule() catch FileNotFoundError raised by inspect.getabsfile(), and return None to indicate that the module could not be determined.

bpo-45411 [https://bugs.python.org/issue?@action=redirect&bpo=45411]: Add extensions for files containing subtitles - .srt & .vtt - to the mimetypes.py module.

bpo-10716 [https://bugs.python.org/issue?@action=redirect&bpo=10716]: Migrated pydoc to HTML5 (without changing the look of it). Side effect is to update xmlrpc’s ServerHTMLDoc which now uses the CSS too. cgitb now relies less on pydoc (as it can’t use the CSS file).

bpo-27580 [https://bugs.python.org/issue?@action=redirect&bpo=27580]: Add support of null characters in csv.

bpo-45262 [https://bugs.python.org/issue?@action=redirect&bpo=45262]: Prevent use-after-free in asyncio. Make sure the cached running loop holder gets cleared on dealloc to prevent use-after-free in get_running_loop

bpo-45386 [https://bugs.python.org/issue?@action=redirect&bpo=45386]: Make xmlrpc.client more robust to C runtimes where the underlying C strftime function results in a ValueError when testing for year formatting options.

bpo-20028 [https://bugs.python.org/issue?@action=redirect&bpo=20028]: Improve error message of csv.Dialect when initializing. Patch by Vajrasky Kok and Donghee Na.

bpo-45343 [https://bugs.python.org/issue?@action=redirect&bpo=45343]: Update bundled pip to 21.2.4 and setuptools to 58.1.0

bpo-45328 [https://bugs.python.org/issue?@action=redirect&bpo=45328]: Fixed http.client.HTTPConnection to work properly in OSs that don’t support the TCP_NODELAY socket option.

bpo-45243 [https://bugs.python.org/issue?@action=redirect&bpo=45243]: Add setlimit() and getlimit() to sqlite3.Connection for setting and getting SQLite limits by connection basis. Patch by Erlend E. Aasland.

bpo-45320 [https://bugs.python.org/issue?@action=redirect&bpo=45320]: Removed from the inspect module:

the getargspec function, deprecated since Python 3.0;

use inspect.signature() or inspect.getfullargspec() instead.

the formatargspec function, deprecated since Python 3.5; use the inspect.signature() function and Signature object directly.

the undocumented Signature.from_builtin and Signature.from_function functions, deprecated since Python 3.5; use the Signature.from_callable() method instead.

Patch by Hugo van Kemenade.

bpo-45192 [https://bugs.python.org/issue?@action=redirect&bpo=45192]: Fix the tempfile._infer_return_type function so that the dir argument of the tempfile functions accepts an object implementing the os.PathLike protocol.

Patch by Kyungmin Lee.

bpo-45160 [https://bugs.python.org/issue?@action=redirect&bpo=45160]: When tracing a tkinter variable used by a ttk OptionMenu, callbacks are no longer made twice.

bpo-25625 [https://bugs.python.org/issue?@action=redirect&bpo=25625]: Added non parallel-safe chdir() context manager to change the current working directory and then restore it on exit. Simple wrapper around chdir().

bpo-24139 [https://bugs.python.org/issue?@action=redirect&bpo=24139]: Add support for SQLite extended result codes in sqlite3.Error. Patch by Erlend E. Aasland.

bpo-24444 [https://bugs.python.org/issue?@action=redirect&bpo=24444]: Fixed an error raised in argparse help display when help for an option is set to 1+ blank spaces or when choices arg is an empty container.

bpo-44547 [https://bugs.python.org/issue?@action=redirect&bpo=44547]: Implement Fraction.__int__, so that a fractions.Fraction instance f passes an isinstance(f, typing.SupportsInt) check.

bpo-40321 [https://bugs.python.org/issue?@action=redirect&bpo=40321]: Adds support for HTTP 308 redirects to urllib. See RFC 7538 [https://datatracker.ietf.org/doc/html/rfc7538.html] for details. Patch by Jochem Schulenklopper.

bpo-41374 [https://bugs.python.org/issue?@action=redirect&bpo=41374]: Ensure that socket.TCP_* constants are exposed on Cygwin 3.1.6 and greater.

bpo-35970 [https://bugs.python.org/issue?@action=redirect&bpo=35970]: Add help flag to the base64 module’s command line interface. Patch contributed by Robert Kuska.

Documentation

bpo-45726 [https://bugs.python.org/issue?@action=redirect&bpo=45726]: Improve documentation for functools.singledispatch() and functools.singledispatchmethod.

bpo-45680 [https://bugs.python.org/issue?@action=redirect&bpo=45680]: Amend the docs on GenericAlias objects to clarify that non-container classes can also implement __class_getitem__. Patch contributed by Alex Waygood.

bpo-45618 [https://bugs.python.org/issue?@action=redirect&bpo=45618]: Update Sphinx version used to build the documentation to 4.2.0. Patch by Maciej Olko.

bpo-45655 [https://bugs.python.org/issue?@action=redirect&bpo=45655]: Add a new “relevant PEPs” section to the top of the documentation for the typing module. Patch by Alex Waygood.

bpo-45604 [https://bugs.python.org/issue?@action=redirect&bpo=45604]: Add level argument to multiprocessing.log_to_stderr function docs.

bpo-45516 [https://bugs.python.org/issue?@action=redirect&bpo=45516]: Add protocol description to the importlib.abc.TraversableResources documentation.

bpo-45464 [https://bugs.python.org/issue?@action=redirect&bpo=45464]: Mention in the documentation of Built-in Exceptions that inheriting from multiple exception types in a single subclass is not recommended due to possible memory layout incompatibility.

bpo-45449 [https://bugs.python.org/issue?@action=redirect&bpo=45449]: Add note about PEP 585 [https://peps.python.org/pep-0585/] in collections.abc.

bpo-45516 [https://bugs.python.org/issue?@action=redirect&bpo=45516]: Add protocol description to the importlib.abc.Traversable documentation.

bpo-20692 [https://bugs.python.org/issue?@action=redirect&bpo=20692]: Add Programming FAQ entry explaining that int literal attribute access requires either a space after or parentheses around the literal.

Tests

bpo-45678 [https://bugs.python.org/issue?@action=redirect&bpo=45678]: Add tests for scenarios in which functools.singledispatchmethod is stacked on top of a method that has already been wrapped by two other decorators. Patch by Alex Waygood.

bpo-45578 [https://bugs.python.org/issue?@action=redirect&bpo=45578]: Add tests for dis.distb()

bpo-45678 [https://bugs.python.org/issue?@action=redirect&bpo=45678]: Add tests to ensure that functools.singledispatchmethod correctly wraps the attributes of the target function.

bpo-45668 [https://bugs.python.org/issue?@action=redirect&bpo=45668]: PGO tests now pass when Python is built without test extension modules.

bpo-45577 [https://bugs.python.org/issue?@action=redirect&bpo=45577]: Add subtests for all pickle protocols in test_zoneinfo.

bpo-45566 [https://bugs.python.org/issue?@action=redirect&bpo=45566]: Fix test_frozen_pickle in test_dataclasses to check all pickle versions.

bpo-43592 [https://bugs.python.org/issue?@action=redirect&bpo=43592]: test.libregrtest now raises the soft resource limit for the maximum number of file descriptors when the default is too low for our test suite as was often the case on macOS.

bpo-39679 [https://bugs.python.org/issue?@action=redirect&bpo=39679]: Add more test cases for @functools.singledispatchmethod when combined with @classmethod or @staticmethod.

bpo-45410 [https://bugs.python.org/issue?@action=redirect&bpo=45410]: When libregrtest spawns a worker process, stderr is now written into stdout to keep messages order. Use a single pipe for stdout and stderr, rather than two pipes. Previously, messages were out of order which made analysis of buildbot logs harder Patch by Victor Stinner.

bpo-45402 [https://bugs.python.org/issue?@action=redirect&bpo=45402]: Fix test_tools.test_sundry() when Python is built out of tree: fix how the freeze_modules.py tool locates the _freeze_module program. Patch by Victor Stinner.

bpo-45403 [https://bugs.python.org/issue?@action=redirect&bpo=45403]: Fix test_sys.test_stdlib_dir() when Python is built outside the source tree: compare normalized paths. Patch by Victor Stinner.

bpo-45400 [https://bugs.python.org/issue?@action=redirect&bpo=45400]: Fix test_name_error_suggestions_do_not_trigger_for_too_many_locals() of test_exceptions if a directory name contains “a1” (like “Python-3.11.0a1”): use a stricter regular expression. Patch by Victor Stinner.

bpo-10572 [https://bugs.python.org/issue?@action=redirect&bpo=10572]: Rename sqlite3 tests from test_sqlite to test_sqlite3, and relocate them to Lib/test/test_sqlite3. Patch by Erlend E. Aasland.

Build

bpo-43158 [https://bugs.python.org/issue?@action=redirect&bpo=43158]: setup.py now uses values from configure script to build the _uuid extension module. Configure now detects util-linux’s libuuid, too.

bpo-45666 [https://bugs.python.org/issue?@action=redirect&bpo=45666]: Fix warning of swprintf and %s usage in _testembed.c

bpo-45548 [https://bugs.python.org/issue?@action=redirect&bpo=45548]: Modules/Setup and Modules/makesetup have been improved. The Setup file now contains working rules for all extensions. Outdated comments have been removed. Rules defined by makesetup track dependencies correctly.

bpo-45548 [https://bugs.python.org/issue?@action=redirect&bpo=45548]: The math and cmath implementation now require a C99 compatible libm and no longer ship with workarounds for missing acosh, asinh, atanh, expm1, and log1p functions.

bpo-45595 [https://bugs.python.org/issue?@action=redirect&bpo=45595]: setup.py and makesetup now track build dependencies on all Python header files and module specific header files.

bpo-45571 [https://bugs.python.org/issue?@action=redirect&bpo=45571]: Modules/Setup now use PY_CFLAGS_NODIST instead of PY_CFLAGS to compile shared modules.

bpo-45570 [https://bugs.python.org/issue?@action=redirect&bpo=45570]: pyexpat and _elementtree no longer define obsolete macros HAVE_EXPAT_CONFIG_H and USE_PYEXPAT_CAPI. XML_POOR_ENTROPY is now defined in expat_config.h.

bpo-43974 [https://bugs.python.org/issue?@action=redirect&bpo=43974]: setup.py no longer defines Py_BUILD_CORE_MODULE. Instead every module, that uses the internal API, defines the macro.

bpo-45548 [https://bugs.python.org/issue?@action=redirect&bpo=45548]: Fill in missing entries in Modules/Setup.

bpo-45532 [https://bugs.python.org/issue?@action=redirect&bpo=45532]: Update sys.version to use main as fallback information. Patch by Jeong YunWon.

bpo-45536 [https://bugs.python.org/issue?@action=redirect&bpo=45536]: The configure script now checks whether OpenSSL headers and libraries provide required APIs. Most common APIs are verified. The check detects outdated or missing OpenSSL. Failures do not stop configure.

bpo-45221 [https://bugs.python.org/issue?@action=redirect&bpo=45221]: Fixed regression in handling of LDFLAGS and CPPFLAGS options where argparse.parse_known_args() could interpret an option as one of the built-in command line argument, for example -h for help.

bpo-45440 [https://bugs.python.org/issue?@action=redirect&bpo=45440]: Building Python now requires a C99 <math.h> header file providing the following functions: copysign(), hypot(), isfinite(), isinf(), isnan(), round(). Patch by Victor Stinner.

bpo-45405 [https://bugs.python.org/issue?@action=redirect&bpo=45405]: Prevent internal configure error when running configure with recent versions of non-Apple clang. Patch by David Bohman.

bpo-45433 [https://bugs.python.org/issue?@action=redirect&bpo=45433]: Avoid linking libpython with libcrypt.

Windows

bpo-43652 [https://bugs.python.org/issue?@action=redirect&bpo=43652]: Update Tcl/Tk to 8.6.11, actually this time. The previous update incorrectly included 8.6.10.

bpo-45337 [https://bugs.python.org/issue?@action=redirect&bpo=45337]: venv now warns when the created environment may need to be accessed at a different path, due to redirections, links or junctions. It also now correctly installs or upgrades components when the alternate path is required.

bpo-43851 [https://bugs.python.org/issue?@action=redirect&bpo=43851]: Build SQLite SQLITE_OMIT_AUTOINIT on Windows. Patch by Erlend E. Aasland.

macOS

bpo-44828 [https://bugs.python.org/issue?@action=redirect&bpo=44828]: Avoid tkinter file dialog failure on macOS 12 Monterey when using the Tk 8.6.11 provided by python.org macOS installers. Patch by Marc Culler of the Tk project.

IDLE

bpo-45495 [https://bugs.python.org/issue?@action=redirect&bpo=45495]: Add context keywords ‘case’ and ‘match’ to completions list.

C API

bpo-29103 [https://bugs.python.org/issue?@action=redirect&bpo=29103]: PyType_FromSpec* now copies the class name from the spec to a buffer owned by the class, so the original can be safely deallocated. Patch by Petr Viktorin.

bpo-45522 [https://bugs.python.org/issue?@action=redirect&bpo=45522]: The internal freelists for frame, float, list, dict, async generators, and context objects can now be disabled.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: Exclude PyWeakref_GET_OBJECT() from the limited C API. It never worked since the PyWeakReference structure is opaque in the limited C API.

bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081]: Move the interpreteridobject.h header file from Include/ to Include/internal/. It only provides private functions. Patch by Victor Stinner.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: The non-limited API files cellobject.h, classobject.h, context.h, funcobject.h, genobject.h and longintrepr.h have been moved to the Include/cpython directory. Moreover, the eval.h header file was removed. These files must not be included directly, as they are already included in Python.h: Include Files. If they have been included directly, consider including Python.h instead. Patch by Victor Stinner.

bpo-45474 [https://bugs.python.org/issue?@action=redirect&bpo=45474]: The following items are no longer available when Py_LIMITED_API is defined:

PyMarshal_WriteLongToFile()

PyMarshal_WriteObjectToFile()

PyMarshal_ReadObjectFromString()

PyMarshal_WriteObjectToString()

the Py_MARSHAL_VERSION macro

These are not part of the limited API.

Patch by Victor Stinner.

bpo-45434 [https://bugs.python.org/issue?@action=redirect&bpo=45434]: Remove the pystrhex.h header file. It only contains private functions. C extensions should only include the main <Python.h> header file. Patch by Victor Stinner.

bpo-45440 [https://bugs.python.org/issue?@action=redirect&bpo=45440]: Remove the Py_FORCE_DOUBLE() macro. It was used by the Py_IS_INFINITY() macro. Patch by Victor Stinner.

bpo-45434 [https://bugs.python.org/issue?@action=redirect&bpo=45434]: <Python.h> no longer includes the header files <stdlib.h>, <stdio.h>, <errno.h> and <string.h> when the Py_LIMITED_API macro is set to 0x030b0000 (Python 3.11) or higher. C extensions should explicitly include the header files after #include <Python.h>. Patch by Victor Stinner.

bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123]: Remove Py_UNICODE_COPY() and Py_UNICODE_FILL() macros, deprecated since Python 3.3. Use PyUnicode_CopyCharacters() or memcpy() (wchar_t* string), and PyUnicode_Fill() functions instead. Patch by Victor Stinner.

bpo-45412 [https://bugs.python.org/issue?@action=redirect&bpo=45412]: Remove the following math macros using the errno variable:

Py_ADJUST_ERANGE1()

Py_ADJUST_ERANGE2()

Py_OVERFLOWED()

Py_SET_ERANGE_IF_OVERFLOW()

Py_SET_ERRNO_ON_MATH_ERROR()

Patch by Victor Stinner.

bpo-45395 [https://bugs.python.org/issue?@action=redirect&bpo=45395]: Custom frozen modules (the array set to PyImport_FrozenModules) are now treated as additions, rather than replacing all the default frozen modules. Frozen stdlib modules can still be disabled by setting the “code” field of the custom array entry to NULL.

bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760]: Add new PyThreadState_EnterTracing(), and PyThreadState_LeaveTracing() functions to the limited C API to suspend and resume tracing and profiling. Patch by Victor Stinner.

bpo-44220 [https://bugs.python.org/issue?@action=redirect&bpo=44220]: PyStructSequence_UnnamedField is added to the Stable ABI.

Python 3.11.0 alpha 1

Release date: 2021-10-05

Security

bpo-42278 [https://bugs.python.org/issue?@action=redirect&bpo=42278]: Replaced usage of tempfile.mktemp() with TemporaryDirectory to avoid a potential race condition.

bpo-44600 [https://bugs.python.org/issue?@action=redirect&bpo=44600]: Fix incorrect line numbers while tracing some failed patterns in match statements. Patch by Charles Burkland.

bpo-41180 [https://bugs.python.org/issue?@action=redirect&bpo=41180]: Add auditing events to the marshal module, and stop raising code.__init__ events for every unmarshalled code object. Directly instantiated code objects will continue to raise an event, and audit event handlers should inspect or collect the raw marshal data. This reduces a significant performance overhead when loading from .pyc files.

bpo-44394 [https://bugs.python.org/issue?@action=redirect&bpo=44394]: Update the vendored copy of libexpat to 2.4.1 (from 2.2.8) to get the fix for the CVE 2013-0340 [https://www.cve.org/CVERecord?id=CVE-2013-0340] “Billion Laughs” vulnerability. This copy is most used on Windows and macOS.

bpo-43124 [https://bugs.python.org/issue?@action=redirect&bpo=43124]: Made the internal putcmd function in smtplib sanitize input for presence of \r and \n characters to avoid (unlikely) command injection.

bpo-44022 [https://bugs.python.org/issue?@action=redirect&bpo=44022]: http.client now avoids infinitely reading potential HTTP headers after a 100 Continue status response from the server.

Core and Builtins

bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760]: The number of hardware branches per instruction dispatch is reduced from two to one by adding a special instruction for tracing. Patch by Mark Shannon.

bpo-45061 [https://bugs.python.org/issue?@action=redirect&bpo=45061]: Add a deallocator to the bool type to detect refcount bugs in C extensions which call Py_DECREF(Py_True) or Py_DECREF(Py_False) by mistake. Detect also refcount bugs when the empty tuple singleton or the Unicode empty string singleton is destroyed by mistake. Patch by Victor Stinner.

bpo-24076 [https://bugs.python.org/issue?@action=redirect&bpo=24076]: sum() was further optimised for summing up single digit integers.

bpo-45190 [https://bugs.python.org/issue?@action=redirect&bpo=45190]: Update Unicode databases to Unicode 14.0.0.

bpo-45167 [https://bugs.python.org/issue?@action=redirect&bpo=45167]: Fix deepcopying of types.GenericAlias objects.

bpo-45155 [https://bugs.python.org/issue?@action=redirect&bpo=45155]: int.to_bytes() and int.from_bytes() now take a default value of "big" for the byteorder argument. int.to_bytes() also takes a default value of 1 for the length argument.

bpo-44219 [https://bugs.python.org/issue?@action=redirect&bpo=44219]: Release the GIL while performing isatty system calls on arbitrary file descriptors. In particular, this affects os.isatty(), os.device_encoding() and io.TextIOWrapper. By extension, io.open() in text mode is also affected. This change solves a deadlock in os.isatty(). Patch by Vincent Michel in bpo-44219 [https://bugs.python.org/issue?@action=redirect&bpo=44219].

bpo-44959 [https://bugs.python.org/issue?@action=redirect&bpo=44959]: Added fallback to extension modules with ‘.sl’ suffix on HP-UX

bpo-45121 [https://bugs.python.org/issue?@action=redirect&bpo=45121]: Fix issue where Protocol.__init__ raises RecursionError when it’s called directly or via super(). Patch provided by Yurii Karabas.

bpo-44348 [https://bugs.python.org/issue?@action=redirect&bpo=44348]: The deallocator function of the BaseException type now uses the trashcan mechanism to prevent stack overflow. For example, when a RecursionError instance is raised, it can be linked to another RecursionError through the __context__ attribute or the __traceback__ attribute, and then a chain of exceptions is created. When the chain is destroyed, nested deallocator function calls can crash with a stack overflow if the chain is too long compared to the available stack memory. Patch by Victor Stinner.

bpo-45123 [https://bugs.python.org/issue?@action=redirect&bpo=45123]: Fix PyAiter_Check to only check for the __anext__ presence (not for __aiter__). Rename PyAiter_Check to PyAIter_Check, PyObject_GetAiter -> PyObject_GetAIter.

bpo-1514420 [https://bugs.python.org/issue?@action=redirect&bpo=1514420]: Interpreter no longer attempts to open files with names in angle brackets (like “<string>” or “<stdin>”) when formatting an exception.

bpo-41031 [https://bugs.python.org/issue?@action=redirect&bpo=41031]: Match C and Python code formatting of unprintable exceptions and exceptions in the __main__ module.

bpo-37330 [https://bugs.python.org/issue?@action=redirect&bpo=37330]: open(), io.open(), codecs.open() and fileinput.FileInput no longer accept 'U' (“universal newline”) in the file mode. This flag was deprecated since Python 3.3. Patch by Victor Stinner.

bpo-45083 [https://bugs.python.org/issue?@action=redirect&bpo=45083]: When the interpreter renders an exception, its name now has a complete qualname. Previously only the class name was concatenated to the module name, which sometimes resulted in an incorrect full name being displayed.

(This issue impacted only the C code exception rendering, the traceback module was using qualname already).

bpo-34561 [https://bugs.python.org/issue?@action=redirect&bpo=34561]: List sorting now uses the merge-ordering strategy from Munro and Wild’s powersort(). Unlike the former strategy, this is provably near-optimal in the entropy of the distribution of run lengths. Most uses of list.sort() probably won’t see a significant time difference, but may see significant improvements in cases where the former strategy was exceptionally poor. However, as these are all fast linear-time approximations to a problem that’s inherently at best quadratic-time to solve truly optimally, it’s also possible to contrive cases where the former strategy did better.

bpo-45056 [https://bugs.python.org/issue?@action=redirect&bpo=45056]: Compiler now removes trailing unused constants from co_consts.

bpo-45020 [https://bugs.python.org/issue?@action=redirect&bpo=45020]: Add a new command line option, “-X frozen_modules=[on|off]” to opt out of (or into) using optional frozen modules. This defaults to “on” (or “off” if it’s running out of the source tree).

bpo-45012 [https://bugs.python.org/issue?@action=redirect&bpo=45012]: In posix, release GIL during stat(), lstat(), and fstatat() syscalls made by os.DirEntry.stat(). Patch by Stanisław Skonieczny.

bpo-45018 [https://bugs.python.org/issue?@action=redirect&bpo=45018]: Fixed pickling of range iterators that iterated for over 2**32 times.

bpo-45000 [https://bugs.python.org/issue?@action=redirect&bpo=45000]: A SyntaxError is now raised when trying to delete __debug__. Patch by Donghee Na.

bpo-44963 [https://bugs.python.org/issue?@action=redirect&bpo=44963]: Implement send() and throw() methods for anext_awaitable objects. Patch by Pablo Galindo.

bpo-44962 [https://bugs.python.org/issue?@action=redirect&bpo=44962]: Fix a race in WeakKeyDictionary, WeakValueDictionary and WeakSet when two threads attempt to commit the last pending removal. This fixes asyncio.create_task and fixes a data loss in asyncio.run where shutdown_asyncgens is not run

bpo-24234 [https://bugs.python.org/issue?@action=redirect&bpo=24234]: Implement the __bytes__() special method on the bytes type, so a bytes object b passes an isinstance(b, typing.SupportsBytes) check.

bpo-24234 [https://bugs.python.org/issue?@action=redirect&bpo=24234]: Implement the __complex__() special method on the complex type, so a complex number z passes an isinstance(z, typing.SupportsComplex) check.

bpo-44954 [https://bugs.python.org/issue?@action=redirect&bpo=44954]: Fixed a corner case bug where the result of float.fromhex('0x.8p-1074') was rounded the wrong way.

bpo-44947 [https://bugs.python.org/issue?@action=redirect&bpo=44947]: Refine the syntax error for trailing commas in import statements. Patch by Pablo Galindo.

bpo-44945 [https://bugs.python.org/issue?@action=redirect&bpo=44945]: Specialize the BINARY_ADD instruction using the PEP 659 machinery. Adds five new instructions:

BINARY_ADD_ADAPTIVE

BINARY_ADD_FLOAT

BINARY_ADD_INT

BINARY_ADD_UNICODE

BINARY_ADD_UNICODE_INPLACE_FAST

bpo-44929 [https://bugs.python.org/issue?@action=redirect&bpo=44929]: Fix some edge cases of enum.Flag string representation in the REPL. Patch by Pablo Galindo.

bpo-44914 [https://bugs.python.org/issue?@action=redirect&bpo=44914]: Class version tags are no longer recycled.

This means that a version tag serves as a unique identifier for the state of a class. We rely on this for effective specialization of the LOAD_ATTR and other instructions.

bpo-44698 [https://bugs.python.org/issue?@action=redirect&bpo=44698]: Restore behaviour of complex exponentiation with integer-valued exponent of type float or complex.

bpo-44895 [https://bugs.python.org/issue?@action=redirect&bpo=44895]: A debug variable PYTHONDUMPREFSFILE is added for creating a dump file which is generated by --with-trace-refs. Patch by Donghee Na.

bpo-44900 [https://bugs.python.org/issue?@action=redirect&bpo=44900]: Add five superinstructions for PEP 659 quickening:

LOAD_FAST LOAD_FAST

STORE_FAST LOAD_FAST

LOAD_FAST LOAD_CONST

LOAD_CONST LOAD_FAST

STORE_FAST STORE_FAST

bpo-44889 [https://bugs.python.org/issue?@action=redirect&bpo=44889]: Initial implementation of adaptive specialization of LOAD_METHOD. The following specialized forms were added:

LOAD_METHOD_CACHED

LOAD_METHOD_MODULE

LOAD_METHOD_CLASS

bpo-44890 [https://bugs.python.org/issue?@action=redirect&bpo=44890]: Specialization stats are always collected in debug builds.

bpo-44885 [https://bugs.python.org/issue?@action=redirect&bpo=44885]: Correct the ast locations of f-strings with format specs and repeated expressions. Patch by Pablo Galindo

bpo-44878 [https://bugs.python.org/issue?@action=redirect&bpo=44878]: Remove the loop from the bytecode interpreter. All instructions end with a DISPATCH macro, so the loop is now redundant.

bpo-44878 [https://bugs.python.org/issue?@action=redirect&bpo=44878]: Remove switch statement for interpreter loop when using computed gotos. This makes sure that we only have one dispatch table in the interpreter.

bpo-44874 [https://bugs.python.org/issue?@action=redirect&bpo=44874]: Deprecate the old trashcan macros (Py_TRASHCAN_SAFE_BEGIN/Py_TRASHCAN_SAFE_END). They should be replaced by the new macros Py_TRASHCAN_BEGIN and Py_TRASHCAN_END.

bpo-44872 [https://bugs.python.org/issue?@action=redirect&bpo=44872]: Use new trashcan macros (Py_TRASHCAN_BEGIN/END) in frameobject.c instead of the old ones (Py_TRASHCAN_SAFE_BEGIN/END).

bpo-33930 [https://bugs.python.org/issue?@action=redirect&bpo=33930]: Fix segmentation fault with deep recursion when cleaning method objects. Patch by Augusto Goulart and Pablo Galindo.

bpo-25782 [https://bugs.python.org/issue?@action=redirect&bpo=25782]: Fix bug where PyErr_SetObject hangs when the current exception has a cycle in its context chain.

bpo-44856 [https://bugs.python.org/issue?@action=redirect&bpo=44856]: Fix reference leaks in the error paths of update_bases() and __build_class__. Patch by Pablo Galindo.

bpo-44826 [https://bugs.python.org/issue?@action=redirect&bpo=44826]: Initial implementation of adaptive specialization of STORE_ATTR

Three specialized forms of STORE_ATTR are added:

STORE_ATTR_SLOT

STORE_ATTR_SPLIT_KEYS

STORE_ATTR_WITH_HINT

bpo-44838 [https://bugs.python.org/issue?@action=redirect&bpo=44838]: Fixed a bug that was causing the parser to raise an incorrect custom SyntaxError for invalid ‘if’ expressions. Patch by Pablo Galindo.

bpo-44821 [https://bugs.python.org/issue?@action=redirect&bpo=44821]: Create instance dictionaries (__dict__) eagerly, to improve regularity of object layout and assist specialization.

bpo-44792 [https://bugs.python.org/issue?@action=redirect&bpo=44792]: Improve syntax errors for if expressions. Patch by Miguel Brito

bpo-34013 [https://bugs.python.org/issue?@action=redirect&bpo=34013]: Generalize the invalid legacy statement custom error message (like the one generated when “print” is called without parentheses) to include more generic expressions. Patch by Pablo Galindo

bpo-44732 [https://bugs.python.org/issue?@action=redirect&bpo=44732]: Rename types.Union to types.UnionType.

bpo-44725 [https://bugs.python.org/issue?@action=redirect&bpo=44725]: Expose specialization stats in python via _opcode.get_specialization_stats().

bpo-44717 [https://bugs.python.org/issue?@action=redirect&bpo=44717]: Improve AttributeError on circular imports of submodules.

bpo-44698 [https://bugs.python.org/issue?@action=redirect&bpo=44698]: Fix undefined behaviour in complex object exponentiation.

bpo-44653 [https://bugs.python.org/issue?@action=redirect&bpo=44653]: Support typing types in parameter substitution in the union type.

bpo-44676 [https://bugs.python.org/issue?@action=redirect&bpo=44676]: Add ability to serialise types.Union objects. Patch provided by Yurii Karabas.

bpo-44633 [https://bugs.python.org/issue?@action=redirect&bpo=44633]: Parameter substitution of the union type with wrong types now raises TypeError instead of returning NotImplemented.

bpo-44661 [https://bugs.python.org/issue?@action=redirect&bpo=44661]: Update property_descr_set to use vectorcall if possible. Patch by Donghee Na.

bpo-44662 [https://bugs.python.org/issue?@action=redirect&bpo=44662]: Add __module__ to types.Union. This also fixes types.Union issues with typing.Annotated. Patch provided by Yurii Karabas.

bpo-44655 [https://bugs.python.org/issue?@action=redirect&bpo=44655]: Include the name of the type in unset __slots__ attribute errors. Patch by Pablo Galindo

bpo-44655 [https://bugs.python.org/issue?@action=redirect&bpo=44655]: Don’t include a missing attribute with the same name as the failing one when offering suggestions for missing attributes. Patch by Pablo Galindo

bpo-44646 [https://bugs.python.org/issue?@action=redirect&bpo=44646]: Fix the hash of the union type: it no longer depends on the order of arguments.

bpo-44636 [https://bugs.python.org/issue?@action=redirect&bpo=44636]: Collapse union of equal types. E.g. the result of int | int is now int. Fix comparison of the union type with non-hashable objects. E.g. int | str == {} no longer raises a TypeError.

bpo-44611 [https://bugs.python.org/issue?@action=redirect&bpo=44611]: On Windows, os.urandom(): uses BCryptGenRandom API instead of CryptGenRandom API which is deprecated from Microsoft Windows API. Patch by Donghee Na.

bpo-44635 [https://bugs.python.org/issue?@action=redirect&bpo=44635]: Convert None to type(None) in the union type constructor.

bpo-26280 [https://bugs.python.org/issue?@action=redirect&bpo=26280]: Implement adaptive specialization for BINARY_SUBSCR

Three specialized forms of BINARY_SUBSCR are added:

BINARY_SUBSCR_LIST_INT

BINARY_SUBSCR_TUPLE_INT

BINARY_SUBSCR_DICT

bpo-44589 [https://bugs.python.org/issue?@action=redirect&bpo=44589]: Mapping patterns in match statements with two or more equal literal keys will now raise a SyntaxError at compile-time.

bpo-44606 [https://bugs.python.org/issue?@action=redirect&bpo=44606]: Fix __instancecheck__ and __subclasscheck__ for the union type.

bpo-42073 [https://bugs.python.org/issue?@action=redirect&bpo=42073]: The @classmethod decorator can now wrap other classmethod-like descriptors.

bpo-41972 [https://bugs.python.org/issue?@action=redirect&bpo=41972]: Tuned the string-searching algorithm of fastsearch.h to have a shorter inner loop for most cases.

bpo-44590 [https://bugs.python.org/issue?@action=redirect&bpo=44590]: All necessary data for executing a Python function (local variables, stack, etc) is now kept in a per-thread stack. Frame objects are lazily allocated on demand. This increases performance by about 7% on the standard benchmark suite. Introspection and debugging are unaffected as frame objects are always available when needed. Patch by Mark Shannon.

bpo-44584 [https://bugs.python.org/issue?@action=redirect&bpo=44584]: The threading debug (PYTHONTHREADDEBUG environment variable) is deprecated in Python 3.10 and will be removed in Python 3.12. This feature requires a debug build of Python. Patch by Victor Stinner.

bpo-43895 [https://bugs.python.org/issue?@action=redirect&bpo=43895]: An obsolete internal cache of shared object file handles added in 1995 that attempted, but did not guarantee, that a .so would not be dlopen’ed twice to work around flaws in mid-1990s posix-ish operating systems has been removed from dynload_shlib.c.

bpo-44490 [https://bugs.python.org/issue?@action=redirect&bpo=44490]: typing now searches for type parameters in types.Union objects. get_type_hints will also properly resolve annotations with nested types.Union objects. Patch provided by Yurii Karabas.

bpo-43950 [https://bugs.python.org/issue?@action=redirect&bpo=43950]: Code objects can now provide the column information for instructions when available. This is levaraged during traceback printing to show the expressions responsible for errors.

Contributed by Pablo Galindo, Batuhan Taskaya and Ammar Askar as part of PEP 657 [https://peps.python.org/pep-0657/].

bpo-44562 [https://bugs.python.org/issue?@action=redirect&bpo=44562]: Remove uses of PyObject_GC_Del() in error path when initializing types.GenericAlias.

bpo-41486 [https://bugs.python.org/issue?@action=redirect&bpo=41486]: Fix a memory consumption and copying performance regression in earlier 3.10 beta releases if someone used an output buffer larger than 4GiB with zlib.decompress on input data that expands that large.

bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908]: Heap types with the Py_TPFLAGS_IMMUTABLETYPE flag can now inherit the PEP 590 [https://peps.python.org/pep-0590/] vectorcall protocol. Previously, this was only possible for static types. Patch by Erlend E. Aasland.

bpo-44553 [https://bugs.python.org/issue?@action=redirect&bpo=44553]: Implement GC methods for types.Union to break reference cycles and prevent memory leaks.

bpo-44490 [https://bugs.python.org/issue?@action=redirect&bpo=44490]: Add __parameters__ attribute and __getitem__ operator to types.Union. Patch provided by Yurii Karabas.

bpo-44523 [https://bugs.python.org/issue?@action=redirect&bpo=44523]: Remove the pass-through for hash() of weakref.proxy objects to prevent unintended consequences when the original referred object dies while the proxy is part of a hashable object. Patch by Pablo Galindo.

bpo-44483 [https://bugs.python.org/issue?@action=redirect&bpo=44483]: Fix a crash in types.Union objects when creating a union of an object with bad __module__ field.

bpo-44486 [https://bugs.python.org/issue?@action=redirect&bpo=44486]: Modules will always have a dictionary, even when created by types.ModuleType.__new__()

bpo-44472 [https://bugs.python.org/issue?@action=redirect&bpo=44472]: Fix ltrace functionality when exceptions are raised. Patch by Pablo Galindo

bpo-12022 [https://bugs.python.org/issue?@action=redirect&bpo=12022]: A TypeError is now raised instead of an AttributeError in with and async with statements for objects which do not support the context manager or asynchronous context manager protocols correspondingly.

bpo-44297 [https://bugs.python.org/issue?@action=redirect&bpo=44297]: Make sure that the line number is set when entering a comprehension scope. This ensures that backtraces including generator expressions show the correct line number.

bpo-44456 [https://bugs.python.org/issue?@action=redirect&bpo=44456]: Improve the syntax error when mixing positional and keyword patterns. Patch by Pablo Galindo.

bpo-44409 [https://bugs.python.org/issue?@action=redirect&bpo=44409]: Fix error location information for tokenizer errors raised on initialization of the tokenizer. Patch by Pablo Galindo.

bpo-44396 [https://bugs.python.org/issue?@action=redirect&bpo=44396]: Fix a possible crash in the tokenizer when raising syntax errors for unclosed strings. Patch by Pablo Galindo.

bpo-44376 [https://bugs.python.org/issue?@action=redirect&bpo=44376]: Exact integer exponentiation (like i**2 or pow(i, 2)) with a small exponent is much faster, due to reducing overhead in such cases.

bpo-44313 [https://bugs.python.org/issue?@action=redirect&bpo=44313]: Directly imported objects and modules (through import and from import statements) don’t generate LOAD_METHOD/CALL_METHOD for directly accessed objects on their namespace. They now use the regular LOAD_ATTR/CALL_FUNCTION.

bpo-44338 [https://bugs.python.org/issue?@action=redirect&bpo=44338]: Implement adaptive specialization for LOAD_GLOBAL

Two specialized forms of LOAD_GLOBAL are added:

LOAD_GLOBAL_MODULE

LOAD_GLOBAL_BUILTIN

bpo-44368 [https://bugs.python.org/issue?@action=redirect&bpo=44368]: Improve syntax errors for invalid “as” targets. Patch by Pablo Galindo

bpo-44349 [https://bugs.python.org/issue?@action=redirect&bpo=44349]: Fix an edge case when displaying text from files with encoding in syntax errors. Patch by Pablo Galindo.

bpo-44337 [https://bugs.python.org/issue?@action=redirect&bpo=44337]: Initial implementation of adaptive specialization of LOAD_ATTR

Four specialized forms of LOAD_ATTR are added:

LOAD_ATTR_SLOT

LOAD_ATTR_SPLIT_KEYS

LOAD_ATTR_WITH_HINT

LOAD_ATTR_MODULE

bpo-44335 [https://bugs.python.org/issue?@action=redirect&bpo=44335]: Fix a regression when identifying incorrect characters in syntax errors. Patch by Pablo Galindo

bpo-43693 [https://bugs.python.org/issue?@action=redirect&bpo=43693]: Computation of the offsets of cell variables is done in the compiler instead of at runtime. This reduces the overhead of handling cell and free variables, especially in the case where a variable is both an argument and cell variable.

bpo-44317 [https://bugs.python.org/issue?@action=redirect&bpo=44317]: Improve tokenizer error with improved locations. Patch by Pablo Galindo.

bpo-44304 [https://bugs.python.org/issue?@action=redirect&bpo=44304]: Fix a crash in the sqlite3 module that happened when the garbage collector clears sqlite.Statement objects. Patch by Pablo Galindo

bpo-44305 [https://bugs.python.org/issue?@action=redirect&bpo=44305]: Improve error message for try blocks without except or finally blocks. Patch by Pablo Galindo.

bpo-43413 [https://bugs.python.org/issue?@action=redirect&bpo=43413]: Constructors of subclasses of some builtin classes (e.g. tuple, list, frozenset) no longer accept arbitrary keyword arguments. [reverted in 3.11a4] Subclass of set can now define a __new__() method with additional keyword parameters without overriding also __init__().

bpo-43667 [https://bugs.python.org/issue?@action=redirect&bpo=43667]: Improve Unicode support in non-UTF locales on Oracle Solaris. This issue does not affect other Solaris systems.

bpo-43693 [https://bugs.python.org/issue?@action=redirect&bpo=43693]: A new opcode MAKE_CELL has been added that effectively moves some of the work done on function entry into the compiler and into the eval loop. In addition to creating the required cell objects, the new opcode converts relevant arguments (and other locals) to cell variables on function entry.

bpo-44232 [https://bugs.python.org/issue?@action=redirect&bpo=44232]: Fix a regression in type() when a metaclass raises an exception. The C function type_new() must properly report the exception when a metaclass constructor raises an exception and the winner class is not the metaclass. Patch by Victor Stinner.

bpo-44201 [https://bugs.python.org/issue?@action=redirect&bpo=44201]: Avoid side effects of checking for specialized syntax errors in the REPL that was causing it to ask for extra tokens after a syntax error had been detected. Patch by Pablo Galindo

bpo-43693 [https://bugs.python.org/issue?@action=redirect&bpo=43693]: PyCodeObject gained co_fastlocalnames and co_fastlocalkinds as the authoritative source of fast locals info. Marshaled code objects have changed accordingly.

bpo-44184 [https://bugs.python.org/issue?@action=redirect&bpo=44184]: Fix a crash at Python exit when a deallocator function removes the last strong reference to a heap type. Patch by Victor Stinner.

bpo-44187 [https://bugs.python.org/issue?@action=redirect&bpo=44187]: Implement quickening in the interpreter. This offers no advantages as yet, but is an enabler of future optimizations. See PEP 659 for full explanation.

bpo-44180 [https://bugs.python.org/issue?@action=redirect&bpo=44180]: The parser doesn’t report generic syntax errors that happen in a position further away that the one it reached in the first pass. Patch by Pablo Galindo

bpo-44168 [https://bugs.python.org/issue?@action=redirect&bpo=44168]: Fix error message in the parser involving keyword arguments with invalid expressions. Patch by Pablo Galindo

bpo-44156 [https://bugs.python.org/issue?@action=redirect&bpo=44156]: String caches in compile.c are now subinterpreter compatible.

bpo-44143 [https://bugs.python.org/issue?@action=redirect&bpo=44143]: Fixed a crash in the parser that manifest when raising tokenizer errors when an existing exception was present. Patch by Pablo Galindo.

bpo-44032 [https://bugs.python.org/issue?@action=redirect&bpo=44032]: Move ‘fast’ locals and other variables from the frame object to a per-thread datastack.

bpo-44114 [https://bugs.python.org/issue?@action=redirect&bpo=44114]: Fix incorrect dictkeys_reversed and dictitems_reversed function signatures in C code, which broke webassembly builds.

bpo-44110 [https://bugs.python.org/issue?@action=redirect&bpo=44110]: Improve str.__getitem__() error message

bpo-26110 [https://bugs.python.org/issue?@action=redirect&bpo=26110]: Add CALL_METHOD_KW opcode to speed up method calls with keyword arguments. Idea originated from PyPy. A side effect is executing CALL_METHOD is now branchless in the evaluation loop.

bpo-28307 [https://bugs.python.org/issue?@action=redirect&bpo=28307]: Compiler now optimizes simple C-style formatting with literal format containing only format codes %s, %r and %a by converting them to f-string expressions.

bpo-43149 [https://bugs.python.org/issue?@action=redirect&bpo=43149]: Correct the syntax error message regarding multiple exception types to not refer to “exception groups”. Patch by Pablo Galindo

bpo-43822 [https://bugs.python.org/issue?@action=redirect&bpo=43822]: The parser will prioritize tokenizer errors over custom syntax errors when raising exceptions. Patch by Pablo Galindo.

bpo-40222 [https://bugs.python.org/issue?@action=redirect&bpo=40222]: “Zero cost” exception handling.

Uses a lookup table to determine how to handle exceptions.

Removes SETUP_FINALLY and POP_TOP block instructions, eliminating the runtime overhead of try statements.

Reduces the size of the frame object by about 60%.

Patch by Mark Shannon

bpo-43918 [https://bugs.python.org/issue?@action=redirect&bpo=43918]: Document the signature and default argument in the docstring of the new anext builtin.

bpo-43833 [https://bugs.python.org/issue?@action=redirect&bpo=43833]: Emit a deprecation warning if the numeric literal is immediately followed by one of keywords: and, else, for, if, in, is, or. Raise a syntax error with more informative message if it is immediately followed by other keyword or identifier.

bpo-43879 [https://bugs.python.org/issue?@action=redirect&bpo=43879]: Add native_thread_id to PyThreadState. Patch by Gabriele N. Tornetta.

bpo-43693 [https://bugs.python.org/issue?@action=redirect&bpo=43693]: Compute cell offsets relative to locals in compiler. Allows the interpreter to treats locals and cells a single array, which is slightly more efficient. Also make the LOAD_CLOSURE opcode an alias for LOAD_FAST. Preserving LOAD_CLOSURE helps keep bytecode a bit more readable.

bpo-17792 [https://bugs.python.org/issue?@action=redirect&bpo=17792]: More accurate error messages for access of unbound locals or free vars.

bpo-28146 [https://bugs.python.org/issue?@action=redirect&bpo=28146]: Fix a confusing error message in str.format().

bpo-11105 [https://bugs.python.org/issue?@action=redirect&bpo=11105]: When compiling ast.AST objects with recursive references through compile(), the interpreter doesn’t crash anymore instead it raises a RecursionError.

bpo-39091 [https://bugs.python.org/issue?@action=redirect&bpo=39091]: Fix crash when using passing a non-exception to a generator’s throw() method. Patch by Noah Oxer

bpo-33346 [https://bugs.python.org/issue?@action=redirect&bpo=33346]: Asynchronous comprehensions are now allowed inside comprehensions in asynchronous functions. Outer comprehensions implicitly become asynchronous.

Library

bpo-45371 [https://bugs.python.org/issue?@action=redirect&bpo=45371]: Fix clang rpath issue in distutils. The UnixCCompiler now uses correct clang option to add a runtime library directory (rpath) to a shared library.

bpo-45329 [https://bugs.python.org/issue?@action=redirect&bpo=45329]: Fix freed memory access in pyexpat.xmlparser when building it with an installed expat library <= 2.2.0.

bpo-41710 [https://bugs.python.org/issue?@action=redirect&bpo=41710]: On Unix, if the sem_clockwait() function is available in the C library (glibc 2.30 and newer), the threading.Lock.acquire() method now uses the monotonic clock (time.CLOCK_MONOTONIC) for the timeout, rather than using the system clock (time.CLOCK_REALTIME), to not be affected by system clock changes. Patch by Victor Stinner.

bpo-1596321 [https://bugs.python.org/issue?@action=redirect&bpo=1596321]: Fix the threading._shutdown() function when the threading module was imported first from a thread different than the main thread: no longer log an error at Python exit.

bpo-45274 [https://bugs.python.org/issue?@action=redirect&bpo=45274]: Fix a race condition in the Thread.join() method of the threading module. If the function is interrupted by a signal and the signal handler raises an exception, make sure that the thread remains in a consistent state to prevent a deadlock. Patch by Victor Stinner.

bpo-21302 [https://bugs.python.org/issue?@action=redirect&bpo=21302]: In Unix operating systems, time.sleep() now uses the nanosleep() function, if clock_nanosleep() is not available but nanosleep() is available. nanosleep() allows to sleep with nanosecond precision.

bpo-21302 [https://bugs.python.org/issue?@action=redirect&bpo=21302]: On Windows, time.sleep() now uses a waitable timer which has a resolution of 100 nanoseconds (10⁻⁷ seconds). Previously, it had a resolution of 1 millisecond (10⁻³ seconds). Patch by Benjamin Szőke and Victor Stinner.

bpo-45238 [https://bugs.python.org/issue?@action=redirect&bpo=45238]: Fix unittest.IsolatedAsyncioTestCase.debug(): it runs now asynchronous methods and callbacks.

bpo-36674 [https://bugs.python.org/issue?@action=redirect&bpo=36674]: unittest.TestCase.debug() raises now a unittest.SkipTest if the class or the test method are decorated with the skipping decorator.

bpo-45235 [https://bugs.python.org/issue?@action=redirect&bpo=45235]: Fix an issue where argparse would not preserve values in a provided namespace when using a subparser with defaults.

bpo-45183 [https://bugs.python.org/issue?@action=redirect&bpo=45183]: Have zipimport.zipimporter.find_spec() not raise an exception when the underlying zip file has been deleted and the internal cache has been reset via invalidate_cache().

bpo-45234 [https://bugs.python.org/issue?@action=redirect&bpo=45234]: Fixed a regression in copyfile(), copy(), copy2() raising FileNotFoundError when source is a directory, which should raise IsADirectoryError

bpo-45228 [https://bugs.python.org/issue?@action=redirect&bpo=45228]: Fix stack buffer overflow in parsing J1939 network address.

bpo-45225 [https://bugs.python.org/issue?@action=redirect&bpo=45225]: use map function instead of genexpr in capwords.

bpo-42135 [https://bugs.python.org/issue?@action=redirect&bpo=42135]: Fix typo: importlib.find_loader is really slated for removal in Python 3.12 not 3.10, like the others in PR 25169.

Patch by Hugo van Kemenade.

bpo-20524 [https://bugs.python.org/issue?@action=redirect&bpo=20524]: Improves error messages on .format() operation for str, float, int, and complex. New format now shows the problematic pattern and the object type.

bpo-45168 [https://bugs.python.org/issue?@action=redirect&bpo=45168]: Change dis.dis() output to omit op arg values that cannot be resolved due to co_consts, co_names etc not being provided. Previously the oparg itself was repeated in the value field, which is not useful and can be confusing.

bpo-21302 [https://bugs.python.org/issue?@action=redirect&bpo=21302]: In Unix operating systems, time.sleep() now uses the clock_nanosleep() function, if available, which allows to sleep for an interval specified with nanosecond precision.

bpo-45173 [https://bugs.python.org/issue?@action=redirect&bpo=45173]: Remove from the configparser module: the SafeConfigParser class, the filename property of the ParsingError class, the readfp() method of the ConfigParser class, deprecated since Python 3.2.

Patch by Hugo van Kemenade.

bpo-44987 [https://bugs.python.org/issue?@action=redirect&bpo=44987]: Pure ASCII strings are now normalized in constant time by unicodedata.normalize(). Patch by Donghee Na.

bpo-35474 [https://bugs.python.org/issue?@action=redirect&bpo=35474]: Calling mimetypes.guess_all_extensions() with strict=False no longer affects the result of the following call with strict=True. Also, mutating the returned list no longer affects the global state.

bpo-45166 [https://bugs.python.org/issue?@action=redirect&bpo=45166]: typing.get_type_hints() now works with Final wrapped in ForwardRef.

bpo-45162 [https://bugs.python.org/issue?@action=redirect&bpo=45162]: Remove many old deprecated unittest features:

“fail*” and “assert*” aliases of TestCase methods.

Broken from start TestCase method assertDictContainsSubset().

Ignored <unittest.TestLoader.loadTestsFromModule> TestLoader.loadTestsFromModule() parameter use_load_tests.

Old alias _TextTestResult of TextTestResult.

bpo-38371 [https://bugs.python.org/issue?@action=redirect&bpo=38371]: Remove the deprecated split() method of _tkinter.TkappType. Patch by Erlend E. Aasland.

bpo-20499 [https://bugs.python.org/issue?@action=redirect&bpo=20499]: Improve the speed and accuracy of statistics.pvariance().

bpo-45132 [https://bugs.python.org/issue?@action=redirect&bpo=45132]: Remove __getitem__() methods of xml.dom.pulldom.DOMEventStream, wsgiref.util.FileWrapper and fileinput.FileInput, deprecated since Python 3.9.

Patch by Hugo van Kemenade.

bpo-45129 [https://bugs.python.org/issue?@action=redirect&bpo=45129]: Due to significant security concerns, the reuse_address parameter of asyncio.loop.create_datagram_endpoint(), disabled in Python 3.9, is now entirely removed. This is because of the behavior of the socket option SO_REUSEADDR in UDP.

Patch by Hugo van Kemenade.

bpo-45124 [https://bugs.python.org/issue?@action=redirect&bpo=45124]: The bdist_msi command, deprecated in Python 3.9, is now removed.

Use bdist_wheel (wheel packages) instead.

Patch by Hugo van Kemenade.

bpo-30856 [https://bugs.python.org/issue?@action=redirect&bpo=30856]: unittest.TestResult methods addFailure(), addError(), addSkip() and addSubTest() are now called immediately after raising an exception in test or finishing a subtest. Previously they were called only after finishing the test clean up.

bpo-45034 [https://bugs.python.org/issue?@action=redirect&bpo=45034]: Changes how error is formatted for struct.pack with 'H' and 'h' modes and too large / small numbers. Now it shows the actual numeric limits, while previously it was showing arithmetic expressions.

bpo-25894 [https://bugs.python.org/issue?@action=redirect&bpo=25894]: unittest now always reports skipped and failed subtests separately: separate characters in default mode and separate lines in verbose mode. Also the test description is now output for errors in test method, class and module cleanups.

bpo-45081 [https://bugs.python.org/issue?@action=redirect&bpo=45081]: Fix issue when dataclasses that inherit from typing.Protocol subclasses have wrong __init__. Patch provided by Yurii Karabas.

bpo-45085 [https://bugs.python.org/issue?@action=redirect&bpo=45085]: The binhex module, deprecated in Python 3.9, is now removed. The following binascii functions, deprecated in Python 3.9, are now also removed:

a2b_hqx(), b2a_hqx();

rlecode_hqx(), rledecode_hqx().

The binascii.crc_hqx() function remains available.

Patch by Victor Stinner.

bpo-40360 [https://bugs.python.org/issue?@action=redirect&bpo=40360]: The lib2to3 package is now deprecated and may not be able to parse Python 3.10 or newer. See the PEP 617 [https://peps.python.org/pep-0617/] (New PEG parser for CPython). Patch by Victor Stinner.

bpo-45075 [https://bugs.python.org/issue?@action=redirect&bpo=45075]: Rename traceback.StackSummary.format_frame() to traceback.StackSummary.format_frame_summary(). This method was added for 3.11 so it was not released yet.

Updated code and docs to better distinguish frame and FrameSummary.

bpo-31299 [https://bugs.python.org/issue?@action=redirect&bpo=31299]: Add option to completely drop frames from a traceback by returning None from a format_frame() override.

bpo-41620 [https://bugs.python.org/issue?@action=redirect&bpo=41620]: run() now always return a TestResult instance. Previously it returned None if the test class or method was decorated with a skipping decorator.

bpo-45021 [https://bugs.python.org/issue?@action=redirect&bpo=45021]: Fix a potential deadlock at shutdown of forked children when using concurrent.futures module

bpo-43913 [https://bugs.python.org/issue?@action=redirect&bpo=43913]: Fix bugs in cleaning up classes and modules in unittest:

Functions registered with addModuleCleanup() were not called unless the user defines tearDownModule() in their test module.

Functions registered with addClassCleanup() were not called if tearDownClass is set to None.

Buffering in TestResult did not work with functions registered with addClassCleanup() and addModuleCleanup().

Errors in functions registered with addClassCleanup() and addModuleCleanup() were not handled correctly in buffered and debug modes.

Errors in setUpModule() and functions registered with addModuleCleanup() were reported in wrong order.

And several lesser bugs.

bpo-45030 [https://bugs.python.org/issue?@action=redirect&bpo=45030]: Fix integer overflow in pickling and copying the range iterator.

bpo-45001 [https://bugs.python.org/issue?@action=redirect&bpo=45001]: Made email date parsing more robust against malformed input, namely a whitespace-only Date: header. Patch by Wouter Bolsterlee.

bpo-45010 [https://bugs.python.org/issue?@action=redirect&bpo=45010]: Remove support of special method __div__ in unittest.mock. It is not used in Python 3.

bpo-39218 [https://bugs.python.org/issue?@action=redirect&bpo=39218]: Improve accuracy of variance calculations by using x*x instead of x**2.

bpo-43613 [https://bugs.python.org/issue?@action=redirect&bpo=43613]: Improve the speed of gzip.compress() and gzip.decompress() by compressing and decompressing at once in memory instead of in a streamed fashion.

bpo-37596 [https://bugs.python.org/issue?@action=redirect&bpo=37596]: Ensure that set and frozenset objects are always marshalled reproducibly.

bpo-44019 [https://bugs.python.org/issue?@action=redirect&bpo=44019]: A new function operator.call has been added, such that operator.call(obj, *args, **kwargs) == obj(*args, **kwargs).

bpo-42255 [https://bugs.python.org/issue?@action=redirect&bpo=42255]: webbrowser.MacOSX is deprecated and will be removed in Python 3.13. It is untested and undocumented and also not used by webbrowser itself. Patch by Donghee Na.

bpo-44955 [https://bugs.python.org/issue?@action=redirect&bpo=44955]: Method stopTestRun() is now always called in pair with method startTestRun() for TestResult objects implicitly created in run(). Previously it was not called for test methods and classes decorated with a skipping decorator.

bpo-39039 [https://bugs.python.org/issue?@action=redirect&bpo=39039]: tarfile.open raises ReadError when a zlib error occurs during file extraction.

bpo-44935 [https://bugs.python.org/issue?@action=redirect&bpo=44935]: subprocess on Solaris now also uses os.posix_spawn() for better performance.

bpo-44911 [https://bugs.python.org/issue?@action=redirect&bpo=44911]: IsolatedAsyncioTestCase will no longer throw an exception while cancelling leaked tasks. Patch by Bar Harel.

bpo-41322 [https://bugs.python.org/issue?@action=redirect&bpo=41322]: Added DeprecationWarning for tests and async tests that return a value!=None (as this may indicate an improperly written test, for example a test written as a generator function).

bpo-44524 [https://bugs.python.org/issue?@action=redirect&bpo=44524]: Make exception message more useful when subclass from typing special form alias. Patch provided by Yurii Karabas.

bpo-38956 [https://bugs.python.org/issue?@action=redirect&bpo=38956]: argparse.BooleanOptionalAction’s default value is no longer printed twice when used with argparse.ArgumentDefaultsHelpFormatter.

bpo-44860 [https://bugs.python.org/issue?@action=redirect&bpo=44860]: Fix the posix_user scheme in sysconfig to not depend on sys.platlibdir.

bpo-44859 [https://bugs.python.org/issue?@action=redirect&bpo=44859]: Improve error handling in sqlite3 and raise more accurate exceptions.

MemoryError is now raised instead of sqlite3.Warning when memory is not enough for encoding a statement to UTF-8 in Connection.__call__() and Cursor.execute().

UnicodEncodeError is now raised instead of sqlite3.Warning when the statement contains surrogate characters in Connection.__call__() and Cursor.execute().

TypeError is now raised instead of ValueError for non-string script argument in Cursor.executescript().

ValueError is now raised for script containing the null character instead of truncating it in Cursor.executescript().

Correctly handle exceptions raised when getting boolean value of the result of the progress handler.

Add many tests covering different corner cases.

bpo-44581 [https://bugs.python.org/issue?@action=redirect&bpo=44581]: Upgrade bundled pip to 21.2.3 and setuptools to 57.4.0

bpo-44849 [https://bugs.python.org/issue?@action=redirect&bpo=44849]: Fix the os.set_inheritable() function on FreeBSD 14 for file descriptor opened with the O_PATH flag: ignore the EBADF error on ioctl(), fallback on the fcntl() implementation. Patch by Victor Stinner.

bpo-44605 [https://bugs.python.org/issue?@action=redirect&bpo=44605]: The @functools.total_ordering() decorator now works with metaclasses.

bpo-44524 [https://bugs.python.org/issue?@action=redirect&bpo=44524]: Fixed an issue wherein the __name__ and __qualname__ attributes of subscribed specialforms could be None.

bpo-44839 [https://bugs.python.org/issue?@action=redirect&bpo=44839]: MemoryError raised in user-defined functions will now produce a MemoryError in sqlite3. OverflowError will now be converted to DataError. Previously OperationalError was produced in these cases.

bpo-44822 [https://bugs.python.org/issue?@action=redirect&bpo=44822]: sqlite3 user-defined functions and aggregators returning strings with embedded NUL characters are no longer truncated. Patch by Erlend E. Aasland.

bpo-44801 [https://bugs.python.org/issue?@action=redirect&bpo=44801]: Ensure that the ParamSpec variable in Callable can only be substituted with a parameters expression (a list of types, an ellipsis, ParamSpec or Concatenate).

bpo-44806 [https://bugs.python.org/issue?@action=redirect&bpo=44806]: Non-protocol subclasses of typing.Protocol ignore now the __init__ method inherited from protocol base classes.

bpo-27275 [https://bugs.python.org/issue?@action=redirect&bpo=27275]: collections.OrderedDict.popitem() and collections.OrderedDict.pop() no longer call __getitem__ and __delitem__ methods of the OrderedDict subclasses.

bpo-44793 [https://bugs.python.org/issue?@action=redirect&bpo=44793]: Fix checking the number of arguments when subscribe a generic type with ParamSpec parameter.

bpo-44784 [https://bugs.python.org/issue?@action=redirect&bpo=44784]: In importlib.metadata tests, override warnings behavior under expected DeprecationWarnings (importlib_metadata 4.6.3).

bpo-44667 [https://bugs.python.org/issue?@action=redirect&bpo=44667]: The tokenize.tokenize() doesn’t incorrectly generate a NEWLINE token if the source doesn’t end with a new line character but the last line is a comment, as the function is already generating a NL token. Patch by Pablo Galindo

bpo-44771 [https://bugs.python.org/issue?@action=redirect&bpo=44771]: Added importlib.simple module implementing adapters from a low-level resources reader interface to a TraversableResources interface. Legacy API (path, contents, …) is now supported entirely by the .files() API with a compatibility shim supplied for resource loaders without that functionality. Feature parity with importlib_resources 5.2.

bpo-44752 [https://bugs.python.org/issue?@action=redirect&bpo=44752]: rcompleter does not call getattr() on property objects to avoid the side-effect of evaluating the corresponding method.

bpo-44747 [https://bugs.python.org/issue?@action=redirect&bpo=44747]: Refactor usage of sys._getframe in typing module. Patch provided by Yurii Karabas.

bpo-42378 [https://bugs.python.org/issue?@action=redirect&bpo=42378]: Fixes the issue with log file being overwritten when logging.FileHandler is used in atexit with filemode set to 'w'. Note this will cause the message in atexit not being logged if the log stream is already closed due to shutdown of logging.

bpo-44720 [https://bugs.python.org/issue?@action=redirect&bpo=44720]: weakref.proxy objects referencing non-iterators now raise TypeError rather than dereferencing the null tp_iternext slot and crashing.

bpo-44704 [https://bugs.python.org/issue?@action=redirect&bpo=44704]: The implementation of collections.abc.Set._hash() now matches that of frozenset.__hash__().

bpo-44666 [https://bugs.python.org/issue?@action=redirect&bpo=44666]: Fixed issue in compileall.compile_file() when sys.stdout is redirected. Patch by Stefan Hölzl.

bpo-44688 [https://bugs.python.org/issue?@action=redirect&bpo=44688]: sqlite3.Connection.create_collation() now accepts non-ASCII collation names. Patch by Erlend E. Aasland.

bpo-44690 [https://bugs.python.org/issue?@action=redirect&bpo=44690]: Adopt binacii.a2b_base64’s strict mode in base64.b64decode.

bpo-42854 [https://bugs.python.org/issue?@action=redirect&bpo=42854]: Fixed a bug in the _ssl module that was throwing OverflowError when using _ssl._SSLSocket.write() and _ssl._SSLSocket.read() for a big value of the len parameter. Patch by Pablo Galindo.

bpo-44686 [https://bugs.python.org/issue?@action=redirect&bpo=44686]: Replace unittest.mock._importer with pkgutil.resolve_name.

bpo-44353 [https://bugs.python.org/issue?@action=redirect&bpo=44353]: Make NewType.__call__ faster by implementing it in C. Patch provided by Yurii Karabas.

bpo-44682 [https://bugs.python.org/issue?@action=redirect&bpo=44682]: Change the pdb commands directive to disallow setting commands for an invalid breakpoint and to display an appropriate error.

bpo-44353 [https://bugs.python.org/issue?@action=redirect&bpo=44353]: Refactor typing.NewType from function into callable class. Patch provided by Yurii Karabas.

bpo-44678 [https://bugs.python.org/issue?@action=redirect&bpo=44678]: Added a separate error message for discontinuous padding in binascii.a2b_base64 strict mode.

bpo-44524 [https://bugs.python.org/issue?@action=redirect&bpo=44524]: Add missing __name__ and __qualname__ attributes to typing module classes. Patch provided by Yurii Karabas.

bpo-40897 [https://bugs.python.org/issue?@action=redirect&bpo=40897]: Give priority to using the current class constructor in inspect.signature(). Patch by Weipeng Hong.

bpo-44638 [https://bugs.python.org/issue?@action=redirect&bpo=44638]: Add a reference to the zipp project and hint as to how to use it.

bpo-44648 [https://bugs.python.org/issue?@action=redirect&bpo=44648]: Fixed wrong error being thrown by inspect.getsource() when examining a class in the interactive session. Instead of TypeError, it should be OSError with appropriate error message.

bpo-44608 [https://bugs.python.org/issue?@action=redirect&bpo=44608]: Fix memory leak in _tkinter._flatten() if it is called with a sequence or set, but not list or tuple.

bpo-44594 [https://bugs.python.org/issue?@action=redirect&bpo=44594]: Fix an edge case of ExitStack and AsyncExitStack exception chaining. They will now match with block behavior when __context__ is explicitly set to None when the exception is in flight.

bpo-42799 [https://bugs.python.org/issue?@action=redirect&bpo=42799]: In fnmatch, the cache size for compiled regex patterns (functools.lru_cache()) was bumped up from 256 to 32768, affecting functions: fnmatch.fnmatch(), fnmatch.fnmatchcase(), fnmatch.filter().

bpo-41928 [https://bugs.python.org/issue?@action=redirect&bpo=41928]: Update shutil.copyfile() to raise FileNotFoundError instead of confusing IsADirectoryError when a path ending with a os.path.sep does not exist; shutil.copy() and shutil.copy2() are also affected.

bpo-44569 [https://bugs.python.org/issue?@action=redirect&bpo=44569]: Added the StackSummary.format_frame() function in traceback. This allows users to customize the way individual lines are formatted in tracebacks without re-implementing logic to handle recursive tracebacks.

bpo-44566 [https://bugs.python.org/issue?@action=redirect&bpo=44566]: handle StopIteration subclass raised from @contextlib.contextmanager generator

bpo-44558 [https://bugs.python.org/issue?@action=redirect&bpo=44558]: Make the implementation consistency of indexOf() between C and Python versions. Patch by Donghee Na.

bpo-41249 [https://bugs.python.org/issue?@action=redirect&bpo=41249]: Fixes TypedDict to work with typing.get_type_hints() and postponed evaluation of annotations across modules.

bpo-44554 [https://bugs.python.org/issue?@action=redirect&bpo=44554]: Refactor argument processing in pdb.main() to simplify detection of errors in input loading and clarify behavior around module or script invocation.

bpo-34798 [https://bugs.python.org/issue?@action=redirect&bpo=34798]: Break up paragraph about pprint.PrettyPrinter construction parameters to make it easier to read.

bpo-44539 [https://bugs.python.org/issue?@action=redirect&bpo=44539]: Added support for recognizing JPEG files without JFIF or Exif markers.

bpo-44461 [https://bugs.python.org/issue?@action=redirect&bpo=44461]: Fix bug with pdb’s handling of import error due to a package which does not have a __main__ module

bpo-43625 [https://bugs.python.org/issue?@action=redirect&bpo=43625]: Fix a bug in the detection of CSV file headers by csv.Sniffer.has_header() and improve documentation of same.

bpo-44516 [https://bugs.python.org/issue?@action=redirect&bpo=44516]: Update vendored pip to 21.1.3

bpo-42892 [https://bugs.python.org/issue?@action=redirect&bpo=42892]: Fixed an exception thrown while parsing a malformed multipart email by email.message.EmailMessage.

bpo-44468 [https://bugs.python.org/issue?@action=redirect&bpo=44468]: typing.get_type_hints() now finds annotations in classes and base classes with unexpected __module__. Previously, it skipped those MRO elements.

bpo-44491 [https://bugs.python.org/issue?@action=redirect&bpo=44491]: Allow clearing the sqlite3 authorizer callback by passing None to set_authorizer(). Patch by Erlend E. Aasland.

bpo-43977 [https://bugs.python.org/issue?@action=redirect&bpo=43977]: Set the proper Py_TPFLAGS_MAPPING and Py_TPFLAGS_SEQUENCE flags for subclasses created before a parent has been registered as a collections.abc.Mapping or collections.abc.Sequence.

bpo-44482 [https://bugs.python.org/issue?@action=redirect&bpo=44482]: Fix very unlikely resource leak in glob in alternate Python implementations.

bpo-44466 [https://bugs.python.org/issue?@action=redirect&bpo=44466]: The faulthandler module now detects if a fatal error occurs during a garbage collector collection. Patch by Victor Stinner.

bpo-44471 [https://bugs.python.org/issue?@action=redirect&bpo=44471]: A TypeError is now raised instead of an AttributeError in contextlib.ExitStack.enter_context() and contextlib.AsyncExitStack.enter_async_context() for objects which do not support the context manager or asynchronous context manager protocols correspondingly.

bpo-44404 [https://bugs.python.org/issue?@action=redirect&bpo=44404]: tkinter’s after() method now supports callables without the __name__ attribute.

bpo-41546 [https://bugs.python.org/issue?@action=redirect&bpo=41546]: Make pprint (like the builtin print) not attempt to write to stdout when it is None.

bpo-44458 [https://bugs.python.org/issue?@action=redirect&bpo=44458]: BUFFER_BLOCK_SIZE is now declared static, to avoid linking collisions when bz2, lmza or zlib are statically linked.

bpo-44464 [https://bugs.python.org/issue?@action=redirect&bpo=44464]: Remove exception for flake8 in deprecated importlib.metadata interfaces. Sync with importlib_metadata 4.6.

bpo-44446 [https://bugs.python.org/issue?@action=redirect&bpo=44446]: Take into account that lineno might be None in traceback.FrameSummary.

bpo-44439 [https://bugs.python.org/issue?@action=redirect&bpo=44439]: Fix in bz2.BZ2File.write() / lzma.LZMAFile.write() methods, when the input data is an object that supports the buffer protocol, the file length may be wrong.

bpo-44434 [https://bugs.python.org/issue?@action=redirect&bpo=44434]: _thread.start_new_thread() no longer calls PyThread_exit_thread() explicitly at the thread exit, the call was redundant. On Linux with the glibc, pthread_exit() aborts the whole process if dlopen() fails to open libgcc_s.so file (ex: EMFILE error). Patch by Victor Stinner.

bpo-42972 [https://bugs.python.org/issue?@action=redirect&bpo=42972]: The _thread.RLock type now fully implement the GC protocol: add a traverse function and the Py_TPFLAGS_HAVE_GC flag. Patch by Victor Stinner.

bpo-44422 [https://bugs.python.org/issue?@action=redirect&bpo=44422]: The threading.enumerate() function now uses a reentrant lock to prevent a hang on reentrant call. Patch by Victor Stinner.

bpo-38291 [https://bugs.python.org/issue?@action=redirect&bpo=38291]: Importing typing.io or typing.re now prints a DeprecationWarning.

bpo-37880 [https://bugs.python.org/issue?@action=redirect&bpo=37880]: argparse actions store_const and append_const each receive a default value of None when the const kwarg is not provided. Previously, this raised a TypeError.

bpo-44389 [https://bugs.python.org/issue?@action=redirect&bpo=44389]: Fix deprecation of ssl.OP_NO_TLSv1_3

bpo-27827 [https://bugs.python.org/issue?@action=redirect&bpo=27827]: pathlib.PureWindowsPath.is_reserved() now identifies a greater range of reserved filenames, including those with trailing spaces or colons.

bpo-44395 [https://bugs.python.org/issue?@action=redirect&bpo=44395]: Fix as_string() to pass unixfrom properly. Patch by Donghee Na.

bpo-34266 [https://bugs.python.org/issue?@action=redirect&bpo=34266]: Handle exceptions from parsing the arg of pdb’s run/restart command.

bpo-44362 [https://bugs.python.org/issue?@action=redirect&bpo=44362]: Improve ssl module’s deprecation messages, error reporting, and documentation for deprecations.

bpo-44342 [https://bugs.python.org/issue?@action=redirect&bpo=44342]: [Enum] Change pickling from by-value to by-name.

bpo-44356 [https://bugs.python.org/issue?@action=redirect&bpo=44356]: [Enum] Allow multiple data-type mixins if they are all the same.

bpo-44351 [https://bugs.python.org/issue?@action=redirect&bpo=44351]: Restore back parse_makefile() in distutils.sysconfig because it behaves differently than the similar implementation in sysconfig.

bpo-35800 [https://bugs.python.org/issue?@action=redirect&bpo=35800]: smtpd.MailmanProxy is now removed as it is unusable without an external module, mailman. Patch by Donghee Na.

bpo-44357 [https://bugs.python.org/issue?@action=redirect&bpo=44357]: Added a function that returns cube root of the given number math.cbrt()

bpo-44339 [https://bugs.python.org/issue?@action=redirect&bpo=44339]: Change math.pow(±0.0, -math.inf) to return inf instead of raising ValueError. This brings the special-case handling of math.pow into compliance with the IEEE 754 standard.

bpo-44242 [https://bugs.python.org/issue?@action=redirect&bpo=44242]: Remove missing flag check from Enum creation and move into a verify decorator.

bpo-44246 [https://bugs.python.org/issue?@action=redirect&bpo=44246]: In importlib.metadata, restore compatibility in the result from Distribution.entry_points (EntryPoints) to honor expectations in older implementations and issuing deprecation warnings for these cases: A. EntryPoints objects are once again mutable, allowing for sort() and other list-based mutation operations. Avoid deprecation warnings by casting to a mutable sequence (e.g. list(dist.entry_points).sort()). B. EntryPoints results once again allow for access by index. To avoid deprecation warnings, cast the result to a Sequence first (e.g. tuple(dist.entry_points)[0]).

bpo-44246 [https://bugs.python.org/issue?@action=redirect&bpo=44246]: In importlib.metadata.entry_points, de-duplication of distributions no longer requires loading the full metadata for PathDistribution objects, improving entry point loading performance by ~10x.

bpo-43858 [https://bugs.python.org/issue?@action=redirect&bpo=43858]: Added a function that returns a copy of a dict of logging levels: logging.getLevelNamesMapping()

bpo-44260 [https://bugs.python.org/issue?@action=redirect&bpo=44260]: The random.Random constructor no longer reads system entropy without need.

bpo-44254 [https://bugs.python.org/issue?@action=redirect&bpo=44254]: On Mac, give turtledemo button text a color that works on both light or dark background. Programmers cannot control the latter.

bpo-44258 [https://bugs.python.org/issue?@action=redirect&bpo=44258]: Support PEP 515 for Fraction’s initialization from string.

bpo-44235 [https://bugs.python.org/issue?@action=redirect&bpo=44235]: Remove deprecated functions in the gettext. Patch by Donghee Na.

bpo-38693 [https://bugs.python.org/issue?@action=redirect&bpo=38693]: Prefer f-strings to .format in importlib.resources.

bpo-33693 [https://bugs.python.org/issue?@action=redirect&bpo=33693]: Importlib.metadata now prefers f-strings to .format.

bpo-44241 [https://bugs.python.org/issue?@action=redirect&bpo=44241]: Incorporate minor tweaks from importlib_metadata 4.1: SimplePath protocol, support for Metadata 2.2.

bpo-43216 [https://bugs.python.org/issue?@action=redirect&bpo=43216]: Remove the @asyncio.coroutine decorator enabling legacy generator-based coroutines to be compatible with async/await code; remove asyncio.coroutines.CoroWrapper used for wrapping legacy coroutine objects in the debug mode. The decorator has been deprecated since Python 3.8 and the removal was initially scheduled for Python 3.10. Patch by Illia Volochii.

bpo-44210 [https://bugs.python.org/issue?@action=redirect&bpo=44210]: Make importlib.metadata._meta.PackageMetadata public.

bpo-43643 [https://bugs.python.org/issue?@action=redirect&bpo=43643]: Declare readers.MultiplexedPath.name as a property per the spec.

bpo-27334 [https://bugs.python.org/issue?@action=redirect&bpo=27334]: The sqlite3 context manager now performs a rollback (thus releasing the database lock) if commit failed. Patch by Luca Citi and Erlend E. Aasland.

bpo-4928 [https://bugs.python.org/issue?@action=redirect&bpo=4928]: Documented existing behavior on POSIX: NamedTemporaryFiles are not deleted when creating process is killed with SIGKILL

bpo-44154 [https://bugs.python.org/issue?@action=redirect&bpo=44154]: Optimize fractions.Fraction pickling for large components.

bpo-33433 [https://bugs.python.org/issue?@action=redirect&bpo=33433]: For IPv4 mapped IPv6 addresses (RFC 4291 [https://datatracker.ietf.org/doc/html/rfc4291.html] Section 2.5.5.2), the ipaddress.IPv6Address.is_private check is deferred to the mapped IPv4 address. This solves a bug where public mapped IPv4 addresses were considered private by the IPv6 check.

bpo-44150 [https://bugs.python.org/issue?@action=redirect&bpo=44150]: Add optional weights argument to statistics.fmean().

bpo-44142 [https://bugs.python.org/issue?@action=redirect&bpo=44142]: ast.unparse() will now drop the redundant parentheses when tuples used as assignment targets (e.g in for loops).

bpo-44145 [https://bugs.python.org/issue?@action=redirect&bpo=44145]: hmac computations were not releasing the GIL while calling the OpenSSL HMAC_Update C API (a new feature in 3.9). This unintentionally prevented parallel computation as other hashlib algorithms support.

bpo-44095 [https://bugs.python.org/issue?@action=redirect&bpo=44095]: zipfile.Path now supports zipfile.Path.stem, zipfile.Path.suffixes, and zipfile.Path.suffix attributes.

bpo-44077 [https://bugs.python.org/issue?@action=redirect&bpo=44077]: It’s now possible to receive the type of service (ToS), a.k.a. differentiated services (DS), a.k.a. differentiated services code point (DSCP) and explicit congestion notification (ECN) IP header fields with socket.IP_RECVTOS.

bpo-37788 [https://bugs.python.org/issue?@action=redirect&bpo=37788]: Fix a reference leak when a Thread object is never joined.

bpo-38908 [https://bugs.python.org/issue?@action=redirect&bpo=38908]: Subclasses of typing.Protocol which only have data variables declared will now raise a TypeError when checked with isinstance unless they are decorated with runtime_checkable(). Previously, these checks passed silently. Patch provided by Yurii Karabas.

bpo-44098 [https://bugs.python.org/issue?@action=redirect&bpo=44098]: typing.ParamSpec will no longer be found in the __parameters__ of most typing generics except in valid use locations specified by PEP 612 [https://peps.python.org/pep-0612/]. This prevents incorrect usage like typing.List[P][int]. This change means incorrect usage which may have passed silently in 3.10 beta 1 and earlier will now error.

bpo-44089 [https://bugs.python.org/issue?@action=redirect&bpo=44089]: Allow subclassing csv.Error in 3.10 (it was allowed in 3.9 and earlier but was disallowed in early versions of 3.10).

bpo-44081 [https://bugs.python.org/issue?@action=redirect&bpo=44081]: ast.unparse() now doesn’t use redundant spaces to separate lambda and the : if there are no parameters.

bpo-44061 [https://bugs.python.org/issue?@action=redirect&bpo=44061]: Fix regression in previous release when calling pkgutil.iter_modules() with a list of pathlib.Path objects

bpo-44059 [https://bugs.python.org/issue?@action=redirect&bpo=44059]: Register the SerenityOS Browser in the webbrowser module.

bpo-36515 [https://bugs.python.org/issue?@action=redirect&bpo=36515]: The hashlib module no longer does unaligned memory accesses when compiled for ARM platforms.

bpo-40465 [https://bugs.python.org/issue?@action=redirect&bpo=40465]: Remove random module features deprecated in Python 3.9.

bpo-44018 [https://bugs.python.org/issue?@action=redirect&bpo=44018]: random.seed() no longer mutates bytearray inputs.

bpo-38352 [https://bugs.python.org/issue?@action=redirect&bpo=38352]: Add IO, BinaryIO, TextIO, Match, and Pattern to typing.__all__. Patch by Jelle Zijlstra.

bpo-44002 [https://bugs.python.org/issue?@action=redirect&bpo=44002]: urllib.parse now uses functool.lru_cache() for its internal URL splitting and quoting caches instead of rolling its own like its the ‘90s.

The undocumented internal urllib.parse Quoted class API is now deprecated, for removal in 3.14.

bpo-43972 [https://bugs.python.org/issue?@action=redirect&bpo=43972]: When http.server.SimpleHTTPRequestHandler sends a 301 (Moved Permanently) for a directory path not ending with /, add a Content-Length: 0 header. This improves the behavior for certain clients.

bpo-28528 [https://bugs.python.org/issue?@action=redirect&bpo=28528]: Fix a bug in pdb where checkline() raises AttributeError if it is called after reset().

bpo-43853 [https://bugs.python.org/issue?@action=redirect&bpo=43853]: Improved string handling for sqlite3 user-defined functions and aggregates:

It is now possible to pass strings with embedded null characters to UDFs

Conversion failures now correctly raise MemoryError

Patch by Erlend E. Aasland.

bpo-43666 [https://bugs.python.org/issue?@action=redirect&bpo=43666]: AIX: Lib/_aix_support.get_platform() may fail in an AIX WPAR. The fileset bos.rte appears to have a builddate in both LPAR and WPAR so this fileset is queried rather than bos.mp64. To prevent a similar situation (no builddate in ODM) a value (9988) sufficient for completing a build is provided. Patch by M Felt.

bpo-43650 [https://bugs.python.org/issue?@action=redirect&bpo=43650]: Fix MemoryError in shutil.unpack_archive() which fails inside shutil._unpack_zipfile() on large files. Patch by Igor Bolshakov.

bpo-43612 [https://bugs.python.org/issue?@action=redirect&bpo=43612]: zlib.compress() now accepts a wbits parameter which allows users to compress data as a raw deflate block without zlib headers and trailers in one go. Previously this required instantiating a zlib.compressobj. It also provides a faster alternative to gzip.compress when wbits=31 is used.

bpo-43392 [https://bugs.python.org/issue?@action=redirect&bpo=43392]: importlib._bootstrap._find_and_load() now implements a two-step check to avoid locking when modules have been already imported and are ready. This improves performance of repeated calls to importlib.import_module() and importlib.__import__().

bpo-43318 [https://bugs.python.org/issue?@action=redirect&bpo=43318]: Fix a bug where pdb does not always echo cleared breakpoints.

bpo-43234 [https://bugs.python.org/issue?@action=redirect&bpo=43234]: Prohibit passing non-concurrent.futures.ThreadPoolExecutor executors to loop.set_default_executor() following a deprecation in Python 3.8. Patch by Illia Volochii.

bpo-43232 [https://bugs.python.org/issue?@action=redirect&bpo=43232]: Prohibit previously deprecated potentially disruptive operations on asyncio.trsock.TransportSocket. Patch by Illia Volochii.

bpo-30077 [https://bugs.python.org/issue?@action=redirect&bpo=30077]: Added support for Apple’s aifc/sowt pseudo-compression

bpo-42971 [https://bugs.python.org/issue?@action=redirect&bpo=42971]: Add definition of errno.EQFULL for platforms that define this constant (such as macOS).

bpo-43086 [https://bugs.python.org/issue?@action=redirect&bpo=43086]: Added a new optional strict_mode parameter to binascii.a2b_base64. When scrict_mode is set to True, the a2b_base64 function will accept only valid base64 content. More details about what “valid base64 content” is, can be found in the function’s documentation.

bpo-43024 [https://bugs.python.org/issue?@action=redirect&bpo=43024]: Improve the help signature of traceback.print_exception(), traceback.format_exception() and traceback.format_exception_only().

bpo-33809 [https://bugs.python.org/issue?@action=redirect&bpo=33809]: Add the traceback.TracebackException.print() method which prints the formatted exception information.

bpo-42862 [https://bugs.python.org/issue?@action=redirect&bpo=42862]: sqlite3 now utilizes functools.lru_cache() to implement the connection statement cache. As a small optimisation, the default statement cache size has been increased from 100 to 128. Patch by Erlend E. Aasland.

bpo-41818 [https://bugs.python.org/issue?@action=redirect&bpo=41818]: Soumendra Ganguly: add termios.tcgetwinsize(), termios.tcsetwinsize().

bpo-40497 [https://bugs.python.org/issue?@action=redirect&bpo=40497]: subprocess.check_output() now raises ValueError when the invalid keyword argument check is passed by user code. Previously such use would fail later with a TypeError. Patch by Rémi Lapeyre.

bpo-37449 [https://bugs.python.org/issue?@action=redirect&bpo=37449]: ensurepip now uses importlib.resources.files() traversable APIs

bpo-40956 [https://bugs.python.org/issue?@action=redirect&bpo=40956]: Use Argument Clinic in sqlite3. Patches by Erlend E. Aasland.

bpo-41730 [https://bugs.python.org/issue?@action=redirect&bpo=41730]: DeprecationWarning is now raised when importing tkinter.tix, which has been deprecated in documentation since Python 3.6.

bpo-20684 [https://bugs.python.org/issue?@action=redirect&bpo=20684]: Remove unused _signature_get_bound_param function from inspect - by Anthony Sottile.

bpo-41402 [https://bugs.python.org/issue?@action=redirect&bpo=41402]: Fix email.message.EmailMessage.set_content() when called with binary data and 7bit content transfer encoding.

bpo-32695 [https://bugs.python.org/issue?@action=redirect&bpo=32695]: The compresslevel and preset keyword arguments of tarfile.open() are now both documented and tested.

bpo-41137 [https://bugs.python.org/issue?@action=redirect&bpo=41137]: Use utf-8 encoding while reading .pdbrc files. Patch by Srinivas Reddy Thatiparthy

bpo-24391 [https://bugs.python.org/issue?@action=redirect&bpo=24391]: Improved reprs of threading synchronization objects: Semaphore, BoundedSemaphore, Event and Barrier.

bpo-5846 [https://bugs.python.org/issue?@action=redirect&bpo=5846]: Deprecated the following unittest functions, scheduled for removal in Python 3.13:

findTestCases()

makeSuite()

getTestCaseNames()

Use TestLoader methods instead:

unittest.TestLoader.loadTestsFromModule()

unittest.TestLoader.loadTestsFromTestCase()

unittest.TestLoader.getTestCaseNames()

Patch by Erlend E. Aasland.

bpo-40563 [https://bugs.python.org/issue?@action=redirect&bpo=40563]: Support pathlike objects on dbm/shelve. Patch by Hakan Çelik and Henry-Joseph Audéoud.

bpo-34990 [https://bugs.python.org/issue?@action=redirect&bpo=34990]: Fixed a Y2k38 bug in the compileall module where it would fail to compile files with a modification time after the year 2038.

bpo-39549 [https://bugs.python.org/issue?@action=redirect&bpo=39549]: Whereas the code for reprlib.Repr had previously used a hardcoded string value of ‘…’, this PR updates it to use of a “fillvalue” attribute, whose value defaults to ‘…’ and can be reset in either individual reprlib.Repr instances or in subclasses thereof.

bpo-37022 [https://bugs.python.org/issue?@action=redirect&bpo=37022]: pdb now displays exceptions from repr() with its p and pp commands.

bpo-38840 [https://bugs.python.org/issue?@action=redirect&bpo=38840]: Fix test___all__ on platforms lacking a shared memory implementation.

bpo-39359 [https://bugs.python.org/issue?@action=redirect&bpo=39359]: Add one missing check that the password is a bytes object for an encrypted zipfile.

bpo-38741 [https://bugs.python.org/issue?@action=redirect&bpo=38741]: configparser: using ‘]’ inside a section header will no longer cut the section name short at the ‘]’

bpo-38415 [https://bugs.python.org/issue?@action=redirect&bpo=38415]: Added missing behavior to contextlib.asynccontextmanager() to match contextlib.contextmanager() so decorated functions can themselves be decorators.

bpo-30256 [https://bugs.python.org/issue?@action=redirect&bpo=30256]: Pass multiprocessing BaseProxy argument manager_owned through AutoProxy.

bpo-27513 [https://bugs.python.org/issue?@action=redirect&bpo=27513]: email.utils.getaddresses() now accepts email.header.Header objects along with string values. Patch by Zackery Spytz.

bpo-16379 [https://bugs.python.org/issue?@action=redirect&bpo=16379]: Add SQLite error code and name to sqlite3 exceptions. Patch by Aviv Palivoda, Daniel Shahaf, and Erlend E. Aasland.

bpo-26228 [https://bugs.python.org/issue?@action=redirect&bpo=26228]: pty.spawn no longer hangs on FreeBSD, macOS, and Solaris.

bpo-33349 [https://bugs.python.org/issue?@action=redirect&bpo=33349]: lib2to3 now recognizes async generators everywhere.

bpo-29298 [https://bugs.python.org/issue?@action=redirect&bpo=29298]: Fix TypeError when required subparsers without dest do not receive arguments. Patch by Anthony Sottile.

Documentation

bpo-45216 [https://bugs.python.org/issue?@action=redirect&bpo=45216]: Remove extra documentation listing methods in difflib. It was rendering twice in pydoc and was outdated in some places.

bpo-45024 [https://bugs.python.org/issue?@action=redirect&bpo=45024]: collections.abc documentation has been expanded to explicitly cover how instance and subclass checks work, with additional doctest examples and an exhaustive list of ABCs which test membership purely by presence of the right special methods. Patch by Raymond Hettinger.

bpo-44957 [https://bugs.python.org/issue?@action=redirect&bpo=44957]: Promote PEP 604 union syntax by using it where possible. Also, mention X | Y more prominently in section about Union and mention X | None at all in section about Optional.

bpo-16580 [https://bugs.python.org/issue?@action=redirect&bpo=16580]: Added code equivalents for the int.to_bytes() and int.from_bytes() methods, as well as tests ensuring that these code equivalents are valid.

bpo-44903 [https://bugs.python.org/issue?@action=redirect&bpo=44903]: Removed the othergui.rst file, any references to it, and the list of GUI frameworks in the FAQ. In their place I’ve added links to the Python Wiki page on GUI frameworks [https://wiki.python.org/moin/GuiProgramming].

bpo-33479 [https://bugs.python.org/issue?@action=redirect&bpo=33479]: Tkinter documentation has been greatly expanded with new “Architecture” and “Threading model” sections.

bpo-36700 [https://bugs.python.org/issue?@action=redirect&bpo=36700]: base64 RFC references were updated to point to RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html]; a section was added to point users to the new “security considerations” section of the RFC.

bpo-44740 [https://bugs.python.org/issue?@action=redirect&bpo=44740]: Replaced occurrences of uppercase “Web” and “Internet” with lowercase versions per the 2016 revised Associated Press Style Book.

bpo-44693 [https://bugs.python.org/issue?@action=redirect&bpo=44693]: Update the definition of __future__ in the glossary by replacing the confusing word “pseudo-module” with a more accurate description.

bpo-35183 [https://bugs.python.org/issue?@action=redirect&bpo=35183]: Add typical examples to os.path.splitext docs

bpo-30511 [https://bugs.python.org/issue?@action=redirect&bpo=30511]: Clarify that shutil.make_archive() is not thread-safe due to reliance on changing the current working directory.

bpo-44561 [https://bugs.python.org/issue?@action=redirect&bpo=44561]: Update of three expired hyperlinks in Doc/distributing/index.rst: “Project structure”, “Building and packaging the project”, and “Uploading the project to the Python Packaging Index”.

bpo-44651 [https://bugs.python.org/issue?@action=redirect&bpo=44651]: Delete entry “coercion” in Doc/glossary.rst for its outdated definition.

bpo-42958 [https://bugs.python.org/issue?@action=redirect&bpo=42958]: Updated the docstring and docs of filecmp.cmp() to be more accurate and less confusing especially in respect to shallow arg.

bpo-44631 [https://bugs.python.org/issue?@action=redirect&bpo=44631]: Refactored the repr() code of the _Environ (os module).

bpo-44613 [https://bugs.python.org/issue?@action=redirect&bpo=44613]: importlib.metadata is no longer provisional.

bpo-44558 [https://bugs.python.org/issue?@action=redirect&bpo=44558]: Match the docstring and python implementation of countOf() to the behavior of its c implementation.

bpo-44544 [https://bugs.python.org/issue?@action=redirect&bpo=44544]: List all kwargs for textwrap.wrap(), textwrap.fill(), and textwrap.shorten(). Now, there are nav links to attributes of TextWrap, which makes navigation much easier while minimizing duplication in the documentation.

bpo-38062 [https://bugs.python.org/issue?@action=redirect&bpo=38062]: Clarify that atexit uses equality comparisons internally.

bpo-40620 [https://bugs.python.org/issue?@action=redirect&bpo=40620]: Convert examples in tutorial controlflow.rst section 4.3 to be interpreter-demo style.

bpo-43066 [https://bugs.python.org/issue?@action=redirect&bpo=43066]: Added a warning to zipfile docs: filename arg with a leading slash may cause archive to be un-openable on Windows systems.

bpo-39452 [https://bugs.python.org/issue?@action=redirect&bpo=39452]: Rewrote Doc/library/__main__.rst. Broadened scope of the document to explicitly discuss and differentiate between __main__.py in packages versus the __name__ == '__main__' expression (and the idioms that surround it).

bpo-13814 [https://bugs.python.org/issue?@action=redirect&bpo=13814]: In the Design FAQ, answer “Why don’t generators support the with statement?”

bpo-27752 [https://bugs.python.org/issue?@action=redirect&bpo=27752]: Documentation of csv.Dialect is more descriptive.

bpo-44453 [https://bugs.python.org/issue?@action=redirect&bpo=44453]: Fix documentation for the return type of sysconfig.get_path().

bpo-44392 [https://bugs.python.org/issue?@action=redirect&bpo=44392]: Added a new section in the C API documentation for types used in type hinting. Documented Py_GenericAlias and Py_GenericAliasType.

bpo-38291 [https://bugs.python.org/issue?@action=redirect&bpo=38291]: Mark typing.io and typing.re as deprecated since Python 3.8 in the documentation. They were never properly supported by type checkers.

bpo-44322 [https://bugs.python.org/issue?@action=redirect&bpo=44322]: Document that SyntaxError args have a details tuple and that details are adjusted for errors in f-string field replacement expressions.

bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392]: Document the deprecation and removal of the loop parameter for many functions and classes in asyncio.

bpo-44195 [https://bugs.python.org/issue?@action=redirect&bpo=44195]: Corrected references to TraversableResources in docs. There is no TraversableReader.

bpo-41963 [https://bugs.python.org/issue?@action=redirect&bpo=41963]: Document that ConfigParser strips off comments when reading configuration files.

bpo-44072 [https://bugs.python.org/issue?@action=redirect&bpo=44072]: Correct where in the numeric ABC hierarchy ** support is added, i.e., in numbers.Complex, not numbers.Integral.

bpo-43558 [https://bugs.python.org/issue?@action=redirect&bpo=43558]: Add the remark to dataclasses documentation that the __init__() of any base class has to be called in __post_init__(), along with a code example.

bpo-44025 [https://bugs.python.org/issue?@action=redirect&bpo=44025]: Clarify when ‘_’ in match statements is a keyword, and when not.

bpo-41706 [https://bugs.python.org/issue?@action=redirect&bpo=41706]: Fix docs about how methods like __add__ are invoked when evaluating operator expressions.

bpo-41621 [https://bugs.python.org/issue?@action=redirect&bpo=41621]: Document that collections.defaultdict parameter default_factory defaults to None and is positional-only.

bpo-41576 [https://bugs.python.org/issue?@action=redirect&bpo=41576]: document BaseException in favor of bare except

bpo-21760 [https://bugs.python.org/issue?@action=redirect&bpo=21760]: The description for __file__ fixed. Patch by Furkan Onder

bpo-39498 [https://bugs.python.org/issue?@action=redirect&bpo=39498]: Add a “Security Considerations” index which links to standard library modules that have explicitly documented security considerations.

bpo-33479 [https://bugs.python.org/issue?@action=redirect&bpo=33479]: Remove the unqualified claim that tkinter is threadsafe. It has not been true for several years and likely never was. An explanation of what is true may be added later, after more discussion, and possibly after patching _tkinter.c,

Tests

bpo-40173 [https://bugs.python.org/issue?@action=redirect&bpo=40173]: Fix test.support.import_helper.import_fresh_module().

bpo-45280 [https://bugs.python.org/issue?@action=redirect&bpo=45280]: Add a test case for empty typing.NamedTuple.

bpo-45269 [https://bugs.python.org/issue?@action=redirect&bpo=45269]: Cover case when invalid markers type is supplied to c_make_encoder.

bpo-45128 [https://bugs.python.org/issue?@action=redirect&bpo=45128]: Fix test_multiprocessing_fork failure due to test_logging and sys.modules manipulation.

bpo-45209 [https://bugs.python.org/issue?@action=redirect&bpo=45209]: Fix UserWarning: resource_tracker warning in _test_multiprocessing._TestSharedMemory.test_shared_memory_cleaned_after_process_termination

bpo-45185 [https://bugs.python.org/issue?@action=redirect&bpo=45185]: Enables TestEnumerations test cases in test_ssl suite.

bpo-45195 [https://bugs.python.org/issue?@action=redirect&bpo=45195]: Fix test_readline.test_nonascii(): sometimes, the newline character is not written at the end, so don’t expect it in the output. Patch by Victor Stinner.

bpo-45156 [https://bugs.python.org/issue?@action=redirect&bpo=45156]: Fixes infinite loop on unittest.mock.seal() of mocks created by create_autospec().

bpo-45125 [https://bugs.python.org/issue?@action=redirect&bpo=45125]: Improves pickling tests and docs of SharedMemory and SharableList objects.

bpo-44860 [https://bugs.python.org/issue?@action=redirect&bpo=44860]: Update test_sysconfig.test_user_similar() for the posix_user scheme: platlib doesn’t use sys.platlibdir. Patch by Victor Stinner.

bpo-45052 [https://bugs.python.org/issue?@action=redirect&bpo=45052]: WithProcessesTestSharedMemory.test_shared_memory_basics test was ignored, because self.assertEqual(sms.size, sms2.size) line was failing. It is now removed and test is unskipped.

The main motivation for this line to be removed from the test is that the size of SharedMemory is not ever guaranteed to be the same. It is decided by the platform.

bpo-44895 [https://bugs.python.org/issue?@action=redirect&bpo=44895]: libregrtest now clears the type cache later to reduce the risk of false alarm when checking for reference leaks. Previously, the type cache was cleared too early and libregrtest raised a false alarm about reference leaks under very specific conditions. Patch by Irit Katriel and Victor Stinner.

bpo-45042 [https://bugs.python.org/issue?@action=redirect&bpo=45042]: Fixes that test classes decorated with @hashlib_helper.requires_hashdigest were skipped all the time.

bpo-25130 [https://bugs.python.org/issue?@action=redirect&bpo=25130]: Add calls of gc.collect() in tests to support PyPy.

bpo-45011 [https://bugs.python.org/issue?@action=redirect&bpo=45011]: Made tests relying on the _asyncio C extension module optional to allow running on alternative Python implementations. Patch by Serhiy Storchaka.

bpo-44949 [https://bugs.python.org/issue?@action=redirect&bpo=44949]: Fix auto history tests of test_readline: sometimes, the newline character is not written at the end, so don’t expect it in the output.

bpo-44891 [https://bugs.python.org/issue?@action=redirect&bpo=44891]: Tests were added to clarify id() is preserved when obj * 1 is used on str and bytes objects. Patch by Nikita Sobolev.

bpo-44852 [https://bugs.python.org/issue?@action=redirect&bpo=44852]: Add ability to wholesale silence DeprecationWarnings while running the regression test suite.

bpo-40928 [https://bugs.python.org/issue?@action=redirect&bpo=40928]: Notify users running test_decimal regression tests on macOS of potential harmless “malloc can’t allocate region” messages spewed by test_decimal.

bpo-44734 [https://bugs.python.org/issue?@action=redirect&bpo=44734]: Fixed floating-point precision issue in turtle tests.

bpo-44708 [https://bugs.python.org/issue?@action=redirect&bpo=44708]: Regression tests, when run with -w, are now re-running only the affected test methods instead of re-running the entire test file.

bpo-42095 [https://bugs.python.org/issue?@action=redirect&bpo=42095]: Added interop tests for Apple plists: generate plist files with Python plistlib and parse with Apple plutil; and the other way round.

bpo-44647 [https://bugs.python.org/issue?@action=redirect&bpo=44647]: Added a permanent Unicode-valued environment variable to regression tests to ensure they handle this use case in the future. If your test environment breaks because of that, report a bug to us, and temporarily set PYTHONREGRTEST_UNICODE_GUARD=0 in your test environment.

bpo-44515 [https://bugs.python.org/issue?@action=redirect&bpo=44515]: Adjust recently added contextlib tests to avoid assuming the use of a refcounted GC

bpo-44287 [https://bugs.python.org/issue?@action=redirect&bpo=44287]: Fix asyncio test_popen() of test_windows_utils by using a longer timeout. Use military grade battle-tested test.support.SHORT_TIMEOUT timeout rather than a hardcoded timeout of 10 seconds: it’s 30 seconds by default, but it is made longer on slow buildbots. Patch by Victor Stinner.

bpo-44451 [https://bugs.python.org/issue?@action=redirect&bpo=44451]: Reset DeprecationWarning filters in test.test_importlib.test_metadata_api.APITests.test_entry_points_by_index to avoid StopIteration error if DeprecationWarnings are ignored.

bpo-44363 [https://bugs.python.org/issue?@action=redirect&bpo=44363]: Account for address sanitizer in test_capi. test_capi now passes when run GCC address sanitizer.

bpo-44364 [https://bugs.python.org/issue?@action=redirect&bpo=44364]: Add non integral tests for math.sqrt() function.

bpo-43921 [https://bugs.python.org/issue?@action=redirect&bpo=43921]: Fix test_ssl.test_wrong_cert_tls13(): use suppress_ragged_eofs=False, since read() can raise ssl.SSLEOFError on Windows. Patch by Victor Stinner.

bpo-43921 [https://bugs.python.org/issue?@action=redirect&bpo=43921]: Fix test_pha_required_nocert() of test_ssl: catch two more EOF cases (when the recv() method returns an empty string). Patch by Victor Stinner.

bpo-44131 [https://bugs.python.org/issue?@action=redirect&bpo=44131]: Add test_frozenmain to test_embed to test the Py_FrozenMain() C function. Patch by Victor Stinner.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Ignore error string case in test_file_not_exists().

bpo-42083 [https://bugs.python.org/issue?@action=redirect&bpo=42083]: Add test to check that PyStructSequence_NewType accepts a PyStructSequence_Desc with doc field set to NULL.

bpo-35753 [https://bugs.python.org/issue?@action=redirect&bpo=35753]: Fix crash in doctest when doctest parses modules that include unwrappable functions by skipping those functions.

bpo-30256 [https://bugs.python.org/issue?@action=redirect&bpo=30256]: Add test for nested queues when using multiprocessing shared objects AutoProxy[Queue] inside ListProxy and DictProxy

Build

bpo-45220 [https://bugs.python.org/issue?@action=redirect&bpo=45220]: Avoid building with the Windows 11 SDK previews automatically. This may be overridden by setting the DefaultWindowsSDKVersion environment variable before building.

bpo-45020 [https://bugs.python.org/issue?@action=redirect&bpo=45020]: Freeze stdlib modules that are imported during startup. This provides significant performance improvements to startup. If necessary, use the previously added “-X frozen_modules=off” commandline option to force importing the source modules.

bpo-45188 [https://bugs.python.org/issue?@action=redirect&bpo=45188]: Windows builds now regenerate frozen modules as the first part of the build. Previously the regeneration was later in the build, which would require it to be restarted if any modules had changed.

bpo-45163 [https://bugs.python.org/issue?@action=redirect&bpo=45163]: Fixes Haiku platform build.

bpo-45067 [https://bugs.python.org/issue?@action=redirect&bpo=45067]: The ncurses function extended_color_content was introduced in 2017

(https://invisible-island.net/ncurses/NEWS.html#index-t20170401). The

ncurses-devel package in CentOS 7 had a older version ncurses resulted in compilation error. For compiling ncurses with extended color support, we verify the version of the ncurses library >= 20170401.

bpo-45019 [https://bugs.python.org/issue?@action=redirect&bpo=45019]: Generate lines in relevant files for frozen modules. Up until now each of the files had to be edited manually. This change makes it easier to add to and modify the frozen modules.

bpo-44340 [https://bugs.python.org/issue?@action=redirect&bpo=44340]: Add support for building with clang thin lto via –with-lto=thin/full. Patch by Donghee Na and Brett Holman.

bpo-44535 [https://bugs.python.org/issue?@action=redirect&bpo=44535]: Enable building using a Visual Studio 2022 install on Windows.

bpo-43298 [https://bugs.python.org/issue?@action=redirect&bpo=43298]: Improved error message when building without a Windows SDK installed.

bpo-44381 [https://bugs.python.org/issue?@action=redirect&bpo=44381]: The Windows build now accepts EnableControlFlowGuard set to guard to enable CFG.

bpo-41282 [https://bugs.python.org/issue?@action=redirect&bpo=41282]: Fix broken make install that caused standard library extension modules to be unnecessarily and incorrectly rebuilt during the install phase of cpython.

Windows

bpo-45375 [https://bugs.python.org/issue?@action=redirect&bpo=45375]: Fixes an assertion failure due to searching for the standard library in unnormalised paths.

bpo-45022 [https://bugs.python.org/issue?@action=redirect&bpo=45022]: Update Windows release to include libffi 3.4.2

bpo-45007 [https://bugs.python.org/issue?@action=redirect&bpo=45007]: Update to OpenSSL 1.1.1l in Windows build

bpo-44848 [https://bugs.python.org/issue?@action=redirect&bpo=44848]: Upgrade Windows installer to use SQLite 3.36.0.

bpo-44572 [https://bugs.python.org/issue?@action=redirect&bpo=44572]: Avoid consuming standard input in the platform module

bpo-44582 [https://bugs.python.org/issue?@action=redirect&bpo=44582]: Accelerate speed of mimetypes initialization using a native implementation of the registry scan.

bpo-41299 [https://bugs.python.org/issue?@action=redirect&bpo=41299]: Fix 16 milliseconds jitter when using timeouts in threading, such as with threading.Lock.acquire() or threading.Condition.wait().

bpo-42686 [https://bugs.python.org/issue?@action=redirect&bpo=42686]: Build sqlite3 with math functions enabled. Patch by Erlend E. Aasland.

bpo-40263 [https://bugs.python.org/issue?@action=redirect&bpo=40263]: This is a follow-on bug from https://bugs.python.org/issue26903. Once that is applied we run into an off-by-one assertion problem. The assert was not correct.

macOS

bpo-45007 [https://bugs.python.org/issue?@action=redirect&bpo=45007]: Update macOS installer builds to use OpenSSL 1.1.1l.

bpo-34602 [https://bugs.python.org/issue?@action=redirect&bpo=34602]: When building CPython on macOS with ./configure --with-undefined-behavior-sanitizer --with-pydebug, the stack size is now quadrupled to allow for the entire test suite to pass.

bpo-44848 [https://bugs.python.org/issue?@action=redirect&bpo=44848]: Update macOS installer to use SQLite 3.36.0.

bpo-44689 [https://bugs.python.org/issue?@action=redirect&bpo=44689]: ctypes.util.find_library() now works correctly on macOS 11 Big Sur even if Python is built on an older version of macOS. Previously, when built on older macOS systems, find_library was not able to find macOS system libraries when running on Big Sur due to changes in how system libraries are stored.

bpo-41972 [https://bugs.python.org/issue?@action=redirect&bpo=41972]: The framework build’s user header path in sysconfig is changed to add a ‘pythonX.Y’ component to match distutils’s behavior.

bpo-43109 [https://bugs.python.org/issue?@action=redirect&bpo=43109]: Allow –with-lto configure option to work with Apple-supplied Xcode or Command Line Tools.

bpo-34932 [https://bugs.python.org/issue?@action=redirect&bpo=34932]: Add socket.TCP_KEEPALIVE support for macOS. Patch by Shane Harvey.

IDLE

bpo-45296 [https://bugs.python.org/issue?@action=redirect&bpo=45296]: On Windows, change exit/quit message to suggest Ctrl-D, which works, instead of <Ctrl-Z Return>, which does not work in IDLE.

bpo-45193 [https://bugs.python.org/issue?@action=redirect&bpo=45193]: Make completion boxes appear on Ubuntu again.

bpo-40128 [https://bugs.python.org/issue?@action=redirect&bpo=40128]: Mostly fix completions on macOS when not using tcl/tk 8.6.11 (as with 3.9). The added update_idletask call should be harmless and possibly helpful otherwise.

bpo-33962 [https://bugs.python.org/issue?@action=redirect&bpo=33962]: Move the indent space setting from the Font tab to the new Windows tab. Patch by Mark Roseman and Terry Jan Reedy.

bpo-40468 [https://bugs.python.org/issue?@action=redirect&bpo=40468]: Split the settings dialog General tab into Windows and Shell/ED tabs. Move help sources, which extend the Help menu, to the Extensions tab. Make space for new options and shorten the dialog. The latter makes the dialog better fit small screens.

bpo-41611 [https://bugs.python.org/issue?@action=redirect&bpo=41611]: Avoid uncaught exceptions in AutoCompleteWindow.winconfig_event().

bpo-41611 [https://bugs.python.org/issue?@action=redirect&bpo=41611]: Fix IDLE sometimes freezing upon tab-completion on macOS.

bpo-44010 [https://bugs.python.org/issue?@action=redirect&bpo=44010]: Highlight the new match statement’s soft keywords: match, case, and _. However, this highlighting is not perfect and will be incorrect in some rare cases, including some _-s in case patterns.

bpo-44026 [https://bugs.python.org/issue?@action=redirect&bpo=44026]: Include interpreter’s typo fix suggestions in message line for NameErrors and AttributeErrors. Patch by E. Paine.

Tools/Demos

bpo-44786 [https://bugs.python.org/issue?@action=redirect&bpo=44786]: Fix a warning in regular expression in the c-analyzer script.

bpo-44967 [https://bugs.python.org/issue?@action=redirect&bpo=44967]: pydoc now returns a non-zero status code when a module cannot be found.

bpo-44978 [https://bugs.python.org/issue?@action=redirect&bpo=44978]: Allow the Argument Clinic tool to handle __complex__ special methods.

bpo-43425 [https://bugs.python.org/issue?@action=redirect&bpo=43425]: Removed the ‘test2to3’ demo project that demonstrated using lib2to3 to support Python 2.x and Python 3.x from a single source in a distutils package. Patch by Donghee Na

bpo-44074 [https://bugs.python.org/issue?@action=redirect&bpo=44074]: Make patchcheck automatically detect the correct base branch name (previously it was hardcoded to ‘master’)

bpo-20291 [https://bugs.python.org/issue?@action=redirect&bpo=20291]: Added support for variadic positional parameters in Argument Clinic.

C API

bpo-41710 [https://bugs.python.org/issue?@action=redirect&bpo=41710]: The PyThread_acquire_lock_timed() function now clamps the timeout if it is too large, rather than aborting the process. Patch by Victor Stinner.

bpo-44687 [https://bugs.python.org/issue?@action=redirect&bpo=44687]: BufferedReader.peek() no longer raises ValueError when the entire file has already been buffered.

bpo-45116 [https://bugs.python.org/issue?@action=redirect&bpo=45116]: Add the Py_ALWAYS_INLINE macro to ask the compiler to always inline a static inline function. The compiler can ignore it and decides to not inline the function. Patch by Victor Stinner.

bpo-45094 [https://bugs.python.org/issue?@action=redirect&bpo=45094]: Add the Py_NO_INLINE macro to disable inlining on a function. Patch by Victor Stinner.

bpo-45061 [https://bugs.python.org/issue?@action=redirect&bpo=45061]: Add a deallocator to the bool type to detect refcount bugs in C extensions which call Py_DECREF(Py_True); or Py_DECREF(Py_False); by mistake. Patch by Victor Stinner.

bpo-42035 [https://bugs.python.org/issue?@action=redirect&bpo=42035]: Add a new PyType_GetQualName() function to get type’s qualified name.

bpo-41103 [https://bugs.python.org/issue?@action=redirect&bpo=41103]: Reverts removal of the old buffer protocol because they are part of stable ABI.

bpo-44751 [https://bugs.python.org/issue?@action=redirect&bpo=44751]: Remove crypt.h include from the public Python.h header.

bpo-42747 [https://bugs.python.org/issue?@action=redirect&bpo=42747]: The Py_TPFLAGS_HAVE_VERSION_TAG type flag now does nothing. The Py_TPFLAGS_HAVE_AM_SEND flag (which was added in 3.10) is removed. Both were unnecessary because it is not possible to have type objects with the relevant fields missing.

bpo-44530 [https://bugs.python.org/issue?@action=redirect&bpo=44530]: Added the co_qualname to the PyCodeObject structure to propagate the qualified name from the compiler to code objects.

Patch by Gabriele N. Tornetta

bpo-44441 [https://bugs.python.org/issue?@action=redirect&bpo=44441]: Py_RunMain() now resets PyImport_Inittab to its initial value at exit. It must be possible to call PyImport_AppendInittab() or PyImport_ExtendInittab() at each Python initialization. Patch by Victor Stinner.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Remove 4 private trashcan C API functions which were only kept for the backward compatibility of the stable ABI with Python 3.8 and older, since the trashcan API was not usable with the limited C API on Python 3.8 and older. The trashcan API was excluded from the limited C API in Python 3.9.

Removed functions:

_PyTrash_deposit_object()

_PyTrash_destroy_chain()

_PyTrash_thread_deposit_object()

_PyTrash_thread_destroy_chain()

The trashcan C API was never usable with the limited C API, since old trashcan macros accessed directly PyThreadState members like _tstate->trash_delete_nesting, whereas the PyThreadState structure is opaque in the limited C API.

Exclude also the PyTrash_UNWIND_LEVEL constant from the C API.

Patch by Victor Stinner.

bpo-40939 [https://bugs.python.org/issue?@action=redirect&bpo=40939]: Removed documentation for the removed PyParser_* C API.

bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795]: The list in Conteúdo da API Limitada now shows the public name PyFrameObject rather than _frame. The non-existing entry _node no longer appears in the list.

bpo-44378 [https://bugs.python.org/issue?@action=redirect&bpo=44378]: Py_IS_TYPE() no longer uses Py_TYPE() to avoid a compiler warning: no longer cast const PyObject* to PyObject*. Patch by Victor Stinner.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Convert the Py_TYPE() and Py_SIZE() macros to static inline functions. The Py_SET_TYPE() and Py_SET_SIZE() functions must now be used to set an object type and size. Patch by Victor Stinner.

bpo-44263 [https://bugs.python.org/issue?@action=redirect&bpo=44263]: The PyType_Ready() function now raises an error if a type is defined with the Py_TPFLAGS_HAVE_GC flag set but has no traverse function (PyTypeObject.tp_traverse). Patch by Victor Stinner.

bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795]: The undocumented function Py_FrozenMain() is removed from the Limited API.

bpo-44113 [https://bugs.python.org/issue?@action=redirect&bpo=44113]: Deprecate the following functions to configure the Python initialization:

PySys_AddWarnOptionUnicode()

PySys_AddWarnOption()

PySys_AddXOption()

PySys_HasWarnOptions()

Py_SetPath()

Py_SetProgramName()

Py_SetPythonHome()

Py_SetStandardStreamEncoding()

_Py_SetProgramFullPath()

Use the new PyConfig API of the Python Initialization Configuration instead (PEP 587 [https://peps.python.org/pep-0587/]).

bpo-44094 [https://bugs.python.org/issue?@action=redirect&bpo=44094]: Remove PyErr_SetFromErrnoWithUnicodeFilename(), PyErr_SetFromWindowsErrWithUnicodeFilename(), and PyErr_SetExcFromWindowsErrWithUnicodeFilename(). They are not documented and have been deprecated since Python 3.3.

bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795]: PyCodec_Unregister() is now properly exported as a function in the Windows Stable ABI DLL.

bpo-44029 [https://bugs.python.org/issue?@action=redirect&bpo=44029]: Remove deprecated Py_UNICODE APIs: PyUnicode_Encode, PyUnicode_EncodeUTF7, PyUnicode_EncodeUTF8, PyUnicode_EncodeUTF16, PyUnicode_EncodeUTF32, PyUnicode_EncodeLatin1, PyUnicode_EncodeMBCS, PyUnicode_EncodeDecimal, PyUnicode_EncodeRawUnicodeEscape, PyUnicode_EncodeCharmap, PyUnicode_EncodeUnicodeEscape, PyUnicode_TransformDecimalToASCII, PyUnicode_TranslateCharmap, PyUnicodeEncodeError_Create, PyUnicodeTranslateError_Create. See PEP 393 [https://peps.python.org/pep-0393/] and PEP 624 [https://peps.python.org/pep-0624/] for reference.

bpo-42035 [https://bugs.python.org/issue?@action=redirect&bpo=42035]: Add a new PyType_GetName() function to get type’s short name.

Python 3.10.0 beta 1

Release date: 2021-05-03

Security

bpo-43434 [https://bugs.python.org/issue?@action=redirect&bpo=43434]: Creating sqlite3.Connection objects now also produces sqlite3.connect and sqlite3.connect/handle auditing events. Previously these events were only produced by sqlite3.connect() calls. Patch by Erlend E. Aasland.

bpo-43998 [https://bugs.python.org/issue?@action=redirect&bpo=43998]: The ssl module sets more secure cipher suites defaults. Ciphers without forward secrecy and with SHA-1 MAC are disabled by default. Security level 2 prohibits weak RSA, DH, and ECC keys with less than 112 bits of security. SSLContext defaults to minimum protocol version TLS 1.2. Settings are based on Hynek Schlawack’s research.

bpo-43882 [https://bugs.python.org/issue?@action=redirect&bpo=43882]: The presence of newline or tab characters in parts of a URL could allow some forms of attacks.

Following the controlling specification for URLs defined by WHATWG urllib.parse() now removes ASCII newlines and tabs from URLs, preventing such attacks.

bpo-43472 [https://bugs.python.org/issue?@action=redirect&bpo=43472]: Ensures interpreter-level audit hooks receive the cpython.PyInterpreterState_New event when called through the _xxsubinterpreters module.

bpo-43362 [https://bugs.python.org/issue?@action=redirect&bpo=43362]: Fix invalid free in _sha3 module. The issue was introduced in 3.10.0a1. Python 3.9 and earlier are not affected.

bpo-43762 [https://bugs.python.org/issue?@action=redirect&bpo=43762]: Add audit events for sqlite3.connect/handle(), sqlite3.Connection.enable_load_extension(), and sqlite3.Connection.load_extension(). Patch by Erlend E. Aasland.

bpo-43756 [https://bugs.python.org/issue?@action=redirect&bpo=43756]: Add new audit event glob.glob/2 to incorporate the new root_dir and dir_fd arguments added to glob.glob() and glob.iglob().

bpo-36384 [https://bugs.python.org/issue?@action=redirect&bpo=36384]: ipaddress module no longer accepts any leading zeros in IPv4 address strings. Leading zeros are ambiguous and interpreted as octal notation by some libraries. For example the legacy function socket.inet_aton() treats leading zeros as octal notation. glibc implementation of modern inet_pton() does not accept any leading zeros. For a while the ipaddress module used to accept ambiguous leading zeros.

bpo-43075 [https://bugs.python.org/issue?@action=redirect&bpo=43075]: Fix Regular Expression Denial of Service (ReDoS) vulnerability in urllib.request.AbstractBasicAuthHandler. The ReDoS-vulnerable regex has quadratic worst-case complexity and it allows cause a denial of service when identifying crafted invalid RFCs. This ReDoS issue is on the client side and needs remote attackers to control the HTTP server.

bpo-42800 [https://bugs.python.org/issue?@action=redirect&bpo=42800]: Audit hooks are now fired for frame.f_code, traceback.tb_frame, and generator code/frame attribute access.

bpo-37363 [https://bugs.python.org/issue?@action=redirect&bpo=37363]: Add audit events to the http.client module.

Core and Builtins

bpo-43977 [https://bugs.python.org/issue?@action=redirect&bpo=43977]: Prevent classes being both a sequence and a mapping when pattern matching.

bpo-43977 [https://bugs.python.org/issue?@action=redirect&bpo=43977]: Use tp_flags on the class object to determine if the subject is a sequence or mapping when pattern matching. Avoids the need to import collections.abc when pattern matching.

bpo-43892 [https://bugs.python.org/issue?@action=redirect&bpo=43892]: Restore proper validation of complex literal value patterns when parsing match blocks.

bpo-43933 [https://bugs.python.org/issue?@action=redirect&bpo=43933]: Set frame.f_lineno to the line number of the ‘with’ kweyword when executing the call to __exit__.

bpo-43933 [https://bugs.python.org/issue?@action=redirect&bpo=43933]: If the current position in a frame has no line number then set the f_lineno attribute to None, instead of -1, to conform to PEP 626. This should not normally be possible, but might occur in some unusual circumstances.

bpo-43963 [https://bugs.python.org/issue?@action=redirect&bpo=43963]: Importing the _signal module in a subinterpreter has no longer side effects.

bpo-42739 [https://bugs.python.org/issue?@action=redirect&bpo=42739]: The internal representation of line number tables is changed to not use sentinels, and an explicit length parameter is added to the out of process API function PyLineTable_InitAddressRange. This makes the handling of line number tables more robust in some circumstances.

bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908]: Make re types immutable. Patch by Erlend E. Aasland.

bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908]: Make the array.array type immutable. Patch by Erlend E. Aasland.

bpo-43901 [https://bugs.python.org/issue?@action=redirect&bpo=43901]: Change class and module objects to lazy-create empty annotations dicts on demand. The annotations dicts are stored in the object’s __dict__ for backwards compatibility.

bpo-43892 [https://bugs.python.org/issue?@action=redirect&bpo=43892]: Match patterns now use new dedicated AST nodes (MatchValue, MatchSingleton, MatchSequence, MatchStar, MatchMapping, MatchClass) rather than reusing expression AST nodes. MatchAs and MatchOr are now defined as pattern nodes rather than as expression nodes. Patch by Nick Coghlan.

bpo-42725 [https://bugs.python.org/issue?@action=redirect&bpo=42725]: Usage of await/yield/yield from and named expressions within an annotation is now forbidden when PEP 563 is activated.

bpo-43754 [https://bugs.python.org/issue?@action=redirect&bpo=43754]: When performing structural pattern matching (PEP 634 [https://peps.python.org/pep-0634/]), captured names are now left unbound until the entire pattern has matched successfully.

bpo-42737 [https://bugs.python.org/issue?@action=redirect&bpo=42737]: Annotations for complex targets (everything beside simple names) no longer cause any runtime effects with from __future__ import annotations.

bpo-43914 [https://bugs.python.org/issue?@action=redirect&bpo=43914]: SyntaxError exceptions raised by the interpreter will highlight the full error range of the expression that constitutes the syntax error itself, instead of just where the problem is detected. Patch by Pablo Galindo.

bpo-38605 [https://bugs.python.org/issue?@action=redirect&bpo=38605]: Revert making from __future__ import annotations the default. This follows the Steering Council decision to postpone PEP 563 changes to at least Python 3.11. See the original email for more information regarding the decision: https://mail.python.org/archives/list/python-dev@python.org/thread/CLVXXPQ2T2LQ5MP2Y53VVQFCXYWQJHKZ/. Patch by Pablo Galindo.

bpo-43475 [https://bugs.python.org/issue?@action=redirect&bpo=43475]: Hashes of NaN values now depend on object identity. Formerly, they always hashed to 0 even though NaN values are not equal to one another. Having the same hash for unequal values caused pile-ups in hash tables.

bpo-43859 [https://bugs.python.org/issue?@action=redirect&bpo=43859]: Improve the error message for IndentationError exceptions. Patch by Pablo Galindo

bpo-41323 [https://bugs.python.org/issue?@action=redirect&bpo=41323]: Constant tuple folding in bytecode optimizer now reuses tuple in constant table.

bpo-43846 [https://bugs.python.org/issue?@action=redirect&bpo=43846]: Data stack usage is much reduced for large literal and call expressions.

bpo-38530 [https://bugs.python.org/issue?@action=redirect&bpo=38530]: When printing NameError raised by the interpreter, PyErr_Display() will offer suggestions of similar variable names in the function that the exception was raised from. Patch by Pablo Galindo

bpo-43823 [https://bugs.python.org/issue?@action=redirect&bpo=43823]: Improve syntax errors for invalid dictionary literals. Patch by Pablo Galindo.

bpo-43822 [https://bugs.python.org/issue?@action=redirect&bpo=43822]: Improve syntax errors in the parser for missing commas between expressions. Patch by Pablo Galindo.

bpo-43798 [https://bugs.python.org/issue?@action=redirect&bpo=43798]: ast.alias nodes now include source location metadata attributes e.g. lineno, col_offset.

bpo-43797 [https://bugs.python.org/issue?@action=redirect&bpo=43797]: Improve SyntaxError error messages for invalid comparisons. Patch by Pablo Galindo.

bpo-43760 [https://bugs.python.org/issue?@action=redirect&bpo=43760]: Move the flag for checking whether tracing is enabled to the C stack, from the heap. Should speed up dispatch in the interpreter.

bpo-43682 [https://bugs.python.org/issue?@action=redirect&bpo=43682]: Static methods (@staticmethod) and class methods (@classmethod) now inherit the method attributes (__module__, __name__, __qualname__, __doc__, __annotations__) and have a new __wrapped__ attribute. Patch by Victor Stinner.

bpo-43751 [https://bugs.python.org/issue?@action=redirect&bpo=43751]: Fixed a bug where anext(ait, default) would erroneously return None.

bpo-42128 [https://bugs.python.org/issue?@action=redirect&bpo=42128]: __match_args__ is no longer allowed to be a list.

bpo-43683 [https://bugs.python.org/issue?@action=redirect&bpo=43683]: Add GEN_START opcode. Marks start of generator, including async, or coroutine and handles sending values to a newly created generator or coroutine.

bpo-43105 [https://bugs.python.org/issue?@action=redirect&bpo=43105]: Importlib now resolves relative paths when creating module spec objects from file locations.

bpo-43682 [https://bugs.python.org/issue?@action=redirect&bpo=43682]: Static methods (@staticmethod) are now callable as regular functions. Patch by Victor Stinner.

bpo-42609 [https://bugs.python.org/issue?@action=redirect&bpo=42609]: Prevented crashes in the AST validator and optimizer when compiling some absurdly long expressions like "+0"*1000000. RecursionError is now raised instead.

bpo-38530 [https://bugs.python.org/issue?@action=redirect&bpo=38530]: When printing AttributeError, PyErr_Display() will offer suggestions of similar attribute names in the object that the exception was raised from. Patch by Pablo Galindo

Library

bpo-44015 [https://bugs.python.org/issue?@action=redirect&bpo=44015]: In @dataclass(), raise a TypeError if KW_ONLY is specified more than once.

bpo-25478 [https://bugs.python.org/issue?@action=redirect&bpo=25478]: Added a total() method to collections.Counter() to compute the sum of the counts.

bpo-43733 [https://bugs.python.org/issue?@action=redirect&bpo=43733]: Change netrc.netrc to use UTF-8 encoding before using locale encoding.

bpo-43979 [https://bugs.python.org/issue?@action=redirect&bpo=43979]: Removed an unnecessary list comprehension before looping from urllib.parse.parse_qsl(). Patch by Christoph Zwerschke and Donghee Na.

bpo-43993 [https://bugs.python.org/issue?@action=redirect&bpo=43993]: Update bundled pip to 21.1.1.

bpo-43957 [https://bugs.python.org/issue?@action=redirect&bpo=43957]: [Enum] Deprecate TypeError when non-member is used in a containment check; In 3.12 True or False will be returned instead, and containment will return True if the value is either a member of that enum or one of its members’ value.

bpo-42904 [https://bugs.python.org/issue?@action=redirect&bpo=42904]: For backwards compatibility with previous minor versions of Python, if typing.get_type_hints() receives no namespace dictionary arguments, typing.get_type_hints() will search through the global then local namespaces during evaluation of stringized type annotations (string forward references) inside a class.

bpo-43945 [https://bugs.python.org/issue?@action=redirect&bpo=43945]: [Enum] Deprecate non-standard mixin format() behavior: in 3.12 the enum member, not the member’s value, will be used for format() calls.

bpo-41139 [https://bugs.python.org/issue?@action=redirect&bpo=41139]: Deprecate undocumented cgi.log() API.

bpo-43937 [https://bugs.python.org/issue?@action=redirect&bpo=43937]: Fixed the turtle module working with non-default root window.

bpo-43930 [https://bugs.python.org/issue?@action=redirect&bpo=43930]: Update bundled pip to 21.1 and setuptools to 56.0.0

bpo-43907 [https://bugs.python.org/issue?@action=redirect&bpo=43907]: Fix a bug in the pure-Python pickle implementation when using protocol 5, where bytearray instances that occur several time in the pickled object graph would incorrectly unpickle into repeated copies of the bytearray object.

bpo-43926 [https://bugs.python.org/issue?@action=redirect&bpo=43926]: In importlib.metadata, provide a uniform interface to Description, allow for any field to be encoded with multiline values, remove continuation lines from multiline values, and add a .json property for easy access to the PEP 566 JSON-compatible form. Sync with importlib_metadata 4.0.

bpo-43920 [https://bugs.python.org/issue?@action=redirect&bpo=43920]: OpenSSL 3.0.0: load_verify_locations() now returns a consistent error message when cadata contains no valid certificate.

bpo-43607 [https://bugs.python.org/issue?@action=redirect&bpo=43607]: urllib can now convert Windows paths with \\?\ prefixes into URL paths.

bpo-43817 [https://bugs.python.org/issue?@action=redirect&bpo=43817]: Add inspect.get_annotations(), which safely computes the annotations defined on an object. It works around the quirks of accessing the annotations from various types of objects, and makes very few assumptions about the object passed in. inspect.get_annotations() can also correctly un-stringize stringized annotations.

inspect.signature(), inspect.from_callable(), and inspect.from_function() now call inspect.get_annotations() to retrieve annotations. This means inspect.signature() and inspect.from_callable() can now un-stringize stringized annotations, too.

bpo-43284 [https://bugs.python.org/issue?@action=redirect&bpo=43284]: platform.win32_ver derives the windows version from sys.getwindowsversion().platform_version which in turn derives the version from kernel32.dll (which can be of a different version than Windows itself). Therefore change the platform.win32_ver to determine the version using the platform module’s _syscmd_ver private function to return an accurate version.

bpo-42854 [https://bugs.python.org/issue?@action=redirect&bpo=42854]: The ssl module now uses SSL_read_ex and SSL_write_ex internally. The functions support reading and writing of data larger than 2 GB. Writing zero-length data no longer fails with a protocol violation error.

bpo-42333 [https://bugs.python.org/issue?@action=redirect&bpo=42333]: Port _ssl extension module to multiphase initialization.

bpo-43880 [https://bugs.python.org/issue?@action=redirect&bpo=43880]: ssl now raises DeprecationWarning for OP_NO_SSL/TLS* options, old TLS versions, old protocols, and other features that have been deprecated since Python 3.6, 3.7, or OpenSSL 1.1.0.

bpo-41559 [https://bugs.python.org/issue?@action=redirect&bpo=41559]: PEP 612 [https://peps.python.org/pep-0612/] is now implemented purely in Python; builtin types.GenericAlias objects no longer include typing.ParamSpec in __parameters__ (with the exception of collections.abc.Callable‘s GenericAlias). This means previously invalid uses of ParamSpec (such as list[P]) which worked in earlier versions of Python 3.10 alpha, will now raise TypeError during substitution.

bpo-43867 [https://bugs.python.org/issue?@action=redirect&bpo=43867]: The multiprocessing Server class now explicitly catches SystemExit and closes the client connection in this case. It happens when the Server.serve_client() method reaches the end of file (EOF).

bpo-40443 [https://bugs.python.org/issue?@action=redirect&bpo=40443]: Remove unused imports: pyclbr no longer uses copy, and typing no longer uses ast. Patch by Victor Stinner.

bpo-43820 [https://bugs.python.org/issue?@action=redirect&bpo=43820]: Remove an unneeded copy of the namespace passed to dataclasses.make_dataclass().

bpo-43787 [https://bugs.python.org/issue?@action=redirect&bpo=43787]: Add __iter__() method to bz2.BZ2File, gzip.GzipFile, and lzma.LZMAFile. It makes iterating them about 2x faster. Patch by Inada Naoki.

bpo-43680 [https://bugs.python.org/issue?@action=redirect&bpo=43680]: Deprecate io.OpenWrapper and _pyio.OpenWrapper: use io.open and _pyio.open instead. Until Python 3.9, _pyio.open was not a static method and builtins.open was set to OpenWrapper to not become a bound method when set to a class variable. _io.open is a built-in function whereas _pyio.open is a Python function. In Python 3.10, _pyio.open() is now a static method, and builtins.open() is now io.open().

bpo-43680 [https://bugs.python.org/issue?@action=redirect&bpo=43680]: The Python _pyio.open() function becomes a static method to behave as io.open() built-in function: don’t become a bound method when stored as a class variable. It becomes possible since static methods are now callable in Python 3.10. Moreover, _pyio.OpenWrapper() becomes a simple alias to _pyio.open(). Patch by Victor Stinner.

bpo-41515 [https://bugs.python.org/issue?@action=redirect&bpo=41515]: Fix KeyError raised in typing.get_type_hints() due to synthetic modules that don’t appear in sys.modules.

bpo-43776 [https://bugs.python.org/issue?@action=redirect&bpo=43776]: When subprocess.Popen args are provided as a string or as pathlib.Path, the Popen instance repr now shows the right thing.

bpo-42248 [https://bugs.python.org/issue?@action=redirect&bpo=42248]: [Enum] ensure exceptions raised in _missing__ are released

bpo-43744 [https://bugs.python.org/issue?@action=redirect&bpo=43744]: fix issue with enum member name matching the start of a private variable name

bpo-43772 [https://bugs.python.org/issue?@action=redirect&bpo=43772]: Fixed the return value of TypeVar.__ror__. Patch by Jelle Zijlstra.

bpo-43764 [https://bugs.python.org/issue?@action=redirect&bpo=43764]: Add match_args parameter to @dataclass decorator to allow suppression of __match_args__ generation.

bpo-43799 [https://bugs.python.org/issue?@action=redirect&bpo=43799]: OpenSSL 3.0.0: define OPENSSL_API_COMPAT 1.1.1 to suppress deprecation warnings. Python requires OpenSSL 1.1.1 APIs.

bpo-43478 [https://bugs.python.org/issue?@action=redirect&bpo=43478]: Mocks can no longer be used as the specs for other Mocks. As a result, an already-mocked object cannot have an attribute mocked using autospec=True or be the subject of a create_autospec(...) call. This can uncover bugs in tests since these Mock-derived Mocks will always pass certain tests (e.g. isinstance()) and builtin assert functions (e.g. assert_called_once_with) will unconditionally pass.

bpo-43794 [https://bugs.python.org/issue?@action=redirect&bpo=43794]: Add ssl.OP_IGNORE_UNEXPECTED_EOF constants (OpenSSL 3.0.0)

bpo-43785 [https://bugs.python.org/issue?@action=redirect&bpo=43785]: Improve bz2.BZ2File performance by removing the RLock from BZ2File. This makes BZ2File thread unsafe in the face of multiple simultaneous readers or writers, just like its equivalent classes in gzip and lzma have always been. Patch by Inada Naoki.

bpo-43789 [https://bugs.python.org/issue?@action=redirect&bpo=43789]: OpenSSL 3.0.0: Don’t call the password callback function a second time when first call has signaled an error condition.

bpo-43788 [https://bugs.python.org/issue?@action=redirect&bpo=43788]: The header files for ssl error codes are now OpenSSL version-specific. Exceptions will now show correct reason and library codes. The make_ssl_data.py script has been rewritten to use OpenSSL’s text file with error codes.

bpo-43766 [https://bugs.python.org/issue?@action=redirect&bpo=43766]: Implement PEP 647 [https://peps.python.org/pep-0647/] in the typing module by adding TypeGuard.

bpo-25264 [https://bugs.python.org/issue?@action=redirect&bpo=25264]: os.path.realpath() now accepts a strict keyword-only argument. When set to True, OSError is raised if a path doesn’t exist or a symlink loop is encountered.

bpo-43780 [https://bugs.python.org/issue?@action=redirect&bpo=43780]: In importlib.metadata, incorporate changes from importlib_metadata 3.10: Add mtime-based caching during distribution discovery. Flagged use of dict result from entry_points() as deprecated.

The P.args and P.kwargs attributes of typing.ParamSpec are now instances of the new classes typing.ParamSpecArgs and typing.ParamSpecKwargs, which enables a more useful repr(). Patch by Jelle Zijlstra.

bpo-43731 [https://bugs.python.org/issue?@action=redirect&bpo=43731]: Add an encoding parameter logging.fileConfig().

bpo-43712 [https://bugs.python.org/issue?@action=redirect&bpo=43712]: Add encoding and errors parameters to fileinput.input() and fileinput.FileInput.

bpo-38659 [https://bugs.python.org/issue?@action=redirect&bpo=38659]: A simple_enum decorator is added to the enum module to convert a normal class into an Enum. test_simple_enum added to test simple enums against a corresponding normal Enum. Standard library modules updated to use simple_enum.

bpo-43764 [https://bugs.python.org/issue?@action=redirect&bpo=43764]: Fix an issue where __match_args__ generation could fail for some dataclasses.

bpo-43752 [https://bugs.python.org/issue?@action=redirect&bpo=43752]: Fix sqlite3 regression for zero-sized blobs with converters, where b"" was returned instead of None. The regression was introduced by PR 24723. Patch by Erlend E. Aasland.

bpo-43655 [https://bugs.python.org/issue?@action=redirect&bpo=43655]: tkinter dialog windows are now recognized as dialogs by window managers on macOS and X Window.

bpo-43723 [https://bugs.python.org/issue?@action=redirect&bpo=43723]: The following threading methods are now deprecated and should be replaced:

currentThread => threading.current_thread()

activeCount => threading.active_count()

Condition.notifyAll => threading.Condition.notify_all()

Event.isSet => threading.Event.is_set()

Thread.setName => threading.Thread.name

thread.getName => threading.Thread.name

Thread.isDaemon => threading.Thread.daemon

Thread.setDaemon => threading.Thread.daemon

Patch by Jelle Zijlstra.

bpo-2135 [https://bugs.python.org/issue?@action=redirect&bpo=2135]: Deprecate find_module() and find_loader() implementations in importlib and zipimport.

bpo-43534 [https://bugs.python.org/issue?@action=redirect&bpo=43534]: turtle.textinput() and turtle.numinput() create now a transient window working on behalf of the canvas window.

bpo-43532 [https://bugs.python.org/issue?@action=redirect&bpo=43532]: Add the ability to specify keyword-only fields to dataclasses. These fields will become keyword-only arguments to the generated __init__.

bpo-43522 [https://bugs.python.org/issue?@action=redirect&bpo=43522]: Fix problem with hostname_checks_common_name. OpenSSL does not copy hostflags from struct SSL_CTX to struct SSL.

bpo-8978 [https://bugs.python.org/issue?@action=redirect&bpo=8978]: Improve error message for tarfile.open() when lzma / bz2 are unavailable. Patch by Anthony Sottile.

bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967]: Allow bytes separator argument in urllib.parse.parse_qs and urllib.parse.parse_qsl when parsing str query strings. Previously, this raised a TypeError.

bpo-43296 [https://bugs.python.org/issue?@action=redirect&bpo=43296]: Improve sqlite3 error handling: sqlite3_value_blob() errors that set SQLITE_NOMEM now raise MemoryError. Patch by Erlend E. Aasland.

bpo-43312 [https://bugs.python.org/issue?@action=redirect&bpo=43312]: New functions sysconfig.get_preferred_scheme() and sysconfig.get_default_scheme() are added to query a platform for its preferred “user”, “home”, and “prefix” (default) scheme names.

bpo-43265 [https://bugs.python.org/issue?@action=redirect&bpo=43265]: Improve sqlite3.Connection.backup() error handling. The error message for non-existent target database names is now unknown database <database name> instead of SQL logic error. Patch by Erlend E. Aasland.

bpo-41282 [https://bugs.python.org/issue?@action=redirect&bpo=41282]: Install schemes in distutils.command.install are now loaded from sysconfig.

bpo-41282 [https://bugs.python.org/issue?@action=redirect&bpo=41282]: distutils.sysconfig has been merged to sysconfig.

bpo-43176 [https://bugs.python.org/issue?@action=redirect&bpo=43176]: Fixed processing of a dataclass that inherits from a frozen dataclass with no fields. It is now correctly detected as an error.

bpo-43080 [https://bugs.python.org/issue?@action=redirect&bpo=43080]: pprint now has support for dataclasses.dataclass. Patch by Lewis Gaul.

bpo-39950 [https://bugs.python.org/issue?@action=redirect&bpo=39950]: Add pathlib.Path.hardlink_to() method that supersedes link_to(). The new method has the same argument order as symlink_to().

bpo-42904 [https://bugs.python.org/issue?@action=redirect&bpo=42904]: typing.get_type_hints() now checks the local namespace of a class when evaluating PEP 563 [https://peps.python.org/pep-0563/] annotations inside said class.

bpo-42269 [https://bugs.python.org/issue?@action=redirect&bpo=42269]: Add slots parameter to dataclasses.dataclass decorator to automatically generate __slots__ for class. Patch provided by Yurii Karabas.

bpo-39529 [https://bugs.python.org/issue?@action=redirect&bpo=39529]: Deprecated use of asyncio.get_event_loop() without running event loop. Emit deprecation warning for asyncio functions which implicitly create a Future or Task objects if there is no running event loop and no explicit loop argument is passed: ensure_future(), wrap_future(), gather(), shield(), as_completed() and constructors of Future, Task, StreamReader, StreamReaderProtocol.

bpo-18369 [https://bugs.python.org/issue?@action=redirect&bpo=18369]: Certificate and PrivateKey classes were added to the ssl module. Certificates and keys can now be loaded from memory buffer, too.

bpo-41486 [https://bugs.python.org/issue?@action=redirect&bpo=41486]: Use a new output buffer management code for bz2 / lzma / zlib modules, and add .readall() function to _compression.DecompressReader class. These bring some performance improvements. Patch by Ma Lin.

bpo-31870 [https://bugs.python.org/issue?@action=redirect&bpo=31870]: The ssl.get_server_certificate() function now has a timeout parameter.

bpo-41735 [https://bugs.python.org/issue?@action=redirect&bpo=41735]: Fix thread locks in zlib module may go wrong in rare case. Patch by Ma Lin.

bpo-36470 [https://bugs.python.org/issue?@action=redirect&bpo=36470]: Fix dataclasses with InitVars and replace(). Patch by Claudiu Popa.

bpo-40849 [https://bugs.python.org/issue?@action=redirect&bpo=40849]: Expose X509_V_FLAG_PARTIAL_CHAIN ssl flag

bpo-35114 [https://bugs.python.org/issue?@action=redirect&bpo=35114]: ssl.RAND_status() now returns a boolean value (as documented) instead of 1 or 0.

bpo-39906 [https://bugs.python.org/issue?@action=redirect&bpo=39906]: pathlib.Path.stat() and chmod() now accept a follow_symlinks keyword-only argument for consistency with corresponding functions in the os module.

bpo-39899 [https://bugs.python.org/issue?@action=redirect&bpo=39899]: os.path.expanduser() now refuses to guess Windows home directories if the basename of current user’s home directory does not match their username.

pathlib.Path.expanduser() and home() now consistently raise RuntimeError exception when a home directory cannot be resolved. Previously a KeyError exception could be raised on Windows when the "USERNAME" environment variable was unset.

bpo-36076 [https://bugs.python.org/issue?@action=redirect&bpo=36076]: Added SNI support to ssl.get_server_certificate().

bpo-38490 [https://bugs.python.org/issue?@action=redirect&bpo=38490]: Covariance, Pearson’s correlation, and simple linear regression functionality was added to statistics module. Patch by Tymoteusz Wołodźko.

bpo-33731 [https://bugs.python.org/issue?@action=redirect&bpo=33731]: Provide a locale.localize() function, which converts a normalized number string into a locale format.

bpo-32745 [https://bugs.python.org/issue?@action=redirect&bpo=32745]: Fix a regression in the handling of ctypes’ ctypes.c_wchar_p type: embedded null characters would cause a ValueError to be raised. Patch by Zackery Spytz.

Documentation

bpo-43987 [https://bugs.python.org/issue?@action=redirect&bpo=43987]: Add “Annotations Best Practices” document as a new HOWTO.

bpo-43977 [https://bugs.python.org/issue?@action=redirect&bpo=43977]: Document the new Py_TPFLAGS_MAPPING and Py_TPFLAGS_SEQUENCE type flags.

bpo-43959 [https://bugs.python.org/issue?@action=redirect&bpo=43959]: The documentation on the PyContextVar C-API was clarified.

bpo-43938 [https://bugs.python.org/issue?@action=redirect&bpo=43938]: Update dataclasses documentation to express that FrozenInstanceError is derived from AttributeError.

bpo-43778 [https://bugs.python.org/issue?@action=redirect&bpo=43778]: Fix the Sphinx glossary_search extension: create the _static/ sub-directory if it doesn’t exist.

bpo-43755 [https://bugs.python.org/issue?@action=redirect&bpo=43755]: Update documentation to reflect that unparenthesized lambda expressions can no longer be the expression part in an if clause in comprehensions and generator expressions since Python 3.9.

bpo-43739 [https://bugs.python.org/issue?@action=redirect&bpo=43739]: Fixing the example code in Doc/extending/extending.rst to declare and initialize the pmodule variable to be of the right type.

Tests

bpo-43961 [https://bugs.python.org/issue?@action=redirect&bpo=43961]: Fix test_logging.test_namer_rotator_inheritance() on Windows: use os.replace() rather than os.rename(). Patch by Victor Stinner.

bpo-43842 [https://bugs.python.org/issue?@action=redirect&bpo=43842]: Fix a race condition in the SMTP test of test_logging. Don’t close a file descriptor (socket) from a different thread while asyncore.loop() is polling the file descriptor. Patch by Victor Stinner.

bpo-43843 [https://bugs.python.org/issue?@action=redirect&bpo=43843]: test.libregrtest now marks a test as ENV_CHANGED (altered the execution environment) if a thread raises an exception but does not catch it. It sets a hook on threading.excepthook(). Use --fail-env-changed option to mark the test as failed. Patch by Victor Stinner.

bpo-43811 [https://bugs.python.org/issue?@action=redirect&bpo=43811]: Tests multiple OpenSSL versions on GitHub Actions. Use ccache to speed up testing.

bpo-43791 [https://bugs.python.org/issue?@action=redirect&bpo=43791]: OpenSSL 3.0.0: Disable testing of legacy protocols TLS 1.0 and 1.1. Tests are failing with TLSV1_ALERT_INTERNAL_ERROR.

Build

bpo-43567 [https://bugs.python.org/issue?@action=redirect&bpo=43567]: Improved generated code refresh (AST/tokens/opcodes/keywords) on Windows.

bpo-43669 [https://bugs.python.org/issue?@action=redirect&bpo=43669]: Implement PEP 644 [https://peps.python.org/pep-0644/]. Python now requires OpenSSL 1.1.1 or newer.

Windows

bpo-35306 [https://bugs.python.org/issue?@action=redirect&bpo=35306]: Adds additional arguments to os.startfile() function.

bpo-43538 [https://bugs.python.org/issue?@action=redirect&bpo=43538]: Avoid raising errors from pathlib.Path.exists() when passed an invalid filename.

bpo-38822 [https://bugs.python.org/issue?@action=redirect&bpo=38822]: Fixed os.stat() failing on inaccessible directories with a trailing slash, rather than falling back to the parent directory’s metadata. This implicitly affected os.path.exists() and os.path.isdir().

bpo-26227 [https://bugs.python.org/issue?@action=redirect&bpo=26227]: Fixed decoding of host names in socket.gethostbyaddr() and socket.gethostbyname_ex().

bpo-40432 [https://bugs.python.org/issue?@action=redirect&bpo=40432]: Updated pegen regeneration script on Windows to find and use Python 3.8 or higher. Prior to this, pegen regeneration already required 3.8 or higher, but the script may have used lower versions of Python.

bpo-43745 [https://bugs.python.org/issue?@action=redirect&bpo=43745]: Actually updates Windows release to OpenSSL 1.1.1k. Earlier releases were mislabelled and actually included 1.1.1i again.

bpo-43652 [https://bugs.python.org/issue?@action=redirect&bpo=43652]: Update Tcl and Tk to 8.6.11 in Windows installer.

bpo-43492 [https://bugs.python.org/issue?@action=redirect&bpo=43492]: Upgrade Windows installer to use SQLite 3.35.5.

bpo-30555 [https://bugs.python.org/issue?@action=redirect&bpo=30555]: Fix WindowsConsoleIO errors in the presence of fd redirection. Patch by Segev Finer.

macOS

bpo-42119 [https://bugs.python.org/issue?@action=redirect&bpo=42119]: Fix check for macOS SDK paths when building Python. Narrow search to match contents of SDKs, namely only files in /System/Library, /System/IOSSupport, and /usr other than /usr/local. Previously, anything under /System was assumed to be in an SDK which causes problems with the new file system layout in 10.15+ where user file systems may appear to be mounted under /System. Paths in /Library were also incorrectly treated as SDK locations.

bpo-43568 [https://bugs.python.org/issue?@action=redirect&bpo=43568]: Drop support for MACOSX_DEPLOYMENT_TARGET < 10.3

bpo-44009 [https://bugs.python.org/issue?@action=redirect&bpo=44009]: Provide “python3.x-intel64” executable to allow reliably forcing macOS universal2 framework builds to run under Rosetta 2 Intel-64 emulation on Apple Silicon Macs. This can be useful for testing or when universal2 wheels are not yet available.

bpo-43851 [https://bugs.python.org/issue?@action=redirect&bpo=43851]: Build SQLite with SQLITE_OMIT_AUTOINIT on macOS. Patch by Erlend E. Aasland.

bpo-43492 [https://bugs.python.org/issue?@action=redirect&bpo=43492]: Update macOS installer to use SQLite 3.35.4.

bpo-42235 [https://bugs.python.org/issue?@action=redirect&bpo=42235]: Mac/BuildScript/build-installer.py will now use “–enable-optimizations” and --with-lto when building on macOS 10.15 or later.

IDLE

bpo-37903 [https://bugs.python.org/issue?@action=redirect&bpo=37903]: Add mouse actions to the shell sidebar. Left click and optional drag selects one or more lines, as with the editor line number sidebar. Right click after selecting raises a context menu with ‘copy with prompts’. This zips together prompts from the sidebar with lines from the selected text.

bpo-43981 [https://bugs.python.org/issue?@action=redirect&bpo=43981]: Fix reference leak in test_sidebar and test_squeezer. Patches by Terry Jan Reedy and Pablo Galindo

bpo-37892 [https://bugs.python.org/issue?@action=redirect&bpo=37892]: Indent IDLE Shell input with spaces instead of tabs

bpo-43655 [https://bugs.python.org/issue?@action=redirect&bpo=43655]: IDLE dialog windows are now recognized as dialogs by window managers on macOS and X Window.

bpo-37903 [https://bugs.python.org/issue?@action=redirect&bpo=37903]: IDLE’s shell now shows prompts in a separate side-bar.

C API

bpo-43916 [https://bugs.python.org/issue?@action=redirect&bpo=43916]: Add a new Py_TPFLAGS_DISALLOW_INSTANTIATION type flag to disallow creating type instances. Patch by Victor Stinner.

bpo-43774 [https://bugs.python.org/issue?@action=redirect&bpo=43774]: Remove the now unused PYMALLOC_DEBUG macro. Debug hooks on memory allocators are now installed by default if Python is built in debug mode (if Py_DEBUG macro is defined). Moreover, they can now be used on Python build in release mode (ex: using PYTHONMALLOC=debug environment variable).

bpo-43962 [https://bugs.python.org/issue?@action=redirect&bpo=43962]: _PyInterpreterState_IDIncref() now calls _PyInterpreterState_IDInitref() and always increments id_refcount. Previously, calling _xxsubinterpreters.get_current() could create an id_refcount inconsistency when a _xxsubinterpreters.InterpreterID object was deallocated. Patch by Victor Stinner.

bpo-28254 [https://bugs.python.org/issue?@action=redirect&bpo=28254]: Add new C-API functions to control the state of the garbage collector: PyGC_Enable(), PyGC_Disable(), PyGC_IsEnabled(), corresponding to the functions in the gc module.

bpo-43908 [https://bugs.python.org/issue?@action=redirect&bpo=43908]: Introduce Py_TPFLAGS_IMMUTABLETYPE flag for immutable type objects, and modify PyType_Ready() to set it for static types. Patch by Erlend E. Aasland.

bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795]: PyMem_Calloc() is now available in the limited C API (Py_LIMITED_API).

bpo-43868 [https://bugs.python.org/issue?@action=redirect&bpo=43868]: PyOS_ReadlineFunctionPointer() is no longer exported by limited C API headers and by python3.dll on Windows. Like any function that takes FILE*, it is not part of the stable ABI.

bpo-43795 [https://bugs.python.org/issue?@action=redirect&bpo=43795]: Stable ABI and limited API definitions are generated from a central manifest (PEP 652 [https://peps.python.org/pep-0652/]).

bpo-43753 [https://bugs.python.org/issue?@action=redirect&bpo=43753]: Add the Py_Is(x, y) function to test if the x object is the y object, the same as x is y in Python. Add also the Py_IsNone(), Py_IsTrue(), Py_IsFalse() functions to test if an object is, respectively, the None singleton, the True singleton or the False singleton. Patch by Victor Stinner.

Python 3.10.0 alpha 7

Release date: 2021-04-05

Security

bpo-42988 [https://bugs.python.org/issue?@action=redirect&bpo=42988]: CVE 2021-3426 [https://www.cve.org/CVERecord?id=CVE-2021-3426]: Remove the getfile feature of the pydoc module which could be abused to read arbitrary files on the disk (directory traversal vulnerability). Moreover, even source code of Python modules can contain sensitive data like passwords. Vulnerability reported by David Schwörer.

bpo-43285 [https://bugs.python.org/issue?@action=redirect&bpo=43285]: ftplib no longer trusts the IP address value returned from the server in response to the PASV command by default. This prevents a malicious FTP server from using the response to probe IPv4 address and port combinations on the client network.

Code that requires the former vulnerable behavior may set a trust_server_pasv_ipv4_address attribute on their ftplib.FTP instances to True to re-enable it.

bpo-43439 [https://bugs.python.org/issue?@action=redirect&bpo=43439]: Add audit hooks for gc.get_objects(), gc.get_referrers() and gc.get_referents(). Patch by Pablo Galindo.

Core and Builtins

bpo-27129 [https://bugs.python.org/issue?@action=redirect&bpo=27129]: Update CPython bytecode magic number.

bpo-43672 [https://bugs.python.org/issue?@action=redirect&bpo=43672]: Raise ImportWarning when calling find_loader().

bpo-43660 [https://bugs.python.org/issue?@action=redirect&bpo=43660]: Fix crash that happens when replacing sys.stderr with a callable that can remove the object while an exception is being printed. Patch by Pablo Galindo.

bpo-27129 [https://bugs.python.org/issue?@action=redirect&bpo=27129]: The bytecode interpreter uses instruction, rather byte, offsets internally. This reduces the number of EXTENDED_ARG instructions needed and streamlines instruction dispatch a bit.

bpo-40645 [https://bugs.python.org/issue?@action=redirect&bpo=40645]: Fix reference leak in the _hashopenssl extension. Patch by Pablo Galindo.

bpo-42134 [https://bugs.python.org/issue?@action=redirect&bpo=42134]: Calls to find_module() by the import system now raise ImportWarning.

bpo-41064 [https://bugs.python.org/issue?@action=redirect&bpo=41064]: Improve the syntax error for invalid usage of double starred elements (‘**’) in f-strings. Patch by Pablo Galindo.

bpo-43575 [https://bugs.python.org/issue?@action=redirect&bpo=43575]: Speed up calls to map() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-42137 [https://bugs.python.org/issue?@action=redirect&bpo=42137]: The import system now prefers using __spec__ for ModuleType.__repr__ over module_repr().

bpo-43452 [https://bugs.python.org/issue?@action=redirect&bpo=43452]: Added micro-optimizations to _PyType_Lookup() to improve cache lookup performance in the common case of cache hits.

bpo-43555 [https://bugs.python.org/issue?@action=redirect&bpo=43555]: Report the column offset for SyntaxError for invalid line continuation characters. Patch by Pablo Galindo.

bpo-43517 [https://bugs.python.org/issue?@action=redirect&bpo=43517]: Fix misdetection of circular imports when using from pkg.mod import attr, which caused false positives in non-trivial multi-threaded code.

bpo-43497 [https://bugs.python.org/issue?@action=redirect&bpo=43497]: Emit SyntaxWarnings for assertions with tuple constants, this is a regression introduced in python3.7

bpo-39316 [https://bugs.python.org/issue?@action=redirect&bpo=39316]: Tracing now has correct line numbers for attribute accesses when the attribute is on a different line from the object. Improves debugging and profiling for multi-line method chains.

bpo-35883 [https://bugs.python.org/issue?@action=redirect&bpo=35883]: Python no longer fails at startup with a fatal error if a command line argument contains an invalid Unicode character. The Py_DecodeLocale() function now escapes byte sequences which would be decoded as Unicode characters outside the [U+0000; U+10ffff] range.

bpo-43410 [https://bugs.python.org/issue?@action=redirect&bpo=43410]: Fix a bug that was causing the parser to crash when emitting syntax errors when reading input from stdin. Patch by Pablo Galindo

bpo-43406 [https://bugs.python.org/issue?@action=redirect&bpo=43406]: Fix a possible race condition where PyErr_CheckSignals tries to execute a non-Python signal handler.

bpo-42128 [https://bugs.python.org/issue?@action=redirect&bpo=42128]: Add __match_args__ to struct sequence objects. Patch by Pablo Galindo.

bpo-43390 [https://bugs.python.org/issue?@action=redirect&bpo=43390]: CPython now sets the SA_ONSTACK flag in PyOS_setsig for the VM’s default signal handlers. This is friendlier to other in-process code that an extension module or embedding use could pull in (such as Golang’s cgo) where tiny thread stacks are the norm and sigaltstack() has been used to provide for signal handlers. This is a no-op change for the vast majority of processes that don’t use sigaltstack.

bpo-43287 [https://bugs.python.org/issue?@action=redirect&bpo=43287]: Speed up calls to filter() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-37448 [https://bugs.python.org/issue?@action=redirect&bpo=37448]: Add a radix tree based memory map to track in-use obmalloc arenas. Use to replace the old implementation of address_in_range(). The radix tree approach makes it easy to increase pool sizes beyond the OS page size. Boosting the pool and arena size allows obmalloc to handle a significantly higher percentage of requests from its ultra-fast paths.

It also has the advantage of eliminating the memory unsanitary behavior of the previous address_in_range(). The old address_in_range() was marked with the annotations _Py_NO_SANITIZE_ADDRESS, _Py_NO_SANITIZE_THREAD, and _Py_NO_SANITIZE_MEMORY. Those annotations are no longer needed.

To disable the radix tree map, set a preprocessor flag as follows: -DWITH_PYMALLOC_RADIX_TREE=0.

Co-authored-by: Tim Peters <tim.peters@gmail.com>

bpo-29988 [https://bugs.python.org/issue?@action=redirect&bpo=29988]: Only handle asynchronous exceptions and requests to drop the GIL when returning from a call or on the back edges of loops. Makes sure that __exit__() is always called in with statements, even for interrupts.

Library

bpo-43720 [https://bugs.python.org/issue?@action=redirect&bpo=43720]: Document various stdlib deprecations in imp, pkgutil, and importlib.util for removal in Python 3.12.

bpo-43433 [https://bugs.python.org/issue?@action=redirect&bpo=43433]: xmlrpc.client.ServerProxy no longer ignores query and fragment in the URL of the server.

bpo-31956 [https://bugs.python.org/issue?@action=redirect&bpo=31956]: The index() method of array.array now has optional start and stop parameters.

bpo-40066 [https://bugs.python.org/issue?@action=redirect&bpo=40066]: Enum: adjust repr() to show only enum and member name (not value, nor angle brackets) and str() to show only member name. Update and improve documentation to match.

bpo-42136 [https://bugs.python.org/issue?@action=redirect&bpo=42136]: Deprecate all module_repr() methods found in importlib as their use is being phased out by Python 3.12.

bpo-35930 [https://bugs.python.org/issue?@action=redirect&bpo=35930]: Raising an exception raised in a “future” instance will create reference cycles.

bpo-41369 [https://bugs.python.org/issue?@action=redirect&bpo=41369]: Finish updating the vendored libmpdec to version 2.5.1. Patch by Stefan Krah.

bpo-43422 [https://bugs.python.org/issue?@action=redirect&bpo=43422]: Revert the _decimal C API which was added in bpo-41324 [https://bugs.python.org/issue?@action=redirect&bpo=41324].

bpo-43577 [https://bugs.python.org/issue?@action=redirect&bpo=43577]: Fix deadlock when using ssl.SSLContext debug callback with ssl.SSLContext.sni_callback().

bpo-43571 [https://bugs.python.org/issue?@action=redirect&bpo=43571]: It’s now possible to create MPTCP sockets with IPPROTO_MPTCP

bpo-43542 [https://bugs.python.org/issue?@action=redirect&bpo=43542]: image/heic and image/heif were added to mimetypes.

bpo-40645 [https://bugs.python.org/issue?@action=redirect&bpo=40645]: The hmac module now uses OpenSSL’s HMAC implementation when digestmod argument is a hash name or builtin hash function.

bpo-43510 [https://bugs.python.org/issue?@action=redirect&bpo=43510]: Implement PEP 597 [https://peps.python.org/pep-0597/]: Add EncodingWarning warning, -X warn_default_encoding option, PYTHONWARNDEFAULTENCODING environment variable and encoding="locale" argument value.

bpo-43521 [https://bugs.python.org/issue?@action=redirect&bpo=43521]: ast.unparse can now render NaNs and empty sets.

bpo-42914 [https://bugs.python.org/issue?@action=redirect&bpo=42914]: pprint.pprint() gains a new boolean underscore_numbers optional argument to emit integers with thousands separated by an underscore character for improved readability (for example 1_000_000 instead of 1000000).

bpo-41361 [https://bugs.python.org/issue?@action=redirect&bpo=41361]: rotate() calls are now slightly faster due to faster argument parsing.

bpo-43423 [https://bugs.python.org/issue?@action=redirect&bpo=43423]: subprocess.communicate() no longer raises an IndexError when there is an empty stdout or stderr IO buffer during a timeout on Windows.

bpo-27820 [https://bugs.python.org/issue?@action=redirect&bpo=27820]: Fixed long-standing bug of smtplib.SMTP where doing AUTH LOGIN with initial_response_ok=False will fail.

The cause is that SMTP.auth_login _always_ returns a password if provided with a challenge string, thus non-compliant with the standard for AUTH LOGIN.

Also fixes bug with the test for smtpd.

bpo-43445 [https://bugs.python.org/issue?@action=redirect&bpo=43445]: Add frozen modules to sys.stdlib_module_names. For example, add "_frozen_importlib" and "_frozen_importlib_external" names.

bpo-43245 [https://bugs.python.org/issue?@action=redirect&bpo=43245]: Add keyword arguments support to ChainMap.new_child().

bpo-29982 [https://bugs.python.org/issue?@action=redirect&bpo=29982]: Add optional parameter ignore_cleanup_errors to tempfile.TemporaryDirectory() and allow multiple cleanup() attempts. Contributed by C.A.M. Gerlach.

bpo-43428 [https://bugs.python.org/issue?@action=redirect&bpo=43428]: Include changes from importlib_metadata 3.7 [https://importlib-metadata.readthedocs.io/en/latest/history.html#v3-7-0]:

Performance enhancements to distribution discovery.

entry_points only returns unique distributions.

Introduces new EntryPoints object for containing a set of entry points with convenience methods for selecting entry points by group or name. entry_points now returns this object if selection parameters are supplied but continues to return a dict object for compatibility. Users are encouraged to rely on the selection interface. The dict object result is likely to be deprecated in the future.

Added packages_distributions function to return a mapping of packages to the distributions that provide them.

bpo-43332 [https://bugs.python.org/issue?@action=redirect&bpo=43332]: Improves the networking efficiency of http.client when using a proxy via set_tunnel(). Fewer small send calls are made during connection setup.

bpo-43420 [https://bugs.python.org/issue?@action=redirect&bpo=43420]: Improve performance of fractions.Fraction arithmetics for large components. Contributed by Sergey B. Kirpichev.

bpo-43356 [https://bugs.python.org/issue?@action=redirect&bpo=43356]: Allow passing a signal number to _thread.interrupt_main().

bpo-43399 [https://bugs.python.org/issue?@action=redirect&bpo=43399]: Fix ElementTree.extend not working on iterators when using the Python implementation

bpo-43369 [https://bugs.python.org/issue?@action=redirect&bpo=43369]: Improve sqlite3 error handling: If sqlite3_column_text() and sqlite3_column_blob() set SQLITE_NOMEM, MemoryError is now raised. Patch by Erlend E. Aasland.

bpo-43368 [https://bugs.python.org/issue?@action=redirect&bpo=43368]: Fix a regression introduced in PR 24562, where an empty bytestring was fetched as None instead of b'' in sqlite3. Patch by Mariusz Felisiak.

bpo-41282 [https://bugs.python.org/issue?@action=redirect&bpo=41282]: Fixed stacklevel of DeprecationWarning emitted from import distutils.

bpo-42129 [https://bugs.python.org/issue?@action=redirect&bpo=42129]: importlib.resources now honors namespace packages, merging resources from each location in the namespace as introduced in importlib_resources 3.2 and including incidental changes through 5.0.3.

bpo-43295 [https://bugs.python.org/issue?@action=redirect&bpo=43295]: datetime.datetime.strptime() now raises ValueError instead of IndexError when matching 'z' with the %z format specifier.

bpo-43125 [https://bugs.python.org/issue?@action=redirect&bpo=43125]: Return empty string if base64mime.body_encode receive empty bytes

bpo-43084 [https://bugs.python.org/issue?@action=redirect&bpo=43084]: curses.window.enclose() returns now True or False (as was documented) instead of 1 or 0.

bpo-42994 [https://bugs.python.org/issue?@action=redirect&bpo=42994]: Add MIME types for opus, AAC, 3gpp and 3gpp2

bpo-14678 [https://bugs.python.org/issue?@action=redirect&bpo=14678]: Add an invalidate_caches() method to the zipimport.zipimporter class to support importlib.invalidate_caches(). Patch by Desmond Cheong.

bpo-42782 [https://bugs.python.org/issue?@action=redirect&bpo=42782]: Fail fast in shutil.move() to avoid creating destination directories on failure.

bpo-40066 [https://bugs.python.org/issue?@action=redirect&bpo=40066]: Enum’s repr() and str() have changed: repr() is now EnumClass.MemberName and str() is MemberName. Additionally, stdlib Enum’s whose contents are available as module attributes, such as RegexFlag.IGNORECASE, have their repr() as module.name, e.g. re.IGNORECASE.

bpo-26053 [https://bugs.python.org/issue?@action=redirect&bpo=26053]: Fixed bug where the pdb interactive run command echoed the args from the shell command line, even if those have been overridden at the pdb prompt.

bpo-24160 [https://bugs.python.org/issue?@action=redirect&bpo=24160]: Fixed bug where breakpoints did not persist across multiple debugger sessions in pdb’s interactive mode.

bpo-40701 [https://bugs.python.org/issue?@action=redirect&bpo=40701]: When the tempfile.tempdir global variable is set to a value of type bytes, it is now handled consistently. Previously exceptions could be raised from some tempfile APIs when the directory did not already exist in this situation. Also ensures that the tempfile.gettempdir() and tempfile.gettempdirb() functions always return str and bytes respectively.

bpo-39342 [https://bugs.python.org/issue?@action=redirect&bpo=39342]: Expose X509_V_FLAG_ALLOW_PROXY_CERTS as VERIFY_ALLOW_PROXY_CERTS to allow proxy certificate validation as explained in https://docs.openssl.org/1.1.1/man7/proxy-certificates/.

bpo-31861 [https://bugs.python.org/issue?@action=redirect&bpo=31861]: Add builtins.aiter and builtins.anext. Patch by Joshua Bronson (@jab), Daniel Pope (@lordmauve), and Justin Wang (@justin39).

Documentation

bpo-43199 [https://bugs.python.org/issue?@action=redirect&bpo=43199]: Answer “Why is there no goto?” in the Design and History FAQ.

bpo-43407 [https://bugs.python.org/issue?@action=redirect&bpo=43407]: Clarified that a result from time.monotonic(), time.perf_counter(), time.process_time(), or time.thread_time() can be compared with the result from any following call to the same function - not just the next immediate call.

bpo-43354 [https://bugs.python.org/issue?@action=redirect&bpo=43354]: Fix type documentation for Fault.faultCode; the type has to be int instead of str.

bpo-41933 [https://bugs.python.org/issue?@action=redirect&bpo=41933]: Clarified wording of s * n in the Common Sequence Operations

Tests

bpo-37945 [https://bugs.python.org/issue?@action=redirect&bpo=37945]: Fix test_getsetlocale_issue1813() of test_locale: skip the test if setlocale() fails. Patch by Victor Stinner.

bpo-41561 [https://bugs.python.org/issue?@action=redirect&bpo=41561]: Add workaround for Ubuntu’s custom OpenSSL security level policy.

Build

bpo-43179 [https://bugs.python.org/issue?@action=redirect&bpo=43179]: Introduce and correctly use ALIGNOF_X in place of SIZEOF_X for alignment-related code in optimized string routines. Patch by Jessica Clarke.

bpo-43631 [https://bugs.python.org/issue?@action=redirect&bpo=43631]: Update macOS, Windows, and CI to OpenSSL 1.1.1k.

bpo-43617 [https://bugs.python.org/issue?@action=redirect&bpo=43617]: Improve configure.ac: Check for presence of autoconf-archive package and remove our copies of M4 macros.

bpo-43466 [https://bugs.python.org/issue?@action=redirect&bpo=43466]: The configure script now supports --with-openssl-rpath option.

bpo-43372 [https://bugs.python.org/issue?@action=redirect&bpo=43372]: Use _freeze_importlib to generate code for the __hello__ module. This approach ensures the code matches the interpreter version. Previously, PYTHON_FOR_REGEN was used to generate the code, which might be wrong. The marshal format for code objects has changed with bpo-42246 [https://bugs.python.org/issue?@action=redirect&bpo=42246], commit 877df851. Update the code and the expected code sizes in ctypes test_frozentable.

Windows

bpo-43440 [https://bugs.python.org/issue?@action=redirect&bpo=43440]: Build sqlite3 with the R*Tree module enabled. Patch by Erlend E. Aasland.

IDLE

bpo-42225 [https://bugs.python.org/issue?@action=redirect&bpo=42225]: Document that IDLE can fail on Unix either from misconfigured IP masquerade rules or failure displaying complex colored (non-ascii) characters.

C API

bpo-43688 [https://bugs.python.org/issue?@action=redirect&bpo=43688]: The limited C API is now supported if Python is built in debug mode (if the Py_DEBUG macro is defined). In the limited C API, the Py_INCREF() and Py_DECREF() functions are now implemented as opaque function calls, rather than accessing directly the PyObject.ob_refcnt member, if Python is built in debug mode and the Py_LIMITED_API macro targets Python 3.10 or newer. It became possible to support the limited C API in debug mode because the PyObject structure is the same in release and debug mode since Python 3.8 (see bpo-36465 [https://bugs.python.org/issue?@action=redirect&bpo=36465]).

The limited C API is still not supported in the --with-trace-refs special build (Py_TRACE_REFS macro).

Patch by Victor Stinner.

bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244]: Remove the pyarena.h header file with functions:

PyArena_New()

PyArena_Free()

PyArena_Malloc()

PyArena_AddPyObject()

These functions were undocumented, excluded from the limited C API, and were only used internally by the compiler. Patch by Victor Stinner.

bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244]: Remove the compiler and parser functions using struct _mod type, because the public AST C API was removed:

PyAST_Compile()

PyAST_CompileEx()

PyAST_CompileObject()

PyFuture_FromAST()

PyFuture_FromASTObject()

PyParser_ASTFromFile()

PyParser_ASTFromFileObject()

PyParser_ASTFromFilename()

PyParser_ASTFromString()

PyParser_ASTFromStringObject()

These functions were undocumented and excluded from the limited C API. Patch by Victor Stinner.

bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244]: Remove ast.h, asdl.h, and Python-ast.h header files. These functions were undocumented and excluded from the limited C API. Most names defined by these header files were not prefixed by Py and so could create names conflicts. For example, Python-ast.h defined a Yield macro which was conflict with the Yield name used by the Windows <winbase.h> header. Use the Python ast module instead. Patch by Victor Stinner.

bpo-43541 [https://bugs.python.org/issue?@action=redirect&bpo=43541]: Fix a PyEval_EvalCodeEx() regression: fix reference counting on builtins. Patch by Victor Stinner.

bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244]: Remove the symtable.h header file and the undocumented functions:

PyST_GetScope()

PySymtable_Build()

PySymtable_BuildObject()

PySymtable_Free()

Py_SymtableString()

Py_SymtableStringObject()

The Py_SymtableString() function was part the stable ABI by mistake but it could not be used, because the symtable.h header file was excluded from the limited C API.

The Python symtable module remains available and is unchanged.

Patch by Victor Stinner.

bpo-43244 [https://bugs.python.org/issue?@action=redirect&bpo=43244]: Remove the PyAST_Validate() function. It is no longer possible to build a AST object (mod_ty type) with the public C API. The function was already excluded from the limited C API (PEP 384 [https://peps.python.org/pep-0384/]). Patch by Victor Stinner.

Python 3.10.0 alpha 6

Release date: 2021-03-01

Security

bpo-42967 [https://bugs.python.org/issue?@action=redirect&bpo=42967]: Fix web cache poisoning vulnerability by defaulting the query args separator to &, and allowing the user to choose a custom separator.

Core and Builtins

bpo-43321 [https://bugs.python.org/issue?@action=redirect&bpo=43321]: Fix SystemError raised when PyArg_Parse*() is used with # but without PY_SSIZE_T_CLEAN defined.

bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346]: PyArg_Parse*() functions now emits DeprecationWarning when u or Z format is used. See PEP 623 [https://peps.python.org/pep-0623/] for detail.

bpo-43277 [https://bugs.python.org/issue?@action=redirect&bpo=43277]: Add a new PySet_CheckExact() function to the C-API to check if an object is an instance of set but not an instance of a subtype. Patch by Pablo Galindo.

bpo-42990 [https://bugs.python.org/issue?@action=redirect&bpo=42990]: The types.FunctionType constructor now inherits the current builtins if the globals dictionary has no "__builtins__" key, rather than using {"None": None} as builtins: same behavior as eval() and exec() functions. Defining a function with def function(...): ... in Python is not affected, globals cannot be overridden with this syntax: it also inherits the current builtins. Patch by Victor Stinner.

bpo-42990 [https://bugs.python.org/issue?@action=redirect&bpo=42990]: Functions have a new __builtins__ attribute which is used to look for builtin symbols when a function is executed, instead of looking into __globals__['__builtins__']. Patch by Mark Shannon and Victor Stinner.

bpo-43149 [https://bugs.python.org/issue?@action=redirect&bpo=43149]: Improve the error message in the parser for exception groups without parentheses. Patch by Pablo Galindo.

bpo-43121 [https://bugs.python.org/issue?@action=redirect&bpo=43121]: Fixed an incorrect SyntaxError message for missing comma in literals. Patch by Pablo Galindo.

bpo-42819 [https://bugs.python.org/issue?@action=redirect&bpo=42819]: readline: Explicitly disable bracketed paste in the interactive interpreter, even if it’s set in the inputrc, is enabled by default (eg GNU Readline 8.1), or a user calls readline.read_init_file(). The Python REPL has not implemented bracketed paste support. Also, bracketed mode writes the "\x1b[?2004h" escape sequence into stdout which causes test failures in applications that don’t support it. It can still be explicitly enabled by calling readline.parse_and_bind("set enable-bracketed-paste on"). Patch by Dustin Rodrigues.

bpo-42808 [https://bugs.python.org/issue?@action=redirect&bpo=42808]: Simple calls to type(object) are now faster due to the vectorcall calling convention. Patch by Dennis Sweeney.

bpo-42217 [https://bugs.python.org/issue?@action=redirect&bpo=42217]: Make the compiler merges same co_code and co_linetable objects in a module like already did for co_consts.

bpo-41972 [https://bugs.python.org/issue?@action=redirect&bpo=41972]: Substring search functions such as str1 in str2 and str2.find(str1) now sometimes use the “Two-Way” string comparison algorithm to avoid quadratic behavior on long strings.

bpo-42128 [https://bugs.python.org/issue?@action=redirect&bpo=42128]: Implement PEP 634 [https://peps.python.org/pep-0634/] (structural pattern matching). Patch by Brandt Bucher.

bpo-40692 [https://bugs.python.org/issue?@action=redirect&bpo=40692]: In the concurrent.futures.ProcessPoolExecutor, validate that multiprocess.synchronize() is available on a given platform and rely on that check in the concurrent.futures test suite so we can run tests that are unrelated to ProcessPoolExecutor on those platforms.

bpo-38302 [https://bugs.python.org/issue?@action=redirect&bpo=38302]: If object.__ipow__() returns NotImplemented, the operator will correctly fall back to object.__pow__() and object.__rpow__() as expected.

Library

bpo-43316 [https://bugs.python.org/issue?@action=redirect&bpo=43316]: The python -m gzip command line application now properly fails when detecting an unsupported extension. It exits with a non-zero exit code and prints an error message to stderr.

bpo-43317 [https://bugs.python.org/issue?@action=redirect&bpo=43317]: Set the chunk size for the gzip module main function to io.DEFAULT_BUFFER_SIZE. This is slightly faster than the 1024 bytes constant that was used previously.

bpo-43146 [https://bugs.python.org/issue?@action=redirect&bpo=43146]: Handle None in single-arg versions of print_exception() and format_exception().

bpo-43260 [https://bugs.python.org/issue?@action=redirect&bpo=43260]: Fix TextIOWrapper can not flush internal buffer forever after very large text is written.

bpo-43258 [https://bugs.python.org/issue?@action=redirect&bpo=43258]: Prevent needless allocation of sqlite3 aggregate function context when no rows match an aggregate query. Patch by Erlend E. Aasland.

bpo-43251 [https://bugs.python.org/issue?@action=redirect&bpo=43251]: Improve sqlite3 error handling: sqlite3_column_name() failures now result in MemoryError. Patch by Erlend E. Aasland.

bpo-40956 [https://bugs.python.org/issue?@action=redirect&bpo=40956]: Fix segfault in sqlite3.Connection.backup() if no argument was provided. The regression was introduced by PR 23838. Patch by Erlend E. Aasland.

bpo-43172 [https://bugs.python.org/issue?@action=redirect&bpo=43172]: The readline module now passes its tests when built directly against libedit. Existing irreconcilable API differences remain in readline.get_begidx() and readline.get_endidx() behavior based on libreadline vs libedit use.

bpo-43163 [https://bugs.python.org/issue?@action=redirect&bpo=43163]: Fix a bug in codeop that was causing it to not ask for more input when multi-line snippets have unclosed parentheses. Patch by Pablo Galindo

bpo-43162 [https://bugs.python.org/issue?@action=redirect&bpo=43162]: deprecate unsupported ability to access enum members as attributes of other enum members

bpo-43146 [https://bugs.python.org/issue?@action=redirect&bpo=43146]: Fix recent regression in None argument handling in traceback module functions.

bpo-43102 [https://bugs.python.org/issue?@action=redirect&bpo=43102]: The namedtuple __new__ method had its __builtins__ set to None instead of an actual dictionary. This created problems for introspection tools.

bpo-43106 [https://bugs.python.org/issue?@action=redirect&bpo=43106]: Added O_EVTONLY, O_FSYNC, O_SYMLINK and O_NOFOLLOW_ANY for macOS. Patch by Donghee Na.

bpo-42960 [https://bugs.python.org/issue?@action=redirect&bpo=42960]: Adds resource.RLIMIT_KQUEUES constant from FreeBSD to the resource module.

bpo-42151 [https://bugs.python.org/issue?@action=redirect&bpo=42151]: Make the pure Python implementation of xml.etree.ElementTree behave the same as the C implementation (_elementree) regarding default attribute values (by not setting specified_attributes=1).

bpo-29753 [https://bugs.python.org/issue?@action=redirect&bpo=29753]: In ctypes, now packed bitfields are calculated properly and the first item of packed bitfields is now shrank correctly.

Documentation

bpo-27646 [https://bugs.python.org/issue?@action=redirect&bpo=27646]: Clarify that ‘yield from <expr>’ works with any iterable, not just iterators.

bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346]: Update some deprecated unicode APIs which are documented as “will be removed in 4.0” to “3.12”. See PEP 623 [https://peps.python.org/pep-0623/] for detail.

Tests

bpo-43288 [https://bugs.python.org/issue?@action=redirect&bpo=43288]: Fix test_importlib to correctly skip Unicode file tests if the filesystem does not support them.

Build

bpo-43174 [https://bugs.python.org/issue?@action=redirect&bpo=43174]: Windows build now uses /utf-8 compiler option.

bpo-43103 [https://bugs.python.org/issue?@action=redirect&bpo=43103]: Add a new configure --without-static-libpython option to not build the libpythonMAJOR.MINOR.a static library and not install the python.o object file.

bpo-13501 [https://bugs.python.org/issue?@action=redirect&bpo=13501]: The configure script can now use libedit instead of readline with the command line option --with-readline=editline.

bpo-42603 [https://bugs.python.org/issue?@action=redirect&bpo=42603]: Make configure script use pkg-config to detect the location of Tcl/Tk headers and libraries, used to build tkinter.

On macOS, a Tcl/Tk configuration provided by pkg-config will be preferred over Tcl/Tk frameworks installed in /{System/,}Library/Frameworks. If both exist and the latter is preferred, the appropriate --with-tcltk-* configuration options need to be explicitly set.

bpo-39448 [https://bugs.python.org/issue?@action=redirect&bpo=39448]: Add the “regen-frozen” makefile target that regenerates the code for the frozen __hello__ module.

Windows

bpo-43155 [https://bugs.python.org/issue?@action=redirect&bpo=43155]: PyCMethod_New() is now present in python3.lib.

macOS

bpo-41837 [https://bugs.python.org/issue?@action=redirect&bpo=41837]: Update macOS installer build to use OpenSSL 1.1.1j.

IDLE

bpo-43283 [https://bugs.python.org/issue?@action=redirect&bpo=43283]: Document why printing to IDLE’s Shell is often slower than printing to a system terminal and that it can be made faster by pre-formatting a single string before printing.

C API

bpo-43278 [https://bugs.python.org/issue?@action=redirect&bpo=43278]: Always put compiler and system information on the first line of the REPL welcome message.

bpo-43270 [https://bugs.python.org/issue?@action=redirect&bpo=43270]: Remove the private _PyErr_OCCURRED() macro: use the public PyErr_Occurred() function instead.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: Move odictobject.h, parser_interface.h, picklebufobject.h, pydebug.h, and pyfpe.h into the cpython/ directory. They must not be included directly, as they are already included by Python.h: Include Files.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: Move pyarena.h, pyctype.h, and pytime.h into the cpython/ directory. They must not be included directly, as they are already included by Python.h: Include Files.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: PyExceptionClass_Name() is now always declared as a function, in order to hide implementation details. The macro accessed PyTypeObject.tp_name directly. Patch by Erlend E. Aasland.

bpo-43239 [https://bugs.python.org/issue?@action=redirect&bpo=43239]: The PyCFunction_New() function is now exported in the ABI when compiled with -fvisibility=hidden.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: PyIter_Check() is now always declared as a function, in order to hide implementation details. The macro accessed PyTypeObject.tp_iternext directly. Patch by Erlend E. Aasland.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Convert PyDescr_IsData() macro to a function to hide implementation details: The macro accessed PyTypeObject.tp_descr_set directly. Patch by Erlend E. Aasland.

bpo-43181 [https://bugs.python.org/issue?@action=redirect&bpo=43181]: Convert PyObject_TypeCheck() macro to a static inline function. Patch by Erlend E. Aasland.

Python 3.10.0 alpha 5

Release date: 2021-02-02

Security

bpo-42938 [https://bugs.python.org/issue?@action=redirect&bpo=42938]: Avoid static buffers when computing the repr of ctypes.c_double and ctypes.c_longdouble values.

Core and Builtins

bpo-42990 [https://bugs.python.org/issue?@action=redirect&bpo=42990]: Refactor the PyEval_ family of functions.

An new function _PyEval_Vector is added to simplify calls to Python from C.

_PyEval_EvalCodeWithName is removed

PyEval_EvalCodeEx is retained as part of the API, but is not used internally

bpo-38631 [https://bugs.python.org/issue?@action=redirect&bpo=38631]: Replace Py_FatalError() calls in the compiler with regular SystemError exceptions. Patch by Victor Stinner.

bpo-42997 [https://bugs.python.org/issue?@action=redirect&bpo=42997]: Improve error message for missing “:” before blocks. Patch by Pablo Galindo.

bpo-43017 [https://bugs.python.org/issue?@action=redirect&bpo=43017]: Improve error message in the parser when using un-parenthesised tuples in comprehensions. Patch by Pablo Galindo.

bpo-42986 [https://bugs.python.org/issue?@action=redirect&bpo=42986]: Fix parser crash when reporting syntax errors in f-string with newlines. Patch by Pablo Galindo.

bpo-40176 [https://bugs.python.org/issue?@action=redirect&bpo=40176]: Syntax errors for unterminated string literals now point to the start of the string instead of reporting EOF/EOL.

bpo-42927 [https://bugs.python.org/issue?@action=redirect&bpo=42927]: The inline cache for LOAD_ATTR now also optimizes access to attributes defined by __slots__. This makes reading such attribute up to 30% faster.

bpo-42864 [https://bugs.python.org/issue?@action=redirect&bpo=42864]: Improve error messages in the parser when parentheses are not closed. Patch by Pablo Galindo.

bpo-42924 [https://bugs.python.org/issue?@action=redirect&bpo=42924]: Fix bytearray repetition incorrectly copying data from the start of the buffer, even if the data is offset within the buffer (e.g. after reassigning a slice at the start of the bytearray to a shorter byte string).

bpo-42882 [https://bugs.python.org/issue?@action=redirect&bpo=42882]: Fix the _PyUnicode_FromId() function (_Py_IDENTIFIER(var) API) when Py_Initialize() / Py_Finalize() is called multiple times: preserve _PyRuntime.unicode_ids.next_index value.

bpo-42827 [https://bugs.python.org/issue?@action=redirect&bpo=42827]: Fix a crash when working out the error line of a SyntaxError in some multi-line expressions.

bpo-42823 [https://bugs.python.org/issue?@action=redirect&bpo=42823]: frame.f_lineno is correct even if frame.f_trace is set to True

bpo-37324 [https://bugs.python.org/issue?@action=redirect&bpo=37324]: Remove deprecated aliases to Classes Base Abstratas de Coleções from the collections module.

bpo-41994 [https://bugs.python.org/issue?@action=redirect&bpo=41994]: Fixed possible leak in import when sys.modules is not a dict.

bpo-27772 [https://bugs.python.org/issue?@action=redirect&bpo=27772]: In string formatting, preceding the width field by '0' no longer affects the default alignment for strings.

Library

bpo-43108 [https://bugs.python.org/issue?@action=redirect&bpo=43108]: Fixed a reference leak in the curses module. Patch by Pablo Galindo

bpo-43077 [https://bugs.python.org/issue?@action=redirect&bpo=43077]: Update the bundled pip to 21.0.1 and setuptools to 52.0.0.

bpo-41282 [https://bugs.python.org/issue?@action=redirect&bpo=41282]: Deprecate distutils in documentation and add warning on import.

bpo-43014 [https://bugs.python.org/issue?@action=redirect&bpo=43014]: Improve performance of tokenize by 20-30%. Patch by Anthony Sottile.

bpo-42323 [https://bugs.python.org/issue?@action=redirect&bpo=42323]: Fix math.nextafter() for NaN on AIX.

bpo-42955 [https://bugs.python.org/issue?@action=redirect&bpo=42955]: Add sys.stdlib_module_names, containing the list of the standard library module names. Patch by Victor Stinner.

bpo-42944 [https://bugs.python.org/issue?@action=redirect&bpo=42944]: Fix random.Random.sample when counts argument is not None.

bpo-42934 [https://bugs.python.org/issue?@action=redirect&bpo=42934]: Use TracebackException’s new compact param in TestResult to reduce time and memory consumed by traceback formatting.

bpo-42931 [https://bugs.python.org/issue?@action=redirect&bpo=42931]: Add randbytes() to random.__all__.

bpo-38250 [https://bugs.python.org/issue?@action=redirect&bpo=38250]: [Enum] Flags consisting of a single bit are now considered canonical, and will be the only flags returned from listing and iterating over a Flag class or a Flag member. Multi-bit flags are considered aliases; they will be returned from lookups and operations that result in their value. Iteration for both Flag and Flag members is in definition order.

bpo-42877 [https://bugs.python.org/issue?@action=redirect&bpo=42877]: Added the compact parameter to the constructor of traceback.TracebackException to reduce time and memory for use cases that only need to call TracebackException.format() and TracebackException.format_exception_only().

bpo-42923 [https://bugs.python.org/issue?@action=redirect&bpo=42923]: The Py_FatalError() function and the faulthandler module now dump the list of extension modules on a fatal error.

bpo-42848 [https://bugs.python.org/issue?@action=redirect&bpo=42848]: Removed recursion from TracebackException to allow it to handle long exception chains.

bpo-42901 [https://bugs.python.org/issue?@action=redirect&bpo=42901]: [Enum] move member creation from EnumMeta.__new__ to _proto_member.__set_name__, allowing members to be created and visible in __init_subclass__.

bpo-42780 [https://bugs.python.org/issue?@action=redirect&bpo=42780]: Fix os.set_inheritable() for O_PATH file descriptors on Linux.

bpo-42866 [https://bugs.python.org/issue?@action=redirect&bpo=42866]: Fix a reference leak in the getcodec() function of CJK codecs. Patch by Victor Stinner.

bpo-42846 [https://bugs.python.org/issue?@action=redirect&bpo=42846]: Convert the 6 CJK codec extension modules (_codecs_cn, _codecs_hk, _codecs_iso2022, _codecs_jp, _codecs_kr and _codecs_tw) to the multiphase initialization API (PEP 489 [https://peps.python.org/pep-0489/]). Patch by Victor Stinner.

bpo-42851 [https://bugs.python.org/issue?@action=redirect&bpo=42851]: remove __init_subclass__ support for Enum members

bpo-42834 [https://bugs.python.org/issue?@action=redirect&bpo=42834]: Make internal caches of the _json module compatible with subinterpreters.

bpo-41748 [https://bugs.python.org/issue?@action=redirect&bpo=41748]: Fix HTMLParser parsing rules for element attributes containing commas with spaces. Patch by Karl Dubost.

bpo-40810 [https://bugs.python.org/issue?@action=redirect&bpo=40810]: Require SQLite 3.7.15 or newer. Patch by Erlend E. Aasland.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Convert the _multibytecodec extension module (CJK codecs) to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]). Patch by Erlend E. Aasland.

bpo-42802 [https://bugs.python.org/issue?@action=redirect&bpo=42802]: The distutils bdist_wininst command deprecated in Python 3.8 has been removed. The distutils bdist_wheel command is now recommended to distribute binary packages on Windows.

bpo-24464 [https://bugs.python.org/issue?@action=redirect&bpo=24464]: The undocumented built-in function sqlite3.enable_shared_cache is now deprecated, scheduled for removal in Python 3.12. Its use is strongly discouraged by the SQLite3 documentation. Patch by Erlend E. Aasland.

bpo-42384 [https://bugs.python.org/issue?@action=redirect&bpo=42384]: Make pdb populate sys.path[0] exactly the same as regular python execution.

bpo-42383 [https://bugs.python.org/issue?@action=redirect&bpo=42383]: Fix pdb: previously pdb would fail to restart the debugging target if it was specified using a relative path and the current directory changed.

bpo-42005 [https://bugs.python.org/issue?@action=redirect&bpo=42005]: Fix CLI of cProfile and profile to catch BrokenPipeError.

bpo-41604 [https://bugs.python.org/issue?@action=redirect&bpo=41604]: Don’t decrement the reference count of the previous user_ptr when set_panel_userptr fails.

bpo-41149 [https://bugs.python.org/issue?@action=redirect&bpo=41149]: Allow executing callables that have a boolean value of False when passed to Threading.thread as the target. Patch contributed by Barney Stratford.

bpo-38307 [https://bugs.python.org/issue?@action=redirect&bpo=38307]: Add an ‘end_lineno’ attribute to the Class and Function objects that appear in the tree returned by pyclbr functions. This and the existing ‘lineno’ attribute define the extent of class and def statements. Patch by Aviral Srivastava.

bpo-39273 [https://bugs.python.org/issue?@action=redirect&bpo=39273]: The BUTTON5_* constants are now exposed in the curses module if available.

bpo-33289 [https://bugs.python.org/issue?@action=redirect&bpo=33289]: Correct call to tkinter.colorchooser to return RGB triplet of ints instead of floats. Patch by Cheryl Sabella.

Documentation

bpo-40304 [https://bugs.python.org/issue?@action=redirect&bpo=40304]: Fix doc for type(name, bases, dict). Patch by Boris Verkhovskiy and Éric Araujo.

bpo-42811 [https://bugs.python.org/issue?@action=redirect&bpo=42811]: Updated importlib.util.resolve_name() doc to use __spec__.parent instead of __package__. (Thanks Yair Frid.)

Tests

bpo-40823 [https://bugs.python.org/issue?@action=redirect&bpo=40823]: Use unittest.TestLoader().loadTestsFromTestCase() instead of unittest.makeSuite() in sqlite3 tests. Patch by Erlend E. Aasland.

bpo-40810 [https://bugs.python.org/issue?@action=redirect&bpo=40810]: In sqlite3, fix CheckTraceCallbackContent for SQLite pre 3.7.15.

Build

bpo-43031 [https://bugs.python.org/issue?@action=redirect&bpo=43031]: Pass --timeout=$(TESTTIMEOUT) option to the default profile task ./python -m test --pgo command.

bpo-36143 [https://bugs.python.org/issue?@action=redirect&bpo=36143]: make regen-all now also runs regen-keyword. Patch by Victor Stinner.

bpo-42874 [https://bugs.python.org/issue?@action=redirect&bpo=42874]: Removed the grep -q and -E flags in the tzpath validation section of the configure script to better accommodate users of some platforms (specifically Solaris 10).

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Add library search path by wr-cc in add_cross_compiling_paths() for VxWorks.

bpo-42856 [https://bugs.python.org/issue?@action=redirect&bpo=42856]: Add --with-wheel-pkg-dir=PATH option to the ./configure script. If specified, the ensurepip module looks for setuptools and pip wheel packages in this directory: if both are present, these wheel packages are used instead of ensurepip bundled wheel packages.

Some Linux distribution packaging policies recommend against bundling dependencies. For example, Fedora installs wheel packages in the /usr/share/python-wheels/ directory and don’t install the ensurepip._bundled package.

Windows

bpo-41837 [https://bugs.python.org/issue?@action=redirect&bpo=41837]: Updated Windows installer to include OpenSSL 1.1.1i

bpo-42584 [https://bugs.python.org/issue?@action=redirect&bpo=42584]: Upgrade Windows installer to use SQLite 3.34.0.

macOS

bpo-42504 [https://bugs.python.org/issue?@action=redirect&bpo=42504]: Ensure that the value of sysconfig.get_config_var(‘MACOSX_DEPLOYMENT_TARGET’) is always a string, even in when the value is parsable as an integer.

IDLE

bpo-43008 [https://bugs.python.org/issue?@action=redirect&bpo=43008]: Make IDLE invoke sys.excepthook() in normal, 2-process mode. Patch by Ken Hilton.

bpo-33065 [https://bugs.python.org/issue?@action=redirect&bpo=33065]: Fix problem debugging user classes with __repr__ method.

bpo-23544 [https://bugs.python.org/issue?@action=redirect&bpo=23544]: Disable Debug=>Stack Viewer when user code is running or Debugger is active, to prevent hang or crash. Patch by Zackery Spytz.

bpo-32631 [https://bugs.python.org/issue?@action=redirect&bpo=32631]: Finish zzdummy example extension module: make menu entries work; add docstrings and tests with 100% coverage.

C API

bpo-42979 [https://bugs.python.org/issue?@action=redirect&bpo=42979]: When Python is built in debug mode (with C assertions), calling a type slot like sq_length (__len__() in Python) now fails with a fatal error if the slot succeeded with an exception set, or failed with no exception set. The error message contains the slot, the type name, and the current exception (if an exception is set). Patch by Victor Stinner.

bpo-43030 [https://bugs.python.org/issue?@action=redirect&bpo=43030]: Fixed a compiler warning in Py_UNICODE_ISSPACE() on platforms with signed wchar_t.

Python 3.10.0 alpha 4

Release date: 2021-01-04

Core and Builtins

bpo-42814 [https://bugs.python.org/issue?@action=redirect&bpo=42814]: Fix undefined behavior in Objects/genericaliasobject.c.

bpo-42806 [https://bugs.python.org/issue?@action=redirect&bpo=42806]: Fix the column offsets for f-strings ast nodes surrounded by parentheses and for nodes that spawn multiple lines. Patch by Pablo Galindo.

bpo-40631 [https://bugs.python.org/issue?@action=redirect&bpo=40631]: Fix regression where a single parenthesized starred expression was a valid assignment target.

bpo-27794 [https://bugs.python.org/issue?@action=redirect&bpo=27794]: Improve the error message for failed writes/deletes to property objects. When possible, the attribute name is now shown. Patch provided by Yurii Karabas.

bpo-42745 [https://bugs.python.org/issue?@action=redirect&bpo=42745]: Make the type attribute lookup cache per-interpreter. Patch by Victor Stinner.

bpo-42246 [https://bugs.python.org/issue?@action=redirect&bpo=42246]: Jumps to jumps are not eliminated when it would break PEP 626.

bpo-42246 [https://bugs.python.org/issue?@action=redirect&bpo=42246]: Make sure that the f_lasti and f_lineno attributes of a frame are set correctly when an exception is raised or re-raised. Required for PEP 626.

bpo-32381 [https://bugs.python.org/issue?@action=redirect&bpo=32381]: The coding cookie (ex: # coding: latin1) is now ignored in the command passed to the -c command line option. Patch by Victor Stinner.

bpo-30858 [https://bugs.python.org/issue?@action=redirect&bpo=30858]: Improve error location in expressions that contain assignments. Patch by Pablo Galindo and Lysandros Nikolaou.

bpo-42615 [https://bugs.python.org/issue?@action=redirect&bpo=42615]: Remove jump commands made redundant by the deletion of unreachable bytecode blocks

bpo-42639 [https://bugs.python.org/issue?@action=redirect&bpo=42639]: Make the atexit module state per-interpreter. It is now safe have more than one atexit module instance. Patch by Donghee Na and Victor Stinner.

bpo-32381 [https://bugs.python.org/issue?@action=redirect&bpo=32381]: Fix encoding name when running a .pyc file on Windows: PyRun_SimpleFileExFlags() now uses the correct encoding to decode the filename.

bpo-42195 [https://bugs.python.org/issue?@action=redirect&bpo=42195]: The __args__ of the parameterized generics for typing.Callable and collections.abc.Callable are now consistent. The __args__ for collections.abc.Callable are now flattened while typing.Callable’s have not changed. To allow this change, types.GenericAlias can now be subclassed and collections.abc.Callable’s __class_getitem__ will now return a subclass of types.GenericAlias. Tests for typing were also updated to not subclass things like Callable[..., T] as that is not a valid base class. Finally, both Callables no longer validate their argtypes, in Callable[[argtypes], resulttype] to prepare for PEP 612 [https://peps.python.org/pep-0612/]. Patch by Ken Jin.

bpo-40137 [https://bugs.python.org/issue?@action=redirect&bpo=40137]: Convert functools module to use PyType_FromModuleAndSpec().

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert array to use heap types, and establish module state for these.

bpo-42008 [https://bugs.python.org/issue?@action=redirect&bpo=42008]: Fix _random.Random() seeding.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the pyexpat extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40521 [https://bugs.python.org/issue?@action=redirect&bpo=40521]: Make the Unicode dictionary of interned strings compatible with subinterpreters. Patch by Victor Stinner.

bpo-39465 [https://bugs.python.org/issue?@action=redirect&bpo=39465]: Make _PyUnicode_FromId() function compatible with subinterpreters. Each interpreter now has an array of identifier objects (interned strings decoded from UTF-8). Patch by Victor Stinner.

Library

bpo-42257 [https://bugs.python.org/issue?@action=redirect&bpo=42257]: Handle empty string in variable executable in platform.libc_ver()

bpo-42772 [https://bugs.python.org/issue?@action=redirect&bpo=42772]: randrange() now raises a TypeError when step is specified without a stop argument. Formerly, it silently ignored the step argument.

bpo-42759 [https://bugs.python.org/issue?@action=redirect&bpo=42759]: Fixed equality comparison of tkinter.Variable and tkinter.font.Font. Objects which belong to different Tcl interpreters are now always different, even if they have the same name.

bpo-42756 [https://bugs.python.org/issue?@action=redirect&bpo=42756]: Configure LMTP Unix-domain socket to use socket global default timeout when a timeout is not explicitly provided.

bpo-23328 [https://bugs.python.org/issue?@action=redirect&bpo=23328]: Allow / character in username, password fields on _PROXY envars.

bpo-42740 [https://bugs.python.org/issue?@action=redirect&bpo=42740]: typing.get_args() and typing.get_origin() now support PEP 604 [https://peps.python.org/pep-0604/] union types and PEP 612 [https://peps.python.org/pep-0612/] additions to Callable.

bpo-42655 [https://bugs.python.org/issue?@action=redirect&bpo=42655]: subprocess extra_groups is now correctly passed into setgroups() system call.

bpo-42727 [https://bugs.python.org/issue?@action=redirect&bpo=42727]: EnumMeta.__prepare__ now accepts **kwds to properly support __init_subclass__

bpo-38308 [https://bugs.python.org/issue?@action=redirect&bpo=38308]: Add optional weights to statistics.harmonic_mean().

bpo-42721 [https://bugs.python.org/issue?@action=redirect&bpo=42721]: When simple query dialogs (tkinter.simpledialog), message boxes (tkinter.messagebox) or color choose dialog (tkinter.colorchooser) are created without arguments master and parent, and the default root window is not yet created, and NoDefaultRoot() was not called, a new temporal hidden root window will be created automatically. It will not be set as the default root window and will be destroyed right after closing the dialog window. It will help to use these simple dialog windows in programs which do not need other GUI.

bpo-25246 [https://bugs.python.org/issue?@action=redirect&bpo=25246]: Optimized collections.deque.remove().

bpo-35728 [https://bugs.python.org/issue?@action=redirect&bpo=35728]: Added a root parameter to tkinter.font.nametofont().

bpo-15303 [https://bugs.python.org/issue?@action=redirect&bpo=15303]: tkinter supports now widgets with boolean value False.

bpo-42681 [https://bugs.python.org/issue?@action=redirect&bpo=42681]: Fixed range checks for color and pair numbers in curses.

bpo-42685 [https://bugs.python.org/issue?@action=redirect&bpo=42685]: Improved placing of simple query windows in Tkinter (such as tkinter.simpledialog.askinteger()). They are now centered at the center of the parent window if it is specified and shown, otherwise at the center of the screen.

bpo-9694 [https://bugs.python.org/issue?@action=redirect&bpo=9694]: Argparse help no longer uses the confusing phrase, “optional arguments”. It uses “options” instead.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _thread extension module to the multiphase initialization API (PEP 489 [https://peps.python.org/pep-0489/]) and convert its static types to heap types.

bpo-37961 [https://bugs.python.org/issue?@action=redirect&bpo=37961]: Fix crash in tracemalloc.Traceback.__repr__() (regressed in Python 3.9).

bpo-42630 [https://bugs.python.org/issue?@action=redirect&bpo=42630]: tkinter functions and constructors which need a default root window raise now RuntimeError with descriptive message instead of obscure AttributeError or NameError if it is not created yet or cannot be created automatically.

bpo-42639 [https://bugs.python.org/issue?@action=redirect&bpo=42639]: atexit._run_exitfuncs() now logs callback exceptions using sys.unraisablehook, rather than logging them directly into sys.stderr and raise the last exception.

bpo-42644 [https://bugs.python.org/issue?@action=redirect&bpo=42644]: logging.disable will now validate the types and value of its parameter. It also now accepts strings representing the levels (as does logging.setLevel) instead of only the numerical values.

bpo-42639 [https://bugs.python.org/issue?@action=redirect&bpo=42639]: At Python exit, if a callback registered with atexit.register() fails, its exception is now logged. Previously, only some exceptions were logged, and the last exception was always silently ignored.

bpo-36541 [https://bugs.python.org/issue?@action=redirect&bpo=36541]: Fixed lib2to3.pgen2 to be able to parse PEP-570 positional only argument syntax.

bpo-42382 [https://bugs.python.org/issue?@action=redirect&bpo=42382]: In importlib.metadata: - EntryPoint objects now expose a .dist object referencing the Distribution when constructed from a Distribution. - Add support for package discovery under package normalization rules. - The object returned by metadata() now has a formally defined protocol called PackageMetadata with declared support for the .get_all() method. - Synced with importlib_metadata 3.3.

bpo-41877 [https://bugs.python.org/issue?@action=redirect&bpo=41877]: A check is added against misspellings of autospect, auto_spec and set_spec being passed as arguments to patch, patch.object and create_autospec.

bpo-39717 [https://bugs.python.org/issue?@action=redirect&bpo=39717]: [tarfile] update nested exception raising to use from None or from e

bpo-41877 [https://bugs.python.org/issue?@action=redirect&bpo=41877]: AttributeError for suspected misspellings of assertions on mocks are now pointing out that the cause are misspelled assertions and also what to do if the misspelling is actually an intended attribute name. The unittest.mock document is also updated to reflect the current set of recognised misspellings.

bpo-41559 [https://bugs.python.org/issue?@action=redirect&bpo=41559]: Implemented PEP 612 [https://peps.python.org/pep-0612/]: added ParamSpec and Concatenate to typing. Patch by Ken Jin.

bpo-42385 [https://bugs.python.org/issue?@action=redirect&bpo=42385]: StrEnum: fix _generate_next_value_ to return a str

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Define THREAD_STACK_SIZE for VxWorks.

bpo-34750 [https://bugs.python.org/issue?@action=redirect&bpo=34750]: [Enum] _EnumDict.update() is now supported.

bpo-42517 [https://bugs.python.org/issue?@action=redirect&bpo=42517]: Enum: private names do not become members / do not generate errors – they remain normal attributes

bpo-42678 [https://bugs.python.org/issue?@action=redirect&bpo=42678]: Enum: call __init_subclass__ after members have been added

bpo-28964 [https://bugs.python.org/issue?@action=redirect&bpo=28964]: ast.literal_eval() adds line number information (if available) in error message for malformed nodes.

bpo-42470 [https://bugs.python.org/issue?@action=redirect&bpo=42470]: random.sample() no longer warns on a sequence which is also a set.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: posixpath.expanduser() returns the input path unchanged if user home directory is None on VxWorks.

bpo-42388 [https://bugs.python.org/issue?@action=redirect&bpo=42388]: Fix subprocess.check_output(…, input=None) behavior when text=True to be consistent with that of the documentation and universal_newlines=True.

bpo-34463 [https://bugs.python.org/issue?@action=redirect&bpo=34463]: Fixed discrepancy between traceback and the interpreter in formatting of SyntaxError with lineno not set (traceback was changed to match interpreter).

bpo-42393 [https://bugs.python.org/issue?@action=redirect&bpo=42393]: Raise OverflowError instead of silent truncation in socket.ntohs() and socket.htons(). Silent truncation was deprecated in Python 3.7. Patch by Erlend E. Aasland

bpo-42222 [https://bugs.python.org/issue?@action=redirect&bpo=42222]: Harmonized random.randrange() argument handling to match range().

The integer test and conversion in randrange() now uses operator.index().

Non-integer arguments to randrange() are deprecated.

The ValueError is deprecated in favor of a TypeError.

It now runs a little faster than before.

(Contributed by Raymond Hettinger and Serhiy Storchaka.)

bpo-42163 [https://bugs.python.org/issue?@action=redirect&bpo=42163]: Restore compatibility for uname_result around deepcopy and _replace.

bpo-42090 [https://bugs.python.org/issue?@action=redirect&bpo=42090]: zipfile.Path.joinpath now accepts arbitrary arguments, same as pathlib.Path.joinpath.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _csv module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-42059 [https://bugs.python.org/issue?@action=redirect&bpo=42059]: typing.TypedDict types created using the alternative call-style syntax now correctly respect the total keyword argument when setting their __required_keys__ and __optional_keys__ class attributes.

bpo-41960 [https://bugs.python.org/issue?@action=redirect&bpo=41960]: Add globalns and localns parameters to the inspect.signature() and inspect.Signature.from_callable().

bpo-41907 [https://bugs.python.org/issue?@action=redirect&bpo=41907]: fix format() behavior for IntFlag

bpo-41891 [https://bugs.python.org/issue?@action=redirect&bpo=41891]: Ensure asyncio.wait_for waits for task completion

bpo-24792 [https://bugs.python.org/issue?@action=redirect&bpo=24792]: Fixed bug where zipimporter sometimes reports an incorrect cause of import errors.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix site and sysconfig modules for VxWorks RTOS which has no home directories.

bpo-41462 [https://bugs.python.org/issue?@action=redirect&bpo=41462]: Add os.set_blocking() support for VxWorks RTOS.

bpo-40219 [https://bugs.python.org/issue?@action=redirect&bpo=40219]: Lowered tkinter.ttk.LabeledScale dummy widget to prevent hiding part of the content label.

bpo-37193 [https://bugs.python.org/issue?@action=redirect&bpo=37193]: Fixed memory leak in socketserver.ThreadingMixIn introduced in Python 3.7.

bpo-39068 [https://bugs.python.org/issue?@action=redirect&bpo=39068]: Fix initialization race condition in a85encode() and b85encode() in base64. Patch by Brandon Stansbury.

Documentation

bpo-17140 [https://bugs.python.org/issue?@action=redirect&bpo=17140]: Add documentation for the multiprocessing.pool.ThreadPool class.

bpo-34398 [https://bugs.python.org/issue?@action=redirect&bpo=34398]: Prominently feature listings from the glossary in documentation search results. Patch by Ammar Askar.

Tests

bpo-42794 [https://bugs.python.org/issue?@action=redirect&bpo=42794]: Update test_nntplib to use official group name of news.aioe.org for testing. Patch by Donghee Na.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Skip some asyncio tests on VxWorks.

bpo-42641 [https://bugs.python.org/issue?@action=redirect&bpo=42641]: Enhance test_select.test_select(): it now takes 500 milliseconds rather than 10 seconds. Use Python rather than a shell to make the test more portable.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Skip some tests in _test_all_chown_common() on VxWorks.

bpo-42199 [https://bugs.python.org/issue?@action=redirect&bpo=42199]: Fix bytecode helper assertNotInBytecode.

bpo-41443 [https://bugs.python.org/issue?@action=redirect&bpo=41443]: Add more attribute checking in test_posix.py

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Disable os.popen and impacted tests on VxWorks

bpo-41439 [https://bugs.python.org/issue?@action=redirect&bpo=41439]: Port test_ssl and test_uuid to VxWorks RTOS.

Build

bpo-42692 [https://bugs.python.org/issue?@action=redirect&bpo=42692]: Fix __builtin_available check on older compilers. Patch by Joshua Root.

bpo-27640 [https://bugs.python.org/issue?@action=redirect&bpo=27640]: Added --disable-test-modules option to the configure script: don’t build nor install test modules. Patch by Xavier de Gaye, Thomas Petazzoni and Peixing Xin.

bpo-42604 [https://bugs.python.org/issue?@action=redirect&bpo=42604]: Now all platforms use a value for the “EXT_SUFFIX” build variable derived from SOABI (for instance in freeBSD, “EXT_SUFFIX” is now “.cpython-310d.so” instead of “.so”). Previously only Linux, Mac and VxWorks were using a value for “EXT_SUFFIX” that included “SOABI”.

bpo-42598 [https://bugs.python.org/issue?@action=redirect&bpo=42598]: Fix implicit function declarations in configure which could have resulted in incorrect configuration checks. Patch contributed by Joshua Root.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Enable libpython3.so for VxWorks.

bpo-29076 [https://bugs.python.org/issue?@action=redirect&bpo=29076]: Add fish shell support to macOS installer.

macOS

bpo-42361 [https://bugs.python.org/issue?@action=redirect&bpo=42361]: Update macOS installer build to use Tcl/Tk 8.6.11 (rc2, expected to be final release).

bpo-41837 [https://bugs.python.org/issue?@action=redirect&bpo=41837]: Update macOS installer build to use OpenSSL 1.1.1i.

bpo-42584 [https://bugs.python.org/issue?@action=redirect&bpo=42584]: Update macOS installer to use SQLite 3.34.0.

Tools/Demos

bpo-42726 [https://bugs.python.org/issue?@action=redirect&bpo=42726]: Fixed Python 3 compatibility issue with gdb/libpython.py handling of attribute dictionaries.

bpo-42613 [https://bugs.python.org/issue?@action=redirect&bpo=42613]: Fix freeze.py tool to use the prope config and library directories. Patch by Victor Stinner.

C API

bpo-42591 [https://bugs.python.org/issue?@action=redirect&bpo=42591]: Export the Py_FrozenMain() function: fix a Python 3.9.0 regression. Python 3.9 uses -fvisibility=hidden and the function was not exported explicitly and so not exported.

bpo-32381 [https://bugs.python.org/issue?@action=redirect&bpo=32381]: Remove the private _Py_fopen() function which is no longer needed. Use _Py_wfopen() or _Py_fopen_obj() instead. Patch by Victor Stinner.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port resource extension module to module state

bpo-42111 [https://bugs.python.org/issue?@action=redirect&bpo=42111]: Update the xxlimited module to be a better example of how to use the limited C API.

bpo-40052 [https://bugs.python.org/issue?@action=redirect&bpo=40052]: Fix an alignment build warning/error in function PyVectorcall_Function(). Patch by Andreas Schneider, Antoine Pitrou and Petr Viktorin.

Python 3.10.0 alpha 3

Release date: 2020-12-07

Security

bpo-40791 [https://bugs.python.org/issue?@action=redirect&bpo=40791]: Add volatile to the accumulator variable in hmac.compare_digest, making constant-time-defeating optimizations less likely.

Core and Builtins

bpo-42576 [https://bugs.python.org/issue?@action=redirect&bpo=42576]: types.GenericAlias will now raise a TypeError when attempting to initialize with a keyword argument. Previously, this would cause the interpreter to crash if the interpreter was compiled with debug symbols. This does not affect interpreters compiled for release. Patch by Ken Jin.

bpo-42536 [https://bugs.python.org/issue?@action=redirect&bpo=42536]: Several built-in and standard library types now ensure that their internal result tuples are always tracked by the garbage collector:

collections.OrderedDict.items()

dict.items()

enumerate()

functools.reduce()

itertools.combinations()

itertools.combinations_with_replacement()

itertools.permutations()

itertools.product()

itertools.zip_longest()

zip()

Previously, they could have become untracked by a prior garbage collection. Patch by Brandt Bucher.

bpo-42500 [https://bugs.python.org/issue?@action=redirect&bpo=42500]: Improve handling of exceptions near recursion limit. Converts a number of Fatal Errors in RecursionErrors.

bpo-42246 [https://bugs.python.org/issue?@action=redirect&bpo=42246]: PEP 626: After a return, the f_lineno attribute of a frame is always the last line executed.

bpo-42435 [https://bugs.python.org/issue?@action=redirect&bpo=42435]: Speed up comparison of bytes objects with non-bytes objects when option -b is specified. Speed up comparison of bytarray objects with non-buffer object.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _warnings extension module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]). Patch by Victor Stinner.

bpo-41686 [https://bugs.python.org/issue?@action=redirect&bpo=41686]: On Windows, the SIGINT event, _PyOS_SigintEvent(), is now created even if Python is configured to not install signal handlers (if PyConfig.install_signal_handlers equals to 0, or Py_InitializeEx(0)).

bpo-42381 [https://bugs.python.org/issue?@action=redirect&bpo=42381]: Allow assignment expressions in set literals and set comprehensions as per PEP 572. Patch by Pablo Galindo.

bpo-42202 [https://bugs.python.org/issue?@action=redirect&bpo=42202]: Change function parameters annotations internal representation to tuple of strings. Patch provided by Yurii Karabas.

bpo-42374 [https://bugs.python.org/issue?@action=redirect&bpo=42374]: Fix a regression introduced by the new parser, where an unparenthesized walrus operator was not allowed within generator expressions.

bpo-42316 [https://bugs.python.org/issue?@action=redirect&bpo=42316]: Allow an unparenthesized walrus in subscript indexes.

bpo-42349 [https://bugs.python.org/issue?@action=redirect&bpo=42349]: Make sure that the compiler front-end produces a well-formed control flow graph. Be more aggressive in the compiler back-end, as it is now safe to do so.

bpo-42296 [https://bugs.python.org/issue?@action=redirect&bpo=42296]: On Windows, fix a regression in signal handling which prevented to interrupt a program using CTRL+C. The signal handler can be run in a thread different than the Python thread, in which case the test deciding if the thread can handle signals is wrong.

bpo-42332 [https://bugs.python.org/issue?@action=redirect&bpo=42332]: types.GenericAlias objects can now be the targets of weakrefs.

bpo-42282 [https://bugs.python.org/issue?@action=redirect&bpo=42282]: Optimise constant subexpressions that appear as part of named expressions (previously the AST optimiser did not descend into named expressions). Patch by Nick Coghlan.

bpo-42266 [https://bugs.python.org/issue?@action=redirect&bpo=42266]: Fixed a bug with the LOAD_ATTR opcode cache that was not respecting monkey-patching a class-level attribute to make it a descriptor. Patch by Pablo Galindo.

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert queue to use heap types.

bpo-42246 [https://bugs.python.org/issue?@action=redirect&bpo=42246]: Improved accuracy of line tracing events and f_lineno attribute of Frame objects. See PEP 626 for details.

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert mmap to use heap types.

bpo-42233 [https://bugs.python.org/issue?@action=redirect&bpo=42233]: Allow GenericAlias objects to use union type expressions. This allows expressions like list[int] | dict[float, str] where previously a TypeError would have been thrown. This also fixes union type expressions not de-duplicating GenericAlias objects. (Contributed by Ken Jin in bpo-42233 [https://bugs.python.org/issue?@action=redirect&bpo=42233].)

bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131]: The import system triggers a ImportWarning when it falls back to using load_module().

Library

bpo-5054 [https://bugs.python.org/issue?@action=redirect&bpo=5054]: CGIHTTPRequestHandler.run_cgi() HTTP_ACCEPT improperly parsed. Replace the special purpose getallmatchingheaders with generic get_all method and add relevant tests.

Original Patch by Martin Panter. Modified by Senthil Kumaran.

bpo-42562 [https://bugs.python.org/issue?@action=redirect&bpo=42562]: Fix issue when dis failed to parse function that has no line numbers. Patch provided by Yurii Karabas.

bpo-17735 [https://bugs.python.org/issue?@action=redirect&bpo=17735]: inspect.findsource() now raises OSError instead of IndexError when co_lineno of a code object is greater than the file length. This can happen, for example, when a file is edited after it was imported. PR by Irit Katriel.

bpo-42116 [https://bugs.python.org/issue?@action=redirect&bpo=42116]: Fix handling of trailing comments by inspect.getsource().

bpo-42532 [https://bugs.python.org/issue?@action=redirect&bpo=42532]: Remove unexpected call of __bool__ when passing a spec_arg argument to a Mock.

bpo-38200 [https://bugs.python.org/issue?@action=redirect&bpo=38200]: Added itertools.pairwise()

bpo-41818 [https://bugs.python.org/issue?@action=redirect&bpo=41818]: Fix test_master_read() so that it succeeds on all platforms that either raise OSError or return b”” upon reading from master.

bpo-42487 [https://bugs.python.org/issue?@action=redirect&bpo=42487]: ChainMap.__iter__ no longer calls __getitem__ on underlying maps

bpo-42482 [https://bugs.python.org/issue?@action=redirect&bpo=42482]: TracebackException no longer holds a reference to the exception’s traceback object. Consequently, instances of TracebackException for equivalent but non-equal exceptions now compare as equal.

bpo-41818 [https://bugs.python.org/issue?@action=redirect&bpo=41818]: Make test_openpty() avoid unexpected success due to number of rows and/or number of columns being == 0.

bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392]: Remove loop parameter from asyncio.subprocess and asyncio.tasks functions. Patch provided by Yurii Karabas.

bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392]: Remove loop parameter from asyncio.open_connection and asyncio.start_server functions. Patch provided by Yurii Karabas.

bpo-28468 [https://bugs.python.org/issue?@action=redirect&bpo=28468]: Add platform.freedesktop_os_release() function to parse freedesktop.org os-release files.

bpo-42299 [https://bugs.python.org/issue?@action=redirect&bpo=42299]: Removed the formatter module, which was deprecated in Python 3.4. It is somewhat obsolete, little used, and not tested. It was originally scheduled to be removed in Python 3.6, but such removals were delayed until after Python 2.7 EOL. Existing users should copy whatever classes they use into their code. Patch by Donghee Na and and Terry J. Reedy.

bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131]: Deprecate zipimport.zipimporter.load_module() in favour of exec_module().

bpo-41818 [https://bugs.python.org/issue?@action=redirect&bpo=41818]: Updated tests for the pty library. test_basic() has been changed to test_openpty(); this additionally checks if slave termios and slave winsize are being set properly by pty.openpty(). In order to add support for FreeBSD, NetBSD, OpenBSD, and Darwin, this also adds test_master_read(), which demonstrates that pty.spawn() should not depend on an OSError to exit from its copy loop.

bpo-42392 [https://bugs.python.org/issue?@action=redirect&bpo=42392]: Remove loop parameter from __init__ in all asyncio.locks and asyncio.Queue classes. Patch provided by Yurii Karabas.

bpo-15450 [https://bugs.python.org/issue?@action=redirect&bpo=15450]: Make filecmp.dircmp respect subclassing. Now the filecmp.dircmp.subdirs behaves as expected when subclassing dircmp.

bpo-42413 [https://bugs.python.org/issue?@action=redirect&bpo=42413]: The exception socket.timeout is now an alias of TimeoutError.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Support signal module on VxWorks.

bpo-42406 [https://bugs.python.org/issue?@action=redirect&bpo=42406]: We fixed an issue in pickle.whichmodule in which importing multiprocessing could change the how pickle identifies which module an object belongs to, potentially breaking the unpickling of those objects.

bpo-42403 [https://bugs.python.org/issue?@action=redirect&bpo=42403]: Simplify the importlib external bootstrap code: importlib._bootstrap_external now uses regular imports to import builtin modules. When it is imported, the builtin __import__() function is already fully working and so can be used to import builtin modules like sys. Patch by Victor Stinner.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Convert _sre module types to heap types (PEP 384). Patch by Erlend E. Aasland.

bpo-42375 [https://bugs.python.org/issue?@action=redirect&bpo=42375]: subprocess module update for DragonFlyBSD support.

bpo-41713 [https://bugs.python.org/issue?@action=redirect&bpo=41713]: Port the _signal extension module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]). Patch by Victor Stinner and Mohamed Koubaa.

bpo-37205 [https://bugs.python.org/issue?@action=redirect&bpo=37205]: time.time(), time.perf_counter() and time.monotonic() functions can no longer fail with a Python fatal error, instead raise a regular Python exception on failure.

bpo-42328 [https://bugs.python.org/issue?@action=redirect&bpo=42328]: Fixed tkinter.ttk.Style.map(). The function accepts now the representation of the default state as empty sequence (as returned by Style.map()). The structure of the result is now the same on all platform and does not depend on the value of wantobjects.

bpo-42345 [https://bugs.python.org/issue?@action=redirect&bpo=42345]: Fix various issues with typing.Literal parameter handling (flatten, deduplicate, use type to cache key). Patch provided by Yurii Karabas.

bpo-37205 [https://bugs.python.org/issue?@action=redirect&bpo=37205]: time.perf_counter() on Windows and time.monotonic() on macOS are now system-wide. Previously, they used an offset computed at startup to reduce the precision loss caused by the float type. Use time.perf_counter_ns() and time.monotonic_ns() added in Python 3.7 to avoid this precision loss.

bpo-42318 [https://bugs.python.org/issue?@action=redirect&bpo=42318]: Fixed support of non-BMP characters in tkinter on macOS.

bpo-42350 [https://bugs.python.org/issue?@action=redirect&bpo=42350]: Fix the threading.Thread class at fork: do nothing if the thread is already stopped (ex: fork called at Python exit). Previously, an error was logged in the child process.

bpo-42333 [https://bugs.python.org/issue?@action=redirect&bpo=42333]: Port _ssl extension module to heap types.

bpo-42014 [https://bugs.python.org/issue?@action=redirect&bpo=42014]: The onerror callback from shutil.rmtree now receives correct function when os.open fails.

bpo-42237 [https://bugs.python.org/issue?@action=redirect&bpo=42237]: Fix os.sendfile() on illumos.

bpo-42308 [https://bugs.python.org/issue?@action=redirect&bpo=42308]: Add threading.__excepthook__ to allow retrieving the original value of threading.excepthook() in case it is set to a broken or a different value. Patch by Mario Corchero.

bpo-42131 [https://bugs.python.org/issue?@action=redirect&bpo=42131]: Implement PEP 451/spec methods on zipimport.zipimporter: find_spec(), create_module(), and exec_module().

This also allows for the documented deprecation of find_loader(), find_module(), and load_module().

bpo-41877 [https://bugs.python.org/issue?@action=redirect&bpo=41877]: Mock objects which are not unsafe will now raise an AttributeError if an attribute with the prefix asert, aseert, or assrt is accessed, in addition to this already happening for the prefixes assert or assret.

bpo-42264 [https://bugs.python.org/issue?@action=redirect&bpo=42264]: sqlite3.OptimizedUnicode has been undocumented and obsolete since Python 3.3, when it was made an alias to str. It is now deprecated, scheduled for removal in Python 3.12.

bpo-42251 [https://bugs.python.org/issue?@action=redirect&bpo=42251]: Added threading.gettrace() and threading.getprofile() to retrieve the functions set by threading.settrace() and threading.setprofile() respectively. Patch by Mario Corchero.

bpo-42249 [https://bugs.python.org/issue?@action=redirect&bpo=42249]: Fixed writing binary Plist files larger than 4 GiB.

bpo-42236 [https://bugs.python.org/issue?@action=redirect&bpo=42236]: On Unix, the os.device_encoding() function now returns 'UTF-8' rather than the device encoding if the Python UTF-8 Mode is enabled.

bpo-41754 [https://bugs.python.org/issue?@action=redirect&bpo=41754]: webbrowser: Ignore NotADirectoryError when calling xdg-settings.

bpo-42183 [https://bugs.python.org/issue?@action=redirect&bpo=42183]: Fix a stack overflow error for asyncio Task or Future repr().

The overflow occurs under some circumstances when a Task or Future recursively returns itself.

bpo-42140 [https://bugs.python.org/issue?@action=redirect&bpo=42140]: Improve asyncio.wait function to create the futures set just one time.

bpo-42133 [https://bugs.python.org/issue?@action=redirect&bpo=42133]: Update various modules in the stdlib to fall back on __spec__.loader when __loader__ isn’t defined on a module.

bpo-26131 [https://bugs.python.org/issue?@action=redirect&bpo=26131]: The load_module() methods found in importlib now trigger a DeprecationWarning.

bpo-39825 [https://bugs.python.org/issue?@action=redirect&bpo=39825]: Windows: Change sysconfig.get_config_var('EXT_SUFFIX') to the expected full platform_tag.extension format. Previously it was hard-coded to .pyd, now it is compatible with distutils.sysconfig and will result in something like .cp38-win_amd64.pyd. This brings windows into conformance with the other platforms.

bpo-26389 [https://bugs.python.org/issue?@action=redirect&bpo=26389]: The traceback.format_exception(), traceback.format_exception_only(), and traceback.print_exception() functions can now take an exception object as a positional-only argument.

bpo-41889 [https://bugs.python.org/issue?@action=redirect&bpo=41889]: Enum: fix regression involving inheriting a multiply inherited enum

bpo-41861 [https://bugs.python.org/issue?@action=redirect&bpo=41861]: Convert sqlite3 to use heap types (PEP 384). Patch by Erlend E. Aasland.

bpo-40624 [https://bugs.python.org/issue?@action=redirect&bpo=40624]: Added support for the XPath != operator in xml.etree

bpo-28850 [https://bugs.python.org/issue?@action=redirect&bpo=28850]: Fix pprint.PrettyPrinter.format() overrides being ignored for contents of small containers. The pprint._safe_repr() function was removed.

bpo-41625 [https://bugs.python.org/issue?@action=redirect&bpo=41625]: Expose the splice() as os.splice() in the os module. Patch by Pablo Galindo

bpo-34215 [https://bugs.python.org/issue?@action=redirect&bpo=34215]: Clarify the error message for asyncio.IncompleteReadError when expected is None.

bpo-41543 [https://bugs.python.org/issue?@action=redirect&bpo=41543]: Add async context manager support for contextlib.nullcontext.

bpo-21041 [https://bugs.python.org/issue?@action=redirect&bpo=21041]: pathlib.PurePath.parents now supports negative indexing. Patch contributed by Yaroslav Pankovych.

bpo-41332 [https://bugs.python.org/issue?@action=redirect&bpo=41332]: Added missing connect_accepted_socket() method to asyncio.AbstractEventLoop.

bpo-12800 [https://bugs.python.org/issue?@action=redirect&bpo=12800]: Extracting a symlink from a tarball should succeed and overwrite the symlink if it already exists. The fix is to remove the existing file or symlink before extraction. Based on patch by Chris AtLee, Jeffrey Kintscher, and Senthil Kumaran.

bpo-40968 [https://bugs.python.org/issue?@action=redirect&bpo=40968]: urllib.request and http.client now send http/1.1 ALPN extension during TLS handshake when no custom context is supplied.

bpo-41001 [https://bugs.python.org/issue?@action=redirect&bpo=41001]: Add os.eventfd() to provide a low level interface for Linux’s event notification file descriptor.

bpo-40816 [https://bugs.python.org/issue?@action=redirect&bpo=40816]: Add AsyncContextDecorator to contextlib to support async context manager as a decorator.

bpo-40550 [https://bugs.python.org/issue?@action=redirect&bpo=40550]: Fix time-of-check/time-of-action issue in subprocess.Popen.send_signal.

bpo-39411 [https://bugs.python.org/issue?@action=redirect&bpo=39411]: Add an is_async identifier to pyclbr’s Function objects. Patch by Batuhan Taskaya

bpo-35498 [https://bugs.python.org/issue?@action=redirect&bpo=35498]: Add slice support to pathlib.PurePath.parents.

Documentation

bpo-42238 [https://bugs.python.org/issue?@action=redirect&bpo=42238]: Tentative to deprecate make suspicious by first removing it from the CI and documentation builds, but keeping it around for manual uses.

bpo-42153 [https://bugs.python.org/issue?@action=redirect&bpo=42153]: Fix the URL for the IMAP protocol documents.

bpo-41028 [https://bugs.python.org/issue?@action=redirect&bpo=41028]: Language and version switchers, previously maintained in every cpython branches, are now handled by docsbuild-script.

Tests

bpo-41473 [https://bugs.python.org/issue?@action=redirect&bpo=41473]: Re-enable test_gdb on gdb 9.2 and newer: https://bugzilla.redhat.com/show_bug.cgi?id=1866884 bug is fixed in gdb 10.1.

bpo-42553 [https://bugs.python.org/issue?@action=redirect&bpo=42553]: Fix test_asyncio.test_call_later() race condition: don’t measure asyncio performance in the call_later() unit test. The test failed randomly on the CI.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix test_netrc on VxWorks: create temporary directories using temp_cwd().

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: skip test_getaddrinfo_ipv6_scopeid_symbolic and test_getnameinfo_ipv6_scopeid_symbolic on VxWorks

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: skip test_test of test_mailcap on VxWorks

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: add shell requirement for test_pipes

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: skip some tests related to fifo on VxWorks

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix test_doctest.py failures for VxWorks.

bpo-40754 [https://bugs.python.org/issue?@action=redirect&bpo=40754]: Include _testinternalcapi module in Windows installer for test suite

bpo-41561 [https://bugs.python.org/issue?@action=redirect&bpo=41561]: test_ssl: skip test_min_max_version_mismatch when TLS 1.0 is not available

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix os module failures for VxWorks RTOS.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix fifo test cases for VxWorks RTOS.

Build

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: remove libnet dependency from detect_socket() for VxWorks

bpo-42398 [https://bugs.python.org/issue?@action=redirect&bpo=42398]: Fix a race condition in “make regen-all” when make -jN option is used to run jobs in parallel. The clinic.py script now only use atomic write to write files. Moveover, generated files are now left unchanged if the content does not change, to not change the file modification time.

bpo-41617 [https://bugs.python.org/issue?@action=redirect&bpo=41617]: Fix building pycore_bitutils.h internal header on old clang version without __builtin_bswap16() (ex: Xcode 4.6.3 on Mac OS X 10.7). Patch by Joshua Root and Victor Stinner.

bpo-38823 [https://bugs.python.org/issue?@action=redirect&bpo=38823]: It is no longer possible to build the _ctypes extension module without wchar_t type: remove CTYPES_UNICODE macro. Anyway, the wchar_t type is required to build Python. Patch by Victor Stinner.

bpo-42087 [https://bugs.python.org/issue?@action=redirect&bpo=42087]: Support was removed for AIX 5.3 and below. See bpo-40680 [https://bugs.python.org/issue?@action=redirect&bpo=40680].

bpo-40998 [https://bugs.python.org/issue?@action=redirect&bpo=40998]: Addressed three compiler warnings found by undefined behavior sanitizer (ubsan).

Windows

bpo-42120 [https://bugs.python.org/issue?@action=redirect&bpo=42120]: Remove macro definition of copysign (to _copysign) in headers.

bpo-38506 [https://bugs.python.org/issue?@action=redirect&bpo=38506]: The Windows launcher now properly handles Python 3.10 when listing installed Python versions.

macOS

bpo-42504 [https://bugs.python.org/issue?@action=redirect&bpo=42504]: Fix build on macOS Big Sur when MACOSX_DEPLOYMENT_TARGET=11

bpo-41116 [https://bugs.python.org/issue?@action=redirect&bpo=41116]: Ensure distutils.unixxcompiler.find_library_file can find system provided libraries on macOS 11.

bpo-41100 [https://bugs.python.org/issue?@action=redirect&bpo=41100]: Add support for macOS 11 and Apple Silicon systems.

It is now possible to build “Universal 2” binaries using “–enable-universalsdk –with-universal-archs=universal2”.

Binaries build on later macOS versions can be deployed back to older versions (tested up to macOS 10.9), when using the correct deployment target. This is tested using Xcode 11 and later.

bpo-42232 [https://bugs.python.org/issue?@action=redirect&bpo=42232]: Added Darwin specific madvise options to mmap module.

bpo-38443 [https://bugs.python.org/issue?@action=redirect&bpo=38443]: The --enable-universalsdk and --with-universal-archs options for the configure script now check that the specified architectures can be used.

IDLE

bpo-42508 [https://bugs.python.org/issue?@action=redirect&bpo=42508]: Keep IDLE running on macOS. Remove obsolete workaround that prevented running files with shortcuts when using new universal2 installers built on macOS 11.

bpo-42426 [https://bugs.python.org/issue?@action=redirect&bpo=42426]: Fix reporting offset of the RE error in searchengine.

bpo-42415 [https://bugs.python.org/issue?@action=redirect&bpo=42415]: Get docstrings for IDLE calltips more often by using inspect.getdoc.

Tools/Demos

bpo-42212 [https://bugs.python.org/issue?@action=redirect&bpo=42212]: The smelly.py script now also checks the Python dynamic library and extension modules, not only the Python static library. Make also the script more verbose: explain what it does.

bpo-36310 [https://bugs.python.org/issue?@action=redirect&bpo=36310]: Allow Tools/i18n/pygettext.py to detect calls to gettext in f-strings.

C API

bpo-42423 [https://bugs.python.org/issue?@action=redirect&bpo=42423]: The PyType_FromSpecWithBases() and PyType_FromModuleAndSpec() functions now accept a single class as the bases argument.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port select extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _posixsubprocess extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _posixshmem extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _struct extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port spwd extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port gc extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _queue extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Convert Py_TYPE() and Py_SIZE() back to macros to allow using them as an l-value. Many third party C extension modules rely on the ability of using Py_TYPE() and Py_SIZE() to set an object type and size: Py_TYPE(obj) = type; and Py_SIZE(obj) = size;.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port symtable extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port grp and pwd extension modules to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _random extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _hashlib extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/])

bpo-41713 [https://bugs.python.org/issue?@action=redirect&bpo=41713]: Removed the undocumented PyOS_InitInterrupts() function. Initializing Python already implicitly installs signal handlers: see PyConfig.install_signal_handlers. Patch by Victor Stinner.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: The Py_TRASHCAN_BEGIN macro no longer accesses PyTypeObject attributes, but now can get the condition by calling the new private _PyTrash_cond() function which hides implementation details.

bpo-42260 [https://bugs.python.org/issue?@action=redirect&bpo=42260]: Py_GetPath(), Py_GetPrefix(), Py_GetExecPrefix(), Py_GetProgramFullPath(), Py_GetPythonHome() and Py_GetProgramName() functions now return NULL if called before Py_Initialize() (before Python is initialized). Use the new Python Initialization Configuration API to get the Python Path Configuration.. Patch by Victor Stinner.

bpo-42260 [https://bugs.python.org/issue?@action=redirect&bpo=42260]: The PyConfig_Read() function now only parses PyConfig.argv arguments once: PyConfig.parse_argv is set to 2 after arguments are parsed. Since Python arguments are strippped from PyConfig.argv, parsing arguments twice would parse the application options as Python options.

bpo-42262 [https://bugs.python.org/issue?@action=redirect&bpo=42262]: Added Py_NewRef() and Py_XNewRef() functions to increment the reference count of an object and return the object. Patch by Victor Stinner.

bpo-42260 [https://bugs.python.org/issue?@action=redirect&bpo=42260]: When Py_Initialize() is called twice, the second call now updates more sys attributes for the configuration, rather than only sys.argv. Patch by Victor Stinner.

bpo-41832 [https://bugs.python.org/issue?@action=redirect&bpo=41832]: The PyType_FromModuleAndSpec() function now accepts NULL tp_doc slot.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Added PyModule_AddObjectRef() function: similar to PyModule_AddObject() but don’t steal a reference to the value on success. Patch by Victor Stinner.

bpo-42171 [https://bugs.python.org/issue?@action=redirect&bpo=42171]: The METH_FASTCALL calling convention is added to the limited API. The functions PyModule_AddType(), PyType_FromModuleAndSpec(), PyType_GetModule() and PyType_GetModuleState() are added to the limited API on Windows.

bpo-42085 [https://bugs.python.org/issue?@action=redirect&bpo=42085]: Add dedicated entry to PyAsyncMethods for sending values

bpo-41073 [https://bugs.python.org/issue?@action=redirect&bpo=41073]: PyType_GetSlot() can now accept static types.

bpo-30459 [https://bugs.python.org/issue?@action=redirect&bpo=30459]: PyList_SET_ITEM(), PyTuple_SET_ITEM() and PyCell_SET() macros can no longer be used as l-value or r-value. For example, x = PyList_SET_ITEM(a, b, c) and PyList_SET_ITEM(a, b, c) = x now fail with a compiler error. It prevents bugs like if (PyList_SET_ITEM (a, b, c) < 0) ... test. Patch by Zackery Spytz and Victor Stinner.

Python 3.10.0 alpha 2

Release date: 2020-11-03

Security

bpo-42103 [https://bugs.python.org/issue?@action=redirect&bpo=42103]: Prevented potential DoS attack via CPU and RAM exhaustion when processing malformed Apple Property List files in binary format.

bpo-42051 [https://bugs.python.org/issue?@action=redirect&bpo=42051]: The plistlib module no longer accepts entity declarations in XML plist files to avoid XML vulnerabilities. This should not affect users as entity declarations are not used in regular plist files.

Core and Builtins

bpo-42236 [https://bugs.python.org/issue?@action=redirect&bpo=42236]: If the nl_langinfo(CODESET) function returns an empty string, Python now uses UTF-8 as the filesystem encoding. Patch by Victor Stinner.

bpo-42218 [https://bugs.python.org/issue?@action=redirect&bpo=42218]: Fixed a bug in the PEG parser that was causing crashes in debug mode. Now errors are checked in left-recursive rules to avoid cases where such errors do not get handled in time and appear as long-distance crashes in other places.

bpo-42214 [https://bugs.python.org/issue?@action=redirect&bpo=42214]: Fixed a possible crash in the PEG parser when checking for the ‘!=’ token in the barry_as_flufl rule. Patch by Pablo Galindo.

bpo-42206 [https://bugs.python.org/issue?@action=redirect&bpo=42206]: Propagate and raise the errors caused by PyAST_Validate() in the parser.

bpo-41796 [https://bugs.python.org/issue?@action=redirect&bpo=41796]: The ast module internal state is now per interpreter. Patch by Victor Stinner.

bpo-42143 [https://bugs.python.org/issue?@action=redirect&bpo=42143]: Fix handling of errors during creation of PyFunctionObject, which resulted in operations on uninitialized memory. Patch by Yonatan Goldschmidt.

bpo-41659 [https://bugs.python.org/issue?@action=redirect&bpo=41659]: Fix a bug in the parser, where a curly brace following a primary didn’t fail immediately. This led to invalid expressions like a {b} to throw a SyntaxError with a wrong offset, or invalid expressions ending with a curly brace like a { to not fail immediately in the REPL.

bpo-42150 [https://bugs.python.org/issue?@action=redirect&bpo=42150]: Fix possible buffer overflow in the new parser when checking for continuation lines. Patch by Pablo Galindo.

bpo-42123 [https://bugs.python.org/issue?@action=redirect&bpo=42123]: Run the parser two times. On the first run, disable all the rules that only generate better error messages to gain performance. If there’s a parse failure, run the parser a second time with those enabled.

bpo-42093 [https://bugs.python.org/issue?@action=redirect&bpo=42093]: The LOAD_ATTR instruction now uses new “per opcode cache” mechanism and it is about 36% faster now. Patch by Pablo Galindo and Yury Selivanov.

bpo-42030 [https://bugs.python.org/issue?@action=redirect&bpo=42030]: Support for the legacy AIX-specific shared library loading support has been removed. All versions of AIX since 4.3 have supported and defaulted to using the common Unix mechanism instead.

bpo-41984 [https://bugs.python.org/issue?@action=redirect&bpo=41984]: The garbage collector now tracks all user-defined classes. Patch by Brandt Bucher.

bpo-41993 [https://bugs.python.org/issue?@action=redirect&bpo=41993]: Fixed potential issues with removing not completely initialized module from sys.modules when import fails.

bpo-41979 [https://bugs.python.org/issue?@action=redirect&bpo=41979]: Star-unpacking is now allowed for with item’s targets in the PEG parser.

bpo-41974 [https://bugs.python.org/issue?@action=redirect&bpo=41974]: Removed special methods __int__, __float__, __floordiv__, __mod__, __divmod__, __rfloordiv__, __rmod__ and __rdivmod__ of the complex class. They always raised a TypeError.

bpo-41902 [https://bugs.python.org/issue?@action=redirect&bpo=41902]: Micro optimization when compute sq_item and mp_subscript of range. Patch by Donghee Na.

bpo-41894 [https://bugs.python.org/issue?@action=redirect&bpo=41894]: When loading a native module and a load failure occurs, prevent a possible UnicodeDecodeError when not running in a UTF-8 locale by decoding the load error message using the current locale’s encoding.

bpo-41902 [https://bugs.python.org/issue?@action=redirect&bpo=41902]: Micro optimization for range.index if step is 1. Patch by Donghee Na.

bpo-41435 [https://bugs.python.org/issue?@action=redirect&bpo=41435]: Add sys._current_exceptions() function to retrieve a dictionary mapping each thread’s identifier to the topmost exception currently active in that thread at the time the function is called.

bpo-38605 [https://bugs.python.org/issue?@action=redirect&bpo=38605]: Enable from __future__ import annotations (PEP 563 [https://peps.python.org/pep-0563/]) by default. The values found in __annotations__ dicts are now strings, for example {"x": "int"} instead of {"x": int}.

Library

bpo-35455 [https://bugs.python.org/issue?@action=redirect&bpo=35455]: On Solaris, thread_time() is now implemented with gethrvtime() because clock_gettime(CLOCK_THREAD_CPUTIME_ID) is not always available. Patch by Jakub Kulik.

bpo-42233 [https://bugs.python.org/issue?@action=redirect&bpo=42233]: The repr() of typing types containing Generic Alias Types previously did not show the parameterized types in the GenericAlias. They have now been changed to do so.

bpo-29566 [https://bugs.python.org/issue?@action=redirect&bpo=29566]: binhex.binhex() consistently writes macOS 9 line endings.

bpo-26789 [https://bugs.python.org/issue?@action=redirect&bpo=26789]: The logging.FileHandler class now keeps a reference to the builtin open() function to be able to open or reopen the file during Python finalization. Fix errors like: NameError: name 'open' is not defined. Patch by Victor Stinner.

bpo-42157 [https://bugs.python.org/issue?@action=redirect&bpo=42157]: Removed the unicodedata.ucnhash_CAPI attribute which was an internal PyCapsule object. The related private _PyUnicode_Name_CAPI structure was moved to the internal C API. Patch by Victor Stinner.

bpo-42157 [https://bugs.python.org/issue?@action=redirect&bpo=42157]: Convert the unicodedata extension module to the multiphase initialization API (PEP 489 [https://peps.python.org/pep-0489/]) and convert the unicodedata.UCD static type to a heap type. Patch by Mohamed Koubaa and Victor Stinner.

bpo-42146 [https://bugs.python.org/issue?@action=redirect&bpo=42146]: Fix memory leak in subprocess.Popen() in case an uid (gid) specified in user (group, extra_groups) overflows uid_t (gid_t).

bpo-42103 [https://bugs.python.org/issue?@action=redirect&bpo=42103]: InvalidFileException and RecursionError are now the only errors caused by loading malformed binary Plist file (previously ValueError and TypeError could be raised in some specific cases).

bpo-41490 [https://bugs.python.org/issue?@action=redirect&bpo=41490]: In importlib.resources, .path method is more aggressive about releasing handles to zipfile objects early, enabling use-cases like certifi to leave the context open but delete the underlying zip file.

bpo-41052 [https://bugs.python.org/issue?@action=redirect&bpo=41052]: Pickling heap types implemented in C with protocols 0 and 1 raises now an error instead of producing incorrect data.

bpo-42089 [https://bugs.python.org/issue?@action=redirect&bpo=42089]: In importlib.metadata.PackageNotFoundError, make reference to the package metadata being missing to improve the user experience.

bpo-41491 [https://bugs.python.org/issue?@action=redirect&bpo=41491]: plistlib: fix parsing XML plists with hexadecimal integer values

bpo-42065 [https://bugs.python.org/issue?@action=redirect&bpo=42065]: Fix an incorrectly formatted error from _codecs.charmap_decode() when called with a mapped value outside the range of valid Unicode code points. PR by Max Bernstein.

bpo-41966 [https://bugs.python.org/issue?@action=redirect&bpo=41966]: Fix pickling pure Python datetime.time subclasses. Patch by Dean Inwood.

bpo-19270 [https://bugs.python.org/issue?@action=redirect&bpo=19270]: sched.scheduler.cancel() will now cancel the correct event, if two events with same priority are scheduled for the same time. Patch by Bar Harel.

bpo-28660 [https://bugs.python.org/issue?@action=redirect&bpo=28660]: textwrap.wrap() now attempts to break long words after hyphens when break_long_words=True and break_on_hyphens=True.

bpo-35823 [https://bugs.python.org/issue?@action=redirect&bpo=35823]: Use vfork() instead of fork() for subprocess.Popen() on Linux to improve performance in cases where it is deemed safe.

bpo-42043 [https://bugs.python.org/issue?@action=redirect&bpo=42043]: Add support for zipfile.Path inheritance. zipfile.Path.is_file() now returns False for non-existent names. zipfile.Path objects now expose a .filename attribute and rely on that to resolve .name and .parent when the Path object is at the root of the zipfile.

bpo-42021 [https://bugs.python.org/issue?@action=redirect&bpo=42021]: Fix possible ref leaks in sqlite3 module init.

bpo-39101 [https://bugs.python.org/issue?@action=redirect&bpo=39101]: Fixed tests using IsolatedAsyncioTestCase from hanging on BaseExceptions.

bpo-41976 [https://bugs.python.org/issue?@action=redirect&bpo=41976]: Fixed a bug that was causing ctypes.util.find_library() to return None when triying to locate a library in an environment when gcc>=9 is available and ldconfig is not. Patch by Pablo Galindo

bpo-41943 [https://bugs.python.org/issue?@action=redirect&bpo=41943]: Fix bug where TestCase.assertLogs doesn’t correctly filter messages by level.

bpo-41923 [https://bugs.python.org/issue?@action=redirect&bpo=41923]: Implement PEP 613 [https://peps.python.org/pep-0613/], introducing typing.TypeAlias annotation.

bpo-41905 [https://bugs.python.org/issue?@action=redirect&bpo=41905]: A new function in abc: update_abstractmethods to re-calculate an abstract class’s abstract status. In addition, dataclass has been changed to call this function.

bpo-23706 [https://bugs.python.org/issue?@action=redirect&bpo=23706]: Added newline parameter to pathlib.Path.write_text().

bpo-41876 [https://bugs.python.org/issue?@action=redirect&bpo=41876]: Tkinter font class repr uses font name

bpo-41831 [https://bugs.python.org/issue?@action=redirect&bpo=41831]: str() for the type attribute of the tkinter.Event object always returns now the numeric code returned by Tk instead of the name of the event type.

bpo-39337 [https://bugs.python.org/issue?@action=redirect&bpo=39337]: encodings.normalize_encoding() now ignores non-ASCII characters.

bpo-41747 [https://bugs.python.org/issue?@action=redirect&bpo=41747]: Ensure all methods that generated from dataclasses.dataclass() objects now have the proper __qualname__ attribute referring to the class they belong to. Patch by Batuhan Taskaya.

bpo-30681 [https://bugs.python.org/issue?@action=redirect&bpo=30681]: Handle exceptions caused by unparsable date headers when using email “default” policy. Patch by Tim Bell, Georges Toth

bpo-41586 [https://bugs.python.org/issue?@action=redirect&bpo=41586]: Add F_SETPIPE_SZ and F_GETPIPE_SZ to fcntl module. Allow setting pipesize on subprocess.Popen.

bpo-41229 [https://bugs.python.org/issue?@action=redirect&bpo=41229]: Add contextlib.aclosing for deterministic cleanup of async generators which is analogous to contextlib.closing for non-async generators. Patch by Joongi Kim and John Belmonte.

bpo-16396 [https://bugs.python.org/issue?@action=redirect&bpo=16396]: Allow ctypes.wintypes to be imported on non-Windows systems.

bpo-4356 [https://bugs.python.org/issue?@action=redirect&bpo=4356]: Add a key function to the bisect module.

bpo-40592 [https://bugs.python.org/issue?@action=redirect&bpo=40592]: shutil.which() now ignores empty entries in PATHEXT instead of treating them as a match.

bpo-40492 [https://bugs.python.org/issue?@action=redirect&bpo=40492]: Fix --outfile for cProfile / profile not writing the output file in the original directory when the program being profiled changes the working directory. PR by Anthony Sottile.

bpo-34204 [https://bugs.python.org/issue?@action=redirect&bpo=34204]: The shelve module now uses pickle.DEFAULT_PROTOCOL by default instead of pickle protocol 3.

bpo-27321 [https://bugs.python.org/issue?@action=redirect&bpo=27321]: Fixed KeyError exception when flattening an email to a string attempts to replace a non-existent Content-Transfer-Encoding header.

bpo-38976 [https://bugs.python.org/issue?@action=redirect&bpo=38976]: The http.cookiejar module now supports the parsing of cookies in CURL-style cookiejar files through MozillaCookieJar on all platforms. Previously, such cookie entries would be silently ignored when loading a cookiejar with such entries.

Additionally, the HTTP Only attribute is persisted in the object, and will be correctly written to file if the MozillaCookieJar object is subsequently dumped.

Documentation

bpo-42061 [https://bugs.python.org/issue?@action=redirect&bpo=42061]: Document __format__ functionality for IP addresses.

bpo-41910 [https://bugs.python.org/issue?@action=redirect&bpo=41910]: Document the default implementation of object.__eq__.

bpo-42010 [https://bugs.python.org/issue?@action=redirect&bpo=42010]: Clarify that subscription expressions are also valid for certain classes and types in the standard library, and for user-defined classes and types if the classmethod __class_getitem__() is provided.

bpo-41805 [https://bugs.python.org/issue?@action=redirect&bpo=41805]: Documented generic alias type and types.GenericAlias. Also added an entry in glossary for generic types.

bpo-39693 [https://bugs.python.org/issue?@action=redirect&bpo=39693]: Fix tarfile’s extractfile documentation

bpo-39416 [https://bugs.python.org/issue?@action=redirect&bpo=39416]: Document some restrictions on the default string representations of numeric classes.

Tests

bpo-41739 [https://bugs.python.org/issue?@action=redirect&bpo=41739]: Fix test_logging.test_race_between_set_target_and_flush(): the test now waits until all threads complete to avoid leaking running threads.

bpo-41970 [https://bugs.python.org/issue?@action=redirect&bpo=41970]: Avoid a test failure in test_lib2to3 if the module has already imported at the time the test executes. Patch by Pablo Galindo.

bpo-41944 [https://bugs.python.org/issue?@action=redirect&bpo=41944]: Tests for CJK codecs no longer call eval() on content received via HTTP.

bpo-41306 [https://bugs.python.org/issue?@action=redirect&bpo=41306]: Fixed a failure in test_tk.test_widgets.ScaleTest happening when executing the test with Tk 8.6.10.

Build

bpo-38980 [https://bugs.python.org/issue?@action=redirect&bpo=38980]: Add -fno-semantic-interposition to both the compile and link line when building with --enable-optimizations. Patch by Victor Stinner and Pablo Galindo.

Windows

bpo-38439 [https://bugs.python.org/issue?@action=redirect&bpo=38439]: Updates the icons for IDLE in the Windows Store package.

bpo-38252 [https://bugs.python.org/issue?@action=redirect&bpo=38252]: Use 8-byte step to detect ASCII sequence in 64-bit Windows build.

bpo-39107 [https://bugs.python.org/issue?@action=redirect&bpo=39107]: Update Tcl and Tk to 8.6.10 in Windows installer.

bpo-41557 [https://bugs.python.org/issue?@action=redirect&bpo=41557]: Update Windows installer to use SQLite 3.33.0.

bpo-38324 [https://bugs.python.org/issue?@action=redirect&bpo=38324]: Avoid Unicode errors when accessing certain locale data on Windows.

macOS

bpo-41471 [https://bugs.python.org/issue?@action=redirect&bpo=41471]: Ignore invalid prefix lengths in system proxy excludes.

IDLE

bpo-33987 [https://bugs.python.org/issue?@action=redirect&bpo=33987]: Mostly finish using ttk widgets, mainly for editor, settings, and searches. Some patches by Mark Roseman.

bpo-40511 [https://bugs.python.org/issue?@action=redirect&bpo=40511]: Typing opening and closing parentheses inside the parentheses of a function call will no longer cause unnecessary “flashing” off and on of an existing open call-tip, e.g. when typed in a string literal.

bpo-38439 [https://bugs.python.org/issue?@action=redirect&bpo=38439]: Add a 256×256 pixel IDLE icon to the Windows .ico file. Created by Andrew Clover. Remove the low-color gif variations from the .ico file.

C API

bpo-42157 [https://bugs.python.org/issue?@action=redirect&bpo=42157]: The private _PyUnicode_Name_CAPI structure of the PyCapsule API unicodedata.ucnhash_CAPI has been moved to the internal C API. Patch by Victor Stinner.

bpo-42015 [https://bugs.python.org/issue?@action=redirect&bpo=42015]: Fix potential crash in deallocating method objects when dynamically allocated PyMethodDef’s lifetime is managed through the self argument of a PyCFunction.

bpo-40423 [https://bugs.python.org/issue?@action=redirect&bpo=40423]: The subprocess module and os.closerange will now use the close_range(low, high, flags) syscall when it is available for more efficient closing of ranges of descriptors.

bpo-41845 [https://bugs.python.org/issue?@action=redirect&bpo=41845]: PyObject_GenericGetDict() is available again in the limited API when targeting 3.10 or later.

bpo-40422 [https://bugs.python.org/issue?@action=redirect&bpo=40422]: Add _Py_closerange function to provide performant closing of a range of file descriptors.

bpo-41986 [https://bugs.python.org/issue?@action=redirect&bpo=41986]: Py_FileSystemDefaultEncodeErrors and Py_UTF8Mode are available again in limited API.

bpo-41756 [https://bugs.python.org/issue?@action=redirect&bpo=41756]: Add PyIter_Send function to allow sending value into generator/coroutine/iterator without raising StopIteration exception to signal return.

bpo-41784 [https://bugs.python.org/issue?@action=redirect&bpo=41784]: Added PyUnicode_AsUTF8AndSize to the limited C API.

Python 3.10.0 alpha 1

Release date: 2020-10-05

Security

bpo-41304 [https://bugs.python.org/issue?@action=redirect&bpo=41304]: Fixes python3x._pth being ignored on Windows, caused by the fix for bpo-29778 [https://bugs.python.org/issue?@action=redirect&bpo=29778] (CVE 2020-15801 [https://www.cve.org/CVERecord?id=CVE-2020-15801]).

bpo-41162 [https://bugs.python.org/issue?@action=redirect&bpo=41162]: Audit hooks are now cleared later during finalization to avoid missing events.

bpo-29778 [https://bugs.python.org/issue?@action=redirect&bpo=29778]: Ensure python3.dll is loaded from correct locations when Python is embedded (CVE 2020-15523 [https://www.cve.org/CVERecord?id=CVE-2020-15523]).

bpo-41004 [https://bugs.python.org/issue?@action=redirect&bpo=41004]: The __hash__() methods of ipaddress.IPv4Interface and ipaddress.IPv6Interface incorrectly generated constant hash values of 32 and 128 respectively. This resulted in always causing hash collisions. The fix uses hash() to generate hash values for the tuple of (address, mask length, network address).

bpo-39603 [https://bugs.python.org/issue?@action=redirect&bpo=39603]: Prevent http header injection by rejecting control characters in http.client.putrequest(…).

Core and Builtins

bpo-41909 [https://bugs.python.org/issue?@action=redirect&bpo=41909]: Fixed stack overflow in issubclass() and isinstance() when getting the __bases__ attribute leads to infinite recursion.

bpo-41922 [https://bugs.python.org/issue?@action=redirect&bpo=41922]: Speed up calls to reversed() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-41873 [https://bugs.python.org/issue?@action=redirect&bpo=41873]: Calls to float() are now faster due to the vectorcall calling convention. Patch by Dennis Sweeney.

bpo-41870 [https://bugs.python.org/issue?@action=redirect&bpo=41870]: Speed up calls to bool() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _bisect module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39934 [https://bugs.python.org/issue?@action=redirect&bpo=39934]: Correctly count control blocks in ‘except’ in compiler. Ensures that a syntax error, rather a fatal error, occurs for deeply nested, named exception handlers.

bpo-41780 [https://bugs.python.org/issue?@action=redirect&bpo=41780]: Fix __dir__() of types.GenericAlias. Patch by Batuhan Taskaya.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _lsprof extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the cmath extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _scproxy extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the termios extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Convert the _sha256 extension module types to heap types.

bpo-41690 [https://bugs.python.org/issue?@action=redirect&bpo=41690]: Fix a possible stack overflow in the parser when parsing functions and classes with a huge amount of arguments. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _overlapped extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _curses_panel extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _opcode extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-41681 [https://bugs.python.org/issue?@action=redirect&bpo=41681]: Fixes the wrong error description in the error raised by using 2 , in format string in f-string and str.format().

bpo-41675 [https://bugs.python.org/issue?@action=redirect&bpo=41675]: The implementation of signal.siginterrupt() now uses sigaction() (if it is available in the system) instead of the deprecated siginterrupt(). Patch by Pablo Galindo.

bpo-41670 [https://bugs.python.org/issue?@action=redirect&bpo=41670]: Prevent line trace being skipped on platforms not compiled with USE_COMPUTED_GOTOS. Fixes issue where some lines nested within a try-except block were not being traced on Windows.

bpo-41654 [https://bugs.python.org/issue?@action=redirect&bpo=41654]: Fix a crash that occurred when destroying subclasses of MemoryError. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the zlib extension module to multi-phase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-41631 [https://bugs.python.org/issue?@action=redirect&bpo=41631]: The _ast module uses again a global state. Using a module state per module instance is causing subtle practical problems. For example, the Mercurial project replaces the __import__() function to implement lazy import, whereas Python expected that import _ast always return a fully initialized _ast module.

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert _operator to use PyType_FromSpec().

bpo-1653741 [https://bugs.python.org/issue?@action=redirect&bpo=1653741]: Port _sha3 to multi-phase init. Convert static types to heap types.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _blake2 extension module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-41533 [https://bugs.python.org/issue?@action=redirect&bpo=41533]: Free the stack allocated in va_build_stack if do_mkstack fails and the stack is not a small_stack.

bpo-41531 [https://bugs.python.org/issue?@action=redirect&bpo=41531]: Fix a bug that was dropping keys when compiling dict literals with more than 0xFFFF elements. Patch by Pablo Galindo.

bpo-41525 [https://bugs.python.org/issue?@action=redirect&bpo=41525]: The output of python --help contains now only ASCII characters.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _sha1, _sha512, and _md5 extension modules to multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-41431 [https://bugs.python.org/issue?@action=redirect&bpo=41431]: Optimize dict_merge() for copying dict (e.g. dict(d) and {}.update(d)).

bpo-41428 [https://bugs.python.org/issue?@action=redirect&bpo=41428]: Implement PEP 604. This supports (int | str) etc. in place of Union[str, int].

bpo-41340 [https://bugs.python.org/issue?@action=redirect&bpo=41340]: Removed fallback implementation for strdup.

bpo-38156 [https://bugs.python.org/issue?@action=redirect&bpo=38156]: Handle interrupts that come after EOF correctly in PyOS_StdioReadline.

bpo-41342 [https://bugs.python.org/issue?@action=redirect&bpo=41342]: round() with integer argument is now faster (9–60%).

bpo-41334 [https://bugs.python.org/issue?@action=redirect&bpo=41334]: Constructors str(), bytes() and bytearray() are now faster (around 30–40% for small objects).

bpo-41295 [https://bugs.python.org/issue?@action=redirect&bpo=41295]: Resolve a regression in CPython 3.8.4 where defining “__setattr__” in a multi-inheritance setup and calling up the hierarchy chain could fail if builtins/extension types were involved in the base types.

bpo-41323 [https://bugs.python.org/issue?@action=redirect&bpo=41323]: Bytecode optimizations are performed directly on the control flow graph. This will result in slightly more compact code objects in some circumstances.

bpo-41247 [https://bugs.python.org/issue?@action=redirect&bpo=41247]: Always cache the running loop holder when running asyncio.set_running_loop.

bpo-41252 [https://bugs.python.org/issue?@action=redirect&bpo=41252]: Fix incorrect refcounting in _ssl.c’s _servername_callback().

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port multiprocessing to multi-phase initialization

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port winapi to multiphase initialization

bpo-41215 [https://bugs.python.org/issue?@action=redirect&bpo=41215]: Use non-NULL default values in the PEG parser keyword list to overcome a bug that was preventing Python from being properly compiled when using the XLC compiler. Patch by Pablo Galindo.

bpo-41218 [https://bugs.python.org/issue?@action=redirect&bpo=41218]: Python 3.8.3 had a regression where compiling with ast.PyCF_ALLOW_TOP_LEVEL_AWAIT would aggressively mark list comprehension with CO_COROUTINE. Now only list comprehension making use of async/await will tagged as so.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port faulthandler to multiphase initialization.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port sha256 to multiphase initialization

bpo-41175 [https://bugs.python.org/issue?@action=redirect&bpo=41175]: Guard against a NULL pointer dereference within bytearrayobject triggered by the bytearray() + bytearray() operation.

bpo-41100 [https://bugs.python.org/issue?@action=redirect&bpo=41100]: add arm64 to the allowable Mac OS arches in mpdecimal.h

bpo-41094 [https://bugs.python.org/issue?@action=redirect&bpo=41094]: Fix decoding errors with audit when open files with non-ASCII names on non-UTF-8 locale.

bpo-39960 [https://bugs.python.org/issue?@action=redirect&bpo=39960]: The “hackcheck” that prevents sneaking around a type’s __setattr__() by calling the superclass method was rewritten to allow C implemented heap types.

bpo-41084 [https://bugs.python.org/issue?@action=redirect&bpo=41084]: Prefix the error message with ‘f-string: ‘, when parsing an f-string expression which throws a SyntaxError.

bpo-40521 [https://bugs.python.org/issue?@action=redirect&bpo=40521]: Empty frozensets are no longer singletons.

bpo-41076 [https://bugs.python.org/issue?@action=redirect&bpo=41076]: Pre-feed the parser with the location of the f-string expression, not the f-string itself, which allows us to skip the shifting of the AST node locations after the parsing is completed.

bpo-41056 [https://bugs.python.org/issue?@action=redirect&bpo=41056]: Fixes a reference to deallocated stack space during startup when constructing sys.path involving a relative symlink when code was supplied via -c. (discovered via Coverity)

bpo-41061 [https://bugs.python.org/issue?@action=redirect&bpo=41061]: Fix incorrect expressions and asserts in hashtable code and tests.

bpo-41052 [https://bugs.python.org/issue?@action=redirect&bpo=41052]: Opt out serialization/deserialization for _random.Random

bpo-40939 [https://bugs.python.org/issue?@action=redirect&bpo=40939]: Rename PyPegen* functions to PyParser*, so that we can remove the old set of PyParser* functions that were using the old parser, but keep everything backwards-compatible.

bpo-35975 [https://bugs.python.org/issue?@action=redirect&bpo=35975]: Stefan Behnel reported that cf_feature_version is used even when PyCF_ONLY_AST is not set. This is against the intention and against the documented behavior, so it’s been fixed.

bpo-40939 [https://bugs.python.org/issue?@action=redirect&bpo=40939]: Remove the remaining files from the old parser and the symbol module.

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert _bz2 to use PyType_FromSpec().

bpo-41006 [https://bugs.python.org/issue?@action=redirect&bpo=41006]: The encodings.latin_1 module is no longer imported at startup. Now it is only imported when it is the filesystem encoding or the stdio encoding.

bpo-40636 [https://bugs.python.org/issue?@action=redirect&bpo=40636]: zip() now supports PEP 618 [https://peps.python.org/pep-0618/]’s strict parameter, which raises a ValueError if the arguments are exhausted at different lengths. Patch by Brandt Bucher.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _gdbm to multiphase initialization.

bpo-40985 [https://bugs.python.org/issue?@action=redirect&bpo=40985]: Fix a bug that caused the SyntaxError text to be empty when a file ends with a line ending in a line continuation character (i.e. backslash). The error text should contain the text of the last line.

bpo-40958 [https://bugs.python.org/issue?@action=redirect&bpo=40958]: Fix a possible buffer overflow in the PEG parser when gathering information for emitting syntax errors. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _dbm to multiphase initialization.

bpo-40957 [https://bugs.python.org/issue?@action=redirect&bpo=40957]: Fix refleak in _Py_fopen_obj() when PySys_Audit() fails

bpo-40950 [https://bugs.python.org/issue?@action=redirect&bpo=40950]: Add a state to the nis module (PEP 3121 [https://peps.python.org/pep-3121/]) and apply the multiphase initialization. Patch by Donghee Na.

bpo-40947 [https://bugs.python.org/issue?@action=redirect&bpo=40947]: The Python Path Configuration now takes PyConfig.platlibdir in account.

bpo-40939 [https://bugs.python.org/issue?@action=redirect&bpo=40939]: Remove the old parser, the parser module and all associated support code, command-line options and environment variables. Patch by Pablo Galindo.

bpo-40847 [https://bugs.python.org/issue?@action=redirect&bpo=40847]: Fix a bug where a line with only a line continuation character is not considered a blank line at tokenizer level. In such cases, more than a single NEWLINE token was emitted. The old parser was working around the issue, but the new parser threw a SyntaxError for valid input due to this. For example, an empty line following a line continuation character was interpreted as a SyntaxError.

bpo-40890 [https://bugs.python.org/issue?@action=redirect&bpo=40890]: Each dictionary view now has a mapping attribute that provides a types.MappingProxyType wrapping the original dictionary. Patch contributed by Dennis Sweeney.

bpo-40889 [https://bugs.python.org/issue?@action=redirect&bpo=40889]: Improved the performance of symmetric difference operations on dictionary item views. Patch by Dennis Sweeney.

bpo-40904 [https://bugs.python.org/issue?@action=redirect&bpo=40904]: Fix possible segfault in the new PEG parser when parsing f-string containing yield statements with no value (f"{yield}"). Patch by Pablo Galindo

bpo-40903 [https://bugs.python.org/issue?@action=redirect&bpo=40903]: Fixed a possible segfault in the new PEG parser when producing error messages for invalid assignments of the form p=p=. Patch by Pablo Galindo

bpo-40880 [https://bugs.python.org/issue?@action=redirect&bpo=40880]: Fix invalid memory read in the new parser when checking newlines in string literals. Patch by Pablo Galindo.

bpo-40883 [https://bugs.python.org/issue?@action=redirect&bpo=40883]: Fix memory leak in when parsing f-strings in the new parser. Patch by Pablo Galindo

bpo-40870 [https://bugs.python.org/issue?@action=redirect&bpo=40870]: Raise ValueError when validating custom AST’s where the constants True, False and None are used within a ast.Name node.

bpo-40854 [https://bugs.python.org/issue?@action=redirect&bpo=40854]: Allow overriding sys.platlibdir via a new PYTHONPLATLIBDIR environment variable.

bpo-40826 [https://bugs.python.org/issue?@action=redirect&bpo=40826]: Fix GIL usage in PyOS_Readline(): lock the GIL to set an exception and pass the Python thread state when checking if there is a pending signal.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port fcntl to multiphase initialization.

bpo-19468 [https://bugs.python.org/issue?@action=redirect&bpo=19468]: Delete unnecessary instance check in importlib.reload(). Patch by Furkan Önder.

bpo-40824 [https://bugs.python.org/issue?@action=redirect&bpo=40824]: Unexpected errors in calling the __iter__ method are no longer masked by TypeError in the in operator and functions contains(), indexOf() and countOf() of the operator module.

bpo-40792 [https://bugs.python.org/issue?@action=redirect&bpo=40792]: Attributes start, stop and step of the range object now always has exact type int. Previously, they could have been an instance of a subclass of int.

bpo-40780 [https://bugs.python.org/issue?@action=redirect&bpo=40780]: Fix a corner case where g-style string formatting of a float failed to remove trailing zeros.

bpo-38964 [https://bugs.python.org/issue?@action=redirect&bpo=38964]: When there’s a SyntaxError in the expression part of an fstring, the filename attribute of the SyntaxError gets correctly set to the name of the file the fstring resides in.

bpo-40750 [https://bugs.python.org/issue?@action=redirect&bpo=40750]: Support the “-d” debug flag in the new PEG parser. Patch by Pablo Galindo

bpo-40217 [https://bugs.python.org/issue?@action=redirect&bpo=40217]: Instances of types created with PyType_FromSpecWithBases() will no longer automatically visit their class object when traversing references in the garbage collector. The user is expected to manually visit the object’s class. Patch by Pablo Galindo.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Py_TYPE() is changed to the inline static function. Patch by Donghee Na.

bpo-40696 [https://bugs.python.org/issue?@action=redirect&bpo=40696]: Fix a hang that can arise after generator.throw() due to a cycle in the exception context chain.

bpo-40521 [https://bugs.python.org/issue?@action=redirect&bpo=40521]: Each interpreter now its has own free lists, singletons and caches:

Free lists: float, tuple, list, dict, frame, context, asynchronous generator, MemoryError.

Singletons: empty tuple, empty bytes string, empty Unicode string, single byte character, single Unicode (latin1) character.

Slice cache.

They are no longer shared by all interpreters.

bpo-40679 [https://bugs.python.org/issue?@action=redirect&bpo=40679]: Certain TypeError messages about missing or extra arguments now include the function’s qualified name. Patch by Dennis Sweeney.

bpo-29590 [https://bugs.python.org/issue?@action=redirect&bpo=29590]: Make the stack trace correct after calling generator.throw() on a generator that has yielded from a yield from.

bpo-4022 [https://bugs.python.org/issue?@action=redirect&bpo=4022]: Improve performance of generators by not raising internal StopIteration.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port mmap to multiphase initialization.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _lzma to multiphase initialization.

bpo-37999 [https://bugs.python.org/issue?@action=redirect&bpo=37999]: Builtin and extension functions that take integer arguments no longer accept Decimals, Fractions and other objects that can be converted to integers only with a loss (e.g. that have the __int__() method but do not have the __index__() method).

bpo-29882 [https://bugs.python.org/issue?@action=redirect&bpo=29882]: Add int.bit_count(), counting the number of ones in the binary representation of an integer. Patch by Niklas Fiekas.

bpo-36982 [https://bugs.python.org/issue?@action=redirect&bpo=36982]: Use ncurses extended color functions when available to support terminals with 256 colors, and add the new function curses.has_extended_color_support() to indicate whether extended color support is provided by the underlying ncurses library.

bpo-19569 [https://bugs.python.org/issue?@action=redirect&bpo=19569]: Add the private macros _Py_COMP_DIAG_PUSH, _Py_COMP_DIAG_IGNORE_DEPR_DECLS, and _Py_COMP_DIAG_POP.

bpo-26680 [https://bugs.python.org/issue?@action=redirect&bpo=26680]: The int type now supports the x.is_integer() method for compatibility with float.

Library

bpo-41900 [https://bugs.python.org/issue?@action=redirect&bpo=41900]: C14N 2.0 serialisation in xml.etree.ElementTree failed for unprefixed attributes when a default namespace was defined.

bpo-41887 [https://bugs.python.org/issue?@action=redirect&bpo=41887]: Strip leading spaces and tabs on ast.literal_eval(). Also document stripping of spaces and tabs for eval().

bpo-41773 [https://bugs.python.org/issue?@action=redirect&bpo=41773]: Note in documentation that random.choices() doesn’t support non-finite weights, raise ValueError when given non-finite weights.

bpo-41840 [https://bugs.python.org/issue?@action=redirect&bpo=41840]: Fix a bug in the symtable module that was causing module-scope global variables to not be reported as both local and global. Patch by Pablo Galindo.

bpo-41842 [https://bugs.python.org/issue?@action=redirect&bpo=41842]: Add codecs.unregister() function to unregister a codec search function.

bpo-40564 [https://bugs.python.org/issue?@action=redirect&bpo=40564]: In zipfile.Path, mutate the passed ZipFile object type instead of making a copy. Prevents issues when both the local copy and the caller’s copy attempt to close the same file handle.

bpo-40670 [https://bugs.python.org/issue?@action=redirect&bpo=40670]: More reliable validation of statements in timeit.Timer. It now accepts “empty” statements (only whitespaces and comments) and rejects misindentent statements.

bpo-41833 [https://bugs.python.org/issue?@action=redirect&bpo=41833]: The threading.Thread constructor now uses the target name if the target argument is specified but the name argument is omitted.

bpo-41817 [https://bugs.python.org/issue?@action=redirect&bpo=41817]: fix tkinter.EventType Enum so all members are strings, and none are tuples

bpo-41810 [https://bugs.python.org/issue?@action=redirect&bpo=41810]: types.EllipsisType, types.NotImplementedType and types.NoneType have been reintroduced, providing a new set of types readily interpretable by static type checkers.

bpo-41815 [https://bugs.python.org/issue?@action=redirect&bpo=41815]: Fix SQLite3 segfault when backing up closed database. Patch contributed by Peter David McCormick.

bpo-41816 [https://bugs.python.org/issue?@action=redirect&bpo=41816]: StrEnum added: it ensures that all members are already strings or string candidates

bpo-41517 [https://bugs.python.org/issue?@action=redirect&bpo=41517]: fix bug allowing Enums to be extended via multiple inheritance

bpo-39587 [https://bugs.python.org/issue?@action=redirect&bpo=39587]: use the correct mix-in data type when constructing Enums

bpo-41792 [https://bugs.python.org/issue?@action=redirect&bpo=41792]: Add is_typeddict function to typing.py to check if a type is a TypedDict class

Previously there was no way to check that without using private API. See the relevant issue in python/typing [https://github.com/python/typing/issues/751].

bpo-41789 [https://bugs.python.org/issue?@action=redirect&bpo=41789]: Honor object overrides in Enum class creation (specifically, __str__, __repr__, __format__, and __reduce_ex__).

bpo-32218 [https://bugs.python.org/issue?@action=redirect&bpo=32218]: enum.Flag and enum.IntFlag members are now iterable.

bpo-39651 [https://bugs.python.org/issue?@action=redirect&bpo=39651]: Fix a race condition in the call_soon_threadsafe() method of asyncio.ProactorEventLoop: do nothing if the self-pipe socket has been closed.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the mashal extension module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port the _string extension module to the multi-phase initialization API (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-41732 [https://bugs.python.org/issue?@action=redirect&bpo=41732]: Added an iterator to memoryview.

bpo-41720 [https://bugs.python.org/issue?@action=redirect&bpo=41720]: Fixed turtle.Vec2D.__rmul__() for arguments which are not int or float.

bpo-41696 [https://bugs.python.org/issue?@action=redirect&bpo=41696]: Fix handling of debug mode in asyncio.run(). This allows setting PYTHONASYNCIODEBUG or -X dev to enable asyncio debug mode when using asyncio.run().

bpo-41687 [https://bugs.python.org/issue?@action=redirect&bpo=41687]: Fix implementation of sendfile to be compatible with Solaris.

bpo-41662 [https://bugs.python.org/issue?@action=redirect&bpo=41662]: No longer override exceptions raised in __len__() of a sequence of parameters in sqlite3 with ProgrammingError.

bpo-39010 [https://bugs.python.org/issue?@action=redirect&bpo=39010]: Restarting a ProactorEventLoop on Windows no longer logs spurious ConnectionResetErrors.

bpo-41638 [https://bugs.python.org/issue?@action=redirect&bpo=41638]: ProgrammingError message for absent parameter in sqlite3 contains now the name of the parameter instead of its index when parameters are supplied as a dict.

bpo-41662 [https://bugs.python.org/issue?@action=redirect&bpo=41662]: Fixed crash when mutate list of parameters during iteration in sqlite3.

bpo-41513 [https://bugs.python.org/issue?@action=redirect&bpo=41513]: Improved the accuracy of math.hypot(). Internally, each step is computed with extra precision so that the result is now almost always correctly rounded.

bpo-41609 [https://bugs.python.org/issue?@action=redirect&bpo=41609]: The pdb whatis command correctly reports instance methods as ‘Method’ rather than ‘Function’.

bpo-39994 [https://bugs.python.org/issue?@action=redirect&bpo=39994]: Fixed pprint’s handling of dict subclasses that override __repr__.

bpo-32751 [https://bugs.python.org/issue?@action=redirect&bpo=32751]: When cancelling the task due to a timeout, asyncio.wait_for() will now wait until the cancellation is complete also in the case when timeout is <= 0, like it does with positive timeouts.

bpo-37658 [https://bugs.python.org/issue?@action=redirect&bpo=37658]: asyncio.wait_for() now properly handles races between cancellation of itself and the completion of the wrapped awaitable.

bpo-40782 [https://bugs.python.org/issue?@action=redirect&bpo=40782]: Change the method asyncio.AbstractEventLoop.run_in_executor to not be a coroutine.

bpo-41520 [https://bugs.python.org/issue?@action=redirect&bpo=41520]: Fix codeop regression that prevented turning compile warnings into errors.

bpo-41528 [https://bugs.python.org/issue?@action=redirect&bpo=41528]: turtle uses math module functions to convert degrees to radians and vice versa and to calculate vector norm

bpo-41513 [https://bugs.python.org/issue?@action=redirect&bpo=41513]: Minor algorithmic improvement to math.hypot() and math.dist() giving small gains in speed and accuracy.

bpo-41503 [https://bugs.python.org/issue?@action=redirect&bpo=41503]: Fixed a race between setTarget and flush in logging.handlers.MemoryHandler.

bpo-41497 [https://bugs.python.org/issue?@action=redirect&bpo=41497]: Fix potential UnicodeDecodeError in dis module.

bpo-41467 [https://bugs.python.org/issue?@action=redirect&bpo=41467]: On Windows, fix asyncio recv_into() return value when the socket/pipe is closed (BrokenPipeError): return 0 rather than an empty byte string (b'').

bpo-41425 [https://bugs.python.org/issue?@action=redirect&bpo=41425]: Make tkinter doc example runnable.

bpo-41421 [https://bugs.python.org/issue?@action=redirect&bpo=41421]: Make an algebraic simplification to random.paretovariate(). It now is slightly less subject to round-off error and is slightly faster. Inputs that used to cause ZeroDivisionError now cause an OverflowError instead.

bpo-41440 [https://bugs.python.org/issue?@action=redirect&bpo=41440]: Add os.cpu_count() support for VxWorks RTOS.

bpo-41316 [https://bugs.python.org/issue?@action=redirect&bpo=41316]: Fix the tarfile module to write only basename of TAR file to GZIP compression header.

bpo-41384 [https://bugs.python.org/issue?@action=redirect&bpo=41384]: Raise TclError instead of TypeError when an unknown option is passed to tkinter.OptionMenu.

bpo-41317 [https://bugs.python.org/issue?@action=redirect&bpo=41317]: Use add_done_callback() in asyncio.loop.sock_accept() to unsubscribe reader early on cancellation.

bpo-41364 [https://bugs.python.org/issue?@action=redirect&bpo=41364]: Reduce import overhead of uuid.

bpo-35328 [https://bugs.python.org/issue?@action=redirect&bpo=35328]: Set the environment variable VIRTUAL_ENV_PROMPT at venv activation.

bpo-41341 [https://bugs.python.org/issue?@action=redirect&bpo=41341]: Recursive evaluation of typing.ForwardRef in get_type_hints.

bpo-41344 [https://bugs.python.org/issue?@action=redirect&bpo=41344]: Prevent creating shared_memory.SharedMemory objects with size=0.

bpo-41333 [https://bugs.python.org/issue?@action=redirect&bpo=41333]: collections.OrderedDict.pop() is now 2 times faster.

bpo-41288 [https://bugs.python.org/issue?@action=redirect&bpo=41288]: Unpickling invalid NEWOBJ_EX opcode with the C implementation raises now UnpicklingError instead of crashing.

bpo-39017 [https://bugs.python.org/issue?@action=redirect&bpo=39017]: Avoid infinite loop when reading specially crafted TAR files using the tarfile module (CVE 2019-20907 [https://www.cve.org/CVERecord?id=CVE-2019-20907]).

bpo-41273 [https://bugs.python.org/issue?@action=redirect&bpo=41273]: Speed up any transport using _ProactorReadPipeTransport by calling recv_into instead of recv, thus not creating a new buffer for each recv call in the transport’s read loop.

bpo-41235 [https://bugs.python.org/issue?@action=redirect&bpo=41235]: Fix the error handling in ssl.SSLContext.load_dh_params().

bpo-41207 [https://bugs.python.org/issue?@action=redirect&bpo=41207]: In distutils.spawn, restore expectation that DistutilsExecError is raised when the command is not found.

bpo-29727 [https://bugs.python.org/issue?@action=redirect&bpo=29727]: Register array.array as a MutableSequence. Patch by Pablo Galindo.

bpo-39168 [https://bugs.python.org/issue?@action=redirect&bpo=39168]: Remove the __new__ method of typing.Generic.

bpo-41194 [https://bugs.python.org/issue?@action=redirect&bpo=41194]: Fix a crash in the _ast module: it can no longer be loaded more than once. It now uses a global state rather than a module state.

bpo-41195 [https://bugs.python.org/issue?@action=redirect&bpo=41195]: Add read-only ssl.SSLContext.security_level attribute to retrieve the context’s security level.

bpo-41193 [https://bugs.python.org/issue?@action=redirect&bpo=41193]: The write_history() atexit function of the readline completer now ignores any OSError to ignore error if the filesystem is read-only, instead of only ignoring FileNotFoundError and PermissionError.

bpo-41182 [https://bugs.python.org/issue?@action=redirect&bpo=41182]: selector: use DefaultSelector based upon implementation

bpo-41161 [https://bugs.python.org/issue?@action=redirect&bpo=41161]: The decimal module now requires libmpdec-2.5.0. Users of –with-system-libmpdec should update their system library.

bpo-40874 [https://bugs.python.org/issue?@action=redirect&bpo=40874]: The decimal module now requires libmpdec-2.5.0.

bpo-41138 [https://bugs.python.org/issue?@action=redirect&bpo=41138]: Fixed the trace module CLI for Python source files with non-UTF-8 encoding.

bpo-31082 [https://bugs.python.org/issue?@action=redirect&bpo=31082]: Use the term “iterable” in the docstring for functools.reduce().

bpo-40521 [https://bugs.python.org/issue?@action=redirect&bpo=40521]: Remove freelist from collections.deque().

bpo-31938 [https://bugs.python.org/issue?@action=redirect&bpo=31938]: Fix default-value signatures of several functions in the select module - by Anthony Sottile.

bpo-41068 [https://bugs.python.org/issue?@action=redirect&bpo=41068]: Fixed reading files with non-ASCII names from ZIP archive directly after writing them.

bpo-41058 [https://bugs.python.org/issue?@action=redirect&bpo=41058]: pdb.find_function() now correctly determines the source file encoding.

bpo-41056 [https://bugs.python.org/issue?@action=redirect&bpo=41056]: Invalid file descriptor values are now prevented from being passed to os.fpathconf. (discovered by Coverity)

bpo-41056 [https://bugs.python.org/issue?@action=redirect&bpo=41056]: Fix a NULL pointer dereference within the ssl module during a MemoryError in the keylog callback. (discovered by Coverity)

bpo-41056 [https://bugs.python.org/issue?@action=redirect&bpo=41056]: Fixed an instance where a MemoryError within the zoneinfo module might not be reported or not reported at its source. (found by Coverity)

bpo-41048 [https://bugs.python.org/issue?@action=redirect&bpo=41048]: mimetypes.read_mime_types() function reads the rule file using UTF-8 encoding, not the locale encoding. Patch by Srinivas Reddy Thatiparthy.

bpo-41043 [https://bugs.python.org/issue?@action=redirect&bpo=41043]: Fixed the use of glob() in the stdlib: literal part of the path is now always correctly escaped.

bpo-41025 [https://bugs.python.org/issue?@action=redirect&bpo=41025]: Fixed an issue preventing the C implementation of zoneinfo.ZoneInfo from being subclassed.

bpo-35018 [https://bugs.python.org/issue?@action=redirect&bpo=35018]: Add the xml.sax.handler.LexicalHandler class that is present in other SAX XML implementations.

bpo-41002 [https://bugs.python.org/issue?@action=redirect&bpo=41002]: Improve performance of HTTPResponse.read with a given amount. Patch by Bruce Merry.

bpo-40448 [https://bugs.python.org/issue?@action=redirect&bpo=40448]: ensurepip now disables the use of pip cache when installing the bundled versions of pip and setuptools. Patch by Krzysztof Konopko.

bpo-40967 [https://bugs.python.org/issue?@action=redirect&bpo=40967]: Removed asyncio.Task.current_task() and asyncio.Task.all_tasks(). Patch contributed by Rémi Lapeyre.

bpo-40924 [https://bugs.python.org/issue?@action=redirect&bpo=40924]: Ensure importlib.resources.path returns an extant path for the SourceFileLoader’s resource reader. Avoids the regression identified in master while a long-term solution is devised.

bpo-40955 [https://bugs.python.org/issue?@action=redirect&bpo=40955]: Fix a minor memory leak in subprocess module when extra_groups was specified.

bpo-40855 [https://bugs.python.org/issue?@action=redirect&bpo=40855]: The standard deviation and variance functions in the statistics module were ignoring their mu and xbar arguments.

bpo-40939 [https://bugs.python.org/issue?@action=redirect&bpo=40939]: Use the new PEG parser when generating the stdlib keyword module.

bpo-23427 [https://bugs.python.org/issue?@action=redirect&bpo=23427]: Add sys.orig_argv attribute: the list of the original command line arguments passed to the Python executable.

bpo-33689 [https://bugs.python.org/issue?@action=redirect&bpo=33689]: Ignore empty or whitespace-only lines in .pth files. This matches the documentated behavior. Before, empty lines caused the site-packages dir to appear multiple times in sys.path. By Ido Michael, contributors Malcolm Smith and Tal Einat.

bpo-40884 [https://bugs.python.org/issue?@action=redirect&bpo=40884]: Added a defaults parameter to logging.Formatter, to allow specifying default values for custom fields. Patch by Asaf Alon and Bar Harel.

bpo-40876 [https://bugs.python.org/issue?@action=redirect&bpo=40876]: Clarify error message in the csv module.

bpo-39791 [https://bugs.python.org/issue?@action=redirect&bpo=39791]: Refresh importlib.metadata from importlib_metadata 1.6.1.

bpo-40807 [https://bugs.python.org/issue?@action=redirect&bpo=40807]: Stop codeop._maybe_compile, used by code.InteractiveInterpreter (and IDLE). from emitting each warning three times.

bpo-32604 [https://bugs.python.org/issue?@action=redirect&bpo=32604]: Fix reference leak in the select module when the module is imported in a subinterpreter.

bpo-39791 [https://bugs.python.org/issue?@action=redirect&bpo=39791]: Built-in loaders (SourceFileLoader and ZipImporter) now supply TraversableResources implementations for ResourceReader, and the fallback function has been removed.

bpo-39314 [https://bugs.python.org/issue?@action=redirect&bpo=39314]: rlcompleter.Completer and the standard Python shell now close the parenthesis for functions that take no arguments. Patch contributed by Rémi Lapeyre.

bpo-17005 [https://bugs.python.org/issue?@action=redirect&bpo=17005]: The topological sort functionality that was introduced initially in the functools module has been moved to a new graphlib module to better accommodate the new tools and keep the original scope of the functools module. Patch by Pablo Galindo

bpo-40834 [https://bugs.python.org/issue?@action=redirect&bpo=40834]: Fix truncate when sending str object with_xxsubinterpreters.channel_send.

bpo-40755 [https://bugs.python.org/issue?@action=redirect&bpo=40755]: Add rich comparisons to collections.Counter().

bpo-26407 [https://bugs.python.org/issue?@action=redirect&bpo=26407]: Unexpected errors in calling the __iter__ method are no longer masked by TypeError in csv.reader(), csv.writer.writerow() and csv.writer.writerows().

bpo-39384 [https://bugs.python.org/issue?@action=redirect&bpo=39384]: Fixed email.contentmanager to allow set_content() to set a null string.

bpo-40744 [https://bugs.python.org/issue?@action=redirect&bpo=40744]: The sqlite3 module uses SQLite API functions that require SQLite v3.7.3 or higher. This patch removes support for older SQLite versions, and explicitly requires SQLite 3.7.3 both at build, compile and runtime. Patch by Sergey Fedoseev and Erlend E. Aasland.

bpo-40777 [https://bugs.python.org/issue?@action=redirect&bpo=40777]: Initialize PyDateTime_IsoCalendarDateType.tp_base at run-time to avoid errors on some compilers.

bpo-38488 [https://bugs.python.org/issue?@action=redirect&bpo=38488]: Update ensurepip to install pip 20.1.1 and setuptools 47.1.0.

bpo-40792 [https://bugs.python.org/issue?@action=redirect&bpo=40792]: The result of operator.index() now always has exact type int. Previously, the result could have been an instance of a subclass of int.

bpo-40767 [https://bugs.python.org/issue?@action=redirect&bpo=40767]: webbrowser now properly finds the default browser in pure Wayland systems by checking the WAYLAND_DISPLAY environment variable. Patch contributed by Jérémy Attali.

bpo-40791 [https://bugs.python.org/issue?@action=redirect&bpo=40791]: hashlib.compare_digest() uses OpenSSL’s CRYPTO_memcmp() function when OpenSSL is available.

bpo-40795 [https://bugs.python.org/issue?@action=redirect&bpo=40795]: ctypes module: If ctypes fails to convert the result of a callback or if a ctypes callback function raises an exception, sys.unraisablehook is now called with an exception set. Previously, the error was logged into stderr by PyErr_Print().

bpo-16995 [https://bugs.python.org/issue?@action=redirect&bpo=16995]: Add base64.b32hexencode() and base64.b32hexdecode() to support the Base32 Encoding with Extended Hex Alphabet.

bpo-30008 [https://bugs.python.org/issue?@action=redirect&bpo=30008]: Fix ssl code to be compatible with OpenSSL 1.1.x builds that use no-deprecated and --api=1.1.0.

bpo-30064 [https://bugs.python.org/issue?@action=redirect&bpo=30064]: Fix asyncio loop.sock_* race condition issue

bpo-40759 [https://bugs.python.org/issue?@action=redirect&bpo=40759]: Deprecate the symbol module.

bpo-40756 [https://bugs.python.org/issue?@action=redirect&bpo=40756]: The second argument (extra) of LoggerAdapter.__init__ now defaults to None.

bpo-37129 [https://bugs.python.org/issue?@action=redirect&bpo=37129]: Add a new os.RWF_APPEND flag for os.pwritev().

bpo-40737 [https://bugs.python.org/issue?@action=redirect&bpo=40737]: Fix possible reference leak for sqlite3 initialization.

bpo-40726 [https://bugs.python.org/issue?@action=redirect&bpo=40726]: Handle cases where the end_lineno is None on ast.increment_lineno().

bpo-40698 [https://bugs.python.org/issue?@action=redirect&bpo=40698]: distutils upload creates SHA2-256 and Blake2b-256 digests. MD5 digests is skipped if platform blocks MD5.

bpo-40695 [https://bugs.python.org/issue?@action=redirect&bpo=40695]: hashlib no longer falls back to builtin hash implementations when OpenSSL provides a hash digest and the algorithm is blocked by security policy.

bpo-9216 [https://bugs.python.org/issue?@action=redirect&bpo=9216]: hashlib.new() passed usedforsecurity to OpenSSL EVP constructor _hashlib.new(). test_hashlib and test_smtplib handle strict security policy better.

bpo-40614 [https://bugs.python.org/issue?@action=redirect&bpo=40614]: ast.parse() will not parse self documenting expressions in f-strings when passed feature_version is less than (3, 8).

bpo-40626 [https://bugs.python.org/issue?@action=redirect&bpo=40626]: Add h5 file extension as MIME Type application/x-hdf5, as per HDF Group recommendation for HDF5 formatted data files. Patch contributed by Mark Schwab.

bpo-25920 [https://bugs.python.org/issue?@action=redirect&bpo=25920]: On macOS, when building Python for macOS 10.4 and older, which wasn’t the case for python.org macOS installer, socket.getaddrinfo() no longer uses an internal lock to prevent race conditions when calling getaddrinfo() which is thread-safe since macOS 10.5. Python 3.9 requires macOS 10.6 or newer. The internal lock caused random hang on fork when another thread was calling socket.getaddrinfo(). The lock was also used on FreeBSD older than 5.3, OpenBSD older than 201311 and NetBSD older than 4.

bpo-40671 [https://bugs.python.org/issue?@action=redirect&bpo=40671]: Prepare _hashlib for PEP 489 [https://peps.python.org/pep-0489/] and use PyModule_AddType().

bpo-32309 [https://bugs.python.org/issue?@action=redirect&bpo=32309]: Added a new coroutine asyncio.to_thread(). It is mainly used for running IO-bound functions in a separate thread to avoid blocking the event loop, and essentially works as a high-level version of run_in_executor() that can directly take keyword arguments.

bpo-36543 [https://bugs.python.org/issue?@action=redirect&bpo=36543]: Restored the deprecated xml.etree.cElementTree module.

bpo-40611 [https://bugs.python.org/issue?@action=redirect&bpo=40611]: MAP_POPULATE constant has now been added to the list of exported mmap module flags.

bpo-39881 [https://bugs.python.org/issue?@action=redirect&bpo=39881]: PEP 554 for use in the test suite. (Patch By Joannah Nanjekye)

bpo-13097 [https://bugs.python.org/issue?@action=redirect&bpo=13097]: ctypes now raises an ArgumentError when a callback is invoked with more than 1024 arguments.

bpo-39385 [https://bugs.python.org/issue?@action=redirect&bpo=39385]: A new test assertion context-manager, unittest.assertNoLogs() will ensure a given block of code emits no log messages using the logging module. Contributed by Kit Yan Choi.

bpo-23082 [https://bugs.python.org/issue?@action=redirect&bpo=23082]: Updated the error message and docs of PurePath.relative_to() to better reflect the function behaviour.

bpo-40318 [https://bugs.python.org/issue?@action=redirect&bpo=40318]: Use SQLite3 trace v2 API, if it is available.

bpo-40105 [https://bugs.python.org/issue?@action=redirect&bpo=40105]: ZipFile truncates files to avoid corruption when a shorter comment is provided in append (“a”) mode. Patch by Jan Mazur.

bpo-40084 [https://bugs.python.org/issue?@action=redirect&bpo=40084]: Fix Enum.__dir__: dir(Enum.member) now includes attributes as well as methods.

bpo-31122 [https://bugs.python.org/issue?@action=redirect&bpo=31122]: ssl.wrap_socket() now raises ssl.SSLEOFError rather than OSError when peer closes connection during TLS negotiation

bpo-39728 [https://bugs.python.org/issue?@action=redirect&bpo=39728]: fix default _missing_ so a duplicate ValueError is not set as the __context__ of the original ValueError.

bpo-39244 [https://bugs.python.org/issue?@action=redirect&bpo=39244]: Fixed multiprocessing.context.get_all_start_methods to properly return the default method first on macOS.

bpo-39040 [https://bugs.python.org/issue?@action=redirect&bpo=39040]: Fix parsing of invalid mime headers parameters by collapsing whitespace between encoded words in a bare-quote-string.

bpo-38731 [https://bugs.python.org/issue?@action=redirect&bpo=38731]: Add --quiet option to command-line interface of py_compile. Patch by Gregory Schevchenko.

bpo-35714 [https://bugs.python.org/issue?@action=redirect&bpo=35714]: struct.error is now raised if there is a null character in a struct format string.

bpo-38144 [https://bugs.python.org/issue?@action=redirect&bpo=38144]: Added the root_dir and dir_fd parameters in glob.glob().

bpo-26543 [https://bugs.python.org/issue?@action=redirect&bpo=26543]: Fix IMAP4.noop() when debug mode is enabled (ex: imaplib.Debug = 3).

bpo-12178 [https://bugs.python.org/issue?@action=redirect&bpo=12178]: csv.writer() now correctly escapes escapechar when input contains escapechar. Patch by Catalin Iacob, Berker Peksag, and Itay Elbirt.

bpo-36290 [https://bugs.python.org/issue?@action=redirect&bpo=36290]: AST nodes are now raising TypeError on conflicting keyword arguments. Patch contributed by Rémi Lapeyre.

bpo-33944 [https://bugs.python.org/issue?@action=redirect&bpo=33944]: Added site.py site-packages tracing in verbose mode.

bpo-35078 [https://bugs.python.org/issue?@action=redirect&bpo=35078]: Refactor formatweekday, formatmonthname methods in LocaleHTMLCalendar and LocaleTextCalendar classes in calendar module to call the base class methods.This enables customizable CSS classes for LocaleHTMLCalendar. Patch by Srinivas Reddy Thatiparthy

bpo-29620 [https://bugs.python.org/issue?@action=redirect&bpo=29620]: assertWarns() no longer raises a RuntimeException when accessing a module’s __warningregistry__ causes importation of a new module, or when a new module is imported in another thread. Patch by Kernc.

bpo-31844 [https://bugs.python.org/issue?@action=redirect&bpo=31844]: Remove ParserBase.error() method from the private and undocumented _markupbase module. html.parser.HTMLParser is the only subclass of ParserBase and its error() implementation was deprecated in Python 3.4 and removed in Python 3.5.

bpo-34226 [https://bugs.python.org/issue?@action=redirect&bpo=34226]: Fix cgi.parse_multipart without content_length. Patch by Roger Duran

bpo-33660 [https://bugs.python.org/issue?@action=redirect&bpo=33660]: Fix pathlib.PosixPath to resolve a relative path located on the root directory properly.

bpo-28557 [https://bugs.python.org/issue?@action=redirect&bpo=28557]: Improve the error message for a misbehaving rawio.readinto

bpo-26680 [https://bugs.python.org/issue?@action=redirect&bpo=26680]: The d.is_integer() method is added to the Decimal type, for compatibility with other number types.

bpo-26680 [https://bugs.python.org/issue?@action=redirect&bpo=26680]: The x.is_integer() method is incorporated into the abstract types of the numeric tower, Real, Rational and Integral, with appropriate default implementations.

Documentation

bpo-41428 [https://bugs.python.org/issue?@action=redirect&bpo=41428]: Add documentation for PEP 604 [https://peps.python.org/pep-0604/] (Allow writing union types as X | Y).

bpo-41774 [https://bugs.python.org/issue?@action=redirect&bpo=41774]: In Programming FAQ “Sequences (Tuples/Lists)” section, add “How do you remove multiple items from a list”.

bpo-35293 [https://bugs.python.org/issue?@action=redirect&bpo=35293]: Fix RemovedInSphinx40Warning when building the documentation. Patch by Donghee Na.

bpo-37149 [https://bugs.python.org/issue?@action=redirect&bpo=37149]: Change Shipman tkinter doc link from archive.org to TkDocs. (The doc has been removed from the NMT server.) The new link responds much faster and includes a short explanatory note.

bpo-41726 [https://bugs.python.org/issue?@action=redirect&bpo=41726]: Update the refcounts info of PyType_FromModuleAndSpec.

bpo-41624 [https://bugs.python.org/issue?@action=redirect&bpo=41624]: Fix the signature of typing.Coroutine.

bpo-40204 [https://bugs.python.org/issue?@action=redirect&bpo=40204]: Enable Sphinx 3.2 c_allow_pre_v3 option and disable c_warn_on_allowed_pre_v3 option to make the documentation compatible with Sphinx 2 and Sphinx 3.

bpo-41045 [https://bugs.python.org/issue?@action=redirect&bpo=41045]: Add documentation for debug feature of f-strings.

bpo-41314 [https://bugs.python.org/issue?@action=redirect&bpo=41314]: Changed the release when from __future__ import annotations becomes the default from 4.0 to 3.10 (following a change in PEP 563).

bpo-40979 [https://bugs.python.org/issue?@action=redirect&bpo=40979]: Refactored typing.rst, arranging more than 70 classes, functions, and decorators into new sub-sections.

bpo-40552 [https://bugs.python.org/issue?@action=redirect&bpo=40552]: Fix in tutorial section 4.2. Code snippet is now correct.

bpo-39883 [https://bugs.python.org/issue?@action=redirect&bpo=39883]: Make code, examples, and recipes in the Python documentation be licensed under the more permissive BSD0 license in addition to the existing Python 2.0 license.

bpo-37703 [https://bugs.python.org/issue?@action=redirect&bpo=37703]: Updated Documentation to comprehensively elaborate on the behaviour of gather.cancel()

Tests

bpo-41939 [https://bugs.python.org/issue?@action=redirect&bpo=41939]: Fix test_site.test_license_exists_at_url(): call urllib.request.urlcleanup() to reset the global urllib.request._opener. Patch by Victor Stinner.

bpo-41731 [https://bugs.python.org/issue?@action=redirect&bpo=41731]: Make test_cmd_line_script pass with option ‘-vv’.

bpo-41602 [https://bugs.python.org/issue?@action=redirect&bpo=41602]: Add tests for SIGINT handling in the runpy module.

bpo-41521 [https://bugs.python.org/issue?@action=redirect&bpo=41521]: test.support: Rename blacklist parameter of check__all__() to not_exported.

bpo-41477 [https://bugs.python.org/issue?@action=redirect&bpo=41477]: Make ctypes optional in test_genericalias.

bpo-41085 [https://bugs.python.org/issue?@action=redirect&bpo=41085]: Fix integer overflow in the array.array.index() method on 64-bit Windows for index larger than 2**31.

bpo-41069 [https://bugs.python.org/issue?@action=redirect&bpo=41069]: test.support.TESTFN and the current directory for tests when run via test.regrtest contain now non-ascii characters if possible.

bpo-38377 [https://bugs.python.org/issue?@action=redirect&bpo=38377]: On Linux, skip tests using multiprocessing if the current user cannot create a file in /dev/shm/ directory. Add the skip_if_broken_multiprocessing_synchronize() function to the test.support module.

bpo-41009 [https://bugs.python.org/issue?@action=redirect&bpo=41009]: Fix use of support.require_{linux|mac|freebsd}_version() decorators as class decorator.

bpo-41003 [https://bugs.python.org/issue?@action=redirect&bpo=41003]: Fix test_copyreg when numpy is installed: test.pickletester now saves/restores warnings filters when importing numpy, to ignore filters installed by numpy.

bpo-40964 [https://bugs.python.org/issue?@action=redirect&bpo=40964]: Disable remote imaplib tests, host cyrus.andrew.cmu.edu is blocking incoming connections.

bpo-40927 [https://bugs.python.org/issue?@action=redirect&bpo=40927]: Fix test_binhex when run twice: it now uses import_fresh_module() to ensure that it raises DeprecationWarning each time.

bpo-17258 [https://bugs.python.org/issue?@action=redirect&bpo=17258]: Skip some multiprocessing tests when MD5 hash digest is blocked.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Increase LOOPBACK_TIMEOUT to 10 for VxWorks RTOS.

bpo-38169 [https://bugs.python.org/issue?@action=redirect&bpo=38169]: Increase code coverage for SharedMemory and ShareableList

bpo-34401 [https://bugs.python.org/issue?@action=redirect&bpo=34401]: Make test_gdb properly run on HP-UX. Patch by Michael Osipov.

Build

bpo-38249 [https://bugs.python.org/issue?@action=redirect&bpo=38249]: Update Py_UNREACHABLE to use __builtin_unreachable() if only the compiler is able to use it. Patch by Donghee Na.

bpo-41617 [https://bugs.python.org/issue?@action=redirect&bpo=41617]: Fix pycore_bitutils.h header file to support old clang versions: __builtin_bswap16() is not available in LLVM clang 3.0.

bpo-40204 [https://bugs.python.org/issue?@action=redirect&bpo=40204]: Pin Sphinx version to 2.3.1 in Doc/Makefile.

bpo-36020 [https://bugs.python.org/issue?@action=redirect&bpo=36020]: The C99 functions snprintf() and vsnprintf() are now required to build Python.

bpo-40684 [https://bugs.python.org/issue?@action=redirect&bpo=40684]: make install now uses the PLATLIBDIR variable for the destination lib-dynload/ directory when ./configure --with-platlibdir is used.

bpo-40683 [https://bugs.python.org/issue?@action=redirect&bpo=40683]: Fixed an issue where the zoneinfo module and its tests were not included when Python is installed with make.

Windows

bpo-41744 [https://bugs.python.org/issue?@action=redirect&bpo=41744]: Fixes automatic import of props file when using the Nuget package.

bpo-41627 [https://bugs.python.org/issue?@action=redirect&bpo=41627]: The user site directory for 32-bit now includes a -32 suffix to distinguish it from the 64-bit interpreter’s directory.

bpo-41526 [https://bugs.python.org/issue?@action=redirect&bpo=41526]: Fixed layout of final page of the installer by removing the special thanks to Mark Hammond (with his permission).

bpo-41492 [https://bugs.python.org/issue?@action=redirect&bpo=41492]: Fixes the description that appears in UAC prompts.

bpo-40948 [https://bugs.python.org/issue?@action=redirect&bpo=40948]: Improve post-install message to direct people to the “py” command.

bpo-41412 [https://bugs.python.org/issue?@action=redirect&bpo=41412]: The installer will now fail to install on Windows 7 and Windows 8. Further, the UCRT dependency is now always downloaded on demand.

bpo-40741 [https://bugs.python.org/issue?@action=redirect&bpo=40741]: Update Windows release to include SQLite 3.32.3.

bpo-41142 [https://bugs.python.org/issue?@action=redirect&bpo=41142]: msilib now supports creating CAB files with non-ASCII file path and adding files with non-ASCII file path to them.

bpo-41074 [https://bugs.python.org/issue?@action=redirect&bpo=41074]: Fixed support of non-ASCII names in functions msilib.OpenDatabase() and msilib.init_database() and non-ASCII SQL in method msilib.Database.OpenView().

bpo-41039 [https://bugs.python.org/issue?@action=redirect&bpo=41039]: Stable ABI redirection DLL (python3.dll) now uses #pragma comment(linker) for re-exporting.

bpo-40164 [https://bugs.python.org/issue?@action=redirect&bpo=40164]: Updates Windows OpenSSL to 1.1.1g

bpo-39631 [https://bugs.python.org/issue?@action=redirect&bpo=39631]: Changes the registered MIME type for .py files on Windows to text/x-python instead of text/plain.

bpo-40677 [https://bugs.python.org/issue?@action=redirect&bpo=40677]: Manually define IO_REPARSE_TAG_APPEXECLINK in case some old Windows SDK doesn’t have it.

bpo-37556 [https://bugs.python.org/issue?@action=redirect&bpo=37556]: Extend py.exe help to mention overrides via venv, shebang, environmental variables & ini files.

macOS

bpo-41557 [https://bugs.python.org/issue?@action=redirect&bpo=41557]: Update macOS installer to use SQLite 3.33.0.

bpo-39580 [https://bugs.python.org/issue?@action=redirect&bpo=39580]: Avoid opening Finder window if running installer from the command line. Patch contributed by Rick Heil.

bpo-41100 [https://bugs.python.org/issue?@action=redirect&bpo=41100]: Fix configure error when building on macOS 11. Note that the current Python release was released shortly after the first developer preview of macOS 11 (Big Sur); there are other known issues with building and running on the developer preview. Big Sur is expected to be fully supported in a future bugfix release of Python 3.8.x and with 3.9.0.

bpo-40741 [https://bugs.python.org/issue?@action=redirect&bpo=40741]: Update macOS installer to use SQLite 3.32.3.

bpo-41005 [https://bugs.python.org/issue?@action=redirect&bpo=41005]: fixed an XDG settings issue not allowing macos to open browser in webbrowser.py

bpo-40741 [https://bugs.python.org/issue?@action=redirect&bpo=40741]: Update macOS installer to use SQLite 3.32.2.

IDLE

bpo-41775 [https://bugs.python.org/issue?@action=redirect&bpo=41775]: Use ‘IDLE Shell’ as shell title

bpo-35764 [https://bugs.python.org/issue?@action=redirect&bpo=35764]: Rewrite the Calltips doc section.

bpo-40181 [https://bugs.python.org/issue?@action=redirect&bpo=40181]: In calltips, stop reminding that ‘/’ marks the end of positional-only arguments.

bpo-41468 [https://bugs.python.org/issue?@action=redirect&bpo=41468]: Improve IDLE run crash error message (which users should never see).

bpo-41373 [https://bugs.python.org/issue?@action=redirect&bpo=41373]: Save files loaded with no line ending, as when blank, or different line endings, by setting its line ending to the system default. Fix regression in 3.8.4 and 3.9.0b4.

bpo-41300 [https://bugs.python.org/issue?@action=redirect&bpo=41300]: Save files with non-ascii chars. Fix regression released in 3.9.0b4 and 3.8.4.

bpo-37765 [https://bugs.python.org/issue?@action=redirect&bpo=37765]: Add keywords to module name completion list. Rewrite Completions section of IDLE doc.

bpo-41152 [https://bugs.python.org/issue?@action=redirect&bpo=41152]: The encoding of stdin, stdout and stderr in IDLE is now always UTF-8.

bpo-41144 [https://bugs.python.org/issue?@action=redirect&bpo=41144]: Make Open Module open a special module such as os.path.

bpo-39885 [https://bugs.python.org/issue?@action=redirect&bpo=39885]: Make context menu Cut and Copy work again when right-clicking within a selection.

bpo-40723 [https://bugs.python.org/issue?@action=redirect&bpo=40723]: Make test_idle pass when run after import.

C API

bpo-41936 [https://bugs.python.org/issue?@action=redirect&bpo=41936]: Removed undocumented macros Py_ALLOW_RECURSION and Py_END_ALLOW_RECURSION and the recursion_critical field of the PyInterpreterState structure.

bpo-41692 [https://bugs.python.org/issue?@action=redirect&bpo=41692]: The PyUnicode_InternImmortal() function is now deprecated and will be removed in Python 3.12: use PyUnicode_InternInPlace() instead. Patch by Victor Stinner.

bpo-41842 [https://bugs.python.org/issue?@action=redirect&bpo=41842]: Add PyCodec_Unregister() function to unregister a codec search function.

bpo-41834 [https://bugs.python.org/issue?@action=redirect&bpo=41834]: Remove the _Py_CheckRecursionLimit variable: it has been replaced by ceval.recursion_limit of the PyInterpreterState structure. Patch by Victor Stinner.

bpo-41689 [https://bugs.python.org/issue?@action=redirect&bpo=41689]: Types created with PyType_FromSpec() now make any signature in their tp_doc slot accessible from __text_signature__.

bpo-41524 [https://bugs.python.org/issue?@action=redirect&bpo=41524]: Fix bug in PyOS_mystrnicmp and PyOS_mystricmp that incremented pointers beyond the end of a string.

bpo-41324 [https://bugs.python.org/issue?@action=redirect&bpo=41324]: Add a minimal decimal capsule API. The API supports fast conversions between Decimals up to 38 digits and their triple representation as a C struct.

bpo-30155 [https://bugs.python.org/issue?@action=redirect&bpo=30155]: Add PyDateTime_DATE_GET_TZINFO() and PyDateTime_TIME_GET_TZINFO() macros for accessing the tzinfo attributes of datetime.datetime and datetime.time objects.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Revert PyType_HasFeature() change: it reads again directly the PyTypeObject.tp_flags member when the limited C API is not used, rather than always calling PyType_GetFlags() which hides implementation details.

bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123]: Remove PyUnicode_AsUnicodeCopy.

bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123]: Removed PyLong_FromUnicode().

bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123]: Removed PyUnicode_GetMax().

bpo-41123 [https://bugs.python.org/issue?@action=redirect&bpo=41123]: Removed Py_UNICODE_str* functions manipulating Py_UNICODE* strings.

bpo-41103 [https://bugs.python.org/issue?@action=redirect&bpo=41103]: PyObject_AsCharBuffer(), PyObject_AsReadBuffer(), PyObject_CheckReadBuffer(), and PyObject_AsWriteBuffer() are removed. Please migrate to new buffer protocol; PyObject_GetBuffer() and PyBuffer_Release().

bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346]: Raises DeprecationWarning for PyUnicode_FromUnicode(NULL, size) and PyUnicode_FromStringAndSize(NULL, size) with size > 0.

bpo-36346 [https://bugs.python.org/issue?@action=redirect&bpo=36346]: Mark Py_UNICODE_COPY, Py_UNICODE_FILL, PyUnicode_WSTR_LENGTH, PyUnicode_FromUnicode, PyUnicode_AsUnicode, and PyUnicode_AsUnicodeAndSize as deprecated in C. Remove Py_UNICODE_MATCH which was deprecated and broken since Python 3.3.

bpo-40989 [https://bugs.python.org/issue?@action=redirect&bpo=40989]: The PyObject_INIT() and PyObject_INIT_VAR() macros become aliases to, respectively, PyObject_Init() and PyObject_InitVar() functions.

bpo-36020 [https://bugs.python.org/issue?@action=redirect&bpo=36020]: On Windows, #include "pyerrors.h" no longer defines snprintf and vsnprintf macros.

bpo-40943 [https://bugs.python.org/issue?@action=redirect&bpo=40943]: The PY_SSIZE_T_CLEAN macro must now be defined to use PyArg_ParseTuple() and Py_BuildValue() formats which use #: es#, et#, s#, u#, y#, z#, U# and Z#. See Parsing arguments and building values and the PEP 353 [https://peps.python.org/pep-0353/].

bpo-40910 [https://bugs.python.org/issue?@action=redirect&bpo=40910]: Export explicitly the Py_GetArgcArgv() function to the C API and document the function. Previously, it was exported implicitly which no longer works since Python is built with -fvisibility=hidden.

bpo-40724 [https://bugs.python.org/issue?@action=redirect&bpo=40724]: Allow defining buffer slots in type specs.

bpo-40679 [https://bugs.python.org/issue?@action=redirect&bpo=40679]: Fix a _PyEval_EvalCode() crash if qualname argument is NULL.

bpo-40839 [https://bugs.python.org/issue?@action=redirect&bpo=40839]: Calling PyDict_GetItem() without GIL held had been allowed for historical reason. It is no longer allowed.

bpo-40826 [https://bugs.python.org/issue?@action=redirect&bpo=40826]: PyOS_InterruptOccurred() now fails with a fatal error if it is called with the GIL released.

bpo-40792 [https://bugs.python.org/issue?@action=redirect&bpo=40792]: The result of PyNumber_Index() now always has exact type int. Previously, the result could have been an instance of a subclass of int.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Convert Py_REFCNT() and Py_SIZE() macros to static inline functions. They cannot be used as l-value anymore: use Py_SET_REFCNT() and Py_SET_SIZE() to set an object reference count and size. This change is backward incompatible on purpose, to prepare the C API for an opaque PyObject structure.

bpo-40703 [https://bugs.python.org/issue?@action=redirect&bpo=40703]: The PyType_FromSpec*() functions no longer overwrite the type’s “__module__” attribute if it is set via “Py_tp_members” or “Py_tp_getset”.

bpo-39583 [https://bugs.python.org/issue?@action=redirect&bpo=39583]: Remove superfluous “extern C” declarations from Include/cpython/*.h.

Python 3.9.0 beta 1

Release date: 2020-05-19

Security

bpo-40501 [https://bugs.python.org/issue?@action=redirect&bpo=40501]: uuid no longer uses ctypes to load libuuid or rpcrt4.dll at runtime.

Core and Builtins

bpo-40663 [https://bugs.python.org/issue?@action=redirect&bpo=40663]: Correctly generate annotations where parentheses are omitted but required (e.g: Type[(str, int, *other))].

bpo-40596 [https://bugs.python.org/issue?@action=redirect&bpo=40596]: Fixed str.isidentifier() for non-canonicalized strings containing non-BMP characters on Windows.

bpo-40593 [https://bugs.python.org/issue?@action=redirect&bpo=40593]: Improved syntax errors for invalid characters in source code.

bpo-40585 [https://bugs.python.org/issue?@action=redirect&bpo=40585]: Fixed a bug when using codeop.compile_command() that was causing exceptions to be swallowed with the new parser. Patch by Pablo Galindo

bpo-40566 [https://bugs.python.org/issue?@action=redirect&bpo=40566]: Apply PEP 573 [https://peps.python.org/pep-0573/] to abc.

bpo-40502 [https://bugs.python.org/issue?@action=redirect&bpo=40502]: Initialize n->n_col_offset. (Patch by Joannah Nanjekye)

bpo-40527 [https://bugs.python.org/issue?@action=redirect&bpo=40527]: Fix command line argument parsing: no longer write errors multiple times into stderr.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port errno to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40523 [https://bugs.python.org/issue?@action=redirect&bpo=40523]: Add pass-throughs for hash() and reversed() to weakref.proxy objects. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port syslog to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40246 [https://bugs.python.org/issue?@action=redirect&bpo=40246]: Reporting a specialised error message for invalid string prefixes, which was introduced in bpo-40246 [https://bugs.python.org/issue?@action=redirect&bpo=40246], is being reverted due to backwards compatibility concerns for strings that immediately follow a reserved keyword without whitespace between them. Constructs like bg="#d00" if clear else"#fca" were failing to parse, which is not an acceptable breakage on such short notice.

bpo-40417 [https://bugs.python.org/issue?@action=redirect&bpo=40417]: Fix imp module deprecation warning when PyImport_ReloadModule is called. Patch by Robert Rouhani.

bpo-40408 [https://bugs.python.org/issue?@action=redirect&bpo=40408]: Fixed support of nested type variables in GenericAlias (e.g. list[list[T]]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _stat module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-29587 [https://bugs.python.org/issue?@action=redirect&bpo=29587]: Enable implicit exception chaining when calling generator.throw().

bpo-40328 [https://bugs.python.org/issue?@action=redirect&bpo=40328]: Add tools for generating mappings headers for CJKCodecs.

bpo-40228 [https://bugs.python.org/issue?@action=redirect&bpo=40228]: Setting frame.f_lineno is now robust w.r.t. changes in the source-to-bytecode compiler

bpo-38880 [https://bugs.python.org/issue?@action=redirect&bpo=38880]: Added the ability to list interpreters associated with channel ends in the internal subinterpreters module.

bpo-37986 [https://bugs.python.org/issue?@action=redirect&bpo=37986]: Improve performance of PyLong_FromDouble() for values that fit into long.

Library

bpo-40662 [https://bugs.python.org/issue?@action=redirect&bpo=40662]: Fixed ast.get_source_segment() for ast nodes that have incomplete location information. Patch by Irit Katriel.

bpo-40665 [https://bugs.python.org/issue?@action=redirect&bpo=40665]: Convert bisect to use Argument Clinic.

bpo-40536 [https://bugs.python.org/issue?@action=redirect&bpo=40536]: Added the available_timezones() function to the zoneinfo module. Patch by Paul Ganssle.

bpo-40645 [https://bugs.python.org/issue?@action=redirect&bpo=40645]: The hmac.HMAC exposes internal implementation details. The attributes digest_cons, inner, and outer are deprecated and will be removed in the future.

bpo-40645 [https://bugs.python.org/issue?@action=redirect&bpo=40645]: The internal module _hashlib wraps and exposes OpenSSL’s HMAC API. The new code will be used in Python 3.10 after the internal implementation details of the pure Python HMAC module are no longer part of the public API.

bpo-40637 [https://bugs.python.org/issue?@action=redirect&bpo=40637]: Builtin hash modules can now be disabled or selectively enabled with configure --with-builtin-hashlib-hashes=sha3,blake1 or --without-builtin-hashlib-hashes.

bpo-37630 [https://bugs.python.org/issue?@action=redirect&bpo=37630]: The hashlib module can now use SHA3 hashes and SHAKE XOF from OpenSSL when available.

bpo-40479 [https://bugs.python.org/issue?@action=redirect&bpo=40479]: The hashlib now compiles with OpenSSL 3.0.0-alpha2.

bpo-40257 [https://bugs.python.org/issue?@action=redirect&bpo=40257]: Revert changes to inspect.getdoc().

bpo-40607 [https://bugs.python.org/issue?@action=redirect&bpo=40607]: When cancelling a task due to timeout, asyncio.wait_for() will now propagate the exception if an error happens during cancellation. Patch by Roman Skurikhin.

bpo-40612 [https://bugs.python.org/issue?@action=redirect&bpo=40612]: Fix edge cases in SyntaxError formatting. If the offset is <= 0, no caret is printed. If the offset is > line length, the caret is printed pointing just after the last character.

bpo-40597 [https://bugs.python.org/issue?@action=redirect&bpo=40597]: If text content lines are longer than policy.max_line_length, always use a content-encoding to make sure they are wrapped.

bpo-40571 [https://bugs.python.org/issue?@action=redirect&bpo=40571]: Added functools.cache() as a simpler, more discoverable way to access the unbounded cache variant of lru_cache(maxsize=None).

bpo-40503 [https://bugs.python.org/issue?@action=redirect&bpo=40503]: PEP 615 [https://peps.python.org/pep-0615/], the zoneinfo module. Adds support for the IANA time zone database.

bpo-40397 [https://bugs.python.org/issue?@action=redirect&bpo=40397]: Removed attributes __args__ and __parameters__ from special generic aliases like typing.List (not subscripted).

bpo-40549 [https://bugs.python.org/issue?@action=redirect&bpo=40549]: Convert posixmodule.c (“posix” or “nt” module) to the multiphase initialization (PEP 489).

bpo-31033 [https://bugs.python.org/issue?@action=redirect&bpo=31033]: Add a msg argument to Future.cancel() and Task.cancel().

bpo-40541 [https://bugs.python.org/issue?@action=redirect&bpo=40541]: Added an optional counts parameter to random.sample().

bpo-40515 [https://bugs.python.org/issue?@action=redirect&bpo=40515]: The ssl and hashlib modules now actively check that OpenSSL is build with thread support. Python 3.7.0 made thread support mandatory and no longer works safely with a no-thread builds.

bpo-31033 [https://bugs.python.org/issue?@action=redirect&bpo=31033]: When a asyncio.Task is cancelled, the exception traceback now chains all the way back to where the task was first interrupted.

bpo-40504 [https://bugs.python.org/issue?@action=redirect&bpo=40504]: functools.lru_cache() objects can now be the targets of weakrefs.

bpo-40559 [https://bugs.python.org/issue?@action=redirect&bpo=40559]: Fix possible memory leak in the C implementation of asyncio.Task.

bpo-40480 [https://bugs.python.org/issue?@action=redirect&bpo=40480]: fnmatch.fnmatch() could take exponential time in the presence of multiple * pattern characters. This was repaired by generating more elaborate regular expressions to avoid futile backtracking.

bpo-40495 [https://bugs.python.org/issue?@action=redirect&bpo=40495]: compileall is now able to use hardlinks to prevent duplicates in a case when .pyc files for different optimization levels have the same content.

bpo-40457 [https://bugs.python.org/issue?@action=redirect&bpo=40457]: The ssl module now support OpenSSL builds without TLS 1.0 and 1.1 methods.

bpo-40355 [https://bugs.python.org/issue?@action=redirect&bpo=40355]: Improve error reporting in ast.literal_eval() in the presence of malformed ast.Dict nodes instead of silently ignoring any non-conforming elements. Patch by Curtis Bucher.

bpo-40465 [https://bugs.python.org/issue?@action=redirect&bpo=40465]: Deprecated the optional random argument to random.shuffle().

bpo-40459 [https://bugs.python.org/issue?@action=redirect&bpo=40459]: platform.win32_ver() now produces correct ptype strings instead of empty strings.

bpo-39435 [https://bugs.python.org/issue?@action=redirect&bpo=39435]: The first argument of pickle.loads() is now positional-only.

bpo-39305 [https://bugs.python.org/issue?@action=redirect&bpo=39305]: Update nntplib to merge nntplib.NNTP and nntplib._NNTPBase. Patch by Donghee Na.

bpo-32494 [https://bugs.python.org/issue?@action=redirect&bpo=32494]: Update dbm.gnu to use gdbm_count if possible when calling len(). Patch by Donghee Na.

bpo-40453 [https://bugs.python.org/issue?@action=redirect&bpo=40453]: Add isolated=True keyword-only parameter to _xxsubinterpreters.create(). An isolated subinterpreter cannot spawn threads, spawn a child process or call os.fork().

bpo-40286 [https://bugs.python.org/issue?@action=redirect&bpo=40286]: Remove _random.Random.randbytes(): the C implementation of randbytes(). Implement the method in Python to ease subclassing: randbytes() now directly reuses getrandbits().

bpo-40394 [https://bugs.python.org/issue?@action=redirect&bpo=40394]: Added default arguments to difflib.SequenceMatcher.find_longest_match().

bpo-39995 [https://bugs.python.org/issue?@action=redirect&bpo=39995]: Fix a race condition in concurrent.futures._ThreadWakeup: access to _ThreadWakeup is now protected with the shutdown lock.

bpo-30966 [https://bugs.python.org/issue?@action=redirect&bpo=30966]: Process.shutdown(wait=True) of concurrent.futures now closes explicitly the result queue.

bpo-30966 [https://bugs.python.org/issue?@action=redirect&bpo=30966]: Add a new close() method to the SimpleQueue class to explicitly close the queue.

bpo-39966 [https://bugs.python.org/issue?@action=redirect&bpo=39966]: Revert bpo-25597 [https://bugs.python.org/issue?@action=redirect&bpo=25597]. unittest.mock.MagicMock with wraps’ set uses default return values for magic methods.

bpo-39791 [https://bugs.python.org/issue?@action=redirect&bpo=39791]: Added files() function to importlib.resources with support for subdirectories in package data, matching backport in importlib_resources 1.5.

bpo-40375 [https://bugs.python.org/issue?@action=redirect&bpo=40375]: imaplib.IMAP4.unselect() is added. Patch by Donghee Na.

bpo-40389 [https://bugs.python.org/issue?@action=redirect&bpo=40389]: repr() now returns typing.Optional[T] when called for typing.Union of two types, one of which is NoneType.

bpo-40291 [https://bugs.python.org/issue?@action=redirect&bpo=40291]: Add support for CAN_J1939 sockets (available on Linux 5.4+)

bpo-40273 [https://bugs.python.org/issue?@action=redirect&bpo=40273]: types.MappingProxyType is now reversible.

bpo-39075 [https://bugs.python.org/issue?@action=redirect&bpo=39075]: The repr for types.SimpleNamespace is now insertion ordered rather than alphabetical.

bpo-40192 [https://bugs.python.org/issue?@action=redirect&bpo=40192]: On AIX, thread_time() is now implemented with thread_cputime() which has nanosecond resolution, rather than clock_gettime(CLOCK_THREAD_CPUTIME_ID) which has a resolution of 10 milliseconds. Patch by Batuhan Taskaya.

bpo-40025 [https://bugs.python.org/issue?@action=redirect&bpo=40025]: Raise TypeError when _generate_next_value_ is defined after members. Patch by Ethan Onstott.

bpo-39058 [https://bugs.python.org/issue?@action=redirect&bpo=39058]: In the argparse module, the repr for Namespace() and other argument holders now displayed in the order attributes were added. Formerly, it displayed in alphabetical order even though argument order is preserved the user visible parts of the module.

bpo-24416 [https://bugs.python.org/issue?@action=redirect&bpo=24416]: The isocalendar() methods of datetime.date and datetime.datetime now return a named tuple instead of a tuple.

Documentation

bpo-34790 [https://bugs.python.org/issue?@action=redirect&bpo=34790]: Add version of removal for explicit passing of coros to asyncio.wait()’s documentation

bpo-40561 [https://bugs.python.org/issue?@action=redirect&bpo=40561]: Provide docstrings for webbrowser open functions.

bpo-40499 [https://bugs.python.org/issue?@action=redirect&bpo=40499]: Mention that asyncio.wait() requires a non-empty set of awaitables.

bpo-39705 [https://bugs.python.org/issue?@action=redirect&bpo=39705]: Tutorial example for sorted() in the Loop Techniques section is given a better explanation. Also a new example is included to explain sorted()’s basic behavior.

bpo-39435 [https://bugs.python.org/issue?@action=redirect&bpo=39435]: Fix an incorrect signature for pickle.loads() in the docs

Tests

bpo-40055 [https://bugs.python.org/issue?@action=redirect&bpo=40055]: distutils.tests now saves/restores warnings filters to leave them unchanged. Importing tests imports docutils which imports pkg_resources which adds a warnings filter.

bpo-40436 [https://bugs.python.org/issue?@action=redirect&bpo=40436]: test_gdb and test.pythoninfo now check gdb command exit code.

Build

bpo-40653 [https://bugs.python.org/issue?@action=redirect&bpo=40653]: Move _dirnameW out of HAVE_SYMLINK to fix a potential compiling issue.

bpo-40514 [https://bugs.python.org/issue?@action=redirect&bpo=40514]: Add --with-experimental-isolated-subinterpreters build option to configure: better isolate subinterpreters, experimental build mode.

Windows

bpo-40650 [https://bugs.python.org/issue?@action=redirect&bpo=40650]: Include winsock2.h in pytime.c for timeval.

bpo-40458 [https://bugs.python.org/issue?@action=redirect&bpo=40458]: Increase reserved stack space to prevent overflow crash on Windows.

bpo-39148 [https://bugs.python.org/issue?@action=redirect&bpo=39148]: Add IPv6 support to asyncio datagram endpoints in ProactorEventLoop. Change the raised exception for unknown address families to ValueError as it’s not coming from Windows API.

macOS

bpo-34956 [https://bugs.python.org/issue?@action=redirect&bpo=34956]: When building Python on macOS from source, _tkinter now links with non-system Tcl and Tk frameworks if they are installed in /Library/Frameworks, as had been the case on older releases of macOS. If a macOS SDK is explicitly configured, by using --enable-universalsdk= or -isysroot, only the SDK itself is searched. The default behavior can still be overridden with --with-tcltk-includes and --with-tcltk-libs.

bpo-35569 [https://bugs.python.org/issue?@action=redirect&bpo=35569]: Expose RFC 3542 IPv6 socket options.

Tools/Demos

bpo-40479 [https://bugs.python.org/issue?@action=redirect&bpo=40479]: Update multissltest helper to test with latest OpenSSL 1.0.2, 1.1.0, 1.1.1, and 3.0.0-alpha.

bpo-40431 [https://bugs.python.org/issue?@action=redirect&bpo=40431]: Fix a syntax typo in turtledemo that now raises a SyntaxError.

bpo-40163 [https://bugs.python.org/issue?@action=redirect&bpo=40163]: Fix multissltest tool. OpenSSL has changed download URL for old releases. The multissltest tool now tries to download from current and old download URLs.

C API

bpo-39465 [https://bugs.python.org/issue?@action=redirect&bpo=39465]: Remove the _PyUnicode_ClearStaticStrings() function from the C API.

bpo-38787 [https://bugs.python.org/issue?@action=redirect&bpo=38787]: Add PyCFunction_CheckExact() macro for exact type checks now that we allow subtypes of PyCFunction, as well as PyCMethod_CheckExact() and PyCMethod_Check() for the new PyCMethod subtype.

bpo-40545 [https://bugs.python.org/issue?@action=redirect&bpo=40545]: Declare _PyErr_GetTopmostException() with PyAPI_FUNC() to properly export the function in the C API. The function remains private (_Py) prefix.

bpo-40412 [https://bugs.python.org/issue?@action=redirect&bpo=40412]: Nullify inittab_copy during finalization, preventing future interpreter initializations in an embedded situation from crashing. Patch by Gregory Szorc.

bpo-40429 [https://bugs.python.org/issue?@action=redirect&bpo=40429]: The PyThreadState_GetFrame() function now returns a strong reference to the frame.

bpo-40428 [https://bugs.python.org/issue?@action=redirect&bpo=40428]: Remove the following functions from the C API. Call PyGC_Collect() explicitly to free all free lists.

PyAsyncGen_ClearFreeLists()

PyContext_ClearFreeList()

PyDict_ClearFreeList()

PyFloat_ClearFreeList()

PyFrame_ClearFreeList()

PyList_ClearFreeList()

PySet_ClearFreeList()

PyTuple_ClearFreeList()

bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421]: New PyFrame_GetBack() function: get the frame next outer frame.

bpo-40421 [https://bugs.python.org/issue?@action=redirect&bpo=40421]: New PyFrame_GetCode() function: return a borrowed reference to the frame code.

bpo-40217 [https://bugs.python.org/issue?@action=redirect&bpo=40217]: Ensure that instances of types created with PyType_FromSpecWithBases() will visit its class object when traversing references in the garbage collector (implemented as an extension of the provided tp_traverse). Patch by Pablo Galindo.

bpo-38787 [https://bugs.python.org/issue?@action=redirect&bpo=38787]: Module C state is now accessible from C-defined heap type methods (PEP 573 [https://peps.python.org/pep-0573/]). Patch by Marcel Plch and Petr Viktorin.

Python 3.9.0 alpha 6

Release date: 2020-04-27

Security

bpo-40121 [https://bugs.python.org/issue?@action=redirect&bpo=40121]: Fixes audit events raised on creating a new socket.

bpo-39073 [https://bugs.python.org/issue?@action=redirect&bpo=39073]: Disallow CR or LF in email.headerregistry.Address arguments to guard against header injection attacks.

bpo-39503 [https://bugs.python.org/issue?@action=redirect&bpo=39503]: CVE 2020-8492 [https://www.cve.org/CVERecord?id=CVE-2020-8492]: The AbstractBasicAuthHandler class of the urllib.request module uses an inefficient regular expression which can be exploited by an attacker to cause a denial of service. Fix the regex to prevent the catastrophic backtracking. Vulnerability reported by Ben Caller and Matt Schwager.

Core and Builtins

bpo-40313 [https://bugs.python.org/issue?@action=redirect&bpo=40313]: Improve the performance of bytes.hex().

bpo-40334 [https://bugs.python.org/issue?@action=redirect&bpo=40334]: Switch to a new parser, based on PEG. For more details see PEP 617. To temporarily switch back to the old parser, use -X oldparser or PYTHONOLDPARSER=1. In Python 3.10 we will remove the old parser completely, including the parser module (already deprecated) and anything that depends on it.

bpo-40267 [https://bugs.python.org/issue?@action=redirect&bpo=40267]: Fix the tokenizer to display the correct error message, when there is a SyntaxError on the last input character and no newline follows. It used to be unexpected EOF while parsing, while it should be invalid syntax.

bpo-39522 [https://bugs.python.org/issue?@action=redirect&bpo=39522]: Correctly unparse explicit u prefix for strings when postponed evaluation for annotations activated. Patch by Batuhan Taskaya.

bpo-40246 [https://bugs.python.org/issue?@action=redirect&bpo=40246]: Report a specialized error message, invalid string prefix, when the tokenizer encounters a string with an invalid prefix.

bpo-40082 [https://bugs.python.org/issue?@action=redirect&bpo=40082]: Fix the signal handler: it now always uses the main interpreter, rather than trying to get the current Python thread state.

bpo-37388 [https://bugs.python.org/issue?@action=redirect&bpo=37388]: str.encode() and str.decode() no longer check the encoding and errors in development mode or in debug mode during Python finalization. The codecs machinery can no longer work on very late calls to str.encode() and str.decode().

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Fix possible refleaks in _json, memo of PyScannerObject should be traversed.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to dict() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention.

bpo-40141 [https://bugs.python.org/issue?@action=redirect&bpo=40141]: Add column and line information to ast.keyword nodes. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port resource to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port math to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _uuid module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40077 [https://bugs.python.org/issue?@action=redirect&bpo=40077]: Convert json module to use PyType_FromSpec().

bpo-40067 [https://bugs.python.org/issue?@action=redirect&bpo=40067]: Improve the error message for multiple star expressions in an assignment. Patch by Furkan Onder

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _functools module to multiphase initialization (PEP 489). Patch by Paulo Henrique Silva.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port operator module to multiphase initialization (PEP 489). Patch by Paulo Henrique Silva.

bpo-20526 [https://bugs.python.org/issue?@action=redirect&bpo=20526]: Fix PyThreadState_Clear(). PyThreadState.frame is a borrowed reference, not a strong reference: PyThreadState_Clear() must not call Py_CLEAR(tstate->frame).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port time module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]). Patch by Paulo Henrique Silva.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _weakref extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40020 [https://bugs.python.org/issue?@action=redirect&bpo=40020]: Fix a leak and subsequent crash in parsetok.c caused by realloc misuse on a rare codepath.

bpo-39939 [https://bugs.python.org/issue?@action=redirect&bpo=39939]: Added str.removeprefix and str.removesuffix methods and corresponding bytes, bytearray, and collections.UserString methods to remove affixes from a string if present. See PEP 616 [https://peps.python.org/pep-0616/] for a full description. Patch by Dennis Sweeney.

bpo-39481 [https://bugs.python.org/issue?@action=redirect&bpo=39481]: Implement PEP 585. This supports list[int], tuple[str, …] etc.

bpo-32894 [https://bugs.python.org/issue?@action=redirect&bpo=32894]: Support unparsing of infinity numbers in postponed annotations. Patch by Batuhan Taşkaya.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to list() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Mark Shannon.

Library

bpo-40398 [https://bugs.python.org/issue?@action=redirect&bpo=40398]: typing.get_args() now always returns an empty tuple for special generic aliases.

bpo-40396 [https://bugs.python.org/issue?@action=redirect&bpo=40396]: Functions typing.get_origin(), typing.get_args() and typing.get_type_hints() support now generic aliases like list[int].

bpo-38061 [https://bugs.python.org/issue?@action=redirect&bpo=38061]: Optimize the subprocess module on FreeBSD using closefrom(). A single close(fd) syscall is cheap, but when sysconf(_SC_OPEN_MAX) is high, the loop calling close(fd) on each file descriptor can take several milliseconds.

The workaround on FreeBSD to improve performance was to load and mount the fdescfs kernel module, but this is not enabled by default.

Initial patch by Ed Maste (emaste), Conrad Meyer (cem), Kyle Evans (kevans) and Kubilay Kocak (koobs): https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=242274

bpo-38061 [https://bugs.python.org/issue?@action=redirect&bpo=38061]: On FreeBSD, os.closerange(fd_low, fd_high) now calls closefrom(fd_low) if fd_high is greater than or equal to sysconf(_SC_OPEN_MAX).

Initial patch by Ed Maste (emaste), Conrad Meyer (cem), Kyle Evans (kevans) and Kubilay Kocak (koobs): https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=242274

bpo-40360 [https://bugs.python.org/issue?@action=redirect&bpo=40360]: The lib2to3 module is pending deprecation due to PEP 617 [https://peps.python.org/pep-0617/].

bpo-40138 [https://bugs.python.org/issue?@action=redirect&bpo=40138]: Fix the Windows implementation of os.waitpid() for exit code larger than INT_MAX >> 8. The exit status is now interpreted as an unsigned number.

bpo-39942 [https://bugs.python.org/issue?@action=redirect&bpo=39942]: Set “__main__” as the default module name when “__name__” is missing in typing.TypeVar. Patch by Weipeng Hong.

bpo-40275 [https://bugs.python.org/issue?@action=redirect&bpo=40275]: The logging package is now imported lazily in unittest only when the assertLogs() assertion is used.

bpo-40275 [https://bugs.python.org/issue?@action=redirect&bpo=40275]: The asyncio package is now imported lazily in unittest only when the IsolatedAsyncioTestCase class is used.

bpo-40330 [https://bugs.python.org/issue?@action=redirect&bpo=40330]: In ShareableList.__setitem__(), check the size of a new string item after encoding it to utf-8, not before.

bpo-40148 [https://bugs.python.org/issue?@action=redirect&bpo=40148]: Added pathlib.Path.with_stem() to create a new Path with the stem replaced.

bpo-40325 [https://bugs.python.org/issue?@action=redirect&bpo=40325]: Deprecated support for set objects in random.sample().

bpo-40257 [https://bugs.python.org/issue?@action=redirect&bpo=40257]: Improved help for the typing module. Docstrings are now shown for all special forms and special generic aliases (like Union and List). Using help() with generic alias like List[int] will show the help for the correspondent concrete type (list in this case).

bpo-40257 [https://bugs.python.org/issue?@action=redirect&bpo=40257]: inspect.getdoc() no longer returns docstring inherited from the type of the object or from parent class if it is a class if it is not defined in the object itself. In pydoc the documentation string is now shown not only for class, function, method etc, but for any object that has its own __doc__ attribute.

bpo-40287 [https://bugs.python.org/issue?@action=redirect&bpo=40287]: Fixed SpooledTemporaryFile.seek() to return the position.

bpo-40290 [https://bugs.python.org/issue?@action=redirect&bpo=40290]: Added zscore() to statistics.NormalDist().

bpo-40282 [https://bugs.python.org/issue?@action=redirect&bpo=40282]: Allow random.getrandbits(0) to succeed and to return 0.

bpo-40286 [https://bugs.python.org/issue?@action=redirect&bpo=40286]: Add random.randbytes() function and random.Random.randbytes() method to generate random bytes.

bpo-40277 [https://bugs.python.org/issue?@action=redirect&bpo=40277]: collections.namedtuple() now provides a human-readable repr for its field accessors.

bpo-40270 [https://bugs.python.org/issue?@action=redirect&bpo=40270]: The included copy of sqlite3 on Windows is now compiled with the json extension. This allows the use of functions such as json_object.

bpo-29255 [https://bugs.python.org/issue?@action=redirect&bpo=29255]: Wait in KqueueSelector.select when no fds are registered

bpo-40260 [https://bugs.python.org/issue?@action=redirect&bpo=40260]: Ensure modulefinder uses io.open_code() and respects coding comments.

bpo-40234 [https://bugs.python.org/issue?@action=redirect&bpo=40234]: Allow again to spawn daemon threads in subinterpreters (revert change which denied them).

bpo-39207 [https://bugs.python.org/issue?@action=redirect&bpo=39207]: Workers in ProcessPoolExecutor are now spawned on demand, only when there are no available idle workers to reuse. This optimizes startup overhead and reduces the amount of lost CPU time to idle workers. Patch by Kyle Stanley.

bpo-40091 [https://bugs.python.org/issue?@action=redirect&bpo=40091]: Fix a hang at fork in the logging module: the new private _at_fork_reinit() method is now used to reinitialize locks at fork in the child process.

bpo-40149 [https://bugs.python.org/issue?@action=redirect&bpo=40149]: Implement traverse and clear slots in _abc._abc_data type.

bpo-40208 [https://bugs.python.org/issue?@action=redirect&bpo=40208]: Remove deprecated symtable.SymbolTable.has_exec().

bpo-40196 [https://bugs.python.org/issue?@action=redirect&bpo=40196]: Fix a bug in the symtable module that was causing incorrectly report global variables as local. Patch by Pablo Galindo.

bpo-40190 [https://bugs.python.org/issue?@action=redirect&bpo=40190]: Add support for _SC_AIX_REALMEM to posix.sysconf().

bpo-40182 [https://bugs.python.org/issue?@action=redirect&bpo=40182]: Removed the _field_types attribute of the typing.NamedTuple class.

bpo-36517 [https://bugs.python.org/issue?@action=redirect&bpo=36517]: Multiple inheritance with typing.NamedTuple now raises an error instead of silently ignoring other types.

bpo-40126 [https://bugs.python.org/issue?@action=redirect&bpo=40126]: Fixed reverting multiple patches in unittest.mock. Patcher’s __exit__() is now never called if its __enter__() is failed. Returning true from __exit__() silences now the exception.

bpo-40094 [https://bugs.python.org/issue?@action=redirect&bpo=40094]: CGIHTTPRequestHandler of http.server now logs the CGI script exit code, rather than the CGI script exit status of os.waitpid(). For example, if the script is killed by signal 11, it now logs: “CGI script exit code -11.”

bpo-40108 [https://bugs.python.org/issue?@action=redirect&bpo=40108]: Improve the error message when triying to import a module using runpy and incorrectly using the “.py” extension at the end of the module name. Patch by Pablo Galindo.

bpo-40094 [https://bugs.python.org/issue?@action=redirect&bpo=40094]: Add os.waitstatus_to_exitcode() function: convert a wait status to an exit code.

bpo-40089 [https://bugs.python.org/issue?@action=redirect&bpo=40089]: Fix threading._after_fork(): if fork was not called by a thread spawned by threading.Thread, threading._after_fork() now creates a _MainThread instance for _main_thread, instead of a _DummyThread instance.

bpo-40089 [https://bugs.python.org/issue?@action=redirect&bpo=40089]: Add a private _at_fork_reinit() method to _thread.Lock, _thread.RLock, threading.RLock and threading.Condition classes: reinitialize the lock at fork in the child process, reset the lock to the unlocked state. Rename also the private _reset_internal_locks() method of threading.Event to _at_fork_reinit().

bpo-25780 [https://bugs.python.org/issue?@action=redirect&bpo=25780]: Expose CAN_RAW_JOIN_FILTERS in the socket module.

bpo-39503 [https://bugs.python.org/issue?@action=redirect&bpo=39503]: AbstractBasicAuthHandler of urllib.request now parses all WWW-Authenticate HTTP headers and accepts multiple challenges per header: use the realm of the first Basic challenge.

bpo-39812 [https://bugs.python.org/issue?@action=redirect&bpo=39812]: Removed daemon threads from concurrent.futures by adding an internal threading._register_atexit(), which calls registered functions prior to joining all non-daemon threads. This allows for compatibility with subinterpreters, which don’t support daemon threads.

bpo-40050 [https://bugs.python.org/issue?@action=redirect&bpo=40050]: Fix importlib._bootstrap_external: avoid creating a new winreg builtin module if it’s already available in sys.modules, and remove redundant imports.

bpo-40014 [https://bugs.python.org/issue?@action=redirect&bpo=40014]: Fix os.getgrouplist(): if getgrouplist() function fails because the group list is too small, retry with a larger group list. On failure, the glibc implementation of getgrouplist() sets ngroups to the total number of groups. For other implementations, double the group list size.

bpo-40017 [https://bugs.python.org/issue?@action=redirect&bpo=40017]: Add time.CLOCK_TAI constant if the operating system support it.

bpo-40016 [https://bugs.python.org/issue?@action=redirect&bpo=40016]: In re docstring, clarify the relationship between inline and argument compile flags.

bpo-39953 [https://bugs.python.org/issue?@action=redirect&bpo=39953]: Update internal table of OpenSSL error codes in the ssl module.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: Added PEP 584 [https://peps.python.org/pep-0584/] operators to weakref.WeakValueDictionary.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: Added PEP 584 [https://peps.python.org/pep-0584/] operators to weakref.WeakKeyDictionary.

bpo-38891 [https://bugs.python.org/issue?@action=redirect&bpo=38891]: Fix linear runtime behaviour of the __getitem__ and __setitem__ methods in multiprocessing.shared_memory.ShareableList. This avoids quadratic performance when iterating a ShareableList. Patch by Thomas Krennwallner.

bpo-39682 [https://bugs.python.org/issue?@action=redirect&bpo=39682]: Remove undocumented support for closing a pathlib.Path object via its context manager. The context manager magic methods remain, but they are now a no-op, making Path objects immutable.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: Added PEP 584 [https://peps.python.org/pep-0584/] operators (| and |=) to collections.ChainMap.

bpo-39011 [https://bugs.python.org/issue?@action=redirect&bpo=39011]: Normalization of line endings in ElementTree attributes was removed, as line endings which were replaced by entity numbers should be preserved in original form.

bpo-38410 [https://bugs.python.org/issue?@action=redirect&bpo=38410]: Properly handle sys.audit() failures in sys.set_asyncgen_hooks().

bpo-36541 [https://bugs.python.org/issue?@action=redirect&bpo=36541]: lib2to3 now recognizes named assignment expressions (the walrus operator, :=)

bpo-35967 [https://bugs.python.org/issue?@action=redirect&bpo=35967]: In platform, delay the invocation of ‘uname -p’ until the processor attribute is requested.

bpo-35113 [https://bugs.python.org/issue?@action=redirect&bpo=35113]: inspect.getsource() now returns correct source code for inner class with same name as module level class. Decorators are also returned as part of source of the class. Patch by Karthikeyan Singaravelan.

bpo-33262 [https://bugs.python.org/issue?@action=redirect&bpo=33262]: Deprecate passing None as an argument for shlex.split()’s s parameter. Patch by Zackery Spytz.

bpo-31758 [https://bugs.python.org/issue?@action=redirect&bpo=31758]: Prevent crashes when using an uninitialized _elementtree.XMLParser object. Patch by Oren Milman.

Documentation

bpo-27635 [https://bugs.python.org/issue?@action=redirect&bpo=27635]: The pickle documentation incorrectly claimed that __new__ isn’t called by default when unpickling.

bpo-39879 [https://bugs.python.org/issue?@action=redirect&bpo=39879]: Updated Modelo de dados docs to include dict() insertion order preservation. Patch by Furkan Onder and Samy Lahfa.

bpo-38387 [https://bugs.python.org/issue?@action=redirect&bpo=38387]: Document PyDoc_STRVAR macro in the C-API reference.

bpo-13743 [https://bugs.python.org/issue?@action=redirect&bpo=13743]: Some methods within xml.dom.minidom.Element class are now better documented.

Tests

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Set expected default encoding in test_c_locale_coercion.py for VxWorks RTOS.

bpo-40162 [https://bugs.python.org/issue?@action=redirect&bpo=40162]: Update Travis CI configuration to OpenSSL 1.1.1f.

bpo-40146 [https://bugs.python.org/issue?@action=redirect&bpo=40146]: Update OpenSSL to 1.1.1f in Azure Pipelines.

bpo-40094 [https://bugs.python.org/issue?@action=redirect&bpo=40094]: Add test.support.wait_process() function.

bpo-40003 [https://bugs.python.org/issue?@action=redirect&bpo=40003]: test.bisect_cmd now copies Python command line options like -O or -W. Moreover, emit a warning if test.bisect_cmd is used with -w/--verbose2 option.

bpo-39380 [https://bugs.python.org/issue?@action=redirect&bpo=39380]: Add the encoding in ftplib.FTP and ftplib.FTP_TLS to the constructor as keyword-only and change the default from latin-1 to utf-8 to follow RFC 2640 [https://datatracker.ietf.org/doc/html/rfc2640.html].

bpo-39793 [https://bugs.python.org/issue?@action=redirect&bpo=39793]: Use the same domain when testing make_msgid. Patch by Batuhan Taskaya.

bpo-1812 [https://bugs.python.org/issue?@action=redirect&bpo=1812]: Fix newline handling in doctest.testfile when loading from a package whose loader has a get_data method. Patch by Peter Donis.

Build

bpo-38360 [https://bugs.python.org/issue?@action=redirect&bpo=38360]: Support single-argument form of macOS -isysroot flag.

bpo-40158 [https://bugs.python.org/issue?@action=redirect&bpo=40158]: Fix CPython MSBuild Properties in NuGet Package (build/native/python.props)

bpo-38527 [https://bugs.python.org/issue?@action=redirect&bpo=38527]: Fix configure check on Solaris for “float word ordering”: sometimes, the correct “grep” command was not being used. Patch by Arnon Yaari.

Windows

bpo-40164 [https://bugs.python.org/issue?@action=redirect&bpo=40164]: Updates Windows to OpenSSL 1.1.1f

bpo-8901 [https://bugs.python.org/issue?@action=redirect&bpo=8901]: Ignore the Windows registry when the -E option is used.

macOS

bpo-38329 [https://bugs.python.org/issue?@action=redirect&bpo=38329]: python.org macOS installers now update the Current version symlink of /Library/Frameworks/Python.framework/Versions for 3.9 installs. Previously, Current was only updated for Python 2.x installs. This should make it easier to embed Python 3 into other macOS applications.

bpo-40164 [https://bugs.python.org/issue?@action=redirect&bpo=40164]: Update macOS installer builds to use OpenSSL 1.1.1g.

IDLE

bpo-38439 [https://bugs.python.org/issue?@action=redirect&bpo=38439]: Add a 256×256 pixel IDLE icon to support more modern environments. Created by Andrew Clover. Delete the unused macOS idle.icns icon file.

bpo-38689 [https://bugs.python.org/issue?@action=redirect&bpo=38689]: IDLE will no longer freeze when inspect.signature fails when fetching a calltip.

Tools/Demos

bpo-40385 [https://bugs.python.org/issue?@action=redirect&bpo=40385]: Removed the checkpyc.py tool. Please see compileall without force mode as a potential alternative.

bpo-40179 [https://bugs.python.org/issue?@action=redirect&bpo=40179]: Fixed translation of #elif in Argument Clinic.

bpo-40094 [https://bugs.python.org/issue?@action=redirect&bpo=40094]: Fix which.py script exit code: it now uses os.waitstatus_to_exitcode() to convert os.system() exit status into an exit code.

C API

bpo-40241 [https://bugs.python.org/issue?@action=redirect&bpo=40241]: Move the PyGC_Head structure to the internal C API.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Convert PyObject_IS_GC() macro to a function to hide implementation details.

bpo-40241 [https://bugs.python.org/issue?@action=redirect&bpo=40241]: Add the functions PyObject_GC_IsTracked() and PyObject_GC_IsFinalized() to the public API to allow to query if Python objects are being currently tracked or have been already finalized by the garbage collector respectively. Patch by Pablo Galindo.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: The PyObject_NEW() macro becomes an alias to the PyObject_New() macro, and the PyObject_NEW_VAR() macro becomes an alias to the PyObject_NewVar() macro, to hide implementation details. They no longer access directly the PyTypeObject.tp_basicsize member.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: PyType_HasFeature() now always calls PyType_GetFlags() to hide implementation details. Previously, it accessed directly the PyTypeObject.tp_flags member when the limited C API was not used.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Convert the PyObject_GET_WEAKREFS_LISTPTR() macro to a function to hide implementation details: the macro accessed directly to the PyTypeObject.tp_weaklistoffset member.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Convert PyObject_CheckBuffer() macro to a function to hide implementation details: the macro accessed directly the PyTypeObject.tp_as_buffer member.

bpo-40170 [https://bugs.python.org/issue?@action=redirect&bpo=40170]: Always declare PyIndex_Check() as an opaque function to hide implementation details: remove PyIndex_Check() macro. The macro accessed directly the PyTypeObject.tp_as_number member.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Add PyThreadState_GetID() function: get the unique identifier of a Python thread state.

Python 3.9.0 alpha 5

Release date: 2020-03-23

Security

bpo-38576 [https://bugs.python.org/issue?@action=redirect&bpo=38576]: Disallow control characters in hostnames in http.client, addressing CVE 2019-18348 [https://www.cve.org/CVERecord?id=CVE-2019-18348]. Such potentially malicious header injection URLs now cause a InvalidURL to be raised.

Core and Builtins

bpo-40010 [https://bugs.python.org/issue?@action=redirect&bpo=40010]: Optimize pending calls in multithreaded applications. If a thread different than the main thread schedules a pending call (Py_AddPendingCall()), the bytecode evaluation loop is no longer interrupted at each bytecode instruction to check for pending calls which cannot be executed. Only the main thread can execute pending calls.

Previously, the bytecode evaluation loop was interrupted at each instruction until the main thread executes pending calls.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _weakref extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _collections module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-40010 [https://bugs.python.org/issue?@action=redirect&bpo=40010]: Optimize signal handling in multithreaded applications. If a thread different than the main thread gets a signal, the bytecode evaluation loop is no longer interrupted at each bytecode instruction to check for pending signals which cannot be handled. Only the main thread of the main interpreter can handle signals.

Previously, the bytecode evaluation loop was interrupted at each instruction until the main thread handles signals.

bpo-39984 [https://bugs.python.org/issue?@action=redirect&bpo=39984]: If Py_AddPendingCall() is called in a subinterpreter, the function is now scheduled to be called from the subinterpreter, rather than being called from the main interpreter. Each subinterpreter now has its own list of scheduled calls.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _heapq module to multiphase initialization.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port itertools module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to frozenset() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-39984 [https://bugs.python.org/issue?@action=redirect&bpo=39984]: subinterpreters: Move _PyRuntimeState.ceval.tracing_possible to PyInterpreterState.ceval.tracing_possible: each interpreter now has its own variable.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to set() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _statistics module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39968 [https://bugs.python.org/issue?@action=redirect&bpo=39968]: Use inline function to replace extension modules’ get_module_state macros.

bpo-39965 [https://bugs.python.org/issue?@action=redirect&bpo=39965]: Correctly raise SyntaxError if await is used inside non-async functions and PyCF_ALLOW_TOP_LEVEL_AWAIT is set (like in the asyncio REPL). Patch by Pablo Galindo.

bpo-39562 [https://bugs.python.org/issue?@action=redirect&bpo=39562]: Allow executing asynchronous comprehensions on the top level when the PyCF_ALLOW_TOP_LEVEL_AWAIT flag is given. Patch by Batuhan Taskaya.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to tuple() by using the PEP 590 [https://peps.python.org/pep-0590/] vectorcall calling convention. Patch by Donghee Na.

bpo-38373 [https://bugs.python.org/issue?@action=redirect&bpo=38373]: Changed list overallocation strategy. It no longer overallocates if the new size is closer to overallocated size than to the old size and adds padding.

bpo-39926 [https://bugs.python.org/issue?@action=redirect&bpo=39926]: Update Unicode database to Unicode version 13.0.0.

bpo-19466 [https://bugs.python.org/issue?@action=redirect&bpo=19466]: Clear the frames of daemon threads earlier during the Python shutdown to call objects destructors. So “unclosed file” resource warnings are now emitted for daemon threads in a more reliable way.

bpo-38894 [https://bugs.python.org/issue?@action=redirect&bpo=38894]: Fix a bug that was causing incomplete results when calling pathlib.Path.glob in the presence of symlinks that point to files where the user does not have read access. Patch by Pablo Galindo and Matt Wozniski.

bpo-39877 [https://bugs.python.org/issue?@action=redirect&bpo=39877]: Fix PyEval_RestoreThread() random crash at exit with daemon threads. It now accesses the _PyRuntime variable directly instead of using tstate->interp->runtime, since tstate can be a dangling pointer after Py_Finalize() has been called. Moreover, the daemon thread now exits before trying to take the GIL.

bpo-39871 [https://bugs.python.org/issue?@action=redirect&bpo=39871]: Fix a possible SystemError in math.{atan2,copysign,remainder}() when the first argument cannot be converted to a float. Patch by Zackery Spytz.

bpo-39776 [https://bugs.python.org/issue?@action=redirect&bpo=39776]: Fix race condition where threads created by PyGILState_Ensure() could get a duplicate id.

This affects consumers of tstate->id like the contextvar caching machinery, which could return invalid cached objects under heavy thread load (observed in embedded scenarios).

bpo-39778 [https://bugs.python.org/issue?@action=redirect&bpo=39778]: Fixed a crash due to incorrect handling of weak references in collections.OrderedDict classes. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port audioop extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39702 [https://bugs.python.org/issue?@action=redirect&bpo=39702]: Relax decorator grammar restrictions to allow any valid expression (PEP 614 [https://peps.python.org/pep-0614/]).

bpo-38091 [https://bugs.python.org/issue?@action=redirect&bpo=38091]: Tweak import deadlock detection code to not deadlock itself.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _locale extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39087 [https://bugs.python.org/issue?@action=redirect&bpo=39087]: Optimize PyUnicode_AsUTF8() and PyUnicode_AsUTF8AndSize() slightly when they need to create internal UTF-8 cache.

bpo-39520 [https://bugs.python.org/issue?@action=redirect&bpo=39520]: Fix unparsing of ext slices with no items (foo[:,]). Patch by Batuhan Taskaya.

bpo-39220 [https://bugs.python.org/issue?@action=redirect&bpo=39220]: Do not optimize annotations if ‘from __future__ import annotations’ is used. Patch by Pablo Galindo.

bpo-35712 [https://bugs.python.org/issue?@action=redirect&bpo=35712]: Using NotImplemented in a boolean context has been deprecated. Patch contributed by Josh Rosenberg.

bpo-22490 [https://bugs.python.org/issue?@action=redirect&bpo=22490]: Don’t leak environment variable __PYVENV_LAUNCHER__ into the interpreter session on macOS.

Library

bpo-39830 [https://bugs.python.org/issue?@action=redirect&bpo=39830]: Add zipfile.Path to __all__ in the zipfile module.

bpo-40000 [https://bugs.python.org/issue?@action=redirect&bpo=40000]: Improved error messages for validation of ast.Constant nodes. Patch by Batuhan Taskaya.

bpo-39999 [https://bugs.python.org/issue?@action=redirect&bpo=39999]: __module__ of the AST node classes is now set to “ast” instead of “_ast”. Added docstrings for dummy AST node classes and deprecated attributes.

bpo-39991 [https://bugs.python.org/issue?@action=redirect&bpo=39991]: uuid.getnode() now skips IPv6 addresses with the same string length than a MAC address (17 characters): only use MAC addresses.

bpo-39988 [https://bugs.python.org/issue?@action=redirect&bpo=39988]: Deprecated ast.AugLoad and ast.AugStore node classes because they are no longer used.

bpo-39656 [https://bugs.python.org/issue?@action=redirect&bpo=39656]: Ensure bin/python3.# is always present in virtual environments on POSIX platforms - by Anthony Sottile.

bpo-39969 [https://bugs.python.org/issue?@action=redirect&bpo=39969]: Deprecated ast.Param node class because it’s no longer used. Patch by Batuhan Taskaya.

bpo-39360 [https://bugs.python.org/issue?@action=redirect&bpo=39360]: Ensure all workers exit when finalizing a multiprocessing.Pool implicitly via the module finalization handlers of multiprocessing. This fixes a deadlock situation that can be experienced when the Pool is not properly finalized via the context manager or a call to multiprocessing.Pool.terminate. Patch by Batuhan Taskaya and Pablo Galindo.

bpo-35370 [https://bugs.python.org/issue?@action=redirect&bpo=35370]: sys.settrace(), sys.setprofile() and _lsprof.Profiler.enable() now properly report PySys_Audit() error if “sys.setprofile” or “sys.settrace” audit event is denied.

bpo-39936 [https://bugs.python.org/issue?@action=redirect&bpo=39936]: AIX: Fix _aix_support module when the subprocess is not available, when building Python from scratch. It now uses new private _bootsubprocess module, rather than having two implementations depending if subprocess is available or not. So _aix_support.aix_platform() result is now the same if subprocess is available or not.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: collections.OrderedDict now implements | and |= (PEP 584 [https://peps.python.org/pep-0584/]).

bpo-39652 [https://bugs.python.org/issue?@action=redirect&bpo=39652]: The column name found in sqlite3.Cursor.description is now truncated on the first ‘[’ only if the PARSE_COLNAMES option is set.

bpo-39915 [https://bugs.python.org/issue?@action=redirect&bpo=39915]: Ensure unittest.mock.AsyncMock.await_args_list has call objects in the order of awaited arguments instead of using unittest.mock.Mock.call_args which has the last value of the call. Patch by Karthikeyan Singaravelan.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: Updated os.environ and os.environb to support PEP 584 [https://peps.python.org/pep-0584/]’s merge (|) and update (|=) operators.

bpo-38662 [https://bugs.python.org/issue?@action=redirect&bpo=38662]: The ensurepip module now invokes pip via the runpy module. Hence it is no longer tightly coupled with the internal API of the bundled pip version, allowing easier updates to a newer pip version both internally and for distributors.

bpo-38075 [https://bugs.python.org/issue?@action=redirect&bpo=38075]: Fix the random.Random.seed() method when a bool is passed as the seed.

bpo-39916 [https://bugs.python.org/issue?@action=redirect&bpo=39916]: More reliable use of os.scandir() in Path.glob(). It no longer emits a ResourceWarning when interrupted.

bpo-39850 [https://bugs.python.org/issue?@action=redirect&bpo=39850]: multiprocessing now supports abstract socket addresses (if abstract sockets are supported in the running platform). When creating arbitrary addresses (like when default-constructing multiprocessing.connection.Listener objects) abstract sockets are preferred to avoid the case when the temporary-file-generated address is too large for an AF_UNIX socket address. Patch by Pablo Galindo.

bpo-36287 [https://bugs.python.org/issue?@action=redirect&bpo=36287]: ast.dump() no longer outputs optional fields and attributes with default values. The default values for optional fields and attributes of AST nodes are now set as class attributes (e.g. Constant.kind is set to None).

bpo-39889 [https://bugs.python.org/issue?@action=redirect&bpo=39889]: Fixed ast.unparse() for extended slices containing a single element (e.g. a[i:j,]). Remove redundant tuples when index with a tuple (e.g. a[i, j]).

bpo-39828 [https://bugs.python.org/issue?@action=redirect&bpo=39828]: Fix json.tool to catch BrokenPipeError. Patch by Donghee Na.

bpo-13487 [https://bugs.python.org/issue?@action=redirect&bpo=13487]: Avoid a possible “RuntimeError: dictionary changed size during iteration” from inspect.getmodule() when it tried to loop through sys.modules.

bpo-39674 [https://bugs.python.org/issue?@action=redirect&bpo=39674]: Revert “bpo-37330 [https://bugs.python.org/issue?@action=redirect&bpo=37330]: open() no longer accept ‘U’ in file mode”. The “U” mode of open() is kept in Python 3.9 to ease transition from Python 2.7, but will be removed in Python 3.10.

bpo-28577 [https://bugs.python.org/issue?@action=redirect&bpo=28577]: The hosts method on 32-bit prefix length IPv4Networks and 128-bit prefix IPv6Networks now returns a list containing the single Address instead of an empty list.

bpo-39826 [https://bugs.python.org/issue?@action=redirect&bpo=39826]: Add getConnection method to logging HTTPHandler to enable custom connections.

bpo-39763 [https://bugs.python.org/issue?@action=redirect&bpo=39763]: Reimplement distutils.spawn.spawn function with the subprocess module.

bpo-39794 [https://bugs.python.org/issue?@action=redirect&bpo=39794]: Add –without-decimal-contextvar build option. This enables a thread-local rather than a coroutine local context.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: collections.defaultdict now implements | (PEP 584 [https://peps.python.org/pep-0584/]).

bpo-39517 [https://bugs.python.org/issue?@action=redirect&bpo=39517]: Fix runpy.run_path() when using pathlike objects

bpo-39775 [https://bugs.python.org/issue?@action=redirect&bpo=39775]: Change inspect.Signature.parameters back to collections.OrderedDict. This was changed to dict in Python 3.9.0a4.

bpo-39678 [https://bugs.python.org/issue?@action=redirect&bpo=39678]: Refactor queue_manager in concurrent.futures.ProcessPoolExecutor to make it easier to maintain.

bpo-39764 [https://bugs.python.org/issue?@action=redirect&bpo=39764]: Fix AttributeError when calling get_stack on a PyAsyncGenObject Task

bpo-39769 [https://bugs.python.org/issue?@action=redirect&bpo=39769]: The compileall.compile_dir() function’s ddir parameter and the compileall command line flag -d no longer write the wrong pathname to the generated pyc file for submodules beneath the root of the directory tree being compiled. This fixes a regression introduced with Python 3.5.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: types.MappingProxyType objects now support the merge (|) operator from PEP 584 [https://peps.python.org/pep-0584/].

bpo-38691 [https://bugs.python.org/issue?@action=redirect&bpo=38691]: The importlib module now ignores the PYTHONCASEOK environment variable when the -E or -I command line options are being used.

bpo-39719 [https://bugs.python.org/issue?@action=redirect&bpo=39719]: Remove tempfile.SpooledTemporaryFile.softspace() as files no longer have the softspace attribute in Python 3. Patch by Shantanu.

bpo-39667 [https://bugs.python.org/issue?@action=redirect&bpo=39667]: Improve pathlib.Path compatibility on zipfile.Path and correct performance degradation as found in zipp 3.0.

bpo-39638 [https://bugs.python.org/issue?@action=redirect&bpo=39638]: Keep ASDL signatures in the docstrings for AST nodes. Patch by Batuhan Taskaya

bpo-39639 [https://bugs.python.org/issue?@action=redirect&bpo=39639]: Deprecated ast.Suite node class because it’s no longer used. Patch by Batuhan Taskaya.

bpo-39609 [https://bugs.python.org/issue?@action=redirect&bpo=39609]: Add thread_name_prefix to default asyncio executor

bpo-39548 [https://bugs.python.org/issue?@action=redirect&bpo=39548]: Fix handling of header in urllib.request.AbstractDigestAuthHandler when the optional qop parameter is not present.

bpo-39509 [https://bugs.python.org/issue?@action=redirect&bpo=39509]: HTTP status codes 103 EARLY_HINTS and 425 TOO_EARLY are added to http.HTTPStatus. Patch by Donghee Na.

bpo-39507 [https://bugs.python.org/issue?@action=redirect&bpo=39507]: Adding HTTP status 418 “I’m a Teapot” to HTTPStatus in http library. Patch by Ross Rhodes.

bpo-39495 [https://bugs.python.org/issue?@action=redirect&bpo=39495]: Remove default value from attrs parameter of xml.etree.ElementTree.TreeBuilder.start() for consistency between Python and C implementations.

bpo-38971 [https://bugs.python.org/issue?@action=redirect&bpo=38971]: Open issue in the BPO indicated a desire to make the implementation of codecs.open() at parity with io.open(), which implements a try/except to assure file stream gets closed before an exception is raised.

bpo-38641 [https://bugs.python.org/issue?@action=redirect&bpo=38641]: Added starred expressions support to return and yield statements for lib2to3. Patch by Vlad Emelianov.

bpo-37534 [https://bugs.python.org/issue?@action=redirect&bpo=37534]: When using minidom module to generate XML documents the ability to add Standalone Document Declaration is added. All the changes are made to generate a document in compliance with Extensible Markup Language (XML) 1.0 (Fifth Edition) W3C Recommendation (available here: https://www.w3.org/TR/xml/#sec-prolog-dtd).

bpo-34788 [https://bugs.python.org/issue?@action=redirect&bpo=34788]: Add support for scoped IPv6 addresses to ipaddress. Patch by Oleksandr Pavliuk.

bpo-34822 [https://bugs.python.org/issue?@action=redirect&bpo=34822]: Simplified AST for subscription. Simple indices are now represented by their value, extended slices are represented as tuples. ast classes Index and ExtSlice are considered deprecated and will be removed in future Python versions. In the meantime, Index(value) now returns a value itself, ExtSlice(slices) returns Tuple(slices, Load()).

Documentation

bpo-39868 [https://bugs.python.org/issue?@action=redirect&bpo=39868]: Updated the Language Reference for PEP 572 [https://peps.python.org/pep-0572/].

bpo-13790 [https://bugs.python.org/issue?@action=redirect&bpo=13790]: Change ‘string’ to ‘specification’ in format doc.

bpo-17422 [https://bugs.python.org/issue?@action=redirect&bpo=17422]: The language reference no longer restricts default class namespaces to dicts only.

bpo-39530 [https://bugs.python.org/issue?@action=redirect&bpo=39530]: Fix misleading documentation about mixed-type numeric comparisons.

bpo-39718 [https://bugs.python.org/issue?@action=redirect&bpo=39718]: Update token documentation to reflect additions in Python 3.8

bpo-39677 [https://bugs.python.org/issue?@action=redirect&bpo=39677]: Changed operand name of MAKE_FUNCTION from argc to flags for module dis

Tests

bpo-40019 [https://bugs.python.org/issue?@action=redirect&bpo=40019]: test_gdb now skips tests if it detects that gdb failed to read debug information because the Python binary is optimized.

bpo-27807 [https://bugs.python.org/issue?@action=redirect&bpo=27807]: test_site.test_startup_imports() is now skipped if a path of sys.path contains a .pth file.

bpo-26067 [https://bugs.python.org/issue?@action=redirect&bpo=26067]: Do not fail test_shutil test_chown test when uid or gid of user cannot be resolved to a name.

bpo-39855 [https://bugs.python.org/issue?@action=redirect&bpo=39855]: test_subprocess.test_user() now skips the test on an user name if the user name doesn’t exist. For example, skip the test if the user “nobody” doesn’t exist on Linux.

Build

bpo-39761 [https://bugs.python.org/issue?@action=redirect&bpo=39761]: Fix build with DTrace but without additional DFLAGS.

bpo-39763 [https://bugs.python.org/issue?@action=redirect&bpo=39763]: setup.py now uses a basic implementation of the subprocess module if the subprocess module is not available: before required C extension modules are built.

bpo-1294959 [https://bugs.python.org/issue?@action=redirect&bpo=1294959]: Add --with-platlibdir option to the configure script: name of the platform-specific library directory, stored in the new sys.platlibdir attribute. It is used to build the path of platform-specific extension modules and the path of the standard library. It is equal to "lib" on most platforms. On Fedora and SuSE, it is equal to "lib64" on 64-bit platforms. Patch by Jan Matějek, Matěj Cepl, Charalampos Stratakis and Victor Stinner.

Windows

bpo-39930 [https://bugs.python.org/issue?@action=redirect&bpo=39930]: Ensures the required vcruntime140.dll is included in install packages.

bpo-39847 [https://bugs.python.org/issue?@action=redirect&bpo=39847]: Avoid hang when computer is hibernated whilst waiting for a mutex (for lock-related objects from threading) around 49-day uptime.

bpo-38597 [https://bugs.python.org/issue?@action=redirect&bpo=38597]: distutils will no longer statically link vcruntime140.dll when a redistributable version is unavailable. All future releases of CPython will include a copy of this DLL to ensure distributed extensions can continue to load.

bpo-38380 [https://bugs.python.org/issue?@action=redirect&bpo=38380]: Update Windows builds to use SQLite 3.31.1

bpo-39789 [https://bugs.python.org/issue?@action=redirect&bpo=39789]: Update Windows release build machines to Visual Studio 2019 (MSVC 14.2).

bpo-34803 [https://bugs.python.org/issue?@action=redirect&bpo=34803]: Package for nuget.org now includes repository reference and bundled icon image.

macOS

bpo-38380 [https://bugs.python.org/issue?@action=redirect&bpo=38380]: Update macOS builds to use SQLite 3.31.1

IDLE

bpo-27115 [https://bugs.python.org/issue?@action=redirect&bpo=27115]: For ‘Go to Line’, use a Query box subclass with IDLE standard behavior and improved error checking.

bpo-39885 [https://bugs.python.org/issue?@action=redirect&bpo=39885]: Since clicking to get an IDLE context menu moves the cursor, any text selection should be and now is cleared.

bpo-39852 [https://bugs.python.org/issue?@action=redirect&bpo=39852]: Edit “Go to line” now clears any selection, preventing accidental deletion. It also updates Ln and Col on the status bar.

bpo-39781 [https://bugs.python.org/issue?@action=redirect&bpo=39781]: Selecting code context lines no longer causes a jump.

Tools/Demos

bpo-36184 [https://bugs.python.org/issue?@action=redirect&bpo=36184]: Port python-gdb.py to FreeBSD. python-gdb.py now checks for “take_gil” function name to check if a frame tries to acquire the GIL, instead of checking for “pthread_cond_timedwait” which is specific to Linux and can be a different condition than the GIL.

bpo-38080 [https://bugs.python.org/issue?@action=redirect&bpo=38080]: Added support to fix getproxies in the lib2to3.fixes.fix_urllib module. Patch by José Roberto Meza Cabrera.

C API

bpo-40024 [https://bugs.python.org/issue?@action=redirect&bpo=40024]: Add PyModule_AddType() helper function: add a type to a module. Patch by Donghee Na.

bpo-39946 [https://bugs.python.org/issue?@action=redirect&bpo=39946]: Remove _PyRuntime.getframe hook and remove _PyThreadState_GetFrame macro which was an alias to _PyRuntime.getframe. They were only exposed by the internal C API. Remove also PyThreadFrameGetter type.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Add PyThreadState_GetFrame() function: get the current frame of a Python thread state.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Add _PyArg_NoKwnames helper function. Patch by Donghee Na.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Add PyThreadState_GetInterpreter(): get the interpreter of a Python thread state.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Add PyInterpreterState_Get() function to the limited C API.

bpo-35370 [https://bugs.python.org/issue?@action=redirect&bpo=35370]: If PySys_Audit() fails in PyEval_SetProfile() or PyEval_SetTrace(), log the error as an unraisable exception.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Move the static inline function flavor of Py_EnterRecursiveCall() and Py_LeaveRecursiveCall() to the internal C API: they access PyThreadState attributes. The limited C API provides regular functions which hide implementation details.

bpo-39947 [https://bugs.python.org/issue?@action=redirect&bpo=39947]: Py_TRASHCAN_BEGIN_CONDITION and Py_TRASHCAN_END macro no longer access PyThreadState attributes, but call new private _PyTrash_begin() and _PyTrash_end() functions which hide implementation details.

bpo-39884 [https://bugs.python.org/issue?@action=redirect&bpo=39884]: PyDescr_NewMethod() and PyCFunction_NewEx() now include the method name in the SystemError “bad call flags” error message to ease debug.

bpo-39877 [https://bugs.python.org/issue?@action=redirect&bpo=39877]: Deprecated PyEval_InitThreads() and PyEval_ThreadsInitialized(). Calling PyEval_InitThreads() now does nothing.

bpo-38249 [https://bugs.python.org/issue?@action=redirect&bpo=38249]: Py_UNREACHABLE is now implemented with __builtin_unreachable() and analogs in release mode.

bpo-38643 [https://bugs.python.org/issue?@action=redirect&bpo=38643]: PyNumber_ToBase() now raises a SystemError instead of crashing when called with invalid base.

bpo-39882 [https://bugs.python.org/issue?@action=redirect&bpo=39882]: The Py_FatalError() function is replaced with a macro which logs automatically the name of the current function, unless the Py_LIMITED_API macro is defined.

bpo-39824 [https://bugs.python.org/issue?@action=redirect&bpo=39824]: Extension modules: m_traverse, m_clear and m_free functions of PyModuleDef are no longer called if the module state was requested but is not allocated yet. This is the case immediately after the module is created and before the module is executed (Py_mod_exec function). More precisely, these functions are not called if m_size is greater than 0 and the module state (as returned by PyModule_GetState()) is NULL.

Extension modules without module state (m_size <= 0) are not affected.

bpo-38913 [https://bugs.python.org/issue?@action=redirect&bpo=38913]: Fixed segfault in Py_BuildValue() called with a format containing “#” and undefined PY_SSIZE_T_CLEAN whwn an exception is set.

bpo-38500 [https://bugs.python.org/issue?@action=redirect&bpo=38500]: Add a private API to get and set the frame evaluation function: add _PyInterpreterState_GetEvalFrameFunc() and _PyInterpreterState_SetEvalFrameFunc() C functions. The _PyFrameEvalFunction function type now takes a tstate parameter.

Python 3.9.0 alpha 4

Release date: 2020-02-25

Security

bpo-39184 [https://bugs.python.org/issue?@action=redirect&bpo=39184]: Add audit events to functions in fcntl, msvcrt, os, resource, shutil, signal and syslog.

bpo-39401 [https://bugs.python.org/issue?@action=redirect&bpo=39401]: Avoid unsafe DLL load at startup on Windows 7 and earlier.

bpo-39184 [https://bugs.python.org/issue?@action=redirect&bpo=39184]: Add audit events to command execution functions in os and pty modules.

Core and Builtins

bpo-39382 [https://bugs.python.org/issue?@action=redirect&bpo=39382]: Fix a use-after-free in the single inheritance path of issubclass(), when the __bases__ of an object has a single reference, and so does its first item. Patch by Yonatan Goldschmidt.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Update clinic tool to use Py_IS_TYPE(). Patch by Donghee Na.

bpo-39619 [https://bugs.python.org/issue?@action=redirect&bpo=39619]: Enable use of os.chroot() on HP-UX systems.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Add Py_IS_TYPE() static inline function to check whether the object o type is type.

bpo-39606 [https://bugs.python.org/issue?@action=redirect&bpo=39606]: Fix regression caused by fix for bpo-39386 [https://bugs.python.org/issue?@action=redirect&bpo=39386], that prevented calling aclose on an async generator that had already been closed or exhausted.

bpo-39579 [https://bugs.python.org/issue?@action=redirect&bpo=39579]: Change the ending column offset of Attribute nodes constructed in ast_for_dotted_name to point at the end of the current node and not at the end of the last NAME node.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _crypt extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _contextvars extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39510 [https://bugs.python.org/issue?@action=redirect&bpo=39510]: Fix segfault in readinto() method on closed BufferedReader.

bpo-39502 [https://bugs.python.org/issue?@action=redirect&bpo=39502]: Fix time.localtime() on 64-bit AIX to support years before 1902 and after 2038. Patch by M Felt.

bpo-39492 [https://bugs.python.org/issue?@action=redirect&bpo=39492]: Fix a reference cycle in the C Pickler that was preventing the garbage collection of deleted, pickled objects.

bpo-39453 [https://bugs.python.org/issue?@action=redirect&bpo=39453]: Fixed a possible crash in list.__contains__() when a list is changed during comparing items. Patch by Donghee Na.

bpo-39434 [https://bugs.python.org/issue?@action=redirect&bpo=39434]: floor division of float operation now has a better performance. Also the message of ZeroDivisionError for this operation is updated. Patch by Donghee Na.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _codecs extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _bz2 extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _abc extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39320 [https://bugs.python.org/issue?@action=redirect&bpo=39320]: Replace two complex bytecodes for building dicts with two simpler ones. The new bytecodes DICT_MERGE and DICT_UPDATE have been added The old bytecodes BUILD_MAP_UNPACK and BUILD_MAP_UNPACK_WITH_CALL have been removed.

bpo-39219 [https://bugs.python.org/issue?@action=redirect&bpo=39219]: Syntax errors raised in the tokenizer now always set correct “text” and “offset” attributes.

bpo-36051 [https://bugs.python.org/issue?@action=redirect&bpo=36051]: Drop the GIL during large bytes.join operations. Patch by Bruce Merry.

bpo-38960 [https://bugs.python.org/issue?@action=redirect&bpo=38960]: Fix DTrace build issues on FreeBSD. Patch by David Carlier.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: Speed up calls to range() by about 30%, by using the PEP 590 vectorcall calling convention. Patch by Mark Shannon.

bpo-36144 [https://bugs.python.org/issue?@action=redirect&bpo=36144]: dict (and collections.UserDict) objects now support PEP 584’s merge (|) and update (|=) operators. Patch by Brandt Bucher.

bpo-32856 [https://bugs.python.org/issue?@action=redirect&bpo=32856]: Optimized the idiom for assignment a temporary variable in comprehensions. Now for y in [expr] in comprehensions is as fast as a simple assignment y = expr.

Library

bpo-30566 [https://bugs.python.org/issue?@action=redirect&bpo=30566]: Fix IndexError when trying to decode an invalid string with punycode codec.

bpo-39649 [https://bugs.python.org/issue?@action=redirect&bpo=39649]: Remove obsolete check for __args__ in bdb.Bdb.format_stack_entry.

bpo-39648 [https://bugs.python.org/issue?@action=redirect&bpo=39648]: Expanded math.gcd() and math.lcm() to handle multiple arguments.

bpo-39681 [https://bugs.python.org/issue?@action=redirect&bpo=39681]: Fix a regression where the C pickle module wouldn’t allow unpickling from a file-like object that doesn’t expose a readinto() method.

bpo-35950 [https://bugs.python.org/issue?@action=redirect&bpo=35950]: Raise io.UnsupportedOperation in io.BufferedReader.truncate() when it is called on a read-only io.BufferedReader instance.

bpo-39479 [https://bugs.python.org/issue?@action=redirect&bpo=39479]: Add math.lcm() function: least common multiple.

bpo-39674 [https://bugs.python.org/issue?@action=redirect&bpo=39674]: Revert “Do not expose abstract collection classes in the collections module” change (bpo-25988 [https://bugs.python.org/issue?@action=redirect&bpo=25988]). Aliases to ABC like collections.Mapping are kept in Python 3.9 to ease transition from Python 2.7, but will be removed in Python 3.10.

bpo-39104 [https://bugs.python.org/issue?@action=redirect&bpo=39104]: Fix hanging ProcessPoolExcutor on shutdown(wait=False) when a task has failed pickling.

bpo-39627 [https://bugs.python.org/issue?@action=redirect&bpo=39627]: Fixed TypedDict totality check for inherited keys.

bpo-39474 [https://bugs.python.org/issue?@action=redirect&bpo=39474]: Fixed starting position of AST for expressions like (a)(b), (a)[b] and (a).b.

bpo-21016 [https://bugs.python.org/issue?@action=redirect&bpo=21016]: The pydoc and trace modules now use the sysconfig module to get the path to the Python standard library, to support uncommon installation path like /usr/lib64/python3.9/ on Fedora. Patch by Jan Matějek.

bpo-39590 [https://bugs.python.org/issue?@action=redirect&bpo=39590]: Collections.deque now holds strong references during deque.__contains__ and deque.count, fixing crashes.

bpo-39586 [https://bugs.python.org/issue?@action=redirect&bpo=39586]: The distutils bdist_msi command is deprecated in Python 3.9, use bdist_wheel (wheel packages) instead.

bpo-39595 [https://bugs.python.org/issue?@action=redirect&bpo=39595]: Improved performance of zipfile.Path for files with a large number of entries. Also improved performance and fixed minor issue as published with importlib_metadata 1.5 [https://importlib-metadata.readthedocs.io/en/latest/history.html#v1-5-0].

bpo-39350 [https://bugs.python.org/issue?@action=redirect&bpo=39350]: Fix regression in fractions.Fraction if the numerator and/or the denominator is an int subclass. The math.gcd() function is now used to normalize the numerator and denominator. math.gcd() always return a int type. Previously, the GCD type depended on numerator and denominator.

bpo-39567 [https://bugs.python.org/issue?@action=redirect&bpo=39567]: Added audit for os.walk(), os.fwalk(), pathlib.Path.glob() and pathlib.Path.rglob().

bpo-39559 [https://bugs.python.org/issue?@action=redirect&bpo=39559]: Remove unused, undocumented argument getters from uuid.getnode()

bpo-38149 [https://bugs.python.org/issue?@action=redirect&bpo=38149]: sys.audit() is now called only once per call of glob.glob() and glob.iglob().

bpo-39546 [https://bugs.python.org/issue?@action=redirect&bpo=39546]: Fix a regression in ArgumentParser where allow_abbrev=False was ignored for long options that used a prefix character other than “-“.

bpo-39450 [https://bugs.python.org/issue?@action=redirect&bpo=39450]: Striped whitespace from docstring before returning it from unittest.case.shortDescription().

bpo-12915 [https://bugs.python.org/issue?@action=redirect&bpo=12915]: A new function resolve_name has been added to the pkgutil module. This resolves a string of the form 'a.b.c.d' or 'a.b:c.d' to an object. In the example, a.b is a package/module and c.d is an object within that package/module reached via recursive attribute access.

bpo-39353 [https://bugs.python.org/issue?@action=redirect&bpo=39353]: The binascii.crc_hqx() function is no longer deprecated.

bpo-39493 [https://bugs.python.org/issue?@action=redirect&bpo=39493]: Mark typing.IO.closed as a property

bpo-39491 [https://bugs.python.org/issue?@action=redirect&bpo=39491]: Add typing.Annotated and include_extras parameter to typing.get_type_hints() as part of PEP 593 [https://peps.python.org/pep-0593/]. Patch by Till Varoquaux, documentation by Till Varoquaux and Konstantin Kashin.

bpo-39485 [https://bugs.python.org/issue?@action=redirect&bpo=39485]: Fix a bug in unittest.mock.create_autospec() that would complain about the wrong number of arguments for custom descriptors defined in an extension module returning functions.

bpo-38932 [https://bugs.python.org/issue?@action=redirect&bpo=38932]: Mock fully resets child objects on reset_mock(). Patch by Vegard Stikbakke

bpo-39082 [https://bugs.python.org/issue?@action=redirect&bpo=39082]: Allow AsyncMock to correctly patch static/class methods

bpo-39432 [https://bugs.python.org/issue?@action=redirect&bpo=39432]: Implement PEP-489 algorithm for non-ascii “PyInit_…” symbol names in distutils to make it export the correct init symbol also on Windows.

bpo-18819 [https://bugs.python.org/issue?@action=redirect&bpo=18819]: Omit devmajor and devminor fields for non-device files in tarfile archives, enabling bit-for-bit compatibility with GNU tar(1).

bpo-39349 [https://bugs.python.org/issue?@action=redirect&bpo=39349]: Added a new cancel_futures parameter to concurrent.futures.Executor.shutdown() that cancels all pending futures which have not started running, instead of waiting for them to complete before shutting down the executor.

bpo-39274 [https://bugs.python.org/issue?@action=redirect&bpo=39274]: bool(fraction.Fraction) now returns a boolean even if (numerator != 0) does not return a boolean (ex: numpy number).

bpo-34793 [https://bugs.python.org/issue?@action=redirect&bpo=34793]: Remove support for with (await asyncio.lock): and with (yield from asyncio.lock):. The same is correct for asyncio.Condition and asyncio.Semaphore.

bpo-25597 [https://bugs.python.org/issue?@action=redirect&bpo=25597]: Ensure, if wraps is supplied to unittest.mock.MagicMock, it is used to calculate return values for the magic methods instead of using the default return values. Patch by Karthikeyan Singaravelan.

bpo-36350 [https://bugs.python.org/issue?@action=redirect&bpo=36350]: inspect.Signature.parameters and inspect.BoundArguments.arguments are now dicts instead of OrderedDicts. Patch contributed by Rémi Lapeyre.

bpo-35727 [https://bugs.python.org/issue?@action=redirect&bpo=35727]: Fix sys.exit() and sys.exit(None) exit code propagation when used in multiprocessing.Process.

bpo-32173 [https://bugs.python.org/issue?@action=redirect&bpo=32173]: * Add lazycache function to __all__. * Use dict.clear to clear the cache. * Refactoring getline function and checkcache function.

Documentation

bpo-17422 [https://bugs.python.org/issue?@action=redirect&bpo=17422]: The language reference now specifies restrictions on class namespaces. Adapted from a patch by Ethan Furman.

bpo-39572 [https://bugs.python.org/issue?@action=redirect&bpo=39572]: Updated documentation of total flag of TypedDict.

bpo-39654 [https://bugs.python.org/issue?@action=redirect&bpo=39654]: In pyclbr doc, update ‘class’ to ‘module’ where appropriate and add readmodule comment. Patch by Hakan Çelik.

bpo-39153 [https://bugs.python.org/issue?@action=redirect&bpo=39153]: Clarify refcounting semantics for the following functions: - PyObject_SetItem - PyMapping_SetItemString - PyDict_SetItem - PyDict_SetItemString

bpo-39392 [https://bugs.python.org/issue?@action=redirect&bpo=39392]: Explain that when filling with turtle, overlap regions may be left unfilled.

bpo-39369 [https://bugs.python.org/issue?@action=redirect&bpo=39369]: Update mmap readline method description. The fact that the readline method does update the file position should not be ignored since this might give the impression for the programmer that it doesn’t update it.

bpo-9056 [https://bugs.python.org/issue?@action=redirect&bpo=9056]: Include subsection in TOC for PDF version of docs.

Tests

bpo-38325 [https://bugs.python.org/issue?@action=redirect&bpo=38325]: Skip tests on non-BMP characters of test_winconsoleio.

bpo-39502 [https://bugs.python.org/issue?@action=redirect&bpo=39502]: Skip test_zipfile.test_add_file_after_2107() if time.localtime() fails with OverflowError. It is the case on AIX 6.1 for example.

Build

bpo-39489 [https://bugs.python.org/issue?@action=redirect&bpo=39489]: Remove COUNT_ALLOCS special build.

Windows

bpo-39553 [https://bugs.python.org/issue?@action=redirect&bpo=39553]: Delete unused code related to SxS manifests.

bpo-39439 [https://bugs.python.org/issue?@action=redirect&bpo=39439]: Honor the Python path when a virtualenv is active on Windows.

bpo-39393 [https://bugs.python.org/issue?@action=redirect&bpo=39393]: Improve the error message when attempting to load a DLL with unresolved dependencies.

bpo-38883 [https://bugs.python.org/issue?@action=redirect&bpo=38883]: home() and expanduser() on Windows now prefer USERPROFILE and no longer use HOME, which is not normally set for regular user accounts. This makes them again behave like os.path.expanduser(), which was changed to ignore HOME in 3.8, see bpo-36264 [https://bugs.python.org/issue?@action=redirect&bpo=36264].

bpo-39185 [https://bugs.python.org/issue?@action=redirect&bpo=39185]: The build.bat script has additional options for very-quiet output (-q) and very-verbose output (-vv)

IDLE

bpo-39663 [https://bugs.python.org/issue?@action=redirect&bpo=39663]: Add tests for pyparse find_good_parse_start().

bpo-39600 [https://bugs.python.org/issue?@action=redirect&bpo=39600]: In the font configuration window, remove duplicated font names.

bpo-30780 [https://bugs.python.org/issue?@action=redirect&bpo=30780]: Add remaining configdialog tests for buttons and highlights and keys tabs.

bpo-39388 [https://bugs.python.org/issue?@action=redirect&bpo=39388]: IDLE Settings Cancel button now cancels pending changes

bpo-38792 [https://bugs.python.org/issue?@action=redirect&bpo=38792]: Close an IDLE shell calltip if a KeyboardInterrupt or shell restart occurs. Patch by Zackery Spytz.

C API

bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081]: Move the bytes_methods.h header file to the internal C API as pycore_bytes_methods.h: it only contains private symbols (prefixed by _Py), except of the PyDoc_STRVAR_shared() macro.

bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081]: Move the dtoa.h header file to the internal C API as pycore_dtoa.h: it only contains private functions (prefixed by _Py). The math and cmath modules must now be compiled with the Py_BUILD_CORE macro defined.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Add Py_SET_SIZE() function to set the size of an object.

bpo-39500 [https://bugs.python.org/issue?@action=redirect&bpo=39500]: PyUnicode_IsIdentifier() does not call Py_FatalError() anymore if the string is not ready.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Add Py_SET_TYPE() function to set the type of an object.

bpo-39573 [https://bugs.python.org/issue?@action=redirect&bpo=39573]: Add a Py_SET_REFCNT() function to set the reference counter of an object.

bpo-39542 [https://bugs.python.org/issue?@action=redirect&bpo=39542]: Convert PyType_HasFeature(), PyType_Check() and PyType_CheckExact() macros to static inline functions.

bpo-39542 [https://bugs.python.org/issue?@action=redirect&bpo=39542]: In the limited C API, PyObject_INIT() and PyObject_INIT_VAR() are now defined as aliases to PyObject_Init() and PyObject_InitVar() to make their implementation opaque. It avoids to leak implementation details in the limited C API. Exclude the following functions from the limited C API: _Py_NewReference(), _Py_ForgetReference(), _PyTraceMalloc_NewReference() and _Py_GetRefTotal().

bpo-39542 [https://bugs.python.org/issue?@action=redirect&bpo=39542]: Exclude trashcan mechanism from the limited C API: it requires access to PyTypeObject and PyThreadState structure fields, whereas these structures are opaque in the limited C API.

bpo-39511 [https://bugs.python.org/issue?@action=redirect&bpo=39511]: The PyThreadState_Clear() function now calls the PyThreadState.on_delete callback. Previously, that happened in PyThreadState_Delete().

bpo-38076 [https://bugs.python.org/issue?@action=redirect&bpo=38076]: Fix to clear the interpreter state only after clearing module globals to guarantee module state access from C Extensions during runtime destruction

bpo-39245 [https://bugs.python.org/issue?@action=redirect&bpo=39245]: The Vectorcall API (PEP 590) was made public, adding the functions PyObject_Vectorcall, PyObject_VectorcallMethod, PyVectorcall_Function, PyObject_CallOneArg, PyObject_CallMethodNoArgs, PyObject_CallMethodOneArg, PyObject_FastCallDict, and the flag Py_TPFLAGS_HAVE_VECTORCALL.

Python 3.9.0 alpha 3

Release date: 2020-01-24

Core and Builtins

bpo-39427 [https://bugs.python.org/issue?@action=redirect&bpo=39427]: Document all possibilities for the -X options in the command line help section. Patch by Pablo Galindo.

bpo-39421 [https://bugs.python.org/issue?@action=redirect&bpo=39421]: Fix possible crashes when operating with the functions in the heapq module and custom comparison operators.

bpo-39386 [https://bugs.python.org/issue?@action=redirect&bpo=39386]: Prevent double awaiting of async iterator.

bpo-17005 [https://bugs.python.org/issue?@action=redirect&bpo=17005]: Add functools.TopologicalSorter to the functools module to offers functionality to perform topological sorting of graphs. Patch by Pablo Galindo, Tim Peters and Larry Hastings.

bpo-39320 [https://bugs.python.org/issue?@action=redirect&bpo=39320]: Replace four complex bytecodes for building sequences with three simpler ones.

The following four bytecodes have been removed:

BUILD_LIST_UNPACK

BUILD_TUPLE_UNPACK

BUILD_SET_UNPACK

BUILD_TUPLE_UNPACK_WITH_CALL

The following three bytecodes have been added:

LIST_TO_TUPLE

LIST_EXTEND

SET_UPDATE

bpo-39336 [https://bugs.python.org/issue?@action=redirect&bpo=39336]: Import loaders which publish immutable module objects can now publish immutable packages in addition to individual modules.

bpo-39322 [https://bugs.python.org/issue?@action=redirect&bpo=39322]: Added a new function gc.is_finalized() to check if an object has been finalized by the garbage collector. Patch by Pablo Galindo.

bpo-39048 [https://bugs.python.org/issue?@action=redirect&bpo=39048]: Improve the displayed error message when incorrect types are passed to async with statements by looking up the __aenter__() special method before the __aexit__() special method when entering an asynchronous context manager. Patch by Géry Ogam.

bpo-39235 [https://bugs.python.org/issue?@action=redirect&bpo=39235]: Fix AST end location for lone generator expression in function call, e.g. f(i for i in a).

bpo-39209 [https://bugs.python.org/issue?@action=redirect&bpo=39209]: Correctly handle multi-line tokens in interactive mode. Patch by Pablo Galindo.

bpo-1635741 [https://bugs.python.org/issue?@action=redirect&bpo=1635741]: Port _json extension module to multiphase initialization (PEP 489 [https://peps.python.org/pep-0489/]).

bpo-39216 [https://bugs.python.org/issue?@action=redirect&bpo=39216]: Fix constant folding optimization for positional only arguments - by Anthony Sottile.

bpo-39215 [https://bugs.python.org/issue?@action=redirect&bpo=39215]: Fix SystemError when nested function has annotation on positional-only argument - by Anthony Sottile.

bpo-39200 [https://bugs.python.org/issue?@action=redirect&bpo=39200]: Correct the error message when calling the min() or max() with no arguments. Patch by Donghee Na.

bpo-39200 [https://bugs.python.org/issue?@action=redirect&bpo=39200]: Correct the error message when trying to construct range objects with no arguments. Patch by Pablo Galindo.

bpo-39166 [https://bugs.python.org/issue?@action=redirect&bpo=39166]: Fix incorrect line execution reporting in trace functions when tracing the last iteration of asynchronous for loops. Patch by Pablo Galindo.

bpo-39114 [https://bugs.python.org/issue?@action=redirect&bpo=39114]: Fix incorrect line execution reporting in trace functions when tracing exception handlers with name binding. Patch by Pablo Galindo.

bpo-39156 [https://bugs.python.org/issue?@action=redirect&bpo=39156]: Split the COMPARE_OP bytecode instruction into four distinct instructions.

COMPARE_OP for rich comparisons

IS_OP for ‘is’ and ‘is not’ tests

CONTAINS_OP for ‘in’ and ‘is not’ tests

JUMP_IF_NOT_EXC_MATCH for checking exceptions in ‘try-except’ statements.

This improves the clarity of the interpreter and should provide a modest speedup.

bpo-38588 [https://bugs.python.org/issue?@action=redirect&bpo=38588]: Fix possible crashes in dict and list when calling PyObject_RichCompareBool().

bpo-13601 [https://bugs.python.org/issue?@action=redirect&bpo=13601]: By default, sys.stderr is line-buffered now, even if stderr is redirected to a file. You can still make sys.stderr unbuffered by passing the -u command-line option or setting the PYTHONUNBUFFERED environment variable.

(Contributed by Jendrik Seipp in bpo-13601 [https://bugs.python.org/issue?@action=redirect&bpo=13601].)

bpo-38610 [https://bugs.python.org/issue?@action=redirect&bpo=38610]: Fix possible crashes in several list methods by holding strong references to list elements when calling PyObject_RichCompareBool().

bpo-32021 [https://bugs.python.org/issue?@action=redirect&bpo=32021]: Include brotli .br encoding in mimetypes encodings_map

Library

bpo-39430 [https://bugs.python.org/issue?@action=redirect&bpo=39430]: Fixed race condition in lazy imports in tarfile.

bpo-39413 [https://bugs.python.org/issue?@action=redirect&bpo=39413]: The os.unsetenv() function is now also available on Windows.

bpo-39390 [https://bugs.python.org/issue?@action=redirect&bpo=39390]: Fixed a regression with the ignore callback of shutil.copytree(). The argument types are now str and List[str] again.

bpo-39395 [https://bugs.python.org/issue?@action=redirect&bpo=39395]: The os.putenv() and os.unsetenv() functions are now always available.

bpo-39406 [https://bugs.python.org/issue?@action=redirect&bpo=39406]: If setenv() C function is available, os.putenv() is now implemented with setenv() instead of putenv(), so Python doesn’t have to handle the environment variable memory.

bpo-39396 [https://bugs.python.org/issue?@action=redirect&bpo=39396]: Fix math.nextafter(-0.0, +0.0) on AIX 7.1.

bpo-29435 [https://bugs.python.org/issue?@action=redirect&bpo=29435]: Allow tarfile.is_tarfile() to be used with file and file-like objects, like zipfile.is_zipfile(). Patch by William Woodruff.

bpo-39377 [https://bugs.python.org/issue?@action=redirect&bpo=39377]: Removed encoding option from json.loads(). It has been deprecated since Python 3.1.

bpo-39389 [https://bugs.python.org/issue?@action=redirect&bpo=39389]: Write accurate compression level metadata in gzip archives, rather than always signaling maximum compression.

bpo-39366 [https://bugs.python.org/issue?@action=redirect&bpo=39366]: The previously deprecated xpath() and xgtitle() methods of nntplib.NNTP have been removed.

bpo-39357 [https://bugs.python.org/issue?@action=redirect&bpo=39357]: Remove the buffering parameter of bz2.BZ2File. Since Python 3.0, it was ignored and using it was emitting DeprecationWarning. Pass an open file object, to control how the file is opened. The compresslevel parameter becomes keyword-only.

bpo-39353 [https://bugs.python.org/issue?@action=redirect&bpo=39353]: Deprecate binhex4 and hexbin4 standards. Deprecate the binhex module and the following binascii functions: b2a_hqx(), a2b_hqx(), rlecode_hqx(), rledecode_hqx(), crc_hqx().

bpo-39351 [https://bugs.python.org/issue?@action=redirect&bpo=39351]: Remove base64.encodestring() and base64.decodestring(), aliases deprecated since Python 3.1: use base64.encodebytes() and base64.decodebytes() instead.

bpo-39350 [https://bugs.python.org/issue?@action=redirect&bpo=39350]: Remove fractions.gcd() function, deprecated since Python 3.5 (bpo-22486 [https://bugs.python.org/issue?@action=redirect&bpo=22486]): use math.gcd() instead.

bpo-39329 [https://bugs.python.org/issue?@action=redirect&bpo=39329]: LMTP constructor now has an optional timeout parameter. Patch by Donghee Na.

bpo-39313 [https://bugs.python.org/issue?@action=redirect&bpo=39313]: Add a new exec_function option (–exec-function in the CLI) to RefactoringTool for making exec a function. Patch by Batuhan Taskaya.

bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259]: FTP_TLS and FTP_TLS now raise a ValueError if the given timeout for their constructor is zero to prevent the creation of a non-blocking socket. Patch by Donghee Na.

bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259]: SMTP and SMTP_SSL now raise a ValueError if the given timeout for their constructor is zero to prevent the creation of a non-blocking socket. Patch by Donghee Na.

bpo-39310 [https://bugs.python.org/issue?@action=redirect&bpo=39310]: Add math.ulp(): return the value of the least significant bit of a float.

bpo-39297 [https://bugs.python.org/issue?@action=redirect&bpo=39297]: Improved performance of importlib.metadata distribution discovery and resilients to inaccessible sys.path entries (importlib_metadata v1.4.0).

bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259]: NNTP and NNTP_SSL now raise a ValueError if the given timeout for their constructor is zero to prevent the creation of a non-blocking socket. Patch by Donghee Na.

bpo-38901 [https://bugs.python.org/issue?@action=redirect&bpo=38901]: When you specify prompt=’.’ or equivalently python -m venv –prompt . … the basename of the current directory is used to set the created venv’s prompt when it’s activated.

bpo-39288 [https://bugs.python.org/issue?@action=redirect&bpo=39288]: Add math.nextafter(): return the next floating-point value after x towards y.

bpo-39259 [https://bugs.python.org/issue?@action=redirect&bpo=39259]: POP3 and POP3_SSL now raise a ValueError if the given timeout for their constructor is zero to prevent the creation of a non-blocking socket. Patch by Donghee Na.

bpo-39242 [https://bugs.python.org/issue?@action=redirect&bpo=39242]: Updated the Gmane domain from news.gmane.org to news.gmane.io which is used for examples of NNTP news reader server and nntplib tests.

bpo-35292 [https://bugs.python.org/issue?@action=redirect&bpo=35292]: Proxy the SimpleHTTPRequestHandler.guess_type to mimetypes.guess_type so the mimetypes.init is called lazily to avoid unnecessary costs when http.server module is imported.

bpo-39239 [https://bugs.python.org/issue?@action=redirect&bpo=39239]: The select.epoll.unregister() method no longer ignores the EBADF error.

bpo-38907 [https://bugs.python.org/issue?@action=redirect&bpo=38907]: In http.server script, restore binding to IPv4 on Windows.

bpo-39152 [https://bugs.python.org/issue?@action=redirect&bpo=39152]: Fix ttk.Scale.configure([name]) to return configuration tuple for name or all options. Giovanni Lombardo contributed part of the patch.

bpo-39198 [https://bugs.python.org/issue?@action=redirect&bpo=39198]: If an exception were to be thrown in Logger.isEnabledFor (say, by asyncio timeouts or stopit) , the logging global lock may not be released appropriately, resulting in deadlock. This change wraps that block of code with try...finally to ensure the lock is released.

bpo-39191 [https://bugs.python.org/issue?@action=redirect&bpo=39191]: Perform a check for running loop before starting a new task in loop.run_until_complete() to fail fast; it prevents the side effect of new task spawning before exception raising.

bpo-38871 [https://bugs.python.org/issue?@action=redirect&bpo=38871]: Correctly parenthesize filter-based statements that contain lambda expressions in lib2to3. Patch by Donghee Na.

bpo-39142 [https://bugs.python.org/issue?@action=redirect&bpo=39142]: A change was made to logging.config.dictConfig to avoid converting instances of named tuples to ConvertingTuple. It’s assumed that named tuples are too specialised to be treated like ordinary tuples; if a user of named tuples requires ConvertingTuple functionality, they will have to implement that themselves in their named tuple class.

bpo-39158 [https://bugs.python.org/issue?@action=redirect&bpo=39158]: ast.literal_eval() now supports empty sets.

bpo-39129 [https://bugs.python.org/issue?@action=redirect&bpo=39129]: Fix import path for asyncio.TimeoutError

bpo-39057 [https://bugs.python.org/issue?@action=redirect&bpo=39057]: urllib.request.proxy_bypass_environment() now ignores leading dots and no longer ignores a trailing newline.

bpo-39056 [https://bugs.python.org/issue?@action=redirect&bpo=39056]: Fixed handling invalid warning category in the -W option. No longer import the re module if it is not needed.

bpo-39055 [https://bugs.python.org/issue?@action=redirect&bpo=39055]: base64.b64decode() with validate=True raises now a binascii.Error if the input ends with a single \n.

bpo-21600 [https://bugs.python.org/issue?@action=redirect&bpo=21600]: Fix mock.patch.stopall() to stop active patches that were created with mock.patch.dict().

bpo-39019 [https://bugs.python.org/issue?@action=redirect&bpo=39019]: Implement dummy __class_getitem__ for tempfile.SpooledTemporaryFile.

bpo-39019 [https://bugs.python.org/issue?@action=redirect&bpo=39019]: Implement dummy __class_getitem__ for subprocess.Popen, subprocess.CompletedProcess

bpo-38914 [https://bugs.python.org/issue?@action=redirect&bpo=38914]: Adjusted the wording of the warning issued by distutils’ check command when the author and maintainer fields are supplied but no corresponding e-mail field (author_email or maintainer_email) is found. The wording now reflects the fact that these fields are suggested, but not required. Patch by Juergen Gmach.

bpo-38878 [https://bugs.python.org/issue?@action=redirect&bpo=38878]: Fixed __subclasshook__ of os.PathLike to return a correct result upon inheritance. Patch by Bar Harel.

bpo-38615 [https://bugs.python.org/issue?@action=redirect&bpo=38615]: IMAP4 and IMAP4_SSL now have an optional timeout parameter for their constructors. Also, the open() method now has an optional timeout parameter with this change. The overridden methods of IMAP4_SSL and IMAP4_stream were applied to this change. Patch by Donghee Na.

bpo-35182 [https://bugs.python.org/issue?@action=redirect&bpo=35182]: Fixed Popen.communicate() subsequent call crash when the child process has already closed any piped standard stream, but still continues to be running. Patch by Andriy Maletsky.

bpo-38630 [https://bugs.python.org/issue?@action=redirect&bpo=38630]: On Unix, subprocess.Popen.send_signal() now polls the process status. Polling reduces the risk of sending a signal to the wrong process if the process completed, the subprocess.Popen.returncode attribute is still None, and the pid has been reassigned (recycled) to a new different process.

bpo-38536 [https://bugs.python.org/issue?@action=redirect&bpo=38536]: Removes trailing space in formatted currency with international=True and a locale with symbol following value. E.g. locale.currency(12.34, international=True) returned '12,34 EUR ' instead of '12,34 EUR'.

bpo-38473 [https://bugs.python.org/issue?@action=redirect&bpo=38473]: Use signature from inner mock for autospecced methods attached with unittest.mock.attach_mock(). Patch by Karthikeyan Singaravelan.

bpo-38361 [https://bugs.python.org/issue?@action=redirect&bpo=38361]: Fixed an issue where ident could include a leading path separator when syslog.openlog() was called without arguments.

bpo-38293 [https://bugs.python.org/issue?@action=redirect&bpo=38293]: Add copy.copy() and copy.deepcopy() support to property() objects.

bpo-37958 [https://bugs.python.org/issue?@action=redirect&bpo=37958]: Added the pstats.Stats.get_profile_dict() method to return the profile data as a StatsProfile instance.

bpo-28367 [https://bugs.python.org/issue?@action=redirect&bpo=28367]: Termios magic constants for the following baud rates: - B500000 - B576000 - B921600 - B1000000 - B1152000 - B1500000 - B2000000 - B2500000 - B3000000 - B3500000 - B4000000 Patch by Andrey Smirnov

Documentation

bpo-39381 [https://bugs.python.org/issue?@action=redirect&bpo=39381]: Mention in docs that asyncio.get_event_loop() implicitly creates new event loop only if called from the main thread.

bpo-38918 [https://bugs.python.org/issue?@action=redirect&bpo=38918]: Add an entry for __module__ in the “function” & “method” sections of the inspect docs’ Tipos e membros table.

bpo-3530 [https://bugs.python.org/issue?@action=redirect&bpo=3530]: In the ast module documentation, fix a misleading NodeTransformer example and add advice on when to use the fix_missing_locations function.

Build

bpo-39395 [https://bugs.python.org/issue?@action=redirect&bpo=39395]: On non-Windows platforms, the setenv() and unsetenv() functions are now required to build Python.

bpo-39160 [https://bugs.python.org/issue?@action=redirect&bpo=39160]: Updated the documentation in ./configure --help to show default values, reference documentation where required and add additional explanation where needed.

bpo-39144 [https://bugs.python.org/issue?@action=redirect&bpo=39144]: The ctags and etags build targets both include Modules/_ctypes and Python standard library source files.

IDLE

bpo-39050 [https://bugs.python.org/issue?@action=redirect&bpo=39050]: Make IDLE Settings dialog Help button work again.

bpo-34118 [https://bugs.python.org/issue?@action=redirect&bpo=34118]: Tag memoryview, range, and tuple as classes, the same as list, etcetera, in the library manual built-in functions list.

bpo-32989 [https://bugs.python.org/issue?@action=redirect&bpo=32989]: Add tests for editor newline_and_indent_event method. Remove dead code from pyparse find_good_parse_start method.

C API

bpo-39372 [https://bugs.python.org/issue?@action=redirect&bpo=39372]: Clean header files of interfaces defined but with no implementation. The public API symbols being removed are: _PyBytes_InsertThousandsGroupingLocale, _PyBytes_InsertThousandsGrouping, _Py_InitializeFromArgs, _Py_InitializeFromWideArgs, _PyFloat_Repr, _PyFloat_Digits, _PyFloat_DigitsInit, PyFrame_ExtendStack, _PyAIterWrapper_Type, PyNullImporter_Type, PyCmpWrapper_Type, PySortWrapper_Type, PyNoArgsFunction.

bpo-39164 [https://bugs.python.org/issue?@action=redirect&bpo=39164]: Add a private _PyErr_GetExcInfo() function to retrieve exception information of the specified Python thread state.

Python 3.9.0 alpha 2

Release date: 2019-12-18

Security

bpo-38945 [https://bugs.python.org/issue?@action=redirect&bpo=38945]: Newline characters have been escaped when performing uu encoding to prevent them from overflowing into to content section of the encoded file. This prevents malicious or accidental modification of data during the decoding process.

bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228]: Due to significant security concerns, the reuse_address parameter of asyncio.loop.create_datagram_endpoint() is no longer supported. This is because of the behavior of SO_REUSEADDR in UDP. For more details, see the documentation for loop.create_datagram_endpoint(). (Contributed by Kyle Stanley, Antoine Pitrou, and Yury Selivanov in bpo-37228 [https://bugs.python.org/issue?@action=redirect&bpo=37228].)

bpo-38804 [https://bugs.python.org/issue?@action=redirect&bpo=38804]: Fixes a ReDoS vulnerability in http.cookiejar. Patch by Ben Caller.

Core and Builtins

bpo-39028 [https://bugs.python.org/issue?@action=redirect&bpo=39028]: Slightly improve the speed of keyword argument parsing with many kwargs by strengthening the assumption that kwargs are interned strings.

bpo-39080 [https://bugs.python.org/issue?@action=redirect&bpo=39080]: Fix the value of end_col_offset for Starred Expression AST nodes when they are among the elements in the args attribute of Call AST nodes.

bpo-39031 [https://bugs.python.org/issue?@action=redirect&bpo=39031]: When parsing an “elif” node, lineno and col_offset of the node now point to the “elif” keyword and not to its condition, making it consistent with the “if” node. Patch by Lysandros Nikolaou.

bpo-20443 [https://bugs.python.org/issue?@action=redirect&bpo=20443]: In Python 3.9.0a1, sys.argv[0] was made an absolute path if a filename was specified on the command line. Revert this change, since most users expect sys.argv to be unmodified.

bpo-39008 [https://bugs.python.org/issue?@action=redirect&bpo=39008]: PySys_Audit() now requires Py_ssize_t to be used for size arguments in the format string, regardless of whether PY_SSIZE_T_CLEAN was defined at include time.

bpo-38673 [https://bugs.python.org/issue?@action=redirect&bpo=38673]: In REPL mode, don’t switch to PS2 if the line starts with comment or whitespace. Based on work by Batuhan Taşkaya.

bpo-38922 [https://bugs.python.org/issue?@action=redirect&bpo=38922]: Calling replace on a code object now raises the code.__new__ audit event.

bpo-38920 [https://bugs.python.org/issue?@action=redirect&bpo=38920]: Add audit hooks for when sys.excepthook() and sys.unraisablehook() are invoked.

bpo-38892 [https://bugs.python.org/issue?@action=redirect&bpo=38892]: Improve documentation for audit events table and functions.

bpo-38852 [https://bugs.python.org/issue?@action=redirect&bpo=38852]: Set the thread stack size to 8 Mb for debug builds on android platforms.

bpo-38858 [https://bugs.python.org/issue?@action=redirect&bpo=38858]: Each Python subinterpreter now has its own “small integer singletons”: numbers in [-5; 257] range. It is no longer possible to change the number of small integers at build time by overriding NSMALLNEGINTS and NSMALLPOSINTS macros: macros should now be modified manually in pycore_pystate.h header file.

bpo-36854 [https://bugs.python.org/issue?@action=redirect&bpo=36854]: The garbage collector state becomes per interpreter (PyInterpreterState.gc), rather than being global (_PyRuntimeState.gc).

bpo-38835 [https://bugs.python.org/issue?@action=redirect&bpo=38835]: The PyFPE_START_PROTECT() and PyFPE_END_PROTECT() macros are empty: they have been doing nothing for the last year, so stop using them.

bpo-38328 [https://bugs.python.org/issue?@action=redirect&bpo=38328]: Sped up the creation time of constant list and set displays. Patch by Brandt Bucher.

bpo-38707 [https://bugs.python.org/issue?@action=redirect&bpo=38707]: MainThread.native_id is now correctly reset in child processes spawned using multiprocessing.Process, instead of retaining the parent’s value.

bpo-38629 [https://bugs.python.org/issue?@action=redirect&bpo=38629]: Added __floor__ and __ceil__ methods to float object. Patch by Batuhan Taşkaya.

bpo-27145 [https://bugs.python.org/issue?@action=redirect&bpo=27145]: int + int and int - int operators can now return small integer singletons. Patch by hongweipeng.

bpo-38021 [https://bugs.python.org/issue?@action=redirect&bpo=38021]: Provide a platform tag for AIX that is sufficient for PEP425 binary distribution identification. Patch by Michael Felt.

bpo-35409 [https://bugs.python.org/issue?@action=redirect&bpo=35409]: Ignore GeneratorExit exceptions when throwing an exception into the aclose coroutine of an asynchronous generator.

bpo-33387 [https://bugs.python.org/issue?@action=redirect&bpo=33387]: Removed WITH_CLEANUP_START, WITH_CLEANUP_FINISH, BEGIN_FINALLY, END_FINALLY, CALL_FINALLY and POP_FINALLY bytecodes. Replaced with RERAISE and WITH_EXCEPT_START bytecodes. The compiler now generates different code for exceptional and non-exceptional branches for ‘with’ and ‘try-except’ statements. For ‘try-finally’ statements the ‘finally’ block is replicated for each exit from the ‘try’ body.

Library

bpo-39033 [https://bugs.python.org/issue?@action=redirect&bpo=39033]: Fix NameError in zipimport. Patch by Karthikeyan Singaravelan.

bpo-39022 [https://bugs.python.org/issue?@action=redirect&bpo=39022]: Update importlib.metadata to include improvements from importlib_metadata 1.3 including better serialization of EntryPoints and improved documentation for custom finders.

bpo-39006 [https://bugs.python.org/issue?@action=redirect&bpo=39006]: Fix asyncio when the ssl module is missing: only check for ssl.SSLSocket instance if the ssl module is available.

bpo-38708 [https://bugs.python.org/issue?@action=redirect&bpo=38708]: Fix a potential IndexError in email parser when parsing an empty msg-id.

bpo-38698 [https://bugs.python.org/issue?@action=redirect&bpo=38698]: Add a new InvalidMessageID token to email parser to represent invalid Message-ID headers. Also, add defects when there is remaining value after parsing the header.

bpo-38994 [https://bugs.python.org/issue?@action=redirect&bpo=38994]: Implement __class_getitem__ for os.PathLike, pathlib.Path.

bpo-38979 [https://bugs.python.org/issue?@action=redirect&bpo=38979]: Return class from ContextVar.__class_getitem__ to simplify subclassing.

bpo-38978 [https://bugs.python.org/issue?@action=redirect&bpo=38978]: Implement __class_getitem__ on asyncio objects (Future, Task, Queue). Patch by Batuhan Taskaya.

bpo-38916 [https://bugs.python.org/issue?@action=redirect&bpo=38916]: array.array: Remove tostring() and fromstring() methods. They were aliases to tobytes() and frombytes(), deprecated since Python 3.2.

bpo-38986 [https://bugs.python.org/issue?@action=redirect&bpo=38986]: Make repr of C accelerated TaskWakeupMethWrapper the same as of pure Python version.

bpo-38982 [https://bugs.python.org/issue?@action=redirect&bpo=38982]: Fix asyncio PidfdChildWatcher: handle waitpid() error. If waitpid() is called elsewhere, waitpid() call fails with ChildProcessError: use return code 255 in this case, and log a warning. It ensures that the pidfd file descriptor is closed if this error occurs.

bpo-38529 [https://bugs.python.org/issue?@action=redirect&bpo=38529]: Drop too noisy asyncio warning about deletion of a stream without explicit .close() call.

bpo-27413 [https://bugs.python.org/issue?@action=redirect&bpo=27413]: Added ability to pass through ensure_ascii options to json.dumps in the json.tool command-line interface.

bpo-38634 [https://bugs.python.org/issue?@action=redirect&bpo=38634]: The readline module now detects if Python is linked to libedit at runtime on all platforms. Previously, the check was only done on macOS.

bpo-33684 [https://bugs.python.org/issue?@action=redirect&bpo=33684]: Fix json.tool failed to read a JSON file with non-ASCII characters when locale encoding is not UTF-8.

bpo-38698 [https://bugs.python.org/issue?@action=redirect&bpo=38698]: Prevent UnboundLocalError to pop up in parse_message_id.

parse_message_id() was improperly using a token defined inside an exception handler, which was raising UnboundLocalError on parsing an invalid value. Patch by Claudiu Popa.

bpo-38927 [https://bugs.python.org/issue?@action=redirect&bpo=38927]: Use python -m pip instead of pip to upgrade dependencies in venv.

bpo-26730 [https://bugs.python.org/issue?@action=redirect&bpo=26730]: Fix SpooledTemporaryFile.rollover() might corrupt the file when it is in text mode. Patch by Serhiy Storchaka.

bpo-38881 [https://bugs.python.org/issue?@action=redirect&bpo=38881]: random.choices() now raises a ValueError when all the weights are zero.

bpo-38876 [https://bugs.python.org/issue?@action=redirect&bpo=38876]: Raise pickle.UnpicklingError when loading an item from memo for invalid input.

The previous code was raising a KeyError for both the Python and C implementation. This was caused by the specified index of an invalid input which did not exist in the memo structure, where the pickle stores what objects it has seen. The malformed input would have caused either a BINGET or LONG_BINGET load from the memo, leading to a KeyError as the determined index was bogus. Patch by Claudiu Popa.

bpo-38688 [https://bugs.python.org/issue?@action=redirect&bpo=38688]: Calling func:shutil.copytree to copy a directory tree from one directory to another subdirectory resulted in an endless loop and a RecursionError. A fix was added to consume an iterator and create the list of the entries to be copied, avoiding the recursion for newly created directories. Patch by Bruno P. Kinoshita.

bpo-38863 [https://bugs.python.org/issue?@action=redirect&bpo=38863]: Improve is_cgi() function in http.server, which enables processing the case that cgi directory is a child of another directory other than root.

bpo-37838 [https://bugs.python.org/issue?@action=redirect&bpo=37838]: typing.get_type_hints() properly handles functions decorated with functools.wraps().

bpo-38870 [https://bugs.python.org/issue?@action=redirect&bpo=38870]: Expose ast.unparse() as a function of the ast module that can be used to unparse an ast.AST object and produce a string with code that would produce an equivalent ast.AST object when parsed. Patch by Pablo Galindo and Batuhan Taskaya.

bpo-38859 [https://bugs.python.org/issue?@action=redirect&bpo=38859]: AsyncMock now returns StopAsyncIteration on the exhaustion of a side_effects iterable. Since PEP-479 its Impossible to raise a StopIteration exception from a coroutine.

bpo-38857 [https://bugs.python.org/issue?@action=redirect&bpo=38857]: AsyncMock fix for return values that are awaitable types. This also covers side_effect iterable values that happened to be awaitable, and wraps callables that return an awaitable type. Before these awaitables were being awaited instead of being returned as is.

bpo-38834 [https://bugs.python.org/issue?@action=redirect&bpo=38834]: typing.TypedDict subclasses now track which keys are optional using the __required_keys__ and __optional_keys__ attributes, to enable runtime validation by downstream projects. Patch by Zac Hatfield-Dodds.

bpo-38821 [https://bugs.python.org/issue?@action=redirect&bpo=38821]: Fix unhandled exceptions in argparse when internationalizing error messages for arguments with nargs set to special (non-integer) values. Patch by Federico Bond.

bpo-38820 [https://bugs.python.org/issue?@action=redirect&bpo=38820]: Make Python compatible with OpenSSL 3.0.0. ssl.SSLSocket.getpeercert() no longer returns IPv6 addresses with a trailing new line.

bpo-38811 [https://bugs.python.org/issue?@action=redirect&bpo=38811]: Fix an unhandled exception in pathlib when os.link() is missing. Patch by Toke Høiland-Jørgensen.

bpo-38686 [https://bugs.python.org/issue?@action=redirect&bpo=38686]: Added support for multiple qop values in urllib.request.AbstractDigestAuthHandler.

bpo-38712 [https://bugs.python.org/issue?@action=redirect&bpo=38712]: Add the Linux-specific signal.pidfd_send_signal() function, which allows sending a signal to a process identified by a file descriptor rather than a pid.

bpo-38348 [https://bugs.python.org/issue?@action=redirect&bpo=38348]: Add -i and --indent (indentation level), and --no-type-comments (type comments) command line options to ast parsing tool.

bpo-37523 [https://bugs.python.org/issue?@action=redirect&bpo=37523]: Change zipfile.ZipExtFile to raise ValueError when trying to access the underlying file object after it has been closed. This new behavior is consistent with how accessing closed files is handled in other parts of Python.

bpo-38045 [https://bugs.python.org/issue?@action=redirect&bpo=38045]: Improve the performance of enum._decompose() in enum. Patch by hongweipeng.

bpo-36820 [https://bugs.python.org/issue?@action=redirect&bpo=36820]: Break cycle generated when saving an exception in socket.py, codeop.py and dyld.py as they keep alive not only the exception but user objects through the __traceback__ attribute. Patch by Mario Corchero.

bpo-36406 [https://bugs.python.org/issue?@action=redirect&bpo=36406]: Handle namespace packages in doctest. Patch by Karthikeyan Singaravelan.

bpo-34776 [https://bugs.python.org/issue?@action=redirect&bpo=34776]: Fix dataclasses to support forward references in type annotations

bpo-20928 [https://bugs.python.org/issue?@action=redirect&bpo=20928]: ElementTree supports recursive XInclude processing. Patch by Stefan Behnel.

bpo-29636 [https://bugs.python.org/issue?@action=redirect&bpo=29636]: Add whitespace options for formatting JSON with the json.tool CLI. The following mutually exclusive options are now supported: --indent for setting the indent level in spaces; --tab for indenting with tabs; --no-indent for suppressing newlines; and --compact for suppressing all whitespace. The default behavior remains the same as --indent=4.

Documentation

bpo-38928 [https://bugs.python.org/issue?@action=redirect&bpo=38928]: Correct when venv’s upgrade_dependencies() and --upgrade-deps are added.

bpo-38899 [https://bugs.python.org/issue?@action=redirect&bpo=38899]: Update documentation to state that to activate virtual environments under fish one should use source, not . as documented at https://fishshell.com/docs/current/cmds/source.html.

bpo-22377 [https://bugs.python.org/issue?@action=redirect&bpo=22377]: Improves documentation of the values that datetime.datetime.strptime() accepts for %Z. Patch by Karl Dubost.

Tests

bpo-38546 [https://bugs.python.org/issue?@action=redirect&bpo=38546]: Fix test_ressources_gced_in_workers() of test_concurrent_futures: explicitly stop the manager to prevent leaking a child process running in the background after the test completes.

bpo-38546 [https://bugs.python.org/issue?@action=redirect&bpo=38546]: Multiprocessing and concurrent.futures tests now stop the resource tracker process when tests complete.

bpo-38614 [https://bugs.python.org/issue?@action=redirect&bpo=38614]: Replace hardcoded timeout constants in tests with new test.support constants: LOOPBACK_TIMEOUT, INTERNET_TIMEOUT, SHORT_TIMEOUT and LONG_TIMEOUT. It becomes easier to adjust these four timeout constants for all tests at once, rather than having to adjust every single test file.

bpo-38547 [https://bugs.python.org/issue?@action=redirect&bpo=38547]: Fix test_pty: if the process is the session leader, closing the master file descriptor raises a SIGHUP signal: simply ignore SIGHUP when running the tests.

bpo-38992 [https://bugs.python.org/issue?@action=redirect&bpo=38992]: Fix a test for math.fsum() that was failing due to constant folding.

bpo-38991 [https://bugs.python.org/issue?@action=redirect&bpo=38991]: test.support: run_python_until_end(), assert_python_ok() and assert_python_failure() functions no longer strip whitespaces from stderr. Remove test.support.strip_python_stderr() function.

bpo-38965 [https://bugs.python.org/issue?@action=redirect&bpo=38965]: Fix test_faulthandler on GCC 10. Use the “volatile” keyword in faulthandler._stack_overflow() to prevent tail call optimization on any compiler, rather than relying on compiler specific pragma.

bpo-38875 [https://bugs.python.org/issue?@action=redirect&bpo=38875]: test_capi: trashcan tests now require the test “cpu” resource.

bpo-38841 [https://bugs.python.org/issue?@action=redirect&bpo=38841]: Skip asyncio test_create_datagram_endpoint_existing_sock_unix on platforms lacking a functional bind() for named unix domain sockets.

bpo-38692 [https://bugs.python.org/issue?@action=redirect&bpo=38692]: Skip the test_posix.test_pidfd_open() test if os.pidfd_open() fails with a PermissionError. This situation can happen in a Linux sandbox using a syscall whitelist which doesn’t allow the pidfd_open() syscall yet.

bpo-38839 [https://bugs.python.org/issue?@action=redirect&bpo=38839]: Fix some unused functions in tests. Patch by Adam Johnson.

bpo-38669 [https://bugs.python.org/issue?@action=redirect&bpo=38669]: Raise TypeError when passing target as a string with unittest.mock.patch.object().

bpo-37957 [https://bugs.python.org/issue?@action=redirect&bpo=37957]: test.regrtest now can receive a list of test patterns to ignore (using the -i/–ignore argument) or a file with a list of patterns to ignore (using the –ignore-file argument). Patch by Pablo Galindo.

Build

bpo-37404 [https://bugs.python.org/issue?@action=redirect&bpo=37404]: asyncio now raises TypeError when calling incompatible methods with an ssl.SSLSocket socket. Patch by Ido Michael.

bpo-36500 [https://bugs.python.org/issue?@action=redirect&bpo=36500]: Added an optional “regen” project to the Visual Studio solution that will regenerate all grammar, tokens, and opcodes.

Windows

bpo-39007 [https://bugs.python.org/issue?@action=redirect&bpo=39007]: Add auditing events to functions in winreg.

bpo-33125 [https://bugs.python.org/issue?@action=redirect&bpo=33125]: Add support for building and releasing Windows ARM64 packages.

macOS

bpo-37931 [https://bugs.python.org/issue?@action=redirect&bpo=37931]: Fixed a crash on OSX dynamic builds that occurred when re-initializing the posix module after a Py_Finalize if the environment had changed since the previous import posix. Patch by Benoît Hudson.

IDLE

bpo-38944 [https://bugs.python.org/issue?@action=redirect&bpo=38944]: Escape key now closes IDLE completion windows. Patch by Johnny Najera.

bpo-38943 [https://bugs.python.org/issue?@action=redirect&bpo=38943]: Fix IDLE autocomplete windows not always appearing on some systems. Patch by Johnny Najera.

bpo-38862 [https://bugs.python.org/issue?@action=redirect&bpo=38862]: ‘Strip Trailing Whitespace’ on the Format menu removes extra newlines at the end of non-shell files.

bpo-38636 [https://bugs.python.org/issue?@action=redirect&bpo=38636]: Fix IDLE Format menu tab toggle and file indent width. These functions (default shortcuts Alt-T and Alt-U) were mistakenly disabled in 3.7.5 and 3.8.0.

C API

bpo-38896 [https://bugs.python.org/issue?@action=redirect&bpo=38896]: Remove PyUnicode_ClearFreeList() function: the Unicode free list has been removed in Python 3.3.

bpo-37340 [https://bugs.python.org/issue?@action=redirect&bpo=37340]: Remove PyMethod_ClearFreeList() and PyCFunction_ClearFreeList() functions: the free lists of bound method objects have been removed.

bpo-38835 [https://bugs.python.org/issue?@action=redirect&bpo=38835]: Exclude PyFPE_START_PROTECT() and PyFPE_END_PROTECT() macros of pyfpe.h from Py_LIMITED_API (stable API).

Python 3.9.0 alpha 1

Release date: 2019-11-19

Security

bpo-38722 [https://bugs.python.org/issue?@action=redirect&bpo=38722]: runpy now uses io.open_code() to open code files. Patch by Jason Killen.

bpo-38622 [https://bugs.python.org/issue?@action=redirect&bpo=38622]: Add additional audit events for the ctypes module.

bpo-38418 [https://bugs.python.org/issue?@action=redirect&bpo=38418]: Fixes audit event for os.system() to be named os.system.

bpo-38243 [https://bugs.python.org/issue?@action=redirect&bpo=38243]: Escape the server title of xmlrpc.server.DocXMLRPCServer when rendering the document page as HTML. (Contributed by Donghee Na in bpo-38243 [https://bugs.python.org/issue?@action=redirect&bpo=38243].)

bpo-38174 [https://bugs.python.org/issue?@action=redirect&bpo=38174]: Update vendorized expat library version to 2.2.8, which resolves CVE 2019-15903 [https://www.cve.org/CVERecord?id=CVE-2019-15903].

bpo-37764 [https://bugs.python.org/issue?@action=redirect&bpo=37764]: Fixes email._header_value_parser.get_unstructured going into an infinite loop for a specific case in which the email header does not have trailing whitespace, and the case in which it contains an invalid encoded word. Patch by Ashwin Ramaswami.

bpo-37461 [https://bugs.python.org/issue?@action=redirect&bpo=37461]: Fix an infinite loop when parsing specially crafted email headers. Patch by Abhilash Raj.

bpo-37363 [https://bugs.python.org/issue?@action=redirect&bpo=37363]: Adds audit events for the range of supported run commands (see Linha de comando e ambiente).

bpo-37463 [https://bugs.python.org/issue?@action=redirect&bpo=37463]: ssl.match_hostname() no longer accepts IPv4 addresses with additional text after the address and only quad-dotted notation without trailing whitespaces. Some inet_aton() implementations ignore whitespace and all data after whitespace, e.g. ‘127.0.0.1 whatever’.

bpo-37363 [https://bugs.python.org/issue?@action=redirect&bpo=37363]: Adds audit events for ensurepip, ftplib, glob, imaplib, nntplib, pdb, poplib, shutil, smtplib, sqlite3, subprocess, telnetlib, tempfile and webbrowser, as well as os.listdir(), os.scandir() and breakpoint().

bpo-37364 [https://bugs.python.org/issue?@action=redirect&bpo=37364]: io.open_code() is now used when reading .pth files.

bpo-34631 [https://bugs.python.org/issue?@action=redirect&bpo=34631]: Updated OpenSSL to 1.1.1c in Windows installer

bpo-34155 [https://bugs.python.org/issue?@action=redirect&bpo=34155]: Fix parsing of invalid email addresses with more than one @ (e.g. a@b@c.com.) to not return the part before 2nd @ as valid email address. Patch by maxking & jpic.

Core and Builtins

bpo-38631 [https://bugs.python.org/issue?@action=redirect&bpo=38631]: Replace Py_FatalError() call with a regular RuntimeError exception in float.__getformat__().

bpo-38639 [https://bugs.python.org/issue?@action=redirect&bpo=38639]: Optimized math.floor(), math.ceil() and math.trunc() for floats.

bpo-38640 [https://bugs.python.org/issue?@action=redirect&bpo=38640]: Fixed a bug in the compiler that was causing to raise in the presence of break statements and continue statements inside always false while loops. Patch by Pablo Galindo.

bpo-38613 [https://bugs.python.org/issue?@action=redirect&bpo=38613]: Optimized some set operations (e.g. |, ^, and -) of dict_keys. d.keys() | other was slower than set(d) | other but they are almost same performance for now.

bpo-28029 [https://bugs.python.org/issue?@action=redirect&bpo=28029]: "".replace("", s, n) now returns s instead of an empty string for all non-zero n. There are similar changes for bytes and bytearray objects.

bpo-38535 [https://bugs.python.org/issue?@action=redirect&bpo=38535]: Fixed line numbers and column offsets for AST nodes for calls without arguments in decorators.

bpo-38525 [https://bugs.python.org/issue?@action=redirect&bpo=38525]: Fix a segmentation fault when using reverse iterators of empty dict objects. Patch by Donghee Na and Inada Naoki.

bpo-38465 [https://bugs.python.org/issue?@action=redirect&bpo=38465]: bytearray, array and mmap objects allow now to export more than 2**31 buffers at a time.

bpo-38469 [https://bugs.python.org/issue?@action=redirect&bpo=38469]: Fixed a bug where the scope of named expressions was not being resolved correctly in the presence of the global keyword. Patch by Pablo Galindo.

bpo-38437 [https://bugs.python.org/issue?@action=redirect&bpo=38437]: Activate the GC_DEBUG macro for debug builds of the interpreter (when Py_DEBUG is set). Patch by Pablo Galindo.

bpo-38379 [https://bugs.python.org/issue?@action=redirect&bpo=38379]: When the garbage collector makes a collection in which some objects resurrect (they are reachable from outside the isolated cycles after the finalizers have been executed), do not block the collection of all objects that are still unreachable. Patch by Pablo Galindo and Tim Peters.

bpo-38379 [https://bugs.python.org/issue?@action=redirect&bpo=38379]: When cyclic garbage collection (gc) runs finalizers that resurrect unreachable objects, the current gc run ends, without collecting any cyclic trash. However, the statistics reported by collect() and get_stats() claimed that all cyclic trash found was collected, and that the resurrected objects were collected. Changed the stats to report that none were collected.

bpo-38392 [https://bugs.python.org/issue?@action=redirect&bpo=38392]: In debug mode, PyObject_GC_Track() now calls tp_traverse() of the object type to ensure that the object is valid: test that objects visited by tp_traverse() are valid.

bpo-38210 [https://bugs.python.org/issue?@action=redirect&bpo=38210]: Remove unnecessary intersection and update set operation in dictview with empty set. (Contributed by Donghee Na in bpo-38210 [https://bugs.python.org/issue?@action=redirect&bpo=38210].)

bpo-38402 [https://bugs.python.org/issue?@action=redirect&bpo=38402]: Check the error from the system’s underlying crypt or crypt_r.

bpo-37474 [https://bugs.python.org/issue?@action=redirect&bpo=37474]: On FreeBSD, Python no longer calls fedisableexcept() at startup to control the floating-point control mode. The call became useless since FreeBSD 6: it became the default mode.

bpo-38006 [https://bugs.python.org/issue?@action=redirect&bpo=38006]: Fix a bug due to the interaction of weakrefs and the cyclic garbage collector. We must clear any weakrefs in garbage in order to prevent their callbacks from executing and causing a crash.

bpo-38317 [https://bugs.python.org/issue?@action=redirect&bpo=38317]: Fix warnings options priority: PyConfig.warnoptions has the highest priority, as stated in the PEP 587 [https://peps.python.org/pep-0587/].

bpo-38310 [https://bugs.python.org/issue?@action=redirect&bpo=38310]: Predict BUILD_MAP_UNPACK_WITH_CALL -> CALL_FUNCTION_EX opcode pairs in the main interpreter loop. Patch by Brandt Bucher.

bpo-36871 [https://bugs.python.org/issue?@action=redirect&bpo=36871]: Improve error handling for the assert_has_calls and assert_has_awaits methods of mocks. Fixed a bug where any errors encountered while binding the expected calls to the mock’s spec were silently swallowed, leading to misleading error output.

bpo-11410 [https://bugs.python.org/issue?@action=redirect&bpo=11410]: Better control over symbol visibility is provided through use of the visibility attributes available in gcc >= 4.0, provided in a uniform way across POSIX and Windows. The POSIX build files have been updated to compile with -fvisibility=hidden, minimising exported symbols.

bpo-38219 [https://bugs.python.org/issue?@action=redirect&bpo=38219]: Optimized the dict constructor and the update() method for the case when the argument is a dict.

bpo-38236 [https://bugs.python.org/issue?@action=redirect&bpo=38236]: Python now dumps path configuration if it fails to import the Python codecs of the filesystem and stdio encodings.

bpo-38013 [https://bugs.python.org/issue?@action=redirect&bpo=38013]: Allow to call async_generator_athrow().throw(...) even for non-started async generator helper. It fixes annoying warning at the end of asyncio.run() call.

bpo-38124 [https://bugs.python.org/issue?@action=redirect&bpo=38124]: Fix an off-by-one error in PyState_AddModule that could cause out-of-bounds memory access.

bpo-38116 [https://bugs.python.org/issue?@action=redirect&bpo=38116]: The select module is now PEP-384 compliant and no longer has static state

bpo-38113 [https://bugs.python.org/issue?@action=redirect&bpo=38113]: ast module updated to PEP-384 and all statics removed

bpo-38076 [https://bugs.python.org/issue?@action=redirect&bpo=38076]: The struct module is now PEP-384 compatible

bpo-38075 [https://bugs.python.org/issue?@action=redirect&bpo=38075]: The random module is now PEP-384 compatible

bpo-38074 [https://bugs.python.org/issue?@action=redirect&bpo=38074]: zlib module made PEP-384 compatible

bpo-38073 [https://bugs.python.org/issue?@action=redirect&bpo=38073]: Make pwd extension module PEP-384 compatible

bpo-38072 [https://bugs.python.org/issue?@action=redirect&bpo=38072]: grp module made PEP-384 compatible

bpo-38069 [https://bugs.python.org/issue?@action=redirect&bpo=38069]: Make _posixsubprocess PEP-384 compatible

bpo-38071 [https://bugs.python.org/issue?@action=redirect&bpo=38071]: Make termios extension module PEP-384 compatible

bpo-38005 [https://bugs.python.org/issue?@action=redirect&bpo=38005]: Fixed comparing and creating of InterpreterID and ChannelID.

bpo-36946 [https://bugs.python.org/issue?@action=redirect&bpo=36946]: Fix possible signed integer overflow when handling slices. Patch by hongweipeng.

bpo-37994 [https://bugs.python.org/issue?@action=redirect&bpo=37994]: Fixed silencing arbitrary errors if an attribute lookup fails in several sites. Only AttributeError should be silenced.

bpo-8425 [https://bugs.python.org/issue?@action=redirect&bpo=8425]: Optimize set difference_update for the case when the other set is much larger than the base set. (Suggested by Evgeny Kapun with code contributed by Michele Orrù).

bpo-37966 [https://bugs.python.org/issue?@action=redirect&bpo=37966]: The implementation of is_normalized() has been greatly sped up on strings that aren’t normalized, by implementing the full normalization-quick-check algorithm from the Unicode standard.

bpo-37947 [https://bugs.python.org/issue?@action=redirect&bpo=37947]: Adjust correctly the recursion level in the symtable generation for named expressions. Patch by Pablo Galindo.

bpo-37812 [https://bugs.python.org/issue?@action=redirect&bpo=37812]: The CHECK_SMALL_INT macro used inside Object/longobject.c has been replaced with an explicit return at each call site.

bpo-37751 [https://bugs.python.org/issue?@action=redirect&bpo=37751]: Fix codecs.lookup() to normalize the encoding name the same way than encodings.normalize_encoding(), except that codecs.lookup() also converts the name to lower case.

bpo-37830 [https://bugs.python.org/issue?@action=redirect&bpo=37830]: Fixed compilation of break and continue in the finally block when the corresponding try block contains return with a non-constant value.

bpo-20490 [https://bugs.python.org/issue?@action=redirect&bpo=20490]: Improve import error message for partially initialized module on circular from imports - by Anthony Sottile.

bpo-37840 [https://bugs.python.org/issue?@action=redirect&bpo=37840]: Fix handling of negative indices in sq_item of bytearray. Patch by Sergey Fedoseev.

bpo-37802 [https://bugs.python.org/issue?@action=redirect&bpo=37802]: Slightly improve performance of PyLong_FromUnsignedLong(), PyLong_FromUnsignedLongLong() and PyLong_FromSize_t(). Patch by Sergey Fedoseev.

bpo-37409 [https://bugs.python.org/issue?@action=redirect&bpo=37409]: Ensure explicit relative imports from interactive sessions and scripts (having no parent package) always raise ImportError, rather than treating the current module as the package. Patch by Ben Lewis.

bpo-32912 [https://bugs.python.org/issue?@action=redirect&bpo=32912]: Reverted bpo-32912 [https://bugs.python.org/issue?@action=redirect&bpo=32912]: emitting SyntaxWarning instead of DeprecationWarning for invalid escape sequences in string and bytes literals.

bpo-37757 [https://bugs.python.org/issue?@action=redirect&bpo=37757]: PEP 572 [https://peps.python.org/pep-0572/]: As described in the PEP, assignment expressions now raise SyntaxError when their interaction with comprehension scoping results in an ambiguous target scope.

The TargetScopeError subclass originally proposed by the PEP has been removed in favour of just raising regular syntax errors for the disallowed cases.

bpo-36279 [https://bugs.python.org/issue?@action=redirect&bpo=36279]: Fix potential use of uninitialized memory in os.wait3().

bpo-36311 [https://bugs.python.org/issue?@action=redirect&bpo=36311]: Decoding bytes objects larger than 2GiB is faster and no longer fails when a multibyte characters spans a chunk boundary.

bpo-34880 [https://bugs.python.org/issue?@action=redirect&bpo=34880]: The assert statement now works properly if the AssertionError exception is being shadowed. Patch by Zackery Spytz.

bpo-37340 [https://bugs.python.org/issue?@action=redirect&bpo=37340]: Removed object cache (free_list) for bound method objects. Temporary bound method objects are less used than before thanks to the LOAD_METHOD opcode and the _PyObject_VectorcallMethod C API.

bpo-37648 [https://bugs.python.org/issue?@action=redirect&bpo=37648]: Fixed minor inconsistency in list.__contains__(), tuple.__contains__() and a few other places. The collection’s item is now always at the left and the needle is on the right of ==.

bpo-37444 [https://bugs.python.org/issue?@action=redirect&bpo=37444]: Update differing exception between builtins.__import__() and importlib.__import__().

bpo-37619 [https://bugs.python.org/issue?@action=redirect&bpo=37619]: When adding a wrapper descriptor from one class to a different class (for example, setting __add__ = str.__add__ on an int subclass), an exception is correctly raised when the operator is called.

bpo-37593 [https://bugs.python.org/issue?@action=redirect&bpo=37593]: Swap the positions of the posonlyargs and args parameters in the constructor of ast.parameters nodes.

bpo-37543 [https://bugs.python.org/issue?@action=redirect&bpo=37543]: Optimized pymalloc for non PGO build.

bpo-37537 [https://bugs.python.org/issue?@action=redirect&bpo=37537]: Compute allocated pymalloc blocks inside _Py_GetAllocatedBlocks(). This slows down _Py_GetAllocatedBlocks() but gives a small speedup to _PyObject_Malloc() and _PyObject_Free().

bpo-37467 [https://bugs.python.org/issue?@action=redirect&bpo=37467]: Fix sys.excepthook() and PyErr_Display() if a filename is a bytes string. For example, for a SyntaxError exception where the filename attribute is a bytes string.

bpo-37433 [https://bugs.python.org/issue?@action=redirect&bpo=37433]: Fix SyntaxError indicator printing too many spaces for multi-line strings - by Anthony Sottile.

bpo-37417 [https://bugs.python.org/issue?@action=redirect&bpo=37417]: bytearray.extend() now correctly handles errors that arise during iteration. Patch by Brandt Bucher.

bpo-37414 [https://bugs.python.org/issue?@action=redirect&bpo=37414]: The undocumented sys.callstats() function has been removed. Since Python 3.7, it was deprecated and always returned None. It required a special build option CALL_PROFILE which was already removed in Python 3.7.

bpo-37392 [https://bugs.python.org/issue?@action=redirect&bpo=37392]: Remove sys.getcheckinterval() and sys.setcheckinterval() functions. They were deprecated since Python 3.2. Use sys.getswitchinterval() and sys.setswitchinterval() instead. Remove also check_interval field of the PyInterpreterState structure.

bpo-37388 [https://bugs.python.org/issue?@action=redirect&bpo=37388]: In development mode and in debug build, encoding and errors arguments are now checked on string encoding and decoding operations. Examples: open(), str.encode() and bytes.decode().

By default, for best performances, the errors argument is only checked at the first encoding/decoding error, and the encoding argument is sometimes ignored for empty strings.

bpo-37348 [https://bugs.python.org/issue?@action=redirect&bpo=37348]: Optimized decoding short ASCII string with UTF-8 and ascii codecs. b"foo".decode() is about 15% faster. Patch by Inada Naoki.

bpo-24214 [https://bugs.python.org/issue?@action=redirect&bpo=24214]: Improved support of the surrogatepass error handler in the UTF-8 and UTF-16 incremental decoders.

bpo-37330 [https://bugs.python.org/issue?@action=redirect&bpo=37330]: open(), io.open(), codecs.open() and fileinput.FileInput no longer accept 'U' (“universal newline”) in the file mode. This flag was deprecated since Python 3.3.

bpo-35224 [https://bugs.python.org/issue?@action=redirect&bpo=35224]: Reverse evaluation order of key: value in dict comprehensions as proposed in PEP 572. I.e. in {k: v for ...}, k will be evaluated before v.

bpo-37316 [https://bugs.python.org/issue?@action=redirect&bpo=37316]: Fix the PySys_Audit() call in mmap.mmap.

bpo-37300 [https://bugs.python.org/issue?@action=redirect&bpo=37300]: Remove an unnecessary Py_XINCREF in classobject.c.

bpo-37269 [https://bugs.python.org/issue?@action=redirect&bpo=37269]: Fix a bug in the peephole optimizer that was not treating correctly constant conditions with binary operators. Patch by Pablo Galindo.

bpo-20443 [https://bugs.python.org/issue?@action=redirect&bpo=20443]: Python now gets the absolute path of the script filename specified on the command line (ex: “python3 script.py”): the __file__ attribute of the __main__ module and sys.path[0] become an absolute path, rather than a relative path.

bpo-37257 [https://bugs.python.org/issue?@action=redirect&bpo=37257]: Python’s small object allocator (obmalloc.c) now allows (no more than) one empty arena to remain available for immediate reuse, without returning it to the OS. This prevents thrashing in simple loops where an arena could be created and destroyed anew on each iteration.

bpo-37231 [https://bugs.python.org/issue?@action=redirect&bpo=37231]: The dispatching of type slots to special methods (for example calling __mul__ when doing x * y) has been made faster.

bpo-36974 [https://bugs.python.org/issue?@action=redirect&bpo=36974]: Implemented separate vectorcall functions for every calling convention of builtin functions and methods. This improves performance for calls.

bpo-37213 [https://bugs.python.org/issue?@action=redirect&bpo=37213]: Handle correctly negative line offsets in the peephole optimizer. Patch by Pablo Galindo.

bpo-37219 [https://bugs.python.org/issue?@action=redirect&bpo=37219]: Remove erroneous optimization for empty set differences.

bpo-15913 [https://bugs.python.org/issue?@action=redirect&bpo=15913]: Implement PyBuffer_SizeFromFormat() function (previously documented but not implemented): call struct.calcsize(). Patch by Joannah Nanjekye.

bpo-36922 [https://bugs.python.org/issue?@action=redirect&bpo=36922]: Slot functions optimize any callable with Py_TPFLAGS_METHOD_DESCRIPTOR instead of only instances of function.

bpo-36974 [https://bugs.python.org/issue?@action=redirect&bpo=36974]: The slot tp_vectorcall_offset is inherited unconditionally to support super().__call__() when the base class uses vectorcall.

bpo-37160 [https://bugs.python.org/issue?@action=redirect&bpo=37160]: threading.get_native_id() now also supports NetBSD.

bpo-37077 [https://bugs.python.org/issue?@action=redirect&bpo=37077]: Add threading.get_native_id() support for AIX. Patch by M. Felt

bpo-36781 [https://bugs.python.org/issue?@action=redirect&bpo=36781]: sum() has been optimized for boolean values.

bpo-34556 [https://bugs.python.org/issue?@action=redirect&bpo=34556]: Add --upgrade-deps to venv module. Patch by Cooper Ry Lees

bpo-20523 [https://bugs.python.org/issue?@action=redirect&bpo=20523]: pdb.Pdb supports ~/.pdbrc in Windows 7. Patch by Tim Hopper and Dan Lidral-Porter.

bpo-35551 [https://bugs.python.org/issue?@action=redirect&bpo=35551]: Updated encodings: - Removed the “tis260” encoding, which was an alias for the nonexistent “tactis” codec. - Added “mac_centeuro” as an alias for the mac_latin2 encoding.

bpo-19072 [https://bugs.python.org/issue?@action=redirect&bpo=19072]: The classmethod decorator can now wrap other descriptors such as property objects. Adapted from a patch written by Graham Dumpleton.

bpo-27575 [https://bugs.python.org/issue?@action=redirect&bpo=27575]: Improve speed of dictview intersection by directly using set intersection logic. Patch by David Su.

bpo-30773 [https://bugs.python.org/issue?@action=redirect&bpo=30773]: Prohibit parallel running of aclose() / asend() / athrow(). Fix ag_running to reflect the actual running status of the AG.

Library

bpo-36589 [https://bugs.python.org/issue?@action=redirect&bpo=36589]: The curses.update_lines_cols() function now returns None instead of 1 on success.

bpo-38807 [https://bugs.python.org/issue?@action=redirect&bpo=38807]: Update TypeError messages for os.path.join() to include os.PathLike objects as acceptable input types.

bpo-38724 [https://bugs.python.org/issue?@action=redirect&bpo=38724]: Add a repr for subprocess.Popen objects. Patch by Andrey Doroschenko.

bpo-38786 [https://bugs.python.org/issue?@action=redirect&bpo=38786]: pydoc now recognizes and parses HTTPS URLs. Patch by python273.

bpo-38785 [https://bugs.python.org/issue?@action=redirect&bpo=38785]: Prevent asyncio from crashing if parent __init__ is not called from a constructor of object derived from asyncio.Future.

bpo-38723 [https://bugs.python.org/issue?@action=redirect&bpo=38723]: pdb now uses io.open_code() to trigger auditing events.

bpo-27805 [https://bugs.python.org/issue?@action=redirect&bpo=27805]: Allow opening pipes and other non-seekable files in append mode with open().

bpo-38438 [https://bugs.python.org/issue?@action=redirect&bpo=38438]: Simplify the argparse usage message for nargs="*".

bpo-38761 [https://bugs.python.org/issue?@action=redirect&bpo=38761]: WeakSet is now registered as a collections.abc.MutableSet.

bpo-38716 [https://bugs.python.org/issue?@action=redirect&bpo=38716]: logging: change RotatingHandler namer and rotator to class-level attributes. This stops __init__ from setting them to None in the case where a subclass defines them with eponymous methods.

bpo-38713 [https://bugs.python.org/issue?@action=redirect&bpo=38713]: Add os.P_PIDFD constant, which may be passed to os.waitid() to wait on a Linux process file descriptor.

bpo-38692 [https://bugs.python.org/issue?@action=redirect&bpo=38692]: Add asyncio.PidfdChildWatcher, a Linux-specific child watcher implementation that polls process file descriptors.

bpo-38692 [https://bugs.python.org/issue?@action=redirect&bpo=38692]: Expose the Linux pidfd_open syscall as os.pidfd_open().

bpo-38602 [https://bugs.python.org/issue?@action=redirect&bpo=38602]: Added constants F_OFD_GETLK, F_OFD_SETLK and F_OFD_SETLKW to the fcntl module. Patch by Donghee Na.

bpo-38334 [https://bugs.python.org/issue?@action=redirect&bpo=38334]: Fixed seeking backward on an encrypted zipfile.ZipExtFile.

bpo-38312 [https://bugs.python.org/issue?@action=redirect&bpo=38312]: Add curses.get_escdelay(), curses.set_escdelay(), curses.get_tabsize(), and curses.set_tabsize() functions - by Anthony Sottile.

bpo-38586 [https://bugs.python.org/issue?@action=redirect&bpo=38586]: Now fileConfig() correctly sets the .name of handlers loaded.

bpo-38565 [https://bugs.python.org/issue?@action=redirect&bpo=38565]: Add new cache_parameters() method for functools.lru_cache() to better support pickling.

bpo-34679 [https://bugs.python.org/issue?@action=redirect&bpo=34679]: asynci.ProactorEventLoop.close() now only calls signal.set_wakeup_fd() in the main thread.

bpo-31202 [https://bugs.python.org/issue?@action=redirect&bpo=31202]: The case the result of pathlib.WindowsPath.glob() matches now the case of the pattern for literal parts.

bpo-36321 [https://bugs.python.org/issue?@action=redirect&bpo=36321]: Remove misspelled attribute. The 3.8 changelog noted that this would be removed in 3.9.

bpo-38521 [https://bugs.python.org/issue?@action=redirect&bpo=38521]: Fixed erroneous equality comparison in statistics.NormalDist().

bpo-38493 [https://bugs.python.org/issue?@action=redirect&bpo=38493]: Added CLD_KILLED and CLD_STOPPED for si_code. Patch by Donghee Na.

bpo-38478 [https://bugs.python.org/issue?@action=redirect&bpo=38478]: Fixed a bug in inspect.signature.bind() that was causing it to fail when handling a keyword argument with same name as positional-only parameter. Patch by Pablo Galindo.

bpo-33604 [https://bugs.python.org/issue?@action=redirect&bpo=33604]: Fixed hmac.new and hmac.HMAC to raise TypeError instead of ValueError when the digestmod parameter, now required in 3.8, is omitted. Also clarified the hmac module documentation and docstrings.

bpo-38378 [https://bugs.python.org/issue?@action=redirect&bpo=38378]: Parameters out and in of os.sendfile() was renamed to out_fd and in_fd.

bpo-38417 [https://bugs.python.org/issue?@action=redirect&bpo=38417]: Added support for setting the umask in the child process to the subprocess module on POSIX systems.

bpo-38449 [https://bugs.python.org/issue?@action=redirect&bpo=38449]: Revert PR 15522, which introduces a regression in mimetypes.guess_type() due to improper handling of filenames as urls.

bpo-38431 [https://bugs.python.org/issue?@action=redirect&bpo=38431]: Fix __repr__ method for dataclasses.InitVar to support typing objects, patch by Samuel Colvin.

bpo-38109 [https://bugs.python.org/issue?@action=redirect&bpo=38109]: Add missing stat.S_IFDOOR, stat.S_IFPORT, stat.S_IFWHT, stat.S_ISDOOR(), stat.S_ISPORT(), and stat.S_ISWHT() values to the Python implementation of stat.

bpo-38422 [https://bugs.python.org/issue?@action=redirect&bpo=38422]: Clarify docstrings of pathlib suffix(es)

bpo-38405 [https://bugs.python.org/issue?@action=redirect&bpo=38405]: Nested subclasses of typing.NamedTuple are now pickleable.

bpo-38332 [https://bugs.python.org/issue?@action=redirect&bpo=38332]: Prevent KeyError thrown by _encoded_words.decode() when given an encoded-word with invalid content-type encoding from propagating all the way to email.message.get().

bpo-38371 [https://bugs.python.org/issue?@action=redirect&bpo=38371]: Deprecated the split() method in _tkinter.TkappType in favour of the splitlist() method which has more consistent and predictable behavior.

bpo-38341 [https://bugs.python.org/issue?@action=redirect&bpo=38341]: Add smtplib.SMTPNotSupportedError to the smtplib exported names.

bpo-38319 [https://bugs.python.org/issue?@action=redirect&bpo=38319]: sendfile() used in socket and shutil modules was raising OverflowError for files >= 2GiB on 32-bit architectures. (patch by Giampaolo Rodola)

bpo-38242 [https://bugs.python.org/issue?@action=redirect&bpo=38242]: Revert the new asyncio Streams API

bpo-13153 [https://bugs.python.org/issue?@action=redirect&bpo=13153]: OS native encoding is now used for converting between Python strings and Tcl objects. This allows to display, copy and paste to clipboard emoji and other non-BMP characters. Converting strings from Tcl to Python and back now never fails (except MemoryError).

bpo-38019 [https://bugs.python.org/issue?@action=redirect&bpo=38019]: Correctly handle pause/resume reading of closed asyncio unix pipe.

bpo-38163 [https://bugs.python.org/issue?@action=redirect&bpo=38163]: Child mocks will now detect their type as either synchronous or asynchronous, asynchronous child mocks will be AsyncMocks and synchronous child mocks will be either MagicMock or Mock (depending on their parent type).

bpo-38161 [https://bugs.python.org/issue?@action=redirect&bpo=38161]: Removes _AwaitEvent from AsyncMock.

bpo-38216 [https://bugs.python.org/issue?@action=redirect&bpo=38216]: Allow the rare code that wants to send invalid http requests from the http.client library a way to do so. The fixes for bpo-30458 [https://bugs.python.org/issue?@action=redirect&bpo=30458] led to breakage for some projects that were relying on this ability to test their own behavior in the face of bad requests.

bpo-28286 [https://bugs.python.org/issue?@action=redirect&bpo=28286]: Deprecate opening GzipFile for writing implicitly. Always specify the mode argument for writing.

bpo-38108 [https://bugs.python.org/issue?@action=redirect&bpo=38108]: Any synchronous magic methods on an AsyncMock now return a MagicMock. Any asynchronous magic methods on a MagicMock now return an AsyncMock.

bpo-38265 [https://bugs.python.org/issue?@action=redirect&bpo=38265]: Update the length parameter of os.pread() to accept Py_ssize_t instead of int.

bpo-38112 [https://bugs.python.org/issue?@action=redirect&bpo=38112]: compileall has a higher default recursion limit and new command-line arguments for path manipulation, symlinks handling, and multiple optimization levels.

bpo-38248 [https://bugs.python.org/issue?@action=redirect&bpo=38248]: asyncio: Fix inconsistent immediate Task cancellation

bpo-38237 [https://bugs.python.org/issue?@action=redirect&bpo=38237]: The arguments for the builtin pow function are more descriptive. They can now also be passed in as keywords.

bpo-34002 [https://bugs.python.org/issue?@action=redirect&bpo=34002]: Improve efficiency in parts of email package by changing while-pop to a for loop, using isdisjoint instead of set intersections.

bpo-38191 [https://bugs.python.org/issue?@action=redirect&bpo=38191]: Constructors of NamedTuple and TypedDict types now accept arbitrary keyword argument names, including “cls”, “self”, “typename”, “_typename”, “fields” and “_fields”.

bpo-38155 [https://bugs.python.org/issue?@action=redirect&bpo=38155]: Add __all__ to datetime. Patch by Tahia Khan.

bpo-38185 [https://bugs.python.org/issue?@action=redirect&bpo=38185]: Fixed case-insensitive string comparison in sqlite3.Row indexing.

bpo-38136 [https://bugs.python.org/issue?@action=redirect&bpo=38136]: Changes AsyncMock call count and await count to be two different counters. Now await count only counts when a coroutine has been awaited, not when it has been called, and vice-versa. Update the documentation around this.

bpo-37828 [https://bugs.python.org/issue?@action=redirect&bpo=37828]: Fix default mock name in unittest.mock.Mock.assert_called() exceptions. Patch by Abraham Toriz Cruz.

bpo-38175 [https://bugs.python.org/issue?@action=redirect&bpo=38175]: Fix a memory leak in comparison of sqlite3.Row objects.

bpo-33936 [https://bugs.python.org/issue?@action=redirect&bpo=33936]: _hashlib no longer calls obsolete OpenSSL initialization function with OpenSSL 1.1.0+.

bpo-34706 [https://bugs.python.org/issue?@action=redirect&bpo=34706]: Preserve subclassing in inspect.Signature.from_callable.

bpo-38153 [https://bugs.python.org/issue?@action=redirect&bpo=38153]: Names of hashing algorithms from OpenSSL are now normalized to follow Python’s naming conventions. For example OpenSSL uses sha3-512 instead of sha3_512 or blake2b512 instead of blake2b.

bpo-38115 [https://bugs.python.org/issue?@action=redirect&bpo=38115]: Fix a bug in dis.findlinestarts() where it would return invalid bytecode offsets. Document that a code object’s co_lnotab can contain invalid bytecode offsets.

bpo-38148 [https://bugs.python.org/issue?@action=redirect&bpo=38148]: Add slots to asyncio transport classes, which can reduce memory usage.

bpo-38142 [https://bugs.python.org/issue?@action=redirect&bpo=38142]: The _hashlib OpenSSL wrapper extension module is now PEP-384 compliant.

bpo-9216 [https://bugs.python.org/issue?@action=redirect&bpo=9216]: hashlib constructors now support usedforsecurity flag to signal that a hashing algorithm is not used in a security context.

bpo-36991 [https://bugs.python.org/issue?@action=redirect&bpo=36991]: Fixes a potential incorrect AttributeError exception escaping ZipFile.extract() in some unsupported input error situations.

bpo-38134 [https://bugs.python.org/issue?@action=redirect&bpo=38134]: Remove obsolete copy of PBKDF2_HMAC_fast. All supported OpenSSL versions contain a fast implementation.

bpo-38132 [https://bugs.python.org/issue?@action=redirect&bpo=38132]: The OpenSSL hashlib wrapper uses a simpler implementation. Several Macros and pointless caches are gone. The hash name now comes from OpenSSL’s EVP. The algorithm name stays the same, except it is now always lower case.

bpo-38008 [https://bugs.python.org/issue?@action=redirect&bpo=38008]: Fix parent class check in protocols to correctly identify the module that provides a builtin protocol, instead of assuming they all come from the collections.abc module

bpo-34037 [https://bugs.python.org/issue?@action=redirect&bpo=34037]: For asyncio, add a new coroutine loop.shutdown_default_executor(). The new coroutine provides an API to schedule an executor shutdown that waits on the threadpool to finish closing. Also, asyncio.run() has been updated to utilize the new coroutine. Patch by Kyle Stanley.

bpo-37405 [https://bugs.python.org/issue?@action=redirect&bpo=37405]: Fixed regression bug for socket.getsockname() for non-CAN_ISOTP AF_CAN address family sockets by returning a 1-tuple instead of string.

bpo-38121 [https://bugs.python.org/issue?@action=redirect&bpo=38121]: Update parameter names on functions in importlib.metadata matching the changes in the 0.22 release of importlib_metadata.

bpo-38110 [https://bugs.python.org/issue?@action=redirect&bpo=38110]: The os.closewalk() implementation now uses the libc fdwalk() API on platforms where it is available.

bpo-38093 [https://bugs.python.org/issue?@action=redirect&bpo=38093]: Fixes AsyncMock so it doesn’t crash when used with AsyncContextManagers or AsyncIterators.

bpo-37488 [https://bugs.python.org/issue?@action=redirect&bpo=37488]: Add warning to datetime.utctimetuple(), datetime.utcnow() and datetime.utcfromtimestamp() .

bpo-35640 [https://bugs.python.org/issue?@action=redirect&bpo=35640]: Allow passing a path-like object as directory argument to the http.server.SimpleHTTPRequestHandler class. Patch by Géry Ogam.

bpo-38086 [https://bugs.python.org/issue?@action=redirect&bpo=38086]: Update importlib.metadata with changes from importlib_metadata 0.21 [https://gitlab.com/python-devs/importlib_metadata/blob/0.21/importlib_metadata/docs/changelog.rst].

bpo-37251 [https://bugs.python.org/issue?@action=redirect&bpo=37251]: Remove __code__ check in AsyncMock that incorrectly evaluated function specs as async objects but failed to evaluate classes with __await__ but no __code__ attribute defined as async objects.

bpo-38037 [https://bugs.python.org/issue?@action=redirect&bpo=38037]: Fix reference counters in the signal module.

bpo-38066 [https://bugs.python.org/issue?@action=redirect&bpo=38066]: Hide internal asyncio.Stream methods: feed_eof(), feed_data(), set_exception() and set_transport().

bpo-38059 [https://bugs.python.org/issue?@action=redirect&bpo=38059]: inspect.py now uses sys.exit() instead of exit()

bpo-38049 [https://bugs.python.org/issue?@action=redirect&bpo=38049]: Added command-line interface for the ast module.

bpo-37953 [https://bugs.python.org/issue?@action=redirect&bpo=37953]: In typing, improved the __hash__ and __eq__ methods for ForwardReferences.

bpo-38026 [https://bugs.python.org/issue?@action=redirect&bpo=38026]: Fixed inspect.getattr_static() used isinstance while it should avoid dynamic lookup.

bpo-35923 [https://bugs.python.org/issue?@action=redirect&bpo=35923]: Update importlib.machinery.BuiltinImporter to use loader._ORIGIN instead of a hardcoded value. Patch by Donghee Na.

bpo-38010 [https://bugs.python.org/issue?@action=redirect&bpo=38010]: In importlib.metadata sync with importlib_metadata 0.20, clarifying behavior of files() and fixing issue where only one requirement was returned for requires() on dist-info packages.

bpo-38006 [https://bugs.python.org/issue?@action=redirect&bpo=38006]: weakref.WeakValueDictionary defines a local remove() function used as callback for weak references. This function was created with a closure. Modify the implementation to avoid the closure.

bpo-37995 [https://bugs.python.org/issue?@action=redirect&bpo=37995]: Added the indent option to ast.dump() which allows it to produce a multiline indented output.

bpo-34410 [https://bugs.python.org/issue?@action=redirect&bpo=34410]: Fixed a crash in the tee() iterator when re-enter it. RuntimeError is now raised in this case.

bpo-37140 [https://bugs.python.org/issue?@action=redirect&bpo=37140]: Fix a ctypes regression of Python 3.8. When a ctypes.Structure is passed by copy to a function, ctypes internals created a temporary object which had the side effect of calling the structure finalizer (__del__) twice. The Python semantics requires a finalizer to be called exactly once. Fix ctypes internals to no longer call the finalizer twice.

bpo-37587 [https://bugs.python.org/issue?@action=redirect&bpo=37587]: _json.scanstring is now up to 3x faster when there are many backslash escaped characters in the JSON string.

bpo-37834 [https://bugs.python.org/issue?@action=redirect&bpo=37834]: Prevent shutil.rmtree exception when built on non-Windows system without fd system call support, like older versions of macOS.

bpo-10978 [https://bugs.python.org/issue?@action=redirect&bpo=10978]: Semaphores and BoundedSemaphores can now release more than one waiting thread at a time.

bpo-37972 [https://bugs.python.org/issue?@action=redirect&bpo=37972]: Subscripts to the unittest.mock.call objects now receive the same chaining mechanism as any other custom attributes, so that the following usage no longer raises a TypeError:

call().foo().__getitem__('bar')

Patch by blhsing

bpo-37965 [https://bugs.python.org/issue?@action=redirect&bpo=37965]: Fix C compiler warning caused by distutils.ccompiler.CCompiler.has_function.

bpo-37964 [https://bugs.python.org/issue?@action=redirect&bpo=37964]: Add F_GETPATH command to fcntl.

bpo-37960 [https://bugs.python.org/issue?@action=redirect&bpo=37960]: repr() of buffered and text streams now silences only expected exceptions when get the value of “name” and “mode” attributes.

bpo-37961 [https://bugs.python.org/issue?@action=redirect&bpo=37961]: Add a total_nframe field to the traces collected by the tracemalloc module. This field indicates the original number of frames before it was truncated.

bpo-37951 [https://bugs.python.org/issue?@action=redirect&bpo=37951]: Most features of the subprocess module now work again in subinterpreters. Only preexec_fn is restricted in subinterpreters.

bpo-36205 [https://bugs.python.org/issue?@action=redirect&bpo=36205]: Fix the rusage implementation of time.process_time() to correctly report the sum of the system and user CPU time.

bpo-37950 [https://bugs.python.org/issue?@action=redirect&bpo=37950]: Fix ast.dump() when call with incompletely initialized node.

bpo-34679 [https://bugs.python.org/issue?@action=redirect&bpo=34679]: Restores instantiation of Windows IOCP event loops from the non-main thread.

bpo-36917 [https://bugs.python.org/issue?@action=redirect&bpo=36917]: Add default implementation of the ast.NodeVisitor.visit_Constant() method which emits a deprecation warning and calls corresponding methods visit_Num(), visit_Str(), etc.

bpo-37798 [https://bugs.python.org/issue?@action=redirect&bpo=37798]: Update test_statistics.py to verify that the statistics module works well for both C and Python implementations. Patch by Donghee Na

bpo-26589 [https://bugs.python.org/issue?@action=redirect&bpo=26589]: Added a new status code to the http module: 451 UNAVAILABLE_FOR_LEGAL_REASONS

bpo-37915 [https://bugs.python.org/issue?@action=redirect&bpo=37915]: Fix a segmentation fault that appeared when comparing instances of datetime.timezone and datetime.tzinfo objects. Patch by Pablo Galindo.

bpo-32554 [https://bugs.python.org/issue?@action=redirect&bpo=32554]: Deprecate having random.seed() call hash on arbitrary types.

bpo-9938 [https://bugs.python.org/issue?@action=redirect&bpo=9938]: Add optional keyword argument exit_on_error for ArgumentParser.

bpo-37851 [https://bugs.python.org/issue?@action=redirect&bpo=37851]: The faulthandler module no longer allocates its alternative stack at Python startup. Now the stack is only allocated at the first faulthandler usage.

bpo-32793 [https://bugs.python.org/issue?@action=redirect&bpo=32793]: Fix a duplicated debug message when smtplib.SMTP.connect() is called.

bpo-37885 [https://bugs.python.org/issue?@action=redirect&bpo=37885]: venv: Don’t generate unset variable warning on deactivate.

bpo-37868 [https://bugs.python.org/issue?@action=redirect&bpo=37868]: Fix dataclasses.is_dataclass when given an instance that never raises AttributeError in __getattr__. That is, an object that returns something for __dataclass_fields__ even if it’s not a dataclass.

bpo-37811 [https://bugs.python.org/issue?@action=redirect&bpo=37811]: Fix socket module’s socket.connect(address) function being unable to establish connection in case of interrupted system call. The problem was observed on all OSes which poll(2) system call can take only non-negative integers and -1 as a timeout value.

bpo-37863 [https://bugs.python.org/issue?@action=redirect&bpo=37863]: Optimizations for Fraction.__hash__ suggested by Tim Peters.

bpo-21131 [https://bugs.python.org/issue?@action=redirect&bpo=21131]: Fix faulthandler.register(chain=True) stack. faulthandler now allocates a dedicated stack of SIGSTKSZ*2 bytes, instead of just SIGSTKSZ bytes. Calling the previous signal handler in faulthandler signal handler uses more than SIGSTKSZ bytes of stack memory on some platforms.

bpo-37798 [https://bugs.python.org/issue?@action=redirect&bpo=37798]: Add C fastpath for statistics.NormalDist.inv_cdf() Patch by Donghee Na

bpo-37804 [https://bugs.python.org/issue?@action=redirect&bpo=37804]: Remove the deprecated method threading.Thread.isAlive(). Patch by Donghee Na.

bpo-37819 [https://bugs.python.org/issue?@action=redirect&bpo=37819]: Add Fraction.as_integer_ratio() to match the corresponding methods in bool, int, float, and decimal.

bpo-14465 [https://bugs.python.org/issue?@action=redirect&bpo=14465]: Add an xml.etree.ElementTree.indent() function for pretty-printing XML trees. Contributed by Stefan Behnel.

bpo-37810 [https://bugs.python.org/issue?@action=redirect&bpo=37810]: Fix difflib ? hint in diff output when dealing with tabs. Patch by Anthony Sottile.

bpo-37772 [https://bugs.python.org/issue?@action=redirect&bpo=37772]: In zipfile.Path, when adding implicit dirs, ensure that ancestral directories are added and that duplicates are excluded.

bpo-18578 [https://bugs.python.org/issue?@action=redirect&bpo=18578]: Renamed and documented test.bytecode_helper as test.support.bytecode_helper. Patch by Joannah Nanjekye.

bpo-37785 [https://bugs.python.org/issue?@action=redirect&bpo=37785]: Fix xgettext warnings in argparse.

bpo-34488 [https://bugs.python.org/issue?@action=redirect&bpo=34488]: writelines() method of io.BytesIO is now slightly faster when many small lines are passed. Patch by Sergey Fedoseev.

bpo-37449 [https://bugs.python.org/issue?@action=redirect&bpo=37449]: ensurepip now uses importlib.resources.read_binary() to read data instead of pkgutil.get_data(). Patch by Joannah Nanjekye.

bpo-28292 [https://bugs.python.org/issue?@action=redirect&bpo=28292]: Mark calendar.py helper functions as being private. The follows PEP 8 guidance to maintain the style conventions in the module and it addresses a known case of user confusion.

bpo-18049 [https://bugs.python.org/issue?@action=redirect&bpo=18049]: Add definition of THREAD_STACK_SIZE for AIX in Python/thread_pthread.h The default thread stacksize caused crashes with the default recursion limit Patch by M Felt

bpo-37742 [https://bugs.python.org/issue?@action=redirect&bpo=37742]: The logging.getLogger() API now returns the root logger when passed the name ‘root’, whereas previously it returned a non-root logger named ‘root’. This could affect cases where user code explicitly wants a non-root logger named ‘root’, or instantiates a logger using logging.getLogger(__name__) in some top-level module called ‘root.py’.

bpo-37738 [https://bugs.python.org/issue?@action=redirect&bpo=37738]: Fix the implementation of curses addch(str, color_pair): pass the color pair to setcchar(), instead of always passing 0 as the color pair.

bpo-37723 [https://bugs.python.org/issue?@action=redirect&bpo=37723]: Fix performance regression on regular expression parsing with huge character sets. Patch by Yann Vaginay.

bpo-35943 [https://bugs.python.org/issue?@action=redirect&bpo=35943]: The function PyImport_GetModule() now ensures any module it returns is fully initialized. Patch by Joannah Nanjekye.

bpo-32178 [https://bugs.python.org/issue?@action=redirect&bpo=32178]: Fix IndexError in email package when trying to parse invalid address fields starting with :.

bpo-37268 [https://bugs.python.org/issue?@action=redirect&bpo=37268]: The parser module is deprecated and will be removed in future versions of Python.

bpo-11953 [https://bugs.python.org/issue?@action=redirect&bpo=11953]: Completing WSA* error codes in socket.

bpo-37685 [https://bugs.python.org/issue?@action=redirect&bpo=37685]: Fixed comparisons of datetime.timedelta and datetime.timezone.

bpo-37697 [https://bugs.python.org/issue?@action=redirect&bpo=37697]: Synchronize importlib.metadata with importlib_metadata 0.19 [https://gitlab.com/python-devs/importlib_metadata/-/milestones/20], improving handling of EGG-INFO files and fixing a crash when entry point names contained colons.

bpo-37695 [https://bugs.python.org/issue?@action=redirect&bpo=37695]: Correct curses.unget_wch() error message. Patch by Anthony Sottile.

bpo-37689 [https://bugs.python.org/issue?@action=redirect&bpo=37689]: Add is_relative_to() in PurePath to determine whether or not one path is relative to another.

bpo-29553 [https://bugs.python.org/issue?@action=redirect&bpo=29553]: Fixed argparse.ArgumentParser.format_usage() for mutually exclusive groups. Patch by Andrew Nester.

bpo-37691 [https://bugs.python.org/issue?@action=redirect&bpo=37691]: Let math.dist() accept coordinates as sequences (or iterables) rather than just tuples.

bpo-37685 [https://bugs.python.org/issue?@action=redirect&bpo=37685]: Fixed __eq__, __lt__ etc implementations in some classes. They now return NotImplemented for unsupported type of the other operand. This allows the other operand to play role (for example the equality comparison with ANY will return True).

bpo-37354 [https://bugs.python.org/issue?@action=redirect&bpo=37354]: Make Activate.ps1 Powershell script static to allow for signing it.

bpo-37664 [https://bugs.python.org/issue?@action=redirect&bpo=37664]: Update wheels bundled with ensurepip (pip 19.2.3 and setuptools 41.2.0)

bpo-37663 [https://bugs.python.org/issue?@action=redirect&bpo=37663]: Bring consistency to venv shell activation scripts by always using __VENV_PROMPT__.

bpo-37642 [https://bugs.python.org/issue?@action=redirect&bpo=37642]: Allowed the pure Python implementation of datetime.timezone to represent sub-minute offsets close to minimum and maximum boundaries, specifically in the ranges (23:59, 24:00) and (-23:59, 24:00). Patch by Ngalim Siregar

bpo-36161 [https://bugs.python.org/issue?@action=redirect&bpo=36161]: In posix, use ttyname_r instead of ttyname for thread safety.

bpo-36324 [https://bugs.python.org/issue?@action=redirect&bpo=36324]: Make internal attributes for statistics.NormalDist() private.

bpo-37555 [https://bugs.python.org/issue?@action=redirect&bpo=37555]: Fix NonCallableMock._call_matcher returning tuple instead of _Call object when self._spec_signature exists. Patch by Elizabeth Uselton

bpo-29446 [https://bugs.python.org/issue?@action=redirect&bpo=29446]: Make from tkinter import * import only the expected objects.

bpo-16970 [https://bugs.python.org/issue?@action=redirect&bpo=16970]: Adding a value error when an invalid value in passed to nargs Patch by Robert Leenders

bpo-34443 [https://bugs.python.org/issue?@action=redirect&bpo=34443]: Exceptions from enum now use the __qualname of the enum class in the exception message instead of the __name__.

bpo-37491 [https://bugs.python.org/issue?@action=redirect&bpo=37491]: Fix IndexError when parsing email headers with unexpectedly ending bare-quoted string value. Patch by Abhilash Raj.

bpo-37587 [https://bugs.python.org/issue?@action=redirect&bpo=37587]: Make json.loads faster for long strings. (Patch by Marco Paolini)

bpo-18378 [https://bugs.python.org/issue?@action=redirect&bpo=18378]: Recognize “UTF-8” as a valid value for LC_CTYPE in locale._parse_localename.

bpo-37579 [https://bugs.python.org/issue?@action=redirect&bpo=37579]: Return NotImplemented in Python implementation of __eq__ for timedelta and time when the other object being compared is not of the same type to match C implementation. Patch by Karthikeyan Singaravelan.

bpo-21478 [https://bugs.python.org/issue?@action=redirect&bpo=21478]: Record calls to parent when autospecced object is attached to a mock using unittest.mock.attach_mock(). Patch by Karthikeyan Singaravelan.

bpo-37531 [https://bugs.python.org/issue?@action=redirect&bpo=37531]: “python3 -m test -jN –timeout=TIMEOUT” now kills a worker process if it runs longer than TIMEOUT seconds.

bpo-37482 [https://bugs.python.org/issue?@action=redirect&bpo=37482]: Fix serialization of display name in originator or destination address fields with both encoded words and special chars.

bpo-36993 [https://bugs.python.org/issue?@action=redirect&bpo=36993]: Improve error reporting for corrupt zip files with bad zip64 extra data. Patch by Daniel Hillier.

bpo-37502 [https://bugs.python.org/issue?@action=redirect&bpo=37502]: pickle.loads() no longer raises TypeError when the buffers argument is set to None

bpo-37520 [https://bugs.python.org/issue?@action=redirect&bpo=37520]: Correct behavior for zipfile.Path.parent when the path object identifies a subdirectory.

bpo-18374 [https://bugs.python.org/issue?@action=redirect&bpo=18374]: Fix the .col_offset attribute of nested ast.BinOp instances which had a too large value in some situations.

bpo-37424 [https://bugs.python.org/issue?@action=redirect&bpo=37424]: Fixes a possible hang when using a timeout on subprocess.run() while capturing output. If the child process spawned its own children or otherwise connected its stdout or stderr handles with another process, we could hang after the timeout was reached and our child was killed when attempting to read final output from the pipes.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: Fix multiprocessing.util.get_temp_dir() finalizer: clear also the ‘tempdir’ configuration of the current process, so next call to get_temp_dir() will create a new temporary directory, rather than reusing the removed temporary directory.

bpo-37481 [https://bugs.python.org/issue?@action=redirect&bpo=37481]: The distutils bdist_wininst command is deprecated in Python 3.8, use bdist_wheel (wheel packages) instead.

bpo-37479 [https://bugs.python.org/issue?@action=redirect&bpo=37479]: When Enum.__str__ is overridden in a derived class, the override will be used by Enum.__format__ regardless of whether mixin classes are present.

bpo-37440 [https://bugs.python.org/issue?@action=redirect&bpo=37440]: http.client now enables TLS 1.3 post-handshake authentication for default context or if a cert_file is passed to HTTPSConnection.

bpo-37437 [https://bugs.python.org/issue?@action=redirect&bpo=37437]: Update vendorized expat version to 2.2.7.

bpo-37428 [https://bugs.python.org/issue?@action=redirect&bpo=37428]: SSLContext.post_handshake_auth = True no longer sets SSL_VERIFY_POST_HANDSHAKE verify flag for client connections. Although the option is documented as ignored for clients, OpenSSL implicitly enables cert chain validation when the flag is set.

bpo-37420 [https://bugs.python.org/issue?@action=redirect&bpo=37420]: os.sched_setaffinity() now correctly handles errors that arise during iteration over its mask argument. Patch by Brandt Bucher.

bpo-37412 [https://bugs.python.org/issue?@action=redirect&bpo=37412]: The os.getcwdb() function now uses the UTF-8 encoding on Windows, rather than the ANSI code page: see PEP 529 [https://peps.python.org/pep-0529/] for the rationale. The function is no longer deprecated on Windows.

bpo-37406 [https://bugs.python.org/issue?@action=redirect&bpo=37406]: The sqlite3 module now raises TypeError, rather than ValueError, if operation argument type is not str: execute(), executemany() and calling a connection.

bpo-29412 [https://bugs.python.org/issue?@action=redirect&bpo=29412]: Fix IndexError in parsing a header value ending unexpectedly. Patch by Abhilash Raj.

bpo-36546 [https://bugs.python.org/issue?@action=redirect&bpo=36546]: The dist argument for statistics.quantiles() is now positional only. The current name doesn’t reflect that the argument can be either a dataset or a distribution. Marking the parameter as positional avoids confusion and makes it possible to change the name later.

bpo-37394 [https://bugs.python.org/issue?@action=redirect&bpo=37394]: Fix a bug that was causing the queue module to fail if the accelerator module was not available. Patch by Pablo Galindo.

bpo-37376 [https://bugs.python.org/issue?@action=redirect&bpo=37376]: pprint now has support for types.SimpleNamespace. Patch by Carl Bordum Hansen.

bpo-26967 [https://bugs.python.org/issue?@action=redirect&bpo=26967]: An ArgumentParser with allow_abbrev=False no longer disables grouping of short flags, such as -vv, but only disables abbreviation of long flags as documented. Patch by Zac Hatfield-Dodds.

bpo-37212 [https://bugs.python.org/issue?@action=redirect&bpo=37212]: unittest.mock.call() now preserves the order of keyword arguments in repr output. Patch by Karthikeyan Singaravelan.

bpo-37372 [https://bugs.python.org/issue?@action=redirect&bpo=37372]: Fix error unpickling datetime.time objects from Python 2 with seconds>=24. Patch by Justin Blanchard.

bpo-37345 [https://bugs.python.org/issue?@action=redirect&bpo=37345]: Add formal support for UDPLITE sockets. Support was present before, but it is now easier to detect support with hasattr(socket, 'IPPROTO_UDPLITE') and there are constants defined for each of the values needed: socket.IPPROTO_UDPLITE, UDPLITE_SEND_CSCOV, and UDPLITE_RECV_CSCOV. Patch by Gabe Appleton.

bpo-37358 [https://bugs.python.org/issue?@action=redirect&bpo=37358]: Optimized functools.partial by using vectorcall.

bpo-37347 [https://bugs.python.org/issue?@action=redirect&bpo=37347]: sqlite3.Connection.create_aggregate(), sqlite3.Connection.create_function(), sqlite3.Connection.set_authorizer(), sqlite3.Connection.set_progress_handler() sqlite3.Connection.set_trace_callback() methods lead to segfaults if some of these methods are called twice with an equal object but not the same. Now callbacks are stored more carefully. Patch by Aleksandr Balezin.

bpo-37163 [https://bugs.python.org/issue?@action=redirect&bpo=37163]: The obj argument of dataclasses.replace() is positional-only now.

bpo-37085 [https://bugs.python.org/issue?@action=redirect&bpo=37085]: Add the optional Linux SocketCAN Broadcast Manager constants, used as flags to configure the BCM behaviour, in the socket module. Patch by Karl Ding.

bpo-37328 [https://bugs.python.org/issue?@action=redirect&bpo=37328]: HTMLParser.unescape is removed. It was undocumented and deprecated since Python 3.4.

bpo-37305 [https://bugs.python.org/issue?@action=redirect&bpo=37305]: Add .webmanifest -> application/manifest+json to list of recognized file types and content type headers

bpo-37320 [https://bugs.python.org/issue?@action=redirect&bpo=37320]: aifc.openfp() alias to aifc.open(), sunau.openfp() alias to sunau.open(), and wave.openfp() alias to wave.open() have been removed. They were deprecated since Python 3.7.

bpo-37315 [https://bugs.python.org/issue?@action=redirect&bpo=37315]: Deprecated accepting floats with integral value (like 5.0) in math.factorial().

bpo-37312 [https://bugs.python.org/issue?@action=redirect&bpo=37312]: _dummy_thread and dummy_threading modules have been removed. These modules were deprecated since Python 3.7 which requires threading support.

bpo-33972 [https://bugs.python.org/issue?@action=redirect&bpo=33972]: Email with single part but content-type set to multipart/* doesn’t raise AttributeError anymore.

bpo-37280 [https://bugs.python.org/issue?@action=redirect&bpo=37280]: Use threadpool for reading from file for sendfile fallback mode.

bpo-37279 [https://bugs.python.org/issue?@action=redirect&bpo=37279]: Fix asyncio sendfile support when sendfile sends extra data in fallback mode.

bpo-19865 [https://bugs.python.org/issue?@action=redirect&bpo=19865]: ctypes.create_unicode_buffer() now also supports non-BMP characters on platforms with 16-bit wchar_t (for example, Windows and AIX).

bpo-37266 [https://bugs.python.org/issue?@action=redirect&bpo=37266]: In a subinterpreter, spawning a daemon thread now raises an exception. Daemon threads were never supported in subinterpreters. Previously, the subinterpreter finalization crashed with a Python fatal error if a daemon thread was still running.

bpo-37210 [https://bugs.python.org/issue?@action=redirect&bpo=37210]: Allow pure Python implementation of pickle to work even when the C _pickle module is unavailable.

bpo-21872 [https://bugs.python.org/issue?@action=redirect&bpo=21872]: Fix lzma: module decompresses data incompletely. When decompressing a FORMAT_ALONE format file, and it doesn’t have the end marker, sometimes the last one to dozens bytes can’t be output. Patch by Ma Lin.

bpo-35922 [https://bugs.python.org/issue?@action=redirect&bpo=35922]: Fix RobotFileParser.crawl_delay() and RobotFileParser.request_rate() to return None rather than raise AttributeError when no relevant rule is defined in the robots.txt file. Patch by Rémi Lapeyre.

bpo-35766 [https://bugs.python.org/issue?@action=redirect&bpo=35766]: Change the format of feature_version to be a (major, minor) tuple.

bpo-36607 [https://bugs.python.org/issue?@action=redirect&bpo=36607]: Eliminate RuntimeError raised by asyncio.all_tasks() if internal tasks weak set is changed by another thread during iteration.

bpo-18748 [https://bugs.python.org/issue?@action=redirect&bpo=18748]: _pyio.IOBase destructor now does nothing if getting the closed attribute fails to better mimic _io.IOBase finalizer.

bpo-36402 [https://bugs.python.org/issue?@action=redirect&bpo=36402]: Fix a race condition at Python shutdown when waiting for threads. Wait until the Python thread state of all non-daemon threads get deleted (join all non-daemon threads), rather than just wait until non-daemon Python threads complete.

bpo-37206 [https://bugs.python.org/issue?@action=redirect&bpo=37206]: Default values which cannot be represented as Python objects no longer improperly represented as None in function signatures.

bpo-37111 [https://bugs.python.org/issue?@action=redirect&bpo=37111]: Added encoding and errors keyword parameters to logging.basicConfig.

bpo-12144 [https://bugs.python.org/issue?@action=redirect&bpo=12144]: Ensure cookies with expires attribute are handled in CookieJar.make_cookies().

bpo-34886 [https://bugs.python.org/issue?@action=redirect&bpo=34886]: Fix an unintended ValueError from subprocess.run() when checking for conflicting input and stdin or capture_output and stdout or stderr args when they were explicitly provided but with None values within a passed in **kwargs dict rather than as passed directly by name. Patch contributed by Rémi Lapeyre.

bpo-37173 [https://bugs.python.org/issue?@action=redirect&bpo=37173]: The exception message for inspect.getfile() now correctly reports the passed class rather than the builtins module.

bpo-37178 [https://bugs.python.org/issue?@action=redirect&bpo=37178]: Give math.perm() a one argument form that means the same as math.factorial().

bpo-37178 [https://bugs.python.org/issue?@action=redirect&bpo=37178]: For math.perm(n, k), let k default to n, giving the same result as factorial.

bpo-37165 [https://bugs.python.org/issue?@action=redirect&bpo=37165]: Converted _collections._count_elements to use the Argument Clinic.

bpo-34767 [https://bugs.python.org/issue?@action=redirect&bpo=34767]: Do not always create a collections.deque in asyncio.Lock.

bpo-37158 [https://bugs.python.org/issue?@action=redirect&bpo=37158]: Speed-up statistics.fmean() by switching from a function to a generator.

bpo-34282 [https://bugs.python.org/issue?@action=redirect&bpo=34282]: Remove Enum._convert method, deprecated in 3.8.

bpo-37150 [https://bugs.python.org/issue?@action=redirect&bpo=37150]: argparse._ActionsContainer.add_argument now throws error, if someone accidentally pass FileType class object instead of instance of FileType as type argument.

bpo-28724 [https://bugs.python.org/issue?@action=redirect&bpo=28724]: The socket module now has the socket.send_fds() and socket.recv.fds() methods. Contributed by Joannah Nanjekye, Shinya Okano and Victor Stinner.

bpo-35621 [https://bugs.python.org/issue?@action=redirect&bpo=35621]: Support running asyncio subprocesses when execution event loop in a thread on UNIX.

bpo-36520 [https://bugs.python.org/issue?@action=redirect&bpo=36520]: Lengthy email headers with UTF-8 characters are now properly encoded when they are folded. Patch by Jeffrey Kintscher.

bpo-30835 [https://bugs.python.org/issue?@action=redirect&bpo=30835]: Fixed a bug in email parsing where a message with invalid bytes in content-transfer-encoding of a multipart message can cause an AttributeError. Patch by Andrew Donnellan.

bpo-31163 [https://bugs.python.org/issue?@action=redirect&bpo=31163]: pathlib.Path instance’s rename and replace methods now return the new Path instance.

bpo-25068 [https://bugs.python.org/issue?@action=redirect&bpo=25068]: urllib.request.ProxyHandler now lowercases the keys of the passed dictionary.

bpo-26185 [https://bugs.python.org/issue?@action=redirect&bpo=26185]: Fix repr() on empty ZipInfo object. Patch by Mickaël Schoentgen.

bpo-21315 [https://bugs.python.org/issue?@action=redirect&bpo=21315]: Email headers containing RFC2047 encoded words are parsed despite the missing whitespace, and a defect registered. Also missing trailing whitespace after encoded words is now registered as a defect.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Port test_datetime to VxWorks: skip zoneinfo tests on VxWorks

bpo-35805 [https://bugs.python.org/issue?@action=redirect&bpo=35805]: Add parser for Message-ID header and add it to default HeaderRegistry. This should prevent folding of Message-ID using RFC 2048 encoded words.

bpo-36871 [https://bugs.python.org/issue?@action=redirect&bpo=36871]: Ensure method signature is used instead of constructor signature of a class while asserting mock object against method calls. Patch by Karthikeyan Singaravelan.

bpo-35070 [https://bugs.python.org/issue?@action=redirect&bpo=35070]: posix.getgrouplist() now works correctly when the user belongs to NGROUPS_MAX supplemental groups. Patch by Jeffrey Kintscher.

bpo-31783 [https://bugs.python.org/issue?@action=redirect&bpo=31783]: Fix race condition in ThreadPoolExecutor when worker threads are created during interpreter shutdown.

bpo-36582 [https://bugs.python.org/issue?@action=redirect&bpo=36582]: Fix UserString.encode() to correctly return bytes rather than a UserString instance.

bpo-32424 [https://bugs.python.org/issue?@action=redirect&bpo=32424]: Deprecate xml.etree.ElementTree.Element.copy() in favor of copy.copy().

Patch by Gordon P. Hemsley

bpo-36564 [https://bugs.python.org/issue?@action=redirect&bpo=36564]: Fix infinite loop in email header folding logic that would be triggered when an email policy’s max_line_length is not long enough to include the required markup and any values in the message. Patch by Paul Ganssle

bpo-36543 [https://bugs.python.org/issue?@action=redirect&bpo=36543]: Removed methods Element.getchildren(), Element.getiterator() and ElementTree.getiterator() and the xml.etree.cElementTree module.

bpo-36409 [https://bugs.python.org/issue?@action=redirect&bpo=36409]: Remove the old plistlib API deprecated in Python 3.4

bpo-36302 [https://bugs.python.org/issue?@action=redirect&bpo=36302]: distutils sorts source file lists so that Extension .so files build more reproducibly by default

bpo-36250 [https://bugs.python.org/issue?@action=redirect&bpo=36250]: Ignore ValueError from signal with interaction in non-main thread.

bpo-36046 [https://bugs.python.org/issue?@action=redirect&bpo=36046]: Added user, group and extra_groups parameters to the subprocess.Popen constructor. Patch by Patrick McLean.

bpo-32627 [https://bugs.python.org/issue?@action=redirect&bpo=32627]: Fix compile error when _uuid headers conflicting included.

bpo-35800 [https://bugs.python.org/issue?@action=redirect&bpo=35800]: Deprecate smtpd.MailmanProxy ready for future removal.

bpo-35168 [https://bugs.python.org/issue?@action=redirect&bpo=35168]: shlex.shlex.punctuation_chars is now a read-only property.

bpo-8538 [https://bugs.python.org/issue?@action=redirect&bpo=8538]: Add support for boolean actions like --foo and --no-foo to argparse. Patch contributed by Rémi Lapeyre.

bpo-20504 [https://bugs.python.org/issue?@action=redirect&bpo=20504]: Fixes a bug in cgi module when a multipart/form-data request has no Content-Length header.

bpo-25988 [https://bugs.python.org/issue?@action=redirect&bpo=25988]: The abstract base classes in collections.abc no longer are exposed in the regular collections module.

bpo-11122 [https://bugs.python.org/issue?@action=redirect&bpo=11122]: Distutils won’t check for rpmbuild in specified paths only.

bpo-34775 [https://bugs.python.org/issue?@action=redirect&bpo=34775]: Division handling of PurePath now returns NotImplemented instead of raising a TypeError when passed something other than an instance of str or PurePath. Patch by Roger Aiudi.

bpo-34749 [https://bugs.python.org/issue?@action=redirect&bpo=34749]: binascii.a2b_base64() is now up to 2 times faster. Patch by Sergey Fedoseev.

bpo-34519 [https://bugs.python.org/issue?@action=redirect&bpo=34519]: Add additional aliases for HP Roman 8. Patch by Michael Osipov.

bpo-28009 [https://bugs.python.org/issue?@action=redirect&bpo=28009]: Fix uuid.getnode() on platforms with ‘.’ as MAC Addr delimiter as well fix for MAC Addr format that omits a leading 0 in MAC Addr values. Currently, AIX is the only know platform with these settings. Patch by Michael Felt.

bpo-30618 [https://bugs.python.org/issue?@action=redirect&bpo=30618]: Add readlink(). Patch by Girts Folkmanis.

bpo-32498 [https://bugs.python.org/issue?@action=redirect&bpo=32498]: Made urllib.parse.unquote() accept bytes in addition to strings. Patch by Stein Karlsen.

bpo-33348 [https://bugs.python.org/issue?@action=redirect&bpo=33348]: lib2to3 now recognizes expressions after * and ** like in f(*[] or []).

bpo-32689 [https://bugs.python.org/issue?@action=redirect&bpo=32689]: Update shutil.move() function to allow for Path objects to be used as source argument. Patch by Emily Morehouse and Maxwell “5.13b” McKinnon.

bpo-32820 [https://bugs.python.org/issue?@action=redirect&bpo=32820]: Added __format__ to IPv4 and IPv6 classes. Always outputs a fully zero-padded string. Supports b/x/n modifiers (bin/hex/native format). Native format for IPv4 is bin, native format for IPv6 is hex. Also supports ‘#’ and ‘_’ modifiers.

bpo-27657 [https://bugs.python.org/issue?@action=redirect&bpo=27657]: Fix urllib.parse.urlparse() with numeric paths. A string like “path:80” is no longer parsed as a path but as a scheme (“path”) and a path (“80”).

bpo-4963 [https://bugs.python.org/issue?@action=redirect&bpo=4963]: Fixed non-deterministic behavior related to mimetypes extension mapping and module reinitialization.

Documentation

bpo-21767 [https://bugs.python.org/issue?@action=redirect&bpo=21767]: Explicitly mention abc support in functools.singledispatch

bpo-38816 [https://bugs.python.org/issue?@action=redirect&bpo=38816]: Provides more details about the interaction between fork() and CPython’s runtime, focusing just on the C-API. This includes cautions about where fork() should and shouldn’t be called.

bpo-38351 [https://bugs.python.org/issue?@action=redirect&bpo=38351]: Modernize email examples from %-formatting to f-strings.

bpo-38778 [https://bugs.python.org/issue?@action=redirect&bpo=38778]: Document the fact that RuntimeError is raised if os.fork() is called in a subinterpreter.

bpo-38592 [https://bugs.python.org/issue?@action=redirect&bpo=38592]: Add Brazilian Portuguese to the language switcher at Python Documentation website.

bpo-38294 [https://bugs.python.org/issue?@action=redirect&bpo=38294]: Add list of no-longer-escaped chars to re.escape documentation

bpo-38053 [https://bugs.python.org/issue?@action=redirect&bpo=38053]: Modernized the plistlib documentation

bpo-26868 [https://bugs.python.org/issue?@action=redirect&bpo=26868]: Fix example usage of PyModule_AddObject() to properly handle errors.

bpo-36797 [https://bugs.python.org/issue?@action=redirect&bpo=36797]: Fix a dead link in the distutils API Reference.

bpo-37977 [https://bugs.python.org/issue?@action=redirect&bpo=37977]: Warn more strongly and clearly about pickle insecurity

bpo-37979 [https://bugs.python.org/issue?@action=redirect&bpo=37979]: Added a link to dateutil.parser.isoparse in the datetime.fromisoformat documentation. Patch by Paul Ganssle

bpo-12707 [https://bugs.python.org/issue?@action=redirect&bpo=12707]: Deprecate info(), geturl(), getcode() methods in favor of the headers, url, and status properties, respectively, for HTTPResponse and addinfourl. Also deprecate the code attribute of addinfourl in favor of the status attribute. Patch by Ashwin Ramaswami

bpo-37937 [https://bugs.python.org/issue?@action=redirect&bpo=37937]: Mention frame.f_trace in sys.settrace() docs.

bpo-37878 [https://bugs.python.org/issue?@action=redirect&bpo=37878]: Make PyThreadState_DeleteCurrent() Internal.

bpo-37759 [https://bugs.python.org/issue?@action=redirect&bpo=37759]: Beginning edits to Whatsnew 3.8

bpo-37726 [https://bugs.python.org/issue?@action=redirect&bpo=37726]: Stop recommending getopt in the tutorial for command line argument parsing and promote argparse.

bpo-32910 [https://bugs.python.org/issue?@action=redirect&bpo=32910]: Remove implementation-specific behaviour of how venv’s Deactivate works.

bpo-37256 [https://bugs.python.org/issue?@action=redirect&bpo=37256]: Fix wording of arguments for Request in urllib.request

bpo-37284 [https://bugs.python.org/issue?@action=redirect&bpo=37284]: Add a brief note to indicate that any new sys.implementation required attributes must go through the PEP process.

bpo-30088 [https://bugs.python.org/issue?@action=redirect&bpo=30088]: Documented that mailbox.Maildir constructor doesn’t attempt to verify the maildir folder layout correctness. Patch by Sviatoslav Sydorenko.

bpo-37521 [https://bugs.python.org/issue?@action=redirect&bpo=37521]: Fix importlib examples to insert any newly created modules via importlib.util.module_from_spec() immediately into sys.modules instead of after calling loader.exec_module().

Thanks to Benjamin Mintz for finding the bug.

bpo-37456 [https://bugs.python.org/issue?@action=redirect&bpo=37456]: Slash (‘/’) is now part of syntax.

bpo-37487 [https://bugs.python.org/issue?@action=redirect&bpo=37487]: Fix PyList_GetItem index description to include 0.

bpo-37149 [https://bugs.python.org/issue?@action=redirect&bpo=37149]: Replace the dead link to the Tkinter 8.5 reference by John Shipman, New Mexico Tech, with a link to the archive.org copy.

bpo-37478 [https://bugs.python.org/issue?@action=redirect&bpo=37478]: Added possible exceptions to the description of os.chdir().

bpo-34903 [https://bugs.python.org/issue?@action=redirect&bpo=34903]: Documented that in datetime.datetime.strptime(), the leading zero in some two-digit formats is optional. Patch by Mike Gleen.

bpo-36260 [https://bugs.python.org/issue?@action=redirect&bpo=36260]: Add decompression pitfalls to zipfile module documentation.

bpo-37004 [https://bugs.python.org/issue?@action=redirect&bpo=37004]: In the documentation for difflib, a note was added explicitly warning that the results of SequenceMatcher’s ratio method may depend on the order of the input strings.

bpo-36960 [https://bugs.python.org/issue?@action=redirect&bpo=36960]: Restructured the datetime docs in the interest of making them more user-friendly and improving readability. Patch by Brad Solomon.

bpo-36487 [https://bugs.python.org/issue?@action=redirect&bpo=36487]: Make C-API docs clear about what the “main” interpreter is.

bpo-23460 [https://bugs.python.org/issue?@action=redirect&bpo=23460]: The documentation for decimal string formatting using the :g specifier has been updated to reflect the correct exponential notation cutoff point. Original patch contributed by Tuomas Suutari.

bpo-35803 [https://bugs.python.org/issue?@action=redirect&bpo=35803]: Document and test that tempfile functions may accept a path-like object for the dir argument. Patch by Anthony Sottile.

bpo-33944 [https://bugs.python.org/issue?@action=redirect&bpo=33944]: Added a note about the intended use of code in .pth files.

bpo-34293 [https://bugs.python.org/issue?@action=redirect&bpo=34293]: Fix the Doc/Makefile regarding PAPER environment variable and PDF builds

bpo-25237 [https://bugs.python.org/issue?@action=redirect&bpo=25237]: Add documentation for tkinter modules

Tests

bpo-38614 [https://bugs.python.org/issue?@action=redirect&bpo=38614]: Fix test_communicate() of test_asyncio.test_subprocess: use support.LONG_TIMEOUT (5 minutes), instead of just 1 minute.

bpo-38614 [https://bugs.python.org/issue?@action=redirect&bpo=38614]: Add timeout constants to test.support: LOOPBACK_TIMEOUT, INTERNET_TIMEOUT, SHORT_TIMEOUT and LONG_TIMEOUT.

bpo-38502 [https://bugs.python.org/issue?@action=redirect&bpo=38502]: test.regrtest now uses process groups in the multiprocessing mode (-jN command line option) if process groups are available: if os.setsid() and os.killpg() functions are available.

bpo-35998 [https://bugs.python.org/issue?@action=redirect&bpo=35998]: Fix a race condition in test_asyncio.test_start_tls_server_1(). Previously, there was a race condition between the test main() function which replaces the protocol and the test ServerProto protocol which sends ANSWER once it gets HELLO. Now, only the test main() function is responsible to send data, ServerProto no longer sends data.

bpo-38470 [https://bugs.python.org/issue?@action=redirect&bpo=38470]: Fix test_compileall.test_compile_dir_maxlevels() on Windows without long path support: only create 3 subdirectories instead of between 20 and 100 subdirectories.

bpo-37531 [https://bugs.python.org/issue?@action=redirect&bpo=37531]: On timeout, regrtest no longer attempts to call popen.communicate() again: it can hang until all child processes using stdout and stderr pipes completes. Kill the worker process and ignores its output. Change also the faulthandler timeout of the main process from 1 minute to 5 minutes, for Python slowest buildbots.

bpo-38239 [https://bugs.python.org/issue?@action=redirect&bpo=38239]: Fix test_gdb for Link Time Optimization (LTO) builds.

bpo-38275 [https://bugs.python.org/issue?@action=redirect&bpo=38275]: test_ssl now handles disabled TLS/SSL versions better. OpenSSL’s crypto policy and run-time settings are recognized and tests for disabled versions are skipped. Tests also accept more TLS minimum_versions for platforms that override OpenSSL’s default with strict settings.

bpo-38271 [https://bugs.python.org/issue?@action=redirect&bpo=38271]: The private keys for test_ssl were encrypted with 3DES in traditional PKCS#5 format. 3DES and the digest algorithm of PKCS#5 are blocked by some strict crypto policies. Use PKCS#8 format with AES256 encryption instead.

bpo-38270 [https://bugs.python.org/issue?@action=redirect&bpo=38270]: test.support now has a helper function to check for availability of a hash digest function. Several tests are refactored avoid MD5 and use SHA256 instead. Other tests are marked to use MD5 and skipped when MD5 is disabled.

bpo-37123 [https://bugs.python.org/issue?@action=redirect&bpo=37123]: Multiprocessing test test_mymanager() now also expects -SIGTERM, not only exitcode 0. BaseManager._finalize_manager() sends SIGTERM to the manager process if it takes longer than 1 second to stop, which happens on slow buildbots.

bpo-38212 [https://bugs.python.org/issue?@action=redirect&bpo=38212]: Multiprocessing tests: increase test_queue_feeder_donot_stop_onexc() timeout from 1 to 60 seconds.

bpo-38117 [https://bugs.python.org/issue?@action=redirect&bpo=38117]: Test with OpenSSL 1.1.1d

bpo-38018 [https://bugs.python.org/issue?@action=redirect&bpo=38018]: Increase code coverage for multiprocessing.shared_memory.

bpo-37805 [https://bugs.python.org/issue?@action=redirect&bpo=37805]: Add tests for json.dump(…, skipkeys=True). Patch by Donghee Na.

bpo-37531 [https://bugs.python.org/issue?@action=redirect&bpo=37531]: Enhance regrtest multiprocess timeout: write a message when killing a worker process, catch popen.kill() and popen.wait() exceptions, put a timeout on the second call to popen.communicate().

bpo-37876 [https://bugs.python.org/issue?@action=redirect&bpo=37876]: Add tests for ROT-13 codec.

bpo-36833 [https://bugs.python.org/issue?@action=redirect&bpo=36833]: Added tests for PyDateTime_xxx_GET_xxx() macros of the C API of the datetime module. Patch by Joannah Nanjekye.

bpo-37558 [https://bugs.python.org/issue?@action=redirect&bpo=37558]: Fix test_shared_memory_cleaned_after_process_termination name handling

bpo-37526 [https://bugs.python.org/issue?@action=redirect&bpo=37526]: Add test.support.catch_threading_exception(): context manager catching threading.Thread exception using threading.excepthook().

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: test_concurrent_futures now explicitly stops the ForkServer instance if it’s running.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: multiprocessing tests now stop the ForkServer instance if it’s running: close the “alive” file descriptor to ask the server to stop and then remove its UNIX address.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: test_distutils.test_build_ext() is now able to remove the temporary directory on Windows: don’t import the newly built C extension (“xx”) in the current process, but test it in a separated process.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: test_concurrent_futures now cleans up multiprocessing to remove immediately temporary directories created by multiprocessing.util.get_temp_dir().

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: test_winconsoleio doesn’t leak a temporary file anymore: use tempfile.TemporaryFile() to remove it when the test completes.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: multiprocessing tests now explicitly call _run_finalizers() to immediately remove temporary directories created by tests.

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: urllib.request tests now call urlcleanup() to remove temporary files created by urlretrieve() tests and to clear the _opener global variable set by urlopen() and functions calling indirectly urlopen().

bpo-37472 [https://bugs.python.org/issue?@action=redirect&bpo=37472]: Remove Lib/test/outstanding_bugs.py.

bpo-37199 [https://bugs.python.org/issue?@action=redirect&bpo=37199]: Fix test failures when IPv6 is unavailable or disabled.

bpo-19696 [https://bugs.python.org/issue?@action=redirect&bpo=19696]: Replace deprecated method “random.choose” with “random.choice” in “test_pkg_import.py”.

bpo-37335 [https://bugs.python.org/issue?@action=redirect&bpo=37335]: Remove no longer necessary code from c locale coercion tests

bpo-37421 [https://bugs.python.org/issue?@action=redirect&bpo=37421]: Fix test_shutil to no longer leak temporary files.

bpo-37411 [https://bugs.python.org/issue?@action=redirect&bpo=37411]: Fix test_wsgiref.testEnviron() to no longer depend on the environment variables (don’t fail if “X” variable is set).

bpo-37400 [https://bugs.python.org/issue?@action=redirect&bpo=37400]: Fix test_os.test_chown(): use os.getgroups() rather than grp.getgrall() to get groups. Rename also the test to test_chown_gid().

bpo-37359 [https://bugs.python.org/issue?@action=redirect&bpo=37359]: Add –cleanup option to python3 -m test to remove test_python_* directories of previous failed jobs. Add “make cleantest” to run python3 -m test --cleanup.

bpo-37362 [https://bugs.python.org/issue?@action=redirect&bpo=37362]: test_gdb no longer fails if it gets an “unexpected” message on stderr: it now ignores stderr. The purpose of test_gdb is to test that python-gdb.py commands work as expected, not to test gdb.

bpo-35998 [https://bugs.python.org/issue?@action=redirect&bpo=35998]: Avoid TimeoutError in test_asyncio: test_start_tls_server_1()

bpo-37278 [https://bugs.python.org/issue?@action=redirect&bpo=37278]: Fix test_asyncio ProactorLoopCtrlC: join the thread to prevent leaking a running thread and leaking a reference.

bpo-37261 [https://bugs.python.org/issue?@action=redirect&bpo=37261]: Fix test.support.catch_unraisable_exception(): its __exit__() method now ignores unraisable exception raised when clearing its unraisable attribute.

bpo-37069 [https://bugs.python.org/issue?@action=redirect&bpo=37069]: regrtest now uses sys.unraisablehook() to mark a test as “environment altered” (ENV_CHANGED) if it emits an “unraisable exception”. Moreover, regrtest logs a warning in this case.

Use python3 -m test --fail-env-changed to catch unraisable exceptions in tests.

bpo-37252 [https://bugs.python.org/issue?@action=redirect&bpo=37252]: Fix assertions in test_close and test_events_mask_overflow devpoll tests.

bpo-37169 [https://bugs.python.org/issue?@action=redirect&bpo=37169]: Rewrite _PyObject_IsFreed() unit tests.

bpo-37153 [https://bugs.python.org/issue?@action=redirect&bpo=37153]: test_venv.test_multiprocessing() now explicitly calls pool.terminate() to wait until the pool completes.

bpo-34001 [https://bugs.python.org/issue?@action=redirect&bpo=34001]: Make test_ssl pass with LibreSSL. LibreSSL handles minimum and maximum TLS version differently than OpenSSL.

bpo-36919 [https://bugs.python.org/issue?@action=redirect&bpo=36919]: Make test_source_encoding.test_issue2301 implementation independent. The test will work now for both CPython and IronPython.

bpo-30202 [https://bugs.python.org/issue?@action=redirect&bpo=30202]: Update test.test_importlib.test_abc to test find_spec().

bpo-28009 [https://bugs.python.org/issue?@action=redirect&bpo=28009]: Modify the test_uuid logic to test when a program is available AND can be used to obtain a MACADDR as basis for an UUID. Patch by M. Felt

bpo-34596 [https://bugs.python.org/issue?@action=redirect&bpo=34596]: Fallback to a default reason when unittest.skip() is uncalled. Patch by Naitree Zhu.

Build

bpo-38809 [https://bugs.python.org/issue?@action=redirect&bpo=38809]: On Windows, build scripts will now recognize and use python.exe from an active virtual env.

bpo-38684 [https://bugs.python.org/issue?@action=redirect&bpo=38684]: Fix _hashlib build when Blake2 is disabled, but OpenSSL supports it.

bpo-38468 [https://bugs.python.org/issue?@action=redirect&bpo=38468]: Misc/python-config.in now uses getvar() for all still existing sysconfig.get_config_var() calls. Patch by Joannah Nanjekye.

bpo-37415 [https://bugs.python.org/issue?@action=redirect&bpo=37415]: Fix stdatomic.h header check for ICC compiler: the ICC implementation lacks atomic_uintptr_t type which is needed by Python.

bpo-38301 [https://bugs.python.org/issue?@action=redirect&bpo=38301]: In Solaris family, we must be sure to use -D_REENTRANT. Patch by Jesús Cea Avión.

bpo-36002 [https://bugs.python.org/issue?@action=redirect&bpo=36002]: Locate llvm-profdata and llvm-ar binaries using AC_PATH_TOOL rather than AC_PATH_TARGET_TOOL.

bpo-37936 [https://bugs.python.org/issue?@action=redirect&bpo=37936]: The .gitignore file systematically keeps “rooted”, with a non-trailing slash, all the rules that are meant to apply to files in a specific place in the repo. Previously, when the intended file to ignore happened to be at the root of the repo, we’d most often accidentally also ignore files and directories with the same name anywhere in the tree.

bpo-37760 [https://bugs.python.org/issue?@action=redirect&bpo=37760]: The Tools/unicode/makeunicodedata.py script, which is used for converting information from the Unicode Character Database into generated code and data used by the methods of str and by the unicodedata module, now handles each character’s data as a dataclass with named attributes, rather than a length-18 list of different fields.

bpo-37936 [https://bugs.python.org/issue?@action=redirect&bpo=37936]: The .gitignore file no longer applies to any files that are in fact tracked in the Git repository. Patch by Greg Price.

bpo-37725 [https://bugs.python.org/issue?@action=redirect&bpo=37725]: Change “clean” makefile target to also clean the program guided optimization (PGO) data. Previously you would have to use “make clean” and “make profile-removal”, or “make clobber”.

bpo-37707 [https://bugs.python.org/issue?@action=redirect&bpo=37707]: Mark some individual tests to skip when –pgo is used. The tests marked increase the PGO task time significantly and likely don’t help improve optimization of the final executable.

bpo-36044 [https://bugs.python.org/issue?@action=redirect&bpo=36044]: Reduce the number of unit tests run for the PGO generation task. This speeds up the task by a factor of about 15x. Running the full unit test suite is slow. This change may result in a slightly less optimized build since not as many code branches will be executed. If you are willing to wait for the much slower build, the old behavior can be restored using ‘./configure [..] PROFILE_TASK=”-m test –pgo-extended”’. We make no guarantees as to which PGO task set produces a faster build. Users who care should run their own relevant benchmarks as results can depend on the environment, workload, and compiler tool chain.

bpo-37468 [https://bugs.python.org/issue?@action=redirect&bpo=37468]: make install no longer installs wininst-*.exe files used by distutils bdist_wininst: bdist_wininst only works on Windows.

bpo-37189 [https://bugs.python.org/issue?@action=redirect&bpo=37189]: Many PyRun_XXX() functions like PyRun_String() were no longer exported in libpython38.dll by mistake. Export them again to fix the ABI compatibility.

bpo-25361 [https://bugs.python.org/issue?@action=redirect&bpo=25361]: Enables use of SSE2 instructions in Windows 32-bit build.

bpo-36210 [https://bugs.python.org/issue?@action=redirect&bpo=36210]: Update optional extension module detection for AIX. ossaudiodev and spwd are not applicable for AIX, and are no longer reported as missing. 3rd-party packaging of ncurses (with ASIS support) conflicts with officially supported AIX curses library, so configure AIX to use libcurses.a. However, skip trying to build _curses_panel.

patch by M Felt

Windows

bpo-38589 [https://bugs.python.org/issue?@action=redirect&bpo=38589]: Fixes HTML Help shortcut when Windows is not installed to C drive

bpo-38453 [https://bugs.python.org/issue?@action=redirect&bpo=38453]: Ensure ntpath.realpath() correctly resolves relative paths.

bpo-38519 [https://bugs.python.org/issue?@action=redirect&bpo=38519]: Restores the internal C headers that were missing from the nuget.org and Microsoft Store packages.

bpo-38492 [https://bugs.python.org/issue?@action=redirect&bpo=38492]: Remove pythonw.exe dependency on the Microsoft C++ runtime.

bpo-38344 [https://bugs.python.org/issue?@action=redirect&bpo=38344]: Fix error message in activate.bat

bpo-38359 [https://bugs.python.org/issue?@action=redirect&bpo=38359]: Ensures pyw.exe launcher reads correct registry key.

bpo-38355 [https://bugs.python.org/issue?@action=redirect&bpo=38355]: Fixes ntpath.realpath failing on sys.executable.

bpo-38117 [https://bugs.python.org/issue?@action=redirect&bpo=38117]: Update bundled OpenSSL to 1.1.1d

bpo-38092 [https://bugs.python.org/issue?@action=redirect&bpo=38092]: Reduce overhead when using multiprocessing in a Windows virtual environment.

bpo-38133 [https://bugs.python.org/issue?@action=redirect&bpo=38133]: Allow py.exe launcher to locate installations from the Microsoft Store and improve display of active virtual environments.

bpo-38114 [https://bugs.python.org/issue?@action=redirect&bpo=38114]: The pip.ini is no longer included in the Nuget package.

bpo-32592 [https://bugs.python.org/issue?@action=redirect&bpo=32592]: Set Windows 8 as the minimum required version for API support

bpo-36634 [https://bugs.python.org/issue?@action=redirect&bpo=36634]: os.cpu_count() now returns active processors rather than maximum processors.

bpo-36634 [https://bugs.python.org/issue?@action=redirect&bpo=36634]: venv activate.bat now works when the existing variables contain double quote characters.

bpo-38081 [https://bugs.python.org/issue?@action=redirect&bpo=38081]: Prevent error calling os.path.realpath() on 'NUL'.

bpo-38087 [https://bugs.python.org/issue?@action=redirect&bpo=38087]: Fix case sensitivity in test_pathlib and test_ntpath.

bpo-38088 [https://bugs.python.org/issue?@action=redirect&bpo=38088]: Fixes distutils not finding vcruntime140.dll with only the v142 toolset installed.

bpo-37283 [https://bugs.python.org/issue?@action=redirect&bpo=37283]: Ensure command-line and unattend.xml setting override previously detected states in Windows installer.

bpo-38030 [https://bugs.python.org/issue?@action=redirect&bpo=38030]: Fixes os.stat() failing for block devices on Windows

bpo-38020 [https://bugs.python.org/issue?@action=redirect&bpo=38020]: Fixes potential crash when calling os.readlink() (or indirectly through realpath()) on a file that is not a supported link.

bpo-37705 [https://bugs.python.org/issue?@action=redirect&bpo=37705]: Improve the implementation of winerror_to_errno().

bpo-37549 [https://bugs.python.org/issue?@action=redirect&bpo=37549]: os.dup() no longer fails for standard streams on Windows 7.

bpo-1311 [https://bugs.python.org/issue?@action=redirect&bpo=1311]: The nul file on Windows now returns True from exists() and a valid result from os.stat() with S_IFCHR set.

bpo-9949 [https://bugs.python.org/issue?@action=redirect&bpo=9949]: Enable support for following symlinks in os.realpath().

bpo-37834 [https://bugs.python.org/issue?@action=redirect&bpo=37834]: Treat all name surrogate reparse points on Windows in os.lstat() and other reparse points as regular files in os.stat().

bpo-36266 [https://bugs.python.org/issue?@action=redirect&bpo=36266]: Add the module name in the formatted error message when DLL load fail happens during module import in _PyImport_FindSharedFuncptrWindows(). Patch by Srinivas Nyayapati.

bpo-25172 [https://bugs.python.org/issue?@action=redirect&bpo=25172]: Trying to import the crypt module on Windows will result in an ImportError with a message explaining that the module isn’t supported on Windows. On other platforms, if the underlying _crypt module is not available, the ImportError will include a message explaining the problem.

bpo-37778 [https://bugs.python.org/issue?@action=redirect&bpo=37778]: Fixes the icons used for file associations to the Microsoft Store package.

bpo-37734 [https://bugs.python.org/issue?@action=redirect&bpo=37734]: Fix use of registry values to launch Python from Microsoft Store app.

bpo-37702 [https://bugs.python.org/issue?@action=redirect&bpo=37702]: Fix memory leak on Windows in creating an SSLContext object or running urllib.request.urlopen('https://...').

bpo-37672 [https://bugs.python.org/issue?@action=redirect&bpo=37672]: Switch Windows Store package’s pip to use bundled pip.ini instead of PIP_USER variable.

bpo-10945 [https://bugs.python.org/issue?@action=redirect&bpo=10945]: Officially drop support for creating bdist_wininst installers on non-Windows systems.

bpo-37445 [https://bugs.python.org/issue?@action=redirect&bpo=37445]: Include the FORMAT_MESSAGE_IGNORE_INSERTS flag in FormatMessageW() calls.

bpo-37369 [https://bugs.python.org/issue?@action=redirect&bpo=37369]: Fixes path for sys.executable when running from the Microsoft Store.

bpo-37380 [https://bugs.python.org/issue?@action=redirect&bpo=37380]: Don’t collect unfinished processes with subprocess._active on Windows to cleanup later. Patch by Ruslan Kuprieiev.

bpo-37351 [https://bugs.python.org/issue?@action=redirect&bpo=37351]: Removes libpython38.a from standard Windows distribution.

bpo-35360 [https://bugs.python.org/issue?@action=redirect&bpo=35360]: Update Windows builds to use SQLite 3.28.0.

bpo-37267 [https://bugs.python.org/issue?@action=redirect&bpo=37267]: On Windows, os.dup() no longer creates an inheritable fd when handling a character file.

bpo-36779 [https://bugs.python.org/issue?@action=redirect&bpo=36779]: Ensure time.tzname is correct on Windows when the active code page is set to CP_UTF7 or CP_UTF8.

bpo-32587 [https://bugs.python.org/issue?@action=redirect&bpo=32587]: Make winreg.REG_MULTI_SZ support zero-length strings.

bpo-28269 [https://bugs.python.org/issue?@action=redirect&bpo=28269]: Replace use of strcasecmp() for the system function _stricmp(). Patch by Minmin Gong.

bpo-36590 [https://bugs.python.org/issue?@action=redirect&bpo=36590]: Add native Bluetooth RFCOMM support to socket module.

macOS

bpo-38117 [https://bugs.python.org/issue?@action=redirect&bpo=38117]: Updated OpenSSL to 1.1.1d in macOS installer.

bpo-38089 [https://bugs.python.org/issue?@action=redirect&bpo=38089]: Move Azure Pipelines to latest VM versions and make macOS tests optional

bpo-18049 [https://bugs.python.org/issue?@action=redirect&bpo=18049]: Increase the default stack size of threads from 5MB to 16MB on macOS, to match the stack size of the main thread. This avoids crashes on deep recursion in threads.

bpo-34602 [https://bugs.python.org/issue?@action=redirect&bpo=34602]: Avoid test suite failures on macOS by no longer calling resource.setrlimit to increase the process stack size limit at runtime. The runtime change is no longer needed since the interpreter is being built with a larger default stack size.

bpo-35360 [https://bugs.python.org/issue?@action=redirect&bpo=35360]: Update macOS installer to use SQLite 3.28.0.

bpo-34631 [https://bugs.python.org/issue?@action=redirect&bpo=34631]: Updated OpenSSL to 1.1.1c in macOS installer.

IDLE

bpo-26353 [https://bugs.python.org/issue?@action=redirect&bpo=26353]: Stop adding newline when saving an IDLE shell window.

bpo-4630 [https://bugs.python.org/issue?@action=redirect&bpo=4630]: Add an option to toggle IDLE’s cursor blink for shell, editor, and output windows. See Settings, General, Window Preferences, Cursor Blink. Patch by Zackery Spytz.

bpo-38598 [https://bugs.python.org/issue?@action=redirect&bpo=38598]: Do not try to compile IDLE shell or output windows

bpo-36698 [https://bugs.python.org/issue?@action=redirect&bpo=36698]: IDLE no longer fails when write non-encodable characters to stderr. It now escapes them with a backslash, as the regular Python interpreter. Added the errors field to the standard streams.

bpo-35379 [https://bugs.python.org/issue?@action=redirect&bpo=35379]: When exiting IDLE, catch any AttributeError. One happens when EditorWindow.close is called twice. Printing a traceback, when IDLE is run from a terminal, is useless and annoying.

bpo-38183 [https://bugs.python.org/issue?@action=redirect&bpo=38183]: To avoid problems, test_idle ignores the user config directory. It no longer tries to create or access .idlerc or any files within. Users must run IDLE to discover problems with saving settings.

bpo-38077 [https://bugs.python.org/issue?@action=redirect&bpo=38077]: IDLE no longer adds ‘argv’ to the user namespace when initializing it. This bug only affected 3.7.4 and 3.8.0b2 to 3.8.0b4.

bpo-38041 [https://bugs.python.org/issue?@action=redirect&bpo=38041]: Shell restart lines now fill the window width, always start with ‘=’, and avoid wrapping unnecessarily. The line will still wrap if the included file name is long relative to the width.

bpo-35771 [https://bugs.python.org/issue?@action=redirect&bpo=35771]: To avoid occasional spurious test_idle failures on slower machines, increase the hover_delay in test_tooltip.

bpo-37824 [https://bugs.python.org/issue?@action=redirect&bpo=37824]: Properly handle user input warnings in IDLE shell. Cease turning SyntaxWarnings into SyntaxErrors.

bpo-37929 [https://bugs.python.org/issue?@action=redirect&bpo=37929]: IDLE Settings dialog now closes properly when there is no shell window.

bpo-37902 [https://bugs.python.org/issue?@action=redirect&bpo=37902]: Add mousewheel scrolling for IDLE module, path, and stack browsers. Patch by George Zhang.

bpo-37849 [https://bugs.python.org/issue?@action=redirect&bpo=37849]: Fixed completions list appearing too high or low when shown above the current line.

bpo-36419 [https://bugs.python.org/issue?@action=redirect&bpo=36419]: Refactor IDLE autocomplete and improve testing.

bpo-37748 [https://bugs.python.org/issue?@action=redirect&bpo=37748]: Reorder the Run menu. Put the most common choice, Run Module, at the top.

bpo-37692 [https://bugs.python.org/issue?@action=redirect&bpo=37692]: Improve highlight config sample with example shell interaction and better labels for shell elements.

bpo-37628 [https://bugs.python.org/issue?@action=redirect&bpo=37628]: Settings dialog no longer expands with font size.

bpo-37627 [https://bugs.python.org/issue?@action=redirect&bpo=37627]: Initialize the Customize Run dialog with the command line arguments most recently entered before. The user can optionally edit before submitting them.

bpo-33610 [https://bugs.python.org/issue?@action=redirect&bpo=33610]: Fix code context not showing the correct context when first toggled on.

bpo-37530 [https://bugs.python.org/issue?@action=redirect&bpo=37530]: Optimize code context to reduce unneeded background activity. Font and highlight changes now occur along with text changes instead of after a random delay.

bpo-27452 [https://bugs.python.org/issue?@action=redirect&bpo=27452]: Cleanup config.py by inlining RemoveFile and simplifying the handling of file in CreateConfigHandlers.

bpo-37325 [https://bugs.python.org/issue?@action=redirect&bpo=37325]: Fix tab focus traversal order for help source and custom run dialogs.

bpo-37321 [https://bugs.python.org/issue?@action=redirect&bpo=37321]: Both subprocess connection error messages now refer to the ‘Startup failure’ section of the IDLE doc.

bpo-17535 [https://bugs.python.org/issue?@action=redirect&bpo=17535]: Add optional line numbers for IDLE editor windows. Windows open without line numbers unless set otherwise in the General tab of the configuration dialog.

bpo-26806 [https://bugs.python.org/issue?@action=redirect&bpo=26806]: To compensate for stack frames added by IDLE and avoid possible problems with low recursion limits, add 30 to limits in the user code execution process. Subtract 30 when reporting recursion limits to make this addition mostly transparent.

bpo-37177 [https://bugs.python.org/issue?@action=redirect&bpo=37177]: Properly ‘attach’ search dialogs to their main window so that they behave like other dialogs and do not get hidden behind their main window.

bpo-37039 [https://bugs.python.org/issue?@action=redirect&bpo=37039]: Adjust “Zoom Height” to individual screens by momentarily maximizing the window on first use with a particular screen. Changing screen settings may invalidate the saved height. While a window is maximized, “Zoom Height” has no effect.

bpo-35763 [https://bugs.python.org/issue?@action=redirect&bpo=35763]: Make calltip reminder about ‘/’ meaning positional-only less obtrusive by only adding it when there is room on the first line.

bpo-5680 [https://bugs.python.org/issue?@action=redirect&bpo=5680]: Add ‘Run… Customized’ to the Run menu to run a module with customized settings. Any ‘command line arguments’ entered are added to sys.argv. One can suppress the normal Shell main module restart.

bpo-36390 [https://bugs.python.org/issue?@action=redirect&bpo=36390]: Gather Format menu functions into format.py. Combine paragraph.py, rstrip.py, and format methods from editor.py.

Tools/Demos

bpo-38118 [https://bugs.python.org/issue?@action=redirect&bpo=38118]: Update Valgrind suppression file to ignore a false alarm in PyUnicode_Decode() when using GCC builtin strcmp().

bpo-38347 [https://bugs.python.org/issue?@action=redirect&bpo=38347]: pathfix.py: Assume all files that end on ‘.py’ are Python scripts when working recursively.

bpo-37803 [https://bugs.python.org/issue?@action=redirect&bpo=37803]: pdb’s --help and --version long options now work.

bpo-37942 [https://bugs.python.org/issue?@action=redirect&bpo=37942]: Improve ArgumentClinic converter for floats.

bpo-37704 [https://bugs.python.org/issue?@action=redirect&bpo=37704]: Remove Tools/scripts/h2py.py: use cffi to access a C API in Python.

bpo-37675 [https://bugs.python.org/issue?@action=redirect&bpo=37675]: 2to3 now works when run from a zipped standard library.

bpo-37034 [https://bugs.python.org/issue?@action=redirect&bpo=37034]: Argument Clinic now uses the argument name on errors with keyword-only argument instead of their position. Patch contributed by Rémi Lapeyre.

bpo-37064 [https://bugs.python.org/issue?@action=redirect&bpo=37064]: Add option -k to pathscript.py script: preserve shebang flags. Add option -a to pathscript.py script: add flags.

C API

bpo-37633 [https://bugs.python.org/issue?@action=redirect&bpo=37633]: Re-export some function compatibility wrappers for macros in pythonrun.h.

bpo-38644 [https://bugs.python.org/issue?@action=redirect&bpo=38644]: Provide Py_EnterRecursiveCall() and Py_LeaveRecursiveCall() as regular functions for the limited API. Previously, there were defined as macros, but these macros didn’t work with the limited API which cannot access PyThreadState.recursion_depth field. Remove _Py_CheckRecursionLimit from the stable ABI.

bpo-38650 [https://bugs.python.org/issue?@action=redirect&bpo=38650]: The global variable PyStructSequence_UnnamedField is now a constant and refers to a constant string.

bpo-38540 [https://bugs.python.org/issue?@action=redirect&bpo=38540]: Fixed possible leak in PyArg_Parse() and similar functions for format units "es#" and "et#" when the macro PY_SSIZE_T_CLEAN is not defined.

bpo-38395 [https://bugs.python.org/issue?@action=redirect&bpo=38395]: Fix a crash in weakref.proxy objects due to incorrect lifetime management when calling some associated methods that may delete the last reference to object being referenced by the proxy. Patch by Pablo Galindo.

bpo-36389 [https://bugs.python.org/issue?@action=redirect&bpo=36389]: The _PyObject_CheckConsistency() function is now also available in release mode. For example, it can be used to debug a crash in the visit_decref() function of the GC.

bpo-38266 [https://bugs.python.org/issue?@action=redirect&bpo=38266]: Revert the removal of PyThreadState_DeleteCurrent() with documentation.

bpo-38303 [https://bugs.python.org/issue?@action=redirect&bpo=38303]: Update audioop extension module to use the stable ABI (PEP-384). Patch by Tyler Kieft.

bpo-38234 [https://bugs.python.org/issue?@action=redirect&bpo=38234]: Py_SetPath() now sets sys.executable to the program full path (Py_GetProgramFullPath()) rather than to the program name (Py_GetProgramName()).

bpo-38234 [https://bugs.python.org/issue?@action=redirect&bpo=38234]: Python ignored arguments passed to Py_SetPath(), Py_SetPythonHome() and Py_SetProgramName(): fix Python initialization to use specified arguments.

bpo-38205 [https://bugs.python.org/issue?@action=redirect&bpo=38205]: The Py_UNREACHABLE() macro now calls Py_FatalError().

bpo-38140 [https://bugs.python.org/issue?@action=redirect&bpo=38140]: Make dict and weakref offsets opaque for C heap types by passing the offsets through PyMemberDef

bpo-15088 [https://bugs.python.org/issue?@action=redirect&bpo=15088]: The C function PyGen_NeedsFinalizing has been removed. It was not documented, tested or used anywhere within CPython after the implementation of PEP 442 [https://peps.python.org/pep-0442/]. Patch by Joannah Nanjekye. (Patch by Joannah Nanjekye)

bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763]: Options added by PySys_AddXOption() are now handled the same way than PyConfig.xoptions and command line -X options.

bpo-37926 [https://bugs.python.org/issue?@action=redirect&bpo=37926]: Fix a crash in PySys_SetArgvEx(0, NULL, 0).

bpo-37879 [https://bugs.python.org/issue?@action=redirect&bpo=37879]: Fix subtype_dealloc to suppress the type decref when the base type is a C heap type

bpo-37645 [https://bugs.python.org/issue?@action=redirect&bpo=37645]: Add _PyObject_FunctionStr() to get a user-friendly string representation of a function-like object. Patch by Jeroen Demeyer.

bpo-29548 [https://bugs.python.org/issue?@action=redirect&bpo=29548]: The functions PyEval_CallObject, PyEval_CallFunction, PyEval_CallMethod and PyEval_CallObjectWithKeywords are deprecated. Use PyObject_Call() and its variants instead.

bpo-37151 [https://bugs.python.org/issue?@action=redirect&bpo=37151]: PyCFunction_Call is now a deprecated alias of PyObject_Call().

bpo-37540 [https://bugs.python.org/issue?@action=redirect&bpo=37540]: The vectorcall protocol now requires that the caller passes only strings as keyword names.

bpo-37207 [https://bugs.python.org/issue?@action=redirect&bpo=37207]: The vectorcall protocol is now enabled for type objects: set tp_vectorcall to a vectorcall function to be used instead of tp_new and tp_init when calling the class itself.

bpo-21120 [https://bugs.python.org/issue?@action=redirect&bpo=21120]: Exclude Python-ast.h, ast.h and asdl.h from the limited API.

bpo-37483 [https://bugs.python.org/issue?@action=redirect&bpo=37483]: Add new function _PyObject_CallOneArg for calling an object with one positional argument.

bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763]: Add PyConfig_SetWideStringList() function.

bpo-37337 [https://bugs.python.org/issue?@action=redirect&bpo=37337]: Add fast functions for calling methods: _PyObject_VectorcallMethod(), _PyObject_CallMethodNoArgs() and _PyObject_CallMethodOneArg().

bpo-28805 [https://bugs.python.org/issue?@action=redirect&bpo=28805]: The METH_FASTCALL calling convention has been documented.

bpo-37221 [https://bugs.python.org/issue?@action=redirect&bpo=37221]: The new function PyCode_NewWithPosOnlyArgs() allows to create code objects like PyCode_New(), but with an extra posonlyargcount parameter for indicating the number of positonal-only arguments.

bpo-37215 [https://bugs.python.org/issue?@action=redirect&bpo=37215]: Fix dtrace issue introduce by bpo-36842 [https://bugs.python.org/issue?@action=redirect&bpo=36842]

bpo-37194 [https://bugs.python.org/issue?@action=redirect&bpo=37194]: Add a new public PyObject_CallNoArgs() function to the C API: call a callable Python object without any arguments. It is the most efficient way to call a callback without any argument. On x86-64, for example, PyObject_CallFunctionObjArgs(func, NULL) allocates 960 bytes on the stack per call, whereas PyObject_CallNoArgs(func) only allocates 624 bytes per call.

bpo-37170 [https://bugs.python.org/issue?@action=redirect&bpo=37170]: Fix the cast on error in PyLong_AsUnsignedLongLongMask().

bpo-35381 [https://bugs.python.org/issue?@action=redirect&bpo=35381]: Convert posixmodule.c statically allocated types DirEntryType and ScandirIteratorType to heap-allocated types.

bpo-34331 [https://bugs.python.org/issue?@action=redirect&bpo=34331]: Use singular/plural noun in error message when instantiating an abstract class with non-overridden abstract method(s).

Python 3.8.0 beta 1

Release date: 2019-06-04

Security

bpo-35907 [https://bugs.python.org/issue?@action=redirect&bpo=35907]: CVE 2019-9948 [https://www.cve.org/CVERecord?id=CVE-2019-9948]: Avoid file reading by disallowing local-file:// and local_file:// URL schemes in URLopener().open() and URLopener().retrieve() of urllib.request.

bpo-33529 [https://bugs.python.org/issue?@action=redirect&bpo=33529]: Prevent fold function used in email header encoding from entering infinite loop when there are too many non-ASCII characters in a header.

bpo-33164 [https://bugs.python.org/issue?@action=redirect&bpo=33164]: Updated blake2 implementation which uses secure memset implementation provided by platform.

Core and Builtins

bpo-35814 [https://bugs.python.org/issue?@action=redirect&bpo=35814]: Allow unpacking in the right hand side of annotated assignments. In particular, t: Tuple[int, ...] = x, y, *z is now allowed.

bpo-37126 [https://bugs.python.org/issue?@action=redirect&bpo=37126]: All structseq objects are now tracked by the garbage collector. Patch by Pablo Galindo.

bpo-37122 [https://bugs.python.org/issue?@action=redirect&bpo=37122]: Make the co_argcount attribute of code objects represent the total number of positional arguments (including positional-only arguments). The value of co_posonlyargcount can be used to distinguish which arguments are positional only, and the difference (co_argcount - co_posonlyargcount) is the number of positional-or-keyword arguments. Patch by Pablo Galindo.

bpo-20092 [https://bugs.python.org/issue?@action=redirect&bpo=20092]: Constructors of int, float and complex will now use the __index__() special method, if available and the corresponding method __int__(), __float__() or __complex__() is not available.

bpo-37087 [https://bugs.python.org/issue?@action=redirect&bpo=37087]: Add native thread ID (TID) support to OpenBSD.

bpo-26219 [https://bugs.python.org/issue?@action=redirect&bpo=26219]: Implemented per opcode cache mechanism and LOAD_GLOBAL instruction use it. LOAD_GLOBAL is now about 40% faster. Contributed by Yury Selivanov, and Inada Naoki.

bpo-37072 [https://bugs.python.org/issue?@action=redirect&bpo=37072]: Fix crash in PyAST_FromNodeObject() when flags is NULL.

bpo-37029 [https://bugs.python.org/issue?@action=redirect&bpo=37029]: Freeing a great many small objects could take time quadratic in the number of arenas, due to using linear search to keep obmalloc.c’s list of usable arenas sorted by order of number of free memory pools. This is accomplished without search now, leaving the worst-case time linear in the number of arenas. For programs where this quite visibly matters (typically with more than 100 thousand small objects alive simultaneously), this can greatly reduce the time needed to release their memory.

bpo-26423 [https://bugs.python.org/issue?@action=redirect&bpo=26423]: Fix possible overflow in wrap_lenfunc() when sizeof(long) < sizeof(Py_ssize_t) (e.g., 64-bit Windows).

bpo-37050 [https://bugs.python.org/issue?@action=redirect&bpo=37050]: Improve the AST for “debug” f-strings, which use ‘=’ to print out the source of the expression being evaluated. Delete expr_text from the FormattedValue node, and instead use a Constant string node (possibly merged with adjacent constant expressions inside the f-string).

bpo-22385 [https://bugs.python.org/issue?@action=redirect&bpo=22385]: The bytes.hex, bytearray.hex, and memoryview.hex methods as well as the binascii.hexlify and b2a_hex functions now have the ability to include an optional separator between hex bytes. This functionality was inspired by MicroPython’s hexlify implementation.

bpo-26836 [https://bugs.python.org/issue?@action=redirect&bpo=26836]: Add os.memfd_create().

bpo-37032 [https://bugs.python.org/issue?@action=redirect&bpo=37032]: Added new replace() method to the code type (types.CodeType).

bpo-37007 [https://bugs.python.org/issue?@action=redirect&bpo=37007]: Implement socket.if_nameindex(), socket.if_nametoindex(), and socket.if_indextoname() on Windows.

bpo-36829 [https://bugs.python.org/issue?@action=redirect&bpo=36829]: PyErr_WriteUnraisable() now creates a traceback object if there is no current traceback. Moreover, call PyErr_NormalizeException() and PyException_SetTraceback() to normalize the exception value. Ignore any error.

bpo-36878 [https://bugs.python.org/issue?@action=redirect&bpo=36878]: Only accept text after # type: ignore if the first character is ASCII. This is to disallow things like # type: ignoreé.

bpo-36878 [https://bugs.python.org/issue?@action=redirect&bpo=36878]: Store text appearing after a # type: ignore comment in the AST. For example a type ignore like # type: ignore[E1000] will have the string "[E1000]" stored in its AST node.

bpo-2180 [https://bugs.python.org/issue?@action=redirect&bpo=2180]: Treat line continuation at EOF as a SyntaxError by Anthony Sottile.

bpo-36907 [https://bugs.python.org/issue?@action=redirect&bpo=36907]: Fix a crash when calling a C function with a keyword dict (f(**kwargs)) and changing the dict kwargs while that function is running.

bpo-36946 [https://bugs.python.org/issue?@action=redirect&bpo=36946]: Fix possible signed integer overflow when handling slices.

bpo-36826 [https://bugs.python.org/issue?@action=redirect&bpo=36826]: Add NamedExpression kind support to ast_unparse.c

bpo-1875 [https://bugs.python.org/issue?@action=redirect&bpo=1875]: A SyntaxError is now raised if a code blocks that will be optimized away (e.g. if conditions that are always false) contains syntax errors. Patch by Pablo Galindo.

bpo-36027 [https://bugs.python.org/issue?@action=redirect&bpo=36027]: Allow computation of modular inverses via three-argument pow: the second argument is now permitted to be negative in the case where the first and third arguments are relatively prime.

bpo-36861 [https://bugs.python.org/issue?@action=redirect&bpo=36861]: Update the Unicode database to version 12.1.0.

bpo-28866 [https://bugs.python.org/issue?@action=redirect&bpo=28866]: Avoid caching attributes of classes which type defines mro() to avoid a hard cache invalidation problem.

bpo-36851 [https://bugs.python.org/issue?@action=redirect&bpo=36851]: The FrameType stack is now correctly cleaned up if the execution ends with a return and the stack is not empty.

bpo-34616 [https://bugs.python.org/issue?@action=redirect&bpo=34616]: The compile() builtin functions now support the ast.PyCF_ALLOW_TOP_LEVEL_AWAIT flag, which allow to compile sources that contains top-level await, async with or async for. This is useful to evaluate async-code from with an already async functions; for example in a custom REPL.

bpo-36842 [https://bugs.python.org/issue?@action=redirect&bpo=36842]: Implement PEP 578, adding sys.audit, io.open_code and related APIs.

bpo-27639 [https://bugs.python.org/issue?@action=redirect&bpo=27639]: Correct return type for UserList slicing operations. Patch by Michael Blahay, Erick Cervantes, and vaultah

bpo-36737 [https://bugs.python.org/issue?@action=redirect&bpo=36737]: Move PyRuntimeState.warnings into per-interpreter state (via “module state”).

bpo-36793 [https://bugs.python.org/issue?@action=redirect&bpo=36793]: Removed __str__ implementations from builtin types bool, int, float, complex and few classes from the standard library. They now inherit __str__() from object.

bpo-36817 [https://bugs.python.org/issue?@action=redirect&bpo=36817]: Add a = feature f-strings for debugging. This can precede !s, !r, or !a. It produces the text of the expression, followed by an equal sign, followed by the repr of the value of the expression. So f'{3*9+15=}' would be equal to the string '3*9+15=42'. If = is specified, the default conversion is set to !r, unless a format spec is given, in which case the formatting behavior is unchanged, and __format__ will be used.

bpo-24048 [https://bugs.python.org/issue?@action=redirect&bpo=24048]: Save the live exception during import.c’s remove_module().

bpo-27987 [https://bugs.python.org/issue?@action=redirect&bpo=27987]: pymalloc returns memory blocks aligned by 16 bytes, instead of 8 bytes, on 64-bit platforms to conform x86-64 ABI. Recent compilers assume this alignment more often. Patch by Inada Naoki.

bpo-36601 [https://bugs.python.org/issue?@action=redirect&bpo=36601]: A long-since-meaningless check for getpid() == main_pid was removed from Python’s internal C signal handler.

bpo-36594 [https://bugs.python.org/issue?@action=redirect&bpo=36594]: Fix incorrect use of %p in format strings. Patch by Zackery Spytz.

bpo-36045 [https://bugs.python.org/issue?@action=redirect&bpo=36045]: builtins.help() now prefixes async for async functions.

bpo-36084 [https://bugs.python.org/issue?@action=redirect&bpo=36084]: Add native thread ID (TID) to threading.Thread objects (supported platforms: Windows, FreeBSD, Linux, macOS)

bpo-36035 [https://bugs.python.org/issue?@action=redirect&bpo=36035]: Added fix for broken symlinks in combination with pathlib

bpo-35983 [https://bugs.python.org/issue?@action=redirect&bpo=35983]: Added new trashcan macros to deal with a double deallocation that could occur when the tp_dealloc of a subclass calls the tp_dealloc of a base class and that base class uses the trashcan mechanism. Patch by Jeroen Demeyer.

bpo-20602 [https://bugs.python.org/issue?@action=redirect&bpo=20602]: Do not clear sys.flags and sys.float_info during shutdown. Patch by Zackery Spytz.

bpo-26826 [https://bugs.python.org/issue?@action=redirect&bpo=26826]: Expose copy_file_range() as a low level API in the os module.

bpo-32388 [https://bugs.python.org/issue?@action=redirect&bpo=32388]: Remove cross-version binary compatibility requirement in tp_flags.

bpo-31862 [https://bugs.python.org/issue?@action=redirect&bpo=31862]: Port binascii to PEP 489 multiphase initialization. Patch by Marcel Plch.

Library

bpo-37128 [https://bugs.python.org/issue?@action=redirect&bpo=37128]: Added math.perm().

bpo-37120 [https://bugs.python.org/issue?@action=redirect&bpo=37120]: Add SSLContext.num_tickets to control the number of TLSv1.3 session tickets.

bpo-12202 [https://bugs.python.org/issue?@action=redirect&bpo=12202]: Fix the error handling in msilib.SummaryInformation.GetProperty(). Patch by Zackery Spytz.

bpo-26835 [https://bugs.python.org/issue?@action=redirect&bpo=26835]: The fcntl module now contains file sealing constants for sealing of memfds.

bpo-29262 [https://bugs.python.org/issue?@action=redirect&bpo=29262]: Add get_origin() and get_args() introspection helpers to typing module.

bpo-12639 [https://bugs.python.org/issue?@action=redirect&bpo=12639]: msilib.Directory.start_component() no longer fails if keyfile is not None.

bpo-36999 [https://bugs.python.org/issue?@action=redirect&bpo=36999]: Add the asyncio.Task.get_coro() method to publicly expose the tasks’s coroutine object.

bpo-35246 [https://bugs.python.org/issue?@action=redirect&bpo=35246]: Make asyncio.create_subprocess_exec() accept path-like arguments.

bpo-35279 [https://bugs.python.org/issue?@action=redirect&bpo=35279]: Change default max_workers of ThreadPoolExecutor from cpu_count() * 5 to min(32, cpu_count() + 4). Previous value was unreasonably large on many cores machines.

bpo-37076 [https://bugs.python.org/issue?@action=redirect&bpo=37076]: _thread.start_new_thread() now logs uncaught exception raised by the function using sys.unraisablehook(), rather than sys.excepthook(), so the hook gets access to the function which raised the exception.

bpo-33725 [https://bugs.python.org/issue?@action=redirect&bpo=33725]: On macOS, the multiprocessing module now uses spawn start method by default.

bpo-37054 [https://bugs.python.org/issue?@action=redirect&bpo=37054]: Fix destructor _pyio.BytesIO and _pyio.TextIOWrapper: initialize their _buffer attribute as soon as possible (in the class body), because it’s used by __del__() which calls close().

bpo-37058 [https://bugs.python.org/issue?@action=redirect&bpo=37058]: PEP 544: Add Protocol and @runtime_checkable to the typing module.

bpo-36933 [https://bugs.python.org/issue?@action=redirect&bpo=36933]: The functions sys.set_coroutine_wrapper and sys.get_coroutine_wrapper that were deprecated and marked for removal in 3.8 have been removed.

bpo-37047 [https://bugs.python.org/issue?@action=redirect&bpo=37047]: Handle late binding and attribute access in unittest.mock.AsyncMock setup for autospeccing. Document newly implemented async methods in unittest.mock.MagicMock.

bpo-37049 [https://bugs.python.org/issue?@action=redirect&bpo=37049]: PEP 589: Add TypedDict to the typing module.

bpo-37046 [https://bugs.python.org/issue?@action=redirect&bpo=37046]: PEP 586: Add Literal to the typing module.

bpo-37045 [https://bugs.python.org/issue?@action=redirect&bpo=37045]: PEP 591: Add Final qualifier and @final decorator to the typing module.

bpo-37035 [https://bugs.python.org/issue?@action=redirect&bpo=37035]: Don’t log OSError based exceptions if a fatal error has occurred in asyncio transport. Peer can generate almost any OSError, user cannot avoid these exceptions by fixing own code. Errors are still propagated to user code, it’s just logging them is pointless and pollute asyncio logs.

bpo-37001 [https://bugs.python.org/issue?@action=redirect&bpo=37001]: symtable.symtable() now accepts the same input types for source code as the built-in compile() function. Patch by Dino Viehland.

bpo-37028 [https://bugs.python.org/issue?@action=redirect&bpo=37028]: Implement asyncio REPL

bpo-37027 [https://bugs.python.org/issue?@action=redirect&bpo=37027]: Return safe to use proxy socket object from transport.get_extra_info(‘socket’)

bpo-32528 [https://bugs.python.org/issue?@action=redirect&bpo=32528]: Make asyncio.CancelledError a BaseException.

This will address the common mistake many asyncio users make: an “except Exception” clause breaking Tasks cancellation.

In addition to this change, we stop inheriting asyncio.TimeoutError and asyncio.InvalidStateError from their concurrent.futures.* counterparts. There’s no point for these exceptions to share the inheritance chain.

bpo-1230540 [https://bugs.python.org/issue?@action=redirect&bpo=1230540]: Add a new threading.excepthook() function which handles uncaught threading.Thread.run() exception. It can be overridden to control how uncaught threading.Thread.run() exceptions are handled.

bpo-36996 [https://bugs.python.org/issue?@action=redirect&bpo=36996]: Handle unittest.mock.patch() used as a decorator on async functions.

bpo-37008 [https://bugs.python.org/issue?@action=redirect&bpo=37008]: Add support for calling next() with the mock resulting from unittest.mock.mock_open()

bpo-27737 [https://bugs.python.org/issue?@action=redirect&bpo=27737]: Allow whitespace only header encoding in email.header - by Batuhan Taskaya

bpo-36969 [https://bugs.python.org/issue?@action=redirect&bpo=36969]: PDB command args now display positional only arguments. Patch contributed by Rémi Lapeyre.

bpo-36969 [https://bugs.python.org/issue?@action=redirect&bpo=36969]: PDB command args now display keyword only arguments. Patch contributed by Rémi Lapeyre.

bpo-36983 [https://bugs.python.org/issue?@action=redirect&bpo=36983]: Add missing names to typing.__all__: ChainMap, ForwardRef, OrderedDict - by Anthony Sottile.

bpo-36972 [https://bugs.python.org/issue?@action=redirect&bpo=36972]: Add SupportsIndex protocol to the typing module to allow type checking to detect classes that can be passed to hex(), oct() and bin().

bpo-32972 [https://bugs.python.org/issue?@action=redirect&bpo=32972]: Implement unittest.IsolatedAsyncioTestCase to help testing asyncio-based code.

bpo-36952 [https://bugs.python.org/issue?@action=redirect&bpo=36952]: fileinput.input() and fileinput.FileInput bufsize argument has been removed (was deprecated and ignored since Python 3.6), and as a result the mode and openhook arguments have been made keyword-only.

bpo-36952 [https://bugs.python.org/issue?@action=redirect&bpo=36952]: Starting with Python 3.3, importing ABCs from collections is deprecated, and import should be done from collections.abc. Still being able to import from collections was marked for removal in 3.8, but has been delayed to 3.9; documentation and DeprecationWarning clarified.

bpo-36949 [https://bugs.python.org/issue?@action=redirect&bpo=36949]: Implement __repr__ for WeakSet objects.

bpo-36948 [https://bugs.python.org/issue?@action=redirect&bpo=36948]: Fix NameError in urllib.request.URLopener.retrieve(). Patch by Karthikeyan Singaravelan.

bpo-33524 [https://bugs.python.org/issue?@action=redirect&bpo=33524]: Fix the folding of email header when the max_line_length is 0 or None and the header contains non-ascii characters. Contributed by Licht Takeuchi (@Licht-T).

bpo-24564 [https://bugs.python.org/issue?@action=redirect&bpo=24564]: shutil.copystat() now ignores errno.EINVAL on os.setxattr() which may occur when copying files on filesystems without extended attributes support.

Original patch by Giampaolo Rodola, updated by Ying Wang.

bpo-36888 [https://bugs.python.org/issue?@action=redirect&bpo=36888]: Python child processes can now access the status of their parent process using multiprocessing.process.parent_process

bpo-36921 [https://bugs.python.org/issue?@action=redirect&bpo=36921]: Deprecate @coroutine for sake of async def.

bpo-25652 [https://bugs.python.org/issue?@action=redirect&bpo=25652]: Fix bug in __rmod__ of UserString - by Batuhan Taskaya.

bpo-36916 [https://bugs.python.org/issue?@action=redirect&bpo=36916]: Remove a message about an unhandled exception in a task when writer.write() is used without await and writer.drain() fails with an exception.

bpo-36889 [https://bugs.python.org/issue?@action=redirect&bpo=36889]: Introduce asyncio.Stream class that merges asyncio.StreamReader and asyncio.StreamWriter functionality. asyncio.Stream can work in readonly, writeonly and readwrite modes. Provide asyncio.connect(), asyncio.connect_unix(), asyncio.connect_read_pipe() and asyncio.connect_write_pipe() factories to open asyncio.Stream connections. Provide asyncio.StreamServer and UnixStreamServer to serve servers with asyncio.Stream API. Modify asyncio.create_subprocess_shell() and asyncio.create_subprocess_exec() to use asyncio.Stream instead of deprecated StreamReader and StreamWriter. Deprecate asyncio.StreamReader and asyncio.StreamWriter. Deprecate usage of private classes, e.g. asyncio.FlowControlMixing and asyncio.StreamReaderProtocol outside of asyncio package.

bpo-36845 [https://bugs.python.org/issue?@action=redirect&bpo=36845]: Added validation of integer prefixes to the construction of IP networks and interfaces in the ipaddress module.

bpo-23378 [https://bugs.python.org/issue?@action=redirect&bpo=23378]: Add an extend action to argparser.

bpo-36867 [https://bugs.python.org/issue?@action=redirect&bpo=36867]: Fix a bug making a SharedMemoryManager instance and its parent process use two separate resource_tracker processes.

bpo-23896 [https://bugs.python.org/issue?@action=redirect&bpo=23896]: Adds a grammar to lib2to3.pygram that contains exec as a function not as statement.

bpo-36895 [https://bugs.python.org/issue?@action=redirect&bpo=36895]: The function time.clock() was deprecated in 3.3 in favor of time.perf_counter() and marked for removal in 3.8, it has removed.

bpo-35545 [https://bugs.python.org/issue?@action=redirect&bpo=35545]: Fix asyncio discarding IPv6 scopes when ensuring hostname resolutions internally

bpo-36887 [https://bugs.python.org/issue?@action=redirect&bpo=36887]: Add new function math.isqrt() to compute integer square roots.

bpo-34632 [https://bugs.python.org/issue?@action=redirect&bpo=34632]: Introduce the importlib.metadata module with (provisional) support for reading metadata from third-party packages.

bpo-36878 [https://bugs.python.org/issue?@action=redirect&bpo=36878]: When using type_comments=True in ast.parse, treat # type: ignore followed by a non-alphanumeric character and then arbitrary text as a type ignore, instead of requiring nothing but whitespace or another comment. This is to permit formations such as # type: ignore[E1000].

bpo-36778 [https://bugs.python.org/issue?@action=redirect&bpo=36778]: cp65001 encoding (Windows code page 65001) becomes an alias to utf_8 encoding.

bpo-36867 [https://bugs.python.org/issue?@action=redirect&bpo=36867]: The multiprocessing.resource_tracker replaces the multiprocessing.semaphore_tracker module. Other than semaphores, resource_tracker also tracks shared_memory segments.

bpo-30262 [https://bugs.python.org/issue?@action=redirect&bpo=30262]: The Cache and Statement objects of the sqlite3 module are not exposed to the user. Patch by Aviv Palivoda.

bpo-24538 [https://bugs.python.org/issue?@action=redirect&bpo=24538]: In shutil.copystat(), first copy extended file attributes and then file permissions, since extended attributes can only be set on the destination while it is still writeable.

bpo-36829 [https://bugs.python.org/issue?@action=redirect&bpo=36829]: Add new sys.unraisablehook() function which can be overridden to control how “unraisable exceptions” are handled. It is called when an exception has occurred but there is no way for Python to handle it. For example, when a destructor raises an exception or during garbage collection (gc.collect()).

bpo-36832 [https://bugs.python.org/issue?@action=redirect&bpo=36832]: Introducing zipfile.Path, a pathlib-compatible wrapper for traversing zip files.

bpo-36814 [https://bugs.python.org/issue?@action=redirect&bpo=36814]: Fix an issue where os.posix_spawnp() would incorrectly raise a TypeError when file_actions is None.

bpo-33110 [https://bugs.python.org/issue?@action=redirect&bpo=33110]: Handle exceptions raised by functions added by concurrent.futures add_done_callback correctly when the Future has already completed.

bpo-26903 [https://bugs.python.org/issue?@action=redirect&bpo=26903]: Limit max_workers in ProcessPoolExecutor to 61 to work around a WaitForMultipleObjects limitation.

bpo-36813 [https://bugs.python.org/issue?@action=redirect&bpo=36813]: Fix QueueListener to call queue.task_done() upon stopping. Patch by Bar Harel.

bpo-36806 [https://bugs.python.org/issue?@action=redirect&bpo=36806]: Forbid creation of asyncio stream objects like StreamReader, StreamWriter, Process, and their protocols outside of asyncio package.

bpo-36802 [https://bugs.python.org/issue?@action=redirect&bpo=36802]: Provide both sync and async calls for StreamWriter.write() and StreamWriter.close()

bpo-36801 [https://bugs.python.org/issue?@action=redirect&bpo=36801]: Properly handle SSL connection closing in asyncio StreamWriter.drain() call.

bpo-36785 [https://bugs.python.org/issue?@action=redirect&bpo=36785]: Implement PEP 574 (pickle protocol 5 with out-of-band buffers).

bpo-36772 [https://bugs.python.org/issue?@action=redirect&bpo=36772]: functools.lru_cache() can now be used as a straight decorator in addition to its existing usage as a function that returns a decorator.

bpo-6584 [https://bugs.python.org/issue?@action=redirect&bpo=6584]: Add a BadGzipFile exception to the gzip module.

bpo-36748 [https://bugs.python.org/issue?@action=redirect&bpo=36748]: Optimized write buffering in C implementation of TextIOWrapper. Writing ASCII string to TextIOWrapper with ascii, latin1, or utf-8 encoding is about 20% faster. Patch by Inada Naoki.

bpo-8138 [https://bugs.python.org/issue?@action=redirect&bpo=8138]: Don’t mark wsgiref.simple_server.SimpleServer as multi-threaded since wsgiref.simple_server.WSGIServer is single-threaded.

bpo-22640 [https://bugs.python.org/issue?@action=redirect&bpo=22640]: py_compile.compile() now supports silent mode. Patch by Joannah Nanjekye

bpo-29183 [https://bugs.python.org/issue?@action=redirect&bpo=29183]: Fix double exceptions in wsgiref.handlers.BaseHandler by calling its close() method only when no exception is raised.

bpo-36548 [https://bugs.python.org/issue?@action=redirect&bpo=36548]: Improved the repr of regular expression flags.

bpo-36542 [https://bugs.python.org/issue?@action=redirect&bpo=36542]: The signature of Python functions can now be overridden by specifying the __text_signature__ attribute.

bpo-36533 [https://bugs.python.org/issue?@action=redirect&bpo=36533]: Reinitialize logging.Handler locks in forked child processes instead of attempting to acquire them all in the parent before forking only to be released in the child process. The acquire/release pattern was leading to deadlocks in code that has implemented any form of chained logging handlers that depend upon one another as the lock acquisition order cannot be guaranteed.

bpo-35252 [https://bugs.python.org/issue?@action=redirect&bpo=35252]: Throw a TypeError instead of an AssertionError when using an invalid type annotation with singledispatch.

bpo-35900 [https://bugs.python.org/issue?@action=redirect&bpo=35900]: Allow reduction methods to return a 6-item tuple where the 6th item specifies a custom state-setting method that’s called instead of the regular __setstate__ method.

bpo-35900 [https://bugs.python.org/issue?@action=redirect&bpo=35900]: enable custom reduction callback registration for functions and classes in _pickle.c, using the new Pickler’s attribute reducer_override

bpo-36368 [https://bugs.python.org/issue?@action=redirect&bpo=36368]: Fix a bug crashing SharedMemoryManager instances in interactive sessions after a ctrl-c (KeyboardInterrupt) was sent

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix mmap fail for VxWorks

bpo-27497 [https://bugs.python.org/issue?@action=redirect&bpo=27497]: csv.DictWriter.writeheader() now returns the return value of the underlying csv.Writer.writerow() method. Patch contributed by Ashish Nitin Patil.

bpo-36239 [https://bugs.python.org/issue?@action=redirect&bpo=36239]: Parsing .mo files now ignores comments starting and ending with #-#-#-#-#.

bpo-26707 [https://bugs.python.org/issue?@action=redirect&bpo=26707]: Enable plistlib to read and write binary plist files that were created as a KeyedArchive file. Specifically, this allows the plistlib to process 0x80 tokens as UID objects.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Add posix module support for VxWorks.

bpo-35125 [https://bugs.python.org/issue?@action=redirect&bpo=35125]: Asyncio: Remove inner callback on outer cancellation in shield

bpo-35721 [https://bugs.python.org/issue?@action=redirect&bpo=35721]: Fix asyncio.SelectorEventLoop.subprocess_exec() leaks file descriptors if Popen fails and called with stdin=subprocess.PIPE. Patch by Niklas Fiekas.

bpo-31855 [https://bugs.python.org/issue?@action=redirect&bpo=31855]: unittest.mock.mock_open() results now respects the argument of read([size]). Patch contributed by Rémi Lapeyre.

bpo-35431 [https://bugs.python.org/issue?@action=redirect&bpo=35431]: Implement math.comb() that returns binomial coefficient, that computes the number of ways to choose k items from n items without repetition and without order. Patch by Yash Aggarwal and Keller Fuchs.

bpo-26660 [https://bugs.python.org/issue?@action=redirect&bpo=26660]: Fixed permission errors in TemporaryDirectory clean up. Previously TemporaryDirectory.cleanup() failed when non-writeable or non-searchable files or directories were created inside a temporary directory.

bpo-34271 [https://bugs.python.org/issue?@action=redirect&bpo=34271]: Add debugging helpers to ssl module. It’s now possible to dump key material and to trace TLS protocol. The default and stdlib contexts also support SSLKEYLOGFILE env var.

bpo-26467 [https://bugs.python.org/issue?@action=redirect&bpo=26467]: Added AsyncMock to support using unittest to mock asyncio coroutines. Patch by Lisa Roach.

bpo-33569 [https://bugs.python.org/issue?@action=redirect&bpo=33569]: dataclasses.InitVar: Exposes the type used to create the init var.

bpo-34424 [https://bugs.python.org/issue?@action=redirect&bpo=34424]: Fix serialization of messages containing encoded strings when the policy.linesep is set to a multi-character string. Patch by Jens Troeger.

bpo-34303 [https://bugs.python.org/issue?@action=redirect&bpo=34303]: Performance of functools.reduce() is slightly improved. Patch by Sergey Fedoseev.

bpo-33361 [https://bugs.python.org/issue?@action=redirect&bpo=33361]: Fix a bug in codecs.StreamRecoder where seeking might leave old data in a buffer and break subsequent read calls. Patch by Ammar Askar.

bpo-22454 [https://bugs.python.org/issue?@action=redirect&bpo=22454]: The shlex module now exposes shlex.join(), the inverse of shlex.split(). Patch by Bo Bayles.

bpo-31922 [https://bugs.python.org/issue?@action=redirect&bpo=31922]: asyncio.AbstractEventLoop.create_datagram_endpoint(): Do not connect UDP socket when broadcast is allowed. This allows to receive replies after a UDP broadcast.

bpo-24882 [https://bugs.python.org/issue?@action=redirect&bpo=24882]: Change ThreadPoolExecutor to use existing idle threads before spinning up new ones.

bpo-31961 [https://bugs.python.org/issue?@action=redirect&bpo=31961]: Added support for bytes and path-like objects in subprocess.Popen() on Windows. The args parameter now accepts a path-like object if shell is False and a sequence containing bytes and path-like objects. The executable parameter now accepts a bytes and path-like object. The cwd parameter now accepts a bytes object. Based on patch by Anders Lorentsen.

bpo-33123 [https://bugs.python.org/issue?@action=redirect&bpo=33123]: pathlib.Path.unlink now accepts a missing_ok parameter to avoid a FileNotFoundError from being raised. Patch by Robert Buchholz.

bpo-32941 [https://bugs.python.org/issue?@action=redirect&bpo=32941]: Allow mmap.mmap objects to access the madvise() system call (through mmap.mmap.madvise()).

bpo-22102 [https://bugs.python.org/issue?@action=redirect&bpo=22102]: Added support for ZIP files with disks set to 0. Such files are commonly created by builtin tools on Windows when use ZIP64 extension. Patch by Francisco Facioni.

bpo-32515 [https://bugs.python.org/issue?@action=redirect&bpo=32515]: trace.py can now run modules via python3 -m trace -t –module module_name

bpo-32299 [https://bugs.python.org/issue?@action=redirect&bpo=32299]: Changed unittest.mock.patch.dict() to return the patched dictionary when used as context manager. Patch by Vadim Tsander.

bpo-27141 [https://bugs.python.org/issue?@action=redirect&bpo=27141]: Added a __copy__() to collections.UserList and collections.UserDict in order to correctly implement shallow copying of the objects. Patch by Bar Harel.

bpo-31829 [https://bugs.python.org/issue?@action=redirect&bpo=31829]: \r, \0 and \x1a (end-of-file on Windows) are now escaped in protocol 0 pickles of Unicode strings. This allows to load them without loss from files open in text mode in Python 2.

bpo-23395 [https://bugs.python.org/issue?@action=redirect&bpo=23395]: _thread.interrupt_main() now avoids setting the Python error status if the SIGINT signal is ignored or not handled by Python.

Documentation

bpo-36896 [https://bugs.python.org/issue?@action=redirect&bpo=36896]: Clarify that some types have unstable constructor signature between Python versions.

bpo-36686 [https://bugs.python.org/issue?@action=redirect&bpo=36686]: Improve documentation of the stdin, stdout, and stderr arguments of the asyncio.subprocess_exec function to specify which values are supported. Also mention that decoding as text is not supported.

Add a few tests to verify that the various values passed to the std* arguments actually work.

bpo-36984 [https://bugs.python.org/issue?@action=redirect&bpo=36984]: Improve version added references in typing module - by Anthony Sottile.

bpo-36868 [https://bugs.python.org/issue?@action=redirect&bpo=36868]: What’s new now mentions SSLContext.hostname_checks_common_name instead of SSLContext.host_flags.

bpo-35924 [https://bugs.python.org/issue?@action=redirect&bpo=35924]: Add a note to the curses.addstr() documentation to warn that multiline strings can cause segfaults because of an ncurses bug.

bpo-36783 [https://bugs.python.org/issue?@action=redirect&bpo=36783]: Added C API Documentation for Time_FromTimeAndFold and PyDateTime_FromDateAndTimeAndFold as per PEP 495. Patch by Edison Abahurire.

bpo-36797 [https://bugs.python.org/issue?@action=redirect&bpo=36797]: More of the legacy distutils documentation has been either pruned, or else more clearly marked as being retained solely until the setuptools documentation covers it independently.

bpo-22865 [https://bugs.python.org/issue?@action=redirect&bpo=22865]: Add detail to the documentation on the pty.spawn function.

bpo-35397 [https://bugs.python.org/issue?@action=redirect&bpo=35397]: Remove deprecation and document urllib.parse.unwrap(). Patch contributed by Rémi Lapeyre.

bpo-32995 [https://bugs.python.org/issue?@action=redirect&bpo=32995]: Added the context variable in glossary.

bpo-33519 [https://bugs.python.org/issue?@action=redirect&bpo=33519]: Clarify that copy() is not part of the MutableSequence ABC.

bpo-33482 [https://bugs.python.org/issue?@action=redirect&bpo=33482]: Make codecs.StreamRecoder.writelines take a list of bytes.

bpo-25735 [https://bugs.python.org/issue?@action=redirect&bpo=25735]: Added documentation for func factorial to indicate that returns integer values

bpo-20285 [https://bugs.python.org/issue?@action=redirect&bpo=20285]: Expand object.__doc__ (docstring) to make it clearer. Modify pydoc.py so that help(object) lists object methods (for other classes, help omits methods of the object base class.)

Tests

bpo-37069 [https://bugs.python.org/issue?@action=redirect&bpo=37069]: Modify test_coroutines, test_cprofile, test_generators, test_raise, test_ssl and test_yield_from to use test.support.catch_unraisable_exception() rather than test.support.captured_stderr().

bpo-37098 [https://bugs.python.org/issue?@action=redirect&bpo=37098]: Fix test_memfd_create on older Linux Kernels.

bpo-37081 [https://bugs.python.org/issue?@action=redirect&bpo=37081]: Test with OpenSSL 1.1.1c

bpo-36829 [https://bugs.python.org/issue?@action=redirect&bpo=36829]: Add test.support.catch_unraisable_exception(): context manager catching unraisable exception using sys.unraisablehook().

bpo-36915 [https://bugs.python.org/issue?@action=redirect&bpo=36915]: The main regrtest process now always removes all temporary directories of worker processes even if they crash or if they are killed on KeyboardInterrupt (CTRL+c).

bpo-36719 [https://bugs.python.org/issue?@action=redirect&bpo=36719]: “python3 -m test -jN …” now continues the execution of next tests when a worker process crash (CHILD_ERROR state). Previously, the test suite stopped immediately. Use –failfast to stop at the first error.

bpo-36816 [https://bugs.python.org/issue?@action=redirect&bpo=36816]: Update Lib/test/selfsigned_pythontestdotnet.pem to match self-signed.pythontest.net’s new TLS certificate.

bpo-35925 [https://bugs.python.org/issue?@action=redirect&bpo=35925]: Skip httplib and nntplib networking tests when they would otherwise fail due to a modern OS or distro with a default OpenSSL policy of rejecting connections to servers with weak certificates.

bpo-36782 [https://bugs.python.org/issue?@action=redirect&bpo=36782]: Add tests for several C API functions in the datetime module. Patch by Edison Abahurire.

bpo-36342 [https://bugs.python.org/issue?@action=redirect&bpo=36342]: Fix test_multiprocessing in test_venv if platform lacks functioning sem_open.

Build

bpo-36721 [https://bugs.python.org/issue?@action=redirect&bpo=36721]: To embed Python into an application, a new --embed option must be passed to python3-config --libs --embed to get -lpython3.8 (link the application to libpython). To support both 3.8 and older, try python3-config --libs --embed first and fallback to python3-config --libs (without --embed) if the previous command fails.

Add a pkg-config python-3.8-embed module to embed Python into an application: pkg-config python-3.8-embed --libs includes -lpython3.8. To support both 3.8 and older, try pkg-config python-X.Y-embed --libs first and fallback to pkg-config python-X.Y --libs (without --embed) if the previous command fails (replace X.Y with the Python version).

On the other hand, pkg-config python3.8 --libs no longer contains -lpython3.8. C extensions must not be linked to libpython (except on Android, case handled by the script); this change is backward incompatible on purpose.

bpo-36786 [https://bugs.python.org/issue?@action=redirect&bpo=36786]: “make install” now runs compileall in parallel.

Windows

bpo-36965 [https://bugs.python.org/issue?@action=redirect&bpo=36965]: include of STATUS_CONTROL_C_EXIT without depending on MSC compiler

bpo-35926 [https://bugs.python.org/issue?@action=redirect&bpo=35926]: Update to OpenSSL 1.1.1b for Windows.

bpo-29883 [https://bugs.python.org/issue?@action=redirect&bpo=29883]: Add Windows support for UDP transports for the Proactor Event Loop. Patch by Adam Meily.

bpo-33407 [https://bugs.python.org/issue?@action=redirect&bpo=33407]: The Py_DEPRECATED() macro has been implemented for MSVC.

macOS

bpo-36231 [https://bugs.python.org/issue?@action=redirect&bpo=36231]: Support building Python on macOS without /usr/include installed. As of macOS 10.14, system header files are only available within an SDK provided by either the Command Line Tools or the Xcode app.

IDLE

bpo-35610 [https://bugs.python.org/issue?@action=redirect&bpo=35610]: Replace now redundant .context_use_ps1 with .prompt_last_line. This finishes change started in bpo-31858 [https://bugs.python.org/issue?@action=redirect&bpo=31858].

bpo-37038 [https://bugs.python.org/issue?@action=redirect&bpo=37038]: Make idlelib.run runnable; add test clause.

bpo-36958 [https://bugs.python.org/issue?@action=redirect&bpo=36958]: Print any argument other than None or int passed to SystemExit or sys.exit().

bpo-36807 [https://bugs.python.org/issue?@action=redirect&bpo=36807]: When saving a file, call os.fsync() so bits are flushed to e.g. USB drive.

bpo-32411 [https://bugs.python.org/issue?@action=redirect&bpo=32411]: In browser.py, remove extraneous sorting by line number since dictionary was created in line number order.

Tools/Demos

bpo-37053 [https://bugs.python.org/issue?@action=redirect&bpo=37053]: Handle strings like u”bar” correctly in Tools/parser/unparse.py. Patch by Chih-Hsuan Yen.

C API

bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763]: Implement the PEP 587 [https://peps.python.org/pep-0587/] “Python Initialization Configuration”.

bpo-36379 [https://bugs.python.org/issue?@action=redirect&bpo=36379]: Fix crashes when attempting to use the modulo parameter when __ipow__ is implemented in C.

bpo-37107 [https://bugs.python.org/issue?@action=redirect&bpo=37107]: Update PyObject_CallMethodObjArgs() and _PyObject_CallMethodIdObjArgs to use _PyObject_GetMethod to avoid creating a bound method object in many cases. Patch by Michael J. Sullivan.

bpo-36974 [https://bugs.python.org/issue?@action=redirect&bpo=36974]: Implement PEP 590 [https://peps.python.org/pep-0590/]: Vectorcall: a fast calling protocol for CPython. This is a new protocol to optimize calls of custom callable objects.

bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763]: Py_Main() now returns the exitcode rather than calling Py_Exit(exitcode) when calling PyErr_Print() if the current exception type is SystemExit.

bpo-36922 [https://bugs.python.org/issue?@action=redirect&bpo=36922]: Add new type flag Py_TPFLAGS_METHOD_DESCRIPTOR for objects behaving like unbound methods. These are objects supporting the optimization given by the LOAD_METHOD/CALL_METHOD opcodes. See PEP 590.

bpo-36728 [https://bugs.python.org/issue?@action=redirect&bpo=36728]: The PyEval_ReInitThreads() function has been removed from the C API. It should not be called explicitly: use PyOS_AfterFork_Child() instead.

Python 3.8.0 alpha 4

Release date: 2019-05-06

Security

bpo-36742 [https://bugs.python.org/issue?@action=redirect&bpo=36742]: Fixes mishandling of pre-normalization characters in urlsplit().

bpo-30458 [https://bugs.python.org/issue?@action=redirect&bpo=30458]: Address CVE 2019-9740 [https://www.cve.org/CVERecord?id=CVE-2019-9740] by disallowing URL paths with embedded whitespace or control characters through into the underlying http client request. Such potentially malicious header injection URLs now cause an http.client.InvalidURL exception to be raised.

bpo-35755 [https://bugs.python.org/issue?@action=redirect&bpo=35755]: shutil.which() now uses os.confstr("CS_PATH") if available and if the PATH environment variable is not set. Remove also the current directory from posixpath.defpath. On Unix, shutil.which() and the subprocess module no longer search the executable in the current directory if the PATH environment variable is not set.

Core and Builtins

bpo-36722 [https://bugs.python.org/issue?@action=redirect&bpo=36722]: In debug build, import now also looks for C extensions compiled in release mode and for C extensions compiled in the stable ABI.

bpo-32849 [https://bugs.python.org/issue?@action=redirect&bpo=32849]: Fix Python Initialization code on FreeBSD to detect properly when stdin file descriptor (fd 0) is invalid.

bpo-36623 [https://bugs.python.org/issue?@action=redirect&bpo=36623]: Remove parser headers and related function declarations that lack implementations after the removal of pgen.

bpo-20180 [https://bugs.python.org/issue?@action=redirect&bpo=20180]: dict.pop() is now up to 33% faster thanks to Argument Clinic. Patch by Inada Naoki.

bpo-36611 [https://bugs.python.org/issue?@action=redirect&bpo=36611]: Debug memory allocators: disable serialno field by default from debug hooks on Python memory allocators to reduce the memory footprint by 5%. Enable tracemalloc to get the traceback where a memory block has been allocated when a fatal memory error is logged to decide where to put a breakpoint. Compile Python with PYMEM_DEBUG_SERIALNO defined to get back the field.

bpo-36588 [https://bugs.python.org/issue?@action=redirect&bpo=36588]: On AIX, sys.platform doesn’t contain the major version anymore. Always return 'aix', instead of 'aix3' .. 'aix7'. Since older Python versions include the version number, it is recommended to always use sys.platform.startswith('aix'). Contributed by M. Felt.

bpo-36549 [https://bugs.python.org/issue?@action=redirect&bpo=36549]: Change str.capitalize to use titlecase for the first character instead of uppercase.

bpo-36540 [https://bugs.python.org/issue?@action=redirect&bpo=36540]: Implement PEP 570 [https://peps.python.org/pep-0570/] (Python positional-only parameters). Patch by Pablo Galindo.

bpo-36475 [https://bugs.python.org/issue?@action=redirect&bpo=36475]: PyEval_AcquireLock() and PyEval_AcquireThread() now terminate the current thread if called while the interpreter is finalizing, making them consistent with PyEval_RestoreThread(), Py_END_ALLOW_THREADS(), and PyGILState_Ensure().

bpo-36504 [https://bugs.python.org/issue?@action=redirect&bpo=36504]: Fix signed integer overflow in _ctypes.c’s PyCArrayType_new().

bpo-20844 [https://bugs.python.org/issue?@action=redirect&bpo=20844]: Fix running script with encoding cookie and LF line ending may fail on Windows.

bpo-24214 [https://bugs.python.org/issue?@action=redirect&bpo=24214]: Fixed support of the surrogatepass error handler in the UTF-8 incremental decoder.

bpo-36452 [https://bugs.python.org/issue?@action=redirect&bpo=36452]: Changing dict keys during iteration of the dict itself, keys(), values(), or items() will now be detected in certain corner cases where keys are deleted/added so that the number of keys isn’t changed. A RuntimeError will be raised after len(dict) iterations. Contributed by Thomas Perl.

bpo-36459 [https://bugs.python.org/issue?@action=redirect&bpo=36459]: Fix a possible double PyMem_FREE() due to tokenizer.c’s tok_nextc().

bpo-36433 [https://bugs.python.org/issue?@action=redirect&bpo=36433]: Fixed TypeError message in classmethoddescr_call.

bpo-36430 [https://bugs.python.org/issue?@action=redirect&bpo=36430]: Fix a possible reference leak in itertools.count().

bpo-36440 [https://bugs.python.org/issue?@action=redirect&bpo=36440]: Include node names in ParserError messages, instead of numeric IDs. Patch by A. Skrobov.

bpo-36143 [https://bugs.python.org/issue?@action=redirect&bpo=36143]: Regenerate keyword from the Grammar and Tokens file using pgen. Patch by Pablo Galindo.

bpo-18372 [https://bugs.python.org/issue?@action=redirect&bpo=18372]: Add missing PyObject_GC_Track() calls in the pickle module. Patch by Zackery Spytz.

Library

bpo-35952 [https://bugs.python.org/issue?@action=redirect&bpo=35952]: Fix pythoninfo when the compiler is missing.

bpo-28238 [https://bugs.python.org/issue?@action=redirect&bpo=28238]: The .find*() methods of xml.etree.ElementTree can now search for wildcards like {*}tag and {ns}* that match a tag in any namespace or all tags in a namespace. Patch by Stefan Behnel.

bpo-26978 [https://bugs.python.org/issue?@action=redirect&bpo=26978]: pathlib.path.link_to() is now implemented. It creates a hard link pointing to a path.

bpo-1613500 [https://bugs.python.org/issue?@action=redirect&bpo=1613500]: fileinput.FileInput now uses the input file mode to correctly set the output file mode (previously it was hardcoded to 'w') when inplace=True is passed to its constructor.

bpo-36734 [https://bugs.python.org/issue?@action=redirect&bpo=36734]: Fix compilation of faulthandler.c on HP-UX. Initialize stack_t current_stack to zero using memset().

bpo-13611 [https://bugs.python.org/issue?@action=redirect&bpo=13611]: The xml.etree.ElementTree packages gained support for C14N 2.0 serialisation. Patch by Stefan Behnel.

bpo-36669 [https://bugs.python.org/issue?@action=redirect&bpo=36669]: Add missing matrix multiplication operator support to weakref.proxy.

bpo-36676 [https://bugs.python.org/issue?@action=redirect&bpo=36676]: The XMLParser() in xml.etree.ElementTree provides namespace prefix context to the parser target if it defines the callback methods “start_ns()” and/or “end_ns()”. Patch by Stefan Behnel.

bpo-36673 [https://bugs.python.org/issue?@action=redirect&bpo=36673]: The TreeBuilder and XMLPullParser in xml.etree.ElementTree gained support for parsing comments and processing instructions. Patch by Stefan Behnel.

bpo-36650 [https://bugs.python.org/issue?@action=redirect&bpo=36650]: The C version of functools.lru_cache() was treating calls with an empty **kwargs dictionary as being distinct from calls with no keywords at all. This did not result in an incorrect answer, but it did trigger an unexpected cache miss.

bpo-28552 [https://bugs.python.org/issue?@action=redirect&bpo=28552]: Fix distutils.sysconfig if sys.executable is None or an empty string: use os.getcwd() to initialize project_base. Fix also the distutils build command: don’t use sys.executable if it is None or an empty string.

bpo-35755 [https://bugs.python.org/issue?@action=redirect&bpo=35755]: shutil.which() and distutils.spawn.find_executable now use os.confstr("CS_PATH") if available instead of os.defpath, if the PATH environment variable is not set. Moreover, don’t use os.confstr("CS_PATH") nor os.defpath if the PATH environment variable is set to an empty string.

bpo-25430 [https://bugs.python.org/issue?@action=redirect&bpo=25430]: improve performance of IPNetwork.__contains__()

bpo-30485 [https://bugs.python.org/issue?@action=redirect&bpo=30485]: Path expressions in xml.etree.ElementTree can now avoid explicit namespace prefixes for tags (or the “{namespace}tag” notation) by passing a default namespace with an empty string prefix.

bpo-36613 [https://bugs.python.org/issue?@action=redirect&bpo=36613]: Fix asyncio wait() not removing callback if exception

bpo-36598 [https://bugs.python.org/issue?@action=redirect&bpo=36598]: Fix isinstance check for Mock objects with spec when the code is executed under tracing. Patch by Karthikeyan Singaravelan.

bpo-18748 [https://bugs.python.org/issue?@action=redirect&bpo=18748]: In development mode (-X dev) and in debug build, the io.IOBase destructor now logs close() exceptions. These exceptions are silent by default in release mode.

bpo-36575 [https://bugs.python.org/issue?@action=redirect&bpo=36575]: The _lsprof module now uses internal timer same to time.perf_counter() by default. gettimeofday(2) was used on Unix. New timer has better resolution on most Unix platforms and timings are no longer impacted by system clock updates since perf_counter() is monotonic. Patch by Inada Naoki.

bpo-33461 [https://bugs.python.org/issue?@action=redirect&bpo=33461]: json.loads now emits DeprecationWarning when encoding option is specified. Patch by Matthias Bussonnier.

bpo-36559 [https://bugs.python.org/issue?@action=redirect&bpo=36559]: The random module now prefers the lean internal _sha512 module over hashlib for seed(version=2) to optimize import time.

bpo-17561 [https://bugs.python.org/issue?@action=redirect&bpo=17561]: Set backlog=None as the default for socket.create_server.

bpo-34373 [https://bugs.python.org/issue?@action=redirect&bpo=34373]: Fix time.mktime() error handling on AIX for year before 1970.

bpo-36232 [https://bugs.python.org/issue?@action=redirect&bpo=36232]: Improve error message when trying to open existing DBM database that actually doesn’t exist. Patch by Marco Rougeth.

bpo-36546 [https://bugs.python.org/issue?@action=redirect&bpo=36546]: Add statistics.quantiles()

bpo-36050 [https://bugs.python.org/issue?@action=redirect&bpo=36050]: Optimized http.client.HTTPResponse.read() for large response. Patch by Inada Naoki.

bpo-36522 [https://bugs.python.org/issue?@action=redirect&bpo=36522]: If debuglevel is set to >0 in http.client, print all values for headers with multiple values for the same header name. Patch by Matt Houglum.

bpo-36492 [https://bugs.python.org/issue?@action=redirect&bpo=36492]: Deprecated passing required arguments like func as keyword arguments in functions which should accept arbitrary keyword arguments and pass them to other function. Arbitrary keyword arguments (even with names “self” and “func”) can now be passed to these functions if the required arguments are passed as positional arguments.

bpo-27181 [https://bugs.python.org/issue?@action=redirect&bpo=27181]: Add statistics.geometric_mean().

bpo-30427 [https://bugs.python.org/issue?@action=redirect&bpo=30427]: os.path.normcase() relies on os.fspath() to check the type of its argument. Redundant checks have been removed from its posixpath.normcase() and ntpath.normcase() implementations. Patch by Wolfgang Maier.

bpo-36385 [https://bugs.python.org/issue?@action=redirect&bpo=36385]: Stop rejecting IPv4 octets for being ambiguously octal. Leading zeros are ignored, and no longer are assumed to specify octal octets. Octets are always decimal numbers. Octets must still be no more than three digits, including leading zeroes.

bpo-36434 [https://bugs.python.org/issue?@action=redirect&bpo=36434]: Errors during writing to a ZIP file no longer prevent to properly close it.

bpo-36407 [https://bugs.python.org/issue?@action=redirect&bpo=36407]: Fixed wrong indentation writing for CDATA section in xml.dom.minidom. Patch by Vladimir Surjaninov.

bpo-36326 [https://bugs.python.org/issue?@action=redirect&bpo=36326]: inspect.getdoc() can now find docstrings for member objects when __slots__ is a dictionary.

bpo-36366 [https://bugs.python.org/issue?@action=redirect&bpo=36366]: Calling stop() on an unstarted or stopped unittest.mock.patch() object will now return None instead of raising RuntimeError, making the method idempotent. Patch by Karthikeyan Singaravelan.

bpo-36348 [https://bugs.python.org/issue?@action=redirect&bpo=36348]: The imap.IMAP4.logout() method no longer ignores silently arbitrary exceptions.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Add time module support and fix test_time failures for VxWorks.

bpo-36227 [https://bugs.python.org/issue?@action=redirect&bpo=36227]: Added support for keyword arguments default_namespace and xml_declaration in functions ElementTree.tostring() and ElementTree.tostringlist().

bpo-36004 [https://bugs.python.org/issue?@action=redirect&bpo=36004]: Added new alternate constructors datetime.date.fromisocalendar() and datetime.datetime.fromisocalendar(), which construct date objects from ISO year, week number and weekday; these are the inverse of each class’s isocalendar method. Patch by Paul Ganssle.

bpo-35936 [https://bugs.python.org/issue?@action=redirect&bpo=35936]: modulefinder no longer depends on the deprecated imp module, and the initializer for modulefinder.ModuleFinder now has immutable default arguments. Patch by Brandt Bucher.

bpo-35376 [https://bugs.python.org/issue?@action=redirect&bpo=35376]: modulefinder correctly handles modules that have the same name as a bad package. Patch by Brandt Bucher.

bpo-17396 [https://bugs.python.org/issue?@action=redirect&bpo=17396]: modulefinder no longer crashes when encountering syntax errors in followed imports. Patch by Brandt Bucher.

bpo-35934 [https://bugs.python.org/issue?@action=redirect&bpo=35934]: Added create_server() and has_dualstack_ipv6() convenience functions to automate the necessary tasks usually involved when creating a server socket, including accepting both IPv4 and IPv6 connections on the same socket. (Contributed by Giampaolo Rodola in bpo-17561 [https://bugs.python.org/issue?@action=redirect&bpo=17561].)

bpo-23078 [https://bugs.python.org/issue?@action=redirect&bpo=23078]: Add support for classmethod() and staticmethod() to unittest.mock.create_autospec(). Initial patch by Felipe Ochoa.

bpo-35416 [https://bugs.python.org/issue?@action=redirect&bpo=35416]: Fix potential resource warnings in distutils. Patch by Mickaël Schoentgen.

bpo-25451 [https://bugs.python.org/issue?@action=redirect&bpo=25451]: Add transparency methods to tkinter.PhotoImage. Patch by Zackery Spytz.

bpo-35082 [https://bugs.python.org/issue?@action=redirect&bpo=35082]: Don’t return deleted attributes when calling dir on a unittest.mock.Mock.

bpo-34547 [https://bugs.python.org/issue?@action=redirect&bpo=34547]: wsgiref.handlers.BaseHandler now handles abrupt client connection terminations gracefully. Patch by Petter Strandmark.

bpo-31658 [https://bugs.python.org/issue?@action=redirect&bpo=31658]: xml.sax.parse() now supports path-like. Patch by Mickaël Schoentgen.

bpo-34139 [https://bugs.python.org/issue?@action=redirect&bpo=34139]: Remove stale unix datagram socket before binding

bpo-33530 [https://bugs.python.org/issue?@action=redirect&bpo=33530]: Implemented Happy Eyeballs in asyncio.create_connection(). Added two new arguments, happy_eyeballs_delay and interleave, to specify Happy Eyeballs behavior.

bpo-33291 [https://bugs.python.org/issue?@action=redirect&bpo=33291]: Do not raise AttributeError when calling the inspect functions isgeneratorfunction, iscoroutinefunction, isasyncgenfunction on a method created from an arbitrary callable. Instead, return False.

bpo-31310 [https://bugs.python.org/issue?@action=redirect&bpo=31310]: Fix the multiprocessing.semaphore_tracker so it is reused by child processes

bpo-31292 [https://bugs.python.org/issue?@action=redirect&bpo=31292]: Fix setup.py check --restructuredtext for files containing include directives.

Documentation

bpo-36625 [https://bugs.python.org/issue?@action=redirect&bpo=36625]: Remove obsolete comments from docstrings in fractions.Fraction

bpo-30840 [https://bugs.python.org/issue?@action=redirect&bpo=30840]: Document relative imports

bpo-36523 [https://bugs.python.org/issue?@action=redirect&bpo=36523]: Add docstring for io.IOBase.writelines().

bpo-36425 [https://bugs.python.org/issue?@action=redirect&bpo=36425]: New documentation translation: Simplified Chinese [https://docs.python.org/zh-cn/].

bpo-36345 [https://bugs.python.org/issue?@action=redirect&bpo=36345]: Avoid the duplication of code from Tools/scripts/serve.py in using the literalinclude directive for the basic wsgiref-based web server in the documentation of wsgiref. Contributed by Stéphane Wirtel.

bpo-36345 [https://bugs.python.org/issue?@action=redirect&bpo=36345]: Using the code of the Tools/scripts/serve.py script as an example in the wsgiref documentation. Contributed by Stéphane Wirtel.

bpo-36157 [https://bugs.python.org/issue?@action=redirect&bpo=36157]: Added documentation for PyInterpreterState_Main().

bpo-33043 [https://bugs.python.org/issue?@action=redirect&bpo=33043]: Updates the docs.python.org page with the addition of a ‘Contributing to Docs’ link at the end of the page (between ‘Reporting Bugs’ and ‘About Documentation’). Updates the ‘Found a Bug’ page with additional links and information in the Documentation Bugs section.

bpo-35581 [https://bugs.python.org/issue?@action=redirect&bpo=35581]: @typing.type_check_only now allows type stubs to mark functions and classes not available during runtime.

bpo-33832 [https://bugs.python.org/issue?@action=redirect&bpo=33832]: Add glossary entry for ‘magic method’.

bpo-32913 [https://bugs.python.org/issue?@action=redirect&bpo=32913]: Added re.Match.groupdict example to regex HOWTO.

Tests

bpo-36719 [https://bugs.python.org/issue?@action=redirect&bpo=36719]: regrtest now always detects uncollectable objects. Previously, the check was only enabled by --findleaks. The check now also works with -jN/--multiprocess N. --findleaks becomes a deprecated alias to --fail-env-changed.

bpo-36725 [https://bugs.python.org/issue?@action=redirect&bpo=36725]: When using multiprocessing mode (-jN), regrtest now better reports errors if a worker process fails, and it exits immediately on a worker thread failure or when interrupted.

bpo-36454 [https://bugs.python.org/issue?@action=redirect&bpo=36454]: Change test_time.test_monotonic() to test only the lower bound of elapsed time after a sleep command rather than the upper bound. This prevents unnecessary test failures on slow buildbots. Patch by Victor Stinner.

bpo-32424 [https://bugs.python.org/issue?@action=redirect&bpo=32424]: Improve test coverage for xml.etree.ElementTree. Patch by Gordon P. Hemsley.

bpo-32424 [https://bugs.python.org/issue?@action=redirect&bpo=32424]: Fix typo in test_cyclic_gc() test for xml.etree.ElementTree. Patch by Gordon P. Hemsley.

bpo-36635 [https://bugs.python.org/issue?@action=redirect&bpo=36635]: Add a new _testinternalcapi module to test the internal C API.

bpo-36629 [https://bugs.python.org/issue?@action=redirect&bpo=36629]: Fix test_imap4_host_default_value() of test_imaplib: catch also errno.ENETUNREACH error.

bpo-36611 [https://bugs.python.org/issue?@action=redirect&bpo=36611]: Fix test_sys.test_getallocatedblocks() when tracemalloc is enabled.

bpo-36560 [https://bugs.python.org/issue?@action=redirect&bpo=36560]: Fix reference leak hunting in regrtest: compute also deltas (of reference count, allocated memory blocks, file descriptor count) during warmup, to ensure that everything is initialized before starting to hunt reference leaks.

bpo-36565 [https://bugs.python.org/issue?@action=redirect&bpo=36565]: Fix reference hunting (python3 -m test -R 3:3) when Python has no built-in abc module.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Port test_resource to VxWorks: skip tests cases setting RLIMIT_FSIZE and RLIMIT_CPU.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix test_tabnanny on VxWorks: adjust ENOENT error message.

bpo-36436 [https://bugs.python.org/issue?@action=redirect&bpo=36436]: Fix _testcapi.pymem_buffer_overflow(): handle memory allocation failure.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Fix test_utf8_mode on VxWorks: Python always use UTF-8 on VxWorks.

bpo-36341 [https://bugs.python.org/issue?@action=redirect&bpo=36341]: Fix tests that may fail with PermissionError upon calling bind() on AF_UNIX sockets.

Build

bpo-36747 [https://bugs.python.org/issue?@action=redirect&bpo=36747]: Remove the stale scriptsinstall Makefile target.

bpo-21536 [https://bugs.python.org/issue?@action=redirect&bpo=21536]: On Unix, C extensions are no longer linked to libpython except on Android and Cygwin.

It is now possible for a statically linked Python to load a C extension built using a shared library Python.

When Python is embedded, libpython must not be loaded with RTLD_LOCAL, but RTLD_GLOBAL instead. Previously, using RTLD_LOCAL, it was already not possible to load C extensions which were not linked to libpython, such as C extensions of the standard library built by the *shared* section of Modules/Setup.

distutils, python-config and python-config.py have been modified.

bpo-36707 [https://bugs.python.org/issue?@action=redirect&bpo=36707]: ./configure --with-pymalloc no longer adds the m flag to SOABI (sys.implementation.cache_tag). Enabling or disabling pymalloc has no impact on the ABI.

bpo-36635 [https://bugs.python.org/issue?@action=redirect&bpo=36635]: Change PyAPI_FUNC(type), PyAPI_DATA(type) and PyMODINIT_FUNC macros of pyport.h when Py_BUILD_CORE_MODULE is defined. The Py_BUILD_CORE_MODULE define must be now be used to build a C extension as a dynamic library accessing Python internals: export the PyInit_xxx() function in DLL exports on Windows.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Don’t build the _crypt extension on VxWorks.

bpo-36618 [https://bugs.python.org/issue?@action=redirect&bpo=36618]: Add -fmax-type-align=8 to CFLAGS when clang compiler is detected. The pymalloc memory allocator aligns memory on 8 bytes. On x86-64, clang expects alignment on 16 bytes by default and so uses MOVAPS instruction which can lead to segmentation fault. Instruct clang that Python is limited to alignment on 8 bytes to use MOVUPS instruction instead: slower but don’t trigger a SIGSEGV if the memory is not aligned on 16 bytes. Sadly, the flag must be added to CFLAGS and not just CFLAGS_NODIST, since third party C extensions can have the same issue.

bpo-36605 [https://bugs.python.org/issue?@action=redirect&bpo=36605]: make tags and make TAGS now also parse Modules/_io/*.c and Modules/_io/*.h.

bpo-36465 [https://bugs.python.org/issue?@action=redirect&bpo=36465]: Release builds and debug builds are now ABI compatible: defining the Py_DEBUG macro no longer implies the Py_TRACE_REFS macro, which introduces the only ABI incompatibility. The Py_TRACE_REFS macro, which adds the sys.getobjects() function and the PYTHONDUMPREFS environment variable, can be set using the new ./configure --with-trace-refs build option.

bpo-36577 [https://bugs.python.org/issue?@action=redirect&bpo=36577]: setup.py now correctly reports missing OpenSSL headers and libraries again.

bpo-36544 [https://bugs.python.org/issue?@action=redirect&bpo=36544]: Fix regression introduced in bpo-36146 [https://bugs.python.org/issue?@action=redirect&bpo=36146] refactoring setup.py

bpo-36508 [https://bugs.python.org/issue?@action=redirect&bpo=36508]: python-config --ldflags no longer includes flags of the LINKFORSHARED variable. The LINKFORSHARED variable must only be used to build executables.

bpo-36503 [https://bugs.python.org/issue?@action=redirect&bpo=36503]: Remove references to “aix3” and “aix4”. Patch by M. Felt.

Windows

bpo-35920 [https://bugs.python.org/issue?@action=redirect&bpo=35920]: Added platform.win32_edition() and platform.win32_is_iot(). Added support for cross-compiling packages for Windows ARM32. Skip tests that are not expected to work on Windows IoT Core ARM32.

bpo-36649 [https://bugs.python.org/issue?@action=redirect&bpo=36649]: Remove trailing spaces for registry keys when installed via the Store.

bpo-34144 [https://bugs.python.org/issue?@action=redirect&bpo=34144]: Fixed activate.bat to correctly update codepage when chcp.com returns dots in output. Patch by Lorenz Mende.

bpo-36509 [https://bugs.python.org/issue?@action=redirect&bpo=36509]: Added preset-iot layout for Windows IoT ARM containers. This layout doesn’t contain UI components like tkinter or IDLE. It also doesn’t contain files to support on-target builds since Windows ARM32 builds must be cross-compiled when using MSVC.

bpo-35941 [https://bugs.python.org/issue?@action=redirect&bpo=35941]: enum_certificates function of the ssl module now returns certificates from all available certificate stores inside windows in a query instead of returning only certificates from the system wide certificate store. This includes certificates from these certificate stores: local machine, local machine enterprise, local machine group policy, current user, current user group policy, services, users. ssl.enum_crls() function is changed in the same way to return all certificate revocation lists inside the windows certificate revocation list stores.

bpo-36441 [https://bugs.python.org/issue?@action=redirect&bpo=36441]: Fixes creating a venv when debug binaries are installed.

bpo-36085 [https://bugs.python.org/issue?@action=redirect&bpo=36085]: Enable better DLL resolution on Windows by using safe DLL search paths and adding os.add_dll_directory().

bpo-36010 [https://bugs.python.org/issue?@action=redirect&bpo=36010]: Add the venv standard library module to the nuget distribution for Windows.

bpo-29515 [https://bugs.python.org/issue?@action=redirect&bpo=29515]: Add the following socket module constants on Windows: IPPROTO_AH IPPROTO_CBT IPPROTO_DSTOPTS IPPROTO_EGP IPPROTO_ESP IPPROTO_FRAGMENT IPPROTO_GGP IPPROTO_HOPOPTS IPPROTO_ICLFXBM IPPROTO_ICMPV6 IPPROTO_IDP IPPROTO_IGMP IPPROTO_IGP IPPROTO_IPV4 IPPROTO_IPV6 IPPROTO_L2TP IPPROTO_MAX IPPROTO_ND IPPROTO_NONE IPPROTO_PGM IPPROTO_PIM IPPROTO_PUP IPPROTO_RDP IPPROTO_ROUTING IPPROTO_SCTP IPPROTO_ST

bpo-35947 [https://bugs.python.org/issue?@action=redirect&bpo=35947]: Added current version of libffi to cpython-source-deps. Change _ctypes to use current version of libffi on Windows.

bpo-34060 [https://bugs.python.org/issue?@action=redirect&bpo=34060]: Report system load when running test suite on Windows. Patch by Ammar Askar. Based on prior work by Jeremy Kloth.

bpo-31512 [https://bugs.python.org/issue?@action=redirect&bpo=31512]: With the Windows 10 Creators Update, non-elevated users can now create symlinks as long as the computer has Developer Mode enabled.

macOS

bpo-34602 [https://bugs.python.org/issue?@action=redirect&bpo=34602]: Avoid failures setting macOS stack resource limit with resource.setrlimit. This reverts an earlier fix for bpo-18075 [https://bugs.python.org/issue?@action=redirect&bpo=18075] which forced a non-default stack size when building the interpreter executable on macOS.

IDLE

bpo-36429 [https://bugs.python.org/issue?@action=redirect&bpo=36429]: Fix starting IDLE with pyshell. Add idlelib.pyshell alias at top; remove pyshell alias at bottom. Remove obsolete __name__==’__main__’ command.

Tools/Demos

bpo-14546 [https://bugs.python.org/issue?@action=redirect&bpo=14546]: Fix the argument handling in Tools/scripts/lll.py.

C API

bpo-36763 [https://bugs.python.org/issue?@action=redirect&bpo=36763]: Fix memory leak in Py_SetStandardStreamEncoding(): release memory if the function is called twice.

bpo-36641 [https://bugs.python.org/issue?@action=redirect&bpo=36641]: PyDoc_VAR(name) and PyDoc_STRVAR(name, str) now create static const char name[] instead of static char name[]. Patch by Inada Naoki.

bpo-36389 [https://bugs.python.org/issue?@action=redirect&bpo=36389]: Change the value of CLEANBYTE, DEADDYTE and FORBIDDENBYTE internal constants used by debug hooks on Python memory allocators (PyMem_SetupDebugHooks() function). Byte patterns 0xCB, 0xDB and 0xFB have been replaced with 0xCD, 0xDD and 0xFD to use the same values than Windows CRT debug malloc() and free().

bpo-36443 [https://bugs.python.org/issue?@action=redirect&bpo=36443]: Since Python 3.7.0, calling Py_DecodeLocale() before Py_Initialize() produces mojibake if the LC_CTYPE locale is coerced and/or if the UTF-8 Mode is enabled by the user configuration. The LC_CTYPE coercion and UTF-8 Mode are now disabled by default to fix the mojibake issue. They must now be enabled explicitly (opt-in) using the new _Py_PreInitialize() API with _PyPreConfig.

bpo-36025 [https://bugs.python.org/issue?@action=redirect&bpo=36025]: Fixed an accidental change to the datetime C API where the arguments to the PyDate_FromTimestamp() function were incorrectly interpreted as a single timestamp rather than an arguments tuple, which causes existing code to start raising TypeError. The backwards-incompatible change was only present in alpha releases of Python 3.8. Patch by Paul Ganssle.

bpo-35810 [https://bugs.python.org/issue?@action=redirect&bpo=35810]: Modify PyObject_Init to correctly increase the refcount of heap-allocated Type objects. Also fix the refcounts of the heap-allocated types that were either doing this manually or not decreasing the type’s refcount in tp_dealloc

Python 3.8.0 alpha 3

Release date: 2019-03-25

Security

bpo-36216 [https://bugs.python.org/issue?@action=redirect&bpo=36216]: Changes urlsplit() to raise ValueError when the URL contains characters that decompose under IDNA encoding (NFKC-normalization) into characters that affect how the URL is parsed.

bpo-35121 [https://bugs.python.org/issue?@action=redirect&bpo=35121]: Don’t send cookies of domain A without Domain attribute to domain B when domain A is a suffix match of domain B while using a cookiejar with http.cookiejar.DefaultCookiePolicy policy. Patch by Karthikeyan Singaravelan.

Core and Builtins

bpo-36421 [https://bugs.python.org/issue?@action=redirect&bpo=36421]: Fix a possible double decref in _ctypes.c’s PyCArrayType_new().

bpo-36412 [https://bugs.python.org/issue?@action=redirect&bpo=36412]: Fix a possible crash when creating a new dictionary.

bpo-36398 [https://bugs.python.org/issue?@action=redirect&bpo=36398]: Fix a possible crash in structseq_repr().

bpo-36256 [https://bugs.python.org/issue?@action=redirect&bpo=36256]: Fix bug in parsermodule when parsing a state in a DFA that has two or more arcs with labels of the same type. Patch by Pablo Galindo.

bpo-36365 [https://bugs.python.org/issue?@action=redirect&bpo=36365]: repr(structseq) is no longer limited to 512 bytes.

bpo-36374 [https://bugs.python.org/issue?@action=redirect&bpo=36374]: Fix a possible null pointer dereference in merge_consts_recursive(). Patch by Zackery Spytz.

bpo-36236 [https://bugs.python.org/issue?@action=redirect&bpo=36236]: At Python initialization, the current directory is no longer prepended to sys.path if it has been removed.

bpo-36352 [https://bugs.python.org/issue?@action=redirect&bpo=36352]: Python initialization now fails with an error, rather than silently truncating paths, if a path is too long.

bpo-36301 [https://bugs.python.org/issue?@action=redirect&bpo=36301]: Python initialization now fails if decoding pybuilddir.txt configuration file fails at startup.

bpo-36333 [https://bugs.python.org/issue?@action=redirect&bpo=36333]: Fix leak in _PyRuntimeState_Fini. Contributed by Stéphane Wirtel.

bpo-36332 [https://bugs.python.org/issue?@action=redirect&bpo=36332]: The builtin compile() can now handle AST objects that contain assignment expressions. Patch by Pablo Galindo.

bpo-36282 [https://bugs.python.org/issue?@action=redirect&bpo=36282]: Improved error message for too much positional arguments in some builtin functions.

bpo-30040 [https://bugs.python.org/issue?@action=redirect&bpo=30040]: New empty dict uses fewer memory for now. It used more memory than empty dict created by dict.clear(). And empty dict creation and deletion is about 2x faster. Patch by Inada Naoki.

bpo-36262 [https://bugs.python.org/issue?@action=redirect&bpo=36262]: Fix an unlikely memory leak on conversion from string to float in the function _Py_dg_strtod() used by float(str), complex(str), pickle.load(), marshal.load(), etc.

bpo-36252 [https://bugs.python.org/issue?@action=redirect&bpo=36252]: Update Unicode databases to version 12.0.0.

bpo-36218 [https://bugs.python.org/issue?@action=redirect&bpo=36218]: Fix a segfault occurring when sorting a list of heterogeneous values. Patch contributed by Rémi Lapeyre and Elliot Gorokhovsky.

bpo-36188 [https://bugs.python.org/issue?@action=redirect&bpo=36188]: Cleaned up left-over vestiges of Python 2 unbound method handling in method objects and documentation. Patch by Martijn Pieters

bpo-36124 [https://bugs.python.org/issue?@action=redirect&bpo=36124]: Add a new interpreter-specific dict and expose it in the C-API via PyInterpreterState_GetDict(). This parallels PyThreadState_GetDict(). However, extension modules should continue using PyModule_GetState() for their own internal per-interpreter state.

bpo-35975 [https://bugs.python.org/issue?@action=redirect&bpo=35975]: Add a feature_version flag to ast.parse() (documented) and compile() (hidden) that allows tweaking the parser to support older versions of the grammar. In particular, if feature_version is 5 or 6, the hacks for the async and await keyword from PEP 492 are reinstated. (For 7 or higher, these are unconditionally treated as keywords, but they are still special tokens rather than NAME tokens that the parser driver recognizes.)

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Use UTF-8 as the system encoding on VxWorks.

bpo-36048 [https://bugs.python.org/issue?@action=redirect&bpo=36048]: The __index__() special method will be used instead of __int__() for implicit conversion of Python numbers to C integers. Using the __int__() method in implicit conversions has been deprecated.

bpo-35808 [https://bugs.python.org/issue?@action=redirect&bpo=35808]: Retire pgen and use a modified version of pgen2 to generate the parser. Patch by Pablo Galindo.

Library

bpo-36401 [https://bugs.python.org/issue?@action=redirect&bpo=36401]: The class documentation created by pydoc now has a separate section for readonly properties.

bpo-36320 [https://bugs.python.org/issue?@action=redirect&bpo=36320]: The typing.NamedTuple() class has deprecated the _field_types attribute in favor of the __annotations__ attribute which carried the same information. Also, both attributes were converted from OrderedDict to a regular dict.

bpo-34745 [https://bugs.python.org/issue?@action=redirect&bpo=34745]: Fix asyncio ssl memory issues caused by circular references

bpo-36324 [https://bugs.python.org/issue?@action=redirect&bpo=36324]: Add method to statistics.NormalDist for computing the inverse cumulative normal distribution.

bpo-36321 [https://bugs.python.org/issue?@action=redirect&bpo=36321]: collections.namedtuple() misspelled the name of an attribute. To be consistent with typing.NamedTuple, the attribute name should have been “_field_defaults” instead of “_fields_defaults”. For backwards compatibility, both spellings are now created. The misspelled version may be removed in the future.

bpo-36297 [https://bugs.python.org/issue?@action=redirect&bpo=36297]: “unicode_internal” codec is removed. It was deprecated since Python 3.3. Patch by Inada Naoki.

bpo-36298 [https://bugs.python.org/issue?@action=redirect&bpo=36298]: Raise ModuleNotFoundError in pyclbr when a module can’t be found. Thanks to ‘mental’ for the bug report.

bpo-36268 [https://bugs.python.org/issue?@action=redirect&bpo=36268]: Switch the default format used for writing tars with tarfile to the modern POSIX.1-2001 pax standard, from the vendor-specific GNU. Contributed by C.A.M. Gerlach.

bpo-36285 [https://bugs.python.org/issue?@action=redirect&bpo=36285]: Fix integer overflows in the array module. Patch by Stephan Hohe.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Add _signal module support for VxWorks.

bpo-36272 [https://bugs.python.org/issue?@action=redirect&bpo=36272]: logging does not silently ignore RecursionError anymore. Patch contributed by Rémi Lapeyre.

bpo-36280 [https://bugs.python.org/issue?@action=redirect&bpo=36280]: Add a kind field to ast.Constant. It is ‘u’ if the literal has a ‘u’ prefix (i.e. a Python 2 style unicode literal), else None.

bpo-35931 [https://bugs.python.org/issue?@action=redirect&bpo=35931]: The pdb debug command now gracefully handles all exceptions.

bpo-36251 [https://bugs.python.org/issue?@action=redirect&bpo=36251]: Fix format strings used for stderrprinter and re.Match reprs. Patch by Stephan Hohe.

bpo-36235 [https://bugs.python.org/issue?@action=redirect&bpo=36235]: Fix CFLAGS in customize_compiler() of distutils.sysconfig: when the CFLAGS environment variable is defined, don’t override CFLAGS variable with the OPT variable anymore. Initial patch written by David Malcolm.

bpo-35807 [https://bugs.python.org/issue?@action=redirect&bpo=35807]: Update ensurepip to install pip 19.0.3 and setuptools 40.8.0.

bpo-36139 [https://bugs.python.org/issue?@action=redirect&bpo=36139]: Release GIL when closing mmap objects.

bpo-36179 [https://bugs.python.org/issue?@action=redirect&bpo=36179]: Fix two unlikely reference leaks in _hashopenssl. The leaks only occur in out-of-memory cases.

bpo-36169 [https://bugs.python.org/issue?@action=redirect&bpo=36169]: Add overlap() method to statistics.NormalDist. Computes the overlapping coefficient for two normal distributions.

bpo-36103 [https://bugs.python.org/issue?@action=redirect&bpo=36103]: Default buffer size used by shutil.copyfileobj() is changed from 16 KiB to 64 KiB on non-Windows platform to reduce system call overhead. Contributed by Inada Naoki.

bpo-36130 [https://bugs.python.org/issue?@action=redirect&bpo=36130]: Fix pdb with skip=... when stepping into a frame without a __name__ global. Patch by Anthony Sottile.

bpo-35652 [https://bugs.python.org/issue?@action=redirect&bpo=35652]: shutil.copytree(copy_function=…) erroneously pass DirEntry instead of a path string.

bpo-35178 [https://bugs.python.org/issue?@action=redirect&bpo=35178]: Ensure custom warnings.formatwarning() function can receive line as positional argument. Based on patch by Tashrif Billah.

bpo-36106 [https://bugs.python.org/issue?@action=redirect&bpo=36106]: Resolve potential name clash with libm’s sinpi(). Patch by Dmitrii Pasechnik.

bpo-36091 [https://bugs.python.org/issue?@action=redirect&bpo=36091]: Clean up reference to async generator in Lib/types. Patch by Henry Chen.

bpo-36043 [https://bugs.python.org/issue?@action=redirect&bpo=36043]: FileCookieJar supports path-like object. Contributed by Stéphane Wirtel

bpo-35899 [https://bugs.python.org/issue?@action=redirect&bpo=35899]: Enum has been fixed to correctly handle empty strings and strings with non-Latin characters (ie. ‘α’, ‘א’) without crashing. Original patch contributed by Maxwell. Assisted by Stéphane Wirtel.

bpo-21269 [https://bugs.python.org/issue?@action=redirect&bpo=21269]: Add args and kwargs properties to mock call objects. Contributed by Kumar Akshay.

bpo-30670 [https://bugs.python.org/issue?@action=redirect&bpo=30670]: pprint.pp has been added to pretty-print objects with dictionary keys being sorted with their insertion order by default. Parameter sort_dicts has been added to pprint.pprint, pprint.pformat and pprint.PrettyPrinter. Contributed by Rémi Lapeyre.

bpo-35843 [https://bugs.python.org/issue?@action=redirect&bpo=35843]: Implement __getitem__ for _NamespacePath. Patch by Anthony Sottile.

bpo-35802 [https://bugs.python.org/issue?@action=redirect&bpo=35802]: Clean up code which checked presence of os.stat / os.lstat / os.chmod which are always present. Patch by Anthony Sottile.

bpo-35715 [https://bugs.python.org/issue?@action=redirect&bpo=35715]: Librates the return value of a ProcessPoolExecutor _process_worker after it’s no longer needed to free memory

bpo-35493 [https://bugs.python.org/issue?@action=redirect&bpo=35493]: Use multiprocessing.connection.wait() instead of polling each 0.2 seconds for worker updates in multiprocessing.Pool. Patch by Pablo Galindo.

bpo-35661 [https://bugs.python.org/issue?@action=redirect&bpo=35661]: Store the venv prompt in pyvenv.cfg.

bpo-35121 [https://bugs.python.org/issue?@action=redirect&bpo=35121]: Don’t set cookie for a request when the request path is a prefix match of the cookie’s path attribute but doesn’t end with “/”. Patch by Karthikeyan Singaravelan.

bpo-21478 [https://bugs.python.org/issue?@action=redirect&bpo=21478]: Calls to a child function created with unittest.mock.create_autospec() should propagate to the parent. Patch by Karthikeyan Singaravelan.

bpo-35198 [https://bugs.python.org/issue?@action=redirect&bpo=35198]: Fix C++ extension compilation on AIX

Documentation

bpo-36329 [https://bugs.python.org/issue?@action=redirect&bpo=36329]: Declare the path of the Python binary for the usage of Tools/scripts/serve.py when executing make -C Doc/ serve. Contributed by Stéphane Wirtel

bpo-36138 [https://bugs.python.org/issue?@action=redirect&bpo=36138]: Improve documentation about converting datetime.timedelta to scalars.

bpo-21314 [https://bugs.python.org/issue?@action=redirect&bpo=21314]: A new entry was added to the Core Language Section of the Programming FAQ, which explaines the usage of slash(/) in the signature of a function. Patch by Lysandros Nikolaou

Tests

bpo-36234 [https://bugs.python.org/issue?@action=redirect&bpo=36234]: test_posix.PosixUidGidTests: add tests for invalid uid/gid type (str). Initial patch written by David Malcolm.

bpo-29571 [https://bugs.python.org/issue?@action=redirect&bpo=29571]: Fix test_re.test_locale_flag(): use locale.getpreferredencoding() rather than locale.getlocale() to get the locale encoding. With some locales, locale.getlocale() returns the wrong encoding.

bpo-36123 [https://bugs.python.org/issue?@action=redirect&bpo=36123]: Fix race condition in test_socket.

Build

bpo-36356 [https://bugs.python.org/issue?@action=redirect&bpo=36356]: Fix leaks that led to build failure when configured with address sanitizer.

bpo-36146 [https://bugs.python.org/issue?@action=redirect&bpo=36146]: Add TEST_EXTENSIONS constant to setup.py to allow to not build test extensions like _testcapi.

bpo-36146 [https://bugs.python.org/issue?@action=redirect&bpo=36146]: Fix setup.py on macOS: only add /usr/include/ffi to include directories of _ctypes, not for all extensions.

bpo-31904 [https://bugs.python.org/issue?@action=redirect&bpo=31904]: Enable build system to cross-build for VxWorks RTOS.

Windows

bpo-36312 [https://bugs.python.org/issue?@action=redirect&bpo=36312]: Fixed decoders for the following code pages: 50220, 50221, 50222, 50225, 50227, 50229, 57002 through 57011, 65000 and 42.

bpo-36264 [https://bugs.python.org/issue?@action=redirect&bpo=36264]: Don’t honor POSIX HOME in os.path.expanduser on windows. Patch by Anthony Sottile.

bpo-24643 [https://bugs.python.org/issue?@action=redirect&bpo=24643]: Fix name collisions due to #define timezone _timezone in PC/pyconfig.h.

IDLE

bpo-36405 [https://bugs.python.org/issue?@action=redirect&bpo=36405]: Use dict unpacking in idlelib.

bpo-36396 [https://bugs.python.org/issue?@action=redirect&bpo=36396]: Remove fgBg param of idlelib.config.GetHighlight(). This param was only used twice and changed the return type.

bpo-36176 [https://bugs.python.org/issue?@action=redirect&bpo=36176]: Fix IDLE autocomplete & calltip popup colors. Prevent conflicts with Linux dark themes (and slightly darken calltip background).

bpo-23205 [https://bugs.python.org/issue?@action=redirect&bpo=23205]: For the grep module, add tests for findfiles, refactor findfiles to be a module-level function, and refactor findfiles to use os.walk.

bpo-23216 [https://bugs.python.org/issue?@action=redirect&bpo=23216]: Add docstrings to IDLE search modules.

bpo-36152 [https://bugs.python.org/issue?@action=redirect&bpo=36152]: Remove colorizer.ColorDelegator.close_when_done and the corresponding argument of .close(). In IDLE, both have always been None or False since 2007.

bpo-32129 [https://bugs.python.org/issue?@action=redirect&bpo=32129]: Avoid blurry IDLE application icon on macOS with Tk 8.6. Patch by Kevin Walzer.

bpo-36096 [https://bugs.python.org/issue?@action=redirect&bpo=36096]: Refactor class variables to instance variables in colorizer.

bpo-30348 [https://bugs.python.org/issue?@action=redirect&bpo=30348]: Increase test coverage of idlelib.autocomplete by 30%. Patch by Louie Lu

Tools/Demos

bpo-35132 [https://bugs.python.org/issue?@action=redirect&bpo=35132]: Fix py-list and py-bt commands of python-gdb.py on gdb7.

bpo-32217 [https://bugs.python.org/issue?@action=redirect&bpo=32217]: Fix freeze script on Windows.

C API

bpo-36381 [https://bugs.python.org/issue?@action=redirect&bpo=36381]: Raise DeprecationWarning when ‘#’ formats are used for building or parsing values without PY_SSIZE_T_CLEAN.

bpo-36142 [https://bugs.python.org/issue?@action=redirect&bpo=36142]: The whole coreconfig.h header is now excluded from Py_LIMITED_API. Move functions definitions into a new internal pycore_coreconfig.h header.

Python 3.8.0 alpha 2

Release date: 2019-02-25

Core and Builtins

bpo-36052 [https://bugs.python.org/issue?@action=redirect&bpo=36052]: Raise a SyntaxError when assigning a value to __debug__ with the Assignment Operator. Contributed by Stéphane Wirtel and Pablo Galindo.

bpo-36012 [https://bugs.python.org/issue?@action=redirect&bpo=36012]: Doubled the speed of class variable writes. When a non-dunder attribute was updated, there was an unnecessary call to update slots.

bpo-35942 [https://bugs.python.org/issue?@action=redirect&bpo=35942]: The error message emitted when returning invalid types from __fspath__ in interfaces that allow passing PathLike objects has been improved and now it does explain the origin of the error.

bpo-36016 [https://bugs.python.org/issue?@action=redirect&bpo=36016]: gc.get_objects can now receive an optional parameter indicating a generation to get objects from. Patch by Pablo Galindo.

bpo-1054041 [https://bugs.python.org/issue?@action=redirect&bpo=1054041]: When the main interpreter exits due to an uncaught KeyboardInterrupt, the process now exits in the appropriate manner for its parent process to detect that a SIGINT or ^C terminated the process. This allows shells and batch scripts to understand that the user has asked them to stop.

bpo-35992 [https://bugs.python.org/issue?@action=redirect&bpo=35992]: Fix __class_getitem__() not being called on a class with a custom non-subscriptable metaclass.

bpo-35993 [https://bugs.python.org/issue?@action=redirect&bpo=35993]: Fix a crash on fork when using subinterpreters. Contributed by Stéphane Wirtel

bpo-35991 [https://bugs.python.org/issue?@action=redirect&bpo=35991]: Fix a potential double free in Modules/_randommodule.c.

bpo-35961 [https://bugs.python.org/issue?@action=redirect&bpo=35961]: Fix a crash in slice_richcompare(): use strong references rather than stolen references for the two temporary internal tuples.

bpo-35911 [https://bugs.python.org/issue?@action=redirect&bpo=35911]: Enable the creation of cell objects by adding a cell.__new__ method, and expose the type cell in Lib/types.py under the name CellType. Patch by Pierre Glaser.

bpo-12822 [https://bugs.python.org/issue?@action=redirect&bpo=12822]: Use monotonic clock for pthread_cond_timedwait when pthread_condattr_setclock and CLOCK_MONOTONIC are available.

bpo-15248 [https://bugs.python.org/issue?@action=redirect&bpo=15248]: The compiler emits now syntax warnings in the case when a comma is likely missed before tuple or list.

bpo-35886 [https://bugs.python.org/issue?@action=redirect&bpo=35886]: The implementation of PyInterpreterState has been moved into the internal header files (guarded by Py_BUILD_CORE).

bpo-31506 [https://bugs.python.org/issue?@action=redirect&bpo=31506]: Clarify the errors reported when object.__new__ and object.__init__ receive more than one argument. Contributed by Sanyam Khurana.

bpo-35724 [https://bugs.python.org/issue?@action=redirect&bpo=35724]: Signal-handling is now guaranteed to happen relative to the main interpreter.

bpo-33608 [https://bugs.python.org/issue?@action=redirect&bpo=33608]: We added a new internal _Py_AddPendingCall() that operates relative to the provided interpreter. This allows us to use the existing implementation to ask another interpreter to do work that cannot be done in the current interpreter, like decref an object the other interpreter owns. The existing Py_AddPendingCall() only operates relative to the main interpreter.

bpo-33989 [https://bugs.python.org/issue?@action=redirect&bpo=33989]: Fix a possible crash in list.sort() when sorting objects with ob_type->tp_richcompare == NULL. Patch by Zackery Spytz.

Library

bpo-35512 [https://bugs.python.org/issue?@action=redirect&bpo=35512]: unittest.mock.patch.dict() used as a decorator with string target resolves the target during function call instead of during decorator construction. Patch by Karthikeyan Singaravelan.

bpo-36018 [https://bugs.python.org/issue?@action=redirect&bpo=36018]: Add statistics.NormalDist, a tool for creating and manipulating normal distributions of random variable. Features a composite class that treats the mean and standard deviation of measurement data as single entity.

bpo-35904 [https://bugs.python.org/issue?@action=redirect&bpo=35904]: Added statistics.fmean() as a faster, floating-point variant of the existing mean() function.

bpo-35918 [https://bugs.python.org/issue?@action=redirect&bpo=35918]: Removed broken has_key method from multiprocessing.managers.SyncManager.dict. Contributed by Rémi Lapeyre.

bpo-18283 [https://bugs.python.org/issue?@action=redirect&bpo=18283]: Add support for bytes to shutil.which().

bpo-35960 [https://bugs.python.org/issue?@action=redirect&bpo=35960]: Fix dataclasses.field() throwing away empty mapping objects passed as metadata.

bpo-35500 [https://bugs.python.org/issue?@action=redirect&bpo=35500]: Write expected and actual call parameters on separate lines in unittest.mock.Mock.assert_called_with() assertion errors. Contributed by Susan Su.

bpo-35931 [https://bugs.python.org/issue?@action=redirect&bpo=35931]: The pdb debug command now gracefully handles syntax errors.

bpo-24209 [https://bugs.python.org/issue?@action=redirect&bpo=24209]: In http.server script, rely on getaddrinfo to bind to preferred address based on the bind parameter. Now default bind or binding to a name may bind to IPv6 or dual-stack, depending on the environment.

bpo-35321 [https://bugs.python.org/issue?@action=redirect&bpo=35321]: Set __spec__.origin of _frozen_importlib to frozen so that it matches the behavior of _frozen_importlib_external. Patch by Nina Zakharenko.

bpo-35378 [https://bugs.python.org/issue?@action=redirect&bpo=35378]: Fix a reference issue inside multiprocessing.Pool that caused the pool to remain alive if it was deleted without being closed or terminated explicitly. A new strong reference is added to the pool iterators to link the lifetime of the pool to the lifetime of its iterators so the pool does not get destroyed if a pool iterator is still alive.

bpo-34294 [https://bugs.python.org/issue?@action=redirect&bpo=34294]: re module, fix wrong capturing groups in rare cases. re.search(), re.findall(), re.sub() and other functions that scan through string looking for a match, should reset capturing groups between two match attempts. Patch by Ma Lin.

bpo-35615 [https://bugs.python.org/issue?@action=redirect&bpo=35615]: weakref: Fix a RuntimeError when copying a WeakKeyDictionary or a WeakValueDictionary, due to some keys or values disappearing while iterating.

bpo-35606 [https://bugs.python.org/issue?@action=redirect&bpo=35606]: Implement math.prod() as analogous function to sum() that returns the product of a ‘start’ value (default: 1) times an iterable of numbers. Patch by Pablo Galindo.

bpo-32417 [https://bugs.python.org/issue?@action=redirect&bpo=32417]: Performing arithmetic between datetime.datetime subclasses and datetime.timedelta now returns an object of the same type as the datetime.datetime subclass. As a result, datetime.datetime.astimezone() and alternate constructors like datetime.datetime.now() and datetime.fromtimestamp() called with a tz argument now also retain their subclass.

bpo-35153 [https://bugs.python.org/issue?@action=redirect&bpo=35153]: Add headers optional keyword-only parameter to xmlrpc.client.ServerProxy, xmlrpc.client.Transport and xmlrpc.client.SafeTransport. Patch by Cédric Krier.

bpo-34572 [https://bugs.python.org/issue?@action=redirect&bpo=34572]: Fix C implementation of pickle.loads to use importlib’s locking mechanisms, and thereby avoid using partially loaded modules. Patch by Tim Burgess.

Documentation

bpo-36083 [https://bugs.python.org/issue?@action=redirect&bpo=36083]: Fix formatting of –check-hash-based-pycs options in the manpage Synopsis.

bpo-36007 [https://bugs.python.org/issue?@action=redirect&bpo=36007]: Bump minimum sphinx version to 1.8. Patch by Anthony Sottile.

bpo-22062 [https://bugs.python.org/issue?@action=redirect&bpo=22062]: Update documentation and docstrings for pathlib. Original patch by Mike Short.

Tests

bpo-27313 [https://bugs.python.org/issue?@action=redirect&bpo=27313]: Avoid test_ttk_guionly ComboboxTest failure with macOS Cocoa Tk.

bpo-36019 [https://bugs.python.org/issue?@action=redirect&bpo=36019]: Add test.support.TEST_HTTP_URL and replace references of http://www.example.com by this new constant. Contributed by Stéphane Wirtel.

bpo-36037 [https://bugs.python.org/issue?@action=redirect&bpo=36037]: Fix test_ssl for strict OpenSSL configuration like RHEL8 strict crypto policy. Use older TLS version for minimum TLS version of the server SSL context if needed, to test TLS version older than default minimum TLS version.

bpo-35798 [https://bugs.python.org/issue?@action=redirect&bpo=35798]: Added test.support.check_syntax_warning().

bpo-35505 [https://bugs.python.org/issue?@action=redirect&bpo=35505]: Make test_imap4_host_default_value independent on whether the local IMAP server is running.

bpo-35917 [https://bugs.python.org/issue?@action=redirect&bpo=35917]: multiprocessing: provide unit tests for SyncManager and SharedMemoryManager classes + all the shareable types which are supposed to be supported by them. (patch by Giampaolo Rodola)

bpo-35704 [https://bugs.python.org/issue?@action=redirect&bpo=35704]: Skip test_shutil.test_unpack_archive_xztar to prevent a MemoryError on 32-bit AIX when MAXDATA setting is less than 0x20000000.

Patch by Michael Felt (aixtools)

bpo-34720 [https://bugs.python.org/issue?@action=redirect&bpo=34720]: Assert m_state != NULL to mimic GC traversal functions that do not correctly handle module creation when the module state has not been created.

Windows

bpo-35976 [https://bugs.python.org/issue?@action=redirect&bpo=35976]: Added ARM build support to Windows build files in PCBuild.

bpo-35692 [https://bugs.python.org/issue?@action=redirect&bpo=35692]: pathlib no longer raises when checking file and directory existence on drives that are not ready

bpo-35872 [https://bugs.python.org/issue?@action=redirect&bpo=35872]: Uses the base Python executable when invoking venv in a virtual environment

bpo-35873 [https://bugs.python.org/issue?@action=redirect&bpo=35873]: Prevents venv paths being inherited by child processes

bpo-35299 [https://bugs.python.org/issue?@action=redirect&bpo=35299]: Fix sysconfig detection of the source directory and distutils handling of pyconfig.h during PGO profiling

IDLE

bpo-24310 [https://bugs.python.org/issue?@action=redirect&bpo=24310]: IDLE – Document settings dialog font tab sample.

bpo-35833 [https://bugs.python.org/issue?@action=redirect&bpo=35833]: Revise IDLE doc for control codes sent to Shell. Add a code example block.

bpo-35689 [https://bugs.python.org/issue?@action=redirect&bpo=35689]: Add docstrings and unittests for colorizer.py.

Python 3.8.0 alpha 1

Release date: 2019-02-03

Security

bpo-35746 [https://bugs.python.org/issue?@action=redirect&bpo=35746]: CVE 2019-5010 [https://www.cve.org/CVERecord?id=CVE-2019-5010]: Fix a NULL pointer deref in ssl module. The cert parser did not handle CRL distribution points with empty DP or URI correctly. A malicious or buggy certificate can result into segfault. Vulnerability (TALOS-2018-0758) reported by Colin Read and Nicolas Edet of Cisco.

bpo-34812 [https://bugs.python.org/issue?@action=redirect&bpo=34812]: The -I command line option (run Python in isolated mode) is now also copied by the multiprocessing and distutils modules when spawning child processes. Previously, only -E and -s options (enabled by -I) were copied.

bpo-34791 [https://bugs.python.org/issue?@action=redirect&bpo=34791]: The xml.sax and xml.dom.domreg no longer use environment variables to override parser implementations when sys.flags.ignore_environment is set by -E or -I arguments.

bpo-17239 [https://bugs.python.org/issue?@action=redirect&bpo=17239]: The xml.sax and xml.dom.minidom parsers no longer processes external entities by default. External DTD and ENTITY declarations no longer load files or create network connections.

bpo-34623 [https://bugs.python.org/issue?@action=redirect&bpo=34623]: CVE 2018-14647 [https://www.cve.org/CVERecord?id=CVE-2018-14647]: The C accelerated _elementtree module now initializes hash randomization salt from _Py_HashSecret instead of libexpat’s default CSPRNG.

bpo-34405 [https://bugs.python.org/issue?@action=redirect&bpo=34405]: Updated to OpenSSL 1.1.0i for Windows builds.

bpo-33871 [https://bugs.python.org/issue?@action=redirect&bpo=33871]: Fixed sending the part of the file in os.sendfile() on macOS. Using the trailers argument could cause sending more bytes from the input file than was specified.

bpo-32533 [https://bugs.python.org/issue?@action=redirect&bpo=32533]: Fixed thread-safety of error handling in _ssl.

bpo-33136 [https://bugs.python.org/issue?@action=redirect&bpo=33136]: Harden ssl module against LibreSSL CVE 2018-8970 [https://www.cve.org/CVERecord?id=CVE-2018-8970]. X509_VERIFY_PARAM_set1_host() is called with an explicit namelen. A new test ensures that NULL bytes are not allowed.

bpo-33001 [https://bugs.python.org/issue?@action=redirect&bpo=33001]: Minimal fix to prevent buffer overrun in os.symlink on Windows

bpo-32981 [https://bugs.python.org/issue?@action=redirect&bpo=32981]: Regexes in difflib and poplib were vulnerable to catastrophic backtracking. These regexes formed potential DOS vectors (REDOS). They have been refactored. This resolves CVE 2018-1060 [https://www.cve.org/CVERecord?id=CVE-2018-1060] and CVE 2018-1061 [https://www.cve.org/CVERecord?id=CVE-2018-1061]. Patch by Jamie Davis.

bpo-28414 [https://bugs.python.org/issue?@action=redirect&bpo=28414]: The ssl module now allows users to perform their own IDN en/decoding when using SNI.

Core and Builtins

bpo-35877 [https://bugs.python.org/issue?@action=redirect&bpo=35877]: Make parenthesis optional for named expressions in while statement. Patch by Karthikeyan Singaravelan.

bpo-35814 [https://bugs.python.org/issue?@action=redirect&bpo=35814]: Allow same right hand side expressions in annotated assignments as in normal ones. In particular, x: Tuple[int, int] = 1, 2 (without parentheses on the right) is now allowed.

bpo-35766 [https://bugs.python.org/issue?@action=redirect&bpo=35766]: Add the option to parse PEP 484 type comments in the ast module. (Off by default.) This is merging the key functionality of the third party fork thereof, [typed_ast](https://github.com/python/typed_ast).

bpo-35713 [https://bugs.python.org/issue?@action=redirect&bpo=35713]: Reorganize Python initialization to get working exceptions and sys.stderr earlier.

bpo-33416 [https://bugs.python.org/issue?@action=redirect&bpo=33416]: Add end line and end column position information to the Python AST nodes. This is a C-level backwards incompatible change.

bpo-35720 [https://bugs.python.org/issue?@action=redirect&bpo=35720]: Fixed a minor memory leak in pymain_parse_cmdline_impl function in Modules/main.c

bpo-35634 [https://bugs.python.org/issue?@action=redirect&bpo=35634]: func(**kwargs) will now raise an error when kwargs is a mapping containing multiple entries with the same key. An error was already raised when other keyword arguments are passed before **kwargs since Python 3.6.

bpo-35623 [https://bugs.python.org/issue?@action=redirect&bpo=35623]: Fix a crash when sorting very long lists. Patch by Stephan Hohe.

bpo-35214 [https://bugs.python.org/issue?@action=redirect&bpo=35214]: clang Memory Sanitizer build instrumentation was added to work around false positives from posix, socket, time, test_io, and test_faulthandler.

bpo-35560 [https://bugs.python.org/issue?@action=redirect&bpo=35560]: Fix an assertion error in format() in debug build for floating-point formatting with “n” format, zero padding and small width. Release build is not impacted. Patch by Karthikeyan Singaravelan.

bpo-35552 [https://bugs.python.org/issue?@action=redirect&bpo=35552]: Format characters %s and %V in PyUnicode_FromFormat() and %s in PyBytes_FromFormat() no longer read memory past the limit if precision is specified.

bpo-35504 [https://bugs.python.org/issue?@action=redirect&bpo=35504]: Fix segfaults and SystemErrors when deleting certain attributes. Patch by Zackery Spytz.

bpo-35504 [https://bugs.python.org/issue?@action=redirect&bpo=35504]: Fixed a SystemError when delete the characters_written attribute of an OSError.

bpo-35494 [https://bugs.python.org/issue?@action=redirect&bpo=35494]: Improved syntax error messages for unbalanced parentheses in f-string.

bpo-35444 [https://bugs.python.org/issue?@action=redirect&bpo=35444]: Fixed error handling in pickling methods when fail to look up builtin “getattr”. Sped up pickling iterators.

bpo-35436 [https://bugs.python.org/issue?@action=redirect&bpo=35436]: Fix various issues with memory allocation error handling. Patch by Zackery Spytz.

bpo-35423 [https://bugs.python.org/issue?@action=redirect&bpo=35423]: Separate the signal handling trigger in the eval loop from the “pending calls” machinery. There is no semantic change and the difference in performance is insignificant.

bpo-35357 [https://bugs.python.org/issue?@action=redirect&bpo=35357]: Internal attributes’ names of unittest.mock._Call and unittest.mock.MagicProxy (name, parent & from_kall) are now prefixed with _mock_ in order to prevent clashes with widely used object attributes. Fixed minor typo in test function name.

bpo-35372 [https://bugs.python.org/issue?@action=redirect&bpo=35372]: Fixed the code page decoder for input longer than 2 GiB containing undecodable bytes.

bpo-35336 [https://bugs.python.org/issue?@action=redirect&bpo=35336]: Fix PYTHONCOERCECLOCALE=1 environment variable: only coerce the C locale if the LC_CTYPE locale is “C”.

bpo-31241 [https://bugs.python.org/issue?@action=redirect&bpo=31241]: The lineno and col_offset attributes of AST nodes for list comprehensions, generator expressions and tuples are now point to the opening parenthesis or square brace. For tuples without parenthesis they point to the position of the first item.

bpo-33954 [https://bugs.python.org/issue?@action=redirect&bpo=33954]: For str.format(), float.__format__() and complex.__format__() methods for non-ASCII decimal point when using the “n” formatter.

bpo-35269 [https://bugs.python.org/issue?@action=redirect&bpo=35269]: Fix a possible segfault involving a newly created coroutine. Patch by Zackery Spytz.

bpo-35224 [https://bugs.python.org/issue?@action=redirect&bpo=35224]: Implement PEP 572 [https://peps.python.org/pep-0572/] (assignment expressions). Patch by Emily Morehouse.

bpo-32492 [https://bugs.python.org/issue?@action=redirect&bpo=32492]: Speed up namedtuple() attribute access by 1.6x using a C fast-path for the name descriptors. Patch by Pablo Galindo.

bpo-35214 [https://bugs.python.org/issue?@action=redirect&bpo=35214]: Fixed an out of bounds memory access when parsing a truncated unicode escape sequence at the end of a string such as '\N'. It would read one byte beyond the end of the memory allocation.

bpo-35214 [https://bugs.python.org/issue?@action=redirect&bpo=35214]: The interpreter and extension modules have had annotations added so that they work properly under clang’s Memory Sanitizer. A new configure flag –with-memory-sanitizer has been added to make test builds of this nature easier to perform.

bpo-35193 [https://bugs.python.org/issue?@action=redirect&bpo=35193]: Fix an off by one error in the bytecode peephole optimizer where it could read bytes beyond the end of bounds of an array when removing unreachable code. This bug was present in every release of Python 3.6 and 3.7 until now.

bpo-35169 [https://bugs.python.org/issue?@action=redirect&bpo=35169]: Improved error messages for forbidden assignments.

bpo-34022 [https://bugs.python.org/issue?@action=redirect&bpo=34022]: Fix handling of hash-based bytecode files in zipimport. Patch by Elvis Pranskevichus.

bpo-28401 [https://bugs.python.org/issue?@action=redirect&bpo=28401]: Debug builds will no longer to attempt to import extension modules built for the ABI as they were never compatible to begin with. Patch by Stefano Rivera.

bpo-29341 [https://bugs.python.org/issue?@action=redirect&bpo=29341]: Clarify in the docstrings of os methods that path-like objects are also accepted as input parameters.

bpo-35050 [https://bugs.python.org/issue?@action=redirect&bpo=35050]: socket: Fix off-by-one bug in length check for AF_ALG name and type.

bpo-29743 [https://bugs.python.org/issue?@action=redirect&bpo=29743]: Raise ValueError instead of OverflowError in case of a negative _length_ in a ctypes.Array subclass. Also raise TypeError instead of AttributeError for non-integer _length_. Original patch by Oren Milman.

bpo-16806 [https://bugs.python.org/issue?@action=redirect&bpo=16806]: Fix lineno and col_offset for multi-line string tokens.

bpo-35029 [https://bugs.python.org/issue?@action=redirect&bpo=35029]: SyntaxWarning raised as an exception at code generation time will be now replaced with a SyntaxError for better error reporting.

bpo-34983 [https://bugs.python.org/issue?@action=redirect&bpo=34983]: Expose symtable.Symbol.is_nonlocal() in the symtable module. Patch by Pablo Galindo.

bpo-34974 [https://bugs.python.org/issue?@action=redirect&bpo=34974]: bytes and bytearray constructors no longer convert unexpected exceptions (e.g. MemoryError and KeyboardInterrupt) to TypeError.

bpo-34939 [https://bugs.python.org/issue?@action=redirect&bpo=34939]: Allow annotated names in module namespace that are declared global before the annotation happens. Patch by Pablo Galindo.

bpo-34973 [https://bugs.python.org/issue?@action=redirect&bpo=34973]: Fixed crash in bytes() when the list argument is mutated while it is iterated.

bpo-34876 [https://bugs.python.org/issue?@action=redirect&bpo=34876]: The lineno and col_offset attributes of the AST for decorated function and class refer now to the position of the corresponding def, async def and class instead of the position of the first decorator. This leads to more correct line reporting in tracing. This is the only case when the position of child AST nodes can precede the position of the parent AST node.

bpo-34879 [https://bugs.python.org/issue?@action=redirect&bpo=34879]: Fix a possible null pointer dereference in bytesobject.c. Patch by Zackery Spytz.

bpo-34784 [https://bugs.python.org/issue?@action=redirect&bpo=34784]: Fix the implementation of PyStructSequence_NewType in order to create heap allocated StructSequences.

bpo-32912 [https://bugs.python.org/issue?@action=redirect&bpo=32912]: A SyntaxWarning is now emitted instead of a DeprecationWarning for invalid escape sequences in string and bytes literals.

bpo-34854 [https://bugs.python.org/issue?@action=redirect&bpo=34854]: Fixed a crash in compiling string annotations containing a lambda with a keyword-only argument that doesn’t have a default value.

bpo-34850 [https://bugs.python.org/issue?@action=redirect&bpo=34850]: The compiler now produces a SyntaxWarning when identity checks (is and is not) are used with certain types of literals (e.g. strings, ints). These can often work by accident in CPython, but are not guaranteed by the language spec. The warning advises users to use equality tests (== and !=) instead.

bpo-34824 [https://bugs.python.org/issue?@action=redirect&bpo=34824]: Fix a possible null pointer dereference in Modules/_ssl.c. Patch by Zackery Spytz.

bpo-30156 [https://bugs.python.org/issue?@action=redirect&bpo=30156]: The C function property_descr_get() uses a “cached” tuple to optimize function calls. But this tuple can be discovered in debug mode with sys.getobjects(). Remove the optimization, it’s not really worth it and it causes 3 different crashes last years.

bpo-34762 [https://bugs.python.org/issue?@action=redirect&bpo=34762]: Fix contextvars C API to use PyObject* pointer types.

bpo-34751 [https://bugs.python.org/issue?@action=redirect&bpo=34751]: The hash function for tuples is now based on xxHash which gives better collision results on (formerly) pathological cases. Additionally, on 64-bit systems it improves tuple hashes in general. Patch by Jeroen Demeyer with substantial contributions by Tim Peters.

bpo-34735 [https://bugs.python.org/issue?@action=redirect&bpo=34735]: Fix a memory leak in Modules/timemodule.c. Patch by Zackery Spytz.

bpo-34683 [https://bugs.python.org/issue?@action=redirect&bpo=34683]: Fixed a bug where some SyntaxError error pointed to locations that were off-by-one.

bpo-34651 [https://bugs.python.org/issue?@action=redirect&bpo=34651]: Only allow the main interpreter to fork. The avoids the possibility of affecting the main interpreter, which is critical to operation of the runtime.

bpo-34653 [https://bugs.python.org/issue?@action=redirect&bpo=34653]: Remove unused function PyParser_SimpleParseStringFilename.

bpo-32236 [https://bugs.python.org/issue?@action=redirect&bpo=32236]: Warn that line buffering is not supported if open() is called with binary mode and buffering=1.

bpo-34641 [https://bugs.python.org/issue?@action=redirect&bpo=34641]: Further restrict the syntax of the left-hand side of keyword arguments in function calls. In particular, f((keyword)=arg) is now disallowed.

bpo-34637 [https://bugs.python.org/issue?@action=redirect&bpo=34637]: Make the start argument to sum() visible as a keyword argument.

bpo-1621 [https://bugs.python.org/issue?@action=redirect&bpo=1621]: Do not assume signed integer overflow behavior (C undefined behavior) when performing set hash table resizing.

bpo-34588 [https://bugs.python.org/issue?@action=redirect&bpo=34588]: Fix an off-by-one in the recursive call pruning feature of traceback formatting.

bpo-34485 [https://bugs.python.org/issue?@action=redirect&bpo=34485]: On Windows, the LC_CTYPE is now set to the user preferred locale at startup. Previously, the LC_CTYPE locale was “C” at startup, but changed when calling setlocale(LC_CTYPE, “”) or setlocale(LC_ALL, “”).

bpo-34485 [https://bugs.python.org/issue?@action=redirect&bpo=34485]: Standard streams like sys.stdout now use the “surrogateescape” error handler, instead of “strict”, on the POSIX locale (when the C locale is not coerced and the UTF-8 Mode is disabled).

bpo-34485 [https://bugs.python.org/issue?@action=redirect&bpo=34485]: Fix the error handler of standard streams like sys.stdout: PYTHONIOENCODING=”:” is now ignored instead of setting the error handler to “strict”.

bpo-34485 [https://bugs.python.org/issue?@action=redirect&bpo=34485]: Python now gets the locale encoding with C code to initialize the encoding of standard streams like sys.stdout. Moreover, the encoding is now initialized to the Python codec name to get a normalized encoding name and to ensure that the codec is loaded. The change avoids importing _bootlocale and _locale modules at startup by default.

bpo-34527 [https://bugs.python.org/issue?@action=redirect&bpo=34527]: On FreeBSD, Py_DecodeLocale() and Py_EncodeLocale() now also forces the ASCII encoding if the LC_CTYPE locale is “POSIX”, not only if the LC_CTYPE locale is “C”.

bpo-34527 [https://bugs.python.org/issue?@action=redirect&bpo=34527]: The UTF-8 Mode is now also enabled by the “POSIX” locale, not only by the “C” locale.

bpo-34403 [https://bugs.python.org/issue?@action=redirect&bpo=34403]: On HP-UX with C or POSIX locale, sys.getfilesystemencoding() now returns “ascii” instead of “roman8” (when the UTF-8 Mode is disabled and the C locale is not coerced).

bpo-34523 [https://bugs.python.org/issue?@action=redirect&bpo=34523]: The Python filesystem encoding is now read earlier during the Python initialization.

bpo-12458 [https://bugs.python.org/issue?@action=redirect&bpo=12458]: Tracebacks show now correct line number for subexpressions in multiline expressions. Tracebacks show now the line number of the first line for multiline expressions instead of the line number of the last subexpression.

bpo-34408 [https://bugs.python.org/issue?@action=redirect&bpo=34408]: Prevent a null pointer dereference and resource leakage in PyInterpreterState_New().

bpo-34400 [https://bugs.python.org/issue?@action=redirect&bpo=34400]: Fix undefined behavior in parsetok.c. Patch by Zackery Spytz.

bpo-33073 [https://bugs.python.org/issue?@action=redirect&bpo=33073]: Added as_integer_ratio to ints to make them more interoperable with floats.

bpo-34377 [https://bugs.python.org/issue?@action=redirect&bpo=34377]: Update valgrind suppression list to use _PyObject_Free/_PyObject_Realloc instead of PyObject_Free/PyObject_Realloc.

bpo-34353 [https://bugs.python.org/issue?@action=redirect&bpo=34353]: Added the “socket” option in the stat.filemode() Python implementation to match the C implementation.

bpo-34320 [https://bugs.python.org/issue?@action=redirect&bpo=34320]: Fix dict(od) didn’t copy iteration order of OrderedDict.

bpo-34113 [https://bugs.python.org/issue?@action=redirect&bpo=34113]: Fixed crash on debug builds when opcode stack was adjusted with negative numbers. Patch by Constantin Petrisor.

bpo-34100 [https://bugs.python.org/issue?@action=redirect&bpo=34100]: Compiler now merges constants in tuples and frozensets recursively. Code attributes like co_names are merged too.

bpo-34151 [https://bugs.python.org/issue?@action=redirect&bpo=34151]: Performance of list concatenation, repetition and slicing operations is slightly improved. Patch by Sergey Fedoseev.

bpo-34170 [https://bugs.python.org/issue?@action=redirect&bpo=34170]: -X dev: it is now possible to override the memory allocator using PYTHONMALLOC even if the developer mode is enabled.

bpo-33237 [https://bugs.python.org/issue?@action=redirect&bpo=33237]: Improved AttributeError message for partially initialized module.

bpo-34149 [https://bugs.python.org/issue?@action=redirect&bpo=34149]: Fix min and max functions to get default behavior when key is None.

bpo-34125 [https://bugs.python.org/issue?@action=redirect&bpo=34125]: Profiling of unbound built-in methods now works when **kwargs is given.

bpo-34141 [https://bugs.python.org/issue?@action=redirect&bpo=34141]: Optimized pickling atomic types (None, bool, int, float, bytes, str).

bpo-34126 [https://bugs.python.org/issue?@action=redirect&bpo=34126]: Fix crashes when profiling certain invalid calls of unbound methods. Patch by Jeroen Demeyer.

bpo-24618 [https://bugs.python.org/issue?@action=redirect&bpo=24618]: Fixed reading invalid memory when create the code object with too small varnames tuple or too large argument counts.

bpo-34068 [https://bugs.python.org/issue?@action=redirect&bpo=34068]: In io.IOBase.close(), ensure that the closed attribute is not set with a live exception. Patch by Zackery Spytz and Serhiy Storchaka.

bpo-34087 [https://bugs.python.org/issue?@action=redirect&bpo=34087]: Fix buffer overflow while converting unicode to numeric values.

bpo-34080 [https://bugs.python.org/issue?@action=redirect&bpo=34080]: Fixed a memory leak in the compiler when it raised some uncommon errors during tokenizing.

bpo-34066 [https://bugs.python.org/issue?@action=redirect&bpo=34066]: Disabled interruption by Ctrl-C between calling open() and entering a with block in with open().

bpo-34042 [https://bugs.python.org/issue?@action=redirect&bpo=34042]: Fix dict.copy() to maintain correct total refcount (as reported by sys.gettotalrefcount()).

bpo-33418 [https://bugs.python.org/issue?@action=redirect&bpo=33418]: Fix potential memory leak in function object when it creates reference cycle.

bpo-33985 [https://bugs.python.org/issue?@action=redirect&bpo=33985]: Implement contextvars.ContextVar.name attribute.

bpo-33956 [https://bugs.python.org/issue?@action=redirect&bpo=33956]: Update vendored Expat library copy to version 2.2.5.

bpo-24596 [https://bugs.python.org/issue?@action=redirect&bpo=24596]: Decref the module object in PyRun_SimpleFileExFlags() before calling PyErr_Print(). Patch by Zackery Spytz.

bpo-33451 [https://bugs.python.org/issue?@action=redirect&bpo=33451]: Close directly executed pyc files before calling PyEval_EvalCode().

bpo-1617161 [https://bugs.python.org/issue?@action=redirect&bpo=1617161]: The hash of BuiltinMethodType instances (methods of built-in classes) now depends on the hash of the identity of __self__ instead of its value. The hash and equality of ModuleType and MethodWrapperType instances (methods of user-defined classes and some methods of built-in classes like str.__add__) now depend on the hash and equality of the identity of __self__ instead of its value. MethodWrapperType instances no longer support ordering.

bpo-33824 [https://bugs.python.org/issue?@action=redirect&bpo=33824]: Fix “LC_ALL=C python3.7 -V”: reset properly the command line parser when the encoding changes after reading the Python configuration.

bpo-33803 [https://bugs.python.org/issue?@action=redirect&bpo=33803]: Fix a crash in hamt.c caused by enabling GC tracking for an object that hadn’t all of its fields set to NULL.

bpo-33738 [https://bugs.python.org/issue?@action=redirect&bpo=33738]: Seven macro incompatibilities with the Limited API were fixed, and the macros PyIter_Check(), PyIndex_Check() and PyExceptionClass_Name() were added as functions. A script for automatic macro checks was added.

bpo-33786 [https://bugs.python.org/issue?@action=redirect&bpo=33786]: Fix asynchronous generators to handle GeneratorExit in athrow() correctly

bpo-30167 [https://bugs.python.org/issue?@action=redirect&bpo=30167]: PyRun_SimpleFileExFlags removes __cached__ from module in addition to __file__.

bpo-33706 [https://bugs.python.org/issue?@action=redirect&bpo=33706]: Fix a crash in Python initialization when parsing the command line options. Thanks Christoph Gohlke for the bug report and the fix!

bpo-33597 [https://bugs.python.org/issue?@action=redirect&bpo=33597]: Reduce PyGC_Head size from 3 words to 2 words.

bpo-30654 [https://bugs.python.org/issue?@action=redirect&bpo=30654]: Fixed reset of the SIGINT handler to SIG_DFL on interpreter shutdown even when there was a custom handler set previously. Patch by Philipp Kerling.

bpo-33622 [https://bugs.python.org/issue?@action=redirect&bpo=33622]: Fixed a leak when the garbage collector fails to add an object with the __del__ method or referenced by it into the gc.garbage list. PyGC_Collect() can now be called when an exception is set and preserves it.

bpo-33462 [https://bugs.python.org/issue?@action=redirect&bpo=33462]: Make dict and dict views reversible. Patch by Rémi Lapeyre.

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: A RuntimeError is now raised when the custom metaclass doesn’t provide the __classcell__ entry in the namespace passed to type.__new__. A DeprecationWarning was emitted in Python 3.6–3.7.

bpo-33499 [https://bugs.python.org/issue?@action=redirect&bpo=33499]: Add PYTHONPYCACHEPREFIX environment variable and -X pycache_prefix command-line option to set an alternate root directory for writing module bytecode cache files.

bpo-25711 [https://bugs.python.org/issue?@action=redirect&bpo=25711]: The zipimport module has been rewritten in pure Python.

bpo-33509 [https://bugs.python.org/issue?@action=redirect&bpo=33509]: Fix module_globals parameter of warnings.warn_explicit(): don’t crash if module_globals is not a dict.

bpo-31849 [https://bugs.python.org/issue?@action=redirect&bpo=31849]: Fix signed/unsigned comparison warning in pyhash.c.

bpo-33475 [https://bugs.python.org/issue?@action=redirect&bpo=33475]: Fixed miscellaneous bugs in converting annotations to strings and optimized parentheses in the string representation.

bpo-20104 [https://bugs.python.org/issue?@action=redirect&bpo=20104]: Added support for the setpgroup, resetids, setsigmask, setsigdef and scheduler parameters of posix_spawn. Patch by Pablo Galindo.

bpo-33391 [https://bugs.python.org/issue?@action=redirect&bpo=33391]: Fix a leak in set_symmetric_difference().

bpo-33363 [https://bugs.python.org/issue?@action=redirect&bpo=33363]: Raise a SyntaxError for async with and async for statements outside of async functions.

bpo-28055 [https://bugs.python.org/issue?@action=redirect&bpo=28055]: Fix unaligned accesses in siphash24(). Patch by Rolf Eike Beer.

bpo-33128 [https://bugs.python.org/issue?@action=redirect&bpo=33128]: Fix a bug that causes PathFinder to appear twice on sys.meta_path. Patch by Pablo Galindo Salgado.

bpo-33331 [https://bugs.python.org/issue?@action=redirect&bpo=33331]: Modules imported last are now cleared first at interpreter shutdown.

bpo-33312 [https://bugs.python.org/issue?@action=redirect&bpo=33312]: Fixed clang ubsan (undefined behavior sanitizer) warnings in dictobject.c by adjusting how the internal struct _dictkeysobject shared keys structure is declared.

bpo-33305 [https://bugs.python.org/issue?@action=redirect&bpo=33305]: Improved syntax error messages for invalid numerical literals.

bpo-33306 [https://bugs.python.org/issue?@action=redirect&bpo=33306]: Improved syntax error messages for unbalanced parentheses.

bpo-33234 [https://bugs.python.org/issue?@action=redirect&bpo=33234]: The list constructor will pre-size and not over-allocate when the input length is known.

bpo-33270 [https://bugs.python.org/issue?@action=redirect&bpo=33270]: Intern the names for all anonymous code objects. Patch by Zackery Spytz.

bpo-30455 [https://bugs.python.org/issue?@action=redirect&bpo=30455]: The C and Python code and the documentation related to tokens are now generated from a single source file Grammar/Tokens.

bpo-33176 [https://bugs.python.org/issue?@action=redirect&bpo=33176]: Add a toreadonly() method to memoryviews.

bpo-33231 [https://bugs.python.org/issue?@action=redirect&bpo=33231]: Fix potential memory leak in normalizestring().

bpo-33205 [https://bugs.python.org/issue?@action=redirect&bpo=33205]: Change dict growth function from round_up_to_power_2(used*2+hashtable_size/2) to round_up_to_power_2(used*3). Previously, dict is shrinked only when used == 0. Now dict has more chance to be shrinked.

bpo-29922 [https://bugs.python.org/issue?@action=redirect&bpo=29922]: Improved error messages in ‘async with’ when __aenter__() or __aexit__() return non-awaitable object.

bpo-33199 [https://bugs.python.org/issue?@action=redirect&bpo=33199]: Fix ma_version_tag in dict implementation is uninitialized when copying from key-sharing dict.

bpo-33053 [https://bugs.python.org/issue?@action=redirect&bpo=33053]: When using the -m switch, sys.path[0] is now explicitly expanded as the starting working directory, rather than being left as the empty path (which allows imports from the current working directory at the time of the import)

bpo-33138 [https://bugs.python.org/issue?@action=redirect&bpo=33138]: Changed standard error message for non-pickleable and non-copyable types. It now says “cannot pickle” instead of “can’t pickle” or “cannot serialize”.

bpo-33018 [https://bugs.python.org/issue?@action=redirect&bpo=33018]: Improve consistency of errors raised by issubclass() when called with a non-class and an abstract base class as the first and second arguments, respectively. Patch by Josh Bronson.

bpo-33083 [https://bugs.python.org/issue?@action=redirect&bpo=33083]: math.factorial no longer accepts arguments that are not int-like. Patch by Pablo Galindo.

bpo-33041 [https://bugs.python.org/issue?@action=redirect&bpo=33041]: Added new opcode END_ASYNC_FOR and fixes the following issues:

Setting global StopAsyncIteration no longer breaks async for loops.

Jumping into an async for loop is now disabled.

Jumping out of an async for loop no longer corrupts the stack.

bpo-25750 [https://bugs.python.org/issue?@action=redirect&bpo=25750]: Fix rare Python crash due to bad refcounting in type_getattro() if a descriptor deletes itself from the class. Patch by Jeroen Demeyer.

bpo-33041 [https://bugs.python.org/issue?@action=redirect&bpo=33041]: Fixed bytecode generation for “async for” with a complex target. A StopAsyncIteration raised on assigning or unpacking will be now propagated instead of stopping the iteration.

bpo-33026 [https://bugs.python.org/issue?@action=redirect&bpo=33026]: Fixed jumping out of “with” block by setting f_lineno.

bpo-33005 [https://bugs.python.org/issue?@action=redirect&bpo=33005]: Fix a crash on fork when using a custom memory allocator (ex: using PYTHONMALLOC env var). _PyGILState_Reinit() and _PyInterpreterState_Enable() now use the default RAW memory allocator to allocate a new interpreters mutex on fork.

bpo-32911 [https://bugs.python.org/issue?@action=redirect&bpo=32911]: Due to unexpected compatibility issues discovered during downstream beta testing, reverted bpo-29463 [https://bugs.python.org/issue?@action=redirect&bpo=29463]. docstring field is removed from Module, ClassDef, FunctionDef, and AsyncFunctionDef ast nodes which was added in 3.7a1. Docstring expression is restored as a first statement in their body. Based on patch by Inada Naoki.

bpo-17288 [https://bugs.python.org/issue?@action=redirect&bpo=17288]: Prevent jumps from ‘return’ and ‘exception’ trace events.

bpo-32946 [https://bugs.python.org/issue?@action=redirect&bpo=32946]: Importing names from already imported module with “from … import …” is now 30% faster if the module is not a package.

bpo-32932 [https://bugs.python.org/issue?@action=redirect&bpo=32932]: Make error message more revealing when there are non-str objects in __all__.

bpo-32925 [https://bugs.python.org/issue?@action=redirect&bpo=32925]: Optimized iterating and containing test for literal lists consisting of non-constants: x in [a, b] and for x in [a, b]. The case of all constant elements already was optimized.

bpo-32889 [https://bugs.python.org/issue?@action=redirect&bpo=32889]: Update Valgrind suppression list to account for the rename of Py_ADDRESS_IN_RANG to address_in_range.

bpo-32836 [https://bugs.python.org/issue?@action=redirect&bpo=32836]: Don’t use temporary variables in cases of list/dict/set comprehensions

bpo-31356 [https://bugs.python.org/issue?@action=redirect&bpo=31356]: Remove the new API added in bpo-31356 [https://bugs.python.org/issue?@action=redirect&bpo=31356] (gc.ensure_disabled() context manager).

bpo-32305 [https://bugs.python.org/issue?@action=redirect&bpo=32305]: For namespace packages, ensure that both __file__ and __spec__.origin are set to None.

bpo-32303 [https://bugs.python.org/issue?@action=redirect&bpo=32303]: Make sure __spec__.loader matches __loader__ for namespace packages.

bpo-32711 [https://bugs.python.org/issue?@action=redirect&bpo=32711]: Fix the warning messages for Python/ast_unparse.c. Patch by Stéphane Wirtel

bpo-32583 [https://bugs.python.org/issue?@action=redirect&bpo=32583]: Fix possible crashing in builtin Unicode decoders caused by write out-of-bound errors when using customized decode error handlers.

bpo-32489 [https://bugs.python.org/issue?@action=redirect&bpo=32489]: A continue statement is now allowed in the finally clause.

bpo-17611 [https://bugs.python.org/issue?@action=redirect&bpo=17611]: Simplified the interpreter loop by moving the logic of unrolling the stack of blocks into the compiler. The compiler emits now explicit instructions for adjusting the stack of values and calling the cleaning up code for break, continue and return.

Removed opcodes BREAK_LOOP, CONTINUE_LOOP, SETUP_LOOP and SETUP_EXCEPT. Added new opcodes ROT_FOUR, BEGIN_FINALLY and CALL_FINALLY and POP_FINALLY. Changed the behavior of END_FINALLY and WITH_CLEANUP_START.

bpo-32285 [https://bugs.python.org/issue?@action=redirect&bpo=32285]: New function unicodedata.is_normalized, which can check whether a string is in a specific normal form.

bpo-10544 [https://bugs.python.org/issue?@action=redirect&bpo=10544]: Yield expressions are now disallowed in comprehensions and generator expressions except the expression for the outermost iterable.

bpo-32117 [https://bugs.python.org/issue?@action=redirect&bpo=32117]: Iterable unpacking is now allowed without parentheses in yield and return statements, e.g. yield 1, 2, 3, *rest. Thanks to David Cuthbert for the change and Jordan Chapman for added tests.

bpo-31902 [https://bugs.python.org/issue?@action=redirect&bpo=31902]: Fix the col_offset attribute for ast nodes ast.AsyncFor, ast.AsyncFunctionDef, and ast.AsyncWith. Previously, col_offset pointed to the keyword after async.

bpo-25862 [https://bugs.python.org/issue?@action=redirect&bpo=25862]: Fix assertion failures in the tell() method of io.TextIOWrapper. Patch by Zackery Spytz.

bpo-21983 [https://bugs.python.org/issue?@action=redirect&bpo=21983]: Fix a crash in ctypes.cast() in case the type argument is a ctypes structured data type. Patch by Eryk Sun and Oren Milman.

bpo-31577 [https://bugs.python.org/issue?@action=redirect&bpo=31577]: Fix a crash in os.utime() in case of a bad ns argument. Patch by Oren Milman.

bpo-29832 [https://bugs.python.org/issue?@action=redirect&bpo=29832]: Remove references to ‘getsockaddrarg’ from various socket error messages. Patch by Oren Milman.

Library

bpo-35845 [https://bugs.python.org/issue?@action=redirect&bpo=35845]: Add ‘order’ parameter to memoryview.tobytes().

bpo-35864 [https://bugs.python.org/issue?@action=redirect&bpo=35864]: The _asdict() method for collections.namedtuple now returns a regular dict instead of an OrderedDict.

bpo-35537 [https://bugs.python.org/issue?@action=redirect&bpo=35537]: An ExitStack is now used internally within subprocess.Popen to clean up pipe file handles. No behavior change in normal operation. But if closing one handle were ever to cause an exception, the others will now be closed instead of leaked. (patch by Giampaolo Rodola)

bpo-35847 [https://bugs.python.org/issue?@action=redirect&bpo=35847]: RISC-V needed the CTYPES_PASS_BY_REF_HACK. Fixes ctypes Structure test_pass_by_value.

bpo-35813 [https://bugs.python.org/issue?@action=redirect&bpo=35813]: Shared memory submodule added to multiprocessing to avoid need for serialization between processes

bpo-35780 [https://bugs.python.org/issue?@action=redirect&bpo=35780]: Fix lru_cache() errors arising in recursive, reentrant, or multi-threaded code. These errors could result in orphan links and in the cache being trapped in a state with fewer than the specified maximum number of links. Fix handling of negative maxsize which should have been treated as zero. Fix errors in toggling the “full” status flag. Fix misordering of links when errors are encountered. Sync-up the C code and pure Python code for the space saving path in functions with a single positional argument. In this common case, the space overhead of an lru cache entry is reduced by almost half. Fix counting of cache misses. In error cases, the miss count was out of sync with the actual number of times the underlying user function was called.

bpo-35537 [https://bugs.python.org/issue?@action=redirect&bpo=35537]: os.posix_spawn() and os.posix_spawnp() now have a setsid parameter.

bpo-23846 [https://bugs.python.org/issue?@action=redirect&bpo=23846]: asyncio.ProactorEventLoop now catches and logs send errors when the self-pipe is full.

bpo-34323 [https://bugs.python.org/issue?@action=redirect&bpo=34323]: asyncio: Enhance IocpProactor.close() log: wait 1 second before the first log, then log every second. Log also the number of seconds since close() was called.

bpo-35674 [https://bugs.python.org/issue?@action=redirect&bpo=35674]: Add a new os.posix_spawnp() function. Patch by Joannah Nanjekye.

bpo-35733 [https://bugs.python.org/issue?@action=redirect&bpo=35733]: ast.Constant(boolean) no longer an instance of ast.Num. Patch by Anthony Sottile.

bpo-35726 [https://bugs.python.org/issue?@action=redirect&bpo=35726]: QueueHandler.prepare() now makes a copy of the record before modifying and enqueueing it, to avoid affecting other handlers in the chain.

bpo-35719 [https://bugs.python.org/issue?@action=redirect&bpo=35719]: Sped up multi-argument math functions atan2(), copysign(), remainder() and hypot() by 1.3–2.5 times.

bpo-35717 [https://bugs.python.org/issue?@action=redirect&bpo=35717]: Fix KeyError exception raised when using enums and compile. Patch contributed by Rémi Lapeyre.

bpo-35699 [https://bugs.python.org/issue?@action=redirect&bpo=35699]: Fixed detection of Visual Studio Build Tools 2017 in distutils

bpo-32710 [https://bugs.python.org/issue?@action=redirect&bpo=32710]: Fix memory leaks in asyncio ProactorEventLoop on overlapped operation failure.

bpo-35702 [https://bugs.python.org/issue?@action=redirect&bpo=35702]: The time.CLOCK_UPTIME_RAW constant is now available for macOS 10.12.

bpo-32710 [https://bugs.python.org/issue?@action=redirect&bpo=32710]: Fix a memory leak in asyncio in the ProactorEventLoop when ReadFile() or WSASend() overlapped operation fail immediately: release the internal buffer.

bpo-35682 [https://bugs.python.org/issue?@action=redirect&bpo=35682]: Fix asyncio.ProactorEventLoop.sendfile(): don’t attempt to set the result of an internal future if it’s already done.

bpo-35283 [https://bugs.python.org/issue?@action=redirect&bpo=35283]: Add a deprecated warning for the threading.Thread.isAlive() method. Patch by Donghee Na.

bpo-35664 [https://bugs.python.org/issue?@action=redirect&bpo=35664]: Improve operator.itemgetter() performance by 33% with optimized argument handling and with adding a fast path for the common case of a single non-negative integer index into a tuple (which is the typical use case in the standard library).

bpo-35643 [https://bugs.python.org/issue?@action=redirect&bpo=35643]: Fixed a SyntaxWarning: invalid escape sequence in Modules/_sha3/cleanup.py. Patch by Mickaël Schoentgen.

bpo-35619 [https://bugs.python.org/issue?@action=redirect&bpo=35619]: Improved support of custom data descriptors in help() and pydoc.

bpo-28503 [https://bugs.python.org/issue?@action=redirect&bpo=28503]: The crypt module now internally uses the crypt_r() library function instead of crypt() when available.

bpo-35614 [https://bugs.python.org/issue?@action=redirect&bpo=35614]: Fixed help() on metaclasses. Patch by Sanyam Khurana.

bpo-35568 [https://bugs.python.org/issue?@action=redirect&bpo=35568]: Expose raise(signum) as raise_signal

bpo-35588 [https://bugs.python.org/issue?@action=redirect&bpo=35588]: The floor division and modulo operations and the divmod() function on fractions.Fraction types are 2–4x faster. Patch by Stefan Behnel.

bpo-35585 [https://bugs.python.org/issue?@action=redirect&bpo=35585]: Speed-up building enums by value, e.g. http.HTTPStatus(200).

bpo-30561 [https://bugs.python.org/issue?@action=redirect&bpo=30561]: random.gammavariate(1.0, beta) now computes the same result as random.expovariate(1.0 / beta). This synchronizes the two algorithms and eliminates some idiosyncrasies in the old implementation. It does however produce a difference stream of random variables than it used to.

bpo-35537 [https://bugs.python.org/issue?@action=redirect&bpo=35537]: The subprocess module can now use the os.posix_spawn() function in some cases for better performance.

bpo-35526 [https://bugs.python.org/issue?@action=redirect&bpo=35526]: Delaying the ‘joke’ of barry_as_FLUFL.mandatory to Python version 4.0

bpo-35523 [https://bugs.python.org/issue?@action=redirect&bpo=35523]: Remove ctypes callback workaround: no longer create a callback at startup. Avoid SELinux alert on import ctypes and import uuid.

bpo-31784 [https://bugs.python.org/issue?@action=redirect&bpo=31784]: uuid.uuid1() now calls time.time_ns() rather than int(time.time() * 1e9).

bpo-35513 [https://bugs.python.org/issue?@action=redirect&bpo=35513]: TextTestRunner of unittest.runner now uses time.perf_counter() rather than time.time() to measure the execution time of a test: time.time() can go backwards, whereas time.perf_counter() is monotonic.

bpo-35502 [https://bugs.python.org/issue?@action=redirect&bpo=35502]: Fixed reference leaks in xml.etree.ElementTree.TreeBuilder in case of unfinished building of the tree (in particular when an error was raised during parsing XML).

bpo-35348 [https://bugs.python.org/issue?@action=redirect&bpo=35348]: Make platform.architecture() parsing of file command output more reliable: add the -b option to the file command to omit the filename, force the usage of the C locale, and search also the “shared object” pattern.

bpo-35491 [https://bugs.python.org/issue?@action=redirect&bpo=35491]: multiprocessing: Add Pool.__repr__() and enhance BaseProcess.__repr__() (add pid and parent pid) to ease debugging. Pool state constant values are now strings instead of integers, for example RUN value becomes 'RUN' instead of 0.

bpo-35477 [https://bugs.python.org/issue?@action=redirect&bpo=35477]: multiprocessing.Pool.__enter__() now fails if the pool is not running: with pool: fails if used more than once.

bpo-31446 [https://bugs.python.org/issue?@action=redirect&bpo=31446]: Copy command line that was passed to CreateProcessW since this function can change the content of the input buffer.

bpo-35471 [https://bugs.python.org/issue?@action=redirect&bpo=35471]: Python 2.4 dropped MacOS 9 support. The macpath module was deprecated in Python 3.7. The module is now removed.

bpo-23057 [https://bugs.python.org/issue?@action=redirect&bpo=23057]: Unblock Proactor event loop when keyboard interrupt is received on Windows

bpo-35052 [https://bugs.python.org/issue?@action=redirect&bpo=35052]: Fix xml.dom.minidom cloneNode() on a document with an entity: pass the correct arguments to the user data handler of an entity.

bpo-20239 [https://bugs.python.org/issue?@action=redirect&bpo=20239]: Allow repeated assignment deletion of unittest.mock.Mock attributes. Patch by Pablo Galindo.

bpo-17185 [https://bugs.python.org/issue?@action=redirect&bpo=17185]: Set __signature__ on mock for inspect to get signature. Patch by Karthikeyan Singaravelan.

bpo-35445 [https://bugs.python.org/issue?@action=redirect&bpo=35445]: Memory errors during creating posix.environ no longer ignored.

bpo-35415 [https://bugs.python.org/issue?@action=redirect&bpo=35415]: Validate fileno= argument to socket.socket().

bpo-35424 [https://bugs.python.org/issue?@action=redirect&bpo=35424]: multiprocessing.Pool destructor now emits ResourceWarning if the pool is still running.

bpo-35330 [https://bugs.python.org/issue?@action=redirect&bpo=35330]: When a Mock instance was used to wrap an object, if side_effect is used in one of the mocks of it methods, don’t call the original implementation and return the result of using the side effect the same way that it is done with return_value.

bpo-35346 [https://bugs.python.org/issue?@action=redirect&bpo=35346]: Drop Mac OS 9 and Rhapsody support from the platform module. Rhapsody last release was in 2000. Mac OS 9 last release was in 2001.

bpo-10496 [https://bugs.python.org/issue?@action=redirect&bpo=10496]: check_environ() of distutils.utils now catches KeyError on calling pwd.getpwuid(): don’t create the HOME environment variable in this case.

bpo-10496 [https://bugs.python.org/issue?@action=redirect&bpo=10496]: posixpath.expanduser() now returns the input path unchanged if the HOME environment variable is not set and the current user has no home directory (if the current user identifier doesn’t exist in the password database). This change fix the site module if the current user doesn’t exist in the password database (if the user has no home directory).

bpo-35389 [https://bugs.python.org/issue?@action=redirect&bpo=35389]: platform.libc_ver() now uses os.confstr('CS_GNU_LIBC_VERSION') if available and the executable parameter is not set.

bpo-35394 [https://bugs.python.org/issue?@action=redirect&bpo=35394]: Add empty slots to asyncio abstract protocols.

bpo-35310 [https://bugs.python.org/issue?@action=redirect&bpo=35310]: Fix a bug in select.select() where, in some cases, the file descriptor sequences were returned unmodified after a signal interruption, even though the file descriptors might not be ready yet. select.select() will now always return empty lists if a timeout has occurred. Patch by Oran Avraham.

bpo-35380 [https://bugs.python.org/issue?@action=redirect&bpo=35380]: Enable TCP_NODELAY on Windows for proactor asyncio event loop.

bpo-35341 [https://bugs.python.org/issue?@action=redirect&bpo=35341]: Add generic version of collections.OrderedDict to the typing module. Patch by Ismo Toijala.

bpo-35371 [https://bugs.python.org/issue?@action=redirect&bpo=35371]: Fixed possible crash in os.utime() on Windows when pass incorrect arguments.

bpo-35346 [https://bugs.python.org/issue?@action=redirect&bpo=35346]: platform.uname() now redirects stderr to os.devnull when running external programs like cmd /c ver.

bpo-35066 [https://bugs.python.org/issue?@action=redirect&bpo=35066]: Previously, calling the strftime() method on a datetime object with a trailing ‘%’ in the format string would result in an exception. However, this only occurred when the datetime C module was being used; the python implementation did not match this behavior. Datetime is now PEP-399 compliant, and will not throw an exception on a trailing ‘%’.

bpo-35345 [https://bugs.python.org/issue?@action=redirect&bpo=35345]: The function platform.popen has been removed, it was deprecated since Python 3.3: use os.popen() instead.

bpo-35344 [https://bugs.python.org/issue?@action=redirect&bpo=35344]: On macOS, platform.platform() now uses platform.mac_ver(), if it returns a non-empty release string, to get the macOS version rather than the darwin version.

bpo-35312 [https://bugs.python.org/issue?@action=redirect&bpo=35312]: Make lib2to3.pgen2.parse.ParseError round-trip pickle-able. Patch by Anthony Sottile.

bpo-35308 [https://bugs.python.org/issue?@action=redirect&bpo=35308]: Fix regression in webbrowser where default browsers may be preferred over browsers in the BROWSER environment variable.

bpo-24746 [https://bugs.python.org/issue?@action=redirect&bpo=24746]: Avoid stripping trailing whitespace in doctest fancy diff. Original patch by R. David Murray & Jairo Trad. Enhanced by Sanyam Khurana.

bpo-28604 [https://bugs.python.org/issue?@action=redirect&bpo=28604]: locale.localeconv() now sets temporarily the LC_CTYPE locale to the LC_MONETARY locale if the two locales are different and monetary strings are non-ASCII. This temporary change affects other threads.

bpo-35277 [https://bugs.python.org/issue?@action=redirect&bpo=35277]: Update ensurepip to install pip 18.1 and setuptools 40.6.2.

bpo-24209 [https://bugs.python.org/issue?@action=redirect&bpo=24209]: Adds IPv6 support when invoking http.server directly.

bpo-35226 [https://bugs.python.org/issue?@action=redirect&bpo=35226]: Recursively check arguments when testing for equality of unittest.mock.call objects and add note that tracking of parameters used to create ancestors of mocks in mock_calls is not possible.

bpo-29564 [https://bugs.python.org/issue?@action=redirect&bpo=29564]: The warnings module now suggests to enable tracemalloc if the source is specified, the tracemalloc module is available, but tracemalloc is not tracing memory allocations.

bpo-35189 [https://bugs.python.org/issue?@action=redirect&bpo=35189]: Modify the following fnctl function to retry if interrupted by a signal (EINTR): flock, lockf, fnctl

bpo-30064 [https://bugs.python.org/issue?@action=redirect&bpo=30064]: Use add_done_callback() in sock_* asyncio API to unsubscribe reader/writer early on calcellation.

bpo-35186 [https://bugs.python.org/issue?@action=redirect&bpo=35186]: Removed the “built with” comment added when setup.py upload is used with either bdist_rpm or bdist_dumb.

bpo-35152 [https://bugs.python.org/issue?@action=redirect&bpo=35152]: Allow sending more than 2 GB at once on a multiprocessing connection on non-Windows systems.

bpo-35062 [https://bugs.python.org/issue?@action=redirect&bpo=35062]: Fix incorrect parsing of io.IncrementalNewlineDecoder’s translate argument.

bpo-35065 [https://bugs.python.org/issue?@action=redirect&bpo=35065]: Remove StreamReaderProtocol._untrack_reader. The call to _untrack_reader is currently performed too soon, causing the protocol to forget about the reader before connection_lost can run and feed the EOF to the reader.

bpo-34160 [https://bugs.python.org/issue?@action=redirect&bpo=34160]: ElementTree and minidom now preserve the attribute order specified by the user.

bpo-35079 [https://bugs.python.org/issue?@action=redirect&bpo=35079]: Improve difflib.SequenceManager.get_matching_blocks doc by adding ‘non-overlapping’ and changing ‘!=’ to ‘<’.

bpo-33710 [https://bugs.python.org/issue?@action=redirect&bpo=33710]: Deprecated l*gettext() functions and methods in the gettext module. They return encoded bytes instead of Unicode strings and are artifacts from Python 2 times. Also deprecated functions and methods related to setting the charset for l*gettext() functions and methods.

bpo-35017 [https://bugs.python.org/issue?@action=redirect&bpo=35017]: socketserver.BaseServer.serve_forever() now exits immediately if it’s shutdown() method is called while it is polling for new events.

bpo-35024 [https://bugs.python.org/issue?@action=redirect&bpo=35024]: importlib no longer logs wrote <bytecode path> redundantly after (created|could not create) <bytecode path> is already logged. Patch by Quentin Agren.

bpo-35047 [https://bugs.python.org/issue?@action=redirect&bpo=35047]: unittest.mock now includes mock calls in exception messages if assert_not_called, assert_called_once, or assert_called_once_with fails. Patch by Petter Strandmark.

bpo-31047 [https://bugs.python.org/issue?@action=redirect&bpo=31047]: Fix ntpath.abspath regression where it didn’t remove a trailing separator on Windows. Patch by Tim Graham.

bpo-35053 [https://bugs.python.org/issue?@action=redirect&bpo=35053]: tracemalloc now tries to update the traceback when an object is reused from a “free list” (optimization for faster object creation, used by the builtin list type for example).

bpo-31553 [https://bugs.python.org/issue?@action=redirect&bpo=31553]: Add the –json-lines option to json.tool. Patch by hongweipeng.

bpo-34794 [https://bugs.python.org/issue?@action=redirect&bpo=34794]: Fixed a leak in Tkinter when pass the Python wrapper around Tcl_Obj back to Tcl/Tk.

bpo-34909 [https://bugs.python.org/issue?@action=redirect&bpo=34909]: Enum: fix grandchildren subclassing when parent mixed with concrete data types.

bpo-35022 [https://bugs.python.org/issue?@action=redirect&bpo=35022]: unittest.mock.MagicMock now supports the __fspath__ method (from os.PathLike).

bpo-35008 [https://bugs.python.org/issue?@action=redirect&bpo=35008]: Fixed references leaks when call the __setstate__() method of xml.etree.ElementTree.Element in the C implementation for already initialized element.

bpo-23420 [https://bugs.python.org/issue?@action=redirect&bpo=23420]: Verify the value for the parameter ‘-s’ of the cProfile CLI. Patch by Robert Kuska

bpo-33947 [https://bugs.python.org/issue?@action=redirect&bpo=33947]: dataclasses now handle recursive reprs without raising RecursionError.

bpo-34890 [https://bugs.python.org/issue?@action=redirect&bpo=34890]: Make inspect.iscoroutinefunction(), inspect.isgeneratorfunction() and inspect.isasyncgenfunction() work with functools.partial(). Patch by Pablo Galindo.

bpo-34521 [https://bugs.python.org/issue?@action=redirect&bpo=34521]: Use socket.CMSG_SPACE() to calculate ancillary data size instead of socket.CMSG_LEN() in multiprocessing.reduction.recvfds() as RFC 3542 [https://datatracker.ietf.org/doc/html/rfc3542.html] requires the use of the former for portable applications.

bpo-31522 [https://bugs.python.org/issue?@action=redirect&bpo=31522]: The mailbox.mbox.get_string function from_ parameter can now successfully be set to a non-default value.

bpo-34970 [https://bugs.python.org/issue?@action=redirect&bpo=34970]: Protect tasks weak set manipulation in asyncio.all_tasks()

bpo-34969 [https://bugs.python.org/issue?@action=redirect&bpo=34969]: gzip: Add –fast, –best on the gzip CLI, these parameters will be used for the fast compression method (quick) or the best method compress (slower, but smaller file). Also, change the default compression level to 6 (tradeoff).

bpo-16965 [https://bugs.python.org/issue?@action=redirect&bpo=16965]: The 2to3 execfile fixer now opens the file with mode 'rb'. Patch by Zackery Spytz.

bpo-34966 [https://bugs.python.org/issue?@action=redirect&bpo=34966]: pydoc now supports aliases not only to methods defined in the end class, but also to inherited methods. The docstring is not duplicated for aliases.

bpo-34926 [https://bugs.python.org/issue?@action=redirect&bpo=34926]: mimetypes.MimeTypes.guess_type() now accepts path-like object in addition to url strings. Patch by Mayank Asthana.

bpo-23831 [https://bugs.python.org/issue?@action=redirect&bpo=23831]: Add moveto() method to the tkinter.Canvas widget. Patch by Juliette Monsel.

bpo-34941 [https://bugs.python.org/issue?@action=redirect&bpo=34941]: Methods find(), findtext() and findall() of the Element class in the xml.etree.ElementTree module are now able to find children which are instances of Element subclasses.

bpo-32680 [https://bugs.python.org/issue?@action=redirect&bpo=32680]: smtplib.SMTP objects now always have a sock attribute present

bpo-34769 [https://bugs.python.org/issue?@action=redirect&bpo=34769]: Fix for async generators not finalizing when event loop is in debug mode and garbage collector runs in another thread.

bpo-34936 [https://bugs.python.org/issue?@action=redirect&bpo=34936]: Fix TclError in tkinter.Spinbox.selection_element(). Patch by Juliette Monsel.

bpo-34829 [https://bugs.python.org/issue?@action=redirect&bpo=34829]: Add methods selection_from, selection_range, selection_present and selection_to to the tkinter.Spinbox for consistency with the tkinter.Entry widget. Patch by Juliette Monsel.

bpo-34911 [https://bugs.python.org/issue?@action=redirect&bpo=34911]: Added secure_protocols argument to http.cookiejar.DefaultCookiePolicy to allow for tweaking of protocols and also to add support by default for wss, the secure websocket protocol.

bpo-34922 [https://bugs.python.org/issue?@action=redirect&bpo=34922]: Fixed integer overflow in the digest() and hexdigest() methods for the SHAKE algorithm in the hashlib module.

bpo-34925 [https://bugs.python.org/issue?@action=redirect&bpo=34925]: 25% speedup in argument parsing for the functions in the bisect module.

bpo-34900 [https://bugs.python.org/issue?@action=redirect&bpo=34900]: Fixed unittest.TestCase.debug() when used to call test methods with subtests. Patch by Bruno Oliveira.

bpo-34844 [https://bugs.python.org/issue?@action=redirect&bpo=34844]: logging.Formatter enhancement - Ensure styles and fmt matches in logging.Formatter - Added validate method in each format style class: StrFormatStyle, PercentStyle, StringTemplateStyle. - This method is called in the constructor of logging.Formatter class - Also re-raise the KeyError in the format method of each style class, so it would a bit clear that it’s an error with the invalid format fields.

bpo-34897 [https://bugs.python.org/issue?@action=redirect&bpo=34897]: Adjust test.support.missing_compiler_executable check so that a nominal command name of “” is ignored. Patch by Michael Felt.

bpo-34871 [https://bugs.python.org/issue?@action=redirect&bpo=34871]: Fix inspect module polluted sys.modules when parsing __text_signature__ of callable.

bpo-34898 [https://bugs.python.org/issue?@action=redirect&bpo=34898]: Add mtime argument to gzip.compress for reproducible output. Patch by Guo Ci Teo.

bpo-28441 [https://bugs.python.org/issue?@action=redirect&bpo=28441]: On Cygwin and MinGW, ensure that sys.executable always includes the full filename in the path, including the .exe suffix (unless it is a symbolic link).

bpo-34866 [https://bugs.python.org/issue?@action=redirect&bpo=34866]: Adding max_num_fields to cgi.FieldStorage to make DOS attacks harder by limiting the number of MiniFieldStorage objects created by FieldStorage.

bpo-34711 [https://bugs.python.org/issue?@action=redirect&bpo=34711]: http.server ensures it reports HTTPStatus.NOT_FOUND when the local path ends with “/” and is not a directory, even if the underlying OS (e.g. AIX) accepts such paths as a valid file reference. Patch by Michael Felt.

bpo-34872 [https://bugs.python.org/issue?@action=redirect&bpo=34872]: Fix self-cancellation in C implementation of asyncio.Task

bpo-34849 [https://bugs.python.org/issue?@action=redirect&bpo=34849]: Don’t log waiting for selector.select in asyncio loop iteration. The waiting is pretty normal for any asyncio program, logging its time just adds a noise to logs without any useful information provided.

bpo-34022 [https://bugs.python.org/issue?@action=redirect&bpo=34022]: The SOURCE_DATE_EPOCH environment variable no longer overrides the value of the invalidation_mode argument to py_compile.compile(), and determines its default value instead.

bpo-34819 [https://bugs.python.org/issue?@action=redirect&bpo=34819]: Use a monotonic clock to compute timeouts in Executor.map() and as_completed(), in order to prevent timeouts from deviating when the system clock is adjusted.

bpo-34758 [https://bugs.python.org/issue?@action=redirect&bpo=34758]: Add .wasm -> application/wasm to list of recognized file types and content type headers

bpo-34789 [https://bugs.python.org/issue?@action=redirect&bpo=34789]: xml.sax.make_parser() now accepts any iterable as its parser_list argument. Patch by Andrés Delfino.

bpo-34334 [https://bugs.python.org/issue?@action=redirect&bpo=34334]: In QueueHandler, clear exc_text from LogRecord to prevent traceback from being written twice.

bpo-34687 [https://bugs.python.org/issue?@action=redirect&bpo=34687]: On Windows, asyncio now uses ProactorEventLoop, instead of SelectorEventLoop, by default.

bpo-5950 [https://bugs.python.org/issue?@action=redirect&bpo=5950]: Support reading zip files with archive comments in zipimport.

bpo-32892 [https://bugs.python.org/issue?@action=redirect&bpo=32892]: The parser now represents all constants as ast.Constant instead of using specific constant AST types (Num, Str, Bytes, NameConstant and Ellipsis). These classes are considered deprecated and will be removed in future Python versions.

bpo-34728 [https://bugs.python.org/issue?@action=redirect&bpo=34728]: Add deprecation warning when loop is used in methods: asyncio.sleep, asyncio.wait and asyncio.wait_for.

bpo-34738 [https://bugs.python.org/issue?@action=redirect&bpo=34738]: ZIP files created by distutils will now include entries for directories.

bpo-34659 [https://bugs.python.org/issue?@action=redirect&bpo=34659]: Add an optional initial argument to itertools.accumulate().

bpo-29577 [https://bugs.python.org/issue?@action=redirect&bpo=29577]: Support multiple mixin classes when creating Enums.

bpo-34670 [https://bugs.python.org/issue?@action=redirect&bpo=34670]: Add SSLContext.post_handshake_auth and SSLSocket.verify_client_post_handshake for TLS 1.3’s post handshake authentication feature.

bpo-32718 [https://bugs.python.org/issue?@action=redirect&bpo=32718]: The Activate.ps1 script from venv works with PowerShell Core 6.1 and is now available under all operating systems.

bpo-31177 [https://bugs.python.org/issue?@action=redirect&bpo=31177]: Fix bug that prevented using reset_mock on mock instances with deleted attributes

bpo-34672 [https://bugs.python.org/issue?@action=redirect&bpo=34672]: Add a workaround, so the 'Z' time.strftime() specifier on the musl C library can work in some cases.

bpo-34666 [https://bugs.python.org/issue?@action=redirect&bpo=34666]: Implement asyncio.StreamWriter.awrite and asyncio.StreamWriter.aclose() coroutines. Methods are needed for providing a consistent stream API with control flow switched on by default.

bpo-6721 [https://bugs.python.org/issue?@action=redirect&bpo=6721]: Acquire the logging module’s commonly used internal locks while fork()ing to avoid deadlocks in the child process.

bpo-34658 [https://bugs.python.org/issue?@action=redirect&bpo=34658]: Fix a rare interpreter unhandled exception state SystemError only seen when using subprocess with a preexec_fn while an after_parent handler has been registered with os.register_at_fork and the fork system call fails.

bpo-34652 [https://bugs.python.org/issue?@action=redirect&bpo=34652]: Ensure os.lchmod() is never defined on Linux.

bpo-34638 [https://bugs.python.org/issue?@action=redirect&bpo=34638]: Store a weak reference to stream reader to break strong references loop between reader and protocol. It allows to detect and close the socket if the stream is deleted (garbage collected) without close() call.

bpo-34536 [https://bugs.python.org/issue?@action=redirect&bpo=34536]: Enum._missing_: raise ValueError if None returned and TypeError if non-member is returned.

bpo-34636 [https://bugs.python.org/issue?@action=redirect&bpo=34636]: Speed up re scanning of many non-matching characters for s w and d within bytes objects. (microoptimization)

bpo-24412 [https://bugs.python.org/issue?@action=redirect&bpo=24412]: Add addModuleCleanup() and addClassCleanup() to unittest to support cleanups for setUpModule() and setUpClass(). Patch by Lisa Roach.

bpo-34630 [https://bugs.python.org/issue?@action=redirect&bpo=34630]: Don’t log SSL certificate errors in asyncio code (connection error logging is skipped already).

bpo-32490 [https://bugs.python.org/issue?@action=redirect&bpo=32490]: Prevent filename duplication in subprocess exception messages. Patch by Zackery Spytz.

bpo-34363 [https://bugs.python.org/issue?@action=redirect&bpo=34363]: dataclasses.asdict() and .astuple() now handle namedtuples correctly.

bpo-34625 [https://bugs.python.org/issue?@action=redirect&bpo=34625]: Update vendorized expat library version to 2.2.6.

bpo-32270 [https://bugs.python.org/issue?@action=redirect&bpo=32270]: The subprocess module no longer mistakenly closes redirected fds even when they were in pass_fds when outside of the default {0, 1, 2} set.

bpo-34622 [https://bugs.python.org/issue?@action=redirect&bpo=34622]: Create a dedicated asyncio.CancelledError, asyncio.InvalidStateError and asyncio.TimeoutError exception classes. Inherit them from corresponding exceptions from concurrent.futures package. Extract asyncio exceptions into a separate file.

bpo-34610 [https://bugs.python.org/issue?@action=redirect&bpo=34610]: Fixed iterator of multiprocessing.managers.DictProxy.

bpo-34421 [https://bugs.python.org/issue?@action=redirect&bpo=34421]: Fix distutils logging for non-ASCII strings. This caused installation issues on Windows.

bpo-34604 [https://bugs.python.org/issue?@action=redirect&bpo=34604]: Fix possible mojibake in the error message of pwd.getpwnam and grp.getgrnam using string representation because of invisible characters or trailing whitespaces. Patch by William Grzybowski.

bpo-30977 [https://bugs.python.org/issue?@action=redirect&bpo=30977]: Make uuid.UUID use __slots__ to reduce its memory footprint. Based on original patch by Wouter Bolsterlee.

bpo-34574 [https://bugs.python.org/issue?@action=redirect&bpo=34574]: OrderedDict iterators are not exhausted during pickling anymore. Patch by Sergey Fedoseev.

bpo-8110 [https://bugs.python.org/issue?@action=redirect&bpo=8110]: Refactored subprocess to check for Windows-specific modules rather than sys.platform == 'win32'.

bpo-34530 [https://bugs.python.org/issue?@action=redirect&bpo=34530]: distutils.spawn.find_executable() now falls back on os.defpath if the PATH environment variable is not set.

bpo-34563 [https://bugs.python.org/issue?@action=redirect&bpo=34563]: On Windows, fix multiprocessing.Connection for very large read: fix _winapi.PeekNamedPipe() and _winapi.ReadFile() for read larger than INT_MAX (usually 2**31-1).

bpo-34558 [https://bugs.python.org/issue?@action=redirect&bpo=34558]: Correct typo in Lib/ctypes/_aix.py

bpo-34282 [https://bugs.python.org/issue?@action=redirect&bpo=34282]: Move Enum._convert to EnumMeta._convert_ and fix enum members getting shadowed by parent attributes.

bpo-22872 [https://bugs.python.org/issue?@action=redirect&bpo=22872]: When the queue is closed, ValueError is now raised by multiprocessing.Queue.put() and multiprocessing.Queue.get() instead of AssertionError and OSError, respectively. Patch by Zackery Spytz.

bpo-34515 [https://bugs.python.org/issue?@action=redirect&bpo=34515]: Fix parsing non-ASCII identifiers in lib2to3.pgen2.tokenize (PEP 3131 [https://peps.python.org/pep-3131/]).

bpo-13312 [https://bugs.python.org/issue?@action=redirect&bpo=13312]: Avoids a possible integer underflow (undefined behavior) in the time module’s year handling code when passed a very low negative year value.

bpo-34472 [https://bugs.python.org/issue?@action=redirect&bpo=34472]: Improved compatibility for streamed files in zipfile. Previously an optional signature was not being written and certain ZIP applications were not supported. Patch by Silas Sewell.

bpo-34454 [https://bugs.python.org/issue?@action=redirect&bpo=34454]: Fix the .fromisoformat() methods of datetime types crashing when given unicode with non-UTF-8-encodable code points. Specifically, datetime.fromisoformat() now accepts surrogate unicode code points used as the separator. Report and tests by Alexey Izbyshev, patch by Paul Ganssle.

bpo-6700 [https://bugs.python.org/issue?@action=redirect&bpo=6700]: Fix inspect.getsourcelines for module level frames/tracebacks. Patch by Vladimir Matveev.

bpo-34171 [https://bugs.python.org/issue?@action=redirect&bpo=34171]: Running the trace module no longer creates the trace.cover file.

bpo-34441 [https://bugs.python.org/issue?@action=redirect&bpo=34441]: Fix crash when an ABC-derived class with invalid __subclasses__ is passed as the second argument to issubclass(). Patch by Alexey Izbyshev.

bpo-34427 [https://bugs.python.org/issue?@action=redirect&bpo=34427]: Fix infinite loop in a.extend(a) for MutableSequence subclasses.

bpo-34412 [https://bugs.python.org/issue?@action=redirect&bpo=34412]: Make signal.strsignal() work on HP-UX. Patch by Michael Osipov.

bpo-20849 [https://bugs.python.org/issue?@action=redirect&bpo=20849]: shutil.copytree now accepts a new dirs_exist_ok keyword argument. Patch by Josh Bronson.

bpo-31715 [https://bugs.python.org/issue?@action=redirect&bpo=31715]: Associate .mjs file extension with application/javascript MIME Type.

bpo-34384 [https://bugs.python.org/issue?@action=redirect&bpo=34384]: os.readlink() now accepts path-like and bytes objects on Windows.

bpo-22602 [https://bugs.python.org/issue?@action=redirect&bpo=22602]: The UTF-7 decoder now raises UnicodeDecodeError for ill-formed sequences starting with “+” (as specified in RFC 2152). Patch by Zackery Spytz.

bpo-2122 [https://bugs.python.org/issue?@action=redirect&bpo=2122]: The mmap.flush() method now returns None on success, raises an exception on error under all platforms.

bpo-34341 [https://bugs.python.org/issue?@action=redirect&bpo=34341]: Appending to the ZIP archive with the ZIP64 extension no longer grows the size of extra fields of existing entries.

bpo-34333 [https://bugs.python.org/issue?@action=redirect&bpo=34333]: Fix %-formatting in pathlib.PurePath.with_suffix() when formatting an error message.

bpo-18540 [https://bugs.python.org/issue?@action=redirect&bpo=18540]: The imaplib.IMAP4 and imaplib.IMAP4_SSL classes now resolve to the local host IP correctly when the default value of host parameter ('') is used.

bpo-26502 [https://bugs.python.org/issue?@action=redirect&bpo=26502]: Implement traceback.FrameSummary.__len__() method to preserve compatibility with the old tuple API.

bpo-34318 [https://bugs.python.org/issue?@action=redirect&bpo=34318]: assertRaises(), assertRaisesRegex(), assertWarns() and assertWarnsRegex() no longer success if the passed callable is None. They no longer ignore unknown keyword arguments in the context manager mode. A DeprecationWarning was raised in these cases since Python 3.5.

bpo-9372 [https://bugs.python.org/issue?@action=redirect&bpo=9372]: Deprecate __getitem__() methods of xml.dom.pulldom.DOMEventStream, wsgiref.util.FileWrapper and fileinput.FileInput.

bpo-33613 [https://bugs.python.org/issue?@action=redirect&bpo=33613]: Fix a race condition in multiprocessing.semaphore_tracker when the tracker receives SIGINT before it can register signal handlers for ignoring it.

bpo-34248 [https://bugs.python.org/issue?@action=redirect&bpo=34248]: Report filename in the exception raised when the database file cannot be opened by dbm.gnu.open() and dbm.ndbm.open() due to OS-related error. Patch by Zsolt Cserna.

bpo-33089 [https://bugs.python.org/issue?@action=redirect&bpo=33089]: Add math.dist() to compute the Euclidean distance between two points.

bpo-34246 [https://bugs.python.org/issue?@action=redirect&bpo=34246]: smtplib.SMTP.send_message() no longer modifies the content of the mail_options argument. Patch by Pablo S. Blum de Aguiar.

bpo-31047 [https://bugs.python.org/issue?@action=redirect&bpo=31047]: Fix ntpath.abspath for invalid paths on windows. Patch by Franz Woellert.

bpo-32321 [https://bugs.python.org/issue?@action=redirect&bpo=32321]: Add pure Python fallback for functools.reduce. Patch by Robert Wright.

bpo-34270 [https://bugs.python.org/issue?@action=redirect&bpo=34270]: The default asyncio task class now always has a name which can be get or set using two new methods (get_name() and set_name()) and is visible in the repr() output. An initial name can also be set using the new name keyword argument to asyncio.create_task() or the create_task() method of the event loop. If no initial name is set, the default Task implementation generates a name like Task-1 using a monotonic counter.

bpo-34263 [https://bugs.python.org/issue?@action=redirect&bpo=34263]: asyncio’s event loop will not pass timeouts longer than one day to epoll/select etc.

bpo-34035 [https://bugs.python.org/issue?@action=redirect&bpo=34035]: Fix several AttributeError in zipfile seek() methods. Patch by Mickaël Schoentgen.

bpo-32215 [https://bugs.python.org/issue?@action=redirect&bpo=32215]: Fix performance regression in sqlite3 when a DML statement appeared in a different line than the rest of the SQL query.

bpo-34075 [https://bugs.python.org/issue?@action=redirect&bpo=34075]: Deprecate passing non-ThreadPoolExecutor instances to AbstractEventLoop.set_default_executor().

bpo-34251 [https://bugs.python.org/issue?@action=redirect&bpo=34251]: Restore msilib.Win64 to preserve backwards compatibility since it’s already used by distutils’ bdist_msi command.

bpo-19891 [https://bugs.python.org/issue?@action=redirect&bpo=19891]: Ignore errors caused by missing / non-writable homedir while writing history during exit of an interactive session. Patch by Anthony Sottile.

bpo-33089 [https://bugs.python.org/issue?@action=redirect&bpo=33089]: Enhanced math.hypot() to support more than two dimensions.

bpo-34228 [https://bugs.python.org/issue?@action=redirect&bpo=34228]: tracemalloc: PYTHONTRACEMALLOC=0 environment variable and -X tracemalloc=0 command line option are now allowed to disable explicitly tracemalloc at startup.

bpo-13041 [https://bugs.python.org/issue?@action=redirect&bpo=13041]: Use shutil.get_terminal_size() to calculate the terminal width correctly in the argparse.HelpFormatter class. Initial patch by Zbyszek Jędrzejewski-Szmek.

bpo-34213 [https://bugs.python.org/issue?@action=redirect&bpo=34213]: Allow frozen dataclasses to have a field named “object”. Previously this conflicted with an internal use of “object”.

bpo-34052 [https://bugs.python.org/issue?@action=redirect&bpo=34052]: sqlite3.Connection.create_aggregate(), sqlite3.Connection.create_function(), sqlite3.Connection.set_authorizer(), sqlite3.Connection.set_progress_handler() methods raises TypeError when unhashable objects are passed as callable. These methods now don’t pass such objects to SQLite API. Previous behavior could lead to segfaults. Patch by Sergey Fedoseev.

bpo-34197 [https://bugs.python.org/issue?@action=redirect&bpo=34197]: Attributes skipinitialspace, doublequote and strict of the dialect attribute of the csv reader are now bool instances instead of integers 0 or 1.

bpo-32788 [https://bugs.python.org/issue?@action=redirect&bpo=32788]: Errors other than TypeError raised in methods __adapt__() and __conform__() in the sqlite3 module are now propagated to the user.

bpo-21446 [https://bugs.python.org/issue?@action=redirect&bpo=21446]: The reload fixer now uses importlib.reload() instead of deprecated imp.reload().

bpo-940286 [https://bugs.python.org/issue?@action=redirect&bpo=940286]: pydoc’s Helper.showtopic() method now prints the cross references of a topic correctly.

bpo-34164 [https://bugs.python.org/issue?@action=redirect&bpo=34164]: base64.b32decode() could raise UnboundLocalError or OverflowError for incorrect padding. Now it always raises base64.Error in these cases.

bpo-33729 [https://bugs.python.org/issue?@action=redirect&bpo=33729]: Fixed issues with arguments parsing in hashlib.

bpo-34097 [https://bugs.python.org/issue?@action=redirect&bpo=34097]: ZipFile can zip files older than 1980-01-01 and newer than 2107-12-31 using a new strict_timestamps parameter at the cost of setting the timestamp to the limit.

bpo-34108 [https://bugs.python.org/issue?@action=redirect&bpo=34108]: Remove extraneous CR in 2to3 refactor.

bpo-34070 [https://bugs.python.org/issue?@action=redirect&bpo=34070]: Make sure to only check if the handle is a tty, when opening a file with buffering=-1.

bpo-27494 [https://bugs.python.org/issue?@action=redirect&bpo=27494]: Reverted bpo-27494 [https://bugs.python.org/issue?@action=redirect&bpo=27494]. 2to3 rejects now a trailing comma in generator expressions.

bpo-33967 [https://bugs.python.org/issue?@action=redirect&bpo=33967]: functools.singledispatch now raises TypeError instead of IndexError when no positional arguments are passed.

bpo-34041 [https://bugs.python.org/issue?@action=redirect&bpo=34041]: Add the parameter deterministic to the sqlite3.Connection.create_function() method. Patch by Sergey Fedoseev.

bpo-34056 [https://bugs.python.org/issue?@action=redirect&bpo=34056]: Ensure the loader shim created by imp.load_module always returns bytes from its get_data() function. This fixes using imp.load_module with PEP 552 [https://peps.python.org/pep-0552/] hash-based pycs.

bpo-34054 [https://bugs.python.org/issue?@action=redirect&bpo=34054]: The multiprocessing module now uses the monotonic clock time.monotonic() instead of the system clock time.time() to implement timeout.

bpo-34043 [https://bugs.python.org/issue?@action=redirect&bpo=34043]: Optimize tarfile uncompress performance about 15% when gzip is used.

bpo-34044 [https://bugs.python.org/issue?@action=redirect&bpo=34044]: subprocess.Popen now copies the startupinfo argument to leave it unchanged: it will modify the copy, so that the same STARTUPINFO object can be used multiple times.

bpo-34010 [https://bugs.python.org/issue?@action=redirect&bpo=34010]: Fixed a performance regression for reading streams with tarfile. The buffered read should use a list, instead of appending to a bytes object.

bpo-34019 [https://bugs.python.org/issue?@action=redirect&bpo=34019]: webbrowser: Correct the arguments passed to Opera Browser when opening a new URL using the webbrowser module. Patch by Bumsik Kim.

bpo-34003 [https://bugs.python.org/issue?@action=redirect&bpo=34003]: csv.DictReader now creates dicts instead of OrderedDicts. Patch by Michael Selik.

bpo-33978 [https://bugs.python.org/issue?@action=redirect&bpo=33978]: Closed existing logging handlers before reconfiguration via fileConfig and dictConfig. Patch by Karthikeyan Singaravelan.

bpo-14117 [https://bugs.python.org/issue?@action=redirect&bpo=14117]: Make minor tweaks to turtledemo. The ‘wikipedia’ example is now ‘rosette’, describing what it draws. The ‘penrose’ print output is reduced. The’1024’ output of ‘tree’ is eliminated.

bpo-33974 [https://bugs.python.org/issue?@action=redirect&bpo=33974]: Fixed passing lists and tuples of strings containing special characters ", \, {, } and \n as options to ttk widgets.

bpo-27500 [https://bugs.python.org/issue?@action=redirect&bpo=27500]: Fix getaddrinfo to resolve IPv6 addresses correctly.

bpo-24567 [https://bugs.python.org/issue?@action=redirect&bpo=24567]: Improve random.choices() to handle subnormal input weights that could occasionally trigger an IndexError.

bpo-33871 [https://bugs.python.org/issue?@action=redirect&bpo=33871]: Fixed integer overflow in os.readv(), os.writev(), os.preadv() and os.pwritev() and in os.sendfile() with headers or trailers arguments (on BSD-based OSes and macOS).

bpo-25007 [https://bugs.python.org/issue?@action=redirect&bpo=25007]: Add copy.copy() and copy.deepcopy() support to zlib compressors and decompressors. Patch by Zackery Spytz.

bpo-33929 [https://bugs.python.org/issue?@action=redirect&bpo=33929]: multiprocessing: Fix a race condition in Popen of multiprocessing.popen_spawn_win32. The child process now duplicates the read end of pipe instead of “stealing” it. Previously, the read end of pipe was “stolen” by the child process, but it leaked a handle if the child process had been terminated before it could steal the handle from the parent process.

bpo-33899 [https://bugs.python.org/issue?@action=redirect&bpo=33899]: Tokenize module now implicitly emits a NEWLINE when provided with input that does not have a trailing new line. This behavior now matches what the C tokenizer does internally. Contributed by Ammar Askar.

bpo-33897 [https://bugs.python.org/issue?@action=redirect&bpo=33897]: Added a ‘force’ keyword argument to logging.basicConfig().

bpo-33695 [https://bugs.python.org/issue?@action=redirect&bpo=33695]: shutil.copytree() uses os.scandir() function and all copy functions depending from it use cached os.stat() values. The speedup for copying a directory with 8000 files is around +9% on Linux, +20% on Windows and + 30% on a Windows SMB share. Also the number of os.stat() syscalls is reduced by 38% making shutil.copytree() especially faster on network filesystems. (Contributed by Giampaolo Rodola’ in bpo-33695 [https://bugs.python.org/issue?@action=redirect&bpo=33695].)

bpo-33916 [https://bugs.python.org/issue?@action=redirect&bpo=33916]: bz2 and lzma: When Decompressor.__init__() is called twice, free the old lock to not leak memory.

bpo-32568 [https://bugs.python.org/issue?@action=redirect&bpo=32568]: Make select.epoll() and its documentation consistent regarding sizehint and flags.

bpo-33833 [https://bugs.python.org/issue?@action=redirect&bpo=33833]: Fixed bug in asyncio where ProactorSocketTransport logs AssertionError if force closed during write.

bpo-33663 [https://bugs.python.org/issue?@action=redirect&bpo=33663]: Convert content length to string before putting to header.

bpo-33721 [https://bugs.python.org/issue?@action=redirect&bpo=33721]: os.path functions that return a boolean result like exists(), lexists(), isdir(), isfile(), islink(), and ismount(), and pathlib.Path methods that return a boolean result like exists(), is_dir(), is_file(), is_mount(), is_symlink(), is_block_device(), is_char_device(), is_fifo(), is_socket() now return False instead of raising ValueError or its subclasses UnicodeEncodeError and UnicodeDecodeError for paths that contain characters or bytes unrepresentable at the OS level.

bpo-26544 [https://bugs.python.org/issue?@action=redirect&bpo=26544]: Fixed implementation of platform.libc_ver(). It almost always returned version ‘2.9’ for glibc.

bpo-33843 [https://bugs.python.org/issue?@action=redirect&bpo=33843]: Remove deprecated cgi.escape, cgi.parse_qs and cgi.parse_qsl.

bpo-33842 [https://bugs.python.org/issue?@action=redirect&bpo=33842]: Remove tarfile.filemode which is deprecated since Python 3.3.

bpo-30167 [https://bugs.python.org/issue?@action=redirect&bpo=30167]: Prevent site.main() exception if PYTHONSTARTUP is set. Patch by Steve Weber.

bpo-33805 [https://bugs.python.org/issue?@action=redirect&bpo=33805]: Improve error message of dataclasses.replace() when an InitVar is not specified

bpo-33687 [https://bugs.python.org/issue?@action=redirect&bpo=33687]: Fix the call to os.chmod() for uu.decode() if a mode is given or decoded. Patch by Timo Furrer.

bpo-33812 [https://bugs.python.org/issue?@action=redirect&bpo=33812]: Datetime instance d with non-None tzinfo, but with d.tzinfo.utcoffset(d) returning None is now treated as naive by the astimezone() method.

bpo-32108 [https://bugs.python.org/issue?@action=redirect&bpo=32108]: In configparser, don’t clear section when it is assigned to itself.

bpo-27397 [https://bugs.python.org/issue?@action=redirect&bpo=27397]: Make email module properly handle invalid-length base64 strings.

bpo-33578 [https://bugs.python.org/issue?@action=redirect&bpo=33578]: Implement multibyte encoder/decoder state methods

bpo-30805 [https://bugs.python.org/issue?@action=redirect&bpo=30805]: Avoid race condition with debug logging

bpo-33476 [https://bugs.python.org/issue?@action=redirect&bpo=33476]: Fix _header_value_parser.py when address group is missing final ‘;’. Contributed by Enrique Perez-Terron

bpo-33694 [https://bugs.python.org/issue?@action=redirect&bpo=33694]: asyncio: Fix a race condition causing data loss on pause_reading()/resume_reading() when using the ProactorEventLoop.

bpo-32493 [https://bugs.python.org/issue?@action=redirect&bpo=32493]: Correct test for uuid_enc_be availability in configure.ac. Patch by Michael Felt.

bpo-33792 [https://bugs.python.org/issue?@action=redirect&bpo=33792]: Add asyncio.WindowsSelectorEventLoopPolicy and asyncio.WindowsProactorEventLoopPolicy.

bpo-33274 [https://bugs.python.org/issue?@action=redirect&bpo=33274]: W3C DOM Level 1 specifies return value of Element.removeAttributeNode() as “The Attr node that was removed.” xml.dom.minidom now complies with this requirement.

bpo-33778 [https://bugs.python.org/issue?@action=redirect&bpo=33778]: Update unicodedata’s database to Unicode version 11.0.0.

bpo-33165 [https://bugs.python.org/issue?@action=redirect&bpo=33165]: Added a stacklevel parameter to logging calls to allow use of wrapper/helper functions for logging APIs.

bpo-33770 [https://bugs.python.org/issue?@action=redirect&bpo=33770]: improve base64 exception message for encoded inputs of invalid length

bpo-33769 [https://bugs.python.org/issue?@action=redirect&bpo=33769]: asyncio/start_tls: Fix error message; cancel callbacks in case of an unhandled error; mark SSLTransport as closed if it is aborted.

bpo-33767 [https://bugs.python.org/issue?@action=redirect&bpo=33767]: The concatenation (+) and repetition (*) sequence operations now raise TypeError instead of SystemError when performed on mmap.mmap objects. Patch by Zackery Spytz.

bpo-33734 [https://bugs.python.org/issue?@action=redirect&bpo=33734]: asyncio/ssl: Fix AttributeError, increase default handshake timeout

bpo-31014 [https://bugs.python.org/issue?@action=redirect&bpo=31014]: Fixed creating a controller for webbrowser when a user specifies a path to an entry in the BROWSER environment variable. Based on patch by John Still.

bpo-2504 [https://bugs.python.org/issue?@action=redirect&bpo=2504]: Add gettext.pgettext() and variants.

bpo-33197 [https://bugs.python.org/issue?@action=redirect&bpo=33197]: Add description property for _ParameterKind

bpo-32751 [https://bugs.python.org/issue?@action=redirect&bpo=32751]: When cancelling the task due to a timeout, asyncio.wait_for() will now wait until the cancellation is complete.

bpo-32684 [https://bugs.python.org/issue?@action=redirect&bpo=32684]: Fix gather to propagate cancellation of itself even with return_exceptions.

bpo-33654 [https://bugs.python.org/issue?@action=redirect&bpo=33654]: Support protocol type switching in SSLTransport.set_protocol().

bpo-33674 [https://bugs.python.org/issue?@action=redirect&bpo=33674]: Pause the transport as early as possible to further reduce the risk of data_received() being called before connection_made().

bpo-33671 [https://bugs.python.org/issue?@action=redirect&bpo=33671]: shutil.copyfile(), shutil.copy(), shutil.copy2(), shutil.copytree() and shutil.move() use platform-specific fast-copy syscalls on Linux and macOS in order to copy the file more efficiently. On Windows shutil.copyfile() uses a bigger default buffer size (1 MiB instead of 16 KiB) and a memoryview()-based variant of shutil.copyfileobj() is used. The speedup for copying a 512MiB file is about +26% on Linux, +50% on macOS and +40% on Windows. Also, much less CPU cycles are consumed. (Contributed by Giampaolo Rodola’ in bpo-25427 [https://bugs.python.org/issue?@action=redirect&bpo=25427].)

bpo-33674 [https://bugs.python.org/issue?@action=redirect&bpo=33674]: Fix a race condition in SSLProtocol.connection_made() of asyncio.sslproto: start immediately the handshake instead of using call_soon(). Previously, data_received() could be called before the handshake started, causing the handshake to hang or fail.

bpo-31647 [https://bugs.python.org/issue?@action=redirect&bpo=31647]: Fixed bug where calling write_eof() on a _SelectorSocketTransport after it’s already closed raises AttributeError.

bpo-32610 [https://bugs.python.org/issue?@action=redirect&bpo=32610]: Make asyncio.all_tasks() return only pending tasks.

bpo-32410 [https://bugs.python.org/issue?@action=redirect&bpo=32410]: Avoid blocking on file IO in sendfile fallback code

bpo-33469 [https://bugs.python.org/issue?@action=redirect&bpo=33469]: Fix RuntimeError after closing loop that used run_in_executor

bpo-33672 [https://bugs.python.org/issue?@action=redirect&bpo=33672]: Fix Task.__repr__ crash with Cython’s bogus coroutines

bpo-33654 [https://bugs.python.org/issue?@action=redirect&bpo=33654]: Fix transport.set_protocol() to support switching between asyncio.Protocol and asyncio.BufferedProtocol. Fix loop.start_tls() to work with asyncio.BufferedProtocols.

bpo-33652 [https://bugs.python.org/issue?@action=redirect&bpo=33652]: Pickles of type variables and subscripted generics are now future-proof and compatible with older Python versions.

bpo-32493 [https://bugs.python.org/issue?@action=redirect&bpo=32493]: Fixed uuid.uuid1() on FreeBSD.

bpo-33238 [https://bugs.python.org/issue?@action=redirect&bpo=33238]: Add InvalidStateError to concurrent.futures. Future.set_result and Future.set_exception now raise InvalidStateError if the futures are not pending or running. Patch by Jason Haydaman.

bpo-33618 [https://bugs.python.org/issue?@action=redirect&bpo=33618]: Finalize and document preliminary and experimental TLS 1.3 support with OpenSSL 1.1.1

bpo-33625 [https://bugs.python.org/issue?@action=redirect&bpo=33625]: Release GIL on grp.getgrnam, grp.getgrgid, pwd.getpwnam and pwd.getpwuid if reentrant variants of these functions are available. Patch by William Grzybowski.

bpo-33623 [https://bugs.python.org/issue?@action=redirect&bpo=33623]: Fix possible SIGSGV when asyncio.Future is created in __del__

bpo-11874 [https://bugs.python.org/issue?@action=redirect&bpo=11874]: Use a better regex when breaking usage into wrappable parts. Avoids bogus assertion errors from custom metavar strings.

bpo-30877 [https://bugs.python.org/issue?@action=redirect&bpo=30877]: Fixed a bug in the Python implementation of the JSON decoder that prevented the cache of parsed strings from clearing after finishing the decoding. Based on patch by c-fos.

bpo-33604 [https://bugs.python.org/issue?@action=redirect&bpo=33604]: Remove HMAC default to md5 marked for removal in 3.8 (removal originally planned in 3.6, bump to 3.8 in PR 7062).

bpo-33582 [https://bugs.python.org/issue?@action=redirect&bpo=33582]: Emit a deprecation warning for inspect.formatargspec

bpo-21145 [https://bugs.python.org/issue?@action=redirect&bpo=21145]: Add functools.cached_property decorator, for computed properties cached for the life of the instance.

bpo-33570 [https://bugs.python.org/issue?@action=redirect&bpo=33570]: Change TLS 1.3 cipher suite settings for compatibility with OpenSSL 1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 ciphers enabled by default.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Do not simplify arguments to typing.Union. Now Union[Manager, Employee] is not simplified to Employee at runtime. Such simplification previously caused several bugs and limited possibilities for introspection.

bpo-12486 [https://bugs.python.org/issue?@action=redirect&bpo=12486]: tokenize.generate_tokens() is now documented as a public API to tokenize unicode strings. It was previously present but undocumented.

bpo-33540 [https://bugs.python.org/issue?@action=redirect&bpo=33540]: Add a new block_on_close class attribute to ForkingMixIn and ThreadingMixIn classes of socketserver.

bpo-33548 [https://bugs.python.org/issue?@action=redirect&bpo=33548]: tempfile._candidate_tempdir_list should consider common TEMP locations

bpo-33109 [https://bugs.python.org/issue?@action=redirect&bpo=33109]: argparse subparsers are once again not required by default, reverting the change in behavior introduced by bpo-26510 [https://bugs.python.org/issue?@action=redirect&bpo=26510] in 3.7.0a2.

bpo-33541 [https://bugs.python.org/issue?@action=redirect&bpo=33541]: Remove unused private method _strptime.LocaleTime.__pad (a.k.a. _LocaleTime__pad).

bpo-33536 [https://bugs.python.org/issue?@action=redirect&bpo=33536]: dataclasses.make_dataclass now checks for invalid field names and duplicate fields. Also, added a check for invalid field specifications.

bpo-33542 [https://bugs.python.org/issue?@action=redirect&bpo=33542]: Prevent uuid.get_node from using a DUID instead of a MAC on Windows. Patch by Zvi Effron

bpo-26819 [https://bugs.python.org/issue?@action=redirect&bpo=26819]: Fix race condition with ReadTransport.resume_reading in Windows proactor event loop.

Fix failure in typing.get_type_hints() when ClassVar was provided as a string forward reference.

bpo-33516 [https://bugs.python.org/issue?@action=redirect&bpo=33516]: unittest.mock.MagicMock now supports the __round__ magic method.

bpo-28612 [https://bugs.python.org/issue?@action=redirect&bpo=28612]: Added support for Site Maps to urllib’s RobotFileParser as RobotFileParser.site_maps(). Patch by Lady Red, based on patch by Peter Wirtz.

bpo-28167 [https://bugs.python.org/issue?@action=redirect&bpo=28167]: Remove platform.linux_distribution, which was deprecated since 3.5.

bpo-33504 [https://bugs.python.org/issue?@action=redirect&bpo=33504]: Switch the default dictionary implementation for configparser from collections.OrderedDict to the standard dict type.

bpo-33505 [https://bugs.python.org/issue?@action=redirect&bpo=33505]: Optimize asyncio.ensure_future() by reordering if checks: 1.17x faster.

bpo-33497 [https://bugs.python.org/issue?@action=redirect&bpo=33497]: Add errors param to cgi.parse_multipart and make an encoding in FieldStorage use the given errors (needed for Twisted). Patch by Amber Brown.

bpo-29235 [https://bugs.python.org/issue?@action=redirect&bpo=29235]: The cProfile.Profile class can now be used as a context manager. Patch by Scott Sanderson.

bpo-33495 [https://bugs.python.org/issue?@action=redirect&bpo=33495]: Change dataclasses.Fields repr to use the repr of each of its members, instead of str. This makes it more clear what each field actually represents. This is especially true for the ‘type’ member.

bpo-26103 [https://bugs.python.org/issue?@action=redirect&bpo=26103]: Correct inspect.isdatadescriptor to look for __set__ or __delete__. Patch by Aaron Hall.

bpo-29209 [https://bugs.python.org/issue?@action=redirect&bpo=29209]: Removed the doctype() method and the html parameter of the constructor of XMLParser. The doctype() method defined in a subclass will no longer be called. Deprecated methods getchildren() and getiterator() in the ElementTree module emit now a DeprecationWarning instead of PendingDeprecationWarning.

bpo-33453 [https://bugs.python.org/issue?@action=redirect&bpo=33453]: Fix dataclasses to work if using literal string type annotations or if using PEP 563 “Postponed Evaluation of Annotations”. Only specific string prefixes are detected for both ClassVar (“ClassVar” and “typing.ClassVar”) and InitVar (“InitVar” and “dataclasses.InitVar”).

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Minor fixes in typing module: add annotations to NamedTuple.__new__, pass *args and **kwds in Generic.__new__. Original PRs by Paulius Šarka and Chad Dombrova.

bpo-33365 [https://bugs.python.org/issue?@action=redirect&bpo=33365]: Print the header values besides the header keys instead just the header keys if debuglevel is set to >0 in http.client. Patch by Marco Strigl.

bpo-20087 [https://bugs.python.org/issue?@action=redirect&bpo=20087]: Updated alias mapping with glibc 2.27 supported locales.

bpo-33422 [https://bugs.python.org/issue?@action=redirect&bpo=33422]: Fix trailing quotation marks getting deleted when looking up byte/string literals on pydoc. Patch by Andrés Delfino.

bpo-28167 [https://bugs.python.org/issue?@action=redirect&bpo=28167]: The function platform.linux_distribution and platform.dist now trigger a DeprecationWarning and have been marked for removal in Python 3.8

bpo-33281 [https://bugs.python.org/issue?@action=redirect&bpo=33281]: Fix ctypes.util.find_library regression on macOS.

bpo-33311 [https://bugs.python.org/issue?@action=redirect&bpo=33311]: Text and html output generated by cgitb does not display parentheses if the current call is done directly in the module. Patch by Stéphane Blondon.

bpo-27300 [https://bugs.python.org/issue?@action=redirect&bpo=27300]: The file classes in tempfile now accept an errors parameter that complements the already existing encoding. Patch by Stephan Hohe.

bpo-32933 [https://bugs.python.org/issue?@action=redirect&bpo=32933]: unittest.mock.mock_open() now supports iteration over the file contents. Patch by Tony Flury.

bpo-33217 [https://bugs.python.org/issue?@action=redirect&bpo=33217]: Raise TypeError when looking up non-Enum objects in Enum classes and Enum members.

bpo-33197 [https://bugs.python.org/issue?@action=redirect&bpo=33197]: Update error message when constructing invalid inspect.Parameters Patch by Donghee Na.

bpo-33383 [https://bugs.python.org/issue?@action=redirect&bpo=33383]: Fixed crash in the get() method of the dbm.ndbm database object when it is called with a single argument.

bpo-33375 [https://bugs.python.org/issue?@action=redirect&bpo=33375]: The warnings module now finds the Python file associated with a warning from the code object, rather than the frame’s global namespace. This is consistent with how tracebacks and pdb find filenames, and should work better for dynamically executed code.

bpo-33336 [https://bugs.python.org/issue?@action=redirect&bpo=33336]: imaplib now allows MOVE command in IMAP4.uid() (RFC 6851: IMAP MOVE Extension) and potentially as a name of supported method of IMAP4 object.

bpo-32455 [https://bugs.python.org/issue?@action=redirect&bpo=32455]: Added jump parameter to dis.stack_effect().

bpo-27485 [https://bugs.python.org/issue?@action=redirect&bpo=27485]: Rename and deprecate undocumented functions in urllib.parse().

bpo-33332 [https://bugs.python.org/issue?@action=redirect&bpo=33332]: Add signal.valid_signals() to expose the POSIX sigfillset() functionality.

bpo-33251 [https://bugs.python.org/issue?@action=redirect&bpo=33251]: ConfigParser.items() was fixed so that key-value pairs passed in via vars() are not included in the resulting output.

bpo-33329 [https://bugs.python.org/issue?@action=redirect&bpo=33329]: Fix multiprocessing regression on newer glibcs

bpo-33334 [https://bugs.python.org/issue?@action=redirect&bpo=33334]: dis.stack_effect() now supports all defined opcodes including NOP and EXTENDED_ARG.

bpo-991266 [https://bugs.python.org/issue?@action=redirect&bpo=991266]: Fix quoting of the Comment attribute of http.cookies.SimpleCookie.

bpo-33131 [https://bugs.python.org/issue?@action=redirect&bpo=33131]: Upgrade bundled version of pip to 10.0.1.

bpo-33308 [https://bugs.python.org/issue?@action=redirect&bpo=33308]: Fixed a crash in the parser module when converting an ST object to a tree of tuples or lists with line_info=False and col_info=True.

bpo-23403 [https://bugs.python.org/issue?@action=redirect&bpo=23403]: lib2to3 now uses pickle protocol 4 for pre-computed grammars.

bpo-33266 [https://bugs.python.org/issue?@action=redirect&bpo=33266]: lib2to3 now recognizes rf'...' strings.

bpo-11594 [https://bugs.python.org/issue?@action=redirect&bpo=11594]: Ensure line-endings are respected when using lib2to3.

bpo-33254 [https://bugs.python.org/issue?@action=redirect&bpo=33254]: Have importlib.resources.contents() and importlib.abc.ResourceReader.contents() return an iterable instead of an iterator.

bpo-33265 [https://bugs.python.org/issue?@action=redirect&bpo=33265]: contextlib.ExitStack and contextlib.AsyncExitStack now use a method instead of a wrapper function for exit callbacks.

bpo-33263 [https://bugs.python.org/issue?@action=redirect&bpo=33263]: Fix FD leak in _SelectorSocketTransport Patch by Vlad Starostin.

bpo-33256 [https://bugs.python.org/issue?@action=redirect&bpo=33256]: Fix display of <module> call in the html produced by cgitb.html(). Patch by Stéphane Blondon.

bpo-33144 [https://bugs.python.org/issue?@action=redirect&bpo=33144]: random.Random() and its subclassing mechanism got optimized to check only once at class/subclass instantiation time whether its getrandbits() method can be relied on by other methods, including randrange(), for the generation of arbitrarily large random integers. Patch by Wolfgang Maier.

bpo-33185 [https://bugs.python.org/issue?@action=redirect&bpo=33185]: Fixed regression when running pydoc with the -m switch. (The regression was introduced in 3.7.0b3 by the resolution of bpo-33053 [https://bugs.python.org/issue?@action=redirect&bpo=33053])

This fix also changed pydoc to add os.getcwd() to sys.path when necessary, rather than adding ".".

bpo-29613 [https://bugs.python.org/issue?@action=redirect&bpo=29613]: Added support for the SameSite cookie flag to the http.cookies module.

bpo-33169 [https://bugs.python.org/issue?@action=redirect&bpo=33169]: Delete entries of None in sys.path_importer_cache when importlib.machinery.invalidate_caches() is called.

bpo-33203 [https://bugs.python.org/issue?@action=redirect&bpo=33203]: random.Random.choice() now raises IndexError for empty sequences consistently even when called from subclasses without a getrandbits() implementation.

bpo-33224 [https://bugs.python.org/issue?@action=redirect&bpo=33224]: Update difflib.mdiff() for PEP 479 [https://peps.python.org/pep-0479/]. Convert an uncaught StopIteration in a generator into a return-statement.

bpo-33209 [https://bugs.python.org/issue?@action=redirect&bpo=33209]: End framing at the end of C implementation of pickle.Pickler.dump().

bpo-32861 [https://bugs.python.org/issue?@action=redirect&bpo=32861]: The urllib.robotparser’s __str__ representation now includes wildcard entries and the “Crawl-delay” and “Request-rate” fields. Also removes extra newlines that were being appended to the end of the string. Patch by Michael Lazar.

bpo-23403 [https://bugs.python.org/issue?@action=redirect&bpo=23403]: DEFAULT_PROTOCOL in pickle was bumped to 4. Protocol 4 is described in PEP 3154 [https://peps.python.org/pep-3154/] and available since Python 3.4. It offers better performance and smaller size compared to protocol 3 introduced in Python 3.0.

bpo-20104 [https://bugs.python.org/issue?@action=redirect&bpo=20104]: Improved error handling and fixed a reference leak in os.posix_spawn().

bpo-33106 [https://bugs.python.org/issue?@action=redirect&bpo=33106]: Deleting a key from a read-only dbm database raises module specific error instead of KeyError.

bpo-33175 [https://bugs.python.org/issue?@action=redirect&bpo=33175]: In dataclasses, Field.__set_name__ now looks up the __set_name__ special method on the class, not the instance, of the default value.

bpo-32380 [https://bugs.python.org/issue?@action=redirect&bpo=32380]: Create functools.singledispatchmethod to support generic single dispatch on descriptors and methods.

bpo-33141 [https://bugs.python.org/issue?@action=redirect&bpo=33141]: Have Field objects pass through __set_name__ to their default values, if they have their own __set_name__.

bpo-33096 [https://bugs.python.org/issue?@action=redirect&bpo=33096]: Allow ttk.Treeview.insert to insert iid that has a false boolean value. Note iid=0 and iid=False would be same. Patch by Garvit Khatri.

bpo-32873 [https://bugs.python.org/issue?@action=redirect&bpo=32873]: Treat type variables and special typing forms as immutable by copy and pickle. This fixes several minor issues and inconsistencies, and improves backwards compatibility with Python 3.6.

bpo-33134 [https://bugs.python.org/issue?@action=redirect&bpo=33134]: When computing dataclass’s __hash__, use the lookup table to contain the function which returns the __hash__ value. This is an improvement over looking up a string, and then testing that string to see what to do.

bpo-33127 [https://bugs.python.org/issue?@action=redirect&bpo=33127]: The ssl module now compiles with LibreSSL 2.7.1.

bpo-32505 [https://bugs.python.org/issue?@action=redirect&bpo=32505]: Raise TypeError if a member variable of a dataclass is of type Field, but doesn’t have a type annotation.

bpo-33078 [https://bugs.python.org/issue?@action=redirect&bpo=33078]: Fix the failure on OSX caused by the tests relying on sem_getvalue

bpo-33116 [https://bugs.python.org/issue?@action=redirect&bpo=33116]: Add ‘Field’ to dataclasses.__all__.

bpo-32896 [https://bugs.python.org/issue?@action=redirect&bpo=32896]: Fix an error where subclassing a dataclass with a field that uses a default_factory would generate an incorrect class.

bpo-33100 [https://bugs.python.org/issue?@action=redirect&bpo=33100]: Dataclasses: If a field has a default value that’s a MemberDescriptorType, then it’s from that field being in __slots__, not an actual default value.

bpo-32953 [https://bugs.python.org/issue?@action=redirect&bpo=32953]: If a non-dataclass inherits from a frozen dataclass, allow attributes to be added to the derived class. Only attributes from the frozen dataclass cannot be assigned to. Require all dataclasses in a hierarchy to be either all frozen or all non-frozen.

bpo-33097 [https://bugs.python.org/issue?@action=redirect&bpo=33097]: Raise RuntimeError when executor.submit is called during interpreter shutdown.

bpo-32968 [https://bugs.python.org/issue?@action=redirect&bpo=32968]: Modulo and floor division involving Fraction and float should return float.

bpo-33061 [https://bugs.python.org/issue?@action=redirect&bpo=33061]: Add missing NoReturn to __all__ in typing.py

bpo-33078 [https://bugs.python.org/issue?@action=redirect&bpo=33078]: Fix the size handling in multiprocessing.Queue when a pickling error occurs.

bpo-33064 [https://bugs.python.org/issue?@action=redirect&bpo=33064]: lib2to3 now properly supports trailing commas after *args and **kwargs in function signatures.

bpo-33056 [https://bugs.python.org/issue?@action=redirect&bpo=33056]: FIX properly close leaking fds in concurrent.futures.ProcessPoolExecutor.

bpo-33021 [https://bugs.python.org/issue?@action=redirect&bpo=33021]: Release the GIL during fstat() calls, avoiding hang of all threads when calling mmap.mmap(), os.urandom(), and random.seed(). Patch by Nir Soffer.

bpo-31804 [https://bugs.python.org/issue?@action=redirect&bpo=31804]: Avoid failing in multiprocessing.Process if the standard streams are closed or None at exit.

bpo-33034 [https://bugs.python.org/issue?@action=redirect&bpo=33034]: Providing an explicit error message when casting the port property to anything that is not an integer value using urlparse() and urlsplit(). Patch by Matt Eaton.

bpo-30249 [https://bugs.python.org/issue?@action=redirect&bpo=30249]: Improve struct.unpack_from() exception messages for problems with the buffer size and offset.

bpo-33037 [https://bugs.python.org/issue?@action=redirect&bpo=33037]: Skip sending/receiving data after SSL transport closing.

bpo-27683 [https://bugs.python.org/issue?@action=redirect&bpo=27683]: Fix a regression in ipaddress that result of hosts() is empty when the network is constructed by a tuple containing an integer mask and only 1 bit left for addresses.

bpo-22674 [https://bugs.python.org/issue?@action=redirect&bpo=22674]: Add the strsignal() function in the signal module that returns the system description of the given signal, as returned by strsignal(3).

bpo-32999 [https://bugs.python.org/issue?@action=redirect&bpo=32999]: Fix C implementation of ABC.__subclasscheck__(cls, subclass) crashed when subclass is not a type object.

bpo-33009 [https://bugs.python.org/issue?@action=redirect&bpo=33009]: Fix inspect.signature() for single-parameter partialmethods.

bpo-32969 [https://bugs.python.org/issue?@action=redirect&bpo=32969]: Expose several missing constants in zlib and fix corresponding documentation.

bpo-32056 [https://bugs.python.org/issue?@action=redirect&bpo=32056]: Improved exceptions raised for invalid number of channels and sample width when read an audio file in modules aifc, wave and sunau.

bpo-32970 [https://bugs.python.org/issue?@action=redirect&bpo=32970]: Improved disassembly of the MAKE_FUNCTION instruction.

bpo-32844 [https://bugs.python.org/issue?@action=redirect&bpo=32844]: Fix wrong redirection of a low descriptor (0 or 1) to stderr in subprocess if another low descriptor is closed.

bpo-32960 [https://bugs.python.org/issue?@action=redirect&bpo=32960]: For dataclasses, disallow inheriting frozen from non-frozen classes, and also disallow inheriting non-frozen from frozen classes. This restriction will be relaxed at a future date.

bpo-32713 [https://bugs.python.org/issue?@action=redirect&bpo=32713]: Fixed tarfile.itn handling of out-of-bounds float values. Patch by Joffrey Fuhrer.

bpo-32257 [https://bugs.python.org/issue?@action=redirect&bpo=32257]: The ssl module now contains OP_NO_RENEGOTIATION constant, available with OpenSSL 1.1.0h or 1.1.1.

bpo-32951 [https://bugs.python.org/issue?@action=redirect&bpo=32951]: Direct instantiation of SSLSocket and SSLObject objects is now prohibited. The constructors were never documented, tested, or designed as public constructors. Users were suppose to use ssl.wrap_socket() or SSLContext.

bpo-32929 [https://bugs.python.org/issue?@action=redirect&bpo=32929]: Remove the tri-state parameter “hash”, and add the boolean “unsafe_hash”. If unsafe_hash is True, add a __hash__ function, but if a __hash__ exists, raise TypeError. If unsafe_hash is False, add a __hash__ based on the values of eq= and frozen=. The unsafe_hash=False behavior is the same as the old hash=None behavior. unsafe_hash=False is the default, just as hash=None used to be.

bpo-32947 [https://bugs.python.org/issue?@action=redirect&bpo=32947]: Add OP_ENABLE_MIDDLEBOX_COMPAT and test workaround for TLSv1.3 for future compatibility with OpenSSL 1.1.1.

bpo-32146 [https://bugs.python.org/issue?@action=redirect&bpo=32146]: Document the interaction between frozen executables and the spawn and forkserver start methods in multiprocessing.

bpo-30622 [https://bugs.python.org/issue?@action=redirect&bpo=30622]: The ssl module now detects missing NPN support in LibreSSL.

bpo-32922 [https://bugs.python.org/issue?@action=redirect&bpo=32922]: dbm.open() now encodes filename with the filesystem encoding rather than default encoding.

bpo-32759 [https://bugs.python.org/issue?@action=redirect&bpo=32759]: Free unused arenas in multiprocessing.heap.

bpo-32859 [https://bugs.python.org/issue?@action=redirect&bpo=32859]: In os.dup2, don’t check every call whether the dup3 syscall exists or not.

bpo-32556 [https://bugs.python.org/issue?@action=redirect&bpo=32556]: nt._getfinalpathname, nt._getvolumepathname and nt._getdiskusage now correctly convert from bytes.

bpo-21060 [https://bugs.python.org/issue?@action=redirect&bpo=21060]: Rewrite confusing message from setup.py upload from “No dist file created in earlier command” to the more helpful “Must create and upload files in one command”.

bpo-32857 [https://bugs.python.org/issue?@action=redirect&bpo=32857]: In tkinter, after_cancel(None) now raises a ValueError instead of canceling the first scheduled function. Patch by Cheryl Sabella.

bpo-32852 [https://bugs.python.org/issue?@action=redirect&bpo=32852]: Make sure sys.argv remains as a list when running trace.

bpo-31333 [https://bugs.python.org/issue?@action=redirect&bpo=31333]: _abc module is added. It is a speedup module with C implementations for various functions and methods in abc. Creating an ABC subclass and calling isinstance or issubclass with an ABC subclass are up to 1.5x faster. In addition, this makes Python start-up up to 10% faster.

Note that the new implementation hides internal registry and caches, previously accessible via private attributes _abc_registry, _abc_cache, and _abc_negative_cache. There are three debugging helper methods that can be used instead _dump_registry, _abc_registry_clear, and _abc_caches_clear.

bpo-32841 [https://bugs.python.org/issue?@action=redirect&bpo=32841]: Fixed asyncio.Condition issue which silently ignored cancellation after notifying and cancelling a conditional lock. Patch by Bar Harel.

bpo-32819 [https://bugs.python.org/issue?@action=redirect&bpo=32819]: ssl.match_hostname() has been simplified and no longer depends on re and ipaddress module for wildcard and IP addresses. Error reporting for invalid wildcards has been improved.

bpo-19675 [https://bugs.python.org/issue?@action=redirect&bpo=19675]: multiprocessing.Pool no longer leaks processes if its initialization fails.

bpo-32394 [https://bugs.python.org/issue?@action=redirect&bpo=32394]: socket: Remove TCP_FASTOPEN,TCP_KEEPCNT,TCP_KEEPIDLE,TCP_KEEPINTVL flags on older version Windows during run-time.

bpo-31787 [https://bugs.python.org/issue?@action=redirect&bpo=31787]: Fixed refleaks of __init__() methods in various modules. (Contributed by Oren Milman)

bpo-30157 [https://bugs.python.org/issue?@action=redirect&bpo=30157]: Fixed guessing quote and delimiter in csv.Sniffer.sniff() when only the last field is quoted. Patch by Jake Davis.

bpo-30688 [https://bugs.python.org/issue?@action=redirect&bpo=30688]: Added support of \N{name} escapes in regular expressions. Based on patch by Jonathan Eunice.

bpo-32792 [https://bugs.python.org/issue?@action=redirect&bpo=32792]: collections.ChainMap() preserves the order of the underlying mappings.

bpo-32775 [https://bugs.python.org/issue?@action=redirect&bpo=32775]: fnmatch.translate() no longer produces patterns which contain set operations. Sets starting with ‘[’ or containing ‘–’, ‘&&’, ‘~~’ or ‘||’ will be interpreted differently in regular expressions in future versions. Currently they emit warnings. fnmatch.translate() now avoids producing patterns containing such sets by accident.

bpo-32622 [https://bugs.python.org/issue?@action=redirect&bpo=32622]: Implement native fast sendfile for Windows proactor event loop.

bpo-32777 [https://bugs.python.org/issue?@action=redirect&bpo=32777]: Fix a rare but potential pre-exec child process deadlock in subprocess on POSIX systems when marking file descriptors inheritable on exec in the child process. This bug appears to have been introduced in 3.4.

bpo-32647 [https://bugs.python.org/issue?@action=redirect&bpo=32647]: The ctypes module used to depend on indirect linking for dlopen. The shared extension is now explicitly linked against libdl on platforms with dl.

bpo-32749 [https://bugs.python.org/issue?@action=redirect&bpo=32749]: A dbm.dumb database opened with flags ‘r’ is now read-only. dbm.dumb.open() with flags ‘r’ and ‘w’ no longer creates a database if it does not exist.

bpo-32741 [https://bugs.python.org/issue?@action=redirect&bpo=32741]: Implement asyncio.TimerHandle.when() method.

bpo-32691 [https://bugs.python.org/issue?@action=redirect&bpo=32691]: Use mod_spec.parent when running modules with pdb

bpo-32734 [https://bugs.python.org/issue?@action=redirect&bpo=32734]: Fixed asyncio.Lock() safety issue which allowed acquiring and locking the same lock multiple times, without it being free. Patch by Bar Harel.

bpo-32727 [https://bugs.python.org/issue?@action=redirect&bpo=32727]: Do not include name field in SMTP envelope from address. Patch by Stéphane Wirtel

bpo-31453 [https://bugs.python.org/issue?@action=redirect&bpo=31453]: Add TLSVersion constants and SSLContext.maximum_version / minimum_version attributes. The new API wraps OpenSSL 1.1 https://web.archive.org/web/20180309043602/https://www.openssl.org/docs/man1.1.0/ssl/SSL_CTX_set_min_proto_version.html feature.

bpo-24334 [https://bugs.python.org/issue?@action=redirect&bpo=24334]: Internal implementation details of ssl module were cleaned up. The SSLSocket has one less layer of indirection. Owner and session information are now handled by the SSLSocket and SSLObject constructor. Channel binding implementation has been simplified.

bpo-31848 [https://bugs.python.org/issue?@action=redirect&bpo=31848]: Fix the error handling in Aifc_read.initfp() when the SSND chunk is not found. Patch by Zackery Spytz.

bpo-32585 [https://bugs.python.org/issue?@action=redirect&bpo=32585]: Add Ttk spinbox widget to tkinter.ttk. Patch by Alan D Moore.

bpo-32512 [https://bugs.python.org/issue?@action=redirect&bpo=32512]: profile CLI accepts -m module_name as an alternative to script path.

bpo-8525 [https://bugs.python.org/issue?@action=redirect&bpo=8525]: help() on a type now displays builtin subclasses. This is intended primarily to help with notification of more specific exception subclasses.

Patch by Sanyam Khurana.

bpo-31639 [https://bugs.python.org/issue?@action=redirect&bpo=31639]: http.server now exposes a ThreadingHTTPServer class and uses it when the module is run with -m to cope with web browsers pre-opening sockets.

bpo-29877 [https://bugs.python.org/issue?@action=redirect&bpo=29877]: compileall: import ProcessPoolExecutor only when needed, preventing hangs on low resource platforms

bpo-32221 [https://bugs.python.org/issue?@action=redirect&bpo=32221]: Various functions returning tuple containing IPv6 addresses now omit %scope part since the same information is already encoded in scopeid tuple item. Especially this speeds up socket.recvfrom() when it receives multicast packet since useless resolving of network interface name is omitted.

bpo-32147 [https://bugs.python.org/issue?@action=redirect&bpo=32147]: binascii.unhexlify() is now up to 2 times faster. Patch by Sergey Fedoseev.

bpo-30693 [https://bugs.python.org/issue?@action=redirect&bpo=30693]: The TarFile class now recurses directories in a reproducible way.

bpo-30693 [https://bugs.python.org/issue?@action=redirect&bpo=30693]: The ZipFile class now recurses directories in a reproducible way.

bpo-31680 [https://bugs.python.org/issue?@action=redirect&bpo=31680]: Added curses.ncurses_version.

bpo-31908 [https://bugs.python.org/issue?@action=redirect&bpo=31908]: Fix output of cover files for trace module command-line tool. Previously emitted cover files only when --missing option was used. Patch by Michael Selik.

bpo-31608 [https://bugs.python.org/issue?@action=redirect&bpo=31608]: Raise a TypeError instead of crashing if a collections.deque subclass returns a non-deque from __new__. Patch by Oren Milman.

bpo-31425 [https://bugs.python.org/issue?@action=redirect&bpo=31425]: Add support for sockets of the AF_QIPCRTR address family, supported by the Linux kernel. This is used to communicate with services, such as GPS or radio, running on Qualcomm devices. Patch by Bjorn Andersson.

bpo-22005 [https://bugs.python.org/issue?@action=redirect&bpo=22005]: Implemented unpickling instances of datetime, date and time pickled by Python 2. encoding='latin1' should be used for successful decoding.

bpo-27645 [https://bugs.python.org/issue?@action=redirect&bpo=27645]: sqlite3.Connection now exposes a backup method, if the underlying SQLite library is at version 3.6.11 or higher. Patch by Lele Gaifax.

bpo-16865 [https://bugs.python.org/issue?@action=redirect&bpo=16865]: Support arrays >=2GiB in ctypes. Patch by Segev Finer.

bpo-31508 [https://bugs.python.org/issue?@action=redirect&bpo=31508]: Removed support of arguments in tkinter.ttk.Treeview.selection. It was deprecated in 3.6. Use specialized methods like selection_set for changing the selection.

bpo-29456 [https://bugs.python.org/issue?@action=redirect&bpo=29456]: Fix bugs in hangul normalization: u1176, u11a7 and u11c3

Documentation

bpo-21257 [https://bugs.python.org/issue?@action=redirect&bpo=21257]: Document http.client.parse_headers().

bpo-34764 [https://bugs.python.org/issue?@action=redirect&bpo=34764]: Improve example of iter() with 2nd sentinel argument.

bpo-35564 [https://bugs.python.org/issue?@action=redirect&bpo=35564]: Explicitly set master_doc variable in conf.py for compliance with Sphinx 2.0

bpo-35511 [https://bugs.python.org/issue?@action=redirect&bpo=35511]: Specified that profile.Profile class doesn’t not support enable or disable methods. Also, elaborated that Profile object as a context manager is only supported in cProfile module.

bpo-10536 [https://bugs.python.org/issue?@action=redirect&bpo=10536]: Enhance the gettext docs. Patch by Éric Araujo

bpo-35089 [https://bugs.python.org/issue?@action=redirect&bpo=35089]: Remove mention of typing.io and typing.re. Their types should be imported from typing directly.

bpo-35038 [https://bugs.python.org/issue?@action=redirect&bpo=35038]: Fix the documentation about an unexisting f_restricted attribute in the frame object. Patch by Stéphane Wirtel

bpo-35042 [https://bugs.python.org/issue?@action=redirect&bpo=35042]: Replace PEP XYZ by the pep role and allow to use the direct links to the PEPs.

bpo-35044 [https://bugs.python.org/issue?@action=redirect&bpo=35044]: Fix the documentation with the role exc for the appropriated exception. Patch by Stéphane Wirtel

bpo-35035 [https://bugs.python.org/issue?@action=redirect&bpo=35035]: Rename documentation for email.utils to email.utils.rst.

bpo-34967 [https://bugs.python.org/issue?@action=redirect&bpo=34967]: Use app.add_object_type() instead of the deprecated Sphinx function app.description_unit()

bpo-34913 [https://bugs.python.org/issue?@action=redirect&bpo=34913]: Add documentation about the new command line interface of the gzip module.

bpo-32174 [https://bugs.python.org/issue?@action=redirect&bpo=32174]: chm document displays non-ASCII characters properly on some MBCS Windows systems.

bpo-11233 [https://bugs.python.org/issue?@action=redirect&bpo=11233]: Create availability directive for documentation. Original patch by Georg Brandl.

bpo-34790 [https://bugs.python.org/issue?@action=redirect&bpo=34790]: Document how passing coroutines to asyncio.wait() can be confusing.

bpo-34552 [https://bugs.python.org/issue?@action=redirect&bpo=34552]: Make clear that == operator sometimes is equivalent to is. The <, <=, > and >= operators are only defined where they make sense.

bpo-28617 [https://bugs.python.org/issue?@action=redirect&bpo=28617]: Fixed info in the stdtypes docs concerning the types that support membership tests.

bpo-20177 [https://bugs.python.org/issue?@action=redirect&bpo=20177]: Migrate datetime.date.fromtimestamp to Argument Clinic. Patch by Tim Hoffmann.

bpo-34065 [https://bugs.python.org/issue?@action=redirect&bpo=34065]: Fix wrongly written basicConfig documentation markup syntax

bpo-33460 [https://bugs.python.org/issue?@action=redirect&bpo=33460]: replaced ellipsis with correct error codes in tutorial chapter 3.

bpo-33847 [https://bugs.python.org/issue?@action=redirect&bpo=33847]: Add ‘@’ operator entry to index.

bpo-33409 [https://bugs.python.org/issue?@action=redirect&bpo=33409]: Clarified the relationship between PEP 538 [https://peps.python.org/pep-0538/]’s PYTHONCOERCECLOCALE and PEP 540’s PYTHONUTF8 mode.

bpo-33197 [https://bugs.python.org/issue?@action=redirect&bpo=33197]: Add versionadded tag to the documentation of ParameterKind.description

bpo-17045 [https://bugs.python.org/issue?@action=redirect&bpo=17045]: Improve the C-API doc for PyTypeObject. This includes adding several quick-reference tables and a lot of missing slot/typedef entries. The existing entries were also cleaned up with a slightly more consistent format.

bpo-33736 [https://bugs.python.org/issue?@action=redirect&bpo=33736]: Improve the documentation of asyncio.open_connection(), asyncio.start_server() and their UNIX socket counterparts.

bpo-23859 [https://bugs.python.org/issue?@action=redirect&bpo=23859]: Document that asyncio.wait() does not cancel its futures on timeout.

bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436]: Document PEP 567 [https://peps.python.org/pep-0567/] changes to asyncio.

bpo-33604 [https://bugs.python.org/issue?@action=redirect&bpo=33604]: Update HMAC md5 default to a DeprecationWarning, bump removal to 3.8.

bpo-33594 [https://bugs.python.org/issue?@action=redirect&bpo=33594]: Document getargspec, from_function and from_builtin as deprecated in their respective docstring, and include version since deprecation in DeprecationWarning message.

bpo-33503 [https://bugs.python.org/issue?@action=redirect&bpo=33503]: Fix broken pypi link

bpo-33421 [https://bugs.python.org/issue?@action=redirect&bpo=33421]: Add missing documentation for typing.AsyncContextManager.

bpo-33487 [https://bugs.python.org/issue?@action=redirect&bpo=33487]: BZ2file now emit a DeprecationWarning when buffering=None is passed, the deprecation message and documentation also now explicitly state it is deprecated since 3.0.

bpo-33378 [https://bugs.python.org/issue?@action=redirect&bpo=33378]: Add Korean language switcher for https://docs.python.org/3/

bpo-33276 [https://bugs.python.org/issue?@action=redirect&bpo=33276]: Clarify that the __path__ attribute on modules cannot be just any value.

bpo-33201 [https://bugs.python.org/issue?@action=redirect&bpo=33201]: Modernize documentation for writing C extension types.

bpo-33195 [https://bugs.python.org/issue?@action=redirect&bpo=33195]: Deprecate Py_UNICODE usage in c-api/arg document. Py_UNICODE related APIs are deprecated since Python 3.3, but it is missed in the document.

bpo-33126 [https://bugs.python.org/issue?@action=redirect&bpo=33126]: Document PyBuffer_ToContiguous().

bpo-27212 [https://bugs.python.org/issue?@action=redirect&bpo=27212]: Modify documentation for the islice() recipe to consume initial values up to the start index.

bpo-28247 [https://bugs.python.org/issue?@action=redirect&bpo=28247]: Update zipapp documentation to describe how to make standalone applications.

bpo-18802 [https://bugs.python.org/issue?@action=redirect&bpo=18802]: Documentation changes for ipaddress. Patch by Jon Foster and Berker Peksag.

bpo-27428 [https://bugs.python.org/issue?@action=redirect&bpo=27428]: Update documentation to clarify that WindowsRegistryFinder implements MetaPathFinder. (Patch by Himanshu Lakhara)

bpo-28124 [https://bugs.python.org/issue?@action=redirect&bpo=28124]: The ssl module function ssl.wrap_socket() has been de-emphasized and deprecated in favor of the more secure and efficient SSLContext.wrap_socket() method.

bpo-17232 [https://bugs.python.org/issue?@action=redirect&bpo=17232]: Clarify docs for -O and -OO. Patch by Terry Reedy.

bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436]: Add documentation for the contextvars module (PEP 567).

bpo-32800 [https://bugs.python.org/issue?@action=redirect&bpo=32800]: Update link to w3c doc for xml default namespaces.

bpo-11015 [https://bugs.python.org/issue?@action=redirect&bpo=11015]: Update test.support documentation.

bpo-32613 [https://bugs.python.org/issue?@action=redirect&bpo=32613]: Update the faq/windows.html to use the py command from PEP 397 instead of python.

bpo-8722 [https://bugs.python.org/issue?@action=redirect&bpo=8722]: Document __getattr__() behavior when property get() method raises AttributeError.

bpo-32614 [https://bugs.python.org/issue?@action=redirect&bpo=32614]: Modify RE examples in documentation to use raw strings to prevent DeprecationWarning and add text to REGEX HOWTO to highlight the deprecation.

bpo-20709 [https://bugs.python.org/issue?@action=redirect&bpo=20709]: Remove the paragraph where we explain that os.utime() does not support a directory as path under Windows. Patch by Jan-Philip Gehrcke

bpo-32722 [https://bugs.python.org/issue?@action=redirect&bpo=32722]: Remove the bad example in the tutorial of the Generator Expression. Patch by Stéphane Wirtel

bpo-31972 [https://bugs.python.org/issue?@action=redirect&bpo=31972]: Improve docstrings for pathlib.PurePath subclasses.

bpo-30607 [https://bugs.python.org/issue?@action=redirect&bpo=30607]: Use the externalized python-docs-theme package when building the documentation.

bpo-8243 [https://bugs.python.org/issue?@action=redirect&bpo=8243]: Add a note about curses.addch and curses.addstr exception behavior when writing outside a window, or pad.

bpo-32337 [https://bugs.python.org/issue?@action=redirect&bpo=32337]: Update documentation related with dict order.

bpo-25041 [https://bugs.python.org/issue?@action=redirect&bpo=25041]: Document AF_PACKET in the socket module.

bpo-31432 [https://bugs.python.org/issue?@action=redirect&bpo=31432]: Clarify meaning of CERT_NONE, CERT_OPTIONAL, and CERT_REQUIRED flags for ssl.SSLContext.verify_mode.

Tests

bpo-35772 [https://bugs.python.org/issue?@action=redirect&bpo=35772]: Fix sparse file tests of test_tarfile on ppc64 with the tmpfs filesystem. Fix the function testing if the filesystem supports sparse files: create a file which contains data and “holes”, instead of creating a file which contains no data. tmpfs effective block size is a page size (tmpfs lives in the page cache). RHEL uses 64 KiB pages on aarch64, ppc64, ppc64le, only s390x and x86_64 use 4 KiB pages, whereas the test punch holes of 4 KiB.

bpo-35045 [https://bugs.python.org/issue?@action=redirect&bpo=35045]: Make ssl tests less strict and also accept TLSv1 as system default. The changes unbreaks test_min_max_version on Fedora 29.

bpo-32710 [https://bugs.python.org/issue?@action=redirect&bpo=32710]: test_asyncio/test_sendfile.py now resets the event loop policy using tearDownModule() as done in other tests, to prevent a warning when running tests on Windows.

bpo-33717 [https://bugs.python.org/issue?@action=redirect&bpo=33717]: test.pythoninfo now logs information of all clocks, not only time.time() and time.perf_counter().

bpo-35488 [https://bugs.python.org/issue?@action=redirect&bpo=35488]: Add a test to pathlib’s Path.match() to verify it does not support glob-style ** recursive pattern matching.

bpo-31731 [https://bugs.python.org/issue?@action=redirect&bpo=31731]: Fix a race condition in check_interrupted_write() of test_io: create directly the thread with SIGALRM signal blocked, rather than blocking the signal later from the thread. Previously, it was possible that the thread gets the signal before the signal is blocked.

bpo-35424 [https://bugs.python.org/issue?@action=redirect&bpo=35424]: Fix test_multiprocessing_main_handling: use multiprocessing.Pool with a context manager and then explicitly join the pool.

bpo-35519 [https://bugs.python.org/issue?@action=redirect&bpo=35519]: Rename test.bisect module to test.bisect_cmd to avoid conflict with bisect module when running directly a test like ./python Lib/test/test_xmlrpc.py.

bpo-35513 [https://bugs.python.org/issue?@action=redirect&bpo=35513]: Replace time.time() with time.monotonic() in tests to measure time delta.

bpo-34279 [https://bugs.python.org/issue?@action=redirect&bpo=34279]: test.support.run_unittest() no longer raise TestDidNotRun if the test result contains skipped tests. The exception is now only raised if no test have been run and no test have been skipped.

bpo-35412 [https://bugs.python.org/issue?@action=redirect&bpo=35412]: Add testcase to test_future4: check unicode literal.

bpo-26704 [https://bugs.python.org/issue?@action=redirect&bpo=26704]: Added test demonstrating double-patching of an instance method. Patch by Anthony Sottile.

bpo-33725 [https://bugs.python.org/issue?@action=redirect&bpo=33725]: test_multiprocessing_fork may crash on recent versions of macOS. Until the issue is resolved, skip the test on macOS.

bpo-35352 [https://bugs.python.org/issue?@action=redirect&bpo=35352]: Modify test_asyncio to use the certificate set from the test directory.

bpo-35317 [https://bugs.python.org/issue?@action=redirect&bpo=35317]: Fix mktime() overflow error in test_email: run test_localtime_daylight_true_dst_true() and test_localtime_daylight_false_dst_true() with a specific timezone.

bpo-21263 [https://bugs.python.org/issue?@action=redirect&bpo=21263]: After several reports that test_gdb does not work properly on macOS and since gdb is not shipped by default anymore, test_gdb is now skipped on macOS when LLVM Clang has been used to compile Python. Patch by Lysandros Nikolaou

bpo-34279 [https://bugs.python.org/issue?@action=redirect&bpo=34279]: regrtest issue a warning when no tests have been executed in a particular test file. Also, a new final result state is issued if no test have been executed across all test files. Patch by Pablo Galindo.

bpo-34962 [https://bugs.python.org/issue?@action=redirect&bpo=34962]: make docstest in Doc now passes., and is enforced in CI

bpo-23596 [https://bugs.python.org/issue?@action=redirect&bpo=23596]: Use argparse for the command line of the gzip module. Patch by Antony Lee

bpo-34537 [https://bugs.python.org/issue?@action=redirect&bpo=34537]: Fix test_gdb.test_strings() when LC_ALL=C and GDB was compiled with Python 3.6 or earlier.

bpo-34587 [https://bugs.python.org/issue?@action=redirect&bpo=34587]: test_socket: Remove RDSTest.testCongestion(). The test tries to fill the receiver’s socket buffer and expects an error. But the RDS protocol doesn’t require that. Moreover, the Linux implementation of RDS expects that the producer of the messages reduces its rate, it’s not the role of the receiver to trigger an error. The test fails on Fedora 28 by design, so just remove it.

bpo-34661 [https://bugs.python.org/issue?@action=redirect&bpo=34661]: Fix test_shutil if unzip doesn’t support -t.

bpo-34200 [https://bugs.python.org/issue?@action=redirect&bpo=34200]: Fixed non-deterministic flakiness of test_pkg by not using the scary test.support.module_cleanup() logic to save and restore sys.modules contents between test cases.

bpo-34569 [https://bugs.python.org/issue?@action=redirect&bpo=34569]: The experimental PEP 554 data channels now correctly pass negative PyLong objects between subinterpreters on 32-bit systems. Patch by Michael Felt.

bpo-34594 [https://bugs.python.org/issue?@action=redirect&bpo=34594]: Fix usage of hardcoded errno values in the tests.

bpo-34579 [https://bugs.python.org/issue?@action=redirect&bpo=34579]: Fix test_embed for AIX Patch by Michael Felt

bpo-34542 [https://bugs.python.org/issue?@action=redirect&bpo=34542]: Use 3072 RSA keys and SHA-256 signature for test certs and keys.

bpo-11193 [https://bugs.python.org/issue?@action=redirect&bpo=11193]: Remove special condition for AIX in test_subprocess.test_undecodable_env

bpo-34347 [https://bugs.python.org/issue?@action=redirect&bpo=34347]: Fix test_utf8_mode.test_cmd_line for AIX

bpo-34490 [https://bugs.python.org/issue?@action=redirect&bpo=34490]: On AIX with AF_UNIX family sockets getsockname() does not provide ‘sockname’, so skip calls to transport.get_extra_info(‘sockname’)

bpo-34391 [https://bugs.python.org/issue?@action=redirect&bpo=34391]: Fix ftplib test for TLS 1.3 by reading from data socket.

bpo-11192 [https://bugs.python.org/issue?@action=redirect&bpo=11192]: Fix test_socket on AIX 6.1 and later IPv6 zone id supports only supported by inet_pton6_zone(). Switch to runtime-based platform.system() to establish current platform rather than build-time based sys.platform()

bpo-34399 [https://bugs.python.org/issue?@action=redirect&bpo=34399]: Update all RSA keys and DH params to use at least 2048 bits.

bpo-34373 [https://bugs.python.org/issue?@action=redirect&bpo=34373]: Fix test_mktime and test_pthread_getcpuclickid tests for AIX Add range checking for _PyTime_localtime for AIX Patch by Michael Felt

bpo-11191 [https://bugs.python.org/issue?@action=redirect&bpo=11191]: Skip the distutils test ‘test_search_cpp’ when using XLC as compiler patch by aixtools (Michael Felt)

Improved an error message when mock assert_has_calls fails.

bpo-33746 [https://bugs.python.org/issue?@action=redirect&bpo=33746]: Fix test_unittest when run in verbose mode.

bpo-33901 [https://bugs.python.org/issue?@action=redirect&bpo=33901]: Fix test_dbm_gnu on macOS with gdbm 1.15: add a larger value to make sure that the file size changes.

bpo-33873 [https://bugs.python.org/issue?@action=redirect&bpo=33873]: Fix a bug in regrtest that caused an extra test to run if –huntrleaks/-R was used. Exit with error in case that invalid parameters are specified to –huntrleaks/-R (at least one warmup run and one repetition must be used).

bpo-33562 [https://bugs.python.org/issue?@action=redirect&bpo=33562]: Check that a global asyncio event loop policy is not left behind by any tests.

bpo-33655 [https://bugs.python.org/issue?@action=redirect&bpo=33655]: Ignore test_posix_fallocate failures on BSD platforms that might be due to running on ZFS.

bpo-32962 [https://bugs.python.org/issue?@action=redirect&bpo=32962]: Fixed test_gdb when Python is compiled with flags -mcet -fcf-protection -O0.

bpo-33358 [https://bugs.python.org/issue?@action=redirect&bpo=33358]: Fix test_embed.test_pre_initialization_sys_options() when the interpreter is built with --enable-shared.

bpo-32872 [https://bugs.python.org/issue?@action=redirect&bpo=32872]: Avoid regrtest compatibility issue with namespace packages.

bpo-32517 [https://bugs.python.org/issue?@action=redirect&bpo=32517]: Fix failing test_asyncio on macOS 10.12.2+ due to transport of KqueueSelector loop was not being closed.

bpo-32663 [https://bugs.python.org/issue?@action=redirect&bpo=32663]: Making sure the SMTPUTF8SimTests class of tests gets run in test_smtplib.py.

bpo-27643 [https://bugs.python.org/issue?@action=redirect&bpo=27643]: Test_C test case needs “signed short” bitfields, but the IBM XLC compiler (on AIX) does not support this Skip the code and test when AIX and XLC are used

Applicable to Python2-2.7 and later

bpo-19417 [https://bugs.python.org/issue?@action=redirect&bpo=19417]: Add test_bdb.py.

bpo-31809 [https://bugs.python.org/issue?@action=redirect&bpo=31809]: Add tests to verify connection with secp ECDH curves.

Build

bpo-34691 [https://bugs.python.org/issue?@action=redirect&bpo=34691]: The _contextvars module is now built into the core Python library on Windows.

bpo-35683 [https://bugs.python.org/issue?@action=redirect&bpo=35683]: Improved Azure Pipelines build steps and now verifying layouts correctly

bpo-35642 [https://bugs.python.org/issue?@action=redirect&bpo=35642]: Remove asynciomodule.c from pythoncore.vcxproj

bpo-35550 [https://bugs.python.org/issue?@action=redirect&bpo=35550]: Fix incorrect Solaris #ifdef checks to look for __sun && __SVR4 instead of sun when compiling.

bpo-35499 [https://bugs.python.org/issue?@action=redirect&bpo=35499]: make profile-opt no longer replaces CFLAGS_NODIST with CFLAGS. It now adds profile-guided optimization (PGO) flags to CFLAGS_NODIST: existing CFLAGS_NODIST flags are kept.

bpo-35257 [https://bugs.python.org/issue?@action=redirect&bpo=35257]: Avoid leaking the linker flags from Link Time Optimizations (LTO) into distutils when compiling C extensions.

bpo-35351 [https://bugs.python.org/issue?@action=redirect&bpo=35351]: When building Python with clang and LTO, LTO flags are no longer passed into CFLAGS to build third-party C extensions through distutils.

bpo-35139 [https://bugs.python.org/issue?@action=redirect&bpo=35139]: Fix a compiler error when statically linking pyexpat in Modules/Setup.

bpo-35059 [https://bugs.python.org/issue?@action=redirect&bpo=35059]: PCbuild: Set InlineFunctionExpansion to OnlyExplicitInline (“/Ob1” option) in pyproject.props in Debug mode to expand functions marked as inline. This change should make Python compiled in Debug mode a little bit faster on Windows.

bpo-35011 [https://bugs.python.org/issue?@action=redirect&bpo=35011]: Restores the use of pyexpatns.h to isolate our embedded copy of the expat C library so that its symbols do not conflict at link or dynamic loading time with an embedding application or other extension modules with their own version of libexpat.

bpo-28015 [https://bugs.python.org/issue?@action=redirect&bpo=28015]: Have –with-lto works correctly with clang.

bpo-34765 [https://bugs.python.org/issue?@action=redirect&bpo=34765]: Update the outdated install-sh file to the latest revision from automake v1.16.1

bpo-34585 [https://bugs.python.org/issue?@action=redirect&bpo=34585]: Check for floating-point byte order in configure.ac using compilation tests instead of executing code, so that these checks work in cross-compiled builds.

bpo-34710 [https://bugs.python.org/issue?@action=redirect&bpo=34710]: Fixed SSL module build with OpenSSL & pedantic CFLAGS.

bpo-34582 [https://bugs.python.org/issue?@action=redirect&bpo=34582]: Add JUnit XML output for regression tests and update Azure DevOps builds.

bpo-34081 [https://bugs.python.org/issue?@action=redirect&bpo=34081]: Make Sphinx warnings as errors in the Docs Makefile.

bpo-34555 [https://bugs.python.org/issue?@action=redirect&bpo=34555]: Fix for case where it was not possible to have both HAVE_LINUX_VM_SOCKETS_H and HAVE_SOCKADDR_ALG be undefined.

bpo-33015 [https://bugs.python.org/issue?@action=redirect&bpo=33015]: Fix an undefined behaviour in the pthread implementation of PyThread_start_new_thread(): add a function wrapper to always return NULL.

bpo-34245 [https://bugs.python.org/issue?@action=redirect&bpo=34245]: The Python shared library is now installed with write permission (mode 0755), which is the standard way of installing such libraries.

bpo-34121 [https://bugs.python.org/issue?@action=redirect&bpo=34121]: Fix detection of C11 atomic support on clang.

bpo-32430 [https://bugs.python.org/issue?@action=redirect&bpo=32430]: Rename Modules/Setup.dist to Modules/Setup, and remove the necessity to copy the former manually to the latter when updating the local source tree.

bpo-30345 [https://bugs.python.org/issue?@action=redirect&bpo=30345]: Add -g to LDFLAGS when compiling with LTO to get debug symbols.

bpo-5755 [https://bugs.python.org/issue?@action=redirect&bpo=5755]: Move -Wstrict-prototypes option to CFLAGS_NODIST from OPT. This option emitted annoying warnings when building extension modules written in C++.

bpo-33614 [https://bugs.python.org/issue?@action=redirect&bpo=33614]: Ensures module definition files for the stable ABI on Windows are correctly regenerated.

bpo-33648 [https://bugs.python.org/issue?@action=redirect&bpo=33648]: The –with-c-locale-warning configuration flag has been removed. It has had no effect for about a year.

bpo-33522 [https://bugs.python.org/issue?@action=redirect&bpo=33522]: Enable CI builds on Visual Studio Team Services at https://python.visualstudio.com/cpython

bpo-33512 [https://bugs.python.org/issue?@action=redirect&bpo=33512]: configure’s check for “long double” has been simplified

bpo-33483 [https://bugs.python.org/issue?@action=redirect&bpo=33483]: C compiler is now correctly detected from the standard environment variables. –without-gcc and –with-icc options have been removed.

bpo-33394 [https://bugs.python.org/issue?@action=redirect&bpo=33394]: Enable the verbose build for extension modules, when GNU make is passed macros on the command line.

bpo-33393 [https://bugs.python.org/issue?@action=redirect&bpo=33393]: Update config.guess and config.sub files.

bpo-33377 [https://bugs.python.org/issue?@action=redirect&bpo=33377]: Add new triplets for mips r6 and riscv variants (used in extension suffixes).

bpo-32232 [https://bugs.python.org/issue?@action=redirect&bpo=32232]: By default, modules configured in Modules/Setup are no longer built with -DPy_BUILD_CORE. Instead, modules that specifically need that preprocessor definition include it in their individual entries.

bpo-33182 [https://bugs.python.org/issue?@action=redirect&bpo=33182]: The embedding tests can once again be built with clang 6.0

bpo-33163 [https://bugs.python.org/issue?@action=redirect&bpo=33163]: Upgrade pip to 9.0.3 and setuptools to v39.0.1.

bpo-33012 [https://bugs.python.org/issue?@action=redirect&bpo=33012]: gcc 8 has added a new warning heuristic to detect invalid function casts and a stock python build seems to hit that warning quite often. The most common is the cast of a METH_NOARGS function (that uses just one argument) to a PyCFunction. Fix this by adding a dummy argument to all functions that implement METH_NOARGS.

bpo-32898 [https://bugs.python.org/issue?@action=redirect&bpo=32898]: Fix the python debug build when using COUNT_ALLOCS.

bpo-29442 [https://bugs.python.org/issue?@action=redirect&bpo=29442]: Replace optparse with argparse in setup.py

Windows

bpo-35890 [https://bugs.python.org/issue?@action=redirect&bpo=35890]: Fix API calling consistency of GetVersionEx and wcstok.

bpo-32560 [https://bugs.python.org/issue?@action=redirect&bpo=32560]: The py launcher now forwards its STARTUPINFO structure to child processes.

bpo-35854 [https://bugs.python.org/issue?@action=redirect&bpo=35854]: Fix EnvBuilder and –symlinks in venv on Windows

bpo-35811 [https://bugs.python.org/issue?@action=redirect&bpo=35811]: Avoid propagating venv settings when launching via py.exe

bpo-35797 [https://bugs.python.org/issue?@action=redirect&bpo=35797]: Fix default executable used by the multiprocessing module

bpo-35758 [https://bugs.python.org/issue?@action=redirect&bpo=35758]: Allow building on ARM with MSVC.

bpo-29734 [https://bugs.python.org/issue?@action=redirect&bpo=29734]: Fix handle leaks in os.stat on Windows.

bpo-35596 [https://bugs.python.org/issue?@action=redirect&bpo=35596]: Use unchecked PYCs for the embeddable distro to avoid zipimport restrictions.

bpo-35596 [https://bugs.python.org/issue?@action=redirect&bpo=35596]: Fix vcruntime140.dll being added to embeddable distro multiple times.

bpo-35402 [https://bugs.python.org/issue?@action=redirect&bpo=35402]: Update Windows build to use Tcl and Tk 8.6.9

bpo-35401 [https://bugs.python.org/issue?@action=redirect&bpo=35401]: Updates Windows build to OpenSSL 1.1.0j

bpo-34977 [https://bugs.python.org/issue?@action=redirect&bpo=34977]: venv on Windows will now use a python.exe redirector rather than copying the actual binaries from the base environment.

bpo-34977 [https://bugs.python.org/issue?@action=redirect&bpo=34977]: Adds support for building a Windows App Store package

bpo-35067 [https://bugs.python.org/issue?@action=redirect&bpo=35067]: Remove _distutils_findvs module and use vswhere.exe instead.

bpo-32557 [https://bugs.python.org/issue?@action=redirect&bpo=32557]: Allow shutil.disk_usage to take a file path on Windows

bpo-34770 [https://bugs.python.org/issue?@action=redirect&bpo=34770]: Fix a possible null pointer dereference in pyshellext.cpp.

bpo-34603 [https://bugs.python.org/issue?@action=redirect&bpo=34603]: Fix returning structs from functions produced by MSVC

bpo-34581 [https://bugs.python.org/issue?@action=redirect&bpo=34581]: Guard MSVC-specific code in socketmodule.c with #ifdef _MSC_VER.

bpo-34532 [https://bugs.python.org/issue?@action=redirect&bpo=34532]: Fixes exit code of list version arguments for py.exe.

bpo-34062 [https://bugs.python.org/issue?@action=redirect&bpo=34062]: Fixed the ‘–list’ and ‘–list-paths’ arguments for the py.exe launcher

bpo-34225 [https://bugs.python.org/issue?@action=redirect&bpo=34225]: Ensure INCLUDE and LIB directories do not end with a backslash.

bpo-34011 [https://bugs.python.org/issue?@action=redirect&bpo=34011]: A suite of code has been changed which copied across DLLs and init.tcl from the running Python location into a venv being created. These copies are needed only when running from a Python source build, and the copying code is now only run when that is the case, rather than whenever a venv is created.

bpo-34006 [https://bugs.python.org/issue?@action=redirect&bpo=34006]: Revert line length limit for Windows help docs. The line-length limit is not needed because the pages appear in a separate app rather than on a browser tab. It can also interact badly with the DPI setting.

bpo-31546 [https://bugs.python.org/issue?@action=redirect&bpo=31546]: Restore running PyOS_InputHook while waiting for user input at the prompt. The restores integration of interactive GUI windows (such as Matplotlib figures) with the prompt on Windows.

bpo-30237 [https://bugs.python.org/issue?@action=redirect&bpo=30237]: Output error when ReadConsole is canceled by CancelSynchronousIo instead of crashing.

bpo-33895 [https://bugs.python.org/issue?@action=redirect&bpo=33895]: GIL is released while calling functions that acquire Windows loader lock.

bpo-33720 [https://bugs.python.org/issue?@action=redirect&bpo=33720]: Reduces maximum marshal recursion depth on release builds.

bpo-29097 [https://bugs.python.org/issue?@action=redirect&bpo=29097]: Fix bug where datetime.fromtimestamp() erroneously throws an OSError on Windows for values between 0 and 86400. Patch by Ammar Askar.

bpo-33316 [https://bugs.python.org/issue?@action=redirect&bpo=33316]: PyThread_release_lock always fails

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update Windows installer to use OpenSSL 1.1.0h.

bpo-32890 [https://bugs.python.org/issue?@action=redirect&bpo=32890]: Fix usage of GetLastError() instead of errno in os.execve() and os.truncate().

bpo-33016 [https://bugs.python.org/issue?@action=redirect&bpo=33016]: Fix potential use of uninitialized memory in nt._getfinalpathname

bpo-32903 [https://bugs.python.org/issue?@action=redirect&bpo=32903]: Fix a memory leak in os.chdir() on Windows if the current directory is set to a UNC path.

bpo-32901 [https://bugs.python.org/issue?@action=redirect&bpo=32901]: Update Tcl and Tk versions to 8.6.8

bpo-31966 [https://bugs.python.org/issue?@action=redirect&bpo=31966]: Fixed WindowsConsoleIO.write() for writing empty data.

bpo-32409 [https://bugs.python.org/issue?@action=redirect&bpo=32409]: Ensures activate.bat can handle Unicode contents.

bpo-32457 [https://bugs.python.org/issue?@action=redirect&bpo=32457]: Improves handling of denormalized executable path when launching Python.

bpo-32370 [https://bugs.python.org/issue?@action=redirect&bpo=32370]: Use the correct encoding for ipconfig output in the uuid module. Patch by Segev Finer.

bpo-29248 [https://bugs.python.org/issue?@action=redirect&bpo=29248]: Fix os.readlink() on Windows, which was mistakenly treating the PrintNameOffset field of the reparse data buffer as a number of characters instead of bytes. Patch by Craig Holmquist and SSE4.

bpo-1104 [https://bugs.python.org/issue?@action=redirect&bpo=1104]: Correctly handle string length in msilib.SummaryInfo.GetProperty() to prevent it from truncating the last character.

macOS

bpo-35401 [https://bugs.python.org/issue?@action=redirect&bpo=35401]: Update macOS installer to use OpenSSL 1.1.0j.

bpo-35025 [https://bugs.python.org/issue?@action=redirect&bpo=35025]: Properly guard the use of the CLOCK_GETTIME et al. macros in timemodule on macOS.

bpo-24658 [https://bugs.python.org/issue?@action=redirect&bpo=24658]: On macOS, fix reading from and writing into a file with a size larger than 2 GiB.

bpo-34405 [https://bugs.python.org/issue?@action=redirect&bpo=34405]: Update to OpenSSL 1.1.0i for macOS installer builds.

bpo-33635 [https://bugs.python.org/issue?@action=redirect&bpo=33635]: In macOS stat on some file descriptors (/dev/fd/3 f.e) will result in bad file descriptor OSError. Guard against this exception was added in is_dir, is_file and similar methods. DirEntry.is_dir can also throw this exception so _RecursiveWildcardSelector._iterate_directories was also extended with the same error ignoring pattern.

bpo-13631 [https://bugs.python.org/issue?@action=redirect&bpo=13631]: The .editrc file in user’s home directory is now processed correctly during the readline initialization through editline emulation on macOS.

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update macOS installer build to use OpenSSL 1.1.0h.

bpo-32726 [https://bugs.python.org/issue?@action=redirect&bpo=32726]: Build and link with private copy of Tcl/Tk 8.6 for the macOS 10.6+ installer. The 10.9+ installer variant already does this. This means that the Python 3.7 provided by the python.org macOS installers no longer need or use any external versions of Tcl/Tk, either system-provided or user-installed, such as ActiveTcl.

bpo-32901 [https://bugs.python.org/issue?@action=redirect&bpo=32901]: Update macOS 10.9+ installer to Tcl/Tk 8.6.8.

bpo-31903 [https://bugs.python.org/issue?@action=redirect&bpo=31903]: In _scproxy, drop the GIL when calling into SystemConfiguration to avoid deadlocks.

IDLE

bpo-35770 [https://bugs.python.org/issue?@action=redirect&bpo=35770]: IDLE macosx deletes Options => Configure IDLE. It previously deleted Window => Zoom Height by mistake. (Zoom Height is now on the Options menu). On Mac, the settings dialog is accessed via Preferences on the IDLE menu.

bpo-35769 [https://bugs.python.org/issue?@action=redirect&bpo=35769]: Change IDLE’s new file name from ‘Untitled’ to ‘untitled’

bpo-35660 [https://bugs.python.org/issue?@action=redirect&bpo=35660]: Fix imports in idlelib.window.

bpo-35641 [https://bugs.python.org/issue?@action=redirect&bpo=35641]: Proper format calltip when the function has no docstring.

bpo-33987 [https://bugs.python.org/issue?@action=redirect&bpo=33987]: Use ttk Frame for ttk widgets.

bpo-34055 [https://bugs.python.org/issue?@action=redirect&bpo=34055]: Fix erroneous ‘smart’ indents and newlines in IDLE Shell.

bpo-35591 [https://bugs.python.org/issue?@action=redirect&bpo=35591]: Find Selection now works when selection not found.

bpo-35196 [https://bugs.python.org/issue?@action=redirect&bpo=35196]: Speed up squeezer line counting.

bpo-35598 [https://bugs.python.org/issue?@action=redirect&bpo=35598]: Update config_key: use PEP 8 names and ttk widgets, make some objects global, and add tests.

bpo-28097 [https://bugs.python.org/issue?@action=redirect&bpo=28097]: Add Previous/Next History entries to Shell menu.

bpo-35208 [https://bugs.python.org/issue?@action=redirect&bpo=35208]: Squeezer now properly counts wrapped lines before newlines.

bpo-35555 [https://bugs.python.org/issue?@action=redirect&bpo=35555]: Gray out Code Context menu entry when it’s not applicable.

bpo-35521 [https://bugs.python.org/issue?@action=redirect&bpo=35521]: Document the IDLE editor code context feature. Add some internal references within the IDLE doc.

bpo-22703 [https://bugs.python.org/issue?@action=redirect&bpo=22703]: The Code Context menu label now toggles between Show/Hide Code Context. The Zoom Height menu now toggles between Zoom/Restore Height. Zoom Height has moved from the Window menu to the Options menu.

bpo-35213 [https://bugs.python.org/issue?@action=redirect&bpo=35213]: Where appropriate, use ‘macOS’ in idlelib.

bpo-34864 [https://bugs.python.org/issue?@action=redirect&bpo=34864]: On macOS, warn if the system preference “Prefer tabs when opening documents” is set to “Always”.

bpo-34864 [https://bugs.python.org/issue?@action=redirect&bpo=34864]: Document two IDLE on MacOS issues. The System Preferences Dock “prefer tabs always” setting disables some IDLE features. Menus are a bit different than as described for Windows and Linux.

bpo-35202 [https://bugs.python.org/issue?@action=redirect&bpo=35202]: Remove unused imports from lib/idlelib

bpo-33000 [https://bugs.python.org/issue?@action=redirect&bpo=33000]: Document that IDLE’s shell has no line limit. A program that runs indefinitely can overfill memory.

bpo-23220 [https://bugs.python.org/issue?@action=redirect&bpo=23220]: Explain how IDLE’s Shell displays output.

bpo-35099 [https://bugs.python.org/issue?@action=redirect&bpo=35099]: Improve the doc about IDLE running user code. The section is renamed from “IDLE – console differences” is renamed “Running user code”. It mostly covers the implications of using custom sys.stdxxx objects.

bpo-35097 [https://bugs.python.org/issue?@action=redirect&bpo=35097]: Add IDLE doc subsection explaining editor windows. Topics include opening, title and status bar, .py* extension, and running.

bpo-35093 [https://bugs.python.org/issue?@action=redirect&bpo=35093]: Document the IDLE document viewer in the IDLE doc. Add a paragraph in “Help and preferences”, “Help sources” subsection.

bpo-35088 [https://bugs.python.org/issue?@action=redirect&bpo=35088]: Update idlelib.help.copy_string docstring. We now use git and backporting instead of hg and forward merging.

bpo-35087 [https://bugs.python.org/issue?@action=redirect&bpo=35087]: Update idlelib help files for the current doc build. The main change is the elimination of chapter-section numbers.

bpo-34548 [https://bugs.python.org/issue?@action=redirect&bpo=34548]: Use configured color theme for read-only text views.

bpo-1529353 [https://bugs.python.org/issue?@action=redirect&bpo=1529353]: Enable “squeezing” of long outputs in the shell, to avoid performance degradation and to clean up the history without losing it. Squeezed outputs may be copied, viewed in a separate window, and “unsqueezed”.

bpo-34047 [https://bugs.python.org/issue?@action=redirect&bpo=34047]: Fixed mousewheel scrolling direction on macOS.

bpo-34275 [https://bugs.python.org/issue?@action=redirect&bpo=34275]: Make IDLE calltips always visible on Mac. Some MacOS-tk combinations need .update_idletasks(). Patch by Kevin Walzer.

bpo-34120 [https://bugs.python.org/issue?@action=redirect&bpo=34120]: Fix unresponsiveness after closing certain windows and dialogs.

bpo-33975 [https://bugs.python.org/issue?@action=redirect&bpo=33975]: Avoid small type when running htests. Since part of the purpose of human-viewed tests is to determine that widgets look right, it is important that they look the same for testing as when running IDLE.

bpo-33905 [https://bugs.python.org/issue?@action=redirect&bpo=33905]: Add test for idlelib.stackview.StackBrowser.

bpo-33924 [https://bugs.python.org/issue?@action=redirect&bpo=33924]: Change mainmenu.menudefs key ‘windows’ to ‘window’. Every other menudef key is lowercase version of main menu entry.

bpo-33906 [https://bugs.python.org/issue?@action=redirect&bpo=33906]: Rename idlelib.windows as window Match Window on the main menu and remove last plural module name.

bpo-33917 [https://bugs.python.org/issue?@action=redirect&bpo=33917]: Fix and document idlelib/idle_test/template.py. The revised file compiles, runs, and tests OK. idle_test/README.txt explains how to use it to create new IDLE test files.

bpo-33904 [https://bugs.python.org/issue?@action=redirect&bpo=33904]: IDLE: In rstrip, rename class RstripExtension as Rstrip

bpo-33907 [https://bugs.python.org/issue?@action=redirect&bpo=33907]: For consistency and clarity, rename an IDLE module and classes. Module calltips and its class CallTips are now calltip and Calltip. In module calltip_w, class CallTip is now CalltipWindow.

bpo-33856 [https://bugs.python.org/issue?@action=redirect&bpo=33856]: Add “help” in the welcome message of IDLE

bpo-33839 [https://bugs.python.org/issue?@action=redirect&bpo=33839]: IDLE: refactor ToolTip and CallTip and add documentation and tests

bpo-33855 [https://bugs.python.org/issue?@action=redirect&bpo=33855]: Minimally test all IDLE modules. Add missing files, import module, instantiate classes, and check coverage. Check existing files.

bpo-33656 [https://bugs.python.org/issue?@action=redirect&bpo=33656]: On Windows, add API call saying that tk scales for DPI. On Windows 8.1+ or 10, with DPI compatibility properties of the Python binary unchanged, and a monitor resolution greater than 96 DPI, this should make text and lines sharper. It should otherwise have no effect.

bpo-33768 [https://bugs.python.org/issue?@action=redirect&bpo=33768]: Clicking on a context line moves that line to the top of the editor window.

bpo-33763 [https://bugs.python.org/issue?@action=redirect&bpo=33763]: IDLE: Use read-only text widget for code context instead of label widget.

bpo-33664 [https://bugs.python.org/issue?@action=redirect&bpo=33664]: Scroll IDLE editor text by lines. Previously, the mouse wheel and scrollbar slider moved text by a fixed number of pixels, resulting in partial lines at the top of the editor box. The change also applies to the shell and grep output windows, but not to read-only text views.

bpo-33679 [https://bugs.python.org/issue?@action=redirect&bpo=33679]: Enable theme-specific color configuration for Code Context. Use the Highlights tab to see the setting for built-in themes or add settings to custom themes.

bpo-33642 [https://bugs.python.org/issue?@action=redirect&bpo=33642]: Display up to maxlines non-blank lines for Code Context. If there is no current context, show a single blank line.

bpo-33628 [https://bugs.python.org/issue?@action=redirect&bpo=33628]: IDLE: Cleanup codecontext.py and its test.

bpo-33564 [https://bugs.python.org/issue?@action=redirect&bpo=33564]: IDLE’s code context now recognizes async as a block opener.

bpo-21474 [https://bugs.python.org/issue?@action=redirect&bpo=21474]: Update word/identifier definition from ascii to unicode. In text and entry boxes, this affects selection by double-click, movement left/right by control-left/right, and deletion left/right by control-BACKSPACE/DEL.

bpo-33204 [https://bugs.python.org/issue?@action=redirect&bpo=33204]: IDLE: consistently color invalid string prefixes. A ‘u’ string prefix cannot be paired with either ‘r’ or ‘f’. Consistently color as much of the prefix, starting at the right, as is valid. Revise and extend colorizer test.

bpo-32984 [https://bugs.python.org/issue?@action=redirect&bpo=32984]: Set __file__ while running a startup file. Like Python, IDLE optionally runs one startup file in the Shell window before presenting the first interactive input prompt. For IDLE, -s runs a file named in environmental variable IDLESTARTUP or PYTHONSTARTUP; -r file runs file. Python sets __file__ to the startup file name before running the file and unsets it before the first prompt. IDLE now does the same when run normally, without the -n option.

bpo-32940 [https://bugs.python.org/issue?@action=redirect&bpo=32940]: Simplify and rename StringTranslatePseudoMapping in pyparse.

bpo-32916 [https://bugs.python.org/issue?@action=redirect&bpo=32916]: Change str to code in pyparse.

bpo-32905 [https://bugs.python.org/issue?@action=redirect&bpo=32905]: Remove unused code in pyparse module.

bpo-32874 [https://bugs.python.org/issue?@action=redirect&bpo=32874]: Add tests for pyparse.

bpo-32837 [https://bugs.python.org/issue?@action=redirect&bpo=32837]: Using the system and place-dependent default encoding for open() is a bad idea for IDLE’s system and location-independent files.

bpo-32826 [https://bugs.python.org/issue?@action=redirect&bpo=32826]: Add “encoding=utf-8” to open() in IDLE’s test_help_about. GUI test test_file_buttons() only looks at initial ascii-only lines, but failed on systems where open() defaults to ‘ascii’ because readline() internally reads and decodes far enough ahead to encounter a non-ascii character in CREDITS.txt.

bpo-32831 [https://bugs.python.org/issue?@action=redirect&bpo=32831]: Add docstrings and tests for codecontext.

bpo-32765 [https://bugs.python.org/issue?@action=redirect&bpo=32765]: Update configdialog General tab docstring to add new widgets to the widget list.

Tools/Demos

bpo-35884 [https://bugs.python.org/issue?@action=redirect&bpo=35884]: Add a benchmark script for timing various ways to access variables: Tools/scripts/var_access_benchmark.py.

bpo-34989 [https://bugs.python.org/issue?@action=redirect&bpo=34989]: python-gdb.py now handles errors on computing the line number of a Python frame.

bpo-20260 [https://bugs.python.org/issue?@action=redirect&bpo=20260]: Argument Clinic now has non-bitwise unsigned int converters.

bpo-32962 [https://bugs.python.org/issue?@action=redirect&bpo=32962]: python-gdb now catches UnicodeDecodeError exceptions when calling string().

bpo-32962 [https://bugs.python.org/issue?@action=redirect&bpo=32962]: python-gdb now catches ValueError on read_var(): when Python has no debug symbols for example.

bpo-33189 [https://bugs.python.org/issue?@action=redirect&bpo=33189]: pygettext.py now recognizes only literal strings as docstrings and translatable strings, and rejects bytes literals and f-string expressions.

bpo-31920 [https://bugs.python.org/issue?@action=redirect&bpo=31920]: Fixed handling directories as arguments in the pygettext script. Based on patch by Oleg Krasnikov.

bpo-29673 [https://bugs.python.org/issue?@action=redirect&bpo=29673]: Fix pystackv and pystack gdbinit macros.

bpo-25427 [https://bugs.python.org/issue?@action=redirect&bpo=25427]: Remove the pyvenv script in favor of python3 -m venv in order to lower confusion as to what Python interpreter a virtual environment will be created for.

bpo-32885 [https://bugs.python.org/issue?@action=redirect&bpo=32885]: Add an -n flag for Tools/scripts/pathfix.py to disable automatic backup creation (files with ~ suffix).

bpo-32222 [https://bugs.python.org/issue?@action=redirect&bpo=32222]: Fix pygettext not extracting docstrings for functions with type annotated arguments. Patch by Toby Harradine.

bpo-31583 [https://bugs.python.org/issue?@action=redirect&bpo=31583]: Fix 2to3 for using with –add-suffix option but without –output-dir option for relative path to files in current directory.

C API

bpo-35713 [https://bugs.python.org/issue?@action=redirect&bpo=35713]: The PyByteArray_Init() and PyByteArray_Fini() functions have been removed. They did nothing since Python 2.7.4 and Python 3.2.0, were excluded from the limited API (stable ABI), and were not documented.

bpo-33817 [https://bugs.python.org/issue?@action=redirect&bpo=33817]: Fixed _PyBytes_Resize() for empty bytes objects.

bpo-35322 [https://bugs.python.org/issue?@action=redirect&bpo=35322]: Fix memory leak in PyUnicode_EncodeLocale() and PyUnicode_EncodeFSDefault() on error handling.

bpo-35059 [https://bugs.python.org/issue?@action=redirect&bpo=35059]: The following C macros have been converted to static inline functions: Py_INCREF(), Py_DECREF(), Py_XINCREF(), Py_XDECREF(), PyObject_INIT(), PyObject_INIT_VAR().

bpo-35296 [https://bugs.python.org/issue?@action=redirect&bpo=35296]: make install now also installs the internal API: Include/internal/*.h header files.

bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081]: Internal APIs surrounded by #ifdef Py_BUILD_CORE have been moved from Include/*.h headers to new header files Include/internal/pycore_*.h.

bpo-35259 [https://bugs.python.org/issue?@action=redirect&bpo=35259]: Conditionally declare Py_FinalizeEx() (new in 3.6) based on Py_LIMITED_API. Patch by Arthur Neufeld.

bpo-35081 [https://bugs.python.org/issue?@action=redirect&bpo=35081]: The _PyObject_GC_TRACK() and _PyObject_GC_UNTRACK() macros have been removed from the public C API.

bpo-35134 [https://bugs.python.org/issue?@action=redirect&bpo=35134]: Creation of a new Include/cpython/ subdirectory.

bpo-34725 [https://bugs.python.org/issue?@action=redirect&bpo=34725]: Adds _Py_SetProgramFullPath so embedders may override sys.executable

bpo-34910 [https://bugs.python.org/issue?@action=redirect&bpo=34910]: Ensure that PyObject_Print() always returns -1 on error. Patch by Zackery Spytz.

bpo-34523 [https://bugs.python.org/issue?@action=redirect&bpo=34523]: Py_DecodeLocale() and Py_EncodeLocale() now use the UTF-8 encoding on Windows if Py_LegacyWindowsFSEncodingFlag is zero.

bpo-34193 [https://bugs.python.org/issue?@action=redirect&bpo=34193]: Fix pluralization in TypeError messages in getargs.c and typeobject.c: ‘1 argument’ instead of ‘1 arguments’ and ‘1 element’ instead of ‘1 elements’.

bpo-34127 [https://bugs.python.org/issue?@action=redirect&bpo=34127]: Return grammatically correct error message based on argument count. Patch by Karthikeyan Singaravelan.

bpo-23927 [https://bugs.python.org/issue?@action=redirect&bpo=23927]: Fixed SystemError in PyArg_ParseTupleAndKeywords() when the w* format unit is used for optional parameter.

bpo-32455 [https://bugs.python.org/issue?@action=redirect&bpo=32455]: Added PyCompile_OpcodeStackEffectWithJump().

bpo-34008 [https://bugs.python.org/issue?@action=redirect&bpo=34008]: Py_Main() can again be called after Py_Initialize(), as in Python 3.6.

bpo-32500 [https://bugs.python.org/issue?@action=redirect&bpo=32500]: Fixed error messages for PySequence_Size(), PySequence_GetItem(), PySequence_SetItem() and PySequence_DelItem() called with a mapping and PyMapping_Size() called with a sequence.

bpo-33818 [https://bugs.python.org/issue?@action=redirect&bpo=33818]: PyExceptionClass_Name() will now return const char * instead of char *.

bpo-33042 [https://bugs.python.org/issue?@action=redirect&bpo=33042]: Embedding applications may once again call PySys_ResetWarnOptions, PySys_AddWarnOption, and PySys_AddXOption prior to calling Py_Initialize.

bpo-32374 [https://bugs.python.org/issue?@action=redirect&bpo=32374]: Document that m_traverse for multi-phase initialized modules can be called with m_state=NULL, and add a sanity check

bpo-30863 [https://bugs.python.org/issue?@action=redirect&bpo=30863]: PyUnicode_AsWideChar() and PyUnicode_AsWideCharString() no longer cache the wchar_t* representation of string objects.

Python 3.7.0 final

Release date: 2018-06-27

Library

bpo-33851 [https://bugs.python.org/issue?@action=redirect&bpo=33851]: Fix ast.get_docstring() for a node that lacks a docstring.

C API

bpo-33932 [https://bugs.python.org/issue?@action=redirect&bpo=33932]: Calling Py_Initialize() twice does nothing, instead of failing with a fatal error: restore the Python 3.6 behaviour.

Python 3.7.0 release candidate 1

Release date: 2018-06-12

Core and Builtins

bpo-33803 [https://bugs.python.org/issue?@action=redirect&bpo=33803]: Fix a crash in hamt.c caused by enabling GC tracking for an object that hadn’t all of its fields set to NULL.

bpo-33706 [https://bugs.python.org/issue?@action=redirect&bpo=33706]: Fix a crash in Python initialization when parsing the command line options. Thanks Christoph Gohlke for the bug report and the fix!

bpo-30654 [https://bugs.python.org/issue?@action=redirect&bpo=30654]: Fixed reset of the SIGINT handler to SIG_DFL on interpreter shutdown even when there was a custom handler set previously. Patch by Philipp Kerling.

bpo-31849 [https://bugs.python.org/issue?@action=redirect&bpo=31849]: Fix signed/unsigned comparison warning in pyhash.c.

Library

bpo-30167 [https://bugs.python.org/issue?@action=redirect&bpo=30167]: Prevent site.main() exception if PYTHONSTARTUP is set. Patch by Steve Weber.

bpo-33812 [https://bugs.python.org/issue?@action=redirect&bpo=33812]: Datetime instance d with non-None tzinfo, but with d.tzinfo.utcoffset(d) returning None is now treated as naive by the astimezone() method.

bpo-30805 [https://bugs.python.org/issue?@action=redirect&bpo=30805]: Avoid race condition with debug logging

bpo-33694 [https://bugs.python.org/issue?@action=redirect&bpo=33694]: asyncio: Fix a race condition causing data loss on pause_reading()/resume_reading() when using the ProactorEventLoop.

bpo-32493 [https://bugs.python.org/issue?@action=redirect&bpo=32493]: Correct test for uuid_enc_be availability in configure.ac. Patch by Michael Felt.

bpo-33792 [https://bugs.python.org/issue?@action=redirect&bpo=33792]: Add asyncio.WindowsSelectorEventLoopPolicy and asyncio.WindowsProactorEventLoopPolicy.

bpo-33778 [https://bugs.python.org/issue?@action=redirect&bpo=33778]: Update unicodedata’s database to Unicode version 11.0.0.

bpo-33770 [https://bugs.python.org/issue?@action=redirect&bpo=33770]: improve base64 exception message for encoded inputs of invalid length

bpo-33769 [https://bugs.python.org/issue?@action=redirect&bpo=33769]: asyncio/start_tls: Fix error message; cancel callbacks in case of an unhandled error; mark SSLTransport as closed if it is aborted.

bpo-33767 [https://bugs.python.org/issue?@action=redirect&bpo=33767]: The concatenation (+) and repetition (*) sequence operations now raise TypeError instead of SystemError when performed on mmap.mmap objects. Patch by Zackery Spytz.

bpo-33734 [https://bugs.python.org/issue?@action=redirect&bpo=33734]: asyncio/ssl: Fix AttributeError, increase default handshake timeout

bpo-11874 [https://bugs.python.org/issue?@action=redirect&bpo=11874]: Use a better regex when breaking usage into wrappable parts. Avoids bogus assertion errors from custom metavar strings.

bpo-33582 [https://bugs.python.org/issue?@action=redirect&bpo=33582]: Emit a deprecation warning for inspect.formatargspec

Documentation

bpo-33409 [https://bugs.python.org/issue?@action=redirect&bpo=33409]: Clarified the relationship between PEP 538 [https://peps.python.org/pep-0538/]’s PYTHONCOERCECLOCALE and PEP 540’s PYTHONUTF8 mode.

bpo-33736 [https://bugs.python.org/issue?@action=redirect&bpo=33736]: Improve the documentation of asyncio.open_connection(), asyncio.start_server() and their UNIX socket counterparts.

bpo-31432 [https://bugs.python.org/issue?@action=redirect&bpo=31432]: Clarify meaning of CERT_NONE, CERT_OPTIONAL, and CERT_REQUIRED flags for ssl.SSLContext.verify_mode.

Build

bpo-5755 [https://bugs.python.org/issue?@action=redirect&bpo=5755]: Move -Wstrict-prototypes option to CFLAGS_NODIST from OPT. This option emitted annoying warnings when building extension modules written in C++.

Windows

bpo-33720 [https://bugs.python.org/issue?@action=redirect&bpo=33720]: Reduces maximum marshal recursion depth on release builds.

IDLE

bpo-33656 [https://bugs.python.org/issue?@action=redirect&bpo=33656]: On Windows, add API call saying that tk scales for DPI. On Windows 8.1+ or 10, with DPI compatibility properties of the Python binary unchanged, and a monitor resolution greater than 96 DPI, this should make text and lines sharper. It should otherwise have no effect.

bpo-33768 [https://bugs.python.org/issue?@action=redirect&bpo=33768]: Clicking on a context line moves that line to the top of the editor window.

bpo-33763 [https://bugs.python.org/issue?@action=redirect&bpo=33763]: IDLE: Use read-only text widget for code context instead of label widget.

bpo-33664 [https://bugs.python.org/issue?@action=redirect&bpo=33664]: Scroll IDLE editor text by lines. Previously, the mouse wheel and scrollbar slider moved text by a fixed number of pixels, resulting in partial lines at the top of the editor box. The change also applies to the shell and grep output windows, but not to read-only text views.

bpo-33679 [https://bugs.python.org/issue?@action=redirect&bpo=33679]: Enable theme-specific color configuration for Code Context. Use the Highlights tab to see the setting for built-in themes or add settings to custom themes.

bpo-33642 [https://bugs.python.org/issue?@action=redirect&bpo=33642]: Display up to maxlines non-blank lines for Code Context. If there is no current context, show a single blank line.

Python 3.7.0 beta 5

Release date: 2018-05-30

Core and Builtins

bpo-33622 [https://bugs.python.org/issue?@action=redirect&bpo=33622]: Fixed a leak when the garbage collector fails to add an object with the __del__ method or referenced by it into the gc.garbage list. PyGC_Collect() can now be called when an exception is set and preserves it.

bpo-33509 [https://bugs.python.org/issue?@action=redirect&bpo=33509]: Fix module_globals parameter of warnings.warn_explicit(): don’t crash if module_globals is not a dict.

bpo-20104 [https://bugs.python.org/issue?@action=redirect&bpo=20104]: The new os.posix_spawn added in 3.7.0b1 was removed as we are still working on what the API should look like. Expect this in 3.8 instead.

bpo-33475 [https://bugs.python.org/issue?@action=redirect&bpo=33475]: Fixed miscellaneous bugs in converting annotations to strings and optimized parentheses in the string representation.

bpo-33391 [https://bugs.python.org/issue?@action=redirect&bpo=33391]: Fix a leak in set_symmetric_difference().

bpo-28055 [https://bugs.python.org/issue?@action=redirect&bpo=28055]: Fix unaligned accesses in siphash24(). Patch by Rolf Eike Beer.

bpo-32911 [https://bugs.python.org/issue?@action=redirect&bpo=32911]: Due to unexpected compatibility issues discovered during downstream beta testing, reverted bpo-29463 [https://bugs.python.org/issue?@action=redirect&bpo=29463]. docstring field is removed from Module, ClassDef, FunctionDef, and AsyncFunctionDef ast nodes which was added in 3.7a1. Docstring expression is restored as a first statement in their body. Based on patch by Inada Naoki.

bpo-21983 [https://bugs.python.org/issue?@action=redirect&bpo=21983]: Fix a crash in ctypes.cast() in case the type argument is a ctypes structured data type. Patch by Eryk Sun and Oren Milman.

Library

bpo-32751 [https://bugs.python.org/issue?@action=redirect&bpo=32751]: When cancelling the task due to a timeout, asyncio.wait_for() will now wait until the cancellation is complete.

bpo-32684 [https://bugs.python.org/issue?@action=redirect&bpo=32684]: Fix gather to propagate cancellation of itself even with return_exceptions.

bpo-33654 [https://bugs.python.org/issue?@action=redirect&bpo=33654]: Support protocol type switching in SSLTransport.set_protocol().

bpo-33674 [https://bugs.python.org/issue?@action=redirect&bpo=33674]: Pause the transport as early as possible to further reduce the risk of data_received() being called before connection_made().

bpo-33674 [https://bugs.python.org/issue?@action=redirect&bpo=33674]: Fix a race condition in SSLProtocol.connection_made() of asyncio.sslproto: start immediately the handshake instead of using call_soon(). Previously, data_received() could be called before the handshake started, causing the handshake to hang or fail.

bpo-31647 [https://bugs.python.org/issue?@action=redirect&bpo=31647]: Fixed bug where calling write_eof() on a _SelectorSocketTransport after it’s already closed raises AttributeError.

bpo-32610 [https://bugs.python.org/issue?@action=redirect&bpo=32610]: Make asyncio.all_tasks() return only pending tasks.

bpo-32410 [https://bugs.python.org/issue?@action=redirect&bpo=32410]: Avoid blocking on file IO in sendfile fallback code

bpo-33469 [https://bugs.python.org/issue?@action=redirect&bpo=33469]: Fix RuntimeError after closing loop that used run_in_executor

bpo-33672 [https://bugs.python.org/issue?@action=redirect&bpo=33672]: Fix Task.__repr__ crash with Cython’s bogus coroutines

bpo-33654 [https://bugs.python.org/issue?@action=redirect&bpo=33654]: Fix transport.set_protocol() to support switching between asyncio.Protocol and asyncio.BufferedProtocol. Fix loop.start_tls() to work with asyncio.BufferedProtocols.

bpo-33652 [https://bugs.python.org/issue?@action=redirect&bpo=33652]: Pickles of type variables and subscripted generics are now future-proof and compatible with older Python versions.

bpo-32493 [https://bugs.python.org/issue?@action=redirect&bpo=32493]: Fixed uuid.uuid1() on FreeBSD.

bpo-33618 [https://bugs.python.org/issue?@action=redirect&bpo=33618]: Finalize and document preliminary and experimental TLS 1.3 support with OpenSSL 1.1.1

bpo-33623 [https://bugs.python.org/issue?@action=redirect&bpo=33623]: Fix possible SIGSGV when asyncio.Future is created in __del__

bpo-30877 [https://bugs.python.org/issue?@action=redirect&bpo=30877]: Fixed a bug in the Python implementation of the JSON decoder that prevented the cache of parsed strings from clearing after finishing the decoding. Based on patch by c-fos.

bpo-33570 [https://bugs.python.org/issue?@action=redirect&bpo=33570]: Change TLS 1.3 cipher suite settings for compatibility with OpenSSL 1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 ciphers enabled by default.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Do not simplify arguments to typing.Union. Now Union[Manager, Employee] is not simplified to Employee at runtime. Such simplification previously caused several bugs and limited possibilities for introspection.

bpo-33540 [https://bugs.python.org/issue?@action=redirect&bpo=33540]: Add a new block_on_close class attribute to ForkingMixIn and ThreadingMixIn classes of socketserver.

bpo-33548 [https://bugs.python.org/issue?@action=redirect&bpo=33548]: tempfile._candidate_tempdir_list should consider common TEMP locations

bpo-33109 [https://bugs.python.org/issue?@action=redirect&bpo=33109]: argparse subparsers are once again not required by default, reverting the change in behavior introduced by bpo-26510 [https://bugs.python.org/issue?@action=redirect&bpo=26510] in 3.7.0a2.

bpo-33536 [https://bugs.python.org/issue?@action=redirect&bpo=33536]: dataclasses.make_dataclass now checks for invalid field names and duplicate fields. Also, added a check for invalid field specifications.

bpo-33542 [https://bugs.python.org/issue?@action=redirect&bpo=33542]: Prevent uuid.get_node from using a DUID instead of a MAC on Windows. Patch by Zvi Effron

bpo-26819 [https://bugs.python.org/issue?@action=redirect&bpo=26819]: Fix race condition with ReadTransport.resume_reading in Windows proactor event loop.

Fix failure in typing.get_type_hints() when ClassVar was provided as a string forward reference.

bpo-33505 [https://bugs.python.org/issue?@action=redirect&bpo=33505]: Optimize asyncio.ensure_future() by reordering if checks: 1.17x faster.

bpo-33497 [https://bugs.python.org/issue?@action=redirect&bpo=33497]: Add errors param to cgi.parse_multipart and make an encoding in FieldStorage use the given errors (needed for Twisted). Patch by Amber Brown.

bpo-33495 [https://bugs.python.org/issue?@action=redirect&bpo=33495]: Change dataclasses.Fields repr to use the repr of each of its members, instead of str. This makes it more clear what each field actually represents. This is especially true for the ‘type’ member.

bpo-33453 [https://bugs.python.org/issue?@action=redirect&bpo=33453]: Fix dataclasses to work if using literal string type annotations or if using PEP 563 “Postponed Evaluation of Annotations”. Only specific string prefixes are detected for both ClassVar (“ClassVar” and “typing.ClassVar”) and InitVar (“InitVar” and “dataclasses.InitVar”).

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Minor fixes in typing module: add annotations to NamedTuple.__new__, pass *args and **kwds in Generic.__new__. Original PRs by Paulius Šarka and Chad Dombrova.

bpo-20087 [https://bugs.python.org/issue?@action=redirect&bpo=20087]: Updated alias mapping with glibc 2.27 supported locales.

bpo-33422 [https://bugs.python.org/issue?@action=redirect&bpo=33422]: Fix trailing quotation marks getting deleted when looking up byte/string literals on pydoc. Patch by Andrés Delfino.

bpo-28167 [https://bugs.python.org/issue?@action=redirect&bpo=28167]: The function platform.linux_distribution and platform.dist now trigger a DeprecationWarning and have been marked for removal in Python 3.8

bpo-33197 [https://bugs.python.org/issue?@action=redirect&bpo=33197]: Update error message when constructing invalid inspect.Parameters Patch by Donghee Na.

bpo-33263 [https://bugs.python.org/issue?@action=redirect&bpo=33263]: Fix FD leak in _SelectorSocketTransport Patch by Vlad Starostin.

bpo-32861 [https://bugs.python.org/issue?@action=redirect&bpo=32861]: The urllib.robotparser’s __str__ representation now includes wildcard entries and the “Crawl-delay” and “Request-rate” fields. Patch by Michael Lazar.

bpo-32257 [https://bugs.python.org/issue?@action=redirect&bpo=32257]: The ssl module now contains OP_NO_RENEGOTIATION constant, available with OpenSSL 1.1.0h or 1.1.1.

bpo-16865 [https://bugs.python.org/issue?@action=redirect&bpo=16865]: Support arrays >=2GiB in ctypes. Patch by Segev Finer.

Documentation

bpo-23859 [https://bugs.python.org/issue?@action=redirect&bpo=23859]: Document that asyncio.wait() does not cancel its futures on timeout.

bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436]: Document PEP 567 [https://peps.python.org/pep-0567/] changes to asyncio.

bpo-33604 [https://bugs.python.org/issue?@action=redirect&bpo=33604]: Update HMAC md5 default to a DeprecationWarning, bump removal to 3.8.

bpo-33503 [https://bugs.python.org/issue?@action=redirect&bpo=33503]: Fix broken pypi link

bpo-33421 [https://bugs.python.org/issue?@action=redirect&bpo=33421]: Add missing documentation for typing.AsyncContextManager.

Tests

bpo-33655 [https://bugs.python.org/issue?@action=redirect&bpo=33655]: Ignore test_posix_fallocate failures on BSD platforms that might be due to running on ZFS.

bpo-32604 [https://bugs.python.org/issue?@action=redirect&bpo=32604]: Remove the _xxsubinterpreters module (meant for testing) and associated helpers. This module was originally added recently in 3.7b1.

Build

bpo-33614 [https://bugs.python.org/issue?@action=redirect&bpo=33614]: Ensures module definition files for the stable ABI on Windows are correctly regenerated.

bpo-33522 [https://bugs.python.org/issue?@action=redirect&bpo=33522]: Enable CI builds on Visual Studio Team Services at https://python.visualstudio.com/cpython

bpo-33012 [https://bugs.python.org/issue?@action=redirect&bpo=33012]: Add -Wno-cast-function-type for gcc 8 for silencing warnings about function casts like casting to PyCFunction in method definition lists.

macOS

bpo-13631 [https://bugs.python.org/issue?@action=redirect&bpo=13631]: The .editrc file in user’s home directory is now processed correctly during the readline initialization through editline emulation on macOS.

IDLE

bpo-33628 [https://bugs.python.org/issue?@action=redirect&bpo=33628]: IDLE: Cleanup codecontext.py and its test.

bpo-33564 [https://bugs.python.org/issue?@action=redirect&bpo=33564]: IDLE’s code context now recognizes async as a block opener.

bpo-32831 [https://bugs.python.org/issue?@action=redirect&bpo=32831]: Add docstrings and tests for codecontext.

Python 3.7.0 beta 4

Release date: 2018-05-02

Core and Builtins

bpo-33363 [https://bugs.python.org/issue?@action=redirect&bpo=33363]: Raise a SyntaxError for async with and async for statements outside of async functions.

bpo-33128 [https://bugs.python.org/issue?@action=redirect&bpo=33128]: Fix a bug that causes PathFinder to appear twice on sys.meta_path. Patch by Pablo Galindo Salgado.

bpo-33312 [https://bugs.python.org/issue?@action=redirect&bpo=33312]: Fixed clang ubsan (undefined behavior sanitizer) warnings in dictobject.c by adjusting how the internal struct _dictkeysobject shared keys structure is declared.

bpo-33231 [https://bugs.python.org/issue?@action=redirect&bpo=33231]: Fix potential memory leak in normalizestring().

bpo-33205 [https://bugs.python.org/issue?@action=redirect&bpo=33205]: Change dict growth function from round_up_to_power_2(used*2+hashtable_size/2) to round_up_to_power_2(used*3). Previously, dict is shrinked only when used == 0. Now dict has more chance to be shrinked.

bpo-29922 [https://bugs.python.org/issue?@action=redirect&bpo=29922]: Improved error messages in ‘async with’ when __aenter__() or __aexit__() return non-awaitable object.

bpo-33199 [https://bugs.python.org/issue?@action=redirect&bpo=33199]: Fix ma_version_tag in dict implementation is uninitialized when copying from key-sharing dict.

Library

bpo-33281 [https://bugs.python.org/issue?@action=redirect&bpo=33281]: Fix ctypes.util.find_library regression on macOS.

bpo-33383 [https://bugs.python.org/issue?@action=redirect&bpo=33383]: Fixed crash in the get() method of the dbm.ndbm database object when it is called with a single argument.

bpo-33329 [https://bugs.python.org/issue?@action=redirect&bpo=33329]: Fix multiprocessing regression on newer glibcs

bpo-991266 [https://bugs.python.org/issue?@action=redirect&bpo=991266]: Fix quoting of the Comment attribute of http.cookies.SimpleCookie.

bpo-33131 [https://bugs.python.org/issue?@action=redirect&bpo=33131]: Upgrade bundled version of pip to 10.0.1.

bpo-33308 [https://bugs.python.org/issue?@action=redirect&bpo=33308]: Fixed a crash in the parser module when converting an ST object to a tree of tuples or lists with line_info=False and col_info=True.

bpo-33266 [https://bugs.python.org/issue?@action=redirect&bpo=33266]: lib2to3 now recognizes rf'...' strings.

bpo-11594 [https://bugs.python.org/issue?@action=redirect&bpo=11594]: Ensure line-endings are respected when using lib2to3.

bpo-33254 [https://bugs.python.org/issue?@action=redirect&bpo=33254]: Have importlib.resources.contents() and importlib.abc.ResourceReader.contents() return an iterable instead of an iterator.

bpo-33256 [https://bugs.python.org/issue?@action=redirect&bpo=33256]: Fix display of <module> call in the html produced by cgitb.html(). Patch by Stéphane Blondon.

bpo-33185 [https://bugs.python.org/issue?@action=redirect&bpo=33185]: Fixed regression when running pydoc with the -m switch. (The regression was introduced in 3.7.0b3 by the resolution of bpo-33053 [https://bugs.python.org/issue?@action=redirect&bpo=33053]) This fix also changed pydoc to add os.getcwd() to sys.path when necessary, rather than adding ".".

bpo-33169 [https://bugs.python.org/issue?@action=redirect&bpo=33169]: Delete entries of None in sys.path_importer_cache when importlib.machinery.invalidate_caches() is called.

bpo-33217 [https://bugs.python.org/issue?@action=redirect&bpo=33217]: Deprecate looking up non-Enum objects in Enum classes and Enum members (will raise TypeError in 3.8+).

bpo-33203 [https://bugs.python.org/issue?@action=redirect&bpo=33203]: random.Random.choice() now raises IndexError for empty sequences consistently even when called from subclasses without a getrandbits() implementation.

bpo-33224 [https://bugs.python.org/issue?@action=redirect&bpo=33224]: Update difflib.mdiff() for PEP 479 [https://peps.python.org/pep-0479/]. Convert an uncaught StopIteration in a generator into a return-statement.

bpo-33209 [https://bugs.python.org/issue?@action=redirect&bpo=33209]: End framing at the end of C implementation of pickle.Pickler.dump().

bpo-20104 [https://bugs.python.org/issue?@action=redirect&bpo=20104]: Improved error handling and fixed a reference leak in os.posix_spawn().

bpo-33175 [https://bugs.python.org/issue?@action=redirect&bpo=33175]: In dataclasses, Field.__set_name__ now looks up the __set_name__ special method on the class, not the instance, of the default value.

bpo-33097 [https://bugs.python.org/issue?@action=redirect&bpo=33097]: Raise RuntimeError when executor.submit is called during interpreter shutdown.

bpo-31908 [https://bugs.python.org/issue?@action=redirect&bpo=31908]: Fix output of cover files for trace module command-line tool. Previously emitted cover files only when --missing option was used. Patch by Michael Selik.

Documentation

bpo-33378 [https://bugs.python.org/issue?@action=redirect&bpo=33378]: Add Korean language switcher for https://docs.python.org/3/

bpo-33276 [https://bugs.python.org/issue?@action=redirect&bpo=33276]: Clarify that the __path__ attribute on modules cannot be just any value.

bpo-33201 [https://bugs.python.org/issue?@action=redirect&bpo=33201]: Modernize documentation for writing C extension types.

bpo-33195 [https://bugs.python.org/issue?@action=redirect&bpo=33195]: Deprecate Py_UNICODE usage in c-api/arg document. Py_UNICODE related APIs are deprecated since Python 3.3, but it is missed in the document.

bpo-8243 [https://bugs.python.org/issue?@action=redirect&bpo=8243]: Add a note about curses.addch and curses.addstr exception behavior when writing outside a window, or pad.

bpo-32337 [https://bugs.python.org/issue?@action=redirect&bpo=32337]: Update documentation related with dict order.

Tests

bpo-33358 [https://bugs.python.org/issue?@action=redirect&bpo=33358]: Fix test_embed.test_pre_initialization_sys_options() when the interpreter is built with --enable-shared.

Build

bpo-33394 [https://bugs.python.org/issue?@action=redirect&bpo=33394]: Enable the verbose build for extension modules, when GNU make is passed macros on the command line.

bpo-33393 [https://bugs.python.org/issue?@action=redirect&bpo=33393]: Update config.guess and config.sub files.

bpo-33377 [https://bugs.python.org/issue?@action=redirect&bpo=33377]: Add new triplets for mips r6 and riscv variants (used in extension suffixes).

bpo-32232 [https://bugs.python.org/issue?@action=redirect&bpo=32232]: By default, modules configured in Modules/Setup are no longer built with -DPy_BUILD_CORE. Instead, modules that specifically need that preprocessor definition include it in their individual entries.

bpo-33182 [https://bugs.python.org/issue?@action=redirect&bpo=33182]: The embedding tests can once again be built with clang 6.0

Windows

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update Windows installer to use OpenSSL 1.1.0h.

macOS

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update macOS installer build to use OpenSSL 1.1.0h.

IDLE

bpo-21474 [https://bugs.python.org/issue?@action=redirect&bpo=21474]: Update word/identifier definition from ascii to unicode. In text and entry boxes, this affects selection by double-click, movement left/right by control-left/right, and deletion left/right by control-BACKSPACE/DEL.

bpo-33204 [https://bugs.python.org/issue?@action=redirect&bpo=33204]: IDLE: consistently color invalid string prefixes. A ‘u’ string prefix cannot be paired with either ‘r’ or ‘f’. Consistently color as much of the prefix, starting at the right, as is valid. Revise and extend colorizer test.

Tools/Demos

bpo-33189 [https://bugs.python.org/issue?@action=redirect&bpo=33189]: pygettext.py now recognizes only literal strings as docstrings and translatable strings, and rejects bytes literals and f-string expressions.

bpo-31920 [https://bugs.python.org/issue?@action=redirect&bpo=31920]: Fixed handling directories as arguments in the pygettext script. Based on patch by Oleg Krasnikov.

bpo-29673 [https://bugs.python.org/issue?@action=redirect&bpo=29673]: Fix pystackv and pystack gdbinit macros.

bpo-31583 [https://bugs.python.org/issue?@action=redirect&bpo=31583]: Fix 2to3 for using with –add-suffix option but without –output-dir option for relative path to files in current directory.

Python 3.7.0 beta 3

Release date: 2018-03-29

Security

bpo-33136 [https://bugs.python.org/issue?@action=redirect&bpo=33136]: Harden ssl module against LibreSSL CVE 2018-8970 [https://www.cve.org/CVERecord?id=CVE-2018-8970]. X509_VERIFY_PARAM_set1_host() is called with an explicit namelen. A new test ensures that NULL bytes are not allowed.

bpo-33001 [https://bugs.python.org/issue?@action=redirect&bpo=33001]: Minimal fix to prevent buffer overrun in os.symlink on Windows

bpo-32981 [https://bugs.python.org/issue?@action=redirect&bpo=32981]: Regexes in difflib and poplib were vulnerable to catastrophic backtracking. These regexes formed potential DOS vectors (REDOS). They have been refactored. This resolves CVE 2018-1060 [https://www.cve.org/CVERecord?id=CVE-2018-1060] and CVE 2018-1061 [https://www.cve.org/CVERecord?id=CVE-2018-1061]. Patch by Jamie Davis.

Core and Builtins

bpo-33053 [https://bugs.python.org/issue?@action=redirect&bpo=33053]: When using the -m switch, sys.path[0] is now explicitly expanded as the starting working directory, rather than being left as the empty path (which allows imports from the current working directory at the time of the import)

bpo-33018 [https://bugs.python.org/issue?@action=redirect&bpo=33018]: Improve consistency of errors raised by issubclass() when called with a non-class and an abstract base class as the first and second arguments, respectively. Patch by Josh Bronson.

bpo-33041 [https://bugs.python.org/issue?@action=redirect&bpo=33041]: Fixed jumping when the function contains an async for loop.

bpo-33026 [https://bugs.python.org/issue?@action=redirect&bpo=33026]: Fixed jumping out of “with” block by setting f_lineno.

bpo-33005 [https://bugs.python.org/issue?@action=redirect&bpo=33005]: Fix a crash on fork when using a custom memory allocator (ex: using PYTHONMALLOC env var). _PyGILState_Reinit() and _PyInterpreterState_Enable() now use the default RAW memory allocator to allocate a new interpreters mutex on fork.

bpo-17288 [https://bugs.python.org/issue?@action=redirect&bpo=17288]: Prevent jumps from ‘return’ and ‘exception’ trace events.

bpo-32836 [https://bugs.python.org/issue?@action=redirect&bpo=32836]: Don’t use temporary variables in cases of list/dict/set comprehensions

Library

bpo-33141 [https://bugs.python.org/issue?@action=redirect&bpo=33141]: Have Field objects pass through __set_name__ to their default values, if they have their own __set_name__.

bpo-33096 [https://bugs.python.org/issue?@action=redirect&bpo=33096]: Allow ttk.Treeview.insert to insert iid that has a false boolean value. Note iid=0 and iid=False would be same. Patch by Garvit Khatri.

bpo-32873 [https://bugs.python.org/issue?@action=redirect&bpo=32873]: Treat type variables and special typing forms as immutable by copy and pickle. This fixes several minor issues and inconsistencies, and improves backwards compatibility with Python 3.6.

bpo-33134 [https://bugs.python.org/issue?@action=redirect&bpo=33134]: When computing dataclass’s __hash__, use the lookup table to contain the function which returns the __hash__ value. This is an improvement over looking up a string, and then testing that string to see what to do.

bpo-33127 [https://bugs.python.org/issue?@action=redirect&bpo=33127]: The ssl module now compiles with LibreSSL 2.7.1.

bpo-32505 [https://bugs.python.org/issue?@action=redirect&bpo=32505]: Raise TypeError if a member variable of a dataclass is of type Field, but doesn’t have a type annotation.

bpo-33078 [https://bugs.python.org/issue?@action=redirect&bpo=33078]: Fix the failure on OSX caused by the tests relying on sem_getvalue

bpo-33116 [https://bugs.python.org/issue?@action=redirect&bpo=33116]: Add ‘Field’ to dataclasses.__all__.

bpo-32896 [https://bugs.python.org/issue?@action=redirect&bpo=32896]: Fix an error where subclassing a dataclass with a field that uses a default_factory would generate an incorrect class.

bpo-33100 [https://bugs.python.org/issue?@action=redirect&bpo=33100]: Dataclasses: If a field has a default value that’s a MemberDescriptorType, then it’s from that field being in __slots__, not an actual default value.

bpo-32953 [https://bugs.python.org/issue?@action=redirect&bpo=32953]: If a non-dataclass inherits from a frozen dataclass, allow attributes to be added to the derived class. Only attributes from the frozen dataclass cannot be assigned to. Require all dataclasses in a hierarchy to be either all frozen or all non-frozen.

bpo-33061 [https://bugs.python.org/issue?@action=redirect&bpo=33061]: Add missing NoReturn to __all__ in typing.py

bpo-33078 [https://bugs.python.org/issue?@action=redirect&bpo=33078]: Fix the size handling in multiprocessing.Queue when a pickling error occurs.

bpo-33064 [https://bugs.python.org/issue?@action=redirect&bpo=33064]: lib2to3 now properly supports trailing commas after *args and **kwargs in function signatures.

bpo-33056 [https://bugs.python.org/issue?@action=redirect&bpo=33056]: FIX properly close leaking fds in concurrent.futures.ProcessPoolExecutor.

bpo-33021 [https://bugs.python.org/issue?@action=redirect&bpo=33021]: Release the GIL during fstat() calls, avoiding hang of all threads when calling mmap.mmap(), os.urandom(), and random.seed(). Patch by Nir Soffer.

bpo-31804 [https://bugs.python.org/issue?@action=redirect&bpo=31804]: Avoid failing in multiprocessing.Process if the standard streams are closed or None at exit.

bpo-33037 [https://bugs.python.org/issue?@action=redirect&bpo=33037]: Skip sending/receiving data after SSL transport closing.

bpo-27683 [https://bugs.python.org/issue?@action=redirect&bpo=27683]: Fix a regression in ipaddress that result of hosts() is empty when the network is constructed by a tuple containing an integer mask and only 1 bit left for addresses.

bpo-32999 [https://bugs.python.org/issue?@action=redirect&bpo=32999]: Fix C implementation of ABC.__subclasscheck__(cls, subclass) crashed when subclass is not a type object.

bpo-33009 [https://bugs.python.org/issue?@action=redirect&bpo=33009]: Fix inspect.signature() for single-parameter partialmethods.

bpo-32969 [https://bugs.python.org/issue?@action=redirect&bpo=32969]: Expose several missing constants in zlib and fix corresponding documentation.

bpo-32056 [https://bugs.python.org/issue?@action=redirect&bpo=32056]: Improved exceptions raised for invalid number of channels and sample width when read an audio file in modules aifc, wave and sunau.

bpo-32844 [https://bugs.python.org/issue?@action=redirect&bpo=32844]: Fix wrong redirection of a low descriptor (0 or 1) to stderr in subprocess if another low descriptor is closed.

bpo-32857 [https://bugs.python.org/issue?@action=redirect&bpo=32857]: In tkinter, after_cancel(None) now raises a ValueError instead of canceling the first scheduled function. Patch by Cheryl Sabella.

bpo-31639 [https://bugs.python.org/issue?@action=redirect&bpo=31639]: http.server now exposes a ThreadedHTTPServer class and uses it when the module is run with -m to cope with web browsers pre-opening sockets.

bpo-27645 [https://bugs.python.org/issue?@action=redirect&bpo=27645]: sqlite3.Connection now exposes a backup method, if the underlying SQLite library is at version 3.6.11 or higher. Patch by Lele Gaifax.

Documentation

bpo-33126 [https://bugs.python.org/issue?@action=redirect&bpo=33126]: Document PyBuffer_ToContiguous().

bpo-27212 [https://bugs.python.org/issue?@action=redirect&bpo=27212]: Modify documentation for the islice() recipe to consume initial values up to the start index.

bpo-28247 [https://bugs.python.org/issue?@action=redirect&bpo=28247]: Update zipapp documentation to describe how to make standalone applications.

bpo-18802 [https://bugs.python.org/issue?@action=redirect&bpo=18802]: Documentation changes for ipaddress. Patch by Jon Foster and Berker Peksag.

bpo-27428 [https://bugs.python.org/issue?@action=redirect&bpo=27428]: Update documentation to clarify that WindowsRegistryFinder implements MetaPathFinder. (Patch by Himanshu Lakhara)

Tests

bpo-32872 [https://bugs.python.org/issue?@action=redirect&bpo=32872]: Avoid regrtest compatibility issue with namespace packages.

bpo-32517 [https://bugs.python.org/issue?@action=redirect&bpo=32517]: Fix failing test_asyncio on macOS 10.12.2+ due to transport of KqueueSelector loop was not being closed.

bpo-19417 [https://bugs.python.org/issue?@action=redirect&bpo=19417]: Add test_bdb.py.

Build

bpo-33163 [https://bugs.python.org/issue?@action=redirect&bpo=33163]: Upgrade pip to 9.0.3 and setuptools to v39.0.1.

Windows

bpo-33016 [https://bugs.python.org/issue?@action=redirect&bpo=33016]: Fix potential use of uninitialized memory in nt._getfinalpathname

bpo-32903 [https://bugs.python.org/issue?@action=redirect&bpo=32903]: Fix a memory leak in os.chdir() on Windows if the current directory is set to a UNC path.

macOS

bpo-32726 [https://bugs.python.org/issue?@action=redirect&bpo=32726]: Build and link with private copy of Tcl/Tk 8.6 for the macOS 10.6+ installer. The 10.9+ installer variant already does this. This means that the Python 3.7 provided by the python.org macOS installers no longer need or use any external versions of Tcl/Tk, either system-provided or user-installed, such as ActiveTcl.

IDLE

bpo-32984 [https://bugs.python.org/issue?@action=redirect&bpo=32984]: Set __file__ while running a startup file. Like Python, IDLE optionally runs one startup file in the Shell window before presenting the first interactive input prompt. For IDLE, -s runs a file named in environmental variable IDLESTARTUP or PYTHONSTARTUP; -r file runs file. Python sets __file__ to the startup file name before running the file and unsets it before the first prompt. IDLE now does the same when run normally, without the -n option.

bpo-32940 [https://bugs.python.org/issue?@action=redirect&bpo=32940]: Simplify and rename StringTranslatePseudoMapping in pyparse.

Tools/Demos

bpo-32885 [https://bugs.python.org/issue?@action=redirect&bpo=32885]: Add an -n flag for Tools/scripts/pathfix.py to disable automatic backup creation (files with ~ suffix).

C API

bpo-33042 [https://bugs.python.org/issue?@action=redirect&bpo=33042]: Embedding applications may once again call PySys_ResetWarnOptions, PySys_AddWarnOption, and PySys_AddXOption prior to calling Py_Initialize.

bpo-32374 [https://bugs.python.org/issue?@action=redirect&bpo=32374]: Document that m_traverse for multi-phase initialized modules can be called with m_state=NULL, and add a sanity check

Python 3.7.0 beta 2

Release date: 2018-02-27

Security

bpo-28414 [https://bugs.python.org/issue?@action=redirect&bpo=28414]: The ssl module now allows users to perform their own IDN en/decoding when using SNI.

Core and Builtins

bpo-32889 [https://bugs.python.org/issue?@action=redirect&bpo=32889]: Update Valgrind suppression list to account for the rename of Py_ADDRESS_IN_RANG to address_in_range.

bpo-31356 [https://bugs.python.org/issue?@action=redirect&bpo=31356]: Remove the new API added in bpo-31356 [https://bugs.python.org/issue?@action=redirect&bpo=31356] (gc.ensure_disabled() context manager).

bpo-32305 [https://bugs.python.org/issue?@action=redirect&bpo=32305]: For namespace packages, ensure that both __file__ and __spec__.origin are set to None.

bpo-32303 [https://bugs.python.org/issue?@action=redirect&bpo=32303]: Make sure __spec__.loader matches __loader__ for namespace packages.

bpo-32711 [https://bugs.python.org/issue?@action=redirect&bpo=32711]: Fix the warning messages for Python/ast_unparse.c. Patch by Stéphane Wirtel

bpo-32583 [https://bugs.python.org/issue?@action=redirect&bpo=32583]: Fix possible crashing in builtin Unicode decoders caused by write out-of-bound errors when using customized decode error handlers.

Library

bpo-32960 [https://bugs.python.org/issue?@action=redirect&bpo=32960]: For dataclasses, disallow inheriting frozen from non-frozen classes, and also disallow inheriting non-frozen from frozen classes. This restriction will be relaxed at a future date.

bpo-32713 [https://bugs.python.org/issue?@action=redirect&bpo=32713]: Fixed tarfile.itn handling of out-of-bounds float values. Patch by Joffrey Fuhrer.

bpo-32951 [https://bugs.python.org/issue?@action=redirect&bpo=32951]: Direct instantiation of SSLSocket and SSLObject objects is now prohibited. The constructors were never documented, tested, or designed as public constructors. Users were suppose to use ssl.wrap_socket() or SSLContext.

bpo-32929 [https://bugs.python.org/issue?@action=redirect&bpo=32929]: Remove the tri-state parameter “hash”, and add the boolean “unsafe_hash”. If unsafe_hash is True, add a __hash__ function, but if a __hash__ exists, raise TypeError. If unsafe_hash is False, add a __hash__ based on the values of eq= and frozen=. The unsafe_hash=False behavior is the same as the old hash=None behavior. unsafe_hash=False is the default, just as hash=None used to be.

bpo-32947 [https://bugs.python.org/issue?@action=redirect&bpo=32947]: Add OP_ENABLE_MIDDLEBOX_COMPAT and test workaround for TLSv1.3 for future compatibility with OpenSSL 1.1.1.

bpo-30622 [https://bugs.python.org/issue?@action=redirect&bpo=30622]: The ssl module now detects missing NPN support in LibreSSL.

bpo-32922 [https://bugs.python.org/issue?@action=redirect&bpo=32922]: dbm.open() now encodes filename with the filesystem encoding rather than default encoding.

bpo-32859 [https://bugs.python.org/issue?@action=redirect&bpo=32859]: In os.dup2, don’t check every call whether the dup3 syscall exists or not.

bpo-32556 [https://bugs.python.org/issue?@action=redirect&bpo=32556]: nt._getfinalpathname, nt._getvolumepathname and nt._getdiskusage now correctly convert from bytes.

bpo-25988 [https://bugs.python.org/issue?@action=redirect&bpo=25988]: Emit a DeprecationWarning when using or importing an ABC directly from collections rather than from collections.abc.

bpo-21060 [https://bugs.python.org/issue?@action=redirect&bpo=21060]: Rewrite confusing message from setup.py upload from “No dist file created in earlier command” to the more helpful “Must create and upload files in one command”.

bpo-32852 [https://bugs.python.org/issue?@action=redirect&bpo=32852]: Make sure sys.argv remains as a list when running trace.

bpo-31333 [https://bugs.python.org/issue?@action=redirect&bpo=31333]: _abc module is added. It is a speedup module with C implementations for various functions and methods in abc. Creating an ABC subclass and calling isinstance or issubclass with an ABC subclass are up to 1.5x faster. In addition, this makes Python start-up up to 10% faster. Note that the new implementation hides internal registry and caches, previously accessible via private attributes _abc_registry, _abc_cache, and _abc_negative_cache. There are three debugging helper methods that can be used instead _dump_registry, _abc_registry_clear, and _abc_caches_clear.

bpo-32841 [https://bugs.python.org/issue?@action=redirect&bpo=32841]: Fixed asyncio.Condition issue which silently ignored cancellation after notifying and cancelling a conditional lock. Patch by Bar Harel.

bpo-32819 [https://bugs.python.org/issue?@action=redirect&bpo=32819]: ssl.match_hostname() has been simplified and no longer depends on re and ipaddress module for wildcard and IP addresses. Error reporting for invalid wildcards has been improved.

bpo-32394 [https://bugs.python.org/issue?@action=redirect&bpo=32394]: socket: Remove TCP_FASTOPEN,TCP_KEEPCNT,TCP_KEEPIDLE,TCP_KEEPINTVL flags on older version Windows during run-time.

bpo-31787 [https://bugs.python.org/issue?@action=redirect&bpo=31787]: Fixed refleaks of __init__() methods in various modules. (Contributed by Oren Milman)

bpo-30157 [https://bugs.python.org/issue?@action=redirect&bpo=30157]: Fixed guessing quote and delimiter in csv.Sniffer.sniff() when only the last field is quoted. Patch by Jake Davis.

bpo-32792 [https://bugs.python.org/issue?@action=redirect&bpo=32792]: collections.ChainMap() preserves the order of the underlying mappings.

bpo-32775 [https://bugs.python.org/issue?@action=redirect&bpo=32775]: fnmatch.translate() no longer produces patterns which contain set operations. Sets starting with ‘[’ or containing ‘–’, ‘&&’, ‘~~’ or ‘||’ will be interpreted differently in regular expressions in future versions. Currently they emit warnings. fnmatch.translate() now avoids producing patterns containing such sets by accident.

bpo-32622 [https://bugs.python.org/issue?@action=redirect&bpo=32622]: Implement native fast sendfile for Windows proactor event loop.

bpo-32777 [https://bugs.python.org/issue?@action=redirect&bpo=32777]: Fix a rare but potential pre-exec child process deadlock in subprocess on POSIX systems when marking file descriptors inheritable on exec in the child process. This bug appears to have been introduced in 3.4.

bpo-32647 [https://bugs.python.org/issue?@action=redirect&bpo=32647]: The ctypes module used to depend on indirect linking for dlopen. The shared extension is now explicitly linked against libdl on platforms with dl.

bpo-32741 [https://bugs.python.org/issue?@action=redirect&bpo=32741]: Implement asyncio.TimerHandle.when() method.

bpo-32691 [https://bugs.python.org/issue?@action=redirect&bpo=32691]: Use mod_spec.parent when running modules with pdb

bpo-32734 [https://bugs.python.org/issue?@action=redirect&bpo=32734]: Fixed asyncio.Lock() safety issue which allowed acquiring and locking the same lock multiple times, without it being free. Patch by Bar Harel.

bpo-32727 [https://bugs.python.org/issue?@action=redirect&bpo=32727]: Do not include name field in SMTP envelope from address. Patch by Stéphane Wirtel

bpo-31453 [https://bugs.python.org/issue?@action=redirect&bpo=31453]: Add TLSVersion constants and SSLContext.maximum_version / minimum_version attributes. The new API wraps OpenSSL 1.1 https://web.archive.org/web/20180309043602/https://www.openssl.org/docs/man1.1.0/ssl/SSL_CTX_set_min_proto_version.html feature.

bpo-24334 [https://bugs.python.org/issue?@action=redirect&bpo=24334]: Internal implementation details of ssl module were cleaned up. The SSLSocket has one less layer of indirection. Owner and session information are now handled by the SSLSocket and SSLObject constructor. Channel binding implementation has been simplified.

bpo-31848 [https://bugs.python.org/issue?@action=redirect&bpo=31848]: Fix the error handling in Aifc_read.initfp() when the SSND chunk is not found. Patch by Zackery Spytz.

bpo-32585 [https://bugs.python.org/issue?@action=redirect&bpo=32585]: Add Ttk spinbox widget to tkinter.ttk. Patch by Alan D Moore.

bpo-32221 [https://bugs.python.org/issue?@action=redirect&bpo=32221]: Various functions returning tuple containing IPv6 addresses now omit %scope part since the same information is already encoded in scopeid tuple item. Especially this speeds up socket.recvfrom() when it receives multicast packet since useless resolving of network interface name is omitted.

bpo-30693 [https://bugs.python.org/issue?@action=redirect&bpo=30693]: The TarFile class now recurses directories in a reproducible way.

bpo-30693 [https://bugs.python.org/issue?@action=redirect&bpo=30693]: The ZipFile class now recurses directories in a reproducible way.

Documentation

bpo-28124 [https://bugs.python.org/issue?@action=redirect&bpo=28124]: The ssl module function ssl.wrap_socket() has been de-emphasized and deprecated in favor of the more secure and efficient SSLContext.wrap_socket() method.

bpo-17232 [https://bugs.python.org/issue?@action=redirect&bpo=17232]: Clarify docs for -O and -OO. Patch by Terry Reedy.

bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436]: Add documentation for the contextvars module (PEP 567).

bpo-32800 [https://bugs.python.org/issue?@action=redirect&bpo=32800]: Update link to w3c doc for xml default namespaces.

bpo-11015 [https://bugs.python.org/issue?@action=redirect&bpo=11015]: Update test.support documentation.

bpo-8722 [https://bugs.python.org/issue?@action=redirect&bpo=8722]: Document __getattr__() behavior when property get() method raises AttributeError.

bpo-32614 [https://bugs.python.org/issue?@action=redirect&bpo=32614]: Modify RE examples in documentation to use raw strings to prevent DeprecationWarning and add text to REGEX HOWTO to highlight the deprecation.

bpo-31972 [https://bugs.python.org/issue?@action=redirect&bpo=31972]: Improve docstrings for pathlib.PurePath subclasses.

Tests

bpo-31809 [https://bugs.python.org/issue?@action=redirect&bpo=31809]: Add tests to verify connection with secp ECDH curves.

Build

bpo-32898 [https://bugs.python.org/issue?@action=redirect&bpo=32898]: Fix the python debug build when using COUNT_ALLOCS.

Windows

bpo-32901 [https://bugs.python.org/issue?@action=redirect&bpo=32901]: Update Tcl and Tk versions to 8.6.8

bpo-31966 [https://bugs.python.org/issue?@action=redirect&bpo=31966]: Fixed WindowsConsoleIO.write() for writing empty data.

bpo-32409 [https://bugs.python.org/issue?@action=redirect&bpo=32409]: Ensures activate.bat can handle Unicode contents.

bpo-32457 [https://bugs.python.org/issue?@action=redirect&bpo=32457]: Improves handling of denormalized executable path when launching Python.

bpo-32370 [https://bugs.python.org/issue?@action=redirect&bpo=32370]: Use the correct encoding for ipconfig output in the uuid module. Patch by Segev Finer.

bpo-29248 [https://bugs.python.org/issue?@action=redirect&bpo=29248]: Fix os.readlink() on Windows, which was mistakenly treating the PrintNameOffset field of the reparse data buffer as a number of characters instead of bytes. Patch by Craig Holmquist and SSE4.

macOS

bpo-32901 [https://bugs.python.org/issue?@action=redirect&bpo=32901]: Update macOS 10.9+ installer to Tcl/Tk 8.6.8.

IDLE

bpo-32916 [https://bugs.python.org/issue?@action=redirect&bpo=32916]: Change str to code in pyparse.

bpo-32905 [https://bugs.python.org/issue?@action=redirect&bpo=32905]: Remove unused code in pyparse module.

bpo-32874 [https://bugs.python.org/issue?@action=redirect&bpo=32874]: Add tests for pyparse.

bpo-32837 [https://bugs.python.org/issue?@action=redirect&bpo=32837]: Using the system and place-dependent default encoding for open() is a bad idea for IDLE’s system and location-independent files.

bpo-32826 [https://bugs.python.org/issue?@action=redirect&bpo=32826]: Add “encoding=utf-8” to open() in IDLE’s test_help_about. GUI test test_file_buttons() only looks at initial ascii-only lines, but failed on systems where open() defaults to ‘ascii’ because readline() internally reads and decodes far enough ahead to encounter a non-ascii character in CREDITS.txt.

bpo-32765 [https://bugs.python.org/issue?@action=redirect&bpo=32765]: Update configdialog General tab docstring to add new widgets to the widget list.

Tools/Demos

bpo-32222 [https://bugs.python.org/issue?@action=redirect&bpo=32222]: Fix pygettext not extracting docstrings for functions with type annotated arguments. Patch by Toby Harradine.

Python 3.7.0 beta 1

Release date: 2018-01-30

Core and Builtins

bpo-32703 [https://bugs.python.org/issue?@action=redirect&bpo=32703]: Fix coroutine’s ResourceWarning when there’s an active error set when it’s being finalized.

bpo-32650 [https://bugs.python.org/issue?@action=redirect&bpo=32650]: Pdb and other debuggers dependent on bdb.py will correctly step over (next command) native coroutines. Patch by Pablo Galindo.

bpo-28685 [https://bugs.python.org/issue?@action=redirect&bpo=28685]: Optimize list.sort() and sorted() by using type specialized comparisons when possible.

bpo-32685 [https://bugs.python.org/issue?@action=redirect&bpo=32685]: Improve suggestion when the Python 2 form of print statement is either present on the same line as the header of a compound statement or else terminated by a semi-colon instead of a newline. Patch by Nitish Chandra.

bpo-32697 [https://bugs.python.org/issue?@action=redirect&bpo=32697]: Python now explicitly preserves the definition order of keyword-only parameters. It’s always preserved their order, but this behavior was never guaranteed before; this behavior is now guaranteed and tested.

bpo-32690 [https://bugs.python.org/issue?@action=redirect&bpo=32690]: The locals() dictionary now displays in the lexical order that variables were defined. Previously, the order was reversed.

bpo-32677 [https://bugs.python.org/issue?@action=redirect&bpo=32677]: Add .isascii() method to str, bytes and bytearray. It can be used to test that string contains only ASCII characters.

bpo-32670 [https://bugs.python.org/issue?@action=redirect&bpo=32670]: Enforce PEP 479 [https://peps.python.org/pep-0479/] for all code. This means that manually raising a StopIteration exception from a generator is prohibited for all code, regardless of whether ‘from __future__ import generator_stop’ was used or not.

bpo-32591 [https://bugs.python.org/issue?@action=redirect&bpo=32591]: Added built-in support for tracking the origin of coroutine objects; see sys.set_coroutine_origin_tracking_depth and CoroutineType.cr_origin. This replaces the asyncio debug mode’s use of coroutine wrapping for native coroutine objects.

bpo-31368 [https://bugs.python.org/issue?@action=redirect&bpo=31368]: Expose preadv and pwritev system calls in the os module. Patch by Pablo Galindo

bpo-32544 [https://bugs.python.org/issue?@action=redirect&bpo=32544]: hasattr(obj, name) and getattr(obj, name, default) are about 4 times faster than before when name is not found and obj doesn’t override __getattr__ or __getattribute__.

bpo-26163 [https://bugs.python.org/issue?@action=redirect&bpo=26163]: Improved frozenset() hash to create more distinct hash values when faced with datasets containing many similar values.

bpo-32550 [https://bugs.python.org/issue?@action=redirect&bpo=32550]: Remove the STORE_ANNOTATION bytecode.

bpo-20104 [https://bugs.python.org/issue?@action=redirect&bpo=20104]: Expose posix_spawn as a low level API in the os module. (removed before 3.7.0rc1)

bpo-24340 [https://bugs.python.org/issue?@action=redirect&bpo=24340]: Fixed estimation of the code stack size.

bpo-32436 [https://bugs.python.org/issue?@action=redirect&bpo=32436]: Implement PEP 567 [https://peps.python.org/pep-0567/] Context Variables.

bpo-18533 [https://bugs.python.org/issue?@action=redirect&bpo=18533]: repr() on a dict containing its own values() or items() no longer raises RecursionError; OrderedDict similarly. Instead, use ..., as for other recursive structures. Patch by Ben North.

bpo-20891 [https://bugs.python.org/issue?@action=redirect&bpo=20891]: Py_Initialize() now creates the GIL. The GIL is no longer created “on demand” to fix a race condition when PyGILState_Ensure() is called in a non-Python thread.

bpo-32028 [https://bugs.python.org/issue?@action=redirect&bpo=32028]: Leading whitespace is now correctly ignored when generating suggestions for converting Py2 print statements to Py3 builtin print function calls. Patch by Sanyam Khurana.

bpo-31179 [https://bugs.python.org/issue?@action=redirect&bpo=31179]: Make dict.copy() up to 5.5 times faster.

bpo-31113 [https://bugs.python.org/issue?@action=redirect&bpo=31113]: Get rid of recursion in the compiler for normal control flow.

Library

bpo-25988 [https://bugs.python.org/issue?@action=redirect&bpo=25988]: Deprecate exposing the contents of collections.abc in the regular collections module.

bpo-31429 [https://bugs.python.org/issue?@action=redirect&bpo=31429]: The default cipher suite selection of the ssl module now uses a blacklist approach rather than a hard-coded whitelist. Python no longer re-enables ciphers that have been blocked by OpenSSL security update. Default cipher suite selection can be configured on compile time.

bpo-30306 [https://bugs.python.org/issue?@action=redirect&bpo=30306]: contextlib.contextmanager now releases the arguments passed to the underlying generator as soon as the context manager is entered. Previously it would keep them alive for as long as the context manager was alive, even when not being used as a function decorator. Patch by Martin Teichmann.

bpo-21417 [https://bugs.python.org/issue?@action=redirect&bpo=21417]: Added support for setting the compression level for zipfile.ZipFile.

bpo-32251 [https://bugs.python.org/issue?@action=redirect&bpo=32251]: Implement asyncio.BufferedProtocol (provisional API).

bpo-32513 [https://bugs.python.org/issue?@action=redirect&bpo=32513]: In dataclasses, allow easier overriding of dunder methods without specifying decorator parameters.

bpo-32660 [https://bugs.python.org/issue?@action=redirect&bpo=32660]: termios makes available FIONREAD, FIONCLEX, FIOCLEX, FIOASYNC and FIONBIO also under Solaris/derivatives.

bpo-27931 [https://bugs.python.org/issue?@action=redirect&bpo=27931]: Fix email address header parsing error when the username is an empty quoted string. Patch by Xiang Zhang.

bpo-32659 [https://bugs.python.org/issue?@action=redirect&bpo=32659]: Under Solaris and derivatives, os.stat_result provides a st_fstype attribute.

bpo-32662 [https://bugs.python.org/issue?@action=redirect&bpo=32662]: Implement Server.start_serving(), Server.serve_forever(), and Server.is_serving() methods. Add ‘start_serving’ keyword parameter to loop.create_server() and loop.create_unix_server().

bpo-32391 [https://bugs.python.org/issue?@action=redirect&bpo=32391]: Implement asyncio.StreamWriter.wait_closed() and asyncio.StreamWriter.is_closing() methods

bpo-32643 [https://bugs.python.org/issue?@action=redirect&bpo=32643]: Make Task._step, Task._wakeup and Future._schedule_callbacks methods private.

bpo-32630 [https://bugs.python.org/issue?@action=redirect&bpo=32630]: Refactor decimal module to use contextvars to store decimal context.

bpo-32622 [https://bugs.python.org/issue?@action=redirect&bpo=32622]: Add asyncio.AbstractEventLoop.sendfile() method.

bpo-32304 [https://bugs.python.org/issue?@action=redirect&bpo=32304]: distutils’ upload command no longer corrupts tar files ending with a CR byte, and no longer tries to convert CR to CRLF in any of the upload text fields.

bpo-32502 [https://bugs.python.org/issue?@action=redirect&bpo=32502]: uuid.uuid1 no longer raises an exception if a 64-bit hardware address is encountered.

bpo-32596 [https://bugs.python.org/issue?@action=redirect&bpo=32596]: concurrent.futures imports ThreadPoolExecutor and ProcessPoolExecutor lazily (using PEP 562 [https://peps.python.org/pep-0562/]). It makes import asyncio about 15% faster because asyncio uses only ThreadPoolExecutor by default.

bpo-31801 [https://bugs.python.org/issue?@action=redirect&bpo=31801]: Add _ignore_ to Enum so temporary variables can be used during class construction without being turned into members.

bpo-32576 [https://bugs.python.org/issue?@action=redirect&bpo=32576]: Use queue.SimpleQueue() in places where it can be invoked from a weakref callback.

bpo-32574 [https://bugs.python.org/issue?@action=redirect&bpo=32574]: Fix memory leak in asyncio.Queue, when the queue has limited size and it is full, the cancelation of queue.put() can cause a memory leak. Patch by: José Melero.

bpo-32521 [https://bugs.python.org/issue?@action=redirect&bpo=32521]: The nis module is now compatible with new libnsl and headers location.

bpo-32467 [https://bugs.python.org/issue?@action=redirect&bpo=32467]: collections.abc.ValuesView now inherits from collections.abc.Collection.

bpo-32473 [https://bugs.python.org/issue?@action=redirect&bpo=32473]: Improve ABCMeta._dump_registry() output readability

bpo-32102 [https://bugs.python.org/issue?@action=redirect&bpo=32102]: New argument capture_output for subprocess.run

bpo-32521 [https://bugs.python.org/issue?@action=redirect&bpo=32521]: glibc has removed Sun RPC. Use replacement libtirpc headers and library in nis module.

bpo-32493 [https://bugs.python.org/issue?@action=redirect&bpo=32493]: UUID module fixes build for FreeBSD/OpenBSD

bpo-32503 [https://bugs.python.org/issue?@action=redirect&bpo=32503]: Pickling with protocol 4 no longer creates too small frames.

bpo-29237 [https://bugs.python.org/issue?@action=redirect&bpo=29237]: Create enum for pstats sorting options

bpo-32454 [https://bugs.python.org/issue?@action=redirect&bpo=32454]: Add close(fd) function to the socket module.

bpo-25942 [https://bugs.python.org/issue?@action=redirect&bpo=25942]: The subprocess module is now more graceful when handling a Ctrl-C KeyboardInterrupt during subprocess.call, subprocess.run, or a Popen context manager. It now waits a short amount of time for the child (presumed to have also gotten the SIGINT) to exit, before continuing the KeyboardInterrupt exception handling. This still includes a SIGKILL in the call() and run() APIs, but at least the child had a chance first.

bpo-32433 [https://bugs.python.org/issue?@action=redirect&bpo=32433]: The hmac module now has hmac.digest(), which provides an optimized HMAC digest.

bpo-28134 [https://bugs.python.org/issue?@action=redirect&bpo=28134]: Sockets now auto-detect family, type and protocol from file descriptor by default.

bpo-32404 [https://bugs.python.org/issue?@action=redirect&bpo=32404]: Fix bug where datetime.datetime.fromtimestamp() did not call __new__ in datetime.datetime subclasses.

bpo-32403 [https://bugs.python.org/issue?@action=redirect&bpo=32403]: Improved speed of datetime.date and datetime.datetime alternate constructors.

bpo-32228 [https://bugs.python.org/issue?@action=redirect&bpo=32228]: Ensure that truncate() preserves the file position (as reported by tell()) after writes longer than the buffer size.

bpo-32410 [https://bugs.python.org/issue?@action=redirect&bpo=32410]: Implement loop.sock_sendfile for asyncio event loop.

bpo-22908 [https://bugs.python.org/issue?@action=redirect&bpo=22908]: Added seek and tell to the ZipExtFile class. This only works if the file object used to open the zipfile is seekable.

bpo-32373 [https://bugs.python.org/issue?@action=redirect&bpo=32373]: Add socket.getblocking() method.

bpo-32248 [https://bugs.python.org/issue?@action=redirect&bpo=32248]: Add importlib.resources and importlib.abc.ResourceReader as the unified API for reading resources contained within packages. Loaders wishing to support resource reading must implement the get_resource_reader() method. File-based and zipimport-based loaders both implement these APIs. importlib.abc.ResourceLoader is deprecated in favor of these new APIs.

bpo-32320 [https://bugs.python.org/issue?@action=redirect&bpo=32320]: collections.namedtuple() now supports default values.

bpo-29302 [https://bugs.python.org/issue?@action=redirect&bpo=29302]: Add contextlib.AsyncExitStack. Patch by Alexander Mohr and Ilya Kulakov.

bpo-31961 [https://bugs.python.org/issue?@action=redirect&bpo=31961]: Removed in Python 3.7.0b2. The args argument of subprocess.Popen can now be a path-like object. If args is given as a sequence, it’s first element can now be a path-like object as well.

bpo-31900 [https://bugs.python.org/issue?@action=redirect&bpo=31900]: The locale.localeconv() function now sets temporarily the LC_CTYPE locale to the LC_NUMERIC locale to decode decimal_point and thousands_sep byte strings if they are non-ASCII or longer than 1 byte, and the LC_NUMERIC locale is different than the LC_CTYPE locale. This temporary change affects other threads. Same change for the str.format() method when formatting a number (int, float, float and subclasses) with the n type (ex: '{:n}'.format(1234)).

bpo-31853 [https://bugs.python.org/issue?@action=redirect&bpo=31853]: Use super().method instead of socket.method in SSLSocket. They were there most likely for legacy reasons.

bpo-31399 [https://bugs.python.org/issue?@action=redirect&bpo=31399]: The ssl module now uses OpenSSL’s X509_VERIFY_PARAM_set1_host() and X509_VERIFY_PARAM_set1_ip() API to verify hostname and IP addresses. Subject common name fallback can be disabled with SSLContext.hostname_checks_common_name.

bpo-14976 [https://bugs.python.org/issue?@action=redirect&bpo=14976]: Add a queue.SimpleQueue class, an unbounded FIFO queue with a reentrant C implementation of put().

Documentation

bpo-32724 [https://bugs.python.org/issue?@action=redirect&bpo=32724]: Add references to some commands in the documentation of Pdb. Patch by Stéphane Wirtel

bpo-32649 [https://bugs.python.org/issue?@action=redirect&bpo=32649]: Complete the C API documentation, profiling and tracing part with the newly added per-opcode events.

bpo-17799 [https://bugs.python.org/issue?@action=redirect&bpo=17799]: Explain real behaviour of sys.settrace and sys.setprofile and their C-API counterparts regarding which type of events are received in each function. Patch by Pablo Galindo Salgado.

Tests

bpo-32721 [https://bugs.python.org/issue?@action=redirect&bpo=32721]: Fix test_hashlib to not fail if the _md5 module is not built.

bpo-28414 [https://bugs.python.org/issue?@action=redirect&bpo=28414]: Add test cases for IDNA 2003 and 2008 host names. IDNA 2003 internationalized host names are working since bpo-31399 [https://bugs.python.org/issue?@action=redirect&bpo=31399] has landed. IDNA 2008 are still broken.

bpo-32604 [https://bugs.python.org/issue?@action=redirect&bpo=32604]: Add a new “_xxsubinterpreters” extension module that exposes the existing subinterpreter C-API and a new cross-interpreter data sharing mechanism. The module is primarily intended for more thorough testing of the existing subinterpreter support. Note that the _xxsubinterpreters module has been removed in 3.7.0rc1.

bpo-32602 [https://bugs.python.org/issue?@action=redirect&bpo=32602]: Add test certs and test for ECDSA cert and EC/RSA dual mode.

bpo-32549 [https://bugs.python.org/issue?@action=redirect&bpo=32549]: On Travis CI, Python now Compiles and uses a local copy of OpenSSL 1.1.0g for testing.

Build

bpo-32635 [https://bugs.python.org/issue?@action=redirect&bpo=32635]: Fix segfault of the crypt module when libxcrypt is provided instead of libcrypt at the system.

bpo-32598 [https://bugs.python.org/issue?@action=redirect&bpo=32598]: Use autoconf to detect OpenSSL libs, headers and supported features. The ax_check_openssl M4 macro uses pkg-config to locate OpenSSL and falls back to manual search.

bpo-32593 [https://bugs.python.org/issue?@action=redirect&bpo=32593]: Drop support of FreeBSD 9 and older.

bpo-29708 [https://bugs.python.org/issue?@action=redirect&bpo=29708]: If the SOURCE_DATE_EPOCH environment variable is set, py_compile will always create hash-based .pyc files.

Windows

bpo-32588 [https://bugs.python.org/issue?@action=redirect&bpo=32588]: Create standalone _distutils_findvs module and add missing _queue module to installer.

bpo-29911 [https://bugs.python.org/issue?@action=redirect&bpo=29911]: Ensure separate Modify and Uninstall buttons are displayed.

bpo-32507 [https://bugs.python.org/issue?@action=redirect&bpo=32507]: Use app-local UCRT install rather than the proper update for old versions of Windows.

macOS

bpo-32726 [https://bugs.python.org/issue?@action=redirect&bpo=32726]: Provide an additional, more modern macOS installer variant that supports macOS 10.9+ systems in 64-bit mode only. Upgrade the supplied third-party libraries to OpenSSL 1.1.0g and to SQLite 3.22.0. The 10.9+ installer now links with and supplies its own copy of Tcl/Tk 8.6.

bpo-28440 [https://bugs.python.org/issue?@action=redirect&bpo=28440]: No longer add /Library/Python/3.x/site-packages to sys.path for macOS framework builds to avoid future conflicts.

C API

bpo-32681 [https://bugs.python.org/issue?@action=redirect&bpo=32681]: Fix uninitialized variable ‘res’ in the C implementation of os.dup2. Patch by Stéphane Wirtel

bpo-10381 [https://bugs.python.org/issue?@action=redirect&bpo=10381]: Add C API access to the datetime.timezone constructor and datetime.timzone.UTC singleton.

Python 3.7.0 alpha 4

Release date: 2018-01-08

Core and Builtins

bpo-31975 [https://bugs.python.org/issue?@action=redirect&bpo=31975]: The default warning filter list now starts with a “default::DeprecationWarning:__main__” entry, so deprecation warnings are once again shown by default in single-file scripts and at the interactive prompt.

bpo-32226 [https://bugs.python.org/issue?@action=redirect&bpo=32226]: __class_getitem__ is now an automatic class method.

bpo-32399 [https://bugs.python.org/issue?@action=redirect&bpo=32399]: Add AIX uuid library support for RFC4122 using uuid_create() in libc.a

bpo-32390 [https://bugs.python.org/issue?@action=redirect&bpo=32390]: Fix the compilation failure on AIX after the f_fsid field has been added to the object returned by os.statvfs() (bpo-32143 [https://bugs.python.org/issue?@action=redirect&bpo=32143]). Original patch by Michael Felt.

bpo-32379 [https://bugs.python.org/issue?@action=redirect&bpo=32379]: Make MRO computation faster when a class inherits from a single base.

bpo-32259 [https://bugs.python.org/issue?@action=redirect&bpo=32259]: The error message of a TypeError raised when unpack non-iterable is now more specific.

bpo-27169 [https://bugs.python.org/issue?@action=redirect&bpo=27169]: The __debug__ constant is now optimized out at compile time. This fixes also bpo-22091 [https://bugs.python.org/issue?@action=redirect&bpo=22091].

bpo-32329 [https://bugs.python.org/issue?@action=redirect&bpo=32329]: The -R option now turns on hash randomization when the PYTHONHASHSEED environment variable is set to 0. Previously, the option was ignored. Moreover, sys.flags.hash_randomization is now properly set to 0 when hash randomization is turned off by PYTHONHASHSEED=0.

bpo-30416 [https://bugs.python.org/issue?@action=redirect&bpo=30416]: The optimizer is now protected from spending much time doing complex calculations and consuming much memory for creating large constants in constant folding. Increased limits for constants that can be produced in constant folding.

bpo-32282 [https://bugs.python.org/issue?@action=redirect&bpo=32282]: Fix an unnecessary ifdef in the include of VersionHelpers.h in socketmodule on Windows.

bpo-30579 [https://bugs.python.org/issue?@action=redirect&bpo=30579]: Implement TracebackType.__new__ to allow Python-level creation of traceback objects, and make TracebackType.tb_next mutable.

bpo-32260 [https://bugs.python.org/issue?@action=redirect&bpo=32260]: Don’t byte swap the input keys to the SipHash algorithm on big-endian platforms. This should ensure siphash gives consistent results across platforms.

bpo-31506 [https://bugs.python.org/issue?@action=redirect&bpo=31506]: Improve the error message logic for object.__new__ and object.__init__. Patch by Sanyam Khurana.

bpo-20361 [https://bugs.python.org/issue?@action=redirect&bpo=20361]: -b and -bb now inject 'default::BytesWarning' and error::BytesWarning entries into sys.warnoptions, ensuring that they take precedence over any other warning filters configured via the -W option or the PYTHONWARNINGS environment variable.

bpo-32230 [https://bugs.python.org/issue?@action=redirect&bpo=32230]: -X dev now injects a 'default' entry into sys.warnoptions, ensuring that it behaves identically to actually passing -Wdefault at the command line.

bpo-29240 [https://bugs.python.org/issue?@action=redirect&bpo=29240]: Add a new UTF-8 mode: implementation of the PEP 540 [https://peps.python.org/pep-0540/].

bpo-32226 [https://bugs.python.org/issue?@action=redirect&bpo=32226]: PEP 560 [https://peps.python.org/pep-0560/]: Add support for __mro_entries__ and __class_getitem__. Implemented by Ivan Levkivskyi.

bpo-32225 [https://bugs.python.org/issue?@action=redirect&bpo=32225]: PEP 562 [https://peps.python.org/pep-0562/]: Add support for module __getattr__ and __dir__. Implemented by Ivan Levkivskyi.

bpo-31901 [https://bugs.python.org/issue?@action=redirect&bpo=31901]: The atexit module now has its callback stored per interpreter.

bpo-31650 [https://bugs.python.org/issue?@action=redirect&bpo=31650]: Implement PEP 552 [https://peps.python.org/pep-0552/] (Deterministic pycs). Python now supports invalidating bytecode cache files bashed on a source content hash rather than source last-modified time.

bpo-29469 [https://bugs.python.org/issue?@action=redirect&bpo=29469]: Move constant folding from bytecode layer to AST layer. Original patch by Eugene Toder.

Library

bpo-32506 [https://bugs.python.org/issue?@action=redirect&bpo=32506]: Now that dict is defined as keeping insertion order, drop OrderedDict and just use plain dict.

bpo-32279 [https://bugs.python.org/issue?@action=redirect&bpo=32279]: Add params to dataclasses.make_dataclasses(): init, repr, eq, order, hash, and frozen. Pass them through to dataclass().

bpo-32278 [https://bugs.python.org/issue?@action=redirect&bpo=32278]: Make type information optional on dataclasses.make_dataclass(). If omitted, the string ‘typing.Any’ is used.

bpo-32499 [https://bugs.python.org/issue?@action=redirect&bpo=32499]: Add dataclasses.is_dataclass(obj), which returns True if obj is a dataclass or an instance of one.

bpo-32468 [https://bugs.python.org/issue?@action=redirect&bpo=32468]: Improve frame repr() to mention filename, code name and current line number.

bpo-23749 [https://bugs.python.org/issue?@action=redirect&bpo=23749]: asyncio: Implement loop.start_tls()

bpo-32441 [https://bugs.python.org/issue?@action=redirect&bpo=32441]: Return the new file descriptor (i.e., the second argument) from os.dup2. Previously, None was always returned.

bpo-32422 [https://bugs.python.org/issue?@action=redirect&bpo=32422]: functools.lru_cache uses less memory (3 words for each cached key) and takes about 1/3 time for cyclic GC.

bpo-31721 [https://bugs.python.org/issue?@action=redirect&bpo=31721]: Prevent Python crash from happening when Future._log_traceback is set to True manually. Now it can only be set to False, or a ValueError is raised.

bpo-32415 [https://bugs.python.org/issue?@action=redirect&bpo=32415]: asyncio: Add Task.get_loop() and Future.get_loop()

bpo-26133 [https://bugs.python.org/issue?@action=redirect&bpo=26133]: Don’t unsubscribe signals in asyncio UNIX event loop on interpreter shutdown.

bpo-32363 [https://bugs.python.org/issue?@action=redirect&bpo=32363]: Make asyncio.Task.set_exception() and set_result() raise NotImplementedError. Task._step() and Future.__await__() raise proper exceptions when they are in an invalid state, instead of raising an AssertionError.

bpo-32357 [https://bugs.python.org/issue?@action=redirect&bpo=32357]: Optimize asyncio.iscoroutine() and loop.create_task() for non-native coroutines (e.g. async/await compiled with Cython). ‘loop.create_task(python_coroutine)’ used to be 20% faster than ‘loop.create_task(cython_coroutine)’. Now, the latter is as fast.

bpo-32356 [https://bugs.python.org/issue?@action=redirect&bpo=32356]: asyncio.transport.resume_reading() and pause_reading() are now idempotent. New transport.is_reading() method is added.

bpo-32355 [https://bugs.python.org/issue?@action=redirect&bpo=32355]: Optimize asyncio.gather(); now up to 15% faster.

bpo-32351 [https://bugs.python.org/issue?@action=redirect&bpo=32351]: Use fastpath in asyncio.sleep if delay<0 (2x boost)

bpo-32348 [https://bugs.python.org/issue?@action=redirect&bpo=32348]: Optimize asyncio.Future schedule/add/remove callback. The optimization shows 3-6% performance improvements of async/await code.

bpo-32331 [https://bugs.python.org/issue?@action=redirect&bpo=32331]: Fix socket.settimeout() and socket.setblocking() to keep socket.type as is. Fix socket.socket() constructor to reset any bit flags applied to socket’s type. This change only affects OSes that have SOCK_NONBLOCK and/or SOCK_CLOEXEC.

bpo-32248 [https://bugs.python.org/issue?@action=redirect&bpo=32248]: Add importlib.abc.ResourceReader as an ABC for loaders to provide a unified API for reading resources contained within packages. Also add importlib.resources as the port of importlib_resources.

bpo-32311 [https://bugs.python.org/issue?@action=redirect&bpo=32311]: Implement asyncio.create_task(coro) shortcut

bpo-32327 [https://bugs.python.org/issue?@action=redirect&bpo=32327]: Convert asyncio functions that were documented as coroutines to coroutines. Affected functions: loop.sock_sendall, loop.sock_recv, loop.sock_accept, loop.getaddrinfo, loop.getnameinfo.

bpo-32323 [https://bugs.python.org/issue?@action=redirect&bpo=32323]: urllib.parse.urlsplit() does not convert zone-id (scope) to lower case for scoped IPv6 addresses in hostnames now.

bpo-32302 [https://bugs.python.org/issue?@action=redirect&bpo=32302]: Fix bdist_wininst of distutils for CRT v142: it binary compatible with CRT v140.

bpo-29711 [https://bugs.python.org/issue?@action=redirect&bpo=29711]: Fix stop_serving in asyncio proactor loop kill all listening servers

bpo-32308 [https://bugs.python.org/issue?@action=redirect&bpo=32308]: re.sub() now replaces empty matches adjacent to a previous non-empty match.

bpo-29970 [https://bugs.python.org/issue?@action=redirect&bpo=29970]: Abort asyncio SSLProtocol connection if handshake not complete within 10 seconds.

bpo-32314 [https://bugs.python.org/issue?@action=redirect&bpo=32314]: Implement asyncio.run().

bpo-17852 [https://bugs.python.org/issue?@action=redirect&bpo=17852]: Revert incorrect fix based on misunderstanding of _Py_PyAtExit() semantics.

bpo-32296 [https://bugs.python.org/issue?@action=redirect&bpo=32296]: Implement asyncio._get_running_loop() and get_event_loop() in C. This makes them 4x faster.

bpo-32250 [https://bugs.python.org/issue?@action=redirect&bpo=32250]: Implement asyncio.current_task() and asyncio.all_tasks(). Add helpers intended to be used by alternative task implementations: asyncio._register_task, asyncio._enter_task, asyncio._leave_task and asyncio._unregister_task. Deprecate asyncio.Task.current_task() and asyncio.Task.all_tasks().

bpo-32255 [https://bugs.python.org/issue?@action=redirect&bpo=32255]: A single empty field is now always quoted when written into a CSV file. This allows to distinguish an empty row from a row consisting of a single empty field. Patch by Licht Takeuchi.

bpo-32277 [https://bugs.python.org/issue?@action=redirect&bpo=32277]: Raise NotImplementedError instead of SystemError on platforms where chmod(..., follow_symlinks=False) is not supported. Patch by Anthony Sottile.

bpo-30050 [https://bugs.python.org/issue?@action=redirect&bpo=30050]: New argument warn_on_full_buffer to signal.set_wakeup_fd lets you control whether Python prints a warning on stderr when the wakeup fd buffer overflows.

bpo-29137 [https://bugs.python.org/issue?@action=redirect&bpo=29137]: The fpectl library has been removed. It was never enabled by default, never worked correctly on x86-64, and it changed the Python ABI in ways that caused unexpected breakage of C extensions.

bpo-32273 [https://bugs.python.org/issue?@action=redirect&bpo=32273]: Move asyncio.test_utils to test.test_asyncio.

bpo-32272 [https://bugs.python.org/issue?@action=redirect&bpo=32272]: Remove asyncio.async() function.

bpo-32269 [https://bugs.python.org/issue?@action=redirect&bpo=32269]: Add asyncio.get_running_loop() function.

bpo-32265 [https://bugs.python.org/issue?@action=redirect&bpo=32265]: All class and static methods of builtin types now are correctly classified by inspect.classify_class_attrs() and grouped in pydoc ouput. Added types.ClassMethodDescriptorType for unbound class methods of builtin types.

bpo-32253 [https://bugs.python.org/issue?@action=redirect&bpo=32253]: Deprecate yield from lock, await lock, with (yield from lock) and with await lock for asyncio synchronization primitives.

bpo-22589 [https://bugs.python.org/issue?@action=redirect&bpo=22589]: Changed MIME type of .bmp from ‘image/x-ms-bmp’ to ‘image/bmp’

bpo-32193 [https://bugs.python.org/issue?@action=redirect&bpo=32193]: Convert asyncio to use async/await syntax. Old styled yield from is still supported too.

bpo-32206 [https://bugs.python.org/issue?@action=redirect&bpo=32206]: Add support to run modules with pdb

bpo-32227 [https://bugs.python.org/issue?@action=redirect&bpo=32227]: functools.singledispatch now supports registering implementations using type annotations.

bpo-15873 [https://bugs.python.org/issue?@action=redirect&bpo=15873]: Added new alternate constructors datetime.datetime.fromisoformat(), datetime.time.fromisoformat() and datetime.date.fromisoformat() as the inverse operation of each classes’s respective isoformat methods.

bpo-32199 [https://bugs.python.org/issue?@action=redirect&bpo=32199]: The getnode() ip getter now uses ‘ip link’ instead of ‘ip link list’.

bpo-32143 [https://bugs.python.org/issue?@action=redirect&bpo=32143]: os.statvfs() includes the f_fsid field from statvfs(2)

bpo-26439 [https://bugs.python.org/issue?@action=redirect&bpo=26439]: Fix ctypes.util.find_library() for AIX by implementing ctypes._aix.find_library() Patch by: Michael Felt

bpo-31993 [https://bugs.python.org/issue?@action=redirect&bpo=31993]: The pickler now uses less memory when serializing large bytes and str objects into a file. Pickles created with protocol 4 will require less memory for unpickling large bytes and str objects.

bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456]: Ensure TCP_NODELAY is set on Linux. Tests by Victor Stinner.

bpo-31778 [https://bugs.python.org/issue?@action=redirect&bpo=31778]: ast.literal_eval() is now more strict. Addition and subtraction of arbitrary numbers no longer allowed.

bpo-31802 [https://bugs.python.org/issue?@action=redirect&bpo=31802]: Importing native path module (posixpath, ntpath) now works even if the os module still is not imported.

bpo-30241 [https://bugs.python.org/issue?@action=redirect&bpo=30241]: Add contextlib.AbstractAsyncContextManager. Patch by Jelle Zijlstra.

bpo-31699 [https://bugs.python.org/issue?@action=redirect&bpo=31699]: Fix deadlocks in concurrent.futures.ProcessPoolExecutor when task arguments or results cause pickling or unpickling errors. This should make sure that calls to the ProcessPoolExecutor API always eventually return.

bpo-15216 [https://bugs.python.org/issue?@action=redirect&bpo=15216]: TextIOWrapper.reconfigure() supports changing encoding, errors, and newline.

Documentation

bpo-32418 [https://bugs.python.org/issue?@action=redirect&bpo=32418]: Add get_loop() method to Server and AbstractServer classes.

Tests

bpo-32252 [https://bugs.python.org/issue?@action=redirect&bpo=32252]: Fix faulthandler_suppress_crash_report() used to prevent core dump files when testing crashes. getrlimit() returns zero on success.

bpo-32002 [https://bugs.python.org/issue?@action=redirect&bpo=32002]: Adjust C locale coercion testing for the empty locale and POSIX locale cases to more readily adjust to platform dependent behaviour.

Windows

bpo-19764 [https://bugs.python.org/issue?@action=redirect&bpo=19764]: Implement support for subprocess.Popen(close_fds=True) on Windows. Patch by Segev Finer.

Tools/Demos

bpo-24960 [https://bugs.python.org/issue?@action=redirect&bpo=24960]: 2to3 and lib2to3 can now read pickled grammar files using pkgutil.get_data() rather than probing the filesystem. This lets 2to3 and lib2to3 work when run from a zipfile.

C API

bpo-32030 [https://bugs.python.org/issue?@action=redirect&bpo=32030]: Py_Initialize() doesn’t reset the memory allocators to default if the PYTHONMALLOC environment variable is not set.

bpo-29084 [https://bugs.python.org/issue?@action=redirect&bpo=29084]: Undocumented C API for OrderedDict has been excluded from the limited C API. It was added by mistake and actually never worked in the limited C API.

bpo-32264 [https://bugs.python.org/issue?@action=redirect&bpo=32264]: Moved the pygetopt.h header into internal/, since it has no public APIs.

bpo-32241 [https://bugs.python.org/issue?@action=redirect&bpo=32241]: Py_SetProgramName() and Py_SetPythonHome() now take the const wchar * arguments instead of wchar *.

Python 3.7.0 alpha 3

Release date: 2017-12-05

Core and Builtins

bpo-32176 [https://bugs.python.org/issue?@action=redirect&bpo=32176]: co_flags.CO_NOFREE is now always set correctly by the code object constructor based on freevars and cellvars, rather than needing to be set correctly by the caller. This ensures it will be cleared automatically when additional cell references are injected into a modified code object and function.

bpo-10544 [https://bugs.python.org/issue?@action=redirect&bpo=10544]: Yield expressions are now deprecated in comprehensions and generator expressions. They are still permitted in the definition of the outermost iterable, as that is evaluated directly in the enclosing scope.

bpo-32137 [https://bugs.python.org/issue?@action=redirect&bpo=32137]: The repr of deeply nested dict now raises a RecursionError instead of crashing due to a stack overflow.

bpo-32096 [https://bugs.python.org/issue?@action=redirect&bpo=32096]: Revert memory allocator changes in the C API: move structures back from _PyRuntime to Objects/obmalloc.c. The memory allocators are once again initialized statically, and so PyMem_RawMalloc() and Py_DecodeLocale() can be called before _PyRuntime_Initialize().

bpo-32043 [https://bugs.python.org/issue?@action=redirect&bpo=32043]: Add a new “developer mode”: new “-X dev” command line option to enable debug checks at runtime.

bpo-32023 [https://bugs.python.org/issue?@action=redirect&bpo=32023]: SyntaxError is now correctly raised when a generator expression without parenthesis is used instead of an inheritance list in a class definition. The duplication of the parentheses can be omitted only on calls.

bpo-32012 [https://bugs.python.org/issue?@action=redirect&bpo=32012]: SyntaxError is now correctly raised when a generator expression without parenthesis is passed as an argument, but followed by a trailing comma. A generator expression always needs to be directly inside a set of parentheses and cannot have a comma on either side.

bpo-28180 [https://bugs.python.org/issue?@action=redirect&bpo=28180]: A new internal _Py_SetLocaleFromEnv(category) helper function has been added in order to improve the consistency of behaviour across different libc implementations (e.g. Android doesn’t support setting the locale from the environment by default).

bpo-31949 [https://bugs.python.org/issue?@action=redirect&bpo=31949]: Fixed several issues in printing tracebacks (PyTraceBack_Print()). Setting sys.tracebacklimit to 0 or less now suppresses printing tracebacks. Setting sys.tracebacklimit to None now causes using the default limit. Setting sys.tracebacklimit to an integer larger than LONG_MAX now means using the limit LONG_MAX rather than the default limit. Fixed integer overflows in the case of more than 2**31 traceback items on Windows. Fixed output errors handling.

bpo-30696 [https://bugs.python.org/issue?@action=redirect&bpo=30696]: Fix the interactive interpreter looping endlessly when no memory.

bpo-20047 [https://bugs.python.org/issue?@action=redirect&bpo=20047]: Bytearray methods partition() and rpartition() now accept only bytes-like objects as separator, as documented. In particular they now raise TypeError rather of returning a bogus result when an integer is passed as a separator.

bpo-21720 [https://bugs.python.org/issue?@action=redirect&bpo=21720]: BytesWarning no longer emitted when the fromlist argument of __import__() or the __all__ attribute of the module contain bytes instances.

bpo-31845 [https://bugs.python.org/issue?@action=redirect&bpo=31845]: Environment variables are once more read correctly at interpreter startup.

bpo-28936 [https://bugs.python.org/issue?@action=redirect&bpo=28936]: Ensure that lexically first syntax error involving a parameter and global or nonlocal is detected first at a given scope. Patch by Ivan Levkivskyi.

bpo-31825 [https://bugs.python.org/issue?@action=redirect&bpo=31825]: Fixed OverflowError in the ‘unicode-escape’ codec and in codecs.escape_decode() when decode an escaped non-ascii byte.

bpo-31618 [https://bugs.python.org/issue?@action=redirect&bpo=31618]: The per-frame tracing logic added in 3.7a1 has been altered so that frame->f_lineno is updated before either "line" or "opcode" events are emitted. Previously, opcode events were emitted first, and therefore would occasionally see stale line numbers on the frame. The behavior of this feature has changed slightly as a result: when both f_trace_lines and f_trace_opcodes are enabled, line events now occur first.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: Print the full context/cause chain of exceptions on interpreter exit, even if an exception in the chain is unhashable or compares equal to later ones. Patch by Zane Bitter.

bpo-31786 [https://bugs.python.org/issue?@action=redirect&bpo=31786]: Fix timeout rounding in the select module to round correctly negative timeouts between -1.0 and 0.0. The functions now block waiting for events as expected. Previously, the call was incorrectly non-blocking. Patch by Pablo Galindo.

bpo-31781 [https://bugs.python.org/issue?@action=redirect&bpo=31781]: Prevent crashes when calling methods of an uninitialized zipimport.zipimporter object. Patch by Oren Milman.

bpo-30399 [https://bugs.python.org/issue?@action=redirect&bpo=30399]: Standard repr() of BaseException with a single argument no longer contains redundant trailing comma.

bpo-31626 [https://bugs.python.org/issue?@action=redirect&bpo=31626]: Fixed a bug in debug memory allocator. There was a write to freed memory after shrinking a memory block.

bpo-30817 [https://bugs.python.org/issue?@action=redirect&bpo=30817]: PyErr_PrintEx() clears now the ignored exception that may be raised by _PySys_SetObjectId(), for example when no memory.

Library

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Two minor fixes for typing module: allow shallow copying instances of generic classes, improve interaction of __init_subclass__ with generics. Original PRs by Ivan Levkivskyi.

bpo-32214 [https://bugs.python.org/issue?@action=redirect&bpo=32214]: PEP 557, Data Classes. Provides a decorator which adds boilerplate methods to classes which use type annotations so specify fields.

bpo-27240 [https://bugs.python.org/issue?@action=redirect&bpo=27240]: The header folding algorithm for the new email policies has been rewritten, which also fixes bpo-30788 [https://bugs.python.org/issue?@action=redirect&bpo=30788], bpo-31831 [https://bugs.python.org/issue?@action=redirect&bpo=31831], and bpo-32182 [https://bugs.python.org/issue?@action=redirect&bpo=32182]. In particular, RFC2231 folding is now done correctly.

bpo-32186 [https://bugs.python.org/issue?@action=redirect&bpo=32186]: io.FileIO.readall() and io.FileIO.read() now release the GIL when getting the file size. Fixed hang of all threads with inaccessible NFS server. Patch by Nir Soffer.

bpo-32101 [https://bugs.python.org/issue?@action=redirect&bpo=32101]: Add sys.flags.dev_mode flag

bpo-32154 [https://bugs.python.org/issue?@action=redirect&bpo=32154]: The asyncio.windows_utils.socketpair() function has been removed: use directly socket.socketpair() which is available on all platforms since Python 3.5 (before, it wasn’t available on Windows). asyncio.windows_utils.socketpair() was just an alias to socket.socketpair on Python 3.5 and newer.

bpo-32089 [https://bugs.python.org/issue?@action=redirect&bpo=32089]: warnings: In development (-X dev) and debug mode (pydebug build), use the “default” action for ResourceWarning, rather than the “always” action, in the default warnings filters.

bpo-32107 [https://bugs.python.org/issue?@action=redirect&bpo=32107]: uuid.getnode() now preferentially returns universally administered MAC addresses if available, over locally administered MAC addresses. This makes a better guarantee for global uniqueness of UUIDs returned from uuid.uuid1(). If only locally administered MAC addresses are available, the first such one found is returned.

bpo-23033 [https://bugs.python.org/issue?@action=redirect&bpo=23033]: Wildcard is now supported in hostname when it is one and only character in the left most segment of hostname in second argument of ssl.match_hostname(). Patch by Mandeep Singh.

bpo-12239 [https://bugs.python.org/issue?@action=redirect&bpo=12239]: Make msilib.SummaryInformation.GetProperty() return None when the value of property is VT_EMPTY. Initial patch by Mark Mc Mahon.

bpo-28334 [https://bugs.python.org/issue?@action=redirect&bpo=28334]: Use os.path.expanduser() to find the ~/.netrc file in netrc.netrc. If it does not exist, FileNotFoundError is raised. Patch by Dimitri Merejkowsky.

bpo-32121 [https://bugs.python.org/issue?@action=redirect&bpo=32121]: Made tracemalloc.Traceback behave more like the traceback module, sorting the frames from oldest to most recent. Traceback.format() now accepts negative limit, truncating the result to the abs(limit) oldest frames. To get the old behaviour, one can use the new most_recent_first argument to Traceback.format(). (Patch by Jesse Bakker.)

bpo-31325 [https://bugs.python.org/issue?@action=redirect&bpo=31325]: Fix wrong usage of collections.namedtuple() in the RobotFileParser.parse() method. Initial patch by Robin Wellner.

bpo-12382 [https://bugs.python.org/issue?@action=redirect&bpo=12382]: msilib.OpenDatabase() now raises a better exception message when it couldn’t open or create an MSI file. Initial patch by William Tisäter.

bpo-19610 [https://bugs.python.org/issue?@action=redirect&bpo=19610]: setup() now warns about invalid types for some fields. The distutils.dist.Distribution class now warns when classifiers, keywords and platforms fields are not specified as a list or a string.

bpo-32071 [https://bugs.python.org/issue?@action=redirect&bpo=32071]: Added the -k command-line option to python -m unittest to run only tests that match the given pattern(s).

bpo-10049 [https://bugs.python.org/issue?@action=redirect&bpo=10049]: Added nullcontext no-op context manager to contextlib. This provides a simpler and faster alternative to ExitStack() when handling optional context managers.

bpo-28684 [https://bugs.python.org/issue?@action=redirect&bpo=28684]: The new test.support.skip_unless_bind_unix_socket() decorator is used here to skip asyncio tests that fail because the platform lacks a functional bind() function for unix domain sockets (as it is the case for non root users on the recent Android versions that run now SELinux in enforcing mode).

bpo-32110 [https://bugs.python.org/issue?@action=redirect&bpo=32110]: codecs.StreamReader.read(n) now returns not more than n characters/bytes for non-negative n. This makes it compatible with read() methods of other file-like objects.

bpo-27535 [https://bugs.python.org/issue?@action=redirect&bpo=27535]: The warnings module doesn’t leak memory anymore in the hidden warnings registry for the “ignore” action of warnings filters. warn_explicit() function doesn’t add the warning key to the registry anymore for the “ignore” action.

bpo-32088 [https://bugs.python.org/issue?@action=redirect&bpo=32088]: warnings: When Python is build is debug mode (Py_DEBUG), DeprecationWarning, PendingDeprecationWarning and ImportWarning warnings are now displayed by default.

bpo-1647489 [https://bugs.python.org/issue?@action=redirect&bpo=1647489]: Fixed searching regular expression patterns that could match an empty string. Non-empty string can now be correctly found after matching an empty string.

bpo-25054 [https://bugs.python.org/issue?@action=redirect&bpo=25054]: Added support of splitting on a pattern that could match an empty string.

bpo-32072 [https://bugs.python.org/issue?@action=redirect&bpo=32072]: Fixed issues with binary plists: Fixed saving bytearrays. Identical objects will be saved only once. Equal references will be load as identical objects. Added support for saving and loading recursive data structures.

bpo-32069 [https://bugs.python.org/issue?@action=redirect&bpo=32069]: Drop legacy SSL transport from asyncio, ssl.MemoryBIO is always used anyway.

bpo-32066 [https://bugs.python.org/issue?@action=redirect&bpo=32066]: asyncio: Support pathlib.Path in create_unix_connection; sock arg should be optional

bpo-32046 [https://bugs.python.org/issue?@action=redirect&bpo=32046]: Updates 2to3 to convert from operator.isCallable(obj) to callable(obj). Patch by Donghee Na.

bpo-32018 [https://bugs.python.org/issue?@action=redirect&bpo=32018]: inspect.signature should follow PEP 8 [https://peps.python.org/pep-0008/], if the parameter has an annotation and a default value. Patch by Donghee Na.

bpo-32025 [https://bugs.python.org/issue?@action=redirect&bpo=32025]: Add time.thread_time() and time.thread_time_ns()

bpo-32037 [https://bugs.python.org/issue?@action=redirect&bpo=32037]: Integers that fit in a signed 32-bit integer will be now pickled with protocol 0 using the INT opcode. This will decrease the size of a pickle, speed up pickling and unpickling, and make these integers be unpickled as int instances in Python 2.

bpo-32034 [https://bugs.python.org/issue?@action=redirect&bpo=32034]: Make asyncio.IncompleteReadError and LimitOverrunError pickleable.

bpo-32015 [https://bugs.python.org/issue?@action=redirect&bpo=32015]: Fixed the looping of asyncio in the case of reconnection the socket during waiting async read/write from/to the socket.

bpo-32011 [https://bugs.python.org/issue?@action=redirect&bpo=32011]: Restored support of loading marshal files with the TYPE_INT64 code. These files can be produced in Python 2.7.

bpo-28369 [https://bugs.python.org/issue?@action=redirect&bpo=28369]: Enhance add_reader/writer check that socket is not used by some transport. Before, only cases when add_reader/writer were called with an int FD were supported. Now the check is implemented correctly for all file-like objects.

bpo-31976 [https://bugs.python.org/issue?@action=redirect&bpo=31976]: Fix race condition when flushing a file is slow, which can cause a segfault if closing the file from another thread.

bpo-31985 [https://bugs.python.org/issue?@action=redirect&bpo=31985]: Formally deprecated aifc.openfp, sunau.openfp, and wave.openfp. Since change 7bc817d5ba917528e8bd07ec461c635291e7b06a in 1993, openfp in each of the three modules had been pointing to that module’s open function as a matter of backwards compatibility, though it had been both untested and undocumented.

bpo-21862 [https://bugs.python.org/issue?@action=redirect&bpo=21862]: cProfile command line now accepts -m module_name as an alternative to script path. Patch by Sanyam Khurana.

bpo-31970 [https://bugs.python.org/issue?@action=redirect&bpo=31970]: Reduce performance overhead of asyncio debug mode.

bpo-31843 [https://bugs.python.org/issue?@action=redirect&bpo=31843]: database argument of sqlite3.connect() now accepts a path-like object, instead of just a string.

bpo-31945 [https://bugs.python.org/issue?@action=redirect&bpo=31945]: Add Configurable blocksize to HTTPConnection and HTTPSConnection for improved upload throughput. Patch by Nir Soffer.

bpo-31943 [https://bugs.python.org/issue?@action=redirect&bpo=31943]: Add a cancelled() method to asyncio.Handle. Patch by Marat Sharafutdinov.

bpo-9678 [https://bugs.python.org/issue?@action=redirect&bpo=9678]: Fixed determining the MAC address in the uuid module: Using ifconfig on NetBSD and OpenBSD. Using arp on Linux, FreeBSD, NetBSD and OpenBSD. Based on patch by Takayuki Shimizukawa.

bpo-30057 [https://bugs.python.org/issue?@action=redirect&bpo=30057]: Fix potential missed signal in signal.signal().

bpo-31933 [https://bugs.python.org/issue?@action=redirect&bpo=31933]: Fix Blake2 params leaf_size and node_offset on big endian platforms. Patch by Jack O’Connor.

bpo-21423 [https://bugs.python.org/issue?@action=redirect&bpo=21423]: Add an initializer argument to {Process,Thread}PoolExecutor

bpo-31927 [https://bugs.python.org/issue?@action=redirect&bpo=31927]: Fixed compilation of the socket module on NetBSD 8. Fixed assertion failure or reading arbitrary data when parse a AF_BLUETOOTH address on NetBSD and DragonFly BSD.

bpo-27666 [https://bugs.python.org/issue?@action=redirect&bpo=27666]: Fixed stack corruption in curses.box() and curses.ungetmouse() when the size of types chtype or mmask_t is less than the size of C long. curses.box() now accepts characters as arguments. Based on patch by Steve Fink.

bpo-31917 [https://bugs.python.org/issue?@action=redirect&bpo=31917]: Add 3 new clock identifiers: time.CLOCK_BOOTTIME, time.CLOCK_PROF and time.CLOCK_UPTIME.

bpo-31897 [https://bugs.python.org/issue?@action=redirect&bpo=31897]: plistlib now catches more errors when read binary plists and raises InvalidFileException instead of unexpected exceptions.

bpo-25720 [https://bugs.python.org/issue?@action=redirect&bpo=25720]: Fix the method for checking pad state of curses WINDOW. Patch by Masayuki Yamamoto.

bpo-31893 [https://bugs.python.org/issue?@action=redirect&bpo=31893]: Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD. Fixed the comparison of the kqueue_event objects.

bpo-31891 [https://bugs.python.org/issue?@action=redirect&bpo=31891]: Fixed building the curses module on NetBSD.

bpo-31884 [https://bugs.python.org/issue?@action=redirect&bpo=31884]: added required constants to subprocess module for setting priority on windows

bpo-28281 [https://bugs.python.org/issue?@action=redirect&bpo=28281]: Remove year (1-9999) limits on the Calendar.weekday() function. Patch by Mark Gollahon.

bpo-31702 [https://bugs.python.org/issue?@action=redirect&bpo=31702]: crypt.mksalt() now allows to specify the number of rounds for SHA-256 and SHA-512 hashing.

bpo-30639 [https://bugs.python.org/issue?@action=redirect&bpo=30639]: inspect.getfile() no longer computes the repr of unknown objects to display in an error message, to protect against badly behaved custom reprs.

bpo-30768 [https://bugs.python.org/issue?@action=redirect&bpo=30768]: Fix the pthread+semaphore implementation of PyThread_acquire_lock_timed() when called with timeout > 0 and intr_flag=0: recompute the timeout if sem_timedwait() is interrupted by a signal (EINTR). See also the PEP 475 [https://peps.python.org/pep-0475/].

bpo-31854 [https://bugs.python.org/issue?@action=redirect&bpo=31854]: Add mmap.ACCESS_DEFAULT constant.

bpo-31834 [https://bugs.python.org/issue?@action=redirect&bpo=31834]: Use optimized code for BLAKE2 only with SSSE3+. The pure SSE2 implementation is slower than the pure C reference implementation.

bpo-28292 [https://bugs.python.org/issue?@action=redirect&bpo=28292]: Calendar.itermonthdates() will now consistently raise an exception when a date falls outside of the 0001-01-01 through 9999-12-31 range. To support applications that cannot tolerate such exceptions, the new methods itermonthdays3() and itermonthdays4() are added. The new methods return tuples and are not restricted by the range supported by datetime.date.

bpo-28564 [https://bugs.python.org/issue?@action=redirect&bpo=28564]: The shutil.rmtree() function has been sped up to 20–40%. This was done using the os.scandir() function.

bpo-28416 [https://bugs.python.org/issue?@action=redirect&bpo=28416]: Instances of pickle.Pickler subclass with the persistent_id() method and pickle.Unpickler subclass with the persistent_load() method no longer create reference cycles.

bpo-31653 [https://bugs.python.org/issue?@action=redirect&bpo=31653]: Don’t release the GIL if we can acquire a multiprocessing semaphore immediately.

bpo-28326 [https://bugs.python.org/issue?@action=redirect&bpo=28326]: Fix multiprocessing.Process when stdout and/or stderr is closed or None.

bpo-20825 [https://bugs.python.org/issue?@action=redirect&bpo=20825]: Add subnet_of and superset_of containment tests to ipaddress.IPv6Network and ipaddress.IPv4Network. Patch by Michel Albert and Cheryl Sabella.

bpo-31827 [https://bugs.python.org/issue?@action=redirect&bpo=31827]: Remove the os.stat_float_times() function. It was introduced in Python 2.3 for backward compatibility with Python 2.2, and was deprecated since Python 3.1.

bpo-31756 [https://bugs.python.org/issue?@action=redirect&bpo=31756]: Add a subprocess.Popen(text=False) keyword argument to subprocess functions to be more explicit about when the library should attempt to decode outputs into text. Patch by Andrew Clegg.

bpo-31819 [https://bugs.python.org/issue?@action=redirect&bpo=31819]: Add AbstractEventLoop.sock_recv_into().

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: If nested log adapters are used, the inner process() methods are no longer omitted.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: The manager property on LoggerAdapter objects is now properly settable.

bpo-31806 [https://bugs.python.org/issue?@action=redirect&bpo=31806]: Fix timeout rounding in time.sleep(), threading.Lock.acquire() and socket.socket.settimeout() to round correctly negative timeouts between -1.0 and 0.0. The functions now block waiting for events as expected. Previously, the call was incorrectly non-blocking. Patch by Pablo Galindo.

bpo-31803 [https://bugs.python.org/issue?@action=redirect&bpo=31803]: time.clock() and time.get_clock_info(‘clock’) now emit a DeprecationWarning warning.

bpo-31800 [https://bugs.python.org/issue?@action=redirect&bpo=31800]: Extended support for parsing UTC offsets. strptime ‘%z’ can now parse the output generated by datetime.isoformat, including seconds and microseconds.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: traceback: Fix a TypeError that occurred during printing of exception tracebacks when either the current exception or an exception in its context/cause chain is unhashable. Patch by Zane Bitter.

bpo-30541 [https://bugs.python.org/issue?@action=redirect&bpo=30541]: Add new function to seal a mock and prevent the automatically creation of child mocks. Patch by Mario Corchero.

bpo-31784 [https://bugs.python.org/issue?@action=redirect&bpo=31784]: Implement the PEP 564 [https://peps.python.org/pep-0564/], add new 6 new functions with nanosecond resolution to the time module: clock_gettime_ns(), clock_settime_ns(), monotonic_ns(), perf_counter_ns(), process_time_ns(), time_ns().

bpo-30143 [https://bugs.python.org/issue?@action=redirect&bpo=30143]: 2to3 now generates a code that uses abstract collection classes from collections.abc rather than collections.

bpo-31770 [https://bugs.python.org/issue?@action=redirect&bpo=31770]: Prevent a crash when calling the __init__() method of a sqlite3.Cursor object more than once. Patch by Oren Milman.

bpo-31764 [https://bugs.python.org/issue?@action=redirect&bpo=31764]: Prevent a crash in sqlite3.Cursor.close() in case the Cursor object is uninitialized. Patch by Oren Milman.

bpo-31752 [https://bugs.python.org/issue?@action=redirect&bpo=31752]: Fix possible crash in timedelta constructor called with custom integers.

bpo-31620 [https://bugs.python.org/issue?@action=redirect&bpo=31620]: an empty asyncio.Queue now doesn’t leak memory when queue.get pollers timeout

bpo-31690 [https://bugs.python.org/issue?@action=redirect&bpo=31690]: Allow the flags re.ASCII, re.LOCALE, and re.UNICODE to be used as group flags for regular expressions.

bpo-30349 [https://bugs.python.org/issue?@action=redirect&bpo=30349]: FutureWarning is now emitted if a regular expression contains character set constructs that will change semantically in the future (nested sets and set operations).

bpo-31664 [https://bugs.python.org/issue?@action=redirect&bpo=31664]: Added support for the Blowfish hashing in the crypt module.

bpo-31632 [https://bugs.python.org/issue?@action=redirect&bpo=31632]: Fix method set_protocol() of class _SSLProtocolTransport in asyncio module. This method was previously modifying a wrong reference to the protocol.

bpo-15037 [https://bugs.python.org/issue?@action=redirect&bpo=15037]: Added a workaround for getkey() in curses for ncurses 5.7 and earlier.

bpo-31307 [https://bugs.python.org/issue?@action=redirect&bpo=31307]: Allow use of bytes objects for arguments to configparser.ConfigParser.read(). Patch by Vincent Michel.

bpo-31334 [https://bugs.python.org/issue?@action=redirect&bpo=31334]: Fix poll.poll([timeout]) in the select module for arbitrary negative timeouts on all OSes where it can only be a non-negative integer or -1. Patch by Riccardo Coccioli.

bpo-31310 [https://bugs.python.org/issue?@action=redirect&bpo=31310]: multiprocessing’s semaphore tracker should be launched again if crashed.

bpo-31308 [https://bugs.python.org/issue?@action=redirect&bpo=31308]: Make multiprocessing’s forkserver process immune to Ctrl-C and other user interruptions. If it crashes, restart it when necessary.

bpo-31245 [https://bugs.python.org/issue?@action=redirect&bpo=31245]: Added support for AF_UNIX socket in asyncio create_datagram_endpoint.

bpo-30553 [https://bugs.python.org/issue?@action=redirect&bpo=30553]: Add HTTP/2 status code 421 (Misdirected Request) to http.HTTPStatus. Patch by Vitor Pereira.

Documentation

bpo-32105 [https://bugs.python.org/issue?@action=redirect&bpo=32105]: Added asyncio.BaseEventLoop.connect_accepted_socket versionadded marker.

Tests

bpo-31380 [https://bugs.python.org/issue?@action=redirect&bpo=31380]: Skip test_httpservers test_undecodable_file on macOS: fails on APFS.

bpo-31705 [https://bugs.python.org/issue?@action=redirect&bpo=31705]: Skip test_socket.test_sha256() on Linux kernel older than 4.5. The test fails with ENOKEY on kernel 3.10 (on ppc64le). A fix was merged into the kernel 4.5.

bpo-32138 [https://bugs.python.org/issue?@action=redirect&bpo=32138]: Skip on Android test_faulthandler tests that raise SIGSEGV and remove the test.support.requires_android_level decorator.

bpo-32136 [https://bugs.python.org/issue?@action=redirect&bpo=32136]: The runtime embedding tests have been split out from Lib/test/test_capi.py into a new Lib/test/test_embed.py file.

bpo-28668 [https://bugs.python.org/issue?@action=redirect&bpo=28668]: test.support.requires_multiprocessing_queue is removed. Skip tests with test.support.import_module(‘multiprocessing.synchronize’) instead when the semaphore implementation is broken or missing.

bpo-32126 [https://bugs.python.org/issue?@action=redirect&bpo=32126]: Skip test_get_event_loop_new_process in test.test_asyncio.test_events when sem_open() is not functional.

bpo-31174 [https://bugs.python.org/issue?@action=redirect&bpo=31174]: Fix test_tools.test_unparse: DirectoryTestCase now stores the names sample to always test the same files. It prevents false alarms when hunting reference leaks.

Build

bpo-28538 [https://bugs.python.org/issue?@action=redirect&bpo=28538]: Revert the previous changes, the if_nameindex structure is defined by Unified Headers.

bpo-28762 [https://bugs.python.org/issue?@action=redirect&bpo=28762]: Revert the last commit, the F_LOCK macro is defined by Android Unified Headers.

bpo-29040 [https://bugs.python.org/issue?@action=redirect&bpo=29040]: Support building Android with Unified Headers. The first NDK release to support Unified Headers is android-ndk-r14.

bpo-32059 [https://bugs.python.org/issue?@action=redirect&bpo=32059]: detect_modules() in setup.py now also searches the sysroot paths when cross-compiling.

bpo-31957 [https://bugs.python.org/issue?@action=redirect&bpo=31957]: Fixes Windows SDK version detection when building for Windows.

bpo-31609 [https://bugs.python.org/issue?@action=redirect&bpo=31609]: Fixes quotes in PCbuild/clean.bat

bpo-31934 [https://bugs.python.org/issue?@action=redirect&bpo=31934]: Abort the build when building out of a not clean source tree.

bpo-31926 [https://bugs.python.org/issue?@action=redirect&bpo=31926]: Fixed Argument Clinic sometimes causing compilation errors when there was more than one function and/or method in a .c file with the same name.

bpo-28791 [https://bugs.python.org/issue?@action=redirect&bpo=28791]: Update Windows builds to use SQLite 3.21.0.

bpo-28791 [https://bugs.python.org/issue?@action=redirect&bpo=28791]: Update OS X installer to use SQLite 3.21.0.

bpo-28643 [https://bugs.python.org/issue?@action=redirect&bpo=28643]: Record profile-opt build progress with stamp files.

bpo-31866 [https://bugs.python.org/issue?@action=redirect&bpo=31866]: Finish removing support for AtheOS.

Windows

bpo-1102 [https://bugs.python.org/issue?@action=redirect&bpo=1102]: Return None when View.Fetch() returns ERROR_NO_MORE_ITEMS instead of raising MSIError. Initial patch by Anthony Tuininga.

bpo-31944 [https://bugs.python.org/issue?@action=redirect&bpo=31944]: Fixes Modify button in Apps and Features dialog.

bpo-20486 [https://bugs.python.org/issue?@action=redirect&bpo=20486]: Implement the Database.Close() method to help closing MSI database objects.

bpo-31857 [https://bugs.python.org/issue?@action=redirect&bpo=31857]: Make the behavior of USE_STACKCHECK deterministic in a multi-threaded environment.

macOS

bpo-31392 [https://bugs.python.org/issue?@action=redirect&bpo=31392]: Update macOS installer to use OpenSSL 1.0.2m

IDLE

bpo-32207 [https://bugs.python.org/issue?@action=redirect&bpo=32207]: Improve tk event exception tracebacks in IDLE. When tk event handling is driven by IDLE’s run loop, a confusing and distracting queue.EMPTY traceback context is no longer added to tk event exception tracebacks. The traceback is now the same as when event handling is driven by user code. Patch based on a suggestion by Serhiy Storchaka.

bpo-32164 [https://bugs.python.org/issue?@action=redirect&bpo=32164]: Delete unused file idlelib/tabbedpages.py. Use of TabbedPageSet in configdialog was replaced by ttk.Notebook.

bpo-32100 [https://bugs.python.org/issue?@action=redirect&bpo=32100]: IDLE: Fix old and new bugs in pathbrowser; improve tests. Patch mostly by Cheryl Sabella.

bpo-31858 [https://bugs.python.org/issue?@action=redirect&bpo=31858]: IDLE – Restrict shell prompt manipulation to the shell. Editor and output windows only see an empty last prompt line. This simplifies the code and fixes a minor bug when newline is inserted. Sys.ps1, if present, is read on Shell start-up, but is not set or changed.

bpo-31860 [https://bugs.python.org/issue?@action=redirect&bpo=31860]: The font sample in the IDLE configuration dialog is now editable. Changes persist while IDLE remains open

bpo-31836 [https://bugs.python.org/issue?@action=redirect&bpo=31836]: Test_code_module now passes if run after test_idle, which sets ps1. The code module uses sys.ps1 if present or sets it to ‘>>> ‘ if not. Test_code_module now properly tests both behaviors. Ditto for ps2.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: Fix a TypeError that caused a shell restart when printing a traceback that includes an exception that is unhashable. Patch by Zane Bitter.

bpo-13802 [https://bugs.python.org/issue?@action=redirect&bpo=13802]: Use non-Latin characters in the IDLE’s Font settings sample. Even if one selects a font that defines a limited subset of the unicode Basic Multilingual Plane, tcl/tk will use other fonts that define a character. The expanded example give users of non-Latin characters a better idea of what they might see in IDLE’s shell and editors. To make room for the expanded sample, frames on the Font tab are re-arranged. The Font/Tabs help explains a bit about the additions.

Tools/Demos

bpo-32159 [https://bugs.python.org/issue?@action=redirect&bpo=32159]: Remove CVS and Subversion tools: remove svneol.py and treesync.py scripts. CPython migrated from CVS to Subversion, to Mercurial, and then to Git. CVS and Subversion are no longer used to develop CPython.

bpo-30722 [https://bugs.python.org/issue?@action=redirect&bpo=30722]: Make redemo work with Python 3.6 and newer versions. Also, remove the LOCALE option since it doesn’t work with string patterns in Python 3. Patch by Christoph Sarnowski.

C API

bpo-20891 [https://bugs.python.org/issue?@action=redirect&bpo=20891]: Fix PyGILState_Ensure(). When PyGILState_Ensure() is called in a non-Python thread before PyEval_InitThreads(), only call PyEval_InitThreads() after calling PyThreadState_New() to fix a crash.

bpo-32125 [https://bugs.python.org/issue?@action=redirect&bpo=32125]: The Py_UseClassExceptionsFlag flag has been removed. It was deprecated and wasn’t used anymore since Python 2.0.

bpo-25612 [https://bugs.python.org/issue?@action=redirect&bpo=25612]: Move the current exception state from the frame object to the co-routine. This simplifies the interpreter and fixes a couple of obscure bugs caused by having swap exception state when entering or exiting a generator.

bpo-23699 [https://bugs.python.org/issue?@action=redirect&bpo=23699]: Add Py_RETURN_RICHCOMPARE macro to reduce boilerplate code in rich comparison functions.

bpo-30697 [https://bugs.python.org/issue?@action=redirect&bpo=30697]: The PyExc_RecursionErrorInst singleton is removed and PyErr_NormalizeException() does not use it anymore. This singleton is persistent and its members being never cleared may cause a segfault during finalization of the interpreter. See also bpo-22898 [https://bugs.python.org/issue?@action=redirect&bpo=22898].

Python 3.7.0 alpha 2

Release date: 2017-10-16

Core and Builtins

bpo-31558 [https://bugs.python.org/issue?@action=redirect&bpo=31558]: gc.freeze() is a new API that allows for moving all objects currently tracked by the garbage collector to a permanent generation, effectively removing them from future collection events. This can be used to protect those objects from having their PyGC_Head mutated. In effect, this enables great copy-on-write stability at fork().

bpo-31642 [https://bugs.python.org/issue?@action=redirect&bpo=31642]: Restored blocking “from package import module” by setting sys.modules[“package.module”] to None.

bpo-31708 [https://bugs.python.org/issue?@action=redirect&bpo=31708]: Allow use of asynchronous generator expressions in synchronous functions.

bpo-31709 [https://bugs.python.org/issue?@action=redirect&bpo=31709]: Drop support of asynchronous __aiter__.

bpo-30404 [https://bugs.python.org/issue?@action=redirect&bpo=30404]: The -u option now makes the stdout and stderr streams unbuffered rather than line-buffered.

bpo-31619 [https://bugs.python.org/issue?@action=redirect&bpo=31619]: Fixed a ValueError when convert a string with large number of underscores to integer with binary base.

bpo-31602 [https://bugs.python.org/issue?@action=redirect&bpo=31602]: Fix an assertion failure in zipimporter.get_source() in case of a bad zlib.decompress(). Patch by Oren Milman.

bpo-31592 [https://bugs.python.org/issue?@action=redirect&bpo=31592]: Fixed an assertion failure in Python parser in case of a bad unicodedata.normalize(). Patch by Oren Milman.

bpo-31588 [https://bugs.python.org/issue?@action=redirect&bpo=31588]: Raise a TypeError with a helpful error message when class creation fails due to a metaclass with a bad __prepare__() method. Patch by Oren Milman.

bpo-31574 [https://bugs.python.org/issue?@action=redirect&bpo=31574]: Importlib was instrumented with two dtrace probes to profile import timing.

bpo-31566 [https://bugs.python.org/issue?@action=redirect&bpo=31566]: Fix an assertion failure in _warnings.warn() in case of a bad __name__ global. Patch by Oren Milman.

bpo-31506 [https://bugs.python.org/issue?@action=redirect&bpo=31506]: Improved the error message logic for object.__new__ and object.__init__.

bpo-31505 [https://bugs.python.org/issue?@action=redirect&bpo=31505]: Fix an assertion failure in json, in case _json.make_encoder() received a bad encoder() argument. Patch by Oren Milman.

bpo-31492 [https://bugs.python.org/issue?@action=redirect&bpo=31492]: Fix assertion failures in case of failing to import from a module with a bad __name__ attribute, and in case of failing to access an attribute of such a module. Patch by Oren Milman.

bpo-31478 [https://bugs.python.org/issue?@action=redirect&bpo=31478]: Fix an assertion failure in _random.Random.seed() in case the argument has a bad __abs__() method. Patch by Oren Milman.

bpo-31336 [https://bugs.python.org/issue?@action=redirect&bpo=31336]: Speed up class creation by 10-20% by reducing the overhead in the necessary special method lookups. Patch by Stefan Behnel.

bpo-31415 [https://bugs.python.org/issue?@action=redirect&bpo=31415]: Add -X importtime option to show how long each import takes. It can be used to optimize application’s startup time. Support the PYTHONPROFILEIMPORTTIME as an equivalent way to enable this.

bpo-31410 [https://bugs.python.org/issue?@action=redirect&bpo=31410]: Optimized calling wrapper and classmethod descriptors.

bpo-31353 [https://bugs.python.org/issue?@action=redirect&bpo=31353]: PEP 553 [https://peps.python.org/pep-0553/] - Add a new built-in called breakpoint() which calls sys.breakpointhook(). By default this imports pdb and calls pdb.set_trace(), but users may override sys.breakpointhook() to call whatever debugger they want. The original value of the hook is saved in sys.__breakpointhook__.

bpo-17852 [https://bugs.python.org/issue?@action=redirect&bpo=17852]: Maintain a list of open buffered files, flush them before exiting the interpreter. Based on a patch from Armin Rigo.

bpo-31315 [https://bugs.python.org/issue?@action=redirect&bpo=31315]: Fix an assertion failure in imp.create_dynamic(), when spec.name is not a string. Patch by Oren Milman.

bpo-31311 [https://bugs.python.org/issue?@action=redirect&bpo=31311]: Fix a crash in the __setstate__() method of ctypes._CData, in case of a bad __dict__. Patch by Oren Milman.

bpo-31293 [https://bugs.python.org/issue?@action=redirect&bpo=31293]: Fix crashes in true division and multiplication of a timedelta object by a float with a bad as_integer_ratio() method. Patch by Oren Milman.

bpo-31285 [https://bugs.python.org/issue?@action=redirect&bpo=31285]: Fix an assertion failure in warnings.warn_explicit, when the return value of the received loader’s get_source() has a bad splitlines() method. Patch by Oren Milman.

bpo-30406 [https://bugs.python.org/issue?@action=redirect&bpo=30406]: Make async and await proper keywords, as specified in PEP 492 [https://peps.python.org/pep-0492/].

Library

bpo-30058 [https://bugs.python.org/issue?@action=redirect&bpo=30058]: Fixed buffer overflow in select.kqueue.control().

bpo-31672 [https://bugs.python.org/issue?@action=redirect&bpo=31672]: idpattern in string.Template matched some non-ASCII characters. Now it uses -i regular expression local flag to avoid non-ASCII characters.

bpo-31701 [https://bugs.python.org/issue?@action=redirect&bpo=31701]: On Windows, faulthandler.enable() now ignores MSC and COM exceptions.

bpo-31728 [https://bugs.python.org/issue?@action=redirect&bpo=31728]: Prevent crashes in _elementtree due to unsafe cleanup of Element.text and Element.tail. Patch by Oren Milman.

bpo-31671 [https://bugs.python.org/issue?@action=redirect&bpo=31671]: Now re.compile() converts passed RegexFlag to normal int object before compiling. bm_regex_compile benchmark shows 14% performance improvements.

bpo-30397 [https://bugs.python.org/issue?@action=redirect&bpo=30397]: The types of compiled regular objects and match objects are now exposed as re.Pattern and re.Match. This adds information in pydoc output for the re module.

bpo-31675 [https://bugs.python.org/issue?@action=redirect&bpo=31675]: Fixed memory leaks in Tkinter’s methods splitlist() and split() when pass a string larger than 2 GiB.

bpo-31673 [https://bugs.python.org/issue?@action=redirect&bpo=31673]: Fixed typo in the name of Tkinter’s method adderrorinfo().

bpo-31648 [https://bugs.python.org/issue?@action=redirect&bpo=31648]: Improvements to path predicates in ElementTree: Allow whitespace around predicate parts, i.e. “[a = ‘text’]” instead of requiring the less readable “[a=’text’]”. Add support for text comparison of the current node, like “[.=’text’]”. Patch by Stefan Behnel.

bpo-30806 [https://bugs.python.org/issue?@action=redirect&bpo=30806]: Fix the string representation of a netrc object.

bpo-31638 [https://bugs.python.org/issue?@action=redirect&bpo=31638]: Add optional argument compressed to zipapp.create_archive, and add option --compress to the command line interface of zipapp.

bpo-25351 [https://bugs.python.org/issue?@action=redirect&bpo=25351]: Avoid venv activate failures with undefined variables

bpo-20519 [https://bugs.python.org/issue?@action=redirect&bpo=20519]: Avoid ctypes use (if possible) and improve import time for uuid.

bpo-28293 [https://bugs.python.org/issue?@action=redirect&bpo=28293]: The regular expression cache is no longer completely dumped when it is full.

bpo-31596 [https://bugs.python.org/issue?@action=redirect&bpo=31596]: Added pthread_getcpuclockid() to the time module

bpo-27494 [https://bugs.python.org/issue?@action=redirect&bpo=27494]: Make 2to3 accept a trailing comma in generator expressions. For example, set(x for x in [],) is now allowed.

bpo-30347 [https://bugs.python.org/issue?@action=redirect&bpo=30347]: Stop crashes when concurrently iterate over itertools.groupby() iterators.

bpo-30346 [https://bugs.python.org/issue?@action=redirect&bpo=30346]: An iterator produced by itertools.groupby() iterator now becomes exhausted after advancing the groupby iterator.

bpo-31556 [https://bugs.python.org/issue?@action=redirect&bpo=31556]: Cancel asyncio.wait_for future faster if timeout <= 0

bpo-31540 [https://bugs.python.org/issue?@action=redirect&bpo=31540]: Allow passing a context object in concurrent.futures.ProcessPoolExecutor constructor. Also, free job resources in concurrent.futures.ProcessPoolExecutor earlier to improve memory usage when a worker waits for new jobs.

bpo-31516 [https://bugs.python.org/issue?@action=redirect&bpo=31516]: threading.current_thread() should not return a dummy thread at shutdown.

bpo-31525 [https://bugs.python.org/issue?@action=redirect&bpo=31525]: In the sqlite module, require the sqlite3_prepare_v2 API. Thus, the sqlite module now requires sqlite version at least 3.3.9.

bpo-26510 [https://bugs.python.org/issue?@action=redirect&bpo=26510]: argparse subparsers are now required by default. This matches behaviour in Python 2. For optional subparsers, use the new parameter add_subparsers(required=False). Patch by Anthony Sottile. (As of 3.7.0rc1, the default was changed to not required as had been the case since Python 3.3.)

bpo-27541 [https://bugs.python.org/issue?@action=redirect&bpo=27541]: Reprs of subclasses of some collection and iterator classes (bytearray, array.array, collections.deque, collections.defaultdict, itertools.count, itertools.repeat) now contain actual type name instead of hardcoded names of the base class.

bpo-31351 [https://bugs.python.org/issue?@action=redirect&bpo=31351]: python -m ensurepip now exits with non-zero exit code if pip bootstrapping has failed.

bpo-31389 [https://bugs.python.org/issue?@action=redirect&bpo=31389]: pdb.set_trace() now takes an optional keyword-only argument header. If given, this is printed to the console just before debugging begins.

Documentation

bpo-31537 [https://bugs.python.org/issue?@action=redirect&bpo=31537]: Fix incorrect usage of get_history_length in readline documentation example code. Patch by Brad Smith.

bpo-30085 [https://bugs.python.org/issue?@action=redirect&bpo=30085]: The operator functions without double underscores are preferred for clarity. The one with underscores are only kept for back-compatibility.

Build

bpo-31696 [https://bugs.python.org/issue?@action=redirect&bpo=31696]: Improve compiler version information in sys.version when Python is built with Clang.

bpo-31625 [https://bugs.python.org/issue?@action=redirect&bpo=31625]: Stop using ranlib on static libraries. Instead, we assume ar supports the ‘s’ flag.

bpo-31624 [https://bugs.python.org/issue?@action=redirect&bpo=31624]: Remove support for BSD/OS.

bpo-22140 [https://bugs.python.org/issue?@action=redirect&bpo=22140]: Prevent double substitution of prefix in python-config.sh.

bpo-31569 [https://bugs.python.org/issue?@action=redirect&bpo=31569]: Correct PCBuild/ case to PCbuild/ in build scripts and documentation.

bpo-31536 [https://bugs.python.org/issue?@action=redirect&bpo=31536]: Avoid wholesale rebuild after make regen-all if nothing changed.

IDLE

bpo-31460 [https://bugs.python.org/issue?@action=redirect&bpo=31460]: Simplify the API of IDLE’s Module Browser. Passing a widget instead of an flist with a root widget opens the option of creating a browser frame that is only part of a window. Passing a full file name instead of pieces assumed to come from a .py file opens the possibility of browsing python files that do not end in .py.

bpo-31649 [https://bugs.python.org/issue?@action=redirect&bpo=31649]: IDLE - Make _htest, _utest parameters keyword only.

bpo-31559 [https://bugs.python.org/issue?@action=redirect&bpo=31559]: Remove test order dependence in idle_test.test_browser.

bpo-31459 [https://bugs.python.org/issue?@action=redirect&bpo=31459]: Rename IDLE’s module browser from Class Browser to Module Browser. The original module-level class and method browser became a module browser, with the addition of module-level functions, years ago. Nested classes and functions were added yesterday. For back-compatibility, the virtual event <<open-class-browser>>, which appears on the Keys tab of the Settings dialog, is not changed. Patch by Cheryl Sabella.

bpo-31500 [https://bugs.python.org/issue?@action=redirect&bpo=31500]: Default fonts now are scaled on HiDPI displays.

bpo-1612262 [https://bugs.python.org/issue?@action=redirect&bpo=1612262]: IDLE module browser now shows nested classes and functions. Original patches for code and tests by Guilherme Polo and Cheryl Sabella, respectively.

C API

bpo-28280 [https://bugs.python.org/issue?@action=redirect&bpo=28280]: Make PyMapping_Keys(), PyMapping_Values() and PyMapping_Items() always return a list (rather than a list or a tuple). Patch by Oren Milman.

bpo-31532 [https://bugs.python.org/issue?@action=redirect&bpo=31532]: Fix memory corruption due to allocator mix in getpath.c between Py_GetPath() and Py_SetPath()

bpo-25658 [https://bugs.python.org/issue?@action=redirect&bpo=25658]: Implement PEP 539 [https://peps.python.org/pep-0539/] for Thread Specific Storage (TSS) API: it is a new Thread Local Storage (TLS) API to CPython which would supersede use of the existing TLS API within the CPython interpreter, while deprecating the existing API. PEP written by Erik M. Bray, patch by Masayuki Yamamoto.

Python 3.7.0 alpha 1

Release date: 2017-09-19

Security

bpo-29781 [https://bugs.python.org/issue?@action=redirect&bpo=29781]: SSLObject.version() now correctly returns None when handshake over BIO has not been performed yet.

bpo-29505 [https://bugs.python.org/issue?@action=redirect&bpo=29505]: Add fuzz tests for float(str), int(str), unicode(str); for oss-fuzz.

bpo-30947 [https://bugs.python.org/issue?@action=redirect&bpo=30947]: Upgrade libexpat embedded copy from version 2.2.1 to 2.2.3 to get security fixes.

bpo-30730 [https://bugs.python.org/issue?@action=redirect&bpo=30730]: Prevent environment variables injection in subprocess on Windows. Prevent passing other environment variables and command arguments.

bpo-30694 [https://bugs.python.org/issue?@action=redirect&bpo=30694]: Upgrade expat copy from 2.2.0 to 2.2.1 to get fixes of multiple security vulnerabilities including: CVE 2017-9233 [https://www.cve.org/CVERecord?id=CVE-2017-9233] (External entity infinite loop DoS), CVE 2016-9063 [https://www.cve.org/CVERecord?id=CVE-2016-9063] (Integer overflow, re-fix), CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] (Fix regression bugs from 2.2.0’s fix to CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718]) and CVE 2012-0876 [https://www.cve.org/CVERecord?id=CVE-2012-0876] (Counter hash flooding with SipHash). Note: the CVE 2016-5300 [https://www.cve.org/CVERecord?id=CVE-2016-5300] (Use os-specific entropy sources like getrandom) doesn’t impact Python, since Python already gets entropy from the OS to set the expat secret using XML_SetHashSalt().

bpo-30500 [https://bugs.python.org/issue?@action=redirect&bpo=30500]: Fix urllib.parse.splithost() to correctly parse fragments. For example, splithost('//127.0.0.1#@evil.com/') now correctly returns the 127.0.0.1 host, instead of treating @evil.com as the host in an authentication (login@host).

bpo-29591 [https://bugs.python.org/issue?@action=redirect&bpo=29591]: Update expat copy from 2.1.1 to 2.2.0 to get fixes of CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] and CVE 2016-4472 [https://www.cve.org/CVERecord?id=CVE-2016-4472]. See https://sourceforge.net/p/expat/bugs/537/ for more information.

Core and Builtins

bpo-31490 [https://bugs.python.org/issue?@action=redirect&bpo=31490]: Fix an assertion failure in ctypes class definition, in case the class has an attribute whose name is specified in _anonymous_ but not in _fields_. Patch by Oren Milman.

bpo-31471 [https://bugs.python.org/issue?@action=redirect&bpo=31471]: Fix an assertion failure in subprocess.Popen() on Windows, in case the env argument has a bad keys() method. Patch by Oren Milman.

bpo-31418 [https://bugs.python.org/issue?@action=redirect&bpo=31418]: Fix an assertion failure in PyErr_WriteUnraisable() in case of an exception with a bad __module__ attribute. Patch by Oren Milman.

bpo-31416 [https://bugs.python.org/issue?@action=redirect&bpo=31416]: Fix assertion failures in case of a bad warnings.filters or warnings.defaultaction. Patch by Oren Milman.

bpo-28411 [https://bugs.python.org/issue?@action=redirect&bpo=28411]: Change direct usage of PyInterpreterState.modules to PyImport_GetModuleDict(). Also introduce more uniformity in other code that deals with sys.modules. This helps reduce complications when working on sys.modules.

bpo-28411 [https://bugs.python.org/issue?@action=redirect&bpo=28411]: Switch to the abstract API when dealing with PyInterpreterState.modules. This allows later support for all dict subclasses and other Mapping implementations. Also add a PyImport_GetModule() function to reduce a bunch of duplicated code.

bpo-31411 [https://bugs.python.org/issue?@action=redirect&bpo=31411]: Raise a TypeError instead of SystemError in case warnings.onceregistry is not a dictionary. Patch by Oren Milman.

bpo-31344 [https://bugs.python.org/issue?@action=redirect&bpo=31344]: For finer control of tracing behaviour when testing the interpreter, two new frame attributes have been added to control the emission of particular trace events: f_trace_lines (True by default) to turn off per-line trace events; and f_trace_opcodes (False by default) to turn on per-opcode trace events.

bpo-31373 [https://bugs.python.org/issue?@action=redirect&bpo=31373]: Fix several possible instances of undefined behavior due to floating-point demotions.

bpo-30465 [https://bugs.python.org/issue?@action=redirect&bpo=30465]: Location information (lineno and col_offset) in f-strings is now (mostly) correct. This fixes tools like flake8 from showing warnings on the wrong line (typically the first line of the file).

bpo-30860 [https://bugs.python.org/issue?@action=redirect&bpo=30860]: Consolidate CPython’s global runtime state under a single struct. This improves discoverability of the runtime state.

bpo-31347 [https://bugs.python.org/issue?@action=redirect&bpo=31347]: Fix possible undefined behavior in _PyObject_FastCall_Prepend.

bpo-31343 [https://bugs.python.org/issue?@action=redirect&bpo=31343]: Include sys/sysmacros.h for major(), minor(), and makedev(). GNU C libray plans to remove the functions from sys/types.h.

bpo-31291 [https://bugs.python.org/issue?@action=redirect&bpo=31291]: Fix an assertion failure in zipimport.zipimporter.get_data on Windows, when the return value of pathname.replace('/','\\') isn’t a string. Patch by Oren Milman.

bpo-31271 [https://bugs.python.org/issue?@action=redirect&bpo=31271]: Fix an assertion failure in the write() method of io.TextIOWrapper, when the encoder doesn’t return a bytes object. Patch by Oren Milman.

bpo-31243 [https://bugs.python.org/issue?@action=redirect&bpo=31243]: Fix a crash in some methods of io.TextIOWrapper, when the decoder’s state is invalid. Patch by Oren Milman.

bpo-30721 [https://bugs.python.org/issue?@action=redirect&bpo=30721]: print now shows correct usage hint for using Python 2 redirection syntax. Patch by Sanyam Khurana.

bpo-31070 [https://bugs.python.org/issue?@action=redirect&bpo=31070]: Fix a race condition in importlib _get_module_lock().

bpo-30747 [https://bugs.python.org/issue?@action=redirect&bpo=30747]: Add a non-dummy implementation of _Py_atomic_store and _Py_atomic_load on MSVC.

bpo-31095 [https://bugs.python.org/issue?@action=redirect&bpo=31095]: Fix potential crash during GC caused by tp_dealloc which doesn’t call PyObject_GC_UnTrack().

bpo-31071 [https://bugs.python.org/issue?@action=redirect&bpo=31071]: Avoid masking original TypeError in call with * unpacking when other arguments are passed.

bpo-30978 [https://bugs.python.org/issue?@action=redirect&bpo=30978]: str.format_map() now passes key lookup exceptions through. Previously any exception was replaced with a KeyError exception.

bpo-30808 [https://bugs.python.org/issue?@action=redirect&bpo=30808]: Use _Py_atomic API for concurrency-sensitive signal state.

bpo-30876 [https://bugs.python.org/issue?@action=redirect&bpo=30876]: Relative import from unloaded package now reimports the package instead of failing with SystemError. Relative import from non-package now fails with ImportError rather than SystemError.

bpo-30703 [https://bugs.python.org/issue?@action=redirect&bpo=30703]: Improve signal delivery. Avoid using Py_AddPendingCall from signal handler, to avoid calling signal-unsafe functions. The tests I’m adding here fail without the rest of the patch, on Linux and OS X. This means our signal delivery logic had defects (some signals could be lost).

bpo-30765 [https://bugs.python.org/issue?@action=redirect&bpo=30765]: Avoid blocking in pthread_mutex_lock() when PyThread_acquire_lock() is asked not to block.

bpo-31161 [https://bugs.python.org/issue?@action=redirect&bpo=31161]: Make sure the ‘Missing parentheses’ syntax error message is only applied to SyntaxError, not to subclasses. Patch by Martijn Pieters.

bpo-30814 [https://bugs.python.org/issue?@action=redirect&bpo=30814]: Fixed a race condition when import a submodule from a package.

bpo-30736 [https://bugs.python.org/issue?@action=redirect&bpo=30736]: The internal unicodedata database has been upgraded to Unicode 10.0.

bpo-30604 [https://bugs.python.org/issue?@action=redirect&bpo=30604]: Move co_extra_freefuncs from per-thread to per-interpreter to avoid crashes.

bpo-30597 [https://bugs.python.org/issue?@action=redirect&bpo=30597]: print now shows expected input in custom error message when used as a Python 2 statement. Patch by Sanyam Khurana.

bpo-30682 [https://bugs.python.org/issue?@action=redirect&bpo=30682]: Removed a too-strict assertion that failed for certain f-strings, such as eval(“f’\n’”) and eval(“f’\r’”).

bpo-30501 [https://bugs.python.org/issue?@action=redirect&bpo=30501]: The compiler now produces more optimal code for complex condition expressions in the “if”, “while” and “assert” statement, the “if” expression, and generator expressions and comprehensions.

bpo-28180 [https://bugs.python.org/issue?@action=redirect&bpo=28180]: Implement PEP 538 [https://peps.python.org/pep-0538/] (legacy C locale coercion). This means that when a suitable coercion target locale is available, both the core interpreter and locale-aware C extensions will assume the use of UTF-8 as the default text encoding, rather than ASCII.

bpo-30486 [https://bugs.python.org/issue?@action=redirect&bpo=30486]: Allows setting cell values for __closure__. Patch by Lisa Roach.

bpo-30537 [https://bugs.python.org/issue?@action=redirect&bpo=30537]: itertools.islice now accepts integer-like objects (having an __index__ method) as start, stop, and slice arguments

bpo-25324 [https://bugs.python.org/issue?@action=redirect&bpo=25324]: Tokens needed for parsing in Python moved to C. COMMENT, NL and ENCODING. This way the tokens and tok_names in the token module don’t get changed when you import the tokenize module.

bpo-29104 [https://bugs.python.org/issue?@action=redirect&bpo=29104]: Fixed parsing backslashes in f-strings.

bpo-27945 [https://bugs.python.org/issue?@action=redirect&bpo=27945]: Fixed various segfaults with dict when input collections are mutated during searching, inserting or comparing. Based on patches by Duane Griffin and Tim Mitchell.

bpo-25794 [https://bugs.python.org/issue?@action=redirect&bpo=25794]: Fixed type.__setattr__() and type.__delattr__() for non-interned attribute names. Based on patch by Eryk Sun.

bpo-30039 [https://bugs.python.org/issue?@action=redirect&bpo=30039]: If a KeyboardInterrupt happens when the interpreter is in the middle of resuming a chain of nested ‘yield from’ or ‘await’ calls, it’s now correctly delivered to the innermost frame.

bpo-28974 [https://bugs.python.org/issue?@action=redirect&bpo=28974]: object.__format__(x, '') is now equivalent to str(x) rather than format(str(self), '').

bpo-30024 [https://bugs.python.org/issue?@action=redirect&bpo=30024]: Circular imports involving absolute imports with binding a submodule to a name are now supported.

bpo-12414 [https://bugs.python.org/issue?@action=redirect&bpo=12414]: sys.getsizeof() on a code object now returns the sizes which includes the code struct and sizes of objects which it references. Patch by Donghee Na.

bpo-29839 [https://bugs.python.org/issue?@action=redirect&bpo=29839]: len() now raises ValueError rather than OverflowError if __len__() returned a large negative integer.

bpo-11913 [https://bugs.python.org/issue?@action=redirect&bpo=11913]: README.rst is now included in the list of distutils standard READMEs and therefore included in source distributions.

bpo-29914 [https://bugs.python.org/issue?@action=redirect&bpo=29914]: Fixed default implementations of __reduce__ and __reduce_ex__(). object.__reduce__() no longer takes arguments, object.__reduce_ex__() now requires one argument.

bpo-29949 [https://bugs.python.org/issue?@action=redirect&bpo=29949]: Fix memory usage regression of set and frozenset object.

bpo-29935 [https://bugs.python.org/issue?@action=redirect&bpo=29935]: Fixed error messages in the index() method of tuple, list and deque when pass indices of wrong type.

bpo-29816 [https://bugs.python.org/issue?@action=redirect&bpo=29816]: Shift operation now has less opportunity to raise OverflowError. ValueError always is raised rather than OverflowError for negative counts. Shifting zero with non-negative count always returns zero.

bpo-24821 [https://bugs.python.org/issue?@action=redirect&bpo=24821]: Fixed the slowing down to 25 times in the searching of some unlucky Unicode characters.

bpo-29102 [https://bugs.python.org/issue?@action=redirect&bpo=29102]: Add a unique ID to PyInterpreterState. This makes it easier to identify each subinterpreter.

bpo-29894 [https://bugs.python.org/issue?@action=redirect&bpo=29894]: The deprecation warning is emitted if __complex__ returns an instance of a strict subclass of complex. In a future versions of Python this can be an error.

bpo-29859 [https://bugs.python.org/issue?@action=redirect&bpo=29859]: Show correct error messages when any of the pthread_* calls in thread_pthread.h fails.

bpo-29849 [https://bugs.python.org/issue?@action=redirect&bpo=29849]: Fix a memory leak when an ImportError is raised during from import.

bpo-28856 [https://bugs.python.org/issue?@action=redirect&bpo=28856]: Fix an oversight that %b format for bytes should support objects follow the buffer protocol.

bpo-29723 [https://bugs.python.org/issue?@action=redirect&bpo=29723]: The sys.path[0] initialization change for bpo-29139 [https://bugs.python.org/issue?@action=redirect&bpo=29139] caused a regression by revealing an inconsistency in how sys.path is initialized when executing __main__ from a zipfile, directory, or other import location. The interpreter now consistently avoids ever adding the import location’s parent directory to sys.path, and ensures no other sys.path entries are inadvertently modified when inserting the import location named on the command line.

bpo-29568 [https://bugs.python.org/issue?@action=redirect&bpo=29568]: Escaped percent “%%” in the format string for classic string formatting no longer allows any characters between two percents.

bpo-29714 [https://bugs.python.org/issue?@action=redirect&bpo=29714]: Fix a regression that bytes format may fail when containing zero bytes inside.

bpo-29695 [https://bugs.python.org/issue?@action=redirect&bpo=29695]: bool(), float(), list() and tuple() no longer take keyword arguments. The first argument of int() can now be passes only as positional argument.

bpo-28893 [https://bugs.python.org/issue?@action=redirect&bpo=28893]: Set correct __cause__ for errors about invalid awaitables returned from __aiter__ and __anext__.

bpo-28876 [https://bugs.python.org/issue?@action=redirect&bpo=28876]: bool(range) works even if len(range) raises OverflowError.

bpo-29683 [https://bugs.python.org/issue?@action=redirect&bpo=29683]: Fixes to memory allocation in _PyCode_SetExtra. Patch by Brian Coleman.

bpo-29684 [https://bugs.python.org/issue?@action=redirect&bpo=29684]: Fix minor regression of PyEval_CallObjectWithKeywords. It should raise TypeError when kwargs is not a dict. But it might cause segv when args=NULL and kwargs is not a dict.

bpo-28598 [https://bugs.python.org/issue?@action=redirect&bpo=28598]: Support __rmod__ for subclasses of str being called before str.__mod__. Patch by Martijn Pieters.

bpo-29607 [https://bugs.python.org/issue?@action=redirect&bpo=29607]: Fix stack_effect computation for CALL_FUNCTION_EX. Patch by Matthieu Dartiailh.

bpo-29602 [https://bugs.python.org/issue?@action=redirect&bpo=29602]: Fix incorrect handling of signed zeros in complex constructor for complex subclasses and for inputs having a __complex__ method. Patch by Serhiy Storchaka.

bpo-29347 [https://bugs.python.org/issue?@action=redirect&bpo=29347]: Fixed possibly dereferencing undefined pointers when creating weakref objects.

bpo-29463 [https://bugs.python.org/issue?@action=redirect&bpo=29463]: Add docstring field to Module, ClassDef, FunctionDef, and AsyncFunctionDef ast nodes. docstring is not first stmt in their body anymore. It affects co_firstlineno and co_lnotab of code object for module and class. (Reverted in bpo-32911 [https://bugs.python.org/issue?@action=redirect&bpo=32911].)

bpo-29438 [https://bugs.python.org/issue?@action=redirect&bpo=29438]: Fixed use-after-free problem in key sharing dict.

bpo-29546 [https://bugs.python.org/issue?@action=redirect&bpo=29546]: Set the ‘path’ and ‘name’ attribute on ImportError for from ... import ....

bpo-29546 [https://bugs.python.org/issue?@action=redirect&bpo=29546]: Improve from-import error message with location

bpo-29478 [https://bugs.python.org/issue?@action=redirect&bpo=29478]: If max_line_length=None is specified while using the Compat32 policy, it is no longer ignored. Patch by Mircea Cosbuc.

bpo-29319 [https://bugs.python.org/issue?@action=redirect&bpo=29319]: Prevent RunMainFromImporter overwriting sys.path[0].

bpo-29337 [https://bugs.python.org/issue?@action=redirect&bpo=29337]: Fixed possible BytesWarning when compare the code objects. Warnings could be emitted at compile time.

bpo-29327 [https://bugs.python.org/issue?@action=redirect&bpo=29327]: Fixed a crash when pass the iterable keyword argument to sorted().

bpo-29034 [https://bugs.python.org/issue?@action=redirect&bpo=29034]: Fix memory leak and use-after-free in os module (path_converter).

bpo-29159 [https://bugs.python.org/issue?@action=redirect&bpo=29159]: Fix regression in bytes(x) when x.__index__() raises Exception.

bpo-29049 [https://bugs.python.org/issue?@action=redirect&bpo=29049]: Call _PyObject_GC_TRACK() lazily when calling Python function. Calling function is up to 5% faster.

bpo-28927 [https://bugs.python.org/issue?@action=redirect&bpo=28927]: bytes.fromhex() and bytearray.fromhex() now ignore all ASCII whitespace, not only spaces. Patch by Robert Xiao.

bpo-28932 [https://bugs.python.org/issue?@action=redirect&bpo=28932]: Do not include <sys/random.h> if it does not exist.

bpo-25677 [https://bugs.python.org/issue?@action=redirect&bpo=25677]: Correct the positioning of the syntax error caret for indented blocks. Based on patch by Michael Layzell.

bpo-29000 [https://bugs.python.org/issue?@action=redirect&bpo=29000]: Fixed bytes formatting of octals with zero padding in alternate form.

bpo-18896 [https://bugs.python.org/issue?@action=redirect&bpo=18896]: Python function can now have more than 255 parameters. collections.namedtuple() now supports tuples with more than 255 elements.

bpo-28596 [https://bugs.python.org/issue?@action=redirect&bpo=28596]: The preferred encoding is UTF-8 on Android. Patch written by Chi Hsuan Yen.

bpo-22257 [https://bugs.python.org/issue?@action=redirect&bpo=22257]: Clean up interpreter startup (see PEP 432 [https://peps.python.org/pep-0432/]).

bpo-26919 [https://bugs.python.org/issue?@action=redirect&bpo=26919]: On Android, operating system data is now always encoded/decoded to/from UTF-8, instead of the locale encoding to avoid inconsistencies with os.fsencode() and os.fsdecode() which are already using UTF-8.

bpo-28991 [https://bugs.python.org/issue?@action=redirect&bpo=28991]: functools.lru_cache() was susceptible to an obscure reentrancy bug triggerable by a monkey-patched len() function.

bpo-28147 [https://bugs.python.org/issue?@action=redirect&bpo=28147]: Fix a memory leak in split-table dictionaries: setattr() must not convert combined table into split table. Patch written by INADA Naoki.

bpo-28739 [https://bugs.python.org/issue?@action=redirect&bpo=28739]: f-string expressions are no longer accepted as docstrings and by ast.literal_eval() even if they do not include expressions.

bpo-28512 [https://bugs.python.org/issue?@action=redirect&bpo=28512]: Fixed setting the offset attribute of SyntaxError by PyErr_SyntaxLocationEx() and PyErr_SyntaxLocationObject().

bpo-28918 [https://bugs.python.org/issue?@action=redirect&bpo=28918]: Fix the cross compilation of xxlimited when Python has been built with Py_DEBUG defined.

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: Rather than silently producing a class that doesn’t support zero-argument super() in methods, failing to pass the new __classcell__ namespace entry up to type.__new__ now results in a DeprecationWarning and a class that supports zero-argument super().

bpo-28797 [https://bugs.python.org/issue?@action=redirect&bpo=28797]: Modifying the class __dict__ inside the __set_name__ method of a descriptor that is used inside that class no longer prevents calling the __set_name__ method of other descriptors.

bpo-28799 [https://bugs.python.org/issue?@action=redirect&bpo=28799]: Remove the PyEval_GetCallStats() function and deprecate the untested and undocumented sys.callstats() function. Remove the CALL_PROFILE special build: use the sys.setprofile() function, cProfile or profile to profile function calls.

bpo-12844 [https://bugs.python.org/issue?@action=redirect&bpo=12844]: More than 255 arguments can now be passed to a function.

bpo-28782 [https://bugs.python.org/issue?@action=redirect&bpo=28782]: Fix a bug in the implementation yield from when checking if the next instruction is YIELD_FROM. Regression introduced by WORDCODE (bpo-26647 [https://bugs.python.org/issue?@action=redirect&bpo=26647]).

bpo-28774 [https://bugs.python.org/issue?@action=redirect&bpo=28774]: Fix error position of the unicode error in ASCII and Latin1 encoders when a string returned by the error handler contains multiple non-encodable characters (non-ASCII for the ASCII codec, characters out of the U+0000-U+00FF range for Latin1).

bpo-28731 [https://bugs.python.org/issue?@action=redirect&bpo=28731]: Optimize _PyDict_NewPresized() to create correct size dict. Improve speed of dict literal with constant keys up to 30%.

bpo-28532 [https://bugs.python.org/issue?@action=redirect&bpo=28532]: Show sys.version when -V option is supplied twice.

bpo-27100 [https://bugs.python.org/issue?@action=redirect&bpo=27100]: The with-statement now checks for __enter__ before it checks for __exit__. This gives less confusing error messages when both methods are missing. Patch by Jonathan Ellington.

bpo-28746 [https://bugs.python.org/issue?@action=redirect&bpo=28746]: Fix the set_inheritable() file descriptor method on platforms that do not have the ioctl FIOCLEX and FIONCLEX commands.

bpo-26920 [https://bugs.python.org/issue?@action=redirect&bpo=26920]: Fix not getting the locale’s charset upon initializing the interpreter, on platforms that do not have langinfo.

bpo-28648 [https://bugs.python.org/issue?@action=redirect&bpo=28648]: Fixed crash in Py_DecodeLocale() in debug build on Mac OS X when decode astral characters. Patch by Xiang Zhang.

bpo-28665 [https://bugs.python.org/issue?@action=redirect&bpo=28665]: Improve speed of the STORE_DEREF opcode by 40%.

bpo-19398 [https://bugs.python.org/issue?@action=redirect&bpo=19398]: Extra slash no longer added to sys.path components in case of empty compile-time PYTHONPATH components.

bpo-28621 [https://bugs.python.org/issue?@action=redirect&bpo=28621]: Sped up converting int to float by reusing faster bits counting implementation. Patch by Adrian Wielgosik.

bpo-28580 [https://bugs.python.org/issue?@action=redirect&bpo=28580]: Optimize iterating split table values. Patch by Xiang Zhang.

bpo-28583 [https://bugs.python.org/issue?@action=redirect&bpo=28583]: PyDict_SetDefault didn’t combine split table when needed. Patch by Xiang Zhang.

bpo-28128 [https://bugs.python.org/issue?@action=redirect&bpo=28128]: Deprecation warning for invalid str and byte escape sequences now prints better information about where the error occurs. Patch by Serhiy Storchaka and Eric Smith.

bpo-28509 [https://bugs.python.org/issue?@action=redirect&bpo=28509]: dict.update() no longer allocate unnecessary large memory.

bpo-28426 [https://bugs.python.org/issue?@action=redirect&bpo=28426]: Fixed potential crash in PyUnicode_AsDecodedObject() in debug build.

bpo-28517 [https://bugs.python.org/issue?@action=redirect&bpo=28517]: Fixed of-by-one error in the peephole optimizer that caused keeping unreachable code.

bpo-28214 [https://bugs.python.org/issue?@action=redirect&bpo=28214]: Improved exception reporting for problematic __set_name__ attributes.

bpo-23782 [https://bugs.python.org/issue?@action=redirect&bpo=23782]: Fixed possible memory leak in _PyTraceback_Add() and exception loss in PyTraceBack_Here().

bpo-28183 [https://bugs.python.org/issue?@action=redirect&bpo=28183]: Optimize and cleanup dict iteration.

bpo-26081 [https://bugs.python.org/issue?@action=redirect&bpo=26081]: Added C implementation of asyncio.Future. Original patch by Yury Selivanov.

bpo-28379 [https://bugs.python.org/issue?@action=redirect&bpo=28379]: Added sanity checks and tests for PyUnicode_CopyCharacters(). Patch by Xiang Zhang.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: The type of long range iterator is now registered as Iterator. Patch by Oren Milman.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: Creating instances of range_iterator by calling range_iterator type now is disallowed. Calling iter() on range instance is the only way. Patch by Oren Milman.

bpo-26906 [https://bugs.python.org/issue?@action=redirect&bpo=26906]: Resolving special methods of uninitialized type now causes implicit initialization of the type instead of a fail.

bpo-18287 [https://bugs.python.org/issue?@action=redirect&bpo=18287]: PyType_Ready() now checks that tp_name is not NULL. Original patch by Niklas Koep.

bpo-24098 [https://bugs.python.org/issue?@action=redirect&bpo=24098]: Fixed possible crash when AST is changed in process of compiling it.

bpo-28201 [https://bugs.python.org/issue?@action=redirect&bpo=28201]: Dict reduces possibility of 2nd conflict in hash table when hashes have same lower bits.

bpo-28350 [https://bugs.python.org/issue?@action=redirect&bpo=28350]: String constants with null character no longer interned.

bpo-26617 [https://bugs.python.org/issue?@action=redirect&bpo=26617]: Fix crash when GC runs during weakref callbacks.

bpo-27942 [https://bugs.python.org/issue?@action=redirect&bpo=27942]: String constants now interned recursively in tuples and frozensets.

bpo-28289 [https://bugs.python.org/issue?@action=redirect&bpo=28289]: ImportError.__init__ now resets not specified attributes.

bpo-21578 [https://bugs.python.org/issue?@action=redirect&bpo=21578]: Fixed misleading error message when ImportError called with invalid keyword args.

bpo-28203 [https://bugs.python.org/issue?@action=redirect&bpo=28203]: Fix incorrect type in complex(1.0, {2:3}) error message. Patch by Soumya Sharma.

bpo-28086 [https://bugs.python.org/issue?@action=redirect&bpo=28086]: Single var-positional argument of tuple subtype was passed unscathed to the C-defined function. Now it is converted to exact tuple.

bpo-28214 [https://bugs.python.org/issue?@action=redirect&bpo=28214]: Now __set_name__ is looked up on the class instead of the instance.

bpo-27955 [https://bugs.python.org/issue?@action=redirect&bpo=27955]: Fallback on reading /dev/urandom device when the getrandom() syscall fails with EPERM, for example when blocked by SECCOMP.

bpo-28192 [https://bugs.python.org/issue?@action=redirect&bpo=28192]: Don’t import readline in isolated mode.

bpo-27441 [https://bugs.python.org/issue?@action=redirect&bpo=27441]: Remove some redundant assignments to ob_size in longobject.c. Thanks Oren Milman.

bpo-27222 [https://bugs.python.org/issue?@action=redirect&bpo=27222]: Clean up redundant code in long_rshift function. Thanks Oren Milman.

Upgrade internal unicode databases to Unicode version 9.0.0.

bpo-28131 [https://bugs.python.org/issue?@action=redirect&bpo=28131]: Fix a regression in zipimport’s compile_source(). zipimport should use the same optimization level as the interpreter.

bpo-28126 [https://bugs.python.org/issue?@action=redirect&bpo=28126]: Replace Py_MEMCPY with memcpy(). Visual Studio can properly optimize memcpy().

bpo-28120 [https://bugs.python.org/issue?@action=redirect&bpo=28120]: Fix dict.pop() for splitted dictionary when trying to remove a “pending key” (Not yet inserted in split-table). Patch by Xiang Zhang.

bpo-26182 [https://bugs.python.org/issue?@action=redirect&bpo=26182]: Raise DeprecationWarning when async and await keywords are used as variable/attribute/class/function name.

bpo-26182 [https://bugs.python.org/issue?@action=redirect&bpo=26182]: Fix a refleak in code that raises DeprecationWarning.

bpo-28721 [https://bugs.python.org/issue?@action=redirect&bpo=28721]: Fix asynchronous generators aclose() and athrow() to handle StopAsyncIteration propagation properly.

bpo-26110 [https://bugs.python.org/issue?@action=redirect&bpo=26110]: Speed-up method calls: add LOAD_METHOD and CALL_METHOD opcodes.

Library

bpo-31499 [https://bugs.python.org/issue?@action=redirect&bpo=31499]: xml.etree: Fix a crash when a parser is part of a reference cycle.

bpo-31482 [https://bugs.python.org/issue?@action=redirect&bpo=31482]: random.seed() now works with bytes in version=1

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: typing.get_type_hints now finds the right globalns for classes and modules by default (when no globalns was specified by the caller).

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Speed improvements to the typing module. Original PRs by Ivan Levkivskyi and Mitar.

bpo-31544 [https://bugs.python.org/issue?@action=redirect&bpo=31544]: The C accelerator module of ElementTree ignored exceptions raised when looking up TreeBuilder target methods in XMLParser().

bpo-31234 [https://bugs.python.org/issue?@action=redirect&bpo=31234]: socket.create_connection() now fixes manually a reference cycle: clear the variable storing the last exception on success.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: LoggerAdapter objects can now be nested.

bpo-31431 [https://bugs.python.org/issue?@action=redirect&bpo=31431]: SSLContext.check_hostname now automatically sets SSLContext.verify_mode to ssl.CERT_REQUIRED instead of failing with a ValueError.

bpo-31233 [https://bugs.python.org/issue?@action=redirect&bpo=31233]: socketserver.ThreadingMixIn now keeps a list of non-daemonic threads to wait until all these threads complete in server_close().

bpo-28638 [https://bugs.python.org/issue?@action=redirect&bpo=28638]: Changed the implementation strategy for collections.namedtuple() to substantially reduce the use of exec() in favor of precomputed methods. As a result, the verbose parameter and _source attribute are no longer supported. The benefits include 1) having a smaller memory footprint for applications using multiple named tuples, 2) faster creation of the named tuple class (approx 4x to 6x depending on how it is measured), and 3) minor speed-ups for instance creation using __new__, _make, and _replace. (The primary patch contributor is Jelle Zijlstra with further improvements by INADA Naoki, Serhiy Storchaka, and Raymond Hettinger.)

bpo-31400 [https://bugs.python.org/issue?@action=redirect&bpo=31400]: Improves SSL error handling to avoid losing error numbers.

bpo-27629 [https://bugs.python.org/issue?@action=redirect&bpo=27629]: Make return types of SSLContext.wrap_bio() and SSLContext.wrap_socket() customizable.

bpo-28958 [https://bugs.python.org/issue?@action=redirect&bpo=28958]: ssl.SSLContext() now uses OpenSSL error information when a context cannot be instantiated.

bpo-28182 [https://bugs.python.org/issue?@action=redirect&bpo=28182]: The SSL module now raises SSLCertVerificationError when OpenSSL fails to verify the peer’s certificate. The exception contains more information about the error.

bpo-27340 [https://bugs.python.org/issue?@action=redirect&bpo=27340]: SSLSocket.sendall() now uses memoryview to create slices of data. This fixes support for all bytes-like object. It is also more efficient and avoids costly copies.

bpo-14191 [https://bugs.python.org/issue?@action=redirect&bpo=14191]: A new function argparse.ArgumentParser.parse_intermixed_args provides the ability to parse command lines where there user intermixes options and positional arguments.

bpo-31178 [https://bugs.python.org/issue?@action=redirect&bpo=31178]: Fix string concatenation bug in rare error path in the subprocess module

bpo-31350 [https://bugs.python.org/issue?@action=redirect&bpo=31350]: Micro-optimize asyncio._get_running_loop() to become up to 10% faster.

bpo-31170 [https://bugs.python.org/issue?@action=redirect&bpo=31170]: expat: Update libexpat from 2.2.3 to 2.2.4. Fix copying of partial characters for UTF-8 input (libexpat bug 115): https://github.com/libexpat/libexpat/issues/115

bpo-29136 [https://bugs.python.org/issue?@action=redirect&bpo=29136]: Add TLS 1.3 cipher suites and OP_NO_TLSv1_3.

bpo-1198569 [https://bugs.python.org/issue?@action=redirect&bpo=1198569]: string.Template subclasses can optionally define braceidpattern if they want to specify different placeholder patterns inside and outside the braces. If None (the default) it falls back to idpattern.

bpo-31326 [https://bugs.python.org/issue?@action=redirect&bpo=31326]: concurrent.futures.ProcessPoolExecutor.shutdown() now explicitly closes the call queue. Moreover, shutdown(wait=True) now also join the call queue thread, to prevent leaking a dangling thread.

bpo-27144 [https://bugs.python.org/issue?@action=redirect&bpo=27144]: The map() and as_completed() iterators in concurrent.futures now avoid keeping a reference to yielded objects.

bpo-31281 [https://bugs.python.org/issue?@action=redirect&bpo=31281]: Fix fileinput.FileInput(files, inplace=True) when files contain pathlib.Path objects.

bpo-10746 [https://bugs.python.org/issue?@action=redirect&bpo=10746]: Fix ctypes producing wrong PEP 3118 [https://peps.python.org/pep-3118/] type codes for integer types.

bpo-27584 [https://bugs.python.org/issue?@action=redirect&bpo=27584]: AF_VSOCK has been added to the socket interface which allows communication between virtual machines and their host.

bpo-22536 [https://bugs.python.org/issue?@action=redirect&bpo=22536]: The subprocess module now sets the filename when FileNotFoundError is raised on POSIX systems due to the executable or cwd not being found.

bpo-29741 [https://bugs.python.org/issue?@action=redirect&bpo=29741]: Update some methods in the _pyio module to also accept integer types. Patch by Oren Milman.

bpo-31249 [https://bugs.python.org/issue?@action=redirect&bpo=31249]: concurrent.futures: WorkItem.run() used by ThreadPoolExecutor now breaks a reference cycle between an exception object and the WorkItem object.

bpo-31247 [https://bugs.python.org/issue?@action=redirect&bpo=31247]: xmlrpc.server now explicitly breaks reference cycles when using sys.exc_info() in code handling exceptions.

bpo-23835 [https://bugs.python.org/issue?@action=redirect&bpo=23835]: configparser: reading defaults in the ConfigParser() constructor is now using read_dict(), making its behavior consistent with the rest of the parser. Non-string keys and values in the defaults dictionary are now being implicitly converted to strings. Patch by James Tocknell.

bpo-31238 [https://bugs.python.org/issue?@action=redirect&bpo=31238]: pydoc: the stop() method of the private ServerThread class now waits until DocServer.serve_until_quit() completes and then explicitly sets its docserver attribute to None to break a reference cycle.

bpo-5001 [https://bugs.python.org/issue?@action=redirect&bpo=5001]: Many asserts in multiprocessing are now more informative, and some error types have been changed to more specific ones.

bpo-31109 [https://bugs.python.org/issue?@action=redirect&bpo=31109]: Convert zipimport to use Argument Clinic.

bpo-30102 [https://bugs.python.org/issue?@action=redirect&bpo=30102]: The ssl and hashlib modules now call OPENSSL_add_all_algorithms_noconf() on OpenSSL < 1.1.0. The function detects CPU features and enables optimizations on some CPU architectures such as POWER8. Patch is based on research from Gustavo Serra Scalet.

bpo-18966 [https://bugs.python.org/issue?@action=redirect&bpo=18966]: Non-daemonic threads created by a multiprocessing.Process are now joined on child exit.

bpo-31183 [https://bugs.python.org/issue?@action=redirect&bpo=31183]: dis now works with asynchronous generator and coroutine objects. Patch by George Collins based on diagnosis by Luciano Ramalho.

bpo-5001 [https://bugs.python.org/issue?@action=redirect&bpo=5001]: There are a number of uninformative asserts in the multiprocessing module, as noted in issue 5001. This change fixes two of the most potentially problematic ones, since they are in error-reporting code, in the multiprocessing.managers.convert_to_error function. (It also makes more informative a ValueError message.) The only potentially problematic change is that the AssertionError is now a TypeError; however, this should also help distinguish it from an AssertionError being reported by the function/its caller (such as in issue 31169). - Patch by Allen W. Smith (drallensmith on github).

bpo-31185 [https://bugs.python.org/issue?@action=redirect&bpo=31185]: Fixed miscellaneous errors in asyncio speedup module.

bpo-31151 [https://bugs.python.org/issue?@action=redirect&bpo=31151]: socketserver.ForkingMixIn.server_close() now waits until all child processes completed to prevent leaking zombie processes.

bpo-31072 [https://bugs.python.org/issue?@action=redirect&bpo=31072]: Add an include_file parameter to zipapp.create_archive()

bpo-24700 [https://bugs.python.org/issue?@action=redirect&bpo=24700]: Optimize array.array comparison. It is now from 10x up to 70x faster when comparing arrays holding values of the same integer type.

bpo-31135 [https://bugs.python.org/issue?@action=redirect&bpo=31135]: ttk: fix the destroy() method of LabeledScale and OptionMenu classes. Call the parent destroy() method even if the used attribute doesn’t exist. The LabeledScale.destroy() method now also explicitly clears label and scale attributes to help the garbage collector to destroy all widgets.

bpo-31107 [https://bugs.python.org/issue?@action=redirect&bpo=31107]: Fix copyreg._slotnames() mangled attribute calculation for classes whose name begins with an underscore. Patch by Shane Harvey.

bpo-31080 [https://bugs.python.org/issue?@action=redirect&bpo=31080]: Allow logging.config.fileConfig to accept kwargs and/or args.

bpo-30897 [https://bugs.python.org/issue?@action=redirect&bpo=30897]: pathlib.Path objects now include an is_mount() method (only implemented on POSIX). This is similar to os.path.ismount(p). Patch by Cooper Ry Lees.

bpo-31061 [https://bugs.python.org/issue?@action=redirect&bpo=31061]: Fixed a crash when using asyncio and threads.

bpo-30987 [https://bugs.python.org/issue?@action=redirect&bpo=30987]: Added support for CAN ISO-TP protocol in the socket module.

bpo-30522 [https://bugs.python.org/issue?@action=redirect&bpo=30522]: Added a setStream method to logging.StreamHandler to allow the stream to be set after creation.

bpo-30502 [https://bugs.python.org/issue?@action=redirect&bpo=30502]: Fix handling of long oids in ssl. Based on patch by Christian Heimes.

bpo-5288 [https://bugs.python.org/issue?@action=redirect&bpo=5288]: Support tzinfo objects with sub-minute offsets.

bpo-30919 [https://bugs.python.org/issue?@action=redirect&bpo=30919]: Fix shared memory performance regression in multiprocessing in 3.x. Shared memory used anonymous memory mappings in 2.x, while 3.x mmaps actual files. Try to be careful to do as little disk I/O as possible.

bpo-26732 [https://bugs.python.org/issue?@action=redirect&bpo=26732]: Fix too many fds in processes started with the “forkserver” method. A child process would inherit as many fds as the number of still-running children.

bpo-29403 [https://bugs.python.org/issue?@action=redirect&bpo=29403]: Fix unittest.mock’s autospec to not fail on method-bound builtin functions. Patch by Aaron Gallagher.

bpo-30961 [https://bugs.python.org/issue?@action=redirect&bpo=30961]: Fix decrementing a borrowed reference in tracemalloc.

bpo-19896 [https://bugs.python.org/issue?@action=redirect&bpo=19896]: Fix multiprocessing.sharedctypes to recognize typecodes 'q' and 'Q'.

bpo-30946 [https://bugs.python.org/issue?@action=redirect&bpo=30946]: Remove obsolete code in readline module for platforms where GNU readline is older than 2.1 or where select() is not available.

bpo-25684 [https://bugs.python.org/issue?@action=redirect&bpo=25684]: Change ttk.OptionMenu radiobuttons to be unique across instances of OptionMenu.

bpo-30886 [https://bugs.python.org/issue?@action=redirect&bpo=30886]: Fix multiprocessing.Queue.join_thread(): it now waits until the thread completes, even if the thread was started by the same process which created the queue.

bpo-29854 [https://bugs.python.org/issue?@action=redirect&bpo=29854]: Fix segfault in readline when using readline’s history-size option. Patch by Nir Soffer.

bpo-30794 [https://bugs.python.org/issue?@action=redirect&bpo=30794]: Added multiprocessing.Process.kill method to terminate using the SIGKILL signal on Unix.

bpo-30319 [https://bugs.python.org/issue?@action=redirect&bpo=30319]: socket.close() now ignores ECONNRESET error.

bpo-30828 [https://bugs.python.org/issue?@action=redirect&bpo=30828]: Fix out of bounds write in asyncio.CFuture.remove_done_callback().

bpo-30302 [https://bugs.python.org/issue?@action=redirect&bpo=30302]: Use keywords in the repr of datetime.timedelta.

bpo-30807 [https://bugs.python.org/issue?@action=redirect&bpo=30807]: signal.setitimer() may disable the timer when passed a tiny value. Tiny values (such as 1e-6) are valid non-zero values for setitimer(), which is specified as taking microsecond-resolution intervals. However, on some platform, our conversion routine could convert 1e-6 into a zero interval, therefore disabling the timer instead of (re-)scheduling it.

bpo-30441 [https://bugs.python.org/issue?@action=redirect&bpo=30441]: Fix bug when modifying os.environ while iterating over it

bpo-29585 [https://bugs.python.org/issue?@action=redirect&bpo=29585]: Avoid importing sysconfig from site to improve startup speed. Python startup is about 5% faster on Linux and 30% faster on macOS.

bpo-29293 [https://bugs.python.org/issue?@action=redirect&bpo=29293]: Add missing parameter “n” on multiprocessing.Condition.notify(). The doc claims multiprocessing.Condition behaves like threading.Condition, but its notify() method lacked the optional “n” argument (to specify the number of sleepers to wake up) that threading.Condition.notify() accepts.

bpo-30532 [https://bugs.python.org/issue?@action=redirect&bpo=30532]: Fix email header value parser dropping folding white space in certain cases.

bpo-30596 [https://bugs.python.org/issue?@action=redirect&bpo=30596]: Add a close() method to multiprocessing.Process.

bpo-9146 [https://bugs.python.org/issue?@action=redirect&bpo=9146]: Fix a segmentation fault in _hashopenssl when standard hash functions such as md5 are not available in the linked OpenSSL library. As in some special FIPS-140 build environments.

bpo-29169 [https://bugs.python.org/issue?@action=redirect&bpo=29169]: Update zlib to 1.2.11.

bpo-30119 [https://bugs.python.org/issue?@action=redirect&bpo=30119]: ftplib.FTP.putline() now throws ValueError on commands that contains CR or LF. Patch by Donghee Na.

bpo-30879 [https://bugs.python.org/issue?@action=redirect&bpo=30879]: os.listdir() and os.scandir() now emit bytes names when called with bytes-like argument.

bpo-30746 [https://bugs.python.org/issue?@action=redirect&bpo=30746]: Prohibited the ‘=’ character in environment variable names in os.putenv() and os.spawn*().

bpo-30664 [https://bugs.python.org/issue?@action=redirect&bpo=30664]: The description of a unittest subtest now preserves the order of keyword arguments of TestCase.subTest().

bpo-21071 [https://bugs.python.org/issue?@action=redirect&bpo=21071]: struct.Struct.format type is now str instead of bytes.

bpo-29212 [https://bugs.python.org/issue?@action=redirect&bpo=29212]: Fix concurrent.futures.thread.ThreadPoolExecutor threads to have a non repr() based thread name by default when no thread_name_prefix is supplied. They will now identify themselves as “ThreadPoolExecutor-y_n”.

bpo-29755 [https://bugs.python.org/issue?@action=redirect&bpo=29755]: Fixed the lgettext() family of functions in the gettext module. They now always return bytes.

bpo-30616 [https://bugs.python.org/issue?@action=redirect&bpo=30616]: Functional API of enum allows to create empty enums. Patched by Donghee Na

bpo-30038 [https://bugs.python.org/issue?@action=redirect&bpo=30038]: Fix race condition between signal delivery and wakeup file descriptor. Patch by Nathaniel Smith.

bpo-23894 [https://bugs.python.org/issue?@action=redirect&bpo=23894]: lib2to3 now recognizes rb'...' and f'...' strings.

bpo-24744 [https://bugs.python.org/issue?@action=redirect&bpo=24744]: pkgutil.walk_packages function now raises ValueError if path is a string. Patch by Sanyam Khurana.

bpo-24484 [https://bugs.python.org/issue?@action=redirect&bpo=24484]: Avoid race condition in multiprocessing cleanup.

bpo-30589 [https://bugs.python.org/issue?@action=redirect&bpo=30589]: Fix multiprocessing.Process.exitcode to return the opposite of the signal number when the process is killed by a signal (instead of 255) when using the “forkserver” method.

bpo-28994 [https://bugs.python.org/issue?@action=redirect&bpo=28994]: The traceback no longer displayed for SystemExit raised in a callback registered by atexit.

bpo-30508 [https://bugs.python.org/issue?@action=redirect&bpo=30508]: Don’t log exceptions if Task/Future “cancel()” method was called.

bpo-30645 [https://bugs.python.org/issue?@action=redirect&bpo=30645]: Fix path calculation in imp.load_package(), fixing it for cases when a package is only shipped with bytecodes. Patch by Alexandru Ardelean.

bpo-11822 [https://bugs.python.org/issue?@action=redirect&bpo=11822]: The dis.dis() function now is able to disassemble nested code objects.

bpo-30624 [https://bugs.python.org/issue?@action=redirect&bpo=30624]: selectors does not take KeyboardInterrupt and SystemExit into account, leaving a fd in a bad state in case of error. Patch by Giampaolo Rodola’.

bpo-30595 [https://bugs.python.org/issue?@action=redirect&bpo=30595]: multiprocessing.Queue.get() with a timeout now polls its reader in non-blocking mode if it succeeded to acquire the lock but the acquire took longer than the timeout.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Updates to typing module: Add generic AsyncContextManager, add support for ContextManager on all versions. Original PRs by Jelle Zijlstra and Ivan Levkivskyi

bpo-30605 [https://bugs.python.org/issue?@action=redirect&bpo=30605]: re.compile() no longer raises a BytesWarning when compiling a bytes instance with misplaced inline modifier. Patch by Roy Williams.

bpo-29870 [https://bugs.python.org/issue?@action=redirect&bpo=29870]: Fix ssl sockets leaks when connection is aborted in asyncio/ssl implementation. Patch by Michaël Sghaïer.

bpo-29743 [https://bugs.python.org/issue?@action=redirect&bpo=29743]: Closing transport during handshake process leaks open socket. Patch by Nikolay Kim

bpo-27585 [https://bugs.python.org/issue?@action=redirect&bpo=27585]: Fix waiter cancellation in asyncio.Lock. Patch by Mathieu Sornay.

bpo-30014 [https://bugs.python.org/issue?@action=redirect&bpo=30014]: modify() method of poll(), epoll() and devpoll() based classes of selectors module is around 10% faster. Patch by Giampaolo Rodola’.

bpo-30418 [https://bugs.python.org/issue?@action=redirect&bpo=30418]: On Windows, subprocess.Popen.communicate() now also ignore EINVAL on stdin.write() if the child process is still running but closed the pipe.

bpo-30463 [https://bugs.python.org/issue?@action=redirect&bpo=30463]: Addded empty __slots__ to abc.ABC. This allows subclassers to deny __dict__ and __weakref__ creation. Patch by Aaron Hall.

bpo-30520 [https://bugs.python.org/issue?@action=redirect&bpo=30520]: Loggers are now pickleable.

bpo-30557 [https://bugs.python.org/issue?@action=redirect&bpo=30557]: faulthandler now correctly filters and displays exception codes on Windows

bpo-30526 [https://bugs.python.org/issue?@action=redirect&bpo=30526]: Add TextIOWrapper.reconfigure() and a TextIOWrapper.write_through attribute.

bpo-30245 [https://bugs.python.org/issue?@action=redirect&bpo=30245]: Fix possible overflow when organize struct.pack_into error message. Patch by Yuan Liu.

bpo-30378 [https://bugs.python.org/issue?@action=redirect&bpo=30378]: Fix the problem that logging.handlers.SysLogHandler cannot handle IPv6 addresses.

bpo-16500 [https://bugs.python.org/issue?@action=redirect&bpo=16500]: Allow registering at-fork handlers.

bpo-30470 [https://bugs.python.org/issue?@action=redirect&bpo=30470]: Deprecate invalid ctypes call protection on Windows. Patch by Mariatta Wijaya.

bpo-30414 [https://bugs.python.org/issue?@action=redirect&bpo=30414]: multiprocessing.Queue._feed background running thread do not break from main loop on exception.

bpo-30003 [https://bugs.python.org/issue?@action=redirect&bpo=30003]: Fix handling escape characters in HZ codec. Based on patch by Ma Lin.

bpo-30149 [https://bugs.python.org/issue?@action=redirect&bpo=30149]: inspect.signature() now supports callables with variable-argument parameters wrapped with partialmethod. Patch by Donghee Na.

bpo-30436 [https://bugs.python.org/issue?@action=redirect&bpo=30436]: importlib.find_spec() raises ModuleNotFoundError instead of AttributeError if the specified parent module is not a package (i.e. lacks a __path__ attribute).

bpo-30301 [https://bugs.python.org/issue?@action=redirect&bpo=30301]: Fix AttributeError when using SimpleQueue.empty() under spawn and forkserver start methods.

bpo-30375 [https://bugs.python.org/issue?@action=redirect&bpo=30375]: Warnings emitted when compile a regular expression now always point to the line in the user code. Previously they could point into inners of the re module if emitted from inside of groups or conditionals.

bpo-30329 [https://bugs.python.org/issue?@action=redirect&bpo=30329]: imaplib and poplib now catch the Windows socket WSAEINVAL error (code 10022) on shutdown(SHUT_RDWR): An invalid operation was attempted. This error occurs sometimes on SSL connections.

bpo-29196 [https://bugs.python.org/issue?@action=redirect&bpo=29196]: Removed previously deprecated in Python 2.4 classes Plist, Dict and _InternalDict in the plistlib module. Dict values in the result of functions readPlist() and readPlistFromBytes() are now normal dicts. You no longer can use attribute access to access items of these dictionaries.

bpo-9850 [https://bugs.python.org/issue?@action=redirect&bpo=9850]: The macpath is now deprecated and will be removed in Python 3.8.

bpo-30299 [https://bugs.python.org/issue?@action=redirect&bpo=30299]: Compiling regular expression in debug mode on CPython now displays the compiled bytecode in human readable form.

bpo-30048 [https://bugs.python.org/issue?@action=redirect&bpo=30048]: Fixed Task.cancel() can be ignored when the task is running coroutine and the coroutine returned without any more await.

bpo-30266 [https://bugs.python.org/issue?@action=redirect&bpo=30266]: contextlib.AbstractContextManager now supports anti-registration by setting __enter__ = None or __exit__ = None, following the pattern introduced in bpo-25958 [https://bugs.python.org/issue?@action=redirect&bpo=25958]. Patch by Jelle Zijlstra.

bpo-30340 [https://bugs.python.org/issue?@action=redirect&bpo=30340]: Enhanced regular expressions optimization. This increased the performance of matching some patterns up to 25 times.

bpo-30298 [https://bugs.python.org/issue?@action=redirect&bpo=30298]: Weaken the condition of deprecation warnings for inline modifiers. Now allowed several subsequential inline modifiers at the start of the pattern (e.g. '(?i)(?s)...'). In verbose mode whitespaces and comments now are allowed before and between inline modifiers (e.g. '(?x) (?i) (?s)...').

bpo-30285 [https://bugs.python.org/issue?@action=redirect&bpo=30285]: Optimized case-insensitive matching and searching of regular expressions.

bpo-29990 [https://bugs.python.org/issue?@action=redirect&bpo=29990]: Fix range checking in GB18030 decoder. Original patch by Ma Lin.

bpo-29979 [https://bugs.python.org/issue?@action=redirect&bpo=29979]: rewrite cgi.parse_multipart, reusing the FieldStorage class and making its results consistent with those of FieldStorage for multipart/form-data requests. Patch by Pierre Quentel.

bpo-30243 [https://bugs.python.org/issue?@action=redirect&bpo=30243]: Removed the __init__ methods of _json’s scanner and encoder. Misusing them could cause memory leaks or crashes. Now scanner and encoder objects are completely initialized in the __new__ methods.

bpo-30215 [https://bugs.python.org/issue?@action=redirect&bpo=30215]: Compiled regular expression objects with the re.LOCALE flag no longer depend on the locale at compile time. Only the locale at matching time affects the result of matching.

bpo-30185 [https://bugs.python.org/issue?@action=redirect&bpo=30185]: Avoid KeyboardInterrupt tracebacks in forkserver helper process when Ctrl-C is received.

bpo-30103 [https://bugs.python.org/issue?@action=redirect&bpo=30103]: binascii.b2a_uu() and uu.encode() now support using '`' as zero instead of space.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: add typing.NoReturn type, use WrapperDescriptorType, minor bug-fixes. Original PRs by Jim Fasarakis-Hilliard and Ivan Levkivskyi.

bpo-30205 [https://bugs.python.org/issue?@action=redirect&bpo=30205]: Fix getsockname() for unbound AF_UNIX sockets on Linux.

bpo-30228 [https://bugs.python.org/issue?@action=redirect&bpo=30228]: The seek() and tell() methods of io.FileIO now set the internal seekable attribute to avoid one syscall on open() (in buffered or text mode).

bpo-30190 [https://bugs.python.org/issue?@action=redirect&bpo=30190]: unittest’s assertAlmostEqual and assertNotAlmostEqual provide a better message in case of failure which includes the difference between left and right arguments. (patch by Giampaolo Rodola’)

bpo-30101 [https://bugs.python.org/issue?@action=redirect&bpo=30101]: Add support for curses.A_ITALIC.

bpo-29822 [https://bugs.python.org/issue?@action=redirect&bpo=29822]: inspect.isabstract() now works during __init_subclass__. Patch by Nate Soares.

bpo-29960 [https://bugs.python.org/issue?@action=redirect&bpo=29960]: Preserve generator state when _random.Random.setstate() raises an exception. Patch by Bryan Olson.

bpo-30070 [https://bugs.python.org/issue?@action=redirect&bpo=30070]: Fixed leaks and crashes in errors handling in the parser module.

bpo-22352 [https://bugs.python.org/issue?@action=redirect&bpo=22352]: Column widths in the output of dis.dis() are now adjusted for large line numbers and instruction offsets.

bpo-30061 [https://bugs.python.org/issue?@action=redirect&bpo=30061]: Fixed crashes in IOBase methods __next__() and readlines() when readline() or __next__() respectively return non-sizeable object. Fixed possible other errors caused by not checking results of PyObject_Size(), PySequence_Size(), or PyMapping_Size().

bpo-30218 [https://bugs.python.org/issue?@action=redirect&bpo=30218]: Fix PathLike support for shutil.unpack_archive. Patch by Jelle Zijlstra.

bpo-10076 [https://bugs.python.org/issue?@action=redirect&bpo=10076]: Compiled regular expression and match objects in the re module now support copy.copy() and copy.deepcopy() (they are considered atomic).

bpo-30068 [https://bugs.python.org/issue?@action=redirect&bpo=30068]: _io._IOBase.readlines will check if it’s closed first when hint is present.

bpo-29694 [https://bugs.python.org/issue?@action=redirect&bpo=29694]: Fixed race condition in pathlib mkdir with flags parents=True. Patch by Armin Rigo.

bpo-29692 [https://bugs.python.org/issue?@action=redirect&bpo=29692]: Fixed arbitrary unchaining of RuntimeError exceptions in contextlib.contextmanager. Patch by Siddharth Velankar.

bpo-26187 [https://bugs.python.org/issue?@action=redirect&bpo=26187]: Test that sqlite3 trace callback is not called multiple times when schema is changing. Indirectly fixed by switching to use sqlite3_prepare_v2() in bpo-9303 [https://bugs.python.org/issue?@action=redirect&bpo=9303]. Patch by Aviv Palivoda.

bpo-30017 [https://bugs.python.org/issue?@action=redirect&bpo=30017]: Allowed calling the close() method of the zip entry writer object multiple times. Writing to a closed writer now always produces a ValueError.

bpo-29998 [https://bugs.python.org/issue?@action=redirect&bpo=29998]: Pickling and copying ImportError now preserves name and path attributes.

bpo-29995 [https://bugs.python.org/issue?@action=redirect&bpo=29995]: re.escape() now escapes only regex special characters.

bpo-29962 [https://bugs.python.org/issue?@action=redirect&bpo=29962]: Add math.remainder operation, implementing remainder as specified in IEEE 754.

bpo-29649 [https://bugs.python.org/issue?@action=redirect&bpo=29649]: Improve struct.pack_into() exception messages for problems with the buffer size and offset. Patch by Andrew Nester.

bpo-29654 [https://bugs.python.org/issue?@action=redirect&bpo=29654]: Support If-Modified-Since HTTP header (browser cache). Patch by Pierre Quentel.

bpo-29931 [https://bugs.python.org/issue?@action=redirect&bpo=29931]: Fixed comparison check for ipaddress.ip_interface objects. Patch by Sanjay Sundaresan.

bpo-29953 [https://bugs.python.org/issue?@action=redirect&bpo=29953]: Fixed memory leaks in the replace() method of datetime and time objects when pass out of bound fold argument.

bpo-29942 [https://bugs.python.org/issue?@action=redirect&bpo=29942]: Fix a crash in itertools.chain.from_iterable when encountering long runs of empty iterables.

bpo-10030 [https://bugs.python.org/issue?@action=redirect&bpo=10030]: Sped up reading encrypted ZIP files by 2 times.

bpo-29204 [https://bugs.python.org/issue?@action=redirect&bpo=29204]: Element.getiterator() and the html parameter of XMLParser() were deprecated only in the documentation (since Python 3.2 and 3.4 correspondingly). Now using them emits a deprecation warning.

bpo-27863 [https://bugs.python.org/issue?@action=redirect&bpo=27863]: Fixed multiple crashes in ElementTree caused by race conditions and wrong types.

bpo-25996 [https://bugs.python.org/issue?@action=redirect&bpo=25996]: Added support of file descriptors in os.scandir() on Unix. os.fwalk() is sped up by 2 times by using os.scandir().

bpo-28699 [https://bugs.python.org/issue?@action=redirect&bpo=28699]: Fixed a bug in pools in multiprocessing.pool that raising an exception at the very first of an iterable may swallow the exception or make the program hang. Patch by Davin Potts and Xiang Zhang.

bpo-23890 [https://bugs.python.org/issue?@action=redirect&bpo=23890]: unittest.TestCase.assertRaises() now manually breaks a reference cycle to not keep objects alive longer than expected.

bpo-29901 [https://bugs.python.org/issue?@action=redirect&bpo=29901]: The zipapp module now supports general path-like objects, not just pathlib.Path.

bpo-25803 [https://bugs.python.org/issue?@action=redirect&bpo=25803]: Avoid incorrect errors raised by Path.mkdir(exist_ok=True) when the OS gives priority to errors such as EACCES over EEXIST.

bpo-29861 [https://bugs.python.org/issue?@action=redirect&bpo=29861]: Release references to tasks, their arguments and their results as soon as they are finished in multiprocessing.Pool.

bpo-19930 [https://bugs.python.org/issue?@action=redirect&bpo=19930]: The mode argument of os.makedirs() no longer affects the file permission bits of newly created intermediate-level directories.

bpo-29884 [https://bugs.python.org/issue?@action=redirect&bpo=29884]: faulthandler: Restore the old sigaltstack during teardown. Patch by Christophe Zeitouny.

bpo-25455 [https://bugs.python.org/issue?@action=redirect&bpo=25455]: Fixed crashes in repr of recursive buffered file-like objects.

bpo-29800 [https://bugs.python.org/issue?@action=redirect&bpo=29800]: Fix crashes in partial.__repr__ if the keys of partial.keywords are not strings. Patch by Michael Seifert.

bpo-8256 [https://bugs.python.org/issue?@action=redirect&bpo=8256]: Fixed possible failing or crashing input() if attributes “encoding” or “errors” of sys.stdin or sys.stdout are not set or are not strings.

bpo-28692 [https://bugs.python.org/issue?@action=redirect&bpo=28692]: Using non-integer value for selecting a plural form in gettext is now deprecated.

bpo-26121 [https://bugs.python.org/issue?@action=redirect&bpo=26121]: Use C library implementation for math functions erf() and erfc().

bpo-29619 [https://bugs.python.org/issue?@action=redirect&bpo=29619]: os.stat() and os.DirEntry.inode() now convert inode (st_ino) using unsigned integers.

bpo-28298 [https://bugs.python.org/issue?@action=redirect&bpo=28298]: Fix a bug that prevented array ‘Q’, ‘L’ and ‘I’ from accepting big intables (objects that have __int__) as elements.

bpo-29645 [https://bugs.python.org/issue?@action=redirect&bpo=29645]: Speed up importing the webbrowser module. webbrowser.register() is now thread-safe.

bpo-28231 [https://bugs.python.org/issue?@action=redirect&bpo=28231]: The zipfile module now accepts path-like objects for external paths.

bpo-26915 [https://bugs.python.org/issue?@action=redirect&bpo=26915]: index() and count() methods of collections.abc.Sequence now check identity before checking equality when do comparisons.

bpo-28682 [https://bugs.python.org/issue?@action=redirect&bpo=28682]: Added support for bytes paths in os.fwalk().

bpo-29728 [https://bugs.python.org/issue?@action=redirect&bpo=29728]: Add new socket.TCP_NOTSENT_LOWAT (Linux 3.12) constant. Patch by Nathaniel J. Smith.

bpo-29623 [https://bugs.python.org/issue?@action=redirect&bpo=29623]: Allow use of path-like object as a single argument in ConfigParser.read(). Patch by David Ellis.

bpo-9303 [https://bugs.python.org/issue?@action=redirect&bpo=9303]: Migrate sqlite3 module to _v2 API. Patch by Aviv Palivoda.

bpo-28963 [https://bugs.python.org/issue?@action=redirect&bpo=28963]: Fix out of bound iteration in asyncio.Future.remove_done_callback implemented in C.

bpo-29704 [https://bugs.python.org/issue?@action=redirect&bpo=29704]: asyncio.subprocess.SubprocessStreamProtocol no longer closes before all pipes are closed.

bpo-29271 [https://bugs.python.org/issue?@action=redirect&bpo=29271]: Fix Task.current_task and Task.all_tasks implemented in C to accept None argument as their pure Python implementation.

bpo-29703 [https://bugs.python.org/issue?@action=redirect&bpo=29703]: Fix asyncio to support instantiation of new event loops in child processes.

bpo-29615 [https://bugs.python.org/issue?@action=redirect&bpo=29615]: SimpleXMLRPCDispatcher no longer chains KeyError (or any other exception) to exception(s) raised in the dispatched methods. Patch by Petr Motejlek.

bpo-7769 [https://bugs.python.org/issue?@action=redirect&bpo=7769]: Method register_function() of xmlrpc.server.SimpleXMLRPCDispatcher and its subclasses can now be used as a decorator.

bpo-29376 [https://bugs.python.org/issue?@action=redirect&bpo=29376]: Fix assertion error in threading._DummyThread.is_alive().

bpo-28624 [https://bugs.python.org/issue?@action=redirect&bpo=28624]: Add a test that checks that cwd parameter of Popen() accepts PathLike objects. Patch by Sayan Chowdhury.

bpo-28518 [https://bugs.python.org/issue?@action=redirect&bpo=28518]: Start a transaction implicitly before a DML statement. Patch by Aviv Palivoda.

bpo-29742 [https://bugs.python.org/issue?@action=redirect&bpo=29742]: get_extra_info() raises exception if get called on closed ssl transport. Patch by Nikolay Kim.

bpo-16285 [https://bugs.python.org/issue?@action=redirect&bpo=16285]: urllib.parse.quote is now based on RFC 3986 and hence includes ‘~’ in the set of characters that is not quoted by default. Patch by Christian Theune and Ratnadeep Debnath.

bpo-29532 [https://bugs.python.org/issue?@action=redirect&bpo=29532]: Altering a kwarg dictionary passed to functools.partial() no longer affects a partial object after creation.

bpo-29110 [https://bugs.python.org/issue?@action=redirect&bpo=29110]: Fix file object leak in aifc.open() when file is given as a filesystem path and is not in valid AIFF format. Patch by Anthony Zhang.

bpo-22807 [https://bugs.python.org/issue?@action=redirect&bpo=22807]: Add uuid.SafeUUID and uuid.UUID.is_safe to relay information from the platform about whether generated UUIDs are generated with a multiprocessing safe method.

bpo-29576 [https://bugs.python.org/issue?@action=redirect&bpo=29576]: Improve some deprecations in importlib. Some deprecated methods now emit DeprecationWarnings and have better descriptive messages.

bpo-29534 [https://bugs.python.org/issue?@action=redirect&bpo=29534]: Fixed different behaviour of Decimal.from_float() for _decimal and _pydecimal. Thanks Andrew Nester.

bpo-10379 [https://bugs.python.org/issue?@action=redirect&bpo=10379]: locale.format_string now supports the ‘monetary’ keyword argument, and locale.format is deprecated.

bpo-29851 [https://bugs.python.org/issue?@action=redirect&bpo=29851]: importlib.reload() now raises ModuleNotFoundError if the module lacks a spec.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: typing.Counter, typing.ChainMap, improved ABC caching, etc. Original PRs by Jelle Zijlstra, Ivan Levkivskyi, Manuel Krebber, and Łukasz Langa.

bpo-29100 [https://bugs.python.org/issue?@action=redirect&bpo=29100]: Fix datetime.fromtimestamp() regression introduced in Python 3.6.0: check minimum and maximum years.

bpo-29416 [https://bugs.python.org/issue?@action=redirect&bpo=29416]: Prevent infinite loop in pathlib.Path.mkdir

bpo-29444 [https://bugs.python.org/issue?@action=redirect&bpo=29444]: Fixed out-of-bounds buffer access in the group() method of the match object. Based on patch by WGH.

bpo-29377 [https://bugs.python.org/issue?@action=redirect&bpo=29377]: Add WrapperDescriptorType, MethodWrapperType, and MethodDescriptorType built-in types to types module. Original patch by Manuel Krebber.

bpo-29218 [https://bugs.python.org/issue?@action=redirect&bpo=29218]: Unused install_misc command is now removed. It has been documented as unused since 2000. Patch by Eric N. Vander Weele.

bpo-29368 [https://bugs.python.org/issue?@action=redirect&bpo=29368]: The extend() method is now called instead of the append() method when unpickle collections.deque and other list-like objects. This can speed up unpickling to 2 times.

bpo-29338 [https://bugs.python.org/issue?@action=redirect&bpo=29338]: The help of a builtin or extension class now includes the constructor signature if __text_signature__ is provided for the class.

bpo-29335 [https://bugs.python.org/issue?@action=redirect&bpo=29335]: Fix subprocess.Popen.wait() when the child process has exited to a stopped instead of terminated state (ex: when under ptrace).

bpo-29290 [https://bugs.python.org/issue?@action=redirect&bpo=29290]: Fix a regression in argparse that help messages would wrap at non-breaking spaces.

bpo-28735 [https://bugs.python.org/issue?@action=redirect&bpo=28735]: Fixed the comparison of mock.MagickMock with mock.ANY.

bpo-29197 [https://bugs.python.org/issue?@action=redirect&bpo=29197]: Removed deprecated function ntpath.splitunc().

bpo-29210 [https://bugs.python.org/issue?@action=redirect&bpo=29210]: Removed support of deprecated argument “exclude” in tarfile.TarFile.add().

bpo-29219 [https://bugs.python.org/issue?@action=redirect&bpo=29219]: Fixed infinite recursion in the repr of uninitialized ctypes.CDLL instances.

bpo-29192 [https://bugs.python.org/issue?@action=redirect&bpo=29192]: Removed deprecated features in the http.cookies module.

bpo-29193 [https://bugs.python.org/issue?@action=redirect&bpo=29193]: A format string argument for string.Formatter.format() is now positional-only.

bpo-29195 [https://bugs.python.org/issue?@action=redirect&bpo=29195]: Removed support of deprecated undocumented keyword arguments in methods of regular expression objects.

bpo-28969 [https://bugs.python.org/issue?@action=redirect&bpo=28969]: Fixed race condition in C implementation of functools.lru_cache. KeyError could be raised when cached function with full cache was simultaneously called from different threads with the same uncached arguments.

bpo-20804 [https://bugs.python.org/issue?@action=redirect&bpo=20804]: The unittest.mock.sentinel attributes now preserve their identity when they are copied or pickled.

bpo-29142 [https://bugs.python.org/issue?@action=redirect&bpo=29142]: In urllib.request, suffixes in no_proxy environment variable with leading dots could match related hostnames again (e.g. .b.c matches a.b.c). Patch by Milan Oberkirch.

bpo-28961 [https://bugs.python.org/issue?@action=redirect&bpo=28961]: Fix unittest.mock._Call helper: don’t ignore the name parameter anymore. Patch written by Jiajun Huang.

bpo-15812 [https://bugs.python.org/issue?@action=redirect&bpo=15812]: inspect.getframeinfo() now correctly shows the first line of a context. Patch by Sam Breese.

bpo-28985 [https://bugs.python.org/issue?@action=redirect&bpo=28985]: Update authorizer constants in sqlite3 module. Patch by Dingyuan Wang.

bpo-29079 [https://bugs.python.org/issue?@action=redirect&bpo=29079]: Prevent infinite loop in pathlib.resolve() on Windows

bpo-13051 [https://bugs.python.org/issue?@action=redirect&bpo=13051]: Fixed recursion errors in large or resized curses.textpad.Textbox. Based on patch by Tycho Andersen.

bpo-9770 [https://bugs.python.org/issue?@action=redirect&bpo=9770]: curses.ascii predicates now work correctly with negative integers.

bpo-28427 [https://bugs.python.org/issue?@action=redirect&bpo=28427]: old keys should not remove new values from WeakValueDictionary when collecting from another thread.

bpo-28923 [https://bugs.python.org/issue?@action=redirect&bpo=28923]: Remove editor artifacts from Tix.py.

bpo-28871 [https://bugs.python.org/issue?@action=redirect&bpo=28871]: Fixed a crash when deallocate deep ElementTree.

bpo-19542 [https://bugs.python.org/issue?@action=redirect&bpo=19542]: Fix bugs in WeakValueDictionary.setdefault() and WeakValueDictionary.pop() when a GC collection happens in another thread.

bpo-20191 [https://bugs.python.org/issue?@action=redirect&bpo=20191]: Fixed a crash in resource.prlimit() when passing a sequence that doesn’t own its elements as limits.

bpo-16255 [https://bugs.python.org/issue?@action=redirect&bpo=16255]: subprocess.Popen uses /system/bin/sh on Android as the shell, instead of /bin/sh.

bpo-28779 [https://bugs.python.org/issue?@action=redirect&bpo=28779]: multiprocessing.set_forkserver_preload() would crash the forkserver process if a preloaded module instantiated some multiprocessing objects such as locks.

bpo-26937 [https://bugs.python.org/issue?@action=redirect&bpo=26937]: The chown() method of the tarfile.TarFile class does not fail now when the grp module cannot be imported, as for example on Android platforms.

bpo-28847 [https://bugs.python.org/issue?@action=redirect&bpo=28847]: dbm.dumb now supports reading read-only files and no longer writes the index file when it is not changed. A deprecation warning is now emitted if the index file is missed and recreated in the ‘r’ and ‘w’ modes (will be an error in future Python releases).

bpo-27030 [https://bugs.python.org/issue?@action=redirect&bpo=27030]: Unknown escapes consisting of '\' and an ASCII letter in re.sub() replacement templates regular expressions now are errors.

bpo-28835 [https://bugs.python.org/issue?@action=redirect&bpo=28835]: Fix a regression introduced in warnings.catch_warnings(): call warnings.showwarning() if it was overridden inside the context manager.

bpo-27172 [https://bugs.python.org/issue?@action=redirect&bpo=27172]: To assist with upgrades from 2.7, the previously documented deprecation of inspect.getfullargspec() has been reversed. This decision may be revisited again after the Python 2.7 branch is no longer officially supported.

bpo-28740 [https://bugs.python.org/issue?@action=redirect&bpo=28740]: Add sys.getandroidapilevel(): return the build time API version of Android as an integer. Function only available on Android.

bpo-26273 [https://bugs.python.org/issue?@action=redirect&bpo=26273]: Add new socket.TCP_CONGESTION (Linux 2.6.13) and socket.TCP_USER_TIMEOUT (Linux 2.6.37) constants. Patch written by Omar Sandoval.

bpo-28752 [https://bugs.python.org/issue?@action=redirect&bpo=28752]: Restored the __reduce__() methods of datetime objects.

bpo-28727 [https://bugs.python.org/issue?@action=redirect&bpo=28727]: Regular expression patterns, _sre.SRE_Pattern objects created by re.compile(), become comparable (only x==y and x!=y operators). This change should fix the bpo-18383 [https://bugs.python.org/issue?@action=redirect&bpo=18383]: don’t duplicate warning filters when the warnings module is reloaded (thing usually only done in unit tests).

bpo-20572 [https://bugs.python.org/issue?@action=redirect&bpo=20572]: Remove the subprocess.Popen.wait endtime parameter. It was deprecated in 3.4 and undocumented prior to that.

bpo-25659 [https://bugs.python.org/issue?@action=redirect&bpo=25659]: In ctypes, prevent a crash calling the from_buffer() and from_buffer_copy() methods on abstract classes like Array.

bpo-28548 [https://bugs.python.org/issue?@action=redirect&bpo=28548]: In the “http.server” module, parse the protocol version if possible, to avoid using HTTP 0.9 in some error responses.

bpo-19717 [https://bugs.python.org/issue?@action=redirect&bpo=19717]: Makes Path.resolve() succeed on paths that do not exist. Patch by Vajrasky Kok

bpo-28563 [https://bugs.python.org/issue?@action=redirect&bpo=28563]: Fixed possible DoS and arbitrary code execution when handle plural form selections in the gettext module. The expression parser now supports exact syntax supported by GNU gettext.

bpo-28387 [https://bugs.python.org/issue?@action=redirect&bpo=28387]: Fixed possible crash in _io.TextIOWrapper deallocator when the garbage collector is invoked in other thread. Based on patch by Sebastian Cufre.

bpo-27517 [https://bugs.python.org/issue?@action=redirect&bpo=27517]: LZMA compressor and decompressor no longer raise exceptions if given empty data twice. Patch by Benjamin Fogle.

bpo-28549 [https://bugs.python.org/issue?@action=redirect&bpo=28549]: Fixed segfault in curses’s addch() with ncurses6.

bpo-28449 [https://bugs.python.org/issue?@action=redirect&bpo=28449]: tarfile.open() with mode “r” or “r:” now tries to open a tar file with compression before trying to open it without compression. Otherwise it had 50% chance failed with ignore_zeros=True.

bpo-23262 [https://bugs.python.org/issue?@action=redirect&bpo=23262]: The webbrowser module now supports Firefox 36+ and derived browsers. Based on patch by Oleg Broytman.

bpo-24241 [https://bugs.python.org/issue?@action=redirect&bpo=24241]: The webbrowser in an X environment now prefers using the default browser directly. Also, the webbrowser register() function now has a documented ‘preferred’ argument, to specify browsers to be returned by get() with no arguments. Patch by David Steele

bpo-27939 [https://bugs.python.org/issue?@action=redirect&bpo=27939]: Fixed bugs in tkinter.ttk.LabeledScale and tkinter.Scale caused by representing the scale as float value internally in Tk. tkinter.IntVar now works if float value is set to underlying Tk variable.

bpo-28255 [https://bugs.python.org/issue?@action=redirect&bpo=28255]: calendar.TextCalendar.prweek() no longer prints a space after a weeks’s calendar. calendar.TextCalendar.pryear() no longer prints redundant newline after a year’s calendar. Based on patch by Xiang Zhang.

bpo-28255 [https://bugs.python.org/issue?@action=redirect&bpo=28255]: calendar.TextCalendar.prmonth() no longer prints a space at the start of new line after printing a month’s calendar. Patch by Xiang Zhang.

bpo-20491 [https://bugs.python.org/issue?@action=redirect&bpo=20491]: The textwrap.TextWrapper class now honors non-breaking spaces. Based on patch by Kaarle Ritvanen.

bpo-28353 [https://bugs.python.org/issue?@action=redirect&bpo=28353]: os.fwalk() no longer fails on broken links.

bpo-28430 [https://bugs.python.org/issue?@action=redirect&bpo=28430]: Fix iterator of C implemented asyncio.Future doesn’t accept non-None value is passed to it.send(val).

bpo-27025 [https://bugs.python.org/issue?@action=redirect&bpo=27025]: Generated names for Tkinter widgets now start by the “!” prefix for readability.

bpo-25464 [https://bugs.python.org/issue?@action=redirect&bpo=25464]: Fixed HList.header_exists() in tkinter.tix module by addin a workaround to Tix library bug.

bpo-28488 [https://bugs.python.org/issue?@action=redirect&bpo=28488]: shutil.make_archive() no longer adds entry “./” to ZIP archive.

bpo-25953 [https://bugs.python.org/issue?@action=redirect&bpo=25953]: re.sub() now raises an error for invalid numerical group reference in replacement template even if the pattern is not found in the string. Error message for invalid group reference now includes the group index and the position of the reference. Based on patch by SilentGhost.

bpo-28469 [https://bugs.python.org/issue?@action=redirect&bpo=28469]: timeit now uses the sequence 1, 2, 5, 10, 20, 50,… instead of 1, 10, 100,… for autoranging.

bpo-28115 [https://bugs.python.org/issue?@action=redirect&bpo=28115]: Command-line interface of the zipfile module now uses argparse. Added support of long options.

bpo-18219 [https://bugs.python.org/issue?@action=redirect&bpo=18219]: Optimize csv.DictWriter for large number of columns. Patch by Mariatta Wijaya.

bpo-28448 [https://bugs.python.org/issue?@action=redirect&bpo=28448]: Fix C implemented asyncio.Future didn’t work on Windows.

bpo-23214 [https://bugs.python.org/issue?@action=redirect&bpo=23214]: In the “io” module, the argument to BufferedReader and BytesIO’s read1() methods is now optional and can be -1, matching the BufferedIOBase specification.

bpo-28480 [https://bugs.python.org/issue?@action=redirect&bpo=28480]: Fix error building socket module when multithreading is disabled.

bpo-28240 [https://bugs.python.org/issue?@action=redirect&bpo=28240]: timeit: remove -c/--clock and -t/--time command line options which were deprecated since Python 3.3.

bpo-28240 [https://bugs.python.org/issue?@action=redirect&bpo=28240]: timeit now repeats the benchmarks 5 times instead of only 3 to make benchmarks more reliable.

bpo-28240 [https://bugs.python.org/issue?@action=redirect&bpo=28240]: timeit autorange now uses a single loop iteration if the benchmark takes less than 10 seconds, instead of 10 iterations. “python3 -m timeit -s ‘import time’ ‘time.sleep(1)’” now takes 4 seconds instead of 40 seconds.

Distutils.sdist now looks for README and setup.py files with case sensitivity. This behavior matches that found in Setuptools 6.0 and later. See setuptools 100 [https://github.com/pypa/setuptools/issues/100] for rationale.

bpo-24452 [https://bugs.python.org/issue?@action=redirect&bpo=24452]: Make webbrowser support Chrome on Mac OS X. Patch by Ned Batchelder.

bpo-20766 [https://bugs.python.org/issue?@action=redirect&bpo=20766]: Fix references leaked by pdb in the handling of SIGINT handlers.

bpo-27998 [https://bugs.python.org/issue?@action=redirect&bpo=27998]: Fixed bytes path support in os.scandir() on Windows. Patch by Eryk Sun.

bpo-28317 [https://bugs.python.org/issue?@action=redirect&bpo=28317]: The disassembler now decodes FORMAT_VALUE argument.

bpo-28380 [https://bugs.python.org/issue?@action=redirect&bpo=28380]: unittest.mock Mock autospec functions now properly support assert_called, assert_not_called, and assert_called_once.

bpo-28229 [https://bugs.python.org/issue?@action=redirect&bpo=28229]: lzma module now supports pathlib.

bpo-28321 [https://bugs.python.org/issue?@action=redirect&bpo=28321]: Fixed writing non-BMP characters with binary format in plistlib.

bpo-28225 [https://bugs.python.org/issue?@action=redirect&bpo=28225]: bz2 module now supports pathlib. Initial patch by Ethan Furman.

bpo-28227 [https://bugs.python.org/issue?@action=redirect&bpo=28227]: gzip now supports pathlib. Patch by Ethan Furman.

bpo-28332 [https://bugs.python.org/issue?@action=redirect&bpo=28332]: Deprecated silent truncations in socket.htons and socket.ntohs. Original patch by Oren Milman.

bpo-27358 [https://bugs.python.org/issue?@action=redirect&bpo=27358]: Optimized merging var-keyword arguments and improved error message when passing a non-mapping as a var-keyword argument.

bpo-28257 [https://bugs.python.org/issue?@action=redirect&bpo=28257]: Improved error message when passing a non-iterable as a var-positional argument. Added opcode BUILD_TUPLE_UNPACK_WITH_CALL.

bpo-28322 [https://bugs.python.org/issue?@action=redirect&bpo=28322]: Fixed possible crashes when unpickle itertools objects from incorrect pickle data. Based on patch by John Leitch.

bpo-28228 [https://bugs.python.org/issue?@action=redirect&bpo=28228]: imghdr now supports pathlib.

bpo-28226 [https://bugs.python.org/issue?@action=redirect&bpo=28226]: compileall now supports pathlib.

bpo-28314 [https://bugs.python.org/issue?@action=redirect&bpo=28314]: Fix function declaration (C flags) for the getiterator() method of xml.etree.ElementTree.Element.

bpo-28148 [https://bugs.python.org/issue?@action=redirect&bpo=28148]: Stop using localtime() and gmtime() in the time module. Introduced platform independent _PyTime_localtime API that is similar to POSIX localtime_r, but available on all platforms. Patch by Ed Schouten.

bpo-28253 [https://bugs.python.org/issue?@action=redirect&bpo=28253]: Fixed calendar functions for extreme months: 0001-01 and 9999-12. Methods itermonthdays() and itermonthdays2() are reimplemented so that they don’t call itermonthdates() which can cause datetime.date under/overflow.

bpo-28275 [https://bugs.python.org/issue?@action=redirect&bpo=28275]: Fixed possible use after free in the decompress() methods of the LZMADecompressor and BZ2Decompressor classes. Original patch by John Leitch.

bpo-27897 [https://bugs.python.org/issue?@action=redirect&bpo=27897]: Fixed possible crash in sqlite3.Connection.create_collation() if pass invalid string-like object as a name. Patch by Xiang Zhang.

bpo-18844 [https://bugs.python.org/issue?@action=redirect&bpo=18844]: random.choices() now has k as a keyword-only argument to improve the readability of common cases and come into line with the signature used in other languages.

bpo-18893 [https://bugs.python.org/issue?@action=redirect&bpo=18893]: Fix invalid exception handling in Lib/ctypes/macholib/dyld.py. Patch by Madison May.

bpo-27611 [https://bugs.python.org/issue?@action=redirect&bpo=27611]: Fixed support of default root window in the tkinter.tix module. Added the master parameter in the DisplayStyle constructor.

bpo-27348 [https://bugs.python.org/issue?@action=redirect&bpo=27348]: In the traceback module, restore the formatting of exception messages like “Exception: None”. This fixes a regression introduced in 3.5a2.

bpo-25651 [https://bugs.python.org/issue?@action=redirect&bpo=25651]: Allow false values to be used for msg parameter of subTest().

bpo-27778 [https://bugs.python.org/issue?@action=redirect&bpo=27778]: Fix a memory leak in os.getrandom() when the getrandom() is interrupted by a signal and a signal handler raises a Python exception.

bpo-28200 [https://bugs.python.org/issue?@action=redirect&bpo=28200]: Fix memory leak on Windows in the os module (fix path_converter() function).

bpo-25400 [https://bugs.python.org/issue?@action=redirect&bpo=25400]: RobotFileParser now correctly returns default values for crawl_delay and request_rate. Initial patch by Peter Wirtz.

bpo-27932 [https://bugs.python.org/issue?@action=redirect&bpo=27932]: Prevent memory leak in win32_ver().

Fix UnboundLocalError in socket._sendfile_use_sendfile.

bpo-28075 [https://bugs.python.org/issue?@action=redirect&bpo=28075]: Check for ERROR_ACCESS_DENIED in Windows implementation of os.stat(). Patch by Eryk Sun.

bpo-22493 [https://bugs.python.org/issue?@action=redirect&bpo=22493]: Warning message emitted by using inline flags in the middle of regular expression now contains a (truncated) regex pattern. Patch by Tim Graham.

bpo-25270 [https://bugs.python.org/issue?@action=redirect&bpo=25270]: Prevent codecs.escape_encode() from raising SystemError when an empty bytestring is passed.

bpo-28181 [https://bugs.python.org/issue?@action=redirect&bpo=28181]: Get antigravity over HTTPS. Patch by Kaartic Sivaraam.

bpo-25895 [https://bugs.python.org/issue?@action=redirect&bpo=25895]: Enable WebSocket URL schemes in urllib.parse.urljoin. Patch by Gergely Imreh and Markus Holtermann.

bpo-28114 [https://bugs.python.org/issue?@action=redirect&bpo=28114]: Fix a crash in parse_envlist() when env contains byte strings. Patch by Eryk Sun.

bpo-27599 [https://bugs.python.org/issue?@action=redirect&bpo=27599]: Fixed buffer overrun in binascii.b2a_qp() and binascii.a2b_qp().

bpo-27906 [https://bugs.python.org/issue?@action=redirect&bpo=27906]: Fix socket accept exhaustion during high TCP traffic. Patch by Kevin Conway.

bpo-28174 [https://bugs.python.org/issue?@action=redirect&bpo=28174]: Handle when SO_REUSEPORT isn’t properly supported. Patch by Seth Michael Larson.

bpo-26654 [https://bugs.python.org/issue?@action=redirect&bpo=26654]: Inspect functools.partial in asyncio.Handle.__repr__. Patch by iceboy.

bpo-26909 [https://bugs.python.org/issue?@action=redirect&bpo=26909]: Fix slow pipes IO in asyncio. Patch by INADA Naoki.

bpo-28176 [https://bugs.python.org/issue?@action=redirect&bpo=28176]: Fix callbacks race in asyncio.SelectorLoop.sock_connect.

bpo-27759 [https://bugs.python.org/issue?@action=redirect&bpo=27759]: Fix selectors incorrectly retain invalid file descriptors. Patch by Mark Williams.

bpo-28325 [https://bugs.python.org/issue?@action=redirect&bpo=28325]: Remove vestigial MacOS 9 macurl2path module and its tests.

bpo-28368 [https://bugs.python.org/issue?@action=redirect&bpo=28368]: Refuse monitoring processes if the child watcher has no loop attached. Patch by Vincent Michel.

bpo-28369 [https://bugs.python.org/issue?@action=redirect&bpo=28369]: Raise RuntimeError when transport’s FD is used with add_reader, add_writer, etc.

bpo-28370 [https://bugs.python.org/issue?@action=redirect&bpo=28370]: Speedup asyncio.StreamReader.readexactly. Patch by Коренберг Марк.

bpo-28371 [https://bugs.python.org/issue?@action=redirect&bpo=28371]: Deprecate passing asyncio.Handles to run_in_executor.

bpo-28372 [https://bugs.python.org/issue?@action=redirect&bpo=28372]: Fix asyncio to support formatting of non-python coroutines.

bpo-28399 [https://bugs.python.org/issue?@action=redirect&bpo=28399]: Remove UNIX socket from FS before binding. Patch by Коренберг Марк.

bpo-27972 [https://bugs.python.org/issue?@action=redirect&bpo=27972]: Prohibit Tasks to await on themselves.

bpo-24142 [https://bugs.python.org/issue?@action=redirect&bpo=24142]: Reading a corrupt config file left configparser in an invalid state. Original patch by Florian Höch.

bpo-29581 [https://bugs.python.org/issue?@action=redirect&bpo=29581]: ABCMeta.__new__ now accepts **kwargs, allowing abstract base classes to use keyword parameters in __init_subclass__. Patch by Nate Soares.

bpo-25532 [https://bugs.python.org/issue?@action=redirect&bpo=25532]: inspect.unwrap() will now only try to unwrap an object sys.getrecursionlimit() times, to protect against objects which create a new object on every attribute access.

bpo-30177 [https://bugs.python.org/issue?@action=redirect&bpo=30177]: path.resolve(strict=False) no longer cuts the path after the first element not present in the filesystem. Patch by Antoine Pietri.

Documentation

bpo-31294 [https://bugs.python.org/issue?@action=redirect&bpo=31294]: Fix incomplete code snippet in the ZeroMQSocketListener and ZeroMQSocketHandler examples and adapt them to Python 3.

bpo-21649 [https://bugs.python.org/issue?@action=redirect&bpo=21649]: Add RFC 7525 and Mozilla server side TLS links to SSL documentation.

bpo-31128 [https://bugs.python.org/issue?@action=redirect&bpo=31128]: Allow the pydoc server to bind to arbitrary hostnames.

bpo-30803 [https://bugs.python.org/issue?@action=redirect&bpo=30803]: Clarify doc on truth value testing. Original patch by Peter Thomassen.

bpo-30176 [https://bugs.python.org/issue?@action=redirect&bpo=30176]: Add missing attribute related constants in curses documentation.

bpo-30052 [https://bugs.python.org/issue?@action=redirect&bpo=30052]: the link targets for bytes() and bytearray() are now their respective type definitions, rather than the corresponding builtin function entries. Use bytes and bytearray to reference the latter. In order to ensure this and future cross-reference updates are applied automatically, the daily documentation builds now disable the default output caching features in Sphinx.

bpo-26985 [https://bugs.python.org/issue?@action=redirect&bpo=26985]: Add missing info of code object in inspect documentation.

bpo-19824 [https://bugs.python.org/issue?@action=redirect&bpo=19824]: Improve the documentation for, and links to, template strings by emphasizing their utility for internationalization, and by clarifying some usage constraints. (See also: bpo-20314 [https://bugs.python.org/issue?@action=redirect&bpo=20314], bpo-12518 [https://bugs.python.org/issue?@action=redirect&bpo=12518])

bpo-28929 [https://bugs.python.org/issue?@action=redirect&bpo=28929]: Link the documentation to its source file on GitHub.

bpo-25008 [https://bugs.python.org/issue?@action=redirect&bpo=25008]: Document smtpd.py as effectively deprecated and add a pointer to aiosmtpd, a third-party asyncio-based replacement.

bpo-26355 [https://bugs.python.org/issue?@action=redirect&bpo=26355]: Add canonical header link on each page to corresponding major version of the documentation. Patch by Matthias Bussonnier.

bpo-29349 [https://bugs.python.org/issue?@action=redirect&bpo=29349]: Fix Python 2 syntax in code for building the documentation.

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: The data model reference and the porting section in the 3.6 What’s New guide now cover the additional __classcell__ handling needed for custom metaclasses to fully support PEP 487 [https://peps.python.org/pep-0487/] and zero-argument super().

bpo-28513 [https://bugs.python.org/issue?@action=redirect&bpo=28513]: Documented command-line interface of zipfile.

Tests

bpo-29639 [https://bugs.python.org/issue?@action=redirect&bpo=29639]: test.support.HOST is now “localhost”, a new HOSTv4 constant has been added for your 127.0.0.1 needs, similar to the existing HOSTv6 constant.

bpo-31320 [https://bugs.python.org/issue?@action=redirect&bpo=31320]: Silence traceback in test_ssl

bpo-31346 [https://bugs.python.org/issue?@action=redirect&bpo=31346]: Prefer PROTOCOL_TLS_CLIENT and PROTOCOL_TLS_SERVER protocols for SSLContext.

bpo-25674 [https://bugs.python.org/issue?@action=redirect&bpo=25674]: Remove sha256.tbs-internet.com ssl test

bpo-30715 [https://bugs.python.org/issue?@action=redirect&bpo=30715]: Address ALPN callback changes for OpenSSL 1.1.0f. The latest version behaves like OpenSSL 1.0.2 and no longer aborts handshake.

bpo-30822 [https://bugs.python.org/issue?@action=redirect&bpo=30822]: regrtest: Exclude tzdata from regrtest –all. When running the test suite using –use=all / -u all, exclude tzdata since it makes test_datetime too slow (15-20 min on some buildbots) which then times out on some buildbots. Fix also regrtest command line parser to allow passing -u extralargefile to run test_zipfile64.

bpo-30695 [https://bugs.python.org/issue?@action=redirect&bpo=30695]: Add the set_nomemory(start, stop) and remove_mem_hooks() functions to the _testcapi module.

bpo-30357 [https://bugs.python.org/issue?@action=redirect&bpo=30357]: test_thread: setUp() now uses support.threading_setup() and support.threading_cleanup() to wait until threads complete to avoid random side effects on following tests. Initial patch written by Grzegorz Grzywacz.

bpo-30197 [https://bugs.python.org/issue?@action=redirect&bpo=30197]: Enhanced functions swap_attr() and swap_item() in the test.support module. They now work when delete replaced attribute or item inside the with statement. The old value of the attribute or item (or None if it doesn’t exist) now will be assigned to the target of the “as” clause, if there is one.

bpo-24932 [https://bugs.python.org/issue?@action=redirect&bpo=24932]: Use proper command line parsing in _testembed

bpo-28950 [https://bugs.python.org/issue?@action=redirect&bpo=28950]: Disallow -j0 to be combined with -T/-l in regrtest command line arguments.

bpo-28683 [https://bugs.python.org/issue?@action=redirect&bpo=28683]: Fix the tests that bind() a unix socket and raise PermissionError on Android for a non-root user.

bpo-26936 [https://bugs.python.org/issue?@action=redirect&bpo=26936]: Fix the test_socket failures on Android - getservbyname(), getservbyport() and getaddrinfo() are broken on some Android API levels.

bpo-28666 [https://bugs.python.org/issue?@action=redirect&bpo=28666]: Now test.support.rmtree is able to remove unwritable or unreadable directories.

bpo-23839 [https://bugs.python.org/issue?@action=redirect&bpo=23839]: Various caches now are cleared before running every test file.

bpo-26944 [https://bugs.python.org/issue?@action=redirect&bpo=26944]: Fix test_posix for Android where ‘id -G’ is entirely wrong or missing the effective gid.

bpo-28409 [https://bugs.python.org/issue?@action=redirect&bpo=28409]: regrtest: fix the parser of command line arguments.

bpo-28217 [https://bugs.python.org/issue?@action=redirect&bpo=28217]: Adds _testconsole module to test console input.

bpo-26939 [https://bugs.python.org/issue?@action=redirect&bpo=26939]: Add the support.setswitchinterval() function to fix test_functools hanging on the Android armv7 qemu emulator.

Build

bpo-31354 [https://bugs.python.org/issue?@action=redirect&bpo=31354]: Allow --with-lto to be used on all builds, not just make profile-opt.

bpo-31370 [https://bugs.python.org/issue?@action=redirect&bpo=31370]: Remove support for building –without-threads. This option is not really useful anymore in the 21st century. Removing lots of conditional paths allows us to simplify the code base, including in difficult to maintain low-level internal code.

bpo-31341 [https://bugs.python.org/issue?@action=redirect&bpo=31341]: Per PEP 11 [https://peps.python.org/pep-0011/], support for the IRIX operating system was removed.

bpo-30854 [https://bugs.python.org/issue?@action=redirect&bpo=30854]: Fix compile error when compiling –without-threads. Patch by Masayuki Yamamoto.

bpo-30687 [https://bugs.python.org/issue?@action=redirect&bpo=30687]: Locate msbuild.exe on Windows when building rather than vcvarsall.bat

bpo-20210 [https://bugs.python.org/issue?@action=redirect&bpo=20210]: Support the disabled marker in Setup files. Extension modules listed after this marker are not built at all, neither by the Makefile nor by setup.py.

bpo-29941 [https://bugs.python.org/issue?@action=redirect&bpo=29941]: Add --with-assertions configure flag to explicitly enable C assert() checks. Defaults to off. --with-pydebug implies --with-assertions.

bpo-28787 [https://bugs.python.org/issue?@action=redirect&bpo=28787]: Fix out-of-tree builds of Python when configured with --with--dtrace.

bpo-29243 [https://bugs.python.org/issue?@action=redirect&bpo=29243]: Prevent unnecessary rebuilding of Python during make test, make install and some other make targets when configured with --enable-optimizations.

bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404]: Don’t regenerate generated files based on file modification time anymore: the action is now explicit. Replace make touch with make regen-all.

bpo-29643 [https://bugs.python.org/issue?@action=redirect&bpo=29643]: Fix --enable-optimization didn’t work.

bpo-27593 [https://bugs.python.org/issue?@action=redirect&bpo=27593]: sys.version and the platform module python_build(), python_branch(), and python_revision() functions now use git information rather than hg when building from a repo.

bpo-29572 [https://bugs.python.org/issue?@action=redirect&bpo=29572]: Update Windows build and OS X installers to use OpenSSL 1.0.2k.

bpo-27659 [https://bugs.python.org/issue?@action=redirect&bpo=27659]: Prohibit implicit C function declarations: use -Werror=implicit-function-declaration when possible (GCC and Clang, but it depends on the compiler version). Patch written by Chi Hsuan Yen.

bpo-29384 [https://bugs.python.org/issue?@action=redirect&bpo=29384]: Remove old Be OS helper scripts.

bpo-26851 [https://bugs.python.org/issue?@action=redirect&bpo=26851]: Set Android compilation and link flags.

bpo-28768 [https://bugs.python.org/issue?@action=redirect&bpo=28768]: Fix implicit declaration of function _setmode. Patch by Masayuki Yamamoto

bpo-29080 [https://bugs.python.org/issue?@action=redirect&bpo=29080]: Removes hard dependency on hg.exe from PCBuild/build.bat

bpo-23903 [https://bugs.python.org/issue?@action=redirect&bpo=23903]: Added missed names to PC/python3.def.

bpo-28762 [https://bugs.python.org/issue?@action=redirect&bpo=28762]: lockf() is available on Android API level 24, but the F_LOCK macro is not defined in android-ndk-r13.

bpo-28538 [https://bugs.python.org/issue?@action=redirect&bpo=28538]: Fix the compilation error that occurs because if_nameindex() is available on Android API level 24, but the if_nameindex structure is not defined.

bpo-20211 [https://bugs.python.org/issue?@action=redirect&bpo=20211]: Do not add the directory for installing C header files and the directory for installing object code libraries to the cross compilation search paths. Original patch by Thomas Petazzoni.

bpo-28849 [https://bugs.python.org/issue?@action=redirect&bpo=28849]: Do not define sys.implementation._multiarch on Android.

bpo-10656 [https://bugs.python.org/issue?@action=redirect&bpo=10656]: Fix out-of-tree building on AIX. Patch by Tristan Carel and Michael Haubenwallner.

bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359]: Rename –with-optimiations to –enable-optimizations.

bpo-28444 [https://bugs.python.org/issue?@action=redirect&bpo=28444]: Fix missing extensions modules when cross compiling.

bpo-28208 [https://bugs.python.org/issue?@action=redirect&bpo=28208]: Update Windows build and OS X installers to use SQLite 3.14.2.

bpo-28248 [https://bugs.python.org/issue?@action=redirect&bpo=28248]: Update Windows build and OS X installers to use OpenSSL 1.0.2j.

bpo-21124 [https://bugs.python.org/issue?@action=redirect&bpo=21124]: Fix building the _struct module on Cygwin by passing NULL instead of &PyType_Type to PyVarObject_HEAD_INIT. Patch by Masayuki Yamamoto.

bpo-13756 [https://bugs.python.org/issue?@action=redirect&bpo=13756]: Fix building extensions modules on Cygwin. Patch by Roumen Petrov, based on original patch by Jason Tishler.

bpo-21085 [https://bugs.python.org/issue?@action=redirect&bpo=21085]: Add configure check for siginfo_t.si_band, which Cygwin does not provide. Patch by Masayuki Yamamoto with review and rebase by Erik Bray.

bpo-28258 [https://bugs.python.org/issue?@action=redirect&bpo=28258]: Fixed build with Estonian locale (python-config and distclean targets in Makefile). Patch by Arfrever Frehtes Taifersar Arahesis.

bpo-26661 [https://bugs.python.org/issue?@action=redirect&bpo=26661]: setup.py now detects system libffi with multiarch wrapper.

bpo-27979 [https://bugs.python.org/issue?@action=redirect&bpo=27979]: A full copy of libffi is no longer bundled for use when building _ctypes on non-OSX UNIX platforms. An installed copy of libffi is now required when building _ctypes on such platforms.

bpo-15819 [https://bugs.python.org/issue?@action=redirect&bpo=15819]: Remove redundant include search directory option for building outside the source tree.

bpo-28676 [https://bugs.python.org/issue?@action=redirect&bpo=28676]: Prevent missing ‘getentropy’ declaration warning on macOS. Patch by Gareth Rees.

Windows

bpo-31392 [https://bugs.python.org/issue?@action=redirect&bpo=31392]: Update Windows build to use OpenSSL 1.1.0f

bpo-30389 [https://bugs.python.org/issue?@action=redirect&bpo=30389]: Adds detection of Visual Studio 2017 to distutils on Windows.

bpo-31358 [https://bugs.python.org/issue?@action=redirect&bpo=31358]: zlib is no longer bundled in the CPython source, instead it is downloaded on demand just like bz2, lzma, OpenSSL, Tcl/Tk, and SQLite.

bpo-31340 [https://bugs.python.org/issue?@action=redirect&bpo=31340]: Change to building with MSVC v141 (included with Visual Studio 2017)

bpo-30581 [https://bugs.python.org/issue?@action=redirect&bpo=30581]: os.cpu_count() now returns the correct number of processors on Windows when the number of logical processors is greater than 64.

bpo-30916 [https://bugs.python.org/issue?@action=redirect&bpo=30916]: Pre-build OpenSSL, Tcl and Tk and include the binaries in the build.

bpo-30731 [https://bugs.python.org/issue?@action=redirect&bpo=30731]: Add a missing xmlns to python.manifest so that it matches the schema.

bpo-30291 [https://bugs.python.org/issue?@action=redirect&bpo=30291]: Allow requiring 64-bit interpreters from py.exe using -64 suffix. Contributed by Steve (Gadget) Barnes.

bpo-30362 [https://bugs.python.org/issue?@action=redirect&bpo=30362]: Adds list options (-0, -0p) to py.exe launcher. Contributed by Steve Barnes.

bpo-23451 [https://bugs.python.org/issue?@action=redirect&bpo=23451]: Fix socket deprecation warnings in socketmodule.c. Patch by Segev Finer.

bpo-30450 [https://bugs.python.org/issue?@action=redirect&bpo=30450]: The build process on Windows no longer depends on Subversion, instead pulling external code from GitHub via a Python script. If Python 3.6 is not found on the system (via py -3.6), NuGet is used to download a copy of 32-bit Python.

bpo-29579 [https://bugs.python.org/issue?@action=redirect&bpo=29579]: Removes readme.txt from the installer.

bpo-25778 [https://bugs.python.org/issue?@action=redirect&bpo=25778]: winreg does not truncate string correctly (Patch by Eryk Sun)

bpo-28896 [https://bugs.python.org/issue?@action=redirect&bpo=28896]: Deprecate WindowsRegistryFinder and disable it by default

bpo-28522 [https://bugs.python.org/issue?@action=redirect&bpo=28522]: Fixes mishandled buffer reallocation in getpathp.c

bpo-28402 [https://bugs.python.org/issue?@action=redirect&bpo=28402]: Adds signed catalog files for stdlib on Windows.

bpo-28333 [https://bugs.python.org/issue?@action=redirect&bpo=28333]: Enables Unicode for ps1/ps2 and input() prompts. (Patch by Eryk Sun)

bpo-28251 [https://bugs.python.org/issue?@action=redirect&bpo=28251]: Improvements to help manuals on Windows.

bpo-28110 [https://bugs.python.org/issue?@action=redirect&bpo=28110]: launcher.msi has different product codes between 32-bit and 64-bit

bpo-28161 [https://bugs.python.org/issue?@action=redirect&bpo=28161]: Opening CON for write access fails

bpo-28162 [https://bugs.python.org/issue?@action=redirect&bpo=28162]: WindowsConsoleIO readall() fails if first line starts with Ctrl+Z

bpo-28163 [https://bugs.python.org/issue?@action=redirect&bpo=28163]: WindowsConsoleIO fileno() passes wrong flags to _open_osfhandle

bpo-28164 [https://bugs.python.org/issue?@action=redirect&bpo=28164]: _PyIO_get_console_type fails for various paths

bpo-28137 [https://bugs.python.org/issue?@action=redirect&bpo=28137]: Renames Windows path file to ._pth

bpo-28138 [https://bugs.python.org/issue?@action=redirect&bpo=28138]: Windows ._pth file should allow import site

IDLE

bpo-31493 [https://bugs.python.org/issue?@action=redirect&bpo=31493]: IDLE code context – fix code update and font update timers. Canceling timers prevents a warning message when test_idle completes.

bpo-31488 [https://bugs.python.org/issue?@action=redirect&bpo=31488]: IDLE - Update non-key options in former extension classes. When applying configdialog changes, call .reload for each feature class. Change ParenMatch so updated options affect existing instances attached to existing editor windows.

bpo-31477 [https://bugs.python.org/issue?@action=redirect&bpo=31477]: IDLE - Improve rstrip entry in doc. Strip trailing whitespace strips more than blank spaces. Multiline string literals are not skipped.

bpo-31480 [https://bugs.python.org/issue?@action=redirect&bpo=31480]: IDLE - make tests pass with zzdummy extension disabled by default.

bpo-31421 [https://bugs.python.org/issue?@action=redirect&bpo=31421]: Document how IDLE runs tkinter programs. IDLE calls tcl/tk update in the background in order to make live interaction and experimentation with tkinter applications much easier.

bpo-31414 [https://bugs.python.org/issue?@action=redirect&bpo=31414]: IDLE – fix tk entry box tests by deleting first. Adding to an int entry is not the same as deleting and inserting because int(‘’) will fail.

bpo-31051 [https://bugs.python.org/issue?@action=redirect&bpo=31051]: Rearrange IDLE configdialog GenPage into Window, Editor, and Help sections.

bpo-30617 [https://bugs.python.org/issue?@action=redirect&bpo=30617]: IDLE - Add docstrings and tests for outwin subclass of editor. Move some data and functions from the class to module level. Patch by Cheryl Sabella.

bpo-31287 [https://bugs.python.org/issue?@action=redirect&bpo=31287]: IDLE - Do not modify tkinter.message in test_configdialog.

bpo-27099 [https://bugs.python.org/issue?@action=redirect&bpo=27099]: Convert IDLE’s built-in ‘extensions’ to regular features. About 10 IDLE features were implemented as supposedly optional extensions. Their different behavior could be confusing or worse for users and not good for maintenance. Hence the conversion. The main difference for users is that user configurable key bindings for builtin features are now handled uniformly. Now, editing a binding in a keyset only affects its value in the keyset. All bindings are defined together in the system-specific default keysets in config-extensions.def. All custom keysets are saved as a whole in config-extension.cfg. All take effect as soon as one clicks Apply or Ok. The affected events are ‘<<force-open-completions>>’, ‘<<expand-word>>’, ‘<<force-open-calltip>>’, ‘<<flash-paren>>’, ‘<<format-paragraph>>’, ‘<<run-module>>’, ‘<<check-module>>’, and ‘<<zoom-height>>’. Any (global) customizations made before 3.6.3 will not affect their keyset-specific customization after 3.6.3. and vice versa. Initial patch by Charles Wohlganger.

bpo-31206 [https://bugs.python.org/issue?@action=redirect&bpo=31206]: IDLE: Factor HighPage(Frame) class from ConfigDialog. Patch by Cheryl Sabella.

bpo-31001 [https://bugs.python.org/issue?@action=redirect&bpo=31001]: Add tests for configdialog highlight tab. Patch by Cheryl Sabella.

bpo-31205 [https://bugs.python.org/issue?@action=redirect&bpo=31205]: IDLE: Factor KeysPage(Frame) class from ConfigDialog. The slightly modified tests continue to pass. Patch by Cheryl Sabella.

bpo-31130 [https://bugs.python.org/issue?@action=redirect&bpo=31130]: IDLE – stop leaks in test_configdialog. Initial patch by Victor Stinner.

bpo-31002 [https://bugs.python.org/issue?@action=redirect&bpo=31002]: Add tests for configdialog keys tab. Patch by Cheryl Sabella.

bpo-19903 [https://bugs.python.org/issue?@action=redirect&bpo=19903]: IDLE: Calltips use inspect.signature instead of inspect.getfullargspec. This improves calltips for builtins converted to use Argument Clinic. Patch by Louie Lu.

bpo-31083 [https://bugs.python.org/issue?@action=redirect&bpo=31083]: IDLE - Add an outline of a TabPage class in configdialog. Update existing classes to match outline. Initial patch by Cheryl Sabella.

bpo-31050 [https://bugs.python.org/issue?@action=redirect&bpo=31050]: Factor GenPage(Frame) class from ConfigDialog. The slightly modified tests continue to pass. Patch by Cheryl Sabella.

bpo-31004 [https://bugs.python.org/issue?@action=redirect&bpo=31004]: IDLE - Factor FontPage(Frame) class from ConfigDialog. Slightly modified tests continue to pass. Fix General tests. Patch mostly by Cheryl Sabella.

bpo-30781 [https://bugs.python.org/issue?@action=redirect&bpo=30781]: IDLE - Use ttk widgets in ConfigDialog. Patches by Terry Jan Reedy and Cheryl Sabella.

bpo-31060 [https://bugs.python.org/issue?@action=redirect&bpo=31060]: IDLE - Finish rearranging methods of ConfigDialog Grouping methods pertaining to each tab and the buttons will aid writing tests and improving the tabs and will enable splitting the groups into classes.

bpo-30853 [https://bugs.python.org/issue?@action=redirect&bpo=30853]: IDLE – Factor a VarTrace class out of ConfigDialog. Instance tracers manages pairs consisting of a tk variable and a callback function. When tracing is turned on, setting the variable calls the function. Test coverage for the new class is 100%.

bpo-31003 [https://bugs.python.org/issue?@action=redirect&bpo=31003]: IDLE: Add more tests for General tab.

bpo-30993 [https://bugs.python.org/issue?@action=redirect&bpo=30993]: IDLE - Improve configdialog font page and tests. In configdialog: Document causal pathways in create_font_tab docstring. Simplify some attribute names. Move set_samples calls to var_changed_font (idea from Cheryl Sabella). Move related functions to positions after the create widgets function. In test_configdialog: Fix test_font_set so not order dependent. Fix renamed test_indent_scale so it tests the widget. Adjust tests for movement of set_samples call. Add tests for load functions. Put all font tests in one class and tab indent tests in another. Except for two lines, these tests completely cover the related functions.

bpo-30981 [https://bugs.python.org/issue?@action=redirect&bpo=30981]: IDLE – Add more configdialog font page tests.

bpo-28523 [https://bugs.python.org/issue?@action=redirect&bpo=28523]: IDLE: replace ‘colour’ with ‘color’ in configdialog.

bpo-30917 [https://bugs.python.org/issue?@action=redirect&bpo=30917]: Add tests for idlelib.config.IdleConf. Increase coverage from 46% to 96%. Patch by Louie Lu.

bpo-30934 [https://bugs.python.org/issue?@action=redirect&bpo=30934]: Document coverage details for idlelib tests. Add section to idlelib/idle-test/README.txt. Include check that branches are taken both ways. Exclude IDLE-specific code that does not run during unit tests.

bpo-30913 [https://bugs.python.org/issue?@action=redirect&bpo=30913]: IDLE: Document ConfigDialog tk Vars, methods, and widgets in docstrings This will facilitate improving the dialog and splitting up the class. Original patch by Cheryl Sabella.

bpo-30899 [https://bugs.python.org/issue?@action=redirect&bpo=30899]: IDLE: Add tests for ConfigParser subclasses in config. Patch by Louie Lu.

bpo-30881 [https://bugs.python.org/issue?@action=redirect&bpo=30881]: IDLE: Add docstrings to browser.py. Patch by Cheryl Sabella.

bpo-30851 [https://bugs.python.org/issue?@action=redirect&bpo=30851]: IDLE: Remove unused variables in configdialog. One is a duplicate, one is set but cannot be altered by users. Patch by Cheryl Sabella.

bpo-30870 [https://bugs.python.org/issue?@action=redirect&bpo=30870]: IDLE: In Settings dialog, select font with Up, Down keys as well as mouse. Initial patch by Louie Lu.

bpo-8231 [https://bugs.python.org/issue?@action=redirect&bpo=8231]: IDLE: call config.IdleConf.GetUserCfgDir only once.

bpo-30779 [https://bugs.python.org/issue?@action=redirect&bpo=30779]: IDLE: Factor ConfigChanges class from configdialog, put in config; test. * In config, put dump test code in a function; run it and unittest in ‘if __name__ == ‘__main__’. * Add class config.ConfigChanges based on changes_class_v4.py on bpo issue. * Add class test_config.ChangesTest, partly using configdialog_tests_v1.py. * Revise configdialog to use ConfigChanges; see tracker msg297804. * Revise test_configdialog to match configdialog changes. * Remove configdialog functions unused or moved to ConfigChanges. Cheryl Sabella contributed parts of the patch.

bpo-30777 [https://bugs.python.org/issue?@action=redirect&bpo=30777]: IDLE: configdialog - Add docstrings and fix comments. Patch by Cheryl Sabella.

bpo-30495 [https://bugs.python.org/issue?@action=redirect&bpo=30495]: IDLE: Improve textview with docstrings, PEP8 names, and more tests. Patch by Cheryl Sabella.

bpo-30723 [https://bugs.python.org/issue?@action=redirect&bpo=30723]: IDLE: Make several improvements to parenmatch. Add ‘parens’ style to highlight both opener and closer. Make ‘default’ style, which is not default, a synonym for ‘opener’. Make time-delay work the same with all styles. Add help for config dialog extensions tab, including help for parenmatch. Add new tests. Original patch by Charles Wohlganger.

bpo-30674 [https://bugs.python.org/issue?@action=redirect&bpo=30674]: IDLE: add docstrings to grep module. Patch by Cheryl Sabella

bpo-21519 [https://bugs.python.org/issue?@action=redirect&bpo=21519]: IDLE’s basic custom key entry dialog now detects duplicates properly. Original patch by Saimadhav Heblikar.

bpo-29910 [https://bugs.python.org/issue?@action=redirect&bpo=29910]: IDLE no longer deletes a character after commenting out a region by a key shortcut. Add return 'break' for this and other potential conflicts between IDLE and default key bindings.

bpo-30728 [https://bugs.python.org/issue?@action=redirect&bpo=30728]: Review and change idlelib.configdialog names. Lowercase method and attribute names. Replace ‘colour’ with ‘color’, expand overly cryptic names, delete unneeded underscores. Replace import * with specific imports. Patches by Cheryl Sabella.

bpo-6739 [https://bugs.python.org/issue?@action=redirect&bpo=6739]: IDLE: Verify user-entered key sequences by trying to bind them with tk. Add tests for all 3 validation functions. Original patch by G Polo. Tests added by Cheryl Sabella.

bpo-15786 [https://bugs.python.org/issue?@action=redirect&bpo=15786]: Fix several problems with IDLE’s autocompletion box. The following should now work: clicking on selection box items; using the scrollbar; selecting an item by hitting Return. Hangs on MacOSX should no longer happen. Patch by Louie Lu.

bpo-25514 [https://bugs.python.org/issue?@action=redirect&bpo=25514]: Add doc subsubsection about IDLE failure to start. Popup no-connection message directs users to this section.

bpo-30642 [https://bugs.python.org/issue?@action=redirect&bpo=30642]: Fix reference leaks in IDLE tests. Patches by Louie Lu and Terry Jan Reedy.

bpo-30495 [https://bugs.python.org/issue?@action=redirect&bpo=30495]: Add docstrings for textview.py and use PEP8 names. Patches by Cheryl Sabella and Terry Jan Reedy.

bpo-30290 [https://bugs.python.org/issue?@action=redirect&bpo=30290]: Help-about: use pep8 names and add tests. Increase coverage to 100%. Patches by Louie Lu, Cheryl Sabella, and Terry Jan Reedy.

bpo-30303 [https://bugs.python.org/issue?@action=redirect&bpo=30303]: Add _utest option to textview; add new tests. Increase coverage to 100%. Patches by Louie Lu and Terry Jan Reedy.

bpo-29071 [https://bugs.python.org/issue?@action=redirect&bpo=29071]: IDLE colors f-string prefixes (but not invalid ur prefixes).

bpo-28572 [https://bugs.python.org/issue?@action=redirect&bpo=28572]: Add 10% to coverage of IDLE’s test_configdialog. Update and augment description of the configuration system.

Tools/Demos

bpo-30983 [https://bugs.python.org/issue?@action=redirect&bpo=30983]: gdb integration commands (py-bt, etc.) work on optimized shared builds now, too. PEP 523 [https://peps.python.org/pep-0523/] introduced _PyEval_EvalFrameDefault which inlines PyEval_EvalFrameEx on non-debug shared builds. This broke the ability to use py-bt, py-up, and a few other Python-specific gdb integrations. The problem is fixed by only looking for _PyEval_EvalFrameDefault frames in python-gdb.py. Original patch by Bruno “Polaco” Penteado.

bpo-29748 [https://bugs.python.org/issue?@action=redirect&bpo=29748]: Added the slice index converter in Argument Clinic.

bpo-24037 [https://bugs.python.org/issue?@action=redirect&bpo=24037]: Argument Clinic now uses the converter bool(accept={int}) rather than int for semantical booleans. This avoids repeating the default value for Python and C and will help in converting to bool in future.

bpo-29367 [https://bugs.python.org/issue?@action=redirect&bpo=29367]: python-gdb.py now supports also method-wrapper (wrapperobject) objects.

bpo-28023 [https://bugs.python.org/issue?@action=redirect&bpo=28023]: Fix python-gdb.py didn’t support new dict implementation.

bpo-15369 [https://bugs.python.org/issue?@action=redirect&bpo=15369]: The pybench and pystone microbenchmark have been removed from Tools. Please use the new Python benchmark suite https://github.com/python/pyperformance which is more reliable and includes a portable version of pybench working on Python 2 and Python 3.

bpo-28102 [https://bugs.python.org/issue?@action=redirect&bpo=28102]: The zipfile module CLI now prints usage to stderr. Patch by Stephen J. Turnbull.

C API

bpo-31338 [https://bugs.python.org/issue?@action=redirect&bpo=31338]: Added the Py_UNREACHABLE() macro for code paths which are never expected to be reached. This and a few other useful macros are now documented in the C API manual.

bpo-30832 [https://bugs.python.org/issue?@action=redirect&bpo=30832]: Remove own implementation for thread-local storage. CPython has provided the own implementation for thread-local storage (TLS) on Python/thread.c, it’s used in the case which a platform has not supplied native TLS. However, currently all supported platforms (Windows and pthreads) have provided native TLS and defined the Py_HAVE_NATIVE_TLS macro with unconditional in any case.

bpo-30708 [https://bugs.python.org/issue?@action=redirect&bpo=30708]: PyUnicode_AsWideCharString() now raises a ValueError if the second argument is NULL and the wchar_t* string contains null characters.

bpo-16500 [https://bugs.python.org/issue?@action=redirect&bpo=16500]: Deprecate PyOS_AfterFork() and add PyOS_BeforeFork(), PyOS_AfterFork_Parent() and PyOS_AfterFork_Child().

bpo-6532 [https://bugs.python.org/issue?@action=redirect&bpo=6532]: The type of results of PyThread_start_new_thread() and PyThread_get_thread_ident(), and the id parameter of PyThreadState_SetAsyncExc() changed from “long” to “unsigned long”.

bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867]: Function PySlice_GetIndicesEx() is deprecated and replaced with a macro if Py_LIMITED_API is not set or set to the value between 0x03050400 and 0x03060000 (not including) or 0x03060100 or higher. Added functions PySlice_Unpack() and PySlice_AdjustIndices().

bpo-29083 [https://bugs.python.org/issue?@action=redirect&bpo=29083]: Fixed the declaration of some public API functions. PyArg_VaParse() and PyArg_VaParseTupleAndKeywords() were not available in limited API. PyArg_ValidateKeywordArguments(), PyArg_UnpackTuple() and Py_BuildValue() were not available in limited API of version < 3.3 when PY_SSIZE_T_CLEAN is defined.

bpo-28769 [https://bugs.python.org/issue?@action=redirect&bpo=28769]: The result of PyUnicode_AsUTF8AndSize() and PyUnicode_AsUTF8() is now of type const char * rather of char *.

bpo-29058 [https://bugs.python.org/issue?@action=redirect&bpo=29058]: All stable API extensions added after Python 3.2 are now available only when Py_LIMITED_API is set to the PY_VERSION_HEX value of the minimum Python version supporting this API.

bpo-28822 [https://bugs.python.org/issue?@action=redirect&bpo=28822]: The index parameters start and end of PyUnicode_FindChar() are now adjusted to behave like str[start:end].

bpo-28808 [https://bugs.python.org/issue?@action=redirect&bpo=28808]: PyUnicode_CompareWithASCIIString() now never raises exceptions.

bpo-28761 [https://bugs.python.org/issue?@action=redirect&bpo=28761]: The fields name and doc of structures PyMemberDef, PyGetSetDef, PyStructSequence_Field, PyStructSequence_Desc, and wrapperbase are now of type const char * rather of char *.

bpo-28748 [https://bugs.python.org/issue?@action=redirect&bpo=28748]: Private variable _Py_PackageContext is now of type const char * rather of char *.

bpo-19569 [https://bugs.python.org/issue?@action=redirect&bpo=19569]: Compiler warnings are now emitted if use most of deprecated functions.

bpo-28426 [https://bugs.python.org/issue?@action=redirect&bpo=28426]: Deprecated undocumented functions PyUnicode_AsEncodedObject(), PyUnicode_AsDecodedObject(), PyUnicode_AsDecodedUnicode() and PyUnicode_AsEncodedUnicode().

Python 3.6.6 final

Release date: 2018-06-27

There were no new changes in version 3.6.6.

Python 3.6.6 release candidate 1

Release date: 2018-06-11

Core and Builtins

bpo-33786 [https://bugs.python.org/issue?@action=redirect&bpo=33786]: Fix asynchronous generators to handle GeneratorExit in athrow() correctly

bpo-30654 [https://bugs.python.org/issue?@action=redirect&bpo=30654]: Fixed reset of the SIGINT handler to SIG_DFL on interpreter shutdown even when there was a custom handler set previously. Patch by Philipp Kerling.

bpo-33622 [https://bugs.python.org/issue?@action=redirect&bpo=33622]: Fixed a leak when the garbage collector fails to add an object with the __del__ method or referenced by it into the gc.garbage list. PyGC_Collect() can now be called when an exception is set and preserves it.

bpo-31849 [https://bugs.python.org/issue?@action=redirect&bpo=31849]: Fix signed/unsigned comparison warning in pyhash.c.

bpo-33391 [https://bugs.python.org/issue?@action=redirect&bpo=33391]: Fix a leak in set_symmetric_difference().

bpo-28055 [https://bugs.python.org/issue?@action=redirect&bpo=28055]: Fix unaligned accesses in siphash24(). Patch by Rolf Eike Beer.

bpo-33231 [https://bugs.python.org/issue?@action=redirect&bpo=33231]: Fix potential memory leak in normalizestring().

bpo-29922 [https://bugs.python.org/issue?@action=redirect&bpo=29922]: Improved error messages in ‘async with’ when __aenter__() or __aexit__() return non-awaitable object.

bpo-33199 [https://bugs.python.org/issue?@action=redirect&bpo=33199]: Fix ma_version_tag in dict implementation is uninitialized when copying from key-sharing dict.

bpo-33041 [https://bugs.python.org/issue?@action=redirect&bpo=33041]: Fixed jumping when the function contains an async for loop.

bpo-32282 [https://bugs.python.org/issue?@action=redirect&bpo=32282]: Fix an unnecessary ifdef in the include of VersionHelpers.h in socketmodule on Windows.

bpo-21983 [https://bugs.python.org/issue?@action=redirect&bpo=21983]: Fix a crash in ctypes.cast() in case the type argument is a ctypes structured data type. Patch by Eryk Sun and Oren Milman.

Library

bpo-30167 [https://bugs.python.org/issue?@action=redirect&bpo=30167]: Prevent site.main() exception if PYTHONSTARTUP is set. Patch by Steve Weber.

bpo-33812 [https://bugs.python.org/issue?@action=redirect&bpo=33812]: Datetime instance d with non-None tzinfo, but with d.tzinfo.utcoffset(d) returning None is now treated as naive by the astimezone() method.

bpo-30805 [https://bugs.python.org/issue?@action=redirect&bpo=30805]: Avoid race condition with debug logging

bpo-33767 [https://bugs.python.org/issue?@action=redirect&bpo=33767]: The concatenation (+) and repetition (*) sequence operations now raise TypeError instead of SystemError when performed on mmap.mmap objects. Patch by Zackery Spytz.

bpo-32684 [https://bugs.python.org/issue?@action=redirect&bpo=32684]: Fix gather to propagate cancellation of itself even with return_exceptions.

bpo-33674 [https://bugs.python.org/issue?@action=redirect&bpo=33674]: Fix a race condition in SSLProtocol.connection_made() of asyncio.sslproto: start immediately the handshake instead of using call_soon(). Previously, data_received() could be called before the handshake started, causing the handshake to hang or fail.

bpo-31647 [https://bugs.python.org/issue?@action=redirect&bpo=31647]: Fixed bug where calling write_eof() on a _SelectorSocketTransport after it’s already closed raises AttributeError.

bpo-33672 [https://bugs.python.org/issue?@action=redirect&bpo=33672]: Fix Task.__repr__ crash with Cython’s bogus coroutines

bpo-33469 [https://bugs.python.org/issue?@action=redirect&bpo=33469]: Fix RuntimeError after closing loop that used run_in_executor

bpo-11874 [https://bugs.python.org/issue?@action=redirect&bpo=11874]: Use a better regex when breaking usage into wrappable parts. Avoids bogus assertion errors from custom metavar strings.

bpo-30877 [https://bugs.python.org/issue?@action=redirect&bpo=30877]: Fixed a bug in the Python implementation of the JSON decoder that prevented the cache of parsed strings from clearing after finishing the decoding. Based on patch by c-fos.

bpo-33548 [https://bugs.python.org/issue?@action=redirect&bpo=33548]: tempfile._candidate_tempdir_list should consider common TEMP locations

bpo-33542 [https://bugs.python.org/issue?@action=redirect&bpo=33542]: Prevent uuid.get_node from using a DUID instead of a MAC on Windows. Patch by Zvi Effron

bpo-26819 [https://bugs.python.org/issue?@action=redirect&bpo=26819]: Fix race condition with ReadTransport.resume_reading in Windows proactor event loop.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Minor fixes in typing module: add annotations to NamedTuple.__new__, pass *args and **kwds in Generic.__new__. Original PRs by Paulius Šarka and Chad Dombrova.

bpo-20087 [https://bugs.python.org/issue?@action=redirect&bpo=20087]: Updated alias mapping with glibc 2.27 supported locales.

bpo-33422 [https://bugs.python.org/issue?@action=redirect&bpo=33422]: Fix trailing quotation marks getting deleted when looking up byte/string literals on pydoc. Patch by Andrés Delfino.

bpo-33197 [https://bugs.python.org/issue?@action=redirect&bpo=33197]: Update error message when constructing invalid inspect.Parameters Patch by Donghee Na.

bpo-33383 [https://bugs.python.org/issue?@action=redirect&bpo=33383]: Fixed crash in the get() method of the dbm.ndbm database object when it is called with a single argument.

bpo-33329 [https://bugs.python.org/issue?@action=redirect&bpo=33329]: Fix multiprocessing regression on newer glibcs

bpo-991266 [https://bugs.python.org/issue?@action=redirect&bpo=991266]: Fix quoting of the Comment attribute of http.cookies.SimpleCookie.

bpo-33131 [https://bugs.python.org/issue?@action=redirect&bpo=33131]: Upgrade bundled version of pip to 10.0.1.

bpo-33308 [https://bugs.python.org/issue?@action=redirect&bpo=33308]: Fixed a crash in the parser module when converting an ST object to a tree of tuples or lists with line_info=False and col_info=True.

bpo-33263 [https://bugs.python.org/issue?@action=redirect&bpo=33263]: Fix FD leak in _SelectorSocketTransport Patch by Vlad Starostin.

bpo-33256 [https://bugs.python.org/issue?@action=redirect&bpo=33256]: Fix display of <module> call in the html produced by cgitb.html(). Patch by Stéphane Blondon.

bpo-33203 [https://bugs.python.org/issue?@action=redirect&bpo=33203]: random.Random.choice() now raises IndexError for empty sequences consistently even when called from subclasses without a getrandbits() implementation.

bpo-33224 [https://bugs.python.org/issue?@action=redirect&bpo=33224]: Update difflib.mdiff() for PEP 479 [https://peps.python.org/pep-0479/]. Convert an uncaught StopIteration in a generator into a return-statement.

bpo-33209 [https://bugs.python.org/issue?@action=redirect&bpo=33209]: End framing at the end of C implementation of pickle.Pickler.dump().

bpo-32861 [https://bugs.python.org/issue?@action=redirect&bpo=32861]: The urllib.robotparser’s __str__ representation now includes wildcard entries and the “Crawl-delay” and “Request-rate” fields. Patch by Michael Lazar.

bpo-33096 [https://bugs.python.org/issue?@action=redirect&bpo=33096]: Allow ttk.Treeview.insert to insert iid that has a false boolean value. Note iid=0 and iid=False would be same. Patch by Garvit Khatri.

bpo-33127 [https://bugs.python.org/issue?@action=redirect&bpo=33127]: The ssl module now compiles with LibreSSL 2.7.1.

bpo-33021 [https://bugs.python.org/issue?@action=redirect&bpo=33021]: Release the GIL during fstat() calls, avoiding hang of all threads when calling mmap.mmap(), os.urandom(), and random.seed(). Patch by Nir Soffer.

bpo-27683 [https://bugs.python.org/issue?@action=redirect&bpo=27683]: Fix a regression in ipaddress that result of hosts() is empty when the network is constructed by a tuple containing an integer mask and only 1 bit left for addresses.

bpo-32844 [https://bugs.python.org/issue?@action=redirect&bpo=32844]: Fix wrong redirection of a low descriptor (0 or 1) to stderr in subprocess if another low descriptor is closed.

bpo-31908 [https://bugs.python.org/issue?@action=redirect&bpo=31908]: Fix output of cover files for trace module command-line tool. Previously emitted cover files only when --missing option was used. Patch by Michael Selik.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: If nested log adapters are used, the inner process() methods are no longer omitted.

bpo-16865 [https://bugs.python.org/issue?@action=redirect&bpo=16865]: Support arrays >=2GiB in ctypes. Patch by Segev Finer.

bpo-31238 [https://bugs.python.org/issue?@action=redirect&bpo=31238]: pydoc: the stop() method of the private ServerThread class now waits until DocServer.serve_until_quit() completes and then explicitly sets its docserver attribute to None to break a reference cycle.

Documentation

bpo-33503 [https://bugs.python.org/issue?@action=redirect&bpo=33503]: Fix broken pypi link

bpo-33421 [https://bugs.python.org/issue?@action=redirect&bpo=33421]: Add missing documentation for typing.AsyncContextManager.

bpo-33378 [https://bugs.python.org/issue?@action=redirect&bpo=33378]: Add Korean language switcher for https://docs.python.org/3/

bpo-33276 [https://bugs.python.org/issue?@action=redirect&bpo=33276]: Clarify that the __path__ attribute on modules cannot be just any value.

bpo-33201 [https://bugs.python.org/issue?@action=redirect&bpo=33201]: Modernize documentation for writing C extension types.

bpo-33195 [https://bugs.python.org/issue?@action=redirect&bpo=33195]: Deprecate Py_UNICODE usage in c-api/arg document. Py_UNICODE related APIs are deprecated since Python 3.3, but it is missed in the document.

bpo-33126 [https://bugs.python.org/issue?@action=redirect&bpo=33126]: Document PyBuffer_ToContiguous().

bpo-27212 [https://bugs.python.org/issue?@action=redirect&bpo=27212]: Modify documentation for the islice() recipe to consume initial values up to the start index.

bpo-28247 [https://bugs.python.org/issue?@action=redirect&bpo=28247]: Update zipapp documentation to describe how to make standalone applications.

bpo-18802 [https://bugs.python.org/issue?@action=redirect&bpo=18802]: Documentation changes for ipaddress. Patch by Jon Foster and Berker Peksag.

bpo-27428 [https://bugs.python.org/issue?@action=redirect&bpo=27428]: Update documentation to clarify that WindowsRegistryFinder implements MetaPathFinder. (Patch by Himanshu Lakhara)

bpo-8243 [https://bugs.python.org/issue?@action=redirect&bpo=8243]: Add a note about curses.addch and curses.addstr exception behavior when writing outside a window, or pad.

bpo-31432 [https://bugs.python.org/issue?@action=redirect&bpo=31432]: Clarify meaning of CERT_NONE, CERT_OPTIONAL, and CERT_REQUIRED flags for ssl.SSLContext.verify_mode.

Tests

bpo-33655 [https://bugs.python.org/issue?@action=redirect&bpo=33655]: Ignore test_posix_fallocate failures on BSD platforms that might be due to running on ZFS.

bpo-19417 [https://bugs.python.org/issue?@action=redirect&bpo=19417]: Add test_bdb.py.

Build

bpo-5755 [https://bugs.python.org/issue?@action=redirect&bpo=5755]: Move -Wstrict-prototypes option to CFLAGS_NODIST from OPT. This option emitted annoying warnings when building extension modules written in C++.

bpo-33614 [https://bugs.python.org/issue?@action=redirect&bpo=33614]: Ensures module definition files for the stable ABI on Windows are correctly regenerated.

bpo-33522 [https://bugs.python.org/issue?@action=redirect&bpo=33522]: Enable CI builds on Visual Studio Team Services at https://python.visualstudio.com/cpython

bpo-33012 [https://bugs.python.org/issue?@action=redirect&bpo=33012]: Add -Wno-cast-function-type for gcc 8 for silencing warnings about function casts like casting to PyCFunction in method definition lists.

bpo-33394 [https://bugs.python.org/issue?@action=redirect&bpo=33394]: Enable the verbose build for extension modules, when GNU make is passed macros on the command line.

Windows

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update Windows installer to OpenSSL 1.0.2o.

macOS

bpo-33184 [https://bugs.python.org/issue?@action=redirect&bpo=33184]: Update macOS installer build to use OpenSSL 1.0.2o.

IDLE

bpo-33656 [https://bugs.python.org/issue?@action=redirect&bpo=33656]: On Windows, add API call saying that tk scales for DPI. On Windows 8.1+ or 10, with DPI compatibility properties of the Python binary unchanged, and a monitor resolution greater than 96 DPI, this should make text and lines sharper. It should otherwise have no effect.

bpo-33768 [https://bugs.python.org/issue?@action=redirect&bpo=33768]: Clicking on a context line moves that line to the top of the editor window.

bpo-33763 [https://bugs.python.org/issue?@action=redirect&bpo=33763]: IDLE: Use read-only text widget for code context instead of label widget.

bpo-33664 [https://bugs.python.org/issue?@action=redirect&bpo=33664]: Scroll IDLE editor text by lines. Previously, the mouse wheel and scrollbar slider moved text by a fixed number of pixels, resulting in partial lines at the top of the editor box. The change also applies to the shell and grep output windows, but not to read-only text views.

bpo-33679 [https://bugs.python.org/issue?@action=redirect&bpo=33679]: Enable theme-specific color configuration for Code Context. Use the Highlights tab to see the setting for built-in themes or add settings to custom themes.

bpo-33642 [https://bugs.python.org/issue?@action=redirect&bpo=33642]: Display up to maxlines non-blank lines for Code Context. If there is no current context, show a single blank line.

bpo-33628 [https://bugs.python.org/issue?@action=redirect&bpo=33628]: IDLE: Cleanup codecontext.py and its test.

bpo-33564 [https://bugs.python.org/issue?@action=redirect&bpo=33564]: IDLE’s code context now recognizes async as a block opener.

bpo-29706 [https://bugs.python.org/issue?@action=redirect&bpo=29706]: IDLE now colors async and await as keywords in 3.6. They become full keywords in 3.7.

bpo-21474 [https://bugs.python.org/issue?@action=redirect&bpo=21474]: Update word/identifier definition from ascii to unicode. In text and entry boxes, this affects selection by double-click, movement left/right by control-left/right, and deletion left/right by control-BACKSPACE/DEL.

bpo-33204 [https://bugs.python.org/issue?@action=redirect&bpo=33204]: IDLE: consistently color invalid string prefixes. A ‘u’ string prefix cannot be paired with either ‘r’ or ‘f’. Consistently color as much of the prefix, starting at the right, as is valid. Revise and extend colorizer test.

bpo-32831 [https://bugs.python.org/issue?@action=redirect&bpo=32831]: Add docstrings and tests for codecontext.

Tools/Demos

bpo-33189 [https://bugs.python.org/issue?@action=redirect&bpo=33189]: pygettext.py now recognizes only literal strings as docstrings and translatable strings, and rejects bytes literals and f-string expressions.

bpo-31920 [https://bugs.python.org/issue?@action=redirect&bpo=31920]: Fixed handling directories as arguments in the pygettext script. Based on patch by Oleg Krasnikov.

bpo-29673 [https://bugs.python.org/issue?@action=redirect&bpo=29673]: Fix pystackv and pystack gdbinit macros.

bpo-32885 [https://bugs.python.org/issue?@action=redirect&bpo=32885]: Add an -n flag for Tools/scripts/pathfix.py to disable automatic backup creation (files with ~ suffix).

bpo-31583 [https://bugs.python.org/issue?@action=redirect&bpo=31583]: Fix 2to3 for using with –add-suffix option but without –output-dir option for relative path to files in current directory.

C API

bpo-32374 [https://bugs.python.org/issue?@action=redirect&bpo=32374]: Document that m_traverse for multi-phase initialized modules can be called with m_state=NULL, and add a sanity check

Python 3.6.5 final

Release date: 2018-03-28

Tests

bpo-32872 [https://bugs.python.org/issue?@action=redirect&bpo=32872]: Avoid regrtest compatibility issue with namespace packages.

Build

bpo-33163 [https://bugs.python.org/issue?@action=redirect&bpo=33163]: Upgrade pip to 9.0.3 and setuptools to v39.0.1.

Python 3.6.5 release candidate 1

Release date: 2018-03-13

Security

bpo-33001 [https://bugs.python.org/issue?@action=redirect&bpo=33001]: Minimal fix to prevent buffer overrun in os.symlink on Windows

bpo-32981 [https://bugs.python.org/issue?@action=redirect&bpo=32981]: Regexes in difflib and poplib were vulnerable to catastrophic backtracking. These regexes formed potential DOS vectors (REDOS). They have been refactored. This resolves CVE 2018-1060 [https://www.cve.org/CVERecord?id=CVE-2018-1060] and CVE 2018-1061 [https://www.cve.org/CVERecord?id=CVE-2018-1061]. Patch by Jamie Davis.

Core and Builtins

bpo-33026 [https://bugs.python.org/issue?@action=redirect&bpo=33026]: Fixed jumping out of “with” block by setting f_lineno.

bpo-17288 [https://bugs.python.org/issue?@action=redirect&bpo=17288]: Prevent jumps from ‘return’ and ‘exception’ trace events.

bpo-32889 [https://bugs.python.org/issue?@action=redirect&bpo=32889]: Update Valgrind suppression list to account for the rename of Py_ADDRESS_IN_RANG to address_in_range.

bpo-32650 [https://bugs.python.org/issue?@action=redirect&bpo=32650]: Pdb and other debuggers dependent on bdb.py will correctly step over (next command) native coroutines. Patch by Pablo Galindo.

bpo-32685 [https://bugs.python.org/issue?@action=redirect&bpo=32685]: Improve suggestion when the Python 2 form of print statement is either present on the same line as the header of a compound statement or else terminated by a semi-colon instead of a newline. Patch by Nitish Chandra.

bpo-32583 [https://bugs.python.org/issue?@action=redirect&bpo=32583]: Fix possible crashing in builtin Unicode decoders caused by write out-of-bound errors when using customized decode error handlers.

bpo-26163 [https://bugs.python.org/issue?@action=redirect&bpo=26163]: Improved frozenset() hash to create more distinct hash values when faced with datasets containing many similar values.

bpo-27169 [https://bugs.python.org/issue?@action=redirect&bpo=27169]: The __debug__ constant is now optimized out at compile time. This fixes also bpo-22091 [https://bugs.python.org/issue?@action=redirect&bpo=22091].

bpo-32329 [https://bugs.python.org/issue?@action=redirect&bpo=32329]: sys.flags.hash_randomization is now properly set to 0 when hash randomization is turned off by PYTHONHASHSEED=0.

bpo-30416 [https://bugs.python.org/issue?@action=redirect&bpo=30416]: The optimizer is now protected from spending much time doing complex calculations and consuming much memory for creating large constants in constant folding.

bpo-18533 [https://bugs.python.org/issue?@action=redirect&bpo=18533]: repr() on a dict containing its own values() or items() no longer raises RecursionError; OrderedDict similarly. Instead, use ..., as for other recursive structures. Patch by Ben North.

bpo-32028 [https://bugs.python.org/issue?@action=redirect&bpo=32028]: Leading whitespace is now correctly ignored when generating suggestions for converting Py2 print statements to Py3 builtin print function calls. Patch by Sanyam Khurana.

bpo-32137 [https://bugs.python.org/issue?@action=redirect&bpo=32137]: The repr of deeply nested dict now raises a RecursionError instead of crashing due to a stack overflow.

Library

bpo-33064 [https://bugs.python.org/issue?@action=redirect&bpo=33064]: lib2to3 now properly supports trailing commas after *args and **kwargs in function signatures.

bpo-31804 [https://bugs.python.org/issue?@action=redirect&bpo=31804]: Avoid failing in multiprocessing.Process if the standard streams are closed or None at exit.

bpo-33037 [https://bugs.python.org/issue?@action=redirect&bpo=33037]: Skip sending/receiving data after SSL transport closing.

bpo-30353 [https://bugs.python.org/issue?@action=redirect&bpo=30353]: Fix ctypes pass-by-value for structs on 64-bit Cygwin/MinGW.

bpo-33009 [https://bugs.python.org/issue?@action=redirect&bpo=33009]: Fix inspect.signature() for single-parameter partialmethods.

bpo-32969 [https://bugs.python.org/issue?@action=redirect&bpo=32969]: Expose several missing constants in zlib and fix corresponding documentation.

bpo-32713 [https://bugs.python.org/issue?@action=redirect&bpo=32713]: Fixed tarfile.itn handling of out-of-bounds float values. Patch by Joffrey Fuhrer.

bpo-30622 [https://bugs.python.org/issue?@action=redirect&bpo=30622]: The ssl module now detects missing NPN support in LibreSSL.

bpo-32922 [https://bugs.python.org/issue?@action=redirect&bpo=32922]: dbm.open() now encodes filename with the filesystem encoding rather than default encoding.

bpo-32859 [https://bugs.python.org/issue?@action=redirect&bpo=32859]: In os.dup2, don’t check every call whether the dup3 syscall exists or not.

bpo-21060 [https://bugs.python.org/issue?@action=redirect&bpo=21060]: Rewrite confusing message from setup.py upload from “No dist file created in earlier command” to the more helpful “Must create and upload files in one command”.

bpo-32857 [https://bugs.python.org/issue?@action=redirect&bpo=32857]: In tkinter, after_cancel(None) now raises a ValueError instead of canceling the first scheduled function. Patch by Cheryl Sabella.

bpo-32852 [https://bugs.python.org/issue?@action=redirect&bpo=32852]: Make sure sys.argv remains as a list when running trace.

bpo-32841 [https://bugs.python.org/issue?@action=redirect&bpo=32841]: Fixed asyncio.Condition issue which silently ignored cancellation after notifying and cancelling a conditional lock. Patch by Bar Harel.

bpo-31787 [https://bugs.python.org/issue?@action=redirect&bpo=31787]: Fixed refleaks of __init__() methods in various modules. (Contributed by Oren Milman)

bpo-30157 [https://bugs.python.org/issue?@action=redirect&bpo=30157]: Fixed guessing quote and delimiter in csv.Sniffer.sniff() when only the last field is quoted. Patch by Jake Davis.

bpo-32394 [https://bugs.python.org/issue?@action=redirect&bpo=32394]: socket: Remove TCP_FASTOPEN, TCP_KEEPCNT flags on older version Windows during run-time.

bpo-32777 [https://bugs.python.org/issue?@action=redirect&bpo=32777]: Fix a rare but potential pre-exec child process deadlock in subprocess on POSIX systems when marking file descriptors inheritable on exec in the child process. This bug appears to have been introduced in 3.4.

bpo-32647 [https://bugs.python.org/issue?@action=redirect&bpo=32647]: The ctypes module used to depend on indirect linking for dlopen. The shared extension is now explicitly linked against libdl on platforms with dl.

bpo-32734 [https://bugs.python.org/issue?@action=redirect&bpo=32734]: Fixed asyncio.Lock() safety issue which allowed acquiring and locking the same lock multiple times, without it being free. Patch by Bar Harel.

bpo-32727 [https://bugs.python.org/issue?@action=redirect&bpo=32727]: Do not include name field in SMTP envelope from address. Patch by Stéphane Wirtel

bpo-27931 [https://bugs.python.org/issue?@action=redirect&bpo=27931]: Fix email address header parsing error when the username is an empty quoted string. Patch by Xiang Zhang.

bpo-32304 [https://bugs.python.org/issue?@action=redirect&bpo=32304]: distutils’ upload command no longer corrupts tar files ending with a CR byte, and no longer tries to convert CR to CRLF in any of the upload text fields.

bpo-32502 [https://bugs.python.org/issue?@action=redirect&bpo=32502]: uuid.uuid1 no longer raises an exception if a 64-bit hardware address is encountered.

bpo-31848 [https://bugs.python.org/issue?@action=redirect&bpo=31848]: Fix the error handling in Aifc_read.initfp() when the SSND chunk is not found. Patch by Zackery Spytz.

bpo-32555 [https://bugs.python.org/issue?@action=redirect&bpo=32555]: On FreeBSD and Solaris, os.strerror() now always decode the byte string from the current locale encoding, rather than using ASCII/surrogateescape in some cases.

bpo-32521 [https://bugs.python.org/issue?@action=redirect&bpo=32521]: The nis module is now compatible with new libnsl and headers location.

bpo-32473 [https://bugs.python.org/issue?@action=redirect&bpo=32473]: Improve ABCMeta._dump_registry() output readability

bpo-32521 [https://bugs.python.org/issue?@action=redirect&bpo=32521]: glibc has removed Sun RPC. Use replacement libtirpc headers and library in nis module.

bpo-32228 [https://bugs.python.org/issue?@action=redirect&bpo=32228]: Ensure that truncate() preserves the file position (as reported by tell()) after writes longer than the buffer size.

bpo-26133 [https://bugs.python.org/issue?@action=redirect&bpo=26133]: Don’t unsubscribe signals in asyncio UNIX event loop on interpreter shutdown.

bpo-32185 [https://bugs.python.org/issue?@action=redirect&bpo=32185]: The SSL module no longer sends IP addresses in SNI TLS extension on platforms with OpenSSL 1.0.2+ or inet_pton.

bpo-32323 [https://bugs.python.org/issue?@action=redirect&bpo=32323]: urllib.parse.urlsplit() does not convert zone-id (scope) to lower case for scoped IPv6 addresses in hostnames now.

bpo-32302 [https://bugs.python.org/issue?@action=redirect&bpo=32302]: Fix bdist_wininst of distutils for CRT v142: it binary compatible with CRT v140.

bpo-32255 [https://bugs.python.org/issue?@action=redirect&bpo=32255]: A single empty field is now always quoted when written into a CSV file. This allows to distinguish an empty row from a row consisting of a single empty field. Patch by Licht Takeuchi.

bpo-32277 [https://bugs.python.org/issue?@action=redirect&bpo=32277]: Raise NotImplementedError instead of SystemError on platforms where chmod(..., follow_symlinks=False) is not supported. Patch by Anthony Sottile.

bpo-32199 [https://bugs.python.org/issue?@action=redirect&bpo=32199]: The getnode() ip getter now uses ‘ip link’ instead of ‘ip link list’.

bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456]: Ensure TCP_NODELAY is set on Linux. Tests by Victor Stinner.

bpo-31900 [https://bugs.python.org/issue?@action=redirect&bpo=31900]: The locale.localeconv() function now sets temporarily the LC_CTYPE locale to the LC_NUMERIC locale to decode decimal_point and thousands_sep byte strings if they are non-ASCII or longer than 1 byte, and the LC_NUMERIC locale is different than the LC_CTYPE locale. This temporary change affects other threads. Same change for the str.format() method when formatting a number (int, float, float and subclasses) with the n type (ex: '{:n}'.format(1234)).

bpo-31802 [https://bugs.python.org/issue?@action=redirect&bpo=31802]: Importing native path module (posixpath, ntpath) now works even if the os module still is not imported.

Documentation

bpo-17232 [https://bugs.python.org/issue?@action=redirect&bpo=17232]: Clarify docs for -O and -OO. Patch by Terry Reedy.

bpo-32800 [https://bugs.python.org/issue?@action=redirect&bpo=32800]: Update link to w3c doc for xml default namespaces.

bpo-8722 [https://bugs.python.org/issue?@action=redirect&bpo=8722]: Document __getattr__() behavior when property get() method raises AttributeError.

bpo-32614 [https://bugs.python.org/issue?@action=redirect&bpo=32614]: Modify RE examples in documentation to use raw strings to prevent DeprecationWarning and add text to REGEX HOWTO to highlight the deprecation.

bpo-31972 [https://bugs.python.org/issue?@action=redirect&bpo=31972]: Improve docstrings for pathlib.PurePath subclasses.

bpo-17799 [https://bugs.python.org/issue?@action=redirect&bpo=17799]: Explain real behaviour of sys.settrace and sys.setprofile and their C-API counterparts regarding which type of events are received in each function. Patch by Pablo Galindo Salgado.

Tests

bpo-32517 [https://bugs.python.org/issue?@action=redirect&bpo=32517]: Fix failing test_asyncio on macOS 10.12.2+ due to transport of KqueueSelector loop was not being closed.

bpo-32721 [https://bugs.python.org/issue?@action=redirect&bpo=32721]: Fix test_hashlib to not fail if the _md5 module is not built.

bpo-32252 [https://bugs.python.org/issue?@action=redirect&bpo=32252]: Fix faulthandler_suppress_crash_report() used to prevent core dump files when testing crashes. getrlimit() returns zero on success.

bpo-31518 [https://bugs.python.org/issue?@action=redirect&bpo=31518]: Debian Unstable has disabled TLS 1.0 and 1.1 for SSLv23_METHOD(). Change TLS/SSL protocol of some tests to PROTOCOL_TLS or PROTOCOL_TLSv1_2 to make them pass on Debian.

Build

bpo-32635 [https://bugs.python.org/issue?@action=redirect&bpo=32635]: Fix segfault of the crypt module when libxcrypt is provided instead of libcrypt at the system.

Windows

bpo-33016 [https://bugs.python.org/issue?@action=redirect&bpo=33016]: Fix potential use of uninitialized memory in nt._getfinalpathname

bpo-32903 [https://bugs.python.org/issue?@action=redirect&bpo=32903]: Fix a memory leak in os.chdir() on Windows if the current directory is set to a UNC path.

bpo-31966 [https://bugs.python.org/issue?@action=redirect&bpo=31966]: Fixed WindowsConsoleIO.write() for writing empty data.

bpo-32409 [https://bugs.python.org/issue?@action=redirect&bpo=32409]: Ensures activate.bat can handle Unicode contents.

bpo-32457 [https://bugs.python.org/issue?@action=redirect&bpo=32457]: Improves handling of denormalized executable path when launching Python.

bpo-32370 [https://bugs.python.org/issue?@action=redirect&bpo=32370]: Use the correct encoding for ipconfig output in the uuid module. Patch by Segev Finer.

bpo-29248 [https://bugs.python.org/issue?@action=redirect&bpo=29248]: Fix os.readlink() on Windows, which was mistakenly treating the PrintNameOffset field of the reparse data buffer as a number of characters instead of bytes. Patch by Craig Holmquist and SSE4.

bpo-32588 [https://bugs.python.org/issue?@action=redirect&bpo=32588]: Create standalone _distutils_findvs module.

macOS

bpo-32726 [https://bugs.python.org/issue?@action=redirect&bpo=32726]: Provide an additional, more modern macOS installer variant that supports macOS 10.9+ systems in 64-bit mode only. Upgrade the supplied third-party libraries to OpenSSL 1.0.2n, XZ 5.2.3, and SQLite 3.22.0. The 10.9+ installer now links with and supplies its own copy of Tcl/Tk 8.6.8.

IDLE

bpo-32984 [https://bugs.python.org/issue?@action=redirect&bpo=32984]: Set __file__ while running a startup file. Like Python, IDLE optionally runs one startup file in the Shell window before presenting the first interactive input prompt. For IDLE, -s runs a file named in environmental variable IDLESTARTUP or PYTHONSTARTUP; -r file runs file. Python sets __file__ to the startup file name before running the file and unsets it before the first prompt. IDLE now does the same when run normally, without the -n option.

bpo-32940 [https://bugs.python.org/issue?@action=redirect&bpo=32940]: Simplify and rename StringTranslatePseudoMapping in pyparse.

bpo-32916 [https://bugs.python.org/issue?@action=redirect&bpo=32916]: Change str to code in pyparse.

bpo-32905 [https://bugs.python.org/issue?@action=redirect&bpo=32905]: Remove unused code in pyparse module.

bpo-32874 [https://bugs.python.org/issue?@action=redirect&bpo=32874]: Add tests for pyparse.

bpo-32837 [https://bugs.python.org/issue?@action=redirect&bpo=32837]: Using the system and place-dependent default encoding for open() is a bad idea for IDLE’s system and location-independent files.

bpo-32826 [https://bugs.python.org/issue?@action=redirect&bpo=32826]: Add “encoding=utf-8” to open() in IDLE’s test_help_about. GUI test test_file_buttons() only looks at initial ascii-only lines, but failed on systems where open() defaults to ‘ascii’ because readline() internally reads and decodes far enough ahead to encounter a non-ascii character in CREDITS.txt.

bpo-32765 [https://bugs.python.org/issue?@action=redirect&bpo=32765]: Update configdialog General tab docstring to add new widgets to the widget list.

Tools/Demos

bpo-24960 [https://bugs.python.org/issue?@action=redirect&bpo=24960]: 2to3 and lib2to3 can now read pickled grammar files using pkgutil.get_data() rather than probing the filesystem. This lets 2to3 and lib2to3 work when run from a zipfile.

bpo-32222 [https://bugs.python.org/issue?@action=redirect&bpo=32222]: Fix pygettext not extracting docstrings for functions with type annotated arguments. Patch by Toby Harradine.

C API

bpo-29084 [https://bugs.python.org/issue?@action=redirect&bpo=29084]: Undocumented C API for OrderedDict has been excluded from the limited C API. It was added by mistake and actually never worked in the limited C API.

Python 3.6.4 final

Release date: 2017-12-18

There were no new code changes in version 3.6.4 since v3.6.4rc1.

Python 3.6.4 release candidate 1

Release date: 2017-12-05

Core and Builtins

bpo-32176 [https://bugs.python.org/issue?@action=redirect&bpo=32176]: co_flags.CO_NOFREE is now always set correctly by the code object constructor based on freevars and cellvars, rather than needing to be set correctly by the caller. This ensures it will be cleared automatically when additional cell references are injected into a modified code object and function.

bpo-31949 [https://bugs.python.org/issue?@action=redirect&bpo=31949]: Fixed several issues in printing tracebacks (PyTraceBack_Print()). Setting sys.tracebacklimit to 0 or less now suppresses printing tracebacks. Setting sys.tracebacklimit to None now causes using the default limit. Setting sys.tracebacklimit to an integer larger than LONG_MAX now means using the limit LONG_MAX rather than the default limit. Fixed integer overflows in the case of more than 2**31 traceback items on Windows. Fixed output errors handling.

bpo-30696 [https://bugs.python.org/issue?@action=redirect&bpo=30696]: Fix the interactive interpreter looping endlessly when no memory.

bpo-20047 [https://bugs.python.org/issue?@action=redirect&bpo=20047]: Bytearray methods partition() and rpartition() now accept only bytes-like objects as separator, as documented. In particular they now raise TypeError rather of returning a bogus result when an integer is passed as a separator.

bpo-31852 [https://bugs.python.org/issue?@action=redirect&bpo=31852]: Fix a segmentation fault caused by a combination of the async soft keyword and continuation lines.

bpo-21720 [https://bugs.python.org/issue?@action=redirect&bpo=21720]: BytesWarning no longer emitted when the fromlist argument of __import__() or the __all__ attribute of the module contain bytes instances.

bpo-31825 [https://bugs.python.org/issue?@action=redirect&bpo=31825]: Fixed OverflowError in the ‘unicode-escape’ codec and in codecs.escape_decode() when decode an escaped non-ascii byte.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: Print the full context/cause chain of exceptions on interpreter exit, even if an exception in the chain is unhashable or compares equal to later ones. Patch by Zane Bitter.

bpo-31786 [https://bugs.python.org/issue?@action=redirect&bpo=31786]: Fix timeout rounding in the select module to round correctly negative timeouts between -1.0 and 0.0. The functions now block waiting for events as expected. Previously, the call was incorrectly non-blocking. Patch by Pablo Galindo.

bpo-31642 [https://bugs.python.org/issue?@action=redirect&bpo=31642]: Restored blocking “from package import module” by setting sys.modules[“package.module”] to None.

bpo-31626 [https://bugs.python.org/issue?@action=redirect&bpo=31626]: Fixed a bug in debug memory allocator. There was a write to freed memory after shrinking a memory block.

bpo-31619 [https://bugs.python.org/issue?@action=redirect&bpo=31619]: Fixed a ValueError when convert a string with large number of underscores to integer with binary base.

bpo-31592 [https://bugs.python.org/issue?@action=redirect&bpo=31592]: Fixed an assertion failure in Python parser in case of a bad unicodedata.normalize(). Patch by Oren Milman.

bpo-31588 [https://bugs.python.org/issue?@action=redirect&bpo=31588]: Raise a TypeError with a helpful error message when class creation fails due to a metaclass with a bad __prepare__() method. Patch by Oren Milman.

bpo-31566 [https://bugs.python.org/issue?@action=redirect&bpo=31566]: Fix an assertion failure in _warnings.warn() in case of a bad __name__ global. Patch by Oren Milman.

bpo-31505 [https://bugs.python.org/issue?@action=redirect&bpo=31505]: Fix an assertion failure in json, in case _json.make_encoder() received a bad encoder() argument. Patch by Oren Milman.

bpo-31492 [https://bugs.python.org/issue?@action=redirect&bpo=31492]: Fix assertion failures in case of failing to import from a module with a bad __name__ attribute, and in case of failing to access an attribute of such a module. Patch by Oren Milman.

bpo-31490 [https://bugs.python.org/issue?@action=redirect&bpo=31490]: Fix an assertion failure in ctypes class definition, in case the class has an attribute whose name is specified in _anonymous_ but not in _fields_. Patch by Oren Milman.

bpo-31478 [https://bugs.python.org/issue?@action=redirect&bpo=31478]: Fix an assertion failure in _random.Random.seed() in case the argument has a bad __abs__() method. Patch by Oren Milman.

bpo-31315 [https://bugs.python.org/issue?@action=redirect&bpo=31315]: Fix an assertion failure in imp.create_dynamic(), when spec.name is not a string. Patch by Oren Milman.

bpo-31311 [https://bugs.python.org/issue?@action=redirect&bpo=31311]: Fix a crash in the __setstate__() method of ctypes._CData, in case of a bad __dict__. Patch by Oren Milman.

bpo-31293 [https://bugs.python.org/issue?@action=redirect&bpo=31293]: Fix crashes in true division and multiplication of a timedelta object by a float with a bad as_integer_ratio() method. Patch by Oren Milman.

bpo-31285 [https://bugs.python.org/issue?@action=redirect&bpo=31285]: Fix an assertion failure in warnings.warn_explicit, when the return value of the received loader’s get_source() has a bad splitlines() method. Patch by Oren Milman.

bpo-30817 [https://bugs.python.org/issue?@action=redirect&bpo=30817]: PyErr_PrintEx() clears now the ignored exception that may be raised by _PySys_SetObjectId(), for example when no memory.

Library

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Two minor fixes for typing module: allow shallow copying instances of generic classes, improve interaction of __init_subclass__ with generics. Original PRs by Ivan Levkivskyi.

bpo-27240 [https://bugs.python.org/issue?@action=redirect&bpo=27240]: The header folding algorithm for the new email policies has been rewritten, which also fixes bpo-30788 [https://bugs.python.org/issue?@action=redirect&bpo=30788], bpo-31831 [https://bugs.python.org/issue?@action=redirect&bpo=31831], and bpo-32182 [https://bugs.python.org/issue?@action=redirect&bpo=32182]. In particular, RFC2231 folding is now done correctly.

bpo-32186 [https://bugs.python.org/issue?@action=redirect&bpo=32186]: io.FileIO.readall() and io.FileIO.read() now release the GIL when getting the file size. Fixed hang of all threads with inaccessible NFS server. Patch by Nir Soffer.

bpo-12239 [https://bugs.python.org/issue?@action=redirect&bpo=12239]: Make msilib.SummaryInformation.GetProperty() return None when the value of property is VT_EMPTY. Initial patch by Mark Mc Mahon.

bpo-31325 [https://bugs.python.org/issue?@action=redirect&bpo=31325]: Fix wrong usage of collections.namedtuple() in the RobotFileParser.parse() method. Initial patch by Robin Wellner.

bpo-12382 [https://bugs.python.org/issue?@action=redirect&bpo=12382]: msilib.OpenDatabase() now raises a better exception message when it couldn’t open or create an MSI file. Initial patch by William Tisäter.

bpo-32110 [https://bugs.python.org/issue?@action=redirect&bpo=32110]: codecs.StreamReader.read(n) now returns not more than n characters/bytes for non-negative n. This makes it compatible with read() methods of other file-like objects.

bpo-32072 [https://bugs.python.org/issue?@action=redirect&bpo=32072]: Fixed issues with binary plists: Fixed saving bytearrays. Identical objects will be saved only once. Equal references will be load as identical objects. Added support for saving and loading recursive data structures.

bpo-32034 [https://bugs.python.org/issue?@action=redirect&bpo=32034]: Make asyncio.IncompleteReadError and LimitOverrunError pickleable.

bpo-32015 [https://bugs.python.org/issue?@action=redirect&bpo=32015]: Fixed the looping of asyncio in the case of reconnection the socket during waiting async read/write from/to the socket.

bpo-32011 [https://bugs.python.org/issue?@action=redirect&bpo=32011]: Restored support of loading marshal files with the TYPE_INT64 code. These files can be produced in Python 2.7.

bpo-31970 [https://bugs.python.org/issue?@action=redirect&bpo=31970]: Reduce performance overhead of asyncio debug mode.

bpo-9678 [https://bugs.python.org/issue?@action=redirect&bpo=9678]: Fixed determining the MAC address in the uuid module: Using ifconfig on NetBSD and OpenBSD. Using arp on Linux, FreeBSD, NetBSD and OpenBSD. Based on patch by Takayuki Shimizukawa.

bpo-30057 [https://bugs.python.org/issue?@action=redirect&bpo=30057]: Fix potential missed signal in signal.signal().

bpo-31933 [https://bugs.python.org/issue?@action=redirect&bpo=31933]: Fix Blake2 params leaf_size and node_offset on big endian platforms. Patch by Jack O’Connor.

bpo-31927 [https://bugs.python.org/issue?@action=redirect&bpo=31927]: Fixed compilation of the socket module on NetBSD 8. Fixed assertion failure or reading arbitrary data when parse a AF_BLUETOOTH address on NetBSD and DragonFly BSD.

bpo-27666 [https://bugs.python.org/issue?@action=redirect&bpo=27666]: Fixed stack corruption in curses.box() and curses.ungetmouse() when the size of types chtype or mmask_t is less than the size of C long. curses.box() now accepts characters as arguments. Based on patch by Steve Fink.

bpo-31897 [https://bugs.python.org/issue?@action=redirect&bpo=31897]: plistlib now catches more errors when read binary plists and raises InvalidFileException instead of unexpected exceptions.

bpo-25720 [https://bugs.python.org/issue?@action=redirect&bpo=25720]: Fix the method for checking pad state of curses WINDOW. Patch by Masayuki Yamamoto.

bpo-31893 [https://bugs.python.org/issue?@action=redirect&bpo=31893]: Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD. Fixed the comparison of the kqueue_event objects.

bpo-31891 [https://bugs.python.org/issue?@action=redirect&bpo=31891]: Fixed building the curses module on NetBSD.

bpo-28416 [https://bugs.python.org/issue?@action=redirect&bpo=28416]: Instances of pickle.Pickler subclass with the persistent_id() method and pickle.Unpickler subclass with the persistent_load() method no longer create reference cycles.

bpo-28326 [https://bugs.python.org/issue?@action=redirect&bpo=28326]: Fix multiprocessing.Process when stdout and/or stderr is closed or None.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: If nested log adapters are used, the inner process() methods are no longer omitted.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: The manager property on LoggerAdapter objects is now properly settable.

bpo-31806 [https://bugs.python.org/issue?@action=redirect&bpo=31806]: Fix timeout rounding in time.sleep(), threading.Lock.acquire() and socket.socket.settimeout() to round correctly negative timeouts between -1.0 and 0.0. The functions now block waiting for events as expected. Previously, the call was incorrectly non-blocking. Patch by Pablo Galindo.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: traceback: Fix a TypeError that occurred during printing of exception tracebacks when either the current exception or an exception in its context/cause chain is unhashable. Patch by Zane Bitter.

bpo-30058 [https://bugs.python.org/issue?@action=redirect&bpo=30058]: Fixed buffer overflow in select.kqueue.control().

bpo-31770 [https://bugs.python.org/issue?@action=redirect&bpo=31770]: Prevent a crash when calling the __init__() method of a sqlite3.Cursor object more than once. Patch by Oren Milman.

bpo-31672 [https://bugs.python.org/issue?@action=redirect&bpo=31672]: idpattern in string.Template matched some non-ASCII characters. Now it uses -i regular expression local flag to avoid non-ASCII characters.

bpo-31764 [https://bugs.python.org/issue?@action=redirect&bpo=31764]: Prevent a crash in sqlite3.Cursor.close() in case the Cursor object is uninitialized. Patch by Oren Milman.

bpo-31752 [https://bugs.python.org/issue?@action=redirect&bpo=31752]: Fix possible crash in timedelta constructor called with custom integers.

bpo-31701 [https://bugs.python.org/issue?@action=redirect&bpo=31701]: On Windows, faulthandler.enable() now ignores MSC and COM exceptions.

bpo-31728 [https://bugs.python.org/issue?@action=redirect&bpo=31728]: Prevent crashes in _elementtree due to unsafe cleanup of Element.text and Element.tail. Patch by Oren Milman.

bpo-31620 [https://bugs.python.org/issue?@action=redirect&bpo=31620]: an empty asyncio.Queue now doesn’t leak memory when queue.get pollers timeout

bpo-31632 [https://bugs.python.org/issue?@action=redirect&bpo=31632]: Fix method set_protocol() of class _SSLProtocolTransport in asyncio module. This method was previously modifying a wrong reference to the protocol.

bpo-31675 [https://bugs.python.org/issue?@action=redirect&bpo=31675]: Fixed memory leaks in Tkinter’s methods splitlist() and split() when pass a string larger than 2 GiB.

bpo-31673 [https://bugs.python.org/issue?@action=redirect&bpo=31673]: Fixed typo in the name of Tkinter’s method adderrorinfo().

bpo-30806 [https://bugs.python.org/issue?@action=redirect&bpo=30806]: Fix the string representation of a netrc object.

bpo-15037 [https://bugs.python.org/issue?@action=redirect&bpo=15037]: Added a workaround for getkey() in curses for ncurses 5.7 and earlier.

bpo-25351 [https://bugs.python.org/issue?@action=redirect&bpo=25351]: Avoid venv activate failures with undefined variables

bpo-25532 [https://bugs.python.org/issue?@action=redirect&bpo=25532]: inspect.unwrap() will now only try to unwrap an object sys.getrecursionlimit() times, to protect against objects which create a new object on every attribute access.

bpo-30347 [https://bugs.python.org/issue?@action=redirect&bpo=30347]: Stop crashes when concurrently iterate over itertools.groupby() iterators.

bpo-31516 [https://bugs.python.org/issue?@action=redirect&bpo=31516]: threading.current_thread() should not return a dummy thread at shutdown.

bpo-31351 [https://bugs.python.org/issue?@action=redirect&bpo=31351]: python -m ensurepip now exits with non-zero exit code if pip bootstrapping has failed.

bpo-31482 [https://bugs.python.org/issue?@action=redirect&bpo=31482]: random.seed() now works with bytes in version=1

bpo-31334 [https://bugs.python.org/issue?@action=redirect&bpo=31334]: Fix poll.poll([timeout]) in the select module for arbitrary negative timeouts on all OSes where it can only be a non-negative integer or -1. Patch by Riccardo Coccioli.

bpo-31310 [https://bugs.python.org/issue?@action=redirect&bpo=31310]: multiprocessing’s semaphore tracker should be launched again if crashed.

bpo-31308 [https://bugs.python.org/issue?@action=redirect&bpo=31308]: Make multiprocessing’s forkserver process immune to Ctrl-C and other user interruptions. If it crashes, restart it when necessary.

Documentation

bpo-32105 [https://bugs.python.org/issue?@action=redirect&bpo=32105]: Added asyncio.BaseEventLoop.connect_accepted_socket versionadded marker.

bpo-31537 [https://bugs.python.org/issue?@action=redirect&bpo=31537]: Fix incorrect usage of get_history_length in readline documentation example code. Patch by Brad Smith.

bpo-30085 [https://bugs.python.org/issue?@action=redirect&bpo=30085]: The operator functions without double underscores are preferred for clarity. The one with underscores are only kept for back-compatibility.

Tests

bpo-31380 [https://bugs.python.org/issue?@action=redirect&bpo=31380]: Skip test_httpservers test_undecodable_file on macOS: fails on APFS.

bpo-31705 [https://bugs.python.org/issue?@action=redirect&bpo=31705]: Skip test_socket.test_sha256() on Linux kernel older than 4.5. The test fails with ENOKEY on kernel 3.10 (on ppc64le). A fix was merged into the kernel 4.5.

bpo-31174 [https://bugs.python.org/issue?@action=redirect&bpo=31174]: Fix test_tools.test_unparse: DirectoryTestCase now stores the names sample to always test the same files. It prevents false alarms when hunting reference leaks.

bpo-30695 [https://bugs.python.org/issue?@action=redirect&bpo=30695]: Add the set_nomemory(start, stop) and remove_mem_hooks() functions to the _testcapi module.

Build

bpo-32059 [https://bugs.python.org/issue?@action=redirect&bpo=32059]: detect_modules() in setup.py now also searches the sysroot paths when cross-compiling.

bpo-31957 [https://bugs.python.org/issue?@action=redirect&bpo=31957]: Fixes Windows SDK version detection when building for Windows.

bpo-31609 [https://bugs.python.org/issue?@action=redirect&bpo=31609]: Fixes quotes in PCbuild/clean.bat

bpo-31934 [https://bugs.python.org/issue?@action=redirect&bpo=31934]: Abort the build when building out of a not clean source tree.

bpo-31926 [https://bugs.python.org/issue?@action=redirect&bpo=31926]: Fixed Argument Clinic sometimes causing compilation errors when there was more than one function and/or method in a .c file with the same name.

bpo-28791 [https://bugs.python.org/issue?@action=redirect&bpo=28791]: Update Windows builds to use SQLite 3.21.0.

bpo-28791 [https://bugs.python.org/issue?@action=redirect&bpo=28791]: Update OS X installer to use SQLite 3.21.0.

bpo-22140 [https://bugs.python.org/issue?@action=redirect&bpo=22140]: Prevent double substitution of prefix in python-config.sh.

bpo-31536 [https://bugs.python.org/issue?@action=redirect&bpo=31536]: Avoid wholesale rebuild after make regen-all if nothing changed.

Windows

bpo-1102 [https://bugs.python.org/issue?@action=redirect&bpo=1102]: Return None when View.Fetch() returns ERROR_NO_MORE_ITEMS instead of raising MSIError. Initial patch by Anthony Tuininga.

bpo-31944 [https://bugs.python.org/issue?@action=redirect&bpo=31944]: Fixes Modify button in Apps and Features dialog.

macOS

bpo-31392 [https://bugs.python.org/issue?@action=redirect&bpo=31392]: Update macOS installer to use OpenSSL 1.0.2m

IDLE

bpo-32207 [https://bugs.python.org/issue?@action=redirect&bpo=32207]: Improve tk event exception tracebacks in IDLE. When tk event handling is driven by IDLE’s run loop, a confusing and distracting queue.EMPTY traceback context is no longer added to tk event exception tracebacks. The traceback is now the same as when event handling is driven by user code. Patch based on a suggestion by Serhiy Storchaka.

bpo-32164 [https://bugs.python.org/issue?@action=redirect&bpo=32164]: Delete unused file idlelib/tabbedpages.py. Use of TabbedPageSet in configdialog was replaced by ttk.Notebook.

bpo-32100 [https://bugs.python.org/issue?@action=redirect&bpo=32100]: IDLE: Fix old and new bugs in pathbrowser; improve tests. Patch mostly by Cheryl Sabella.

bpo-31858 [https://bugs.python.org/issue?@action=redirect&bpo=31858]: IDLE – Restrict shell prompt manipulation to the shell. Editor and output windows only see an empty last prompt line. This simplifies the code and fixes a minor bug when newline is inserted. Sys.ps1, if present, is read on Shell start-up, but is not set or changed.

bpo-31860 [https://bugs.python.org/issue?@action=redirect&bpo=31860]: The font sample in the IDLE configuration dialog is now editable. Changes persist while IDLE remains open

bpo-31836 [https://bugs.python.org/issue?@action=redirect&bpo=31836]: Test_code_module now passes if run after test_idle, which sets ps1. The code module uses sys.ps1 if present or sets it to ‘>>> ‘ if not. Test_code_module now properly tests both behaviors. Ditto for ps2.

bpo-28603 [https://bugs.python.org/issue?@action=redirect&bpo=28603]: Fix a TypeError that caused a shell restart when printing a traceback that includes an exception that is unhashable. Patch by Zane Bitter.

bpo-13802 [https://bugs.python.org/issue?@action=redirect&bpo=13802]: Use non-Latin characters in the IDLE’s Font settings sample. Even if one selects a font that defines a limited subset of the unicode Basic Multilingual Plane, tcl/tk will use other fonts that define a character. The expanded example give users of non-Latin characters a better idea of what they might see in IDLE’s shell and editors. To make room for the expanded sample, frames on the Font tab are re-arranged. The Font/Tabs help explains a bit about the additions.

bpo-31460 [https://bugs.python.org/issue?@action=redirect&bpo=31460]: Simplify the API of IDLE’s Module Browser. Passing a widget instead of an flist with a root widget opens the option of creating a browser frame that is only part of a window. Passing a full file name instead of pieces assumed to come from a .py file opens the possibility of browsing python files that do not end in .py.

bpo-31649 [https://bugs.python.org/issue?@action=redirect&bpo=31649]: IDLE - Make _htest, _utest parameters keyword only.

bpo-31559 [https://bugs.python.org/issue?@action=redirect&bpo=31559]: Remove test order dependence in idle_test.test_browser.

bpo-31459 [https://bugs.python.org/issue?@action=redirect&bpo=31459]: Rename IDLE’s module browser from Class Browser to Module Browser. The original module-level class and method browser became a module browser, with the addition of module-level functions, years ago. Nested classes and functions were added yesterday. For back-compatibility, the virtual event <<open-class-browser>>, which appears on the Keys tab of the Settings dialog, is not changed. Patch by Cheryl Sabella.

bpo-31500 [https://bugs.python.org/issue?@action=redirect&bpo=31500]: Default fonts now are scaled on HiDPI displays.

bpo-1612262 [https://bugs.python.org/issue?@action=redirect&bpo=1612262]: IDLE module browser now shows nested classes and functions. Original patches for code and tests by Guilherme Polo and Cheryl Sabella, respectively.

Tools/Demos

bpo-30722 [https://bugs.python.org/issue?@action=redirect&bpo=30722]: Make redemo work with Python 3.6 and newer versions. Also, remove the LOCALE option since it doesn’t work with string patterns in Python 3. Patch by Christoph Sarnowski.

C API

bpo-20891 [https://bugs.python.org/issue?@action=redirect&bpo=20891]: Fix PyGILState_Ensure(). When PyGILState_Ensure() is called in a non-Python thread before PyEval_InitThreads(), only call PyEval_InitThreads() after calling PyThreadState_New() to fix a crash.

bpo-31532 [https://bugs.python.org/issue?@action=redirect&bpo=31532]: Fix memory corruption due to allocator mix in getpath.c between Py_GetPath() and Py_SetPath()

bpo-30697 [https://bugs.python.org/issue?@action=redirect&bpo=30697]: The PyExc_RecursionErrorInst singleton is removed and PyErr_NormalizeException() does not use it anymore. This singleton is persistent and its members being never cleared may cause a segfault during finalization of the interpreter. See also bpo-22898 [https://bugs.python.org/issue?@action=redirect&bpo=22898].

Python 3.6.3 final

Release date: 2017-10-03

Library

bpo-31641 [https://bugs.python.org/issue?@action=redirect&bpo=31641]: Re-allow arbitrary iterables in concurrent.futures.as_completed(). Fixes regression in 3.6.3rc1.

Build

bpo-31662 [https://bugs.python.org/issue?@action=redirect&bpo=31662]: Fix typos in Windows uploadrelease.bat script. Fix Windows Doc build issues in Doc/make.bat.

bpo-31423 [https://bugs.python.org/issue?@action=redirect&bpo=31423]: Fix building the PDF documentation with newer versions of Sphinx.

Python 3.6.3 release candidate 1

Release date: 2017-09-18

Security

bpo-29781 [https://bugs.python.org/issue?@action=redirect&bpo=29781]: SSLObject.version() now correctly returns None when handshake over BIO has not been performed yet.

bpo-30947 [https://bugs.python.org/issue?@action=redirect&bpo=30947]: Upgrade libexpat embedded copy from version 2.2.1 to 2.2.3 to get security fixes.

Core and Builtins

bpo-31471 [https://bugs.python.org/issue?@action=redirect&bpo=31471]: Fix an assertion failure in subprocess.Popen() on Windows, in case the env argument has a bad keys() method. Patch by Oren Milman.

bpo-31418 [https://bugs.python.org/issue?@action=redirect&bpo=31418]: Fix an assertion failure in PyErr_WriteUnraisable() in case of an exception with a bad __module__ attribute. Patch by Oren Milman.

bpo-31416 [https://bugs.python.org/issue?@action=redirect&bpo=31416]: Fix assertion failures in case of a bad warnings.filters or warnings.defaultaction. Patch by Oren Milman.

bpo-31411 [https://bugs.python.org/issue?@action=redirect&bpo=31411]: Raise a TypeError instead of SystemError in case warnings.onceregistry is not a dictionary. Patch by Oren Milman.

bpo-31373 [https://bugs.python.org/issue?@action=redirect&bpo=31373]: Fix several possible instances of undefined behavior due to floating-point demotions.

bpo-30465 [https://bugs.python.org/issue?@action=redirect&bpo=30465]: Location information (lineno and col_offset) in f-strings is now (mostly) correct. This fixes tools like flake8 from showing warnings on the wrong line (typically the first line of the file).

bpo-31343 [https://bugs.python.org/issue?@action=redirect&bpo=31343]: Include sys/sysmacros.h for major(), minor(), and makedev(). GNU C libray plans to remove the functions from sys/types.h.

bpo-31291 [https://bugs.python.org/issue?@action=redirect&bpo=31291]: Fix an assertion failure in zipimport.zipimporter.get_data on Windows, when the return value of pathname.replace('/','\\') isn’t a string. Patch by Oren Milman.

bpo-31271 [https://bugs.python.org/issue?@action=redirect&bpo=31271]: Fix an assertion failure in the write() method of io.TextIOWrapper, when the encoder doesn’t return a bytes object. Patch by Oren Milman.

bpo-31243 [https://bugs.python.org/issue?@action=redirect&bpo=31243]: Fix a crash in some methods of io.TextIOWrapper, when the decoder’s state is invalid. Patch by Oren Milman.

bpo-30721 [https://bugs.python.org/issue?@action=redirect&bpo=30721]: print now shows correct usage hint for using Python 2 redirection syntax. Patch by Sanyam Khurana.

bpo-31070 [https://bugs.python.org/issue?@action=redirect&bpo=31070]: Fix a race condition in importlib _get_module_lock().

bpo-31095 [https://bugs.python.org/issue?@action=redirect&bpo=31095]: Fix potential crash during GC caused by tp_dealloc which doesn’t call PyObject_GC_UnTrack().

bpo-31071 [https://bugs.python.org/issue?@action=redirect&bpo=31071]: Avoid masking original TypeError in call with * unpacking when other arguments are passed.

bpo-30978 [https://bugs.python.org/issue?@action=redirect&bpo=30978]: str.format_map() now passes key lookup exceptions through. Previously any exception was replaced with a KeyError exception.

bpo-30808 [https://bugs.python.org/issue?@action=redirect&bpo=30808]: Use _Py_atomic API for concurrency-sensitive signal state.

bpo-30876 [https://bugs.python.org/issue?@action=redirect&bpo=30876]: Relative import from unloaded package now reimports the package instead of failing with SystemError. Relative import from non-package now fails with ImportError rather than SystemError.

bpo-30703 [https://bugs.python.org/issue?@action=redirect&bpo=30703]: Improve signal delivery. Avoid using Py_AddPendingCall from signal handler, to avoid calling signal-unsafe functions. The tests I’m adding here fail without the rest of the patch, on Linux and OS X. This means our signal delivery logic had defects (some signals could be lost).

bpo-30765 [https://bugs.python.org/issue?@action=redirect&bpo=30765]: Avoid blocking in pthread_mutex_lock() when PyThread_acquire_lock() is asked not to block.

bpo-31161 [https://bugs.python.org/issue?@action=redirect&bpo=31161]: Make sure the ‘Missing parentheses’ syntax error message is only applied to SyntaxError, not to subclasses. Patch by Martijn Pieters.

bpo-30814 [https://bugs.python.org/issue?@action=redirect&bpo=30814]: Fixed a race condition when import a submodule from a package.

bpo-30597 [https://bugs.python.org/issue?@action=redirect&bpo=30597]: print now shows expected input in custom error message when used as a Python 2 statement. Patch by Sanyam Khurana.

Library

bpo-31499 [https://bugs.python.org/issue?@action=redirect&bpo=31499]: xml.etree: Fix a crash when a parser is part of a reference cycle.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: typing.get_type_hints now finds the right globalns for classes and modules by default (when no globalns was specified by the caller).

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Speed improvements to the typing module. Original PRs by Ivan Levkivskyi and Mitar.

bpo-31544 [https://bugs.python.org/issue?@action=redirect&bpo=31544]: The C accelerator module of ElementTree ignored exceptions raised when looking up TreeBuilder target methods in XMLParser().

bpo-31234 [https://bugs.python.org/issue?@action=redirect&bpo=31234]: socket.create_connection() now fixes manually a reference cycle: clear the variable storing the last exception on success.

bpo-31457 [https://bugs.python.org/issue?@action=redirect&bpo=31457]: LoggerAdapter objects can now be nested.

bpo-31400 [https://bugs.python.org/issue?@action=redirect&bpo=31400]: Improves SSL error handling to avoid losing error numbers.

bpo-28958 [https://bugs.python.org/issue?@action=redirect&bpo=28958]: ssl.SSLContext() now uses OpenSSL error information when a context cannot be instantiated.

bpo-27340 [https://bugs.python.org/issue?@action=redirect&bpo=27340]: SSLSocket.sendall() now uses memoryview to create slices of data. This fixes support for all bytes-like object. It is also more efficient and avoids costly copies.

bpo-31178 [https://bugs.python.org/issue?@action=redirect&bpo=31178]: Fix string concatenation bug in rare error path in the subprocess module

bpo-31350 [https://bugs.python.org/issue?@action=redirect&bpo=31350]: Micro-optimize asyncio._get_running_loop() to become up to 10% faster.

bpo-31170 [https://bugs.python.org/issue?@action=redirect&bpo=31170]: expat: Update libexpat from 2.2.3 to 2.2.4. Fix copying of partial characters for UTF-8 input (libexpat bug 115): https://github.com/libexpat/libexpat/issues/115

bpo-29136 [https://bugs.python.org/issue?@action=redirect&bpo=29136]: Add TLS 1.3 cipher suites and OP_NO_TLSv1_3.

bpo-29212 [https://bugs.python.org/issue?@action=redirect&bpo=29212]: Fix concurrent.futures.thread.ThreadPoolExecutor threads to have a non repr() based thread name by default when no thread_name_prefix is supplied. They will now identify themselves as “ThreadPoolExecutor-y_n”.

bpo-9146 [https://bugs.python.org/issue?@action=redirect&bpo=9146]: Fix a segmentation fault in _hashopenssl when standard hash functions such as md5 are not available in the linked OpenSSL library. As in some special FIPS-140 build environments.

bpo-27144 [https://bugs.python.org/issue?@action=redirect&bpo=27144]: The map() and as_completed() iterators in concurrent.futures now avoid keeping a reference to yielded objects.

bpo-10746 [https://bugs.python.org/issue?@action=redirect&bpo=10746]: Fix ctypes producing wrong PEP 3118 [https://peps.python.org/pep-3118/] type codes for integer types.

bpo-22536 [https://bugs.python.org/issue?@action=redirect&bpo=22536]: The subprocess module now sets the filename when FileNotFoundError is raised on POSIX systems due to the executable or cwd not being found.

bpo-31249 [https://bugs.python.org/issue?@action=redirect&bpo=31249]: concurrent.futures: WorkItem.run() used by ThreadPoolExecutor now breaks a reference cycle between an exception object and the WorkItem object.

bpo-31247 [https://bugs.python.org/issue?@action=redirect&bpo=31247]: xmlrpc.server now explicitly breaks reference cycles when using sys.exc_info() in code handling exceptions.

bpo-30102 [https://bugs.python.org/issue?@action=redirect&bpo=30102]: The ssl and hashlib modules now call OPENSSL_add_all_algorithms_noconf() on OpenSSL < 1.1.0. The function detects CPU features and enables optimizations on some CPU architectures such as POWER8. Patch is based on research from Gustavo Serra Scalet.

bpo-31185 [https://bugs.python.org/issue?@action=redirect&bpo=31185]: Fixed miscellaneous errors in asyncio speedup module.

bpo-31135 [https://bugs.python.org/issue?@action=redirect&bpo=31135]: ttk: fix the destroy() method of LabeledScale and OptionMenu classes. Call the parent destroy() method even if the used attribute doesn’t exist. The LabeledScale.destroy() method now also explicitly clears label and scale attributes to help the garbage collector to destroy all widgets.

bpo-31107 [https://bugs.python.org/issue?@action=redirect&bpo=31107]: Fix copyreg._slotnames() mangled attribute calculation for classes whose name begins with an underscore. Patch by Shane Harvey.

bpo-31061 [https://bugs.python.org/issue?@action=redirect&bpo=31061]: Fixed a crash when using asyncio and threads.

bpo-30502 [https://bugs.python.org/issue?@action=redirect&bpo=30502]: Fix handling of long oids in ssl. Based on patch by Christian Heimes.

bpo-30119 [https://bugs.python.org/issue?@action=redirect&bpo=30119]: ftplib.FTP.putline() now throws ValueError on commands that contains CR or LF. Patch by Donghee Na.

bpo-30595 [https://bugs.python.org/issue?@action=redirect&bpo=30595]: multiprocessing.Queue.get() with a timeout now polls its reader in non-blocking mode if it succeeded to acquire the lock but the acquire took longer than the timeout.

bpo-29403 [https://bugs.python.org/issue?@action=redirect&bpo=29403]: Fix unittest.mock’s autospec to not fail on method-bound builtin functions. Patch by Aaron Gallagher.

bpo-30961 [https://bugs.python.org/issue?@action=redirect&bpo=30961]: Fix decrementing a borrowed reference in tracemalloc.

bpo-25684 [https://bugs.python.org/issue?@action=redirect&bpo=25684]: Change ttk.OptionMenu radiobuttons to be unique across instances of OptionMenu.

bpo-30886 [https://bugs.python.org/issue?@action=redirect&bpo=30886]: Fix multiprocessing.Queue.join_thread(): it now waits until the thread completes, even if the thread was started by the same process which created the queue.

bpo-29854 [https://bugs.python.org/issue?@action=redirect&bpo=29854]: Fix segfault in readline when using readline’s history-size option. Patch by Nir Soffer.

bpo-30319 [https://bugs.python.org/issue?@action=redirect&bpo=30319]: socket.close() now ignores ECONNRESET error.

bpo-30828 [https://bugs.python.org/issue?@action=redirect&bpo=30828]: Fix out of bounds write in asyncio.CFuture.remove_done_callback().

bpo-30807 [https://bugs.python.org/issue?@action=redirect&bpo=30807]: signal.setitimer() may disable the timer when passed a tiny value. Tiny values (such as 1e-6) are valid non-zero values for setitimer(), which is specified as taking microsecond-resolution intervals. However, on some platform, our conversion routine could convert 1e-6 into a zero interval, therefore disabling the timer instead of (re-)scheduling it.

bpo-30441 [https://bugs.python.org/issue?@action=redirect&bpo=30441]: Fix bug when modifying os.environ while iterating over it

bpo-30532 [https://bugs.python.org/issue?@action=redirect&bpo=30532]: Fix email header value parser dropping folding white space in certain cases.

bpo-30879 [https://bugs.python.org/issue?@action=redirect&bpo=30879]: os.listdir() and os.scandir() now emit bytes names when called with bytes-like argument.

bpo-30746 [https://bugs.python.org/issue?@action=redirect&bpo=30746]: Prohibited the ‘=’ character in environment variable names in os.putenv() and os.spawn*().

bpo-29755 [https://bugs.python.org/issue?@action=redirect&bpo=29755]: Fixed the lgettext() family of functions in the gettext module. They now always return bytes.

Documentation

bpo-31294 [https://bugs.python.org/issue?@action=redirect&bpo=31294]: Fix incomplete code snippet in the ZeroMQSocketListener and ZeroMQSocketHandler examples and adapt them to Python 3.

bpo-21649 [https://bugs.python.org/issue?@action=redirect&bpo=21649]: Add RFC 7525 and Mozilla server side TLS links to SSL documentation.

bpo-30803 [https://bugs.python.org/issue?@action=redirect&bpo=30803]: Clarify doc on truth value testing. Original patch by Peter Thomassen.

Tests

bpo-31320 [https://bugs.python.org/issue?@action=redirect&bpo=31320]: Silence traceback in test_ssl

bpo-25674 [https://bugs.python.org/issue?@action=redirect&bpo=25674]: Remove sha256.tbs-internet.com ssl test

bpo-30715 [https://bugs.python.org/issue?@action=redirect&bpo=30715]: Address ALPN callback changes for OpenSSL 1.1.0f. The latest version behaves like OpenSSL 1.0.2 and no longer aborts handshake.

bpo-30822 [https://bugs.python.org/issue?@action=redirect&bpo=30822]: regrtest: Exclude tzdata from regrtest –all. When running the test suite using –use=all / -u all, exclude tzdata since it makes test_datetime too slow (15-20 min on some buildbots) which then times out on some buildbots. Fix also regrtest command line parser to allow passing -u extralargefile to run test_zipfile64.

Build

bpo-30854 [https://bugs.python.org/issue?@action=redirect&bpo=30854]: Fix compile error when compiling –without-threads. Patch by Masayuki Yamamoto.

Windows

bpo-30389 [https://bugs.python.org/issue?@action=redirect&bpo=30389]: Adds detection of Visual Studio 2017 to distutils on Windows.

bpo-31340 [https://bugs.python.org/issue?@action=redirect&bpo=31340]: Change to building with MSVC v141 (included with Visual Studio 2017)

bpo-30581 [https://bugs.python.org/issue?@action=redirect&bpo=30581]: os.cpu_count() now returns the correct number of processors on Windows when the number of logical processors is greater than 64.

bpo-30731 [https://bugs.python.org/issue?@action=redirect&bpo=30731]: Add a missing xmlns to python.manifest so that it matches the schema.

IDLE

bpo-31493 [https://bugs.python.org/issue?@action=redirect&bpo=31493]: IDLE code context – fix code update and font update timers. Canceling timers prevents a warning message when test_idle completes.

bpo-31488 [https://bugs.python.org/issue?@action=redirect&bpo=31488]: IDLE - Update non-key options in former extension classes. When applying configdialog changes, call .reload for each feature class. Change ParenMatch so updated options affect existing instances attached to existing editor windows.

bpo-31477 [https://bugs.python.org/issue?@action=redirect&bpo=31477]: IDLE - Improve rstrip entry in doc. Strip trailing whitespace strips more than blank spaces. Multiline string literals are not skipped.

bpo-31480 [https://bugs.python.org/issue?@action=redirect&bpo=31480]: IDLE - make tests pass with zzdummy extension disabled by default.

bpo-31421 [https://bugs.python.org/issue?@action=redirect&bpo=31421]: Document how IDLE runs tkinter programs. IDLE calls tcl/tk update in the background in order to make live interaction and experimentation with tkinter applications much easier.

bpo-31414 [https://bugs.python.org/issue?@action=redirect&bpo=31414]: IDLE – fix tk entry box tests by deleting first. Adding to an int entry is not the same as deleting and inserting because int(‘’) will fail.

bpo-31051 [https://bugs.python.org/issue?@action=redirect&bpo=31051]: Rearrange IDLE configdialog GenPage into Window, Editor, and Help sections.

bpo-30617 [https://bugs.python.org/issue?@action=redirect&bpo=30617]: IDLE - Add docstrings and tests for outwin subclass of editor. Move some data and functions from the class to module level. Patch by Cheryl Sabella.

bpo-31287 [https://bugs.python.org/issue?@action=redirect&bpo=31287]: IDLE - Do not modify tkinter.message in test_configdialog.

bpo-27099 [https://bugs.python.org/issue?@action=redirect&bpo=27099]: Convert IDLE’s built-in ‘extensions’ to regular features. About 10 IDLE features were implemented as supposedly optional extensions. Their different behavior could be confusing or worse for users and not good for maintenance. Hence the conversion. The main difference for users is that user configurable key bindings for builtin features are now handled uniformly. Now, editing a binding in a keyset only affects its value in the keyset. All bindings are defined together in the system-specific default keysets in config-extensions.def. All custom keysets are saved as a whole in config-extension.cfg. All take effect as soon as one clicks Apply or Ok. The affected events are ‘<<force-open-completions>>’, ‘<<expand-word>>’, ‘<<force-open-calltip>>’, ‘<<flash-paren>>’, ‘<<format-paragraph>>’, ‘<<run-module>>’, ‘<<check-module>>’, and ‘<<zoom-height>>’. Any (global) customizations made before 3.6.3 will not affect their keyset-specific customization after 3.6.3. and vice versa. Initial patch by Charles Wohlganger.

bpo-31206 [https://bugs.python.org/issue?@action=redirect&bpo=31206]: IDLE: Factor HighPage(Frame) class from ConfigDialog. Patch by Cheryl Sabella.

bpo-31001 [https://bugs.python.org/issue?@action=redirect&bpo=31001]: Add tests for configdialog highlight tab. Patch by Cheryl Sabella.

bpo-31205 [https://bugs.python.org/issue?@action=redirect&bpo=31205]: IDLE: Factor KeysPage(Frame) class from ConfigDialog. The slightly modified tests continue to pass. Patch by Cheryl Sabella.

bpo-31130 [https://bugs.python.org/issue?@action=redirect&bpo=31130]: IDLE – stop leaks in test_configdialog. Initial patch by Victor Stinner.

bpo-31002 [https://bugs.python.org/issue?@action=redirect&bpo=31002]: Add tests for configdialog keys tab. Patch by Cheryl Sabella.

bpo-19903 [https://bugs.python.org/issue?@action=redirect&bpo=19903]: IDLE: Calltips use inspect.signature instead of inspect.getfullargspec. This improves calltips for builtins converted to use Argument Clinic. Patch by Louie Lu.

bpo-31083 [https://bugs.python.org/issue?@action=redirect&bpo=31083]: IDLE - Add an outline of a TabPage class in configdialog. Update existing classes to match outline. Initial patch by Cheryl Sabella.

bpo-31050 [https://bugs.python.org/issue?@action=redirect&bpo=31050]: Factor GenPage(Frame) class from ConfigDialog. The slightly modified tests continue to pass. Patch by Cheryl Sabella.

bpo-31004 [https://bugs.python.org/issue?@action=redirect&bpo=31004]: IDLE - Factor FontPage(Frame) class from ConfigDialog. Slightly modified tests continue to pass. Fix General tests. Patch mostly by Cheryl Sabella.

bpo-30781 [https://bugs.python.org/issue?@action=redirect&bpo=30781]: IDLE - Use ttk widgets in ConfigDialog. Patches by Terry Jan Reedy and Cheryl Sabella.

bpo-31060 [https://bugs.python.org/issue?@action=redirect&bpo=31060]: IDLE - Finish rearranging methods of ConfigDialog Grouping methods pertaining to each tab and the buttons will aid writing tests and improving the tabs and will enable splitting the groups into classes.

bpo-30853 [https://bugs.python.org/issue?@action=redirect&bpo=30853]: IDLE – Factor a VarTrace class out of ConfigDialog. Instance tracers manages pairs consisting of a tk variable and a callback function. When tracing is turned on, setting the variable calls the function. Test coverage for the new class is 100%.

bpo-31003 [https://bugs.python.org/issue?@action=redirect&bpo=31003]: IDLE: Add more tests for General tab.

bpo-30993 [https://bugs.python.org/issue?@action=redirect&bpo=30993]: IDLE - Improve configdialog font page and tests. In configdialog: Document causal pathways in create_font_tab docstring. Simplify some attribute names. Move set_samples calls to var_changed_font (idea from Cheryl Sabella). Move related functions to positions after the create widgets function. In test_configdialog: Fix test_font_set so not order dependent. Fix renamed test_indent_scale so it tests the widget. Adjust tests for movement of set_samples call. Add tests for load functions. Put all font tests in one class and tab indent tests in another. Except for two lines, these tests completely cover the related functions.

bpo-30981 [https://bugs.python.org/issue?@action=redirect&bpo=30981]: IDLE – Add more configdialog font page tests.

bpo-28523 [https://bugs.python.org/issue?@action=redirect&bpo=28523]: IDLE: replace ‘colour’ with ‘color’ in configdialog.

bpo-30917 [https://bugs.python.org/issue?@action=redirect&bpo=30917]: Add tests for idlelib.config.IdleConf. Increase coverage from 46% to 96%. Patch by Louie Lu.

bpo-30934 [https://bugs.python.org/issue?@action=redirect&bpo=30934]: Document coverage details for idlelib tests. Add section to idlelib/idle-test/README.txt. Include check that branches are taken both ways. Exclude IDLE-specific code that does not run during unit tests.

bpo-30913 [https://bugs.python.org/issue?@action=redirect&bpo=30913]: IDLE: Document ConfigDialog tk Vars, methods, and widgets in docstrings This will facilitate improving the dialog and splitting up the class. Original patch by Cheryl Sabella.

bpo-30899 [https://bugs.python.org/issue?@action=redirect&bpo=30899]: IDLE: Add tests for ConfigParser subclasses in config. Patch by Louie Lu.

bpo-30881 [https://bugs.python.org/issue?@action=redirect&bpo=30881]: IDLE: Add docstrings to browser.py. Patch by Cheryl Sabella.

bpo-30851 [https://bugs.python.org/issue?@action=redirect&bpo=30851]: IDLE: Remove unused variables in configdialog. One is a duplicate, one is set but cannot be altered by users. Patch by Cheryl Sabella.

bpo-30870 [https://bugs.python.org/issue?@action=redirect&bpo=30870]: IDLE: In Settings dialog, select font with Up, Down keys as well as mouse. Initial patch by Louie Lu.

bpo-8231 [https://bugs.python.org/issue?@action=redirect&bpo=8231]: IDLE: call config.IdleConf.GetUserCfgDir only once.

bpo-30779 [https://bugs.python.org/issue?@action=redirect&bpo=30779]: IDLE: Factor ConfigChanges class from configdialog, put in config; test. * In config, put dump test code in a function; run it and unittest in ‘if __name__ == ‘__main__’. * Add class config.ConfigChanges based on changes_class_v4.py on bpo issue. * Add class test_config.ChangesTest, partly using configdialog_tests_v1.py. * Revise configdialog to use ConfigChanges; see tracker msg297804. * Revise test_configdialog to match configdialog changes. * Remove configdialog functions unused or moved to ConfigChanges. Cheryl Sabella contributed parts of the patch.

bpo-30777 [https://bugs.python.org/issue?@action=redirect&bpo=30777]: IDLE: configdialog - Add docstrings and fix comments. Patch by Cheryl Sabella.

bpo-30495 [https://bugs.python.org/issue?@action=redirect&bpo=30495]: IDLE: Improve textview with docstrings, PEP8 names, and more tests. Patch by Cheryl Sabella.

bpo-30723 [https://bugs.python.org/issue?@action=redirect&bpo=30723]: IDLE: Make several improvements to parenmatch. Add ‘parens’ style to highlight both opener and closer. Make ‘default’ style, which is not default, a synonym for ‘opener’. Make time-delay work the same with all styles. Add help for config dialog extensions tab, including help for parenmatch. Add new tests. Original patch by Charles Wohlganger.

bpo-30674 [https://bugs.python.org/issue?@action=redirect&bpo=30674]: IDLE: add docstrings to grep module. Patch by Cheryl Sabella

bpo-21519 [https://bugs.python.org/issue?@action=redirect&bpo=21519]: IDLE’s basic custom key entry dialog now detects duplicates properly. Original patch by Saimadhav Heblikar.

bpo-29910 [https://bugs.python.org/issue?@action=redirect&bpo=29910]: IDLE no longer deletes a character after commenting out a region by a key shortcut. Add return 'break' for this and other potential conflicts between IDLE and default key bindings.

bpo-30728 [https://bugs.python.org/issue?@action=redirect&bpo=30728]: Review and change idlelib.configdialog names. Lowercase method and attribute names. Replace ‘colour’ with ‘color’, expand overly cryptic names, delete unneeded underscores. Replace import * with specific imports. Patches by Cheryl Sabella.

bpo-6739 [https://bugs.python.org/issue?@action=redirect&bpo=6739]: IDLE: Verify user-entered key sequences by trying to bind them with tk. Add tests for all 3 validation functions. Original patch by G Polo. Tests added by Cheryl Sabella.

Tools/Demos

bpo-30983 [https://bugs.python.org/issue?@action=redirect&bpo=30983]: gdb integration commands (py-bt, etc.) work on optimized shared builds now, too. PEP 523 [https://peps.python.org/pep-0523/] introduced _PyEval_EvalFrameDefault which inlines PyEval_EvalFrameEx on non-debug shared builds. This broke the ability to use py-bt, py-up, and a few other Python-specific gdb integrations. The problem is fixed by only looking for _PyEval_EvalFrameDefault frames in python-gdb.py. Original patch by Bruno “Polaco” Penteado.

Python 3.6.2 final

Release date: 2017-07-17

No changes since release candidate 2

Python 3.6.2 release candidate 2

Release date: 2017-07-07

Security

bpo-30730 [https://bugs.python.org/issue?@action=redirect&bpo=30730]: Prevent environment variables injection in subprocess on Windows. Prevent passing other environment variables and command arguments.

bpo-30694 [https://bugs.python.org/issue?@action=redirect&bpo=30694]: Upgrade expat copy from 2.2.0 to 2.2.1 to get fixes of multiple security vulnerabilities including: CVE 2017-9233 [https://www.cve.org/CVERecord?id=CVE-2017-9233] (External entity infinite loop DoS), CVE 2016-9063 [https://www.cve.org/CVERecord?id=CVE-2016-9063] (Integer overflow, re-fix), CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] (Fix regression bugs from 2.2.0’s fix to CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718]) and CVE 2012-0876 [https://www.cve.org/CVERecord?id=CVE-2012-0876] (Counter hash flooding with SipHash). Note: the CVE 2016-5300 [https://www.cve.org/CVERecord?id=CVE-2016-5300] (Use os-specific entropy sources like getrandom) doesn’t impact Python, since Python already gets entropy from the OS to set the expat secret using XML_SetHashSalt().

bpo-30500 [https://bugs.python.org/issue?@action=redirect&bpo=30500]: Fix urllib.parse.splithost() to correctly parse fragments. For example, splithost('//127.0.0.1#@evil.com/') now correctly returns the 127.0.0.1 host, instead of treating @evil.com as the host in an authentication (login@host).

Python 3.6.2 release candidate 1

Release date: 2017-06-17

Security

bpo-29591 [https://bugs.python.org/issue?@action=redirect&bpo=29591]: Update expat copy from 2.1.1 to 2.2.0 to get fixes of CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] and CVE 2016-4472 [https://www.cve.org/CVERecord?id=CVE-2016-4472]. See https://sourceforge.net/p/expat/bugs/537/ for more information.

Core and Builtins

bpo-30682 [https://bugs.python.org/issue?@action=redirect&bpo=30682]: Removed a too-strict assertion that failed for certain f-strings, such as eval(“f’\n’”) and eval(“f’\r’”).

bpo-30604 [https://bugs.python.org/issue?@action=redirect&bpo=30604]: Move co_extra_freefuncs to not be per-thread to avoid crashes

bpo-29104 [https://bugs.python.org/issue?@action=redirect&bpo=29104]: Fixed parsing backslashes in f-strings.

bpo-27945 [https://bugs.python.org/issue?@action=redirect&bpo=27945]: Fixed various segfaults with dict when input collections are mutated during searching, inserting or comparing. Based on patches by Duane Griffin and Tim Mitchell.

bpo-25794 [https://bugs.python.org/issue?@action=redirect&bpo=25794]: Fixed type.__setattr__() and type.__delattr__() for non-interned attribute names. Based on patch by Eryk Sun.

bpo-30039 [https://bugs.python.org/issue?@action=redirect&bpo=30039]: If a KeyboardInterrupt happens when the interpreter is in the middle of resuming a chain of nested ‘yield from’ or ‘await’ calls, it’s now correctly delivered to the innermost frame.

bpo-12414 [https://bugs.python.org/issue?@action=redirect&bpo=12414]: sys.getsizeof() on a code object now returns the sizes which includes the code struct and sizes of objects which it references. Patch by Donghee Na.

bpo-29949 [https://bugs.python.org/issue?@action=redirect&bpo=29949]: Fix memory usage regression of set and frozenset object.

bpo-29935 [https://bugs.python.org/issue?@action=redirect&bpo=29935]: Fixed error messages in the index() method of tuple, list and deque when pass indices of wrong type.

bpo-29859 [https://bugs.python.org/issue?@action=redirect&bpo=29859]: Show correct error messages when any of the pthread_* calls in thread_pthread.h fails.

bpo-28876 [https://bugs.python.org/issue?@action=redirect&bpo=28876]: bool(range) works even if len(range) raises OverflowError.

bpo-29600 [https://bugs.python.org/issue?@action=redirect&bpo=29600]: Fix wrapping coroutine return values in StopIteration.

bpo-28856 [https://bugs.python.org/issue?@action=redirect&bpo=28856]: Fix an oversight that %b format for bytes should support objects follow the buffer protocol.

bpo-29714 [https://bugs.python.org/issue?@action=redirect&bpo=29714]: Fix a regression that bytes format may fail when containing zero bytes inside.

bpo-29478 [https://bugs.python.org/issue?@action=redirect&bpo=29478]: If max_line_length=None is specified while using the Compat32 policy, it is no longer ignored. Patch by Mircea Cosbuc.

Library

bpo-30616 [https://bugs.python.org/issue?@action=redirect&bpo=30616]: Functional API of enum allows to create empty enums. Patched by Donghee Na

bpo-30038 [https://bugs.python.org/issue?@action=redirect&bpo=30038]: Fix race condition between signal delivery and wakeup file descriptor. Patch by Nathaniel Smith.

bpo-23894 [https://bugs.python.org/issue?@action=redirect&bpo=23894]: lib2to3 now recognizes rb'...' and f'...' strings.

bpo-23890 [https://bugs.python.org/issue?@action=redirect&bpo=23890]: unittest.TestCase.assertRaises() now manually breaks a reference cycle to not keep objects alive longer than expected.

bpo-30149 [https://bugs.python.org/issue?@action=redirect&bpo=30149]: inspect.signature() now supports callables with variable-argument parameters wrapped with partialmethod. Patch by Donghee Na.

bpo-30645 [https://bugs.python.org/issue?@action=redirect&bpo=30645]: Fix path calculation in imp.load_package(), fixing it for cases when a package is only shipped with bytecodes. Patch by Alexandru Ardelean.

bpo-29931 [https://bugs.python.org/issue?@action=redirect&bpo=29931]: Fixed comparison check for ipaddress.ip_interface objects. Patch by Sanjay Sundaresan.

bpo-30605 [https://bugs.python.org/issue?@action=redirect&bpo=30605]: re.compile() no longer raises a BytesWarning when compiling a bytes instance with misplaced inline modifier. Patch by Roy Williams.

bpo-24484 [https://bugs.python.org/issue?@action=redirect&bpo=24484]: Avoid race condition in multiprocessing cleanup (#2159)

bpo-28994 [https://bugs.python.org/issue?@action=redirect&bpo=28994]: The traceback no longer displayed for SystemExit raised in a callback registered by atexit.

bpo-30508 [https://bugs.python.org/issue?@action=redirect&bpo=30508]: Don’t log exceptions if Task/Future “cancel()” method was called.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Updates to typing module: Add generic AsyncContextManager, add support for ContextManager on all versions. Original PRs by Jelle Zijlstra and Ivan Levkivskyi

bpo-29870 [https://bugs.python.org/issue?@action=redirect&bpo=29870]: Fix ssl sockets leaks when connection is aborted in asyncio/ssl implementation. Patch by Michaël Sghaïer.

bpo-29743 [https://bugs.python.org/issue?@action=redirect&bpo=29743]: Closing transport during handshake process leaks open socket. Patch by Nikolay Kim

bpo-27585 [https://bugs.python.org/issue?@action=redirect&bpo=27585]: Fix waiter cancellation in asyncio.Lock. Patch by Mathieu Sornay.

bpo-30418 [https://bugs.python.org/issue?@action=redirect&bpo=30418]: On Windows, subprocess.Popen.communicate() now also ignore EINVAL on stdin.write() if the child process is still running but closed the pipe.

bpo-29822 [https://bugs.python.org/issue?@action=redirect&bpo=29822]: inspect.isabstract() now works during __init_subclass__. Patch by Nate Soares.

bpo-29581 [https://bugs.python.org/issue?@action=redirect&bpo=29581]: ABCMeta.__new__ now accepts **kwargs, allowing abstract base classes to use keyword parameters in __init_subclass__. Patch by Nate Soares.

bpo-30557 [https://bugs.python.org/issue?@action=redirect&bpo=30557]: faulthandler now correctly filters and displays exception codes on Windows

bpo-30378 [https://bugs.python.org/issue?@action=redirect&bpo=30378]: Fix the problem that logging.handlers.SysLogHandler cannot handle IPv6 addresses.

bpo-29960 [https://bugs.python.org/issue?@action=redirect&bpo=29960]: Preserve generator state when _random.Random.setstate() raises an exception. Patch by Bryan Olson.

bpo-30414 [https://bugs.python.org/issue?@action=redirect&bpo=30414]: multiprocessing.Queue._feed background running thread do not break from main loop on exception.

bpo-30003 [https://bugs.python.org/issue?@action=redirect&bpo=30003]: Fix handling escape characters in HZ codec. Based on patch by Ma Lin.

bpo-30301 [https://bugs.python.org/issue?@action=redirect&bpo=30301]: Fix AttributeError when using SimpleQueue.empty() under spawn and forkserver start methods.

bpo-30329 [https://bugs.python.org/issue?@action=redirect&bpo=30329]: imaplib and poplib now catch the Windows socket WSAEINVAL error (code 10022) on shutdown(SHUT_RDWR): An invalid operation was attempted. This error occurs sometimes on SSL connections.

bpo-30375 [https://bugs.python.org/issue?@action=redirect&bpo=30375]: Warnings emitted when compile a regular expression now always point to the line in the user code. Previously they could point into inners of the re module if emitted from inside of groups or conditionals.

bpo-30048 [https://bugs.python.org/issue?@action=redirect&bpo=30048]: Fixed Task.cancel() can be ignored when the task is running coroutine and the coroutine returned without any more await.

bpo-30266 [https://bugs.python.org/issue?@action=redirect&bpo=30266]: contextlib.AbstractContextManager now supports anti-registration by setting __enter__ = None or __exit__ = None, following the pattern introduced in bpo-25958 [https://bugs.python.org/issue?@action=redirect&bpo=25958]. Patch by Jelle Zijlstra.

bpo-30298 [https://bugs.python.org/issue?@action=redirect&bpo=30298]: Weaken the condition of deprecation warnings for inline modifiers. Now allowed several subsequential inline modifiers at the start of the pattern (e.g. '(?i)(?s)...'). In verbose mode whitespaces and comments now are allowed before and between inline modifiers (e.g. '(?x) (?i) (?s)...').

bpo-29990 [https://bugs.python.org/issue?@action=redirect&bpo=29990]: Fix range checking in GB18030 decoder. Original patch by Ma Lin.

bpo-26293 [https://bugs.python.org/issue?@action=redirect&bpo=26293]: Change resulted because of zipfile breakage. (See also: bpo-29094 [https://bugs.python.org/issue?@action=redirect&bpo=29094])

bpo-30243 [https://bugs.python.org/issue?@action=redirect&bpo=30243]: Removed the __init__ methods of _json’s scanner and encoder. Misusing them could cause memory leaks or crashes. Now scanner and encoder objects are completely initialized in the __new__ methods.

bpo-30185 [https://bugs.python.org/issue?@action=redirect&bpo=30185]: Avoid KeyboardInterrupt tracebacks in forkserver helper process when Ctrl-C is received.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: add typing.NoReturn type, use WrapperDescriptorType, minor bug-fixes. Original PRs by Jim Fasarakis-Hilliard and Ivan Levkivskyi.

bpo-30205 [https://bugs.python.org/issue?@action=redirect&bpo=30205]: Fix getsockname() for unbound AF_UNIX sockets on Linux.

bpo-30070 [https://bugs.python.org/issue?@action=redirect&bpo=30070]: Fixed leaks and crashes in errors handling in the parser module.

bpo-30061 [https://bugs.python.org/issue?@action=redirect&bpo=30061]: Fixed crashes in IOBase methods __next__() and readlines() when readline() or __next__() respectively return non-sizeable object. Fixed possible other errors caused by not checking results of PyObject_Size(), PySequence_Size(), or PyMapping_Size().

bpo-30017 [https://bugs.python.org/issue?@action=redirect&bpo=30017]: Allowed calling the close() method of the zip entry writer object multiple times. Writing to a closed writer now always produces a ValueError.

bpo-30068 [https://bugs.python.org/issue?@action=redirect&bpo=30068]: _io._IOBase.readlines will check if it’s closed first when hint is present.

bpo-29694 [https://bugs.python.org/issue?@action=redirect&bpo=29694]: Fixed race condition in pathlib mkdir with flags parents=True. Patch by Armin Rigo.

bpo-29692 [https://bugs.python.org/issue?@action=redirect&bpo=29692]: Fixed arbitrary unchaining of RuntimeError exceptions in contextlib.contextmanager. Patch by Siddharth Velankar.

bpo-29998 [https://bugs.python.org/issue?@action=redirect&bpo=29998]: Pickling and copying ImportError now preserves name and path attributes.

bpo-29953 [https://bugs.python.org/issue?@action=redirect&bpo=29953]: Fixed memory leaks in the replace() method of datetime and time objects when pass out of bound fold argument.

bpo-29942 [https://bugs.python.org/issue?@action=redirect&bpo=29942]: Fix a crash in itertools.chain.from_iterable when encountering long runs of empty iterables.

bpo-27863 [https://bugs.python.org/issue?@action=redirect&bpo=27863]: Fixed multiple crashes in ElementTree caused by race conditions and wrong types.

bpo-28699 [https://bugs.python.org/issue?@action=redirect&bpo=28699]: Fixed a bug in pools in multiprocessing.pool that raising an exception at the very first of an iterable may swallow the exception or make the program hang. Patch by Davin Potts and Xiang Zhang.

bpo-25803 [https://bugs.python.org/issue?@action=redirect&bpo=25803]: Avoid incorrect errors raised by Path.mkdir(exist_ok=True) when the OS gives priority to errors such as EACCES over EEXIST.

bpo-29861 [https://bugs.python.org/issue?@action=redirect&bpo=29861]: Release references to tasks, their arguments and their results as soon as they are finished in multiprocessing.Pool.

bpo-29884 [https://bugs.python.org/issue?@action=redirect&bpo=29884]: faulthandler: Restore the old sigaltstack during teardown. Patch by Christophe Zeitouny.

bpo-25455 [https://bugs.python.org/issue?@action=redirect&bpo=25455]: Fixed crashes in repr of recursive buffered file-like objects.

bpo-29800 [https://bugs.python.org/issue?@action=redirect&bpo=29800]: Fix crashes in partial.__repr__ if the keys of partial.keywords are not strings. Patch by Michael Seifert.

bpo-29742 [https://bugs.python.org/issue?@action=redirect&bpo=29742]: get_extra_info() raises exception if get called on closed ssl transport. Patch by Nikolay Kim.

bpo-8256 [https://bugs.python.org/issue?@action=redirect&bpo=8256]: Fixed possible failing or crashing input() if attributes “encoding” or “errors” of sys.stdin or sys.stdout are not set or are not strings.

bpo-28298 [https://bugs.python.org/issue?@action=redirect&bpo=28298]: Fix a bug that prevented array ‘Q’, ‘L’ and ‘I’ from accepting big intables (objects that have __int__) as elements. Patch by Oren Milman.

bpo-28231 [https://bugs.python.org/issue?@action=redirect&bpo=28231]: The zipfile module now accepts path-like objects for external paths.

bpo-26915 [https://bugs.python.org/issue?@action=redirect&bpo=26915]: index() and count() methods of collections.abc.Sequence now check identity before checking equality when do comparisons.

bpo-29615 [https://bugs.python.org/issue?@action=redirect&bpo=29615]: SimpleXMLRPCDispatcher no longer chains KeyError (or any other exception) to exception(s) raised in the dispatched methods. Patch by Petr Motejlek.

bpo-30177 [https://bugs.python.org/issue?@action=redirect&bpo=30177]: path.resolve(strict=False) no longer cuts the path after the first element not present in the filesystem. Patch by Antoine Pietri.

IDLE

bpo-15786 [https://bugs.python.org/issue?@action=redirect&bpo=15786]: Fix several problems with IDLE’s autocompletion box. The following should now work: clicking on selection box items; using the scrollbar; selecting an item by hitting Return. Hangs on MacOSX should no longer happen. Patch by Louie Lu.

bpo-25514 [https://bugs.python.org/issue?@action=redirect&bpo=25514]: Add doc subsubsection about IDLE failure to start. Popup no-connection message directs users to this section.

bpo-30642 [https://bugs.python.org/issue?@action=redirect&bpo=30642]: Fix reference leaks in IDLE tests. Patches by Louie Lu and Terry Jan Reedy.

bpo-30495 [https://bugs.python.org/issue?@action=redirect&bpo=30495]: Add docstrings for textview.py and use PEP8 names. Patches by Cheryl Sabella and Terry Jan Reedy.

bpo-30290 [https://bugs.python.org/issue?@action=redirect&bpo=30290]: Help-about: use pep8 names and add tests. Increase coverage to 100%. Patches by Louie Lu, Cheryl Sabella, and Terry Jan Reedy.

bpo-30303 [https://bugs.python.org/issue?@action=redirect&bpo=30303]: Add _utest option to textview; add new tests. Increase coverage to 100%. Patches by Louie Lu and Terry Jan Reedy.

C API

bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867]: Function PySlice_GetIndicesEx() no longer replaced with a macro if Py_LIMITED_API is not set.

Build

bpo-29941 [https://bugs.python.org/issue?@action=redirect&bpo=29941]: Add --with-assertions configure flag to explicitly enable C assert() checks. Defaults to off. --with-pydebug implies --with-assertions.

bpo-28787 [https://bugs.python.org/issue?@action=redirect&bpo=28787]: Fix out-of-tree builds of Python when configured with --with--dtrace.

bpo-29243 [https://bugs.python.org/issue?@action=redirect&bpo=29243]: Prevent unnecessary rebuilding of Python during make test, make install and some other make targets when configured with --enable-optimizations.

bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404]: Don’t regenerate generated files based on file modification time anymore: the action is now explicit. Replace make touch with make regen-all.

bpo-29643 [https://bugs.python.org/issue?@action=redirect&bpo=29643]: Fix --enable-optimization didn’t work.

Documentation

bpo-30176 [https://bugs.python.org/issue?@action=redirect&bpo=30176]: Add missing attribute related constants in curses documentation.

bpo-30052 [https://bugs.python.org/issue?@action=redirect&bpo=30052]: the link targets for bytes() and bytearray() are now their respective type definitions, rather than the corresponding builtin function entries. Use bytes and bytearray to reference the latter. In order to ensure this and future cross-reference updates are applied automatically, the daily documentation builds now disable the default output caching features in Sphinx.

bpo-26985 [https://bugs.python.org/issue?@action=redirect&bpo=26985]: Add missing info of code object in inspect documentation.

Tools/Demos

bpo-29367 [https://bugs.python.org/issue?@action=redirect&bpo=29367]: python-gdb.py now supports also method-wrapper (wrapperobject) objects.

Tests

bpo-30357 [https://bugs.python.org/issue?@action=redirect&bpo=30357]: test_thread: setUp() now uses support.threading_setup() and support.threading_cleanup() to wait until threads complete to avoid random side effects on following tests. Initial patch written by Grzegorz Grzywacz.

bpo-30197 [https://bugs.python.org/issue?@action=redirect&bpo=30197]: Enhanced functions swap_attr() and swap_item() in the test.support module. They now work when delete replaced attribute or item inside the with statement. The old value of the attribute or item (or None if it doesn’t exist) now will be assigned to the target of the “as” clause, if there is one.

Windows

bpo-30687 [https://bugs.python.org/issue?@action=redirect&bpo=30687]: Locate msbuild.exe on Windows when building rather than vcvarsall.bat

bpo-30450 [https://bugs.python.org/issue?@action=redirect&bpo=30450]: The build process on Windows no longer depends on Subversion, instead pulling external code from GitHub via a Python script. If Python 3.6 is not found on the system (via py -3.6), NuGet is used to download a copy of 32-bit Python.

Python 3.6.1 final

Release date: 2017-03-21

Core and Builtins

bpo-29723 [https://bugs.python.org/issue?@action=redirect&bpo=29723]: The sys.path[0] initialization change for bpo-29139 [https://bugs.python.org/issue?@action=redirect&bpo=29139] caused a regression by revealing an inconsistency in how sys.path is initialized when executing __main__ from a zipfile, directory, or other import location. The interpreter now consistently avoids ever adding the import location’s parent directory to sys.path, and ensures no other sys.path entries are inadvertently modified when inserting the import location named on the command line.

Build

bpo-27593 [https://bugs.python.org/issue?@action=redirect&bpo=27593]: fix format of git information used in sys.version

Fix incompatible comment in python.h

Python 3.6.1 release candidate 1

Release date: 2017-03-04

Core and Builtins

bpo-28893 [https://bugs.python.org/issue?@action=redirect&bpo=28893]: Set correct __cause__ for errors about invalid awaitables returned from __aiter__ and __anext__.

bpo-29683 [https://bugs.python.org/issue?@action=redirect&bpo=29683]: Fixes to memory allocation in _PyCode_SetExtra. Patch by Brian Coleman.

bpo-29684 [https://bugs.python.org/issue?@action=redirect&bpo=29684]: Fix minor regression of PyEval_CallObjectWithKeywords. It should raise TypeError when kwargs is not a dict. But it might cause segv when args=NULL and kwargs is not a dict.

bpo-28598 [https://bugs.python.org/issue?@action=redirect&bpo=28598]: Support __rmod__ for subclasses of str being called before str.__mod__. Patch by Martijn Pieters.

bpo-29607 [https://bugs.python.org/issue?@action=redirect&bpo=29607]: Fix stack_effect computation for CALL_FUNCTION_EX. Patch by Matthieu Dartiailh.

bpo-29602 [https://bugs.python.org/issue?@action=redirect&bpo=29602]: Fix incorrect handling of signed zeros in complex constructor for complex subclasses and for inputs having a __complex__ method. Patch by Serhiy Storchaka.

bpo-29347 [https://bugs.python.org/issue?@action=redirect&bpo=29347]: Fixed possibly dereferencing undefined pointers when creating weakref objects.

bpo-29438 [https://bugs.python.org/issue?@action=redirect&bpo=29438]: Fixed use-after-free problem in key sharing dict.

bpo-29319 [https://bugs.python.org/issue?@action=redirect&bpo=29319]: Prevent RunMainFromImporter overwriting sys.path[0].

bpo-29337 [https://bugs.python.org/issue?@action=redirect&bpo=29337]: Fixed possible BytesWarning when compare the code objects. Warnings could be emitted at compile time.

bpo-29327 [https://bugs.python.org/issue?@action=redirect&bpo=29327]: Fixed a crash when pass the iterable keyword argument to sorted().

bpo-29034 [https://bugs.python.org/issue?@action=redirect&bpo=29034]: Fix memory leak and use-after-free in os module (path_converter).

bpo-29159 [https://bugs.python.org/issue?@action=redirect&bpo=29159]: Fix regression in bytes(x) when x.__index__() raises Exception.

bpo-28932 [https://bugs.python.org/issue?@action=redirect&bpo=28932]: Do not include <sys/random.h> if it does not exist.

bpo-25677 [https://bugs.python.org/issue?@action=redirect&bpo=25677]: Correct the positioning of the syntax error caret for indented blocks. Based on patch by Michael Layzell.

bpo-29000 [https://bugs.python.org/issue?@action=redirect&bpo=29000]: Fixed bytes formatting of octals with zero padding in alternate form.

bpo-26919 [https://bugs.python.org/issue?@action=redirect&bpo=26919]: On Android, operating system data is now always encoded/decoded to/from UTF-8, instead of the locale encoding to avoid inconsistencies with os.fsencode() and os.fsdecode() which are already using UTF-8.

bpo-28991 [https://bugs.python.org/issue?@action=redirect&bpo=28991]: functools.lru_cache() was susceptible to an obscure reentrancy bug triggerable by a monkey-patched len() function.

bpo-28739 [https://bugs.python.org/issue?@action=redirect&bpo=28739]: f-string expressions are no longer accepted as docstrings and by ast.literal_eval() even if they do not include expressions.

bpo-28512 [https://bugs.python.org/issue?@action=redirect&bpo=28512]: Fixed setting the offset attribute of SyntaxError by PyErr_SyntaxLocationEx() and PyErr_SyntaxLocationObject().

bpo-28918 [https://bugs.python.org/issue?@action=redirect&bpo=28918]: Fix the cross compilation of xxlimited when Python has been built with Py_DEBUG defined.

bpo-28731 [https://bugs.python.org/issue?@action=redirect&bpo=28731]: Optimize _PyDict_NewPresized() to create correct size dict. Improve speed of dict literal with constant keys up to 30%.

Library

bpo-29169 [https://bugs.python.org/issue?@action=redirect&bpo=29169]: Update zlib to 1.2.11.

bpo-29623 [https://bugs.python.org/issue?@action=redirect&bpo=29623]: Allow use of path-like object as a single argument in ConfigParser.read(). Patch by David Ellis.

bpo-28963 [https://bugs.python.org/issue?@action=redirect&bpo=28963]: Fix out of bound iteration in asyncio.Future.remove_done_callback implemented in C.

bpo-29704 [https://bugs.python.org/issue?@action=redirect&bpo=29704]: asyncio.subprocess.SubprocessStreamProtocol no longer closes before all pipes are closed.

bpo-29271 [https://bugs.python.org/issue?@action=redirect&bpo=29271]: Fix Task.current_task and Task.all_tasks implemented in C to accept None argument as their pure Python implementation.

bpo-29703 [https://bugs.python.org/issue?@action=redirect&bpo=29703]: Fix asyncio to support instantiation of new event loops in child processes.

bpo-29376 [https://bugs.python.org/issue?@action=redirect&bpo=29376]: Fix assertion error in threading._DummyThread.is_alive().

bpo-28624 [https://bugs.python.org/issue?@action=redirect&bpo=28624]: Add a test that checks that cwd parameter of Popen() accepts PathLike objects. Patch by Sayan Chowdhury.

bpo-28518 [https://bugs.python.org/issue?@action=redirect&bpo=28518]: Start a transaction implicitly before a DML statement. Patch by Aviv Palivoda.

bpo-29532 [https://bugs.python.org/issue?@action=redirect&bpo=29532]: Altering a kwarg dictionary passed to functools.partial() no longer affects a partial object after creation.

bpo-29110 [https://bugs.python.org/issue?@action=redirect&bpo=29110]: Fix file object leak in aifc.open() when file is given as a filesystem path and is not in valid AIFF format. Patch by Anthony Zhang.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: typing.Counter, typing.ChainMap, improved ABC caching, etc. Original PRs by Jelle Zijlstra, Ivan Levkivskyi, Manuel Krebber, and Łukasz Langa.

bpo-29100 [https://bugs.python.org/issue?@action=redirect&bpo=29100]: Fix datetime.fromtimestamp() regression introduced in Python 3.6.0: check minimum and maximum years.

bpo-29519 [https://bugs.python.org/issue?@action=redirect&bpo=29519]: Fix weakref spewing exceptions during interpreter shutdown when used with a rare combination of multiprocessing and custom codecs.

bpo-29416 [https://bugs.python.org/issue?@action=redirect&bpo=29416]: Prevent infinite loop in pathlib.Path.mkdir

bpo-29444 [https://bugs.python.org/issue?@action=redirect&bpo=29444]: Fixed out-of-bounds buffer access in the group() method of the match object. Based on patch by WGH.

bpo-29335 [https://bugs.python.org/issue?@action=redirect&bpo=29335]: Fix subprocess.Popen.wait() when the child process has exited to a stopped instead of terminated state (ex: when under ptrace).

bpo-29290 [https://bugs.python.org/issue?@action=redirect&bpo=29290]: Fix a regression in argparse that help messages would wrap at non-breaking spaces.

bpo-28735 [https://bugs.python.org/issue?@action=redirect&bpo=28735]: Fixed the comparison of mock.MagickMock with mock.ANY.

bpo-29316 [https://bugs.python.org/issue?@action=redirect&bpo=29316]: Restore the provisional status of typing module, add corresponding note to documentation. Patch by Ivan L.

bpo-29219 [https://bugs.python.org/issue?@action=redirect&bpo=29219]: Fixed infinite recursion in the repr of uninitialized ctypes.CDLL instances.

bpo-29011 [https://bugs.python.org/issue?@action=redirect&bpo=29011]: Fix an important omission by adding Deque to the typing module.

bpo-28969 [https://bugs.python.org/issue?@action=redirect&bpo=28969]: Fixed race condition in C implementation of functools.lru_cache. KeyError could be raised when cached function with full cache was simultaneously called from different threads with the same uncached arguments.

bpo-29142 [https://bugs.python.org/issue?@action=redirect&bpo=29142]: In urllib.request, suffixes in no_proxy environment variable with leading dots could match related hostnames again (e.g. .b.c matches a.b.c). Patch by Milan Oberkirch.

bpo-28961 [https://bugs.python.org/issue?@action=redirect&bpo=28961]: Fix unittest.mock._Call helper: don’t ignore the name parameter anymore. Patch written by Jiajun Huang.

bpo-29203 [https://bugs.python.org/issue?@action=redirect&bpo=29203]: functools.lru_cache() now respects PEP 468 [https://peps.python.org/pep-0468/] and preserves the order of keyword arguments. f(a=1, b=2) is now cached separately from f(b=2, a=1) since both calls could potentially give different results.

bpo-15812 [https://bugs.python.org/issue?@action=redirect&bpo=15812]: inspect.getframeinfo() now correctly shows the first line of a context. Patch by Sam Breese.

bpo-29094 [https://bugs.python.org/issue?@action=redirect&bpo=29094]: Offsets in a ZIP file created with extern file object and modes “w” and “x” now are relative to the start of the file.

bpo-29085 [https://bugs.python.org/issue?@action=redirect&bpo=29085]: Allow random.Random.seed() to use high quality OS randomness rather than the pid and time.

bpo-29061 [https://bugs.python.org/issue?@action=redirect&bpo=29061]: Fixed bug in secrets.randbelow() which would hang when given a negative input. Patch by Brendan Donegan.

bpo-29079 [https://bugs.python.org/issue?@action=redirect&bpo=29079]: Prevent infinite loop in pathlib.resolve() on Windows

bpo-13051 [https://bugs.python.org/issue?@action=redirect&bpo=13051]: Fixed recursion errors in large or resized curses.textpad.Textbox. Based on patch by Tycho Andersen.

bpo-29119 [https://bugs.python.org/issue?@action=redirect&bpo=29119]: Fix weakrefs in the pure python version of collections.OrderedDict move_to_end() method. Contributed by Andra Bogildea.

bpo-9770 [https://bugs.python.org/issue?@action=redirect&bpo=9770]: curses.ascii predicates now work correctly with negative integers.

bpo-28427 [https://bugs.python.org/issue?@action=redirect&bpo=28427]: old keys should not remove new values from WeakValueDictionary when collecting from another thread.

bpo-28923 [https://bugs.python.org/issue?@action=redirect&bpo=28923]: Remove editor artifacts from Tix.py.

bpo-29055 [https://bugs.python.org/issue?@action=redirect&bpo=29055]: Neaten-up empty population error on random.choice() by suppressing the upstream exception.

bpo-28871 [https://bugs.python.org/issue?@action=redirect&bpo=28871]: Fixed a crash when deallocate deep ElementTree.

bpo-19542 [https://bugs.python.org/issue?@action=redirect&bpo=19542]: Fix bugs in WeakValueDictionary.setdefault() and WeakValueDictionary.pop() when a GC collection happens in another thread.

bpo-20191 [https://bugs.python.org/issue?@action=redirect&bpo=20191]: Fixed a crash in resource.prlimit() when passing a sequence that doesn’t own its elements as limits.

bpo-28779 [https://bugs.python.org/issue?@action=redirect&bpo=28779]: multiprocessing.set_forkserver_preload() would crash the forkserver process if a preloaded module instantiated some multiprocessing objects such as locks.

bpo-28847 [https://bugs.python.org/issue?@action=redirect&bpo=28847]: dbm.dumb now supports reading read-only files and no longer writes the index file when it is not changed.

bpo-26937 [https://bugs.python.org/issue?@action=redirect&bpo=26937]: The chown() method of the tarfile.TarFile class does not fail now when the grp module cannot be imported, as for example on Android platforms.

IDLE

bpo-29071 [https://bugs.python.org/issue?@action=redirect&bpo=29071]: IDLE colors f-string prefixes (but not invalid ur prefixes).

bpo-28572 [https://bugs.python.org/issue?@action=redirect&bpo=28572]: Add 10% to coverage of IDLE’s test_configdialog. Update and augment description of the configuration system.

Windows

bpo-29579 [https://bugs.python.org/issue?@action=redirect&bpo=29579]: Removes readme.txt from the installer

bpo-29326 [https://bugs.python.org/issue?@action=redirect&bpo=29326]: Ignores blank lines in ._pth files (Patch by Alexey Izbyshev)

bpo-28164 [https://bugs.python.org/issue?@action=redirect&bpo=28164]: Correctly handle special console filenames (patch by Eryk Sun)

bpo-29409 [https://bugs.python.org/issue?@action=redirect&bpo=29409]: Implement PEP 529 [https://peps.python.org/pep-0529/] for io.FileIO (Patch by Eryk Sun)

bpo-29392 [https://bugs.python.org/issue?@action=redirect&bpo=29392]: Prevent crash when passing invalid arguments into msvcrt module.

bpo-25778 [https://bugs.python.org/issue?@action=redirect&bpo=25778]: winreg does not truncate string correctly (Patch by Eryk Sun)

bpo-28896 [https://bugs.python.org/issue?@action=redirect&bpo=28896]: Deprecate WindowsRegistryFinder and disable it by default.

C API

bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867]: Function PySlice_GetIndicesEx() is replaced with a macro if Py_LIMITED_API is not set or set to the value between 0x03050400 and 0x03060000 (not including) or 0x03060100 or higher.

bpo-29083 [https://bugs.python.org/issue?@action=redirect&bpo=29083]: Fixed the declaration of some public API functions. PyArg_VaParse() and PyArg_VaParseTupleAndKeywords() were not available in limited API. PyArg_ValidateKeywordArguments(), PyArg_UnpackTuple() and Py_BuildValue() were not available in limited API of version < 3.3 when PY_SSIZE_T_CLEAN is defined.

bpo-29058 [https://bugs.python.org/issue?@action=redirect&bpo=29058]: All stable API extensions added after Python 3.2 are now available only when Py_LIMITED_API is set to the PY_VERSION_HEX value of the minimum Python version supporting this API.

Documentation

bpo-28929 [https://bugs.python.org/issue?@action=redirect&bpo=28929]: Link the documentation to its source file on GitHub.

bpo-25008 [https://bugs.python.org/issue?@action=redirect&bpo=25008]: Document smtpd.py as effectively deprecated and add a pointer to aiosmtpd, a third-party asyncio-based replacement.

bpo-26355 [https://bugs.python.org/issue?@action=redirect&bpo=26355]: Add canonical header link on each page to corresponding major version of the documentation. Patch by Matthias Bussonnier.

bpo-29349 [https://bugs.python.org/issue?@action=redirect&bpo=29349]: Fix Python 2 syntax in code for building the documentation.

Tests

bpo-28087 [https://bugs.python.org/issue?@action=redirect&bpo=28087]: Skip test_asyncore and test_eintr poll failures on macOS. Skip some tests of select.poll when running on macOS due to unresolved issues with the underlying system poll function on some macOS versions.

bpo-29571 [https://bugs.python.org/issue?@action=redirect&bpo=29571]: to match the behaviour of the re.LOCALE flag, test_re.test_locale_flag now uses locale.getpreferredencoding(False) to determine the candidate encoding for the test regex (allowing it to correctly skip the test when the default locale encoding is a multi-byte encoding)

bpo-28950 [https://bugs.python.org/issue?@action=redirect&bpo=28950]: Disallow -j0 to be combined with -T/-l in regrtest command line arguments.

bpo-28683 [https://bugs.python.org/issue?@action=redirect&bpo=28683]: Fix the tests that bind() a unix socket and raise PermissionError on Android for a non-root user.

bpo-26939 [https://bugs.python.org/issue?@action=redirect&bpo=26939]: Add the support.setswitchinterval() function to fix test_functools hanging on the Android armv7 qemu emulator.

Build

bpo-27593 [https://bugs.python.org/issue?@action=redirect&bpo=27593]: sys.version and the platform module python_build(), python_branch(), and python_revision() functions now use git information rather than hg when building from a repo.

bpo-29572 [https://bugs.python.org/issue?@action=redirect&bpo=29572]: Update Windows build and OS X installers to use OpenSSL 1.0.2k.

bpo-26851 [https://bugs.python.org/issue?@action=redirect&bpo=26851]: Set Android compilation and link flags.

bpo-28768 [https://bugs.python.org/issue?@action=redirect&bpo=28768]: Fix implicit declaration of function _setmode. Patch by Masayuki Yamamoto

bpo-29080 [https://bugs.python.org/issue?@action=redirect&bpo=29080]: Removes hard dependency on hg.exe from PCBuild/build.bat

bpo-23903 [https://bugs.python.org/issue?@action=redirect&bpo=23903]: Added missed names to PC/python3.def.

bpo-28762 [https://bugs.python.org/issue?@action=redirect&bpo=28762]: lockf() is available on Android API level 24, but the F_LOCK macro is not defined in android-ndk-r13.

bpo-28538 [https://bugs.python.org/issue?@action=redirect&bpo=28538]: Fix the compilation error that occurs because if_nameindex() is available on Android API level 24, but the if_nameindex structure is not defined.

bpo-20211 [https://bugs.python.org/issue?@action=redirect&bpo=20211]: Do not add the directory for installing C header files and the directory for installing object code libraries to the cross compilation search paths. Original patch by Thomas Petazzoni.

bpo-28849 [https://bugs.python.org/issue?@action=redirect&bpo=28849]: Do not define sys.implementation._multiarch on Android.

Python 3.6.0 final

Release date: 2016-12-23

No changes since release candidate 2

Python 3.6.0 release candidate 2

Release date: 2016-12-16

Core and Builtins

bpo-28147 [https://bugs.python.org/issue?@action=redirect&bpo=28147]: Fix a memory leak in split-table dictionaries: setattr() must not convert combined table into split table. Patch written by INADA Naoki.

bpo-28990 [https://bugs.python.org/issue?@action=redirect&bpo=28990]: Fix asyncio SSL hanging if connection is closed before handshake is completed. (Patch by HoHo-Ho)

Tools/Demos

bpo-28770 [https://bugs.python.org/issue?@action=redirect&bpo=28770]: Fix python-gdb.py for fastcalls.

Windows

bpo-28896 [https://bugs.python.org/issue?@action=redirect&bpo=28896]: Deprecate WindowsRegistryFinder.

Build

bpo-28898 [https://bugs.python.org/issue?@action=redirect&bpo=28898]: Prevent gdb build errors due to HAVE_LONG_LONG redefinition.

Python 3.6.0 release candidate 1

Release date: 2016-12-06

Core and Builtins

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: Rather than silently producing a class that doesn’t support zero-argument super() in methods, failing to pass the new __classcell__ namespace entry up to type.__new__ now results in a DeprecationWarning and a class that supports zero-argument super().

bpo-28797 [https://bugs.python.org/issue?@action=redirect&bpo=28797]: Modifying the class __dict__ inside the __set_name__ method of a descriptor that is used inside that class no longer prevents calling the __set_name__ method of other descriptors.

bpo-28782 [https://bugs.python.org/issue?@action=redirect&bpo=28782]: Fix a bug in the implementation yield from when checking if the next instruction is YIELD_FROM. Regression introduced by WORDCODE (bpo-26647 [https://bugs.python.org/issue?@action=redirect&bpo=26647]).

Library

bpo-27030 [https://bugs.python.org/issue?@action=redirect&bpo=27030]: Unknown escapes in re.sub() replacement template are allowed again. But they still are deprecated and will be disabled in 3.7.

bpo-28835 [https://bugs.python.org/issue?@action=redirect&bpo=28835]: Fix a regression introduced in warnings.catch_warnings(): call warnings.showwarning() if it was overridden inside the context manager.

bpo-27172 [https://bugs.python.org/issue?@action=redirect&bpo=27172]: To assist with upgrades from 2.7, the previously documented deprecation of inspect.getfullargspec() has been reversed. This decision may be revisited again after the Python 2.7 branch is no longer officially supported.

bpo-26273 [https://bugs.python.org/issue?@action=redirect&bpo=26273]: Add new socket.TCP_CONGESTION (Linux 2.6.13) and socket.TCP_USER_TIMEOUT (Linux 2.6.37) constants. Patch written by Omar Sandoval.

bpo-24142 [https://bugs.python.org/issue?@action=redirect&bpo=24142]: Reading a corrupt config file left configparser in an invalid state. Original patch by Florian Höch.

bpo-28843 [https://bugs.python.org/issue?@action=redirect&bpo=28843]: Fix asyncio C Task to handle exceptions __traceback__.

C API

bpo-28808 [https://bugs.python.org/issue?@action=redirect&bpo=28808]: PyUnicode_CompareWithASCIIString() now never raises exceptions.

Documentation

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: The data model reference and the porting section in the What’s New guide now cover the additional __classcell__ handling needed for custom metaclasses to fully support PEP 487 [https://peps.python.org/pep-0487/] and zero-argument super().

Tools/Demos

bpo-28023 [https://bugs.python.org/issue?@action=redirect&bpo=28023]: Fix python-gdb.py didn’t support new dict implementation.

Python 3.6.0 beta 4

Release date: 2016-11-21

Core and Builtins

bpo-28532 [https://bugs.python.org/issue?@action=redirect&bpo=28532]: Show sys.version when -V option is supplied twice.

bpo-27100 [https://bugs.python.org/issue?@action=redirect&bpo=27100]: The with-statement now checks for __enter__ before it checks for __exit__. This gives less confusing error messages when both methods are missing. Patch by Jonathan Ellington.

bpo-28746 [https://bugs.python.org/issue?@action=redirect&bpo=28746]: Fix the set_inheritable() file descriptor method on platforms that do not have the ioctl FIOCLEX and FIONCLEX commands.

bpo-26920 [https://bugs.python.org/issue?@action=redirect&bpo=26920]: Fix not getting the locale’s charset upon initializing the interpreter, on platforms that do not have langinfo.

bpo-28648 [https://bugs.python.org/issue?@action=redirect&bpo=28648]: Fixed crash in Py_DecodeLocale() in debug build on Mac OS X when decode astral characters. Patch by Xiang Zhang.

bpo-19398 [https://bugs.python.org/issue?@action=redirect&bpo=19398]: Extra slash no longer added to sys.path components in case of empty compile-time PYTHONPATH components.

bpo-28665 [https://bugs.python.org/issue?@action=redirect&bpo=28665]: Improve speed of the STORE_DEREF opcode by 40%.

bpo-28583 [https://bugs.python.org/issue?@action=redirect&bpo=28583]: PyDict_SetDefault didn’t combine split table when needed. Patch by Xiang Zhang.

bpo-27243 [https://bugs.python.org/issue?@action=redirect&bpo=27243]: Change PendingDeprecationWarning -> DeprecationWarning. As it was agreed in the issue, __aiter__ returning an awaitable should result in PendingDeprecationWarning in 3.5 and in DeprecationWarning in 3.6.

bpo-26182 [https://bugs.python.org/issue?@action=redirect&bpo=26182]: Fix a refleak in code that raises DeprecationWarning.

bpo-28721 [https://bugs.python.org/issue?@action=redirect&bpo=28721]: Fix asynchronous generators aclose() and athrow() to handle StopAsyncIteration propagation properly.

Library

bpo-28752 [https://bugs.python.org/issue?@action=redirect&bpo=28752]: Restored the __reduce__() methods of datetime objects.

bpo-28727 [https://bugs.python.org/issue?@action=redirect&bpo=28727]: Regular expression patterns, _sre.SRE_Pattern objects created by re.compile(), become comparable (only x==y and x!=y operators). This change should fix the bpo-18383 [https://bugs.python.org/issue?@action=redirect&bpo=18383]: don’t duplicate warning filters when the warnings module is reloaded (thing usually only done in unit tests).

bpo-20572 [https://bugs.python.org/issue?@action=redirect&bpo=20572]: The subprocess.Popen.wait method’s undocumented endtime parameter now raises a DeprecationWarning.

bpo-25659 [https://bugs.python.org/issue?@action=redirect&bpo=25659]: In ctypes, prevent a crash calling the from_buffer() and from_buffer_copy() methods on abstract classes like Array.

bpo-19717 [https://bugs.python.org/issue?@action=redirect&bpo=19717]: Makes Path.resolve() succeed on paths that do not exist. Patch by Vajrasky Kok

bpo-28563 [https://bugs.python.org/issue?@action=redirect&bpo=28563]: Fixed possible DoS and arbitrary code execution when handle plural form selections in the gettext module. The expression parser now supports exact syntax supported by GNU gettext.

bpo-28387 [https://bugs.python.org/issue?@action=redirect&bpo=28387]: Fixed possible crash in _io.TextIOWrapper deallocator when the garbage collector is invoked in other thread. Based on patch by Sebastian Cufre.

bpo-28600 [https://bugs.python.org/issue?@action=redirect&bpo=28600]: Optimize loop.call_soon.

bpo-28613 [https://bugs.python.org/issue?@action=redirect&bpo=28613]: Fix get_event_loop() return the current loop if called from coroutines/callbacks.

bpo-28634 [https://bugs.python.org/issue?@action=redirect&bpo=28634]: Fix asyncio.isfuture() to support unittest.Mock.

bpo-26081 [https://bugs.python.org/issue?@action=redirect&bpo=26081]: Fix refleak in _asyncio.Future.__iter__().throw.

bpo-28639 [https://bugs.python.org/issue?@action=redirect&bpo=28639]: Fix inspect.isawaitable to always return bool Patch by Justin Mayfield.

bpo-28652 [https://bugs.python.org/issue?@action=redirect&bpo=28652]: Make loop methods reject socket kinds they do not support.

bpo-28653 [https://bugs.python.org/issue?@action=redirect&bpo=28653]: Fix a refleak in functools.lru_cache.

bpo-28703 [https://bugs.python.org/issue?@action=redirect&bpo=28703]: Fix asyncio.iscoroutinefunction to handle Mock objects.

bpo-28704 [https://bugs.python.org/issue?@action=redirect&bpo=28704]: Fix create_unix_server to support Path-like objects (PEP 519).

bpo-28720 [https://bugs.python.org/issue?@action=redirect&bpo=28720]: Add collections.abc.AsyncGenerator.

Documentation

bpo-28513 [https://bugs.python.org/issue?@action=redirect&bpo=28513]: Documented command-line interface of zipfile.

Tests

bpo-28666 [https://bugs.python.org/issue?@action=redirect&bpo=28666]: Now test.support.rmtree is able to remove unwritable or unreadable directories.

bpo-23839 [https://bugs.python.org/issue?@action=redirect&bpo=23839]: Various caches now are cleared before running every test file.

Build

bpo-10656 [https://bugs.python.org/issue?@action=redirect&bpo=10656]: Fix out-of-tree building on AIX. Patch by Tristan Carel and Michael Haubenwallner.

bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359]: Rename –with-optimiations to –enable-optimizations.

bpo-28676 [https://bugs.python.org/issue?@action=redirect&bpo=28676]: Prevent missing ‘getentropy’ declaration warning on macOS. Patch by Gareth Rees.

Python 3.6.0 beta 3

Release date: 2016-10-31

Core and Builtins

bpo-28128 [https://bugs.python.org/issue?@action=redirect&bpo=28128]: Deprecation warning for invalid str and byte escape sequences now prints better information about where the error occurs. Patch by Serhiy Storchaka and Eric Smith.

bpo-28509 [https://bugs.python.org/issue?@action=redirect&bpo=28509]: dict.update() no longer allocate unnecessary large memory.

bpo-28426 [https://bugs.python.org/issue?@action=redirect&bpo=28426]: Fixed potential crash in PyUnicode_AsDecodedObject() in debug build.

bpo-28517 [https://bugs.python.org/issue?@action=redirect&bpo=28517]: Fixed of-by-one error in the peephole optimizer that caused keeping unreachable code.

bpo-28214 [https://bugs.python.org/issue?@action=redirect&bpo=28214]: Improved exception reporting for problematic __set_name__ attributes.

bpo-23782 [https://bugs.python.org/issue?@action=redirect&bpo=23782]: Fixed possible memory leak in _PyTraceback_Add() and exception loss in PyTraceBack_Here().

bpo-28471 [https://bugs.python.org/issue?@action=redirect&bpo=28471]: Fix “Python memory allocator called without holding the GIL” crash in socket.setblocking.

Library

bpo-27517 [https://bugs.python.org/issue?@action=redirect&bpo=27517]: LZMA compressor and decompressor no longer raise exceptions if given empty data twice. Patch by Benjamin Fogle.

bpo-28549 [https://bugs.python.org/issue?@action=redirect&bpo=28549]: Fixed segfault in curses’s addch() with ncurses6.

bpo-28449 [https://bugs.python.org/issue?@action=redirect&bpo=28449]: tarfile.open() with mode “r” or “r:” now tries to open a tar file with compression before trying to open it without compression. Otherwise it had 50% chance failed with ignore_zeros=True.

bpo-23262 [https://bugs.python.org/issue?@action=redirect&bpo=23262]: The webbrowser module now supports Firefox 36+ and derived browsers. Based on patch by Oleg Broytman.

bpo-27939 [https://bugs.python.org/issue?@action=redirect&bpo=27939]: Fixed bugs in tkinter.ttk.LabeledScale and tkinter.Scale caused by representing the scale as float value internally in Tk. tkinter.IntVar now works if float value is set to underlying Tk variable.

bpo-18844 [https://bugs.python.org/issue?@action=redirect&bpo=18844]: The various ways of specifying weights for random.choices() now produce the same result sequences.

bpo-28255 [https://bugs.python.org/issue?@action=redirect&bpo=28255]: calendar.TextCalendar().prmonth() no longer prints a space at the start of new line after printing a month’s calendar. Patch by Xiang Zhang.

bpo-20491 [https://bugs.python.org/issue?@action=redirect&bpo=20491]: The textwrap.TextWrapper class now honors non-breaking spaces. Based on patch by Kaarle Ritvanen.

bpo-28353 [https://bugs.python.org/issue?@action=redirect&bpo=28353]: os.fwalk() no longer fails on broken links.

bpo-28430 [https://bugs.python.org/issue?@action=redirect&bpo=28430]: Fix iterator of C implemented asyncio.Future doesn’t accept non-None value is passed to it.send(val).

bpo-27025 [https://bugs.python.org/issue?@action=redirect&bpo=27025]: Generated names for Tkinter widgets now start by the “!” prefix for readability.

bpo-25464 [https://bugs.python.org/issue?@action=redirect&bpo=25464]: Fixed HList.header_exists() in tkinter.tix module by addin a workaround to Tix library bug.

bpo-28488 [https://bugs.python.org/issue?@action=redirect&bpo=28488]: shutil.make_archive() no longer adds entry “./” to ZIP archive.

bpo-25953 [https://bugs.python.org/issue?@action=redirect&bpo=25953]: re.sub() now raises an error for invalid numerical group reference in replacement template even if the pattern is not found in the string. Error message for invalid group reference now includes the group index and the position of the reference. Based on patch by SilentGhost.

bpo-18219 [https://bugs.python.org/issue?@action=redirect&bpo=18219]: Optimize csv.DictWriter for large number of columns. Patch by Mariatta Wijaya.

bpo-28448 [https://bugs.python.org/issue?@action=redirect&bpo=28448]: Fix C implemented asyncio.Future didn’t work on Windows.

bpo-28480 [https://bugs.python.org/issue?@action=redirect&bpo=28480]: Fix error building socket module when multithreading is disabled.

bpo-24452 [https://bugs.python.org/issue?@action=redirect&bpo=24452]: Make webbrowser support Chrome on Mac OS X.

bpo-20766 [https://bugs.python.org/issue?@action=redirect&bpo=20766]: Fix references leaked by pdb in the handling of SIGINT handlers.

bpo-28492 [https://bugs.python.org/issue?@action=redirect&bpo=28492]: Fix how StopIteration exception is raised in _asyncio.Future.

bpo-28500 [https://bugs.python.org/issue?@action=redirect&bpo=28500]: Fix asyncio to handle async gens GC from another thread.

bpo-26923 [https://bugs.python.org/issue?@action=redirect&bpo=26923]: Fix asyncio.Gather to refuse being cancelled once all children are done. Patch by Johannes Ebke.

bpo-26796 [https://bugs.python.org/issue?@action=redirect&bpo=26796]: Don’t configure the number of workers for default threadpool executor. Initial patch by Hans Lawrenz.

bpo-28544 [https://bugs.python.org/issue?@action=redirect&bpo=28544]: Implement asyncio.Task in C.

Windows

bpo-28522 [https://bugs.python.org/issue?@action=redirect&bpo=28522]: Fixes mishandled buffer reallocation in getpathp.c

Build

bpo-28444 [https://bugs.python.org/issue?@action=redirect&bpo=28444]: Fix missing extensions modules when cross compiling.

bpo-28208 [https://bugs.python.org/issue?@action=redirect&bpo=28208]: Update Windows build and OS X installers to use SQLite 3.14.2.

bpo-28248 [https://bugs.python.org/issue?@action=redirect&bpo=28248]: Update Windows build and OS X installers to use OpenSSL 1.0.2j.

Tests

bpo-26944 [https://bugs.python.org/issue?@action=redirect&bpo=26944]: Fix test_posix for Android where ‘id -G’ is entirely wrong or missing the effective gid.

bpo-28409 [https://bugs.python.org/issue?@action=redirect&bpo=28409]: regrtest: fix the parser of command line arguments.

Python 3.6.0 beta 2

Release date: 2016-10-10

Core and Builtins

bpo-28183 [https://bugs.python.org/issue?@action=redirect&bpo=28183]: Optimize and cleanup dict iteration.

bpo-26081 [https://bugs.python.org/issue?@action=redirect&bpo=26081]: Added C implementation of asyncio.Future. Original patch by Yury Selivanov.

bpo-28379 [https://bugs.python.org/issue?@action=redirect&bpo=28379]: Added sanity checks and tests for PyUnicode_CopyCharacters(). Patch by Xiang Zhang.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: The type of long range iterator is now registered as Iterator. Patch by Oren Milman.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: Creating instances of range_iterator by calling range_iterator type now is deprecated. Patch by Oren Milman.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: The constructor of range_iterator now checks that step is not 0. Patch by Oren Milman.

bpo-26906 [https://bugs.python.org/issue?@action=redirect&bpo=26906]: Resolving special methods of uninitialized type now causes implicit initialization of the type instead of a fail.

bpo-18287 [https://bugs.python.org/issue?@action=redirect&bpo=18287]: PyType_Ready() now checks that tp_name is not NULL. Original patch by Niklas Koep.

bpo-24098 [https://bugs.python.org/issue?@action=redirect&bpo=24098]: Fixed possible crash when AST is changed in process of compiling it.

bpo-28201 [https://bugs.python.org/issue?@action=redirect&bpo=28201]: Dict reduces possibility of 2nd conflict in hash table when hashes have same lower bits.

bpo-28350 [https://bugs.python.org/issue?@action=redirect&bpo=28350]: String constants with null character no longer interned.

bpo-26617 [https://bugs.python.org/issue?@action=redirect&bpo=26617]: Fix crash when GC runs during weakref callbacks.

bpo-27942 [https://bugs.python.org/issue?@action=redirect&bpo=27942]: String constants now interned recursively in tuples and frozensets.

bpo-21578 [https://bugs.python.org/issue?@action=redirect&bpo=21578]: Fixed misleading error message when ImportError called with invalid keyword args.

bpo-28203 [https://bugs.python.org/issue?@action=redirect&bpo=28203]: Fix incorrect type in complex(1.0, {2:3}) error message. Patch by Soumya Sharma.

bpo-28086 [https://bugs.python.org/issue?@action=redirect&bpo=28086]: Single var-positional argument of tuple subtype was passed unscathed to the C-defined function. Now it is converted to exact tuple.

bpo-28214 [https://bugs.python.org/issue?@action=redirect&bpo=28214]: Now __set_name__ is looked up on the class instead of the instance.

bpo-27955 [https://bugs.python.org/issue?@action=redirect&bpo=27955]: Fallback on reading /dev/urandom device when the getrandom() syscall fails with EPERM, for example when blocked by SECCOMP.

bpo-28192 [https://bugs.python.org/issue?@action=redirect&bpo=28192]: Don’t import readline in isolated mode.

Upgrade internal unicode databases to Unicode version 9.0.0.

bpo-28131 [https://bugs.python.org/issue?@action=redirect&bpo=28131]: Fix a regression in zipimport’s compile_source(). zipimport should use the same optimization level as the interpreter.

bpo-28126 [https://bugs.python.org/issue?@action=redirect&bpo=28126]: Replace Py_MEMCPY with memcpy(). Visual Studio can properly optimize memcpy().

bpo-28120 [https://bugs.python.org/issue?@action=redirect&bpo=28120]: Fix dict.pop() for splitted dictionary when trying to remove a “pending key” (Not yet inserted in split-table). Patch by Xiang Zhang.

bpo-26182 [https://bugs.python.org/issue?@action=redirect&bpo=26182]: Raise DeprecationWarning when async and await keywords are used as variable/attribute/class/function name.

Library

bpo-27998 [https://bugs.python.org/issue?@action=redirect&bpo=27998]: Fixed bytes path support in os.scandir() on Windows. Patch by Eryk Sun.

bpo-28317 [https://bugs.python.org/issue?@action=redirect&bpo=28317]: The disassembler now decodes FORMAT_VALUE argument.

bpo-26293 [https://bugs.python.org/issue?@action=redirect&bpo=26293]: Fixed writing ZIP files that starts not from the start of the file. Offsets in ZIP file now are relative to the start of the archive in conforming to the specification.

bpo-28380 [https://bugs.python.org/issue?@action=redirect&bpo=28380]: unittest.mock Mock autospec functions now properly support assert_called, assert_not_called, and assert_called_once.

bpo-27181 [https://bugs.python.org/issue?@action=redirect&bpo=27181]: remove statistics.geometric_mean and defer until 3.7.

bpo-28229 [https://bugs.python.org/issue?@action=redirect&bpo=28229]: lzma module now supports pathlib.

bpo-28321 [https://bugs.python.org/issue?@action=redirect&bpo=28321]: Fixed writing non-BMP characters with binary format in plistlib.

bpo-28225 [https://bugs.python.org/issue?@action=redirect&bpo=28225]: bz2 module now supports pathlib. Initial patch by Ethan Furman.

bpo-28227 [https://bugs.python.org/issue?@action=redirect&bpo=28227]: gzip now supports pathlib. Patch by Ethan Furman.

bpo-27358 [https://bugs.python.org/issue?@action=redirect&bpo=27358]: Optimized merging var-keyword arguments and improved error message when passing a non-mapping as a var-keyword argument.

bpo-28257 [https://bugs.python.org/issue?@action=redirect&bpo=28257]: Improved error message when passing a non-iterable as a var-positional argument. Added opcode BUILD_TUPLE_UNPACK_WITH_CALL.

bpo-28322 [https://bugs.python.org/issue?@action=redirect&bpo=28322]: Fixed possible crashes when unpickle itertools objects from incorrect pickle data. Based on patch by John Leitch.

bpo-28228 [https://bugs.python.org/issue?@action=redirect&bpo=28228]: imghdr now supports pathlib.

bpo-28226 [https://bugs.python.org/issue?@action=redirect&bpo=28226]: compileall now supports pathlib.

bpo-28314 [https://bugs.python.org/issue?@action=redirect&bpo=28314]: Fix function declaration (C flags) for the getiterator() method of xml.etree.ElementTree.Element.

bpo-28148 [https://bugs.python.org/issue?@action=redirect&bpo=28148]: Stop using localtime() and gmtime() in the time module. Introduced platform independent _PyTime_localtime API that is similar to POSIX localtime_r, but available on all platforms. Patch by Ed Schouten.

bpo-28253 [https://bugs.python.org/issue?@action=redirect&bpo=28253]: Fixed calendar functions for extreme months: 0001-01 and 9999-12. Methods itermonthdays() and itermonthdays2() are reimplemented so that they don’t call itermonthdates() which can cause datetime.date under/overflow.

bpo-28275 [https://bugs.python.org/issue?@action=redirect&bpo=28275]: Fixed possible use after free in the decompress() methods of the LZMADecompressor and BZ2Decompressor classes. Original patch by John Leitch.

bpo-27897 [https://bugs.python.org/issue?@action=redirect&bpo=27897]: Fixed possible crash in sqlite3.Connection.create_collation() if pass invalid string-like object as a name. Patch by Xiang Zhang.

bpo-18844 [https://bugs.python.org/issue?@action=redirect&bpo=18844]: random.choices() now has k as a keyword-only argument to improve the readability of common cases and come into line with the signature used in other languages.

bpo-18893 [https://bugs.python.org/issue?@action=redirect&bpo=18893]: Fix invalid exception handling in Lib/ctypes/macholib/dyld.py. Patch by Madison May.

bpo-27611 [https://bugs.python.org/issue?@action=redirect&bpo=27611]: Fixed support of default root window in the tkinter.tix module. Added the master parameter in the DisplayStyle constructor.

bpo-27348 [https://bugs.python.org/issue?@action=redirect&bpo=27348]: In the traceback module, restore the formatting of exception messages like “Exception: None”. This fixes a regression introduced in 3.5a2.

bpo-25651 [https://bugs.python.org/issue?@action=redirect&bpo=25651]: Allow false values to be used for msg parameter of subTest().

bpo-27778 [https://bugs.python.org/issue?@action=redirect&bpo=27778]: Fix a memory leak in os.getrandom() when the getrandom() is interrupted by a signal and a signal handler raises a Python exception.

bpo-28200 [https://bugs.python.org/issue?@action=redirect&bpo=28200]: Fix memory leak on Windows in the os module (fix path_converter() function).

bpo-25400 [https://bugs.python.org/issue?@action=redirect&bpo=25400]: RobotFileParser now correctly returns default values for crawl_delay and request_rate. Initial patch by Peter Wirtz.

bpo-27932 [https://bugs.python.org/issue?@action=redirect&bpo=27932]: Prevent memory leak in win32_ver().

Fix UnboundLocalError in socket._sendfile_use_sendfile.

bpo-28075 [https://bugs.python.org/issue?@action=redirect&bpo=28075]: Check for ERROR_ACCESS_DENIED in Windows implementation of os.stat(). Patch by Eryk Sun.

bpo-22493 [https://bugs.python.org/issue?@action=redirect&bpo=22493]: Warning message emitted by using inline flags in the middle of regular expression now contains a (truncated) regex pattern. Patch by Tim Graham.

bpo-25270 [https://bugs.python.org/issue?@action=redirect&bpo=25270]: Prevent codecs.escape_encode() from raising SystemError when an empty bytestring is passed.

bpo-28181 [https://bugs.python.org/issue?@action=redirect&bpo=28181]: Get antigravity over HTTPS. Patch by Kaartic Sivaraam.

bpo-25895 [https://bugs.python.org/issue?@action=redirect&bpo=25895]: Enable WebSocket URL schemes in urllib.parse.urljoin. Patch by Gergely Imreh and Markus Holtermann.

bpo-28114 [https://bugs.python.org/issue?@action=redirect&bpo=28114]: Fix a crash in parse_envlist() when env contains byte strings. Patch by Eryk Sun.

bpo-27599 [https://bugs.python.org/issue?@action=redirect&bpo=27599]: Fixed buffer overrun in binascii.b2a_qp() and binascii.a2b_qp().

bpo-27906 [https://bugs.python.org/issue?@action=redirect&bpo=27906]: Fix socket accept exhaustion during high TCP traffic. Patch by Kevin Conway.

bpo-28174 [https://bugs.python.org/issue?@action=redirect&bpo=28174]: Handle when SO_REUSEPORT isn’t properly supported. Patch by Seth Michael Larson.

bpo-26654 [https://bugs.python.org/issue?@action=redirect&bpo=26654]: Inspect functools.partial in asyncio.Handle.__repr__. Patch by iceboy.

bpo-26909 [https://bugs.python.org/issue?@action=redirect&bpo=26909]: Fix slow pipes IO in asyncio. Patch by INADA Naoki.

bpo-28176 [https://bugs.python.org/issue?@action=redirect&bpo=28176]: Fix callbacks race in asyncio.SelectorLoop.sock_connect.

bpo-27759 [https://bugs.python.org/issue?@action=redirect&bpo=27759]: Fix selectors incorrectly retain invalid file descriptors. Patch by Mark Williams.

bpo-28368 [https://bugs.python.org/issue?@action=redirect&bpo=28368]: Refuse monitoring processes if the child watcher has no loop attached. Patch by Vincent Michel.

bpo-28369 [https://bugs.python.org/issue?@action=redirect&bpo=28369]: Raise RuntimeError when transport’s FD is used with add_reader, add_writer, etc.

bpo-28370 [https://bugs.python.org/issue?@action=redirect&bpo=28370]: Speedup asyncio.StreamReader.readexactly. Patch by Коренберг Марк.

bpo-28371 [https://bugs.python.org/issue?@action=redirect&bpo=28371]: Deprecate passing asyncio.Handles to run_in_executor.

bpo-28372 [https://bugs.python.org/issue?@action=redirect&bpo=28372]: Fix asyncio to support formatting of non-python coroutines.

bpo-28399 [https://bugs.python.org/issue?@action=redirect&bpo=28399]: Remove UNIX socket from FS before binding. Patch by Коренберг Марк.

bpo-27972 [https://bugs.python.org/issue?@action=redirect&bpo=27972]: Prohibit Tasks to await on themselves.

Windows

bpo-28402 [https://bugs.python.org/issue?@action=redirect&bpo=28402]: Adds signed catalog files for stdlib on Windows.

bpo-28333 [https://bugs.python.org/issue?@action=redirect&bpo=28333]: Enables Unicode for ps1/ps2 and input() prompts. (Patch by Eryk Sun)

bpo-28251 [https://bugs.python.org/issue?@action=redirect&bpo=28251]: Improvements to help manuals on Windows.

bpo-28110 [https://bugs.python.org/issue?@action=redirect&bpo=28110]: launcher.msi has different product codes between 32-bit and 64-bit

bpo-28161 [https://bugs.python.org/issue?@action=redirect&bpo=28161]: Opening CON for write access fails

bpo-28162 [https://bugs.python.org/issue?@action=redirect&bpo=28162]: WindowsConsoleIO readall() fails if first line starts with Ctrl+Z

bpo-28163 [https://bugs.python.org/issue?@action=redirect&bpo=28163]: WindowsConsoleIO fileno() passes wrong flags to _open_osfhandle

bpo-28164 [https://bugs.python.org/issue?@action=redirect&bpo=28164]: _PyIO_get_console_type fails for various paths

bpo-28137 [https://bugs.python.org/issue?@action=redirect&bpo=28137]: Renames Windows path file to ._pth

bpo-28138 [https://bugs.python.org/issue?@action=redirect&bpo=28138]: Windows ._pth file should allow import site

C API

bpo-28426 [https://bugs.python.org/issue?@action=redirect&bpo=28426]: Deprecated undocumented functions PyUnicode_AsEncodedObject(), PyUnicode_AsDecodedObject(), PyUnicode_AsDecodedUnicode() and PyUnicode_AsEncodedUnicode().

Build

bpo-28258 [https://bugs.python.org/issue?@action=redirect&bpo=28258]: Fixed build with Estonian locale (python-config and distclean targets in Makefile). Patch by Arfrever Frehtes Taifersar Arahesis.

bpo-26661 [https://bugs.python.org/issue?@action=redirect&bpo=26661]: setup.py now detects system libffi with multiarch wrapper.

bpo-15819 [https://bugs.python.org/issue?@action=redirect&bpo=15819]: Remove redundant include search directory option for building outside the source tree.

Tests

bpo-28217 [https://bugs.python.org/issue?@action=redirect&bpo=28217]: Adds _testconsole module to test console input.

Python 3.6.0 beta 1

Release date: 2016-09-12

Core and Builtins

bpo-23722 [https://bugs.python.org/issue?@action=redirect&bpo=23722]: The __class__ cell used by zero-argument super() is now initialized from type.__new__ rather than __build_class__, so class methods relying on that will now work correctly when called from metaclass methods during class creation. Patch by Martin Teichmann.

bpo-25221 [https://bugs.python.org/issue?@action=redirect&bpo=25221]: Fix corrupted result from PyLong_FromLong(0) when Python is compiled with NSMALLPOSINTS = 0.

bpo-27080 [https://bugs.python.org/issue?@action=redirect&bpo=27080]: Implement formatting support for PEP 515 [https://peps.python.org/pep-0515/]. Initial patch by Chris Angelico.

bpo-27199 [https://bugs.python.org/issue?@action=redirect&bpo=27199]: In tarfile, expose copyfileobj bufsize to improve throughput. Patch by Jason Fried.

bpo-27948 [https://bugs.python.org/issue?@action=redirect&bpo=27948]: In f-strings, only allow backslashes inside the braces (where the expressions are). This is a breaking change from the 3.6 alpha releases, where backslashes are allowed anywhere in an f-string. Also, require that expressions inside f-strings be enclosed within literal braces, and not escapes like f'\x7b"hi"\x7d'.

bpo-28046 [https://bugs.python.org/issue?@action=redirect&bpo=28046]: Remove platform-specific directories from sys.path.

bpo-28071 [https://bugs.python.org/issue?@action=redirect&bpo=28071]: Add early-out for differencing from an empty set.

bpo-25758 [https://bugs.python.org/issue?@action=redirect&bpo=25758]: Prevents zipimport from unnecessarily encoding a filename (patch by Eryk Sun)

bpo-25856 [https://bugs.python.org/issue?@action=redirect&bpo=25856]: The __module__ attribute of extension classes and functions now is interned. This leads to more compact pickle data with protocol 4.

bpo-27213 [https://bugs.python.org/issue?@action=redirect&bpo=27213]: Rework CALL_FUNCTION* opcodes to produce shorter and more efficient bytecode. Patch by Demur Rumed, design by Serhiy Storchaka, reviewed by Serhiy Storchaka and Victor Stinner.

bpo-26331 [https://bugs.python.org/issue?@action=redirect&bpo=26331]: Implement tokenizing support for PEP 515 [https://peps.python.org/pep-0515/]. Patch by Georg Brandl.

bpo-27999 [https://bugs.python.org/issue?@action=redirect&bpo=27999]: Make “global after use” a SyntaxError, and ditto for nonlocal. Patch by Ivan Levkivskyi.

bpo-28003 [https://bugs.python.org/issue?@action=redirect&bpo=28003]: Implement PEP 525 [https://peps.python.org/pep-0525/] – Asynchronous Generators.

bpo-27985 [https://bugs.python.org/issue?@action=redirect&bpo=27985]: Implement PEP 526 [https://peps.python.org/pep-0526/] – Syntax for Variable Annotations. Patch by Ivan Levkivskyi.

bpo-26058 [https://bugs.python.org/issue?@action=redirect&bpo=26058]: Add a new private version to the builtin dict type, incremented at each dictionary creation and at each dictionary change. Implementation of the PEP 509.

bpo-27364 [https://bugs.python.org/issue?@action=redirect&bpo=27364]: A backslash-character pair that is not a valid escape sequence now generates a DeprecationWarning. Patch by Emanuel Barry.

bpo-27350 [https://bugs.python.org/issue?@action=redirect&bpo=27350]: dict implementation is changed like PyPy. It is more compact and preserves insertion order. (Concept developed by Raymond Hettinger and patch by Inada Naoki.)

bpo-27911 [https://bugs.python.org/issue?@action=redirect&bpo=27911]: Remove unnecessary error checks in exec_builtin_or_dynamic().

bpo-27078 [https://bugs.python.org/issue?@action=redirect&bpo=27078]: Added BUILD_STRING opcode. Optimized f-strings evaluation.

bpo-17884 [https://bugs.python.org/issue?@action=redirect&bpo=17884]: Python now requires systems with inttypes.h and stdint.h

bpo-27961 [https://bugs.python.org/issue?@action=redirect&bpo=27961]: Require platforms to support long long. Python hasn’t compiled without long long for years, so this is basically a formality.

bpo-27355 [https://bugs.python.org/issue?@action=redirect&bpo=27355]: Removed support for Windows CE. It was never finished, and Windows CE is no longer a relevant platform for Python.

Implement PEP 523 [https://peps.python.org/pep-0523/].

bpo-27870 [https://bugs.python.org/issue?@action=redirect&bpo=27870]: A left shift of zero by a large integer no longer attempts to allocate large amounts of memory.

bpo-25402 [https://bugs.python.org/issue?@action=redirect&bpo=25402]: In int-to-decimal-string conversion, improve the estimate of the intermediate memory required, and remove an unnecessarily strict overflow check. Patch by Serhiy Storchaka.

bpo-27214 [https://bugs.python.org/issue?@action=redirect&bpo=27214]: In long_invert, be more careful about modifying object returned by long_add, and remove an unnecessary check for small longs. Thanks Oren Milman for analysis and patch.

bpo-27506 [https://bugs.python.org/issue?@action=redirect&bpo=27506]: Support passing the bytes/bytearray.translate() “delete” argument by keyword.

bpo-27812 [https://bugs.python.org/issue?@action=redirect&bpo=27812]: Properly clear out a generator’s frame’s backreference to the generator to prevent crashes in frame.clear().

bpo-27811 [https://bugs.python.org/issue?@action=redirect&bpo=27811]: Fix a crash when a coroutine that has not been awaited is finalized with warnings-as-errors enabled.

bpo-27587 [https://bugs.python.org/issue?@action=redirect&bpo=27587]: Fix another issue found by PVS-Studio: Null pointer check after use of ‘def’ in _PyState_AddModule(). Initial patch by Christian Heimes.

bpo-27792 [https://bugs.python.org/issue?@action=redirect&bpo=27792]: The modulo operation applied to bool and other int subclasses now always returns an int. Previously the return type depended on the input values. Patch by Xiang Zhang.

bpo-26984 [https://bugs.python.org/issue?@action=redirect&bpo=26984]: int() now always returns an instance of exact int.

bpo-25604 [https://bugs.python.org/issue?@action=redirect&bpo=25604]: Fix a minor bug in integer true division; this bug could potentially have caused off-by-one-ulp results on platforms with unreliable ldexp implementations.

bpo-24254 [https://bugs.python.org/issue?@action=redirect&bpo=24254]: Make class definition namespace ordered by default.

bpo-27662 [https://bugs.python.org/issue?@action=redirect&bpo=27662]: Fix an overflow check in List_New: the original code was checking against Py_SIZE_MAX instead of the correct upper bound of Py_SSIZE_T_MAX. Patch by Xiang Zhang.

bpo-27782 [https://bugs.python.org/issue?@action=redirect&bpo=27782]: Multi-phase extension module import now correctly allows the m_methods field to be used to add module level functions to instances of non-module types returned from Py_create_mod. Patch by Xiang Zhang.

bpo-27936 [https://bugs.python.org/issue?@action=redirect&bpo=27936]: The round() function accepted a second None argument for some types but not for others. Fixed the inconsistency by accepting None for all numeric types.

bpo-27487 [https://bugs.python.org/issue?@action=redirect&bpo=27487]: Warn if a submodule argument to “python -m” or runpy.run_module() is found in sys.modules after parent packages are imported, but before the submodule is executed.

bpo-27157 [https://bugs.python.org/issue?@action=redirect&bpo=27157]: Make only type() itself accept the one-argument form. Patch by Eryk Sun and Emanuel Barry.

bpo-27558 [https://bugs.python.org/issue?@action=redirect&bpo=27558]: Fix a SystemError in the implementation of “raise” statement. In a brand new thread, raise a RuntimeError since there is no active exception to reraise. Patch written by Xiang Zhang.

bpo-28008 [https://bugs.python.org/issue?@action=redirect&bpo=28008]: Implement PEP 530 [https://peps.python.org/pep-0530/] – asynchronous comprehensions.

bpo-27942 [https://bugs.python.org/issue?@action=redirect&bpo=27942]: Fix memory leak in codeobject.c

Library

bpo-28732 [https://bugs.python.org/issue?@action=redirect&bpo=28732]: Fix crash in os.spawnv() with no elements in args

bpo-28485 [https://bugs.python.org/issue?@action=redirect&bpo=28485]: Always raise ValueError for negative compileall.compile_dir(workers=…) parameter, even when multithreading is unavailable.

bpo-28037 [https://bugs.python.org/issue?@action=redirect&bpo=28037]: Use sqlite3_get_autocommit() instead of setting Connection->inTransaction manually.

bpo-25283 [https://bugs.python.org/issue?@action=redirect&bpo=25283]: Attributes tm_gmtoff and tm_zone are now available on all platforms in the return values of time.localtime() and time.gmtime().

bpo-24454 [https://bugs.python.org/issue?@action=redirect&bpo=24454]: Regular expression match object groups are now accessible using __getitem__. “mo[x]” is equivalent to “mo.group(x)”.

bpo-10740 [https://bugs.python.org/issue?@action=redirect&bpo=10740]: sqlite3 no longer implicitly commit an open transaction before DDL statements.

bpo-17941 [https://bugs.python.org/issue?@action=redirect&bpo=17941]: Add a module parameter to collections.namedtuple().

bpo-22493 [https://bugs.python.org/issue?@action=redirect&bpo=22493]: Inline flags now should be used only at the start of the regular expression. Deprecation warning is emitted if uses them in the middle of the regular expression.

bpo-26885 [https://bugs.python.org/issue?@action=redirect&bpo=26885]: xmlrpc now supports unmarshalling additional data types used by Apache XML-RPC implementation for numerics and None.

bpo-28070 [https://bugs.python.org/issue?@action=redirect&bpo=28070]: Fixed parsing inline verbose flag in regular expressions.

bpo-19500 [https://bugs.python.org/issue?@action=redirect&bpo=19500]: Add client-side SSL session resumption to the ssl module.

bpo-28022 [https://bugs.python.org/issue?@action=redirect&bpo=28022]: Deprecate ssl-related arguments in favor of SSLContext. The deprecation include manual creation of SSLSocket and certfile/keyfile (or similar) in ftplib, httplib, imaplib, smtplib, poplib and urllib.

bpo-28043 [https://bugs.python.org/issue?@action=redirect&bpo=28043]: SSLContext has improved default settings: OP_NO_SSLv2, OP_NO_SSLv3, OP_NO_COMPRESSION, OP_CIPHER_SERVER_PREFERENCE, OP_SINGLE_DH_USE, OP_SINGLE_ECDH_USE and HIGH ciphers without MD5.

bpo-24693 [https://bugs.python.org/issue?@action=redirect&bpo=24693]: Changed some RuntimeError’s in the zipfile module to more appropriate types. Improved some error messages and debugging output.

bpo-17909 [https://bugs.python.org/issue?@action=redirect&bpo=17909]: json.load and json.loads now support binary input encoded as UTF-8, UTF-16 or UTF-32. Patch by Serhiy Storchaka.

bpo-27137 [https://bugs.python.org/issue?@action=redirect&bpo=27137]: the pure Python fallback implementation of functools.partial now matches the behaviour of its accelerated C counterpart for subclassing, pickling and text representation purposes. Patch by Emanuel Barry and Serhiy Storchaka.

Fix possible integer overflows and crashes in the mmap module with unusual usage patterns.

bpo-1703178 [https://bugs.python.org/issue?@action=redirect&bpo=1703178]: Fix the ability to pass the –link-objects option to the distutils build_ext command.

bpo-28019 [https://bugs.python.org/issue?@action=redirect&bpo=28019]: itertools.count() no longer rounds non-integer step in range between 1.0 and 2.0 to 1.

bpo-18401 [https://bugs.python.org/issue?@action=redirect&bpo=18401]: Pdb now supports the ‘readrc’ keyword argument to control whether .pdbrc files should be read. Patch by Martin Matusiak and Sam Kimbrel.

bpo-25969 [https://bugs.python.org/issue?@action=redirect&bpo=25969]: Update the lib2to3 grammar to handle the unpacking generalizations added in 3.5.

bpo-14977 [https://bugs.python.org/issue?@action=redirect&bpo=14977]: mailcap now respects the order of the lines in the mailcap files (“first match”), as required by RFC 1542. Patch by Michael Lazar.

bpo-28082 [https://bugs.python.org/issue?@action=redirect&bpo=28082]: Convert re flag constants to IntFlag.

bpo-28025 [https://bugs.python.org/issue?@action=redirect&bpo=28025]: Convert all ssl module constants to IntEnum and IntFlags. SSLContext properties now return flags and enums.

bpo-23591 [https://bugs.python.org/issue?@action=redirect&bpo=23591]: Add Flag, IntFlag, and auto() to enum module.

bpo-433028 [https://bugs.python.org/issue?@action=redirect&bpo=433028]: Added support of modifier spans in regular expressions.

bpo-24594 [https://bugs.python.org/issue?@action=redirect&bpo=24594]: Validates persist parameter when opening MSI database

bpo-17582 [https://bugs.python.org/issue?@action=redirect&bpo=17582]: xml.etree.ElementTree nows preserves whitespaces in attributes (Patch by Duane Griffin. Reviewed and approved by Stefan Behnel.)

bpo-28047 [https://bugs.python.org/issue?@action=redirect&bpo=28047]: Fixed calculation of line length used for the base64 CTE in the new email policies.

bpo-27576 [https://bugs.python.org/issue?@action=redirect&bpo=27576]: Fix call order in OrderedDict.__init__().

email.generator.DecodedGenerator now supports the policy keyword.

bpo-28027 [https://bugs.python.org/issue?@action=redirect&bpo=28027]: Remove undocumented modules from Lib/plat-*: IN, CDROM, DLFCN, TYPES, CDIO, and STROPTS.

bpo-27445 [https://bugs.python.org/issue?@action=redirect&bpo=27445]: Don’t pass str(_charset) to MIMEText.set_payload(). Patch by Claude Paroz.

bpo-24277 [https://bugs.python.org/issue?@action=redirect&bpo=24277]: The new email API is no longer provisional, and the docs have been reorganized and rewritten to emphasize the new API.

bpo-22450 [https://bugs.python.org/issue?@action=redirect&bpo=22450]: urllib now includes an Accept: */* header among the default headers. This makes the results of REST API requests more consistent and predictable especially when proxy servers are involved.

lib2to3.pgen3.driver.load_grammar() now creates a stable cache file between runs given the same Grammar.txt input regardless of the hash randomization setting.

bpo-28005 [https://bugs.python.org/issue?@action=redirect&bpo=28005]: Allow ImportErrors in encoding implementation to propagate.

bpo-26667 [https://bugs.python.org/issue?@action=redirect&bpo=26667]: Support path-like objects in importlib.util.

bpo-27570 [https://bugs.python.org/issue?@action=redirect&bpo=27570]: Avoid zero-length memcpy() etc calls with null source pointers in the “ctypes” and “array” modules.

bpo-22233 [https://bugs.python.org/issue?@action=redirect&bpo=22233]: Break email header lines only on the RFC specified CR and LF characters, not on arbitrary unicode line breaks. This also fixes a bug in HTTP header parsing.

bpo-27331 [https://bugs.python.org/issue?@action=redirect&bpo=27331]: The email.mime classes now all accept an optional policy keyword.

bpo-27988 [https://bugs.python.org/issue?@action=redirect&bpo=27988]: Fix email iter_attachments incorrect mutation of payload list.

bpo-16113 [https://bugs.python.org/issue?@action=redirect&bpo=16113]: Add SHA-3 and SHAKE support to hashlib module.

Eliminate a tautological-pointer-compare warning in _scproxy.c.

bpo-27776 [https://bugs.python.org/issue?@action=redirect&bpo=27776]: The os.urandom() function does now block on Linux 3.17 and newer until the system urandom entropy pool is initialized to increase the security. This change is part of the PEP 524 [https://peps.python.org/pep-0524/].

bpo-27778 [https://bugs.python.org/issue?@action=redirect&bpo=27778]: Expose the Linux getrandom() syscall as a new os.getrandom() function. This change is part of the PEP 524 [https://peps.python.org/pep-0524/].

bpo-27691 [https://bugs.python.org/issue?@action=redirect&bpo=27691]: Fix ssl module’s parsing of GEN_RID subject alternative name fields in X.509 certs.

bpo-18844 [https://bugs.python.org/issue?@action=redirect&bpo=18844]: Add random.choices().

bpo-25761 [https://bugs.python.org/issue?@action=redirect&bpo=25761]: Improved error reporting about truncated pickle data in C implementation of unpickler. UnpicklingError is now raised instead of AttributeError and ValueError in some cases.

bpo-26798 [https://bugs.python.org/issue?@action=redirect&bpo=26798]: Add BLAKE2 (blake2b and blake2s) to hashlib.

bpo-26032 [https://bugs.python.org/issue?@action=redirect&bpo=26032]: Optimized globbing in pathlib by using os.scandir(); it is now about 1.5–4 times faster.

bpo-25596 [https://bugs.python.org/issue?@action=redirect&bpo=25596]: Optimized glob() and iglob() functions in the glob module; they are now about 3–6 times faster.

bpo-27928 [https://bugs.python.org/issue?@action=redirect&bpo=27928]: Add scrypt (password-based key derivation function) to hashlib module (requires OpenSSL 1.1.0).

bpo-27850 [https://bugs.python.org/issue?@action=redirect&bpo=27850]: Remove 3DES from ssl module’s default cipher list to counter measure sweet32 attack (CVE 2016-2183 [https://www.cve.org/CVERecord?id=CVE-2016-2183]).

bpo-27766 [https://bugs.python.org/issue?@action=redirect&bpo=27766]: Add ChaCha20 Poly1305 to ssl module’s default cipher list. (Required OpenSSL 1.1.0 or LibreSSL).

bpo-25387 [https://bugs.python.org/issue?@action=redirect&bpo=25387]: Check return value of winsound.MessageBeep.

bpo-27866 [https://bugs.python.org/issue?@action=redirect&bpo=27866]: Add SSLContext.get_ciphers() method to get a list of all enabled ciphers.

bpo-27744 [https://bugs.python.org/issue?@action=redirect&bpo=27744]: Add AF_ALG (Linux Kernel crypto) to socket module.

bpo-26470 [https://bugs.python.org/issue?@action=redirect&bpo=26470]: Port ssl and hashlib module to OpenSSL 1.1.0.

bpo-11620 [https://bugs.python.org/issue?@action=redirect&bpo=11620]: Fix support for SND_MEMORY in winsound.PlaySound. Based on a patch by Tim Lesher.

bpo-11734 [https://bugs.python.org/issue?@action=redirect&bpo=11734]: Add support for IEEE 754 half-precision floats to the struct module. Based on a patch by Eli Stevens.

bpo-27919 [https://bugs.python.org/issue?@action=redirect&bpo=27919]: Deprecated extra_path distribution option in distutils packaging.

bpo-23229 [https://bugs.python.org/issue?@action=redirect&bpo=23229]: Add new cmath constants: cmath.inf and cmath.nan to match math.inf and math.nan, and also cmath.infj and cmath.nanj to match the format used by complex repr.

bpo-27842 [https://bugs.python.org/issue?@action=redirect&bpo=27842]: The csv.DictReader now returns rows of type OrderedDict. (Contributed by Steve Holden.)

Remove support for passing a file descriptor to os.access. It never worked but previously didn’t raise.

bpo-12885 [https://bugs.python.org/issue?@action=redirect&bpo=12885]: Fix error when distutils encounters symlink.

bpo-27881 [https://bugs.python.org/issue?@action=redirect&bpo=27881]: Fixed possible bugs when setting sqlite3.Connection.isolation_level. Based on patch by Xiang Zhang.

bpo-27861 [https://bugs.python.org/issue?@action=redirect&bpo=27861]: Fixed a crash in sqlite3.Connection.cursor() when a factory creates not a cursor. Patch by Xiang Zhang.

bpo-19884 [https://bugs.python.org/issue?@action=redirect&bpo=19884]: Avoid spurious output on OS X with Gnu Readline.

bpo-27706 [https://bugs.python.org/issue?@action=redirect&bpo=27706]: Restore deterministic behavior of random.Random().seed() for string seeds using seeding version 1. Allows sequences of calls to random() to exactly match those obtained in Python 2. Patch by Nofar Schnider.

bpo-10513 [https://bugs.python.org/issue?@action=redirect&bpo=10513]: Fix a regression in Connection.commit(). Statements should not be reset after a commit.

bpo-12319 [https://bugs.python.org/issue?@action=redirect&bpo=12319]: Chunked transfer encoding support added to http.client.HTTPConnection requests. The urllib.request.AbstractHTTPHandler class does not enforce a Content-Length header any more. If a HTTP request has a file or iterable body, but no Content-Length header, the library now falls back to use chunked transfer-encoding.

A new version of typing.py from https://github.com/python/typing: - Collection (only for 3.6) (bpo-27598 [https://bugs.python.org/issue?@action=redirect&bpo=27598]) - Add FrozenSet to __all__ (upstream #261) - fix crash in _get_type_vars() (upstream #259) - Remove the dict constraint in ForwardRef._eval_type (upstream #252)

bpo-27832 [https://bugs.python.org/issue?@action=redirect&bpo=27832]: Make _normalize parameter to Fraction constructor keyword-only, so that Fraction(2, 3, 4) now raises TypeError.

bpo-27539 [https://bugs.python.org/issue?@action=redirect&bpo=27539]: Fix unnormalised Fraction.__pow__ result in the case of negative exponent and negative base.

bpo-21718 [https://bugs.python.org/issue?@action=redirect&bpo=21718]: cursor.description is now available for queries using CTEs.

bpo-27819 [https://bugs.python.org/issue?@action=redirect&bpo=27819]: In distutils sdists, simply produce the “gztar” (gzipped tar format) distributions on all platforms unless “formats” is supplied.

bpo-2466 [https://bugs.python.org/issue?@action=redirect&bpo=2466]: posixpath.ismount now correctly recognizes mount points which the user does not have permission to access.

bpo-9998 [https://bugs.python.org/issue?@action=redirect&bpo=9998]: On Linux, ctypes.util.find_library now looks in LD_LIBRARY_PATH for shared libraries.

bpo-27573 [https://bugs.python.org/issue?@action=redirect&bpo=27573]: exit message for code.interact is now configurable.

bpo-27930 [https://bugs.python.org/issue?@action=redirect&bpo=27930]: Improved behaviour of logging.handlers.QueueListener. Thanks to Paulo Andrade and Petr Viktorin for the analysis and patch.

bpo-6766 [https://bugs.python.org/issue?@action=redirect&bpo=6766]: Distributed reference counting added to multiprocessing to support nesting of shared values / proxy objects.

bpo-21201 [https://bugs.python.org/issue?@action=redirect&bpo=21201]: Improves readability of multiprocessing error message. Thanks to Wojciech Walczak for patch.

asyncio: Add set_protocol / get_protocol to Transports.

bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456]: asyncio: Set TCP_NODELAY by default.

IDLE

bpo-15308 [https://bugs.python.org/issue?@action=redirect&bpo=15308]: Add ‘interrupt execution’ (^C) to Shell menu. Patch by Roger Serwy, updated by Bayard Randel.

bpo-27922 [https://bugs.python.org/issue?@action=redirect&bpo=27922]: Stop IDLE tests from ‘flashing’ gui widgets on the screen.

bpo-27891 [https://bugs.python.org/issue?@action=redirect&bpo=27891]: Consistently group and sort imports within idlelib modules.

bpo-17642 [https://bugs.python.org/issue?@action=redirect&bpo=17642]: add larger font sizes for classroom projection.

Add version to title of IDLE help window.

bpo-25564 [https://bugs.python.org/issue?@action=redirect&bpo=25564]: In section on IDLE – console differences, mention that using exec means that __builtins__ is defined for each statement.

bpo-27821 [https://bugs.python.org/issue?@action=redirect&bpo=27821]: Fix 3.6.0a3 regression that prevented custom key sets from being selected when no custom theme was defined.

C API

bpo-26900 [https://bugs.python.org/issue?@action=redirect&bpo=26900]: Excluded underscored names and other private API from limited API.

bpo-26027 [https://bugs.python.org/issue?@action=redirect&bpo=26027]: Add support for path-like objects in PyUnicode_FSConverter() & PyUnicode_FSDecoder().

Tests

bpo-27427 [https://bugs.python.org/issue?@action=redirect&bpo=27427]: Additional tests for the math module. Patch by Francisco Couzo.

bpo-27953 [https://bugs.python.org/issue?@action=redirect&bpo=27953]: Skip math and cmath tests that fail on OS X 10.4 due to a poor libm implementation of tan.

bpo-26040 [https://bugs.python.org/issue?@action=redirect&bpo=26040]: Improve test_math and test_cmath coverage and rigour. Patch by Jeff Allen.

bpo-27787 [https://bugs.python.org/issue?@action=redirect&bpo=27787]: Call gc.collect() before checking each test for “dangling threads”, since the dangling threads are weak references.

Build

bpo-27566 [https://bugs.python.org/issue?@action=redirect&bpo=27566]: Fix clean target in freeze makefile (patch by Lisa Roach)

bpo-27705 [https://bugs.python.org/issue?@action=redirect&bpo=27705]: Update message in validate_ucrtbase.py

bpo-27976 [https://bugs.python.org/issue?@action=redirect&bpo=27976]: Deprecate building _ctypes with the bundled copy of libffi on non-OSX UNIX platforms.

bpo-27983 [https://bugs.python.org/issue?@action=redirect&bpo=27983]: Cause lack of llvm-profdata tool when using clang as required for PGO linking to be a configure time error rather than make time when --with-optimizations is enabled. Also improve our ability to find the llvm-profdata tool on MacOS and some Linuxes.

bpo-21590 [https://bugs.python.org/issue?@action=redirect&bpo=21590]: Support for DTrace and SystemTap probes.

bpo-26307 [https://bugs.python.org/issue?@action=redirect&bpo=26307]: The profile-opt build now applies PGO to the built-in modules.

bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359]: Add the –with-optimizations flag to turn on LTO and PGO build support when available.

bpo-27917 [https://bugs.python.org/issue?@action=redirect&bpo=27917]: Set platform triplets for Android builds.

bpo-25825 [https://bugs.python.org/issue?@action=redirect&bpo=25825]: Update references to the $(LIBPL) installation path on AIX. This path was changed in 3.2a4.

Update OS X installer to use SQLite 3.14.1 and XZ 5.2.2.

bpo-21122 [https://bugs.python.org/issue?@action=redirect&bpo=21122]: Fix LTO builds on OS X.

bpo-17128 [https://bugs.python.org/issue?@action=redirect&bpo=17128]: Build OS X installer with a private copy of OpenSSL. Also provide a sample Install Certificates command script to install a set of root certificates from the third-party certifi module.

Tools/Demos

bpo-27952 [https://bugs.python.org/issue?@action=redirect&bpo=27952]: Get Tools/scripts/fixcid.py working with Python 3 and the current “re” module, avoid invalid Python backslash escapes, and fix a bug parsing escaped C quote signs.

Windows

bpo-28065 [https://bugs.python.org/issue?@action=redirect&bpo=28065]: Update xz dependency to 5.2.2 and build it from source.

bpo-25144 [https://bugs.python.org/issue?@action=redirect&bpo=25144]: Ensures TargetDir is set before continuing with custom install.

bpo-1602 [https://bugs.python.org/issue?@action=redirect&bpo=1602]: Windows console doesn’t input or print Unicode (PEP 528)

bpo-27781 [https://bugs.python.org/issue?@action=redirect&bpo=27781]: Change file system encoding on Windows to UTF-8 (PEP 529)

bpo-27731 [https://bugs.python.org/issue?@action=redirect&bpo=27731]: Opt-out of MAX_PATH on Windows 10

bpo-6135 [https://bugs.python.org/issue?@action=redirect&bpo=6135]: Adds encoding and errors parameters to subprocess.

bpo-27959 [https://bugs.python.org/issue?@action=redirect&bpo=27959]: Adds oem encoding, alias ansi to mbcs, move aliasmbcs to codec lookup.

bpo-27982 [https://bugs.python.org/issue?@action=redirect&bpo=27982]: The functions of the winsound module now accept keyword arguments.

bpo-20366 [https://bugs.python.org/issue?@action=redirect&bpo=20366]: Build full text search support into SQLite on Windows.

bpo-27756 [https://bugs.python.org/issue?@action=redirect&bpo=27756]: Adds new icons for Python files and processes on Windows. Designs by Cherry Wang.

bpo-27883 [https://bugs.python.org/issue?@action=redirect&bpo=27883]: Update sqlite to 3.14.1.0 on Windows.

Python 3.6.0 alpha 4

Release date: 2016-08-15

Core and Builtins

bpo-27704 [https://bugs.python.org/issue?@action=redirect&bpo=27704]: Optimized creating bytes and bytearray from byte-like objects and iterables. Speed up to 3 times for short objects. Original patch by Naoki Inada.

bpo-26823 [https://bugs.python.org/issue?@action=redirect&bpo=26823]: Large sections of repeated lines in tracebacks are now abbreviated as “[Previous line repeated {count} more times]” by the builtin traceback rendering. Patch by Emanuel Barry.

bpo-27574 [https://bugs.python.org/issue?@action=redirect&bpo=27574]: Decreased an overhead of parsing keyword arguments in functions implemented with using Argument Clinic.

bpo-22557 [https://bugs.python.org/issue?@action=redirect&bpo=22557]: Now importing already imported modules is up to 2.5 times faster.

bpo-17596 [https://bugs.python.org/issue?@action=redirect&bpo=17596]: Include <wincrypt.h> to help with Min GW building.

bpo-17599 [https://bugs.python.org/issue?@action=redirect&bpo=17599]: On Windows, rename the privately defined REPARSE_DATA_BUFFER structure to avoid conflicting with the definition from Min GW.

bpo-27507 [https://bugs.python.org/issue?@action=redirect&bpo=27507]: Add integer overflow check in bytearray.extend(). Patch by Xiang Zhang.

bpo-27581 [https://bugs.python.org/issue?@action=redirect&bpo=27581]: Don’t rely on wrapping for overflow check in PySequence_Tuple(). Patch by Xiang Zhang.

bpo-1621 [https://bugs.python.org/issue?@action=redirect&bpo=1621]: Avoid signed integer overflow in list and tuple operations. Patch by Xiang Zhang.

bpo-27419 [https://bugs.python.org/issue?@action=redirect&bpo=27419]: Standard __import__() no longer look up “__import__” in globals or builtins for importing submodules or “from import”. Fixed a crash if raise a warning about unabling to resolve package from __spec__ or __package__.

bpo-27083 [https://bugs.python.org/issue?@action=redirect&bpo=27083]: Respect the PYTHONCASEOK environment variable under Windows.

bpo-27514 [https://bugs.python.org/issue?@action=redirect&bpo=27514]: Make having too many statically nested blocks a SyntaxError instead of SystemError.

bpo-27366 [https://bugs.python.org/issue?@action=redirect&bpo=27366]: Implemented PEP 487 [https://peps.python.org/pep-0487/] (Simpler customization of class creation). Upon subclassing, the __init_subclass__ classmethod is called on the base class. Descriptors are initialized with __set_name__ after class creation.

Library

bpo-26027 [https://bugs.python.org/issue?@action=redirect&bpo=26027]: Add PEP 519 [https://peps.python.org/pep-0519/]/__fspath__() support to the os and os.path modules. Includes code from Jelle Zijlstra. (See also: bpo-27524 [https://bugs.python.org/issue?@action=redirect&bpo=27524])

bpo-27598 [https://bugs.python.org/issue?@action=redirect&bpo=27598]: Add Collections to collections.abc. Patch by Ivan Levkivskyi, docs by Neil Girdhar.

bpo-25958 [https://bugs.python.org/issue?@action=redirect&bpo=25958]: Support “anti-registration” of special methods from various ABCs, like __hash__, __iter__ or __len__. All these (and several more) can be set to None in an implementation class and the behavior will be as if the method is not defined at all. (Previously, this mechanism existed only for __hash__, to make mutable classes unhashable.) Code contributed by Andrew Barnert and Ivan Levkivskyi.

bpo-16764 [https://bugs.python.org/issue?@action=redirect&bpo=16764]: Support keyword arguments to zlib.decompress(). Patch by Xiang Zhang.

bpo-27736 [https://bugs.python.org/issue?@action=redirect&bpo=27736]: Prevent segfault after interpreter re-initialization due to ref count problem introduced in code for bpo-27038 [https://bugs.python.org/issue?@action=redirect&bpo=27038] in 3.6.0a3. Patch by Xiang Zhang.

bpo-25628 [https://bugs.python.org/issue?@action=redirect&bpo=25628]: The verbose and rename parameters for collections.namedtuple are now keyword-only.

bpo-12345 [https://bugs.python.org/issue?@action=redirect&bpo=12345]: Add mathematical constant tau to math and cmath. See also PEP 628 [https://peps.python.org/pep-0628/].

bpo-26823 [https://bugs.python.org/issue?@action=redirect&bpo=26823]: traceback.StackSummary.format now abbreviates large sections of repeated lines as “[Previous line repeated {count} more times]” (this change then further affects other traceback display operations in the module). Patch by Emanuel Barry.

bpo-27664 [https://bugs.python.org/issue?@action=redirect&bpo=27664]: Add to concurrent.futures.thread.ThreadPoolExecutor() the ability to specify a thread name prefix.

bpo-27181 [https://bugs.python.org/issue?@action=redirect&bpo=27181]: Add geometric_mean and harmonic_mean to statistics module.

bpo-27573 [https://bugs.python.org/issue?@action=redirect&bpo=27573]: code.interact now prints an message when exiting.

bpo-6422 [https://bugs.python.org/issue?@action=redirect&bpo=6422]: Add autorange method to timeit.Timer objects.

bpo-27773 [https://bugs.python.org/issue?@action=redirect&bpo=27773]: Correct some memory management errors server_hostname in _ssl.wrap_socket().

bpo-26750 [https://bugs.python.org/issue?@action=redirect&bpo=26750]: unittest.mock.create_autospec() now works properly for subclasses of property() and other data descriptors. Removes the never publicly used, never documented unittest.mock.DescriptorTypes tuple.

bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754]: Undocumented support of general bytes-like objects as path in compile() and similar functions is now deprecated.

bpo-26800 [https://bugs.python.org/issue?@action=redirect&bpo=26800]: Undocumented support of general bytes-like objects as paths in os functions is now deprecated.

bpo-26981 [https://bugs.python.org/issue?@action=redirect&bpo=26981]: Add _order_ compatibility shim to enum.Enum for Python 2/3 code bases.

bpo-27661 [https://bugs.python.org/issue?@action=redirect&bpo=27661]: Added tzinfo keyword argument to datetime.combine.

In the curses module, raise an error if window.getstr() or window.instr() is passed a negative value.

bpo-27783 [https://bugs.python.org/issue?@action=redirect&bpo=27783]: Fix possible usage of uninitialized memory in operator.methodcaller.

bpo-27774 [https://bugs.python.org/issue?@action=redirect&bpo=27774]: Fix possible Py_DECREF on unowned object in _sre.

bpo-27760 [https://bugs.python.org/issue?@action=redirect&bpo=27760]: Fix possible integer overflow in binascii.b2a_qp.

bpo-27758 [https://bugs.python.org/issue?@action=redirect&bpo=27758]: Fix possible integer overflow in the _csv module for large record lengths.

bpo-27568 [https://bugs.python.org/issue?@action=redirect&bpo=27568]: Prevent HTTPoxy attack (CVE 2016-1000110 [https://www.cve.org/CVERecord?id=CVE-2016-1000110]). Ignore the HTTP_PROXY variable when REQUEST_METHOD environment is set, which indicates that the script is in CGI mode.

bpo-7063 [https://bugs.python.org/issue?@action=redirect&bpo=7063]: Remove dead code from the “array” module’s slice handling. Patch by Chuck.

bpo-27656 [https://bugs.python.org/issue?@action=redirect&bpo=27656]: Do not assume sched.h defines any SCHED_* constants.

bpo-27130 [https://bugs.python.org/issue?@action=redirect&bpo=27130]: In the “zlib” module, fix handling of large buffers (typically 4 GiB) when compressing and decompressing. Previously, inputs were limited to 4 GiB, and compression and decompression operations did not properly handle results of 4 GiB.

bpo-24773 [https://bugs.python.org/issue?@action=redirect&bpo=24773]: Implemented PEP 495 [https://peps.python.org/pep-0495/] (Local Time Disambiguation).

Expose the EPOLLEXCLUSIVE constant (when it is defined) in the select module.

bpo-27567 [https://bugs.python.org/issue?@action=redirect&bpo=27567]: Expose the EPOLLRDHUP and POLLRDHUP constants in the select module.

bpo-1621 [https://bugs.python.org/issue?@action=redirect&bpo=1621]: Avoid signed int negation overflow in the “audioop” module.

bpo-27533 [https://bugs.python.org/issue?@action=redirect&bpo=27533]: Release GIL in nt._isdir

bpo-17711 [https://bugs.python.org/issue?@action=redirect&bpo=17711]: Fixed unpickling by the persistent ID with protocol 0. Original patch by Alexandre Vassalotti.

bpo-27522 [https://bugs.python.org/issue?@action=redirect&bpo=27522]: Avoid an unintentional reference cycle in email.feedparser.

bpo-27512 [https://bugs.python.org/issue?@action=redirect&bpo=27512]: Fix a segfault when os.fspath() called an __fspath__() method that raised an exception. Patch by Xiang Zhang.

IDLE

bpo-27714 [https://bugs.python.org/issue?@action=redirect&bpo=27714]: text_textview and test_autocomplete now pass when re-run in the same process. This occurs when test_idle fails when run with the -w option but without -jn. Fix warning from test_config.

bpo-27621 [https://bugs.python.org/issue?@action=redirect&bpo=27621]: Put query response validation error messages in the query box itself instead of in a separate messagebox. Redo tests to match. Add Mac OSX refinements. Original patch by Mark Roseman.

bpo-27620 [https://bugs.python.org/issue?@action=redirect&bpo=27620]: Escape key now closes Query box as cancelled.

bpo-27609 [https://bugs.python.org/issue?@action=redirect&bpo=27609]: IDLE: tab after initial whitespace should tab, not autocomplete. This fixes problem with writing docstrings at least twice indented.

bpo-27609 [https://bugs.python.org/issue?@action=redirect&bpo=27609]: Explicitly return None when there are also non-None returns. In a few cases, reverse a condition and eliminate a return.

bpo-25507 [https://bugs.python.org/issue?@action=redirect&bpo=25507]: IDLE no longer runs buggy code because of its tkinter imports. Users must include the same imports required to run directly in Python.

bpo-27173 [https://bugs.python.org/issue?@action=redirect&bpo=27173]: Add ‘IDLE Modern Unix’ to the built-in key sets. Make the default key set depend on the platform. Add tests for the changes to the config module.

bpo-27452 [https://bugs.python.org/issue?@action=redirect&bpo=27452]: add line counter and crc to IDLE configHandler test dump.

Tests

bpo-25805 [https://bugs.python.org/issue?@action=redirect&bpo=25805]: Skip a test in test_pkgutil as needed that doesn’t work when __name__ == __main__. Patch by SilentGhost.

bpo-27472 [https://bugs.python.org/issue?@action=redirect&bpo=27472]: Add test.support.unix_shell as the path to the default shell.

bpo-27369 [https://bugs.python.org/issue?@action=redirect&bpo=27369]: In test_pyexpat, avoid testing an error message detail that changed in Expat 2.2.0.

bpo-27594 [https://bugs.python.org/issue?@action=redirect&bpo=27594]: Prevent assertion error when running test_ast with coverage enabled: ensure code object has a valid first line number. Patch suggested by Ivan Levkivskyi.

Windows

bpo-27647 [https://bugs.python.org/issue?@action=redirect&bpo=27647]: Update bundled Tcl/Tk to 8.6.6.

bpo-27610 [https://bugs.python.org/issue?@action=redirect&bpo=27610]: Adds PEP 514 [https://peps.python.org/pep-0514/] metadata to Windows installer

bpo-27469 [https://bugs.python.org/issue?@action=redirect&bpo=27469]: Adds a shell extension to the launcher so that drag and drop works correctly.

bpo-27309 [https://bugs.python.org/issue?@action=redirect&bpo=27309]: Enables proper Windows styles in python[w].exe manifest.

Build

bpo-27713 [https://bugs.python.org/issue?@action=redirect&bpo=27713]: Suppress spurious build warnings when updating importlib’s bootstrap files. Patch by Xiang Zhang

bpo-25825 [https://bugs.python.org/issue?@action=redirect&bpo=25825]: Correct the references to Modules/python.exp, which is required on AIX. The references were accidentally changed in 3.5.0a1.

bpo-27453 [https://bugs.python.org/issue?@action=redirect&bpo=27453]: CPP invocation in configure must use CPPFLAGS. Patch by Chi Hsuan Yen.

bpo-27641 [https://bugs.python.org/issue?@action=redirect&bpo=27641]: The configure script now inserts comments into the makefile to prevent the pgen and _freeze_importlib executables from being cross-compiled.

bpo-26662 [https://bugs.python.org/issue?@action=redirect&bpo=26662]: Set PYTHON_FOR_GEN in configure as the Python program to be used for file generation during the build.

bpo-10910 [https://bugs.python.org/issue?@action=redirect&bpo=10910]: Avoid C++ compilation errors on FreeBSD and OS X. Also update FreedBSD version checks for the original ctype UTF-8 workaround.

Python 3.6.0 alpha 3

Release date: 2016-07-11

Security

bpo-27278 [https://bugs.python.org/issue?@action=redirect&bpo=27278]: Fix os.urandom() implementation using getrandom() on Linux. Truncate size to INT_MAX and loop until we collected enough random bytes, instead of casting a directly Py_ssize_t to int.

bpo-22636 [https://bugs.python.org/issue?@action=redirect&bpo=22636]: Avoid shell injection problems with ctypes.util.find_library().

Core and Builtins

bpo-27473 [https://bugs.python.org/issue?@action=redirect&bpo=27473]: Fixed possible integer overflow in bytes and bytearray concatenations. Patch by Xiang Zhang.

bpo-23034 [https://bugs.python.org/issue?@action=redirect&bpo=23034]: The output of a special Python build with defined COUNT_ALLOCS, SHOW_ALLOC_COUNT or SHOW_TRACK_COUNT macros is now off by default. It can be re-enabled using the “-X showalloccount” option. It now outputs to stderr instead of stdout.

bpo-27443 [https://bugs.python.org/issue?@action=redirect&bpo=27443]: __length_hint__() of bytearray iterators no longer return a negative integer for a resized bytearray.

bpo-27007 [https://bugs.python.org/issue?@action=redirect&bpo=27007]: The fromhex() class methods of bytes and bytearray subclasses now return an instance of corresponding subclass.

Library

bpo-26844 [https://bugs.python.org/issue?@action=redirect&bpo=26844]: Fix error message for imp.find_module() to refer to ‘path’ instead of ‘name’. Patch by Lev Maximov.

bpo-23804 [https://bugs.python.org/issue?@action=redirect&bpo=23804]: Fix SSL zero-length recv() calls to not block and not raise an error about unclean EOF.

bpo-27466 [https://bugs.python.org/issue?@action=redirect&bpo=27466]: Change time format returned by http.cookie.time2netscape, confirming the netscape cookie format and making it consistent with documentation.

bpo-21708 [https://bugs.python.org/issue?@action=redirect&bpo=21708]: Deprecated dbm.dumb behavior that differs from common dbm behavior: creating a database in ‘r’ and ‘w’ modes and modifying a database in ‘r’ mode.

bpo-26721 [https://bugs.python.org/issue?@action=redirect&bpo=26721]: Change the socketserver.StreamRequestHandler.wfile attribute to implement BufferedIOBase. In particular, the write() method no longer does partial writes.

bpo-22115 [https://bugs.python.org/issue?@action=redirect&bpo=22115]: Added methods trace_add, trace_remove and trace_info in the tkinter.Variable class. They replace old methods trace_variable, trace, trace_vdelete and trace_vinfo that use obsolete Tcl commands and might not work in future versions of Tcl. Fixed old tracing methods: trace_vdelete() with wrong mode no longer break tracing, trace_vinfo() now always returns a list of pairs of strings, tracing in the “u” mode now works.

bpo-26243 [https://bugs.python.org/issue?@action=redirect&bpo=26243]: Only the level argument to zlib.compress() is keyword argument now. The first argument is positional-only.

bpo-27038 [https://bugs.python.org/issue?@action=redirect&bpo=27038]: Expose the DirEntry type as os.DirEntry. Code patch by Jelle Zijlstra.

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Update os.fspath()/PyOS_FSPath() to check the return value of __fspath__() to be either str or bytes.

bpo-18726 [https://bugs.python.org/issue?@action=redirect&bpo=18726]: All optional parameters of the dump(), dumps(), load() and loads() functions and JSONEncoder and JSONDecoder class constructors in the json module are now keyword-only.

bpo-27319 [https://bugs.python.org/issue?@action=redirect&bpo=27319]: Methods selection_set(), selection_add(), selection_remove() and selection_toggle() of ttk.TreeView now allow passing multiple items as multiple arguments instead of passing them as a tuple. Deprecated undocumented ability of calling the selection() method with arguments.

bpo-27079 [https://bugs.python.org/issue?@action=redirect&bpo=27079]: Fixed curses.ascii functions isblank(), iscntrl() and ispunct().

bpo-27294 [https://bugs.python.org/issue?@action=redirect&bpo=27294]: Numerical state in the repr for Tkinter event objects is now represented as a combination of known flags.

bpo-27177 [https://bugs.python.org/issue?@action=redirect&bpo=27177]: Match objects in the re module now support index-like objects as group indices. Based on patches by Jeroen Demeyer and Xiang Zhang.

bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754]: Some functions (compile() etc) accepted a filename argument encoded as an iterable of integers. Now only strings and byte-like objects are accepted.

bpo-26536 [https://bugs.python.org/issue?@action=redirect&bpo=26536]: socket.ioctl now supports SIO_LOOPBACK_FAST_PATH. Patch by Daniel Stokes.

bpo-27048 [https://bugs.python.org/issue?@action=redirect&bpo=27048]: Prevents distutils failing on Windows when environment variables contain non-ASCII characters

bpo-27330 [https://bugs.python.org/issue?@action=redirect&bpo=27330]: Fixed possible leaks in the ctypes module.

bpo-27238 [https://bugs.python.org/issue?@action=redirect&bpo=27238]: Got rid of bare excepts in the turtle module. Original patch by Jelle Zijlstra.

bpo-27122 [https://bugs.python.org/issue?@action=redirect&bpo=27122]: When an exception is raised within the context being managed by a contextlib.ExitStack() and one of the exit stack generators catches and raises it in a chain, do not re-raise the original exception when exiting, let the new chained one through. This avoids the PEP 479 [https://peps.python.org/pep-0479/] bug described in issue25782.

bpo-16864 [https://bugs.python.org/issue?@action=redirect&bpo=16864]: sqlite3.Cursor.lastrowid now supports REPLACE statement. Initial patch by Alex LordThorsen.

bpo-26386 [https://bugs.python.org/issue?@action=redirect&bpo=26386]: Fixed ttk.TreeView selection operations with item id’s containing spaces.

bpo-8637 [https://bugs.python.org/issue?@action=redirect&bpo=8637]: Honor a pager set by the env var MANPAGER (in preference to one set by the env var PAGER).

bpo-16182 [https://bugs.python.org/issue?@action=redirect&bpo=16182]: Fix various functions in the “readline” module to use the locale encoding, and fix get_begidx() and get_endidx() to return code point indexes.

bpo-27392 [https://bugs.python.org/issue?@action=redirect&bpo=27392]: Add loop.connect_accepted_socket(). Patch by Jim Fulton.

IDLE

bpo-27477 [https://bugs.python.org/issue?@action=redirect&bpo=27477]: IDLE search dialogs now use ttk widgets.

bpo-27173 [https://bugs.python.org/issue?@action=redirect&bpo=27173]: Add ‘IDLE Modern Unix’ to the built-in key sets. Make the default key set depend on the platform. Add tests for the changes to the config module.

bpo-27452 [https://bugs.python.org/issue?@action=redirect&bpo=27452]: make command line “idle-test> python test_help.py” work. __file__ is relative when python is started in the file’s directory.

bpo-27452 [https://bugs.python.org/issue?@action=redirect&bpo=27452]: add line counter and crc to IDLE configHandler test dump.

bpo-27380 [https://bugs.python.org/issue?@action=redirect&bpo=27380]: IDLE: add query.py with base Query dialog and ttk widgets. Module had subclasses SectionName, ModuleName, and HelpSource, which are used to get information from users by configdialog and file =>Load Module. Each subclass has itw own validity checks. Using ModuleName allows users to edit bad module names instead of starting over. Add tests and delete the two files combined into the new one.

bpo-27372 [https://bugs.python.org/issue?@action=redirect&bpo=27372]: Test_idle no longer changes the locale.

bpo-27365 [https://bugs.python.org/issue?@action=redirect&bpo=27365]: Allow non-ascii chars in IDLE NEWS.txt, for contributor names.

bpo-27245 [https://bugs.python.org/issue?@action=redirect&bpo=27245]: IDLE: Cleanly delete custom themes and key bindings. Previously, when IDLE was started from a console or by import, a cascade of warnings was emitted. Patch by Serhiy Storchaka.

bpo-24137 [https://bugs.python.org/issue?@action=redirect&bpo=24137]: Run IDLE, test_idle, and htest with tkinter default root disabled. Fix code and tests that fail with this restriction. Fix htests to not create a second and redundant root and mainloop.

bpo-27310 [https://bugs.python.org/issue?@action=redirect&bpo=27310]: Fix IDLE.app failure to launch on OS X due to vestigial import.

C API

bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754]: PyUnicode_FSDecoder() accepted a filename argument encoded as an iterable of integers. Now only strings and byte-like objects are accepted.

Build

bpo-28066 [https://bugs.python.org/issue?@action=redirect&bpo=28066]: Fix the logic that searches build directories for generated include files when building outside the source tree.

bpo-27442 [https://bugs.python.org/issue?@action=redirect&bpo=27442]: Expose the Android API level that python was built against, in sysconfig.get_config_vars() as ‘ANDROID_API_LEVEL’.

bpo-27434 [https://bugs.python.org/issue?@action=redirect&bpo=27434]: The interpreter that runs the cross-build, found in PATH, must now be of the same feature version (e.g. 3.6) as the source being built.

bpo-26930 [https://bugs.python.org/issue?@action=redirect&bpo=26930]: Update Windows builds to use OpenSSL 1.0.2h.

bpo-23968 [https://bugs.python.org/issue?@action=redirect&bpo=23968]: Rename the platform directory from plat-$(MACHDEP) to plat-$(PLATFORM_TRIPLET). Rename the config directory (LIBPL) from config-$(LDVERSION) to config-$(LDVERSION)-$(PLATFORM_TRIPLET). Install the platform specific _sysconfigdata module into the platform directory and rename it to include the ABIFLAGS.

Don’t use largefile support for GNU/Hurd.

Tools/Demos

bpo-27332 [https://bugs.python.org/issue?@action=redirect&bpo=27332]: Fixed the type of the first argument of module-level functions generated by Argument Clinic. Patch by Petr Viktorin.

bpo-27418 [https://bugs.python.org/issue?@action=redirect&bpo=27418]: Fixed Tools/importbench/importbench.py.

Documentation

bpo-19489 [https://bugs.python.org/issue?@action=redirect&bpo=19489]: Moved the search box from the sidebar to the header and footer of each page. Patch by Ammar Askar.

bpo-27285 [https://bugs.python.org/issue?@action=redirect&bpo=27285]: Update documentation to reflect the deprecation of pyvenv and normalize on the term “virtual environment”. Patch by Steve Piercy.

Tests

bpo-27027 [https://bugs.python.org/issue?@action=redirect&bpo=27027]: Added test.support.is_android that is True when this is an Android build.

Python 3.6.0 alpha 2

Release date: 2016-06-13

Security

bpo-26556 [https://bugs.python.org/issue?@action=redirect&bpo=26556]: Update expat to 2.1.1, fixes CVE 2015-1283 [https://www.cve.org/CVERecord?id=CVE-2015-1283].

Fix TLS stripping vulnerability in smtplib, CVE 2016-0772 [https://www.cve.org/CVERecord?id=CVE-2016-0772]. Reported by Team Oststrom.

bpo-26839 [https://bugs.python.org/issue?@action=redirect&bpo=26839]: On Linux, os.urandom() now calls getrandom() with GRND_NONBLOCK to fall back on reading /dev/urandom if the urandom entropy pool is not initialized yet. Patch written by Colm Buckley.

Core and Builtins

bpo-27095 [https://bugs.python.org/issue?@action=redirect&bpo=27095]: Simplified MAKE_FUNCTION and removed MAKE_CLOSURE opcodes. Patch by Demur Rumed.

bpo-27190 [https://bugs.python.org/issue?@action=redirect&bpo=27190]: Raise NotSupportedError if sqlite3 is older than 3.3.1. Patch by Dave Sawyer.

bpo-27286 [https://bugs.python.org/issue?@action=redirect&bpo=27286]: Fixed compiling BUILD_MAP_UNPACK_WITH_CALL opcode. Calling function with generalized unpacking (PEP 448) and conflicting keyword names could cause undefined behavior.

bpo-27140 [https://bugs.python.org/issue?@action=redirect&bpo=27140]: Added BUILD_CONST_KEY_MAP opcode.

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Add support for os.PathLike objects to open() (part of PEP 519 [https://peps.python.org/pep-0519/]).

bpo-27066 [https://bugs.python.org/issue?@action=redirect&bpo=27066]: Fixed SystemError if a custom opener (for open()) returns a negative number without setting an exception.

bpo-26983 [https://bugs.python.org/issue?@action=redirect&bpo=26983]: float() now always return an instance of exact float. The deprecation warning is emitted if __float__ returns an instance of a strict subclass of float. In a future versions of Python this can be an error.

bpo-27097 [https://bugs.python.org/issue?@action=redirect&bpo=27097]: Python interpreter is now about 7% faster due to optimized instruction decoding. Based on patch by Demur Rumed.

bpo-26647 [https://bugs.python.org/issue?@action=redirect&bpo=26647]: Python interpreter now uses 16-bit wordcode instead of bytecode. Patch by Demur Rumed.

bpo-23275 [https://bugs.python.org/issue?@action=redirect&bpo=23275]: Allow assigning to an empty target list in round brackets: () = iterable.

bpo-27243 [https://bugs.python.org/issue?@action=redirect&bpo=27243]: Update the __aiter__ protocol: instead of returning an awaitable that resolves to an asynchronous iterator, the asynchronous iterator should be returned directly. Doing the former will trigger a PendingDeprecationWarning.

Library

Comment out socket (SO_REUSEPORT) and posix (O_SHLOCK, O_EXLOCK) constants exposed on the API which are not implemented on GNU/Hurd. They would not work at runtime anyway.

bpo-27025 [https://bugs.python.org/issue?@action=redirect&bpo=27025]: Generated names for Tkinter widgets are now more meaningful and recognizable.

bpo-25455 [https://bugs.python.org/issue?@action=redirect&bpo=25455]: Fixed crashes in repr of recursive ElementTree.Element and functools.partial objects.

bpo-27294 [https://bugs.python.org/issue?@action=redirect&bpo=27294]: Improved repr for Tkinter event objects.

bpo-20508 [https://bugs.python.org/issue?@action=redirect&bpo=20508]: Improve exception message of IPv{4,6}Network.__getitem__. Patch by Gareth Rees.

bpo-21386 [https://bugs.python.org/issue?@action=redirect&bpo=21386]: Implement missing IPv4Address.is_global property. It was documented since 07a5610bae9d. Initial patch by Roger Luethi.

bpo-27029 [https://bugs.python.org/issue?@action=redirect&bpo=27029]: Removed deprecated support of universal newlines mode from ZipFile.open().

bpo-27030 [https://bugs.python.org/issue?@action=redirect&bpo=27030]: Unknown escapes consisting of '\' and an ASCII letter in regular expressions now are errors. The re.LOCALE flag now can be used only with bytes patterns.

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Add os.PathLike support to DirEntry (part of PEP 519 [https://peps.python.org/pep-0519/]). Initial patch by Jelle Zijlstra.

bpo-20900 [https://bugs.python.org/issue?@action=redirect&bpo=20900]: distutils register command now decodes HTTP responses correctly. Initial patch by ingrid.

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Add os.PathLike support to pathlib, removing its provisional status (part of PEP 519). Initial patch by Dusty Phillips.

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Add support for os.PathLike objects to os.fsencode() and os.fsdecode() (part of PEP 519 [https://peps.python.org/pep-0519/]).

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Introduce os.PathLike and os.fspath() (part of PEP 519 [https://peps.python.org/pep-0519/]).

A new version of typing.py provides several new classes and features: @overload outside stubs, Reversible, DefaultDict, Text, ContextManager, Type[], NewType(), TYPE_CHECKING, and numerous bug fixes (note that some of the new features are not yet implemented in mypy or other static analyzers). Also classes for PEP 492 [https://peps.python.org/pep-0492/] (Awaitable, AsyncIterable, AsyncIterator) have been added (in fact they made it into 3.5.1 but were never mentioned).

bpo-25738 [https://bugs.python.org/issue?@action=redirect&bpo=25738]: Stop http.server.BaseHTTPRequestHandler.send_error() from sending a message body for 205 Reset Content. Also, don’t send Content header fields in responses that don’t have a body. Patch by Susumu Koshiba.

bpo-21313 [https://bugs.python.org/issue?@action=redirect&bpo=21313]: Fix the “platform” module to tolerate when sys.version contains truncated build information.

bpo-23883 [https://bugs.python.org/issue?@action=redirect&bpo=23883]: Added missing APIs to __all__ to match the documented APIs for the following modules: cgi, mailbox, mimetypes, plistlib and smtpd. Patches by Jacek Kołodziej.

bpo-27164 [https://bugs.python.org/issue?@action=redirect&bpo=27164]: In the zlib module, allow decompressing raw Deflate streams with a predefined zdict. Based on patch by Xiang Zhang.

bpo-24291 [https://bugs.python.org/issue?@action=redirect&bpo=24291]: Fix wsgiref.simple_server.WSGIRequestHandler to completely write data to the client. Previously it could do partial writes and truncate data. Also, wsgiref.handler.ServerHandler can now handle stdout doing partial writes, but this is deprecated.

bpo-21272 [https://bugs.python.org/issue?@action=redirect&bpo=21272]: Use _sysconfigdata.py to initialize distutils.sysconfig.

bpo-19611 [https://bugs.python.org/issue?@action=redirect&bpo=19611]: inspect now reports the implicit .0 parameters generated by the compiler for comprehension and generator expression scopes as if they were positional-only parameters called implicit0. Patch by Jelle Zijlstra.

bpo-26809 [https://bugs.python.org/issue?@action=redirect&bpo=26809]: Add __all__ to string. Patch by Emanuel Barry.

bpo-26373 [https://bugs.python.org/issue?@action=redirect&bpo=26373]: subprocess.Popen.communicate now correctly ignores BrokenPipeError when the child process dies before .communicate() is called in more/all circumstances.

signal, socket, and ssl module IntEnum constant name lookups now return a consistent name for values having multiple names. Ex: signal.Signals(6) now refers to itself as signal.SIGALRM rather than flipping between that and signal.SIGIOT based on the interpreter’s hash randomization seed.

bpo-27167 [https://bugs.python.org/issue?@action=redirect&bpo=27167]: Clarify the subprocess.CalledProcessError error message text when the child process died due to a signal.

bpo-25931 [https://bugs.python.org/issue?@action=redirect&bpo=25931]: Don’t define socketserver.Forking* names on platforms such as Windows that do not support os.fork().

bpo-21776 [https://bugs.python.org/issue?@action=redirect&bpo=21776]: distutils.upload now correctly handles HTTPError. Initial patch by Claudiu Popa.

bpo-26526 [https://bugs.python.org/issue?@action=redirect&bpo=26526]: Replace custom parse tree validation in the parser module with a simple DFA validator.

bpo-27114 [https://bugs.python.org/issue?@action=redirect&bpo=27114]: Fix SSLContext._load_windows_store_certs fails with PermissionError

bpo-18383 [https://bugs.python.org/issue?@action=redirect&bpo=18383]: Avoid creating duplicate filters when using filterwarnings and simplefilter. Based on patch by Alex Shkop.

bpo-23026 [https://bugs.python.org/issue?@action=redirect&bpo=23026]: winreg.QueryValueEx() now return an integer for REG_QWORD type.

bpo-26741 [https://bugs.python.org/issue?@action=redirect&bpo=26741]: subprocess.Popen destructor now emits a ResourceWarning warning if the child process is still running.

bpo-27056 [https://bugs.python.org/issue?@action=redirect&bpo=27056]: Optimize pickle.load() and pickle.loads(), up to 10% faster to deserialize a lot of small objects.

bpo-21271 [https://bugs.python.org/issue?@action=redirect&bpo=21271]: New keyword only parameters in reset_mock call.

IDLE

bpo-5124 [https://bugs.python.org/issue?@action=redirect&bpo=5124]: Paste with text selected now replaces the selection on X11. This matches how paste works on Windows, Mac, most modern Linux apps, and ttk widgets. Original patch by Serhiy Storchaka.

bpo-24750 [https://bugs.python.org/issue?@action=redirect&bpo=24750]: Switch all scrollbars in IDLE to ttk versions. Where needed, minimal tests are added to cover changes.

bpo-24759 [https://bugs.python.org/issue?@action=redirect&bpo=24759]: IDLE requires tk 8.5 and availability ttk widgets. Delete now unneeded tk version tests and code for older versions. Add test for IDLE syntax colorizer.

bpo-27239 [https://bugs.python.org/issue?@action=redirect&bpo=27239]: idlelib.macosx.isXyzTk functions initialize as needed.

bpo-27262 [https://bugs.python.org/issue?@action=redirect&bpo=27262]: move Aqua unbinding code, which enable context menus, to macosx.

bpo-24759 [https://bugs.python.org/issue?@action=redirect&bpo=24759]: Make clear in idlelib.idle_test.__init__ that the directory is a private implementation of test.test_idle and tool for maintainers.

bpo-27196 [https://bugs.python.org/issue?@action=redirect&bpo=27196]: Stop ‘ThemeChanged’ warnings when running IDLE tests. These persisted after other warnings were suppressed in #20567. Apply Serhiy Storchaka’s update_idletasks solution to four test files. Record this additional advice in idle_test/README.txt

bpo-20567 [https://bugs.python.org/issue?@action=redirect&bpo=20567]: Revise idle_test/README.txt with advice about avoiding tk warning messages from tests. Apply advice to several IDLE tests.

bpo-24225 [https://bugs.python.org/issue?@action=redirect&bpo=24225]: Update idlelib/README.txt with new file names and event handlers.

bpo-27156 [https://bugs.python.org/issue?@action=redirect&bpo=27156]: Remove obsolete code not used by IDLE.

bpo-27117 [https://bugs.python.org/issue?@action=redirect&bpo=27117]: Make colorizer htest and turtledemo work with dark themes. Move code for configuring text widget colors to a new function.

bpo-24225 [https://bugs.python.org/issue?@action=redirect&bpo=24225]: Rename many idlelib/*.py and idle_test/test_*.py files. Edit files to replace old names with new names when the old name referred to the module rather than the class it contained. See the issue and IDLE section in What’s New in 3.6 for more.

bpo-26673 [https://bugs.python.org/issue?@action=redirect&bpo=26673]: When tk reports font size as 0, change to size 10. Such fonts on Linux prevented the configuration dialog from opening.

bpo-21939 [https://bugs.python.org/issue?@action=redirect&bpo=21939]: Add test for IDLE’s percolator. Original patch by Saimadhav Heblikar.

bpo-21676 [https://bugs.python.org/issue?@action=redirect&bpo=21676]: Add test for IDLE’s replace dialog. Original patch by Saimadhav Heblikar.

bpo-18410 [https://bugs.python.org/issue?@action=redirect&bpo=18410]: Add test for IDLE’s search dialog. Original patch by Westley Martínez.

bpo-21703 [https://bugs.python.org/issue?@action=redirect&bpo=21703]: Add test for undo delegator. Patch mostly by Saimadhav Heblikar .

bpo-27044 [https://bugs.python.org/issue?@action=redirect&bpo=27044]: Add ConfigDialog.remove_var_callbacks to stop memory leaks.

bpo-23977 [https://bugs.python.org/issue?@action=redirect&bpo=23977]: Add more asserts to test_delegator.

Documentation

bpo-16484 [https://bugs.python.org/issue?@action=redirect&bpo=16484]: Change the default PYTHONDOCS URL to “https:”, and fix the resulting links to use lowercase. Patch by Sean Rodman, test by Kaushik Nadikuditi.

bpo-24136 [https://bugs.python.org/issue?@action=redirect&bpo=24136]: Document the new PEP 448 [https://peps.python.org/pep-0448/] unpacking syntax of 3.5.

bpo-22558 [https://bugs.python.org/issue?@action=redirect&bpo=22558]: Add remaining doc links to source code for Python-coded modules. Patch by Yoni Lavi.

Tests

bpo-25285 [https://bugs.python.org/issue?@action=redirect&bpo=25285]: regrtest now uses subprocesses when the -j1 command line option is used: each test file runs in a fresh child process. Before, the -j1 option was ignored.

bpo-25285 [https://bugs.python.org/issue?@action=redirect&bpo=25285]: Tools/buildbot/test.bat script now uses -j1 by default to run each test file in fresh child process.

Windows

bpo-27064 [https://bugs.python.org/issue?@action=redirect&bpo=27064]: The py.exe launcher now defaults to Python 3. The Windows launcher py.exe no longer prefers an installed Python 2 version over Python 3 by default when used interactively.

bpo-17500 [https://bugs.python.org/issue?@action=redirect&bpo=17500]: Remove unused and outdated icons. (See also: https://github.com/python/pythondotorg/issues/945)

Build

bpo-27229 [https://bugs.python.org/issue?@action=redirect&bpo=27229]: Fix the cross-compiling pgen rule for in-tree builds. Patch by Xavier de Gaye.

bpo-26930 [https://bugs.python.org/issue?@action=redirect&bpo=26930]: Update OS X 10.5+ 32-bit-only installer to build and link with OpenSSL 1.0.2h.

C API

bpo-27186 [https://bugs.python.org/issue?@action=redirect&bpo=27186]: Add the PyOS_FSPath() function (part of PEP 519 [https://peps.python.org/pep-0519/]).

bpo-26282 [https://bugs.python.org/issue?@action=redirect&bpo=26282]: PyArg_ParseTupleAndKeywords() now supports positional-only parameters.

Tools/Demos

bpo-26282 [https://bugs.python.org/issue?@action=redirect&bpo=26282]: Argument Clinic now supports positional-only and keyword parameters in the same function.

Python 3.6.0 alpha 1

Release date: 2016-05-16

Security

bpo-26657 [https://bugs.python.org/issue?@action=redirect&bpo=26657]: Fix directory traversal vulnerability with http.server on Windows. This fixes a regression that was introduced in 3.3.4rc1 and 3.4.0rc1. Based on patch by Philipp Hagemeister.

bpo-26313 [https://bugs.python.org/issue?@action=redirect&bpo=26313]: ssl.py _load_windows_store_certs fails if windows cert store is empty. Patch by Baji.

bpo-25939 [https://bugs.python.org/issue?@action=redirect&bpo=25939]: On Windows open the cert store readonly in ssl.enum_certificates.

Core and Builtins

bpo-20041 [https://bugs.python.org/issue?@action=redirect&bpo=20041]: Fixed TypeError when frame.f_trace is set to None. Patch by Xavier de Gaye.

bpo-26168 [https://bugs.python.org/issue?@action=redirect&bpo=26168]: Fixed possible refleaks in failing Py_BuildValue() with the “N” format unit.

bpo-26991 [https://bugs.python.org/issue?@action=redirect&bpo=26991]: Fix possible refleak when creating a function with annotations.

bpo-27039 [https://bugs.python.org/issue?@action=redirect&bpo=27039]: Fixed bytearray.remove() for values greater than 127. Based on patch by Joe Jevnik.

bpo-23640 [https://bugs.python.org/issue?@action=redirect&bpo=23640]: int.from_bytes() no longer bypasses constructors for subclasses.

bpo-27005 [https://bugs.python.org/issue?@action=redirect&bpo=27005]: Optimized the float.fromhex() class method for exact float. It is now 2 times faster.

bpo-18531 [https://bugs.python.org/issue?@action=redirect&bpo=18531]: Single var-keyword argument of dict subtype was passed unscathed to the C-defined function. Now it is converted to exact dict.

bpo-26811 [https://bugs.python.org/issue?@action=redirect&bpo=26811]: gc.get_objects() no longer contains a broken tuple with NULL pointer.

bpo-20120 [https://bugs.python.org/issue?@action=redirect&bpo=20120]: Use RawConfigParser for .pypirc parsing, removing support for interpolation unintentionally added with move to Python 3. Behavior no longer does any interpolation in .pypirc files, matching behavior in Python 2.7 and Setuptools 19.0.

bpo-26249 [https://bugs.python.org/issue?@action=redirect&bpo=26249]: Memory functions of the PyMem_Malloc() domain (PYMEM_DOMAIN_MEM) now use the pymalloc allocator rather than system malloc(). Applications calling PyMem_Malloc() without holding the GIL can now crash: use PYTHONMALLOC=debug environment variable to validate the usage of memory allocators in your application.

bpo-26802 [https://bugs.python.org/issue?@action=redirect&bpo=26802]: Optimize function calls only using unpacking like func(*tuple) (no other positional argument, no keyword): avoid copying the tuple. Patch written by Joe Jevnik.

bpo-26659 [https://bugs.python.org/issue?@action=redirect&bpo=26659]: Make the builtin slice type support cycle collection.

bpo-26718 [https://bugs.python.org/issue?@action=redirect&bpo=26718]: super.__init__ no longer leaks memory if called multiple times. NOTE: A direct call of super.__init__ is not endorsed!

bpo-27138 [https://bugs.python.org/issue?@action=redirect&bpo=27138]: Fix the doc comment for FileFinder.find_spec().

bpo-27147 [https://bugs.python.org/issue?@action=redirect&bpo=27147]: Mention PEP 420 [https://peps.python.org/pep-0420/] in the importlib docs.

bpo-25339 [https://bugs.python.org/issue?@action=redirect&bpo=25339]: PYTHONIOENCODING now has priority over locale in setting the error handler for stdin and stdout.

bpo-26494 [https://bugs.python.org/issue?@action=redirect&bpo=26494]: Fixed crash on iterating exhausting iterators. Affected classes are generic sequence iterators, iterators of str, bytes, bytearray, list, tuple, set, frozenset, dict, OrderedDict, corresponding views and os.scandir() iterator.

bpo-26574 [https://bugs.python.org/issue?@action=redirect&bpo=26574]: Optimize bytes.replace(b'', b'.') and bytearray.replace(b'', b'.'). Patch written by Josh Snider.

bpo-26581 [https://bugs.python.org/issue?@action=redirect&bpo=26581]: If coding cookie is specified multiple times on a line in Python source code file, only the first one is taken to account.

bpo-19711 [https://bugs.python.org/issue?@action=redirect&bpo=19711]: Add tests for reloading namespace packages.

bpo-21099 [https://bugs.python.org/issue?@action=redirect&bpo=21099]: Switch applicable importlib tests to use PEP 451 [https://peps.python.org/pep-0451/] API.

bpo-26563 [https://bugs.python.org/issue?@action=redirect&bpo=26563]: Debug hooks on Python memory allocators now raise a fatal error if functions of the PyMem_Malloc() family are called without holding the GIL.

bpo-26564 [https://bugs.python.org/issue?@action=redirect&bpo=26564]: On error, the debug hooks on Python memory allocators now use the tracemalloc module to get the traceback where a memory block was allocated.

bpo-26558 [https://bugs.python.org/issue?@action=redirect&bpo=26558]: The debug hooks on Python memory allocator PyObject_Malloc() now detect when functions are called without holding the GIL.

bpo-26516 [https://bugs.python.org/issue?@action=redirect&bpo=26516]: Add PYTHONMALLOC environment variable to set the Python memory allocators and/or install debug hooks.

bpo-26516 [https://bugs.python.org/issue?@action=redirect&bpo=26516]: The PyMem_SetupDebugHooks() function can now also be used on Python compiled in release mode.

bpo-26516 [https://bugs.python.org/issue?@action=redirect&bpo=26516]: The PYTHONMALLOCSTATS environment variable can now also be used on Python compiled in release mode. It now has no effect if set to an empty string.

bpo-26516 [https://bugs.python.org/issue?@action=redirect&bpo=26516]: In debug mode, debug hooks are now also installed on Python memory allocators when Python is configured without pymalloc.

bpo-26464 [https://bugs.python.org/issue?@action=redirect&bpo=26464]: Fix str.translate() when string is ASCII and first replacements removes character, but next replacement uses a non-ASCII character or a string longer than 1 character. Regression introduced in Python 3.5.0.

bpo-22836 [https://bugs.python.org/issue?@action=redirect&bpo=22836]: Ensure exception reports from PyErr_Display() and PyErr_WriteUnraisable() are sensible even when formatting them produces secondary errors. This affects the reports produced by sys.__excepthook__() and when __del__() raises an exception.

bpo-26302 [https://bugs.python.org/issue?@action=redirect&bpo=26302]: Correct behavior to reject comma as a legal character for cookie names.

bpo-26136 [https://bugs.python.org/issue?@action=redirect&bpo=26136]: Upgrade the warning when a generator raises StopIteration from PendingDeprecationWarning to DeprecationWarning. Patch by Anish Shah.

bpo-26204 [https://bugs.python.org/issue?@action=redirect&bpo=26204]: The compiler now ignores all constant statements: bytes, str, int, float, complex, name constants (None, False, True), Ellipsis and ast.Constant; not only str and int. For example, 1.0 is now ignored in def f(): 1.0.

bpo-4806 [https://bugs.python.org/issue?@action=redirect&bpo=4806]: Avoid masking the original TypeError exception when using star (*) unpacking in function calls. Based on patch by Hagen Fürstenau and Daniel Urban.

bpo-26146 [https://bugs.python.org/issue?@action=redirect&bpo=26146]: Add a new kind of AST node: ast.Constant. It can be used by external AST optimizers, but the compiler does not emit directly such node.

bpo-23601 [https://bugs.python.org/issue?@action=redirect&bpo=23601]: Sped-up allocation of dict key objects by using Python’s small object allocator. (Contributed by Julian Taylor.)

bpo-18018 [https://bugs.python.org/issue?@action=redirect&bpo=18018]: Import raises ImportError instead of SystemError if a relative import is attempted without a known parent package.

bpo-25843 [https://bugs.python.org/issue?@action=redirect&bpo=25843]: When compiling code, don’t merge constants if they are equal but have a different types. For example, f1, f2 = lambda: 1, lambda: 1.0 is now correctly compiled to two different functions: f1() returns 1 (int) and f2() returns 1.0 (float), even if 1 and 1.0 are equal.

bpo-26107 [https://bugs.python.org/issue?@action=redirect&bpo=26107]: The format of the co_lnotab attribute of code objects changes to support negative line number delta.

bpo-26154 [https://bugs.python.org/issue?@action=redirect&bpo=26154]: Add a new private _PyThreadState_UncheckedGet() function to get the current Python thread state, but don’t issue a fatal error if it is NULL. This new function must be used instead of accessing directly the _PyThreadState_Current variable. The variable is no more exposed since Python 3.5.1 to hide the exact implementation of atomic C types, to avoid compiler issues.

bpo-25791 [https://bugs.python.org/issue?@action=redirect&bpo=25791]: If __package__ != __spec__.parent or if neither __package__ or __spec__ are defined then ImportWarning is raised.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: [UPDATE] Comment out the one of the pickleability tests in _PyObject_GetState() due to regressions observed in Cython-based projects.

bpo-25961 [https://bugs.python.org/issue?@action=redirect&bpo=25961]: Disallowed null characters in the type name.

bpo-25973 [https://bugs.python.org/issue?@action=redirect&bpo=25973]: Fix segfault when an invalid nonlocal statement binds a name starting with two underscores.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: Instances of extension types with a state that aren’t subclasses of list or dict and haven’t implemented any pickle-related methods (__reduce__, __reduce_ex__, __getnewargs__, __getnewargs_ex__, or __getstate__), can no longer be pickled. Including memoryview.

bpo-20440 [https://bugs.python.org/issue?@action=redirect&bpo=20440]: Massive replacing unsafe attribute setting code with special macro Py_SETREF.

bpo-25766 [https://bugs.python.org/issue?@action=redirect&bpo=25766]: Special method __bytes__() now works in str subclasses.

bpo-25421 [https://bugs.python.org/issue?@action=redirect&bpo=25421]: __sizeof__ methods of builtin types now use dynamic basic size. This allows sys.getsize() to work correctly with their subclasses with __slots__ defined.

bpo-25709 [https://bugs.python.org/issue?@action=redirect&bpo=25709]: Fixed problem with in-place string concatenation and utf-8 cache.

bpo-5319 [https://bugs.python.org/issue?@action=redirect&bpo=5319]: New Py_FinalizeEx() API allowing Python to set an exit status of 120 on failure to flush buffered streams.

bpo-25485 [https://bugs.python.org/issue?@action=redirect&bpo=25485]: telnetlib.Telnet is now a context manager.

bpo-24097 [https://bugs.python.org/issue?@action=redirect&bpo=24097]: Fixed crash in object.__reduce__() if slot name is freed inside __getattr__.

bpo-24731 [https://bugs.python.org/issue?@action=redirect&bpo=24731]: Fixed crash on converting objects with special methods __bytes__, __trunc__, and __float__ returning instances of subclasses of bytes, int, and float to subclasses of bytes, int, and float correspondingly.

bpo-25630 [https://bugs.python.org/issue?@action=redirect&bpo=25630]: Fix a possible segfault during argument parsing in functions that accept filesystem paths.

bpo-23564 [https://bugs.python.org/issue?@action=redirect&bpo=23564]: Fixed a partially broken sanity check in the _posixsubprocess internals regarding how fds_to_pass were passed to the child. The bug had no actual impact as subprocess.py already avoided it.

bpo-25388 [https://bugs.python.org/issue?@action=redirect&bpo=25388]: Fixed tokenizer crash when processing undecodable source code with a null byte.

bpo-25462 [https://bugs.python.org/issue?@action=redirect&bpo=25462]: The hash of the key now is calculated only once in most operations in C implementation of OrderedDict.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: Default implementation of __reduce__ and __reduce_ex__ now rejects builtin types with not defined __new__.

bpo-24802 [https://bugs.python.org/issue?@action=redirect&bpo=24802]: Avoid buffer overreads when int(), float(), compile(), exec() and eval() are passed bytes-like objects. These objects are not necessarily terminated by a null byte, but the functions assumed they were.

bpo-25555 [https://bugs.python.org/issue?@action=redirect&bpo=25555]: Fix parser and AST: fill lineno and col_offset of “arg” node when compiling AST from Python objects.

bpo-24726 [https://bugs.python.org/issue?@action=redirect&bpo=24726]: Fixed a crash and leaking NULL in repr() of OrderedDict that was mutated by direct calls of dict methods.

bpo-25449 [https://bugs.python.org/issue?@action=redirect&bpo=25449]: Iterating OrderedDict with keys with unstable hash now raises KeyError in C implementations as well as in Python implementation.

bpo-25395 [https://bugs.python.org/issue?@action=redirect&bpo=25395]: Fixed crash when highly nested OrderedDict structures were garbage collected.

bpo-25401 [https://bugs.python.org/issue?@action=redirect&bpo=25401]: Optimize bytes.fromhex() and bytearray.fromhex(): they are now between 2x and 3.5x faster.

bpo-25399 [https://bugs.python.org/issue?@action=redirect&bpo=25399]: Optimize bytearray % args using the new private _PyBytesWriter API. Formatting is now between 2.5 and 5 times faster.

bpo-25274 [https://bugs.python.org/issue?@action=redirect&bpo=25274]: sys.setrecursionlimit() now raises a RecursionError if the new recursion limit is too low depending at the current recursion depth. Modify also the “lower-water mark” formula to make it monotonic. This mark is used to decide when the overflowed flag of the thread state is reset.

bpo-24402 [https://bugs.python.org/issue?@action=redirect&bpo=24402]: Fix input() to prompt to the redirected stdout when sys.stdout.fileno() fails.

bpo-25349 [https://bugs.python.org/issue?@action=redirect&bpo=25349]: Optimize bytes % args using the new private _PyBytesWriter API. Formatting is now up to 2 times faster.

bpo-24806 [https://bugs.python.org/issue?@action=redirect&bpo=24806]: Prevent builtin types that are not allowed to be subclassed from being subclassed through multiple inheritance.

bpo-25301 [https://bugs.python.org/issue?@action=redirect&bpo=25301]: The UTF-8 decoder is now up to 15 times as fast for error handlers: ignore, replace and surrogateescape.

bpo-24848 [https://bugs.python.org/issue?@action=redirect&bpo=24848]: Fixed a number of bugs in UTF-7 decoding of misformed data.

bpo-25267 [https://bugs.python.org/issue?@action=redirect&bpo=25267]: The UTF-8 encoder is now up to 75 times as fast for error handlers: ignore, replace, surrogateescape, surrogatepass. Patch co-written with Serhiy Storchaka.

bpo-25280 [https://bugs.python.org/issue?@action=redirect&bpo=25280]: Import trace messages emitted in verbose (-v) mode are no longer formatted twice.

bpo-25227 [https://bugs.python.org/issue?@action=redirect&bpo=25227]: Optimize ASCII and latin1 encoders with the surrogateescape error handler: the encoders are now up to 3 times as fast. Initial patch written by Serhiy Storchaka.

bpo-25003 [https://bugs.python.org/issue?@action=redirect&bpo=25003]: On Solaris 11.3 or newer, os.urandom() now uses the getrandom() function instead of the getentropy() function. The getentropy() function is blocking to generate very good quality entropy, os.urandom() doesn’t need such high-quality entropy.

bpo-9232 [https://bugs.python.org/issue?@action=redirect&bpo=9232]: Modify Python’s grammar to allow trailing commas in the argument list of a function declaration. For example, “def f(*, a = 3,): pass” is now legal. Patch from Mark Dickinson.

bpo-24965 [https://bugs.python.org/issue?@action=redirect&bpo=24965]: Implement PEP 498 [https://peps.python.org/pep-0498/] “Literal String Interpolation”. This allows you to embed expressions inside f-strings, which are converted to normal strings at run time. Given x=3, then f’value={x}’ == ‘value=3’. Patch by Eric V. Smith.

bpo-26478 [https://bugs.python.org/issue?@action=redirect&bpo=26478]: Fix semantic bugs when using binary operators with dictionary views and tuples.

bpo-26171 [https://bugs.python.org/issue?@action=redirect&bpo=26171]: Fix possible integer overflow and heap corruption in zipimporter.get_data().

bpo-25660 [https://bugs.python.org/issue?@action=redirect&bpo=25660]: Fix TAB key behaviour in REPL with readline.

bpo-26288 [https://bugs.python.org/issue?@action=redirect&bpo=26288]: Optimize PyLong_AsDouble.

bpo-26289 [https://bugs.python.org/issue?@action=redirect&bpo=26289]: Optimize floor and modulo division for single-digit longs. Microbenchmarks show 2-2.5x improvement. Built-in ‘divmod’ function is now also ~10% faster. (See also: bpo-26315 [https://bugs.python.org/issue?@action=redirect&bpo=26315])

bpo-25887 [https://bugs.python.org/issue?@action=redirect&bpo=25887]: Raise a RuntimeError when a coroutine object is awaited more than once.

Library

bpo-27057 [https://bugs.python.org/issue?@action=redirect&bpo=27057]: Fix os.set_inheritable() on Android, ioctl() is blocked by SELinux and fails with EACCESS. The function now falls back to fcntl(). Patch written by Michał Bednarski.

bpo-27014 [https://bugs.python.org/issue?@action=redirect&bpo=27014]: Fix infinite recursion using typing.py. Thanks to Kalle Tuure!

bpo-27031 [https://bugs.python.org/issue?@action=redirect&bpo=27031]: Removed dummy methods in Tkinter widget classes: tk_menuBar() and tk_bindForTraversal().

bpo-14132 [https://bugs.python.org/issue?@action=redirect&bpo=14132]: Fix urllib.request redirect handling when the target only has a query string. Original fix by Ján Janech.

bpo-17214 [https://bugs.python.org/issue?@action=redirect&bpo=17214]: The “urllib.request” module now percent-encodes non-ASCII bytes found in redirect target URLs. Some servers send Location header fields with non-ASCII bytes, but “http.client” requires the request target to be ASCII-encodable, otherwise a UnicodeEncodeError is raised. Based on patch by Christian Heimes.

bpo-27033 [https://bugs.python.org/issue?@action=redirect&bpo=27033]: The default value of the decode_data parameter for smtpd.SMTPChannel and smtpd.SMTPServer constructors is changed to False.

bpo-27034 [https://bugs.python.org/issue?@action=redirect&bpo=27034]: Removed deprecated class asynchat.fifo.

bpo-26870 [https://bugs.python.org/issue?@action=redirect&bpo=26870]: Added readline.set_auto_history(), which can stop entries being automatically added to the history list. Based on patch by Tyler Crompton.

bpo-26039 [https://bugs.python.org/issue?@action=redirect&bpo=26039]: zipfile.ZipFile.open() can now be used to write data into a ZIP file, as well as for extracting data. Patch by Thomas Kluyver.

bpo-26892 [https://bugs.python.org/issue?@action=redirect&bpo=26892]: Honor debuglevel flag in urllib.request.HTTPHandler. Patch contributed by Chi Hsuan Yen.

bpo-22274 [https://bugs.python.org/issue?@action=redirect&bpo=22274]: In the subprocess module, allow stderr to be redirected to stdout even when stdout is not redirected. Patch by Akira Li.

bpo-26807 [https://bugs.python.org/issue?@action=redirect&bpo=26807]: mock_open ‘files’ no longer error on readline at end of file. Patch from Yolanda Robla.

bpo-25745 [https://bugs.python.org/issue?@action=redirect&bpo=25745]: Fixed leaking a userptr in curses panel destructor.

bpo-26977 [https://bugs.python.org/issue?@action=redirect&bpo=26977]: Removed unnecessary, and ignored, call to sum of squares helper in statistics.pvariance.

bpo-26002 [https://bugs.python.org/issue?@action=redirect&bpo=26002]: Use bisect in statistics.median instead of a linear search. Patch by Upendra Kuma.

bpo-25974 [https://bugs.python.org/issue?@action=redirect&bpo=25974]: Make use of new Decimal.as_integer_ratio() method in statistics module. Patch by Stefan Krah.

bpo-26996 [https://bugs.python.org/issue?@action=redirect&bpo=26996]: Add secrets module as described in PEP 506 [https://peps.python.org/pep-0506/].

bpo-26881 [https://bugs.python.org/issue?@action=redirect&bpo=26881]: The modulefinder module now supports extended opcode arguments.

bpo-23815 [https://bugs.python.org/issue?@action=redirect&bpo=23815]: Fixed crashes related to directly created instances of types in _tkinter and curses.panel modules.

bpo-17765 [https://bugs.python.org/issue?@action=redirect&bpo=17765]: weakref.ref() no longer silently ignores keyword arguments. Patch by Georg Brandl.

bpo-26873 [https://bugs.python.org/issue?@action=redirect&bpo=26873]: xmlrpc now raises ResponseError on unsupported type tags instead of silently return incorrect result.

bpo-26915 [https://bugs.python.org/issue?@action=redirect&bpo=26915]: The __contains__ methods in the collections ABCs now check for identity before checking equality. This better matches the behavior of the concrete classes, allows sensible handling of NaNs, and makes it easier to reason about container invariants.

bpo-26711 [https://bugs.python.org/issue?@action=redirect&bpo=26711]: Fixed the comparison of plistlib.Data with other types.

bpo-24114 [https://bugs.python.org/issue?@action=redirect&bpo=24114]: Fix an uninitialized variable in ctypes.util. The bug only occurs on SunOS when the ctypes implementation searches for the crle program. Patch by Xiang Zhang. Tested on SunOS by Kees Bos.

bpo-26864 [https://bugs.python.org/issue?@action=redirect&bpo=26864]: In urllib.request, change the proxy bypass host checking against no_proxy to be case-insensitive, and to not match unrelated host names that happen to have a bypassed hostname as a suffix. Patch by Xiang Zhang.

bpo-24902 [https://bugs.python.org/issue?@action=redirect&bpo=24902]: Print server URL on http.server startup. Initial patch by Felix Kaiser.

bpo-25788 [https://bugs.python.org/issue?@action=redirect&bpo=25788]: fileinput.hook_encoded() now supports an “errors” argument for passing to open. Original patch by Joseph Hackman.

bpo-26634 [https://bugs.python.org/issue?@action=redirect&bpo=26634]: recursive_repr() now sets __qualname__ of wrapper. Patch by Xiang Zhang.

bpo-26804 [https://bugs.python.org/issue?@action=redirect&bpo=26804]: urllib.request will prefer lower_case proxy environment variables over UPPER_CASE or Mixed_Case ones. Patch contributed by Hans-Peter Jansen.

bpo-26837 [https://bugs.python.org/issue?@action=redirect&bpo=26837]: assertSequenceEqual() now correctly outputs non-stringified differing items (like bytes in the -b mode). This affects assertListEqual() and assertTupleEqual().

bpo-26041 [https://bugs.python.org/issue?@action=redirect&bpo=26041]: Remove “will be removed in Python 3.7” from deprecation messages of platform.dist() and platform.linux_distribution(). Patch by Kumaripaba Miyurusara Athukorala.

bpo-26822 [https://bugs.python.org/issue?@action=redirect&bpo=26822]: itemgetter, attrgetter and methodcaller objects no longer silently ignore keyword arguments.

bpo-26733 [https://bugs.python.org/issue?@action=redirect&bpo=26733]: Disassembling a class now disassembles class and static methods. Patch by Xiang Zhang.

bpo-26801 [https://bugs.python.org/issue?@action=redirect&bpo=26801]: Fix error handling in shutil.get_terminal_size(), catch AttributeError instead of NameError. Patch written by Emanuel Barry.

bpo-24838 [https://bugs.python.org/issue?@action=redirect&bpo=24838]: tarfile’s ustar and gnu formats now correctly calculate name and link field limits for multibyte character encodings like utf-8.

bpo-26717 [https://bugs.python.org/issue?@action=redirect&bpo=26717]: Stop encoding Latin-1-ized WSGI paths with UTF-8. Patch by Anthony Sottile.

bpo-26782 [https://bugs.python.org/issue?@action=redirect&bpo=26782]: Add STARTUPINFO to subprocess.__all__ on Windows.

bpo-26404 [https://bugs.python.org/issue?@action=redirect&bpo=26404]: Add context manager to socketserver. Patch by Aviv Palivoda.

bpo-26735 [https://bugs.python.org/issue?@action=redirect&bpo=26735]: Fix os.urandom() on Solaris 11.3 and newer when reading more than 1,024 bytes: call getrandom() multiple times with a limit of 1024 bytes per call.

bpo-26585 [https://bugs.python.org/issue?@action=redirect&bpo=26585]: Eliminate http.server._quote_html() and use html.escape(quote=False). Patch by Xiang Zhang.

bpo-26685 [https://bugs.python.org/issue?@action=redirect&bpo=26685]: Raise OSError if closing a socket fails.

bpo-16329 [https://bugs.python.org/issue?@action=redirect&bpo=16329]: Add .webm to mimetypes.types_map. Patch by Giampaolo Rodola’.

bpo-13952 [https://bugs.python.org/issue?@action=redirect&bpo=13952]: Add .csv to mimetypes.types_map. Patch by Geoff Wilson.

bpo-26587 [https://bugs.python.org/issue?@action=redirect&bpo=26587]: the site module now allows .pth files to specify files to be added to sys.path (e.g. zip files).

bpo-25609 [https://bugs.python.org/issue?@action=redirect&bpo=25609]: Introduce contextlib.AbstractContextManager and typing.ContextManager.

bpo-26709 [https://bugs.python.org/issue?@action=redirect&bpo=26709]: Fixed Y2038 problem in loading binary PLists.

bpo-23735 [https://bugs.python.org/issue?@action=redirect&bpo=23735]: Handle terminal resizing with Readline 6.3+ by installing our own SIGWINCH handler. Patch by Eric Price.

bpo-25951 [https://bugs.python.org/issue?@action=redirect&bpo=25951]: Change SSLSocket.sendall() to return None, as explicitly documented for plain socket objects. Patch by Aviv Palivoda.

bpo-26586 [https://bugs.python.org/issue?@action=redirect&bpo=26586]: In http.server, respond with “413 Request header fields too large” if there are too many header fields to parse, rather than killing the connection and raising an unhandled exception. Patch by Xiang Zhang.

bpo-26676 [https://bugs.python.org/issue?@action=redirect&bpo=26676]: Added missing XMLPullParser to ElementTree.__all__.

bpo-22854 [https://bugs.python.org/issue?@action=redirect&bpo=22854]: Change BufferedReader.writable() and BufferedWriter.readable() to always return False.

bpo-26492 [https://bugs.python.org/issue?@action=redirect&bpo=26492]: Exhausted iterator of array.array now conforms with the behavior of iterators of other mutable sequences: it lefts exhausted even if iterated array is extended.

bpo-26641 [https://bugs.python.org/issue?@action=redirect&bpo=26641]: doctest.DocFileTest and doctest.testfile() now support packages (module splitted into multiple directories) for the package parameter.

bpo-25195 [https://bugs.python.org/issue?@action=redirect&bpo=25195]: Fix a regression in mock.MagicMock. _Call is a subclass of tuple (changeset 3603bae63c13 only works for classes) so we need to implement __ne__ ourselves. Patch by Andrew Plummer.

bpo-26644 [https://bugs.python.org/issue?@action=redirect&bpo=26644]: Raise ValueError rather than SystemError when a negative length is passed to SSLSocket.recv() or read().

bpo-23804 [https://bugs.python.org/issue?@action=redirect&bpo=23804]: Fix SSL recv(0) and read(0) methods to return zero bytes instead of up to 1024.

bpo-26616 [https://bugs.python.org/issue?@action=redirect&bpo=26616]: Fixed a bug in datetime.astimezone() method.

bpo-26637 [https://bugs.python.org/issue?@action=redirect&bpo=26637]: The importlib module now emits an ImportError rather than a TypeError if __import__() is tried during the Python shutdown process but sys.path is already cleared (set to None).

bpo-21925 [https://bugs.python.org/issue?@action=redirect&bpo=21925]: warnings.formatwarning() now catches exceptions when calling linecache.getline() and tracemalloc.get_object_traceback() to be able to log ResourceWarning emitted late during the Python shutdown process.

bpo-23848 [https://bugs.python.org/issue?@action=redirect&bpo=23848]: On Windows, faulthandler.enable() now also installs an exception handler to dump the traceback of all Python threads on any Windows exception, not only on UNIX signals (SIGSEGV, SIGFPE, SIGABRT).

bpo-26530 [https://bugs.python.org/issue?@action=redirect&bpo=26530]: Add C functions _PyTraceMalloc_Track() and _PyTraceMalloc_Untrack() to track memory blocks using the tracemalloc module. Add _PyTraceMalloc_GetTraceback() to get the traceback of an object.

bpo-26588 [https://bugs.python.org/issue?@action=redirect&bpo=26588]: The _tracemalloc now supports tracing memory allocations of multiple address spaces (domains).

bpo-24266 [https://bugs.python.org/issue?@action=redirect&bpo=24266]: Ctrl+C during Readline history search now cancels the search mode when compiled with Readline 7.

bpo-26590 [https://bugs.python.org/issue?@action=redirect&bpo=26590]: Implement a safe finalizer for the _socket.socket type. It now releases the GIL to close the socket.

bpo-18787 [https://bugs.python.org/issue?@action=redirect&bpo=18787]: spwd.getspnam() now raises a PermissionError if the user doesn’t have privileges.

bpo-26560 [https://bugs.python.org/issue?@action=redirect&bpo=26560]: Avoid potential ValueError in BaseHandler.start_response. Initial patch by Peter Inglesby.

bpo-26567 [https://bugs.python.org/issue?@action=redirect&bpo=26567]: Add a new function PyErr_ResourceWarning() function to pass the destroyed object. Add a source attribute to warnings.WarningMessage. Add warnings._showwarnmsg() which uses tracemalloc to get the traceback where source object was allocated.

bpo-26569 [https://bugs.python.org/issue?@action=redirect&bpo=26569]: Fix pyclbr.readmodule() and pyclbr.readmodule_ex() to support importing packages.

bpo-26499 [https://bugs.python.org/issue?@action=redirect&bpo=26499]: Account for remaining Content-Length in HTTPResponse.readline() and read1(). Based on patch by Silent Ghost. Also document that HTTPResponse now supports these methods.

bpo-25320 [https://bugs.python.org/issue?@action=redirect&bpo=25320]: Handle sockets in directories unittest discovery is scanning. Patch from Victor van den Elzen.

bpo-16181 [https://bugs.python.org/issue?@action=redirect&bpo=16181]: cookiejar.http2time() now returns None if year is higher than datetime.MAXYEAR.

bpo-26513 [https://bugs.python.org/issue?@action=redirect&bpo=26513]: Fixes platform module detection of Windows Server

bpo-23718 [https://bugs.python.org/issue?@action=redirect&bpo=23718]: Fixed parsing time in week 0 before Jan 1. Original patch by Tamás Bence Gedai.

bpo-26323 [https://bugs.python.org/issue?@action=redirect&bpo=26323]: Add Mock.assert_called() and Mock.assert_called_once() methods to unittest.mock. Patch written by Amit Saha.

bpo-20589 [https://bugs.python.org/issue?@action=redirect&bpo=20589]: Invoking Path.owner() and Path.group() on Windows now raise NotImplementedError instead of ImportError.

bpo-26177 [https://bugs.python.org/issue?@action=redirect&bpo=26177]: Fixed the keys() method for Canvas and Scrollbar widgets.

bpo-15068 [https://bugs.python.org/issue?@action=redirect&bpo=15068]: Got rid of excessive buffering in fileinput. The bufsize parameter is now deprecated and ignored.

bpo-19475 [https://bugs.python.org/issue?@action=redirect&bpo=19475]: Added an optional argument timespec to the datetime isoformat() method to choose the precision of the time component.

bpo-2202 [https://bugs.python.org/issue?@action=redirect&bpo=2202]: Fix UnboundLocalError in AbstractDigestAuthHandler.get_algorithm_impls. Initial patch by Mathieu Dupuy.

bpo-26167 [https://bugs.python.org/issue?@action=redirect&bpo=26167]: Minimized overhead in copy.copy() and copy.deepcopy(). Optimized copying and deepcopying bytearrays, NotImplemented, slices, short lists, tuples, dicts, sets.

bpo-25718 [https://bugs.python.org/issue?@action=redirect&bpo=25718]: Fixed pickling and copying the accumulate() iterator with total is None.

bpo-26475 [https://bugs.python.org/issue?@action=redirect&bpo=26475]: Fixed debugging output for regular expressions with the (?x) flag.

bpo-26482 [https://bugs.python.org/issue?@action=redirect&bpo=26482]: Allowed pickling recursive dequeues.

bpo-26335 [https://bugs.python.org/issue?@action=redirect&bpo=26335]: Make mmap.write() return the number of bytes written like other write methods. Patch by Jakub Stasiak.

bpo-26457 [https://bugs.python.org/issue?@action=redirect&bpo=26457]: Fixed the subnets() methods in IP network classes for the case when resulting prefix length is equal to maximal prefix length. Based on patch by Xiang Zhang.

bpo-26385 [https://bugs.python.org/issue?@action=redirect&bpo=26385]: Remove the file if the internal open() call in NamedTemporaryFile() fails. Patch by Silent Ghost.

bpo-26402 [https://bugs.python.org/issue?@action=redirect&bpo=26402]: Fix XML-RPC client to retry when the server shuts down a persistent connection. This was a regression related to the new http.client.RemoteDisconnected exception in 3.5.0a4.

bpo-25913 [https://bugs.python.org/issue?@action=redirect&bpo=25913]: Leading <~ is optional now in base64.a85decode() with adobe=True. Patch by Swati Jaiswal.

bpo-26186 [https://bugs.python.org/issue?@action=redirect&bpo=26186]: Remove an invalid type check in importlib.util.LazyLoader.

bpo-26367 [https://bugs.python.org/issue?@action=redirect&bpo=26367]: importlib.__import__() raises ImportError like builtins.__import__() when level is specified but without an accompanying package specified.

bpo-26309 [https://bugs.python.org/issue?@action=redirect&bpo=26309]: In the “socketserver” module, shut down the request (closing the connected socket) when verify_request() returns false. Patch by Aviv Palivoda.

bpo-23430 [https://bugs.python.org/issue?@action=redirect&bpo=23430]: Change the socketserver module to only catch exceptions raised from a request handler that are derived from Exception (instead of BaseException). Therefore SystemExit and KeyboardInterrupt no longer trigger the handle_error() method, and will now to stop a single-threaded server.

bpo-25995 [https://bugs.python.org/issue?@action=redirect&bpo=25995]: os.walk() no longer uses FDs proportional to the tree depth.

bpo-25994 [https://bugs.python.org/issue?@action=redirect&bpo=25994]: Added the close() method and the support of the context manager protocol for the os.scandir() iterator.

bpo-23992 [https://bugs.python.org/issue?@action=redirect&bpo=23992]: multiprocessing: make MapResult not fail-fast upon exception.

bpo-26243 [https://bugs.python.org/issue?@action=redirect&bpo=26243]: Support keyword arguments to zlib.compress(). Patch by Aviv Palivoda.

bpo-26117 [https://bugs.python.org/issue?@action=redirect&bpo=26117]: The os.scandir() iterator now closes file descriptor not only when the iteration is finished, but when it was failed with error.

bpo-25949 [https://bugs.python.org/issue?@action=redirect&bpo=25949]: __dict__ for an OrderedDict instance is now created only when needed.

bpo-25911 [https://bugs.python.org/issue?@action=redirect&bpo=25911]: Restored support of bytes paths in os.walk() on Windows.

bpo-26045 [https://bugs.python.org/issue?@action=redirect&bpo=26045]: Add UTF-8 suggestion to error message when posting a non-Latin-1 string with http.client.

bpo-26039 [https://bugs.python.org/issue?@action=redirect&bpo=26039]: Added zipfile.ZipInfo.from_file() and zipinfo.ZipInfo.is_dir(). Patch by Thomas Kluyver.

bpo-12923 [https://bugs.python.org/issue?@action=redirect&bpo=12923]: Reset FancyURLopener’s redirect counter even if there is an exception. Based on patches by Brian Brazil and Daniel Rocco.

bpo-25945 [https://bugs.python.org/issue?@action=redirect&bpo=25945]: Fixed a crash when unpickle the functools.partial object with wrong state. Fixed a leak in failed functools.partial constructor. “args” and “keywords” attributes of functools.partial have now always types tuple and dict correspondingly.

bpo-26202 [https://bugs.python.org/issue?@action=redirect&bpo=26202]: copy.deepcopy() now correctly copies range() objects with non-atomic attributes.

bpo-23076 [https://bugs.python.org/issue?@action=redirect&bpo=23076]: Path.glob() now raises a ValueError if it’s called with an invalid pattern. Patch by Thomas Nyberg.

bpo-19883 [https://bugs.python.org/issue?@action=redirect&bpo=19883]: Fixed possible integer overflows in zipimport.

bpo-26227 [https://bugs.python.org/issue?@action=redirect&bpo=26227]: On Windows, getnameinfo(), gethostbyaddr() and gethostbyname_ex() functions of the socket module now decode the hostname from the ANSI code page rather than UTF-8.

bpo-26099 [https://bugs.python.org/issue?@action=redirect&bpo=26099]: The site module now writes an error into stderr if sitecustomize module can be imported but executing the module raise an ImportError. Same change for usercustomize.

bpo-26147 [https://bugs.python.org/issue?@action=redirect&bpo=26147]: xmlrpc now works with strings not encodable with used non-UTF-8 encoding.

bpo-25935 [https://bugs.python.org/issue?@action=redirect&bpo=25935]: Garbage collector now breaks reference loops with OrderedDict.

bpo-16620 [https://bugs.python.org/issue?@action=redirect&bpo=16620]: Fixed AttributeError in msilib.Directory.glob().

bpo-26013 [https://bugs.python.org/issue?@action=redirect&bpo=26013]: Added compatibility with broken protocol 2 pickles created in old Python 3 versions (3.4.3 and lower).

bpo-26129 [https://bugs.python.org/issue?@action=redirect&bpo=26129]: Deprecated accepting non-integers in grp.getgrgid().

bpo-25850 [https://bugs.python.org/issue?@action=redirect&bpo=25850]: Use cross-compilation by default for 64-bit Windows.

bpo-25822 [https://bugs.python.org/issue?@action=redirect&bpo=25822]: Add docstrings to the fields of urllib.parse results. Patch contributed by Swati Jaiswal.

bpo-22642 [https://bugs.python.org/issue?@action=redirect&bpo=22642]: Convert trace module option parsing mechanism to argparse. Patch contributed by SilentGhost.

bpo-24705 [https://bugs.python.org/issue?@action=redirect&bpo=24705]: Fix sysconfig._parse_makefile not expanding ${} vars appearing before $() vars.

bpo-26069 [https://bugs.python.org/issue?@action=redirect&bpo=26069]: Remove the deprecated apis in the trace module.

bpo-22138 [https://bugs.python.org/issue?@action=redirect&bpo=22138]: Fix mock.patch behavior when patching descriptors. Restore original values after patching. Patch contributed by Sean McCully.

bpo-25672 [https://bugs.python.org/issue?@action=redirect&bpo=25672]: In the ssl module, enable the SSL_MODE_RELEASE_BUFFERS mode option if it is safe to do so.

bpo-26012 [https://bugs.python.org/issue?@action=redirect&bpo=26012]: Don’t traverse into symlinks for ** pattern in pathlib.Path.[r]glob().

bpo-24120 [https://bugs.python.org/issue?@action=redirect&bpo=24120]: Ignore PermissionError when traversing a tree with pathlib.Path.[r]glob(). Patch by Ulrich Petri.

bpo-21815 [https://bugs.python.org/issue?@action=redirect&bpo=21815]: Accept ] characters in the data portion of imap responses, in order to handle the flags with square brackets accepted and produced by servers such as gmail.

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: fileinput now uses sys.stdin as-is if it does not have a buffer attribute (restores backward compatibility).

bpo-25971 [https://bugs.python.org/issue?@action=redirect&bpo=25971]: Optimized creating Fractions from floats by 2 times and from Decimals by 3 times.

bpo-25802 [https://bugs.python.org/issue?@action=redirect&bpo=25802]: Document as deprecated the remaining implementations of importlib.abc.Loader.load_module().

bpo-25928 [https://bugs.python.org/issue?@action=redirect&bpo=25928]: Add Decimal.as_integer_ratio().

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: Copying the lru_cache() wrapper object now always works, independently from the type of the wrapped object (by returning the original object unchanged).

bpo-25768 [https://bugs.python.org/issue?@action=redirect&bpo=25768]: Have the functions in compileall return booleans instead of ints and add proper documentation and tests for the return values.

bpo-24103 [https://bugs.python.org/issue?@action=redirect&bpo=24103]: Fixed possible use after free in ElementTree.XMLPullParser.

bpo-25860 [https://bugs.python.org/issue?@action=redirect&bpo=25860]: os.fwalk() no longer skips remaining directories when error occurs. Original patch by Samson Lee.

bpo-25914 [https://bugs.python.org/issue?@action=redirect&bpo=25914]: Fixed and simplified OrderedDict.__sizeof__.

bpo-25869 [https://bugs.python.org/issue?@action=redirect&bpo=25869]: Optimized deepcopying ElementTree; it is now 20 times faster.

bpo-25873 [https://bugs.python.org/issue?@action=redirect&bpo=25873]: Optimized iterating ElementTree. Iterating elements Element.iter() is now 40% faster, iterating text Element.itertext() is now up to 2.5 times faster.

bpo-25902 [https://bugs.python.org/issue?@action=redirect&bpo=25902]: Fixed various refcount issues in ElementTree iteration.

bpo-22227 [https://bugs.python.org/issue?@action=redirect&bpo=22227]: The TarFile iterator is reimplemented using generator. This implementation is simpler that using class.

bpo-25638 [https://bugs.python.org/issue?@action=redirect&bpo=25638]: Optimized ElementTree.iterparse(); it is now 2x faster. Optimized ElementTree parsing; it is now 10% faster.

bpo-25761 [https://bugs.python.org/issue?@action=redirect&bpo=25761]: Improved detecting errors in broken pickle data.

bpo-25717 [https://bugs.python.org/issue?@action=redirect&bpo=25717]: Restore the previous behaviour of tolerating most fstat() errors when opening files. This was a regression in 3.5a1, and stopped anonymous temporary files from working in special cases.

bpo-24903 [https://bugs.python.org/issue?@action=redirect&bpo=24903]: Fix regression in number of arguments compileall accepts when ‘-d’ is specified. The check on the number of arguments has been dropped completely as it never worked correctly anyway.

bpo-25764 [https://bugs.python.org/issue?@action=redirect&bpo=25764]: In the subprocess module, preserve any exception caused by fork() failure when preexec_fn is used.

bpo-25771 [https://bugs.python.org/issue?@action=redirect&bpo=25771]: Tweak the exception message for importlib.util.resolve_name() when ‘package’ isn’t specified but necessary.

bpo-6478 [https://bugs.python.org/issue?@action=redirect&bpo=6478]: _strptime’s regexp cache now is reset after changing timezone with time.tzset().

bpo-14285 [https://bugs.python.org/issue?@action=redirect&bpo=14285]: When executing a package with the “python -m package” option, and package initialization fails, a proper traceback is now reported. The “runpy” module now lets exceptions from package initialization pass back to the caller, rather than raising ImportError.

bpo-19771 [https://bugs.python.org/issue?@action=redirect&bpo=19771]: Also in runpy and the “-m” option, omit the irrelevant message “… is a package and cannot be directly executed” if the package could not even be initialized (e.g. due to a bad *.pyc file).

bpo-25177 [https://bugs.python.org/issue?@action=redirect&bpo=25177]: Fixed problem with the mean of very small and very large numbers. As a side effect, statistics.mean and statistics.variance should be significantly faster.

bpo-25718 [https://bugs.python.org/issue?@action=redirect&bpo=25718]: Fixed copying object with state with boolean value is false.

bpo-10131 [https://bugs.python.org/issue?@action=redirect&bpo=10131]: Fixed deep copying of minidom documents. Based on patch by Marian Ganisin.

bpo-7990 [https://bugs.python.org/issue?@action=redirect&bpo=7990]: dir() on ElementTree.Element now lists properties: “tag”, “text”, “tail” and “attrib”. Original patch by Santoso Wijaya.

bpo-25725 [https://bugs.python.org/issue?@action=redirect&bpo=25725]: Fixed a reference leak in pickle.loads() when unpickling invalid data including tuple instructions.

bpo-25663 [https://bugs.python.org/issue?@action=redirect&bpo=25663]: In the Readline completer, avoid listing duplicate global names, and search the global namespace before searching builtins.

bpo-25688 [https://bugs.python.org/issue?@action=redirect&bpo=25688]: Fixed file leak in ElementTree.iterparse() raising an error.

bpo-23914 [https://bugs.python.org/issue?@action=redirect&bpo=23914]: Fixed SystemError raised by unpickler on broken pickle data.

bpo-25691 [https://bugs.python.org/issue?@action=redirect&bpo=25691]: Fixed crash on deleting ElementTree.Element attributes.

bpo-25624 [https://bugs.python.org/issue?@action=redirect&bpo=25624]: ZipFile now always writes a ZIP_STORED header for directory entries. Patch by Dingyuan Wang.

bpo-25626 [https://bugs.python.org/issue?@action=redirect&bpo=25626]: Change three zlib functions to accept sizes that fit in Py_ssize_t, but internally cap those sizes to UINT_MAX. This resolves a regression in 3.5 where GzipFile.read() failed to read chunks larger than 2 or 4 GiB. The change affects the zlib.Decompress.decompress() max_length parameter, the zlib.decompress() bufsize parameter, and the zlib.Decompress.flush() length parameter.

bpo-25583 [https://bugs.python.org/issue?@action=redirect&bpo=25583]: Avoid incorrect errors raised by os.makedirs(exist_ok=True) when the OS gives priority to errors such as EACCES over EEXIST.

bpo-25593 [https://bugs.python.org/issue?@action=redirect&bpo=25593]: Change semantics of EventLoop.stop() in asyncio.

bpo-6973 [https://bugs.python.org/issue?@action=redirect&bpo=6973]: When we know a subprocess.Popen process has died, do not allow the send_signal(), terminate(), or kill() methods to do anything as they could potentially signal a different process.

bpo-23883 [https://bugs.python.org/issue?@action=redirect&bpo=23883]: Added missing APIs to __all__ to match the documented APIs for the following modules: calendar, csv, enum, fileinput, ftplib, logging, optparse, tarfile, threading and wave. Also added a test.support.check__all__() helper. Patches by Jacek Kołodziej, Mauro S. M. Rodrigues and Joel Taddei.

bpo-25590 [https://bugs.python.org/issue?@action=redirect&bpo=25590]: In the Readline completer, only call getattr() once per attribute. Also complete names of attributes such as properties and slots which are listed by dir() but not yet created on an instance.

bpo-25498 [https://bugs.python.org/issue?@action=redirect&bpo=25498]: Fix a crash when garbage-collecting ctypes objects created by wrapping a memoryview. This was a regression made in 3.5a1. Based on patch by Eryksun.

bpo-25584 [https://bugs.python.org/issue?@action=redirect&bpo=25584]: Added “escape” to the __all__ list in the glob module.

bpo-25584 [https://bugs.python.org/issue?@action=redirect&bpo=25584]: Fixed recursive glob() with patterns starting with **.

bpo-25446 [https://bugs.python.org/issue?@action=redirect&bpo=25446]: Fix regression in smtplib’s AUTH LOGIN support.

bpo-18010 [https://bugs.python.org/issue?@action=redirect&bpo=18010]: Fix the pydoc web server’s module search function to handle exceptions from importing packages.

bpo-25554 [https://bugs.python.org/issue?@action=redirect&bpo=25554]: Got rid of circular references in regular expression parsing.

bpo-18973 [https://bugs.python.org/issue?@action=redirect&bpo=18973]: Command-line interface of the calendar module now uses argparse instead of optparse.

bpo-25510 [https://bugs.python.org/issue?@action=redirect&bpo=25510]: fileinput.FileInput.readline() now returns b’’ instead of ‘’ at the end if the FileInput was opened with binary mode. Patch by Ryosuke Ito.

bpo-25503 [https://bugs.python.org/issue?@action=redirect&bpo=25503]: Fixed inspect.getdoc() for inherited docstrings of properties. Original patch by John Mark Vandenberg.

bpo-25515 [https://bugs.python.org/issue?@action=redirect&bpo=25515]: Always use os.urandom as a source of randomness in uuid.uuid4.

bpo-21827 [https://bugs.python.org/issue?@action=redirect&bpo=21827]: Fixed textwrap.dedent() for the case when largest common whitespace is a substring of smallest leading whitespace. Based on patch by Robert Li.

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: The lru_cache() wrapper objects now can be copied and pickled (by returning the original object unchanged).

bpo-25390 [https://bugs.python.org/issue?@action=redirect&bpo=25390]: typing: Don’t crash on Union[str, Pattern].

bpo-25441 [https://bugs.python.org/issue?@action=redirect&bpo=25441]: asyncio: Raise error from drain() when socket is closed.

bpo-25410 [https://bugs.python.org/issue?@action=redirect&bpo=25410]: Cleaned up and fixed minor bugs in C implementation of OrderedDict.

bpo-25411 [https://bugs.python.org/issue?@action=redirect&bpo=25411]: Improved Unicode support in SMTPHandler through better use of the email package. Thanks to user simon04 for the patch.

Move the imp module from a PendingDeprecationWarning to DeprecationWarning.

bpo-25407 [https://bugs.python.org/issue?@action=redirect&bpo=25407]: Remove mentions of the formatter module being removed in Python 3.6.

bpo-25406 [https://bugs.python.org/issue?@action=redirect&bpo=25406]: Fixed a bug in C implementation of OrderedDict.move_to_end() that caused segmentation fault or hang in iterating after moving several items to the start of ordered dict.

bpo-25382 [https://bugs.python.org/issue?@action=redirect&bpo=25382]: pickletools.dis() now outputs implicit memo index for the MEMOIZE opcode.

bpo-25357 [https://bugs.python.org/issue?@action=redirect&bpo=25357]: Add an optional newline parameter to binascii.b2a_base64(). base64.b64encode() uses it to avoid a memory copy.

bpo-24164 [https://bugs.python.org/issue?@action=redirect&bpo=24164]: Objects that need calling __new__ with keyword arguments, can now be pickled using pickle protocols older than protocol version 4.

bpo-25364 [https://bugs.python.org/issue?@action=redirect&bpo=25364]: zipfile now works in threads disabled builds.

bpo-25328 [https://bugs.python.org/issue?@action=redirect&bpo=25328]: smtpd’s SMTPChannel now correctly raises a ValueError if both decode_data and enable_SMTPUTF8 are set to true.

bpo-16099 [https://bugs.python.org/issue?@action=redirect&bpo=16099]: RobotFileParser now supports Crawl-delay and Request-rate extensions. Patch by Nikolay Bogoychev.

bpo-25316 [https://bugs.python.org/issue?@action=redirect&bpo=25316]: distutils raises OSError instead of DistutilsPlatformError when MSVC is not installed.

bpo-25380 [https://bugs.python.org/issue?@action=redirect&bpo=25380]: Fixed protocol for the STACK_GLOBAL opcode in pickletools.opcodes.

bpo-23972 [https://bugs.python.org/issue?@action=redirect&bpo=23972]: Updates asyncio datagram create method allowing reuseport and reuseaddr socket options to be set prior to binding the socket. Mirroring the existing asyncio create_server method the reuseaddr option for datagram sockets defaults to True if the O/S is ‘posix’ (except if the platform is Cygwin). Patch by Chris Laws.

bpo-25304 [https://bugs.python.org/issue?@action=redirect&bpo=25304]: Add asyncio.run_coroutine_threadsafe(). This lets you submit a coroutine to a loop from another thread, returning a concurrent.futures.Future. By Vincent Michel.

bpo-25232 [https://bugs.python.org/issue?@action=redirect&bpo=25232]: Fix CGIRequestHandler to split the query from the URL at the first question mark (?) rather than the last. Patch from Xiang Zhang.

bpo-24657 [https://bugs.python.org/issue?@action=redirect&bpo=24657]: Prevent CGIRequestHandler from collapsing slashes in the query part of the URL as if it were a path. Patch from Xiang Zhang.

bpo-25287 [https://bugs.python.org/issue?@action=redirect&bpo=25287]: Don’t add crypt.METHOD_CRYPT to crypt.methods if it’s not supported. Check if it is supported, it may not be supported on OpenBSD for example.

bpo-23600 [https://bugs.python.org/issue?@action=redirect&bpo=23600]: Default implementation of tzinfo.fromutc() was returning wrong results in some cases.

bpo-25203 [https://bugs.python.org/issue?@action=redirect&bpo=25203]: Failed readline.set_completer_delims() no longer left the module in inconsistent state.

bpo-25011 [https://bugs.python.org/issue?@action=redirect&bpo=25011]: rlcompleter now omits private and special attribute names unless the prefix starts with underscores.

bpo-25209 [https://bugs.python.org/issue?@action=redirect&bpo=25209]: rlcompleter now can add a space or a colon after completed keyword.

bpo-22241 [https://bugs.python.org/issue?@action=redirect&bpo=22241]: timezone.utc name is now plain ‘UTC’, not ‘UTC-00:00’.

bpo-23517 [https://bugs.python.org/issue?@action=redirect&bpo=23517]: fromtimestamp() and utcfromtimestamp() methods of datetime.datetime now round microseconds to nearest with ties going to nearest even integer (ROUND_HALF_EVEN), as round(float), instead of rounding towards -Infinity (ROUND_FLOOR).

bpo-23552 [https://bugs.python.org/issue?@action=redirect&bpo=23552]: Timeit now warns when there is substantial (4x) variance between best and worst times. Patch from Serhiy Storchaka.

bpo-24633 [https://bugs.python.org/issue?@action=redirect&bpo=24633]: site-packages/README -> README.txt.

bpo-24879 [https://bugs.python.org/issue?@action=redirect&bpo=24879]: help() and pydoc can now list named tuple fields in the order they were defined rather than alphabetically. The ordering is determined by the _fields attribute if present.

bpo-24874 [https://bugs.python.org/issue?@action=redirect&bpo=24874]: Improve speed of itertools.cycle() and make its pickle more compact.

Fix crash in itertools.cycle.__setstate__() when the first argument wasn’t a list.

bpo-20059 [https://bugs.python.org/issue?@action=redirect&bpo=20059]: urllib.parse raises ValueError on all invalid ports. Patch by Martin Panter.

bpo-24360 [https://bugs.python.org/issue?@action=redirect&bpo=24360]: Improve __repr__ of argparse.Namespace() for invalid identifiers. Patch by Matthias Bussonnier.

bpo-23426 [https://bugs.python.org/issue?@action=redirect&bpo=23426]: run_setup was broken in distutils. Patch from Alexander Belopolsky.

bpo-13938 [https://bugs.python.org/issue?@action=redirect&bpo=13938]: 2to3 converts StringTypes to a tuple. Patch from Mark Hammond.

bpo-2091 [https://bugs.python.org/issue?@action=redirect&bpo=2091]: open() accepted a ‘U’ mode string containing ‘+’, but ‘U’ can only be used with ‘r’. Patch from Jeff Balogh and John O’Connor.

bpo-8585 [https://bugs.python.org/issue?@action=redirect&bpo=8585]: improved tests for zipimporter2. Patch from Mark Lawrence.

bpo-18622 [https://bugs.python.org/issue?@action=redirect&bpo=18622]: unittest.mock.mock_open().reset_mock would recurse infinitely. Patch from Nicola Palumbo and Laurent De Buyst.

bpo-24426 [https://bugs.python.org/issue?@action=redirect&bpo=24426]: Fast searching optimization in regular expressions now works for patterns that starts with capturing groups. Fast searching optimization now can’t be disabled at compile time.

bpo-23661 [https://bugs.python.org/issue?@action=redirect&bpo=23661]: unittest.mock side_effects can now be exceptions again. This was a regression vs Python 3.4. Patch from Ignacio Rossi

bpo-13248 [https://bugs.python.org/issue?@action=redirect&bpo=13248]: Remove deprecated inspect.getmoduleinfo function.

bpo-25578 [https://bugs.python.org/issue?@action=redirect&bpo=25578]: Fix (another) memory leak in SSLSocket.getpeercer().

bpo-25530 [https://bugs.python.org/issue?@action=redirect&bpo=25530]: Disable the vulnerable SSLv3 protocol by default when creating ssl.SSLContext.

bpo-25569 [https://bugs.python.org/issue?@action=redirect&bpo=25569]: Fix memory leak in SSLSocket.getpeercert().

bpo-25471 [https://bugs.python.org/issue?@action=redirect&bpo=25471]: Sockets returned from accept() shouldn’t appear to be nonblocking.

bpo-25319 [https://bugs.python.org/issue?@action=redirect&bpo=25319]: When threading.Event is reinitialized, the underlying condition should use a regular lock rather than a recursive lock.

Skip getaddrinfo if host is already resolved. Patch by A. Jesse Jiryu Davis.

bpo-26050 [https://bugs.python.org/issue?@action=redirect&bpo=26050]: Add asyncio.StreamReader.readuntil() method. Patch by Марк Коренберг.

bpo-25924 [https://bugs.python.org/issue?@action=redirect&bpo=25924]: Avoid unnecessary serialization of getaddrinfo(3) calls on OS X versions 10.5 or higher. Original patch by A. Jesse Jiryu Davis.

bpo-26406 [https://bugs.python.org/issue?@action=redirect&bpo=26406]: Avoid unnecessary serialization of getaddrinfo(3) calls on current versions of OpenBSD and NetBSD. Patch by A. Jesse Jiryu Davis.

bpo-26848 [https://bugs.python.org/issue?@action=redirect&bpo=26848]: Fix asyncio/subprocess.communicate() to handle empty input. Patch by Jack O’Connor.

bpo-27040 [https://bugs.python.org/issue?@action=redirect&bpo=27040]: Add loop.get_exception_handler method

bpo-27041 [https://bugs.python.org/issue?@action=redirect&bpo=27041]: asyncio: Add loop.create_future method

IDLE

bpo-20640 [https://bugs.python.org/issue?@action=redirect&bpo=20640]: Add tests for idlelib.configHelpSourceEdit. Patch by Saimadhav Heblikar.

In the ‘IDLE-console differences’ section of the IDLE doc, clarify how running with IDLE affects sys.modules and the standard streams.

bpo-25507 [https://bugs.python.org/issue?@action=redirect&bpo=25507]: fix incorrect change in IOBinding that prevented printing. Augment IOBinding htest to include all major IOBinding functions.

bpo-25905 [https://bugs.python.org/issue?@action=redirect&bpo=25905]: Revert unwanted conversion of ‘ to ’ RIGHT SINGLE QUOTATION MARK in README.txt and open this and NEWS.txt with ‘ascii’. Re-encode CREDITS.txt to utf-8 and open it with ‘utf-8’.

bpo-15348 [https://bugs.python.org/issue?@action=redirect&bpo=15348]: Stop the debugger engine (normally in a user process) before closing the debugger window (running in the IDLE process). This prevents the RuntimeErrors that were being caught and ignored.

bpo-24455 [https://bugs.python.org/issue?@action=redirect&bpo=24455]: Prevent IDLE from hanging when a) closing the shell while the debugger is active (15347); b) closing the debugger with the [X] button (15348); and c) activating the debugger when already active (24455). The patch by Mark Roseman does this by making two changes. 1. Suspend and resume the gui.interaction method with the tcl vwait mechanism intended for this purpose (instead of root.mainloop & .quit). 2. In gui.run, allow any existing interaction to terminate first.

Change ‘The program’ to ‘Your program’ in an IDLE ‘kill program?’ message to make it clearer that the program referred to is the currently running user program, not IDLE itself.

bpo-24750 [https://bugs.python.org/issue?@action=redirect&bpo=24750]: Improve the appearance of the IDLE editor window status bar. Patch by Mark Roseman.

bpo-25313 [https://bugs.python.org/issue?@action=redirect&bpo=25313]: Change the handling of new built-in text color themes to better address the compatibility problem introduced by the addition of IDLE Dark. Consistently use the revised idleConf.CurrentTheme everywhere in idlelib.

bpo-24782 [https://bugs.python.org/issue?@action=redirect&bpo=24782]: Extension configuration is now a tab in the IDLE Preferences dialog rather than a separate dialog. The former tabs are now a sorted list. Patch by Mark Roseman.

bpo-22726 [https://bugs.python.org/issue?@action=redirect&bpo=22726]: Re-activate the config dialog help button with some content about the other buttons and the new IDLE Dark theme.

bpo-24820 [https://bugs.python.org/issue?@action=redirect&bpo=24820]: IDLE now has an ‘IDLE Dark’ built-in text color theme. It is more or less IDLE Classic inverted, with a cobalt blue background. Strings, comments, keywords, … are still green, red, orange, … . To use it with IDLEs released before November 2015, hit the ‘Save as New Custom Theme’ button and enter a new name, such as ‘Custom Dark’. The custom theme will work with any IDLE release, and can be modified.

bpo-25224 [https://bugs.python.org/issue?@action=redirect&bpo=25224]: README.txt is now an idlelib index for IDLE developers and curious users. The previous user content is now in the IDLE doc chapter. ‘IDLE’ now means ‘Integrated Development and Learning Environment’.

bpo-24820 [https://bugs.python.org/issue?@action=redirect&bpo=24820]: Users can now set breakpoint colors in Settings -> Custom Highlighting. Original patch by Mark Roseman.

bpo-24972 [https://bugs.python.org/issue?@action=redirect&bpo=24972]: Inactive selection background now matches active selection background, as configured by users, on all systems. Found items are now always highlighted on Windows. Initial patch by Mark Roseman.

bpo-24570 [https://bugs.python.org/issue?@action=redirect&bpo=24570]: Idle: make calltip and completion boxes appear on Macs affected by a tk regression. Initial patch by Mark Roseman.

bpo-24988 [https://bugs.python.org/issue?@action=redirect&bpo=24988]: Idle ScrolledList context menus (used in debugger) now work on Mac Aqua. Patch by Mark Roseman.

bpo-24801 [https://bugs.python.org/issue?@action=redirect&bpo=24801]: Make right-click for context menu work on Mac Aqua. Patch by Mark Roseman.

bpo-25173 [https://bugs.python.org/issue?@action=redirect&bpo=25173]: Associate tkinter messageboxes with a specific widget. For Mac OSX, make them a ‘sheet’. Patch by Mark Roseman.

bpo-25198 [https://bugs.python.org/issue?@action=redirect&bpo=25198]: Enhance the initial html viewer now used for Idle Help. Properly indent fixed-pitch text (patch by Mark Roseman). Give code snippet a very Sphinx-like light blueish-gray background. Re-use initial width and height set by users for shell and editor. When the Table of Contents (TOC) menu is used, put the section header at the top of the screen.

bpo-25225 [https://bugs.python.org/issue?@action=redirect&bpo=25225]: Condense and rewrite Idle doc section on text colors.

bpo-21995 [https://bugs.python.org/issue?@action=redirect&bpo=21995]: Explain some differences between IDLE and console Python.

bpo-22820 [https://bugs.python.org/issue?@action=redirect&bpo=22820]: Explain need for print when running file from Idle editor.

bpo-25224 [https://bugs.python.org/issue?@action=redirect&bpo=25224]: Doc: augment Idle feature list and no-subprocess section.

bpo-25219 [https://bugs.python.org/issue?@action=redirect&bpo=25219]: Update doc for Idle command line options. Some were missing and notes were not correct.

bpo-24861 [https://bugs.python.org/issue?@action=redirect&bpo=24861]: Most of idlelib is private and subject to change. Use idleib.idle.* to start Idle. See idlelib.__init__.__doc__.

bpo-25199 [https://bugs.python.org/issue?@action=redirect&bpo=25199]: Idle: add synchronization comments for future maintainers.

bpo-16893 [https://bugs.python.org/issue?@action=redirect&bpo=16893]: Replace help.txt with help.html for Idle doc display. The new idlelib/help.html is rstripped Doc/build/html/library/idle.html. It looks better than help.txt and will better document Idle as released. The tkinter html viewer that works for this file was written by Rose Roseman. The now unused EditorWindow.HelpDialog class and helt.txt file are deprecated.

bpo-24199 [https://bugs.python.org/issue?@action=redirect&bpo=24199]: Deprecate unused idlelib.idlever with possible removal in 3.6.

bpo-24790 [https://bugs.python.org/issue?@action=redirect&bpo=24790]: Remove extraneous code (which also create 2 & 3 conflicts).

Documentation

bpo-26736 [https://bugs.python.org/issue?@action=redirect&bpo=26736]: Used HTTPS for external links in the documentation if possible.

bpo-6953 [https://bugs.python.org/issue?@action=redirect&bpo=6953]: Rework the Readline module documentation to group related functions together, and add more details such as what underlying Readline functions and variables are accessed.

bpo-23606 [https://bugs.python.org/issue?@action=redirect&bpo=23606]: Adds note to ctypes documentation regarding cdll.msvcrt.

bpo-24952 [https://bugs.python.org/issue?@action=redirect&bpo=24952]: Clarify the default size argument of stack_size() in the “threading” and “_thread” modules. Patch from Mattip.

bpo-26014 [https://bugs.python.org/issue?@action=redirect&bpo=26014]: Update 3.x packaging documentation: * “See also” links to the new docs are now provided in the legacy pages * links to setuptools documentation have been updated

Tests

bpo-21916 [https://bugs.python.org/issue?@action=redirect&bpo=21916]: Added tests for the turtle module. Patch by ingrid, Gregory Loyse and Jelle Zijlstra.

bpo-26295 [https://bugs.python.org/issue?@action=redirect&bpo=26295]: When using “python3 -m test –testdir=TESTDIR”, regrtest doesn’t add “test.” prefix to test module names.

bpo-26523 [https://bugs.python.org/issue?@action=redirect&bpo=26523]: The multiprocessing thread pool (multiprocessing.dummy.Pool) was untested.

bpo-26015 [https://bugs.python.org/issue?@action=redirect&bpo=26015]: Added new tests for pickling iterators of mutable sequences.

bpo-26325 [https://bugs.python.org/issue?@action=redirect&bpo=26325]: Added test.support.check_no_resource_warning() to check that no ResourceWarning is emitted.

bpo-25940 [https://bugs.python.org/issue?@action=redirect&bpo=25940]: Changed test_ssl to use its internal local server more. This avoids relying on svn.python.org, which recently changed root certificate.

bpo-25616 [https://bugs.python.org/issue?@action=redirect&bpo=25616]: Tests for OrderedDict are extracted from test_collections into separate file test_ordered_dict.

bpo-25449 [https://bugs.python.org/issue?@action=redirect&bpo=25449]: Added tests for OrderedDict subclasses.

bpo-25188 [https://bugs.python.org/issue?@action=redirect&bpo=25188]: Add -P/–pgo to test.regrtest to suppress error output when running the test suite for the purposes of a PGO build. Initial patch by Alecsandru Patrascu.

bpo-22806 [https://bugs.python.org/issue?@action=redirect&bpo=22806]: Add python -m test --list-tests command to list tests.

bpo-18174 [https://bugs.python.org/issue?@action=redirect&bpo=18174]: python -m test --huntrleaks ... now also checks for leak of file descriptors. Patch written by Richard Oudkerk.

bpo-25260 [https://bugs.python.org/issue?@action=redirect&bpo=25260]: Fix python -m test --coverage on Windows. Remove the list of ignored directories.

PCbuild\rt.bat now accepts an unlimited number of arguments to pass along to regrtest.py. Previously there was a limit of 9.

bpo-26583 [https://bugs.python.org/issue?@action=redirect&bpo=26583]: Skip test_timestamp_overflow in test_import if bytecode files cannot be written.

Build

bpo-21277 [https://bugs.python.org/issue?@action=redirect&bpo=21277]: Don’t try to link _ctypes with a ffi_convenience library.

bpo-26884 [https://bugs.python.org/issue?@action=redirect&bpo=26884]: Fix linking extension modules for cross builds. Patch by Xavier de Gaye.

bpo-26932 [https://bugs.python.org/issue?@action=redirect&bpo=26932]: Fixed support of RTLD_* constants defined as enum values, not via macros (in particular on Android). Patch by Chi Hsuan Yen.

bpo-22359 [https://bugs.python.org/issue?@action=redirect&bpo=22359]: Disable the rules for running _freeze_importlib and pgen when cross-compiling. The output of these programs is normally saved with the source code anyway, and is still regenerated when doing a native build. Patch by Xavier de Gaye.

bpo-21668 [https://bugs.python.org/issue?@action=redirect&bpo=21668]: Link audioop, _datetime, _ctypes_test modules to libm, except on Mac OS X. Patch written by Chi Hsuan Yen.

bpo-25702 [https://bugs.python.org/issue?@action=redirect&bpo=25702]: A –with-lto configure option has been added that will enable link time optimizations at build time during a make profile-opt. Some compilers and toolchains are known to not produce stable code when using LTO, be sure to test things thoroughly before relying on it. It can provide a few % speed up over profile-opt alone.

bpo-26624 [https://bugs.python.org/issue?@action=redirect&bpo=26624]: Adds validation of ucrtbase[d].dll version with warning for old versions.

bpo-17603 [https://bugs.python.org/issue?@action=redirect&bpo=17603]: Avoid error about nonexistent fileblocks.o file by using a lower-level check for st_blocks in struct stat.

bpo-26079 [https://bugs.python.org/issue?@action=redirect&bpo=26079]: Fixing the build output folder for tix-8.4.3.6. Patch by Bjoern Thiel.

bpo-26465 [https://bugs.python.org/issue?@action=redirect&bpo=26465]: Update Windows builds to use OpenSSL 1.0.2g.

bpo-25348 [https://bugs.python.org/issue?@action=redirect&bpo=25348]: Added --pgo and --pgo-job arguments to PCbuild\build.bat for building with Profile-Guided Optimization. The old PCbuild\build_pgo.bat script is removed.

bpo-25827 [https://bugs.python.org/issue?@action=redirect&bpo=25827]: Add support for building with ICC to configure, including a new --with-icc flag.

bpo-25696 [https://bugs.python.org/issue?@action=redirect&bpo=25696]: Fix installation of Python on UNIX with make -j9.

bpo-24986 [https://bugs.python.org/issue?@action=redirect&bpo=24986]: It is now possible to build Python on Windows without errors when external libraries are not available.

bpo-24421 [https://bugs.python.org/issue?@action=redirect&bpo=24421]: Compile Modules/_math.c once, before building extensions. Previously it could fail to compile properly if the math and cmath builds were concurrent.

bpo-26465 [https://bugs.python.org/issue?@action=redirect&bpo=26465]: Update OS X 10.5+ 32-bit-only installer to build and link with OpenSSL 1.0.2g.

bpo-26268 [https://bugs.python.org/issue?@action=redirect&bpo=26268]: Update Windows builds to use OpenSSL 1.0.2f.

bpo-25136 [https://bugs.python.org/issue?@action=redirect&bpo=25136]: Support Apple Xcode 7’s new textual SDK stub libraries.

bpo-24324 [https://bugs.python.org/issue?@action=redirect&bpo=24324]: Do not enable unreachable code warnings when using gcc as the option does not work correctly in older versions of gcc and has been silently removed as of gcc-4.5.

Windows

bpo-27053 [https://bugs.python.org/issue?@action=redirect&bpo=27053]: Updates make_zip.py to correctly generate library ZIP file.

bpo-26268 [https://bugs.python.org/issue?@action=redirect&bpo=26268]: Update the prepare_ssl.py script to handle OpenSSL releases that don’t include the contents of the include directory (that is, 1.0.2e and later).

bpo-26071 [https://bugs.python.org/issue?@action=redirect&bpo=26071]: bdist_wininst created binaries fail to start and find 32bit Python

bpo-26073 [https://bugs.python.org/issue?@action=redirect&bpo=26073]: Update the list of magic numbers in launcher

bpo-26065 [https://bugs.python.org/issue?@action=redirect&bpo=26065]: Excludes venv from library when generating embeddable distro.

bpo-25022 [https://bugs.python.org/issue?@action=redirect&bpo=25022]: Removed very outdated PC/example_nt/ directory.

Tools/Demos

bpo-26799 [https://bugs.python.org/issue?@action=redirect&bpo=26799]: Fix python-gdb.py: don’t get C types once when the Python code is loaded, but get C types on demand. The C types can change if python-gdb.py is loaded before the Python executable. Patch written by Thomas Ilsche.

bpo-26271 [https://bugs.python.org/issue?@action=redirect&bpo=26271]: Fix the Freeze tool to properly use flags passed through configure. Patch by Daniel Shaulov.

bpo-26489 [https://bugs.python.org/issue?@action=redirect&bpo=26489]: Add dictionary unpacking support to Tools/parser/unparse.py. Patch by Guo Ci Teo.

bpo-26316 [https://bugs.python.org/issue?@action=redirect&bpo=26316]: Fix variable name typo in Argument Clinic.

bpo-25440 [https://bugs.python.org/issue?@action=redirect&bpo=25440]: Fix output of python-config –extension-suffix.

bpo-25154 [https://bugs.python.org/issue?@action=redirect&bpo=25154]: The pyvenv script has been deprecated in favour of python3 -m venv.

C API

bpo-26312 [https://bugs.python.org/issue?@action=redirect&bpo=26312]: SystemError is now raised in all programming bugs with using PyArg_ParseTupleAndKeywords(). RuntimeError did raised before in some programming bugs.

bpo-26198 [https://bugs.python.org/issue?@action=redirect&bpo=26198]: ValueError is now raised instead of TypeError on buffer overflow in parsing “es#” and “et#” format units. SystemError is now raised instead of TypeError on programmatical error in parsing format string.

Python 3.5.5 final

Release date: 2018-02-04

There were no new changes in version 3.5.5.

Python 3.5.5 release candidate 1

Release date: 2018-01-23

Security

bpo-32551 [https://bugs.python.org/issue?@action=redirect&bpo=32551]: The sys.path[0] initialization change for bpo-29139 [https://bugs.python.org/issue?@action=redirect&bpo=29139] caused a regression by revealing an inconsistency in how sys.path is initialized when executing __main__ from a zipfile, directory, or other import location. This is considered a potential security issue, as it may lead to privileged processes unexpectedly loading code from user controlled directories in situations where that was not previously the case. The interpreter now consistently avoids ever adding the import location’s parent directory to sys.path, and ensures no other sys.path entries are inadvertently modified when inserting the import location named on the command line. (Originally reported as bpo-29723 [https://bugs.python.org/issue?@action=redirect&bpo=29723] against Python 3.6rc1, but it was missed at the time that the then upcoming Python 3.5.4 release would also be affected)

bpo-30657 [https://bugs.python.org/issue?@action=redirect&bpo=30657]: Fixed possible integer overflow in PyBytes_DecodeEscape, CVE 2017-1000158 [https://www.cve.org/CVERecord?id=CVE-2017-1000158]. Original patch by Jay Bosamiya; rebased to Python 3 by Miro Hrončok.

bpo-30947 [https://bugs.python.org/issue?@action=redirect&bpo=30947]: Upgrade libexpat embedded copy from version 2.2.1 to 2.2.3 to get security fixes.

Core and Builtins

bpo-31095 [https://bugs.python.org/issue?@action=redirect&bpo=31095]: Fix potential crash during GC caused by tp_dealloc which doesn’t call PyObject_GC_UnTrack().

Library

bpo-32072 [https://bugs.python.org/issue?@action=redirect&bpo=32072]: Fixed issues with binary plists: Fixed saving bytearrays. Identical objects will be saved only once. Equal references will be load as identical objects. Added support for saving and loading recursive data structures.

bpo-31170 [https://bugs.python.org/issue?@action=redirect&bpo=31170]: expat: Update libexpat from 2.2.3 to 2.2.4. Fix copying of partial characters for UTF-8 input (libexpat bug 115): https://github.com/libexpat/libexpat/issues/115

Python 3.5.4 final

Release date: 2017-08-07

Library

bpo-30119 [https://bugs.python.org/issue?@action=redirect&bpo=30119]: ftplib.FTP.putline() now throws ValueError on commands that contains CR or LF. Patch by Donghee Na.

Python 3.5.4 release candidate 1

Release date: 2017-07-23

Security

bpo-30730 [https://bugs.python.org/issue?@action=redirect&bpo=30730]: Prevent environment variables injection in subprocess on Windows. Prevent passing other environment variables and command arguments.

bpo-30694 [https://bugs.python.org/issue?@action=redirect&bpo=30694]: Upgrade expat copy from 2.2.0 to 2.2.1 to get fixes of multiple security vulnerabilities including: CVE 2017-9233 [https://www.cve.org/CVERecord?id=CVE-2017-9233] (External entity infinite loop DoS), CVE 2016-9063 [https://www.cve.org/CVERecord?id=CVE-2016-9063] (Integer overflow, re-fix), CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] (Fix regression bugs from 2.2.0’s fix to CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718]) and CVE 2012-0876 [https://www.cve.org/CVERecord?id=CVE-2012-0876] (Counter hash flooding with SipHash). Note: the CVE 2016-5300 [https://www.cve.org/CVERecord?id=CVE-2016-5300] (Use os-specific entropy sources like getrandom) doesn’t impact Python, since Python already gets entropy from the OS to set the expat secret using XML_SetHashSalt().

bpo-30500 [https://bugs.python.org/issue?@action=redirect&bpo=30500]: Fix urllib.parse.splithost() to correctly parse fragments. For example, splithost('//127.0.0.1#@evil.com/') now correctly returns the 127.0.0.1 host, instead of treating @evil.com as the host in an authentication (login@host).

bpo-29591 [https://bugs.python.org/issue?@action=redirect&bpo=29591]: Update expat copy from 2.1.1 to 2.2.0 to get fixes of CVE 2016-0718 [https://www.cve.org/CVERecord?id=CVE-2016-0718] and CVE 2016-4472 [https://www.cve.org/CVERecord?id=CVE-2016-4472]. See https://sourceforge.net/p/expat/bugs/537/ for more information.

Core and Builtins

bpo-30876 [https://bugs.python.org/issue?@action=redirect&bpo=30876]: Relative import from unloaded package now reimports the package instead of failing with SystemError. Relative import from non-package now fails with ImportError rather than SystemError.

bpo-30765 [https://bugs.python.org/issue?@action=redirect&bpo=30765]: Avoid blocking in pthread_mutex_lock() when PyThread_acquire_lock() is asked not to block.

bpo-27945 [https://bugs.python.org/issue?@action=redirect&bpo=27945]: Fixed various segfaults with dict when input collections are mutated during searching, inserting or comparing. Based on patches by Duane Griffin and Tim Mitchell.

bpo-25794 [https://bugs.python.org/issue?@action=redirect&bpo=25794]: Fixed type.__setattr__() and type.__delattr__() for non-interned attribute names. Based on patch by Eryk Sun.

bpo-29935 [https://bugs.python.org/issue?@action=redirect&bpo=29935]: Fixed error messages in the index() method of tuple, list and deque when pass indices of wrong type.

bpo-28876 [https://bugs.python.org/issue?@action=redirect&bpo=28876]: bool(range) works even if len(range) raises OverflowError.

bpo-29600 [https://bugs.python.org/issue?@action=redirect&bpo=29600]: Fix wrapping coroutine return values in StopIteration.

bpo-29537 [https://bugs.python.org/issue?@action=redirect&bpo=29537]: Restore runtime compatibility with bytecode files generated by CPython 3.5.0 to 3.5.2, and adjust the eval loop to avoid the problems that could be caused by the malformed variant of the BUILD_MAP_UNPACK_WITH_CALL opcode that they may contain. Patch by Petr Viktorin, Serhiy Storchaka, and Nick Coghlan.

bpo-28598 [https://bugs.python.org/issue?@action=redirect&bpo=28598]: Support __rmod__ for subclasses of str being called before str.__mod__. Patch by Martijn Pieters.

bpo-29602 [https://bugs.python.org/issue?@action=redirect&bpo=29602]: Fix incorrect handling of signed zeros in complex constructor for complex subclasses and for inputs having a __complex__ method. Patch by Serhiy Storchaka.

bpo-29347 [https://bugs.python.org/issue?@action=redirect&bpo=29347]: Fixed possibly dereferencing undefined pointers when creating weakref objects.

bpo-29438 [https://bugs.python.org/issue?@action=redirect&bpo=29438]: Fixed use-after-free problem in key sharing dict.

bpo-29319 [https://bugs.python.org/issue?@action=redirect&bpo=29319]: Prevent RunMainFromImporter overwriting sys.path[0].

bpo-29337 [https://bugs.python.org/issue?@action=redirect&bpo=29337]: Fixed possible BytesWarning when compare the code objects. Warnings could be emitted at compile time.

bpo-29478 [https://bugs.python.org/issue?@action=redirect&bpo=29478]: If max_line_length=None is specified while using the Compat32 policy, it is no longer ignored. Patch by Mircea Cosbuc.

Library

bpo-29403 [https://bugs.python.org/issue?@action=redirect&bpo=29403]: Fix unittest.mock’s autospec to not fail on method-bound builtin functions. Patch by Aaron Gallagher.

bpo-30961 [https://bugs.python.org/issue?@action=redirect&bpo=30961]: Fix decrementing a borrowed reference in tracemalloc.

bpo-30886 [https://bugs.python.org/issue?@action=redirect&bpo=30886]: Fix multiprocessing.Queue.join_thread(): it now waits until the thread completes, even if the thread was started by the same process which created the queue.

bpo-29854 [https://bugs.python.org/issue?@action=redirect&bpo=29854]: Fix segfault in readline when using readline’s history-size option. Patch by Nir Soffer.

bpo-30807 [https://bugs.python.org/issue?@action=redirect&bpo=30807]: signal.setitimer() may disable the timer when passed a tiny value. Tiny values (such as 1e-6) are valid non-zero values for setitimer(), which is specified as taking microsecond-resolution intervals. However, on some platform, our conversion routine could convert 1e-6 into a zero interval, therefore disabling the timer instead of (re-)scheduling it.

bpo-30441 [https://bugs.python.org/issue?@action=redirect&bpo=30441]: Fix bug when modifying os.environ while iterating over it

bpo-30532 [https://bugs.python.org/issue?@action=redirect&bpo=30532]: Fix email header value parser dropping folding white space in certain cases.

bpo-29169 [https://bugs.python.org/issue?@action=redirect&bpo=29169]: Update zlib to 1.2.11.

bpo-30879 [https://bugs.python.org/issue?@action=redirect&bpo=30879]: os.listdir() and os.scandir() now emit bytes names when called with bytes-like argument.

bpo-30746 [https://bugs.python.org/issue?@action=redirect&bpo=30746]: Prohibited the ‘=’ character in environment variable names in os.putenv() and os.spawn*().

bpo-29755 [https://bugs.python.org/issue?@action=redirect&bpo=29755]: Fixed the lgettext() family of functions in the gettext module. They now always return bytes.

bpo-30645 [https://bugs.python.org/issue?@action=redirect&bpo=30645]: Fix path calculation in imp.load_package(), fixing it for cases when a package is only shipped with bytecodes. Patch by Alexandru Ardelean.

bpo-23890 [https://bugs.python.org/issue?@action=redirect&bpo=23890]: unittest.TestCase.assertRaises() now manually breaks a reference cycle to not keep objects alive longer than expected.

bpo-30149 [https://bugs.python.org/issue?@action=redirect&bpo=30149]: inspect.signature() now supports callables with variable-argument parameters wrapped with partialmethod. Patch by Donghee Na.

bpo-29931 [https://bugs.python.org/issue?@action=redirect&bpo=29931]: Fixed comparison check for ipaddress.ip_interface objects. Patch by Sanjay Sundaresan.

bpo-24484 [https://bugs.python.org/issue?@action=redirect&bpo=24484]: Avoid race condition in multiprocessing cleanup.

bpo-28994 [https://bugs.python.org/issue?@action=redirect&bpo=28994]: The traceback no longer displayed for SystemExit raised in a callback registered by atexit.

bpo-30508 [https://bugs.python.org/issue?@action=redirect&bpo=30508]: Don’t log exceptions if Task/Future “cancel()” method was called.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Updates to typing module: Add generic AsyncContextManager, add support for ContextManager on all versions. Original PRs by Jelle Zijlstra and Ivan Levkivskyi

bpo-29870 [https://bugs.python.org/issue?@action=redirect&bpo=29870]: Fix ssl sockets leaks when connection is aborted in asyncio/ssl implementation. Patch by Michaël Sghaïer.

bpo-29743 [https://bugs.python.org/issue?@action=redirect&bpo=29743]: Closing transport during handshake process leaks open socket. Patch by Nikolay Kim

bpo-27585 [https://bugs.python.org/issue?@action=redirect&bpo=27585]: Fix waiter cancellation in asyncio.Lock. Patch by Mathieu Sornay.

bpo-30418 [https://bugs.python.org/issue?@action=redirect&bpo=30418]: On Windows, subprocess.Popen.communicate() now also ignore EINVAL on stdin.write() if the child process is still running but closed the pipe.

bpo-30378 [https://bugs.python.org/issue?@action=redirect&bpo=30378]: Fix the problem that logging.handlers.SysLogHandler cannot handle IPv6 addresses.

bpo-29960 [https://bugs.python.org/issue?@action=redirect&bpo=29960]: Preserve generator state when _random.Random.setstate() raises an exception. Patch by Bryan Olson.

bpo-30414 [https://bugs.python.org/issue?@action=redirect&bpo=30414]: multiprocessing.Queue._feed background running thread do not break from main loop on exception.

bpo-30003 [https://bugs.python.org/issue?@action=redirect&bpo=30003]: Fix handling escape characters in HZ codec. Based on patch by Ma Lin.

bpo-30301 [https://bugs.python.org/issue?@action=redirect&bpo=30301]: Fix AttributeError when using SimpleQueue.empty() under spawn and forkserver start methods.

bpo-30329 [https://bugs.python.org/issue?@action=redirect&bpo=30329]: imaplib and poplib now catch the Windows socket WSAEINVAL error (code 10022) on shutdown(SHUT_RDWR): An invalid operation was attempted. This error occurs sometimes on SSL connections.

bpo-30375 [https://bugs.python.org/issue?@action=redirect&bpo=30375]: Warnings emitted when compile a regular expression now always point to the line in the user code. Previously they could point into inners of the re module if emitted from inside of groups or conditionals.

bpo-30048 [https://bugs.python.org/issue?@action=redirect&bpo=30048]: Fixed Task.cancel() can be ignored when the task is running coroutine and the coroutine returned without any more await.

bpo-29990 [https://bugs.python.org/issue?@action=redirect&bpo=29990]: Fix range checking in GB18030 decoder. Original patch by Ma Lin.

bpo-26293 [https://bugs.python.org/issue?@action=redirect&bpo=26293]: Change resulted because of zipfile breakage. (See also: bpo-29094 [https://bugs.python.org/issue?@action=redirect&bpo=29094])

bpo-30243 [https://bugs.python.org/issue?@action=redirect&bpo=30243]: Removed the __init__ methods of _json’s scanner and encoder. Misusing them could cause memory leaks or crashes. Now scanner and encoder objects are completely initialized in the __new__ methods.

bpo-30185 [https://bugs.python.org/issue?@action=redirect&bpo=30185]: Avoid KeyboardInterrupt tracebacks in forkserver helper process when Ctrl-C is received.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: add typing.NoReturn type, use WrapperDescriptorType, minor bug-fixes. Original PRs by Jim Fasarakis-Hilliard and Ivan Levkivskyi.

bpo-30205 [https://bugs.python.org/issue?@action=redirect&bpo=30205]: Fix getsockname() for unbound AF_UNIX sockets on Linux.

bpo-30070 [https://bugs.python.org/issue?@action=redirect&bpo=30070]: Fixed leaks and crashes in errors handling in the parser module.

bpo-30061 [https://bugs.python.org/issue?@action=redirect&bpo=30061]: Fixed crashes in IOBase methods __next__() and readlines() when readline() or __next__() respectively return non-sizeable object. Fixed possible other errors caused by not checking results of PyObject_Size(), PySequence_Size(), or PyMapping_Size().

bpo-30068 [https://bugs.python.org/issue?@action=redirect&bpo=30068]: _io._IOBase.readlines will check if it’s closed first when hint is present.

bpo-29694 [https://bugs.python.org/issue?@action=redirect&bpo=29694]: Fixed race condition in pathlib mkdir with flags parents=True. Patch by Armin Rigo.

bpo-29692 [https://bugs.python.org/issue?@action=redirect&bpo=29692]: Fixed arbitrary unchaining of RuntimeError exceptions in contextlib.contextmanager. Patch by Siddharth Velankar.

bpo-29998 [https://bugs.python.org/issue?@action=redirect&bpo=29998]: Pickling and copying ImportError now preserves name and path attributes.

bpo-29942 [https://bugs.python.org/issue?@action=redirect&bpo=29942]: Fix a crash in itertools.chain.from_iterable when encountering long runs of empty iterables.

bpo-27863 [https://bugs.python.org/issue?@action=redirect&bpo=27863]: Fixed multiple crashes in ElementTree caused by race conditions and wrong types.

bpo-28699 [https://bugs.python.org/issue?@action=redirect&bpo=28699]: Fixed a bug in pools in multiprocessing.pool that raising an exception at the very first of an iterable may swallow the exception or make the program hang. Patch by Davin Potts and Xiang Zhang.

bpo-25803 [https://bugs.python.org/issue?@action=redirect&bpo=25803]: Avoid incorrect errors raised by Path.mkdir(exist_ok=True) when the OS gives priority to errors such as EACCES over EEXIST.

bpo-29861 [https://bugs.python.org/issue?@action=redirect&bpo=29861]: Release references to tasks, their arguments and their results as soon as they are finished in multiprocessing.Pool.

bpo-29884 [https://bugs.python.org/issue?@action=redirect&bpo=29884]: faulthandler: Restore the old sigaltstack during teardown. Patch by Christophe Zeitouny.

bpo-25455 [https://bugs.python.org/issue?@action=redirect&bpo=25455]: Fixed crashes in repr of recursive buffered file-like objects.

bpo-29800 [https://bugs.python.org/issue?@action=redirect&bpo=29800]: Fix crashes in partial.__repr__ if the keys of partial.keywords are not strings. Patch by Michael Seifert.

bpo-29742 [https://bugs.python.org/issue?@action=redirect&bpo=29742]: get_extra_info() raises exception if get called on closed ssl transport. Patch by Nikolay Kim.

bpo-8256 [https://bugs.python.org/issue?@action=redirect&bpo=8256]: Fixed possible failing or crashing input() if attributes “encoding” or “errors” of sys.stdin or sys.stdout are not set or are not strings.

bpo-28298 [https://bugs.python.org/issue?@action=redirect&bpo=28298]: Fix a bug that prevented array ‘Q’, ‘L’ and ‘I’ from accepting big intables (objects that have __int__) as elements. Patch by Oren Milman.

bpo-29615 [https://bugs.python.org/issue?@action=redirect&bpo=29615]: SimpleXMLRPCDispatcher no longer chains KeyError (or any other exception) to exception(s) raised in the dispatched methods. Patch by Petr Motejlek.

bpo-29704 [https://bugs.python.org/issue?@action=redirect&bpo=29704]: asyncio.subprocess.SubprocessStreamProtocol no longer closes before all pipes are closed.

bpo-29703 [https://bugs.python.org/issue?@action=redirect&bpo=29703]: Fix asyncio to support instantiation of new event loops in child processes.

bpo-29376 [https://bugs.python.org/issue?@action=redirect&bpo=29376]: Fix assertion error in threading._DummyThread.is_alive().

bpo-29110 [https://bugs.python.org/issue?@action=redirect&bpo=29110]: Fix file object leak in aifc.open() when file is given as a filesystem path and is not in valid AIFF format. Patch by Anthony Zhang.

bpo-28961 [https://bugs.python.org/issue?@action=redirect&bpo=28961]: Fix unittest.mock._Call helper: don’t ignore the name parameter anymore. Patch written by Jiajun Huang.

bpo-29532 [https://bugs.python.org/issue?@action=redirect&bpo=29532]: Altering a kwarg dictionary passed to functools.partial() no longer affects a partial object after creation.

bpo-28556 [https://bugs.python.org/issue?@action=redirect&bpo=28556]: Various updates to typing module: typing.Counter, typing.ChainMap, improved ABC caching, etc. Original PRs by Jelle Zijlstra, Ivan Levkivskyi, Manuel Krebber, and Łukasz Langa.

bpo-29100 [https://bugs.python.org/issue?@action=redirect&bpo=29100]: Fix datetime.fromtimestamp() regression introduced in Python 3.6.0: check minimum and maximum years.

bpo-29519 [https://bugs.python.org/issue?@action=redirect&bpo=29519]: Fix weakref spewing exceptions during interpreter shutdown when used with a rare combination of multiprocessing and custom codecs.

bpo-29416 [https://bugs.python.org/issue?@action=redirect&bpo=29416]: Prevent infinite loop in pathlib.Path.mkdir

bpo-29444 [https://bugs.python.org/issue?@action=redirect&bpo=29444]: Fixed out-of-bounds buffer access in the group() method of the match object. Based on patch by WGH.

bpo-29335 [https://bugs.python.org/issue?@action=redirect&bpo=29335]: Fix subprocess.Popen.wait() when the child process has exited to a stopped instead of terminated state (ex: when under ptrace).

bpo-29290 [https://bugs.python.org/issue?@action=redirect&bpo=29290]: Fix a regression in argparse that help messages would wrap at non-breaking spaces.

bpo-28735 [https://bugs.python.org/issue?@action=redirect&bpo=28735]: Fixed the comparison of mock.MagickMock with mock.ANY.

bpo-29011 [https://bugs.python.org/issue?@action=redirect&bpo=29011]: Fix an important omission by adding Deque to the typing module.

bpo-29219 [https://bugs.python.org/issue?@action=redirect&bpo=29219]: Fixed infinite recursion in the repr of uninitialized ctypes.CDLL instances.

bpo-28969 [https://bugs.python.org/issue?@action=redirect&bpo=28969]: Fixed race condition in C implementation of functools.lru_cache. KeyError could be raised when cached function with full cache was simultaneously called from different threads with the same uncached arguments.

bpo-29142 [https://bugs.python.org/issue?@action=redirect&bpo=29142]: In urllib.request, suffixes in no_proxy environment variable with leading dots could match related hostnames again (e.g. .b.c matches a.b.c). Patch by Milan Oberkirch.

Documentation

bpo-30176 [https://bugs.python.org/issue?@action=redirect&bpo=30176]: Add missing attribute related constants in curses documentation.

bpo-26985 [https://bugs.python.org/issue?@action=redirect&bpo=26985]: Add missing info of code object in inspect documentation.

bpo-28929 [https://bugs.python.org/issue?@action=redirect&bpo=28929]: Link the documentation to its source file on GitHub.

bpo-25008 [https://bugs.python.org/issue?@action=redirect&bpo=25008]: Document smtpd.py as effectively deprecated and add a pointer to aiosmtpd, a third-party asyncio-based replacement.

bpo-26355 [https://bugs.python.org/issue?@action=redirect&bpo=26355]: Add canonical header link on each page to corresponding major version of the documentation. Patch by Matthias Bussonnier.

bpo-29349 [https://bugs.python.org/issue?@action=redirect&bpo=29349]: Fix Python 2 syntax in code for building the documentation.

Tests

bpo-30822 [https://bugs.python.org/issue?@action=redirect&bpo=30822]: Fix regrtest command line parser to allow passing -u extralargefile to run test_zipfile64.

bpo-30383 [https://bugs.python.org/issue?@action=redirect&bpo=30383]: regrtest: Enhance regrtest and backport features from the master branch. Add options: –coverage, –testdir, –list-tests (list test files, don’t run them), –list-cases (list test identifiers, don’t run them, bpo-30523 [https://bugs.python.org/issue?@action=redirect&bpo=30523]), –matchfile (load a list of test filters from a text file, bpo-30540 [https://bugs.python.org/issue?@action=redirect&bpo=30540]), –slowest (alias to –slow). Enhance output: add timestamp, test result, currently running tests, “Tests result: xxx” summary with total duration, etc. Fix reference leak hunting in regrtest, –huntrleaks: regrtest now warms up caches, create explicitly all internal singletons which are created on demand to prevent false positives when checking for reference leaks. (bpo-30675 [https://bugs.python.org/issue?@action=redirect&bpo=30675]).

bpo-30357 [https://bugs.python.org/issue?@action=redirect&bpo=30357]: test_thread: setUp() now uses support.threading_setup() and support.threading_cleanup() to wait until threads complete to avoid random side effects on following tests. Initial patch written by Grzegorz Grzywacz.

bpo-28087 [https://bugs.python.org/issue?@action=redirect&bpo=28087]: Skip test_asyncore and test_eintr poll failures on macOS. Skip some tests of select.poll when running on macOS due to unresolved issues with the underlying system poll function on some macOS versions.

bpo-30197 [https://bugs.python.org/issue?@action=redirect&bpo=30197]: Enhanced functions swap_attr() and swap_item() in the test.support module. They now work when delete replaced attribute or item inside the with statement. The old value of the attribute or item (or None if it doesn’t exist) now will be assigned to the target of the “as” clause, if there is one.

bpo-29571 [https://bugs.python.org/issue?@action=redirect&bpo=29571]: to match the behaviour of the re.LOCALE flag, test_re.test_locale_flag now uses locale.getpreferredencoding(False) to determine the candidate encoding for the test regex (allowing it to correctly skip the test when the default locale encoding is a multi-byte encoding)

Build

bpo-29243 [https://bugs.python.org/issue?@action=redirect&bpo=29243]: Prevent unnecessary rebuilding of Python during make test, make install and some other make targets when configured with --enable-optimizations.

bpo-23404 [https://bugs.python.org/issue?@action=redirect&bpo=23404]: Don’t regenerate generated files based on file modification time anymore: the action is now explicit. Replace make touch with make regen-all.

bpo-29643 [https://bugs.python.org/issue?@action=redirect&bpo=29643]: Fix --enable-optimization didn’t work.

Windows

bpo-30687 [https://bugs.python.org/issue?@action=redirect&bpo=30687]: Locate msbuild.exe on Windows when building rather than vcvarsall.bat

bpo-29392 [https://bugs.python.org/issue?@action=redirect&bpo=29392]: Prevent crash when passing invalid arguments into msvcrt module.

C API

bpo-27867 [https://bugs.python.org/issue?@action=redirect&bpo=27867]: Function PySlice_GetIndicesEx() is replaced with a macro if Py_LIMITED_API is set to the value between 0x03050400 and 0x03060000 (not including) or 0x03060100 or higher.

bpo-29083 [https://bugs.python.org/issue?@action=redirect&bpo=29083]: Fixed the declaration of some public API functions. PyArg_VaParse() and PyArg_VaParseTupleAndKeywords() were not available in limited API. PyArg_ValidateKeywordArguments(), PyArg_UnpackTuple() and Py_BuildValue() were not available in limited API of version < 3.3 when PY_SSIZE_T_CLEAN is defined.

Python 3.5.3 final

Release date: 2017-01-17

There were no code changes between 3.5.3rc1 and 3.5.3 final.

Python 3.5.3 release candidate 1

Release date: 2017-01-02

Security

bpo-27278 [https://bugs.python.org/issue?@action=redirect&bpo=27278]: Fix os.urandom() implementation using getrandom() on Linux. Truncate size to INT_MAX and loop until we collected enough random bytes, instead of casting a directly Py_ssize_t to int.

bpo-22636 [https://bugs.python.org/issue?@action=redirect&bpo=22636]: Avoid shell injection problems with ctypes.util.find_library().

Core and Builtins

bpo-29073 [https://bugs.python.org/issue?@action=redirect&bpo=29073]: bytearray formatting no longer truncates on first null byte.

bpo-28932 [https://bugs.python.org/issue?@action=redirect&bpo=28932]: Do not include <sys/random.h> if it does not exist.

bpo-28147 [https://bugs.python.org/issue?@action=redirect&bpo=28147]: Fix a memory leak in split-table dictionaries: setattr() must not convert combined table into split table.

bpo-25677 [https://bugs.python.org/issue?@action=redirect&bpo=25677]: Correct the positioning of the syntax error caret for indented blocks. Based on patch by Michael Layzell.

bpo-29000 [https://bugs.python.org/issue?@action=redirect&bpo=29000]: Fixed bytes formatting of octals with zero padding in alternate form.

bpo-28512 [https://bugs.python.org/issue?@action=redirect&bpo=28512]: Fixed setting the offset attribute of SyntaxError by PyErr_SyntaxLocationEx() and PyErr_SyntaxLocationObject().

bpo-28991 [https://bugs.python.org/issue?@action=redirect&bpo=28991]: functools.lru_cache() was susceptible to an obscure reentrancy bug caused by a monkey-patched len() function.

bpo-28648 [https://bugs.python.org/issue?@action=redirect&bpo=28648]: Fixed crash in Py_DecodeLocale() in debug build on Mac OS X when decode astral characters. Patch by Xiang Zhang.

bpo-19398 [https://bugs.python.org/issue?@action=redirect&bpo=19398]: Extra slash no longer added to sys.path components in case of empty compile-time PYTHONPATH components.

bpo-28426 [https://bugs.python.org/issue?@action=redirect&bpo=28426]: Fixed potential crash in PyUnicode_AsDecodedObject() in debug build.

bpo-23782 [https://bugs.python.org/issue?@action=redirect&bpo=23782]: Fixed possible memory leak in _PyTraceback_Add() and exception loss in PyTraceBack_Here().

bpo-28379 [https://bugs.python.org/issue?@action=redirect&bpo=28379]: Added sanity checks and tests for PyUnicode_CopyCharacters(). Patch by Xiang Zhang.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: The type of long range iterator is now registered as Iterator. Patch by Oren Milman.

bpo-28376 [https://bugs.python.org/issue?@action=redirect&bpo=28376]: The constructor of range_iterator now checks that step is not 0. Patch by Oren Milman.

bpo-26906 [https://bugs.python.org/issue?@action=redirect&bpo=26906]: Resolving special methods of uninitialized type now causes implicit initialization of the type instead of a fail.

bpo-18287 [https://bugs.python.org/issue?@action=redirect&bpo=18287]: PyType_Ready() now checks that tp_name is not NULL. Original patch by Niklas Koep.

bpo-24098 [https://bugs.python.org/issue?@action=redirect&bpo=24098]: Fixed possible crash when AST is changed in process of compiling it.

bpo-28350 [https://bugs.python.org/issue?@action=redirect&bpo=28350]: String constants with null character no longer interned.

bpo-26617 [https://bugs.python.org/issue?@action=redirect&bpo=26617]: Fix crash when GC runs during weakref callbacks.

bpo-27942 [https://bugs.python.org/issue?@action=redirect&bpo=27942]: String constants now interned recursively in tuples and frozensets.

bpo-21578 [https://bugs.python.org/issue?@action=redirect&bpo=21578]: Fixed misleading error message when ImportError called with invalid keyword args.

bpo-28203 [https://bugs.python.org/issue?@action=redirect&bpo=28203]: Fix incorrect type in error message from complex(1.0, {2:3}). Patch by Soumya Sharma.

bpo-27955 [https://bugs.python.org/issue?@action=redirect&bpo=27955]: Fallback on reading /dev/urandom device when the getrandom() syscall fails with EPERM, for example when blocked by SECCOMP.

bpo-28131 [https://bugs.python.org/issue?@action=redirect&bpo=28131]: Fix a regression in zipimport’s compile_source(). zipimport should use the same optimization level as the interpreter.

bpo-25221 [https://bugs.python.org/issue?@action=redirect&bpo=25221]: Fix corrupted result from PyLong_FromLong(0) when Python is compiled with NSMALLPOSINTS = 0.

bpo-25758 [https://bugs.python.org/issue?@action=redirect&bpo=25758]: Prevents zipimport from unnecessarily encoding a filename (patch by Eryk Sun)

bpo-28189 [https://bugs.python.org/issue?@action=redirect&bpo=28189]: dictitems_contains no longer swallows compare errors. (Patch by Xiang Zhang)

bpo-27812 [https://bugs.python.org/issue?@action=redirect&bpo=27812]: Properly clear out a generator’s frame’s backreference to the generator to prevent crashes in frame.clear().

bpo-27811 [https://bugs.python.org/issue?@action=redirect&bpo=27811]: Fix a crash when a coroutine that has not been awaited is finalized with warnings-as-errors enabled.

bpo-27587 [https://bugs.python.org/issue?@action=redirect&bpo=27587]: Fix another issue found by PVS-Studio: Null pointer check after use of ‘def’ in _PyState_AddModule(). Initial patch by Christian Heimes.

bpo-26020 [https://bugs.python.org/issue?@action=redirect&bpo=26020]: set literal evaluation order did not match documented behaviour.

bpo-27782 [https://bugs.python.org/issue?@action=redirect&bpo=27782]: Multi-phase extension module import now correctly allows the m_methods field to be used to add module level functions to instances of non-module types returned from Py_create_mod. Patch by Xiang Zhang.

bpo-27936 [https://bugs.python.org/issue?@action=redirect&bpo=27936]: The round() function accepted a second None argument for some types but not for others. Fixed the inconsistency by accepting None for all numeric types.

bpo-27487 [https://bugs.python.org/issue?@action=redirect&bpo=27487]: Warn if a submodule argument to “python -m” or runpy.run_module() is found in sys.modules after parent packages are imported, but before the submodule is executed.

bpo-27558 [https://bugs.python.org/issue?@action=redirect&bpo=27558]: Fix a SystemError in the implementation of “raise” statement. In a brand new thread, raise a RuntimeError since there is no active exception to reraise. Patch written by Xiang Zhang.

bpo-27419 [https://bugs.python.org/issue?@action=redirect&bpo=27419]: Standard __import__() no longer look up “__import__” in globals or builtins for importing submodules or “from import”. Fixed handling an error of non-string package name.

bpo-27083 [https://bugs.python.org/issue?@action=redirect&bpo=27083]: Respect the PYTHONCASEOK environment variable under Windows.

bpo-27514 [https://bugs.python.org/issue?@action=redirect&bpo=27514]: Make having too many statically nested blocks a SyntaxError instead of SystemError.

bpo-27473 [https://bugs.python.org/issue?@action=redirect&bpo=27473]: Fixed possible integer overflow in bytes and bytearray concatenations. Patch by Xiang Zhang.

bpo-27507 [https://bugs.python.org/issue?@action=redirect&bpo=27507]: Add integer overflow check in bytearray.extend(). Patch by Xiang Zhang.

bpo-27581 [https://bugs.python.org/issue?@action=redirect&bpo=27581]: Don’t rely on wrapping for overflow check in PySequence_Tuple(). Patch by Xiang Zhang.

bpo-27443 [https://bugs.python.org/issue?@action=redirect&bpo=27443]: __length_hint__() of bytearray iterators no longer return a negative integer for a resized bytearray.

bpo-27942 [https://bugs.python.org/issue?@action=redirect&bpo=27942]: Fix memory leak in codeobject.c

Library

bpo-15812 [https://bugs.python.org/issue?@action=redirect&bpo=15812]: inspect.getframeinfo() now correctly shows the first line of a context. Patch by Sam Breese.

bpo-29094 [https://bugs.python.org/issue?@action=redirect&bpo=29094]: Offsets in a ZIP file created with extern file object and modes “w” and “x” now are relative to the start of the file.

bpo-13051 [https://bugs.python.org/issue?@action=redirect&bpo=13051]: Fixed recursion errors in large or resized curses.textpad.Textbox. Based on patch by Tycho Andersen.

bpo-29119 [https://bugs.python.org/issue?@action=redirect&bpo=29119]: Fix weakrefs in the pure python version of collections.OrderedDict move_to_end() method. Contributed by Andra Bogildea.

bpo-9770 [https://bugs.python.org/issue?@action=redirect&bpo=9770]: curses.ascii predicates now work correctly with negative integers.

bpo-28427 [https://bugs.python.org/issue?@action=redirect&bpo=28427]: old keys should not remove new values from WeakValueDictionary when collecting from another thread.

bpo-28923 [https://bugs.python.org/issue?@action=redirect&bpo=28923]: Remove editor artifacts from Tix.py.

bpo-28871 [https://bugs.python.org/issue?@action=redirect&bpo=28871]: Fixed a crash when deallocate deep ElementTree.

bpo-19542 [https://bugs.python.org/issue?@action=redirect&bpo=19542]: Fix bugs in WeakValueDictionary.setdefault() and WeakValueDictionary.pop() when a GC collection happens in another thread.

bpo-20191 [https://bugs.python.org/issue?@action=redirect&bpo=20191]: Fixed a crash in resource.prlimit() when pass a sequence that doesn’t own its elements as limits.

bpo-28779 [https://bugs.python.org/issue?@action=redirect&bpo=28779]: multiprocessing.set_forkserver_preload() would crash the forkserver process if a preloaded module instantiated some multiprocessing objects such as locks.

bpo-28847 [https://bugs.python.org/issue?@action=redirect&bpo=28847]: dbm.dumb now supports reading read-only files and no longer writes the index file when it is not changed.

bpo-25659 [https://bugs.python.org/issue?@action=redirect&bpo=25659]: In ctypes, prevent a crash calling the from_buffer() and from_buffer_copy() methods on abstract classes like Array.

bpo-28732 [https://bugs.python.org/issue?@action=redirect&bpo=28732]: Fix crash in os.spawnv() with no elements in args

bpo-28485 [https://bugs.python.org/issue?@action=redirect&bpo=28485]: Always raise ValueError for negative compileall.compile_dir(workers=…) parameter, even when multithreading is unavailable.

bpo-28387 [https://bugs.python.org/issue?@action=redirect&bpo=28387]: Fixed possible crash in _io.TextIOWrapper deallocator when the garbage collector is invoked in other thread. Based on patch by Sebastian Cufre.

bpo-27517 [https://bugs.python.org/issue?@action=redirect&bpo=27517]: LZMA compressor and decompressor no longer raise exceptions if given empty data twice. Patch by Benjamin Fogle.

bpo-28549 [https://bugs.python.org/issue?@action=redirect&bpo=28549]: Fixed segfault in curses’s addch() with ncurses6.

bpo-28449 [https://bugs.python.org/issue?@action=redirect&bpo=28449]: tarfile.open() with mode “r” or “r:” now tries to open a tar file with compression before trying to open it without compression. Otherwise it had 50% chance failed with ignore_zeros=True.

bpo-23262 [https://bugs.python.org/issue?@action=redirect&bpo=23262]: The webbrowser module now supports Firefox 36+ and derived browsers. Based on patch by Oleg Broytman.

bpo-27939 [https://bugs.python.org/issue?@action=redirect&bpo=27939]: Fixed bugs in tkinter.ttk.LabeledScale and tkinter.Scale caused by representing the scale as float value internally in Tk. tkinter.IntVar now works if float value is set to underlying Tk variable.

bpo-28255 [https://bugs.python.org/issue?@action=redirect&bpo=28255]: calendar.TextCalendar().prmonth() no longer prints a space at the start of new line after printing a month’s calendar. Patch by Xiang Zhang.

bpo-20491 [https://bugs.python.org/issue?@action=redirect&bpo=20491]: The textwrap.TextWrapper class now honors non-breaking spaces. Based on patch by Kaarle Ritvanen.

bpo-28353 [https://bugs.python.org/issue?@action=redirect&bpo=28353]: os.fwalk() no longer fails on broken links.

bpo-25464 [https://bugs.python.org/issue?@action=redirect&bpo=25464]: Fixed HList.header_exists() in tkinter.tix module by addin a workaround to Tix library bug.

bpo-28488 [https://bugs.python.org/issue?@action=redirect&bpo=28488]: shutil.make_archive() no longer add entry “./” to ZIP archive.

bpo-24452 [https://bugs.python.org/issue?@action=redirect&bpo=24452]: Make webbrowser support Chrome on Mac OS X.

bpo-20766 [https://bugs.python.org/issue?@action=redirect&bpo=20766]: Fix references leaked by pdb in the handling of SIGINT handlers.

bpo-26293 [https://bugs.python.org/issue?@action=redirect&bpo=26293]: Fixed writing ZIP files that starts not from the start of the file. Offsets in ZIP file now are relative to the start of the archive in conforming to the specification.

bpo-28321 [https://bugs.python.org/issue?@action=redirect&bpo=28321]: Fixed writing non-BMP characters with binary format in plistlib.

bpo-28322 [https://bugs.python.org/issue?@action=redirect&bpo=28322]: Fixed possible crashes when unpickle itertools objects from incorrect pickle data. Based on patch by John Leitch.

Fix possible integer overflows and crashes in the mmap module with unusual usage patterns.

bpo-1703178 [https://bugs.python.org/issue?@action=redirect&bpo=1703178]: Fix the ability to pass the –link-objects option to the distutils build_ext command.

bpo-28253 [https://bugs.python.org/issue?@action=redirect&bpo=28253]: Fixed calendar functions for extreme months: 0001-01 and 9999-12. Methods itermonthdays() and itermonthdays2() are reimplemented so that they don’t call itermonthdates() which can cause datetime.date under/overflow.

bpo-28275 [https://bugs.python.org/issue?@action=redirect&bpo=28275]: Fixed possible use after free in the decompress() methods of the LZMADecompressor and BZ2Decompressor classes. Original patch by John Leitch.

bpo-27897 [https://bugs.python.org/issue?@action=redirect&bpo=27897]: Fixed possible crash in sqlite3.Connection.create_collation() if pass invalid string-like object as a name. Patch by Xiang Zhang.

bpo-18893 [https://bugs.python.org/issue?@action=redirect&bpo=18893]: Fix invalid exception handling in Lib/ctypes/macholib/dyld.py. Patch by Madison May.

bpo-27611 [https://bugs.python.org/issue?@action=redirect&bpo=27611]: Fixed support of default root window in the tkinter.tix module.

bpo-27348 [https://bugs.python.org/issue?@action=redirect&bpo=27348]: In the traceback module, restore the formatting of exception messages like “Exception: None”. This fixes a regression introduced in 3.5a2.

bpo-25651 [https://bugs.python.org/issue?@action=redirect&bpo=25651]: Allow false values to be used for msg parameter of subTest().

bpo-27932 [https://bugs.python.org/issue?@action=redirect&bpo=27932]: Prevent memory leak in win32_ver().

Fix UnboundLocalError in socket._sendfile_use_sendfile.

bpo-28075 [https://bugs.python.org/issue?@action=redirect&bpo=28075]: Check for ERROR_ACCESS_DENIED in Windows implementation of os.stat(). Patch by Eryk Sun.

bpo-25270 [https://bugs.python.org/issue?@action=redirect&bpo=25270]: Prevent codecs.escape_encode() from raising SystemError when an empty bytestring is passed.

bpo-28181 [https://bugs.python.org/issue?@action=redirect&bpo=28181]: Get antigravity over HTTPS. Patch by Kaartic Sivaraam.

bpo-25895 [https://bugs.python.org/issue?@action=redirect&bpo=25895]: Enable WebSocket URL schemes in urllib.parse.urljoin. Patch by Gergely Imreh and Markus Holtermann.

bpo-27599 [https://bugs.python.org/issue?@action=redirect&bpo=27599]: Fixed buffer overrun in binascii.b2a_qp() and binascii.a2b_qp().

bpo-19003 [https://bugs.python.org/issue?@action=redirect&bpo=19003]: m email.generator now replaces only \r and/or \n line endings, per the RFC, instead of all unicode line endings.

bpo-28019 [https://bugs.python.org/issue?@action=redirect&bpo=28019]: itertools.count() no longer rounds non-integer step in range between 1.0 and 2.0 to 1.

bpo-25969 [https://bugs.python.org/issue?@action=redirect&bpo=25969]: Update the lib2to3 grammar to handle the unpacking generalizations added in 3.5.

bpo-14977 [https://bugs.python.org/issue?@action=redirect&bpo=14977]: mailcap now respects the order of the lines in the mailcap files (“first match”), as required by RFC 1542. Patch by Michael Lazar.

bpo-24594 [https://bugs.python.org/issue?@action=redirect&bpo=24594]: Validates persist parameter when opening MSI database

bpo-17582 [https://bugs.python.org/issue?@action=redirect&bpo=17582]: xml.etree.ElementTree nows preserves whitespaces in attributes (Patch by Duane Griffin. Reviewed and approved by Stefan Behnel.)

bpo-28047 [https://bugs.python.org/issue?@action=redirect&bpo=28047]: Fixed calculation of line length used for the base64 CTE in the new email policies.

bpo-27445 [https://bugs.python.org/issue?@action=redirect&bpo=27445]: Don’t pass str(_charset) to MIMEText.set_payload(). Patch by Claude Paroz.

bpo-22450 [https://bugs.python.org/issue?@action=redirect&bpo=22450]: urllib now includes an Accept: */* header among the default headers. This makes the results of REST API requests more consistent and predictable especially when proxy servers are involved.

lib2to3.pgen3.driver.load_grammar() now creates a stable cache file between runs given the same Grammar.txt input regardless of the hash randomization setting.

bpo-27570 [https://bugs.python.org/issue?@action=redirect&bpo=27570]: Avoid zero-length memcpy() etc calls with null source pointers in the “ctypes” and “array” modules.

bpo-22233 [https://bugs.python.org/issue?@action=redirect&bpo=22233]: Break email header lines only on the RFC specified CR and LF characters, not on arbitrary unicode line breaks. This also fixes a bug in HTTP header parsing.

bpo-27988 [https://bugs.python.org/issue?@action=redirect&bpo=27988]: Fix email iter_attachments incorrect mutation of payload list.

bpo-27691 [https://bugs.python.org/issue?@action=redirect&bpo=27691]: Fix ssl module’s parsing of GEN_RID subject alternative name fields in X.509 certs.

bpo-27850 [https://bugs.python.org/issue?@action=redirect&bpo=27850]: Remove 3DES from ssl module’s default cipher list to counter measure sweet32 attack (CVE 2016-2183 [https://www.cve.org/CVERecord?id=CVE-2016-2183]).

bpo-27766 [https://bugs.python.org/issue?@action=redirect&bpo=27766]: Add ChaCha20 Poly1305 to ssl module’s default cipher list. (Required OpenSSL 1.1.0 or LibreSSL).

bpo-26470 [https://bugs.python.org/issue?@action=redirect&bpo=26470]: Port ssl and hashlib module to OpenSSL 1.1.0.

Remove support for passing a file descriptor to os.access. It never worked but previously didn’t raise.

bpo-12885 [https://bugs.python.org/issue?@action=redirect&bpo=12885]: Fix error when distutils encounters symlink.

bpo-27881 [https://bugs.python.org/issue?@action=redirect&bpo=27881]: Fixed possible bugs when setting sqlite3.Connection.isolation_level. Based on patch by Xiang Zhang.

bpo-27861 [https://bugs.python.org/issue?@action=redirect&bpo=27861]: Fixed a crash in sqlite3.Connection.cursor() when a factory creates not a cursor. Patch by Xiang Zhang.

bpo-19884 [https://bugs.python.org/issue?@action=redirect&bpo=19884]: Avoid spurious output on OS X with Gnu Readline.

bpo-27706 [https://bugs.python.org/issue?@action=redirect&bpo=27706]: Restore deterministic behavior of random.Random().seed() for string seeds using seeding version 1. Allows sequences of calls to random() to exactly match those obtained in Python 2. Patch by Nofar Schnider.

bpo-10513 [https://bugs.python.org/issue?@action=redirect&bpo=10513]: Fix a regression in Connection.commit(). Statements should not be reset after a commit.

A new version of typing.py from https://github.com/python/typing: Collection (only for 3.6) (bpo-27598 [https://bugs.python.org/issue?@action=redirect&bpo=27598]). Add FrozenSet to __all__ (upstream #261). Fix crash in _get_type_vars() (upstream #259). Remove the dict constraint in ForwardRef._eval_type (upstream #252).

bpo-27539 [https://bugs.python.org/issue?@action=redirect&bpo=27539]: Fix unnormalised Fraction.__pow__ result in the case of negative exponent and negative base.

bpo-21718 [https://bugs.python.org/issue?@action=redirect&bpo=21718]: cursor.description is now available for queries using CTEs.

bpo-2466 [https://bugs.python.org/issue?@action=redirect&bpo=2466]: posixpath.ismount now correctly recognizes mount points which the user does not have permission to access.

bpo-27773 [https://bugs.python.org/issue?@action=redirect&bpo=27773]: Correct some memory management errors server_hostname in _ssl.wrap_socket().

bpo-26750 [https://bugs.python.org/issue?@action=redirect&bpo=26750]: unittest.mock.create_autospec() now works properly for subclasses of property() and other data descriptors.

In the curses module, raise an error if window.getstr() or window.instr() is passed a negative value.

bpo-27783 [https://bugs.python.org/issue?@action=redirect&bpo=27783]: Fix possible usage of uninitialized memory in operator.methodcaller.

bpo-27774 [https://bugs.python.org/issue?@action=redirect&bpo=27774]: Fix possible Py_DECREF on unowned object in _sre.

bpo-27760 [https://bugs.python.org/issue?@action=redirect&bpo=27760]: Fix possible integer overflow in binascii.b2a_qp.

bpo-27758 [https://bugs.python.org/issue?@action=redirect&bpo=27758]: Fix possible integer overflow in the _csv module for large record lengths.

bpo-27568 [https://bugs.python.org/issue?@action=redirect&bpo=27568]: Prevent HTTPoxy attack (CVE 2016-1000110 [https://www.cve.org/CVERecord?id=CVE-2016-1000110]). Ignore the HTTP_PROXY variable when REQUEST_METHOD environment is set, which indicates that the script is in CGI mode.

bpo-27656 [https://bugs.python.org/issue?@action=redirect&bpo=27656]: Do not assume sched.h defines any SCHED_* constants.

bpo-27130 [https://bugs.python.org/issue?@action=redirect&bpo=27130]: In the “zlib” module, fix handling of large buffers (typically 4 GiB) when compressing and decompressing. Previously, inputs were limited to 4 GiB, and compression and decompression operations did not properly handle results of 4 GiB.

bpo-27533 [https://bugs.python.org/issue?@action=redirect&bpo=27533]: Release GIL in nt._isdir

bpo-17711 [https://bugs.python.org/issue?@action=redirect&bpo=17711]: Fixed unpickling by the persistent ID with protocol 0. Original patch by Alexandre Vassalotti.

bpo-27522 [https://bugs.python.org/issue?@action=redirect&bpo=27522]: Avoid an unintentional reference cycle in email.feedparser.

bpo-26844 [https://bugs.python.org/issue?@action=redirect&bpo=26844]: Fix error message for imp.find_module() to refer to ‘path’ instead of ‘name’. Patch by Lev Maximov.

bpo-23804 [https://bugs.python.org/issue?@action=redirect&bpo=23804]: Fix SSL zero-length recv() calls to not block and not raise an error about unclean EOF.

bpo-27466 [https://bugs.python.org/issue?@action=redirect&bpo=27466]: Change time format returned by http.cookie.time2netscape, confirming the netscape cookie format and making it consistent with documentation.

bpo-26664 [https://bugs.python.org/issue?@action=redirect&bpo=26664]: Fix activate.fish by removing mis-use of $.

bpo-22115 [https://bugs.python.org/issue?@action=redirect&bpo=22115]: Fixed tracing Tkinter variables: trace_vdelete() with wrong mode no longer break tracing, trace_vinfo() now always returns a list of pairs of strings, tracing in the “u” mode now works.

Fix a scoping issue in importlib.util.LazyLoader which triggered an UnboundLocalError when lazy-loading a module that was already put into sys.modules.

bpo-27079 [https://bugs.python.org/issue?@action=redirect&bpo=27079]: Fixed curses.ascii functions isblank(), iscntrl() and ispunct().

bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754]: Some functions (compile() etc) accepted a filename argument encoded as an iterable of integers. Now only strings and byte-like objects are accepted.

bpo-27048 [https://bugs.python.org/issue?@action=redirect&bpo=27048]: Prevents distutils failing on Windows when environment variables contain non-ASCII characters

bpo-27330 [https://bugs.python.org/issue?@action=redirect&bpo=27330]: Fixed possible leaks in the ctypes module.

bpo-27238 [https://bugs.python.org/issue?@action=redirect&bpo=27238]: Got rid of bare excepts in the turtle module. Original patch by Jelle Zijlstra.

bpo-27122 [https://bugs.python.org/issue?@action=redirect&bpo=27122]: When an exception is raised within the context being managed by a contextlib.ExitStack() and one of the exit stack generators catches and raises it in a chain, do not re-raise the original exception when exiting, let the new chained one through. This avoids the PEP 479 [https://peps.python.org/pep-0479/] bug described in issue25782.

bpo-26386 [https://bugs.python.org/issue?@action=redirect&bpo=26386]: Fixed ttk.TreeView selection operations with item id’s containing spaces.

bpo-16182 [https://bugs.python.org/issue?@action=redirect&bpo=16182]: Fix various functions in the “readline” module to use the locale encoding, and fix get_begidx() and get_endidx() to return code point indexes.

bpo-27392 [https://bugs.python.org/issue?@action=redirect&bpo=27392]: Add loop.connect_accepted_socket(). Patch by Jim Fulton.

bpo-27930 [https://bugs.python.org/issue?@action=redirect&bpo=27930]: Improved behaviour of logging.handlers.QueueListener. Thanks to Paulo Andrade and Petr Viktorin for the analysis and patch.

bpo-21201 [https://bugs.python.org/issue?@action=redirect&bpo=21201]: Improves readability of multiprocessing error message. Thanks to Wojciech Walczak for patch.

bpo-27456 [https://bugs.python.org/issue?@action=redirect&bpo=27456]: asyncio: Set TCP_NODELAY by default.

bpo-27906 [https://bugs.python.org/issue?@action=redirect&bpo=27906]: Fix socket accept exhaustion during high TCP traffic. Patch by Kevin Conway.

bpo-28174 [https://bugs.python.org/issue?@action=redirect&bpo=28174]: Handle when SO_REUSEPORT isn’t properly supported. Patch by Seth Michael Larson.

bpo-26654 [https://bugs.python.org/issue?@action=redirect&bpo=26654]: Inspect functools.partial in asyncio.Handle.__repr__. Patch by iceboy.

bpo-26909 [https://bugs.python.org/issue?@action=redirect&bpo=26909]: Fix slow pipes IO in asyncio. Patch by INADA Naoki.

bpo-28176 [https://bugs.python.org/issue?@action=redirect&bpo=28176]: Fix callbacks race in asyncio.SelectorLoop.sock_connect.

bpo-27759 [https://bugs.python.org/issue?@action=redirect&bpo=27759]: Fix selectors incorrectly retain invalid file descriptors. Patch by Mark Williams.

bpo-28368 [https://bugs.python.org/issue?@action=redirect&bpo=28368]: Refuse monitoring processes if the child watcher has no loop attached. Patch by Vincent Michel.

bpo-28369 [https://bugs.python.org/issue?@action=redirect&bpo=28369]: Raise RuntimeError when transport’s FD is used with add_reader, add_writer, etc.

bpo-28370 [https://bugs.python.org/issue?@action=redirect&bpo=28370]: Speedup asyncio.StreamReader.readexactly. Patch by Коренберг Марк.

bpo-28371 [https://bugs.python.org/issue?@action=redirect&bpo=28371]: Deprecate passing asyncio.Handles to run_in_executor.

bpo-28372 [https://bugs.python.org/issue?@action=redirect&bpo=28372]: Fix asyncio to support formatting of non-python coroutines.

bpo-28399 [https://bugs.python.org/issue?@action=redirect&bpo=28399]: Remove UNIX socket from FS before binding. Patch by Коренберг Марк.

bpo-27972 [https://bugs.python.org/issue?@action=redirect&bpo=27972]: Prohibit Tasks to await on themselves.

bpo-26923 [https://bugs.python.org/issue?@action=redirect&bpo=26923]: Fix asyncio.Gather to refuse being cancelled once all children are done. Patch by Johannes Ebke.

bpo-26796 [https://bugs.python.org/issue?@action=redirect&bpo=26796]: Don’t configure the number of workers for default threadpool executor. Initial patch by Hans Lawrenz.

bpo-28600 [https://bugs.python.org/issue?@action=redirect&bpo=28600]: Optimize loop.call_soon().

bpo-28613 [https://bugs.python.org/issue?@action=redirect&bpo=28613]: Fix get_event_loop() return the current loop if called from coroutines/callbacks.

bpo-28639 [https://bugs.python.org/issue?@action=redirect&bpo=28639]: Fix inspect.isawaitable to always return bool Patch by Justin Mayfield.

bpo-28652 [https://bugs.python.org/issue?@action=redirect&bpo=28652]: Make loop methods reject socket kinds they do not support.

bpo-28653 [https://bugs.python.org/issue?@action=redirect&bpo=28653]: Fix a refleak in functools.lru_cache.

bpo-28703 [https://bugs.python.org/issue?@action=redirect&bpo=28703]: Fix asyncio.iscoroutinefunction to handle Mock objects.

bpo-24142 [https://bugs.python.org/issue?@action=redirect&bpo=24142]: Reading a corrupt config file left the parser in an invalid state. Original patch by Florian Höch.

bpo-28990 [https://bugs.python.org/issue?@action=redirect&bpo=28990]: Fix SSL hanging if connection is closed before handshake completed. (Patch by HoHo-Ho)

IDLE

bpo-15308 [https://bugs.python.org/issue?@action=redirect&bpo=15308]: Add ‘interrupt execution’ (^C) to Shell menu. Patch by Roger Serwy, updated by Bayard Randel.

bpo-27922 [https://bugs.python.org/issue?@action=redirect&bpo=27922]: Stop IDLE tests from ‘flashing’ gui widgets on the screen.

Add version to title of IDLE help window.

bpo-25564 [https://bugs.python.org/issue?@action=redirect&bpo=25564]: In section on IDLE – console differences, mention that using exec means that __builtins__ is defined for each statement.

bpo-27714 [https://bugs.python.org/issue?@action=redirect&bpo=27714]: text_textview and test_autocomplete now pass when re-run in the same process. This occurs when test_idle fails when run with the -w option but without -jn. Fix warning from test_config.

bpo-25507 [https://bugs.python.org/issue?@action=redirect&bpo=25507]: IDLE no longer runs buggy code because of its tkinter imports. Users must include the same imports required to run directly in Python.

bpo-27452 [https://bugs.python.org/issue?@action=redirect&bpo=27452]: add line counter and crc to IDLE configHandler test dump.

bpo-27365 [https://bugs.python.org/issue?@action=redirect&bpo=27365]: Allow non-ascii chars in IDLE NEWS.txt, for contributor names.

bpo-27245 [https://bugs.python.org/issue?@action=redirect&bpo=27245]: IDLE: Cleanly delete custom themes and key bindings. Previously, when IDLE was started from a console or by import, a cascade of warnings was emitted. Patch by Serhiy Storchaka.

C API

bpo-28808 [https://bugs.python.org/issue?@action=redirect&bpo=28808]: PyUnicode_CompareWithASCIIString() now never raises exceptions.

bpo-26754 [https://bugs.python.org/issue?@action=redirect&bpo=26754]: PyUnicode_FSDecoder() accepted a filename argument encoded as an iterable of integers. Now only strings and bytes-like objects are accepted.

Documentation

bpo-28513 [https://bugs.python.org/issue?@action=redirect&bpo=28513]: Documented command-line interface of zipfile.

Tests

bpo-28950 [https://bugs.python.org/issue?@action=redirect&bpo=28950]: Disallow -j0 to be combined with -T/-l/-M in regrtest command line arguments.

bpo-28666 [https://bugs.python.org/issue?@action=redirect&bpo=28666]: Now test.support.rmtree is able to remove unwritable or unreadable directories.

bpo-23839 [https://bugs.python.org/issue?@action=redirect&bpo=23839]: Various caches now are cleared before running every test file.

bpo-28409 [https://bugs.python.org/issue?@action=redirect&bpo=28409]: regrtest: fix the parser of command line arguments.

bpo-27787 [https://bugs.python.org/issue?@action=redirect&bpo=27787]: Call gc.collect() before checking each test for “dangling threads”, since the dangling threads are weak references.

bpo-27369 [https://bugs.python.org/issue?@action=redirect&bpo=27369]: In test_pyexpat, avoid testing an error message detail that changed in Expat 2.2.0.

Tools/Demos

bpo-27952 [https://bugs.python.org/issue?@action=redirect&bpo=27952]: Get Tools/scripts/fixcid.py working with Python 3 and the current “re” module, avoid invalid Python backslash escapes, and fix a bug parsing escaped C quote signs.

bpo-27332 [https://bugs.python.org/issue?@action=redirect&bpo=27332]: Fixed the type of the first argument of module-level functions generated by Argument Clinic. Patch by Petr Viktorin.

bpo-27418 [https://bugs.python.org/issue?@action=redirect&bpo=27418]: Fixed Tools/importbench/importbench.py.

Windows

bpo-28251 [https://bugs.python.org/issue?@action=redirect&bpo=28251]: Improvements to help manuals on Windows.

bpo-28110 [https://bugs.python.org/issue?@action=redirect&bpo=28110]: launcher.msi has different product codes between 32-bit and 64-bit

bpo-25144 [https://bugs.python.org/issue?@action=redirect&bpo=25144]: Ensures TargetDir is set before continuing with custom install.

bpo-27469 [https://bugs.python.org/issue?@action=redirect&bpo=27469]: Adds a shell extension to the launcher so that drag and drop works correctly.

bpo-27309 [https://bugs.python.org/issue?@action=redirect&bpo=27309]: Enabled proper Windows styles in python[w].exe manifest.

Build

bpo-29080 [https://bugs.python.org/issue?@action=redirect&bpo=29080]: Removes hard dependency on hg.exe from PCBuild/build.bat

bpo-23903 [https://bugs.python.org/issue?@action=redirect&bpo=23903]: Added missed names to PC/python3.def.

bpo-10656 [https://bugs.python.org/issue?@action=redirect&bpo=10656]: Fix out-of-tree building on AIX. Patch by Tristan Carel and Michael Haubenwallner.

bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359]: Rename –with-optimiations to –enable-optimizations.

bpo-28444 [https://bugs.python.org/issue?@action=redirect&bpo=28444]: Fix missing extensions modules when cross compiling.

bpo-28248 [https://bugs.python.org/issue?@action=redirect&bpo=28248]: Update Windows build and OS X installers to use OpenSSL 1.0.2j.

bpo-28258 [https://bugs.python.org/issue?@action=redirect&bpo=28258]: Fixed build with Estonian locale (python-config and distclean targets in Makefile). Patch by Arfrever Frehtes Taifersar Arahesis.

bpo-26661 [https://bugs.python.org/issue?@action=redirect&bpo=26661]: setup.py now detects system libffi with multiarch wrapper.

bpo-28066 [https://bugs.python.org/issue?@action=redirect&bpo=28066]: Fix the logic that searches build directories for generated include files when building outside the source tree.

bpo-15819 [https://bugs.python.org/issue?@action=redirect&bpo=15819]: Remove redundant include search directory option for building outside the source tree.

bpo-27566 [https://bugs.python.org/issue?@action=redirect&bpo=27566]: Fix clean target in freeze makefile (patch by Lisa Roach)

bpo-27705 [https://bugs.python.org/issue?@action=redirect&bpo=27705]: Update message in validate_ucrtbase.py

bpo-27983 [https://bugs.python.org/issue?@action=redirect&bpo=27983]: Cause lack of llvm-profdata tool when using clang as required for PGO linking to be a configure time error rather than make time when –with-optimizations is enabled. Also improve our ability to find the llvm-profdata tool on MacOS and some Linuxes.

bpo-26307 [https://bugs.python.org/issue?@action=redirect&bpo=26307]: The profile-opt build now applies PGO to the built-in modules.

bpo-26359 [https://bugs.python.org/issue?@action=redirect&bpo=26359]: Add the –with-optimizations configure flag.

bpo-27713 [https://bugs.python.org/issue?@action=redirect&bpo=27713]: Suppress spurious build warnings when updating importlib’s bootstrap files. Patch by Xiang Zhang

bpo-25825 [https://bugs.python.org/issue?@action=redirect&bpo=25825]: Correct the references to Modules/python.exp and ld_so_aix, which are required on AIX. This updates references to an installation path that was changed in 3.2a4, and undoes changed references to the build tree that were made in 3.5.0a1.

bpo-27453 [https://bugs.python.org/issue?@action=redirect&bpo=27453]: CPP invocation in configure must use CPPFLAGS. Patch by Chi Hsuan Yen.

bpo-27641 [https://bugs.python.org/issue?@action=redirect&bpo=27641]: The configure script now inserts comments into the makefile to prevent the pgen and _freeze_importlib executables from being cross-compiled.

bpo-26662 [https://bugs.python.org/issue?@action=redirect&bpo=26662]: Set PYTHON_FOR_GEN in configure as the Python program to be used for file generation during the build.

bpo-10910 [https://bugs.python.org/issue?@action=redirect&bpo=10910]: Avoid C++ compilation errors on FreeBSD and OS X. Also update FreedBSD version checks for the original ctype UTF-8 workaround.

bpo-28676 [https://bugs.python.org/issue?@action=redirect&bpo=28676]: Prevent missing ‘getentropy’ declaration warning on macOS. Patch by Gareth Rees.

Python 3.5.2 final

Release date: 2016-06-26

Core and Builtins

bpo-26930 [https://bugs.python.org/issue?@action=redirect&bpo=26930]: Update Windows builds to use OpenSSL 1.0.2h.

Tests

bpo-26867 [https://bugs.python.org/issue?@action=redirect&bpo=26867]: Ubuntu’s openssl OP_NO_SSLv3 is forced on by default; fix test.

IDLE

bpo-27365 [https://bugs.python.org/issue?@action=redirect&bpo=27365]: Allow non-ascii in idlelib/NEWS.txt - minimal part for 3.5.2.

Python 3.5.2 release candidate 1

Release date: 2016-06-12

Security

bpo-26556 [https://bugs.python.org/issue?@action=redirect&bpo=26556]: Update expat to 2.1.1, fixes CVE 2015-1283 [https://www.cve.org/CVERecord?id=CVE-2015-1283].

Fix TLS stripping vulnerability in smtplib, CVE 2016-0772 [https://www.cve.org/CVERecord?id=CVE-2016-0772]. Reported by Team Oststrom.

bpo-26839 [https://bugs.python.org/issue?@action=redirect&bpo=26839]: On Linux, os.urandom() now calls getrandom() with GRND_NONBLOCK to fall back on reading /dev/urandom if the urandom entropy pool is not initialized yet. Patch written by Colm Buckley.

bpo-26657 [https://bugs.python.org/issue?@action=redirect&bpo=26657]: Fix directory traversal vulnerability with http.server on Windows. This fixes a regression that was introduced in 3.3.4rc1 and 3.4.0rc1. Based on patch by Philipp Hagemeister.

bpo-26313 [https://bugs.python.org/issue?@action=redirect&bpo=26313]: ssl.py _load_windows_store_certs fails if windows cert store is empty. Patch by Baji.

bpo-25939 [https://bugs.python.org/issue?@action=redirect&bpo=25939]: On Windows open the cert store readonly in ssl.enum_certificates.

Core and Builtins

bpo-27066 [https://bugs.python.org/issue?@action=redirect&bpo=27066]: Fixed SystemError if a custom opener (for open()) returns a negative number without setting an exception.

bpo-20041 [https://bugs.python.org/issue?@action=redirect&bpo=20041]: Fixed TypeError when frame.f_trace is set to None. Patch by Xavier de Gaye.

bpo-26168 [https://bugs.python.org/issue?@action=redirect&bpo=26168]: Fixed possible refleaks in failing Py_BuildValue() with the “N” format unit.

bpo-26991 [https://bugs.python.org/issue?@action=redirect&bpo=26991]: Fix possible refleak when creating a function with annotations.

bpo-27039 [https://bugs.python.org/issue?@action=redirect&bpo=27039]: Fixed bytearray.remove() for values greater than 127. Patch by Joe Jevnik.

bpo-23640 [https://bugs.python.org/issue?@action=redirect&bpo=23640]: int.from_bytes() no longer bypasses constructors for subclasses.

bpo-26811 [https://bugs.python.org/issue?@action=redirect&bpo=26811]: gc.get_objects() no longer contains a broken tuple with NULL pointer.

bpo-20120 [https://bugs.python.org/issue?@action=redirect&bpo=20120]: Use RawConfigParser for .pypirc parsing, removing support for interpolation unintentionally added with move to Python 3. Behavior no longer does any interpolation in .pypirc files, matching behavior in Python 2.7 and Setuptools 19.0.

bpo-26659 [https://bugs.python.org/issue?@action=redirect&bpo=26659]: Make the builtin slice type support cycle collection.

bpo-26718 [https://bugs.python.org/issue?@action=redirect&bpo=26718]: super.__init__ no longer leaks memory if called multiple times. NOTE: A direct call of super.__init__ is not endorsed!

bpo-25339 [https://bugs.python.org/issue?@action=redirect&bpo=25339]: PYTHONIOENCODING now has priority over locale in setting the error handler for stdin and stdout.

bpo-26494 [https://bugs.python.org/issue?@action=redirect&bpo=26494]: Fixed crash on iterating exhausting iterators. Affected classes are generic sequence iterators, iterators of str, bytes, bytearray, list, tuple, set, frozenset, dict, OrderedDict, corresponding views and os.scandir() iterator.

bpo-26581 [https://bugs.python.org/issue?@action=redirect&bpo=26581]: If coding cookie is specified multiple times on a line in Python source code file, only the first one is taken to account.

bpo-26464 [https://bugs.python.org/issue?@action=redirect&bpo=26464]: Fix str.translate() when string is ASCII and first replacements removes character, but next replacement uses a non-ASCII character or a string longer than 1 character. Regression introduced in Python 3.5.0.

bpo-22836 [https://bugs.python.org/issue?@action=redirect&bpo=22836]: Ensure exception reports from PyErr_Display() and PyErr_WriteUnraisable() are sensible even when formatting them produces secondary errors. This affects the reports produced by sys.__excepthook__() and when __del__() raises an exception.

bpo-26302 [https://bugs.python.org/issue?@action=redirect&bpo=26302]: Correct behavior to reject comma as a legal character for cookie names.

bpo-4806 [https://bugs.python.org/issue?@action=redirect&bpo=4806]: Avoid masking the original TypeError exception when using star (*) unpacking in function calls. Based on patch by Hagen Fürstenau and Daniel Urban.

bpo-27138 [https://bugs.python.org/issue?@action=redirect&bpo=27138]: Fix the doc comment for FileFinder.find_spec().

bpo-26154 [https://bugs.python.org/issue?@action=redirect&bpo=26154]: Add a new private _PyThreadState_UncheckedGet() function to get the current Python thread state, but don’t issue a fatal error if it is NULL. This new function must be used instead of accessing directly the _PyThreadState_Current variable. The variable is no more exposed since Python 3.5.1 to hide the exact implementation of atomic C types, to avoid compiler issues.

bpo-26194 [https://bugs.python.org/issue?@action=redirect&bpo=26194]: Deque.insert() gave odd results for bounded deques that had reached their maximum size. Now an IndexError will be raised when attempting to insert into a full deque.

bpo-25843 [https://bugs.python.org/issue?@action=redirect&bpo=25843]: When compiling code, don’t merge constants if they are equal but have a different types. For example, f1, f2 = lambda: 1, lambda: 1.0 is now correctly compiled to two different functions: f1() returns 1 (int) and f2() returns 1.0 (int), even if 1 and 1.0 are equal.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: [UPDATE] Comment out the one of the pickleability tests in _PyObject_GetState() due to regressions observed in Cython-based projects.

bpo-25961 [https://bugs.python.org/issue?@action=redirect&bpo=25961]: Disallowed null characters in the type name.

bpo-25973 [https://bugs.python.org/issue?@action=redirect&bpo=25973]: Fix segfault when an invalid nonlocal statement binds a name starting with two underscores.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: Instances of extension types with a state that aren’t subclasses of list or dict and haven’t implemented any pickle-related methods (__reduce__, __reduce_ex__, __getnewargs__, __getnewargs_ex__, or __getstate__), can no longer be pickled. Including memoryview.

bpo-20440 [https://bugs.python.org/issue?@action=redirect&bpo=20440]: Massive replacing unsafe attribute setting code with special macro Py_SETREF.

bpo-25766 [https://bugs.python.org/issue?@action=redirect&bpo=25766]: Special method __bytes__() now works in str subclasses.

bpo-25421 [https://bugs.python.org/issue?@action=redirect&bpo=25421]: __sizeof__ methods of builtin types now use dynamic basic size. This allows sys.getsize() to work correctly with their subclasses with __slots__ defined.

bpo-25709 [https://bugs.python.org/issue?@action=redirect&bpo=25709]: Fixed problem with in-place string concatenation and utf-8 cache.

bpo-27147 [https://bugs.python.org/issue?@action=redirect&bpo=27147]: Mention PEP 420 [https://peps.python.org/pep-0420/] in the importlib docs.

bpo-24097 [https://bugs.python.org/issue?@action=redirect&bpo=24097]: Fixed crash in object.__reduce__() if slot name is freed inside __getattr__.

bpo-24731 [https://bugs.python.org/issue?@action=redirect&bpo=24731]: Fixed crash on converting objects with special methods __bytes__, __trunc__, and __float__ returning instances of subclasses of bytes, int, and float to subclasses of bytes, int, and float correspondingly.

bpo-26478 [https://bugs.python.org/issue?@action=redirect&bpo=26478]: Fix semantic bugs when using binary operators with dictionary views and tuples.

bpo-26171 [https://bugs.python.org/issue?@action=redirect&bpo=26171]: Fix possible integer overflow and heap corruption in zipimporter.get_data().

bpo-25660 [https://bugs.python.org/issue?@action=redirect&bpo=25660]: Fix TAB key behaviour in REPL with readline.

bpo-25887 [https://bugs.python.org/issue?@action=redirect&bpo=25887]: Raise a RuntimeError when a coroutine object is awaited more than once.

bpo-27243 [https://bugs.python.org/issue?@action=redirect&bpo=27243]: Update the __aiter__ protocol: instead of returning an awaitable that resolves to an asynchronous iterator, the asynchronous iterator should be returned directly. Doing the former will trigger a PendingDeprecationWarning.

Library

bpo-21386 [https://bugs.python.org/issue?@action=redirect&bpo=21386]: Implement missing IPv4Address.is_global property. It was documented since 07a5610bae9d. Initial patch by Roger Luethi.

bpo-20900 [https://bugs.python.org/issue?@action=redirect&bpo=20900]: distutils register command now decodes HTTP responses correctly. Initial patch by ingrid.

A new version of typing.py provides several new classes and features: @overload outside stubs, Reversible, DefaultDict, Text, ContextManager, Type[], NewType(), TYPE_CHECKING, and numerous bug fixes (note that some of the new features are not yet implemented in mypy or other static analyzers). Also classes for PEP 492 [https://peps.python.org/pep-0492/] (Awaitable, AsyncIterable, AsyncIterator) have been added (in fact they made it into 3.5.1 but were never mentioned).

bpo-25738 [https://bugs.python.org/issue?@action=redirect&bpo=25738]: Stop http.server.BaseHTTPRequestHandler.send_error() from sending a message body for 205 Reset Content. Also, don’t send Content header fields in responses that don’t have a body. Patch by Susumu Koshiba.

bpo-21313 [https://bugs.python.org/issue?@action=redirect&bpo=21313]: Fix the “platform” module to tolerate when sys.version contains truncated build information.

bpo-27164 [https://bugs.python.org/issue?@action=redirect&bpo=27164]: In the zlib module, allow decompressing raw Deflate streams with a predefined zdict. Based on patch by Xiang Zhang.

bpo-24291 [https://bugs.python.org/issue?@action=redirect&bpo=24291]: Fix wsgiref.simple_server.WSGIRequestHandler to completely write data to the client. Previously it could do partial writes and truncate data. Also, wsgiref.handler.ServerHandler can now handle stdout doing partial writes, but this is deprecated.

bpo-26809 [https://bugs.python.org/issue?@action=redirect&bpo=26809]: Add __all__ to string. Patch by Emanuel Barry.

bpo-26373 [https://bugs.python.org/issue?@action=redirect&bpo=26373]: subprocess.Popen.communicate now correctly ignores BrokenPipeError when the child process dies before .communicate() is called in more/all circumstances.

bpo-21776 [https://bugs.python.org/issue?@action=redirect&bpo=21776]: distutils.upload now correctly handles HTTPError. Initial patch by Claudiu Popa.

bpo-27114 [https://bugs.python.org/issue?@action=redirect&bpo=27114]: Fix SSLContext._load_windows_store_certs fails with PermissionError

bpo-18383 [https://bugs.python.org/issue?@action=redirect&bpo=18383]: Avoid creating duplicate filters when using filterwarnings and simplefilter. Based on patch by Alex Shkop.

bpo-27057 [https://bugs.python.org/issue?@action=redirect&bpo=27057]: Fix os.set_inheritable() on Android, ioctl() is blocked by SELinux and fails with EACCESS. The function now falls back to fcntl(). Patch written by Michał Bednarski.

bpo-27014 [https://bugs.python.org/issue?@action=redirect&bpo=27014]: Fix infinite recursion using typing.py. Thanks to Kalle Tuure!

bpo-14132 [https://bugs.python.org/issue?@action=redirect&bpo=14132]: Fix urllib.request redirect handling when the target only has a query string. Original fix by Ján Janech.

bpo-17214 [https://bugs.python.org/issue?@action=redirect&bpo=17214]: The “urllib.request” module now percent-encodes non-ASCII bytes found in redirect target URLs. Some servers send Location header fields with non-ASCII bytes, but “http.client” requires the request target to be ASCII-encodable, otherwise a UnicodeEncodeError is raised. Based on patch by Christian Heimes.

bpo-26892 [https://bugs.python.org/issue?@action=redirect&bpo=26892]: Honor debuglevel flag in urllib.request.HTTPHandler. Patch contributed by Chi Hsuan Yen.

bpo-22274 [https://bugs.python.org/issue?@action=redirect&bpo=22274]: In the subprocess module, allow stderr to be redirected to stdout even when stdout is not redirected. Patch by Akira Li.

bpo-26807 [https://bugs.python.org/issue?@action=redirect&bpo=26807]: mock_open ‘files’ no longer error on readline at end of file. Patch from Yolanda Robla.

bpo-25745 [https://bugs.python.org/issue?@action=redirect&bpo=25745]: Fixed leaking a userptr in curses panel destructor.

bpo-26977 [https://bugs.python.org/issue?@action=redirect&bpo=26977]: Removed unnecessary, and ignored, call to sum of squares helper in statistics.pvariance.

bpo-26881 [https://bugs.python.org/issue?@action=redirect&bpo=26881]: The modulefinder module now supports extended opcode arguments.

bpo-23815 [https://bugs.python.org/issue?@action=redirect&bpo=23815]: Fixed crashes related to directly created instances of types in _tkinter and curses.panel modules.

bpo-17765 [https://bugs.python.org/issue?@action=redirect&bpo=17765]: weakref.ref() no longer silently ignores keyword arguments. Patch by Georg Brandl.

bpo-26873 [https://bugs.python.org/issue?@action=redirect&bpo=26873]: xmlrpc now raises ResponseError on unsupported type tags instead of silently return incorrect result.

bpo-26711 [https://bugs.python.org/issue?@action=redirect&bpo=26711]: Fixed the comparison of plistlib.Data with other types.

bpo-24114 [https://bugs.python.org/issue?@action=redirect&bpo=24114]: Fix an uninitialized variable in ctypes.util. The bug only occurs on SunOS when the ctypes implementation searches for the crle program. Patch by Xiang Zhang. Tested on SunOS by Kees Bos.

bpo-26864 [https://bugs.python.org/issue?@action=redirect&bpo=26864]: In urllib.request, change the proxy bypass host checking against no_proxy to be case-insensitive, and to not match unrelated host names that happen to have a bypassed hostname as a suffix. Patch by Xiang Zhang.

bpo-26634 [https://bugs.python.org/issue?@action=redirect&bpo=26634]: recursive_repr() now sets __qualname__ of wrapper. Patch by Xiang Zhang.

bpo-26804 [https://bugs.python.org/issue?@action=redirect&bpo=26804]: urllib.request will prefer lower_case proxy environment variables over UPPER_CASE or Mixed_Case ones. Patch contributed by Hans-Peter Jansen.

bpo-26837 [https://bugs.python.org/issue?@action=redirect&bpo=26837]: assertSequenceEqual() now correctly outputs non-stringified differing items (like bytes in the -b mode). This affects assertListEqual() and assertTupleEqual().

bpo-26041 [https://bugs.python.org/issue?@action=redirect&bpo=26041]: Remove “will be removed in Python 3.7” from deprecation messages of platform.dist() and platform.linux_distribution(). Patch by Kumaripaba Miyurusara Athukorala.

bpo-26822 [https://bugs.python.org/issue?@action=redirect&bpo=26822]: itemgetter, attrgetter and methodcaller objects no longer silently ignore keyword arguments.

bpo-26733 [https://bugs.python.org/issue?@action=redirect&bpo=26733]: Disassembling a class now disassembles class and static methods. Patch by Xiang Zhang.

bpo-26801 [https://bugs.python.org/issue?@action=redirect&bpo=26801]: Fix error handling in shutil.get_terminal_size(), catch AttributeError instead of NameError. Patch written by Emanuel Barry.

bpo-24838 [https://bugs.python.org/issue?@action=redirect&bpo=24838]: tarfile’s ustar and gnu formats now correctly calculate name and link field limits for multibyte character encodings like utf-8.

bpo-26717 [https://bugs.python.org/issue?@action=redirect&bpo=26717]: Stop encoding Latin-1-ized WSGI paths with UTF-8. Patch by Anthony Sottile.

bpo-26735 [https://bugs.python.org/issue?@action=redirect&bpo=26735]: Fix os.urandom() on Solaris 11.3 and newer when reading more than 1,024 bytes: call getrandom() multiple times with a limit of 1024 bytes per call.

bpo-16329 [https://bugs.python.org/issue?@action=redirect&bpo=16329]: Add .webm to mimetypes.types_map. Patch by Giampaolo Rodola’.

bpo-13952 [https://bugs.python.org/issue?@action=redirect&bpo=13952]: Add .csv to mimetypes.types_map. Patch by Geoff Wilson.

bpo-26709 [https://bugs.python.org/issue?@action=redirect&bpo=26709]: Fixed Y2038 problem in loading binary PLists.

bpo-23735 [https://bugs.python.org/issue?@action=redirect&bpo=23735]: Handle terminal resizing with Readline 6.3+ by installing our own SIGWINCH handler. Patch by Eric Price.

bpo-26586 [https://bugs.python.org/issue?@action=redirect&bpo=26586]: In http.server, respond with “413 Request header fields too large” if there are too many header fields to parse, rather than killing the connection and raising an unhandled exception. Patch by Xiang Zhang.

bpo-22854 [https://bugs.python.org/issue?@action=redirect&bpo=22854]: Change BufferedReader.writable() and BufferedWriter.readable() to always return False.

bpo-25195 [https://bugs.python.org/issue?@action=redirect&bpo=25195]: Fix a regression in mock.MagicMock. _Call is a subclass of tuple (changeset 3603bae63c13 only works for classes) so we need to implement __ne__ ourselves. Patch by Andrew Plummer.

bpo-26644 [https://bugs.python.org/issue?@action=redirect&bpo=26644]: Raise ValueError rather than SystemError when a negative length is passed to SSLSocket.recv() or read().

bpo-23804 [https://bugs.python.org/issue?@action=redirect&bpo=23804]: Fix SSL recv(0) and read(0) methods to return zero bytes instead of up to 1024.

bpo-26616 [https://bugs.python.org/issue?@action=redirect&bpo=26616]: Fixed a bug in datetime.astimezone() method.

bpo-21925 [https://bugs.python.org/issue?@action=redirect&bpo=21925]: warnings.formatwarning() now catches exceptions on linecache.getline(...) to be able to log ResourceWarning emitted late during the Python shutdown process.

bpo-24266 [https://bugs.python.org/issue?@action=redirect&bpo=24266]: Ctrl+C during Readline history search now cancels the search mode when compiled with Readline 7.

bpo-26560 [https://bugs.python.org/issue?@action=redirect&bpo=26560]: Avoid potential ValueError in BaseHandler.start_response. Initial patch by Peter Inglesby.

bpo-26569 [https://bugs.python.org/issue?@action=redirect&bpo=26569]: Fix pyclbr.readmodule() and pyclbr.readmodule_ex() to support importing packages.

bpo-26499 [https://bugs.python.org/issue?@action=redirect&bpo=26499]: Account for remaining Content-Length in HTTPResponse.readline() and read1(). Based on patch by Silent Ghost. Also document that HTTPResponse now supports these methods.

bpo-25320 [https://bugs.python.org/issue?@action=redirect&bpo=25320]: Handle sockets in directories unittest discovery is scanning. Patch from Victor van den Elzen.

bpo-16181 [https://bugs.python.org/issue?@action=redirect&bpo=16181]: cookiejar.http2time() now returns None if year is higher than datetime.MAXYEAR.

bpo-26513 [https://bugs.python.org/issue?@action=redirect&bpo=26513]: Fixes platform module detection of Windows Server

bpo-23718 [https://bugs.python.org/issue?@action=redirect&bpo=23718]: Fixed parsing time in week 0 before Jan 1. Original patch by Tamás Bence Gedai.

bpo-20589 [https://bugs.python.org/issue?@action=redirect&bpo=20589]: Invoking Path.owner() and Path.group() on Windows now raise NotImplementedError instead of ImportError.

bpo-26177 [https://bugs.python.org/issue?@action=redirect&bpo=26177]: Fixed the keys() method for Canvas and Scrollbar widgets.

bpo-15068 [https://bugs.python.org/issue?@action=redirect&bpo=15068]: Got rid of excessive buffering in the fileinput module. The bufsize parameter is no longer used.

bpo-2202 [https://bugs.python.org/issue?@action=redirect&bpo=2202]: Fix UnboundLocalError in AbstractDigestAuthHandler.get_algorithm_impls. Initial patch by Mathieu Dupuy.

bpo-25718 [https://bugs.python.org/issue?@action=redirect&bpo=25718]: Fixed pickling and copying the accumulate() iterator with total is None.

bpo-26475 [https://bugs.python.org/issue?@action=redirect&bpo=26475]: Fixed debugging output for regular expressions with the (?x) flag.

bpo-26457 [https://bugs.python.org/issue?@action=redirect&bpo=26457]: Fixed the subnets() methods in IP network classes for the case when resulting prefix length is equal to maximal prefix length. Based on patch by Xiang Zhang.

bpo-26385 [https://bugs.python.org/issue?@action=redirect&bpo=26385]: Remove the file if the internal open() call in NamedTemporaryFile() fails. Patch by Silent Ghost.

bpo-26402 [https://bugs.python.org/issue?@action=redirect&bpo=26402]: Fix XML-RPC client to retry when the server shuts down a persistent connection. This was a regression related to the new http.client.RemoteDisconnected exception in 3.5.0a4.

bpo-25913 [https://bugs.python.org/issue?@action=redirect&bpo=25913]: Leading <~ is optional now in base64.a85decode() with adobe=True. Patch by Swati Jaiswal.

bpo-26186 [https://bugs.python.org/issue?@action=redirect&bpo=26186]: Remove an invalid type check in importlib.util.LazyLoader.

bpo-26367 [https://bugs.python.org/issue?@action=redirect&bpo=26367]: importlib.__import__() raises SystemError like builtins.__import__() when level is specified but without an accompanying package specified.

bpo-26309 [https://bugs.python.org/issue?@action=redirect&bpo=26309]: In the “socketserver” module, shut down the request (closing the connected socket) when verify_request() returns false. Patch by Aviv Palivoda.

bpo-25995 [https://bugs.python.org/issue?@action=redirect&bpo=25995]: os.walk() no longer uses FDs proportional to the tree depth.

bpo-26117 [https://bugs.python.org/issue?@action=redirect&bpo=26117]: The os.scandir() iterator now closes file descriptor not only when the iteration is finished, but when it was failed with error.

bpo-25911 [https://bugs.python.org/issue?@action=redirect&bpo=25911]: Restored support of bytes paths in os.walk() on Windows.

bpo-26045 [https://bugs.python.org/issue?@action=redirect&bpo=26045]: Add UTF-8 suggestion to error message when posting a non-Latin-1 string with http.client.

bpo-12923 [https://bugs.python.org/issue?@action=redirect&bpo=12923]: Reset FancyURLopener’s redirect counter even if there is an exception. Based on patches by Brian Brazil and Daniel Rocco.

bpo-25945 [https://bugs.python.org/issue?@action=redirect&bpo=25945]: Fixed a crash when unpickle the functools.partial object with wrong state. Fixed a leak in failed functools.partial constructor. “args” and “keywords” attributes of functools.partial have now always types tuple and dict correspondingly.

bpo-26202 [https://bugs.python.org/issue?@action=redirect&bpo=26202]: copy.deepcopy() now correctly copies range() objects with non-atomic attributes.

bpo-23076 [https://bugs.python.org/issue?@action=redirect&bpo=23076]: Path.glob() now raises a ValueError if it’s called with an invalid pattern. Patch by Thomas Nyberg.

bpo-19883 [https://bugs.python.org/issue?@action=redirect&bpo=19883]: Fixed possible integer overflows in zipimport.

bpo-26227 [https://bugs.python.org/issue?@action=redirect&bpo=26227]: On Windows, getnameinfo(), gethostbyaddr() and gethostbyname_ex() functions of the socket module now decode the hostname from the ANSI code page rather than UTF-8.

bpo-26147 [https://bugs.python.org/issue?@action=redirect&bpo=26147]: xmlrpc now works with strings not encodable with used non-UTF-8 encoding.

bpo-25935 [https://bugs.python.org/issue?@action=redirect&bpo=25935]: Garbage collector now breaks reference loops with OrderedDict.

bpo-16620 [https://bugs.python.org/issue?@action=redirect&bpo=16620]: Fixed AttributeError in msilib.Directory.glob().

bpo-26013 [https://bugs.python.org/issue?@action=redirect&bpo=26013]: Added compatibility with broken protocol 2 pickles created in old Python 3 versions (3.4.3 and lower).

bpo-25850 [https://bugs.python.org/issue?@action=redirect&bpo=25850]: Use cross-compilation by default for 64-bit Windows.

bpo-17633 [https://bugs.python.org/issue?@action=redirect&bpo=17633]: Improve zipimport’s support for namespace packages.

bpo-24705 [https://bugs.python.org/issue?@action=redirect&bpo=24705]: Fix sysconfig._parse_makefile not expanding ${} vars appearing before $() vars.

bpo-22138 [https://bugs.python.org/issue?@action=redirect&bpo=22138]: Fix mock.patch behavior when patching descriptors. Restore original values after patching. Patch contributed by Sean McCully.

bpo-25672 [https://bugs.python.org/issue?@action=redirect&bpo=25672]: In the ssl module, enable the SSL_MODE_RELEASE_BUFFERS mode option if it is safe to do so.

bpo-26012 [https://bugs.python.org/issue?@action=redirect&bpo=26012]: Don’t traverse into symlinks for ** pattern in pathlib.Path.[r]glob().

bpo-24120 [https://bugs.python.org/issue?@action=redirect&bpo=24120]: Ignore PermissionError when traversing a tree with pathlib.Path.[r]glob(). Patch by Ulrich Petri.

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: fileinput now uses sys.stdin as-is if it does not have a buffer attribute (restores backward compatibility).

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: Copying the lru_cache() wrapper object now always works, independently from the type of the wrapped object (by returning the original object unchanged).

bpo-24103 [https://bugs.python.org/issue?@action=redirect&bpo=24103]: Fixed possible use after free in ElementTree.XMLPullParser.

bpo-25860 [https://bugs.python.org/issue?@action=redirect&bpo=25860]: os.fwalk() no longer skips remaining directories when error occurs. Original patch by Samson Lee.

bpo-25914 [https://bugs.python.org/issue?@action=redirect&bpo=25914]: Fixed and simplified OrderedDict.__sizeof__.

bpo-25902 [https://bugs.python.org/issue?@action=redirect&bpo=25902]: Fixed various refcount issues in ElementTree iteration.

bpo-25717 [https://bugs.python.org/issue?@action=redirect&bpo=25717]: Restore the previous behaviour of tolerating most fstat() errors when opening files. This was a regression in 3.5a1, and stopped anonymous temporary files from working in special cases.

bpo-24903 [https://bugs.python.org/issue?@action=redirect&bpo=24903]: Fix regression in number of arguments compileall accepts when ‘-d’ is specified. The check on the number of arguments has been dropped completely as it never worked correctly anyway.

bpo-25764 [https://bugs.python.org/issue?@action=redirect&bpo=25764]: In the subprocess module, preserve any exception caused by fork() failure when preexec_fn is used.

bpo-6478 [https://bugs.python.org/issue?@action=redirect&bpo=6478]: _strptime’s regexp cache now is reset after changing timezone with time.tzset().

bpo-14285 [https://bugs.python.org/issue?@action=redirect&bpo=14285]: When executing a package with the “python -m package” option, and package initialization fails, a proper traceback is now reported. The “runpy” module now lets exceptions from package initialization pass back to the caller, rather than raising ImportError.

bpo-19771 [https://bugs.python.org/issue?@action=redirect&bpo=19771]: Also in runpy and the “-m” option, omit the irrelevant message “… is a package and cannot be directly executed” if the package could not even be initialized (e.g. due to a bad *.pyc file).

bpo-25177 [https://bugs.python.org/issue?@action=redirect&bpo=25177]: Fixed problem with the mean of very small and very large numbers. As a side effect, statistics.mean and statistics.variance should be significantly faster.

bpo-25718 [https://bugs.python.org/issue?@action=redirect&bpo=25718]: Fixed copying object with state with boolean value is false.

bpo-10131 [https://bugs.python.org/issue?@action=redirect&bpo=10131]: Fixed deep copying of minidom documents. Based on patch by Marian Ganisin.

bpo-25725 [https://bugs.python.org/issue?@action=redirect&bpo=25725]: Fixed a reference leak in pickle.loads() when unpickling invalid data including tuple instructions.

bpo-25663 [https://bugs.python.org/issue?@action=redirect&bpo=25663]: In the Readline completer, avoid listing duplicate global names, and search the global namespace before searching builtins.

bpo-25688 [https://bugs.python.org/issue?@action=redirect&bpo=25688]: Fixed file leak in ElementTree.iterparse() raising an error.

bpo-23914 [https://bugs.python.org/issue?@action=redirect&bpo=23914]: Fixed SystemError raised by unpickler on broken pickle data.

bpo-25691 [https://bugs.python.org/issue?@action=redirect&bpo=25691]: Fixed crash on deleting ElementTree.Element attributes.

bpo-25624 [https://bugs.python.org/issue?@action=redirect&bpo=25624]: ZipFile now always writes a ZIP_STORED header for directory entries. Patch by Dingyuan Wang.

Skip getaddrinfo if host is already resolved. Patch by A. Jesse Jiryu Davis.

bpo-26050 [https://bugs.python.org/issue?@action=redirect&bpo=26050]: Add asyncio.StreamReader.readuntil() method. Patch by Марк Коренберг.

bpo-25924 [https://bugs.python.org/issue?@action=redirect&bpo=25924]: Avoid unnecessary serialization of getaddrinfo(3) calls on OS X versions 10.5 or higher. Original patch by A. Jesse Jiryu Davis.

bpo-26406 [https://bugs.python.org/issue?@action=redirect&bpo=26406]: Avoid unnecessary serialization of getaddrinfo(3) calls on current versions of OpenBSD and NetBSD. Patch by A. Jesse Jiryu Davis.

bpo-26848 [https://bugs.python.org/issue?@action=redirect&bpo=26848]: Fix asyncio/subprocess.communicate() to handle empty input. Patch by Jack O’Connor.

bpo-27040 [https://bugs.python.org/issue?@action=redirect&bpo=27040]: Add loop.get_exception_handler method

bpo-27041 [https://bugs.python.org/issue?@action=redirect&bpo=27041]: asyncio: Add loop.create_future method

bpo-27223 [https://bugs.python.org/issue?@action=redirect&bpo=27223]: asyncio: Fix _read_ready and _write_ready to respect _conn_lost. Patch by Łukasz Langa.

bpo-22970 [https://bugs.python.org/issue?@action=redirect&bpo=22970]: asyncio: Fix inconsistency cancelling Condition.wait. Patch by David Coles.

IDLE

bpo-5124 [https://bugs.python.org/issue?@action=redirect&bpo=5124]: Paste with text selected now replaces the selection on X11. This matches how paste works on Windows, Mac, most modern Linux apps, and ttk widgets. Original patch by Serhiy Storchaka.

bpo-24759 [https://bugs.python.org/issue?@action=redirect&bpo=24759]: Make clear in idlelib.idle_test.__init__ that the directory is a private implementation of test.test_idle and tool for maintainers.

bpo-27196 [https://bugs.python.org/issue?@action=redirect&bpo=27196]: Stop ‘ThemeChanged’ warnings when running IDLE tests. These persisted after other warnings were suppressed in #20567. Apply Serhiy Storchaka’s update_idletasks solution to four test files. Record this additional advice in idle_test/README.txt

bpo-20567 [https://bugs.python.org/issue?@action=redirect&bpo=20567]: Revise idle_test/README.txt with advice about avoiding tk warning messages from tests. Apply advice to several IDLE tests.

bpo-27117 [https://bugs.python.org/issue?@action=redirect&bpo=27117]: Make colorizer htest and turtledemo work with dark themes. Move code for configuring text widget colors to a new function.

bpo-26673 [https://bugs.python.org/issue?@action=redirect&bpo=26673]: When tk reports font size as 0, change to size 10. Such fonts on Linux prevented the configuration dialog from opening.

bpo-21939 [https://bugs.python.org/issue?@action=redirect&bpo=21939]: Add test for IDLE’s percolator. Original patch by Saimadhav Heblikar.

bpo-21676 [https://bugs.python.org/issue?@action=redirect&bpo=21676]: Add test for IDLE’s replace dialog. Original patch by Saimadhav Heblikar.

bpo-18410 [https://bugs.python.org/issue?@action=redirect&bpo=18410]: Add test for IDLE’s search dialog. Original patch by Westley Martínez.

bpo-21703 [https://bugs.python.org/issue?@action=redirect&bpo=21703]: Add test for IDLE’s undo delegator. Original patch by Saimadhav Heblikar .

bpo-27044 [https://bugs.python.org/issue?@action=redirect&bpo=27044]: Add ConfigDialog.remove_var_callbacks to stop memory leaks.

bpo-23977 [https://bugs.python.org/issue?@action=redirect&bpo=23977]: Add more asserts to test_delegator.

bpo-20640 [https://bugs.python.org/issue?@action=redirect&bpo=20640]: Add tests for idlelib.configHelpSourceEdit. Patch by Saimadhav Heblikar.

In the ‘IDLE-console differences’ section of the IDLE doc, clarify how running with IDLE affects sys.modules and the standard streams.

bpo-25507 [https://bugs.python.org/issue?@action=redirect&bpo=25507]: fix incorrect change in IOBinding that prevented printing. Augment IOBinding htest to include all major IOBinding functions.

bpo-25905 [https://bugs.python.org/issue?@action=redirect&bpo=25905]: Revert unwanted conversion of ‘ to ’ RIGHT SINGLE QUOTATION MARK in README.txt and open this and NEWS.txt with ‘ascii’. Re-encode CREDITS.txt to utf-8 and open it with ‘utf-8’.

Documentation

bpo-19489 [https://bugs.python.org/issue?@action=redirect&bpo=19489]: Moved the search box from the sidebar to the header and footer of each page. Patch by Ammar Askar.

bpo-24136 [https://bugs.python.org/issue?@action=redirect&bpo=24136]: Document the new PEP 448 [https://peps.python.org/pep-0448/] unpacking syntax of 3.5.

bpo-26736 [https://bugs.python.org/issue?@action=redirect&bpo=26736]: Used HTTPS for external links in the documentation if possible.

bpo-6953 [https://bugs.python.org/issue?@action=redirect&bpo=6953]: Rework the Readline module documentation to group related functions together, and add more details such as what underlying Readline functions and variables are accessed.

bpo-23606 [https://bugs.python.org/issue?@action=redirect&bpo=23606]: Adds note to ctypes documentation regarding cdll.msvcrt.

bpo-25500 [https://bugs.python.org/issue?@action=redirect&bpo=25500]: Fix documentation to not claim that __import__ is searched for in the global scope.

bpo-26014 [https://bugs.python.org/issue?@action=redirect&bpo=26014]: Update 3.x packaging documentation: * “See also” links to the new docs are now provided in the legacy pages * links to setuptools documentation have been updated

Tests

bpo-21916 [https://bugs.python.org/issue?@action=redirect&bpo=21916]: Added tests for the turtle module. Patch by ingrid, Gregory Loyse and Jelle Zijlstra.

bpo-26523 [https://bugs.python.org/issue?@action=redirect&bpo=26523]: The multiprocessing thread pool (multiprocessing.dummy.Pool) was untested.

bpo-26015 [https://bugs.python.org/issue?@action=redirect&bpo=26015]: Added new tests for pickling iterators of mutable sequences.

bpo-26325 [https://bugs.python.org/issue?@action=redirect&bpo=26325]: Added test.support.check_no_resource_warning() to check that no ResourceWarning is emitted.

bpo-25940 [https://bugs.python.org/issue?@action=redirect&bpo=25940]: Changed test_ssl to use self-signed.pythontest.net. This avoids relying on svn.python.org, which recently changed root certificate.

bpo-25616 [https://bugs.python.org/issue?@action=redirect&bpo=25616]: Tests for OrderedDict are extracted from test_collections into separate file test_ordered_dict.

bpo-26583 [https://bugs.python.org/issue?@action=redirect&bpo=26583]: Skip test_timestamp_overflow in test_import if bytecode files cannot be written.

Build

bpo-26884 [https://bugs.python.org/issue?@action=redirect&bpo=26884]: Fix linking extension modules for cross builds. Patch by Xavier de Gaye.

bpo-22359 [https://bugs.python.org/issue?@action=redirect&bpo=22359]: Disable the rules for running _freeze_importlib and pgen when cross-compiling. The output of these programs is normally saved with the source code anyway, and is still regenerated when doing a native build. Patch by Xavier de Gaye.

bpo-27229 [https://bugs.python.org/issue?@action=redirect&bpo=27229]: Fix the cross-compiling pgen rule for in-tree builds. Patch by Xavier de Gaye.

bpo-21668 [https://bugs.python.org/issue?@action=redirect&bpo=21668]: Link audioop, _datetime, _ctypes_test modules to libm, except on Mac OS X. Patch written by Xavier de Gaye.

bpo-25702 [https://bugs.python.org/issue?@action=redirect&bpo=25702]: A –with-lto configure option has been added that will enable link time optimizations at build time during a make profile-opt. Some compilers and toolchains are known to not produce stable code when using LTO, be sure to test things thoroughly before relying on it. It can provide a few % speed up over profile-opt alone.

bpo-26624 [https://bugs.python.org/issue?@action=redirect&bpo=26624]: Adds validation of ucrtbase[d].dll version with warning for old versions.

bpo-17603 [https://bugs.python.org/issue?@action=redirect&bpo=17603]: Avoid error about nonexistent fileblocks.o file by using a lower-level check for st_blocks in struct stat.

bpo-26079 [https://bugs.python.org/issue?@action=redirect&bpo=26079]: Fixing the build output folder for tix-8.4.3.6. Patch by Bjoern Thiel.

bpo-26465 [https://bugs.python.org/issue?@action=redirect&bpo=26465]: Update Windows builds to use OpenSSL 1.0.2g.

bpo-24421 [https://bugs.python.org/issue?@action=redirect&bpo=24421]: Compile Modules/_math.c once, before building extensions. Previously it could fail to compile properly if the math and cmath builds were concurrent.

bpo-25348 [https://bugs.python.org/issue?@action=redirect&bpo=25348]: Added --pgo and --pgo-job arguments to PCbuild\build.bat for building with Profile-Guided Optimization. The old PCbuild\build_pgo.bat script is now deprecated, and simply calls PCbuild\build.bat --pgo %*.

bpo-25827 [https://bugs.python.org/issue?@action=redirect&bpo=25827]: Add support for building with ICC to configure, including a new --with-icc flag.

bpo-25696 [https://bugs.python.org/issue?@action=redirect&bpo=25696]: Fix installation of Python on UNIX with make -j9.

bpo-26930 [https://bugs.python.org/issue?@action=redirect&bpo=26930]: Update OS X 10.5+ 32-bit-only installer to build and link with OpenSSL 1.0.2h.

bpo-26268 [https://bugs.python.org/issue?@action=redirect&bpo=26268]: Update Windows builds to use OpenSSL 1.0.2f.

bpo-25136 [https://bugs.python.org/issue?@action=redirect&bpo=25136]: Support Apple Xcode 7’s new textual SDK stub libraries.

bpo-24324 [https://bugs.python.org/issue?@action=redirect&bpo=24324]: Do not enable unreachable code warnings when using gcc as the option does not work correctly in older versions of gcc and has been silently removed as of gcc-4.5.

Windows

bpo-27053 [https://bugs.python.org/issue?@action=redirect&bpo=27053]: Updates make_zip.py to correctly generate library ZIP file.

bpo-26268 [https://bugs.python.org/issue?@action=redirect&bpo=26268]: Update the prepare_ssl.py script to handle OpenSSL releases that don’t include the contents of the include directory (that is, 1.0.2e and later).

bpo-26071 [https://bugs.python.org/issue?@action=redirect&bpo=26071]: bdist_wininst created binaries fail to start and find 32bit Python

bpo-26073 [https://bugs.python.org/issue?@action=redirect&bpo=26073]: Update the list of magic numbers in launcher

bpo-26065 [https://bugs.python.org/issue?@action=redirect&bpo=26065]: Excludes venv from library when generating embeddable distro.

bpo-17500 [https://bugs.python.org/issue?@action=redirect&bpo=17500]: Remove unused and outdated icons. (See also: https://github.com/python/pythondotorg/issues/945)

Tools/Demos

bpo-26799 [https://bugs.python.org/issue?@action=redirect&bpo=26799]: Fix python-gdb.py: don’t get C types once when the Python code is loaded, but get C types on demand. The C types can change if python-gdb.py is loaded before the Python executable. Patch written by Thomas Ilsche.

bpo-26271 [https://bugs.python.org/issue?@action=redirect&bpo=26271]: Fix the Freeze tool to properly use flags passed through configure. Patch by Daniel Shaulov.

bpo-26489 [https://bugs.python.org/issue?@action=redirect&bpo=26489]: Add dictionary unpacking support to Tools/parser/unparse.py. Patch by Guo Ci Teo.

bpo-26316 [https://bugs.python.org/issue?@action=redirect&bpo=26316]: Fix variable name typo in Argument Clinic.

Python 3.5.1 final

Release date: 2015-12-06

Core and Builtins

bpo-25709 [https://bugs.python.org/issue?@action=redirect&bpo=25709]: Fixed problem with in-place string concatenation and utf-8 cache.

Windows

bpo-25715 [https://bugs.python.org/issue?@action=redirect&bpo=25715]: Python 3.5.1 installer shows wrong upgrade path and incorrect logic for launcher detection.

Python 3.5.1 release candidate 1

Release date: 2015-11-22

Core and Builtins

bpo-25630 [https://bugs.python.org/issue?@action=redirect&bpo=25630]: Fix a possible segfault during argument parsing in functions that accept filesystem paths.

bpo-23564 [https://bugs.python.org/issue?@action=redirect&bpo=23564]: Fixed a partially broken sanity check in the _posixsubprocess internals regarding how fds_to_pass were passed to the child. The bug had no actual impact as subprocess.py already avoided it.

bpo-25388 [https://bugs.python.org/issue?@action=redirect&bpo=25388]: Fixed tokenizer crash when processing undecodable source code with a null byte.

bpo-25462 [https://bugs.python.org/issue?@action=redirect&bpo=25462]: The hash of the key now is calculated only once in most operations in C implementation of OrderedDict.

bpo-22995 [https://bugs.python.org/issue?@action=redirect&bpo=22995]: Default implementation of __reduce__ and __reduce_ex__ now rejects builtin types with not defined __new__.

bpo-25555 [https://bugs.python.org/issue?@action=redirect&bpo=25555]: Fix parser and AST: fill lineno and col_offset of “arg” node when compiling AST from Python objects.

bpo-24802 [https://bugs.python.org/issue?@action=redirect&bpo=24802]: Avoid buffer overreads when int(), float(), compile(), exec() and eval() are passed bytes-like objects. These objects are not necessarily terminated by a null byte, but the functions assumed they were.

bpo-24726 [https://bugs.python.org/issue?@action=redirect&bpo=24726]: Fixed a crash and leaking NULL in repr() of OrderedDict that was mutated by direct calls of dict methods.

bpo-25449 [https://bugs.python.org/issue?@action=redirect&bpo=25449]: Iterating OrderedDict with keys with unstable hash now raises KeyError in C implementations as well as in Python implementation.

bpo-25395 [https://bugs.python.org/issue?@action=redirect&bpo=25395]: Fixed crash when highly nested OrderedDict structures were garbage collected.

bpo-25274 [https://bugs.python.org/issue?@action=redirect&bpo=25274]: sys.setrecursionlimit() now raises a RecursionError if the new recursion limit is too low depending at the current recursion depth. Modify also the “lower-water mark” formula to make it monotonic. This mark is used to decide when the overflowed flag of the thread state is reset.

bpo-24402 [https://bugs.python.org/issue?@action=redirect&bpo=24402]: Fix input() to prompt to the redirected stdout when sys.stdout.fileno() fails.

bpo-24806 [https://bugs.python.org/issue?@action=redirect&bpo=24806]: Prevent builtin types that are not allowed to be subclassed from being subclassed through multiple inheritance.

bpo-24848 [https://bugs.python.org/issue?@action=redirect&bpo=24848]: Fixed a number of bugs in UTF-7 decoding of misformed data.

bpo-25280 [https://bugs.python.org/issue?@action=redirect&bpo=25280]: Import trace messages emitted in verbose (-v) mode are no longer formatted twice.

bpo-25003 [https://bugs.python.org/issue?@action=redirect&bpo=25003]: On Solaris 11.3 or newer, os.urandom() now uses the getrandom() function instead of the getentropy() function. The getentropy() function is blocking to generate very good quality entropy, os.urandom() doesn’t need such high-quality entropy.

bpo-25182 [https://bugs.python.org/issue?@action=redirect&bpo=25182]: The stdprinter (used as sys.stderr before the io module is imported at startup) now uses the backslashreplace error handler.

bpo-25131 [https://bugs.python.org/issue?@action=redirect&bpo=25131]: Make the line number and column offset of set/dict literals and comprehensions correspond to the opening brace.

bpo-25150 [https://bugs.python.org/issue?@action=redirect&bpo=25150]: Hide the private _Py_atomic_xxx symbols from the public Python.h header to fix a compilation error with OpenMP. PyThreadState_GET() becomes an alias to PyThreadState_Get() to avoid ABI incompatibilities.

Library

bpo-25626 [https://bugs.python.org/issue?@action=redirect&bpo=25626]: Change three zlib functions to accept sizes that fit in Py_ssize_t, but internally cap those sizes to UINT_MAX. This resolves a regression in 3.5 where GzipFile.read() failed to read chunks larger than 2 or 4 GiB. The change affects the zlib.Decompress.decompress() max_length parameter, the zlib.decompress() bufsize parameter, and the zlib.Decompress.flush() length parameter.

bpo-25583 [https://bugs.python.org/issue?@action=redirect&bpo=25583]: Avoid incorrect errors raised by os.makedirs(exist_ok=True) when the OS gives priority to errors such as EACCES over EEXIST.

bpo-25593 [https://bugs.python.org/issue?@action=redirect&bpo=25593]: Change semantics of EventLoop.stop() in asyncio.

bpo-6973 [https://bugs.python.org/issue?@action=redirect&bpo=6973]: When we know a subprocess.Popen process has died, do not allow the send_signal(), terminate(), or kill() methods to do anything as they could potentially signal a different process.

bpo-25590 [https://bugs.python.org/issue?@action=redirect&bpo=25590]: In the Readline completer, only call getattr() once per attribute.

bpo-25498 [https://bugs.python.org/issue?@action=redirect&bpo=25498]: Fix a crash when garbage-collecting ctypes objects created by wrapping a memoryview. This was a regression made in 3.5a1. Based on patch by Eryksun.

bpo-25584 [https://bugs.python.org/issue?@action=redirect&bpo=25584]: Added “escape” to the __all__ list in the glob module.

bpo-25584 [https://bugs.python.org/issue?@action=redirect&bpo=25584]: Fixed recursive glob() with patterns starting with **.

bpo-25446 [https://bugs.python.org/issue?@action=redirect&bpo=25446]: Fix regression in smtplib’s AUTH LOGIN support.

bpo-18010 [https://bugs.python.org/issue?@action=redirect&bpo=18010]: Fix the pydoc web server’s module search function to handle exceptions from importing packages.

bpo-25554 [https://bugs.python.org/issue?@action=redirect&bpo=25554]: Got rid of circular references in regular expression parsing.

bpo-25510 [https://bugs.python.org/issue?@action=redirect&bpo=25510]: fileinput.FileInput.readline() now returns b’’ instead of ‘’ at the end if the FileInput was opened with binary mode. Patch by Ryosuke Ito.

bpo-25503 [https://bugs.python.org/issue?@action=redirect&bpo=25503]: Fixed inspect.getdoc() for inherited docstrings of properties. Original patch by John Mark Vandenberg.

bpo-25515 [https://bugs.python.org/issue?@action=redirect&bpo=25515]: Always use os.urandom as a source of randomness in uuid.uuid4.

bpo-21827 [https://bugs.python.org/issue?@action=redirect&bpo=21827]: Fixed textwrap.dedent() for the case when largest common whitespace is a substring of smallest leading whitespace. Based on patch by Robert Li.

bpo-25447 [https://bugs.python.org/issue?@action=redirect&bpo=25447]: The lru_cache() wrapper objects now can be copied and pickled (by returning the original object unchanged).

bpo-25390 [https://bugs.python.org/issue?@action=redirect&bpo=25390]: typing: Don’t crash on Union[str, Pattern].

bpo-25441 [https://bugs.python.org/issue?@action=redirect&bpo=25441]: asyncio: Raise error from drain() when socket is closed.

bpo-25410 [https://bugs.python.org/issue?@action=redirect&bpo=25410]: Cleaned up and fixed minor bugs in C implementation of OrderedDict.

bpo-25411 [https://bugs.python.org/issue?@action=redirect&bpo=25411]: Improved Unicode support in SMTPHandler through better use of the email package. Thanks to user simon04 for the patch.

bpo-25407 [https://bugs.python.org/issue?@action=redirect&bpo=25407]: Remove mentions of the formatter module being removed in Python 3.6.

bpo-25406 [https://bugs.python.org/issue?@action=redirect&bpo=25406]: Fixed a bug in C implementation of OrderedDict.move_to_end() that caused segmentation fault or hang in iterating after moving several items to the start of ordered dict.

bpo-25364 [https://bugs.python.org/issue?@action=redirect&bpo=25364]: zipfile now works in threads disabled builds.

bpo-25328 [https://bugs.python.org/issue?@action=redirect&bpo=25328]: smtpd’s SMTPChannel now correctly raises a ValueError if both decode_data and enable_SMTPUTF8 are set to true.

bpo-25316 [https://bugs.python.org/issue?@action=redirect&bpo=25316]: distutils raises OSError instead of DistutilsPlatformError when MSVC is not installed.

bpo-25380 [https://bugs.python.org/issue?@action=redirect&bpo=25380]: Fixed protocol for the STACK_GLOBAL opcode in pickletools.opcodes.

bpo-23972 [https://bugs.python.org/issue?@action=redirect&bpo=23972]: Updates asyncio datagram create method allowing reuseport and reuseaddr socket options to be set prior to binding the socket. Mirroring the existing asyncio create_server method the reuseaddr option for datagram sockets defaults to True if the O/S is ‘posix’ (except if the platform is Cygwin). Patch by Chris Laws.

bpo-25304 [https://bugs.python.org/issue?@action=redirect&bpo=25304]: Add asyncio.run_coroutine_threadsafe(). This lets you submit a coroutine to a loop from another thread, returning a concurrent.futures.Future. By Vincent Michel.

bpo-25232 [https://bugs.python.org/issue?@action=redirect&bpo=25232]: Fix CGIRequestHandler to split the query from the URL at the first question mark (?) rather than the last. Patch from Xiang Zhang.

bpo-24657 [https://bugs.python.org/issue?@action=redirect&bpo=24657]: Prevent CGIRequestHandler from collapsing slashes in the query part of the URL as if it were a path. Patch from Xiang Zhang.

bpo-24483 [https://bugs.python.org/issue?@action=redirect&bpo=24483]: C implementation of functools.lru_cache() now calculates key’s hash only once.

bpo-22958 [https://bugs.python.org/issue?@action=redirect&bpo=22958]: Constructor and update method of weakref.WeakValueDictionary now accept the self and the dict keyword arguments.

bpo-22609 [https://bugs.python.org/issue?@action=redirect&bpo=22609]: Constructor of collections.UserDict now accepts the self keyword argument.

bpo-25111 [https://bugs.python.org/issue?@action=redirect&bpo=25111]: Fixed comparison of traceback.FrameSummary.

bpo-25262 [https://bugs.python.org/issue?@action=redirect&bpo=25262]: Added support for BINBYTES8 opcode in Python implementation of unpickler. Highest 32 bits of 64-bit size for BINUNICODE8 and BINBYTES8 opcodes no longer silently ignored on 32-bit platforms in C implementation.

bpo-25034 [https://bugs.python.org/issue?@action=redirect&bpo=25034]: Fix string.Formatter problem with auto-numbering and nested format_specs. Patch by Anthon van der Neut.

bpo-25233 [https://bugs.python.org/issue?@action=redirect&bpo=25233]: Rewrite the guts of asyncio.Queue and asyncio.Semaphore to be more understandable and correct.

bpo-25203 [https://bugs.python.org/issue?@action=redirect&bpo=25203]: Failed readline.set_completer_delims() no longer left the module in inconsistent state.

bpo-23600 [https://bugs.python.org/issue?@action=redirect&bpo=23600]: Default implementation of tzinfo.fromutc() was returning wrong results in some cases.

bpo-23329 [https://bugs.python.org/issue?@action=redirect&bpo=23329]: Allow the ssl module to be built with older versions of LibreSSL.

Prevent overflow in _Unpickler_Read.

bpo-25047 [https://bugs.python.org/issue?@action=redirect&bpo=25047]: The XML encoding declaration written by Element Tree now respects the letter case given by the user. This restores the ability to write encoding names in uppercase like “UTF-8”, which worked in Python 2.

bpo-25135 [https://bugs.python.org/issue?@action=redirect&bpo=25135]: Make deque_clear() safer by emptying the deque before clearing. This helps avoid possible reentrancy issues.

bpo-19143 [https://bugs.python.org/issue?@action=redirect&bpo=19143]: platform module now reads Windows version from kernel32.dll to avoid compatibility shims.

bpo-25092 [https://bugs.python.org/issue?@action=redirect&bpo=25092]: Fix datetime.strftime() failure when errno was already set to EINVAL.

bpo-23517 [https://bugs.python.org/issue?@action=redirect&bpo=23517]: Fix rounding in fromtimestamp() and utcfromtimestamp() methods of datetime.datetime: microseconds are now rounded to nearest with ties going to nearest even integer (ROUND_HALF_EVEN), instead of being rounding towards minus infinity (ROUND_FLOOR). It’s important that these methods use the same rounding mode than datetime.timedelta to keep the property: (datetime(1970,1,1) + timedelta(seconds=t)) == datetime.utcfromtimestamp(t). It also the rounding mode used by round(float) for example.

bpo-25155 [https://bugs.python.org/issue?@action=redirect&bpo=25155]: Fix datetime.datetime.now() and datetime.datetime.utcnow() on Windows to support date after year 2038. It was a regression introduced in Python 3.5.0.

bpo-25108 [https://bugs.python.org/issue?@action=redirect&bpo=25108]: Omitted internal frames in traceback functions print_stack(), format_stack(), and extract_stack() called without arguments.

bpo-25118 [https://bugs.python.org/issue?@action=redirect&bpo=25118]: Fix a regression of Python 3.5.0 in os.waitpid() on Windows.

bpo-24684 [https://bugs.python.org/issue?@action=redirect&bpo=24684]: socket.socket.getaddrinfo() now calls PyUnicode_AsEncodedString() instead of calling the encode() method of the host, to handle correctly custom string with an encode() method which doesn’t return a byte string. The encoder of the IDNA codec is now called directly instead of calling the encode() method of the string.

bpo-25060 [https://bugs.python.org/issue?@action=redirect&bpo=25060]: Correctly compute stack usage of the BUILD_MAP opcode.

bpo-24857 [https://bugs.python.org/issue?@action=redirect&bpo=24857]: Comparing call_args to a long sequence now correctly returns a boolean result instead of raising an exception. Patch by A Kaptur.

bpo-23144 [https://bugs.python.org/issue?@action=redirect&bpo=23144]: Make sure that HTMLParser.feed() returns all the data, even when convert_charrefs is True.

bpo-24982 [https://bugs.python.org/issue?@action=redirect&bpo=24982]: shutil.make_archive() with the “zip” format now adds entries for directories (including empty directories) in ZIP file.

bpo-25019 [https://bugs.python.org/issue?@action=redirect&bpo=25019]: Fixed a crash caused by setting non-string key of expat parser. Based on patch by John Leitch.

bpo-16180 [https://bugs.python.org/issue?@action=redirect&bpo=16180]: Exit pdb if file has syntax error, instead of trapping user in an infinite loop. Patch by Xavier de Gaye.

bpo-24891 [https://bugs.python.org/issue?@action=redirect&bpo=24891]: Fix a race condition at Python startup if the file descriptor of stdin (0), stdout (1) or stderr (2) is closed while Python is creating sys.stdin, sys.stdout and sys.stderr objects. These attributes are now set to None if the creation of the object failed, instead of raising an OSError exception. Initial patch written by Marco Paolini.

bpo-24992 [https://bugs.python.org/issue?@action=redirect&bpo=24992]: Fix error handling and a race condition (related to garbage collection) in collections.OrderedDict constructor.

bpo-24881 [https://bugs.python.org/issue?@action=redirect&bpo=24881]: Fixed setting binary mode in Python implementation of FileIO on Windows and Cygwin. Patch from Akira Li.

bpo-25578 [https://bugs.python.org/issue?@action=redirect&bpo=25578]: Fix (another) memory leak in SSLSocket.getpeercer().

bpo-25530 [https://bugs.python.org/issue?@action=redirect&bpo=25530]: Disable the vulnerable SSLv3 protocol by default when creating ssl.SSLContext.

bpo-25569 [https://bugs.python.org/issue?@action=redirect&bpo=25569]: Fix memory leak in SSLSocket.getpeercert().

bpo-25471 [https://bugs.python.org/issue?@action=redirect&bpo=25471]: Sockets returned from accept() shouldn’t appear to be nonblocking.

bpo-25319 [https://bugs.python.org/issue?@action=redirect&bpo=25319]: When threading.Event is reinitialized, the underlying condition should use a regular lock rather than a recursive lock.

bpo-21112 [https://bugs.python.org/issue?@action=redirect&bpo=21112]: Fix regression in unittest.expectedFailure on subclasses. Patch from Berker Peksag.

bpo-24764 [https://bugs.python.org/issue?@action=redirect&bpo=24764]: cgi.FieldStorage.read_multi() now ignores the Content-Length header in part headers. Patch written by Peter Landry and reviewed by Pierre Quentel.

bpo-24913 [https://bugs.python.org/issue?@action=redirect&bpo=24913]: Fix overrun error in deque.index(). Found by John Leitch and Bryce Darling.

bpo-24774 [https://bugs.python.org/issue?@action=redirect&bpo=24774]: Fix docstring in http.server.test. Patch from Chiu-Hsiang Hsu.

bpo-21159 [https://bugs.python.org/issue?@action=redirect&bpo=21159]: Improve message in configparser.InterpolationMissingOptionError. Patch from Łukasz Langa.

bpo-20362 [https://bugs.python.org/issue?@action=redirect&bpo=20362]: Honour TestCase.longMessage correctly in assertRegex. Patch from Ilia Kurenkov.

bpo-23572 [https://bugs.python.org/issue?@action=redirect&bpo=23572]: Fixed functools.singledispatch on classes with false metaclasses. Patch by Ethan Furman.

asyncio: ensure_future() now accepts awaitable objects.

IDLE

bpo-15348 [https://bugs.python.org/issue?@action=redirect&bpo=15348]: Stop the debugger engine (normally in a user process) before closing the debugger window (running in the IDLE process). This prevents the RuntimeErrors that were being caught and ignored.

bpo-24455 [https://bugs.python.org/issue?@action=redirect&bpo=24455]: Prevent IDLE from hanging when a) closing the shell while the debugger is active (15347); b) closing the debugger with the [X] button (15348); and c) activating the debugger when already active (24455). The patch by Mark Roseman does this by making two changes. 1. Suspend and resume the gui.interaction method with the tcl vwait mechanism intended for this purpose (instead of root.mainloop & .quit). 2. In gui.run, allow any existing interaction to terminate first.

Change ‘The program’ to ‘Your program’ in an IDLE ‘kill program?’ message to make it clearer that the program referred to is the currently running user program, not IDLE itself.

bpo-24750 [https://bugs.python.org/issue?@action=redirect&bpo=24750]: Improve the appearance of the IDLE editor window status bar. Patch by Mark Roseman.

bpo-25313 [https://bugs.python.org/issue?@action=redirect&bpo=25313]: Change the handling of new built-in text color themes to better address the compatibility problem introduced by the addition of IDLE Dark. Consistently use the revised idleConf.CurrentTheme everywhere in idlelib.

bpo-24782 [https://bugs.python.org/issue?@action=redirect&bpo=24782]: Extension configuration is now a tab in the IDLE Preferences dialog rather than a separate dialog. The former tabs are now a sorted list. Patch by Mark Roseman.

bpo-22726 [https://bugs.python.org/issue?@action=redirect&bpo=22726]: Re-activate the config dialog help button with some content about the other buttons and the new IDLE Dark theme.

bpo-24820 [https://bugs.python.org/issue?@action=redirect&bpo=24820]: IDLE now has an ‘IDLE Dark’ built-in text color theme. It is more or less IDLE Classic inverted, with a cobalt blue background. Strings, comments, keywords, … are still green, red, orange, … . To use it with IDLEs released before November 2015, hit the ‘Save as New Custom Theme’ button and enter a new name, such as ‘Custom Dark’. The custom theme will work with any IDLE release, and can be modified.

bpo-25224 [https://bugs.python.org/issue?@action=redirect&bpo=25224]: README.txt is now an idlelib index for IDLE developers and curious users. The previous user content is now in the IDLE doc chapter. ‘IDLE’ now means ‘Integrated Development and Learning Environment’.

bpo-24820 [https://bugs.python.org/issue?@action=redirect&bpo=24820]: Users can now set breakpoint colors in Settings -> Custom Highlighting. Original patch by Mark Roseman.

bpo-24972 [https://bugs.python.org/issue?@action=redirect&bpo=24972]: Inactive selection background now matches active selection background, as configured by users, on all systems. Found items are now always highlighted on Windows. Initial patch by Mark Roseman.

bpo-24570 [https://bugs.python.org/issue?@action=redirect&bpo=24570]: Idle: make calltip and completion boxes appear on Macs affected by a tk regression. Initial patch by Mark Roseman.

bpo-24988 [https://bugs.python.org/issue?@action=redirect&bpo=24988]: Idle ScrolledList context menus (used in debugger) now work on Mac Aqua. Patch by Mark Roseman.

bpo-24801 [https://bugs.python.org/issue?@action=redirect&bpo=24801]: Make right-click for context menu work on Mac Aqua. Patch by Mark Roseman.

bpo-25173 [https://bugs.python.org/issue?@action=redirect&bpo=25173]: Associate tkinter messageboxes with a specific widget. For Mac OSX, make them a ‘sheet’. Patch by Mark Roseman.

bpo-25198 [https://bugs.python.org/issue?@action=redirect&bpo=25198]: Enhance the initial html viewer now used for Idle Help. Properly indent fixed-pitch text (patch by Mark Roseman). Give code snippet a very Sphinx-like light blueish-gray background. Re-use initial width and height set by users for shell and editor. When the Table of Contents (TOC) menu is used, put the section header at the top of the screen.

bpo-25225 [https://bugs.python.org/issue?@action=redirect&bpo=25225]: Condense and rewrite Idle doc section on text colors.

bpo-21995 [https://bugs.python.org/issue?@action=redirect&bpo=21995]: Explain some differences between IDLE and console Python.

bpo-22820 [https://bugs.python.org/issue?@action=redirect&bpo=22820]: Explain need for print when running file from Idle editor.

bpo-25224 [https://bugs.python.org/issue?@action=redirect&bpo=25224]: Doc: augment Idle feature list and no-subprocess section.

bpo-25219 [https://bugs.python.org/issue?@action=redirect&bpo=25219]: Update doc for Idle command line options. Some were missing and notes were not correct.

bpo-24861 [https://bugs.python.org/issue?@action=redirect&bpo=24861]: Most of idlelib is private and subject to change. Use idleib.idle.* to start Idle. See idlelib.__init__.__doc__.

bpo-25199 [https://bugs.python.org/issue?@action=redirect&bpo=25199]: Idle: add synchronization comments for future maintainers.

bpo-16893 [https://bugs.python.org/issue?@action=redirect&bpo=16893]: Replace help.txt with help.html for Idle doc display. The new idlelib/help.html is rstripped Doc/build/html/library/idle.html. It looks better than help.txt and will better document Idle as released. The tkinter html viewer that works for this file was written by Mark Roseman. The now unused EditorWindow.HelpDialog class and helt.txt file are deprecated.

bpo-24199 [https://bugs.python.org/issue?@action=redirect&bpo=24199]: Deprecate unused idlelib.idlever with possible removal in 3.6.

bpo-24790 [https://bugs.python.org/issue?@action=redirect&bpo=24790]: Remove extraneous code (which also create 2 & 3 conflicts).

Documentation

bpo-22558 [https://bugs.python.org/issue?@action=redirect&bpo=22558]: Add remaining doc links to source code for Python-coded modules. Patch by Yoni Lavi.

bpo-12067 [https://bugs.python.org/issue?@action=redirect&bpo=12067]: Rewrite Comparisons section in the Expressions chapter of the language reference. Some of the details of comparing mixed types were incorrect or ambiguous. NotImplemented is only relevant at a lower level than the Expressions chapter. Added details of comparing range() objects, and default behaviour and consistency suggestions for user-defined classes. Patch from Andy Maier.

bpo-24952 [https://bugs.python.org/issue?@action=redirect&bpo=24952]: Clarify the default size argument of stack_size() in the “threading” and “_thread” modules. Patch from Mattip.

bpo-23725 [https://bugs.python.org/issue?@action=redirect&bpo=23725]: Overhaul tempfile docs. Note deprecated status of mktemp. Patch from Zbigniew Jędrzejewski-Szmek.

bpo-24808 [https://bugs.python.org/issue?@action=redirect&bpo=24808]: Update the types of some PyTypeObject fields. Patch by Joseph Weston.

bpo-22812 [https://bugs.python.org/issue?@action=redirect&bpo=22812]: Fix unittest discovery examples. Patch from Pam McA’Nulty.

Tests

bpo-25449 [https://bugs.python.org/issue?@action=redirect&bpo=25449]: Added tests for OrderedDict subclasses.

bpo-25099 [https://bugs.python.org/issue?@action=redirect&bpo=25099]: Make test_compileall not fail when an entry on sys.path cannot be written to (commonly seen in administrative installs on Windows).

bpo-23919 [https://bugs.python.org/issue?@action=redirect&bpo=23919]: Prevents assert dialogs appearing in the test suite.

PCbuild\rt.bat now accepts an unlimited number of arguments to pass along to regrtest.py. Previously there was a limit of 9.

Build

bpo-24915 [https://bugs.python.org/issue?@action=redirect&bpo=24915]: Add LLVM support for PGO builds and use the test suite to generate the profile data. Initial patch by Alecsandru Patrascu of Intel.

bpo-24910 [https://bugs.python.org/issue?@action=redirect&bpo=24910]: Windows MSIs now have unique display names.

bpo-24986 [https://bugs.python.org/issue?@action=redirect&bpo=24986]: It is now possible to build Python on Windows without errors when external libraries are not available.

Windows

bpo-25450 [https://bugs.python.org/issue?@action=redirect&bpo=25450]: Updates shortcuts to start Python in installation directory.

bpo-25164 [https://bugs.python.org/issue?@action=redirect&bpo=25164]: Changes default all-users install directory to match per-user directory.

bpo-25143 [https://bugs.python.org/issue?@action=redirect&bpo=25143]: Improves installer error messages for unsupported platforms.

bpo-25163 [https://bugs.python.org/issue?@action=redirect&bpo=25163]: Display correct directory in installer when using non-default settings.

bpo-25361 [https://bugs.python.org/issue?@action=redirect&bpo=25361]: Disables use of SSE2 instructions in Windows 32-bit build

bpo-25089 [https://bugs.python.org/issue?@action=redirect&bpo=25089]: Adds logging to installer for case where launcher is not selected on upgrade.

bpo-25165 [https://bugs.python.org/issue?@action=redirect&bpo=25165]: Windows uninstallation should not remove launcher if other versions remain

bpo-25112 [https://bugs.python.org/issue?@action=redirect&bpo=25112]: py.exe launcher is missing icons

bpo-25102 [https://bugs.python.org/issue?@action=redirect&bpo=25102]: Windows installer does not precompile for -O or -OO.

bpo-25081 [https://bugs.python.org/issue?@action=redirect&bpo=25081]: Makes Back button in installer go back to upgrade page when upgrading.

bpo-25091 [https://bugs.python.org/issue?@action=redirect&bpo=25091]: Increases font size of the installer.

bpo-25126 [https://bugs.python.org/issue?@action=redirect&bpo=25126]: Clarifies that the non-web installer will download some components.

bpo-25213 [https://bugs.python.org/issue?@action=redirect&bpo=25213]: Restores requestedExecutionLevel to manifest to disable UAC virtualization.

bpo-25022 [https://bugs.python.org/issue?@action=redirect&bpo=25022]: Removed very outdated PC/example_nt/ directory.

Tools/Demos

bpo-25440 [https://bugs.python.org/issue?@action=redirect&bpo=25440]: Fix output of python-config –extension-suffix.

Python 3.5.0 final

Release date: 2015-09-13

Build

bpo-25071 [https://bugs.python.org/issue?@action=redirect&bpo=25071]: Windows installer should not require TargetDir parameter when installing quietly.

Python 3.5.0 release candidate 4

Release date: 2015-09-09

Library

bpo-25029 [https://bugs.python.org/issue?@action=redirect&bpo=25029]: Fixes MemoryError in test_strptime.

Build

bpo-25027 [https://bugs.python.org/issue?@action=redirect&bpo=25027]: Reverts partial-static build options and adds vcruntime140.dll to Windows installation.

Python 3.5.0 release candidate 3

Release date: 2015-09-07

Core and Builtins

bpo-24305 [https://bugs.python.org/issue?@action=redirect&bpo=24305]: Prevent import subsystem stack frames from being counted by the warnings.warn(stacklevel=) parameter.

bpo-24912 [https://bugs.python.org/issue?@action=redirect&bpo=24912]: Prevent __class__ assignment to immutable built-in objects.

bpo-24975 [https://bugs.python.org/issue?@action=redirect&bpo=24975]: Fix AST compilation for PEP 448 [https://peps.python.org/pep-0448/] syntax.

Library

bpo-24917 [https://bugs.python.org/issue?@action=redirect&bpo=24917]: time_strftime() buffer over-read.

bpo-24748 [https://bugs.python.org/issue?@action=redirect&bpo=24748]: To resolve a compatibility problem found with py2exe and pywin32, imp.load_dynamic() once again ignores previously loaded modules to support Python modules replacing themselves with extension modules. Patch by Petr Viktorin.

bpo-24635 [https://bugs.python.org/issue?@action=redirect&bpo=24635]: Fixed a bug in typing.py where isinstance([], typing.Iterable) would return True once, then False on subsequent calls.

bpo-24989 [https://bugs.python.org/issue?@action=redirect&bpo=24989]: Fixed buffer overread in BytesIO.readline() if a position is set beyond size. Based on patch by John Leitch.

bpo-24913 [https://bugs.python.org/issue?@action=redirect&bpo=24913]: Fix overrun error in deque.index(). Found by John Leitch and Bryce Darling.

Python 3.5.0 release candidate 2

Release date: 2015-08-25

Core and Builtins

bpo-24769 [https://bugs.python.org/issue?@action=redirect&bpo=24769]: Interpreter now starts properly when dynamic loading is disabled. Patch by Petr Viktorin.

bpo-21167 [https://bugs.python.org/issue?@action=redirect&bpo=21167]: NAN operations are now handled correctly when python is compiled with ICC even if -fp-model strict is not specified.

bpo-24492 [https://bugs.python.org/issue?@action=redirect&bpo=24492]: A “package” lacking a __name__ attribute when trying to perform a from .. import ... statement will trigger an ImportError instead of an AttributeError.

Library

bpo-24847 [https://bugs.python.org/issue?@action=redirect&bpo=24847]: Removes vcruntime140.dll dependency from Tcl/Tk.

bpo-24839 [https://bugs.python.org/issue?@action=redirect&bpo=24839]: platform._syscmd_ver raises DeprecationWarning

bpo-24867 [https://bugs.python.org/issue?@action=redirect&bpo=24867]: Fix Task.get_stack() for ‘async def’ coroutines

Python 3.5.0 release candidate 1

Release date: 2015-08-09

Core and Builtins

bpo-24667 [https://bugs.python.org/issue?@action=redirect&bpo=24667]: Resize odict in all cases that the underlying dict resizes.

Library

bpo-24824 [https://bugs.python.org/issue?@action=redirect&bpo=24824]: Signatures of codecs.encode() and codecs.decode() now are compatible with pydoc.

bpo-24634 [https://bugs.python.org/issue?@action=redirect&bpo=24634]: Importing uuid should not try to load libc on Windows

bpo-24798 [https://bugs.python.org/issue?@action=redirect&bpo=24798]: _msvccompiler.py doesn’t properly support manifests

bpo-4395 [https://bugs.python.org/issue?@action=redirect&bpo=4395]: Better testing and documentation of binary operators. Patch by Martin Panter.

bpo-23973 [https://bugs.python.org/issue?@action=redirect&bpo=23973]: Update typing.py from GitHub repo.

bpo-23004 [https://bugs.python.org/issue?@action=redirect&bpo=23004]: mock_open() now reads binary data correctly when the type of read_data is bytes. Initial patch by Aaron Hill.

bpo-23888 [https://bugs.python.org/issue?@action=redirect&bpo=23888]: Handle fractional time in cookie expiry. Patch by ssh.

bpo-23652 [https://bugs.python.org/issue?@action=redirect&bpo=23652]: Make it possible to compile the select module against the libc headers from the Linux Standard Base, which do not include some EPOLL macros. Patch by Matt Frank.

bpo-22932 [https://bugs.python.org/issue?@action=redirect&bpo=22932]: Fix timezones in email.utils.formatdate. Patch from Dmitry Shachnev.

bpo-23779 [https://bugs.python.org/issue?@action=redirect&bpo=23779]: imaplib raises TypeError if authenticator tries to abort. Patch from Craig Holmquist.

bpo-23319 [https://bugs.python.org/issue?@action=redirect&bpo=23319]: Fix ctypes.BigEndianStructure, swap correctly bytes. Patch written by Matthieu Gautier.

bpo-23254 [https://bugs.python.org/issue?@action=redirect&bpo=23254]: Document how to close the TCPServer listening socket. Patch from Martin Panter.

bpo-19450 [https://bugs.python.org/issue?@action=redirect&bpo=19450]: Update Windows and OS X installer builds to use SQLite 3.8.11.

bpo-17527 [https://bugs.python.org/issue?@action=redirect&bpo=17527]: Add PATCH to wsgiref.validator. Patch from Luca Sbardella.

bpo-24791 [https://bugs.python.org/issue?@action=redirect&bpo=24791]: Fix grammar regression for call syntax: ‘g(*a or b)’.

IDLE

bpo-23672 [https://bugs.python.org/issue?@action=redirect&bpo=23672]: Allow Idle to edit and run files with astral chars in name. Patch by Mohd Sanad Zaki Rizvi.

bpo-24745 [https://bugs.python.org/issue?@action=redirect&bpo=24745]: Idle editor default font. Switch from Courier to platform-sensitive TkFixedFont. This should not affect current customized font selections. If there is a problem, edit $HOME/.idlerc/config-main.cfg and remove ‘fontxxx’ entries from [Editor Window]. Patch by Mark Roseman.

bpo-21192 [https://bugs.python.org/issue?@action=redirect&bpo=21192]: Idle editor. When a file is run, put its name in the restart bar. Do not print false prompts. Original patch by Adnan Umer.

bpo-13884 [https://bugs.python.org/issue?@action=redirect&bpo=13884]: Idle menus. Remove tearoff lines. Patch by Roger Serwy.

Documentation

bpo-24129 [https://bugs.python.org/issue?@action=redirect&bpo=24129]: Clarify the reference documentation for name resolution. This includes removing the assumption that readers will be familiar with the name resolution scheme Python used prior to the introduction of lexical scoping for function namespaces. Patch by Ivan Levkivskyi.

bpo-20769 [https://bugs.python.org/issue?@action=redirect&bpo=20769]: Improve reload() docs. Patch by Dorian Pula.

bpo-23589 [https://bugs.python.org/issue?@action=redirect&bpo=23589]: Remove duplicate sentence from the FAQ. Patch by Yongzhi Pan.

bpo-24729 [https://bugs.python.org/issue?@action=redirect&bpo=24729]: Correct IO tutorial to match implementation regarding encoding parameter to open function.

Tests

bpo-24751 [https://bugs.python.org/issue?@action=redirect&bpo=24751]: When running regrtest with the -w command line option, a test run is no longer marked as a failure if all tests succeed when re-run.

Python 3.5.0 beta 4

Release date: 2015-07-26

Core and Builtins

bpo-23573 [https://bugs.python.org/issue?@action=redirect&bpo=23573]: Restored optimization of bytes.rfind() and bytearray.rfind() for single-byte argument on Linux.

bpo-24569 [https://bugs.python.org/issue?@action=redirect&bpo=24569]: Make PEP 448 [https://peps.python.org/pep-0448/] dictionary evaluation more consistent.

bpo-24583 [https://bugs.python.org/issue?@action=redirect&bpo=24583]: Fix crash when set is mutated while being updated.

bpo-24407 [https://bugs.python.org/issue?@action=redirect&bpo=24407]: Fix crash when dict is mutated while being updated.

bpo-24619 [https://bugs.python.org/issue?@action=redirect&bpo=24619]: New approach for tokenizing async/await. As a consequence, it is now possible to have one-line ‘async def foo(): await ..’ functions.

bpo-24687 [https://bugs.python.org/issue?@action=redirect&bpo=24687]: Plug refleak on SyntaxError in function parameters annotations.

bpo-15944 [https://bugs.python.org/issue?@action=redirect&bpo=15944]: memoryview: Allow arbitrary formats when casting to bytes. Patch by Martin Panter.

Library

bpo-23441 [https://bugs.python.org/issue?@action=redirect&bpo=23441]: rcompleter now prints a tab character instead of displaying possible completions for an empty word. Initial patch by Martin Sekera.

bpo-24683 [https://bugs.python.org/issue?@action=redirect&bpo=24683]: Fixed crashes in _json functions called with arguments of inappropriate type.

bpo-21697 [https://bugs.python.org/issue?@action=redirect&bpo=21697]: shutil.copytree() now correctly handles symbolic links that point to directories. Patch by Eduardo Seabra and Thomas Kluyver.

bpo-14373 [https://bugs.python.org/issue?@action=redirect&bpo=14373]: Fixed segmentation fault when gc.collect() is called during constructing lru_cache (C implementation).

bpo-24695 [https://bugs.python.org/issue?@action=redirect&bpo=24695]: Fix a regression in traceback.print_exception(). If exc_traceback is None we shouldn’t print a traceback header like described in the documentation.

bpo-24620 [https://bugs.python.org/issue?@action=redirect&bpo=24620]: Random.setstate() now validates the value of state last element.

bpo-22485 [https://bugs.python.org/issue?@action=redirect&bpo=22485]: Fixed an issue that caused inspect.getsource to return incorrect results on nested functions.

bpo-22153 [https://bugs.python.org/issue?@action=redirect&bpo=22153]: Improve unittest docs. Patch from Martin Panter and evilzero.

bpo-24580 [https://bugs.python.org/issue?@action=redirect&bpo=24580]: Symbolic group references to open group in re patterns now are explicitly forbidden as well as numeric group references.

bpo-24206 [https://bugs.python.org/issue?@action=redirect&bpo=24206]: Fixed __eq__ and __ne__ methods of inspect classes.

bpo-24631 [https://bugs.python.org/issue?@action=redirect&bpo=24631]: Fixed regression in the timeit module with multiline setup.

bpo-18622 [https://bugs.python.org/issue?@action=redirect&bpo=18622]: unittest.mock.mock_open().reset_mock would recurse infinitely. Patch from Nicola Palumbo and Laurent De Buyst.

bpo-23661 [https://bugs.python.org/issue?@action=redirect&bpo=23661]: unittest.mock side_effects can now be exceptions again. This was a regression vs Python 3.4. Patch from Ignacio Rossi

bpo-24608 [https://bugs.python.org/issue?@action=redirect&bpo=24608]: chunk.Chunk.read() now always returns bytes, not str.

bpo-18684 [https://bugs.python.org/issue?@action=redirect&bpo=18684]: Fixed reading out of the buffer in the re module.

bpo-24259 [https://bugs.python.org/issue?@action=redirect&bpo=24259]: tarfile now raises a ReadError if an archive is truncated inside a data segment.

bpo-15014 [https://bugs.python.org/issue?@action=redirect&bpo=15014]: SMTP.auth() and SMTP.login() now support RFC 4954’s optional initial-response argument to the SMTP AUTH command.

bpo-24669 [https://bugs.python.org/issue?@action=redirect&bpo=24669]: Fix inspect.getsource() for ‘async def’ functions. Patch by Kai Groner.

bpo-24688 [https://bugs.python.org/issue?@action=redirect&bpo=24688]: ast.get_docstring() for ‘async def’ functions.

Build

bpo-24603 [https://bugs.python.org/issue?@action=redirect&bpo=24603]: Update Windows builds and OS X 10.5 installer to use OpenSSL 1.0.2d.

Python 3.5.0 beta 3

Release date: 2015-07-05

Core and Builtins

bpo-24467 [https://bugs.python.org/issue?@action=redirect&bpo=24467]: Fixed possible buffer over-read in bytearray. The bytearray object now always allocates place for trailing null byte and it’s buffer now is always null-terminated.

Upgrade to Unicode 8.0.0.

bpo-24345 [https://bugs.python.org/issue?@action=redirect&bpo=24345]: Add Py_tp_finalize slot for the stable ABI.

bpo-24400 [https://bugs.python.org/issue?@action=redirect&bpo=24400]: Introduce a distinct type for PEP 492 [https://peps.python.org/pep-0492/] coroutines; add types.CoroutineType, inspect.getcoroutinestate, inspect.getcoroutinelocals; coroutines no longer use CO_GENERATOR flag; sys.set_coroutine_wrapper works only for ‘async def’ coroutines; inspect.iscoroutine no longer uses collections.abc.Coroutine, it’s intended to test for pure ‘async def’ coroutines only; add new opcode: GET_YIELD_FROM_ITER; fix generators wrapper used in types.coroutine to be instance of collections.abc.Generator; collections.abc.Awaitable and collections.abc.Coroutine can no longer be used to detect generator-based coroutines–use inspect.isawaitable instead.

bpo-24450 [https://bugs.python.org/issue?@action=redirect&bpo=24450]: Add gi_yieldfrom to generators and cr_await to coroutines. Contributed by Benno Leslie and Yury Selivanov.

bpo-19235 [https://bugs.python.org/issue?@action=redirect&bpo=19235]: Add new RecursionError exception. Patch by Georg Brandl.

Library

bpo-21750 [https://bugs.python.org/issue?@action=redirect&bpo=21750]: mock_open.read_data can now be read from each instance, as it could in Python 3.3.

bpo-24552 [https://bugs.python.org/issue?@action=redirect&bpo=24552]: Fix use after free in an error case of the _pickle module.

bpo-24514 [https://bugs.python.org/issue?@action=redirect&bpo=24514]: tarfile now tolerates number fields consisting of only whitespace.

bpo-19176 [https://bugs.python.org/issue?@action=redirect&bpo=19176]: Fixed doctype() related bugs in C implementation of ElementTree. A deprecation warning no longer issued by XMLParser subclass with default doctype() method. Direct call of doctype() now issues a warning. Parser’s doctype() now is not called if target’s doctype() is called. Based on patch by Martin Panter.

bpo-20387 [https://bugs.python.org/issue?@action=redirect&bpo=20387]: Restore semantic round-trip correctness in tokenize/untokenize for tab-indented blocks.

bpo-24456 [https://bugs.python.org/issue?@action=redirect&bpo=24456]: Fixed possible buffer over-read in adpcm2lin() and lin2adpcm() functions of the audioop module.

bpo-24336 [https://bugs.python.org/issue?@action=redirect&bpo=24336]: The contextmanager decorator now works with functions with keyword arguments called “func” and “self”. Patch by Martin Panter.

bpo-24522 [https://bugs.python.org/issue?@action=redirect&bpo=24522]: Fix possible integer overflow in json accelerator module.

bpo-24489 [https://bugs.python.org/issue?@action=redirect&bpo=24489]: ensure a previously set C errno doesn’t disturb cmath.polar().

bpo-24408 [https://bugs.python.org/issue?@action=redirect&bpo=24408]: Fixed AttributeError in measure() and metrics() methods of tkinter.Font.

bpo-14373 [https://bugs.python.org/issue?@action=redirect&bpo=14373]: C implementation of functools.lru_cache() now can be used with methods.

bpo-24347 [https://bugs.python.org/issue?@action=redirect&bpo=24347]: Set KeyError if PyDict_GetItemWithError returns NULL.

bpo-24348 [https://bugs.python.org/issue?@action=redirect&bpo=24348]: Drop superfluous incref/decref.

bpo-24359 [https://bugs.python.org/issue?@action=redirect&bpo=24359]: Check for changed OrderedDict size during iteration.

bpo-24368 [https://bugs.python.org/issue?@action=redirect&bpo=24368]: Support keyword arguments in OrderedDict methods.

bpo-24362 [https://bugs.python.org/issue?@action=redirect&bpo=24362]: Simplify the C OrderedDict fast nodes resize logic.

bpo-24377 [https://bugs.python.org/issue?@action=redirect&bpo=24377]: Fix a ref leak in OrderedDict.__repr__.

bpo-24369 [https://bugs.python.org/issue?@action=redirect&bpo=24369]: Defend against key-changes during iteration.

Tests

bpo-24373 [https://bugs.python.org/issue?@action=redirect&bpo=24373]: _testmultiphase and xxlimited now use tp_traverse and tp_finalize to avoid reference leaks encountered when combining tp_dealloc with PyType_FromSpec (see bpo-16690 [https://bugs.python.org/issue?@action=redirect&bpo=16690] for details)

Documentation

bpo-24458 [https://bugs.python.org/issue?@action=redirect&bpo=24458]: Update documentation to cover multi-phase initialization for extension modules (PEP 489). Patch by Petr Viktorin.

bpo-24351 [https://bugs.python.org/issue?@action=redirect&bpo=24351]: Clarify what is meant by “identifier” in the context of string.Template instances.

Build

bpo-24432 [https://bugs.python.org/issue?@action=redirect&bpo=24432]: Update Windows builds and OS X 10.5 installer to use OpenSSL 1.0.2c.

Python 3.5.0 beta 2

Release date: 2015-05-31

Core and Builtins

bpo-24284 [https://bugs.python.org/issue?@action=redirect&bpo=24284]: The startswith and endswith methods of the str class no longer return True when finding the empty string and the indexes are completely out of range.

bpo-24115 [https://bugs.python.org/issue?@action=redirect&bpo=24115]: Update uses of PyObject_IsTrue(), PyObject_Not(), PyObject_IsInstance(), PyObject_RichCompareBool() and _PyDict_Contains() to check for and handle errors correctly.

bpo-24328 [https://bugs.python.org/issue?@action=redirect&bpo=24328]: Fix importing one character extension modules.

bpo-11205 [https://bugs.python.org/issue?@action=redirect&bpo=11205]: In dictionary displays, evaluate the key before the value.

bpo-24285 [https://bugs.python.org/issue?@action=redirect&bpo=24285]: Fixed regression that prevented importing extension modules from inside packages. Patch by Petr Viktorin.

Library

bpo-23247 [https://bugs.python.org/issue?@action=redirect&bpo=23247]: Fix a crash in the StreamWriter.reset() of CJK codecs.

bpo-24270 [https://bugs.python.org/issue?@action=redirect&bpo=24270]: Add math.isclose() and cmath.isclose() functions as per PEP 485 [https://peps.python.org/pep-0485/]. Contributed by Chris Barker and Tal Einat.

bpo-5633 [https://bugs.python.org/issue?@action=redirect&bpo=5633]: Fixed timeit when the statement is a string and the setup is not.

bpo-24326 [https://bugs.python.org/issue?@action=redirect&bpo=24326]: Fixed audioop.ratecv() with non-default weightB argument. Original patch by David Moore.

bpo-16991 [https://bugs.python.org/issue?@action=redirect&bpo=16991]: Add a C implementation of OrderedDict.

bpo-23934 [https://bugs.python.org/issue?@action=redirect&bpo=23934]: Fix inspect.signature to fail correctly for builtin types lacking signature information. Initial patch by James Powell.

Python 3.5.0 beta 1

Release date: 2015-05-24

Core and Builtins

bpo-24276 [https://bugs.python.org/issue?@action=redirect&bpo=24276]: Fixed optimization of property descriptor getter.

bpo-24268 [https://bugs.python.org/issue?@action=redirect&bpo=24268]: PEP 489: Multi-phase extension module initialization. Patch by Petr Viktorin.

bpo-23955 [https://bugs.python.org/issue?@action=redirect&bpo=23955]: Add pyvenv.cfg option to suppress registry/environment lookup for generating sys.path on Windows.

bpo-24257 [https://bugs.python.org/issue?@action=redirect&bpo=24257]: Fixed system error in the comparison of faked types.SimpleNamespace.

bpo-22939 [https://bugs.python.org/issue?@action=redirect&bpo=22939]: Fixed integer overflow in iterator object. Patch by Clement Rouault.

bpo-23985 [https://bugs.python.org/issue?@action=redirect&bpo=23985]: Fix a possible buffer overrun when deleting a slice from the front of a bytearray and then appending some other bytes data.

bpo-24102 [https://bugs.python.org/issue?@action=redirect&bpo=24102]: Fixed exception type checking in standard error handlers.

bpo-15027 [https://bugs.python.org/issue?@action=redirect&bpo=15027]: The UTF-32 encoder is now 3x to 7x faster.

bpo-23290 [https://bugs.python.org/issue?@action=redirect&bpo=23290]: Optimize set_merge() for cases where the target is empty. (Contributed by Serhiy Storchaka.)

bpo-2292 [https://bugs.python.org/issue?@action=redirect&bpo=2292]: PEP 448: Additional Unpacking Generalizations.

bpo-24096 [https://bugs.python.org/issue?@action=redirect&bpo=24096]: Make warnings.warn_explicit more robust against mutation of the warnings.filters list.

bpo-23996 [https://bugs.python.org/issue?@action=redirect&bpo=23996]: Avoid a crash when a delegated generator raises an unnormalized StopIteration exception. Patch by Stefan Behnel.

bpo-23910 [https://bugs.python.org/issue?@action=redirect&bpo=23910]: Optimize property() getter calls. Patch by Joe Jevnik.

bpo-23911 [https://bugs.python.org/issue?@action=redirect&bpo=23911]: Move path-based importlib bootstrap code to a separate frozen module.

bpo-24192 [https://bugs.python.org/issue?@action=redirect&bpo=24192]: Fix namespace package imports.

bpo-24022 [https://bugs.python.org/issue?@action=redirect&bpo=24022]: Fix tokenizer crash when processing undecodable source code.

bpo-9951 [https://bugs.python.org/issue?@action=redirect&bpo=9951]: Added a hex() method to bytes, bytearray, and memoryview.

bpo-22906 [https://bugs.python.org/issue?@action=redirect&bpo=22906]: PEP 479: Change StopIteration handling inside generators.

bpo-24017 [https://bugs.python.org/issue?@action=redirect&bpo=24017]: PEP 492: Coroutines with async and await syntax.

Library

bpo-14373 [https://bugs.python.org/issue?@action=redirect&bpo=14373]: Added C implementation of functools.lru_cache(). Based on patches by Matt Joiner and Alexey Kachayev.

bpo-24230 [https://bugs.python.org/issue?@action=redirect&bpo=24230]: The tempfile module now accepts bytes for prefix, suffix and dir parameters and returns bytes in such situations (matching the os module APIs).

bpo-22189 [https://bugs.python.org/issue?@action=redirect&bpo=22189]: collections.UserString now supports __getnewargs__(), __rmod__(), casefold(), format_map(), isprintable(), and maketrans(). Patch by Joe Jevnik.

bpo-24244 [https://bugs.python.org/issue?@action=redirect&bpo=24244]: Prevents termination when an invalid format string is encountered on Windows in strftime.

bpo-23973 [https://bugs.python.org/issue?@action=redirect&bpo=23973]: PEP 484: Add the typing module.

bpo-23086 [https://bugs.python.org/issue?@action=redirect&bpo=23086]: The collections.abc.Sequence() abstract base class added start and stop parameters to the index() mixin. Patch by Devin Jeanpierre.

bpo-20035 [https://bugs.python.org/issue?@action=redirect&bpo=20035]: Replaced the tkinter._fix module used for setting up the Tcl/Tk environment on Windows with a private function in the _tkinter module that makes no permanent changes to the environment.

bpo-24257 [https://bugs.python.org/issue?@action=redirect&bpo=24257]: Fixed segmentation fault in sqlite3.Row constructor with faked cursor type.

bpo-15836 [https://bugs.python.org/issue?@action=redirect&bpo=15836]: assertRaises(), assertRaisesRegex(), assertWarns() and assertWarnsRegex() assertments now check the type of the first argument to prevent possible user error. Based on patch by Daniel Wagner-Hall.

bpo-9858 [https://bugs.python.org/issue?@action=redirect&bpo=9858]: Add missing method stubs to _io.RawIOBase. Patch by Laura Rupprecht.

bpo-22955 [https://bugs.python.org/issue?@action=redirect&bpo=22955]: attrgetter, itemgetter and methodcaller objects in the operator module now support pickling. Added readable and evaluable repr for these objects. Based on patch by Josh Rosenberg.

bpo-22107 [https://bugs.python.org/issue?@action=redirect&bpo=22107]: tempfile.gettempdir() and tempfile.mkdtemp() now try again when a directory with the chosen name already exists on Windows as well as on Unix. tempfile.mkstemp() now fails early if parent directory is not valid (not exists or is a file) on Windows.

bpo-23780 [https://bugs.python.org/issue?@action=redirect&bpo=23780]: Improved error message in os.path.join() with single argument.

bpo-6598 [https://bugs.python.org/issue?@action=redirect&bpo=6598]: Increased time precision and random number range in email.utils.make_msgid() to strengthen the uniqueness of the message ID.

bpo-24091 [https://bugs.python.org/issue?@action=redirect&bpo=24091]: Fixed various crashes in corner cases in C implementation of ElementTree.

bpo-21931 [https://bugs.python.org/issue?@action=redirect&bpo=21931]: msilib.FCICreate() now raises TypeError in the case of a bad argument instead of a ValueError with a bogus FCI error number. Patch by Jeffrey Armstrong.

bpo-13866 [https://bugs.python.org/issue?@action=redirect&bpo=13866]: quote_via argument added to urllib.parse.urlencode.

bpo-20098 [https://bugs.python.org/issue?@action=redirect&bpo=20098]: New mangle_from policy option for email, default True for compat32, but False for all other policies.

bpo-24211 [https://bugs.python.org/issue?@action=redirect&bpo=24211]: The email library now supports RFC 6532: it can generate headers using utf-8 instead of encoded words.

bpo-16314 [https://bugs.python.org/issue?@action=redirect&bpo=16314]: Added support for the LZMA compression in distutils.

bpo-21804 [https://bugs.python.org/issue?@action=redirect&bpo=21804]: poplib now supports RFC 6856 (UTF8).

bpo-18682 [https://bugs.python.org/issue?@action=redirect&bpo=18682]: Optimized pprint functions for builtin scalar types.

bpo-22027 [https://bugs.python.org/issue?@action=redirect&bpo=22027]: smtplib now supports RFC 6531 (SMTPUTF8).

bpo-23488 [https://bugs.python.org/issue?@action=redirect&bpo=23488]: Random generator objects now consume 2x less memory on 64-bit.

bpo-1322 [https://bugs.python.org/issue?@action=redirect&bpo=1322]: platform.dist() and platform.linux_distribution() functions are now deprecated. Initial patch by Vajrasky Kok.

bpo-22486 [https://bugs.python.org/issue?@action=redirect&bpo=22486]: Added the math.gcd() function. The fractions.gcd() function now is deprecated. Based on patch by Mark Dickinson.

bpo-24064 [https://bugs.python.org/issue?@action=redirect&bpo=24064]: Property() docstrings are now writeable. (Patch by Berker Peksag.)

bpo-22681 [https://bugs.python.org/issue?@action=redirect&bpo=22681]: Added support for the koi8_t encoding.

bpo-22682 [https://bugs.python.org/issue?@action=redirect&bpo=22682]: Added support for the kz1048 encoding.

bpo-23796 [https://bugs.python.org/issue?@action=redirect&bpo=23796]: peek and read1 methods of BufferedReader now raise ValueError if they called on a closed object. Patch by John Hergenroeder.

bpo-21795 [https://bugs.python.org/issue?@action=redirect&bpo=21795]: smtpd now supports the 8BITMIME extension whenever the new decode_data constructor argument is set to False.

bpo-24155 [https://bugs.python.org/issue?@action=redirect&bpo=24155]: optimize heapq.heapify() for better cache performance when heapifying large lists.

bpo-21800 [https://bugs.python.org/issue?@action=redirect&bpo=21800]: imaplib now supports RFC 5161 (enable), RFC 6855 (utf8/internationalized email) and automatically encodes non-ASCII usernames and passwords to UTF8.

bpo-20274 [https://bugs.python.org/issue?@action=redirect&bpo=20274]: When calling a _sqlite.Connection, it now complains if passed any keyword arguments. Previously it silently ignored them.

bpo-20274 [https://bugs.python.org/issue?@action=redirect&bpo=20274]: Remove ignored and erroneous “kwargs” parameters from three METH_VARARGS methods on _sqlite.Connection.

bpo-24134 [https://bugs.python.org/issue?@action=redirect&bpo=24134]: assertRaises(), assertRaisesRegex(), assertWarns() and assertWarnsRegex() checks now emits a deprecation warning when callable is None or keyword arguments except msg is passed in the context manager mode.

bpo-24018 [https://bugs.python.org/issue?@action=redirect&bpo=24018]: Add a collections.abc.Generator abstract base class. Contributed by Stefan Behnel.

bpo-23880 [https://bugs.python.org/issue?@action=redirect&bpo=23880]: Tkinter’s getint() and getdouble() now support Tcl_Obj. Tkinter’s getdouble() now supports any numbers (in particular int).

bpo-22619 [https://bugs.python.org/issue?@action=redirect&bpo=22619]: Added negative limit support in the traceback module. Based on patch by Dmitry Kazakov.

bpo-24094 [https://bugs.python.org/issue?@action=redirect&bpo=24094]: Fix possible crash in json.encode with poorly behaved dict subclasses.

bpo-9246 [https://bugs.python.org/issue?@action=redirect&bpo=9246]: On POSIX, os.getcwd() now supports paths longer than 1025 bytes. Patch written by William Orr.

bpo-17445 [https://bugs.python.org/issue?@action=redirect&bpo=17445]: add difflib.diff_bytes() to support comparison of byte strings (fixes a regression from Python 2).

bpo-23917 [https://bugs.python.org/issue?@action=redirect&bpo=23917]: Fall back to sequential compilation when ProcessPoolExecutor doesn’t exist. Patch by Claudiu Popa.

bpo-23008 [https://bugs.python.org/issue?@action=redirect&bpo=23008]: Fixed resolving attributes with boolean value is False in pydoc.

Fix asyncio issue 235: LifoQueue and PriorityQueue’s put didn’t increment unfinished tasks (this bug was introduced when JoinableQueue was merged with Queue).

bpo-23908 [https://bugs.python.org/issue?@action=redirect&bpo=23908]: os functions now reject paths with embedded null character on Windows instead of silently truncating them.

bpo-23728 [https://bugs.python.org/issue?@action=redirect&bpo=23728]: binascii.crc_hqx() could return an integer outside of the range 0-0xffff for empty data.

bpo-23887 [https://bugs.python.org/issue?@action=redirect&bpo=23887]: urllib.error.HTTPError now has a proper repr() representation. Patch by Berker Peksag.

asyncio: New event loop APIs: set_task_factory() and get_task_factory().

asyncio: async() function is deprecated in favour of ensure_future().

bpo-24178 [https://bugs.python.org/issue?@action=redirect&bpo=24178]: asyncio.Lock, Condition, Semaphore, and BoundedSemaphore support new ‘async with’ syntax. Contributed by Yury Selivanov.

bpo-24179 [https://bugs.python.org/issue?@action=redirect&bpo=24179]: Support ‘async for’ for asyncio.StreamReader. Contributed by Yury Selivanov.

bpo-24184 [https://bugs.python.org/issue?@action=redirect&bpo=24184]: Add AsyncIterator and AsyncIterable ABCs to collections.abc. Contributed by Yury Selivanov.

bpo-22547 [https://bugs.python.org/issue?@action=redirect&bpo=22547]: Implement informative __repr__ for inspect.BoundArguments. Contributed by Yury Selivanov.

bpo-24190 [https://bugs.python.org/issue?@action=redirect&bpo=24190]: Implement inspect.BoundArgument.apply_defaults() method. Contributed by Yury Selivanov.

bpo-20691 [https://bugs.python.org/issue?@action=redirect&bpo=20691]: Add ‘follow_wrapped’ argument to inspect.Signature.from_callable() and inspect.signature(). Contributed by Yury Selivanov.

bpo-24248 [https://bugs.python.org/issue?@action=redirect&bpo=24248]: Deprecate inspect.Signature.from_function() and inspect.Signature.from_builtin().

bpo-23898 [https://bugs.python.org/issue?@action=redirect&bpo=23898]: Fix inspect.classify_class_attrs() to support attributes with overloaded __eq__ and __bool__. Patch by Mike Bayer.

bpo-24298 [https://bugs.python.org/issue?@action=redirect&bpo=24298]: Fix inspect.signature() to correctly unwrap wrappers around bound methods.

IDLE

bpo-23184 [https://bugs.python.org/issue?@action=redirect&bpo=23184]: remove unused names and imports in idlelib. Initial patch by Al Sweigart.

Tests

bpo-21520 [https://bugs.python.org/issue?@action=redirect&bpo=21520]: test_zipfile no longer fails if the word ‘bad’ appears anywhere in the name of the current directory.

bpo-9517 [https://bugs.python.org/issue?@action=redirect&bpo=9517]: Move script_helper into the support package. Patch by Christie Wilson.

Documentation

bpo-22155 [https://bugs.python.org/issue?@action=redirect&bpo=22155]: Add File Handlers subsection with createfilehandler to tkinter doc. Remove obsolete example from FAQ. Patch by Martin Panter.

bpo-24029 [https://bugs.python.org/issue?@action=redirect&bpo=24029]: Document the name binding behavior for submodule imports.

bpo-24077 [https://bugs.python.org/issue?@action=redirect&bpo=24077]: Fix typo in man page for -I command option: -s, not -S

Tools/Demos

bpo-24000 [https://bugs.python.org/issue?@action=redirect&bpo=24000]: Improved Argument Clinic’s mapping of converters to legacy “format units”. Updated the documentation to match.

bpo-24001 [https://bugs.python.org/issue?@action=redirect&bpo=24001]: Argument Clinic converters now use accept={type} instead of types={‘type’} to specify the types the converter accepts.

bpo-23330 [https://bugs.python.org/issue?@action=redirect&bpo=23330]: h2py now supports arbitrary filenames in #include.

bpo-24031 [https://bugs.python.org/issue?@action=redirect&bpo=24031]: make patchcheck now supports git checkouts, too.

Python 3.5.0 alpha 4

Release date: 2015-04-19

Core and Builtins

bpo-22980 [https://bugs.python.org/issue?@action=redirect&bpo=22980]: Under Linux, GNU/KFreeBSD and the Hurd, C extensions now include the architecture triplet in the extension name, to make it easy to test builds for different ABIs in the same working tree. Under OS X, the extension name now includes PEP 3149 [https://peps.python.org/pep-3149/]-style information.

bpo-22631 [https://bugs.python.org/issue?@action=redirect&bpo=22631]: Added Linux-specific socket constant CAN_RAW_FD_FRAMES. Patch courtesy of Joe Jevnik.

bpo-23731 [https://bugs.python.org/issue?@action=redirect&bpo=23731]: Implement PEP 488 [https://peps.python.org/pep-0488/]: removal of .pyo files.

bpo-23726 [https://bugs.python.org/issue?@action=redirect&bpo=23726]: Don’t enable GC for user subclasses of non-GC types that don’t add any new fields. Patch by Eugene Toder.

bpo-23309 [https://bugs.python.org/issue?@action=redirect&bpo=23309]: Avoid a deadlock at shutdown if a daemon thread is aborted while it is holding a lock to a buffered I/O object, and the main thread tries to use the same I/O object (typically stdout or stderr). A fatal error is emitted instead.

bpo-22977 [https://bugs.python.org/issue?@action=redirect&bpo=22977]: Fixed formatting Windows error messages on Wine. Patch by Martin Panter.

bpo-23466 [https://bugs.python.org/issue?@action=redirect&bpo=23466]: %c, %o, %x, and %X in bytes formatting now raise TypeError on non-integer input.

bpo-24044 [https://bugs.python.org/issue?@action=redirect&bpo=24044]: Fix possible null pointer dereference in list.sort in out of memory conditions.

bpo-21354 [https://bugs.python.org/issue?@action=redirect&bpo=21354]: PyCFunction_New function is exposed by python DLL again.

Library

bpo-23840 [https://bugs.python.org/issue?@action=redirect&bpo=23840]: tokenize.open() now closes the temporary binary file on error to fix a resource warning.

bpo-16914 [https://bugs.python.org/issue?@action=redirect&bpo=16914]: new debuglevel 2 in smtplib adds timestamps to debug output.

bpo-7159 [https://bugs.python.org/issue?@action=redirect&bpo=7159]: urllib.request now supports sending auth credentials automatically after the first 401. This enhancement is a superset of the enhancement from bpo-19494 [https://bugs.python.org/issue?@action=redirect&bpo=19494] and supersedes that change.

bpo-23703 [https://bugs.python.org/issue?@action=redirect&bpo=23703]: Fix a regression in urljoin() introduced in 901e4e52b20a. Patch by Demian Brecht.

bpo-4254 [https://bugs.python.org/issue?@action=redirect&bpo=4254]: Adds _curses.update_lines_cols(). Patch by Arnon Yaari

bpo-19933 [https://bugs.python.org/issue?@action=redirect&bpo=19933]: Provide default argument for ndigits in round. Patch by Vajrasky Kok.

bpo-23193 [https://bugs.python.org/issue?@action=redirect&bpo=23193]: Add a numeric_owner parameter to tarfile.TarFile.extract and tarfile.TarFile.extractall. Patch by Michael Vogt and Eric Smith.

bpo-23342 [https://bugs.python.org/issue?@action=redirect&bpo=23342]: Add a subprocess.run() function than returns a CalledProcess instance for a more consistent API than the existing call* functions.

bpo-21217 [https://bugs.python.org/issue?@action=redirect&bpo=21217]: inspect.getsourcelines() now tries to compute the start and end lines from the code object, fixing an issue when a lambda function is used as decorator argument. Patch by Thomas Ballinger and Allison Kaptur.

bpo-24521 [https://bugs.python.org/issue?@action=redirect&bpo=24521]: Fix possible integer overflows in the pickle module.

bpo-22931 [https://bugs.python.org/issue?@action=redirect&bpo=22931]: Allow ‘[’ and ‘]’ in cookie values.

The keywords attribute of functools.partial is now always a dictionary.

bpo-23811 [https://bugs.python.org/issue?@action=redirect&bpo=23811]: Add missing newline to the PyCompileError error message. Patch by Alex Shkop.

bpo-21116 [https://bugs.python.org/issue?@action=redirect&bpo=21116]: Avoid blowing memory when allocating a multiprocessing shared array that’s larger than 50% of the available RAM. Patch by Médéric Boquien.

bpo-22982 [https://bugs.python.org/issue?@action=redirect&bpo=22982]: Improve BOM handling when seeking to multiple positions of a writable text file.

bpo-23464 [https://bugs.python.org/issue?@action=redirect&bpo=23464]: Removed deprecated asyncio JoinableQueue.

bpo-23529 [https://bugs.python.org/issue?@action=redirect&bpo=23529]: Limit the size of decompressed data when reading from GzipFile, BZ2File or LZMAFile. This defeats denial of service attacks using compressed bombs (i.e. compressed payloads which decompress to a huge size). Patch by Martin Panter and Nikolaus Rath.

bpo-21859 [https://bugs.python.org/issue?@action=redirect&bpo=21859]: Added Python implementation of io.FileIO.

bpo-23865 [https://bugs.python.org/issue?@action=redirect&bpo=23865]: close() methods in multiple modules now are idempotent and more robust at shutdown. If they need to release multiple resources, all are released even if errors occur.

bpo-23400 [https://bugs.python.org/issue?@action=redirect&bpo=23400]: Raise same exception on both Python 2 and 3 if sem_open is not available. Patch by Davin Potts.

bpo-10838 [https://bugs.python.org/issue?@action=redirect&bpo=10838]: The subprocess now module includes SubprocessError and TimeoutError in its list of exported names for the users wild enough to use from subprocess import *.

bpo-23411 [https://bugs.python.org/issue?@action=redirect&bpo=23411]: Added DefragResult, ParseResult, SplitResult, DefragResultBytes, ParseResultBytes, and SplitResultBytes to urllib.parse.__all__. Patch by Martin Panter.

bpo-23881 [https://bugs.python.org/issue?@action=redirect&bpo=23881]: urllib.request.ftpwrapper constructor now closes the socket if the FTP connection failed to fix a ResourceWarning.

bpo-23853 [https://bugs.python.org/issue?@action=redirect&bpo=23853]: socket.socket.sendall() does no more reset the socket timeout each time data is sent successfully. The socket timeout is now the maximum total duration to send all data.

bpo-22721 [https://bugs.python.org/issue?@action=redirect&bpo=22721]: An order of multiline pprint output of set or dict containing orderable and non-orderable elements no longer depends on iteration order of set or dict.

bpo-15133 [https://bugs.python.org/issue?@action=redirect&bpo=15133]: _tkinter.tkapp.getboolean() now supports Tcl_Obj and always returns bool. tkinter.BooleanVar now validates input values (accepted bool, int, str, and Tcl_Obj). tkinter.BooleanVar.get() now always returns bool.

bpo-10590 [https://bugs.python.org/issue?@action=redirect&bpo=10590]: xml.sax.parseString() now supports string argument.

bpo-23338 [https://bugs.python.org/issue?@action=redirect&bpo=23338]: Fixed formatting ctypes error messages on Cygwin. Patch by Makoto Kato.

bpo-15582 [https://bugs.python.org/issue?@action=redirect&bpo=15582]: inspect.getdoc() now follows inheritance chains.

bpo-2175 [https://bugs.python.org/issue?@action=redirect&bpo=2175]: SAX parsers now support a character stream of InputSource object.

bpo-16840 [https://bugs.python.org/issue?@action=redirect&bpo=16840]: Tkinter now supports 64-bit integers added in Tcl 8.4 and arbitrary precision integers added in Tcl 8.5.

bpo-23834 [https://bugs.python.org/issue?@action=redirect&bpo=23834]: Fix socket.sendto(), use the C Py_ssize_t type to store the result of sendto() instead of the C int type.

bpo-23618 [https://bugs.python.org/issue?@action=redirect&bpo=23618]: socket.socket.connect() now waits until the connection completes instead of raising InterruptedError if the connection is interrupted by signals, signal handlers don’t raise an exception and the socket is blocking or has a timeout. socket.socket.connect() still raise InterruptedError for non-blocking sockets.

bpo-21526 [https://bugs.python.org/issue?@action=redirect&bpo=21526]: Tkinter now supports new boolean type in Tcl 8.5.

bpo-23836 [https://bugs.python.org/issue?@action=redirect&bpo=23836]: Fix the faulthandler module to handle reentrant calls to its signal handlers.

bpo-23838 [https://bugs.python.org/issue?@action=redirect&bpo=23838]: linecache now clears the cache and returns an empty result on MemoryError.

bpo-10395 [https://bugs.python.org/issue?@action=redirect&bpo=10395]: Added os.path.commonpath(). Implemented in posixpath and ntpath. Based on patch by Rafik Draoui.

bpo-23611 [https://bugs.python.org/issue?@action=redirect&bpo=23611]: Serializing more “lookupable” objects (such as unbound methods or nested classes) now are supported with pickle protocols < 4.

bpo-13583 [https://bugs.python.org/issue?@action=redirect&bpo=13583]: sqlite3.Row now supports slice indexing.

bpo-18473 [https://bugs.python.org/issue?@action=redirect&bpo=18473]: Fixed 2to3 and 3to2 compatible pickle mappings. Fixed ambiguous reverse mappings. Added many new mappings. Import mapping is no longer applied to modules already mapped with full name mapping.

bpo-23485 [https://bugs.python.org/issue?@action=redirect&bpo=23485]: select.select() is now retried automatically with the recomputed timeout when interrupted by a signal, except if the signal handler raises an exception. This change is part of the PEP 475 [https://peps.python.org/pep-0475/].

bpo-23752 [https://bugs.python.org/issue?@action=redirect&bpo=23752]: When built from an existing file descriptor, io.FileIO() now only calls fstat() once. Before fstat() was called twice, which was not necessary.

bpo-23704 [https://bugs.python.org/issue?@action=redirect&bpo=23704]: collections.deque() objects now support __add__, __mul__, and __imul__().

bpo-23171 [https://bugs.python.org/issue?@action=redirect&bpo=23171]: csv.Writer.writerow() now supports arbitrary iterables.

bpo-23745 [https://bugs.python.org/issue?@action=redirect&bpo=23745]: The new email header parser now handles duplicate MIME parameter names without error, similar to how get_param behaves.

bpo-22117 [https://bugs.python.org/issue?@action=redirect&bpo=22117]: Fix os.utime(), it now rounds the timestamp towards minus infinity (-inf) instead of rounding towards zero.

bpo-23310 [https://bugs.python.org/issue?@action=redirect&bpo=23310]: Fix MagicMock’s initializer to work with __methods__, just like configure_mock(). Patch by Kasia Jachim.

Build

bpo-23817 [https://bugs.python.org/issue?@action=redirect&bpo=23817]: FreeBSD now uses “1.0” in the SOVERSION as other operating systems, instead of just “1”.

bpo-23501 [https://bugs.python.org/issue?@action=redirect&bpo=23501]: Argument Clinic now generates code into separate files by default.

Tests

bpo-23799 [https://bugs.python.org/issue?@action=redirect&bpo=23799]: Added test.support.start_threads() for running and cleaning up multiple threads.

bpo-22390 [https://bugs.python.org/issue?@action=redirect&bpo=22390]: test.regrtest now emits a warning if temporary files or directories are left after running a test.

Tools/Demos

bpo-18128 [https://bugs.python.org/issue?@action=redirect&bpo=18128]: pygettext now uses standard +NNNN format in the POT-Creation-Date header.

bpo-23935 [https://bugs.python.org/issue?@action=redirect&bpo=23935]: Argument Clinic’s understanding of format units accepting bytes, bytearrays, and buffers is now consistent with both the documentation and the implementation.

bpo-23944 [https://bugs.python.org/issue?@action=redirect&bpo=23944]: Argument Clinic now wraps long impl prototypes at column 78.

bpo-20586 [https://bugs.python.org/issue?@action=redirect&bpo=20586]: Argument Clinic now ensures that functions without docstrings have signatures.

bpo-23492 [https://bugs.python.org/issue?@action=redirect&bpo=23492]: Argument Clinic now generates argument parsing code with PyArg_Parse instead of PyArg_ParseTuple if possible.

bpo-23500 [https://bugs.python.org/issue?@action=redirect&bpo=23500]: Argument Clinic is now smarter about generating the “#ifndef” (empty) definition of the methoddef macro: it’s only generated once, even if Argument Clinic processes the same symbol multiple times, and it’s emitted at the end of all processing rather than immediately after the first use.

C API

bpo-23998 [https://bugs.python.org/issue?@action=redirect&bpo=23998]: PyImport_ReInitLock() now checks for lock allocation error

Python 3.5.0 alpha 3

Release date: 2015-03-28

Core and Builtins

bpo-23573 [https://bugs.python.org/issue?@action=redirect&bpo=23573]: Increased performance of string search operations (str.find, str.index, str.count, the in operator, str.split, str.partition) with arguments of different kinds (UCS1, UCS2, UCS4).

bpo-23753 [https://bugs.python.org/issue?@action=redirect&bpo=23753]: Python doesn’t support anymore platforms without stat() or fstat(), these functions are always required.

bpo-23681 [https://bugs.python.org/issue?@action=redirect&bpo=23681]: The -b option now affects comparisons of bytes with int.

bpo-23632 [https://bugs.python.org/issue?@action=redirect&bpo=23632]: Memoryviews now allow tuple indexing (including for multi-dimensional memoryviews).

bpo-23192 [https://bugs.python.org/issue?@action=redirect&bpo=23192]: Fixed generator lambdas. Patch by Bruno Cauet.

bpo-23629 [https://bugs.python.org/issue?@action=redirect&bpo=23629]: Fix the default __sizeof__ implementation for variable-sized objects.

Library

bpo-14260 [https://bugs.python.org/issue?@action=redirect&bpo=14260]: The groupindex attribute of regular expression pattern object now is non-modifiable mapping.

bpo-23792 [https://bugs.python.org/issue?@action=redirect&bpo=23792]: Ignore KeyboardInterrupt when the pydoc pager is active. This mimics the behavior of the standard unix pagers, and prevents pipepager from shutting down while the pager itself is still running.

bpo-23775 [https://bugs.python.org/issue?@action=redirect&bpo=23775]: pprint() of OrderedDict now outputs the same representation as repr().

bpo-23765 [https://bugs.python.org/issue?@action=redirect&bpo=23765]: Removed IsBadStringPtr calls in ctypes

bpo-22364 [https://bugs.python.org/issue?@action=redirect&bpo=22364]: Improved some re error messages using regex for hints.

bpo-23742 [https://bugs.python.org/issue?@action=redirect&bpo=23742]: ntpath.expandvars() no longer loses unbalanced single quotes.

bpo-21717 [https://bugs.python.org/issue?@action=redirect&bpo=21717]: The zipfile.ZipFile.open function now supports ‘x’ (exclusive creation) mode.

bpo-21802 [https://bugs.python.org/issue?@action=redirect&bpo=21802]: The reader in BufferedRWPair now is closed even when closing writer failed in BufferedRWPair.close().

bpo-23622 [https://bugs.python.org/issue?@action=redirect&bpo=23622]: Unknown escapes in regular expressions that consist of '\' and ASCII letter now raise a deprecation warning and will be forbidden in Python 3.6.

bpo-23671 [https://bugs.python.org/issue?@action=redirect&bpo=23671]: string.Template now allows specifying the “self” parameter as a keyword argument. string.Formatter now allows specifying the “self” and the “format_string” parameters as keyword arguments.

bpo-23502 [https://bugs.python.org/issue?@action=redirect&bpo=23502]: The pprint module now supports mapping proxies.

bpo-17530 [https://bugs.python.org/issue?@action=redirect&bpo=17530]: pprint now wraps long bytes objects and bytearrays.

bpo-22687 [https://bugs.python.org/issue?@action=redirect&bpo=22687]: Fixed some corner cases in breaking words in tetxtwrap. Got rid of quadratic complexity in breaking long words.

bpo-4727 [https://bugs.python.org/issue?@action=redirect&bpo=4727]: The copy module now uses pickle protocol 4 (PEP 3154) and supports copying of instances of classes whose __new__ method takes keyword-only arguments.

bpo-23491 [https://bugs.python.org/issue?@action=redirect&bpo=23491]: Added a zipapp module to support creating executable zip file archives of Python code. Registered “.pyz” and “.pyzw” extensions on Windows for these archives (PEP 441).

bpo-23657 [https://bugs.python.org/issue?@action=redirect&bpo=23657]: Avoid explicit checks for str in zipapp, adding support for pathlib.Path objects as arguments.

bpo-23688 [https://bugs.python.org/issue?@action=redirect&bpo=23688]: Added support of arbitrary bytes-like objects and avoided unnecessary copying of memoryview in gzip.GzipFile.write(). Original patch by Wolfgang Maier.

bpo-23252 [https://bugs.python.org/issue?@action=redirect&bpo=23252]: Added support for writing ZIP files to unseekable streams.

bpo-23647 [https://bugs.python.org/issue?@action=redirect&bpo=23647]: Increase imaplib’s MAXLINE to accommodate modern mailbox sizes.

bpo-23539 [https://bugs.python.org/issue?@action=redirect&bpo=23539]: If body is None, http.client.HTTPConnection.request now sets Content-Length to 0 for PUT, POST, and PATCH headers to avoid 411 errors from some web servers.

bpo-22351 [https://bugs.python.org/issue?@action=redirect&bpo=22351]: The nntplib.NNTP constructor no longer leaves the connection and socket open until the garbage collector cleans them up. Patch by Martin Panter.

bpo-23704 [https://bugs.python.org/issue?@action=redirect&bpo=23704]: collections.deque() objects now support methods for index(), insert(), and copy(). This allows deques to be registered as a MutableSequence and it improves their substitutability for lists.

bpo-23715 [https://bugs.python.org/issue?@action=redirect&bpo=23715]: signal.sigwaitinfo() and signal.sigtimedwait() are now retried when interrupted by a signal not in the sigset parameter, if the signal handler does not raise an exception. signal.sigtimedwait() recomputes the timeout with a monotonic clock when it is retried.

bpo-23001 [https://bugs.python.org/issue?@action=redirect&bpo=23001]: Few functions in modules mmap, ossaudiodev, socket, ssl, and codecs, that accepted only read-only bytes-like object now accept writable bytes-like object too.

bpo-23646 [https://bugs.python.org/issue?@action=redirect&bpo=23646]: If time.sleep() is interrupted by a signal, the sleep is now retried with the recomputed delay, except if the signal handler raises an exception (PEP 475).

bpo-23136 [https://bugs.python.org/issue?@action=redirect&bpo=23136]: _strptime now uniformly handles all days in week 0, including Dec 30 of previous year. Based on patch by Jim Carroll.

bpo-23700 [https://bugs.python.org/issue?@action=redirect&bpo=23700]: Iterator of NamedTemporaryFile now keeps a reference to NamedTemporaryFile instance. Patch by Bohuslav Kabrda.

bpo-22903 [https://bugs.python.org/issue?@action=redirect&bpo=22903]: The fake test case created by unittest.loader when it fails importing a test module is now picklable.

bpo-22181 [https://bugs.python.org/issue?@action=redirect&bpo=22181]: On Linux, os.urandom() now uses the new getrandom() syscall if available, syscall introduced in the Linux kernel 3.17. It is more reliable and more secure, because it avoids the need of a file descriptor and waits until the kernel has enough entropy.

bpo-2211 [https://bugs.python.org/issue?@action=redirect&bpo=2211]: Updated the implementation of the http.cookies.Morsel class. Setting attributes key, value and coded_value directly now is deprecated. update() and setdefault() now transform and check keys. Comparing for equality now takes into account attributes key, value and coded_value. copy() now returns a Morsel, not a dict. repr() now contains all attributes. Optimized checking keys and quoting values. Added new tests. Original patch by Demian Brecht.

bpo-18983 [https://bugs.python.org/issue?@action=redirect&bpo=18983]: Allow selection of output units in timeit. Patch by Julian Gindi.

bpo-23631 [https://bugs.python.org/issue?@action=redirect&bpo=23631]: Fix traceback.format_list when a traceback has been mutated.

bpo-23568 [https://bugs.python.org/issue?@action=redirect&bpo=23568]: Add rdivmod support to MagicMock() objects. Patch by Håkan Lövdahl.

bpo-2052 [https://bugs.python.org/issue?@action=redirect&bpo=2052]: Add charset parameter to HtmlDiff.make_file().

bpo-23668 [https://bugs.python.org/issue?@action=redirect&bpo=23668]: Support os.truncate and os.ftruncate on Windows.

bpo-23138 [https://bugs.python.org/issue?@action=redirect&bpo=23138]: Fixed parsing cookies with absent keys or values in cookiejar. Patch by Demian Brecht.

bpo-23051 [https://bugs.python.org/issue?@action=redirect&bpo=23051]: multiprocessing.Pool methods imap() and imap_unordered() now handle exceptions raised by an iterator. Patch by Alon Diamant and Davin Potts.

bpo-23581 [https://bugs.python.org/issue?@action=redirect&bpo=23581]: Add matmul support to MagicMock. Patch by Håkan Lövdahl.

bpo-23566 [https://bugs.python.org/issue?@action=redirect&bpo=23566]: enable(), register(), dump_traceback() and dump_traceback_later() functions of faulthandler now accept file descriptors. Patch by Wei Wu.

bpo-22928 [https://bugs.python.org/issue?@action=redirect&bpo=22928]: Disabled HTTP header injections in http.client. Original patch by Demian Brecht.

bpo-23615 [https://bugs.python.org/issue?@action=redirect&bpo=23615]: Modules bz2, tarfile and tokenize now can be reloaded with imp.reload(). Patch by Thomas Kluyver.

bpo-23605 [https://bugs.python.org/issue?@action=redirect&bpo=23605]: os.walk() now calls os.scandir() instead of os.listdir(). The usage of os.scandir() reduces the number of calls to os.stat(). Initial patch written by Ben Hoyt.

Build

bpo-23585 [https://bugs.python.org/issue?@action=redirect&bpo=23585]: make patchcheck will ensure the interpreter is built.

Tests

bpo-23583 [https://bugs.python.org/issue?@action=redirect&bpo=23583]: Added tests for standard IO streams in IDLE.

bpo-22289 [https://bugs.python.org/issue?@action=redirect&bpo=22289]: Prevent test_urllib2net failures due to ftp connection timeout.

Tools/Demos

bpo-22826 [https://bugs.python.org/issue?@action=redirect&bpo=22826]: The result of open() in Tools/freeze/bkfile.py is now better compatible with regular files (in particular it now supports the context management protocol).

Python 3.5.0 alpha 2

Release date: 2015-03-09

Core and Builtins

bpo-23571 [https://bugs.python.org/issue?@action=redirect&bpo=23571]: PyObject_Call() and PyCFunction_Call() now raise a SystemError if a function returns a result and raises an exception. The SystemError is chained to the previous exception.

Library

bpo-22524 [https://bugs.python.org/issue?@action=redirect&bpo=22524]: New os.scandir() function, part of the PEP 471 [https://peps.python.org/pep-0471/]: “os.scandir() function – a better and faster directory iterator”. Patch written by Ben Hoyt.

bpo-23103 [https://bugs.python.org/issue?@action=redirect&bpo=23103]: Reduced the memory consumption of IPv4Address and IPv6Address.

bpo-21793 [https://bugs.python.org/issue?@action=redirect&bpo=21793]: BaseHTTPRequestHandler again logs response code as numeric, not as stringified enum. Patch by Demian Brecht.

bpo-23476 [https://bugs.python.org/issue?@action=redirect&bpo=23476]: In the ssl module, enable OpenSSL’s X509_V_FLAG_TRUSTED_FIRST flag on certificate stores when it is available.

bpo-23576 [https://bugs.python.org/issue?@action=redirect&bpo=23576]: Avoid stalling in SSL reads when EOF has been reached in the SSL layer but the underlying connection hasn’t been closed.

bpo-23504 [https://bugs.python.org/issue?@action=redirect&bpo=23504]: Added an __all__ to the types module.

bpo-23563 [https://bugs.python.org/issue?@action=redirect&bpo=23563]: Optimized utility functions in urllib.parse.

bpo-7830 [https://bugs.python.org/issue?@action=redirect&bpo=7830]: Flatten nested functools.partial.

bpo-20204 [https://bugs.python.org/issue?@action=redirect&bpo=20204]: Added the __module__ attribute to _tkinter classes.

bpo-19980 [https://bugs.python.org/issue?@action=redirect&bpo=19980]: Improved help() for non-recognized strings. help(‘’) now shows the help on str. help(‘help’) now shows the help on help(). Original patch by Mark Lawrence.

bpo-23521 [https://bugs.python.org/issue?@action=redirect&bpo=23521]: Corrected pure python implementation of timedelta division. Eliminated OverflowError from timedelta * float for some floats; Corrected rounding in timedelta true division.

bpo-21619 [https://bugs.python.org/issue?@action=redirect&bpo=21619]: Popen objects no longer leave a zombie after exit in the with statement if the pipe was broken. Patch by Martin Panter.

bpo-22936 [https://bugs.python.org/issue?@action=redirect&bpo=22936]: Make it possible to show local variables in tracebacks for both the traceback module and unittest.

bpo-15955 [https://bugs.python.org/issue?@action=redirect&bpo=15955]: Add an option to limit the output size in bz2.decompress(). Patch by Nikolaus Rath.

bpo-6639 [https://bugs.python.org/issue?@action=redirect&bpo=6639]: Module-level turtle functions no longer raise TclError after closing the window.

bpo-814253 [https://bugs.python.org/issue?@action=redirect&bpo=814253]: Group references and conditional group references now work in lookbehind assertions in regular expressions. (See also: bpo-9179 [https://bugs.python.org/issue?@action=redirect&bpo=9179])

bpo-23215 [https://bugs.python.org/issue?@action=redirect&bpo=23215]: Multibyte codecs with custom error handlers that ignores errors consumed too much memory and raised SystemError or MemoryError. Original patch by Aleksi Torhamo.

bpo-5700 [https://bugs.python.org/issue?@action=redirect&bpo=5700]: io.FileIO() called flush() after closing the file. flush() was not called in close() if closefd=False.

bpo-23374 [https://bugs.python.org/issue?@action=redirect&bpo=23374]: Fixed pydoc failure with non-ASCII files when stdout encoding differs from file system encoding (e.g. on Mac OS).

bpo-23481 [https://bugs.python.org/issue?@action=redirect&bpo=23481]: Remove RC4 from the SSL module’s default cipher list.

bpo-21548 [https://bugs.python.org/issue?@action=redirect&bpo=21548]: Fix pydoc.synopsis() and pydoc.apropos() on modules with empty docstrings.

bpo-22885 [https://bugs.python.org/issue?@action=redirect&bpo=22885]: Fixed arbitrary code execution vulnerability in the dbm.dumb module. Original patch by Claudiu Popa.

bpo-23239 [https://bugs.python.org/issue?@action=redirect&bpo=23239]: ssl.match_hostname() now supports matching of IP addresses.

bpo-23146 [https://bugs.python.org/issue?@action=redirect&bpo=23146]: Fix mishandling of absolute Windows paths with forward slashes in pathlib.

bpo-23096 [https://bugs.python.org/issue?@action=redirect&bpo=23096]: Pickle representation of floats with protocol 0 now is the same for both Python and C implementations.

bpo-19105 [https://bugs.python.org/issue?@action=redirect&bpo=19105]: pprint now more efficiently uses free space at the right.

bpo-14910 [https://bugs.python.org/issue?@action=redirect&bpo=14910]: Add allow_abbrev parameter to argparse.ArgumentParser. Patch by Jonathan Paugh, Steven Bethard, paul j3 and Daniel Eriksson.

bpo-21717 [https://bugs.python.org/issue?@action=redirect&bpo=21717]: tarfile.open() now supports ‘x’ (exclusive creation) mode.

bpo-23344 [https://bugs.python.org/issue?@action=redirect&bpo=23344]: marshal.dumps() is now 20-25% faster on average.

bpo-20416 [https://bugs.python.org/issue?@action=redirect&bpo=20416]: marshal.dumps() with protocols 3 and 4 is now 40-50% faster on average.

bpo-23421 [https://bugs.python.org/issue?@action=redirect&bpo=23421]: Fixed compression in tarfile CLI. Patch by wdv4758h.

bpo-23367 [https://bugs.python.org/issue?@action=redirect&bpo=23367]: Fix possible overflows in the unicodedata module.

bpo-23361 [https://bugs.python.org/issue?@action=redirect&bpo=23361]: Fix possible overflow in Windows subprocess creation code.

logging.handlers.QueueListener now takes a respect_handler_level keyword argument which, if set to True, will pass messages to handlers taking handler levels into account.

bpo-19705 [https://bugs.python.org/issue?@action=redirect&bpo=19705]: turtledemo now has a visual sorting algorithm demo. Original patch from Jason Yeo.

bpo-23801 [https://bugs.python.org/issue?@action=redirect&bpo=23801]: Fix issue where cgi.FieldStorage did not always ignore the entire preamble to a multipart body.

Build

bpo-23445 [https://bugs.python.org/issue?@action=redirect&bpo=23445]: pydebug builds now use “gcc -Og” where possible, to make the resulting executable faster.

bpo-23686 [https://bugs.python.org/issue?@action=redirect&bpo=23686]: Update OS X 10.5 installer build to use OpenSSL 1.0.2a.

C API

bpo-20204 [https://bugs.python.org/issue?@action=redirect&bpo=20204]: Deprecation warning is now raised for builtin types without the __module__ attribute.

Windows

bpo-23465 [https://bugs.python.org/issue?@action=redirect&bpo=23465]: Implement PEP 486 [https://peps.python.org/pep-0486/] - Make the Python Launcher aware of virtual environments. Patch by Paul Moore.

bpo-23437 [https://bugs.python.org/issue?@action=redirect&bpo=23437]: Make user scripts directory versioned on Windows. Patch by Paul Moore.

Python 3.5.0 alpha 1

Release date: 2015-02-08

Core and Builtins

bpo-23285 [https://bugs.python.org/issue?@action=redirect&bpo=23285]: PEP 475 - EINTR handling.

bpo-22735 [https://bugs.python.org/issue?@action=redirect&bpo=22735]: Fix many edge cases (including crashes) involving custom mro() implementations.

bpo-22896 [https://bugs.python.org/issue?@action=redirect&bpo=22896]: Avoid using PyObject_AsCharBuffer(), PyObject_AsReadBuffer() and PyObject_AsWriteBuffer().

bpo-21295 [https://bugs.python.org/issue?@action=redirect&bpo=21295]: Revert some changes (bpo-16795 [https://bugs.python.org/issue?@action=redirect&bpo=16795]) to AST line numbers and column offsets that constituted a regression.

bpo-22986 [https://bugs.python.org/issue?@action=redirect&bpo=22986]: Allow changing an object’s __class__ between a dynamic type and static type in some cases.

bpo-15859 [https://bugs.python.org/issue?@action=redirect&bpo=15859]: PyUnicode_EncodeFSDefault(), PyUnicode_EncodeMBCS() and PyUnicode_EncodeCodePage() now raise an exception if the object is not a Unicode object. For PyUnicode_EncodeFSDefault(), it was already the case on platforms other than Windows. Patch written by Campbell Barton.

bpo-21408 [https://bugs.python.org/issue?@action=redirect&bpo=21408]: The default __ne__() now returns NotImplemented if __eq__() returned NotImplemented. Original patch by Martin Panter.

bpo-23321 [https://bugs.python.org/issue?@action=redirect&bpo=23321]: Fixed a crash in str.decode() when error handler returned replacement string longer than malformed input data.

bpo-22286 [https://bugs.python.org/issue?@action=redirect&bpo=22286]: The “backslashreplace” error handlers now works with decoding and translating.

bpo-23253 [https://bugs.python.org/issue?@action=redirect&bpo=23253]: Delay-load ShellExecute[AW] in os.startfile for reduced startup overhead on Windows.

bpo-22038 [https://bugs.python.org/issue?@action=redirect&bpo=22038]: pyatomic.h now uses stdatomic.h or GCC built-in functions for atomic memory access if available. Patch written by Vitor de Lima and Gustavo Temple.

bpo-20284 [https://bugs.python.org/issue?@action=redirect&bpo=20284]: %-interpolation (aka printf) formatting added for bytes and bytearray.

bpo-23048 [https://bugs.python.org/issue?@action=redirect&bpo=23048]: Fix jumping out of an infinite while loop in the pdb.

bpo-20335 [https://bugs.python.org/issue?@action=redirect&bpo=20335]: bytes constructor now raises TypeError when encoding or errors is specified with non-string argument. Based on patch by Renaud Blanch.

bpo-22834 [https://bugs.python.org/issue?@action=redirect&bpo=22834]: If the current working directory ends up being set to a non-existent directory then import will no longer raise FileNotFoundError.

bpo-22869 [https://bugs.python.org/issue?@action=redirect&bpo=22869]: Move the interpreter startup & shutdown code to a new dedicated pylifecycle.c module

bpo-22847 [https://bugs.python.org/issue?@action=redirect&bpo=22847]: Improve method cache efficiency.

bpo-22335 [https://bugs.python.org/issue?@action=redirect&bpo=22335]: Fix crash when trying to enlarge a bytearray to 0x7fffffff bytes on a 32-bit platform.

bpo-22653 [https://bugs.python.org/issue?@action=redirect&bpo=22653]: Fix an assertion failure in debug mode when doing a reentrant dict insertion in debug mode.

bpo-22643 [https://bugs.python.org/issue?@action=redirect&bpo=22643]: Fix integer overflow in Unicode case operations (upper, lower, title, swapcase, casefold).

bpo-17636 [https://bugs.python.org/issue?@action=redirect&bpo=17636]: Circular imports involving relative imports are now supported.

bpo-22604 [https://bugs.python.org/issue?@action=redirect&bpo=22604]: Fix assertion error in debug mode when dividing a complex number by (nan+0j).

bpo-21052 [https://bugs.python.org/issue?@action=redirect&bpo=21052]: Do not raise ImportWarning when sys.path_hooks or sys.meta_path are set to None.

bpo-16518 [https://bugs.python.org/issue?@action=redirect&bpo=16518]: Use ‘bytes-like object required’ in error messages that previously used the far more cryptic “‘x’ does not support the buffer protocol.

bpo-22470 [https://bugs.python.org/issue?@action=redirect&bpo=22470]: Fixed integer overflow issues in “backslashreplace”, “xmlcharrefreplace”, and “surrogatepass” error handlers.

bpo-22540 [https://bugs.python.org/issue?@action=redirect&bpo=22540]: speed up PyObject_IsInstance and PyObject_IsSubclass in the common case that the second argument has metaclass type.

bpo-18711 [https://bugs.python.org/issue?@action=redirect&bpo=18711]: Add a new PyErr_FormatV function, similar to PyErr_Format but accepting a va_list argument.

bpo-22520 [https://bugs.python.org/issue?@action=redirect&bpo=22520]: Fix overflow checking when generating the repr of a unicode object.

bpo-22519 [https://bugs.python.org/issue?@action=redirect&bpo=22519]: Fix overflow checking in PyBytes_Repr.

bpo-22518 [https://bugs.python.org/issue?@action=redirect&bpo=22518]: Fix integer overflow issues in latin-1 encoding.

bpo-16324 [https://bugs.python.org/issue?@action=redirect&bpo=16324]: _charset parameter of MIMEText now also accepts email.charset.Charset instances. Initial patch by Claude Paroz.

bpo-1764286 [https://bugs.python.org/issue?@action=redirect&bpo=1764286]: Fix inspect.getsource() to support decorated functions. Patch by Claudiu Popa.

bpo-18554 [https://bugs.python.org/issue?@action=redirect&bpo=18554]: os.__all__ includes posix functions.

bpo-21391 [https://bugs.python.org/issue?@action=redirect&bpo=21391]: Use os.path.abspath in the shutil module.

bpo-11471 [https://bugs.python.org/issue?@action=redirect&bpo=11471]: avoid generating a JUMP_FORWARD instruction at the end of an if-block if there is no else-clause. Original patch by Eugene Toder.

bpo-22215 [https://bugs.python.org/issue?@action=redirect&bpo=22215]: Now ValueError is raised instead of TypeError when str or bytes argument contains not permitted null character or byte.

bpo-22258 [https://bugs.python.org/issue?@action=redirect&bpo=22258]: Fix the internal function set_inheritable() on Illumos. This platform exposes the function ioctl(FIOCLEX), but calling it fails with errno is ENOTTY: “Inappropriate ioctl for device”. set_inheritable() now falls back to the slower fcntl() (F_GETFD and then F_SETFD).

bpo-21389 [https://bugs.python.org/issue?@action=redirect&bpo=21389]: Displaying the __qualname__ of the underlying function in the repr of a bound method.

bpo-22206 [https://bugs.python.org/issue?@action=redirect&bpo=22206]: Using pthread, PyThread_create_key() now sets errno to ENOMEM and returns -1 (error) on integer overflow.

bpo-20184 [https://bugs.python.org/issue?@action=redirect&bpo=20184]: Argument Clinic based signature introspection added for 30 of the builtin functions.

bpo-22116 [https://bugs.python.org/issue?@action=redirect&bpo=22116]: C functions and methods (of the ‘builtin_function_or_method’ type) can now be weakref’ed. Patch by Wei Wu.

bpo-22077 [https://bugs.python.org/issue?@action=redirect&bpo=22077]: Improve index error messages for bytearrays, bytes, lists, and tuples by adding ‘or slices’. Added ‘, not <typename>’ for bytearrays. Original patch by Claudiu Popa.

bpo-20179 [https://bugs.python.org/issue?@action=redirect&bpo=20179]: Apply Argument Clinic to bytes and bytearray. Patch by Tal Einat.

bpo-22082 [https://bugs.python.org/issue?@action=redirect&bpo=22082]: Clear interned strings in slotdefs.

Upgrade Unicode database to Unicode 7.0.0.

bpo-21897 [https://bugs.python.org/issue?@action=redirect&bpo=21897]: Fix a crash with the f_locals attribute with closure variables when frame.clear() has been called.

bpo-21205 [https://bugs.python.org/issue?@action=redirect&bpo=21205]: Add a new __qualname__ attribute to generator, the qualified name, and use it in the representation of a generator (repr(gen)). The default name of the generator (__name__ attribute) is now get from the function instead of the code. Use gen.gi_code.co_name to get the name of the code.

bpo-21669 [https://bugs.python.org/issue?@action=redirect&bpo=21669]: With the aid of heuristics in SyntaxError.__init__, the parser now attempts to generate more meaningful (or at least more search engine friendly) error messages when “exec” and “print” are used as statements.

bpo-21642 [https://bugs.python.org/issue?@action=redirect&bpo=21642]: In the conditional if-else expression, allow an integer written with no space between itself and the else keyword (e.g. True if 42else False) to be valid syntax.

bpo-21523 [https://bugs.python.org/issue?@action=redirect&bpo=21523]: Fix over-pessimistic computation of the stack effect of some opcodes in the compiler. This also fixes a quadratic compilation time issue noticeable when compiling code with a large number of “and” and “or” operators.

bpo-21418 [https://bugs.python.org/issue?@action=redirect&bpo=21418]: Fix a crash in the builtin function super() when called without argument and without current frame (ex: embedded Python).

bpo-21425 [https://bugs.python.org/issue?@action=redirect&bpo=21425]: Fix flushing of standard streams in the interactive interpreter.

bpo-21435 [https://bugs.python.org/issue?@action=redirect&bpo=21435]: In rare cases, when running finalizers on objects in cyclic trash a bad pointer dereference could occur due to a subtle flaw in internal iteration logic.

bpo-21377 [https://bugs.python.org/issue?@action=redirect&bpo=21377]: PyBytes_Concat() now tries to concatenate in-place when the first argument has a reference count of 1. Patch by Nikolaus Rath.

bpo-20355 [https://bugs.python.org/issue?@action=redirect&bpo=20355]: -W command line options now have higher priority than the PYTHONWARNINGS environment variable. Patch by Arfrever.

bpo-21274 [https://bugs.python.org/issue?@action=redirect&bpo=21274]: Define PATH_MAX for GNU/Hurd in Python/pythonrun.c.

bpo-20904 [https://bugs.python.org/issue?@action=redirect&bpo=20904]: Support setting FPU precision on m68k.

bpo-21209 [https://bugs.python.org/issue?@action=redirect&bpo=21209]: Fix sending tuples to custom generator objects with the yield from syntax.

bpo-21193 [https://bugs.python.org/issue?@action=redirect&bpo=21193]: pow(a, b, c) now raises ValueError rather than TypeError when b is negative. Patch by Josh Rosenberg.

bpo-21176 [https://bugs.python.org/issue?@action=redirect&bpo=21176]: PEP 465: Add the ‘@’ operator for matrix multiplication.

bpo-21134 [https://bugs.python.org/issue?@action=redirect&bpo=21134]: Fix segfault when str is called on an uninitialized UnicodeEncodeError, UnicodeDecodeError, or UnicodeTranslateError object.

bpo-19537 [https://bugs.python.org/issue?@action=redirect&bpo=19537]: Fix PyUnicode_DATA() alignment under m68k. Patch by Andreas Schwab.

bpo-20929 [https://bugs.python.org/issue?@action=redirect&bpo=20929]: Add a type cast to avoid shifting a negative number.

bpo-20731 [https://bugs.python.org/issue?@action=redirect&bpo=20731]: Properly position in source code files even if they are opened in text mode. Patch by Serhiy Storchaka.

bpo-20637 [https://bugs.python.org/issue?@action=redirect&bpo=20637]: Key-sharing now also works for instance dictionaries of subclasses. Patch by Peter Ingebretson.

bpo-8297 [https://bugs.python.org/issue?@action=redirect&bpo=8297]: Attributes missing from modules now include the module name in the error text. Original patch by ysj.ray.

bpo-19995 [https://bugs.python.org/issue?@action=redirect&bpo=19995]: %c, %o, %x, and %X now raise TypeError on non-integer input.

bpo-19655 [https://bugs.python.org/issue?@action=redirect&bpo=19655]: The ASDL parser - used by the build process to generate code for managing the Python AST in C - was rewritten. The new parser is self contained and does not require to carry long the spark.py parser-generator library; spark.py was removed from the source base.

bpo-12546 [https://bugs.python.org/issue?@action=redirect&bpo=12546]: Allow \x00 to be used as a fill character when using str, int, float, and complex __format__ methods.

bpo-20480 [https://bugs.python.org/issue?@action=redirect&bpo=20480]: Add ipaddress.reverse_pointer. Patch by Leon Weber.

bpo-13598 [https://bugs.python.org/issue?@action=redirect&bpo=13598]: Modify string.Formatter to support auto-numbering of replacement fields. It now matches the behavior of str.format() in this regard. Patches by Phil Elson and Ramchandra Apte.

bpo-8931 [https://bugs.python.org/issue?@action=redirect&bpo=8931]: Make alternate formatting (‘#’) for type ‘c’ raise an exception. In versions prior to 3.5, ‘#’ with ‘c’ had no effect. Now specifying it is an error. Patch by Torsten Landschoff.

bpo-23165 [https://bugs.python.org/issue?@action=redirect&bpo=23165]: Perform overflow checks before allocating memory in the _Py_char2wchar function.

Library

bpo-23399 [https://bugs.python.org/issue?@action=redirect&bpo=23399]: pyvenv creates relative symlinks where possible.

bpo-20289 [https://bugs.python.org/issue?@action=redirect&bpo=20289]: cgi.FieldStorage() now supports the context management protocol.

bpo-13128 [https://bugs.python.org/issue?@action=redirect&bpo=13128]: Print response headers for CONNECT requests when debuglevel > 0. Patch by Demian Brecht.

bpo-15381 [https://bugs.python.org/issue?@action=redirect&bpo=15381]: Optimized io.BytesIO to make less allocations and copyings.

bpo-22818 [https://bugs.python.org/issue?@action=redirect&bpo=22818]: Splitting on a pattern that could match an empty string now raises a warning. Patterns that can only match empty strings are now rejected.

bpo-23099 [https://bugs.python.org/issue?@action=redirect&bpo=23099]: Closing io.BytesIO with exported buffer is rejected now to prevent corrupting exported buffer.

bpo-23326 [https://bugs.python.org/issue?@action=redirect&bpo=23326]: Removed __ne__ implementations. Since fixing default __ne__ implementation in bpo-21408 [https://bugs.python.org/issue?@action=redirect&bpo=21408] they are redundant.

bpo-23363 [https://bugs.python.org/issue?@action=redirect&bpo=23363]: Fix possible overflow in itertools.permutations.

bpo-23364 [https://bugs.python.org/issue?@action=redirect&bpo=23364]: Fix possible overflow in itertools.product.

bpo-23366 [https://bugs.python.org/issue?@action=redirect&bpo=23366]: Fixed possible integer overflow in itertools.combinations.

bpo-23369 [https://bugs.python.org/issue?@action=redirect&bpo=23369]: Fixed possible integer overflow in _json.encode_basestring_ascii.

bpo-23353 [https://bugs.python.org/issue?@action=redirect&bpo=23353]: Fix the exception handling of generators in PyEval_EvalFrameEx(). At entry, save or swap the exception state even if PyEval_EvalFrameEx() is called with throwflag=0. At exit, the exception state is now always restored or swapped, not only if why is WHY_YIELD or WHY_RETURN. Patch co-written with Antoine Pitrou.

bpo-14099 [https://bugs.python.org/issue?@action=redirect&bpo=14099]: Restored support of writing ZIP files to tellable but non-seekable streams.

bpo-14099 [https://bugs.python.org/issue?@action=redirect&bpo=14099]: Writing to ZipFile and reading multiple ZipExtFiles is threadsafe now.

bpo-19361 [https://bugs.python.org/issue?@action=redirect&bpo=19361]: JSON decoder now raises JSONDecodeError instead of ValueError.

bpo-18518 [https://bugs.python.org/issue?@action=redirect&bpo=18518]: timeit now rejects statements which can’t be compiled outside a function or a loop (e.g. “return” or “break”).

bpo-23094 [https://bugs.python.org/issue?@action=redirect&bpo=23094]: Fixed readline with frames in Python implementation of pickle.

bpo-23268 [https://bugs.python.org/issue?@action=redirect&bpo=23268]: Fixed bugs in the comparison of ipaddress classes.

bpo-21408 [https://bugs.python.org/issue?@action=redirect&bpo=21408]: Removed incorrect implementations of __ne__() which didn’t returned NotImplemented if __eq__() returned NotImplemented. The default __ne__() now works correctly.

bpo-19996 [https://bugs.python.org/issue?@action=redirect&bpo=19996]: email.feedparser.FeedParser now handles (malformed) headers with no key rather than assuming the body has started.

bpo-20188 [https://bugs.python.org/issue?@action=redirect&bpo=20188]: Support Application-Layer Protocol Negotiation (ALPN) in the ssl module.

bpo-23133 [https://bugs.python.org/issue?@action=redirect&bpo=23133]: Pickling of ipaddress objects now produces more compact and portable representation.

bpo-23248 [https://bugs.python.org/issue?@action=redirect&bpo=23248]: Update ssl error codes from latest OpenSSL git master.

bpo-23266 [https://bugs.python.org/issue?@action=redirect&bpo=23266]: Much faster implementation of ipaddress.collapse_addresses() when there are many non-consecutive addresses.

bpo-23098 [https://bugs.python.org/issue?@action=redirect&bpo=23098]: 64-bit dev_t is now supported in the os module.

bpo-21817 [https://bugs.python.org/issue?@action=redirect&bpo=21817]: When an exception is raised in a task submitted to a ProcessPoolExecutor, the remote traceback is now displayed in the parent process. Patch by Claudiu Popa.

bpo-15955 [https://bugs.python.org/issue?@action=redirect&bpo=15955]: Add an option to limit output size when decompressing LZMA data. Patch by Nikolaus Rath and Martin Panter.

bpo-23250 [https://bugs.python.org/issue?@action=redirect&bpo=23250]: In the http.cookies module, capitalize “HttpOnly” and “Secure” as they are written in the standard.

bpo-23063 [https://bugs.python.org/issue?@action=redirect&bpo=23063]: In the distutils’ check command, fix parsing of reST with code or code-block directives.

bpo-23209 [https://bugs.python.org/issue?@action=redirect&bpo=23209]: selectors.BaseSelector.get_key() now raises a RuntimeError if the selector is closed. And selectors.BaseSelector.close() now clears its internal reference to the selector mapping to break a reference cycle. Initial patch written by Martin Richard. (See also: bpo-23225 [https://bugs.python.org/issue?@action=redirect&bpo=23225])

bpo-17911 [https://bugs.python.org/issue?@action=redirect&bpo=17911]: Provide a way to seed the linecache for a PEP-302 module without actually loading the code.

bpo-17911 [https://bugs.python.org/issue?@action=redirect&bpo=17911]: Provide a new object API for traceback, including the ability to not lookup lines at all until the traceback is actually rendered, without any trace of the original objects being kept alive.

bpo-19777 [https://bugs.python.org/issue?@action=redirect&bpo=19777]: Provide a home() classmethod on Path objects. Contributed by Victor Salgado and Mayank Tripathi.

bpo-23206 [https://bugs.python.org/issue?@action=redirect&bpo=23206]: Make json.dumps(..., ensure_ascii=False) as fast as the default case of ensure_ascii=True. Patch by Naoki Inada.

bpo-23185 [https://bugs.python.org/issue?@action=redirect&bpo=23185]: Add math.inf and math.nan constants.

bpo-23186 [https://bugs.python.org/issue?@action=redirect&bpo=23186]: Add ssl.SSLObject.shared_ciphers() and ssl.SSLSocket.shared_ciphers() to fetch the client’s list ciphers sent at handshake.

bpo-23143 [https://bugs.python.org/issue?@action=redirect&bpo=23143]: Remove compatibility with OpenSSLs older than 0.9.8.

bpo-23132 [https://bugs.python.org/issue?@action=redirect&bpo=23132]: Improve performance and introspection support of comparison methods created by functool.total_ordering.

bpo-19776 [https://bugs.python.org/issue?@action=redirect&bpo=19776]: Add an expanduser() method on Path objects.

bpo-23112 [https://bugs.python.org/issue?@action=redirect&bpo=23112]: Fix SimpleHTTPServer to correctly carry the query string and fragment when it redirects to add a trailing slash.

bpo-21793 [https://bugs.python.org/issue?@action=redirect&bpo=21793]: Added http.HTTPStatus enums (i.e. HTTPStatus.OK, HTTPStatus.NOT_FOUND). Patch by Demian Brecht.

bpo-23093 [https://bugs.python.org/issue?@action=redirect&bpo=23093]: In the io, module allow more operations to work on detached streams.

bpo-23111 [https://bugs.python.org/issue?@action=redirect&bpo=23111]: In the ftplib, make ssl.PROTOCOL_SSLv23 the default protocol version.

bpo-22585 [https://bugs.python.org/issue?@action=redirect&bpo=22585]: On OpenBSD 5.6 and newer, os.urandom() now calls getentropy(), instead of reading /dev/urandom, to get pseudo-random bytes.

bpo-19104 [https://bugs.python.org/issue?@action=redirect&bpo=19104]: pprint now produces evaluable output for wrapped strings.

bpo-23071 [https://bugs.python.org/issue?@action=redirect&bpo=23071]: Added missing names to codecs.__all__. Patch by Martin Panter.

bpo-22783 [https://bugs.python.org/issue?@action=redirect&bpo=22783]: Pickling now uses the NEWOBJ opcode instead of the NEWOBJ_EX opcode if possible.

bpo-15513 [https://bugs.python.org/issue?@action=redirect&bpo=15513]: Added a __sizeof__ implementation for pickle classes.

bpo-19858 [https://bugs.python.org/issue?@action=redirect&bpo=19858]: pickletools.optimize() now aware of the MEMOIZE opcode, can produce more compact result and no longer produces invalid output if input data contains MEMOIZE opcodes together with PUT or BINPUT opcodes.

bpo-22095 [https://bugs.python.org/issue?@action=redirect&bpo=22095]: Fixed HTTPConnection.set_tunnel with default port. The port value in the host header was set to “None”. Patch by Demian Brecht.

bpo-23016 [https://bugs.python.org/issue?@action=redirect&bpo=23016]: A warning no longer produces an AttributeError when the program is run with pythonw.exe.

bpo-21775 [https://bugs.python.org/issue?@action=redirect&bpo=21775]: shutil.copytree(): fix crash when copying to VFAT. An exception handler assumed that OSError objects always have a ‘winerror’ attribute. That is not the case, so the exception handler itself raised AttributeError when run on Linux (and, presumably, any other non-Windows OS). Patch by Greg Ward.

bpo-1218234 [https://bugs.python.org/issue?@action=redirect&bpo=1218234]: Fix inspect.getsource() to load updated source of reloaded module. Initial patch by Berker Peksag.

bpo-21740 [https://bugs.python.org/issue?@action=redirect&bpo=21740]: Support wrapped callables in doctest. Patch by Claudiu Popa.

bpo-23009 [https://bugs.python.org/issue?@action=redirect&bpo=23009]: Make sure selectors.EpollSelector.select() works when no FD is registered.

bpo-22959 [https://bugs.python.org/issue?@action=redirect&bpo=22959]: In the constructor of http.client.HTTPSConnection, prefer the context’s check_hostname attribute over the check_hostname parameter.

bpo-22696 [https://bugs.python.org/issue?@action=redirect&bpo=22696]: Add function sys.is_finalizing() to know about interpreter shutdown.

bpo-16043 [https://bugs.python.org/issue?@action=redirect&bpo=16043]: Add a default limit for the amount of data xmlrpclib.gzip_decode will return. This resolves CVE 2013-1753 [https://www.cve.org/CVERecord?id=CVE-2013-1753].

bpo-14099 [https://bugs.python.org/issue?@action=redirect&bpo=14099]: ZipFile.open() no longer reopen the underlying file. Objects returned by ZipFile.open() can now operate independently of the ZipFile even if the ZipFile was created by passing in a file-like object as the first argument to the constructor.

bpo-22966 [https://bugs.python.org/issue?@action=redirect&bpo=22966]: Fix __pycache__ pyc file name clobber when pyc_compile is asked to compile a source file containing multiple dots in the source file name.

bpo-21971 [https://bugs.python.org/issue?@action=redirect&bpo=21971]: Update turtledemo doc and add module to the index.

bpo-21032 [https://bugs.python.org/issue?@action=redirect&bpo=21032]: Fixed socket leak if HTTPConnection.getresponse() fails. Original patch by Martin Panter.

bpo-22407 [https://bugs.python.org/issue?@action=redirect&bpo=22407]: Deprecated the use of re.LOCALE flag with str patterns or re.ASCII. It was newer worked.

bpo-22902 [https://bugs.python.org/issue?@action=redirect&bpo=22902]: The “ip” command is now used on Linux to determine MAC address in uuid.getnode(). Pach by Bruno Cauet.

bpo-22960 [https://bugs.python.org/issue?@action=redirect&bpo=22960]: Add a context argument to xmlrpclib.ServerProxy constructor.

bpo-22389 [https://bugs.python.org/issue?@action=redirect&bpo=22389]: Add contextlib.redirect_stderr().

bpo-21356 [https://bugs.python.org/issue?@action=redirect&bpo=21356]: Make ssl.RAND_egd() optional to support LibreSSL. The availability of the function is checked during the compilation. Patch written by Bernard Spil.

bpo-22915 [https://bugs.python.org/issue?@action=redirect&bpo=22915]: SAX parser now supports files opened with file descriptor or bytes path.

bpo-22609 [https://bugs.python.org/issue?@action=redirect&bpo=22609]: Constructors and update methods of mapping classes in the collections module now accept the self keyword argument.

bpo-22940 [https://bugs.python.org/issue?@action=redirect&bpo=22940]: Add readline.append_history_file.

bpo-19676 [https://bugs.python.org/issue?@action=redirect&bpo=19676]: Added the “namereplace” error handler.

bpo-22788 [https://bugs.python.org/issue?@action=redirect&bpo=22788]: Add context parameter to logging.handlers.HTTPHandler.

bpo-22921 [https://bugs.python.org/issue?@action=redirect&bpo=22921]: Allow SSLContext to take the hostname parameter even if OpenSSL doesn’t support SNI.

bpo-22894 [https://bugs.python.org/issue?@action=redirect&bpo=22894]: TestCase.subTest() would cause the test suite to be stopped when in failfast mode, even in the absence of failures.

bpo-22796 [https://bugs.python.org/issue?@action=redirect&bpo=22796]: HTTP cookie parsing is now stricter, in order to protect against potential injection attacks.

bpo-22370 [https://bugs.python.org/issue?@action=redirect&bpo=22370]: Windows detection in pathlib is now more robust.

bpo-22841 [https://bugs.python.org/issue?@action=redirect&bpo=22841]: Reject coroutines in asyncio add_signal_handler(). Patch by Ludovic.Gasc.

bpo-19494 [https://bugs.python.org/issue?@action=redirect&bpo=19494]: Added urllib.request.HTTPBasicPriorAuthHandler. Patch by Matej Cepl.

bpo-22578 [https://bugs.python.org/issue?@action=redirect&bpo=22578]: Added attributes to the re.error class.

bpo-22849 [https://bugs.python.org/issue?@action=redirect&bpo=22849]: Fix possible double free in the io.TextIOWrapper constructor.

bpo-12728 [https://bugs.python.org/issue?@action=redirect&bpo=12728]: Different Unicode characters having the same uppercase but different lowercase are now matched in case-insensitive regular expressions.

bpo-22821 [https://bugs.python.org/issue?@action=redirect&bpo=22821]: Fixed fcntl() with integer argument on 64-bit big-endian platforms.

bpo-21650 [https://bugs.python.org/issue?@action=redirect&bpo=21650]: Add an --sort-keys option to json.tool CLI.

bpo-22824 [https://bugs.python.org/issue?@action=redirect&bpo=22824]: Updated reprlib output format for sets to use set literals. Patch contributed by Berker Peksag.

bpo-22824 [https://bugs.python.org/issue?@action=redirect&bpo=22824]: Updated reprlib output format for arrays to display empty arrays without an unnecessary empty list. Suggested by Serhiy Storchaka.

bpo-22406 [https://bugs.python.org/issue?@action=redirect&bpo=22406]: Fixed the uu_codec codec incorrectly ported to 3.x. Based on patch by Martin Panter.

bpo-17293 [https://bugs.python.org/issue?@action=redirect&bpo=17293]: uuid.getnode() now determines MAC address on AIX using netstat. Based on patch by Aivars Kalvāns.

bpo-22769 [https://bugs.python.org/issue?@action=redirect&bpo=22769]: Fixed ttk.Treeview.tag_has() when called without arguments.

bpo-22417 [https://bugs.python.org/issue?@action=redirect&bpo=22417]: Verify certificates by default in httplib (PEP 476).

bpo-22775 [https://bugs.python.org/issue?@action=redirect&bpo=22775]: Fixed unpickling of http.cookies.SimpleCookie with protocol 2 and above. Patch by Tim Graham.

bpo-22776 [https://bugs.python.org/issue?@action=redirect&bpo=22776]: Brought excluded code into the scope of a try block in SysLogHandler.emit().

bpo-22665 [https://bugs.python.org/issue?@action=redirect&bpo=22665]: Add missing get_terminal_size and SameFileError to shutil.__all__.

bpo-6623 [https://bugs.python.org/issue?@action=redirect&bpo=6623]: Remove deprecated Netrc class in the ftplib module. Patch by Matt Chaput.

bpo-17381 [https://bugs.python.org/issue?@action=redirect&bpo=17381]: Fixed handling of case-insensitive ranges in regular expressions.

bpo-22410 [https://bugs.python.org/issue?@action=redirect&bpo=22410]: Module level functions in the re module now cache compiled locale-dependent regular expressions taking into account the locale.

bpo-22759 [https://bugs.python.org/issue?@action=redirect&bpo=22759]: Query methods on pathlib.Path() (exists(), is_dir(), etc.) now return False when the underlying stat call raises NotADirectoryError.

bpo-8876 [https://bugs.python.org/issue?@action=redirect&bpo=8876]: distutils now falls back to copying files when hard linking doesn’t work. This allows use with special filesystems such as VirtualBox shared folders.

bpo-22217 [https://bugs.python.org/issue?@action=redirect&bpo=22217]: Implemented reprs of classes in the zipfile module.

bpo-22457 [https://bugs.python.org/issue?@action=redirect&bpo=22457]: Honour load_tests in the start_dir of discovery.

bpo-18216 [https://bugs.python.org/issue?@action=redirect&bpo=18216]: gettext now raises an error when a .mo file has an unsupported major version number. Patch by Aaron Hill.

bpo-13918 [https://bugs.python.org/issue?@action=redirect&bpo=13918]: Provide a locale.delocalize() function which can remove locale-specific number formatting from a string representing a number, without then converting it to a specific type. Patch by Cédric Krier.

bpo-22676 [https://bugs.python.org/issue?@action=redirect&bpo=22676]: Make the pickling of global objects which don’t have a __module__ attribute less slow.

bpo-18853 [https://bugs.python.org/issue?@action=redirect&bpo=18853]: Fixed ResourceWarning in shlex.__nain__.

bpo-9351 [https://bugs.python.org/issue?@action=redirect&bpo=9351]: Defaults set with set_defaults on an argparse subparser are no longer ignored when also set on the parent parser.

bpo-7559 [https://bugs.python.org/issue?@action=redirect&bpo=7559]: unittest test loading ImportErrors are reported as import errors with their import exception rather than as attribute errors after the import has already failed.

bpo-19746 [https://bugs.python.org/issue?@action=redirect&bpo=19746]: Make it possible to examine the errors from unittest discovery without executing the test suite. The new errors attribute on TestLoader exposes these non-fatal errors encountered during discovery.

bpo-21991 [https://bugs.python.org/issue?@action=redirect&bpo=21991]: Make email.headerregistry’s header ‘params’ attributes be read-only (MappingProxyType). Previously the dictionary was modifiable but a new one was created on each access of the attribute.

bpo-22638 [https://bugs.python.org/issue?@action=redirect&bpo=22638]: SSLv3 is now disabled throughout the standard library. It can still be enabled by instantiating a SSLContext manually.

bpo-22641 [https://bugs.python.org/issue?@action=redirect&bpo=22641]: In asyncio, the default SSL context for client connections is now created using ssl.create_default_context(), for stronger security.

bpo-17401 [https://bugs.python.org/issue?@action=redirect&bpo=17401]: Include closefd in io.FileIO repr.

bpo-21338 [https://bugs.python.org/issue?@action=redirect&bpo=21338]: Add silent mode for compileall. quiet parameters of compile_{dir, file, path} functions now have a multilevel value. Also, -q option of the CLI now have a multilevel value. Patch by Thomas Kluyver.

bpo-20152 [https://bugs.python.org/issue?@action=redirect&bpo=20152]: Convert the array and cmath modules to Argument Clinic.

bpo-18643 [https://bugs.python.org/issue?@action=redirect&bpo=18643]: Add socket.socketpair() on Windows.

bpo-22435 [https://bugs.python.org/issue?@action=redirect&bpo=22435]: Fix a file descriptor leak when socketserver bind fails.

bpo-13096 [https://bugs.python.org/issue?@action=redirect&bpo=13096]: Fixed segfault in CTypes POINTER handling of large values.

bpo-11694 [https://bugs.python.org/issue?@action=redirect&bpo=11694]: Raise ConversionError in xdrlib as documented. Patch by Filip Gruszczyński and Claudiu Popa.

bpo-19380 [https://bugs.python.org/issue?@action=redirect&bpo=19380]: Optimized parsing of regular expressions.

bpo-1519638 [https://bugs.python.org/issue?@action=redirect&bpo=1519638]: Now unmatched groups are replaced with empty strings in re.sub() and re.subn().

bpo-18615 [https://bugs.python.org/issue?@action=redirect&bpo=18615]: sndhdr.what/whathdr now return a namedtuple.

bpo-22462 [https://bugs.python.org/issue?@action=redirect&bpo=22462]: Fix pyexpat’s creation of a dummy frame to make it appear in exception tracebacks.

bpo-21965 [https://bugs.python.org/issue?@action=redirect&bpo=21965]: Add support for in-memory SSL to the ssl module. Patch by Geert Jansen.

bpo-21173 [https://bugs.python.org/issue?@action=redirect&bpo=21173]: Fix len() on a WeakKeyDictionary when .clear() was called with an iterator alive.

bpo-11866 [https://bugs.python.org/issue?@action=redirect&bpo=11866]: Eliminated race condition in the computation of names for new threads.

bpo-21905 [https://bugs.python.org/issue?@action=redirect&bpo=21905]: Avoid RuntimeError in pickle.whichmodule() when sys.modules is mutated while iterating. Patch by Olivier Grisel.

bpo-11271 [https://bugs.python.org/issue?@action=redirect&bpo=11271]: concurrent.futures.Executor.map() now takes a chunksize argument to allow batching of tasks in child processes and improve performance of ProcessPoolExecutor. Patch by Dan O’Reilly.

bpo-21883 [https://bugs.python.org/issue?@action=redirect&bpo=21883]: os.path.join() and os.path.relpath() now raise a TypeError with more helpful error message for unsupported or mismatched types of arguments.

bpo-22219 [https://bugs.python.org/issue?@action=redirect&bpo=22219]: The zipfile module CLI now adds entries for directories (including empty directories) in ZIP file.

bpo-22449 [https://bugs.python.org/issue?@action=redirect&bpo=22449]: In the ssl.SSLContext.load_default_certs, consult the environmental variables SSL_CERT_DIR and SSL_CERT_FILE on Windows.

bpo-22508 [https://bugs.python.org/issue?@action=redirect&bpo=22508]: The email.__version__ variable has been removed; the email code is no longer shipped separately from the stdlib, and __version__ hasn’t been updated in several releases.

bpo-20076 [https://bugs.python.org/issue?@action=redirect&bpo=20076]: Added non derived UTF-8 aliases to locale aliases table.

bpo-20079 [https://bugs.python.org/issue?@action=redirect&bpo=20079]: Added locales supported in glibc 2.18 to locale alias table.

bpo-20218 [https://bugs.python.org/issue?@action=redirect&bpo=20218]: Added convenience methods read_text/write_text and read_bytes/ write_bytes to pathlib.Path objects.

bpo-22396 [https://bugs.python.org/issue?@action=redirect&bpo=22396]: On 32-bit AIX platform, don’t expose os.posix_fadvise() nor os.posix_fallocate() because their prototypes in system headers are wrong.

bpo-22517 [https://bugs.python.org/issue?@action=redirect&bpo=22517]: When an io.BufferedRWPair object is deallocated, clear its weakrefs.

bpo-22437 [https://bugs.python.org/issue?@action=redirect&bpo=22437]: Number of capturing groups in regular expression is no longer limited by 100.

bpo-17442 [https://bugs.python.org/issue?@action=redirect&bpo=17442]: InteractiveInterpreter now displays the full chained traceback in its showtraceback method, to match the built in interactive interpreter.

bpo-23392 [https://bugs.python.org/issue?@action=redirect&bpo=23392]: Added tests for marshal C API that works with FILE*.

bpo-10510 [https://bugs.python.org/issue?@action=redirect&bpo=10510]: distutils register and upload methods now use HTML standards compliant CRLF line endings.

bpo-9850 [https://bugs.python.org/issue?@action=redirect&bpo=9850]: Fixed macpath.join() for empty first component. Patch by Oleg Oshmyan.

bpo-5309 [https://bugs.python.org/issue?@action=redirect&bpo=5309]: distutils’ build and build_ext commands now accept a -j option to enable parallel building of extension modules.

bpo-22448 [https://bugs.python.org/issue?@action=redirect&bpo=22448]: Improve canceled timer handles cleanup to prevent unbound memory usage. Patch by Joshua Moore-Oliva.

bpo-22427 [https://bugs.python.org/issue?@action=redirect&bpo=22427]: TemporaryDirectory no longer attempts to clean up twice when used in the with statement in generator.

bpo-22362 [https://bugs.python.org/issue?@action=redirect&bpo=22362]: Forbidden ambiguous octal escapes out of range 0-0o377 in regular expressions.

bpo-20912 [https://bugs.python.org/issue?@action=redirect&bpo=20912]: Now directories added to ZIP file have correct Unix and MS-DOS directory attributes.

bpo-21866 [https://bugs.python.org/issue?@action=redirect&bpo=21866]: ZipFile.close() no longer writes ZIP64 central directory records if allowZip64 is false.

bpo-22278 [https://bugs.python.org/issue?@action=redirect&bpo=22278]: Fix urljoin problem with relative urls, a regression observed after changes to issue22118 were submitted.

bpo-22415 [https://bugs.python.org/issue?@action=redirect&bpo=22415]: Fixed debugging output of the GROUPREF_EXISTS opcode in the re module. Removed trailing spaces in debugging output.

bpo-22423 [https://bugs.python.org/issue?@action=redirect&bpo=22423]: Unhandled exception in thread no longer causes unhandled AttributeError when sys.stderr is None.

bpo-21332 [https://bugs.python.org/issue?@action=redirect&bpo=21332]: Ensure that bufsize=1 in subprocess.Popen() selects line buffering, rather than block buffering. Patch by Akira Li.

bpo-21091 [https://bugs.python.org/issue?@action=redirect&bpo=21091]: Fix API bug: email.message.EmailMessage.is_attachment is now a method.

bpo-21079 [https://bugs.python.org/issue?@action=redirect&bpo=21079]: Fix email.message.EmailMessage.is_attachment to return the correct result when the header has parameters as well as a value.

bpo-22247 [https://bugs.python.org/issue?@action=redirect&bpo=22247]: Add NNTPError to nntplib.__all__.

bpo-22366 [https://bugs.python.org/issue?@action=redirect&bpo=22366]: urllib.request.urlopen will accept a context object (SSLContext) as an argument which will then be used for HTTPS connection. Patch by Alex Gaynor.

bpo-4180 [https://bugs.python.org/issue?@action=redirect&bpo=4180]: The warnings registries are now reset when the filters are modified.

bpo-22419 [https://bugs.python.org/issue?@action=redirect&bpo=22419]: Limit the length of incoming HTTP request in wsgiref server to 65536 bytes and send a 414 error code for higher lengths. Patch contributed by Devin Cook.

Lax cookie parsing in http.cookies could be a security issue when combined with non-standard cookie handling in some web browsers. Reported by Sergey Bobrov.

bpo-20537 [https://bugs.python.org/issue?@action=redirect&bpo=20537]: logging methods now accept an exception instance as well as a Boolean value or exception tuple. Thanks to Yury Selivanov for the patch.

bpo-22384 [https://bugs.python.org/issue?@action=redirect&bpo=22384]: An exception in Tkinter callback no longer crashes the program when it is run with pythonw.exe.

bpo-22168 [https://bugs.python.org/issue?@action=redirect&bpo=22168]: Prevent turtle AttributeError with non-default Canvas on OS X.

bpo-21147 [https://bugs.python.org/issue?@action=redirect&bpo=21147]: sqlite3 now raises an exception if the request contains a null character instead of truncating it. Based on patch by Victor Stinner.

bpo-13968 [https://bugs.python.org/issue?@action=redirect&bpo=13968]: The glob module now supports recursive search in subdirectories using the ** pattern.

bpo-21951 [https://bugs.python.org/issue?@action=redirect&bpo=21951]: Fixed a crash in Tkinter on AIX when called Tcl command with empty string or tuple argument.

bpo-21951 [https://bugs.python.org/issue?@action=redirect&bpo=21951]: Tkinter now most likely raises MemoryError instead of crash if the memory allocation fails.

bpo-22338 [https://bugs.python.org/issue?@action=redirect&bpo=22338]: Fix a crash in the json module on memory allocation failure.

bpo-12410 [https://bugs.python.org/issue?@action=redirect&bpo=12410]: imaplib.IMAP4 now supports the context management protocol. Original patch by Tarek Ziadé.

bpo-21270 [https://bugs.python.org/issue?@action=redirect&bpo=21270]: We now override tuple methods in mock.call objects so that they can be used as normal call attributes.

bpo-16662 [https://bugs.python.org/issue?@action=redirect&bpo=16662]: load_tests() is now unconditionally run when it is present in a package’s __init__.py. TestLoader.loadTestsFromModule() still accepts use_load_tests, but it is deprecated and ignored. A new keyword-only attribute pattern is added and documented. Patch given by Robert Collins, tweaked by Barry Warsaw.

bpo-22226 [https://bugs.python.org/issue?@action=redirect&bpo=22226]: First letter no longer is stripped from the “status” key in the result of Treeview.heading().

bpo-19524 [https://bugs.python.org/issue?@action=redirect&bpo=19524]: Fixed resource leak in the HTTP connection when an invalid response is received. Patch by Martin Panter.

bpo-20421 [https://bugs.python.org/issue?@action=redirect&bpo=20421]: Add a .version() method to SSL sockets exposing the actual protocol version in use.

bpo-19546 [https://bugs.python.org/issue?@action=redirect&bpo=19546]: configparser exceptions no longer expose implementation details. Chained KeyErrors are removed, which leads to cleaner tracebacks. Patch by Claudiu Popa.

bpo-22051 [https://bugs.python.org/issue?@action=redirect&bpo=22051]: turtledemo no longer reloads examples to re-run them. Initialization of variables and gui setup should be done in main(), which is called each time a demo is run, but not on import.

bpo-21933 [https://bugs.python.org/issue?@action=redirect&bpo=21933]: Turtledemo users can change the code font size with a menu selection or control(command) ‘-’ or ‘+’ or control-mousewheel. Original patch by Lita Cho.

bpo-21597 [https://bugs.python.org/issue?@action=redirect&bpo=21597]: The separator between the turtledemo text pane and the drawing canvas can now be grabbed and dragged with a mouse. The code text pane can be widened to easily view or copy the full width of the text. The canvas can be widened on small screens. Original patches by Jan Kanis and Lita Cho.

bpo-18132 [https://bugs.python.org/issue?@action=redirect&bpo=18132]: Turtledemo buttons no longer disappear when the window is shrunk. Original patches by Jan Kanis and Lita Cho.

bpo-22043 [https://bugs.python.org/issue?@action=redirect&bpo=22043]: time.monotonic() is now always available. threading.Lock.acquire(), threading.RLock.acquire() and socket operations now use a monotonic clock, instead of the system clock, when a timeout is used.

bpo-21527 [https://bugs.python.org/issue?@action=redirect&bpo=21527]: Add a default number of workers to ThreadPoolExecutor equal to 5 times the number of CPUs. Patch by Claudiu Popa.

bpo-22216 [https://bugs.python.org/issue?@action=redirect&bpo=22216]: smtplib now resets its state more completely after a quit. The most obvious consequence of the previous behavior was a STARTTLS failure during a connect/starttls/quit/connect/starttls sequence.

bpo-22098 [https://bugs.python.org/issue?@action=redirect&bpo=22098]: ctypes’ BigEndianStructure and LittleEndianStructure now define an empty __slots__ so that subclasses don’t always get an instance dict. Patch by Claudiu Popa.

bpo-22185 [https://bugs.python.org/issue?@action=redirect&bpo=22185]: Fix an occasional RuntimeError in threading.Condition.wait() caused by mutation of the waiters queue without holding the lock. Patch by Doug Zongker.

bpo-22287 [https://bugs.python.org/issue?@action=redirect&bpo=22287]: On UNIX, _PyTime_gettimeofday() now uses clock_gettime(CLOCK_REALTIME) if available. As a side effect, Python now depends on the librt library on Solaris and on Linux (only with glibc older than 2.17).

bpo-22182 [https://bugs.python.org/issue?@action=redirect&bpo=22182]: Use e.args to unpack exceptions correctly in distutils.file_util.move_file. Patch by Claudiu Popa.

The webbrowser module now uses subprocess’s start_new_session=True rather than a potentially risky preexec_fn=os.setsid call.

bpo-22042 [https://bugs.python.org/issue?@action=redirect&bpo=22042]: signal.set_wakeup_fd(fd) now raises an exception if the file descriptor is in blocking mode.

bpo-16808 [https://bugs.python.org/issue?@action=redirect&bpo=16808]: inspect.stack() now returns a named tuple instead of a tuple. Patch by Daniel Shahaf.

bpo-22236 [https://bugs.python.org/issue?@action=redirect&bpo=22236]: Fixed Tkinter images copying operations in NoDefaultRoot mode.

bpo-2527 [https://bugs.python.org/issue?@action=redirect&bpo=2527]: Add a globals argument to timeit functions, in order to override the globals namespace in which the timed code is executed. Patch by Ben Roberts.

bpo-22118 [https://bugs.python.org/issue?@action=redirect&bpo=22118]: Switch urllib.parse to use RFC 3986 semantics for the resolution of relative URLs, rather than RFCs 1808 and 2396. Patch by Demian Brecht.

bpo-21549 [https://bugs.python.org/issue?@action=redirect&bpo=21549]: Added the “members” parameter to TarFile.list().

bpo-19628 [https://bugs.python.org/issue?@action=redirect&bpo=19628]: Allow compileall recursion depth to be specified with a -r option.

bpo-15696 [https://bugs.python.org/issue?@action=redirect&bpo=15696]: Add a __sizeof__ implementation for mmap objects on Windows.

bpo-22068 [https://bugs.python.org/issue?@action=redirect&bpo=22068]: Avoided reference loops with Variables and Fonts in Tkinter.

bpo-22165 [https://bugs.python.org/issue?@action=redirect&bpo=22165]: SimpleHTTPRequestHandler now supports undecodable file names.

bpo-15381 [https://bugs.python.org/issue?@action=redirect&bpo=15381]: Optimized line reading in io.BytesIO.

bpo-8797 [https://bugs.python.org/issue?@action=redirect&bpo=8797]: Raise HTTPError on failed Basic Authentication immediately. Initial patch by Sam Bull.

bpo-20729 [https://bugs.python.org/issue?@action=redirect&bpo=20729]: Restored the use of lazy iterkeys()/itervalues()/iteritems() in the mailbox module.

bpo-21448 [https://bugs.python.org/issue?@action=redirect&bpo=21448]: Changed FeedParser feed() to avoid O(n²) behavior when parsing long line. Original patch by Raymond Hettinger.

bpo-22184 [https://bugs.python.org/issue?@action=redirect&bpo=22184]: The functools LRU Cache decorator factory now gives an earlier and clearer error message when the user forgets the required parameters.

bpo-17923 [https://bugs.python.org/issue?@action=redirect&bpo=17923]: glob() patterns ending with a slash no longer match non-dirs on AIX. Based on patch by Delhallt.

bpo-21725 [https://bugs.python.org/issue?@action=redirect&bpo=21725]: Added support for RFC 6531 (SMTPUTF8) in smtpd.

bpo-22176 [https://bugs.python.org/issue?@action=redirect&bpo=22176]: Update the ctypes module’s libffi to v3.1. This release adds support for the Linux AArch64 and POWERPC ELF ABIv2 little endian architectures.

bpo-5411 [https://bugs.python.org/issue?@action=redirect&bpo=5411]: Added support for the “xztar” format in the shutil module.

bpo-21121 [https://bugs.python.org/issue?@action=redirect&bpo=21121]: Don’t force 3rd party C extensions to be built with -Werror=declaration-after-statement.

bpo-21975 [https://bugs.python.org/issue?@action=redirect&bpo=21975]: Fixed crash when using uninitialized sqlite3.Row (in particular when unpickling pickled sqlite3.Row). sqlite3.Row is now initialized in the __new__() method.

bpo-20170 [https://bugs.python.org/issue?@action=redirect&bpo=20170]: Convert posixmodule to use Argument Clinic.

bpo-21539 [https://bugs.python.org/issue?@action=redirect&bpo=21539]: Add an exists_ok argument to Pathlib.mkdir() to mimic mkdir -p and os.makedirs() functionality. When true, ignore FileExistsErrors. Patch by Berker Peksag.

bpo-22127 [https://bugs.python.org/issue?@action=redirect&bpo=22127]: Bypass IDNA for pure-ASCII host names in the socket module (in particular for numeric IPs).

bpo-21047 [https://bugs.python.org/issue?@action=redirect&bpo=21047]: set the default value for the convert_charrefs argument of HTMLParser to True. Patch by Berker Peksag.

Add an __all__ to html.entities.

bpo-15114 [https://bugs.python.org/issue?@action=redirect&bpo=15114]: the strict mode and argument of HTMLParser, HTMLParser.error, and the HTMLParserError exception have been removed.

bpo-22085 [https://bugs.python.org/issue?@action=redirect&bpo=22085]: Dropped support of Tk 8.3 in Tkinter.

bpo-21580 [https://bugs.python.org/issue?@action=redirect&bpo=21580]: Now Tkinter correctly handles bytes arguments passed to Tk. In particular this allows initializing images from binary data.

bpo-22003 [https://bugs.python.org/issue?@action=redirect&bpo=22003]: When initialized from a bytes object, io.BytesIO() now defers making a copy until it is mutated, improving performance and memory use on some use cases. Patch by David Wilson.

bpo-22018 [https://bugs.python.org/issue?@action=redirect&bpo=22018]: On Windows, signal.set_wakeup_fd() now also supports sockets. A side effect is that Python depends to the WinSock library.

bpo-22054 [https://bugs.python.org/issue?@action=redirect&bpo=22054]: Add os.get_blocking() and os.set_blocking() functions to get and set the blocking mode of a file descriptor (False if the O_NONBLOCK flag is set, True otherwise). These functions are not available on Windows.

bpo-17172 [https://bugs.python.org/issue?@action=redirect&bpo=17172]: Make turtledemo start as active on OS X even when run with subprocess. Patch by Lita Cho.

bpo-21704 [https://bugs.python.org/issue?@action=redirect&bpo=21704]: Fix build error for _multiprocessing when semaphores are not available. Patch by Arfrever Frehtes Taifersar Arahesis.

bpo-20173 [https://bugs.python.org/issue?@action=redirect&bpo=20173]: Convert sha1, sha256, sha512 and md5 to ArgumentClinic. Patch by Vajrasky Kok.

Fix repr(_socket.socket) on Windows 64-bit: don’t fail with OverflowError on closed socket. repr(socket.socket) already works fine.

bpo-22033 [https://bugs.python.org/issue?@action=redirect&bpo=22033]: Reprs of most Python implemented classes now contain actual class name instead of hardcoded one.

bpo-21947 [https://bugs.python.org/issue?@action=redirect&bpo=21947]: The dis module can now disassemble generator-iterator objects based on their gi_code attribute. Patch by Clement Rouault.

bpo-16133 [https://bugs.python.org/issue?@action=redirect&bpo=16133]: The asynchat.async_chat.handle_read() method now ignores BlockingIOError exceptions.

bpo-22044 [https://bugs.python.org/issue?@action=redirect&bpo=22044]: Fixed premature DECREF in call_tzinfo_method. Patch by Tom Flanagan.

bpo-19884 [https://bugs.python.org/issue?@action=redirect&bpo=19884]: readline: Disable the meta modifier key if stdout is not a terminal to not write the ANSI sequence "\033[1034h" into stdout. This sequence is used on some terminal (ex: TERM=xterm-256color”) to enable support of 8 bit characters.

bpo-4350 [https://bugs.python.org/issue?@action=redirect&bpo=4350]: Removed a number of out-of-dated and non-working for a long time Tkinter methods.

bpo-6167 [https://bugs.python.org/issue?@action=redirect&bpo=6167]: Scrollbar.activate() now returns the name of active element if the argument is not specified. Scrollbar.set() now always accepts only 2 arguments.

bpo-15275 [https://bugs.python.org/issue?@action=redirect&bpo=15275]: Clean up and speed up the ntpath module.

bpo-21888 [https://bugs.python.org/issue?@action=redirect&bpo=21888]: plistlib’s load() and loads() now work if the fmt parameter is specified.

bpo-22032 [https://bugs.python.org/issue?@action=redirect&bpo=22032]: __qualname__ instead of __name__ is now always used to format fully qualified class names of Python implemented classes.

bpo-22031 [https://bugs.python.org/issue?@action=redirect&bpo=22031]: Reprs now always use hexadecimal format with the “0x” prefix when contain an id in form “ at 0x…”.

bpo-22018 [https://bugs.python.org/issue?@action=redirect&bpo=22018]: signal.set_wakeup_fd() now raises an OSError instead of a ValueError on fstat() failure.

bpo-21044 [https://bugs.python.org/issue?@action=redirect&bpo=21044]: tarfile.open() now handles fileobj with an integer ‘name’ attribute. Based on patch by Antoine Pietri.

bpo-21966 [https://bugs.python.org/issue?@action=redirect&bpo=21966]: Respect -q command-line option when code module is ran.

bpo-19076 [https://bugs.python.org/issue?@action=redirect&bpo=19076]: Don’t pass the redundant ‘file’ argument to self.error().

bpo-16382 [https://bugs.python.org/issue?@action=redirect&bpo=16382]: Improve exception message of warnings.warn() for bad category. Initial patch by Phil Elson.

bpo-21932 [https://bugs.python.org/issue?@action=redirect&bpo=21932]: os.read() now uses a Py_ssize_t() type instead of int for the size to support reading more than 2 GB at once. On Windows, the size is truncated to INT_MAX. As any call to os.read(), the OS may read less bytes than the number of requested bytes.

bpo-21942 [https://bugs.python.org/issue?@action=redirect&bpo=21942]: Fixed source file viewing in pydoc’s server mode on Windows.

bpo-11259 [https://bugs.python.org/issue?@action=redirect&bpo=11259]: asynchat.async_chat().set_terminator() now raises a ValueError if the number of received bytes is negative.

bpo-12523 [https://bugs.python.org/issue?@action=redirect&bpo=12523]: asynchat.async_chat.push() now raises a TypeError if it doesn’t get a bytes string

bpo-21707 [https://bugs.python.org/issue?@action=redirect&bpo=21707]: Add missing kwonlyargcount argument to ModuleFinder.replace_paths_in_code().

bpo-20639 [https://bugs.python.org/issue?@action=redirect&bpo=20639]: calling Path.with_suffix(‘’) allows removing the suffix again. Patch by July Tikhonov.

bpo-21714 [https://bugs.python.org/issue?@action=redirect&bpo=21714]: Disallow the construction of invalid paths using Path.with_name(). Original patch by Antony Lee.

bpo-15014 [https://bugs.python.org/issue?@action=redirect&bpo=15014]: Added ‘auth’ method to smtplib to make implementing auth mechanisms simpler, and used it internally in the login method.

bpo-21151 [https://bugs.python.org/issue?@action=redirect&bpo=21151]: Fixed a segfault in the winreg module when None is passed as a REG_BINARY value to SetValueEx. Patch by John Ehresman.

bpo-21090 [https://bugs.python.org/issue?@action=redirect&bpo=21090]: io.FileIO.readall() does not ignore I/O errors anymore. Before, it ignored I/O errors if at least the first C call read() succeed.

bpo-5800 [https://bugs.python.org/issue?@action=redirect&bpo=5800]: headers parameter of wsgiref.headers.Headers is now optional. Initial patch by Pablo Torres Navarrete and SilentGhost.

bpo-21781 [https://bugs.python.org/issue?@action=redirect&bpo=21781]: ssl.RAND_add() now supports strings longer than 2 GB.

bpo-21679 [https://bugs.python.org/issue?@action=redirect&bpo=21679]: Prevent extraneous fstat() calls during open(). Patch by Bohuslav Kabrda.

bpo-21863 [https://bugs.python.org/issue?@action=redirect&bpo=21863]: cProfile now displays the module name of C extension functions, in addition to their own name.

bpo-11453 [https://bugs.python.org/issue?@action=redirect&bpo=11453]: asyncore: emit a ResourceWarning when an unclosed file_wrapper object is destroyed. The destructor now closes the file if needed. The close() method can now be called twice: the second call does nothing.

bpo-21858 [https://bugs.python.org/issue?@action=redirect&bpo=21858]: Better handling of Python exceptions in the sqlite3 module.

bpo-21476 [https://bugs.python.org/issue?@action=redirect&bpo=21476]: Make sure the email.parser.BytesParser TextIOWrapper is discarded after parsing, so the input file isn’t unexpectedly closed.

bpo-20295 [https://bugs.python.org/issue?@action=redirect&bpo=20295]: imghdr now recognizes OpenEXR format images.

bpo-21729 [https://bugs.python.org/issue?@action=redirect&bpo=21729]: Used the “with” statement in the dbm.dumb module to ensure files closing. Patch by Claudiu Popa.

bpo-21491 [https://bugs.python.org/issue?@action=redirect&bpo=21491]: socketserver: Fix a race condition in child processes reaping.

bpo-21719 [https://bugs.python.org/issue?@action=redirect&bpo=21719]: Added the st_file_attributes field to os.stat_result on Windows.

bpo-21832 [https://bugs.python.org/issue?@action=redirect&bpo=21832]: Require named tuple inputs to be exact strings.

bpo-21722 [https://bugs.python.org/issue?@action=redirect&bpo=21722]: The distutils “upload” command now exits with a non-zero return code when uploading fails. Patch by Martin Dengler.

bpo-21723 [https://bugs.python.org/issue?@action=redirect&bpo=21723]: asyncio.Queue: support any type of number (ex: float) for the maximum size. Patch written by Vajrasky Kok.

bpo-21711 [https://bugs.python.org/issue?@action=redirect&bpo=21711]: support for “site-python” directories has now been removed from the site module (it was deprecated in 3.4).

bpo-17552 [https://bugs.python.org/issue?@action=redirect&bpo=17552]: new socket.sendfile() method allowing a file to be sent over a socket by using high-performance os.sendfile() on UNIX. Patch by Giampaolo Rodola’.

bpo-18039 [https://bugs.python.org/issue?@action=redirect&bpo=18039]: dbm.dump.open() now always creates a new database when the flag has the value ‘n’. Patch by Claudiu Popa.

bpo-21326 [https://bugs.python.org/issue?@action=redirect&bpo=21326]: Add a new is_closed() method to asyncio.BaseEventLoop. run_forever() and run_until_complete() methods of asyncio.BaseEventLoop now raise an exception if the event loop was closed.

bpo-21766 [https://bugs.python.org/issue?@action=redirect&bpo=21766]: Prevent a security hole in CGIHTTPServer by URL unquoting paths before checking for a CGI script at that path.

bpo-21310 [https://bugs.python.org/issue?@action=redirect&bpo=21310]: Fixed possible resource leak in failed open().

bpo-21256 [https://bugs.python.org/issue?@action=redirect&bpo=21256]: Printout of keyword args should be in deterministic order in a mock function call. This will help to write better doctests.

bpo-21677 [https://bugs.python.org/issue?@action=redirect&bpo=21677]: Fixed chaining nonnormalized exceptions in io close() methods.

bpo-11709 [https://bugs.python.org/issue?@action=redirect&bpo=11709]: Fix the pydoc.help function to not fail when sys.stdin is not a valid file.

bpo-21515 [https://bugs.python.org/issue?@action=redirect&bpo=21515]: tempfile.TemporaryFile now uses os.O_TMPFILE flag is available.

bpo-13223 [https://bugs.python.org/issue?@action=redirect&bpo=13223]: Fix pydoc.writedoc so that the HTML documentation for methods that use ‘self’ in the example code is generated correctly.

bpo-21463 [https://bugs.python.org/issue?@action=redirect&bpo=21463]: In urllib.request, fix pruning of the FTP cache.

bpo-21618 [https://bugs.python.org/issue?@action=redirect&bpo=21618]: The subprocess module could fail to close open fds that were inherited by the calling process and already higher than POSIX resource limits would otherwise allow. On systems with a functioning /proc/self/fd or /dev/fd interface the max is now ignored and all fds are closed.

bpo-20383 [https://bugs.python.org/issue?@action=redirect&bpo=20383]: Introduce importlib.util.module_from_spec() as the preferred way to create a new module.

bpo-21552 [https://bugs.python.org/issue?@action=redirect&bpo=21552]: Fixed possible integer overflow of too long string lengths in the tkinter module on 64-bit platforms.

bpo-14315 [https://bugs.python.org/issue?@action=redirect&bpo=14315]: The zipfile module now ignores extra fields in the central directory that are too short to be parsed instead of letting a struct.unpack error bubble up as this “bad data” appears in many real world zip files in the wild and is ignored by other zip tools.

bpo-13742 [https://bugs.python.org/issue?@action=redirect&bpo=13742]: Added “key” and “reverse” parameters to heapq.merge(). (First draft of patch contributed by Simon Sapin.)

bpo-21402 [https://bugs.python.org/issue?@action=redirect&bpo=21402]: tkinter.ttk now works when default root window is not set.

bpo-3015 [https://bugs.python.org/issue?@action=redirect&bpo=3015]: _tkinter.create() now creates tkapp object with wantobjects=1 by default.

bpo-10203 [https://bugs.python.org/issue?@action=redirect&bpo=10203]: sqlite3.Row now truly supports sequence protocol. In particular it supports reverse() and negative indices. Original patch by Claudiu Popa.

bpo-18807 [https://bugs.python.org/issue?@action=redirect&bpo=18807]: If copying (no symlinks) specified for a venv, then the python interpreter aliases (python, python3) are now created by copying rather than symlinking.

bpo-20197 [https://bugs.python.org/issue?@action=redirect&bpo=20197]: Added support for the WebP image type in the imghdr module. Patch by Fabrice Aneche and Claudiu Popa.

bpo-21513 [https://bugs.python.org/issue?@action=redirect&bpo=21513]: Speedup some properties of IP addresses (IPv4Address, IPv6Address) such as .is_private or .is_multicast.

bpo-21137 [https://bugs.python.org/issue?@action=redirect&bpo=21137]: Improve the repr for threading.Lock() and its variants by showing the “locked” or “unlocked” status. Patch by Berker Peksag.

bpo-21538 [https://bugs.python.org/issue?@action=redirect&bpo=21538]: The plistlib module now supports loading of binary plist files when reference or offset size is not a power of two.

bpo-21455 [https://bugs.python.org/issue?@action=redirect&bpo=21455]: Add a default backlog to socket.listen().

bpo-21525 [https://bugs.python.org/issue?@action=redirect&bpo=21525]: Most Tkinter methods which accepted tuples now accept lists too.

bpo-22166 [https://bugs.python.org/issue?@action=redirect&bpo=22166]: With the assistance of a new internal _codecs._forget_codec helping function, test_codecs now clears the encoding caches to avoid the appearance of a reference leak

bpo-22236 [https://bugs.python.org/issue?@action=redirect&bpo=22236]: Tkinter tests now don’t reuse default root window. New root window is created for every test class.

bpo-10744 [https://bugs.python.org/issue?@action=redirect&bpo=10744]: Fix PEP 3118 [https://peps.python.org/pep-3118/] format strings on ctypes objects with a nontrivial shape.

bpo-20826 [https://bugs.python.org/issue?@action=redirect&bpo=20826]: Optimize ipaddress.collapse_addresses().

bpo-21487 [https://bugs.python.org/issue?@action=redirect&bpo=21487]: Optimize ipaddress.summarize_address_range() and ipaddress.{IPv4Network,IPv6Network}.subnets().

bpo-21486 [https://bugs.python.org/issue?@action=redirect&bpo=21486]: Optimize parsing of netmasks in ipaddress.IPv4Network and ipaddress.IPv6Network.

bpo-13916 [https://bugs.python.org/issue?@action=redirect&bpo=13916]: Disallowed the surrogatepass error handler for non UTF-* encodings.

bpo-20998 [https://bugs.python.org/issue?@action=redirect&bpo=20998]: Fixed re.fullmatch() of repeated single character pattern with ignore case. Original patch by Matthew Barnett.

bpo-21075 [https://bugs.python.org/issue?@action=redirect&bpo=21075]: fileinput.FileInput now reads bytes from standard stream if binary mode is specified. Patch by Sam Kimbrel.

bpo-19775 [https://bugs.python.org/issue?@action=redirect&bpo=19775]: Add a samefile() method to pathlib Path objects. Initial patch by Vajrasky Kok.

bpo-21226 [https://bugs.python.org/issue?@action=redirect&bpo=21226]: Set up modules properly in PyImport_ExecCodeModuleObject (and friends).

bpo-21398 [https://bugs.python.org/issue?@action=redirect&bpo=21398]: Fix a unicode error in the pydoc pager when the documentation contains characters not encodable to the stdout encoding.

bpo-16531 [https://bugs.python.org/issue?@action=redirect&bpo=16531]: ipaddress.IPv4Network and ipaddress.IPv6Network now accept an (address, netmask) tuple argument, so as to easily construct network objects from existing addresses.

bpo-21156 [https://bugs.python.org/issue?@action=redirect&bpo=21156]: importlib.abc.InspectLoader.source_to_code() is now a staticmethod.

bpo-21424 [https://bugs.python.org/issue?@action=redirect&bpo=21424]: Simplified and optimized heaqp.nlargest() and nmsmallest() to make fewer tuple comparisons.

bpo-21396 [https://bugs.python.org/issue?@action=redirect&bpo=21396]: Fix TextIOWrapper(…, write_through=True) to not force a flush() on the underlying binary stream. Patch by akira.

bpo-18314 [https://bugs.python.org/issue?@action=redirect&bpo=18314]: Unlink now removes junctions on Windows. Patch by Kim Gräsman

bpo-21088 [https://bugs.python.org/issue?@action=redirect&bpo=21088]: Bugfix for curses.window.addch() regression in 3.4.0. In porting to Argument Clinic, the first two arguments were reversed.

bpo-21407 [https://bugs.python.org/issue?@action=redirect&bpo=21407]: _decimal: The module now supports function signatures.

bpo-10650 [https://bugs.python.org/issue?@action=redirect&bpo=10650]: Remove the non-standard ‘watchexp’ parameter from the Decimal.quantize() method in the Python version. It had never been present in the C version.

bpo-21469 [https://bugs.python.org/issue?@action=redirect&bpo=21469]: Reduced the risk of false positives in robotparser by checking to make sure that robots.txt has been read or does not exist prior to returning True in can_fetch().

bpo-19414 [https://bugs.python.org/issue?@action=redirect&bpo=19414]: Have the OrderedDict mark deleted links as unusable. This gives an early failure if the link is deleted during iteration.

bpo-21421 [https://bugs.python.org/issue?@action=redirect&bpo=21421]: Add __slots__ to the MappingViews ABC. Patch by Josh Rosenberg.

bpo-21101 [https://bugs.python.org/issue?@action=redirect&bpo=21101]: Eliminate double hashing in the C speed-up code for collections.Counter().

bpo-21321 [https://bugs.python.org/issue?@action=redirect&bpo=21321]: itertools.islice() now releases the reference to the source iterator when the slice is exhausted. Patch by Anton Afanasyev.

bpo-21057 [https://bugs.python.org/issue?@action=redirect&bpo=21057]: TextIOWrapper now allows the underlying binary stream’s read() or read1() method to return an arbitrary bytes-like object (such as a memoryview). Patch by Nikolaus Rath.

bpo-20951 [https://bugs.python.org/issue?@action=redirect&bpo=20951]: SSLSocket.send() now raises either SSLWantReadError or SSLWantWriteError on a non-blocking socket if the operation would block. Previously, it would return 0. Patch by Nikolaus Rath.

bpo-13248 [https://bugs.python.org/issue?@action=redirect&bpo=13248]: removed previously deprecated asyncore.dispatcher __getattr__ cheap inheritance hack.

bpo-9815 [https://bugs.python.org/issue?@action=redirect&bpo=9815]: assertRaises now tries to clear references to local variables in the exception’s traceback.

bpo-19940 [https://bugs.python.org/issue?@action=redirect&bpo=19940]: ssl.cert_time_to_seconds() now interprets the given time string in the UTC timezone (as specified in RFC 5280), not the local timezone.

bpo-13204 [https://bugs.python.org/issue?@action=redirect&bpo=13204]: Calling sys.flags.__new__ would crash the interpreter, now it raises a TypeError.

bpo-19385 [https://bugs.python.org/issue?@action=redirect&bpo=19385]: Make operations on a closed dbm.dumb database always raise the same exception.

bpo-21207 [https://bugs.python.org/issue?@action=redirect&bpo=21207]: Detect when the os.urandom cached fd has been closed or replaced, and open it anew.

bpo-21291 [https://bugs.python.org/issue?@action=redirect&bpo=21291]: subprocess’s Popen.wait() is now thread safe so that multiple threads may be calling wait() or poll() on a Popen instance at the same time without losing the Popen.returncode value.

bpo-21127 [https://bugs.python.org/issue?@action=redirect&bpo=21127]: Path objects can now be instantiated from str subclass instances (such as numpy.str_).

bpo-15002 [https://bugs.python.org/issue?@action=redirect&bpo=15002]: urllib.response object to use _TemporaryFileWrapper (and _TemporaryFileCloser) facility. Provides a better way to handle file descriptor close. Patch contributed by Christian Theune.

bpo-12220 [https://bugs.python.org/issue?@action=redirect&bpo=12220]: mindom now raises a custom ValueError indicating it doesn’t support spaces in URIs instead of letting a ‘split’ ValueError bubble up.

bpo-21068 [https://bugs.python.org/issue?@action=redirect&bpo=21068]: The ssl.PROTOCOL* constants are now enum members.

bpo-21276 [https://bugs.python.org/issue?@action=redirect&bpo=21276]: posixmodule: Don’t define USE_XATTRS on KFreeBSD and the Hurd.

bpo-21262 [https://bugs.python.org/issue?@action=redirect&bpo=21262]: New method assert_not_called for Mock. It raises AssertionError if the mock has been called.

bpo-21238 [https://bugs.python.org/issue?@action=redirect&bpo=21238]: New keyword argument unsafe to Mock. It raises AttributeError incase of an attribute startswith assert or assret.

bpo-20896 [https://bugs.python.org/issue?@action=redirect&bpo=20896]: ssl.get_server_certificate() now uses PROTOCOL_SSLv23, not PROTOCOL_SSLv3, for maximum compatibility.

bpo-21239 [https://bugs.python.org/issue?@action=redirect&bpo=21239]: patch.stopall() didn’t work deterministically when the same name was patched more than once.

bpo-21203 [https://bugs.python.org/issue?@action=redirect&bpo=21203]: Updated fileConfig and dictConfig to remove inconsistencies. Thanks to Jure Koren for the patch.

bpo-21222 [https://bugs.python.org/issue?@action=redirect&bpo=21222]: Passing name keyword argument to mock.create_autospec now works.

bpo-21197 [https://bugs.python.org/issue?@action=redirect&bpo=21197]: Add lib64 -> lib symlink in venvs on 64-bit non-OS X POSIX.

bpo-17498 [https://bugs.python.org/issue?@action=redirect&bpo=17498]: Some SMTP servers disconnect after certain errors, violating strict RFC conformance. Instead of losing the error code when we issue the subsequent RSET, smtplib now returns the error code and defers raising the SMTPServerDisconnected error until the next command is issued.

bpo-17826 [https://bugs.python.org/issue?@action=redirect&bpo=17826]: setting an iterable side_effect on a mock function created by create_autospec now works. Patch by Kushal Das.

bpo-7776 [https://bugs.python.org/issue?@action=redirect&bpo=7776]: Fix Host: header and reconnection when using http.client.HTTPConnection.set_tunnel(). Patch by Nikolaus Rath.

bpo-20968 [https://bugs.python.org/issue?@action=redirect&bpo=20968]: unittest.mock.MagicMock now supports division. Patch by Johannes Baiter.

bpo-21529 [https://bugs.python.org/issue?@action=redirect&bpo=21529]: Fix arbitrary memory access in JSONDecoder.raw_decode with a negative second parameter. Bug reported by Guido Vranken. (See also: CVE 2014-4616 [https://www.cve.org/CVERecord?id=CVE-2014-4616])

bpo-21169 [https://bugs.python.org/issue?@action=redirect&bpo=21169]: getpass now handles non-ascii characters that the input stream encoding cannot encode by re-encoding using the replace error handler.

bpo-21171 [https://bugs.python.org/issue?@action=redirect&bpo=21171]: Fixed undocumented filter API of the rot13 codec. Patch by Berker Peksag.

bpo-20539 [https://bugs.python.org/issue?@action=redirect&bpo=20539]: Improved math.factorial error message for large positive inputs and changed exception type (OverflowError -> ValueError) for large negative inputs.

bpo-21172 [https://bugs.python.org/issue?@action=redirect&bpo=21172]: isinstance check relaxed from dict to collections.Mapping.

bpo-21155 [https://bugs.python.org/issue?@action=redirect&bpo=21155]: asyncio.EventLoop.create_unix_server() now raises a ValueError if path and sock are specified at the same time.

bpo-21136 [https://bugs.python.org/issue?@action=redirect&bpo=21136]: Avoid unnecessary normalization of Fractions resulting from power and other operations. Patch by Raymond Hettinger.

bpo-17621 [https://bugs.python.org/issue?@action=redirect&bpo=17621]: Introduce importlib.util.LazyLoader.

bpo-21076 [https://bugs.python.org/issue?@action=redirect&bpo=21076]: signal module constants were turned into enums. Patch by Giampaolo Rodola’.

bpo-20636 [https://bugs.python.org/issue?@action=redirect&bpo=20636]: Improved the repr of Tkinter widgets.

bpo-19505 [https://bugs.python.org/issue?@action=redirect&bpo=19505]: The items, keys, and values views of OrderedDict now support reverse iteration using reversed().

bpo-21149 [https://bugs.python.org/issue?@action=redirect&bpo=21149]: Improved thread-safety in logging cleanup during interpreter shutdown. Thanks to Devin Jeanpierre for the patch.

bpo-21058 [https://bugs.python.org/issue?@action=redirect&bpo=21058]: Fix a leak of file descriptor in tempfile.NamedTemporaryFile(), close the file descriptor if io.open() fails

bpo-21200 [https://bugs.python.org/issue?@action=redirect&bpo=21200]: Return None from pkgutil.get_loader() when __spec__ is missing.

bpo-21013 [https://bugs.python.org/issue?@action=redirect&bpo=21013]: Enhance ssl.create_default_context() when used for server side sockets to provide better security by default.

bpo-20145 [https://bugs.python.org/issue?@action=redirect&bpo=20145]: assertRaisesRegex and assertWarnsRegex now raise a TypeError if the second argument is not a string or compiled regex.

bpo-20633 [https://bugs.python.org/issue?@action=redirect&bpo=20633]: Replace relative import by absolute import.

bpo-20980 [https://bugs.python.org/issue?@action=redirect&bpo=20980]: Stop wrapping exception when using ThreadPool.

bpo-21082 [https://bugs.python.org/issue?@action=redirect&bpo=21082]: In os.makedirs, do not set the process-wide umask. Note this changes behavior of makedirs when exist_ok=True.

bpo-20990 [https://bugs.python.org/issue?@action=redirect&bpo=20990]: Fix issues found by pyflakes for multiprocessing.

bpo-21015 [https://bugs.python.org/issue?@action=redirect&bpo=21015]: SSL contexts will now automatically select an elliptic curve for ECDH key exchange on OpenSSL 1.0.2 and later, and otherwise default to “prime256v1”.

bpo-21000 [https://bugs.python.org/issue?@action=redirect&bpo=21000]: Improve the command-line interface of json.tool.

bpo-20995 [https://bugs.python.org/issue?@action=redirect&bpo=20995]: Enhance default ciphers used by the ssl module to enable better security and prioritize perfect forward secrecy.

bpo-20884 [https://bugs.python.org/issue?@action=redirect&bpo=20884]: Don’t assume that __file__ is defined on importlib.__init__.

bpo-21499 [https://bugs.python.org/issue?@action=redirect&bpo=21499]: Ignore __builtins__ in several test_importlib.test_api tests.

bpo-20627 [https://bugs.python.org/issue?@action=redirect&bpo=20627]: xmlrpc.client.ServerProxy is now a context manager.

bpo-19165 [https://bugs.python.org/issue?@action=redirect&bpo=19165]: The formatter module now raises DeprecationWarning instead of PendingDeprecationWarning.

bpo-13936 [https://bugs.python.org/issue?@action=redirect&bpo=13936]: Remove the ability of datetime.time instances to be considered false in boolean contexts.

bpo-18931 [https://bugs.python.org/issue?@action=redirect&bpo=18931]: selectors module now supports /dev/poll on Solaris. Patch by Giampaolo Rodola’.

bpo-19977 [https://bugs.python.org/issue?@action=redirect&bpo=19977]: When the LC_TYPE locale is the POSIX locale (C locale), sys.stdin and sys.stdout are now using the surrogateescape error handler, instead of the strict error handler.

bpo-20574 [https://bugs.python.org/issue?@action=redirect&bpo=20574]: Implement incremental decoder for cp65001 code (Windows code page 65001, Microsoft UTF-8).

bpo-20879 [https://bugs.python.org/issue?@action=redirect&bpo=20879]: Delay the initialization of encoding and decoding tables for base32, ascii85 and base85 codecs in the base64 module, and delay the initialization of the unquote_to_bytes() table of the urllib.parse module, to not waste memory if these modules are not used.

bpo-19157 [https://bugs.python.org/issue?@action=redirect&bpo=19157]: Include the broadcast address in the usuable hosts for IPv6 in ipaddress.

bpo-11599 [https://bugs.python.org/issue?@action=redirect&bpo=11599]: When an external command (e.g. compiler) fails, distutils now prints out the whole command line (instead of just the command name) if the environment variable DISTUTILS_DEBUG is set.

bpo-4931 [https://bugs.python.org/issue?@action=redirect&bpo=4931]: distutils should not produce unhelpful “error: None” messages anymore. distutils.util.grok_environment_error is kept but doc-deprecated.

bpo-20875 [https://bugs.python.org/issue?@action=redirect&bpo=20875]: Prevent possible gzip “‘read’ is not defined” NameError. Patch by Claudiu Popa.

bpo-11558 [https://bugs.python.org/issue?@action=redirect&bpo=11558]: email.message.Message.attach now returns a more useful error message if attach is called on a message for which is_multipart is False.

bpo-20283 [https://bugs.python.org/issue?@action=redirect&bpo=20283]: RE pattern methods now accept the string keyword parameters as documented. The pattern and source keyword parameters are left as deprecated aliases.

bpo-20778 [https://bugs.python.org/issue?@action=redirect&bpo=20778]: Fix modulefinder to work with bytecode-only modules.

bpo-20791 [https://bugs.python.org/issue?@action=redirect&bpo=20791]: copy.copy() now doesn’t make a copy when the input is a bytes object. Initial patch by Peter Otten.

bpo-19748 [https://bugs.python.org/issue?@action=redirect&bpo=19748]: On AIX, time.mktime() now raises an OverflowError for year outsize range [1902; 2037].

bpo-19573 [https://bugs.python.org/issue?@action=redirect&bpo=19573]: inspect.signature: Use enum for parameter kind constants.

bpo-20726 [https://bugs.python.org/issue?@action=redirect&bpo=20726]: inspect.signature: Make Signature and Parameter picklable.

bpo-17373 [https://bugs.python.org/issue?@action=redirect&bpo=17373]: Add inspect.Signature.from_callable method.

bpo-20378 [https://bugs.python.org/issue?@action=redirect&bpo=20378]: Improve repr of inspect.Signature and inspect.Parameter.

bpo-20816 [https://bugs.python.org/issue?@action=redirect&bpo=20816]: Fix inspect.getcallargs() to raise correct TypeError for missing keyword-only arguments. Patch by Jeremiah Lowin.

bpo-20817 [https://bugs.python.org/issue?@action=redirect&bpo=20817]: Fix inspect.getcallargs() to fail correctly if more than 3 arguments are missing. Patch by Jeremiah Lowin.

bpo-6676 [https://bugs.python.org/issue?@action=redirect&bpo=6676]: Ensure a meaningful exception is raised when attempting to parse more than one XML document per pyexpat xmlparser instance. (Original patches by Hirokazu Yamamoto and Amaury Forgeot d’Arc, with suggested wording by David Gutteridge)

bpo-21117 [https://bugs.python.org/issue?@action=redirect&bpo=21117]: Fix inspect.signature to better support functools.partial. Due to the specifics of functools.partial implementation, positional-or-keyword arguments passed as keyword arguments become keyword-only.

bpo-20334 [https://bugs.python.org/issue?@action=redirect&bpo=20334]: inspect.Signature and inspect.Parameter are now hashable. Thanks to Antony Lee for bug reports and suggestions.

bpo-15916 [https://bugs.python.org/issue?@action=redirect&bpo=15916]: doctest.DocTestSuite returns an empty unittest.TestSuite instead of raising ValueError if it finds no tests

bpo-21209 [https://bugs.python.org/issue?@action=redirect&bpo=21209]: Fix asyncio.tasks.CoroWrapper to workaround a bug in yield-from implementation in CPythons prior to 3.4.1.

asyncio: Add gi_{frame,running,code} properties to CoroWrapper (upstream bpo-163 [https://bugs.python.org/issue?@action=redirect&bpo=163]).

bpo-21311 [https://bugs.python.org/issue?@action=redirect&bpo=21311]: Avoid exception in _osx_support with non-standard compiler configurations. Patch by John Szakmeister.

bpo-11571 [https://bugs.python.org/issue?@action=redirect&bpo=11571]: Ensure that the turtle window becomes the topmost window when launched on OS X.

bpo-21801 [https://bugs.python.org/issue?@action=redirect&bpo=21801]: Validate that __signature__ is None or an instance of Signature.

bpo-21923 [https://bugs.python.org/issue?@action=redirect&bpo=21923]: Prevent AttributeError in distutils.sysconfig.customize_compiler due to possible uninitialized _config_vars.

bpo-21323 [https://bugs.python.org/issue?@action=redirect&bpo=21323]: Fix http.server to again handle scripts in CGI subdirectories, broken by the fix for security bpo-19435 [https://bugs.python.org/issue?@action=redirect&bpo=19435]. Patch by Zach Byrne.

bpo-22733 [https://bugs.python.org/issue?@action=redirect&bpo=22733]: Fix ffi_prep_args not zero-extending argument values correctly on 64-bit Windows.

bpo-23302 [https://bugs.python.org/issue?@action=redirect&bpo=23302]: Default to TCP_NODELAY=1 upon establishing an HTTPConnection. Removed use of hard-coded MSS as it’s an optimization that’s no longer needed with Nagle disabled.

IDLE

bpo-20577 [https://bugs.python.org/issue?@action=redirect&bpo=20577]: Configuration of the max line length for the FormatParagraph extension has been moved from the General tab of the Idle preferences dialog to the FormatParagraph tab of the Config Extensions dialog. Patch by Tal Einat.

bpo-16893 [https://bugs.python.org/issue?@action=redirect&bpo=16893]: Update Idle doc chapter to match current Idle and add new information.

bpo-3068 [https://bugs.python.org/issue?@action=redirect&bpo=3068]: Add Idle extension configuration dialog to Options menu. Changes are written to HOME/.idlerc/config-extensions.cfg. Original patch by Tal Einat.

bpo-16233 [https://bugs.python.org/issue?@action=redirect&bpo=16233]: A module browser (File : Class Browser, Alt+C) requires an editor window with a filename. When Class Browser is requested otherwise, from a shell, output window, or ‘Untitled’ editor, Idle no longer displays an error box. It now pops up an Open Module box (Alt+M). If a valid name is entered and a module is opened, a corresponding browser is also opened.

bpo-4832 [https://bugs.python.org/issue?@action=redirect&bpo=4832]: Save As to type Python files automatically adds .py to the name you enter (even if your system does not display it). Some systems automatically add .txt when type is Text files.

bpo-21986 [https://bugs.python.org/issue?@action=redirect&bpo=21986]: Code objects are not normally pickled by the pickle module. To match this, they are no longer pickled when running under Idle.

bpo-17390 [https://bugs.python.org/issue?@action=redirect&bpo=17390]: Adjust Editor window title; remove ‘Python’, move version to end.

bpo-14105 [https://bugs.python.org/issue?@action=redirect&bpo=14105]: Idle debugger breakpoints no longer disappear when inserting or deleting lines.

bpo-17172 [https://bugs.python.org/issue?@action=redirect&bpo=17172]: Turtledemo can now be run from Idle. Currently, the entry is on the Help menu, but it may move to Run. Patch by Ramchandra Apt and Lita Cho.

bpo-21765 [https://bugs.python.org/issue?@action=redirect&bpo=21765]: Add support for non-ascii identifiers to HyperParser.

bpo-21940 [https://bugs.python.org/issue?@action=redirect&bpo=21940]: Add unittest for WidgetRedirector. Initial patch by Saimadhav Heblikar.

bpo-18592 [https://bugs.python.org/issue?@action=redirect&bpo=18592]: Add unittest for SearchDialogBase. Patch by Phil Webster.

bpo-21694 [https://bugs.python.org/issue?@action=redirect&bpo=21694]: Add unittest for ParenMatch. Patch by Saimadhav Heblikar.

bpo-21686 [https://bugs.python.org/issue?@action=redirect&bpo=21686]: add unittest for HyperParser. Original patch by Saimadhav Heblikar.

bpo-12387 [https://bugs.python.org/issue?@action=redirect&bpo=12387]: Add missing upper(lower)case versions of default Windows key bindings for Idle so Caps Lock does not disable them. Patch by Roger Serwy.

bpo-21695 [https://bugs.python.org/issue?@action=redirect&bpo=21695]: Closing a Find-in-files output window while the search is still in progress no longer closes Idle.

bpo-18910 [https://bugs.python.org/issue?@action=redirect&bpo=18910]: Add unittest for textView. Patch by Phil Webster.

bpo-18292 [https://bugs.python.org/issue?@action=redirect&bpo=18292]: Add unittest for AutoExpand. Patch by Saihadhav Heblikar.

bpo-18409 [https://bugs.python.org/issue?@action=redirect&bpo=18409]: Add unittest for AutoComplete. Patch by Phil Webster.

bpo-21477 [https://bugs.python.org/issue?@action=redirect&bpo=21477]: htest.py - Improve framework, complete set of tests. Patches by Saimadhav Heblikar

bpo-18104 [https://bugs.python.org/issue?@action=redirect&bpo=18104]: Add idlelib/idle_test/htest.py with a few sample tests to begin consolidating and improving human-validated tests of Idle. Change other files as needed to work with htest. Running the module as __main__ runs all tests.

bpo-21139 [https://bugs.python.org/issue?@action=redirect&bpo=21139]: Change default paragraph width to 72, the PEP 8 [https://peps.python.org/pep-0008/] recommendation.

bpo-21284 [https://bugs.python.org/issue?@action=redirect&bpo=21284]: Paragraph reformat test passes after user changes reformat width.

bpo-17654 [https://bugs.python.org/issue?@action=redirect&bpo=17654]: Ensure IDLE menus are customized properly on OS X for non-framework builds and for all variants of Tk.

bpo-23180 [https://bugs.python.org/issue?@action=redirect&bpo=23180]: Rename IDLE “Windows” menu item to “Window”. Patch by Al Sweigart.

Build

bpo-15506 [https://bugs.python.org/issue?@action=redirect&bpo=15506]: Use standard PKG_PROG_PKG_CONFIG autoconf macro in the configure script.

bpo-22935 [https://bugs.python.org/issue?@action=redirect&bpo=22935]: Allow the ssl module to be compiled if openssl doesn’t support SSL 3.

bpo-22592 [https://bugs.python.org/issue?@action=redirect&bpo=22592]: Drop support of the Borland C compiler to build Python. The distutils module still supports it to build extensions.

bpo-22591 [https://bugs.python.org/issue?@action=redirect&bpo=22591]: Drop support of MS-DOS, especially of the DJGPP compiler (MS-DOS port of GCC).

bpo-16537 [https://bugs.python.org/issue?@action=redirect&bpo=16537]: Check whether self.extensions is empty in setup.py. Patch by Jonathan Hosmer.

bpo-22359 [https://bugs.python.org/issue?@action=redirect&bpo=22359]: Remove incorrect uses of recursive make. Patch by Jonas Wagner.

bpo-21958 [https://bugs.python.org/issue?@action=redirect&bpo=21958]: Define HAVE_ROUND when building with Visual Studio 2013 and above. Patch by Zachary Turner.

bpo-18093 [https://bugs.python.org/issue?@action=redirect&bpo=18093]: the programs that embed the CPython runtime are now in a separate “Programs” directory, rather than being kept in the Modules directory.

bpo-15759 [https://bugs.python.org/issue?@action=redirect&bpo=15759]: “make suspicious”, “make linkcheck” and “make doctest” in Doc/ now display special message when and only when there are failures.

bpo-21141 [https://bugs.python.org/issue?@action=redirect&bpo=21141]: The Windows build process no longer attempts to find Perl, instead relying on OpenSSL source being configured and ready to build. The PCbuild\build_ssl.py script has been re-written and re-named to PCbuild\prepare_ssl.py, and takes care of configuring OpenSSL source for both 32 and 64 bit platforms. OpenSSL sources obtained from svn.python.org will always be pre-configured and ready to build.

bpo-21037 [https://bugs.python.org/issue?@action=redirect&bpo=21037]: Add a build option to enable AddressSanitizer support.

bpo-19962 [https://bugs.python.org/issue?@action=redirect&bpo=19962]: The Windows build process now creates “python.bat” in the root of the source tree, which passes all arguments through to the most recently built interpreter.

bpo-21285 [https://bugs.python.org/issue?@action=redirect&bpo=21285]: Refactor and fix curses configure check to always search in a ncursesw directory.

bpo-15234 [https://bugs.python.org/issue?@action=redirect&bpo=15234]: For BerkeleyDB and Sqlite, only add the found library and include directories if they aren’t already being searched. This avoids an explicit runtime library dependency.

bpo-17861 [https://bugs.python.org/issue?@action=redirect&bpo=17861]: Tools/scripts/generate_opcode_h.py automatically regenerates Include/opcode.h from Lib/opcode.py if the latter gets any change.

bpo-20644 [https://bugs.python.org/issue?@action=redirect&bpo=20644]: OS X installer build support for documentation build changes in 3.4.1: assume externally supplied sphinx-build is available in /usr/bin.

bpo-20022 [https://bugs.python.org/issue?@action=redirect&bpo=20022]: Eliminate use of deprecated bundlebuilder in OS X builds.

bpo-15968 [https://bugs.python.org/issue?@action=redirect&bpo=15968]: Incorporated Tcl, Tk, and Tix builds into the Windows build solution.

bpo-17095 [https://bugs.python.org/issue?@action=redirect&bpo=17095]: Fix Modules/Setup shared support.

bpo-21811 [https://bugs.python.org/issue?@action=redirect&bpo=21811]: Anticipated fixes to support OS X versions > 10.9.

bpo-21166 [https://bugs.python.org/issue?@action=redirect&bpo=21166]: Prevent possible segfaults and other random failures of python –generate-posix-vars in pybuilddir.txt build target.

bpo-18096 [https://bugs.python.org/issue?@action=redirect&bpo=18096]: Fix library order returned by python-config.

bpo-17219 [https://bugs.python.org/issue?@action=redirect&bpo=17219]: Add library build dir for Python extension cross-builds.

bpo-22919 [https://bugs.python.org/issue?@action=redirect&bpo=22919]: Windows build updated to support VC 14.0 (Visual Studio 2015), which will be used for the official release.

bpo-21236 [https://bugs.python.org/issue?@action=redirect&bpo=21236]: Build _msi.pyd with cabinet.lib instead of fci.lib

bpo-17128 [https://bugs.python.org/issue?@action=redirect&bpo=17128]: Use private version of OpenSSL for OS X 10.5+ installer.

C API

bpo-14203 [https://bugs.python.org/issue?@action=redirect&bpo=14203]: Remove obsolete support for view==NULL in PyBuffer_FillInfo(), bytearray_getbuffer(), bytesiobuf_getbuffer() and array_buffer_getbuf(). All functions now raise BufferError in that case.

bpo-22445 [https://bugs.python.org/issue?@action=redirect&bpo=22445]: PyBuffer_IsContiguous() now implements precise contiguity tests, compatible with NumPy’s NPY_RELAXED_STRIDES_CHECKING compilation flag. Previously the function reported false negatives for corner cases.

bpo-22079 [https://bugs.python.org/issue?@action=redirect&bpo=22079]: PyType_Ready() now checks that statically allocated type has no dynamically allocated bases.

bpo-22453 [https://bugs.python.org/issue?@action=redirect&bpo=22453]: Removed non-documented macro PyObject_REPR().

bpo-18395 [https://bugs.python.org/issue?@action=redirect&bpo=18395]: Rename _Py_char2wchar() to Py_DecodeLocale(), rename _Py_wchar2char() to Py_EncodeLocale(), and document these functions.

bpo-21233 [https://bugs.python.org/issue?@action=redirect&bpo=21233]: Add new C functions: PyMem_RawCalloc(), PyMem_Calloc(), PyObject_Calloc(), _PyObject_GC_Calloc(). bytes(int) is now using calloc() instead of malloc() for large objects which is faster and use less memory.

bpo-20942 [https://bugs.python.org/issue?@action=redirect&bpo=20942]: PyImport_ImportFrozenModuleObject() no longer sets __file__ to match what importlib does; this affects _frozen_importlib as well as any module loaded using imp.init_frozen().

Documentation

bpo-19548 [https://bugs.python.org/issue?@action=redirect&bpo=19548]: Update the codecs module documentation to better cover the distinction between text encodings and other codecs, together with other clarifications. Patch by Martin Panter.

bpo-22394 [https://bugs.python.org/issue?@action=redirect&bpo=22394]: Doc/Makefile now supports make venv PYTHON=../python to create a venv for generating the documentation, e.g., make html PYTHON=venv/bin/python3.

bpo-21514 [https://bugs.python.org/issue?@action=redirect&bpo=21514]: The documentation of the json module now refers to new JSON RFC 7159 instead of obsoleted RFC 4627.

bpo-21777 [https://bugs.python.org/issue?@action=redirect&bpo=21777]: The binary sequence methods on bytes and bytearray are now documented explicitly, rather than assuming users will be able to derive the expected behaviour from the behaviour of the corresponding str methods.

bpo-6916 [https://bugs.python.org/issue?@action=redirect&bpo=6916]: undocument deprecated asynchat.fifo class.

bpo-17386 [https://bugs.python.org/issue?@action=redirect&bpo=17386]: Expanded functionality of the Doc/make.bat script to make it much more comparable to Doc/Makefile.

bpo-21312 [https://bugs.python.org/issue?@action=redirect&bpo=21312]: Update the thread_foobar.h template file to include newer threading APIs. Patch by Jack McCracken.

bpo-21043 [https://bugs.python.org/issue?@action=redirect&bpo=21043]: Remove the recommendation for specific CA organizations and to mention the ability to load the OS certificates.

bpo-20765 [https://bugs.python.org/issue?@action=redirect&bpo=20765]: Add missing documentation for PurePath.with_name() and PurePath.with_suffix().

bpo-19407 [https://bugs.python.org/issue?@action=redirect&bpo=19407]: New package installation and distribution guides based on the Python Packaging Authority tools. Existing guides have been retained as legacy links from the distutils docs, as they still contain some required reference material for tool developers that isn’t recorded anywhere else.

bpo-19697 [https://bugs.python.org/issue?@action=redirect&bpo=19697]: Document cases where __main__.__spec__ is None.

Tests

bpo-18982 [https://bugs.python.org/issue?@action=redirect&bpo=18982]: Add tests for CLI of the calendar module.

bpo-19548 [https://bugs.python.org/issue?@action=redirect&bpo=19548]: Added some additional checks to test_codecs to ensure that statements in the updated documentation remain accurate. Patch by Martin Panter.

bpo-22838 [https://bugs.python.org/issue?@action=redirect&bpo=22838]: All test_re tests now work with unittest test discovery.

bpo-22173 [https://bugs.python.org/issue?@action=redirect&bpo=22173]: Update lib2to3 tests to use unittest test discovery.

bpo-16000 [https://bugs.python.org/issue?@action=redirect&bpo=16000]: Convert test_curses to use unittest.

bpo-21456 [https://bugs.python.org/issue?@action=redirect&bpo=21456]: Skip two tests in test_urllib2net.py if _ssl module not present. Patch by Remi Pointel.

bpo-20746 [https://bugs.python.org/issue?@action=redirect&bpo=20746]: Fix test_pdb to run in refleak mode (-R). Patch by Xavier de Gaye.

bpo-22060 [https://bugs.python.org/issue?@action=redirect&bpo=22060]: test_ctypes has been somewhat cleaned up and simplified; it now uses unittest test discovery to find its tests.

bpo-22104 [https://bugs.python.org/issue?@action=redirect&bpo=22104]: regrtest.py no longer holds a reference to the suite of tests loaded from test modules that don’t define test_main().

bpo-22111 [https://bugs.python.org/issue?@action=redirect&bpo=22111]: Assorted cleanups in test_imaplib. Patch by Milan Oberkirch.

bpo-22002 [https://bugs.python.org/issue?@action=redirect&bpo=22002]: Added load_package_tests function to test.support and used it to implement/augment test discovery in test_asyncio, test_email, test_importlib, test_json, and test_tools.

bpo-21976 [https://bugs.python.org/issue?@action=redirect&bpo=21976]: Fix test_ssl to accept LibreSSL version strings. Thanks to William Orr.

bpo-21918 [https://bugs.python.org/issue?@action=redirect&bpo=21918]: Converted test_tools from a module to a package containing separate test files for each tested script.

bpo-9554 [https://bugs.python.org/issue?@action=redirect&bpo=9554]: Use modern unittest features in test_argparse. Initial patch by Denver Coneybeare and Radu Voicilas.

bpo-20155 [https://bugs.python.org/issue?@action=redirect&bpo=20155]: Changed HTTP method names in failing tests in test_httpservers so that packet filtering software (specifically Windows Base Filtering Engine) does not interfere with the transaction semantics expected by the tests.

bpo-19493 [https://bugs.python.org/issue?@action=redirect&bpo=19493]: Refactored the ctypes test package to skip tests explicitly rather than silently.

bpo-18492 [https://bugs.python.org/issue?@action=redirect&bpo=18492]: All resources are now allowed when tests are not run by regrtest.py.

bpo-21634 [https://bugs.python.org/issue?@action=redirect&bpo=21634]: Fix pystone micro-benchmark: use floor division instead of true division to benchmark integers instead of floating-point numbers. Set pystone version to 1.2. Patch written by Lennart Regebro.

bpo-21605 [https://bugs.python.org/issue?@action=redirect&bpo=21605]: Added tests for Tkinter images.

bpo-21493 [https://bugs.python.org/issue?@action=redirect&bpo=21493]: Added test for ntpath.expanduser(). Original patch by Claudiu Popa.

bpo-19925 [https://bugs.python.org/issue?@action=redirect&bpo=19925]: Added tests for the spwd module. Original patch by Vajrasky Kok.

bpo-21522 [https://bugs.python.org/issue?@action=redirect&bpo=21522]: Added Tkinter tests for Listbox.itemconfigure(), PanedWindow.paneconfigure(), and Menu.entryconfigure().

bpo-17756 [https://bugs.python.org/issue?@action=redirect&bpo=17756]: Fix test_code test when run from the installed location.

bpo-17752 [https://bugs.python.org/issue?@action=redirect&bpo=17752]: Fix distutils tests when run from the installed location.

bpo-18604 [https://bugs.python.org/issue?@action=redirect&bpo=18604]: Consolidated checks for GUI availability. All platforms now at least check whether Tk can be instantiated when the GUI resource is requested.

bpo-21275 [https://bugs.python.org/issue?@action=redirect&bpo=21275]: Fix a socket test on KFreeBSD.

bpo-21223 [https://bugs.python.org/issue?@action=redirect&bpo=21223]: Pass test_site/test_startup_imports when some of the extensions are built as builtins.

bpo-20635 [https://bugs.python.org/issue?@action=redirect&bpo=20635]: Added tests for Tk geometry managers.

Add test case for freeze.

bpo-20743 [https://bugs.python.org/issue?@action=redirect&bpo=20743]: Fix a reference leak in test_tcl.

bpo-21097 [https://bugs.python.org/issue?@action=redirect&bpo=21097]: Move test_namespace_pkgs into test_importlib.

bpo-21503 [https://bugs.python.org/issue?@action=redirect&bpo=21503]: Use test_both() consistently in test_importlib.

bpo-20939 [https://bugs.python.org/issue?@action=redirect&bpo=20939]: Avoid various network test failures due to new redirect of http://www.python.org/ to https://www.python.org: use http://www.example.com instead.

bpo-20668 [https://bugs.python.org/issue?@action=redirect&bpo=20668]: asyncio tests no longer rely on tests.txt file. (Patch by Vajrasky Kok)

bpo-21093 [https://bugs.python.org/issue?@action=redirect&bpo=21093]: Prevent failures of ctypes test_macholib on OS X if a copy of libz exists in $HOME/lib or /usr/local/lib.

bpo-22770 [https://bugs.python.org/issue?@action=redirect&bpo=22770]: Prevent some Tk segfaults on OS X when running gui tests.

bpo-23211 [https://bugs.python.org/issue?@action=redirect&bpo=23211]: Workaround test_logging failure on some OS X 10.6 systems.

bpo-23345 [https://bugs.python.org/issue?@action=redirect&bpo=23345]: Prevent test_ssl failures with large OpenSSL patch level values (like 0.9.8zc).

Tools/Demos

bpo-22314 [https://bugs.python.org/issue?@action=redirect&bpo=22314]: pydoc now works when the LINES environment variable is set.

bpo-22615 [https://bugs.python.org/issue?@action=redirect&bpo=22615]: Argument Clinic now supports the “type” argument for the int converter. This permits using the int converter with enums and typedefs.

bpo-20076 [https://bugs.python.org/issue?@action=redirect&bpo=20076]: The makelocalealias.py script no longer ignores UTF-8 mapping.

bpo-20079 [https://bugs.python.org/issue?@action=redirect&bpo=20079]: The makelocalealias.py script now can parse the SUPPORTED file from glibc sources and supports command line options for source paths.

bpo-22201 [https://bugs.python.org/issue?@action=redirect&bpo=22201]: Command-line interface of the zipfile module now correctly extracts ZIP files with directory entries. Patch by Ryan Wilson.

bpo-22120 [https://bugs.python.org/issue?@action=redirect&bpo=22120]: For functions using an unsigned integer return converter, Argument Clinic now generates a cast to that type for the comparison to -1 in the generated code. (This suppresses a compilation warning.)

bpo-18974 [https://bugs.python.org/issue?@action=redirect&bpo=18974]: Tools/scripts/diff.py now uses argparse instead of optparse.

bpo-21906 [https://bugs.python.org/issue?@action=redirect&bpo=21906]: Make Tools/scripts/md5sum.py work in Python 3. Patch by Zachary Ware.

bpo-21629 [https://bugs.python.org/issue?@action=redirect&bpo=21629]: Fix Argument Clinic’s “–converters” feature.

Add support for yield from to 2to3.

Add support for the PEP 465 [https://peps.python.org/pep-0465/] matrix multiplication operator to 2to3.

bpo-16047 [https://bugs.python.org/issue?@action=redirect&bpo=16047]: Fix module exception list and __file__ handling in freeze. Patch by Meador Inge.

bpo-11824 [https://bugs.python.org/issue?@action=redirect&bpo=11824]: Consider ABI tags in freeze. Patch by Meador Inge.

bpo-20535 [https://bugs.python.org/issue?@action=redirect&bpo=20535]: PYTHONWARNING no longer affects the run_tests.py script. Patch by Arfrever Frehtes Taifersar Arahesis.

Windows

bpo-23260 [https://bugs.python.org/issue?@action=redirect&bpo=23260]: Update Windows installer

The bundled version of Tcl/Tk has been updated to 8.6.3. The most visible result of this change is the addition of new native file dialogs when running on Windows Vista or newer. See Tcl/Tk’s TIP 432 for more information. Also, this version of Tcl/Tk includes support for Windows 10.

bpo-17896 [https://bugs.python.org/issue?@action=redirect&bpo=17896]: The Windows build scripts now expect external library sources to be in PCbuild\..\externals rather than PCbuild\..\...

bpo-17717 [https://bugs.python.org/issue?@action=redirect&bpo=17717]: The Windows build scripts now use a copy of NASM pulled from svn.python.org to build OpenSSL.

bpo-21907 [https://bugs.python.org/issue?@action=redirect&bpo=21907]: Improved the batch scripts provided for building Python.

bpo-22644 [https://bugs.python.org/issue?@action=redirect&bpo=22644]: The bundled version of OpenSSL has been updated to 1.0.1j.

bpo-10747 [https://bugs.python.org/issue?@action=redirect&bpo=10747]: Use versioned labels in the Windows start menu. Patch by Olive Kilburn.

bpo-22980 [https://bugs.python.org/issue?@action=redirect&bpo=22980]: .pyd files with a version and platform tag (for example, “.cp35-win32.pyd”) will now be loaded in preference to those without tags.

(For information about older versions, consult the HISTORY file.)

O tutorial de Python

Python é uma linguagem fácil de aprender e poderosa. Ela tem estruturas de dados de alto nível eficientes e uma abordagem simples mas efetiva de programação orientada a objetos. A elegância de sintaxe e a tipagem dinâmica de Python aliadas com sua natureza interpretativa, o fazem a linguagem ideal para programas e desenvolvimento de aplicações rápidas em diversas áreas e na maioria das plataformas.

O interpretador Python e a extensiva biblioteca padrão estão disponíveis gratuitamente em código ou na forma binária para todas as maiores plataformas no endereço eletrônico do Python, https://www.python.org/, e pode ser livremente distribuído. O mesmo endereço contém distribuições de diversos módulos, programas e ferramentas gratuitos produzidos por terceiros e documentação adicional.

O interpretador Python pode ser facilmente estendido com novas funções e tipos de dados implementados em C ou C++ (ou outras linguagens chamadas a partir de C). Python também é adequada como uma linguagem de extensão para aplicações personalizáveis.

Este tutorial introduz informalmente o leitor aos conceitos básicos e aos recursos da linguagem e do sistema Python. É mais fácil se você possuir um interpretador Python para uma experiência prática, mas os exemplos são autossuficientes e, portanto, o tutorial pode apenas ser lido off-line também.

Para uma descrição detalhada dos módulos e objetos padrões, veja A Biblioteca Padrão do Python. Em A Referência da Linguagem Python você encontra uma definição mais formal da linguagem. Para escrever extensões em C ou C++ leia Estendendo e Incorporando o Interpretador Python e Manual de referência da API Python/C. Existe também uma série de livros que cobrem Python em profundidade.

Este tutorial não espera ser abrangente e cobrir todos os recursos ou mesmo os recursos mais usados. Ele busca introduzir diversos dos recursos mais notáveis do Python e lhe dará uma boa ideia do sabor e estilo da linguagem. Depois de lê-lo, você terá condições de ler e escrever programas e módulos Python e estará pronto para aprender mais sobre os diversos módulos descritos em A Biblioteca Padrão do Python.

O Glossário também vale a pena ser estudado.

1. Abrindo seu apetite

2. Utilizando o interpretador Python

2.1. Chamando o interpretador

2.1.1. Passagem de argumentos

2.1.2. Modo interativo

2.2. O interpretador e seu ambiente

2.2.1. Edição de código-fonte

3. Uma introdução informal ao Python

3.1. Usando Python como uma calculadora

3.1.1. Números

3.1.2. Texto

3.1.3. Listas

3.2. Primeiros passos para a programação

4. Mais ferramentas de controle de fluxo

4.1. Instruções if

4.2. Instruções for

4.3. A função range()

4.4. Instruções break e continue

4.5. Cláusulas else em laços

4.6. Instruções pass

4.7. Instruções match

4.8. Definindo funções

4.9. Mais sobre definição de funções

4.9.1. Argumentos com valor padrão

4.9.2. Argumentos nomeados

4.9.3. Parâmetros especiais

4.9.3.1. Argumentos posicional-ou-nomeados

4.9.3.2. Parâmetros somente-posicionais

4.9.3.3. Argumentos somente-nomeados

4.9.3.4. Exemplos de funções

4.9.3.5. Recapitulando

4.9.4. Listas de argumentos arbitrárias

4.9.5. Desempacotando listas de argumentos

4.9.6. Expressões lambda

4.9.7. Strings de documentação

4.9.8. Anotações de função

4.10. Intermezzo: estilo de codificação

5. Estruturas de dados

5.1. Mais sobre listas

5.1.1. Usando listas como pilhas

5.1.2. Usando listas como filas

5.1.3. Compreensões de lista

5.1.4. Compreensões de lista aninhadas

5.2. A instrução del

5.3. Tuplas e Sequências

5.4. Conjuntos

5.5. Dicionários

5.6. Técnicas de iteração

5.7. Mais sobre condições

5.8. Comparando sequências e outros tipos

6. Módulos

6.1. Mais sobre módulos

6.1.1. Executando módulos como scripts

6.1.2. O caminho de busca dos módulos

6.1.3. Arquivos Python “compilados”

6.2. Módulos padrões

6.3. A função dir()

6.4. Pacotes

6.4.1. Importando * de um pacote

6.4.2. Referências em um mesmo pacote

6.4.3. Pacotes em múltiplos diretórios

7. Entrada e Saída

7.1. Refinando a formatação de saída

7.1.1. Strings literais formatadas

7.1.2. O método format()

7.1.3. Formatação manual de string

7.1.4. Formatação de strings à moda antiga

7.2. Leitura e escrita de arquivos

7.2.1. Métodos de objetos arquivo

7.2.2. Gravando dados estruturados com json

8. Erros e exceções

8.1. Erros de sintaxe

8.2. Exceções

8.3. Tratamento de exceções

8.4. Levantando exceções

8.5. Encadeamento de exceções

8.6. Exceções definidas pelo usuário

8.7. Definindo ações de limpeza

8.8. Ações de limpeza predefinidas

8.9. Criando e tratando várias exceções não relacionadas

8.10. Enriquecendo exceções com notas

9. Classes

9.1. Uma palavra sobre nomes e objetos

9.2. Escopos e espaços de nomes do Python

9.2.1. Exemplo de escopos e espaço de nomes

9.3. Uma primeira olhada nas classes

9.3.1. Sintaxe da definição de classe

9.3.2. Objetos classe

9.3.3. Objetos instância

9.3.4. Objetos método

9.3.5. Variáveis de classe e instância

9.4. Observações aleatórias

9.5. Herança

9.5.1. Herança múltipla

9.6. Variáveis privadas

9.7. Curiosidades e conclusões

9.8. Iteradores

9.9. Geradores

9.10. Expressões geradoras

10. Um breve passeio pela biblioteca padrão

10.1. Interface com o sistema operacional

10.2. Caracteres curinga

10.3. Argumentos de linha de comando

10.4. Redirecionamento de erros e encerramento do programa

10.5. Reconhecimento de padrões em strings

10.6. Matemática

10.7. Acesso à internet

10.8. Data e hora

10.9. Compressão de dados

10.10. Medição de desempenho

10.11. Controle de qualidade

10.12. Baterias incluídas

11. Um breve passeio pela biblioteca padrão — parte II

11.1. Formatando a saída

11.2. Usando templates

11.3. Trabalhando com formatos binários de dados

11.4. Multi-threading

11.5. Gerando logs

11.6. Referências fracas

11.7. Ferramentas para trabalhar com listas

11.8. Aritmética decimal com ponto flutuante

12. Ambientes virtuais e pacotes

12.1. Introdução

12.2. Criando ambientes virtuais

12.3. Gerenciando pacotes com o pip

13. E agora?

14. Edição de entrada interativa e substituição de histórico

14.1. Tab Completion e Histórico de Edição

14.2. Alternativas ao interpretador interativo

15. Aritmética de ponto flutuante: problemas e limitações

15.1. Erro de representação

16. Anexo

16.1. Modo interativo

16.1.1. Tratamento de erros

16.1.2. Scripts Python executáveis

16.1.3. Arquivo de inicialização do modo interativo

16.1.4. Módulos de customização

1. Abrindo seu apetite

Se você trabalha bastante com computadores, eventualmente perceberá que há alguma tarefa que gostaria de automatizar. Por exemplo, pode querer realizar uma busca e substituição em um grande número de arquivos de texto ou renomear e reorganizar um conjunto de fotos de maneira complexa. Talvez deseje criar um pequeno banco de dados personalizado, uma aplicação GUI especializada ou um jogo simples.

Se você é um desenvolvedor de software profissional, pode ter que trabalhar com várias bibliotecas C/C++/Java, mas o tradicional ciclo escrever/compilar/testar/recompilar é muito lento. Talvez você esteja escrevendo um conjunto de testes para uma biblioteca e está achando tedioso codificar os testes. Ou talvez você tenha escrito um programa que poderia utilizar uma linguagem de extensão, e você não quer conceber e implementar toda uma nova linguagem para sua aplicação.

Python é a linguagem para você.

Você pode escrever um script shell do Unix ou arquivos batch do Windows para algumas dessas tarefas, mas os scripts shell são melhores para mover arquivos e alterar dados de texto, não são adequados para aplicativos GUI ou jogos. Você pode escrever um programa C/C++/Java, mas pode levar muito tempo de desenvolvimento para obter até mesmo um primeiro rascunho de programa. O Python é mais simples de usar, está disponível nos sistemas operacionais Windows, macOS e Unix e ajudará você a terminar o trabalho mais rapidamente.

Python é fácil de usar, sem deixar de ser uma linguagem de programação de verdade, oferecendo muito mais estruturação e suporte para programas extensos do que shell scripts ou arquivos de lote oferecem. Por outro lado, Python também oferece melhor verificação de erros do que C, e por ser uma linguagem de muito alto nível, ela possui tipos nativos de alto nível, tais como dicionários e vetores (arrays) flexíveis. Devido ao suporte nativo a uma variedade de tipos de dados, Python é aplicável a um domínio de problemas muito mais vasto do que Awk ou até mesmo Perl, ainda assim muitas tarefas são pelo menos tão fáceis em Python quanto nessas linguagens.

Python permite que você organize seu programa em módulos que podem ser reutilizados em outros programas escritos em Python. A linguagem provê uma vasta coleção de módulos que podem ser utilizados como base para sua aplicação — ou como exemplos para estudo e aprofundamento. Alguns desses módulos implementam manipulação de arquivos, chamadas do sistema, sockets, e até mesmo acesso a bibliotecas de construção de interfaces gráficas, como Tk.

Python é uma linguagem interpretada, por isso você pode economizar um tempo considerável durante o desenvolvimento, uma vez que não há necessidade de compilação e vinculação (linking). O interpretador pode ser usado interativamente, o que torna fácil experimentar diversas características da linguagem, escrever programas “descartáveis”, ou testar funções em um desenvolvimento debaixo para cima (bottom-up). É também uma útil calculadora de mesa.

Python permite a escrita de programas compactos e legíveis. Programas escritos em Python são tipicamente mais curtos do que seus equivalentes em C, C++ ou Java, por diversas razões:

os tipos de alto nível permitem que você expresse operações complexas em um único comando;

a definição de bloco é feita por indentação ao invés de marcadores de início e fim de bloco;

não há necessidade de declaração de variáveis ou parâmetros formais;

Python é extensível: se você sabe como programar em C, é fácil adicionar funções ou módulos diretamente no interpretador, seja para desempenhar operações críticas em máxima velocidade, ou para vincular programas Python a bibliotecas que só estejam disponíveis em formato binário (como uma biblioteca gráfica de terceiros). Uma vez que você tenha sido fisgado, você pode vincular o interpretador Python a uma aplicação escrita em C e utilizá-la como linguagem de comandos ou extensão para esta aplicação.

A propósito, a linguagem foi batizada a partir do famoso programa da BBC “Monty Python’s Flying Circus” e não tem nada a ver com répteis. Fazer referências a citações do programa na documentação não é só permitido, como também é encorajado!

Agora que você está entusiasmado com Python, vai querer conhecê-la com mais detalhes. Partindo do princípio que a melhor maneira de aprender uma linguagem é usando-a, você está agora convidado a fazê-lo com este tutorial.

No próximo capítulo, a mecânica de utilização do interpretador é explicada. Essa informação, ainda que mundana, é essencial para a experimentação dos exemplos apresentados mais tarde.

O resto do tutorial introduz diversos aspectos do sistema e linguagem Python por intermédio de exemplos. Serão abordadas expressões simples, comandos, tipos, funções e módulos. Finalmente, serão explicados alguns conceitos avançados como exceções e classes definidas pelo usuário.

2. Utilizando o interpretador Python

2.1. Chamando o interpretador

O interpretador Python é frequentemente instalado como /usr/local/bin/python3.13 nas máquinas onde está disponível; adicionando /usr/local/bin ao caminho de busca da shell de seu Unix torna-se possível iniciá-lo digitando o comando:

python3.13

no shell. [1] Considerando que a escolha do diretório onde o interpretador está é uma opção de instalação, outros locais são possíveis; verifique com seu guru local de Python ou administrador do sistema local. (Por exemplo, /usr/local/python é um local alternativo popular.)

Em máquinas Windows onde você instalou Python a partir da Microsoft Store, o comando python3.13 estará disponível. Se você tem o lançador py.exe instalado, você pode usar o comando py. Veja Excursus: Configurando variáveis de ambiente para outras maneiras de executar o Python.

Digitando um caractere de fim-de-arquivo (Control-D no Unix, Control-Z no Windows) diretamente no prompt força o interpretador a sair com status de saída zero. Se isso não funcionar, você pode sair do interpretador digitando o seguinte comando: quit().

Os recursos de edição de linha do interpretador incluem edição interativa, substituição de histórico e complemento de código, em sistemas com suporte à biblioteca GNU Readline [https://tiswww.case.edu/php/chet/readline/rltop.html]. Talvez a verificação mais rápida para ver se o suporte à edição de linha de comando está disponível é digitando Control-P no primeiro prompt oferecido pelo Python. Se for emitido um bipe, você terá a edição da linha de comando; veja Apêndice Edição de entrada interativa e substituição de histórico para uma introdução às combinações. Se nada acontecer, ou se ^P aparecer na tela, a edição da linha de comando não está disponível; você só poderá usar backspace para remover caracteres da linha atual.

O interpretador trabalha de forma semelhante a uma shell de Unix: quando chamado com a saída padrão conectada a um console de terminal, ele lê e executa comandos interativamente; quando chamado com um nome de arquivo como argumento, ou com redirecionamento da entrada padrão para ler um arquivo, o interpretador lê e executa o script contido no arquivo.

Uma segunda forma de iniciar o interpretador é python -c comando [arg] ..., que executa uma ou mais instruções especificadas na posição comando, analogamente à opção de shell -c. Considerando que comandos Python frequentemente têm espaços em branco (ou outros caracteres que são especiais para a shell) é aconselhável que todo o comando esteja entre as aspas.

Alguns módulos Python são também úteis como scripts. Estes podem ser chamados usando python -m módulo [arg] ... que executa o arquivo fonte do módulo como se você tivesse digitado seu caminho completo na linha de comando.

Quando um arquivo de script é utilizado, às vezes é útil executá-lo e logo em seguida entrar em modo interativo. Isto pode ser feito acrescentando o argumento -i antes do nome do script.

Todas as opções de linha de comando são descritas em Linha de comando e ambiente.

2.1.1. Passagem de argumentos

Quando são de conhecimento do interpretador, o nome do script e demais argumentos da linha de comando da shell são acessíveis ao próprio script através da variável argv do módulo sys. Pode-se acessar essa lista executando import sys. Essa lista tem sempre ao menos um elemento; quando nenhum script ou argumento for passado para o interpretador, sys.argv[0] será uma string vazia. Quando o nome do script for '-' (significando entrada padrão), o conteúdo de sys.argv[0] será '-'. Quando for utilizado -c comando, sys.argv[0] conterá '-c'. Quando for utilizado -m módulo, sys.argv[0] conterá o caminho completo do módulo localizado. Opções especificadas após -c comando ou -m módulo não serão consumidas pelo interpretador mas deixadas em sys.argv para serem tratadas pelo comando ou módulo.

2.1.2. Modo interativo

Quando os comandos são lidos a partir do console, diz-se que o interpretador está em modo interativo. Nesse modo ele solicita um próximo comando através do prompt primário, tipicamente três sinais de maior (>>>); para linhas de continuação do comando atual, o prompt secundário padrão é formado por três pontos (...). O interpretador exibe uma mensagem de boas vindas, informando seu número de versão e um aviso de copyright antes de exibir o primeiro prompt:

$ python3.13
Python 3.13 (default, April 4 2023, 09:25:04)
[GCC 10.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

Linhas de continuação são necessárias em construções multi-linha. Como exemplo, dê uma olhada nesse comando if:

>>> o_mundo_é_plano = True
>>> if o_mundo_é_plano:
...     print("Cuidado para não cair da borda!")
...
Cuidado para não cair da borda!

Para mais informações sobre o modo interativo, veja Modo interativo.

2.2. O interpretador e seu ambiente

2.2.1. Edição de código-fonte

Por padrão, arquivos fonte de Python são tratados com codificação UTF-8. Nessa codificação, caracteres de muitos idiomas no mundo podem ser usados simultaneamente em literais string, identificadores e comentários — embora a biblioteca padrão use apenas caracteres ASCII para identificadores, uma convenção que qualquer código portável deve seguir. Para exibir todos esses caracteres corretamente, seu editor deve reconhecer que o arquivo é UTF-8 e deve usar uma fonte com suporte a todos os caracteres no arquivo.

Para declarar uma codificação diferente da padrão, uma linha de comentário especial deve ser adicionada como primeira linha do arquivo. A sintaxe é essa:

# -*- coding: encoding -*-

onde encoding é uma das codecs válidas com suporte do Python.

Por exemplo, para declarar que a codificação Windows-1252 deve ser usada, a primeira linha do seu arquivo fonte deve ser:

# -*- coding: cp1252 -*-

Uma exceção para a regra da primeira linha é quando o código-fonte inicia com uma linha com UNIX “shebang”. Nesse caso, a declaração de codificação deve ser adicionada como a segunda linha do arquivo. Por exemplo:

#!/usr/bin/env python3
# -*- coding: cp1252 -*-

Notas de rodapé

[1]

No Unix, o interpretador Python 3.x não é instalado por padrão com o executável nomeado python, então não vai conflitar com um executável Python 2.x instalado simultaneamente.

3. Uma introdução informal ao Python

Nos exemplos seguintes, pode-se distinguir entrada e saída pela presença ou ausência dos prompts (>>> e …): para repetir o exemplo, você deve digitar tudo após o prompt, quando o mesmo aparece; linhas que não começarem com um prompt são na verdade as saídas geradas pelo interpretador. Observe que quando aparece uma linha contendo apenas o prompt secundário você deve digitar uma linha em branco; é assim que se encerra um comando de múltiplas linhas.

Você pode alternar a exibição de prompts e saída clicando em >>> no canto superior direito de uma caixa de exemplo. Se você ocultar os prompts e a saída para um exemplo, poderá copiar e colar facilmente as linhas de entrada no seu interpretador.

Muitos exemplos neste manual, mesmo aqueles inscritos na linha de comando interativa, incluem comentários. Comentários em Python começam com o caractere cerquilha # e estende até o final da linha. Um comentário pode aparecer no inicio da linha ou após espaço em branco ou código, mas não dentro de uma string literal. O caractere cerquilha dentro de uma string literal é apenas uma cerquilha. Como os comentários são para esclarecer o código e não são interpretados pelo Python, eles podem ser omitidos ao digitar exemplos.

Alguns exemplos:

# este é o primeiro comentário
spam = 1  # e este é o segundo comentário
          # ... e agora um terceiro!
text = "# Este não é um comentário por estar entre aspas."

3.1. Usando Python como uma calculadora

Vamos experimentar alguns comandos simples em Python. Inicie o interpretador e aguarde o prompt primário, >>>. (Não deve demorar muito.)

3.1.1. Números

O interpretador funciona como uma calculadora bem simples: você pode digitar uma expressão e o resultado será apresentado. A sintaxe de expressões é a usual: operadores +, -, * e / podem ser usadas para realizar operações aritméticas; parênteses (()) podem ser usados para agrupar expressões. Por exemplo:

>>> 2 + 2
4
>>> 50 - 5*6
20
>>> (50 - 5*6) / 4
5.0
>>> 8 / 5  # divisão sempre retorna um número de ponto flutuante
1.6

Os números inteiros (ex. 2, 4, 20) são do tipo int, aqueles com parte fracionária (ex. 5.0, 1.6) são do tipo float. Veremos mais sobre tipos numéricos posteriormente neste tutorial.

Divisão (/) sempre retorna ponto flutuante (float). Para fazer uma divisão pelo piso e receber um inteiro como resultado você pode usar o operador //; para calcular o resto você pode usar o %:

>>> 17 / 3  # divisão clássica retorna um ponto flutuante
5.666666666666667
>>>
>>> 17 // 3  # divisão pelo piso descarta a parte fracionária
5
>>> 17 % 3  # o operador % retorna o resto da divisão
2
>>> 5 * 3 + 2  # quociente do piso * divisor + restante
17

Com Python, é possível usar o operador ** para calcular potências [1]:

>>> 5 ** 2  # 5 ao quadrado
25
>>> 2 ** 7  # 2 à potência de 7
128

O sinal de igual ('=') é usado para atribuir um valor a uma variável. Depois de uma atribuição, nenhum resultado é exibido antes do próximo prompt:

>>> largura = 20
>>> altura = 5 * 9
>>> largura * altura
900

Se uma variável não é “definida” (não tem um valor atribuído), tentar utilizá-la gerará um erro:

>>> n  # tenta acessar uma variável não definida
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'n' is not defined

Há suporte completo para ponto flutuante (float); operadores com operandos de diferentes tipos convertem o inteiro para ponto flutuante:

>>> 4 * 3.75 - 1
14.0

No modo interativo, o valor da última expressão exibida é atribuída a variável _. Assim, ao utilizar Python como uma calculadora, fica mais fácil prosseguir com os cálculos, por exemplo:

>>> taxa = 12.5 / 100
>>> preço = 100.50
>>> preço * taxa
12.5625
>>> preço + _
113.0625
>>> round(_, 2)
113.06

Essa variável especial deve ser tratada como somente para leitura pelo usuário. Nunca lhe atribua explicitamente um valor — do contrário, estaria criando uma outra variável (homônima) independente, que mascararia a variável especial com seu comportamento mágico.

Além de int e float, o Python suporta outros tipos de números, tais como Decimal e Fraction. O Python também possui suporte nativo a números complexos, e usa os sufixos j ou J para indicar a parte imaginária (por exemplo, 3+5j).

3.1.2. Texto

Python pode manipular texto (representado pelo tipo str, também chamado de “strings”), bem como números. Isso inclui caracteres “!”, palavras “coelho”, nomes “Paris”, frases “Eu te protejo.”, etc. “Oba! :)”. Eles podem ser colocados entre aspas simples ('...') ou aspas duplas ("...") com o mesmo resultado [2].

>>> 'spam eggs'  # single quotes
'spam eggs'
>>> "Paris rabbit got your back :)! Yay!"  # double quotes
'Paris rabbit got your back :)! Yay!'
>>> '1975'  # digits and numerals enclosed in quotes are also strings
'1975'

Para colocar aspas entre aspas, precisamos “escapá-la”, precedendo-as com \. Alternativamente, podemos usar o outro tipo de aspas:

>>> 'd\'água'  # use \' para escapar a aspa simples...
"d'água"
>>> "d'água"  # ...ou use aspas duplas
"d'água"
>>> '"Sim", eles disseram.'
'"Sim", eles disseram.'
>>> "\"Sim\", eles disseram."
'"Sim", eles disseram.'
>>> '"Copo d\'água", eles pediram.'
'"Copo d'água", eles pediram.'

No shell do Python, a definição de string e a string de saída podem parecer diferentes. A função print() produz uma saída mais legível, omitindo as aspas delimitadoras e imprimindo caracteres de escape e especiais:

>>> s = 'Primeira linha.\nSegunda linha.'  # \n significa nova linha
>>> s  # sem print(), caracteres especiais são incluídos na string
'Primeira linha.\nSegunda linha.'
>>> print(s)  # com print(), caracteres especiais são interpretados, então \n produz nova linha
Primeira linha.
Segunda linha.

Se não quiseres que os caracteres sejam precedidos por \ para serem interpretados como caracteres especiais, poderás usar strings raw (N.d.T: “crua” ou sem processamento de caracteres de escape) adicionando um r antes da primeira aspa:

>>> print('C:\algum\nome')  # aqui \n significa nova linha!
C:\algum
ome
>>> print(r'C:\algum\nome')  # observe o r antes das aspas
C:\algum\nome

Há um aspecto sutil nas strings raw: uma string raw não pode terminar em um número ímpar de caracteres \; consulte a entrada do FAQ para mais informações e soluções alternativas.

As strings literais podem abranger várias linhas. Uma maneira é usar as aspas triplas: """...""" ou '''...'''. O fim das linhas é incluído automaticamente na string, mas é possível evitar isso adicionando uma \ no final. No exemplo a seguir, a nova linha no início não é incluída:

>>> print("""\
... Uso: coisinha [OPÇÕES]
...      -h                        Exibe esta mensagem de uso
...      -H hostname               Hostname para se conectar
... """)
Usage: coisinha [OPÇÕES]
     -h                        Exibe esta mensagem de ajuda
     -H hostname               Hostname para se conectar

>>>

Strings podem ser concatenadas (coladas) com o operador +, e repetidas com *:

>>> # 3 vezes 'un', seguido por 'ium'
>>> 3 * 'un' + 'ium'
'unununium'

Duas ou mais strings literais (ou seja, entre aspas) ao lado da outra são automaticamente concatenados.

>>> 'Py' 'thon'
'Python'

Esse recurso é particularmente útil quando você quer quebrar strings longas:

>>> texto = ('Coloque várias strings dentro de parênteses '
...          'para fazer com que elas sejam concatenadas.')
>>> texto
'Coloque várias strings dentro de parênteses para fazer com que elas sejam concatenadas.'

Isso só funciona com duas strings literais, não com variáveis ou expressões:

>>> prefixo = 'Py'
>>> prefixo 'thon'  # não é possível concatenar uma variável e um literal de string
  File "<stdin>", line 1
    prefixi 'thon'
           ^^^^^^
SyntaxError: invalid syntax
>>> ('un' * 3) 'ium'
  File "<stdin>", line 1
    ('un' * 3) 'ium'
               ^^^^^
SyntaxError: invalid syntax

Se você quiser concatenar variáveis ou uma variável e uma literal, use +:

>>> prefixo + 'thon'
'Python'

As strings podem ser indexadas (subscritas), com o primeiro caractere como índice 0. Não existe um tipo específico para caracteres; um caractere é simplesmente uma string cujo tamanho é 1:

>>> palavra = 'Python'
>>> palavra[0]  # caractere na posição 0
'P'
>>> palavra[5]  # caractere na posição 5
'n'

Índices também podem ser números negativos para iniciar a contagem pela direita:

>>> palavra[-1]  # último caractere
'n'
>>> palavra[-2]  # penúltimo caractere
'o'
>>> palavra[-6]
'P'

Note que dado que -0 é o mesmo que 0, índices negativos começam em -1.

Além da indexação, o fatiamento também é permitido. Embora a indexação seja usada para obter caracteres individuais, fatiar permite que você obtenha uma substring:

>>> palavra[0:2]  # caracteres da posição 0 (incluída) até 2 (excluída)
'Py'
>>> palavra[2:5]  # caracteres da posição 2 (incluída) até 5 (excluída)
'tho'

Os índices do fatiamento possuem padrões úteis; um primeiro índice omitido padrão é zero, um segundo índice omitido é por padrão o tamanho da string sendo fatiada:

>>> palavra[:2]   # caracteres do início até a posição 2 (excluída)
'Py'
>>> palavra[4:]   # caracteres da posição 4 (incluída) até o fim
'on'
>>> palavra[-2:]  # caracteres da penúltima (incluída) até o fim
'on'

Observe como o início sempre está incluído, e o fim sempre é excluído. Isso garante que s[:i] + s[i:] seja sempre igual a s:

>>> palavra[:2] + palavra[2:]
'Python'
>>> palavra[:4] + palavra[4:]
'Python'

Uma maneira de lembrar como fatias funcionam é pensar que os índices indicam posições entre caracteres, onde a borda esquerda do primeiro caractere é 0. Assim, a borda direita do último caractere de uma string de comprimento n tem índice n, por exemplo:

 +---+---+---+---+---+---+
 | P | y | t | h | o | n |
 +---+---+---+---+---+---+
 0   1   2   3   4   5   6
-6  -5  -4  -3  -2  -1

A primeira fileira de números indica a posição dos índices 0…6 na string; a segunda fileira indica a posição dos respectivos índices negativos. Uma fatia de i a j consiste em todos os caracteres entre as bordas i e j, respectivamente.

Para índices positivos, o comprimento da fatia é a diferença entre os índices, se ambos estão dentro dos limites da string. Por exemplo, o comprimento de word[1:3] é 2.

A tentativa de usar um índice que seja muito grande resultará em um erro:

>>> palavra[42]  # a palavra só tem 6 caracteres
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
IndexError: string index out of range

No entanto, os índices de fatiamento fora do alcance são tratados graciosamente (N.d.T: o termo original “gracefully” indica robustez no tratamento de erros) quando usados para fatiamento. Um índice maior que o comprimento é trocado pelo comprimento, um limite superior menor que o limite inferior produz uma string vazia:

>>> palavra[4:42]
'on'
>>> palavra[42:]
''

As strings do Python não podem ser alteradas — uma string é imutável. Portanto, atribuir a uma posição indexada na sequência resulta em um erro:

>>> palavra[0] = 'J'
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'str' object does not support item assignment
>>> palavra[2:] = 'py'
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'str' object does not support item assignment

Se você precisar de uma string diferente, deverá criar uma nova:

>>> 'J' + palavra[1:]
'Jython'
>>> palavra[:2] + 'py'
'Pypy'

A função embutida len() devolve o comprimento de uma string:

>>> s = 'supercalifragilisticexpialidoce'
>>> len(s)
31

Ver também

Tipo sequência de texto — str

As strings são exemplos de tipos de sequências e suportam as operações comumente suportadas por esses tipos.

Métodos de string

As strings suportam uma grande quantidade de métodos para transformações básicas e busca.

Literais de strings formatadas

Strings literais que possuem expressões embutidas.

Sintaxe das strings de formato

Informações sobre formatação de string com o método str.format().

Formatação de String no Formato no estilo printf

As antigas operações de formatação invocadas quando as strings são o operando esquerdo do operador % são descritas com mais detalhes aqui.

3.1.3. Listas

Python inclui diversas estruturas de dados compostas, usadas para agrupar outros valores. A mais versátil é list (lista), que pode ser escrita como uma lista de valores (itens) separados por vírgula, entre colchetes. Os valores contidos na lista não precisam ser todos do mesmo tipo.

>>> quadrados = [1, 4, 9, 16, 25]
>>> quadrados
[1, 4, 9, 16, 25]

Como strings (e todos os tipos embutidos de sequência), listas pode ser indexados e fatiados:

>>> quadrados[0]  # indexação retorna o item
1
>>> quadrados[-1]
25
>>> quadrados[-3:]  # fatiamento retorna uma nova lista
[9, 16, 25]

As listas também suportam operações como concatenação:

>>> quadrados + [36, 49, 64, 81, 100]
[1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

Diferentemente de strings, que são imutáveis, listas são mutáveis, ou seja, é possível alterar elementos individuais de uma lista:

>>> cubos = [1, 8, 27, 65, 125]  # algo errado aqui
>>> 4 ** 3  # o cubo de 4 é 64, não 65!
64
>>> cubos[3] = 64  # substitui o valor errado
>>> cubos
[1, 8, 27, 64, 125]

Você também pode adicionar novos itens no final da lista, usando o método list.append() (estudaremos mais a respeito dos métodos posteriormente):

>>> cubos.append(216)  # adiciona o cubo de 6
>>> cubos.append(7 ** 3)  # e o cubo de 7
>>> cubos
[1, 8, 27, 64, 125, 216, 343]

A atribuição simples em Python nunca copia dados. Quando você atribui uma lista a uma variável, a variável se refere à lista existente. Quaisquer alterações que você fizer na lista por meio de uma variável serão vistas por todas as outras variáveis que se referem a ela:

>>> rgb = ["Vermelho", "Verde", "Azul"]
>>> rgba = rgb
>>> id(rgb) == id(rgba)  # elas referenciam o mesmo objeto
True
>>> rgba.append("Alf")
>>> rgb
["Vermelho", "Verde", "Azul", "Alf"]

Todas as operações de fatiamento devolvem uma nova lista contendo os elementos solicitados. Isso significa que o seguinte fatiamento devolve uma cópia rasa da lista:

>>> rgba_correto = rgba[:]
>>> rgba_correto[-1] = "Alfa"
>>> rgba_correto
["Vermelho", "Verde", "Azul", "Alfa"]
>>> rgba
["Vermelho", "Verde", "Azul", "Alf"]

Atribuição a fatias também é possível, e isso pode até alterar o tamanho da lista ou remover todos os itens dela:

>>> letras = ['a', 'b', 'c', 'd', 'e', 'f', 'g']
>>> letras
['a', 'b', 'c', 'd', 'e', 'f', 'g']
>>> # substitui alguns valores
>>> letras[2:5] = ['C', 'D', 'E']
>>> letras
['a', 'b', 'C', 'D', 'E', 'f', 'g']
>>> # agora remove-os
>>> letras[2:5] = []
>>> letras
['a', 'b', 'f', 'g']
>>> # limpa a lista substituindo todos os elementos por uma lista vazia
>>> letras[:] = []
>>> letras
[]

A função embutida len() também se aplica a listas:

>>> letras = ['a', 'b', 'c', 'd']
>>> len(letras)
4

É possível aninhar listas (criar listas contendo outras listas), por exemplo:

>>> a = ['a', 'b', 'c']
>>> n = [1, 2, 3]
>>> x = [a, n]
>>> x
[['a', 'b', 'c'], [1, 2, 3]]
>>> x[0]
['a', 'b', 'c']
>>> x[0][1]
'b'

3.2. Primeiros passos para a programação

Claro, podemos usar o Python para tarefas mais complicadas do que somar 2+2. Por exemplo, podemos escrever o início da sequência de Fibonacci [https://pt.wikipedia.org/wiki/Sequência_de_Fibonacci] assim:

>>> # Sequência de Fibonacci:
>>> # a soma de dois elementos define a próxima
>>> a, b = 0, 1
>>> while a < 10:
...     print(a)
...     a, b = b, a+b
...
0
1
1
2
3
5
8

Este exemplo introduz diversas características ainda não mencionadas.

A primeira linha contém uma atribuição múltipla: as variáveis a e b recebem simultaneamente os novos valores 0 e 1. Na última linha há outro exemplo de atribuição múltipla demonstrando que expressões do lado direito são sempre avaliadas primeiro, antes da atribuição. As expressões do lado direito são avaliadas da esquerda para a direita.

O laço de repetição while executa enquanto a condição (aqui: a < 10) permanece verdadeira. Em Python, como em C, qualquer valor inteiro que não seja zero é considerado verdadeiro; zero é considerado falso. A condição pode também ser uma cadeia de caracteres ou uma lista, ou qualquer sequência; qualquer coisa com um tamanho maior que zero é verdadeiro, enquanto sequências vazias são falsas. O teste usado no exemplo é uma comparação simples. Os operadores padrões de comparação são os mesmos de C: < (menor que), > (maior que), == (igual), <= (menor ou igual), >= (maior ou igual) e != (diferente).

O corpo do laço é indentado: indentação em Python é a maneira de agrupar comandos em blocos. No console interativo padrão você terá que digitar tab ou espaços para indentar cada linha. Na prática você vai preparar scripts Python mais complicados em um editor de texto; a maioria dos editores de texto tem facilidades de indentação automática. Quando um comando composto é digitado interativamente, deve ser finalizado por uma linha em branco (já que o interpretador não tem como adivinhar qual é a última linha do comando). Observe que toda linha de um mesmo bloco de comandos deve ter a mesma indentação.

A função print() escreve o valor dos argumentos fornecidos. É diferente de apenas escrever a expressão no interpretador (como fizemos anteriormente nos exemplos da calculadora) pela forma como lida com múltiplos argumentos, quantidades de ponto flutuante e strings. As strings são impressas sem aspas, e um espaço é inserido entre os itens, assim você pode formatar bem o resultado, dessa forma:

>>> i = 256*256
>>> print('O valor de i é', i)
O valor de i é 65536

O argumento nomeado end pode ser usado para evitar uma nova linha após a saída ou finalizar a saída com uma string diferente:

>>> a, b = 0, 1
>>> while a < 1000:
...     print(a, end=',')
...     a, b = b, a+b
...
0,1,1,2,3,5,8,13,21,34,55,89,144,233,377,610,987,

Notas de rodapé

[1]

Uma vez que ** tem precedência mais alta que -, -3**2 será interpretado como -(3**2) e assim resultará em -9. Para evitar isso e obter 9, você pode usar (-3)**2.

[2]

Ao contrário de outras linguagens, caracteres especiais como \n têm o mesmo significado com as aspas simples ('...') e duplas ("...") . A única diferença entre as duas é que, dentro de aspas simples, você não precisa escapar o " (mas você deve escapar a \') e vice-versa.

4. Mais ferramentas de controle de fluxo

Assim como a instrução while que acabou de ser apresentada, o Python usa mais algumas que encontraremos neste capítulo.

4.1. Instruções if

Provavelmente a mais conhecida instrução de controle de fluxo é o if. Por exemplo:

>>> x = int(input("Insira um número inteiro: "))
Insira um número inteiro: 42
>>> if x < 0:
...     x = 0
...     print('Negativo alterado para zero')
... elif x == 0:
...     print('Zero')
... elif x == 1:
...     print('Um')
... else:
...     print('Mais')
...
Mais

Pode haver zero ou mais partes elif, e a parte else é opcional. A palavra-chave ‘elif’ é uma abreviação para ‘else if’, e é útil para evitar indentação excessiva. Uma sequência if … elif … elif … substitui as instruções switch ou case, encontrados em outras linguagens.

Se você está comparando o mesmo valor com várias constantes, ou verificando por tipos ou atributos específicos, você também pode achar a instrução match útil. Para mais detalhes veja Instruções match.

4.2. Instruções for

A instrução for em Python é um pouco diferente do que costuma ser em C ou Pascal. Ao invés de sempre iterar sobre uma progressão aritmética de números (como no Pascal), ou permitir ao usuário definir o passo de iteração e a condição de parada (como C), a instrução for do Python itera sobre os itens de qualquer sequência (seja uma lista ou uma string), na ordem que aparecem na sequência. Por exemplo:

>>> # Mede algumas strings:
>>> palavras = ['gato', 'janela', 'defenestrar']
>>> for p in palavras:
...     print(p, len(p))
...
gato 4
janela 6
defenestrar 11

Código que modifica uma coleção sobre a qual está iterando pode ser inseguro. No lugar disso, usualmente você deve iterar sobre uma cópia da coleção ou criar uma nova coleção:

# Cria uma amostra de coleção
users = {'Hans': 'active', 'Éléonore': 'inactive', '景太郎': 'active'}

# Estratégia: iterar por uma cópia
for user, status in users.copy().items():
    if status == 'inactive':
        del users[user]

# Estratégia: criar uma nova coleção
active_users = {}
for user, status in users.items():
    if status == 'active':
        active_users[user] = status

4.3. A função range()

Se você precisa iterar sobre sequências numéricas, a função embutida range() é a resposta. Ela gera progressões aritméticas:

>>> for i in range(5):
...     print(i)
...
0
1
2
3
4

O ponto de parada fornecido nunca é incluído na lista; range(10) gera uma lista com 10 valores, exatamente os índices válidos para uma sequência de comprimento 10. É possível iniciar o intervalo com outro número, ou alterar a razão da progressão (inclusive com passo negativo):

>>> list(range(5, 10))
[5, 6, 7, 8, 9]

>>> list(range(0, 10, 3))
[0, 3, 6, 9]

>>> list(range(-10, -100, -30))
[-10, -40, -70]

Para iterar sobre os índices de uma sequência, combine range() e len() da seguinte forma:

>>> a = ['Maria', 'tinha', 'um', 'carneirinho']
>>> for i in range(len(a)):
...     print(i, a[i])
...
0 Maria
1 tinha
2 um
3 carneirinho

Na maioria dos casos, porém, é mais conveniente usar a função enumerate(), veja Técnicas de iteração.

Uma coisa estranha acontece se você imprime um intervalo:

>>> range(10)
range(0, 10)

Em muitos aspectos, o objeto retornado pela função range() se comporta como se fosse uma lista, mas na verdade não é. É um objeto que retorna os itens sucessivos da sequência desejada quando você itera sobre a mesma, mas na verdade ele não gera a lista, economizando espaço.

Dizemos que um objeto é iterável, isso é, candidato a ser alvo de uma função ou construção que espera alguma coisa capaz de retornar sucessivamente seus elementos um de cada vez. Nós vimos que a instrução for é um exemplo de construção, enquanto que um exemplo de função que recebe um iterável é sum():

>>> sum(range(4))  # 0 + 1 + 2 + 3
6

Mais tarde, veremos mais funções que retornam iteráveis e tomam iteráveis como argumentos. No capítulo Estruturas de dados, iremos discutir em mais detalhes sobre list().

4.4. Instruções break e continue

A instrução break sai imediatamente do laço de repetição mais interno, seja for ou while:

>>> for n in range(2, 10):
...     for x in range(2, n):
...         if n % x == 0:
...             print(f"{n} igual a {x} * {n//x}")
...             break
...
4 igual a 2 * 2
6 igual a 2 * 3
8 igual a 2 * 4
9 equals 3 * 3

A instrução continue continua com a próxima iteração do laço:

>>> for num in range(2, 10):
...     if num % 2 == 0:
...         print(f"Encontrado um número par {num}")
...         continue
...     print(f"Encontrado um número ímpar {num}")
...
Encontrado um número par 2
Encontrado um número ímpar 3
Encontrado um número par 4
Encontrado um número ímpar 5
Encontrado um número par 6
Encontrado um número ímpar 7
Encontrado um número par 8
Encontrado um número ímpar 9

4.5. Cláusulas else em laços

Em um laço for ou while a instrução break pode ser pareada com uma cláusula else. Se o laço terminar sem executar o break, a cláusula else será executada.

Em um laço for, a cláusula else é executada após o laço finalizar sua iteração final, ou seja, se não ocorrer nenhuma interrupção.

Em um laço while, ele é executado após a condição do laço se tornar falsa.

Em qualquer tipo de laço, a cláusula else não é executada se o laço foi encerrado por um break. Claro, outras maneiras de encerrar o laço mais cedo, como um return ou uma exceção levantada, também pularão a execução da cláusula else.

Isso é exemplificado no seguinte laço for, que procura por números primos:

>>> for n in range(2, 10):
...     for x in range(2, n):
...         if n % x == 0:
...             print(n, 'igual a', x, '*', n//x)
...             break
...     else:
...         # a iteração passou direto sem encontrar um fator
...         print(n, 'é um número primo')
...
2 é um número primo
3 é um número primo
4 igual a 2 * 2
5 é um número primo
6 igual a 2 * 3
7 é um número primo
8 igual a 2 * 4
9 igual a 3 * 3

(Sim, este é o código correto. Observe atentamente: a cláusula else pertence ao laço for, não à instrução if.)

Uma maneira de pensar na cláusula else é imaginá-la pareada com o if dentro do laço. Conforme o laço é executado, ele executará uma sequência como if/if/if/else. O if está dentro do laço, encontrado várias vezes. Se a condição for verdadeira, um break acontecerá. Se a condição nunca for verdadeira, a cláusula else fora do laçoserá executada.

Quando usado em um laço, a cláusula else tem mais em comum com a cláusula else de uma instrução try do que com a de instruções if: a cláusula else de uma instrução try é executada quando não ocorre exceção, e a cláusula else de um laço é executada quando não ocorre um break. Para mais informações sobre instrução try e exceções, veja Tratamento de exceções.

4.6. Instruções pass

A instrução pass não faz nada. Pode ser usada quando a sintaxe exige uma instrução, mas a semântica do programa não requer nenhuma ação. Por exemplo:

>>> while True:
...     pass  # Ocupado, aguardando interrupção por teclado (Ctrl+C)
...

Isto é usado muitas vezes para se definir classes mínimas:

>>> class MinhaClasseVazia:
...     pass
...

Outra ocasião em que o pass pode ser usado é como um substituto temporário para uma função ou bloco condicional, quando se está trabalhando com código novo, ainda indefinido, permitindo que mantenha-se o pensamento num nível mais abstrato. O pass é silenciosamente ignorado:

>>> def initlog(*args):
...     pass   # Lembre-se de implementar isso!
...

4.7. Instruções match

Uma instrução match pega uma expressão e compara seu valor com padrões sucessivos fornecidos como um ou mais blocos de case. Isso é superficialmente semelhante a uma instrução switch em C, Java ou JavaScript (e muitas outras linguagens), mas também pode extrair componentes (elementos de sequência ou atributos de objeto) do valor em variáveis, mas muito mais parecido com a correspondência de padrões em linguages como Rust ou Haskell. Apenas o primeiro padrão que corresponder será executado, podendo também extrair componentes (elementos de sequência ou atributos de objetos) do valor para variáveis.

A forma mais simples compara um valor de assunto com um ou mais literais:

def http_error(status):
    match status:
        case 400:
            return "Bad request"
        case 404:
            return "Not found"
        case 418:
            return "I'm a teapot"
        case _:
            return "Something's wrong with the internet"

Observe o último bloco: o “nome da variável” _ atua como um curinga e nunca falha em corresponder. Se nenhum caso corresponder, nenhuma das ramificações será executada.

Você pode combinar vários literais em um único padrão usando | (“ou”):

case 401 | 403 | 404:
    return "Não permitido"

Os padrões podem se parecer com atribuições de desempacotamento e podem ser usados para vincular variáveis:

# ponto é uma tupla (x, y)
match ponto:
    case (0, 0):
        print("Origem")
    case (0, y):
        print(f"Y={y}")
    case (x, 0):
        print(f"X={x}")
    case (x, y):
        print(f"X={x}, Y={y}")
    case _:
        raise ValueError("Não é um ponto")

Estude isso com cuidado! O primeiro padrão tem dois literais e pode ser considerado uma extensão do padrão literal mostrado acima. Mas os próximos dois padrões combinam um literal e uma variável, e a variável vincula um valor do assunto (ponto). O quarto padrão captura dois valores, o que o torna conceitualmente semelhante à atribuição de desempacotamento (x, y) = ponto.

Se você estiver usando classes para estruturar seus dados, você pode usar o nome da classe seguido por uma lista de argumentos semelhante a um construtor, mas com a capacidade de capturar atributos em variáveis:

class Ponto:
    def __init__(self, x, y):
        self.x = x
        self.y = y

def onde_está(ponto):
    match ponto:
        case Ponto(x=0, y=0):
            print("Origem")
        case Ponto(x=0, y=y):
            print(f"Y={y}")
        case Ponto(x=x, y=0):
            print(f"X={x}")
        case Ponto():
            print("Em outro lugar")
        case _:
            print("Não é um ponto")

Você pode usar parâmetros posicionais com algumas classes embutidas que fornecem uma ordem para seus atributos (por exemplo, classes de dados). Você também pode definir uma posição específica para atributos em padrões configurando o atributo especial __match_args__ em suas classes. Se for definido como (“x”, “y”), os seguintes padrões são todos equivalentes (e todos vinculam o atributo y à variável var):

Ponto(1, var)
Ponto(1, y=var)
Ponto(x=1, y=var)
Ponto(y=var, x=1)

Uma maneira recomendada de ler padrões é vê-los como uma forma estendida do que você colocaria à esquerda de uma atribuição, para entender quais variáveis seriam definidas para quê. Apenas os nomes autônomos (como var acima) são atribuídos por uma instrução de correspondência. Nomes pontilhados (como foo.bar), nomes de atributos (o x= e y= acima) ou nomes de classes (reconhecidos pelo “(…)” próximo a eles, como Ponto acima) nunca são atribuídos.

Os padrões podem ser aninhados arbitrariamente. Por exemplo, se tivermos uma pequena lista de Pontos, com __match_args__ adicionado, poderíamos correspondê-la assim:

class Ponto:
    __match_args__ = ('x', 'y')
    def __init__(self, x, y):
        self.x = x
        self.y = y

match pontos:
    case []:
        print("Sem pontos")
    case [Ponto(0, 0)]:
        print("A origem")
    case [Ponto(x, y)]:
        print(f"Ponto único {x}, {y}")
    case [Ponto(0, y1), Ponto(0, y2)]:
        print(f"Dois do eixo Y em {y1}, {y2}")
    case _:
        print("Outra coisa")

Podemos adicionar uma cláusula if a um padrão, conhecido como “guarda”. Se a guarda for falsa, match continua para tentar o próximo bloco de caso. Observe que a captura de valor ocorre antes que a guarda seja avaliada:

match ponto:
    case Ponto(x, y) if x == y:
        print(f"Y=X at {x}")
    case Ponto(x, y):
        print(f"Não está na diagonal")

Vários outros recursos importantes desta instrução:

Assim como desempacotar atribuições, os padrões de tupla e lista têm exatamente o mesmo significado e realmente correspondem a sequências arbitrárias. Uma exceção importante é que eles não correspondem a iteradores ou strings.

Os padrões de sequência têm suporte ao desempacotamento estendido: [x, y, *rest] e (x, y, *rest) funcionam de forma semelhante ao desempacotamento de atribuições. O nome depois de * também pode ser _, então (x, y, *_) corresponde a uma sequência de pelo menos dois itens sem ligar os itens restantes.

Padrões de mapeamento: {"bandwidth": b, "latency": l} captura os valores "bandwidth" e "latency" de um dicionário. Diferente dos padrões de sequência, chaves extra são ignoradas. Um desempacotamento como **rest também é permitido. (Mas **_ seria redundante, então não é permitido.)

Subpadrões podem ser capturados usando a palavra reservada as:

case (Ponto(x1, y1), Ponto(x2, y2) as p2): ...

Vai capturar o segundo elemento da entrada como p2 (se a entrada for uma sequência de dois pontos)

A maioria dos literais são comparados por igualdade, no entando os singletons True, False e None são comparados por identidade.

Padrões podem usar constantes nomeadas. Estas devem ser nomes pontilhados para prevenir que sejam interpretadas como variáveis de captura:

from enum import Enum
class Cor(Enum):
    VERMELHO = 'vermelho'
    VERDE = 'verde'
    AZUL = 'azul'

cor = Cor(input("Insira sua escolha de 'vermelho, 'azul' ou 'verde': "))

match color:
    case Cor.VERMELHO:
        print("Eu vejo vermelho!")
    case Cor.VERDE:
        print("Grama é verde")
    case Cor.AZUL:
        print("O céu é azul :)")

Para uma explicação mais detalhada e exemplos adicionais, você pode olhar PEP 636 [https://peps.python.org/pep-0636/] que foi escrita em formato de tutorial.

4.8. Definindo funções

Podemos criar uma função que escreve a série de Fibonacci até um limite arbitrário:

>>> def fib(n):    # escreve série de Fibonacci menor que n
...     """Imprime uma série de Fibonacci menor que n."""
...     a, b = 0, 1
...     while a < n:
...         print(a, end=' ')
...         a, b = b, a+b
...     print()
...
>>> # Agora chamamos a função que acabamos de definir:
>>> fib(2000)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987 1597

A palavra reservada def inicia a definição de uma função. Ela deve ser seguida do nome da função e da lista de parâmetros formais entre parênteses. As instruções que formam o corpo da função começam na linha seguinte e devem ser indentados.

Opcionalmente, a primeira linha do corpo da função pode ser uma literal string, cujo propósito é documentar a função. Se presente, essa string chama-se docstring. (Há mais informação sobre docstrings na seção Strings de documentação.) Existem ferramentas que utilizam docstrings para produzir automaticamente documentação online ou para imprimir, ou ainda, permitir que o usuário navegue interativamente pelo código. É uma boa prática incluir sempre docstrings em suas funções, portanto, tente fazer disso um hábito.

A execução de uma função cria uma nova tabela de símbolos para as variáveis locais da função. Mais precisamente, todas as atribuições de variáveis numa função são armazenadas na tabela de símbolos local; referências a variáveis são buscadas primeiro na tabela de símbolos local, em seguida na tabela de símbolos locais de funções delimitadoras ou circundantes, depois na tabela de símbolos global e, finalmente, na tabela de nomes da própria linguagem. Embora possam ser referenciadas, variáveis globais e de funções externas não podem ter atribuições (a menos que seja utilizada a instrução global, para variáveis globais, ou nonlocal, para variáveis de funções externas).

Os parâmetros reais (argumentos) de uma chamada de função são introduzidos na tabela de símbolos local da função no momento da chamada; portanto, argumentos são passados por valor (onde o valor é sempre uma referência para objeto, não o valor do objeto). [1] Quando uma função chama outra função, ou chama a si mesma recursivamente, uma nova tabela de símbolos é criada para tal chamada.

Uma definição de função associa o nome da função com o objeto função na tabela de símbolos atual. O interpretador reconhece o objeto apontado pelo nome como uma função definida pelo usuário. Outros nomes também podem apontar para o mesmo objeto função e também pode ser usados pra acessar a função:

>>> fib
<function fib at 10042ed0>
>>> f = fib
>>> f(100)
0 1 1 2 3 5 8 13 21 34 55 89

Conhecendo outras linguagens, pode-se questionar que fib não é uma função, mas um procedimento, pois ela não devolve um valor. Na verdade, mesmo funções que não usam a instrução return devolvem um valor, ainda que pouco interessante. Esse valor é chamado None (é um nome embutido). O interpretador interativo evita escrever None quando ele é o único resultado de uma expressão. Mas se quiser vê-lo pode usar a função print():

>>> fib(0)
>>> print(fib(0))
None

É fácil escrever uma função que retorna uma lista de números da série de Fibonacci, ao invés de exibi-los:

>>> def fib2(n):  # retorna série de  Fibonacci até n
...     """Retorna uma lista contendo a série de Fibonacci até n."""
...     resultado = []
...     a, b = 0, 1
...     while a < n:
...         resultado.append(a)    # veja abaixo
...         a, b = b, a+b
...     return resultado
...
>>> f100 = fib2(100)    # chama-o
>>> f100                # escreve o resultado
[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]

Este exemplo demonstra novos recursos de Python:

A instrução return finaliza a execução e retorna um valor da função. return sem qualquer expressão como argumento retorna None. Atingir o final da função também retorna None.

A instrução result.append(a) chama um método do objeto lista result. Um método é uma função que ‘pertence’ a um objeto, e é chamada obj.nomemetodo, onde obj é um objeto qualquer (pode ser uma expressão), e nomemetodo é o nome de um método que foi definido pelo tipo do objeto. Tipos diferentes definem métodos diferentes. Métodos de diferentes tipos podem ter o mesmo nome sem ambiguidade. (É possível definir seus próprios tipos de objetos e métodos, utilizando classes, veja em Classes) O método append(), mostrado no exemplo é definido para objetos do tipo lista; adiciona um novo elemento ao final da lista. Neste exemplo, ele equivale a result = result + [a], só que mais eficiente.

4.9. Mais sobre definição de funções

É possível definir funções com um número variável de argumentos. Existem três formas, que podem ser combinadas.

4.9.1. Argumentos com valor padrão

A mais útil das três é especificar um valor padrão para um ou mais argumentos. Isso cria uma função que pode ser invocada com menos argumentos do que os que foram definidos. Por exemplo:

def pergunta_ok(mensagem, tentativas=4, lembrete='Por favor, tente novamente!'):
    while True:
        resposta = input(mensagem)
        if resposta in {'s', 'sim', 'é}:
            return True
        if resposta in {'n', 'não', 'nah'}:
            return False
        tentativas = tentativas - 1
        if tentativas < 0:
            raise ValueError('resposta inválida de usuário')
        print(lembrete)

Essa função pode ser chamada de várias formas:

fornecendo apenas o argumento obrigatório: ask_ok('Do you really want to quit?')

fornecendo um dos argumentos opcionais: ask_ok('OK to overwrite the file?', 2)

ou fornecendo todos os argumentos: ask_ok('OK to overwrite the file?', 2, 'Come on, only yes or no!')

Este exemplo também introduz a palavra-chave in, que verifica se uma sequência contém ou não um determinado valor.

Os valores padrões são avaliados no momento da definição da função, e no escopo em que a função foi definida, portanto:

i = 5

def f(arg=i):
    print(arg)

i = 6
f()

irá exibir 5.

Aviso importante: Valores padrões são avaliados apenas uma vez. Isso faz diferença quando o valor é um objeto mutável, como uma lista, dicionário, ou instâncias de classes. Por exemplo, a função a seguir acumula os argumentos passados, nas chamadas subsequentes:

def f(a, L=[]):
    L.append(a)
    return L

print(f(1))
print(f(2))
print(f(3))

Isso exibirá:

[1]
[1, 2]
[1, 2, 3]

Se não quiser que o valor padrão seja compartilhado entre chamadas subsequentes, pode reescrever a função assim:

def f(a, L=None):
    if L is None:
        L = []
    L.append(a)
    return L

4.9.2. Argumentos nomeados

Funções também podem ser chamadas usando argumentos nomeados da forma chave=valor. Por exemplo, a função a seguir:

def papagaio(voltagem, estado='é um cadáver', ação='voar', tipo='Azul Norueguês'):
    print("-- Este papagaio não conseguiria", ação, end=' ')
    print("nem se você desse um choque de", voltagem, "de volts nele.")
    print("-- Plumagem formosa, o", tipo)
    print("-- Ele", estado, "!")

aceita um argumento obrigatório (voltagem) e três argumentos opcionais (estado, ação, e tipo). Esta função pode ser chamada de qualquer uma dessas formas:

papagaio(1000)                                        # 1 argumento posicional
papagaio(voltagem=1000)                               # 1 argumento nomeado
papagaio(voltagem=1000000, ação='fazer VOOOOOM')      # 2 argumentos nomeados
papagaio(ação='fazer VOOOOOM', voltagem=1000000)      # 2 argumentos nomeados
papagaio('um milhão', 'sem vida', 'pular')            # 3 argumentos posicionais
papagaio('mil', estado='estaria no céu')              # 1 posicional, 1 argumento

mas todas as formas a seguir seriam inválidas:

papagaio()                       # faltando argumento obrigatório
papagaio(voltagem=5.0, 'morto')  # argumento não nomeado após um argumento nomeado
papagaio(110, voltagem=220)      # valor duplicado para o mesmo argumento
papagaio(ator='John Cleese')     # argumento nomeado desconhecido

Em uma chamada de função, argumentos nomeados devem vir depois dos argumentos posicionais. Todos os argumentos nomeados passados devem corresponder com argumentos aceitos pela função (ex. ator não é um argumento nomeado válido para a função papagaio), mas sua ordem é irrelevante. Isto também inclui argumentos obrigatórios (ex.: papagaio(voltagem=1000) funciona). Nenhum argumento pode receber mais de um valor. Eis um exemplo que não funciona devido a esta restrição:

>>> def função(a):
...     pass
...
>>> função(0, a=0)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: função() got multiple values for argument 'a'

Quando um último parâmetro formal no formato **nome está presente, ele recebe um dicionário (veja Tipo mapeamento — dict) contendo todos os argumentos nomeados, exceto aqueles que correspondem a um parâmetro formal. Isto pode ser combinado com um parâmetro formal no formato *nome (descrito na próxima subseção) que recebe uma tupla contendo os argumentos posicionais, além da lista de parâmetros formais. (*nome deve ocorrer antes de **nome.) Por exemplo, se definirmos uma função assim:

def loja_de_queijos(tipo, *argumentos, **argumentos_nomeados):
    print("-- Você tem algum", tipo, "?")
    print("-- Lamento, acabou o", tipo)
    for arg in argumentos:
        print(arg)
    print("-" * 40)
    for kw in argumentos_nomeados:
        print(kw, ":", argumentos_nomeados[kw])

Pode ser chamada assim:

loja_de_queijos("Limburger", "Está muito mole, senhor",
           "Está realmente muito, MUITO mole, senhor.",
           vendedor="Michael Palin",
           cliente="John Cleese",
           sketch="Sketch da Loja de Queijos")

e, claro, exibiria:

-- Você tem algum Limburger ?
-- Lamento, acabou o Limburger
Está muito mole, senhor.
Está realmente muito, MUITO mole, senhor.
----------------------------------------
vendedor : Michael Palin
cliente : John Cleese
sketch : Cheese Shop Sketch

Observe que a ordem em que os argumentos nomeados são exibidos é garantida para corresponder à ordem em que foram fornecidos na chamada da função.

4.9.3. Parâmetros especiais

Por padrão, argumentos podem ser passadas para uma função Python tanto por posição quanto explicitamente pelo nome. Para uma melhor legibilidade e desempenho, faz sentido restringir a maneira pelo qual argumentos possam ser passados, assim um desenvolvedor precisa apenas olhar para a definição da função para determinar se os itens são passados por posição, por posição e nome, ou por nome.

A definição de uma função pode parecer com:

def f(pos1, pos2, /, pos_ou_kwd, *, kwd1, kwd2):
      -----------    ----------     ----------
        |             |                  |
        |        Posicional ou nomeado   |
        |                                - Somente nomeado
         -- Somente posicional

onde / e * são opcionais. Se usados, esses símbolos indicam o tipo de parâmetro pelo qual os argumentos podem ser passados para as funções: somente-posicional, posicional-ou-nomeado, e somente-nomeado. Parâmetros nomeados são também conhecidos como parâmetros palavra-chave.

4.9.3.1. Argumentos posicional-ou-nomeados

Se / e * não estão presentes na definição da função, argumentos podem ser passados para uma função por posição ou por nome.

4.9.3.2. Parâmetros somente-posicionais

Olhando com um pouco mais de detalhes, é possível definir certos parâmetros como somente-posicional. Se somente-posicional, a ordem do parâmetro importa, e os parâmetros não podem ser passados por nome. Parâmetros somente-posicional são colocados antes de / (barra). A / é usada para logicamente separar os argumentos somente-posicional dos demais parâmetros. Se não existe uma / na definição da função, não existe parâmetros somente-posicionais.

Parâmetros após a / podem ser posicional-ou-nomeado ou somente-nomeado.

4.9.3.3. Argumentos somente-nomeados

Para definir parâmetros como somente-nomeado, indicando que o parâmetro deve ser passado por argumento nomeado, colocamos um * na lista de argumentos imediatamente antes do primeiro parâmetro somente-nomeado.

4.9.3.4. Exemplos de funções

Considere o seguinte exemplo de definição de função com atenção redobrada para os marcadores / e *:

>>> def arg_padrão(arg):
...     print(arg)
...
>>> def arg_somente_pos(arg, /):
...     print(arg)
...
>>> def arg_somente_nom(*, arg):
...     print(arg)
...
>>> def exemplo_combinado(somente_pos, /, padrão, *, somente_nom):
...     print(somente_pos, padrão, somente_nom)

A definição da primeira função, arg_padrão, a forma mais familiar, não coloca nenhuma restrição para a chamada da função e argumentos podem ser passados por posição ou nome:

>>> arg_padrão(2)
2

>>> arg_padrão(arg=2)
2

A segunda função arg_somente_pos está restrita ao uso de parâmetros somente posicionais, uma vez que existe uma / na definição da função:

>>> arg_somente_pos(1)
1

>>> arg_somente_pos(arg=1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: arg_somente_pos() got some positional-only arguments passed as keyword arguments: 'arg'

A terceira função arg_somente_nom permite somente argumentos nomeados como indicado pelo * na definição da função:

>>> arg_somente_nom(3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: arg_somente_nom() takes 0 positional arguments but 1 was given

>>> arg_somente_nom(arg=3)
3

E a última usa as três convenções de chamada na mesma definição de função:

>>> exemplo_combinado(1, 2, 3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: exemplo_combinado() takes 2 positional arguments but 3 were given

>>> exemplo_combinado(1, 2, somente_nom=3)
1 2 3

>>> exemplo_combinado(1, padrão=2, somente_nom=3)
1 2 3

>>> exemplo_combinado(somente_pos=1, padrão=2, somente_nom=3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: exemplo_combinado() got some positional-only arguments passed as keyword arguments: 'somente_pos'

Finalmente, considere essa definição de função que possui uma potencial colisão entre o argumento posicional nome e **kwds que possui nome como uma chave:

def foo(nome, **kwds):
    return 'nome' in kwds

Não é possível essa chamada devolver True, uma vez que o argumento nomeado 'nome' sempre será aplicado para o primeiro parâmetro. Por exemplo:

>>> foo(1, **{'nome': 2})
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: foo() got multiple values for argument 'nome'
>>>

Mas usando / (argumentos somente-posicionais), isso é possível já que permite nome como um argumento posicional e 'nome' como uma chave nos argumentos nomeados:

>>> def foo(nome, /, **kwds):
...     return 'nome' in kwds
...
>>> foo(1, **{'nome': 2})
True

Em outras palavras, o nome de parâmetros somente-posicional podem ser usados em **kwds sem ambiguidade.

4.9.3.5. Recapitulando

A situação irá determinar quais parâmetros usar na definição da função:

def f(pos1, pos2, /, pos_ou_nom *, nom1, nom2):

Como guia:

Use somente-posicional se você não quer que o nome do parâmetro esteja disponível para o usuário. Isso é útil quando nomes de parâmetros não tem um significado real, se você quer forçar a ordem dos argumentos da função quando ela é chamada ou se você precisa ter alguns parâmetros posicionais e alguns nomeados.

Use somente-nomeado quando os nomes tem significado e a definição da função fica mais clara deixando esses nomes explícitos ou se você quer evitar que usuários confiem na posição dos argumentos que estão sendo passados.

Para uma API, use somente-posicional para evitar quebras na mudança da API se os nomes dos parâmetros forem alterados no futuro.

4.9.4. Listas de argumentos arbitrárias

Finalmente, a opção menos usada é especificar que a função pode ser chamada com um número arbitrário de argumentos. Esses argumentos serão empacotados em uma tupla (ver Tuplas e Sequências). Antes dos argumentos em número variável, zero ou mais argumentos normais podem estar presentes.

def escreve_vários_itens(arquivo, separador, *args):
    file.write(separador.join(args))

Normalmente, esses argumentos variádicos estarão no final da lista de parâmetros formais, porque eles englobam todos os argumentos de entrada restantes, que são passados para a função. Quaisquer parâmetros formais que ocorrem após o parâmetro *args são argumentos ‘somente-nomeados’ , o que significa que eles só podem ser usados como chave-valor, em vez de argumentos posicionais:

>>> def concat(*args, sep="/"):
...     return sep.join(args)
...
>>> concat("terra", "marte", "vênus")
'terra/marte/vênus'
>>> concat("terra", "marte", "vênus", sep=".")
'terra.marte.vênus'

4.9.5. Desempacotando listas de argumentos

A situação inversa ocorre quando os argumentos já estão numa lista ou tupla mas ela precisa ser explodida para invocarmos uma função que requer argumentos posicionais separados. Por exemplo, a função range() espera argumentos separados, start e stop. Se os valores já estiverem juntos em uma lista ou tupla, escreva a chamada de função com o operador * para desempacotá-los da sequência:

>>> list(range(3, 6))            # chamada normal com argumentos separados
[3, 4, 5]
>>> args = [3, 6]
>>> list(range(*args))           # chamada com argumentos desempacotados a partir de uma lista
[3, 4, 5]

Da mesma forma, dicionários podem produzir argumentos nomeados com o operador **:

>>> def papagaio(voltagem, estado='um cadáver', ação='voar'):
...     print("-- Este papagaio não conseguiria", ação, end=' ')
...     print("nem se você desse um choque de", voltagem, "de volts nele.", end=' ')
...     print("Ele", estado, "!")
...
>>> d = {"voltagem": "quatro milhões", "estado": "está realmente morto", "ação": "voar"}
>>> papagaio(**d)
-- Este papagaio não conseguiria voar nem se você desse um choque de quatro milhões de volts nele. Ele está realmente morto !

4.9.6. Expressões lambda

Pequenas funções anônimas podem ser criadas com a palavra-chave lambda. Esta função retorna a soma de seus dois argumentos: lambda a, b: a+b. As funções lambda podem ser usadas sempre que objetos função forem necessários. Eles são sintaticamente restritos a uma única expressão. Semanticamente, eles são apenas açúcar sintático para uma definição de função normal. Como definições de funções aninhadas, as funções lambda podem referenciar variáveis contidas no escopo:

>>> def cria_incrementador(n):
...     return lambda x: x + n
...
>>> f = cria_incrementador(42)
>>> f(0)
42
>>> f(1)
43

O exemplo acima usa uma expressão lambda para retornar uma função. Outro uso é passar uma pequena função como um argumento:

>>> pairs = [(1, 'um'), (2, 'dois'), (3, 'três), (4, 'quatro')]
>>> pairs.sort(key=lambda pair: pair[1])
>>> pairs
[(4, 'quatro'), (1, 'um'), (3, 'três'), (2, 'dois')]

4.9.7. Strings de documentação

Aqui estão algumas convenções sobre o conteúdo e formatação de strings de documentação, também conhecidas como docstrings.

A primeira linha deve sempre ser curta, um resumo conciso do propósito do objeto. Por brevidade, não deve explicitamente se referir ao nome ou tipo do objeto, uma vez que estas informações estão disponíveis por outros meios (exceto se o nome da função for o próprio verbo que descreve a finalidade da função). Essa linha deve começar com letra maiúscula e terminar com ponto.

Se existem mais linhas na string de documentação, a segunda linha deve estar em branco, separando visualmente o resumo do resto da descrição. As linhas seguintes devem conter um ou mais parágrafos descrevendo as convenções de chamada ao objeto, seus efeitos colaterais, etc.

O analisador Python não remove a indentação de literais string multilinha. Portanto, ferramentas que processem strings de documentação precisam lidar com isso, quando desejável. Existe uma convenção para isso. A primeira linha não vazia após a linha de sumário determina a indentação para o resto da string de documentação. (Não podemos usar a primeira linha para isso porque ela em geral está adjacente às aspas que iniciam a string, portanto sua indentação real não fica aparente.) Espaços em branco “equivalentes” a essa indentação são então removidos do início das demais linhas da string. Linhas com indentação menor não devem ocorrer, mas se ocorrerem, todos os espaços à sua esquerda são removidos. A equivalência de espaços em branco deve ser testada após a expansão das tabulações (8 espaços, normalmente).

Eis um exemplo de uma string de documentação multilinha:

>>> def minha_função():
...     """Faz nada, mas documenta-a.
...
...     Não, é sério, ela faz nada mesmo.
...     """
...     pass
...
>>> print(minha_função.__doc__)
Faz nada, mas documenta-a.

    Não, é sério, ela faz nada mesmo.

4.9.8. Anotações de função

Anotações de função são informações de metadados completamente opcionais sobre os tipos usados pelas funções definidas pelo usuário (veja PEP 3107 [https://peps.python.org/pep-3107/] e PEP 484 [https://peps.python.org/pep-0484/] para mais informações).

Anotações são armazenadas no atributo __annotations__ da função como um dicionário e não tem nenhum efeito em qualquer outra parte da função. Anotações de parâmetro são definidas por dois-pontos (“:”) após o nome do parâmetro, seguida por uma expressão que quando avaliada determina o valor da anotação. Anotações do tipo do retorno são definidas por um literal ->, seguida por uma expressão, entre a lista de parâmetro e os dois-pontos que marcam o fim da instrução def . O exemplo a seguir possui um argumento obrigatório, um argumento opcional e o valor de retorno anotados:

>>> def f(ham: str, ovos: str = 'ovos') -> str:
...     print("Anotações:", f.__annotations__)
...     print("Argumentos:", ham, ovos)
...     return ham + ' e ' + ovos
...
>>> f('spam')
Anotações: {'ham': <class 'str'>, 'return': <class 'str'>, 'ovos': <class 'str'>}
Argumentos: spam ovos
'spam e ovos'

4.10. Intermezzo: estilo de codificação

Agora que está prestes a escrever códigos mais longos e complexos em Python, é um bom momento para falar sobre estilo de codificação. A maioria das linguagens podem ser escritas (ou formatadas) em diferentes estilos; alguns são mais legíveis do que outros. Tornar o seu código mais fácil de ler, para os outros, é sempre uma boa ideia, e adotar um estilo de codificação agradável ajuda bastante.

Em Python, a PEP 8 [https://peps.python.org/pep-0008/] tornou-se o guia de estilo adotado pela maioria dos projetos; promove um estilo de codificação muito legível e visualmente agradável. Todo desenvolvedor Python deve lê-lo em algum momento; eis os pontos mais importantes, selecionados para você:

Use indentação com 4 espaços, e não use tabulações.

4 espaços são um bom meio termo entre indentação estreita (permite maior profundidade de aninhamento) e indentação larga (mais fácil de ler). Tabulações trazem complicações, e o melhor é não usar.

Quebre as linhas de modo que não excedam 79 caracteres.

Isso ajuda os usuários com telas pequenas e torna possível abrir vários arquivos de código lado a lado em telas maiores.

Deixe linhas em branco para separar funções e classes, e blocos de código dentro de funções.

Quando possível, coloque comentários em uma linha própria.

Escreva strings de documentação.

Use espaços ao redor de operadores e após vírgulas, mas não diretamente dentro de parênteses, colchetes e chaves: a = f(1, 2) + g(3, 4).

Nomeie suas classes e funções de forma consistente; a convenção é usar MaiusculoCamelCase para classes e minusculo_com_sublinhado para funções e métodos. Sempre use self como o nome para o primeiro argumento dos métodos (veja Uma primeira olhada nas classes para mais informações sobre classes e métodos).

Não use codificações exóticas se o seu código é feito para ser usado em um contexto internacional. O padrão do Python, UTF-8, ou mesmo ASCII puro funciona bem em qualquer caso.

Da mesma forma, não use caracteres não-ASCII em identificadores se houver apenas a menor chance de pessoas falando um idioma diferente ler ou manter o código.

Notas de rodapé

[1]

Na verdade, passagem por referência para objeto seria uma descrição melhor, pois, se um objeto mutável for passado, quem chamou verá as alterações feitas por quem foi chamado (por exemplo, a inclusão de itens em uma lista).

5. Estruturas de dados

Esse capítulo descreve algumas coisas que você já aprendeu em detalhes e adiciona algumas coisas novas também.

5.1. Mais sobre listas

O tipo de dado lista tem ainda mais métodos. Aqui estão apresentados todos os métodos de objetos do tipo lista:

list.append(x)

Adiciona um item ao fim da lista. Equivalente a a[len(a):] = [x].

list.extend(iterable)

Prolonga a lista, adicionando no fim todos os elementos do argumento iterable passado como parâmetro. Equivalente a a[len(a):] = iterable.

list.insert(i, x)

Insere um item em uma dada posição. O primeiro argumento é o índice do elemento antes do qual será feita a inserção, assim a.insert(0, x) insere um elemento na frente da lista e a.insert(len(a), x) e equivale a a.append(x).

list.remove(x)

Remove o primeiro item encontrado na lista cujo valor é igual a x. Se não existir valor igual, uma exceção ValueError é levantada.

list.pop([i])

Remove o item na posição fornecida na lista e retorna. Se nenhum índice for especificado, a.pop() remove e retorna o último item da lista. Levanta um IndexError se a lista estiver vazia ou o índice estiver fora do intervalo da lista.

list.clear()

Remove todos os itens de uma lista. Equivalente a del a[:].

list.index(x[, start[, end]])

Devolve o índice base-zero do primeiro item cujo valor é igual a x, levantando ValueError se este valor não existe.

Os argumentos opcionais start e end são interpretados como nas notações de fatiamento e são usados para limitar a busca para uma subsequência específica da lista. O índice retornado é calculado relativo ao começo da sequência inteira e não referente ao argumento start.

list.count(x)

Devolve o número de vezes em que x aparece na lista.

list.sort(*, key=None, reverse=False)

Ordena os itens na lista (os argumentos podem ser usados para personalizar a ordenação, veja a função sorted() para maiores explicações).

list.reverse()

Inverte a ordem dos elementos na lista.

list.copy()

Devolve uma cópia rasa da lista. Equivalente a a[:].

Um exemplo que usa a maior parte dos métodos das listas:

>>> frutas = ['laranja', 'maçã', 'pera', 'banana', 'kiwi', 'maçã', 'banana']
>>> frutas.count('maçã')
2
>>> frutas.count('tangerina')
0
>>> frutas.index('banana')
3
>>> frutas.index('banana', 4) # Encontra a próxima banana iniciando da posição 4
6
>>> frutas.reverse()
>>> frutas
['banana', 'maçã', 'kiwi', 'banana', 'pera', 'maçã', 'laranja']
>>> frutas.append('uva')
>>> frutas
['banana', 'maçã', 'kiwi', 'banana', 'pera', 'maçã', 'laranja', 'uva']
>>> frutas.sort()
>>> frutas
['maçã', 'maçã', 'banana', 'banana', 'uva', 'kiwi', 'laranja', 'pera']
>>> frutas.pop()
'pera'

Você pode ter percebido que métodos como insert, remove ou sort, que apenas modificam a lista, não têm valor de retorno impresso – eles retornam o None padrão. [1] Isto é um princípio de design para todas as estruturas de dados mutáveis em Python.

Outro aspecto que você pode notar é que nem todos os dados podem ser classificados ou comparados. Por exemplo, [None, 'hello', 10] não é ordenável porque os inteiros não podem ser comparados a strings e None não pode ser comparado a outros tipos. Além disso, há alguns tipos que não têm uma relação de ordenação definida. Por exemplo, 3+4j < 5+7j não é uma comparação válida.

5.1.1. Usando listas como pilhas

Os métodos de lista tornam muito fácil utilizar listas como pilhas, onde o item adicionado por último é o primeiro a ser recuperado (política “último a entrar, primeiro a sair”). Para adicionar um item ao topo da pilha, use append(). Para recuperar um item do topo da pilha use pop() sem nenhum índice explícito. Por exemplo:

>>> pilha = [3, 4, 5]
>>> pilha.append(6)
>>> pilha.append(7)
>>> pilha
[3, 4, 5, 6, 7]
>>> pilha.pop()
7
>>> pilha
[3, 4, 5, 6]
>>> pilha.pop()
6
>>> pilha.pop()
5
>>> pilha
[3, 4]

5.1.2. Usando listas como filas

Você também pode usar uma lista como uma fila, onde o primeiro item adicionado é o primeiro a ser recuperado (política “primeiro a entrar, primeiro a sair”); porém, listas não são eficientes para esta finalidade. Embora appends e pops no final da lista sejam rápidos, fazer inserts ou pops no início da lista é lento (porque todos os demais elementos têm que ser deslocados).

Para implementar uma fila, use a classe collections.deque que foi projetada para permitir appends e pops eficientes nas duas extremidades. Por exemplo:

>>> from collections import deque
>>> fila = deque(["Erik", "João", "Miguel"])
>>> fila.append("Tiago")            # Tiago chega
>>> fila.append("George")           # George chega
>>> fila.popleft()                  # O primeiro a chegar agora sai
'Erik'
>>> fila.popleft()                  # O segundo a chegar agora sai
'João'
>>> fila                            # A fila restante na ordem de chegada
deque(['Miguel', 'Tiago', 'George'])

5.1.3. Compreensões de lista

Compreensões de lista fornece uma maneira concisa de criar uma lista. Aplicações comuns são criar novas listas onde cada elemento é o resultado de alguma operação aplicada a cada elemento de outra sequência ou iterável, ou criar uma subsequência de elementos que satisfaçam uma certa condição. (N.d.T. o termo original em inglês é list comprehensions, muito utilizado no Brasil; também se usa a abreviação listcomp).

Por exemplo, suponha que queremos criar uma lista de quadrados, assim:

>>> quadrados = []
>>> for x in range(10):
...     quadrados.append(x**2)
...
>>> quadrados
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

Note que isto cria (ou sobrescreve) uma variável chamada x que ainda existe após o término do laço. Podemos calcular a lista dos quadrados sem qualquer efeito colateral usando:

quadrados = list(map(lambda x: x**2, range(10)))

ou, de maneira equivalente:

quadrados = [x**2 for x in range(10)]

que é mais conciso e legível.

Um compreensão de lista consiste de um par de colchetes contendo uma expressão seguida de uma cláusula for, e então zero ou mais cláusulas for ou if. O resultado será uma nova lista resultante da avaliação da expressão no contexto das cláusulas for e if. Por exemplo, essa compreensão combina os elementos de duas listas se eles forem diferentes:

>>> [(x, y) for x in [1,2,3] for y in [3,1,4] if x != y]
[(1, 3), (1, 4), (2, 3), (2, 1), (2, 4), (3, 1), (3, 4)]

e é equivalente a:

>>> combos = []
>>> for x in [1,2,3]:
...     for y in [3,1,4]:
...         if x != y:
...             combos.append((x, y))
...
>>> combos
[(1, 3), (1, 4), (2, 3), (2, 1), (2, 4), (3, 1), (3, 4)]

Note como a ordem das instruções for e if é a mesma em ambos os trechos.

Se a expressão é uma tupla (ex., (x, y) no exemplo anterior), ela deve ser inserida entre parênteses.

>>> vec = [-4, -2, 0, 2, 4]
>>> # cria uma nova lista com os valores dobrados
>>> [x*2 for x in vec]
[-8, -4, 0, 4, 8]
>>> # filtra a lista para excluir números negativos
>>> [x for x in vec if x >= 0]
[0, 2, 4]
>>> # aplica uma função para todos os elementos
>>> [abs(x) for x in vec]
[4, 2, 0, 2, 4]
>>> # chama um método em cada elemento
>>> frutafresca = ['  banana', '  baga-de-logan ', 'maracujá  ']
>>> [arma.strip() for arma in frutafresca]
['banana', 'baga-de-logan', 'maracujá']
>>> # cria uma lista de tuplas de 2 elementos como (número, quadrado)
>>> [(x, x**2) for x in range(6)]
[(0, 0), (1, 1), (2, 4), (3, 9), (4, 16), (5, 25)]
>>> # a tupla deve estar entre parênteses, do contrário um erro é levantado
>>> [x, x**2 for x in range(6)]
  File "<stdin>", line 1
    [x, x**2 for x in range(6)]
     ^^^^^^^
SyntaxError: did you forget parentheses around the comprehension target?
>>> # achatamento de uma lista usando uma compreensão de lista com dois 'for'
>>> vec = [[1,2,3], [4,5,6], [7,8,9]]
>>> [num for elem in vec for num in elem]
[1, 2, 3, 4, 5, 6, 7, 8, 9]

Compreensões de lista podem conter expressões complexas e funções aninhadas:

>>> from math import pi
>>> [str(round(pi, i)) for i in range(1, 6)]
['3.1', '3.14', '3.142', '3.1416', '3.14159']

5.1.4. Compreensões de lista aninhadas

A expressão inicial em uma compreensão de lista pode ser qualquer expressão arbitrária, incluindo outra compreensão de lista.

Observe este exemplo de uma matriz 3x4 implementada como uma lista de 3 listas de comprimento 4:

>>> matriz = [
...     [1, 2, 3, 4],
...     [5, 6, 7, 8],
...     [9, 10, 11, 12],
... ]

A compreensão de lista abaixo transpõe as linhas e colunas:

>>> [[linha[i] for linha in matriz] for i in range(4)]
[[1, 5, 9], [2, 6, 10], [3, 7, 11], [4, 8, 12]]

Como vimos na seção anterior, a compreensão de lista interna é computada no contexto da cláusula for seguinte, portanto o exemplo acima equivale a:

>>> transposta = []
>>> for i in range(4):
...     transposta.append([row[i] for linha in matriz])
...
>>> transposta
[[1, 5, 9], [2, 6, 10], [3, 7, 11], [4, 8, 12]]

e isso, por sua vez, faz o mesmo que isto:

>>> transposta = []
>>> for i in range(4):
...     # as 3 linhas a seguir implementam uma compreensão de lista aninhada
...     linha_transposta = []
...     for linha in matriz:
...         linha_transposta.append(linha[i])
...     transposta.append(linha_transposta)
...
>>> transposta
[[1, 5, 9], [2, 6, 10], [3, 7, 11], [4, 8, 12]]

Na prática, você deve dar preferência a funções embutidas em vez de instruções complexas. A função zip() resolve muito bem este caso de uso:

>>> list(zip(*matriz))
[(1, 5, 9), (2, 6, 10), (3, 7, 11), (4, 8, 12)]

Veja Desempacotando listas de argumentos para entender o uso do asterisco neste exemplo.

5.2. A instrução del

Existe uma maneira de remover um item de uma lista usando seu índice no lugar do seu valor: a instrução del. Ele difere do método pop() que devolve um valor. A instrução del pode também ser utilizada para remover fatias de uma lista ou limpar a lista inteira (que fizemos antes por atribuição de uma lista vazia à fatia a[:]). Por exemplo:

>>> a = [-1, 1, 66.25, 333, 333, 1234.5]
>>> del a[0]
>>> a
[1, 66.25, 333, 333, 1234.5]
>>> del a[2:4]
>>> a
[1, 66.25, 1234.5]
>>> del a[:]
>>> a
[]

del também pode ser usado para remover totalmente uma variável:

>>> del a

Referenciar a variável a depois de sua remoção constitui erro (pelo menos até que seja feita uma nova atribuição para ela). Encontraremos outros usos para a instrução del mais tarde.

5.3. Tuplas e Sequências

Vimos que listas e strings têm muitas propriedades em comum, como indexação e operações de fatiamento. Elas são dois exemplos de sequências (veja Tipos sequências — list, tuple, range). Como Python é uma linguagem em evolução, outros tipos de sequências podem ser adicionados. Existe ainda um outro tipo de sequência padrão na linguagem: a tupla.

Uma tupla consiste em uma sequência de valores separados por vírgulas, por exemplo:

>>> t = 12345, 54321, 'olá!'
>>> t[0]
12345
>>> t
(12345, 54321, 'olá!')
>>> # Tuplas pode ser aninhadas:
>>> u = t, (1, 2, 3, 4, 5)
>>> u
((12345, 54321, 'olá!'), (1, 2, 3, 4, 5))
>>> # Tuplas são imutáveis:
>>> t[0] = 88888
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'tuple' object does not support item assignment
>>> # mas elas podem conter objetos mutáveis:
>>> v = ([1, 2, 3], [3, 2, 1])
>>> v
([1, 2, 3], [3, 2, 1])

Como você pode ver no trecho acima, na saída do console as tuplas são sempre envolvidas por parênteses, assim tuplas aninhadas podem ser lidas corretamente. Na criação, tuplas podem ser envolvidas ou não por parênteses, desde que o contexto não exija os parênteses (como no caso da tupla dentro de uma expressão maior). Não é possível atribuir itens individuais de uma tupla, contudo é possível criar tuplas que contenham objetos mutáveis, como listas.

Apesar de tuplas serem similares a listas, elas são frequentemente utilizadas em situações diferentes e com propósitos distintos. Tuplas são imutáveis, e usualmente contém uma sequência heterogênea de elementos que são acessados via desempacotamento (ver a seguir nessa seção) ou índice (ou mesmo por um atributo no caso de namedtuples). Listas são mutáveis, e seus elementos geralmente são homogêneos e são acessados iterando sobre a lista.

Um problema especial é a criação de tuplas contendo 0 ou 1 itens: a sintaxe usa certos truques para acomodar estes casos. Tuplas vazias são construídas por um par de parênteses vazios; uma tupla unitária é construída por um único valor e uma vírgula entre parênteses (não basta colocar um único valor entre parênteses). Feio, mas funciona. Por exemplo:

>>> vazio = ()
>>> singleton = 'olá', # <!- note a linha ao final vazia >>> len(vazio)
0
>>> len(singleton)
1
>>> singleton
('olá',)

A instrução t = 12345, 54321, 'bom dia!' é um exemplo de empacotamento de tupla: os valores 12345, 54321 e 'bom dia!' são empacotados em uma tupla. A operação inversa também é possível:

>>> x, y, z = t

Isso é chamado, apropriadamente, de desempacotamento de sequência e funciona para qualquer sequência no lado direito. O desempacotamento de sequência requer que haja tantas variáveis no lado esquerdo do sinal de igual, quanto existem de elementos na sequência. Observe que a atribuição múltipla é, na verdade, apenas uma combinação de empacotamento de tupla e desempacotamento de sequência.

5.4. Conjuntos

Python também inclui um tipo de dados para conjuntos, chamado set. Um conjunto é uma coleção desordenada de elementos, sem elementos repetidos. Usos comuns para conjuntos incluem a verificação eficiente da existência de objetos e a eliminação de itens duplicados. Conjuntos também suportam operações matemáticas como união, interseção, diferença e diferença simétrica.

Chaves ou a função set() podem ser usados para criar conjuntos. Note: para criar um conjunto vazio você precisa usar set(), não {}; este último cria um dicionário vazio, uma estrutura de dados que discutiremos na próxima seção.

Uma pequena demonstração:

>>> cesta = {'maçã', 'laranja', 'maçã', 'pera', 'laranja', 'banana'}
>>> print(cesta)                       # mostra que itens duplicados foram removidos
{'laranja', 'banana', 'pera', 'maçã'}
>>> 'laranja' in cesta                 # teste de pertinência rápido
True
>>> 'crabgrass' in cesta
False

>>> # Demonstra operações de conjunto em letras únicas de duas palavras
>>>
>>> a = set('abracadabra')
>>> b = set('alacazam')
>>> a                                  # letras únicas em a
{'a', 'r', 'b', 'c', 'd'}
>>> a - b                              # letras em a, mas não em b
{'r', 'd', 'b'}
>>> a | b                              # letras em a ou em b ou ambos
{'a', 'c', 'r', 'd', 'b', 'm', 'z', 'l'}
>>> a & b                              # letras em ambos a e b
{'a', 'c'}
>>> a ^ b                              # letras em a ou b, mas não em ambos
{'r', 'd', 'b', 'm', 'z', 'l'}

Da mesma forma que compreensão de listas, compreensões de conjunto também são suportadas:

>>> a = {x for x in 'abracadabra' if x not in 'abc'}
>>> a
{'r', 'd'}

5.5. Dicionários

Outra estrutura de dados muito útil embutida em Python é o dicionário, cujo tipo é dict (ver Tipo mapeamento — dict). Dicionários são também chamados de “memória associativa” ou “vetor associativo” em outras linguagens. Diferente de sequências que são indexadas por inteiros, dicionários são indexados por chaves (keys), que podem ser de qualquer tipo imutável (como strings e inteiros). Tuplas também podem ser chaves se contiverem apenas strings, inteiros ou outras tuplas. Se a tupla contiver, direta ou indiretamente, qualquer valor mutável, não poderá ser chave. Listas não podem ser usadas como chaves porque podem ser modificadas internamente pela atribuição em índices ou fatias, e por métodos como append() e extend().

Um bom modelo mental é imaginar um dicionário como um conjunto não-ordenado de pares chave:valor, onde as chaves são únicas em uma dada instância do dicionário. Dicionários são delimitados por chaves: {}, e contém uma lista de pares chave:valor separada por vírgulas. Dessa forma também será exibido o conteúdo de um dicionário no console do Python. O dicionário vazio é {}.

As principais operações em um dicionário são armazenar e recuperar valores a partir de chaves. Também é possível remover um par chave:valor com o comando del. Se você armazenar um valor utilizando uma chave já presente, o antigo valor será substituído pelo novo. Se tentar recuperar um valor usando uma chave inexistente, será gerado um erro.

Executar list(d) em um dicionário devolve a lista de todas as chaves presentes no dicionário, na ordem de inserção (se desejar ordená-las basta usar a função sorted(d)). Para verificar a existência de uma chave, use o operador in.

A seguir, um exemplo de uso do dicionário:

>>> tel = {'jack': 4098, 'sape': 4139}
>>> tel['guido'] = 4127
>>> tel
{'jack': 4098, 'sape': 4139, 'guido': 4127}
>>> tel['jack']
4098
>>> del tel['sape']
>>> tel['irv'] = 4127
>>> tel
{'jack': 4098, 'guido': 4127, 'irv': 4127}
>>> list(tel)
['jack', 'guido', 'irv']
>>> sorted(tel)
['guido', 'irv', 'jack']
>>> 'guido' in tel
True
>>> 'jack' not in tel
False

O construtor dict() produz dicionários diretamente de sequências de pares chave-valor:

>>> dict([('sape', 4139), ('guido', 4127), ('jack', 4098)])
{'sape': 4139, 'guido': 4127, 'jack': 4098}

Além disso, as compreensões de dicionários podem ser usadas para criar dicionários a partir de expressões arbitrárias de chave e valor:

>>> {x: x**2 for x in (2, 4, 6)}
{2: 4, 4: 16, 6: 36}

Quando chaves são strings simples, é mais fácil especificar os pares usando argumentos nomeados no construtor:

>>> dict(sape=4139, guido=4127, jack=4098)
{'sape': 4139, 'guido': 4127, 'jack': 4098}

5.6. Técnicas de iteração

Ao iterar sobre dicionários, a chave e o valor correspondente podem ser obtidos simultaneamente usando o método items().

>>> cavaleiros = {'gallahad': 'o puro', 'robin': 'o bravo'}
>>> for k, v in cavaleiros.items():
...     print(k, v)
...
gallahad o puro
robin o bravo

Ao iterar sobre sequências, a posição e o valor correspondente podem ser obtidos simultaneamente usando a função enumerate().

>>> for i, v in enumerate(['jogo', 'da', 'velha']):
...     print(i, v)
...
0 jogo
1 da
2 velha

Para percorrer duas ou mais sequências ao mesmo tempo, as entradas podem ser pareadas com a função zip().

>>> perguntas = ['Nome', 'Missão', 'Cor favorita']
>>> respostas = ['Lancelot', 'o santo graal', 'azul']
>>> for q, a in zip(perguntas, respostas):
...     print('{0}? É {1}.'.format(q, a))
...
Nome? É Lancelot.
Missão? É o santo graal.
Cor favorita? É azul.

Para percorrer uma sequência em ordem inversa, chame a função reversed() com a sequência na ordem original.

>>> for i in reversed(range(1, 10, 2)):
...     print(i)
...
9
7
5
3
1

Para percorrer uma sequência de maneira ordenada, use a função sorted(), que retorna uma lista ordenada com os itens, mantendo a sequência original inalterada.

>>> cesta = ['maçã', 'laranja', 'maçã', 'pera', 'laranja', 'banana']
>>> for i in sorted(cesta):
...     print(i)
...
maçã
maçã
banana
laranja
laranja
pera

Usar set() em uma sequência elimina elementos duplicados. O uso de sorted() em combinação com set() sobre uma sequência é uma maneira idiomática de fazer um loop sobre elementos exclusivos da sequência na ordem de classificação.

>>> cesta = ['maçã', 'laranja', 'maçã', 'pera', 'laranja', 'banana']
>>> for i in sorted(cesta):
...     print(i)
...
maçã
maçã
banana
laranja
laranja
pera

Às vezes é tentador alterar uma lista enquanto você itera sobre ela; porém, costuma ser mais simples e seguro criar uma nova lista.

>>> import math
>>> dados_brutos = [56.2, float('NaN'), 51.7, 55.3, 52.5, float('NaN'), 47.8]
>>> dados_filtrados = []
>>> for valor in dados_brutos:
...     if not math.isnan(value):
...         dados_filtrados.append(valor)
...
>>> dados_filtrados
[56.2, 51.7, 55.3, 52.5, 47.8]

5.7. Mais sobre condições

As condições de controle usadas nas instruções while e if podem conter quaisquer operadores, não apenas comparações.

Os operadores de comparação in e not in fazem testes de inclusão que determinam se um valor está (ou não está) em um contêiner. Os operadores is e is not comparam se dois objetos são realmente o mesmo objeto. Todos os operadores de comparação possuem a mesma prioridade, que é menor que a prioridade de todos os operadores numéricos.

Comparações podem ser encadeadas: Por exemplo a < b == c testa se a é menor que b e também se b é igual a c.

Comparações podem ser combinadas através de operadores booleanos and e or, e o resultado de uma comparação (ou de qualquer outra expressão), pode ter seu valor booleano negado através de not. Estes possuem menor prioridade que os demais operadores de comparação. Entre eles, not é o de maior prioridade e or o de menor. Dessa forma, a condição A and not B or C é equivalente a (A and (not B)) or C. Naturalmente, parênteses podem ser usados para expressar o agrupamento desejado.

Os operadores booleanos and e or são operadores curto-circuito: seus argumentos são avaliados da esquerda para a direita, e a avaliação encerra quando o resultado é determinado. Por exemplo, se A e C são expressões verdadeiras, mas B é falsa, então A and B and C não chega a avaliar a expressão C. Em geral, quando usado sobre valores genéricos e não como booleanos, o valor do resultado de um operador curto-circuito é o último valor avaliado na expressão.

É possível atribuir o resultado de uma comparação ou outra expressão booleana para uma variável. Por exemplo:

>>> string1, string2, string3 = '', 'Trondheim', 'Hammer Dance'
>>> non_null = string1 or string2 or string3
>>> non_null
'Trondheim'

Observe que no Python, ao contrário de C, a atribuição dentro de expressões deve ser feita explicitamente com o operador morsa :=. Isso evita uma classe comum de problemas encontrados nos programas C: digitar = em uma expressão quando == era o planejado.

5.8. Comparando sequências e outros tipos

Objetos sequência podem ser comparados com outros objetos sequência, desde que o tipo das sequências seja o mesmo. A comparação utiliza a ordem lexicográfica: primeiramente os dois primeiros itens são comparados, e se diferirem isto determinará o resultado da comparação, caso contrário os próximos dois itens serão comparados, e assim por diante até que se tenha exaurido alguma das sequências. Se em uma comparação de itens, os mesmos forem também sequências (aninhadas), então é disparada recursivamente outra comparação lexicográfica. Se todos os itens da sequência forem iguais, então as sequências são ditas iguais. Se uma das sequências é uma subsequência da outra, então a subsequência é a menor. A comparação lexicográfica de strings utiliza codificação Unicode para definir a ordenação. Alguns exemplos de comparações entre sequências do mesmo tipo:

(1, 2, 3)              < (1, 2, 4)
[1, 2, 3]              < [1, 2, 4]
'ABC' < 'C' < 'Pascal' < 'Python'
(1, 2, 3, 4)           < (1, 2, 4)
(1, 2)                 < (1, 2, -1)
(1, 2, 3)             == (1.0, 2.0, 3.0)
(1, 2, ('aa', 'ab'))   < (1, 2, ('abc', 'a'), 4)

Note que comparar objetos de tipos diferentes com < ou > é permitido desde que os objetos possuam os métodos de comparação apropriados. Por exemplo, tipos numéricos mistos são comparados de acordo com os seus valores numéricos, portanto 0 é igual a 0.0, etc. Em caso contrário, ao invés de fornecer uma ordenação arbitrária, o interpretador levantará um TypeError.

Notas de rodapé

[1]

Outras linguagens podem retornar o objeto modificado, o que permite encadeamento de métodos, como d->insert("a")->remove("b")->sort();.

6. Módulos

Ao sair e entrar de novo no interpretador Python, as definições anteriores (funções e variáveis) são perdidas. Portanto, se quiser escrever um programa maior, será mais eficiente usar um editor de texto para preparar as entradas para o interpretador, e executá-lo usando o arquivo como entrada. Isso é conhecido como criar um script. Se o programa se torna ainda maior, é uma boa prática dividi-lo em arquivos menores, para facilitar a manutenção. Também é preferível usar um arquivo separado para uma função que você escreveria em vários programas diferentes, para não copiar a definição de função em cada um deles.

Para permitir isso, Python tem uma maneira de colocar as definições em um arquivo e então usá-las em um script ou em uma execução interativa do interpretador. Tal arquivo é chamado de módulo; definições de um módulo podem ser importadas para outros módulos, ou para o módulo principal (a coleção de variáveis a que você tem acesso num script executado como um programa e no modo calculadora).

Um módulo é um arquivo contendo definições e instruções Python. O nome do arquivo é o nome do módulo acrescido do sufixo .py. Dentro de um módulo, o nome do módulo (como uma string) está disponível como o valor da variável global __name__. Por exemplo, use seu editor de texto favorito para criar um arquivo chamado fibo.py no diretório atual com o seguinte conteúdo:

# Módulo de números de Fibonacci

def fib(n):    # escreve a série de Fibonacci até n
    a, b = 0, 1
    while a < n:
        print(a, end=' ')
        a, b = b, a+b
    print()

def fib2(n):   # retorna a série de Fibonacci até n
    result = []
    a, b = 0, 1
    while a < n:
        result.append(a)
        a, b = b, a+b
    return result

Agora, entre no interpretador Python e importe esse módulo com o seguinte comando:

>>> import fibo

Isso não adiciona os nomes das funções definidas em fibo diretamente ao espaço de nomes atual (veja Escopos e espaços de nomes do Python para mais detalhes); isso adiciona somente o nome do módulo fibo. Usando o nome do módulo você pode acessar as funções:

>>> fibo.fib(1000)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987
>>> fibo.fib2(100)
[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]
>>> fibo.__name__
'fibo'

Se você pretende usar uma função muitas vezes, você pode atribui-lá a um nome local:

>>> fib = fibo.fib
>>> fib(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

6.1. Mais sobre módulos

Um módulo pode conter tanto instruções executáveis quanto definições de funções e classes. Essas instruções servem para inicializar o módulo. Eles são executados somente na primeira vez que o módulo é encontrado em uma instrução de importação. [1] (Também rodam se o arquivo é executado como um script.)

Cada módulo tem seu próprio espaço de nomes privado, que é usado como espaço de nomes global para todas as funções definidas no módulo. Assim, o autor de um módulo pode usar variáveis globais no seu módulo sem se preocupar com conflitos acidentais com as variáveis globais do usuário. Por outro lado, se você precisar usar uma variável global de um módulo, poderá fazê-lo com a mesma notação usada para se referir às suas funções, nomemodulo.nomeitem.

Módulos podem importar outros módulos. É costume, porém não obrigatório, colocar todas as instruções import no início do módulo (ou script , se preferir). As definições do módulo importado, se colocados no nível de um módulo (fora de quaisquer funções ou classes), elas são adicionadas a espaço de nomes global da módulo.

Existe uma variante da instrução import que importa definições de um módulo diretamente para o espaço de nomes do módulo importador. Por exemplo:

>>> from fibo import fib, fib2
>>> fib(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Isso não coloca o nome do módulo de onde foram feitas as importações no espaço de nomes local (assim, no exemplo, fibo não está definido).

Existe ainda uma variante que importa todos os nomes definidos em um módulo:

>>> from fibo import *
>>> fib(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Isso importa todos as declarações de nomes, exceto aqueles que iniciam com um sublinhado (_). Na maioria dos casos, programadores Python não usam esta facilidade porque ela introduz um conjunto desconhecido de nomes no ambiente, podendo esconder outros nomes previamente definidos.

Note que, em geral, a prática do import * de um módulo ou pacote é desaprovada, uma vez que muitas vezes dificulta a leitura do código. Contudo, é aceitável para diminuir a digitação em sessões interativas.

Se o nome do módulo é seguido pela palavra-chave as, o nome a seguir é vinculado diretamente ao módulo importado.

>>> import fibo as fib
>>> fib.fib(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Isto efetivamente importa o módulo, da mesma maneira que import fibo fará, com a única diferença de estar disponível com o nome fib.

Também pode ser utilizado com a palavra-chave from, com efeitos similares:

>>> from fibo import fib as fibonacci
>>> fibonacci(500)
0 1 1 2 3 5 8 13 21 34 55 89 144 233 377

Nota

For efficiency reasons, each module is only imported once per interpreter session. Therefore, if you change your modules, you must restart the interpreter – or, if it’s just one module you want to test interactively, use importlib.reload(), e.g. import importlib; importlib.reload(modulename).

6.1.1. Executando módulos como scripts

Quando você rodar um módulo Python com

python fibo.py <argumentos>

o código no módulo será executado, da mesma forma que quando é importado, mas com a variável __name__ com valor "__main__". Isto significa que adicionando este código ao final do seu módulo:

if __name__ == "__main__":
    import sys
    fib(int(sys.argv[1]))

você pode tornar o arquivo utilizável tanto como script quanto como um módulo importável, porque o código que analisa a linha de comando só roda se o módulo é executado como arquivo “principal”:

$ python fibo.py 50
0 1 1 2 3 5 8 13 21 34

Se o módulo é importado, o código não é executado:

>>> import fibo
>>>

Isso é frequentemente usado para fornecer uma interface de usuário conveniente para um módulo, ou para realizar testes (rodando o módulo como um script executa um conjunto de testes).

6.1.2. O caminho de busca dos módulos

Quando um módulo chamado spam é importado, o interpretador procura um módulo embutido com este nome. Estes nomes de módulo são listados em sys.builtin_module_names. Se não encontra, procura um arquivo chamado spam.py em uma lista de diretórios incluídos na variável sys.path. A sys.path é inicializada com estes locais:

O diretório que contém o script importador (ou o diretório atual quando nenhum arquivo é especificado).

A variável de ambiente PYTHONPATH (uma lista de nomes de diretórios, com a mesma sintaxe da variável de ambiente PATH).

O padrão dependente da instalação (por convenção, incluindo um diretório site-packages, tratado pelo módulo site).

Mais detalhes em A inicialização do caminho de pesquisa de módulos sys.path.

Nota

Nos sistemas de arquivos que suportam links simbólicos, o diretório contendo o script de entrada é resultante do diretório apontado pelo link simbólico. Em outras palavras o diretório que contém o link simbólico não é adicionado ao caminho de busca de módulos.

Após a inicialização, programas Python podem modificar sys.path. O diretório que contém o script sendo executado é colocado no início da lista de caminhos, à frente do caminho da biblioteca padrão. Isto significa que módulos nesse diretório serão carregados, no lugar de módulos com o mesmo nome na biblioteca padrão. Isso costuma ser um erro, a menos que seja intencional. Veja a seção Módulos padrões para mais informações.

6.1.3. Arquivos Python “compilados”

Para acelerar o carregamento de módulos, o Python guarda versões compiladas de cada módulo no diretório __pycache__ com o nome modulo.versão.pyc, onde a versão corresponde ao formato do arquivo compilado; geralmente contêm o número da versão Python utilizada. Por exemplo, no CPython release 3.3 a versão compilada de spam.py será guardada como __pycache__/spam.cpython-33.pyc. Esta convenção de nomes permite a coexistência de módulos compilados de diferentes releases e versões de Python.

O Python verifica a data de modificação do arquivo fonte mediante a versão compilada, para ver se está desatualizada e precisa ser recompilada. É um processo completamente automático. Além disso, os módulos compilados são independentes de plataforma, portanto a mesma biblioteca pode ser compartilhada entre sistemas de arquiteturas diferentes.

O Python não verifica as versões compiladas em duas circunstâncias. Primeiro, sempre recompila e não armazena o resultado para módulos carregados diretamente da linha de comando. Segundo, não verifica se não houver um módulo fonte. Para suportar uma distribuição sem fontes (somente as versões compiladas), o módulo compilado deve estar no diretório de fontes, e não deve haver um módulo fonte.

Algumas dicas para especialistas:

Você pode usar as opções -O ou -OO no comando Python para reduzir o tamanho de um módulo compilado. A opção -O remove as instruções assert, e a opção -OO remove, além das instruções assert, as strings de documentações. Como alguns programas podem contar com essa disponibilidade, só use essa opção se souber o que está fazendo. Módulos “otimizados” tem uma marcação opt- e são geralmente de menor tamanho. Futuros releases podem mudar os efeitos da otimização.

Um programa não roda mais rápido quando é lido de um arquivo .pyc do que quando lido de um arquivo .py; a única coisa que é mais rápida com arquivos .pyc é sua velocidade de carregamento.

O módulo compileall pode criar arquivos .pyc para todos os módulos de um diretório.

Há mais detalhes desse processo, incluindo um fluxograma de decisões, no PEP 3147 [https://peps.python.org/pep-3147/].

6.2. Módulos padrões

O Python traz uma biblioteca padrão de módulos, descrita em um documento em separado, a Referência da Biblioteca Python (doravante “Referência da Biblioteca”). Alguns módulos estão embutidos no interpretador; estes possibilitam acesso a operações que não são parte do núcleo da linguagem, mas estão no interpretador seja por eficiência ou para permitir o acesso a chamadas do sistema operacional. O conjunto destes módulos é uma opção de configuração que depende também da plataforma utilizada. Por exemplo, o módulo winreg só está disponível em sistemas Windows. Existe um módulo que requer especial atenção: sys, que é embutido em qualquer interpretador Python. As variáveis sys.ps1 e sys.ps2 definem as strings utilizadas como prompt primário e secundário:

>>> import sys
>>> sys.ps1
'>>> '
>>> sys.ps2
'... '
>>> sys.ps1 = 'C> '
C> print('ECA!')
Yuck!
C>

Essas variáveis só estão definidas se o interpretador está em modo interativo.

A variável sys.path contém uma lista de strings que determina os caminhos de busca de módulos conhecidos pelo interpretador. Ela é inicializada para um caminho padrão, determinado pela variável de ambiente PYTHONPATH, ou por um valor padrão embutido, se PYTHONPATH não estiver definida. Você pode modificá-la com as operações típicas de lista, por exemplo:

>>> import sys
>>> sys.path.append('/ufs/guido/lib/python')

6.3. A função dir()

A função embutida dir() é usada para descobrir quais nomes são definidos por um módulo. Ela devolve uma lista ordenada de strings:

>>> import fibo, sys
>>> dir(fibo)
['__name__', 'fib', 'fib2']
>>> dir(sys)
['__breakpointhook__', '__displayhook__', '__doc__', '__excepthook__',
 '__interactivehook__', '__loader__', '__name__', '__package__', '__spec__',
 '__stderr__', '__stdin__', '__stdout__', '__unraisablehook__',
 '_clear_type_cache', '_current_frames', '_debugmallocstats', '_framework',
 '_getframe', '_git', '_home', '_xoptions', 'abiflags', 'addaudithook',
 'api_version', 'argv', 'audit', 'base_exec_prefix', 'base_prefix',
 'breakpointhook', 'builtin_module_names', 'byteorder', 'call_tracing',
 'callstats', 'copyright', 'displayhook', 'dont_write_bytecode', 'exc_info',
 'excepthook', 'exec_prefix', 'executable', 'exit', 'flags', 'float_info',
 'float_repr_style', 'get_asyncgen_hooks', 'get_coroutine_origin_tracking_depth',
 'getallocatedblocks', 'getdefaultencoding', 'getdlopenflags',
 'getfilesystemencodeerrors', 'getfilesystemencoding', 'getprofile',
 'getrecursionlimit', 'getrefcount', 'getsizeof', 'getswitchinterval',
 'gettrace', 'hash_info', 'hexversion', 'implementation', 'int_info',
 'intern', 'is_finalizing', 'last_traceback', 'last_type', 'last_value',
 'maxsize', 'maxunicode', 'meta_path', 'modules', 'path', 'path_hooks',
 'path_importer_cache', 'platform', 'prefix', 'ps1', 'ps2', 'pycache_prefix',
 'set_asyncgen_hooks', 'set_coroutine_origin_tracking_depth', 'setdlopenflags',
 'setprofile', 'setrecursionlimit', 'setswitchinterval', 'settrace', 'stderr',
 'stdin', 'stdout', 'thread_info', 'unraisablehook', 'version', 'version_info',
 'warnoptions']

Sem argumentos, dir() lista os nomes atualmente definidos:

>>> a = [1, 2, 3, 4, 5]
>>> import fibo
>>> fib = fibo.fib
>>> dir()
['__builtins__', '__name__', 'a', 'fib', 'fibo', 'sys']

Observe que ela lista todo tipo de nomes: variáveis, módulos, funções, etc.

dir() não lista os nomes de variáveis e funções embutidas. Esta lista está disponível no módulo padrão builtins:

>>> import builtins
>>> dir(builtins)
['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException',
 'BlockingIOError', 'BrokenPipeError', 'BufferError', 'BytesWarning',
 'ChildProcessError', 'ConnectionAbortedError', 'ConnectionError',
 'ConnectionRefusedError', 'ConnectionResetError', 'DeprecationWarning',
 'EOFError', 'Ellipsis', 'EnvironmentError', 'Exception', 'False',
 'FileExistsError', 'FileNotFoundError', 'FloatingPointError',
 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError',
 'ImportWarning', 'IndentationError', 'IndexError', 'InterruptedError',
 'IsADirectoryError', 'KeyError', 'KeyboardInterrupt', 'LookupError',
 'MemoryError', 'NameError', 'None', 'NotADirectoryError', 'NotImplemented',
 'NotImplementedError', 'OSError', 'OverflowError',
 'PendingDeprecationWarning', 'PermissionError', 'ProcessLookupError',
 'ReferenceError', 'ResourceWarning', 'RuntimeError', 'RuntimeWarning',
 'StopIteration', 'SyntaxError', 'SyntaxWarning', 'SystemError',
 'SystemExit', 'TabError', 'TimeoutError', 'True', 'TypeError',
 'UnboundLocalError', 'UnicodeDecodeError', 'UnicodeEncodeError',
 'UnicodeError', 'UnicodeTranslateError', 'UnicodeWarning', 'UserWarning',
 'ValueError', 'Warning', 'ZeroDivisionError', '_', '__build_class__',
 '__debug__', '__doc__', '__import__', '__name__', '__package__', 'abs',
 'all', 'any', 'ascii', 'bin', 'bool', 'bytearray', 'bytes', 'callable',
 'chr', 'classmethod', 'compile', 'complex', 'copyright', 'credits',
 'delattr', 'dict', 'dir', 'divmod', 'enumerate', 'eval', 'exec', 'exit',
 'filter', 'float', 'format', 'frozenset', 'getattr', 'globals', 'hasattr',
 'hash', 'help', 'hex', 'id', 'input', 'int', 'isinstance', 'issubclass',
 'iter', 'len', 'license', 'list', 'locals', 'map', 'max', 'memoryview',
 'min', 'next', 'object', 'oct', 'open', 'ord', 'pow', 'print', 'property',
 'quit', 'range', 'repr', 'reversed', 'round', 'set', 'setattr', 'slice',
 'sorted', 'staticmethod', 'str', 'sum', 'super', 'tuple', 'type', 'vars',
 'zip']

6.4. Pacotes

Os pacotes são uma maneira de estruturar o “espaço de nomes” dos módulos Python, usando “nomes de módulo com pontos”. Por exemplo, o nome do módulo A.B designa um submódulo chamado B, em um pacote chamado A. Assim como o uso de módulos evita que os autores de módulos diferentes tenham que se preocupar com nomes de variáveis globais, o uso de nomes de módulos com pontos evita que os autores de pacotes com muitos módulos, como NumPy ou Pillow, tenham que se preocupar com os nomes dos módulos uns dos outros.

Suponha que você queira projetar uma coleção de módulos (um “pacote”) para o gerenciamento uniforme de arquivos de som. Existem muitos formatos diferentes (normalmente identificados pela extensão do nome de arquivo, por exemplo .wav, .aiff, .au), de forma que você pode precisar criar e manter uma crescente coleção de módulos de conversão entre formatos. Ainda podem existir muitas operações diferentes, passíveis de aplicação sobre os arquivos de som (mixagem, eco, equalização, efeito stereo artificial). Logo, possivelmente você também estará escrevendo uma coleção sempre crescente de módulos para aplicar estas operações. Eis uma possível estrutura para o seu pacote (expressa em termos de um sistema de arquivos hierárquico):

sound/                          pacote de nível superior
      __init__.py               Inicializa o pacote de som
      formats/                  Subpacote para as conversões entre formatos de arquivos
              __init__.py
              wavread.py
              wavwrite.py
              aiffread.py
              aiffwrite.py
              auread.py
              auwrite.py
              ...
      effects/                  Subpacote para efeitos de som
              __init__.py
              echo.py
              surround.py
              reverse.py
              ...
      filters/                  Subpacote para filtros
              __init__.py
              equalizer.py
              vocoder.py
              karaoke.py
              ...

Ao importar esse pacote, Python busca pelo subdiretório com mesmo nome, nos diretórios listados em sys.path.

Os arquivos __init__.py são necessários para que o Python trate diretórios contendo o arquivo como pacotes (a menos que se esteja usando um pacote de espaço de nomes, um recurso relativamente avançado). Isso impede que diretórios com um nome comum, como string, ocultem, involuntariamente, módulos válidos que ocorrem posteriormente no caminho de busca do módulo. No caso mais simples, __init__.py pode ser apenas um arquivo vazio, mas pode também executar código de inicialização do pacote, ou configurar a variável __all__, descrita mais adiante.

Usuários do pacote podem importar módulos individuais, por exemplo:

import sound.effects.echo

Isso carrega o submódulo sound.effects.echo. Ele deve ser referenciado com seu nome completo, como em:

sound.effects.echo.echofilter(input, output, delay=0.7, atten=4)

Uma maneira alternativa para a importação desse módulo é:

from sound.effects import echo

Isso carrega o submódulo echo sem necessidade de mencionar o prefixo do pacote no momento da utilização, assim:

echo.echofilter(input, output, delay=0.7, atten=4)

Também é possível importar diretamente uma única variável ou função:

from sound.effects.echo import echofilter

Novamente, isso carrega o submódulo echo, mas a função echofilter() está acessível diretamente sem prefixo:

echofilter(input, output, delay=0.7, atten=4)

Observe que ao utilizar from pacote import item, o item pode ser um subpacote, submódulo, classe, função ou variável. A instrução import primeiro testa se o item está definido no pacote, senão presume que é um módulo e tenta carregá-lo. Se falhar em encontrar o módulo, uma exceção ImportError é levantada.

Em oposição, em uma construção como import item.subitem.subsubitem, cada item, com exceção do último, deve ser um pacote. O último pode ser também um pacote ou módulo, mas nunca uma classe, função ou variável contida em um módulo.

6.4.1. Importando * de um pacote

Agora, o que acontece quando um usuário escreve from sound.effects import * ? Idealmente, poderia se esperar que este comando vasculhasse o sistema de arquivos, encontrasse todos os submódulos presentes no pacote, e os importasse. Isso poderia demorar muito e a importação de submódulos pode ocasionar efeitos colaterais, que somente deveriam ocorrer quando o submódulo é explicitamente importado.

A única solução é o autor do pacote fornecer um índice explícito do pacote. A instrução import usa a seguinte convenção: se o arquivo __init__.py do pacote define uma lista chamada __all__, então esta lista indica os nomes dos módulos a serem importados quando a instrução from pacote import * é acionada. Fica a cargo do autor do pacote manter esta lista atualizada, inclusive fica a seu critério excluir inteiramente o suporte a importação direta de todo o pacote através de from pacote import *. Por exemplo, o arquivo sounds/effects/__init__.py poderia conter apenas:

__all__ = ["echo", "surround", "reverse"]

Isso significaria que from sound.effects import * importaria os três submódulos nomeados do pacote sound.effects.

Esteja ciente de que os submódulos podem ficar sobrepostos por nomes definidos localmente. Por exemplo, se você adicionou uma função reverse ao arquivo sound/effects/__init__.py, usar from sound.effects import * só importaria os dois submódulos echo e surround, mas não o submódulo reverse, porque ele fica sobreposto pela função reverse definida localmente:

__all__ = [
    "echo",      # refere-se ao arquivo 'echo.py'
    "surround",  # refere-se ao arquivo 'surround.py'
    "reverse",   # !!! refere-se à função 'reverse' agora !!!
]

def reverse(msg: str):  # <-- este nome ofusca o submódulo 'reverse.py'
    return msg[::-1]    #     no caso de uma importação 'from sound.effects import *'

Se __all__ não estiver definido, a instrução from sound.effects import * não importa todos os submódulos do pacote sound.effects no espaço de nomes atual. Há apenas garantia que o pacote sound.effects foi importado (possivelmente executando qualquer código de inicialização em __init__.py) juntamente com os nomes definidos no pacote. Isso inclui todo nome definido em __init__.py bem como em qualquer submódulo importado a partir deste. Também inclui quaisquer submódulos do pacote que tenham sido carregados explicitamente por instruções import anteriores. Considere o código abaixo:

import sound.effects.echo
import sound.effects.surround
from sound.effects import *

Nesse exemplo, os módulos echo e surround são importados no espaço de nomes atual, no momento em que a instrução from...import é executada, pois estão definidos no pacote sound.effects. (Isso também funciona quando __all__ estiver definida.)

Apesar de que certos módulos são projetados para exportar apenas nomes conforme algum critério quando se faz import *, ainda assim essa sintaxe é considerada uma prática ruim em código de produção.

Lembre-se, não há nada errado em usar from pacote import submodulo_especifico! De fato, essa é a notação recomendada, a menos que o módulo importado necessite usar submódulos com o mesmo nome, de diferentes pacotes.

6.4.2. Referências em um mesmo pacote

Quando pacotes são estruturados em subpacotes (como no pacote sound do exemplo), pode-se usar a sintaxe de importações absolutas para se referir aos submódulos de pacotes irmãos (o que na prática é uma forma de fazer um import relativo, a partir da base do pacote). Por exemplo, se o módulo sound.filters.vocoder precisa usar o módulo echo do pacote sound.effects, é preciso importá-lo com from sound.effects import echo.

Também é possível escrever imports relativos, com a forma from module import name. Esses imports usam pontos para indicar o pacote pai e o atual, envolvidos no import relativo. Do módulo surround, por exemplo, pode-se usar:

from . import echo
from .. import formats
from ..filters import equalizer

Note que imports relativos são baseados no nome do módulo atual. Uma vez que o nome do módulo principal é sempre "__main__", módulos destinados ao uso como módulo principal de um aplicativo Python devem sempre usar imports absolutos.

6.4.3. Pacotes em múltiplos diretórios

Pacotes possuem mais um atributo especial, __path__. Inicializado como uma sequência de strings contendo o nome do diretório onde está o arquivo __init__.py do pacote, antes do código naquele arquivo ser executado. Esta variável pode ser modificada; isso afeta a busca futura de módulos e subpacotes contidos no pacote.

Apesar de não ser muito usado, esse mecanismo permite estender o conjunto de módulos encontrados em um pacote.

Notas de rodapé

[1]

[#] Na verdade, definições de funções também são ‘instruções’ que são ‘executados’; a execução da definição de uma função adiciona o nome da função no espaço de nomes global do módulo.

7. Entrada e Saída

Existem várias maneiras de apresentar a saída de um programa; os dados podem ser exibidos em forma legível para seres humanos, ou escritos em arquivos para uso posterior. Este capítulo apresentará algumas das possibilidades.

7.1. Refinando a formatação de saída

Até agora vimos duas maneiras de exibir valores: expressões e a função print(). (Uma outra maneira é utilizar o método write() de objetos do tipo arquivo; o arquivo saída padrão pode ser referenciado como sys.stdout. Veja a Referência da Biblioteca Python para mais informações sobre isso.)

Muitas vezes se deseja mais controle sobre a formatação da saída do que simplesmente exibir valores separados por espaço. Existem várias maneiras de formatar a saída.

Para usar strings literais formatadas, comece uma string com f ou F, antes de abrir as aspas ou aspas triplas. Dentro dessa string, pode-se escrever uma expressão Python entre caracteres { e }, que podem se referir a variáveis, ou valores literais.

>>> ano = 2016
>>> evento = 'Referendo'
>>> f'Resultados do {evento} {ano}'
'Resultados do Referendo 2016'

O método de strings str.format() requer mais esforço manual. Ainda será necessário usar { e } para marcar onde a variável será substituída e pode-se incluir diretivas de formatação detalhadas, mas também precisará incluir a informação a ser formatada. No bloco de código a seguir há dois exemplos de como formatar variáveis:

>>> votos_sim = 42_572_654
>>> votos_totais = 85_705_149
>>> porcentagem = votos_sim / votos_totais
>>> '{:-9} votos SIM  {:2.2%}'.format(votos_sim, porcentagem)
' 42572654 votos SIM  49.67%'

Observe como yes_votes são preenchidos com espaços e um sinal negativo apenas para números negativos. O exemplo também imprime percentage multiplicado por 100, com 2 casas decimais e seguido por um sinal de porcentagem (veja Minilinguagem de especificação de formato para detalhes).

Finalmente, pode-se fazer todo o tratamento da saída usando as operações de fatiamento e concatenação de strings para criar qualquer layout que se possa imaginar. O tipo string possui alguns métodos que realizam operações úteis para preenchimento de strings para uma determinada largura de coluna.

Quando não é necessário sofisticar a saída, mas apenas exibir algumas variáveis com propósito de depuração, pode-se converter qualquer valor para uma string com as funções repr() ou str().

A função str() serve para retornar representações de valores que sejam legíveis para as pessoas, enquanto repr() é para gerar representações que o interpretador Python consegue ler (ou levantará uma exceção SyntaxError, se não houver sintaxe equivalente). Para objetos que não têm uma representação adequada para consumo humano, str() devolve o mesmo valor que repr(). Muitos valores, tal como números ou estruturas, como listas e dicionários, têm a mesma representação usando quaisquer das funções. Strings, em particular, têm duas representações distintas.

Alguns exemplos:

>>> s = 'Olá, mundo.'
>>> str(s)
'Olá, mundo.'
>>> repr(s)
"'Olá, mundo.'"
>>> str(1/7)
'0.14285714285714285'
>>> x = 10 * 3.25
>>> y = 200 * 200
>>> s = 'O valor de x é ' + repr(x) + ' e de y é ' + repr(y) + '...'
>>> print(s)
O valor de x é 32.5 e de y é 40000...
>>> # A repr() da string adiciona aspas e contrabarras:
>>> olá = 'olá, mundo\n'
>>> olás = repr(olá)
>>> print(olás)
'olá, mundo\n'
>>> # O argumento de repr() pode ser qualquer objeto Python:
>>> repr((x, y, ('spam', 'ovos')))
"(32.5, 40000, ('spam', 'ovos'))"

O módulo string contém uma classe Template que oferece ainda outra maneira de substituir valores em strings, usando espaços reservados como $x e substituindo-os por valores de um dicionário, mas oferece muito menos controle da formatação.

7.1.1. Strings literais formatadas

Strings literais formatadas (também chamadas f-strings, para abreviar) permite que se inclua o valor de expressões Python dentro de uma string, prefixando-a com f ou F e escrevendo expressões na forma {expression}.

Um especificador opcional de formato pode ser incluído após a expressão. Isso permite maior controle sobre como o valor é formatado. O exemplo a seguir arredonda pi para três casas decimais:

>>> import math
>>> print(f'O valor de pi é aproximadamente {math.pi:.3f}.')
O valor de pi é aproximadamente 3.142.

Passando um inteiro após o ':' fará com que o campo tenha um número mínimo de caracteres de largura. Isso é útil para alinhar colunas.

>>> tabela = {'Sjoerd': 4127, 'Jack': 4098, 'Dcab': 7678}
>>> for nome, telefone in tabela.items():
...     print(f'{n9me:10} ==> {telefone:10d}')
...
Sjoerd     ==>       4127
Jack       ==>       4098
Dcab       ==>       7678

Outros modificadores podem ser usados para converter o valor antes de ser formatado. '!a' aplica a função ascii(), '!s' aplica a função str() e '!r' aplica a função repr()

>>> animais = 'enguias'
>>> print(f'Meu hovercraft está cheio de {animais}.')
Meu hovercraft está cheio de enguias.
>>> print(f'Meu hovercraft está cheio de {animais!r}.')
Meu hovercraft está cheio de 'enguias'.

O especificador = pode ser usado para expandir uma expressão para o texto da expressão, um sinal de igual e, então, a representação da expressão avaliada:

>>> bugs = 'roaches'
>>> count = 13
>>> area = 'living room'
>>> print(f'Debugging {bugs=} {count=} {area=}')
Debugging bugs='roaches' count=13 area='living room'

Veja expressões autodocumentadas para mais informações sobre o especificador =. Para obter uma referência sobre essas especificações de formato, consulte o guia de referência para a Minilinguagem de especificação de formato.

7.1.2. O método format()

Um uso básico do método str.format() tem esta forma:

>>> print('Nós somos os {} que dizem "{}!"'.format('cavaleiros', 'Ni'))
Nós somos os cavaleiros que dizem "Ni!"

As chaves e seus conteúdos (chamados campos de formatação) são substituídos pelos objetos passados para o método str.format(). Um número nas chaves pode ser usado para referenciar a posição do objeto passado no método str.format().

>>> print('{0} e {1}'.format('spam', 'ovos'))
spam e eggs
>>> print('{1} e {0}'.format('spam', 'ovos'))
eggs e spam

Se argumentos nomeados são passados para o método str.format(), seus valores serão referenciados usando o nome do argumento:

>>> print('Este {comida} está {adjetivo}.'.format(
...       comida='spam', adjetivo='absolutamente horrível'))
Este spam está absolutamente horrível.

Argumentos posicionais e nomeados podem ser combinados à vontade:

>>> print('A história de {0}, {1} e {outro}.'.format('Bill', 'Manfred',
...                                                    outro='Georg'))
A história de Bill, Manfred e Georg.

Se uma string de formatação é muito longa, e não se deseja quebrá-la, pode ser bom fazer referência aos valores a serem formatados por nome, em vez de posição. Isto pode ser feito passando um dicionário usando colchetes '[]' para acessar as chaves.

>>> tabela = {'Sjoerd': 4127, 'Jack': 4098, 'Dcab': 8637678}
>>> print('Jack: {0[Jack]:d}; Sjoerd: {0[Sjoerd]:d}; '
...       'Dcab: {0[Dcab]:d}'.format(tabela))
Jack: 4098; Sjoerd: 4127; Dcab: 8637678

Isto também pode ser feito passando o dicionário table como argumentos nomeados com a notação **.

>>> tabela = {'Sjoerd': 4127, 'Jack': 4098, 'Dcab': 8637678}
>>> print('Jack: {Jack:d}; Sjoerd: {Sjoerd:d}; Dcab: {Dcab:d}'.format(**tabela))
Jack: 4098; Sjoerd: 4127; Dcab: 8637678

Isto é particularmente útil em conjunto com a função embutida vars(), que devolve um dicionário contendo todas as variáveis locais:

>>> tabela = {k: str(v) for k, v in vars().items()}
>>> mensagem = " ".join([f'{k}: ' + '{' + k +'};' for k in tabela.keys()])
>>> print(mensagem.format(**tabela))
__name__: __main__; __doc__: None; __package__: None; __loader__: ...

Como exemplo, as linhas seguintes produzem um conjunto de colunas alinhadas, com alguns inteiros e seus quadrados e cubos:

>>> for x in range(1, 11):
...     print('{0:2d} {1:3d} {2:4d}'.format(x, x*x, x*x*x))
...
 1   1    1
 2   4    8
 3   9   27
 4  16   64
 5  25  125
 6  36  216
 7  49  343
 8  64  512
 9  81  729
10 100 1000

Para uma visão completa da formatação de strings com str.format(), veja a seção Sintaxe das strings de formato.

7.1.3. Formatação manual de string

Aqui está a mesma tabela de quadrados e cubos, formatados manualmente:

>>> for x in range(1, 11):
...     print(repr(x).rjust(2), repr(x*x).rjust(3), end=' ')
...     # Observe o uso do 'end' na linha anterior
...     print(repr(x*x*x).rjust(4))
...
 1   1    1
 2   4    8
 3   9   27
 4  16   64
 5  25  125
 6  36  216
 7  49  343
 8  64  512
 9  81  729
10 100 1000

(Note que o espaço entre cada coluna foi adicionado pela forma que a função print() funciona: sempre adiciona espaços entre seus argumentos.)

O método str.rjust() justifica uma string à direita, num campo de tamanho definido, acrescentando espaços à esquerda. De forma similar, os métodos str.ljust(), justifica à esquerda, e str.center(), para centralizar. Esses métodos não escrevem nada, apenas retornam uma nova string. Se a string de entrada é muito longa, os métodos não truncarão a saída, e retornarão a mesma string, sem mudança; isso vai atrapalhar o layout da coluna, mas geralmente é melhor do que a alternativa, que estaria distorcendo o valor. (Se realmente quiser truncar, sempre se pode adicionar uma operação de fatiamento, como em x.ljust(n)[:n].)

Existe ainda o método str.zfill() que preenche uma string numérica com zeros à esquerda, e sabe lidar com sinais positivos e negativos:

>>> '12'.zfill(5)
'00012'
>>> '-3.14'.zfill(7)
'-003.14'
>>> '3.14159265359'.zfill(5)
'3.14159265359'

7.1.4. Formatação de strings à moda antiga

O operador % (módulo) também pode ser usado para formatação de string. Dado formato % valores (onde formato é uma string), as instâncias de % em formato serão substituídas por zero ou mais elementos de valores. Essa operação é conhecida como interpolação de string. Por exemplo:

>>> import math
>>> print('O valor de pi é aproximadamente %5.3f.' % math.pi)
O valor de pi é aproximadamente 3.142.

Mais informação pode ser encontrada na seção Formatação de String no Formato no estilo printf.

7.2. Leitura e escrita de arquivos

open() retorna um objeto arquivo, e é mais utilizado com dois argumentos posicionais e um argumento nomeado: open(filename, mode, encoding=None)

>>> f = open('arquivo_de_trabalho', 'w', encoding="utf-8")

O primeiro argumento é uma string contendo o nome do arquivo. O segundo argumento é outra string, contendo alguns caracteres que descrevem o modo como o arquivo será usado. modo pode ser 'r' quando o arquivo será apenas lido, 'w' para escrever (se o arquivo já existir seu conteúdo prévio será apagado), e 'a' para abrir o arquivo para adição; qualquer escrita será adicionada ao final do arquivo. A opção 'r+' abre o arquivo tanto para leitura como para escrita. O argumento modo é opcional, em caso de omissão será presumido 'r'.

Normalmente, arquivos são abertos no modo texto, o que significa que você lê strings de e para o arquivo, o qual está em um codificação específica. Se a codificação não for especificada, o padrão irá depender da plataforma (veja open()). Como o UTF-8 é o padrão mais moderno, encoding="utf-8" é recomendado a não ser que você precise utilizar uma codificação diferente. Adicionando 'b' ao modo irá abrir o o arquivo em modo binário. Dados no modo binário são lidos e escritos como objetos bytes. Você não pode especificar a codificação quando estiver abrindo os arquivos em modo binário.

Em modo texto, o padrão durante a leitura é converter terminadores de linha específicos da plataforma (\n no Unix, \r\n no Windows) para apenas \n. Ao escrever no modo de texto, o padrão é converter as ocorrências de \n de volta para os finais de linha específicos da plataforma. Essa modificação de bastidores nos dados do arquivo é adequada para arquivos de texto, mas corromperá dados binários, como arquivos JPEG ou EXE. Tenha muito cuidado para só usar o modo binário, ao ler e gravar esses arquivos.

É uma boa prática usar a palavra-chave with ao lidar com arquivos. A vantagem é que o arquivo é fechado corretamente após o término de sua utilização, mesmo que uma exceção seja levantada em algum momento. Usar with também é muito mais curto que escrever seu bloco equivalente try-finally:

>>> with open('arquivo_de_trabalho', encoding="utf-8") as f:
...     read_data = f.read()

>>> # Podemos verificar se o arquivo foi fechado automaticamente.
>>> f.closed
True

Se você não está usando a palavra reservada with, então você deveria chamar f.close() para fechar o arquivo e imediatamente liberar qualquer recurso do sistema usado por ele.

Aviso

Chamar f.write() sem usar a palavra reservada with ou chamar f.close() pode resultar nos argumentos de f.write() não serem completamente escritos no disco, mesmo se o programa for encerrado com êxito.

Depois que um arquivo é fechado, seja por uma instrução with ou chamando f.close(), as tentativas de usar o arquivo falharão automaticamente.

>>> f.close()
>>> f.read()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.

7.2.1. Métodos de objetos arquivo

Para simplificar, o resto dos exemplos nesta seção presumem que um objeto arquivo chamado f já foi criado.

Para ler o conteúdo de um arquivo, chame f.read(tamanho), que lê um punhado de dados devolvendo-os como uma string (em modo texto) ou bytes (em modo binário). tamanho é um argumento numérico opcional. Quando tamanho é omitido ou negativo, todo o conteúdo do arquivo é lido e devolvido; se o arquivo é duas vezes maior que memória da máquina, o problema é seu. Caso contrário, no máximo tamanho caracteres (em modo texto) ou tamanho bytes (em modo binário) são lidos e devolvidos. Se o fim do arquivo for atingido, f.read() devolve uma string vazia ('').

>>> f.read()
'Este é o arquivo inteiro.\n'
>>> f.read()
''

O método f.readline() lê uma única linha do arquivo; o caractere de quebra de linha (\n) é mantido ao final da string, e só é omitido na última linha do arquivo, se o arquivo não terminar com uma quebra de linha. Isso elimina a ambiguidade do valor retornado; se f.readline() retorna uma string vazia, o fim do arquivo foi atingido. Linhas em branco são representadas por um '\n' – uma string contendo apenas o caractere terminador de linha.

>>> f.readline()
'Está é a primeira linha do arquivo.\n'
>>> f.readline()
'Segunda linha do arquivo\n'
>>> f.readline()
''

Uma maneira alternativa de ler linhas do arquivo é iterar diretamente pelo objeto arquivo. É eficiente, rápido e resulta em código mais simples:

>>> for line in f:
...     print(line, end='')
...
Esta é a primeira linha do arquivo.
Segunda linha do arquivo

Se desejar ler todas as linhas de um arquivo em uma lista, pode-se usar list(f) ou f.readlines().

f.write(string) escreve o conteúdo de string para o arquivo, retornando o número de caracteres escritos.

>>> f.write('Este é um teste\n')
15

Outros tipos de objetos precisam ser convertidos – seja para uma string (em modo texto) ou para bytes (em modo binário) – antes de escrevê-los:

>>> value = ('a resposta', 42)
>>> s = str(value)  # converte a tupla para string
>>> f.write(s)
18

f.tell() retorna um inteiro dando a posição atual do objeto arquivo, no arquivo representado, como número de bytes desde o início do arquivo, no modo binário, e um número ininteligível, quando no modo de texto.

Para mudar a posição, use f.seek(offset, de_onde). A nova posição é computada pela soma do deslocamento offset a um ponto de referência especificado pelo argumento de-onde. Se o valor de de_onde é 0,a referência é o início do arquivo, 1 refere-se à posição atual, e 2 refere-se ao fim do arquivo. Este argumento pode ser omitido e o valor padrão é 0, usando o início do arquivo como referência.

>>> f = open('arquivo_de_trabalho', 'rb+')
>>> f.write(b'0123456789abcdef')
16
>>> f.seek(5)      # Vai até o 6º byte no arquivo
5
>>> f.read(1)
b'5'
>>> f.seek(-3, 2)  # Vai até o 3º byte antes do fim
13
>>> f.read(1)
b'd'

Em arquivos texto (abertos sem um b, em modo string), somente seeks relativos ao início do arquivo serão permitidos (exceto se for indicado o final do arquivo, com seek(0, 2)) e o único valor válido para offset são aqueles retornados por chamada à f.tell(), ou zero. Qualquer outro valor para offset produz um comportamento indefinido.

Objetos arquivo tem alguns métodos adicionais, como isatty() e truncate() que não são usados com frequência; consulte a Biblioteca de Referência para um guia completo de objetos arquivo.

7.2.2. Gravando dados estruturados com json

Strings podem ser facilmente gravadas e lidas em um arquivo. Números dão um pouco mais de trabalho, já que o método read() só retorna strings, que terão que ser passadas para uma função como int(), que pega uma string como '123' e retorna seu valor numérico 123. Quando você deseja salvar tipos de dados mais complexos, como listas e dicionários aninhados, a análise e serialização manual tornam-se complicadas.

Ao invés de ter usuários constantemente escrevendo e depurando código para gravar tipos complicados de dados em arquivos, o Python permite que se use o popular formato de troca de dados chamado JSON (JavaScript Object Notation) [https://json.org]. O módulo padrão chamado json pode pegar hierarquias de dados em Python e convertê-las em representações de strings; esse processo é chamado serialização. Reconstruir os dados estruturados da representação string é chamado desserialização. Entre serializar e desserializar, a string que representa o objeto pode ser armazenada em um arquivo, ou estrutura de dados, ou enviada por uma conexão de rede para alguma outra máquina.

Nota

O formato JSON é comumente usado por aplicativos modernos para permitir troca de dados. Pessoas que programam já estão familiarizadas com esse formato, o que o torna uma boa opção para interoperabilidade.

Um objeto x, pode ser visualizado na sua representação JSON com uma simples linha de código:

>>> import json
>>> x = [1, 'lista', 'simples']
>>> json.dumps(x)
'[1, "lista", "simples"]'

Outra variação da função dumps(), chamada dump(), serializa o objeto para um arquivo texto. Se f é um arquivo texto aberto para escrita, podemos fazer isto:

json.dump(x, f)

Para decodificar o objeto novamente, se f é um objeto arquivo binário ou arquivo texto que foi aberto para leitura:

x = json.load(f)

Nota

Arquivos JSON devem ser codificados em UTF-8. Use encoding="utf-8" quando abrir um arquivo JSON como um arquivo texto tanto para leitura quanto para escrita.

Essa técnica de serialização simples pode manipular listas e dicionários, mas a serialização de instâncias de classes arbitrárias no JSON requer um pouco mais de esforço. A referência para o módulo json contém uma explicação disso.

Ver também

O módulo pickle

Ao contrário do JSON, pickle é um protocolo que permite a serialização de objetos Python arbitrariamente complexos. Por isso, é específico do Python e não pode ser usado para se comunicar com aplicativos escritos em outros linguagens. Também é inseguro por padrão: desserializar dados de pickle, provenientes de uma fonte não confiável, pode executar código arbitrário, se os dados foram criados por um invasor habilidoso.

8. Erros e exceções

Até agora mensagens de erro foram apenas mencionadas, mas se você testou os exemplos, talvez tenha esbarrado em algumas. Existem pelo menos dois tipos distintos de erros: erros de sintaxe e exceções.

8.1. Erros de sintaxe

Erros de sintaxe, também conhecidos como erros de parse, são provavelmente os mais frequentes entre aqueles que ainda estão aprendendo Python:

>>> while True print('Olá mundo')
  File "<stdin>", line 1
    while True print('Olá mundo')
               ^^^^^
SyntaxError: invalid syntax

O analisador sintático repete a linha inválida e apresenta uma pequena ‘seta’ apontando para o ponto da linha em que o erro foi detectado. O erro deve ter sido causado pela ausência do símbolo que precede a seta. No exemplo, o erro foi detectado na função print(), uma vez que um dois-pontos (':') está faltando antes dela. O nome de arquivo e número de linha são exibidos para que você possa rastrear o erro no texto do script.

8.2. Exceções

Mesmo que um comando ou expressão estejam sintaticamente corretos, talvez ocorra um erro na hora de sua execução. Erros detectados durante a execução são chamados exceções e não são necessariamente fatais: logo veremos como tratá-las em programas Python. A maioria das exceções não são tratadas pelos programas e acabam resultando em mensagens de erro:

>>> 10 * (1/0)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    10 * (1/0)
          ~^~
ZeroDivisionError: division by zero
>>> 4 + spam*3
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    4 + spam*3
        ^^^^
NameError: name 'spam' is not defined
>>> '2' + 2
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    '2' + 2
    ~~~~^~~
TypeError: can only concatenate str (not "int") to str

A última linha da mensagem de erro indica o que aconteceu. Exceções surgem com diferentes tipos, e o tipo é exibido como parte da mensagem: os tipos no exemplo são ZeroDivisionError, NameError e TypeError. A string exibida como sendo o tipo da exceção é o nome da exceção embutida que ocorreu. Isso é verdade para todas exceções pré-definidas em Python, mas não é necessariamente verdade para exceções definidas pelo usuário (embora seja uma convenção útil). Os nomes das exceções padrões são identificadores embutidos (não palavras reservadas).

O resto da linha é um detalhamento que depende do tipo da exceção ocorrida e sua causa.

A parte anterior da mensagem de erro apresenta o contexto onde ocorreu a exceção. Essa informação é denominada stack traceback (situação da pilha de execução). Em geral, contém uma lista de linhas do código-fonte, sem apresentar, no entanto, linhas lidas da entrada padrão.

Exceções embutidas lista as exceções pré-definidas e seus significados.

8.3. Tratamento de exceções

É possível escrever programas que tratam exceções específicas. Observe o exemplo seguinte, que pede dados ao usuário até que um inteiro válido seja fornecido, ainda permitindo que o programa seja interrompido (utilizando Control-C ou seja lá o que for que o sistema operacional suporte); note que uma interrupção gerada pelo usuário será sinalizada pela exceção KeyboardInterrupt.

>>> while True:
...     try:
...         x = int(input("Insira um número: "))
...         break
...     except ValueError:
...         print("Ops! Esse não é um número válido. Tente novamente...")
...

A instrução try funciona da seguinte maneira:

Primeiramente, a cláusula try (o conjunto de instruções entre as palavras reservadas try e except ) é executada.

Se nenhuma exceção ocorrer, a cláusula except é ignorada e a execução da instrução try é finalizada.

Se ocorrer uma exceção durante a execução de uma cláusura try, as instruções remanescentes na cláusula são ignoradas. Se o tipo da exceção ocorrida tiver sido previsto em algum except, essa cláusura except é executada, e então depois a execução continua após o bloco try/except.

Se a exceção levantada não corresponder a nenhuma exceção listada na cláusula de exceção, então ela é entregue a uma instrução try mais externa. Se não existir nenhum tratador previsto para tal exceção, trata-se de uma exceção não tratada e a execução do programa termina com uma mensagem de erro.

A instrução try pode ter uma ou mais cláusula de exceção, para especificar múltiplos tratadores para diferentes exceções. No máximo um único tratador será executado. Tratadores só são sensíveis às exceções levantadas no interior da cláusula de tentativa, e não às que tenham ocorrido no interior de outro tratador numa mesma instrução try. Uma cláusula de exceção pode ser sensível a múltiplas exceções, desde que as especifique em uma tupla, por exemplo:

... except (RuntimeError, TypeError, NameError):
...     pass

Uma classe em uma cláusula except corresponde a exceções que são instâncias da própria classe ou de uma de suas classes derivadas (mas o contrário não é válido — uma cláusula except listando uma classe derivada não corresponde a instâncias de suas classes base). Por exemplo, o seguinte código irá mostrar B, C, D nessa ordem:

class B(Exception):
    pass

class C(B):
    pass

class D(C):
    pass

for cls in [B, C, D]:
    try:
        raise cls()
    except D:
        print("D")
    except C:
        print("C")
    except B:
        print("B")

Se a ordem das cláusulas de exceção fosse invertida (except B no início), seria exibido B, B, B — somente a primeira cláusula de exceção compatível é ativada.

Quando uma exceção ocorre, ela pode estar associada a valores chamados argumentos da exceção. A presença e os tipos dos argumentos dependem do tipo da exceção.

A cláusula except pode especificar uma variável após o nome da exceção. A variável está vinculada à instância de exceção que normalmente possui um atributo args que armazena os argumentos. Por conveniência, os tipos de exceção embutidos definem __str__() para exibir todos os argumentos sem acessar explicitamente .args.

>>> try:
...     raise Exception('spam', 'ovos')
... except Exception as inst:
...     print(type(inst))    # o tipo da exceção
...     print(inst.args)     # argumentos armazenados em .args
...     print(inst)          # __str__ permite imprimir args diretamente,
...                          # mas pode ser substituído em subclasses de exceção
...     x, y = inst.args     # desempacota args
...     print('x =', x)
...     print('y =', y)
...
<class 'Exception'>
('spam', 'ovos')
('spam', 'ovos')
x = spam
y = ovos

A saída __str__() da exceção é exibida como a última parte (“detalhe”) da mensagem para exceções não tratadas.

BaseException é a classe base comum de todas as exceções. Uma de suas subclasses, Exception, é a classe base de todas as exceções não fatais. Exceções que não são subclasses de Exception normalmente não são tratadas, pois são usadas para indicar que o programa deve terminar. Elas incluem SystemExit que é kevantada por sys.exit() e KeyboardInterrupt que é levantada quando um usuário deseja interromper o programa.

Exception pode ser usada como um curinga que captura (quase) tudo. No entanto, é uma boa prática ser o mais específico possível com os tipos de exceções que pretendemos manipular e permitir que quaisquer exceções inesperadas se propaguem.

O padrão mais comum para lidar com Exception é imprimir ou registrar a exceção e então levantá-la novamente (permitindo que um chamador lide com a exceção também):

import sys

try:
    f = open('meuarquivo.txt')
    s = f.readline()
    i = int(s.strip())
except OSError as err:
    print("Erro de E/S:", err)
except ValueError:
    print("Não foi possível converter dados para um inteiro.")
except Exception as err:
    print(f"Não esperava {err=}, {type(err)=}")
    raise

A construção try … except possui uma cláusula else opcional, que quando presente, deve ser colocada depois de todas as outras cláusulas. É útil para um código que precisa ser executado se nenhuma exceção foi levantada. Por exemplo:

for arg in sys.argv[1:]:
    try:
        f = open(arg, 'r')
    except OSError:
        print('não foi possível abrir', arg)
    else:
        print(arg, 'tem', len(f.readlines()), 'linhas')
        f.close()

É melhor usar a cláusula else do que adicionar código adicional à cláusula try porque ela evita que acidentalmente seja tratada uma exceção que não foi levantada pelo código protegido pela construção com as instruções try … except.

Os manipuladores de exceção não tratam apenas exceções que ocorrem imediatamente na cláusula try, mas também aquelas que ocorrem dentro de funções que são chamadas (mesmo indiretamente) na cláusula try. Por exemplo:

>>> def this_fails():
...     x = 1/0
...
>>> try:
...     isso_aqui_falha()
... except ZeroDivisionError as err:
...     print('Tratando o erro de tempo execução:', err)
...
Tratando o erro de tempo execução: division by zero

8.4. Levantando exceções

A instrução raise permite ao programador forçar a ocorrência de um determinado tipo de exceção. Por exemplo:

>>> raise NameError('Olá')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    raise NameError('Olá')
NameError: Olá

O argumento de raise indica a exceção a ser levantada. Esse argumento deve ser uma instância de exceção ou uma classe de exceção (uma classe que deriva de BaseException, tal como Exception ou uma de suas subclasses). Se uma classe de exceção for passada, será implicitamente instanciada invocando o seu construtor sem argumentos:

raise ValueError  # abreviação para 'raise ValueError()'

Caso você precise determinar se uma exceção foi levantada ou não, mas não quer manipular o erro, uma forma simples de instrução raise permite que você levante-a novamente:

>>> try:
...     raise NameError('Olá')
... except NameError:
...     print('Uma exceção passou por aqui!')
...     raise
...
Uma exceção passou por aqui!
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    raise NameError('Olá')
NameError: Olá

8.5. Encadeamento de exceções

Se uma exceção não tratada ocorrer dentro de uma seção except, ela terá a exceção sendo tratada anexada a ela e incluída na mensagem de erro:

>>> try:
...     open("database.sqlite")
... except OSError:
...     raise RuntimeError("unable to handle error")
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    open("database.sqlite")
    ~~~~^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [Errno 2] No such file or directory: 'database.sqlite'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
    raise RuntimeError("unable to handle error")
RuntimeError: unable to handle error

Para indicar que uma exceção é uma consequência direta de outra, a instrução raise permite uma cláusula opcional from:

# exc deve ser uma instância de exceção ou None.
raise RuntimeError from exc

Isso pode ser útil quando você está transformando exceções. Por exemplo:

>>> def func():
...     raise ConnectionError
...
>>> try:
...     func()
... except ConnectionError as exc:
...     raise RuntimeError('Failed to open database') from exc
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    func()
    ~~~~^^
  File "<stdin>", line 2, in func
ConnectionError

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
    raise RuntimeError('Failed to open database') from exc
RuntimeError: Failed to open database

Ele também permite desabilitar o encadeamento automático de exceções usando o idioma from None:

>>> try:
...     open('bancodedados.sqlite')
... except OSError:
...     raise RuntimeError from None
...
Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
    raise RuntimeError from None
RuntimeError

Para mais informações sobre os mecanismos de encadeamento, veja Exceções embutidas.

8.6. Exceções definidas pelo usuário

Programas podem definir novos tipos de exceções, através da criação de uma nova classe (veja Classes para mais informações sobre classes Python). Exceções devem ser derivadas da classe Exception, direta ou indiretamente.

As classes de exceção podem ser definidas para fazer qualquer coisa que qualquer outra classe pode fazer, mas geralmente são mantidas simples, geralmente oferecendo apenas um número de atributos que permitem que informações sobre o erro sejam extraídas por manipuladores para a exceção.

É comum que novas exceções sejam definidas com nomes terminando em “Error”, semelhante a muitas exceções embutidas.

Muitos módulos padrão definem suas próprias exceções para relatar erros que podem ocorrer nas funções que definem.

8.7. Definindo ações de limpeza

A instrução try possui outra cláusula opcional, cuja finalidade é permitir a implementação de ações de limpeza, que sempre devem ser executadas independentemente da ocorrência de exceções. Como no exemplo:

>>> try:
...     raise KeyboardInterrupt
... finally:
...     print('Adeus, mundo!')
...
Adeus, mundo!
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    raise KeyboardInterrupt
KeyboardInterrupt

Se uma cláusula finally estiver presente, a cláusula finally será executada como a última tarefa antes da conclusão da instrução try. A cláusula finally executa se a instrução try produz uma exceção. Os pontos a seguir discutem casos mais complexos quando ocorre uma exceção:

Se ocorrer uma exceção durante a execução da cláusula try, a exceção poderá ser tratada por uma cláusula except. Se a exceção não for tratada por uma cláusula except, a exceção será gerada novamente após a execução da cláusula finally.

Uma exceção pode ocorrer durante a execução de uma cláusula except ou else. Novamente, a exceção é re-levantada depois que finally é executada.

Se a cláusula finally executa uma instrução break, continue ou return, as exceções não são levantadas novamente.

Se a instrução try atingir uma instrução break, continue ou return, a cláusula finally será executada imediatamente antes da execução da instrução break, continue ou return.

Se uma cláusula finally incluir uma instrução return, o valor retornado será aquele da instrução return da cláusula finally, não o valor da instrução return da cláusula try.

Por exemplo:

>>> def retorna_booleano():
...     try:
...         return True
...     finally:
...         return False
...
>>> retorna_booleano()
False

Um exemplo mais complicado:

>>> def divide(x, y):
...     try:
...         result = x / y
...     except ZeroDivisionError:
...         print("division by zero!")
...     else:
...         print("result is", result)
...     finally:
...         print("executing finally clause")
...
>>> divide(2, 1)
result is 2.0
executing finally clause
>>> divide(2, 0)
division by zero!
executing finally clause
>>> divide("2", "1")
executing finally clause
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    divide("2", "1")
    ~~~~~~^^^^^^^^^^
  File "<stdin>", line 3, in divide
    result = x / y
             ~~^~~
TypeError: unsupported operand type(s) for /: 'str' and 'str'

Como você pode ver, a cláusula finally é executada em todos os casos. A exceção TypeError levantada pela divisão de duas strings não é tratada pela cláusula except e portanto é re-levantada depois que a cláusula finally é executada.

Em aplicação do mundo real, a cláusula finally é útil para liberar recursos externos (como arquivos ou conexões de rede), independentemente do uso do recurso ter sido bem sucedido ou não.

8.8. Ações de limpeza predefinidas

Alguns objetos definem ações de limpeza padrões para serem executadas quando o objeto não é mais necessário, independentemente da operação que estava usando o objeto ter sido ou não bem sucedida. Veja o exemplo a seguir, que tenta abrir um arquivo e exibir seu conteúdo na tela.

for linha in open("meuarquivo.txt"):
    print(linha, end="")

O problema com esse código é que ele deixa o arquivo aberto um período indeterminado depois que o código é executado. Isso não chega a ser problema em scripts simples, mas pode ser um problema para grandes aplicações. A palavra reservada with permite que objetos como arquivos sejam utilizados com a certeza de que sempre serão prontamente e corretamente finalizados.

with open("meuarquivo.txt") as f:
    for linha in f:
        print(linha, end="")

Depois que a instrução é executada, o arquivo f é sempre fechado, mesmo se ocorrer um problema durante o processamento das linhas. Outros objetos que, como arquivos, fornecem ações de limpeza predefinidas as indicarão em suas documentações.

8.9. Criando e tratando várias exceções não relacionadas

Existem situações em que é necessário relatar várias exceções que ocorreram. Isso geralmente ocorre em estruturas de simultaneidade, quando várias tarefas podem ter falhado em paralelo, mas também há outros casos de uso em que é desejável continuar a execução e coletar vários erros em vez de levantar a primeira exceção.

O ExceptionGroup integrado envolve uma lista de instâncias de exceção para que elas possam ser levantadas juntas. É uma exceção em si, portanto, pode ser capturada como qualquer outra exceção.

>>> def f():
...     excs = [OSError('error 1'), SystemError('error 2')]
...     raise ExceptionGroup('houve problemas', excs)
...
>>> f()
  + Exception Group Traceback (most recent call last):
  |   File "<stdin>", line 1, in <module>
  |     f()
  |     ~^^
  |   File "<stdin>", line 3, in f
  | ExceptionGroup: houve problemas (2 sub-exceptions)
  +-+---------------- 1 ----------------
    | OSError: error 1
    +---------------- 2 ----------------
    | SystemError: error 2
    +------------------------------------
>>> try:
...     f()
... except Exception as e:
...     print(f'capturada {type(e)}: e')
...
capturada <class 'ExceptionGroup'>: e
>>>

Usando except* em vez de except, podemos manipular seletivamente apenas as exceções no grupo que correspondem a um determinado tipo. No exemplo a seguir, que mostra um grupo de exceção aninhado, cada cláusula except* extrai do grupo exceções de um certo tipo enquanto permite que todas as outras exceções se propaguem para outras cláusulas e eventualmente sejam levantadas novamente.

>>> def f():
...     raise ExceptionGroup(
...         "group1",
...         [
...             OSError(1),
...             SystemError(2),
...             ExceptionGroup(
...                 "group2",
...                 [
...                     OSError(3),
...                     RecursionError(4)
...                 ]
...             )
...         ]
...     )
...
>>> try:
...     f()
... except* OSError as e:
...     print("Houve OSErrors")
... except* SystemError as e:
...     print("Houve SystemErrors")
...
Houve OSErrors
Houve SystemErrors
  + Exception Group Traceback (most recent call last):
  |   File "<stdin>", line 2, in <module>
  |     f()
  |     ~^^
  |   File "<stdin>", line 2, in f
  |     raise ExceptionGroup(
  |     ...<12 lines>...
  |     )
  | ExceptionGroup: group1
  +-+---------------- 1 ----------------
    | ExceptionGroup: group2
    +-+---------------- 1 ----------------
      | RecursionError: 4
      +------------------------------------
>>>

Observe que as exceções aninhadas em um grupo de exceções devem ser instâncias, não tipos. Isso ocorre porque, na prática, as exceções normalmente seriam aquelas que já foram levantadas e capturadas pelo programa, seguindo o seguinte padrão:

>>> excs = []
... for test in tests:
...     try:
...         test.run()
...     except Exception as e:
...         excs.append(e)
...
>>> if excs:
...    raise ExceptionGroup("Falhas no teste", excs)
...

8.10. Enriquecendo exceções com notas

Quando uma exceção é criada para ser levantada, geralmente é inicializada com informações que descrevem o erro ocorrido. Há casos em que é útil adicionar informações após a captura da exceção. Para este propósito, as exceções possuem um método add_note(note) que aceita uma string e a adiciona à lista de notas da exceção. A renderização de traceback padrão inclui todas as notas, na ordem em que foram adicionadas, após a exceção.

>>> try:
...     raise TypeError('tipo inválido')
... except Exception as e:
...     e.add_note('Adiciona algumas informações')
...     e.add_note('Adiciona mais algumas informações')
...     raise
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    raise TypeError('tipo inválido')
TypeError: tipo inválido
Adiciona algumas informações
Adiciona mais algumas informações
>>>

Por exemplo, ao coletar exceções em um grupo de exceções, podemos querer adicionar informações de contexto para os erros individuais. A seguir, cada exceção no grupo tem uma nota indicando quando esse erro ocorreu.

>>> def f():
...     raise OSError('operação falhou')
...
>>> excs = []
>>> for i in range(3):
...     try:
...         f()
...     except Exception as e:
...         e.add_note(f'Aconteceu na iteração {i+1}')
...         excs.append(e)
...
>>> raise ExceptionGroup('Nós temos alguns problemas', excs)
  + Exception Group Traceback (most recent call last):
  |   File "<stdin>", line 1, in <module>
  |     raise ExceptionGroup('Nós temos alguns problemas', excs)
  | ExceptionGroup: Nós temos alguns problemas (3 sub-exceptions)
  +-+---------------- 1 ----------------
    | Traceback (most recent call last):
    |   File "<stdin>", line 3, in <module>
    |     f()
    |     ~^^
    |   File "<stdin>", line 2, in f
    |     raise OSError('operação falhou')
    | OSError: operação falhou
    | Aconteceu na iteração 1
    +---------------- 2 ----------------
    | Traceback (most recent call last):
    |   File "<stdin>", line 3, in <module>
    |     f()
    |     ~^^
    |   File "<stdin>", line 2, in f
    |     raise OSError('operação falhou')
    | OSError: operação falhou
    | Aconteceu na iteração 2
    +---------------- 3 ----------------
    | Traceback (most recent call last):
    |   File "<stdin>", line 3, in <module>
    |     f()
    |     ~^^
    |   File "<stdin>", line 2, in f
    |     raise OSError('operação falhou')
    | OSError: operação falhou
    | Aconteceu na iteração 3
    +------------------------------------
>>>

9. Classes

Classes proporcionam uma forma de organizar dados e funcionalidades juntos. Criar uma nova classe cria um novo “tipo” de objeto, permitindo que novas “instâncias” desse tipo sejam produzidas. Cada instância da classe pode ter atributos anexados a ela, para manter seu estado. Instâncias da classe também podem ter métodos (definidos pela classe) para modificar seu estado.

Em comparação com outras linguagens de programação, o mecanismo de classes de Python introduz a programação orientada a objetos sem acrescentar muitas novidades de sintaxe ou semântica. É uma mistura de mecanismos equivalentes encontrados em C++ e Modula-3. As classes em Python oferecem todas as características tradicionais da programação orientada a objetos: o mecanismo de herança permite múltiplas classes base (herança múltipla), uma classe derivada pode sobrescrever quaisquer métodos de uma classe ancestral, e um método pode invocar outro método homônimo de uma classe ancestral. Objetos podem armazenar uma quantidade arbitrária de dados de qualquer tipo. Assim como acontece com os módulos, as classes fazem parte da natureza dinâmica de Python: são criadas em tempo de execução, e podem ser alteradas após sua criação.

Usando a terminologia de C++, todos os membros de uma classe (incluindo dados) são públicos (veja exceção abaixo Variáveis privadas), e todos as funções membro são virtuais. Como em Modula-3, não existem atalhos para referenciar membros do objeto de dentro dos seus métodos: o método (função definida em uma classe) é declarado com um primeiro argumento explícito representando o objeto (instância da classe), que é fornecido implicitamente pela chamada ao método. Como em Smalltalk, classes são objetos. Isso fornece uma semântica para importar e renomear. Ao contrário de C++ ou Modula-3, tipos pré-definidos podem ser utilizados como classes base para extensões por herança pelo usuário. Também, como em C++, a maioria dos operadores (aritméticos, indexação, etc) podem ser redefinidos por instâncias de classe.

(Na falta de uma terminologia universalmente aceita para falar sobre classes, ocasionalmente farei uso de termos comuns em Smalltalk ou C++. Eu usaria termos de Modula-3, já que sua semântica de orientação a objetos é mais próxima da de Python, mas creio que poucos leitores já ouviram falar dessa linguagem.)

9.1. Uma palavra sobre nomes e objetos

Objetos têm individualidade, e vários nomes (em diferentes escopos) podem ser vinculados a um mesmo objeto. Isso é chamado de apelidamento em outras linguagens. Geralmente, esta característica não é muito apreciada, e pode ser ignorada com segurança ao lidar com tipos imutáveis (números, strings, tuplas). Entretanto, apelidamento pode ter um efeito surpreendente na semântica do código Python envolvendo objetos mutáveis como listas, dicionários e a maioria dos outros tipos. Isso pode ser usado em benefício do programa, porque os apelidos funcionam de certa forma como ponteiros. Por exemplo, passar um objeto como argumento é barato, pois só um ponteiro é passado na implementação; e se uma função modifica um objeto passado como argumento, o invocador verá a mudança — isso elimina a necessidade de ter dois mecanismos de passagem de parâmetros como em Pascal.

9.2. Escopos e espaços de nomes do Python

Antes de introduzir classes, é preciso falar das regras de escopo em Python. Definições de classe fazem alguns truques com espaços de nomes. Portanto, primeiro é preciso entender claramente como escopos e espaços de nomes funcionam, para entender o que está acontecendo. Esse conhecimento é muito útil para qualquer programador Python avançado.

Vamos começar com algumas definições.

Um espaço de nomes é um mapeamento que associa nomes a objetos. Atualmente, são implementados como dicionários em Python, mas isso não é perceptível (a não ser pelo desempenho), e pode mudar no futuro. Exemplos de espaços de nomes são: o conjunto de nomes pré-definidos (funções como abs() e as exceções pré-definidas); nomes globais em um módulo; e nomes locais na invocação de uma função. De certa forma, os atributos de um objeto também formam um espaço de nomes. O mais importante é saber que não existe nenhuma relação entre nomes em espaços de nomes distintos. Por exemplo, dois módulos podem definir uma função de nome maximize sem confusão — usuários dos módulos devem prefixar a função com o nome do módulo, para evitar colisão.

A propósito, utilizo a palavra atributo para qualquer nome depois de um ponto. Na expressão z.real, por exemplo, real é um atributo do objeto z. Estritamente falando, referências para nomes em módulos são atributos: na expressão modname.funcname, modname é um objeto módulo e funcname é um de seus atributos. Neste caso, existe um mapeamento direto entre os atributos de um módulo e os nomes globais definidos no módulo: eles compartilham o mesmo espaço de nomes! [1]

Atributos podem ser somente leitura ou para leitura e escrita. No segundo caso, é possível atribuir um novo valor ao atributo. Atributos de módulos são passíveis de atribuição: você pode escrever modname.the_answer = 42. Atributos que aceitam escrita também podem ser apagados através da instrução del. Por exemplo, del modname.the_answer removerá o atributo the_answer do objeto referenciado por modname.

Espaços de nomes são criados em momentos diferentes e possuem diferentes ciclos de vida. O espaço de nomes que contém os nomes embutidos é criado quando o interpretador inicializa e nunca é removido. O espaço de nomes global de um módulo é criado quando a definição do módulo é lida, e normalmente duram até a terminação do interpretador. Os comandos executados pela invocação do interpretador, pela leitura de um script com programa principal, ou interativamente, são parte do módulo chamado __main__, e portanto possuem seu próprio espaço de nomes. (Os nomes embutidos possuem seu próprio espaço de nomes no módulo chamado builtins.).

O espaço de nomes local de uma função é criado quando a função é invocada, e apagado quando a função retorna ou levanta uma exceção que não é tratada na própria função. (Na verdade, uma forma melhor de descrever o que realmente acontece é que o espaço de nomes local é “esquecido” quando a função termina.) Naturalmente, cada invocação recursiva de uma função tem seu próprio espaço de nomes.

Um escopo é uma região textual de um programa Python onde um espaço de nomes é diretamente acessível. Aqui, “diretamente acessível” significa que uma referência sem um prefixo qualificador permite o acesso ao nome.

Ainda que escopos sejam determinados estaticamente, eles são usados dinamicamente. A qualquer momento durante a execução, existem 3 ou 4 escopos aninhados cujos espaços de nomes são diretamente acessíveis:

o escopo mais interno, que é acessado primeiro, contem os nomes locais

os escopos das funções que envolvem a função atual, que são acessados a partir do escopo mais próximo, contêm nomes não-locais, mas também não-globais

o penúltimo escopo contém os nomes globais do módulo atual

e o escopo mais externo (acessado por último) contém os nomes das funções embutidas e demais objetos pré-definidos do interpretador

Se um nome é declarado no escopo global, então todas as referências e atribuições de valores vão diretamente para o penúltimo escopo, que contém os nomes globais do módulo. Para alterar variáveis declaradas fora do escopo mais interno, a instrução nonlocal pode ser usada; caso contrário, todas essas variáveis serão apenas para leitura (a tentativa de atribuir valores a essas variáveis simplesmente criará uma nova variável local, no escopo interno, não alterando nada na variável de nome idêntico fora dele).

Normalmente, o escopo local referencia os nomes locais da função corrente no texto do programa. Fora de funções, o escopo local referencia os nomes do escopo global: espaço de nomes do módulo. Definições de classes adicionam um outro espaço de nomes ao escopo local.

É importante perceber que escopos são determinados estaticamente, pelo texto do código-fonte: o escopo global de uma função definida em um módulo é o espaço de nomes deste módulo, sem importar de onde ou por qual apelido a função é invocada. Por outro lado, a busca de nomes é dinâmica, ocorrendo durante a execução. Porém, a evolução da linguagem está caminhando para uma resolução de nomes estática, em “tempo de compilação”, portanto não conte com a resolução dinâmica de nomes! (De fato, variáveis locais já são resolvidas estaticamente.)

Uma peculiaridade especial do Python é que – se nenhuma instrução global ou nonlocal estiver em vigor – as atribuições de nomes sempre entram no escopo mais interno. As atribuições não copiam dados — elas apenas vinculam nomes aos objetos. O mesmo vale para exclusões: a instrução del x remove a ligação de x do espaço de nomes referenciado pelo escopo local. De fato, todas as operações que introduzem novos nomes usam o escopo local: em particular, instruções import e definições de funções ligam o módulo ou o nome da função no escopo local.

A instrução global pode ser usada para indicar que certas variáveis residem no escopo global ao invés do local; a instrução nonlocal indica que variáveis particulares estão em um espoco mais interno e devem ser recuperadas lá.

9.2.1. Exemplo de escopos e espaço de nomes

Este é um exemplo que demonstra como se referir aos diferentes escopos e aos espaços de nomes, e como global e nonlocal pode afetar ligação entre as variáveis:

def teste_de_escopo():
    def faz_local():
        spam = "spam local"

    def faz_nonlocal():
        nonlocal spam
        spam = "spam não-local"

    def faz_global():
        global spam
        spam = "spam global"

    spam = "spam teste"
    faz_local()
    print("Após atribuição local:", spam)
    faz_nonlocal()
    print("Após atribuição não-local:", spam)
    faz_global()
    print("Após atribuição global:", spam)

teste_de_escopo()
print("No escopo global:", spam)

A saída do código de exemplo é:

Após atribuição local: spam teste
Após atribuição não-local: spam não-local
Após atribuição global: spam não-local
No escopo global: spam global

Observe como uma atribuição local (que é o padrão) não altera o vínculo de teste_de_escopo a spam. A instrução nonlocal mudou o vínculo de teste_de_escopo de spam e a atribuição global alterou a ligação para o nível do módulo.

Você também pode ver que não havia nenhuma ligação anterior para spam antes da atribuição global.

9.3. Uma primeira olhada nas classes

Classes introduzem novidades sintáticas, três novos tipos de objetos, e também alguma semântica nova.

9.3.1. Sintaxe da definição de classe

A forma mais simples de definir uma classe é:

class NomeClasse:
    <instrução-1>
    .
    .
    .
    <instrução-N>

Definições de classe, assim como definições de função (instruções def), precisam ser executadas antes que tenham qualquer efeito. (Você pode colocar uma definição de classe dentro do teste condicional de um if ou dentro de uma função.)

Na prática, as instruções dentro da definição de classe geralmente serão definições de funções, mas outras instruções são permitidas, e às vezes são bem úteis — voltaremos a este tema depois. Definições de funções dentro da classe normalmente têm um forma peculiar de lista de argumentos, determinada pela convenção de chamada a métodos — isso também será explicado mais tarde.

Quando se inicia a definição de classe, um novo espaço de nomes é criado, e usado como escopo local — assim, todas atribuições a variáveis locais ocorrem nesse espaço de nomes. Em particular, funções definidas aqui são vinculadas a nomes nesse escopo.

Quando uma definição de classe é finalizada normalmente (até o fim), um objeto classe é criado. Este objeto encapsula o conteúdo do espaço de nomes criado pela definição da classe; aprenderemos mais sobre objetos classe na próxima seção. O escopo local (que estava vigente antes da definição da classe) é reativado, e o objeto classe é vinculado ao identificador da classe nesse escopo (NomeClasse no exemplo).

9.3.2. Objetos classe

Objetos classe suportam dois tipos de operações: referências a atributos e instanciação.

Referências a atributos de classe utilizam a sintaxe padrão utilizada para quaisquer referências a atributos em Python: obj.nome. Nomes de atributos válidos são todos os nomes presentes dentro do espaço de nomes da classe, quando o objeto classe foi criado. Portanto, se a definição de classe tem esta forma:

class MinhaClasse:
    """Um exemplo de classe simples"""
    i = 12345

    def f(self):
        return 'olá mundo'

então MinhaClasse.i e MinhaClasse.f são referências a atributo válidas, retornando, respectivamente, um inteiro e um objeto função. Atributos de classe podem receber valores, pode-se modificar o valor de MinhaClasse.i num atribuição. __doc__ também é um atributo válido da classe, retornando a docstring associada à classe: "Um exemplo de classe simples".

Para instanciar uma classe, usa-se a mesma sintaxe de invocar uma função. Apenas finja que o objeto classe do exemplo é uma função sem parâmetros, que devolve uma nova instância da classe. Por exemplo (presumindo a classe acima):

x = MinhaClasse()

cria uma nova instância da classe e atribui o objeto resultante à variável local x.

A operação de instanciação (“invocar” um objeto classe) cria um objeto vazio. Muitas classes preferem criar novos objetos com um estado inicial predeterminado. Para tanto, a classe pode definir um método especial chamado __init__(), assim:

def __init__(self):
    self.data = []

Quando uma classe define um método __init__(), o processo de instanciação automaticamente invoca __init__() sobre a instância recém criada. Em nosso exemplo, uma nova instância já inicializada pode ser obtida desta maneira:

x = MinhaClasse()

Naturalmente, o método __init__() pode ter parâmetros para maior flexibilidade. Neste caso, os argumentos fornecidos na invocação da classe serão passados para o método __init__(). Por exemplo,

>>> class Complex:
...     def __init__(self, realpart, imagpart):
...         self.r = realpart
...         self.i = imagpart
...
>>> x = Complex(3.0, -4.5)
>>> x.r, x.i
(3.0, -4.5)

9.3.3. Objetos instância

Agora o que podemos fazer com objetos de instância? As únicas operações compreendidas por objetos de instância são os atributos de referência. Existem duas maneiras válidas para nomear atributos: atributos de dados e métodos.

Atributos de dados correspondem a “variáveis de instância” em Smalltalk, e a “membros de dados” em C++. Atributos de dados não precisam ser declarados. Assim como variáveis locais, eles passam a existir na primeira vez em que é feita uma atribuição. Por exemplo, se x é uma instância da MinhaClasse criada acima, o próximo trecho de código irá exibir o valor 16, sem deixar nenhum rastro:

x.contador = 1
while x.contador < 10:
    x.contador = x.contador * 2
print(x.contador)
del x.contador

O outro tipo de referência a um atributo de instância é um método. Um método é uma função que “pertence a” um objeto.

Nomes de métodos válidos de uma instância dependem de sua classe. Por definição, cada atributo de uma classe que é uma função corresponde a um método das instâncias. Em nosso exemplo, x.f é uma referência de método válida já que MinhaClasse.f é uma função, enquanto x.i não é, já que MinhaClasse.i não é uma função. Entretanto, x.f não é o mesmo que MinhaClasse.f. A referência x.f acessa um objeto método e a MinhaClasse.f acessa um objeto função.

9.3.4. Objetos método

Normalmente, um método é chamado imediatamente após ser referenciado:

x.f()

No exemplo MinhaClasse, o resultado da expressão acima será a string "olá mundo". No entanto, não é obrigatório invocar o método imediatamente: como x.f é também um objeto ele pode ser atribuído a uma variável e invocado depois. Por exemplo:

xf = x.f
while True:
    print(xf())

exibirá o texto olá mundo até o mundo acabar.

O que ocorre precisamente quando um método é invocado? Você deve ter notado que x.f() foi chamado sem nenhum argumento, porém a definição da função f() especificava um argumento. O que aconteceu com esse argumento? Certamente Python levanta uma exceção quando uma função que declara um argumento é invocada sem nenhum argumento — mesmo que o argumento não seja usado no corpo da função…

Na verdade, pode-se supor a resposta: a particularidade sobre os métodos é que o objeto da instância é passado como o primeiro argumento da função. Em nosso exemplo, a chamada x.f() é exatamente equivalente a MinhaClasse.f(x). Em geral, chamar um método com uma lista de n argumentos é equivalente a chamar a função correspondente com uma lista de argumentos que é criada inserindo o objeto de instância do método antes do primeiro argumento.

Em geral, os métodos funcionam da seguinte forma. Quando um atributo de uma instância, não relacionado a dados, é referenciado, a classe da instância é pesquisada. Se o nome é um atributo de classe válido que é um objeto função, referências ao objeto de instância e ao objeto função serão empacotadas em um objeto método. Quando o objeto método é chamado com uma lista de argumentos, uma nova lista de argumentos é construída a partir do objeto de instância e da lista de argumentos, e o objeto função é chamado com essa nova lista de argumentos.

9.3.5. Variáveis de classe e instância

De forma geral, variáveis de instância são variáveis que indicam dados que são únicos a cada instância individual, e variáveis de classe são variáveis de atributos e de métodos que são comuns a todas as instâncias de uma classe:

class Cachorro:

    tipo = 'canino'         # variável de classe compartilhada por todas as instâncias

    def __init__(self, nome):
        self.nome = nome    # variável de instância única para cada instância

>>> d = Cachorro('Fido')
>>> e = Cachorro('Buddy')
>>> d.tipo                  # compartilhada por todos os cachorros
'canino'
>>> e.tipo                  # compartilhada por todos os cachorros
'canino'
>>> d.nome                  # exclusiva do d
'Fido'
>>> e.nome                  # exclusiva do e
'Buddy'

Como vimos em Uma palavra sobre nomes e objetos, dados compartilhados podem causar efeitos inesperados quando envolvem objetos (mutáveis), como listas ou dicionários. Por exemplo, a lista tricks do código abaixo não deve ser usada como variável de classe, pois assim seria compartilhada por todas as instâncias de Cachorro:

class Cachorro:

    truques = []             # uso incorreto de uma variável de classe

    def __init__(self, nome):
        self.nome = nome

    def adicionar_truque(self, truque):
        self.truques.append(truque)

>>> d = Cachorro('Fido')
>>> e = Cachorro('Buddy')
>>> d.adicionar_truque('rolar')
>>> e.adicionar_truque('fingir de morto')
>>> d.truques                # inesperadamente compartilhado por todos os cães
['rolar', 'fingir de morto']

Em vez disso, o modelo correto da classe deve usar uma variável de instância:

class Cachorro:

    def __init__(self, nome):
        self.nome = nome
        self.truques = []    # cria uma nova lista vazia para cada cachorro

    def adicionar_truque(self, truque):
        self.truques.append(truque)

>>> d = Cachorro('Fido')
>>> e = Cachorro('Buddy')
>>> d.adicionar_truque('rolar')
>>> e.adicionar_truque('fingir de morto')
>>> d.truques
['rolar']
>>> e.truques
['fingir de morto']

9.4. Observações aleatórias

Se um mesmo nome de atributo ocorre tanto na instância quanto na classe, a busca pelo atributo prioriza a instância:

>>> class Armazém:
...    propósito = 'armazenar'
...    região = 'oeste'
...
>>> a1 = Armazém()
>>> print(a1.propósito, a1.região)
armazenar oeste
>>> a2 = Armazém()
>>> a2.região = 'leste'
>>> print(a2.propósito, a2.região)
armazenar leste

Atributos de dados podem ser referenciados por métodos da própria instância, bem como por qualquer outro usuário do objeto (também chamados “clientes” do objeto). Em outras palavras, classes não servem para implementar tipos puramente abstratos de dados. De fato, nada em Python torna possível assegurar o encapsulamento de dados — tudo é baseado em convenção. (Por outro lado, a implementação de Python, escrita em C, pode esconder completamente detalhes de um objeto e controlar o acesso ao objeto, se necessário; isto pode ser utilizado por extensões de Python escritas em C.)

Clientes devem utilizar atributos de dados com cuidado, pois podem bagunçar invariantes assumidas pelos métodos ao esbarrar em seus atributos de dados. Note que clientes podem adicionar atributos de dados a suas próprias instâncias, sem afetar a validade dos métodos, desde que seja evitado o conflito de nomes. Novamente, uma convenção de nomenclatura poupa muita dor de cabeça.

Não existe atalho para referenciar atributos de dados (ou outros métodos!) de dentro de um método. Isso aumenta a legibilidade dos métodos: não há como confundir variáveis locais com variáveis da instância quando lemos rapidamente um método.

Frequentemente, o primeiro argumento de um método é chamado self. Isso não passa de uma convenção: o identificador self não é uma palavra reservada nem possui qualquer significado especial em Python. Mas note que, ao seguir essa convenção, seu código se torna legível por uma grande comunidade de desenvolvedores Python e é possível que alguma IDE dependa dessa convenção para analisar seu código.

Qualquer objeto função que é atributo de uma classe, define um método para as instâncias dessa classe. Não é necessário que a definição da função esteja textualmente embutida na definição da classe. Atribuir um objeto função a uma variável local da classe é válido. Por exemplo:

# Função definida fora da classe
def f1(self, x, y):
    return min(x, x+y)

class C:
    f = f1

    def g(self):
        return 'olá mundo'

    h = g

Agora f, g e h são todos atributos da classe C que referenciam funções, e consequentemente são todos métodos de instâncias da classe C, onde h é exatamente equivalente a g. No entanto, essa prática serve apenas para confundir o leitor do programa.

Métodos podem invocar outros métodos usando atributos de método do argumento self:

class Bolsa:
    def __init__(self):
        self.data = []

    def adicionar(self, x):
        self.data.append(x)

    def adicionar_em_dobro(self, x):
        self.adicionar(x)
        self.adicionar(x)

Métodos podem referenciar nomes globais da mesma forma que funções comuns. O escopo global associado a um método é o módulo contendo sua definição na classe (a classe propriamente dita nunca é usada como escopo global!). Ainda que seja raro justificar o uso de dados globais em um método, há diversos usos legítimos do escopo global. Por exemplo, funções e módulos importados no escopo global podem ser usados por métodos, bem como as funções e classes definidas no próprio escopo global. Provavelmente, a classe contendo o método em questão também foi definida neste escopo global. Na próxima seção veremos razões pelas quais um método pode querer referenciar sua própria classe.

Cada valor é um objeto e, portanto, tem uma classe (também chamada de tipo). Ela é armazenada como object.__class__.

9.5. Herança

Obviamente, uma característica da linguagem não seria digna do nome “classe” se não suportasse herança. A sintaxe para uma classe derivada é assim:

class NomeClasseDerivada(NomeClasseBase):
    <instrução-1>
    .
    .
    .
    <instrução-N>

O identificador BaseClassName deve estar definido em um espaço de nomes acessível do escopo que contém a definição da classe derivada. No lugar do nome da classe base, também são aceitas outras expressões. Isso é muito útil, por exemplo, quando a classe base é definida em outro módulo:

class NomeClasseDerivada(nomemódulo.NomeClasseBase):

A execução de uma definição de classe derivada procede da mesma forma que a de uma classe base. Quando o objeto classe é construído, a classe base é lembrada. Isso é utilizado para resolver referências a atributos. Se um atributo requisitado não for encontrado na classe, ele é procurado na classe base. Essa regra é aplicada recursivamente se a classe base por sua vez for derivada de outra.

Não há nada de especial sobre instanciação de classes derivadas: NomeClasseDerivada() cria uma nova instância da classe. Referências a métodos são resolvidas da seguinte forma: o atributo correspondente é procurado através da cadeia de classes base, e referências a métodos são válidas se essa procura produzir um objeto função.

Classes derivadas podem sobrescrever métodos das suas classes base. Uma vez que métodos não possuem privilégios especiais quando invocam outros métodos no mesmo objeto, um método na classe base que invoca um outro método da mesma classe base pode, efetivamente, acabar invocando um método sobreposto por uma classe derivada. (Para programadores C++ isso significa que todos os métodos em Python são realmente virtuais.)

Um método sobrescrito em uma classe derivada, de fato, pode querer estender, em vez de simplesmente substituir, o método da classe base, de mesmo nome. Existe uma maneira simples de chamar diretamente o método da classe base: apenas chame BaseClassName.methodname(self, arguments). Isso é geralmente útil para os clientes também. (Note que isto só funciona se a classe base estiver acessível como BaseClassName no escopo global).

Python tem duas funções embutidas que trabalham com herança:

Use isinstance() para verificar o tipo de uma instância: isinstance(obj, int) será True somente se obj.__class__ é a classe int ou alguma classe derivada de int.

Use issubclass() para verificar herança entre classes: issubclass(bool, int) é True porque bool é uma subclasse de int. Porém, issubclass(float, int) é False porque float não é uma subclasse de int.

9.5.1. Herança múltipla

Python também suporta uma forma de herança múltipla. Uma definição de classe com várias classes bases tem esta forma:

class NomeClasseDerivada(Base1, Base2, Base3):
    <instrução-1>
    .
    .
    .
    <instrução-N>

Para a maioria dos casos mais simples, pense na pesquisa de atributos herdados de uma classe pai como o primeiro nível de profundidade, da esquerda para a direita, não pesquisando duas vezes na mesma classe em que há uma sobreposição na hierarquia. Assim, se um atributo não é encontrado em DerivedClassName, é procurado em Base1, depois, recursivamente, nas classes base de Base1, e se não for encontrado lá, é pesquisado em Base2 e assim por diante.

De fato, é um pouco mais complexo que isso; a ordem de resolução de métodos muda dinamicamente para suportar chamadas cooperativas para super(). Essa abordagem é conhecida em outras linguagens de herança múltipla como chamar-o-próximo-método, e é mais poderosa que a chamada à função super, encontrada em linguagens de herança única.

A ordenação dinâmica é necessária porque todos os casos de herança múltipla exibem um ou mais relacionamentos de diamante (em que pelo menos uma das classes bases pode ser acessada por meio de vários caminhos da classe mais inferior). Por exemplo, todas as classes herdam de object, portanto, qualquer caso de herança múltipla fornece mais de um caminho para alcançar object. Para evitar que as classes base sejam acessadas mais de uma vez, o algoritmo dinâmico lineariza a ordem de pesquisa, de forma a preservar a ordenação da esquerda para a direita, especificada em cada classe, que chama cada pai apenas uma vez, e que é monotônica (significando que uma classe pode ser subclassificada sem afetar a ordem de precedência de seus pais). Juntas, essas propriedades tornam possível projetar classes confiáveis e extensíveis com herança múltipla. Para mais detalhes, veja A Ordem de Resolução de Métodos do Python 2.3.

9.6. Variáveis privadas

Variáveis de instância “privadas”, que não podem ser acessadas, ​​exceto em métodos do próprio objeto, não existem em Python. No entanto, existe uma convenção que é seguida pela maioria dos programas em Python: um nome prefixado com um sublinhado (por exemplo: _spam ) deve ser tratado como uma parte não-pública da API (seja uma função, um método ou um atributo de dados). Tais nomes devem ser considerados um detalhe de implementação e sujeito a alteração sem aviso prévio.

Uma vez que existe um caso de uso válido para a definição de atributos privados em classes (especificamente para evitar conflitos com nomes definidos em subclasses), existe um suporte limitado a identificadores privados em classes, chamado desfiguração de nomes. Qualquer identificador no formato __spam (pelo menos dois sublinhados no início, e no máximo um sublinhado no final) é textualmente substituído por _classname__spam, onde classname é o nome da classe atual com sublinhado(s) iniciais omitidos. Essa desfiguração independe da posição sintática do identificador, desde que ele apareça dentro da definição de uma classe.

Ver também

O especificações de desfiguração de nome privado para detalhes e casos especiais.

A desfiguração de nomes é útil para que subclasses possam sobrescrever métodos sem quebrar invocações de métodos dentro de outra classe. Por exemplo:

class Mapeamento:
    def __init__(self, iterável):
        self.lista_itens = []
        self.__atualizar(iterável)

    def atualizar(self, iterável):
        for item in iterável:
            self.lista_itens.append(item)

    __atualizar = atualizar   # cópia privada do método atualizar() original

class SubclasseMapeamento(Mapeamento):

    def update(self, chaves, valores):
        # fornece nova assinatura para atualizar(),
        # mas não quebra __init__()
        for item in zip(chaves, valores):
            self.lista_itens.append(item)

O exemplo acima deve funcionar mesmo se SubclasseMapeamento introduzisse um identificador __atualizar uma vez que é substituído por _Mapeamento__atualizar na classe Mapeamento e _SubclasseMapeamento__atualizar na classe SubclasseMapeamento, respectivamente.

Note que as regras de desfiguração de nomes foram projetadas para evitar acidentes; ainda é possível acessar ou modificar uma variável que é considerada privada. Isso pode ser útil em certas circunstâncias especiais, como depuração de código.

Código passado para exec() ou eval() não considera o nome da classe que invocou como sendo a classe corrente; isso é semelhante ao funcionamento da instrução global, cujo efeito se aplica somente ao código que é compilado junto. A mesma restrição se aplica às funções getattr(), setattr() e delattr(), e quando acessamos diretamente o __dict__ da classe.

9.7. Curiosidades e conclusões

Às vezes, é útil ter um tipo semelhante ao “record” de Pascal ou ao “struct” de C, para agrupar alguns itens de dados. A maneira pythônica para este fim é usar dataclasses:

from dataclasses import dataclass

@dataclass
class Empregado:
    nome: str
    dept: str
    salário: int

>>> joão = Empregado('joão', 'lab de computadores', 1000)
>>> joão.dept
'lab de computadores'
>>> joão.salário
1000

Um trecho de código Python que espera um tipo de dado abstrato em particular, pode receber, ao invés disso, uma classe que imita os métodos que aquele tipo suporta. Por exemplo, se você tem uma função que formata dados obtidos de um objeto do tipo “arquivo”, pode definir uma classe com métodos read() e readline() que obtém os dados de um “buffer de caracteres” e passar como argumento.

Métodos de instância têm atributos também: m.__self__ é o objeto instância com o método m(), e m.__func__ é o objeto função correspondente ao método.

9.8. Iteradores

Você já deve ter notado que pode usar laços for com a maioria das coleções em Python:

for elemento in [1, 2, 3]:
    print(elemento)
for elemento in (1, 2, 3):
    print(elemento)
for chave in {'um':1, 'dois':2}:
    print(chave)
for char in "123":
    print(char)
for linha in open("meuarquivo.txt"):
    print(linha, end='')

Esse estilo de acesso é claro, conciso e conveniente. O uso de iteradores permeia e unifica o Python. Nos bastidores, a instrução for chama iter() no objeto contêiner. A função retorna um objeto iterador que define o método __next__() que acessa elementos no contêiner, um de cada vez. Quando não há mais elementos, __next__() levanta uma exceção StopIteration que informa ao for para terminar. Você pode chamar o método __next__() usando a função embutida next(); este exemplo mostra como tudo funciona:

>>> s = 'abc'
>>> it = iter(s)
>>> it
<str_iterator object at 0x10c90e650>
>>> next(it)
'a'
>>> next(it)
'b'
>>> next(it)
'c'
>>> next(it)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    next(it)
StopIteration

Observando o mecanismo por trás do protocolo dos iteradores, fica fácil adicionar esse comportamento às suas classes. Defina um método __iter__() que retorna um objeto que tenha um método __next__(). Se uma classe já define __next__(), então __iter__() pode simplesmente retornar self:

class Inverter:
    """Iterador para fazer um laço em uma sequência de trás para frente."""
    def __init__(self, dados):
        self.dados = dados
        self.índice = len(dados)

    def __iter__(self):
        return self

    def __next__(self):
        if self.índice == 0:
            raise StopIteration
        self.índice = self.índice - 1
        return self.dados[self.índice]

>>> rev = Interverter('spam')
>>> iter(rev)
<__main__.Interverter object at 0x00A1DB50>
>>> for char in rev:
...     print(char)
...
m
a
p
s

9.9. Geradores

Geradores são uma ferramenta simples e poderosa para criar iteradores. São escritos como funções normais mas usam a instrução yield quando precisam retornar dados. Cada vez que next() é chamado, o gerador volta ao ponto onde parou (lembrando todos os valores de dados e qual instrução foi executada pela última vez). Um exemplo mostra como geradores podem ser trivialmente fáceis de criar:

def inverter(dados):
    for índice in range(len(dados)-1, -1, -1):
        yield dados[índice]

>>> for char in inverter('golf'):
...     print(char)
...
f
l
o
g

Qualquer coisa que possa ser feita com geradores também pode ser feita com iteradores baseados numa classe, como descrito na seção anterior. O que torna geradores tão compactos é que os métodos __iter__() e __next__() são criados automaticamente.

Outro ponto chave é que as variáveis locais e o estado da execução são preservados automaticamente entre as chamadas. Isto torna a função mais fácil de escrever e muito mais clara do que uma implementação usando variáveis de instância como self.index e self.data.

Além disso, quando geradores terminam, eles levantam StopIteration automaticamente. Combinados, todos estes aspectos tornam a criação de iteradores tão fácil quanto escrever uma função normal.

9.10. Expressões geradoras

Alguns geradores simples podem ser codificados, de forma sucinta, como expressões, usando uma sintaxe semelhante a compreensões de lista, mas com parênteses em vez de colchetes. Essas expressões são projetadas para situações em que o gerador é usado imediatamente, pela função que o engloba. As expressões geradoras são mais compactas, mas menos versáteis do que as definições completas do gerador, e tendem a usar menos memória do que as compreensões de lista equivalentes.

Exemplos:

>>> sum(i*i for i in range(10))                 # soma dos quadrados
285

>>> xvec = [10, 20, 30]
>>> yvec = [7, 5, 3]
>>> sum(x*y for x,y in zip(xvec, yvec))         # produto escalar
260

>>> palavras_únicas = set(palavra for linha página for palavra in linha.split())

>>> orador_da_turma = max((estudante.gpa, estudante.nome) for estudante in graduados)

>>> dados = 'golf'
>>> list(dados[i] for i in range(len(dados)-1, -1, -1))
['f', 'l', 'o', 'g']

Notas de rodapé

[1]

Exceto por uma coisa. Os objetos módulo têm um atributo secreto e somente para leitura chamado __dict__ que retorna o dicionário usado para implementar o espaço de nomes do módulo; o nome __dict__ é um atributo, mas não um nome global. Obviamente, usar isso viola a abstração da implementação do espaço de nomes, e deve ser restrito a coisas como depuradores post-mortem.

10. Um breve passeio pela biblioteca padrão

10.1. Interface com o sistema operacional

O módulo os fornece dúzias de funções para interagir com o sistema operacional:

>>> import os
>>> os.getcwd()      # Retorna o diretório de trabalho atual
'C:\\Python313'
>>> os.chdir('/server/accesslogs')   # Altera o diretório de trabalho atual
>>> os.system('mkdir hoje')   # Executa o comando mkdir no shell do sistema
0

Certifique-se de usar a forma import os ao invés de from os import *. Isso evitará que os.open() oculte a função open() que opera de forma muito diferente.

As funções embutidas dir() e help() são úteis como um sistema de ajuda interativa para lidar com módulos grandes como os:

>>> import os
>>> dir(os)
<retorna uma lista de todas as funções do módulo>
>>> help(os)
<retorna uma página de manual extensa criada a partir das docstrings do módulo>

Para tarefas de gerenciamento cotidiano de arquivos e diretórios, o módulo shutil fornece uma interface de alto nível que é mais simples de usar:

>>> import shutil
>>> shutil.copyfile('dados.db', 'arquivo.db')
'arquivo.db'
>>> shutil.move('/build/executáveis', 'dir_instal')
'dir_instal'

10.2. Caracteres curinga

O módulo glob fornece uma função para criar listas de arquivos a partir de buscas em diretórios usando caracteres curinga:

>>> import glob
>>> glob.glob('*.py')
['primos.py', 'aleatorizar.py', 'aspas.py']

10.3. Argumentos de linha de comando

Scripts geralmente precisam processar argumentos passados na linha de comando. Esses argumentos são armazenados como uma lista no atributo argv do módulo sys. Por exemplo, consideremos o arquivo demo.py a seguir:

# Arquivo demo.py
import sys
print(sys.argv)

Aqui está a saída da execução python demo.py um dois três na linha de comando:

['demo.py', 'um', 'dois, 'três']

O módulo argparse fornece um mecanismo mais sofisticado para processar argumentos de linha de comando. O script seguinte extrai e exibe um ou mais nomes de arquivos e um número de linhas opcional:

import argparse

parser = argparse.ArgumentParser(
    prog='topo',
    description='Mostra as primeiras linhas de cada arquivo')
parser.add_argument('arquivos, nargs='+')
parser.add_argument('-l', '--linhas', type=int, default=10)
args = parser.parse_args()
print(args)

Quando executada na linha de comando python topo.py --linhas=5 alfa.txt beta.txt, o script define args.linhas para 5 e args.arquivos para ['alfa.txt', 'beta.txt'].

10.4. Redirecionamento de erros e encerramento do programa

O módulo sys também possui atributos para stdin, stdout e stderr. O último é usado para emitir avisos e mensagens de erros visíveis mesmo quando stdout foi redirecionado:

>>> sys.stderr.write('Aviso, arquivo log não encontrado, iniciando um novo\n')
Aviso, arquivo log não encontrado, iniciando um novo

A forma mais direta de encerrar um script é usando sys.exit().

10.5. Reconhecimento de padrões em strings

O módulo re fornece ferramentas para lidar com processamento de strings através de expressões regulares. Para reconhecimento de padrões complexos, expressões regulares oferecem uma solução sucinta e eficiente:

>>> import re
>>> re.findall(r'\br[a-z]*', 'o rato roeu a roupa do rei de roma')
['rato', 'roeu', 'roupa', 'rei', 'roma']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'o gato de de chapéu')
'o gato de chapéu'

Quando as exigências são simples, métodos de strings são preferíveis por serem mais fáceis de ler e depurar:

>>> 'xá para dois'.replace('xá', 'chá')
'chá para dois'

10.6. Matemática

O módulo math oferece acesso às funções da biblioteca C para matemática de ponto flutuante:

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

O módulo random fornece ferramentas para gerar seleções aleatórias:

>>> import random
>>> random.choice(['maçã', 'pera', 'banana'])
'maçã'
>>> random.sample(range(100), 10)   # amostragem sem reposição
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # ponto flutuante aleatório do intervalo [0.0, 1.0)
0.17970987693706186
>>> random.randrange(6)    # inteiro aleatório escolhido de range(6)
4

O módulo statistics calcula as propriedades estatísticas básicas (a média, a mediana, a variação, etc.) de dados numéricos:

>>> import statistics
>>> dados = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(dados)
1.6071428571428572
>>> statistics.median(dados)
1.25
>>> statistics.variance(dados)
1.3720238095238095

O projeto SciPy <https://scipy.org> tem muitos outros módulos para cálculos numéricos.

10.7. Acesso à internet

Há diversos módulos para acesso e processamento de protocolos da internet. Dois dos mais simples são urllib.request para efetuar download de dados a partir de URLs e smtplib para enviar mensagens de correio eletrônico:

>>> from urllib.request import urlopen
>>> with urlopen('http://worldtimeapi.org/api/timezone/etc/UTC.txt') as response:
...     for line in response:
...         line = line.decode()             # Converte bytes para str
...         if line.startswith('datetime'):
...             print(line.rstrip())         # Remove nova linha ao final
...
datetime: 2022-01-01T01:36:47.689215+00:00

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()

(Note que o segundo exemplo precisa de um servidor de email rodando em localhost.)

10.8. Data e hora

O módulo datetime fornece classes para manipulação de datas e horas nas mais variadas formas. Apesar da disponibilidade de aritmética com data e hora, o foco da implementação é na extração eficiente dos membros para formatação e manipulação. O módulo também oferece objetos que levam os fusos horários em consideração.

>>> # datas são facilmente construídas e formatadas
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # datas têm suporte a matemática de calendário
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

10.9. Compressão de dados

Formatos comuns de arquivamento e compressão de dados estão disponíveis diretamente através de alguns módulos, entre eles: zlib, gzip, bz2, lzma, zipfile and tarfile.

>>> import zlib
>>> s = b'A vaca malhada foi molhada por outra vaca molhada e malhada.'
>>> len(s)
60
>>> t = zlib.compress(s)
>>> len(t)
47
>>> zlib.decompress(t)
b'A vaca malhada foi molhada por outra vaca molhada e malhada.'
>>> zlib.crc32(s)
2444551089

10.10. Medição de desempenho

Alguns usuários de Python desenvolvem um interesse profundo pelo desempenho relativo de diferentes abordagens para o mesmo problema. Python oferece uma ferramenta de medição que esclarece essas dúvidas rapidamente.

Por exemplo, pode ser tentador usar o empacotamento e desempacotamento de tuplas ao invés da abordagem tradicional de permutar os argumentos. O módulo timeit rapidamente mostra uma modesta vantagem de desempenho:

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

Em contraste com a granularidade fina do módulo timeit, os módulos profile e pstats oferecem ferramentas para identificar os trechos mais críticos em grandes blocos de código.

10.11. Controle de qualidade

Uma das abordagens usadas no desenvolvimento de software de alta qualidade é escrever testes para cada função à medida que é desenvolvida e executar esses testes frequentemente durante o processo de desenvolvimento.

O módulo doctest oferece uma ferramenta para realizar um trabalho de varredura e validação de testes escritos nas strings de documentação (docstrings) de um programa. A construção dos testes é tão simples quanto copiar uma chamada típica juntamente com seus resultados e colá-los na docstring. Isto aprimora a documentação, fornecendo ao usuário um exemplo real, e permite que o módulo doctest verifique se o código continua fiel à documentação:

def average(values):
    """Calcula a média aritmética da lista de números.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # valida automaticamente os testes incorporados

O módulo unittest não é tão simples de usar quanto o módulo doctest, mas permite que um conjunto muito maior de testes seja mantido em um arquivo separado:

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Chamar a partir da linha de comando invoca todos os testes

10.12. Baterias incluídas

Python tem uma filosofia de “baterias incluídas”. Isso fica mais evidente através da sofisticação e robustez dos seus maiores pacotes. Por exemplo:

Os módulos xmlrpc.client e xmlrpc.server tornam a implementação de chamadas remotas (remote procedure calls) em uma tarefa quase trivial. Apesar dos nomes dos módulos, nenhum conhecimento direto ou manipulação de XML é necessário.

O pacote email é uma biblioteca para gerenciamento de mensagens de correio eletrônico, incluindo MIME e outros baseados no RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]. Diferente dos módulos smtplib e poplib que apenas enviam e recebem mensagens, o pacote de email tem um conjunto completo de ferramentas para construir ou decodificar a estrutura de mensagens complexas (incluindo anexos) e para implementação de protocolos de codificação e cabeçalhos.

O pacote json oferece um suporte robusto para analisar este popular formato para troca de dados. O módulo csv oferece suporte para leitura e escrita direta em arquivos no formato Comma-Separated Value, comumente suportado por bancos de dados e planilhas. O processamento XML é fornecido pelos pacotes xml.etree.ElementTree, xml.dom e xml.sax. Juntos, esses módulos e pacotes simplificam muito a troca de informações entre aplicativos Python e outras ferramentas.

O módulo sqlite3 é um wrapper para a biblioteca de banco de dados SQLite, fornecendo um banco de dados persistente que pode ser atualizado e acessado usando sintaxe SQL ligeiramente fora do padrão.

Internacionalização está disponível através de diversos módulos, como gettext, locale, e o pacote codecs.

11. Um breve passeio pela biblioteca padrão — parte II

Este segundo passeio apresenta alguns módulos avançados que atendem necessidades de programação profissional. Estes módulos raramente aparecem em scripts pequenos.

11.1. Formatando a saída

O módulo reprlib fornece uma versão de repr() personalizado para exibições abreviadas de contêineres grandes ou profundamente aninhados:

>>> import reprlib
>>> reprlib.repr(set('supercalifragilisticexpialidoce'))
"{'a', 'c', 'd', 'e', 'f', 'g', ...}"

O módulo pprint oferece um controle mais sofisticado na exibição tanto de objetos embutidos quanto aqueles criados pelo usuário de maneira que fique legível para o interpretador. Quando o resultado é maior que uma linha, o “pretty printer” acrescenta quebras de linha e indentação para revelar as estruturas de maneira mais clara:

>>> import pprint
>>> t = [[[['preto', 'ciano'], 'branco', ['verde', 'vermelho']], [['magenta',
...     'amarelo'], 'azul']]]
>>>
>>> pprint.pprint(t, width=30)
[[[['preto', 'ciano'],
   'branco',
   ['verde', 'vermelho']],
  [['magenta', 'amarelo'],
   'azul']]]

O módulo textwrap formata parágrafos de texto para que caibam em uma dada largura de tela:

>>> import textwrap
>>> doc = """O método wrap() é como fill(), exceto que ele retorna
... uma lista de strings em vez de uma string grande com quebras
... de linha para separar as linhas quebradas."""
...
>>> print(textwrap.fill(doc, width=40))
O método wrap() é como fill(), exceto
que ele retorna uma lista de strings em
vez de uma string grande com quebras de
linha para separar as linhas quebradas.

O módulo locale acessa uma base de dados de formatos específicos a determinada cultura. O atributo de agrupamento da função “format” oferece uma forma direta de formatar números com separadores de grupo:

>>> import locale
>>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')
'English_United States.1252'
>>> conv = locale.localeconv()          # obtém mapeamento de convenções
>>> x = 1234567.8
>>> locale.format_string("%d", x, grouping=True)
'1,234,567'
>>> locale.format_string("%s%.*f", (conv['currency_symbol'],
...                      conv['frac_digits'], x), grouping=True)
'$1,234,567.80'

11.2. Usando templates

módulo string inclui a versátil classe Template com uma sintaxe simplificada, adequada para ser editada por usuários finais. Isso permite que usuários personalizem suas aplicações sem a necessidade de alterar a aplicação.

Em um template são colocadas marcações indicando o local onde o texto variável deve ser inserido. Uma marcação é formada por $ seguido de um identificador Python válido (caracteres alfanuméricos e underscores). Envolvendo-se o identificador da marcação entre chaves, permite que ele seja seguido por mais caracteres alfanuméricos sem a necessidade de espaços. Escrevendo-se $$ cria-se um único $:

>>> from string import Template
>>> t = Template('O povo de ${vila} envia $$10 para $causa.')
>>> t.substitute(vila='Nottingham', causa='o fundo de recuperação')
'O povo de Nottingham envia $10 para o fundo de recuperação.'

O método substitute() levanta uma exceção KeyError quando o identificador de uma marcação não é fornecido em um dicionário ou em um argumento nomeado (keyword argument). Para aplicações que podem receber dados incompletos fornecidos pelo usuário, o método safe_substitute() pode ser mais apropriado — deixará os marcadores intactos se os dados estiverem faltando:

>>> t = Template('Devolva $item para $dono.')
>>> d = dict(item='a andorinha descarregada')
>>> t.substitute(d)
Traceback (most recent call last):
  ...
KeyError: 'dono'
>>> t.safe_substitute(d)
'Devolva a andorinha descarregada para $dono.'

Subclasses de Template podem especificar um delimitador personalizado. Por exemplo, um utilitário para renomeação em lote de fotos pode usar o sinal de porcentagem para marcações como a data atual, número sequencial da imagem ou formato do aquivo:

>>> import time, os.path
>>> arquivos_fotos = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']
>>> class RenomeiaEmLote(Template):
...     delimiter = '%'
...
>>> formato = input('Informe o estilo de renomeação (%d-data %n-sequencia %f-formato):  ')
Informe o estilo de renomeação (%d-data %n-sequencia %f-formato):  Ashley_%n%f

>>> t = RenomeiaEmLote(formato)
>>> data = time.strftime('%d%b%y')
>>> for i, nome_arquivo in enumerate(arquivos_fotos):
...     base, extensão = os.path.splitext(nome_arquivo)
...     novo_nome = t.substitute(d=data, n=i, f=extensão)
...     print('{0} --> {1}'.format(nome_arquivo, novo_nome))

img_1074.jpg --> Ashley_0.jpg
img_1076.jpg --> Ashley_1.jpg
img_1077.jpg --> Ashley_2.jpg

Outra aplicação para templates é separar a lógica da aplicação dos detalhes de múltiplos formatos de saída. Assim é possível usar templates personalizados para gerar arquivos XML, relatórios em texto puro e relatórios web em HTML.

11.3. Trabalhando com formatos binários de dados

O módulo struct oferece as funções pack() e unpack() para trabalhar com registros binários de tamanho variável. O exemplo a seguir mostra como iterar através do cabeçalho de informação num aquivo ZIP sem usar o módulo zipfile. Os códigos de empacotamento "H" e "I" representam números sem sinal de dois e quatro bytes respectivamente. O "<" indica que os números têm tamanho padrão e são little-endian (bytes menos significativos primeiro):

import struct

with open('meuarquivo.zip', 'rb') as arq:
    dados = arq.read()

inicio = 0
for i in range(3):                      # mostra o cabeçalho dos 3 primeiros arquivos
    inicio += 14
    campos = struct.unpack('<IIIHH', dados[inicio:inicio+16])
    crc32, tamanho_comprimido, tamanho_descomprimido, tamanho_nome_arquivo, tamanho_extra = campos

    inicio += 16
    nome_arquivo = dados[inicio:inicio+tamanho_nome_arquivo]
    inicio += tamanho_nome_arquivo
    extra = dados[inicio:inicio+tamanho_extra]
    print(nome_arquivo, hex(crc32), tamanho_comprimido, tamanho_descomprimido)

    inicio += tamanho_extra + tamanho_comprimido     # pula para o próximo cabeçalho

11.4. Multi-threading

O uso de threads é uma técnica para desacoplar tarefas que não são sequencialmente dependentes. Threads podem ser usadas para melhorar o tempo de resposta de aplicações que aceitam entradas do usuário enquanto outras tarefas são executadas em segundo plano. Um caso relacionado é executar ações de entrada e saída (I/O) em uma thread paralelamente a cálculos em outra thread.

O código a seguir mostra como o módulo de alto nível threading pode executar tarefas em segundo plano enquanto o programa principal continua a sua execução:

import threading, zipfile

class AsyncZip(threading.Thread):
    def __init__(self, arquivo_entrada, arquivo_saida):
        threading.Thread.__init__(self)
        self.arquivo_entrada = arquivo_entrada
        self.arquivo_saida = arquivo_saida

    def run(self):
        arq = zipfile.ZipFile(self.arquivo_saida, 'w', zipfile.ZIP_DEFLATED)
        arq.write(self.)
        arq.close()
        print('Finalizou compactação em background de:', self.arquivo_entrada)

background = AsyncZip('meusdados.txt', 'meuarquivo.zip')
background.start()
print('O programa original continua a executar em primeiro plano.')

background.join()    # Aguarda a tarefa em background finalizar
print('Programa principal aguardou até a tarefa em background estar finalizada.')

O principal desafio para as aplicações que usam múltiplas threads é coordenar as threads que compartilham dados ou outros recursos. Para esta finalidade, o módulo threading oferece alguns mecanismos primitivos de sincronização, como travas, eventos, variáveis de condição e semáforos.

Ainda que todas essas ferramentas sejam poderosas, pequenos erros de design podem resultar em problemas difíceis de serem diagnosticados. Por isso, a abordagem preferida para a coordenação da tarefa é concentrar todo o acesso a um recurso em um único tópico e, em seguida, usar o módulo queue para alimentar esse segmento com solicitações de outros tópicos. Aplicações que utilizam objetos Queue para comunicação e coordenação inter-thread são mais fáceis de serem projetados, mais legíveis e mais confiáveis.

11.5. Gerando logs

O módulo logging oferece um completo e flexível sistema de log. Da maneira mais simples, mensagens de log são enviadas para um arquivo ou para sys.stderr:

import logging
logging.debug('Depurando informações')
logging.info('Mensagem informática')
logging.warning('Alerta: arquivo de configuração  %s não encontrado', 'server.conf')
logging.error('Ocorreu um erro')
logging.critical('Erro crítico -- desligando')

Isso produz a seguinte saída:

WARNING:root:Alerta:arquivo de configuração server.conf não encontrado
ERROR:root:Ocorreu um erro
CRITICAL:root:Erro crítico -- shutting down

Por padrão, mensagens informativas e de depuração são suprimidas e a saída é enviada para a saída de erros padrão (stderr). Outras opções de saída incluem envio de mensagens através de correio eletrônico, datagramas, sockets ou para um servidor HTTP. Novos filtros podem selecionar diferentes formas de envio de mensagens, baseadas na prioridade da mensagem: DEBUG, INFO, WARNING, ERROR e CRITICAL.

O sistema de log pode ser configurado diretamente do Python ou pode ser carregado a partir de um arquivo de configuração editável pelo usuário para logs personalizados sem a necessidade de alterar a aplicação.

11.6. Referências fracas

Python faz gerenciamento automático de memória (contagem de referências para a maioria dos objetos e coleta de lixo para eliminar ciclos). A memória ocupada por um objeto é liberada logo depois da última referência a ele ser eliminada.

Essa abordagem funciona bem para a maioria das aplicações, mas ocasionalmente surge a necessidade de rastrear objetos apenas enquanto estão sendo usados por algum outro. Infelizmente rastreá-los cria uma referência, e isso os fazem permanentes. O módulo weakref oferece ferramentas para rastrear objetos sem criar uma referência. Quando o objeto não é mais necessário, ele é automaticamente removido de uma tabela de referências fracas e uma chamada (callback) é disparada. Aplicações típicas incluem armazenamento em cache de objetos que são muito custosos para criar:

>>> import weakref, gc
>>> class A:
...     def __init__(self, valor):
...         self.valor = valor
...     def __repr__(self):
...         return str(self.valor)
...
>>> a = A(10)                   # cria uma referência
>>> d = weakref.WeakValueDictionary()
>>> d['primaria'] = a            # não cria uma referência
>>> d['primaria']                # busca o objeto se ele estiver ativo
10
>>> del a                       # remove a referência criada
>>> gc.collect()                # roda imediatamente a coleta de lixo
0
>>> d['primaria']                # o acesso foi automaticamente removido
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    d['primaria']                # o acesso foi automaticamente removido
  File "C:/python313/lib/weakref.py", line 46, in __getitem__
    o = self.data[key]()
KeyError: 'primaria'

11.7. Ferramentas para trabalhar com listas

Muitas necessidades envolvendo estruturas de dados podem ser satisfeitas com o tipo embutido lista. Entretanto, algumas vezes há uma necessidade por implementações alternativas que sacrificam algumas facilidades em nome de melhor desempenho.

O módulo array oferece uma classe array, semelhante a uma lista, mas que armazena apenas dados homogêneos e de maneira mais compacta. O exemplo a seguir mostra um vetor de números armazenados como números binários de dois bytes sem sinal (código de tipo "H") ao invés dos 16 bytes usuais para cada item em uma lista de int:

>>> from array import array
>>> a = array('H', [4000, 10, 700, 22222])
>>> sum(a)
26932
>>> a[1:3]
array('H', [10, 700])

O módulo collections oferece um objeto deque que comporta-se como uma lista mas com appends e pops pela esquerda mais rápidos, porém mais lento ao percorrer o meio da sequência. Esses objetos são adequados para implementar filas e buscas em amplitude em árvores de dados:

>>> from collections import deque
>>> d = deque(["tarefa1", "tarefa2", "tarefa3"])
>>> d.append("tarefa4")
>>> print("Tratando", d.popleft())
Tratando tarefa1

nao_pesquisada = deque([no_inicial])
def busca_em_profundidade(nao_pesquisada):
    no = nao_pesquisada.popleft()
    for m in gen_moves(no):
        if eh_o_alvo(m):
            return m
        nao_pesquisada.append(m)

Além de implementações alternativas de listas, a biblioteca também oferece outras ferramentas como o módulo bisect com funções para manipulação de listas ordenadas:

>>> import bisect
>>> notas = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]
>>> bisect.insort(notas, (300, 'ruby'))
>>> notas
[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]

O módulo heapq oferece funções para implementação de heaps baseadas em listas normais. O valor mais baixo é sempre mantido na posição zero. Isso é útil para aplicações que acessam repetidamente o menor elemento, mas não querem reordenar a lista toda a cada acesso:

>>> from heapq import heapify, heappop, heappush
>>> dados = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]
>>> heapify(dados)                      # reorganiza a lista como um heap
>>> heappush(dados, -5)                 # adiciona o valor -5 ao heap
>>> [heappop(dados) for i in range(3)]  # encontra as 3 menores entradas
[-5, 0, 1]

11.8. Aritmética decimal com ponto flutuante

O módulo decimal oferece o tipo Decimal para aritmética decimal com ponto flutuante. Comparado a implementação embutida float que usa aritmética binária de ponto flutuante, a classe é especialmente útil para:

aplicações financeiras que requerem representação decimal exata,

controle sobre a precisão,

controle sobre arredondamento para satisfazer requisitos legais,

rastreamento de casas decimais significativas, ou

aplicações onde o usuário espera que os resultados sejam os mesmos que os dos cálculos feitos à mão.

Por exemplo, calcular um imposto de 5% sobre uma chamada telefônica de 70 centavos devolve diferentes resultados com aritmética de ponto flutuante decimal ou binária. A diferença torna-se significativa se os resultados são arredondados para o centavo mais próximo:

>>> from decimal import *
>>> round(Decimal('0.70') * Decimal('1.05'), 2)
Decimal('0.74')
>>> round(.70 * 1.05, 2)
0.73

O resultado de Decimal considera zeros à direita, automaticamente inferindo quatro casas decimais a partir de multiplicandos com duas casas decimais. O módulo Decimal reproduz a aritmética como fazemos à mão e evita problemas que podem ocorrer quando a representação binária do ponto flutuante não consegue representar quantidades decimais com exatidão.

A representação exata permite à classe Decimal executar cálculos de módulo e testes de igualdade que não funcionam bem em ponto flutuante binário:

>>> Decimal('1.00') % Decimal('.10')
Decimal('0.00')
>>> 1.00 % 0.10
0.09999999999999995

>>> sum([Decimal('0.1')]*10) == Decimal('1.0')
True
>>> 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 == 1.0
False

O módulo decimal implementa a aritmética com tanta precisão quanto necessária:

>>> getcontext().prec = 36
>>> Decimal(1) / Decimal(7)
Decimal('0.142857142857142857142857142857142857')

12. Ambientes virtuais e pacotes

12.1. Introdução

Aplicações em Python normalmente usam pacotes e módulos que não vêm como parte da instalação padrão. Aplicações às vezes necessitam uma versão específica de uma biblioteca, porque ela requer que algum problema em particular tenha sido consertado ou foi escrita utilizando-se de uma versão obsoleta da interface da biblioteca.

Isso significa que talvez não seja possível que uma instalação Python preencha os requisitos de qualquer aplicação. Se uma aplicação A necessita a versão 1.0 de um módulo particular mas a aplicação B necessita a versão 2.0, os requisitos entrarão em conflito e instalar qualquer uma das duas versões 1.0 ou 2.0 fará com que uma das aplicações não consiga executar.

A solução para este problema é criar um ambiente virtual, uma árvore de diretórios que contém uma instalação Python para uma versão particular do Python, além de uma série de pacotes adicionais.

Diferentes aplicações podem então usar diferentes ambientes virtuais. Para resolver o exemplo anterior de requisitos conflitantes, a aplicação A deve ter seu próprio ambiente virtual com a versão 1.0 instalada enquanto a aplicação B vai possuir outro ambiente virtual com a versão 2.0. Se a aplicação B precisar fazer uma atualização para a versão 3.0, isso não afetará o ambiente da aplicação A.

12.2. Criando ambientes virtuais

O módulo usado para criar e gerenciar ambientes virtuais é chamado venv. venv instalará a versão do Python a partir da qual o comando foi executado (conforme relatado pela opção --version). Por exemplo, executar o comando com python3.12 instalará a versão 3.12.

Para criar um ambiente virtual, escolha um diretório onde deseja colocá-lo e execute o módulo venv como um script com o caminho do diretório:

python -m venv tutorial-env

Isso irá criar o diretório tutorial-env se ele não existir, e também criará diretórios dentro dele contendo uma cópia do interpretador Python, a biblioteca padrão e diversos arquivos de suporte.

Um diretório de localização comum para um ambiente virtual é .venv. Esse nome tipicamente mantém o diretório oculto em seu ambiente, portanto é transparente, ao menos tempo que explica o motivo desse diretório existir. Também previne conflitos com .env, arquivos de definição de variáveis de ambiente que algumas ferramentas utilizam.

Uma vez criado seu ambiente virtual, você deve ativá-lo.

No Windows, execute:

tutorial-env\Scripts\activate

No Unix ou no MacOS, executa:

source tutorial-env/bin/activate

(Este script é escrito para o shell bash. Se você usa shells csh ou fish, existem scripts alternativos activate.csh e activate.fish para utilização.)

Ao ativar seu ambiente virtual haverá uma mudança no prompt do shell para mostrar qual ambiente virtual você está usando e modificará o ambiente para que quando você executar python ativar a versão e instalação do Python particular àquele ambiente. Por exemplo:

$ source ~/envs/tutorial-env/bin/activate
(tutorial-env) $ python
Python 3.5.1 (default, May  6 2016, 10:59:36)
  ...
>>> import sys
>>> sys.path
['', '/usr/local/lib/python35.zip', ...,
'~/envs/tutorial-env/lib/python3.5/site-packages']
>>>

Para desativar um ambiente virtual, digite:

deactivate

no terminal.

12.3. Gerenciando pacotes com o pip

Você pode instalar, atualizar e remover pacotes usando um programa chamado pip. Por padrão pip irá instalar pacotes do Python Package Index [https://pypi.org]. Você pode navegar pelo Python Package Index através do seu navegador web.

pip tem uma série de subcomandos: “install”, “uninstall”, “freeze”, etc. (Consulte o guia Instalando módulos Python para a documentação completa do pip.)

Você pode instalar a última versão de um pacote apenas especificando nome do pacote:

(tutorial-env) $ python -m pip install novas
Collecting novas
  Downloading novas-3.1.1.3.tar.gz (136kB)
Installing collected packages: novas
  Running setup.py install for novas
Successfully installed novas-3.1.1.3

Você também pode instalar uma versão específica de um pacote dando o nome do pacote seguido por == e o número da versão:

(tutorial-env) $ python -m pip install requests==2.6.0
Collecting requests==2.6.0
  Using cached requests-2.6.0-py2.py3-none-any.whl
Installing collected packages: requests
Successfully installed requests-2.6.0

Se você executar novamente o comando, pip será notificado de que a versão já está instalada, e não fará nada. Você pode fornecer um número de versão diferente para obter essa versão ou pode executar python -m pip install --upgrade para atualizar o pacote para a versão mais recente:

(tutorial-env) $ python -m pip install --upgrade requests
Collecting requests
Installing collected packages: requests
  Found existing installation: requests 2.6.0
    Uninstalling requests-2.6.0:
      Successfully uninstalled requests-2.6.0
Successfully installed requests-2.7.0

python -m pip uninstall seguido por um ou mais nomes de pacote removerá os pacotes do ambiente virtual.

python -m pip show exibirá informações sobre um pacote específico:

(tutorial-env) $ python -m pip show requests
---
Metadata-Version: 2.0
Name: requests
Version: 2.7.0
Summary: Python HTTP for Humans.
Home-page: http://python-requests.org
Author: Kenneth Reitz
Author-email: me@kennethreitz.com
License: Apache 2.0
Location: /Users/akuchling/envs/tutorial-env/lib/python3.4/site-packages
Requires:

python -m pip list exibirá todos os pacotes instalados no ambiente virtual:

(tutorial-env) $ python -m pip list
novas (3.1.1.3)
numpy (1.9.2)
pip (7.0.3)
requests (2.7.0)
setuptools (16.0)

python -m pip freeze produzirá uma lista semelhante dos pacotes instalados, mas a saída usa o formato que python -m pip install espera. Uma convenção comum é colocar esta lista em um arquivo requirements.txt:

(tutorial-env) $ python -m pip freeze > requirements.txt
(tutorial-env) $ cat requirements.txt
novas==3.1.1.3
numpy==1.9.2
requests==2.7.0

O arquivo requirements.txt pode ser submetido no controle de versão e adicionado como parte da aplicação. Usuários poderão então instalar todos os pacotes necessários com um install -r:

(tutorial-env) $ python -m pip install -r requirements.txt
Collecting novas==3.1.1.3 (from -r requirements.txt (line 1))
  ...
Collecting numpy==1.9.2 (from -r requirements.txt (line 2))
  ...
Collecting requests==2.7.0 (from -r requirements.txt (line 3))
  ...
Installing collected packages: novas, numpy, requests
  Running setup.py install for novas
Successfully installed novas-3.1.1.3 numpy-1.9.2 requests-2.7.0

pip tem inúmeras outras opções. Consulte o guia Instalando módulos Python para a documentação completa do pip. Quando você escrever um pacote e desejar deixá-lo disponível no Python Package Index, consulte o guia de usuário para empacotamento de Python [https://packaging.python.org/en/latest/tutorials/packaging-projects/].

13. E agora?

Ler este tutorial provavelmente reforçou seu interesse em usar Python — você deve estar ansioso para aplicar Python para resolver problemas do mundo real. Aonde você deveria ir para aprender mais?

Este tutorial é parte do conjunto de documentação da linguagem Python. Alguns outros documentos neste conjunto são:

A Biblioteca Padrão do Python:

Você deveria navegar através deste manual, que lhe dará material completo (ainda que breve) de referência sobre tipos, funções e módulos na biblioteca padrão. A distribuição padrão do Python inclui muito código adicional. Há módulos para ler caixa de correio Unix, baixar documentos via HTTP, gerar números aleatórios, processar opções de linha de comando, comprimir dados a muitas outras tarefas. Uma lida rápida da Referência da Biblioteca lhe dará uma ideia do que está disponível.

Instalando módulos Python explica como instalar módulos adicionais escritos por outros usuários de Python.

A Referência da Linguagem Python: Uma explicação detalhada da sintaxe e da semântica de Python. É uma leitura pesada, mas é útil como um guia completo da linguagem propriamente dita.

Mais recursos Python:

https://www.python.org: o principal web site sobre Python. Contém código, documentação, e referências para outras páginas relacionadas a Python ao redor da web.

https://docs.python.org: acesso rápido à documentação Python.

https://pypi.org: O Python Package Index, anteriormente apelidado de Cheese Shop [1], é um índice de módulos Python criados pelos usuários. Uma vez que você começa a publicar código, pode registrar seus pacotes aqui para que outros possam encontrá-los.

https://code.activestate.com/recipes/langs/python/: O Python Cookbook (livro de receitas de Python) é uma grande coleção de exemplos de código, módulos maiores e scripts úteis.Contribuições particularmente notáveis são coletadas em um livro também chamado Python Cookbook (O’Reilly & Associates, ISBN 0-596-00797-3.)

https://pyvideo.org coleta links para vídeo relacionados a Python de conferências e reuniões de grupos de usuários.

https://scipy.org: o projeto Scientific Python ( Python Científico) inclui módulos para computação e manipulação rápida de vetores e também hospeda pacotes para coisas similares como álgebra linear, transformações de Fourier, resolvedores não-lineares, distribuições de números aleatórios, análise estatística e afins.

Para reportar questões e problemas relacionadas a Python, você pode postar no newsgroup comp.lang.python ou enviá-los para o grupo de e-mail em python-list@python.org. O newsgroup e a lista são conectados, então mensagens postadas em um são automaticamente encaminhadas ao outro. Há centenas de postagem diárias perguntando (e respondendo) perguntas, sugerindo novas funcionalidades e anunciando novos módulos. E-mails arquivados estão disponíveis em https://mail.python.org/pipermail/. Existe também o grupo de discussão da comunidade brasileira de Python: python-brasil no Google Groups (http://groups.google.com/group/python-brasil), com discussões de ótimo nível técnico.

Antes de postar, certifique-se de checar a lista de Perguntas Frequentes (Frequently Asked Questions , também chamada de FAQ). A FAQ responde muitas das perguntas que aparecem com frequência e pode já conter a solução para o seu problema.

Notas de rodapé

[1]

“Cheese Shop” é o título de um quadro do grupo Monty Python: um freguês entra em uma loja especializada em queijos, mas qualquer queijo que ele pede, o balconista diz que está em falta.

14. Edição de entrada interativa e substituição de histórico

Algumas versões do interpretador Python suportam a edição da linha de entrada atual e a substituição da história, semelhante às habilidade encontradas no shell Korn e no shell GNU Bash. Isso é implementado usando a biblioteca GNU Readline [https://tiswww.case.edu/php/chet/readline/rltop.html], que oferece suporte a vários estilos de edição. Esta biblioteca possui sua própria documentação, que não vamos duplicar aqui.

14.1. Tab Completion e Histórico de Edição

A conclusão dos nomes de variáveis e módulos é ativado automaticamente na inicialização do interpretador para que a tecla Tab invoque a função de conclusão. Ele analisa os nomes das instruções Python, as variáveis locais atuais e os nomes dos módulos disponíveis. Para expressões pontilhadas como string.a, ele avaliará a expressão até o '.' final e então sugerirá conclusões dos atributos do objeto resultante. Observe que isso pode executar o código definido pelo aplicativo se um objeto com um método __getattr__() faz parte da expressão. A configuração padrão também guarda seu histórico em um arquivo chamado .python_history no seu diretório de usuário. O histórico estará disponível novamente durante a próxima sessão de interpretação interativa.

14.2. Alternativas ao interpretador interativo

Esta facilidade é um enorme passo em frente em comparação com as versões anteriores do interpretador; No entanto, alguns desejos são deixados: seria bom se a indentação adequada fosse sugerida nas linhas de continuação (o analisador sabe se é necessário um token de recuo). O mecanismo de conclusão pode usar a tabela de símbolos do interpretador. Um comando para verificar (ou mesmo sugerir) parênteses, aspas, etc., também seria útil.

Um interpretador interativo aprimorado e alternativo que existe há algum tempo é o IPython [https://ipython.org/], que apresenta a conclusão da guia, a exploração de objetos e o gerenciamento de histórico avançado. Também pode ser completamente personalizado e incorporado em outras aplicações. Outro ambiente interativo aprimorado similar é bpython [https://bpython-interpreter.org/].

15. Aritmética de ponto flutuante: problemas e limitações

Os números de ponto flutuante são representados no hardware do computador como frações de base 2 (binárias). Por exemplo, a fração decimal 0.625 tem valor 6/10 + 2/100 + 5/1000, e da mesma forma a fração binária 0.101 tem valor 0/2 + 0/4 + 1/8. Essas duas frações têm valores idênticos, a única diferença real é que a primeira é escrita em notação fracionária de base 10 e a segunda em base 2.

Infelizmente, muitas frações decimais não podem ser representadas precisamente como frações binárias. O resultado é que, em geral, os números decimais de ponto flutuante que você digita acabam sendo armazenados de forma apenas aproximada, na forma de números binários de ponto flutuante.

O problema é mais fácil de entender primeiro em base 10. Considere a fração 1/3. Podemos representá-la aproximadamente como uma fração base 10:

0.3

ou melhor,

0.33

ou melhor,

0.333

e assim por diante. Não importa quantos dígitos você está disposto a escrever, o resultado nunca será exatamente 1/3, mas será uma aproximação de cada vez melhor de 1/3.

Da mesma forma, não importa quantos dígitos de base 2 estejas disposto a usar, o valor decimal 0.1 não pode ser representado exatamente como uma fração de base 2. No sistema de base 2, 1/10 é uma fração binária que se repete infinitamente:

0.0001100110011001100110011001100110011001100110011...

Se parares em qualquer número finito de bits, obterás uma aproximação. Hoje em dia, na maioria dos computadores, as casas decimais são aproximados usando uma fração binária onde o numerado utiliza os primeiros 53 bits iniciando no bit mais significativo e tendo como denominador uma potência de dois. No caso de 1/10, a fração binária seria 602879701896397 / 2 ** 55 o que chega bem perto, mas mesmo assim, não é igual ao valor original de 1/10.

É fácil esquecer que o valor armazenado é uma aproximação da fração decimal original, devido à forma como os pontos flutuantes são exibidos no interpretador interativo. O Python exibe apenas uma aproximação decimal do verdadeiro valor decimal da aproximação binária armazenada pela máquina. Se o Python exibisse o verdadeiro valor decimal da aproximação binária que representa o decimal 0.1, seria necessário mostrar:

>>> 0.1
0.1000000000000000055511151231257827021181583404541015625

Isto contém muito mais dígitos do que é o esperado e utilizado pela grande maioria dos desenvolvedores, portanto, o Python limita o número de dígitos exibidos, apresentando um valor arredondado, ao invés de mostrar todas as casas decimais:

>>> 1 / 10
0.1

Lembre-se, mesmo que o resultado impresso seja o valor exato de 1/10, o valor que verdadeiramente estará armazenado será uma fração binária representável que mais se aproxima.

Curiosamente, existem muitos números decimais diferentes que compartilham a mesma fração binária aproximada. Por exemplo, os números 0.1 ou o 0.10000000000000001 e 0.1000000000000000055511151231257827021181583404541015625 são todos aproximações de 3602879701896397 / 2 ** 55. Como todos esses valores decimais compartilham um mesma de aproximação, qualquer um poderá ser exibido enquanto for preservado o invariante eval(repr(x)) == x.

Historicamente, o prompt do Python e a função embutida repr() utilizariam o que contivesse 17 dígitos significativos, 0.10000000000000001. Desde a versão do Python 3.1, o Python (na maioria dos sistemas) agora é possível optar pela forma mais reduzida, exibindo simplesmente o número 0.1.

Note que essa é a própria natureza do ponto flutuante binário: não é um bug do Python, e nem é um bug do seu código. Essa situação pode ser observada em todas as linguagens que usam as instruções aritméticas de ponto flutuante do hardware (apesar de algumas linguagens não mostrarem a diferença, por padrão, ou em todos os modos de saída).

Para obter um valor mais agradável, poderás utilizar a formatação de sequência de caracteres para produzir um número limitado de dígitos significativos:

>>> format(math.pi, '.12g')  # ponto flutuante fornece 12 dígitos significativos
'3.14159265359'

>>> format(math.pi, '.2f')   # ponto flutuante fornece 2 dígitos significativos
'3.14'

>>> repr(math.pi)
'3.141592653589793'

É importante perceber que tudo não passa de pura ilusão: estas simplesmente arredondando a exibição da verdadeira maquinaria do valor.

Uma ilusão pode gerar outra. Por exemplo, uma vez que 0.1 não é exatamente 1/10, somar três vezes o valor 0.1, não garantirá que o resultado seja exatamente 0.3, isso porque:

>>> 0.1 + 0.1 + 0.1 == 0.3
False

Inclusive, uma vez que o 0.1 não consegue aproximar-se do valor exato de 1/10 e 0.3 não pode se aproximar mais do valor exato de 3/10, temos então que o pré-arredondamento com a função round() não servirá como ajuda:

>>> round(0.1, 1) + round(0.1, 1) + round(0.1, 1) == round(0.3, 1)
False

Embora os números não possam se aproximar mais dos exatos valores que desejamos, a função math.isclose() poderá ser útil para comparar valores inexatos:

>>> math.isclose(0.1 + 0.1 + 0.1, 0.3)
True

Alternativamente, a função round() pode ser usada para comparar aproximações aproximadas:

>>> round(math.pi, ndigits=2) == round(22 / 7, ndigits=2)
True

A aritmética binária de ponto flutuante contém muitas surpresas como essa. O problema com “0.1” é explicado em detalhes precisos abaixo, na seção “Erro de representação”. Consulte Exemplos de problemas de ponto flutuante [https://jvns.ca/blog/2023/01/13/examples-of-floating-point-problems/] (em inglês) para obter um resumo agradável de como o ponto flutuante binário funciona e os tipos de problemas comumente encontrados na prática. Veja também Os perigos do ponto flutuante [http://www.indowsway.com/floatingpoint.htm] (em inglês) para um relato mais completo de outras surpresas comuns.

Como dizemos perto do final, “não há respostas fáceis”. Ainda assim, não se percam indevidamente no uso do ponto flutuante! Os erros nas operações do tipo float do Python são heranças do hardware de ponto flutuante e, a maioria dos computadores estão na ordem de não mais do que 1 parte em 2**53 por operação. Isso é mais do que o suficiente para a maioria das tarefas, portanto, é importante lembrar que não se trata de uma aritmética decimal e que toda operação com o tipo float poderá via a apresentar novos problemas referentes ao arredondamento.

Embora existam casos patológicos, na maior parte das vezes, terás como resultado final o valor esperado, se simplesmente arredondares a exibição final dos resultados para a quantidade de dígitos decimais que esperas a função str() geralmente será o suficiente, e , para seja necessário um valor refinado, veja os especificadores de formato str.format() contido na seção Sintaxe das strings de formato.

Para as situações que exijam uma representação decimal exata, experimente o módulo decimal que possui, a implementação de uma adequada aritmética decimal bastante utilizada nas aplicações contábeis e pelas aplicações que demandam alta precisão.

Uma outra forma de obter uma aritmética exata tem suporte pelo módulo fracções que implementa a aritmética baseada em números racionais (portanto, os números fracionários como o 1/3 conseguem uma representação precisa).

Caso necessites fazer um intenso uso das operações de ponto flutuante, é importante que conheças o pacote NumPy e, também é importante dizer, que existem diversos pacotes destinados ao trabalho intenso com operações matemáticas e estatísticas que são fornecidas pelo projeto SciPy. Veja <https://scipy.org>.

O Python fornece ferramentas que podem ajudar nessas raras ocasiões em que realmente faz necessário conhecer o valor exato de um ponto flutuante. O método float.as_integer_ratio() expressa o valor de um número do tipo float em sua forma fracionária:

>>> x = 3.14159
>>> x.as_integer_ratio()
(3537115888337719, 1125899906842624)

Uma vez que a relação seja exata, será possível utiliza-la para obter, sem que haja quaisquer perda do valor original:

>>> x == 3537115888337719 / 1125899906842624
True

O método float.hex() expressa um ponto flutuante em hexadecimal (base 16), o mesmo também retornará o valor exato pelo computador:

>>> x.hex()
'0x1.921f9f01b866ep+1'

Sua precisa representação hexadecimal poderá ser utilizada para reconstruir o valor exato do ponto flutuante:

>>> x == float.fromhex('0x1.921f9f01b866ep+1')
True

Como a representação será exata, é interessante utilizar valores confiáveis em diferentes versões do Python (independente da plataforma) e a troca de dados entre idiomas diferentes que forneçam o mesmo formato (como o Java e o C99).

Uma outra ferramenta que poderá ser útil é a função sum() que ajuda a mitigar a perda de precisão durante a soma. Ele usa precisão estendida para etapas intermediárias de arredondamento, pois os valores serão adicionados a um total em execução. Isso poderá fazer a diferença na precisão geral de forma que os erros não se acumulem chegando ao ponto de afetar o resultado final:

>>> 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 == 1.0
False
>>> sum([0.1] * 10) == 1.0
True

A função math.fsum() vai além e rastreia todos os “dígitos perdidos” à medida que os valores são adicionados a um total contínuo, de modo que o resultado tenha apenas um único arredondamento. Isso é mais lento que sum(), mas será mais preciso em casos incomuns em que entradas de grande magnitude se cancelam, deixando uma soma final próxima de zero:

>>> arr = [-0.10430216751806065, -266310978.67179024, 143401161448607.16,
...        -143401161400469.7, 266262841.31058735, -0.003244936839808227]
>>> float(sum(map(Fraction, arr)))   # Soma exata com arredondamento simples
8.042173697819788e-13
>>> math.fsum(arr)                   # Arredondamento simples
8.042173697819788e-13
>>> sum(arr)                         # Arredondamentos múltiplos em precisão estendida
8.042178034628478e-13
>>> total = 0.0
>>> for x in arr:
...     total += x                   # Arredondamentos múltiplos em precisão padrão
...
>>> total                            # A adição direta não tem dígitos corretos!
-0.0051575902860057365

15.1. Erro de representação

Esta seção explica o exemplo do “0.1” em detalhes, e mostra como poderás realizar uma análise exata de casos semelhantes. Presumimos que tenhas uma familiaridade básica com a representação binária de ponto flutuante.

Erro de representação refere-se ao fato de que algumas frações decimais (a maioria, na verdade) não podem ser representadas exatamente como frações binárias (base 2). Esta é a principal razão por que o Python (ou Perl, C, C++, Java, Fortran, e muitas outras) frequentemente não exibe o número decimal exato conforme o esperado:

Por que isso acontece? 1/10 não é representado exatamente ​​sendo fração binária. Desde pelo menos 2000, quase todas as máquinas usam aritmética binária de ponto flutuante da IEEE 754 e quase todas as plataformas representam pontos flutuante do Python como valores binary64 de “double precision” (dupla precisão) da IEEE 754. Os valores binary64 da IEEE 754 têm 53 bits de precisão, por isso na entrada o computador se esforça para converter “0.1” para a fração mais próxima que puder, na forma J/2**N onde J é um número inteiro contendo exatamente 53 bits. Reescrevendo:

1 / 10 ~= J / (2**N)

como

J ~= 2**N / 10

e recordando que J tenha exatamente 53 bits (é >= 2**52, mas < 2**53), o melhor valor para N é 56:

>>> 2**52 <=  2**56 // 10  < 2**53
True

Ou seja, 56 é o único valor de N que deixa J com exatamente 53 bits. Portanto, o melhor valor que conseguimos obter pra J será aquele que possui o quociente arredondado:

>>> q, r = divmod(2**56, 10)
>>> r
6

Uma vez que o resto seja maior do que a metade de 10, a melhor aproximação que poderá ser obtida se arredondarmos para cima:

>>> q+1
7205759403792794

Portanto, a melhor aproximação possível de 1/10 como um “IEEE 754 double precision” é:

7205759403792794 / 2 ** 56

Dividir o numerador e o denominador por dois reduzirá a fração para:

3602879701896397 / 2 ** 55

Note que, como arredondamos para cima, esse valor é, de fato, um pouco maior que 1/10; se não tivéssemos arredondado para cima, o quociente teria sido um pouco menor que 1/10. Mas em nenhum caso seria possível obter exatamente o valor 1/10!

Por isso, o computador nunca “vê” 1/10: o que ele vê é exatamente a fração que é obtida pra cima, a melhor aproximação “IEEE 754 double” possível é:

>>> 0.1 * 2 ** 55
3602879701896397.0

Se multiplicarmos essa fração por 10**55, podemos ver o valor contendo os 55 dígitos mais significativos:

>>> 3602879701896397 * 10 ** 55 // 2 ** 55
1000000000000000055511151231257827021181583404541015625

o que significa que o número exato armazenado no computador é igual ao valor decimal 0.1000000000000000055511151231257827021181583404541015625. Em vez de exibir o valor decimal completo, muitas linguagens (incluindo versões mais antigas do Python), arredondam o resultado para 17 dígitos significativos:

>>> format(0.1, '.17f')
'0.10000000000000001'

Módulos como o fractions e o decimal tornam esses cálculos muito mais fáceis:

>>> from decimal import Decimal
>>> from fractions import Fraction

>>> Fraction.from_float(0.1)
Fraction(3602879701896397, 36028797018963968)

>>> (0.1).as_integer_ratio()
(3602879701896397, 36028797018963968)

>>> Decimal.from_float(0.1)
Decimal('0.1000000000000000055511151231257827021181583404541015625')

>>> format(Decimal.from_float(0.1), '.17')
'0.10000000000000001'

16. Anexo

16.1. Modo interativo

Existem duas variantes do REPL interativo. O interpretador básico clássico é compatível com todas as plataformas com recursos mínimos de controle de linha.

No Windows, ou em sistemas do tipo Unix com suporte a curses, um novo console interativo é usado por padrão. Este oferece suporte a cores, edição multilinha, navegação no histórico e modo de colagem. Para desabilitar a cor, veja Controlando cores para detalhes. As teclas de função fornecem algumas funcionalidades adicionais. F1 entra no navegador de ajuda interativo pydoc. F2 permite navegar no histórico da linha de comando sem saída nem os prompts >>> e …. F3 entra no “modo de colagem”, o que torna mais fácil colar blocos maiores de código. Pressione F3 para retornar ao prompt normal.

Ao usar o novo console interativo, saia do shell digitando exit ou quit. Não é necessário adicionar parênteses de chamada após esses comandos.

Se o novo shell interativo não for desejado, ele pode ser desabilitado através da variável de ambiente PYTHON_BASIC_REPL.

16.1.1. Tratamento de erros

Quando um erro ocorre, o interpretador exibe uma mensagem de erro e um stack trace (rastreamento de pilha). Se estiver no modo interativo, ele volta para o prompt primário; se a entrada veio de um arquivo, a execução termina com um status de saída nonzero (diferente de zero) após a exibição do stack trace. (Exceções tratadas por uma cláusula except numa declaração try não são consideradas erros, nesse contexto.) Alguns erros são irremediavelmente graves e causam términos de execução com status de saída nonzero; isso pode acontecer devido a inconsistências internas e em alguns casos por falta de memória. Todas as mensagens de erro são escritas no fluxo de erros padrão; a saída normal resultante da execução de comandos é escrita no canal de saída padrão.

Digitar o caractere de interrupção (geralmente Control-C ou Delete) em prompts primários ou secundários causam a interrupção da entrada de dados e o retorno ao prompt primário. [1] Digitar a interrupção durante a execução de um comando levanta a exceção KeyboardInterrupt, que pode ser tratada por uma declaração try.

16.1.2. Scripts Python executáveis

Em sistemas Unix similares ao BSD, scripts Python podem ser executados diretamente, tal como scripts shell, se tiverem a linha de código

#!/usr/bin/env python3

(presumindo que o interpretador está na PATH do usuário) no começo do script e configurando o arquivo no modo executável. Os dois primeiros caracteres do arquivo devem ser #!. Em algumas plataformas, essa primeira linha deve terminar com uma quebra de linha em estilo Unix ('\n'), e não em estilo windows ('\r\n'). Note que o caractere '#' (em inglês chamado de hash, ou pound etc.), é usado em Python para marcar o início de um comentário.

O script pode receber a permissão para atuar em modo executável através do comando chmod.

$ chmod +x meuscript.py

Em sistemas Windows, não existe a noção de um “modo executável”. O instalador Python associa automaticamente os arquivos .py com o python.exe, de forma que um clique duplo num arquivo Python o executará como um script. A extensão pode ser também .pyw, o que omite a janela de console que normalmente aparece.

16.1.3. Arquivo de inicialização do modo interativo

Quando se usa o Python no modo interativo, pode ser útil definir alguns comandos que sejam executados automaticamente toda vez que o interpretador for inicializado. Isso pode ser feito configurando-se uma variável de ambiente chamada PYTHONSTARTUP para que ela aponte para o arquivo contendo esses comandos. Isso é similar ao recurso .profile das shells Unix.

Esse arquivo será lido apenas em sessões do modo interativo, e não quando Python lê comandos de um script, tampouco quando /dev/tty é passado explicitamente como a origem dos comandos (neste caso, teremos um comportamento similar a uma sessão interativa padrão). Ele é executado no mesmo namespace (espaço de nomes) em que os comandos interativos são executados, de modo que os objetos que ele define ou importa possam ser usados sem qualificação na sessão interativa. Também é possível alterar os prompts sys.ps1 e sys.ps2 no mesmo arquivo.

Caso deseje usar um arquivo de inicialização adicional a partir do atual diretório de trabalho, você pode programá-lo no arquivo de inicialização global usando um código parecido com if os.path.isfile('.pythonrc.py'): exec(open('.pythonrc.py').read()). Se quiser usar o arquivo de inicialização num script, será necessário fazê-lo explicitamente no script:

import os
filename = os.environ.get('PYTHONSTARTUP')
if filename and os.path.isfile(filename):
    with open(filename) as fobj:
        startup_file = fobj.read()
    exec(startup_file)

16.1.4. Módulos de customização

Python oferece dois hooks que permitem sua customização: sitecustomize e usercustomize. Para entender como funcionam, primeiro você deve localizar o diretório site-packages do usuário. Inicie o Python e execute este código:

>>> import site
>>> site.getusersitepackages()
'/home/user/.local/lib/python3.x/site-packages'

Agora você pode criar um arquivo chamado usercustomize.py neste diretório e colocar qualquer coisa que quiser dentro. Isto vai afetar toda invocação do Python, a menos que seja iniciado com a opção -s para desabilitar a importação automática.

sitecustomize funciona da mesma forma, mas normalmente é criado por um administrador do computador no diretório site-packages global e é importado antes de usercustomize. Veja a documentação do módulo site para mais detalhes.

Notas de rodapé

[1]

Um problema com a package GNU Readline pode impedir que isso aconteça.

Configurações e Uso do Python

Esta parte da documentação é dedicada a informações gerais sobre a configuração do ambiente Python em diferentes plataformas, a chamada do interpretador e outras coisas que facilitam o trabalho com o Python.

1. Linha de comando e ambiente

1.1. Linha de comando

1.2. Variáveis de ambiente

2. Utilizando Python em plataformas Unix

2.1. Obtendo e instalando a versão mais recente do Python

2.2. Compilando o Python

2.3. Paths e arquivos relacionados com o Python

2.4. Diversos

2.5. OpenSSL personalizado

3. Configurar o Python

3.1. Requisitos de construção

3.2. Arquivos gerados

3.3. Opções de configuração

3.4. Sistema de Construção Python

3.5. Sinalizadores do compilador e do vinculador

4. Utilizando Python no Windows

4.1. O instalador completo

4.2. O pacote Microsoft Store

4.3. Os pacotes nuget.org

4.4. O pacote embutível

4.5. Pacotes Alternativos

4.6. Configurando o Python

4.7. Modo UTF-8

4.8. Inicializador Python para Windows

4.9. Encontrando módulos

4.10. Módulos adicionais

4.11. Compilando Python no Windows

4.12. Outras plataformas

5. Usando Python em macOS

5.1. Usando Python para macOS do python.org

5.2. Distribuições alternativas

5.3. Instalando pacotes adicionais ao python

5.4. Programação de GUI

5.5. Tópicos Avançados

5.6. Outros recursos

6. Utilizando Python no Android

6.1. Adicionando Python a uma aplicação Android

7. Usando Python no iOS

7.1. Python em tempo de execução no iOS

7.2. Instalando Python no iOS

7.3. Conformidade com a App Store

8. Editores e IDEs

1. Linha de comando e ambiente

O interpretador do CPython verifica a linha de comando e o ambiente em busca de várias configurações.

Detalhes da implementação do CPython: Os esquemas de linha de comando de outras implementações podem ser diferentes. Consulte Implementações Alternativas para mais recursos.

1.1. Linha de comando

Ao invocar o Python, você pode especificar qualquer uma destas opções:

python [-bBdEhiIOPqRsSuvVWx?] [-c comando | -m nome-módulo | script | - ] [args]

O caso de uso mais comum é, obviamente, uma simples invocação de um script:

python meuscript.py

1.1.1. Opções de interface

A interface do interpretador é semelhante à do console do UNIX, mas fornece alguns métodos adicionais de chamada:

Quando chamado com a entrada padrão conectada a um dispositivo tty, ele solicita comandos e os executa até um EOF (um caractere de fim de arquivo, você pode produzi-lo com Ctrl-D no UNIX ou Ctrl-Z, Enter no Windows) ser lido. Para mais sobre o modo interativo, veja Modo interativo.

Quando chamado com um argumento de nome de arquivo ou com um arquivo como entrada padrão, ele lê e executa um script desse arquivo.

Quando chamado com um argumento de nome de diretório, ele lê e executa um script nomeado adequadamente desse diretório.

Quando chamado com -c command, ele executa as instruções Python fornecidas como command. Aqui command pode conter várias instruções separadas por novas linhas. O espaço em branco à esquerda é significativo nas instruções do Python!

Quando chamado com -m module-name, o módulo fornecido está localizado no caminho do módulo Python e é executado como um script.

No modo não interativo, toda a entrada é analisada antes de ser executada.

Uma opção de interface termina a lista de opções consumidas pelo interpretador, todos os argumentos consecutivos terminam em sys.argv – observe que o primeiro elemento, subscrito zero (sys.argv[0]) , é uma string que reflete a fonte do programa.

-c <command>

Executa o código Python em command. command pode ser uma ou mais instruções separadas por novas linhas, com espaços em branco à esquerda significativos, como no código normal do módulo.

Se esta opção for fornecida, o primeiro elemento de sys.argv será "-c" e o diretório atual será adicionado ao início de sys.path (permitindo módulos nesse diretório para ser importado como módulos de nível superior).

Levanta um evento de auditoria cpython.run_command com o argumento command.

-m <module-name>

Procura sys.path pelo módulo nomeado e executa seu conteúdo como o módulo __main__.

Como o argumento é um nome de module, você não deve fornecer uma extensão de arquivo (.py). O nome do módulo deve ser um nome de módulo Python absoluto válido, mas a implementação nem sempre pode impor isso (por exemplo, pode permitir que você use um nome que inclua um hífen).

Nomes de pacotes (incluindo pacotes de espaço de nomes) também são permitidos. Quando um nome de pacote é fornecido ao invés de um módulo normal, o interpretador irá executar <pkg>.__main__ como o módulo principal. Esse comportamento é deliberadamente semelhante ao tratamento de diretórios e arquivos zip que são passados para o interpretador como o argumento do script.

Nota

Esta opção não pode ser usada com módulos embutidos e módulos de extensão escritos em C, uma vez que eles não possuem arquivos de módulo Python. No entanto, ele ainda pode ser usado para módulos pré-compilados, mesmo se o arquivo fonte original não estiver disponível.

Se esta opção for fornecida, o primeiro elemento de sys.argv será o caminho completo para o arquivo do módulo (enquanto o arquivo do módulo está sendo localizado, o primeiro elemento será definido como "-m"). Como com a opção -c, o diretório atual será adicionado ao início de sys.path.

A opção -I pode ser usada para executar o script em modo isolado onde sys.path não contém nem o diretório atual nem o diretório de pacotes de sites do usuário. Todas as variáveis de ambiente PYTHON* são ignoradas também.

Muitos módulos de biblioteca padrão contêm código que é chamado em sua execução como um script. Um exemplo é o módulo timeit:

python -m timeit -s "configuração inicial aqui" "código a ser analisado aqui"
python -m timeit -h # para detalhes

Levanta um evento de auditoria cpython.run_module com o argumento module-name.

Ver também

runpy.run_module()

Funcionalidade equivalente diretamente disponível para o código Python

PEP 338 [https://peps.python.org/pep-0338/] – Executando módulos como scripts

Alterado na versão 3.1: Forneça o nome do pacote para executar um submódulo __main__.

Alterado na versão 3.4: pacotes de espaço de nomes também são suportados

-

Lê os comandos da entrada padrão (sys.stdin). Se a entrada padrão for um terminal, -i está implícito.

Se esta opção for fornecida, o primeiro elemento de sys.argv será "-" e o diretório atual será adicionado ao início de sys.path.

Levanta um evento de auditoria cpython.run_stdin sem argumentos.

<script>

Executa o código Python contido em script, que deve ser um caminho do sistema de arquivos (absoluto ou relativo) referindo-se a um arquivo Python, um diretório contendo um arquivo __main__.py, ou um arquivo zip contendo um arquivo __main__.py.

Se esta opção for fornecida, o primeiro elemento de sys.argv será o nome do script conforme fornecido na linha de comando.

Se o nome do script se referir diretamente a um arquivo Python, o diretório que contém esse arquivo é adicionado ao início de sys.path, e o arquivo é executado como o módulo __main__.

Se o nome do script se referir a um diretório ou arquivo zip, o nome do script será adicionado ao início de sys.path e o arquivo __main__.py nesse local será executado como o módulo __main__.

A opção -I pode ser usada para executar o script em modo isolado onde sys.path não contém nem o diretório do script nem o diretório de pacotes de sites do usuário. Todas as variáveis de ambiente PYTHON* são ignoradas também.

Levanta um evento de auditoria cpython.run_file com o argumento filename.

Ver também

runpy.run_path()

Funcionalidade equivalente diretamente disponível para o código Python

Se nenhuma opção de interface for fornecida, -i está implícito, sys.argv[0] é uma string vazia ("") e o diretório atual será adicionado ao início de sys.path. Além disso, o preenchimento por tab e a edição do histórico são habilitados automaticamente, se disponíveis em sua plataforma (veja Configuração Readline).

Ver também

Chamando o interpretador

Alterado na versão 3.4: Ativação automática de preenchimento com tab e edição de histórico.

1.1.2. Opções genéricas

-?

-h

--help

Imprime uma breve descrição de todas as opções de linha de comando e variáveis de ambiente correspondentes e sai.

--help-env

Imprime uma breve descrição das variáveis de ambiente específicas do Python e sai.

Adicionado na versão 3.11.

--help-xoptions

Imprime uma descrição das opções -X específica da implementação e sai.

Adicionado na versão 3.11.

--help-all

Imprime as informações de uso completas e sai.

Adicionado na versão 3.11.

-V

--version

Exibe o número da versão do Python e saia. O exemplo de saída poderia ser:

Python 3.8.0b2+

Quando fornecido duas vezes, exibe mais informações sobre a construção, como:

Python 3.8.0b2+ (3.8:0c076caaa8, Apr 20 2019, 21:55:00)
[GCC 6.2.0 20161005]

Adicionado na versão 3.6: A opção -VV.

1.1.3. Opções diversas

-b

Emite um aviso ao converter bytes ou bytearray para str sem especificar codificação ou comparar bytes ou bytearray com str ou bytes com int. Emite um erro quando a opção é fornecida duas vezes (-bb).

Alterado na versão 3.5: Afeta também comparações de bytes com int.

-B

Se fornecido, Python não tentará escrever arquivos .pyc na importação de módulos fonte. Veja também PYTHONDONTWRITEBYTECODE.

--check-hash-based-pycs default|always|never

Controla o comportamento de validação de arquivos .pyc baseados em hash. Veja Invalidação de bytecode em cache. Quando definido como default, os arquivos de cache bytecode baseados em hash verificados e não verificados são validados de acordo com sua semântica padrão. Quando definido como always, todos os arquivos .pyc baseados em hash, sejam verificados ou não verificados, são validados para seus arquivos fonte correspondentes. Quando definido como never, os arquivos .pyc baseados em hash não são validados para seus arquivos fonte correspondentes.

A semântica dos arquivos .pyc baseados em marca de tempo não é afetada por esta opção.

-d

Ativa a saída analisador sintático de depuração (uso avançado). Consulte também a variável de ambiente PYTHONDEBUG.

Essa opção requer uma construção de depuração do Python, caso contrário, será ignorada.

-E

Ignora todas as variáveis de ambiente PYTHON*, por exemplo PYTHONPATH e PYTHONHOME, que pode ser definido.

Veja também as opções -P e -I (isolado).

-i

Quando um script é passado como primeiro argumento ou a opção -c é usada, entre no modo interativo depois de executar o script ou o comando, mesmo quando sys.stdin não parece ser um terminal. O arquivo PYTHONSTARTUP não foi lido.

Isso pode ser útil para inspecionar variáveis globais ou um stack trace (situação da pilha de execução) quando um script levanta uma exceção. Veja também PYTHONINSPECT.

-I

Executa o Python no modo isolado. Isso também implica nas opções -E, -P e -s.

No modo isolado, sys.path não contém o diretório do script nem o diretório de pacotes do site do usuário. Todas as variáveis de ambiente PYTHON* são ignoradas também. Outras restrições podem ser impostas para evitar que o usuário injete código malicioso.

Adicionado na versão 3.4.

-O

Remova as instruções de asserção e qualquer código condicional ao valor de __debug__. Aumenta o nome do arquivo para arquivos compilados (bytecode) adicionando .opt-1 antes da extensão .pyc (veja PEP 488 [https://peps.python.org/pep-0488/]). Veja também PYTHONOPTIMIZE.

Alterado na versão 3.5: Modifica nomes de arquivos .pyc conforme a PEP 488 [https://peps.python.org/pep-0488/].

-OO

Faz o mesmo que -O e também descarta docstrings. Aumenta o nome do arquivo para arquivos compilados (bytecode) adicionando .opt-2 antes da extensão .pyc (veja PEP 488 [https://peps.python.org/pep-0488/]).

Alterado na versão 3.5: Modifica nomes de arquivos .pyc conforme a PEP 488 [https://peps.python.org/pep-0488/].

-P

Não anexa um caminho potencialmente inseguro a sys.path:

A linha de comando python -m módulo: Não anexa o diretório atual.

A linha de comando python script.py: não anexa o diretório do script. Se for um link simbólico, resolve os links simbólicos.

Linhas de comando python -c código e python (REPL): Não anexa uma string vazia, o que significa o diretório de trabalho atual.

Veja também a variável de ambiente PYTHONSAFEPATH e as opções -E e -I (isolado).

Adicionado na versão 3.11.

-q

Não exibe as mensagens de direitos autorais e de versão nem mesmo no modo interativo.

Adicionado na versão 3.2.

-R

Habilita a aleatorização com hash. Esta opção só tem efeito se a variável de ambiente PYTHONHASHSEED estiver configurada para 0, uma vez que a aleatorização com hash é habilitada por padrão.

Em versões anteriores do Python, esta opção ativa a aleatorização com hash, para que os valores __hash__() dos objetos str e bytes sejam “salgados” com um valor aleatório imprevisível. Embora permaneçam constantes em um processo Python individual, eles não são previsíveis entre invocações repetidas de Python.

A aleatorização com hash se destina a fornecer proteção contra uma negação de serviço causada por entradas cuidadosamente escolhidas que exploram o pior caso de desempenho de uma inserção de dicionário, complexidade O(n²). Consulte http://ocert.org/advisories/ocert-2011-003.html para obter detalhes.

PYTHONHASHSEED permite que você defina um valor fixo para o segredo da semente de hash.

Adicionado na versão 3.2.3.

Alterado na versão 3.7: A opção não é mais ignorada.

-s

Não adiciona o diretório site-packages de usuário a sys.path.

Veja também PYTHONNOUSERSITE.

Ver também

PEP 370 [https://peps.python.org/pep-0370/] – Diretório site-packages por usuário.

-S

Desabilita a importação do módulo site e as manipulações dependentes do site de sys.path que isso acarreta. Também desabilita essas manipulações se site for explicitamente importado mais tarde (chame site.main() se você quiser que eles sejam acionados).

-u

Força os fluxos stdout e stderr a serem sem buffer. Esta opção não tem efeito no fluxo stdin.

Veja também PYTHONUNBUFFERED.

Alterado na versão 3.7: A camada de texto dos fluxos stdout e stderr agora é sem buffer.

-v

Exibe uma mensagem cada vez que um módulo é inicializado, mostrando o local (nome do arquivo ou módulo embutido) de onde ele é carregado. Quando fornecido duas vezes (-vv), exibe uma mensagem para cada arquivo que é verificado durante a busca por um módulo. Também fornece informações sobre a limpeza do módulo na saída.

Alterado na versão 3.10: O módulo site relata os caminhos específicos do site e os arquivos .pth sendo processados.

Veja também PYTHONVERBOSE.

-W arg

Controle de advertência. O mecanismo de aviso do Python por padrão exibe mensagens de aviso para sys.stderr.

As configurações mais simples aplicam uma determinada ação incondicionalmente a todos os avisos emitidos por um processo (mesmo aqueles que são ignorados por padrão):

-Wdefault  # Avisa uma vez por local de chamada
-Werror    # Converte para exceções
-Walways   # Avisa toda vez
-Wall      # Mesmo que -Walways
-Wmodule   # Avisa uma vez por módulo chamador
-Wonce     # Avisa uma vez por processo do Python
-Wignore   # Nunca avisar

Os nomes das ações podem ser abreviados conforme desejado e o interpretador irá resolvê-los para o nome da ação apropriado. Por exemplo, -Wi é o mesmo que -Wignore.

A forma completa de argumento é:

ação:mensagem:categoria:módulo:número-da-linha

Os campos vazios correspondem a todos os valores; campos vazios à direita podem ser omitidos. Por exemplo, -W ignore::DeprecationWarning ignora todos os avisos de DeprecationWarning.

O campo action é explicado acima, mas se aplica apenas a avisos que correspondem aos campos restantes.

O campo message deve corresponder a toda a mensagem de aviso; essa correspondência não diferencia maiúsculas de minúsculas.

O campo category corresponde à categoria de aviso (ex: DeprecationWarning). Deve ser um nome de classe; o teste de correspondência se a categoria de aviso real da mensagem é uma subclasse da categoria de aviso especificada.

O campo module corresponde ao nome do módulo (totalmente qualificado); esta correspondência diferencia maiúsculas de minúsculas.

O campo lineno corresponde ao número da linha, onde zero corresponde a todos os números da linha e, portanto, é equivalente a um número da linha omitido.

Múltiplas opções -W podem ser fornecidas; quando um aviso corresponde a mais de uma opção, a ação para a última opção correspondente é executada. As opções -W inválidas são ignoradas (embora, uma mensagem de aviso seja exibida sobre opções inválidas quando o primeiro aviso for emitido).

Os avisos também podem ser controlados usando a variável de ambiente PYTHONWARNINGS e de dentro de um programa Python usando o módulo warnings. Por exemplo, a função warnings.filterwarnings() pode ser usada para usar uma expressão regular na mensagem de aviso.

Veja O filtro de avisos e Describing Warning Filters para mais detalhes.

-x

Pula a primeira linha do código-fonte, permitindo o uso de formas não-Unix de #!cmd. Isso se destina apenas a um hack específico do DOS.

-X

Reservado para várias opções específicas de implementação. CPython atualmente define os seguintes valores possíveis:

-X faulthandler para habilitar faulthandler. Veja também PYTHONFAULTHANDLER.

Adicionado na versão 3.3.

-X showrefcount para emitir a contagem de referências total e o número de blocos de memória usados quando o programa termina ou após cada instrução no interpretador interativo. Isso só funciona em construções de depuração.

Adicionado na versão 3.4.

-X tracemalloc para começar a rastrear alocações de memória do Python usando o módulo tracemalloc. Por padrão, apenas o quadro mais recente é armazenado no traceback (situação da pilha de execução) de um rastro. Use -X tracemalloc=NFRAME para iniciar o rastreamento com um limite de traceback de quadros NFRAME. Veja o tracemalloc.start() e PYTHONTRACEMALLOC para mais informações.

Adicionado na versão 3.4.

-X int_max_str_digits configura a limitação de comprimento de string na conversão para inteiro. Veja também PYTHONINTMAXSTRDIGITS.

Adicionado na versão 3.11.

-X importtime para mostrar quanto tempo leva cada importação. Mostra o nome do módulo, tempo cumulativo (incluindo importações aninhadas) e tempo próprio (excluindo importações aninhadas). Observe que sua saída pode ser interrompida em aplicações multithread. O uso típico é python3 -X importtime -c 'import asyncio'. Veja também PYTHONPROFILEIMPORTTIME.

Adicionado na versão 3.7.

-X dev: habilita Modo de Desenvolvimento do Python, introduzindo verificações adicionais de tempo de execução que são muito custosas para serem habilitadas por padrão. Veja também PYTHONDEVMODE.

Adicionado na versão 3.7.

-X utf8 habilita o Modo UTF-8 do Python. -X utf8=0 explicitamente desabilita o Modo UTF-8 do Python (mesmo quando de outra forma seria ativado automaticamente). Veja também PYTHONUTF8.

Adicionado na versão 3.7.

-X pycache_prefix=PATH permite a escrita de arquivos .pyc em uma árvore paralela enraizada em um determinado diretório em vez de na árvore de código. Veja também PYTHONPYCACHEPREFIX.

Adicionado na versão 3.8.

-X warn_default_encoding emite uma EncodingWarning quando a codificação padrão específica da localidade é usada para abrir arquivos. Veja também PYTHONWARNDEFAULTENCODING.

Adicionado na versão 3.10.

-X no_debug_ranges desabilita a inclusão das tabelas que mapeiam informações de localização extra (linha final, deslocamento da coluna inicial e deslocamento da coluna final) para cada instrução em objetos código. Isso é útil quando objetos código menores e arquivos pyc são desejados, bem como suprimir os indicadores de localização visual extra quando o interpretador exibe tracebacks. Veja também PYTHONNODEBUGRANGES.

Adicionado na versão 3.11.

-X frozen_modules determina se os módulos congelados são ou não ignorados pelo maquinário de importação. Um valor de on significa que eles são importados e off significa que eles são ignorados. O padrão é on se este for um Python instalado (o caso normal). Se estiver em desenvolvimento (executando a partir da árvore de origem), o padrão é off. Observe que os módulos congelados importlib_bootstrap e importlib_bootstrap_external são sempre usados, mesmo que esse sinalizador esteja definido como off. Veja também PYTHON_FROZEN_MODULES.

Adicionado na versão 3.11.

-X perf habilita o suporte para o perfilador do Linux perf. Quando essa opção for fornecida, o perfilador perf poderá relatar chamadas Python. Essa opção está disponível somente em algumas plataformas e não fará nada se não for compatível com o sistema atual. A opção padrão valor é “off”. Consulte também PYTHONPERFSUPPORT e Suporte do Python ao perfilador perf do Linux.

Adicionado na versão 3.12.

-X perf_jit habilita o suporte para o perfilador do Linux perf com suporte a DWARF. Quando essa opção for fornecida, o perfilador perf poderá relatar chamadas do Python usando informações de DWARF. Essa opção está disponível somente em algumas plataformas e não fará nada se não for compatível com o sistema atual. A opção padrão valor é “off”. Veja também PYTHON_PERF_JIT_SUPPORT e Suporte do Python ao perfilador perf do Linux.

Adicionado na versão 3.13.

-X cpu_count=n substitui os.cpu_count(), os.process_cpu_count() e multiprocessing.cpu_count(). n deve ser maior ou igual a 1. Esta opção pode ser útil para usuários que precisam limitar os recursos da CPU de um sistema contêiner. Veja também PYTHON_CPU_COUNT. Se n for default, nada será substituído.

Adicionado na versão 3.13.

-X presite=pacote.,módulo especifica um módulo que deve ser importado antes do módulo site ser executado e antes do módulo __main__ existir. Portanto, o módulo importado não é __main__. Isso pode ser usado para executar código antecipadamente durante a inicialização do Python. Python precisa ser construído no modo de depuração para que esta opção exista. Veja também PYTHON_PRESITE.

Adicionado na versão 3.13.

-X gil=0,1 força a GIL a ser desabilitada ou habilitada, respectivamente. A definição para 0 está disponível apenas em construções configuradas com --disable-gil. Veja também PYTHON_GIL e CPython com threads livres.

Adicionado na versão 3.13.

Também permite passar valores arbitrários e recuperá-los através do dicionário sys._xoptions.

Adicionado na versão 3.2.

Alterado na versão 3.9: Removida a opção -X showalloccount.

Alterado na versão 3.10: Removida a opção -X oldparser.

1.1.4. Controlando cores

O interpretador Python é configurado por padrão para usar cores para destacar a saída em determinadas situações, como ao exibir tracebacks. Este comportamento pode ser controlado definindo diferentes variáveis de ambiente.

Definir a variável de ambiente TERM como dumb desativará cores.

Se a variável de ambiente FORCE_COLOR [https://force-color.org/] estiver definida, a cor será habilitada independentemente do valor de TERM. Isso é útil em sistemas CI que não são terminais, mas ainda podem exibir sequências de escape ANSI.

Se a variável de ambiente NO_COLOR [https://no-color.org/] estiver definida, o Python desativará todas as cores na saída. Isto tem precedência sobre FORCE_COLOR.

Todas essas variáveis de ambiente também são usadas por outras ferramentas para controlar a saída de cores. Para controlar a saída de cores apenas no interpretador Python, a variável de ambiente PYTHON_COLORS pode ser usada. Esta variável tem precedência sobre NO_COLOR, que por sua vez tem precedência sobre FORCE_COLOR.

1.1.5. Opções que você não deve usar

-J

Reservado para uso pelo Jython [https://www.jython.org/].

1.2. Variáveis de ambiente

Essas variáveis de ambiente influenciam o comportamento do Python, elas são processadas antes das opções de linha de comando diferentes de -E ou -I. É comum que as opções de linha de comando substituam as variáveis ambientais onde há um conflito.

PYTHONHOME

Altera a localização das bibliotecas Python padrão. Por padrão, as bibliotecas são pesquisadas em prefix/lib/pythonversion e exec_prefix/lib/pythonversion, onde prefix e exec_prefix são diretórios dependentes da instalação, ambos padronizando para /usr/local.

Quando PYTHONHOME é definido como um único diretório, seu valor substitui prefix e exec_prefix. Para especificar valores diferentes para estes, defina PYTHONHOME para prefix:exec_prefix.

PYTHONPATH

Aumenta o caminho de pesquisa padrão para arquivos de módulo. O formato é o mesmo PATH do shell: um ou mais caminhos de diretório separados por os.pathsep (por exemplo, dois pontos no Unix ou ponto e vírgula no Windows). Os diretórios inexistentes são ignorados silenciosamente.

Além dos diretórios normais, entradas individuais PYTHONPATH podem referir-se a arquivos zip contendo módulos Python puros (tanto no código-fonte quanto na forma compilada). Módulos de extensão não podem ser importados de arquivos zip.

O caminho de pesquisa padrão depende da instalação, mas geralmente começa com prefix/lib/pythonversion (veja PYTHONHOME acima). É sempre anexado a PYTHONPATH.

Um diretório adicional será inserido no caminho de pesquisa antes de PYTHONPATH como descrito acima em Opções de interface. O caminho de pesquisa pode ser manipulado de dentro de um programa Python como a variável sys.path.

PYTHONSAFEPATH

Se for definido como uma string não vazia, não anexa um caminho potencialmente inseguro para sys.path: consulte a opção -P para obter detalhes.

Adicionado na versão 3.11.

PYTHONPLATLIBDIR

Se for definido como uma string não vazia, ela substitui o valor sys.platlibdir.

Adicionado na versão 3.9.

PYTHONSTARTUP

Se este for o nome de um arquivo legível, os comandos Python nesse arquivo serão executados antes que o primeiro prompt seja exibido no modo interativo. O arquivo é executado no mesmo espaço de nomes onde os comandos interativos são executados para que os objetos definidos ou importados nele possam ser usados sem qualificação na sessão interativa. Você também pode alterar os prompts sys.ps1 e sys.ps2 e o gancho sys.__interactivehook__ neste arquivo.

Levanta um evento de auditoria cpython.run_startup com o nome de arquivo como argumento quando chamado na inicialização.

PYTHONOPTIMIZE

Se for definido como uma string não vazia, é equivalente a especificar a opção -O. Se definido como um inteiro, é equivalente a especificar -O várias vezes.

PYTHONBREAKPOINT

Se estiver definida, ela nomeia um chamável usando a notação de caminho com pontos. O módulo que contém o chamável será importado e então o chamável será executado pela implementação padrão de sys.breakpointhook() que é chamado pelo breakpoint() embutido. Se não for definido, ou definido como uma string vazia, é equivalente ao valor “pdb.set_trace”. Definir isso para a string “0” faz com que a implementação padrão de sys.breakpointhook() não faça nada além de retornar imediatamente.

Adicionado na versão 3.7.

PYTHONDEBUG

Se for definido como uma string não vazia, é equivalente a especificar a opção -d. Se definido como um inteiro, é equivalente a especificar -d várias vezes.

Essa variável de ambiente requer uma construção de depuração do Python, caso contrário, será ignorada.

PYTHONINSPECT

Se for definido como uma string não vazia, é equivalente a especificar a opção -i.

Esta variável também pode ser modificada pelo código Python usando os.environ para forçar o modo de inspeção no encerramento do programa.

Levanta um evento de auditoria cpython.run_stdin sem argumentos.

Alterado na versão 3.12.5: (também 3.11.10, 3.10.15, 3.9.20 e 3.8.20) Emite eventos de auditoria.

Alterado na versão 3.13: Usa PyrePL, se possível, nesse caso PYTHONSTARTUP também é executado. Emite eventos de auditoria.

PYTHONUNBUFFERED

Se for definido como uma string não vazia, é equivalente a especificar a opção -u.

PYTHONVERBOSE

Se for definido como uma string não vazia, é equivalente a especificar a opção -v. Se definido como um inteiro, é equivalente a especificar -v várias vezes.

PYTHONCASEOK

Se estiver definido, Python não diferencia letras maiúsculas e minúsculas nas instruções import. Isso só funciona no Windows e OS X.

PYTHONDONTWRITEBYTECODE

Se for definido como uma string não vazia, o Python não tentará escrever arquivos .pyc na importação de módulos fonte. Isso é equivalente a especificar a opção -B.

PYTHONPYCACHEPREFIX

Se estiver definido, o Python escreverá os arquivos .pyc em uma árvore de diretório espelho neste caminho, em vez de nos diretórios __pycache__ dentro da árvore de fontes. Isso é equivalente a especificar a opção -X pycache_prefix=PATH.

Adicionado na versão 3.8.

PYTHONHASHSEED

Se esta variável não for definida ou definida como random, um valor aleatório é usado para semear os hashes de objetos str e bytes.

Se PYTHONHASHSEED for definido como um valor inteiro, ele é usado como uma semente fixa para gerar o hash() dos tipos cobertos pela aleatorização do hash.

Sua finalidade é permitir hash repetível, como autotestes do próprio interpretador, ou permitir que um cluster de processos Python compartilhe valores de hash.

O número inteiro deve ser um número decimal no intervalo [0,4294967295]. Especificar o valor 0 desabilitará a aleatorização de hash.

Adicionado na versão 3.2.3.

PYTHONINTMAXSTRDIGITS

Se esta variável estiver definida para um inteiro, é usada para configurar a limitação de comprimento de string na conversão para inteiro global do interpretador.

Adicionado na versão 3.11.

PYTHONIOENCODING

Se for definido antes de executar o interpretador, ele substitui a codificação usada para stdin/stdout/stderr, na sintaxe encodingname:errorhandler. Ambas as partes encodingname e :errorhandler são opcionais e têm o mesmo significado que em str.encode().

Para stderr, a parte :errorhandler é ignorada; o tratador sempre será 'backslashreplace'.

Alterado na versão 3.4: A parte encodingname é agora opcional.

Alterado na versão 3.6: No Windows, a codificação especificada por esta variável é ignorada para buffers de console interativo, a menos que PYTHONLEGACYWINDOWSSTDIO também seja especificado. Arquivos e canais redirecionados por meio de fluxos padrão não são afetados.

PYTHONNOUSERSITE

Se estiver definido, o Python não adicionará o diretório site-packages do usuário a sys.path.

Ver também

PEP 370 [https://peps.python.org/pep-0370/] – Diretório site-packages por usuário.

PYTHONUSERBASE

Define o diretório base do usuário, que é usado para calcular o caminho do diretório site-packages do usuário e caminhos de instalação para python -m pip install --user.

Ver também

PEP 370 [https://peps.python.org/pep-0370/] – Diretório site-packages por usuário.

PYTHONEXECUTABLE

Se esta variável de ambiente for definida, sys.argv[0] será definido com seu valor em vez do valor obtido através do tempo de execução C. Funciona apenas no macOS.

PYTHONWARNINGS

Isso é equivalente à opção -W. Se definido como uma string separada por vírgulas, é equivalente a especificar -W várias vezes, com os filtros posteriores na lista tendo precedência sobre os anteriores na lista.

As configurações mais simples aplicam uma determinada ação incondicionalmente a todos os avisos emitidos por um processo (mesmo aqueles que são ignorados por padrão):

PYTHONWARNINGS=default  # Avisa uma vez por local de chamada
PYTHONWARNINGS=error    # Converte para exceções
PYTHONWARNINGS=always   # Avisa toda vez
PYTHONWARNINGS=all      # Mesmo que PYTHONWARNINGS=always
PYTHONWARNINGS=module   # Avisa uma vez por módulo chamador
PYTHONWARNINGS=once     # Avisa uma vez por processo do Python
PYTHONWARNINGS=ignore   # Nunca avisar

Veja O filtro de avisos e Describing Warning Filters para mais detalhes.

PYTHONFAULTHANDLER

Se esta variável de ambiente for definida como uma string não vazia, faulthandler.enable() é chamado na inicialização: instale um tratador para os sinais SIGSEGV, SIGFPE, SIGABRT, SIGBUS e SIGILL para despejar o traceback (situação da pilha de execução) do Python. Isso é equivalente à opção -X faulthandler.

Adicionado na versão 3.3.

PYTHONTRACEMALLOC

Se esta variável de ambiente for definida como uma string não vazia, começa a rastrear as alocações de memória Python usando o módulo tracemalloc. O valor da variável é o número máximo de quadros armazenados em um traceback de um rastreamento. Por exemplo, PYTHONTRACEMALLOC=1 armazena apenas o quadro mais recente. Veja a função tracemalloc.start() para mais informações. Isso é o equivalente a definir a opção -X tracemalloc.

Adicionado na versão 3.4.

PYTHONPROFILEIMPORTTIME

Se esta variável de ambiente for definida como uma string não vazia, o Python mostrará quanto tempo leva cada importação. Isso é o equivalente a definir a opção -X importtime.

Adicionado na versão 3.7.

PYTHONASYNCIODEBUG

Se esta variável de ambiente for definida como uma string não vazia, habilita o modo de depuração do módulo asyncio.

Adicionado na versão 3.4.

PYTHONMALLOC

Define os alocadores de memória Python e/ou instale ganchos de depuração.

Define a família de alocadores de memória usados ​​pelo Python:

default: usa os alocadores padrão de memória.

malloc: usa a função malloc() da biblioteca C para todos os domínios (PYMEM_DOMAIN_RAW, PYMEM_DOMAIN_MEM, PYMEM_DOMAIN_OBJ).

pymalloc: usa o alocador pymalloc para domínios PYMEM_DOMAIN_MEM e PYMEM_DOMAIN_OBJ e usa a função malloc() para o domínio PYMEM_DOMAIN_RAW.

mimalloc: usa o alocador mimalloc para domínios PYMEM_DOMAIN_MEM e PYMEM_DOMAIN_OBJ e usa a função malloc() para o domínio PYMEM_DOMAIN_RAW.

Instala ganchos de depuração:

debug: instala os ganchos de depuração sobre os alocadores padrão de memória.

malloc_debug: o mesmo que malloc, mas também instala ganchos de depuração.

pymalloc_debug: o mesmo que pymalloc, mas também instala ganchos de depuração.

mimalloc_debug: o mesmo que mimalloc, mas também instala ganchos de depuração.

Adicionado na versão 3.6.

Alterado na versão 3.7: Adicionado o alocador "default".

PYTHONMALLOCSTATS

Se definido como uma string não vazia, o Python exibe estatísticas do alocador de memória pymalloc toda vez que uma nova arena de objeto pymalloc for criada e ao no desligamento.

Esta variável é ignorada se a variável de ambiente PYTHONMALLOC é usada para forçar o alocador malloc() da biblioteca C, ou se Python está configurado sem suporte a pymalloc.

Alterado na versão 3.6: Esta variável agora também pode ser usada em Python compilado no modo de lançamento. Agora não tem efeito se definido como uma string vazia.

PYTHONLEGACYWINDOWSFSENCODING

Se definido como uma string não vazia, o modo padrão do tratador de erros e codificação do sistema de arquivos irá reverter para seus valores pré-3.6 de “mbcs” e “replace”, respectivamente. Caso contrário, os novos padrões “utf-8” e “surrogatepass” serão usados.

Isso também pode ser habilitado em tempo de execução com sys._enablelegacywindowsfsencoding().

Disponibilidade

Adicionado na versão 3.6: Veja PEP 529 [https://peps.python.org/pep-0529/] para mais detalhes.

PYTHONLEGACYWINDOWSSTDIO

Se definido como uma string não vazia, não usa o novo leitor e escritor de console. Isso significa que os caracteres Unicode serão codificados de acordo com a página de código do console ativo, em vez de usar utf-8.

Esta variável é ignorada se os fluxos padrão forem redirecionados (para arquivos ou canais) em vez de se referir aos buffers do console.

Disponibilidade

Adicionado na versão 3.6.

PYTHONCOERCECLOCALE

Se definido com o valor 0, faz com que a aplicação principal de linha de comando Python ignore a coerção dos códigos de idioma legados C e POSIX baseados em ASCII para uma alternativa baseada em UTF-8 mais capaz.

Se esta variável não estiver definida (ou estiver definida para um valor diferente de 0), a variável de ambiente de substituição de localidade LC_ALL também não será definida, e a localidade atual relatada para a categoria LC_CTYPE é a localidade C padrão, ou então a localidade POSIX explicitamente baseada em ASCII, então a CLI do Python tentará configurar as seguintes localidades para a categoria LC_CTYPE na ordem listada antes de carregar o tempo de execução do interpretador:

C.UTF-8

C.utf8

UTF-8

Se a configuração de uma dessas categorias de local for bem-sucedida, a variável de ambiente LC_CTYPE também será configurada de acordo no ambiente de processo atual antes que o tempo de execução do Python seja inicializado. Isso garante que, além de ser visto pelo próprio interpretador e outros componentes com reconhecimento de localidade em execução no mesmo processo (como a biblioteca GNU readline), a configuração atualizada também é vista em subprocessos (independentemente de ou não esses processos estão executando um interpretador Python), bem como em operações que consultam o ambiente em vez da localidade C atual (como o locale.getdefaultlocale() do próprio Python).

Configurar uma dessas localidades (explicitamente ou por meio da coerção de localidade implícita acima) habilita automaticamente o tratador de erros surrogateescape para sys.stdin e sys.stdout (sys.stderr continua a usar backslashreplace como faz em qualquer outra localidade). Este comportamento de tratamento de fluxo pode ser substituído usando PYTHONIOENCODING como de costume.

Para fins de depuração, definir PYTHONCOERCECLOCALE=warn fará com que o Python emita mensagens de aviso em stderr se a coerção de localidade for ativada ou se uma localidade que teria acionado a coerção ainda estiver ativa quando o Python o tempo de execução é inicializado.

Observe também que mesmo quando a coerção de localidade está desabilitada, ou quando não consegue encontrar uma localidade de destino adequada, PYTHONUTF8 ainda será ativado por padrão em localidades baseadas em ASCII legadas. Ambos os recursos devem ser desabilitados para forçar o interpretador a usar ASCII ao invés de UTF-8 para interfaces de sistema.

Disponibilidade

Adicionado na versão 3.7: Veja PEP 538 [https://peps.python.org/pep-0538/] para mais detalhes.

PYTHONDEVMODE

Se esta variável de ambiente for definida como uma string não vazia, habilita Modo de Desenvolvimento do Python, introduzindo verificações adicionais de tempo de execução que são muito caras para serem habilitadas por padrão. Isso é o equivalente a definir a opção -X dev.

Adicionado na versão 3.7.

PYTHONUTF8

Se definido para 1, habilita o modo UTF-8 do Python.

Se definido para 0, desabilita o modo UTF-8 do Python.

Definir qualquer outra string não vazia causa um erro durante a inicialização do interpretador.

Adicionado na versão 3.7.

PYTHONWARNDEFAULTENCODING

Se esta variável de ambiente for definida como uma string não vazia, emite uma EncodingWarning quando a codificação padrão específica da localidade é usada.

Veja Opt-in EncodingWarning para detalhes.

Adicionado na versão 3.10.

PYTHONNODEBUGRANGES

Se esta variável estiver definida, ela desabilita a inclusão das tabelas que mapeiam informações de localização extra (linha final, deslocamento da coluna inicial e deslocamento da coluna final) para cada instrução em objetos código. Isso é útil quando objetos código menores e arquivos pyc são desejados, bem como suprimir os indicadores de localização visual extra quando o interpretador exibe tracebacks.

Adicionado na versão 3.11.

PYTHONPERFSUPPORT

Se essa variável for definida como valor diferente de zero, ela habilitará suporte para o perfilador do Linux perf para que as chamadas Python possam ser detectadas por ele.

Se definido como 0, desativa o suporte ao perfilador do Linux perf.

Consulte também a opção de linha de comando -X perf e Suporte do Python ao perfilador perf do Linux.

Adicionado na versão 3.12.

PYTHON_PERF_JIT_SUPPORT

Se essa variável for definida como valor diferente de zero, ela habilitará suporte para o perfilador do Linux perf para que as chamadas Python possam ser detectadas por ele usando informações de DWARF.

Se definido como 0, desativa o suporte ao perfilador do Linux perf.

Veja também a opção de linha de comando -X perf_jit e Suporte do Python ao perfilador perf do Linux.

Adicionado na versão 3.13.

PYTHON_CPU_COUNT

Se esta variável for definida como um número inteiro positivo, ela substitui os valores de retorno de os.cpu_count() e os.process_cpu_count().

Veja também a opção de linha de comando -X cpu_count.

Adicionado na versão 3.13.

PYTHON_FROZEN_MODULES

Se esta variável for definida como on ou off, ela determina se os módulos congelados serão ou não ignorados pela maquinário de importação. Um valor on significa que eles serão importados e off significa que serão ignorados. O padrão é on para construções sem depuração (o caso normal) e off para construções com depuração. Observe que os módulos congelados importlib_bootstrap e importlib_bootstrap_external são sempre usados, mesmo se este sinalizador estiver definido como off.

Veja também a opção de linha de comando -X frozen_modules.

Adicionado na versão 3.13.

PYTHON_COLORS

Se esta variável for definida como 1, o interpretador irá colorir vários tipos de saída. Definir como 0 desativa este comportamento. Veja também Controlando cores.

Adicionado na versão 3.13.

PYTHON_BASIC_REPL

Se esta variável for definida como 1, o interpretador não tentará carregar o REPL baseado em Python que requer curses e readline, e em vez disso usará o baseado em analisador tradicional REPL.

Adicionado na versão 3.13.

PYTHON_HISTORY

Esta variável de ambiente pode ser usada para definir a localização de um arquivo .python_history (por padrão, é .python_history no diretório inicial do usuário).

Adicionado na versão 3.13.

PYTHON_GIL

Se esta variável for definida como 1, a trava global do interpretador (GIL) será forçada. Definir como 0 força a GIL a desligar (precisa do Python configurado com a opção de construção --disable-gil).

Veja também a opção de linha de comando -X gil, que tem precedência sobre esta variável, e CPython com threads livres.

Adicionado na versão 3.13.

1.2.1. Variáveis de modo de depuração

PYTHONDUMPREFS

Se definido, Python irá despejar objetos e contagens de referências ainda vivas após desligar o interpretador.

Precisa do Python configurado com a opção de construção --with-trace-refs.

PYTHONDUMPREFSFILE

Se definido, o Python irá despejar objetos e contagens de referências ainda ativas após desligar o interpretador em um arquivo no caminho fornecido como valor para esta variável de ambiente.

Precisa do Python configurado com a opção de construção --with-trace-refs.

Adicionado na versão 3.11.

PYTHON_PRESITE

Se esta variável for definida como um módulo, esse módulo será importado no início do ciclo de vida do interpretador, antes do módulo site ser executado, e antes do módulo __main__ ser criado. Portanto, o módulo importado não é tratado como __main__.

Isso pode ser usado para executar código antecipadamente durante a inicialização do Python.

Para importar um submódulo, use pacote.módulo como valor, como em uma instrução de importação.

Veja também a opção de linha de comando -X presite, que tem precedência sobre esta variável.

Precisa do Python configurado com a opção de construção --with-pydebug.

Adicionado na versão 3.13.

2. Utilizando Python em plataformas Unix

2.1. Obtendo e instalando a versão mais recente do Python

2.1.1. No Linux

O Python vem pré-instalado na maioria das distribuições Linux e está disponível como um pacote em todas as outras. No entanto, há certos recursos que você pode querer usar que não estão disponíveis no pacote da sua distribuição. Você pode compilar a versão mais recente do Python a partir do código-fonte.

No caso de a versão mais recente do Python não vir pré-instalada e não estar nos repositórios também, você pode criar pacotes para sua própria distro. Dê uma olhada nos seguintes links:

Ver também

https://www.debian.org/doc/manuals/maint-guide/first.en.html

para usuários Debian

https://en.opensuse.org/Portal:Packaging

para usuários OpenSuse

https://docs.fedoraproject.org/en-US/package-maintainers/Packaging_Tutorial_GNU_Hello/

para usuários Fedora

https://slackbook.org/html/package-management-making-packages.html

para usuários do Slackware

2.1.2. No FreeBSD e OpenBSD

usuários do FreeBSD, para adicionar a utilização do pacote utilize:

pkg install python3

Usuários do OpenBSD, para adicionar pacotes use:

pkg_add -r python

pkg_add ftp://ftp.openbsd.org/pub/OpenBSD/4.2/packages/<insert your architecture here>/python-<version>.tgz

Por exemplo, usuários i386 podem pegar a versão 2.5.1 do Python usando o comando:

pkg_add ftp://ftp.openbsd.org/pub/OpenBSD/4.2/packages/i386/python-2.5.1p2.tgz

2.2. Compilando o Python

Se você quer compilar o CPython, a primeira coisa que você precisa fazer é baixar o código-fonte [https://www.python.org/downloads/source/]. Você pode baixar a última versão ou usar o git para fazer um clone [https://devguide.python.org/setup/#get-the-source-code]. (Se você pretende contribuir modificações, você vai precisar um “clone”.)

O processo de compilação consiste nos comandos usuais:

./configure
make
make install

Opções de configuração e advertências para plataformas específicas do Unix estão amplamente documentadas no arquivo README.rst [https://github.com/python/cpython/tree/3.13/README.rst] na raiz da árvore de fontes Python.

Aviso

make install pode sobrescrever ou mascarar o arquivo binário python3. make altinstall é, portanto, recomendado ao invés de make install uma vez que o mesmo apenas instala o arquivo exec_prefix/bin/pythonversion.

2.3. Paths e arquivos relacionados com o Python

Estes estão sujeitos a diferenças dependendo das convenções de instalação local; prefix e exec_prefix dependem da instalação e devem ser interpretados da mesma forma que para o software GNU; eles poderão ser os mesmos.

Por exemplo, na maioria dos sistemas Linux, o padrão para ambos é /usr.

Arquivo/diretório

Significado

exec_prefix/bin/python3

Localização recomendada do interpretador.

prefix/lib/pythonversion, exec_prefix/lib/pythonversion

A localização recomendada dos diretórios contendo os módulos padrão.

prefix/include/pythonversion, exec_prefix/include/pythonversion

Localizações recomendadas dos diretórios contendo os arquivos de inclusão necessários para o desenvolvimento de extensões Python e incorporação do interpretador.

2.4. Diversos

Para usar facilmente scripts Python no Unix, você precisa torná-los executáveis, por exemplo, com

$ chmod +x script

e colocar uma linha Shebang apropriada no topo do script. Uma boa escolha normalmente é

#!/usr/bin/env python3

que procura o interpretador do Python no conjunto PATH. No entanto, alguns sistemas Unix podem não ter o comando env, então você pode precisar codificar /usr/bin/python3 como o caminho do interpretador.

Para usar comandos Shell em seus scripts Python, veja o módulo subprocess.

2.5. OpenSSL personalizado

Para usar a configuração OpenSSL do seu fornecedor e armazenamento confiável do sistema, localize o diretório com o arquivo openssl.cnf ou link simbólico em /etc. Na maioria das distribuições o arquivo está em /etc/ssl ou em /etc/pki/tls. O diretório também deve conter um arquivo cert.pem e/ou um diretório certs.

$ find /etc/ -name openssl.cnf -printf "%h\n"
/etc/ssl

Baixe, construa e instale o OpenSSL. Certifique-se de usar install_sw e não install. O destino install_sw não substitui o openssl.cnf.

$ curl -O https://www.openssl.org/source/openssl-VERSÃO.tar.gz
$ tar xzf openssl-VERSÃO
$ pushd openssl-VERSÃO
$ ./config \
    --prefix=/usr/local/custom-openssl \
    --libdir=lib \
    --openssldir=/etc/ssl
$ make -j1 depend
$ make -j8
$ make install_sw
$ popd

Construa o Python com o OpenSSL personalizado (veja as opções configure --with-openssl e --with-openssl-rpath)

$ pushd python-3.x.x
$ ./configure -C \
    --with-openssl=/usr/local/custom-openssl \
    --with-openssl-rpath=auto \
    --prefix=/usr/local/python-3.x.x
$ make -j8
$ make altinstall

Nota

As versões de patches do OpenSSL têm uma ABI compatível com versões anteriores. Você não precisa recompilar o Python para atualizar o OpenSSL. É suficiente substituir a instalação personalizada do OpenSSL por uma versão mais recente.

3. Configurar o Python

3.1. Requisitos de construção

Recursos e versões mínimas necessários para construir o CPython:

Um compilador C11 [https://en.cppreference.com/w/c/11]. Não são necessários recursos opcionais do C11 [https://en.wikipedia.org/wiki/C11_(C_standard_revision)#Optional_features].

No Windows, é necessário o Microsoft Visual Studio 2017 ou posterior.

Suporte para números de ponto flutuante do IEEE 754 [https://en.wikipedia.org/wiki/IEEE_754] e Not-a-Number (NaN) de ponto flutuante [https://en.wikipedia.org/wiki/NaN#Floating_point].

Suporte a threads.

OpenSSL 1.1.1 é a versão mínima e OpenSSL 3.0.9 é a versão mínima recomendada para os módulos de extensão ssl e hashlib.

SQLite 3.15.2 para o módulo de extensão sqlite3.

Tcl/Tk 8.5.12 para o módulo tkinter.

Autoconf 2.71 e aclocal 1.16.5 são necessários para regenerar o script configure.

Alterado na versão 3.1: Agora é necessária a versão 8.3.1 do Tcl/Tk.

Alterado na versão 3.5: No Windows, agora é necessário o Visual Studio 2015 ou posterior. Agora é necessária a versão 8.4 do Tcl/Tk.

Alterado na versão 3.6: Recursos selecionados do C99 agora são necessários, como funções <stdint.h> e static inline.

Alterado na versão 3.7: Suporte a threads e OpenSSL 1.0.2 agora são necessários.

Alterado na versão 3.10: OpenSSL 1.1.1 agora é necessário. Requer SQLite 3.7.15.

Alterado na versão 3.11: Compilador C11, suporte a IEEE 754 e NaN agora são necessários. No Windows, é necessário o Visual Studio 2017 ou posterior. A versão 8.5.12 do Tcl/Tk agora é necessária para o módulo tkinter.

Alterado na versão 3.13: Autoconf 2.71, aclocal 1.16.5 e SQLite 3.15.2 agora são necessários.

Veja também PEP 7 [https://peps.python.org/pep-0007/] “Guia de estilo para código C” e PEP 11 [https://peps.python.org/pep-0011/] “Suporte do CPython a plataformas”.

3.2. Arquivos gerados

Para reduzir as dependências de construção, o código-fonte do Python contém vários arquivos gerados. Comandos para regenerar todos os arquivos gerados:

make regen-all
make regen-stdlib-module-names
make regen-limited-abi
make regen-configure

O arquivo Makefile.pre.in documenta os arquivos gerados, suas entradas e ferramentas usadas para regenerá-los. Procure por alvos regen-* de make.

3.2.1. Script configure

O comando make regen-configure regera o arquivo aclocal.m4 e o script configure usando o shell script Tools/build/regen-configure.sh, o qual usa um contêiner Ubuntu para obter as mesmas versões de ferramentas e ter uma saída reproduzível.

O contêiner é opcional, o seguinte comando pode ser executado localmente:

autoreconf -ivf -Werror

Os arquivos gerados podem mudar dependendo das versões exatas do autoconf-archive, aclocal e pkg-config.

3.3. Opções de configuração

Liste todas as opções do configure usando:

./configure --help

Veja também o Misc/SpecialBuilds.txt na distribuição de código-fonte do Python.

3.3.1. Opções gerais

--enable-loadable-sqlite-extensions

Suporte a extensões carregáveis no módulo de extensão _sqlite (o padrão é não) do módulo sqlite3.

Veja o método sqlite3.Connection.enable_load_extension() do módulo sqlite3.

Adicionado na versão 3.6.

--disable-ipv6

Desabilita suporte a IPv6 (habilitado por padrão se houver suporte), veja o módulo socket.

--enable-big-digits=[15|30]

Define o tamanho em bits dos dígitos de int do Python: 15 ou 30 bits.

Por padrão, o tamanho dos dígitos é 30.

Define o PYLONG_BITS_IN_DIGIT para 15 ou 30.

Veja sys.int_info.bits_per_digit.

--with-suffix=SUFFIX

Define o sufixo do executável do Python para SUFFIX.

O sufixo padrão é .exe no Windows e macOS (executável python.exe), .js em nó Emscripten, .html em navegador Emscripten, .wasm em WASI e uma string vazia em outras plataformas (executável python).

Alterado na versão 3.11: O sufixo padrão na plataforma WASM é um entre .js, .html ou .wasm

--with-tzpath=<list of absolute paths separated by pathsep>

Seleciona o caminho de pesquisa de fuso horário padrão para zoneinfo.TZPATH. Veja a Configuração de tempo de compilação do módulo zoneinfo.

Padrão: /usr/share/zoneinfo:/usr/lib/zoneinfo:/usr/share/lib/zoneinfo:/etc/zoneinfo.

Veja o separador de caminhos os.pathsep.

Adicionado na versão 3.9.

--without-decimal-contextvar

Constrói o módulo de extensão _decimal usando um contexto local de thread ao invés de um contexto local de corrotina (padrão), veja o módulo decimal.

Veja decimal.HAVE_CONTEXTVAR e o módulo contextvars.

Adicionado na versão 3.9.

--with-dbmliborder=<list of backend names>

Substitui a ordem de verificação de backends de banco de dados para o módulo dbm

Um valor válido é uma string separada por dois pontos (:) com os nomes de backend:

ndbm;

gdbm;

bdb.

--without-c-locale-coercion

Desabilita a coerção de localidade C para uma localidade baseada em UTF-8 (ativada por padrão).

Não define a macro PY_COERCE_C_LOCALE.

Consulte PYTHONCOERCECLOCALE e a PEP 538 [https://peps.python.org/pep-0538/].

--without-freelists

Desabilita todas as listas livres, exceto o singleton de tupla vazia.

Adicionado na versão 3.11.

--with-platlibdir=DIRNAME

Nome do diretório da biblioteca Python (o padrão é lib).

Fedora e SuSE usam lib64 em plataformas de 64 bits.

Veja sys.platlibdir.

Adicionado na versão 3.9.

--with-wheel-pkg-dir=PATH

Diretório de pacotes de wheel usados pelo módulo ensurepip (nenhum por padrão).

Algumas políticas de empacotamento de distribuição do Linux recomendam contra o empacotamento de dependências. Por exemplo, o Fedora instala pacotes wheel no diretório /usr/share/python-wheels/ e não instala o pacote ensurepip._bundled.

Adicionado na versão 3.10.

--with-pkg-config=[check|yes|no]

Se o configure deve usar pkg-config para detectar dependências de construção.

check (padrão): pkg-config é opcional

yes: pkg-config é obrigatório

no: configure não usa pkg-config mesmo quando presente

Adicionado na versão 3.11.

--enable-pystats

Ativa a coleta de estatísticas internas de desempenho do Python.

Por padrão, a coleta de estatísticas está desativada. Use o comando python3 -X pystats ou defina a variável de ambiente PYTHONSTATS=1 para ativar a coleta de estatísticas na inicialização do Python.

Na saída do Python, despeja as estatísticas se a coleta de estatísticas estiver ativada e não apagada.

Efeitos:

Adiciona a opção de linha de comando -X pystats.

Adiciona a variável de ambiente PYTHONSTATS.

Define a macro Py_STATS.

Adiciona funções ao módulo sys:

sys._stats_on(): Ativa a coleta de estatísticas.

sys._stats_off(): Desativa a coleta de estatísticas.

sys._stats_clear(): Apaga as estatísticas.

sys._stats_dump(): Despeja as estatísticas no arquivo e apaga as estatísticas.

As estatísticas serão despejadas em um arquivo arbitrário (provavelmente único) em /tmp/py_stats/ (Unix) ou C:\temp\py_stats\ (Windows). Se aquele diretório não existir, os resultados serão enviados para stderr.

Use Tools/scripts/summarize_stats.py para ler as estatísticas.

Estatísticas:

Código de operação:

Especialização: sucesso, fracasso, acerto, adiado, erro, deopt, falhas;

Contagem de execuções;

Contagem em pares.

Chamada:

Chamadas Python em linha;

Chamadas a PyEval;

Quadros enviados;

Objetos quadro criados;

Chamadas de Eval: vetor, gerador, legado, função VECTORCALL, classe de construção, slot, função “ex”, API, método.

Objeto:

incref e decref;

incref e decref do interpretador;

alocações: tudo, 512 bytes, 4 kiB, big;

memória livre;

listas de memória livre para/de;

Dicionário materializado/desmaterializado;

cache de tipo;

tentativas de otimização;

rastros de otimização criados/executados;

uops executados.

Coletor de lixo:

Coletas de lixo;

Objetos visitados;

Objetos coletados.

Adicionado na versão 3.11.

--disable-gil

Habilita suporte experimental para execução de Python sem a trava global do interpretador (GIL): construção de com threads livres.

Define a macro Py_GIL_DISABLED e adiciona "t" a sys.abiflags.

Veja CPython com threads livres para mais detalhes.

Adicionado na versão 3.13.

PKG_CONFIG

Caminho para o utilitário pkg-config.

PKG_CONFIG_LIBDIR

PKG_CONFIG_PATH

Opções do pkg-config.

3.3.2. Opções do compilador C

CC

Comando do compilador C.

CFLAGS

Sinalizadores do compilador C.

CPP

Comando do pré-processador C.

CPPFLAGS

Sinalizadores do pré-processador C, p.ex., -Iinclude_dir.

3.3.3. Opções da ligação

LDFLAGS

Sinalizadores do vinculador. p.ex., -Llibrary_directory.

LIBS

Bibliotecas para passar para o vinculador, p.ex. -llibrary.

MACHDEP

Nome para arquivos de biblioteca dependentes de máquina.

3.3.4. Opções para dependências de terceiros

Adicionado na versão 3.11.

BZIP2_CFLAGS

BZIP2_LIBS

Sinalizadores de compilador C e vinculador para vincular Python a libbz2, usados ​​pelo módulo bz2, substituindo pkg-config.

CURSES_CFLAGS

CURSES_LIBS

Sinalizadores de compilador C e vinculador para libncurses ou libncursesw, usados ​​pelo módulo curses, substituindo pkg-config.

GDBM_CFLAGS

GDBM_LIBS

Sinalizadores de compilador C e vinculador para gdbm.

LIBB2_CFLAGS

LIBB2_LIBS

Sinalizadores de compilador C e vinculador para libb2 (BLAKE2), usados ​​pelo módulo hashlib, substituindo pkg-config.

LIBEDIT_CFLAGS

LIBEDIT_LIBS

Sinalizadores de compilador C e vinculador para libedit, usados ​​pelo módulo readline, substituindo pkg-config.

LIBFFI_CFLAGS

LIBFFI_LIBS

Sinalizadores de compilador C e vinculador para libffi, usados ​​pelo módulo ctypes, substituindo pkg-config.

LIBMPDEC_CFLAGS

LIBMPDEC_LIBS

Sinalizadores de compilador C e vinculador para libmpdec, usados ​​pelo módulo decimal, substituindo pkg-config.

Nota

Estas variáveis ​​de ambiente não têm efeito a menos que --with-system-libmpdec seja especificado.

LIBLZMA_CFLAGS

LIBLZMA_LIBS

Sinalizadores de compilador C e vinculador para liblzma, usados ​​pelo módulo lzma, substituindo pkg-config.

LIBREADLINE_CFLAGS

LIBREADLINE_LIBS

Sinalizadores de compilador C e vinculador para libreadline, usados ​​pelo módulo readline, substituindo pkg-config.

LIBSQLITE3_CFLAGS

LIBSQLITE3_LIBS

Sinalizadores de compilador C e vinculador para libsqlite3, usados ​​pelo módulo sqlite3, substituindo pkg-config.

LIBUUID_CFLAGS

LIBUUID_LIBS

Sinalizadores de compilador C e vinculador para libuuid, usados ​​pelo módulo uuid, substituindo pkg-config.

PANEL_CFLAGS

PANEL_LIBS

Sinalizadores de compilador C e vinculador para PANEL, substituindo pkg-config.

Sinalizadores de compilador C e vinculador para libpanel ou libpanelw, usados ​​pelo módulo curses.panel, substituindo pkg-config.

TCLTK_CFLAGS

TCLTK_LIBS

Sinalizadores de compilador C e vinculador para TCLTK, substituindo pkg-config.;

ZLIB_CFLAGS

ZLIB_LIBS

Sinalizadores de compilador C e vinculador para libzlib, usados ​​pelo módulo gzip, substituindo pkg-config.

3.3.5. Opções de WebAssembly

--with-emscripten-target=[browser|node]

Define o “sabor” de construção para wasm32-emscripten.

browser (padrão): pré-carrega stdlib mínima, MEMFS padrão.

node: suporte a NODERAWFS e pthread.

Adicionado na versão 3.11.

--enable-wasm-dynamic-linking

Ativa o suporte de vinculação dinâmica para WASM.

A vinculação dinâmica permite dlopen. O tamanho do arquivo executável aumenta devido à eliminação limitada de código morto e recursos adicionais.

Adicionado na versão 3.11.

--enable-wasm-pthreads

Ativa o suporte a pthreads para WASM.

Adicionado na versão 3.11.

3.3.6. Opções de instalação

--prefix=PREFIX

Instala arquivos independentes de arquitetura em PREFIX. No Unix, o padrão é /usr/local.

Este valor pode ser recuperado em tempo de execução usando sys.prefix.

Como exemplo, pode-se usar --prefix="$HOME/.local/" para instalar um Python em seu diretório pessoal (home).

--exec-prefix=EPREFIX

Instala arquivos dependentes de arquitetura no EPREFIX, o padrão é --prefix.

Este valor pode ser recuperado em tempo de execução usando sys.exec_prefix.

--disable-test-modules

Não constrói nem instala módulos de teste, como o pacote test ou o módulo de extensão _testcapi (construído e instalado por padrão).

Adicionado na versão 3.10.

--with-ensurepip=[upgrade|install|no]

Seleciona o comando ensurepip executado na instalação do Python:

upgrade (padrão): executa o comando python -m ensurepip --altinstall --upgrade.

install: executa o comando python -m ensurepip --altinstall;

no: não executa ensurepip;

Adicionado na versão 3.6.

3.3.7. Opções de desempenho

Configurar o Python usando --enable-optimizations --with-lto (PGO + LTO) é o recomendado para melhor desempenho. O sinalizador experimental --enable-bolt também pode ser usado para melhorar o desempenho.

--enable-optimizations

Habilita a otimização guiada por perfil (PGO, do inglês Profile Guided Optimization) usando PROFILE_TASK (desabilitado por padrão).

O compilador C Clang requer o programa llvm-profdata para PGO. No macOS, o GCC também exige: o GCC é apenas um apelido para o Clang no macOS.

Desabilita também a interposição semântica no libpython se --enable-shared e GCC forem usados: adiciona -fno-semantic-interposition aos sinalizadores do compilador e do vinculador.

Nota

Durante a construção, você poderá encontrar avisos do compilador sobre a indisponibilidade de dados de perfil para alguns arquivos fonte. Esses avisos são inofensivos, pois apenas um subconjunto do código é exercido durante a aquisição de dados de perfil. Para desativar esses avisos no Clang, suprima-os manualmente adicionando -Wno-profile-instr-unprofiled a CFLAGS.

Adicionado na versão 3.6.

Alterado na versão 3.10: Usa -fno-semantic-interposition no GCC.

PROFILE_TASK

Variável de ambiente usada no Makefile: argumentos de linha de comando do Python para a tarefa de geração de PGO.

Padrão: -m test --pgo --timeout=$(TESTTIMEOUT).

Adicionado na versão 3.8.

Alterado na versão 3.13: A falha da tarefa não é mais ignorada silenciosamente.

--with-lto=[full|thin|no|yes]

Habilita o otimização em tempo de vinculação (LTO, do inglês Link Time Optimization) em qualquer compilação (desabilitado por padrão).

O compilador C Clang requer llvm-ar para LTO (ar no macOS), bem como um vinculador compatível com LTO (ld.gold ou lld).

Adicionado na versão 3.6.

Adicionado na versão 3.11: Para usar o recurso ThinLTO, use --with-lto=thin no Clang.

Alterado na versão 3.12: Usa ThinLTO como política de otimização padrão no Clang se o compilador aceitar o sinalizador.

--enable-bolt

Habilita o uso do otimizador binário pós-vinculação BOLT [https://github.com/llvm/llvm-project/tree/main/bolt] (desabilitado por padrão).

BOLT faz parte do projeto LLVM, mas nem sempre está incluído em suas distribuições binárias. Este sinalizador requer que llvm-bolt e merge-fdata estejam disponíveis.

BOLT ainda é um projeto relativamente novo, então este sinalizador deve ser considerado experimental por enquanto. Como esta ferramenta opera em código de máquina, seu sucesso depende de uma combinação do ambiente de construção + os outros argumentos de configuração de otimização + a arquitetura da CPU, e nem todas as combinações são suportadas. Versões do BOLT anteriores ao LLVM 16 são conhecidas por travar o BOLT em alguns cenários. O uso do LLVM 16 ou mais recente para otimização do BOLT é fortemente incentivado.

As variáveis BOLT_INSTRUMENT_FLAGS e BOLT_APPLY_FLAGS do configure podem ser definidas para substituir o conjunto padrão de argumentos para llvm-bolt para instrumentar e aplicar dados BOLT aos binários , respectivamente.

Adicionado na versão 3.12.

BOLT_APPLY_FLAGS

Argumentos para llvm-bolt ao criar um binário otimizado com BOLT [https://github.com/facebookarchive/BOLT].

Adicionado na versão 3.12.

BOLT_INSTRUMENT_FLAGS

Argumentos para llvm-bolt ao instrumentar binários.

Adicionado na versão 3.12.

--with-computed-gotos

Habilita “gotos” computados no laço de avaliação (habilitado por padrão em compiladores suportados).

--without-mimalloc

Desativa o alocador rápido mimalloc (habilitado por padrão).

Veja também a variável de ambiente PYTHONMALLOC.

--without-pymalloc

Desabilita o alocador de memória especializado do Python pymalloc (habilitado por padrão).

Veja também a variável de ambiente PYTHONMALLOC.

--without-doc-strings

Desabilita as strings de documentação estática para reduzir o consumo de memória (habilitado por padrão). As strings de documentação definidas em Python não são afetadas.

Não define a macro WITH_DOC_STRINGS.

Veja a macro PyDoc_STRVAR().

--enable-profiling

Habilita o perfil de código a nível C com gprof (desabilitado por padrão).

--with-strict-overflow

Adiciona -fstrict-overflow aos sinalizadores do compilador C (por padrão adicionamos -fno-strict-overflow).

3.3.8. Compilação de depuração do Python

Uma compilação de depuração é Python compilada com a opção de configuração --with-pydebug.

Efeitos de uma compilação de depuração:

Exibe todos os avisos por padrão: a lista de filtros de aviso padrão está vazia no módulo warnings.

Adiciona d a sys.abiflags.

Adiciona a função sys.gettotalrefcount().

Adiciona a opção de linha de comando -X showrefcount.

Adiciona a opção de linha de comando -d e a variável de ambiente PYTHONDEBUG para depurar o analisador sintático.

Adiciona suporte para a variável __lltrace__: habilita o rastreamento de baixo nível no laço de avaliação de bytecode se a variável estiver definida.

Instala ganchos de depuração nos alocadores de memória para detectar estouro de buffer e outros erros de memória.

Define as macros Py_DEBUG e Py_REF_DEBUG.

Adiciona verificações de tempo de execução: código cercado por #ifdef Py_DEBUG e #endif. Habilita as asserções assert(...) e _PyObject_ASSERT(...): não define a macro NDEBUG (veja também a configuração --with-assertions opção). Principais verificações de tempo de execução:

Adiciona verificações de sanidade nos argumentos da função.

Objetos Unicode e int são criados com sua memória preenchida com um padrão para detectar o uso de objetos não inicializados.

Garante que as funções que podem limpar ou substituir a exceção atual não sejam chamadas com uma exceção levantada.

Verifica se as funções desalocadoras não alteram a exceção atual.

O coletor de lixo (função gc.collect()) executa algumas verificações básicas na consistência dos objetos.

A macro Py_SAFE_DOWNCAST() verifica o underflow e o overflow de inteiros ao fazer o downcast de tipos largos para tipos estreitos.

Veja também o Modo de Desenvolvimento do Python e a opção de configuração --with-trace-refs.

Alterado na versão 3.8: Construções de lançamento e construções de depuração agora são compatíveis com ABI: definir a macro Py_DEBUG não implica mais na macro Py_TRACE_REFS (consulte a opção --with-trace-refs).

3.3.9. Opções de depuração

--with-pydebug

Construção de depuração do Python: define a macro Py_DEBUG (desabilitada por padrão).

--with-trace-refs

Habilita referências de rastreamento para fins de depuração (desabilitado por padrão).

Efeitos:

Define a macro Py_TRACE_REFS.

Adiciona a função sys.getobjects().

Adiciona a variável de ambiente PYTHONDUMPREFS.

A variável de ambiente PYTHONDUMPREFS pode ser usada para despejar objetos e contagens de referências ainda ativas na saída do Python.

Objetos alocados estaticamente não são rastreados.

Adicionado na versão 3.8.

Alterado na versão 3.13: Esta construção agora é compatibilidade de ABI com a construção de lançamento e construção de depuração.

--with-assertions

Constrói com asserções C habilitadas (o padrão é não): assert(...); e _PyObject_ASSERT(...);.

Se definido, a macro NDEBUG não é definida na variável do compilador OPT.

Veja também a opção --with-pydebug (construção de depuração) que também habilita asserções.

Adicionado na versão 3.6.

--with-valgrind

Habilita suporte ao Valgrind (o padrão é não).

--with-dtrace

Habilita suporte ao DTrace (o padrão é não).

Veja Instrumentando o CPython com DTrace e SystemTap.

Adicionado na versão 3.6.

--with-address-sanitizer

Habilita o detector de erros de memória AddressSanitizer, asan (o padrão é não).

Adicionado na versão 3.6.

--with-memory-sanitizer

Habilita o detector de erros de alocação do MemorySanitizer, msan (o padrão é não).

Adicionado na versão 3.6.

--with-undefined-behavior-sanitizer

Habilita o detector de comportamento indefinido UndefinedBehaviorSanitizer, ubsan (o padrão é não).

Adicionado na versão 3.6.

--with-thread-sanitizer

Habilita o detector de corrida de dados ThreadSanitizer, tsan (o padrão é não).

Adicionado na versão 3.13.

3.3.10. Opções da ligação

--enable-shared

Habilita a construção de uma biblioteca Python compartilhada: libpython (o padrão é não).

--without-static-libpython

Não constrói libpythonMAJOR.MINOR.a e não instala python.o (construído e habilitado por padrão).

Adicionado na versão 3.10.

3.3.11. Opções da biblioteca

--with-libs='lib1 ...'

Vincula bibliotecas adicionais (o padrão é não).

--with-system-expat

Constrói o módulo pyexpat usando uma biblioteca expat instalada (o padrão é não).

--with-system-libmpdec

Constrói o módulo de extensão _decimal usando uma biblioteca mpdecimal instalada, veja o módulo decimal (o padrão é sim).

Adicionado na versão 3.3.

Alterado na versão 3.13: O padrão é usar a biblioteca mpdecimal instalada.

Deprecated since version 3.13, will be removed in version 3.15: Uma cópia dos fontes da biblioteca mpdecimal não será mais distribuída com Python 3.15.

Ver também

LIBMPDEC_CFLAGS e LIBMPDEC_LIBS.

--with-readline=readline|editline

Designa uma biblioteca backend para o módulo readline.

readline: Usa readline como o backend.

editline: Usa editline como o backend.

Adicionado na versão 3.10.

--without-readline

Não constrói o módulo readline (construído por padrão).

Não define a macro HAVE_LIBREADLINE.

Adicionado na versão 3.10.

--with-libm=STRING

Substitui a biblioteca matemática libm por STRING (o padrão depende do sistema).

--with-libc=STRING

Substitui a biblioteca C libc por STRING (o padrão depende do sistema).

--with-openssl=DIR

Raiz do diretório OpenSSL.

Adicionado na versão 3.7.

--with-openssl-rpath=[no|auto|DIR]

Define o diretório da biblioteca de tempo de execução (rpath) para bibliotecas OpenSSL:

no (padrão): não define o rpath;

auto: detecta automaticamente o rpath de --with-openssl e pkg-config;

DIR: define um rpath explícito.

Adicionado na versão 3.10.

3.3.12. Opções de segurança

--with-hash-algorithm=[fnv|siphash13|siphash24]

Seleciona o algoritmo de hash para usar em Python/pyhash.c:

siphash13 (padrão);

siphash24;

fnv.

Adicionado na versão 3.4.

Adicionado na versão 3.11: siphash13 é adicionado e é o novo padrão.

--with-builtin-hashlib-hashes=md5,sha1,sha256,sha512,sha3,blake2

Módulos embutidos de hash

md5;

sha1;

sha256;

sha512;

sha3 (com shake);

blake2.

Adicionado na versão 3.9.

--with-ssl-default-suites=[python|openssl|STRING]

Substitui a string dos conjuntos de criptografia padrão do OpenSSL:

python (padrão): use a seleciona preferida do Python;

openssl: mantém inalterados os padrões do OpenSSL;

STRING: usa uma string personalizada

Veja o módulo ssl.

Adicionado na versão 3.7.

Alterado na versão 3.10: As configurações python e STRING também definem TLS 1.2 como versão mínima do protocolo.

3.3.13. Opções do macOS

Veja Mac/README.rst [https://github.com/python/cpython/tree/3.13/Mac/README.rst].

--enable-universalsdk

--enable-universalsdk=SDKDIR

Cria uma construção binária universal. SDKDIR especifica qual SDK do macOS deve ser usado para executar a construção (o padrão é não).

--enable-framework

--enable-framework=INSTALLDIR

Cria um Python.framework em vez de uma instalação tradicional do Unix. O INSTALLDIR opcional especifica o caminho de instalação (o padrão é não).

--with-universal-archs=ARCH

Especifica o tipo de binário universal que deve ser criado. Esta opção só é válida quando --enable-universalsdk está definido.

Opções:

universal2;

32-bit;

64-bit;

3-way;

intel;

intel-32;

intel-64;

all.

--with-framework-name=FRAMEWORK

Especifica o nome do framework python no macOS válido apenas quando --enable-framework está definido (padrão: Python).

--with-app-store-compliance

--with-app-store-compliance=PATCH-FILE

A biblioteca padrão do Python contém strings que são conhecidas por acionar erros de ferramentas de inspeção automatizadas quando enviadas para distribuição pelas App Stores do macOS e do iOS. Se ativada, esta opção aplicará a lista de patches que corrigem a conformidade da app store. Um arquivo de patch personalizado também pode ser especificado. Esta opção está desativada por padrão.

Adicionado na versão 3.13.

3.3.14. Opções do iOS

Veja iOS/README.rst [https://github.com/python/cpython/tree/3.13/iOS/README.rst].

--enable-framework=INSTALLDIR

Cria um Python.framework. Ao contrário do macOS, o argumento INSTALLDIR que especifica o caminho de instalação é obrigatório.

--with-framework-name=FRAMEWORK

Especifica o nome do framework (padrão: Python).

3.3.15. Opções de compilação cruzada

A compilação cruzada, também conhecida como construção cruzada, pode ser usada para construir Python para outra arquitetura ou plataforma de CPU. A compilação cruzada requer um interpretador Python para a plataforma de construção. A versão do Python para construção deve corresponder à versão do Python da compilação cruzada do host.

--build=BUILD

configura para construir em BUILD, geralmente adivinhado por config.guess.

--host=HOST

faz compilação cruzada para construir programas para executar no HOST (plataforma de destino)

--with-build-python=path/to/python

caminho para construir o binário python para compilação cruzada

Adicionado na versão 3.11.

CONFIG_SITE=file

Uma variável de ambiente que aponta para um arquivo com substituições de configuração.

Exemplo de arquivo config.site:

# config.site-aarch64
ac_cv_buggy_getaddrinfo=no
ac_cv_file__dev_ptmx=yes
ac_cv_file__dev_ptc=no

HOSTRUNNER

Programa para executar CPython para a plataforma host para compilação cruzada.

Adicionado na versão 3.11.

Exemplo de compilação cruzada:

CONFIG_SITE=config.site-aarch64 ../configure \
    --build=x86_64-pc-linux-gnu \
    --host=aarch64-unknown-linux-gnu \
    --with-build-python=../x86_64/python

3.4. Sistema de Construção Python

3.4.1. Arquivos principais do sistema de construção

configure.ac => configure;

Makefile.pre.in => Makefile (criado por configure);

pyconfig.h (criado por configure);

Modules/Setup: Extensões C construídas pelo Makefile usando o shell script Module/makesetup;

3.4.2. Principais etapas de construção

Arquivos C (.c) são construídos como arquivos objeto (.o).

Uma biblioteca estática libpython (.a) é criada a partir de arquivos de objetos.

python.o e a biblioteca estática libpython estão vinculadas ao programa final python.

Extensões C são construídas pelo Makefile (veja Modules/Setup).

3.4.3. Alvos principais do Makefile

3.4.3.1. make

Na maioria das vezes, ao reconstruir após editar algum código ou atualizar seu checkout do upstream, tudo que você precisa fazer é executar make, que (pela semântica do Make) constrói o alvo padrão, o primeiro definido no Makefile. Por tradição (inclusive no projeto CPython) este é geralmente o alvo all. O script configure expande uma variável autoconf, @DEF_MAKE_ALL_RULE@ para descrever precisamente quais alvos make all serão construídos. As três opções são:

profile-opt (configurado com --enable-optimizations)

build_wasm (configurado com --with-emscripten-target)

build_all (configurado sem usar explicitamente nenhum dos outros)

Dependendo das alterações mais recentes no arquivo fonte, o Make irá reconstruir quaisquer alvos (arquivos objetos e executáveis) considerados desatualizados, incluindo executar configure novamente se necessário. As dependências de origem/alvo são muitas e mantidas manualmente, portanto, às vezes, o Make não tem todas as informações necessárias para detectar corretamente todos os alvos que precisam ser reconstruídos. Dependendo de quais destinos não são reconstruídos, você poderá enfrentar vários problemas. Se você tiver problemas de construção ou teste que você não pode explicar de outra forma, make clean && make deve resolver a maioria dos problemas de dependência, às custas de tempos de construção mais longos.

3.4.3.2. make platform

Constrói o programa python, mas não constrói os módulos de extensão da biblioteca padrão. Isto gera um arquivo chamado platform que contém uma única linha descrevendo os detalhes da plataforma de construção, por exemplo, macosx-14.3-arm64-3.12 ou linux-x86_64-3.13.

3.4.3.3. make profile-opt

Constrói Python usando otimização guiada por perfil (PGO). Você pode usar a opção --enable-optimizations do configure para tornar este o alvo padrão do comando make (make all ou apenas make).

3.4.3.4. make clean

Remove arquivos construídos.

3.4.3.5. make distclean

Além do trabalho feito por make clean, remove os arquivos criados pelo script configure. configure terá que ser executado antes de construir novamente. [1]

3.4.3.6. make install

Constrói o alvo all e instala o Python.

3.4.3.7. make test

Constrói o alvo all e execute o conjunto de testes Python com a opção --fast-ci. Variáveis:

TESTOPTS: opções adicionais de linha de comando regrtest.

TESTPYTHONOPTS: opções adicionais de linha de comando do Python.

TESTTIMEOUT: tempo limite em segundos (padrão: 10 minutos).

3.4.3.8. make buildbottest

Isto é semelhante ao make test, mas usa a opção --slow-ci e o tempo limite padrão de 20 minutos, em vez da opção --fast-ci.

3.4.3.9. make regen-all

Gera novamente (quase) todos os arquivos gerados. Isso inclui (mas não está limitado a) casos de bytecode e arquivo gerador de analisador sintático. make regen-stdlib-module-names e autoconf devem ser executados separadamente para os restantes arquivos gerados.

3.4.4. Extensões C

Algumas extensões C são construídas como módulos embutidos, como o módulo sys. Eles são construídos com a macro Py_BUILD_CORE_BUILTIN definida. Módulos embutidos não possuem nenhum atributo __file__:

>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> sys.__file__
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'sys' has no attribute '__file__'

Outras extensões C são construídas como bibliotecas dinâmicas, como o módulo _asyncio. Eles são construídos com a macro Py_BUILD_CORE_MODULE definida. Exemplo no Linux x86-64:

>>> import _asyncio
>>> _asyncio
<module '_asyncio' from '/usr/lib64/python3.9/lib-dynload/_asyncio.cpython-39-x86_64-linux-gnu.so'>
>>> _asyncio.__file__
'/usr/lib64/python3.9/lib-dynload/_asyncio.cpython-39-x86_64-linux-gnu.so'

Modules/Setup é usado para gerar alvos Makefile para construir extensões C. No início dos arquivos, as extensões C são construídas como módulos embutidos. Extensões definidas após o marcador *shared* são construídas como bibliotecas dinâmicas.

As macros PyAPI_FUNC(), PyAPI_DATA() e PyMODINIT_FUNC de Include/exports.h são definidas de forma diferente dependendo se a macro Py_BUILD_CORE_MODULE está definida:

Usa Py_EXPORTED_SYMBOL se Py_BUILD_CORE_MODULE estiver definido

Do contrário, usa Py_IMPORTED_SYMBOL.

Se a macro Py_BUILD_CORE_BUILTIN for usada por engano em uma extensão C construída como uma biblioteca compartilhada, sua função PyInit_xxx() não será exportada, causando um ImportError na importação.

3.5. Sinalizadores do compilador e do vinculador

Opções definidas pelo script ./configure e variáveis ​​de ambiente e usadas por Makefile.

3.5.1. Sinalizadores do pré-processador

CONFIGURE_CPPFLAGS

Valor da variável CPPFLAGS passado para o script ./configure.

Adicionado na versão 3.6.

CPPFLAGS

Sinalizadores de pré-processador C++ / (Objective) C, p.ex. -Iinclude_dir se você tiver cabeçalhos em um diretório não padrão include_dir.

Tanto CPPFLAGS quanto LDFLAGS precisam conter o valor do shell para poder construir módulos de extensão usando os diretórios especificados nas variáveis ​​de ambiente.

BASECPPFLAGS

Adicionado na versão 3.4.

PY_CPPFLAGS

Sinalizadores extras de pré-processador adicionados para construir os arquivos de objeto do interpretador.

Padrão: $(BASECPPFLAGS) -I. -I$(srcdir)/Include $(CONFIGURE_CPPFLAGS) $(CPPFLAGS).

Adicionado na versão 3.2.

3.5.2. Sinalizadores do compilador

CC

Comando do compilador C.

Exemplo: gcc -pthread.

CXX

Comando do compilador C++.

Exemplo: g++ -pthread.

CFLAGS

Sinalizadores do compilador C.

CFLAGS_NODIST

CFLAGS_NODIST é usado para construir o interpretador e extensões C da stdlib. Use-o quando um sinalizador do compilador não deve fazer parte de CFLAGS depois que o Python estiver instalado (gh-65320 [https://github.com/python/cpython/issues/65320]).

Em particular, CFLAGS não deve conter:

o sinalizador do compilador -I (para definir o caminho de pesquisa para arquivos incluídos). Os sinalizadores -I são processadas da esquerda para a direita, e quaisquer sinalizadores em CFLAGS terão precedência sobre os sinalizadores -I fornecidos pelo usuário e pelo pacote.

sinalizadores de segurança como -Werror porque as distribuições não podem controlar se os pacotes instalados pelos usuários estão em conformidade com esses padrões elevados.

Adicionado na versão 3.5.

COMPILEALL_OPTS

Opções passadas para a linha de comando compileall ao construir arquivos PYC em make install. Padrão: -j0.

Adicionado na versão 3.12.

EXTRA_CFLAGS

Sinalizadores extra do compilador C.

CONFIGURE_CFLAGS

Valor da variável CFLAGS passado para o script ./configure.

Adicionado na versão 3.2.

CONFIGURE_CFLAGS_NODIST

Valor da variável CFLAGS_NODIST passado para o script ./configure.

Adicionado na versão 3.5.

BASECFLAGS

Sinalizadores base do compilador.

OPT

Sinalizadores de otimização.

CFLAGS_ALIASING

Sinalizadores de alias estritos ou não estritos usados ​​para compilar Python/dtoa.c.

Adicionado na versão 3.7.

CCSHARED

Sinalizadores de compilador usados ​​para construir uma biblioteca compartilhada.

Por exemplo, -fPIC é usado no Linux e no BSD.

CFLAGSFORSHARED

Sinalizadores extras de C adicionados para construir os arquivos de objeto do interpretador.

Padrão: $(CCSHARED) quando --enable-shared é usado, ou uma string vazia caso contrário.

PY_CFLAGS

Padrão: $(BASECFLAGS) $(OPT) $(CONFIGURE_CFLAGS) $(CFLAGS) $(EXTRA_CFLAGS).

PY_CFLAGS_NODIST

Padrão: $(CONFIGURE_CFLAGS_NODIST) $(CFLAGS_NODIST) -I$(srcdir)/Include/internal.

Adicionado na versão 3.5.

PY_STDMODULE_CFLAGS

Sinalizadores do C usados para construir os arquivos de objeto do interpretador.

Padrão: $(PY_CFLAGS) $(PY_CFLAGS_NODIST) $(PY_CPPFLAGS) $(CFLAGSFORSHARED).

Adicionado na versão 3.7.

PY_CORE_CFLAGS

Padrão: $(PY_STDMODULE_CFLAGS) -DPy_BUILD_CORE.

Adicionado na versão 3.2.

PY_BUILTIN_MODULE_CFLAGS

Sinalizadores do compilador para construir um módulo de extensão de biblioteca padrão como um módulo embutido, como o módulo posix.

Padrão: $(PY_STDMODULE_CFLAGS) -DPy_BUILD_CORE_BUILTIN.

Adicionado na versão 3.8.

PURIFY

Comando de Purify. Purify é um programa depurador de memória.

Padrão: string vazia (não usada).

3.5.3. Sinalizadores do vinculador

LINKCC

Comando do vinculador usado para construir programas como python e _testembed.

Padrão: $(PURIFY) $(CC).

CONFIGURE_LDFLAGS

Valor da variável LDFLAGS passado para o script ./configure.

Evite atribuir CFLAGS, LDFLAGS, etc. para que os usuários possam usá-los na linha de comando para anexar a esses valores sem pisotear os valores predefinidos.

Adicionado na versão 3.2.

LDFLAGS_NODIST

LDFLAGS_NODIST é usado da mesma maneira que CFLAGS_NODIST. Use-o quando um sinalizador de vinculador não fizer parte de LDFLAGS depois que o Python estiver instalado (gh-65320 [https://github.com/python/cpython/issues/65320]).

Em particular, LDFLAGS não deve conter:

o sinalizador do compilador -L (para definir o caminho de pesquisa para arquivos incluídos). Os sinalizadores -L são processadas da esquerda para a direita, e quaisquer sinalizadores em LDFLAGS terão precedência sobre os sinalizadores -L fornecidos pelo usuário e pelo pacote.

CONFIGURE_LDFLAGS_NODIST

Valor da variável LDFLAGS_NODIST passado para o script ./configure.

Adicionado na versão 3.8.

LDFLAGS

Sinalizadores do vinculador, p.ex. -Llib_dir, se você tiver bibliotecas em um diretório não padrão lib_dir.

Tanto CPPFLAGS quanto LDFLAGS precisam conter o valor do shell para poder construir módulos de extensão usando os diretórios especificados nas variáveis ​​de ambiente.

LIBS

Sinalizadores do vinculador para passar bibliotecas para o vinculador ao vincular o executável Python.

Exemplo: -lrt.

LDSHARED

Comando para construir uma biblioteca compartilhada.

Padrão: @LDSHARED@ $(PY_LDFLAGS).

BLDSHARED

Comando para construir a biblioteca compartilhada libpython.

Padrão: @BLDSHARED@ $(PY_CORE_LDFLAGS).

PY_LDFLAGS

Padrão: $(CONFIGURE_LDFLAGS) $(LDFLAGS).

PY_LDFLAGS_NODIST

Padrão: $(CONFIGURE_LDFLAGS_NODIST) $(LDFLAGS_NODIST).

Adicionado na versão 3.8.

PY_CORE_LDFLAGS

Sinalizadores de vinculador usados para construir os arquivos de objeto do interpretador.

Adicionado na versão 3.8.

Notas de rodapé

[1]

git clean -fdx é uma maneira ainda mais extrema de “limpar” seu checkout. Ele remove todos os arquivos não conhecidos pelo Git. Ao procurar bugs usando git bisect, isso é recomendado entre testes [https://github.com/python/cpython/issues/114505#issuecomment-1907021718] para garantir uma construção completamente limpa. Use com cuidado, pois isso excluirá todos os arquivos não registrados no Git, incluindo seu trabalho novo e não confirmado.

4. Utilizando Python no Windows

Este documento pretende dar uma visão geral do comportamento específico do Windows que você deve conhecer quando fores utilizar o Python no sistema operacional Microsoft Windows.

Diferente da maioria dos sistemas e serviços Unix, o Windows não inclui uma instalação suportada do Python. Para deixar o Python disponível, o time CPython compilou os instaladores do Windows com cada versão [https://www.python.org/downloads/] por vários anos. Esses instaladores têm a intenção primária de adicionar uma instalação de Python por usuário, com o interpretador e as bibliotecas núcleo sendo utilizadas por um único usuário. O instalador também é capaz de instalar para todos os usuários de uma única máquina, e um arquivo ZIP separado está disponível para distribuições locais de aplicação.

Como especificado na PEP 11 [https://peps.python.org/pep-0011/], uma versão Python suporta apenas uma plataforma Windows enquanto a Microsoft considera a plataforma sob suporte estendido. Isso significa que o Python 3.13 suporta Windows 8.1 ou superiores. Se você requer suporte à Windows 7, por favor instale o Python 3.8.

Há uma quantidade de instaladores diferentes disponíveis para Windows, cada um com algumas vantagens e desvantagens.

O instalador completo contém todos os componentes e é a melhor opção para desenvolvedores usando Python para qualquer tipo de projeto.

O pacote Microsoft Store é uma instalação simples do Python que é adequada para executar scripts e pacotes, e para usar a IDLE ou outros ambientes de desenvolvimento. Ela requer Windows 10 e superior, mas pode ser instalada de forma segura sem corromper outros programas. Ela também fornece vários comandos convenientes para iniciar o Python e suas ferramentas.

Os pacotes nuget.org são instalações leves criadas para integração contínua de sistemas. Elas podem ser usadas para construir pacotes Python ou executar scripts, mas não são atualizáveis e não possuem ferramentas de interface de usuário.

O pacote embutível é um pacote mínimo de Python adequado para ser incorporado em uma aplicação maior.

4.1. O instalador completo

4.1.1. Etapas de instalação

Quatro instaladores Python 3.13 estão disponíveis para download - dois de cada para as versões 32-bit e 64-bit do interpretador. O instalador web é um download inicial menor, e ele irá automaticamente fazer o download dos componentes solicitados na medida do necessário. O instalador offline inclui os componentes necessários para uma instalação padrão e requer apenas uma conexão de internet para recursos opcionais. Veja Instalando Sem Download para outras formas de evitar o download durante a instalação.

Após iniciar o instalador, uma de duas opções deve ser selecionada:

Se você selecionar “Install Now”:

Você não precisará ser um administrador (a menos que uma atualização de sistema para a Biblioteca em Tempo de Execução C seja necessária ou que você instale o Inicializador Python para Windows para todos os usuários)

Python será instalado dentro do seu diretório de usuário

O Inicializador Python para Windows será instalado de acordo com a opção ao final da primeira página

A biblioteca padrão, a suíte de testes, o inicializador e o pip serão instalados

Se selecionado, o diretório de instalação será adicionado no seu PATH

Atalhos serão visíveis apenas para o usuário atual

Selecionando “Customize installation” irá permitir que você selecione os recursos a serem instalados, o local da instalação e outras opções ou ações pós-instalação. Para instalar símbolos de depuração ou binários, você precisará usar essa opção.

Para realizar uma instalação para todos os usuários, você deve selecionar “Customize installation”. Neste caso:

Você pode ser solicitado a providenciar credenciais administrativas ou aprovação

Python será instalado dentro do diretório Program Files (Arquivos de Programa)

O Inicializador Python para Windows será instalado dentro do diretório Windows

Recursos opcionais podem ser selecionados durante a instalação

A biblioteca padrão pode ser pré-compilada em bytecode

Se selecionado, o diretório de instalação será adicionado ao PATH do sistema

Atalhos estão disponíveis para todos os usuários

4.1.2. Removendo a Limitação do MAX_PATH

O Windows historicamente tem limitado os comprimentos dos caminhos de arquivos em 260 caracteres. Isso significava que caminhos maiores que isso não seriam resolvidos e resultariam em erros.

Nas últimas versões do Windows, essa limitação pode ser expandida para aproximadamente 32.000 caracteres. Seu administrador irá precisar ativar a política de grupo “Enable Win32 long paths”, ou definir LongPathsEnabled para 1 na chave de registro HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem.

Isso permite que a função open(), o módulo os e a maior parte das outras funcionalidades de caminho aceitem e retornem caminhos maiores que 260 caracteres quando usando strings.

Após alterar a opção acima, nenhuma configuração adicional é necessária.

Alterado na versão 3.6: Suporte para caminhos longos foi ativado no Python.

4.1.3. Instalando sem UI

Todas as opções disponíveis na IU do instalador também podem ser especificadas a partir da linha de comando, permitindo que instaladores por script repliquem uma instalação em várias máquinas sem interação do usuário. Essas opções também podem ser definidas sem suprimir a IU para alterar alguns dos padrões.

As seguintes opções (encontradas executando o instalador com /?) podem ser passadas para o instalador:

Nome

Descrição

/passive

para exibir o progresso sem exigir interação do usuário

/quiet

para instalar/desinstalar sem exibir nenhuma UI

/simple

para evitar a personalização do usuário

/uninstall

para remover o Python (sem exigir confirmação)

/layout [diretório]

para pré-baixar todos os componentes

/log [nome-de-arquivo]

para especificar a localização dos arquivos de log

Todas as outras opções são passadas como name=value, onde o valor é usualmente 0 para desabilitar o recurso, 1 para ativar o recurso, ou um caminho. A lista completa de opções disponíveis é mostrada abaixo.

Nome

Descrição

Default (padrão)

InstallAllUsers (Instalar para Todos usuários)

Execute uma instalação em todo o sistema.

0

TargetDir (Diretório Alvo)

O diretório de instalação

Selecionado com base em “Instalar para Todos os Usuários”

DefaultAllUsersTargetDir (Diretório de Destino Padrão para Todos os usuários)

O diretório de instalação padrão para instalações de todos os usuários

%ProgramFiles%\Python X.Y or %ProgramFiles(x86)%\Python X.Y

DefaultJustForMeTargetDir (Diretório Alvo Padrão Apenas Para Mim)

O diretório de instalação padrão para instalações just-for-me

%LocalAppData%\Programs\Python\PythonXY ou %LocalAppData%\Programs\Python\PythonXY-32 ou %LocalAppData%\Programs\Python\PythonXY-64

DefaultCustomTargetDir (Diretório de destino personalizado padrão)

Diretório de instalação personalizado padrão exibido na interface do usuário

(vazio)

AssociateFiles (Arquivos Associados)

Criar associações de arquivos se o launcher também estiver instalado.

1

CompileAll (Compilar Tudo)

Compile todos os arquivos .py para .pyc.

0

PrependPath (path a ser percorrido)

Anexa os diretórios de instalação e Scripts ao início de PATH e adiciona .PY a PATHEXT

0

AppendPath

Anexa os diretórios de instalação e Scripts ao final de PATH e adiciona .PY a PATHEXT

0

Shortcuts (atalhos)

Crie atalhos para o interpretador, documentação e IDLE se instalado.

1

Include_doc

Install Python manual (Instalação Manual do Python)

1

Include_debug (Incluir o Modo de Depuração)

Instalar binários de Depuração

0

Include_dev

Instala cabeçalhos e bibliotecas do desenvolvedor. Omitir isso pode levar a uma instalação inutilizável.

1

Include_exe

Instala python.exe e arquivos relacionados. Omitir isso pode levar a uma instalação inutilizável.

1

Include_launcher

Instalar Inicializador Python para Windows.

1

InstallLauncherAllUsers

Instala o iniciador para todos os usuários. Também requer Include_launcher para ser definido como 1

1

Include_lib

Instala a biblioteca padrão e os módulos de extensão. Omitir isso pode levar a uma instalação inutilizável.

1

Include_pip

Instale o pacote pip e setuptools

1

Include_symbols

Instala símbolos de depuração (*.pdb)

0

Include_tcltk

Instale o suporte Tcl/Tk e o IDLE

1

Include_test

Instalar o conjunto de testes da biblioteca padrão

1

Include_tools

Instalar scripts com utilitários

1

LauncherOnly

Instala apenas o launcher. Isso substituirá a maioria das outras opções.

0

SimpleInstall

Desativar a maioria das UIs de instalação

0

SimpleInstallDescription

Uma mensagem personalizada para exibir quando a IU de instalação simplificada é usada.

(vazio)

Por exemplo, para instalar silenciosamente uma instalação de Python padrão e em todo o sistema, você pode usar o seguinte comando (a partir de um terminal de comando autorizado):

python-3.9.0.exe /quiet InstallAllUsers=1 PrependPath=1 Include_test=0

Para permitir que usuários instalem facilmente uma cópia do Python sem a suíte de testes, você pode fornecer um atalho com o seguinte comando. Isso irá exibir uma página inicial simplificado e bloquear a personalização:

python-3.9.0.exe InstallAllUsers=0 Include_launcher=0 Include_test=0
    SimpleInstall=1 SimpleInstallDescription="Just for me, no test suite."

(Observe que omitir o inicializador também omite associações de arquivos, e só é recomendado para instalações por usuários quando também existe uma instalação por todo o sistema que inclui o inicializador.)

As opções listadas acima também podem ser fornecidas em um arquivo chamado unattend.xml juntamente com o executável. Esse arquivo especifica uma lista de opções e valores. Quando um valor é fornecido como um atributo, ele será convertido para um número se possível. Valores fornecidos como elementos de texto são sempre deixados como strings. Esse arquivo de exemplo define as mesmas opções que o exemplo anterior:

<Options>
    <Option Name="InstallAllUsers" Value="no" />
    <Option Name="Include_launcher" Value="0" />
    <Option Name="Include_test" Value="no" />
    <Option Name="SimpleInstall" Value="yes" />
    <Option Name="SimpleInstallDescription">Just for me, no test suite</Option>
</Options>

4.1.4. Instalando Sem Download

Como alguns recursos do Python não estão inclusos no download inicial do instalador, selecionar esses recursos pode exigir uma conexão com a internet. Para evitar isso, todos os possíveis componentes podem ser baixados sob demanda para criar um layout completo que não irá precisar de uma conexão de internet independentemente dos recursos selecionados. Note que este download pode ser maior que o necessário, mas onde um grande número de instalações serão realizadas é bem útil ter uma cópia em cache local.

Execute o seguinte comando a partir do Prompt de Comando para fazer o download de todos os possíveis arquivos necessários. Lembre-se de substituir python-3.9.0.exe pelo nome real do seu instalador, e de criar layouts nos respectivos diretórios para evitar colisão entre arquivos com o mesmo nome.

python-3.9.0.exe /layout [diretório alvo opcional]

Você também pode especificar a opção /quiet para esconder o acompanhamento de progresso.

4.1.5. Modificando uma instalação

Uma vez que o Python foi instalado, você pode adicionar ou remover recursos através da ferramenta Programas e Recursos que é parte do Windows. Selecione o registro do Python e escolha “Uninstall/Change” para abrir o instalador no modo de manutenção.

“Modify” permite que você adicione ou remova recursos modificando as caixas de entrada - caixas de entrada não modificadas não irão instalar ou remover nada. Algumas opções não podem ser modificadas dessa forma, como o diretório de instalação; para modificá-las, você precisará remover e então reinstalar o Python completamente.

“Repair” irá verificar todos os arquivos que devem ser instalados usando as configurações atuais e substituir qualquer um que tiver sido removido ou modificado.

“Uninstall” irá remover o Python completamente, com a exceção do Inicializador Python para Windows, que tem seu próprio registro nos Programas e Recursos.

4.1.6. Instalando binários com threads livres

Adicionado na versão 3.13: (Experimental)

Nota

Tudo descrito nesta seção é considerado experimental e espera-se que mude em versões futuras.

Para instalar binários pré-construídos com recurso de threads livres habilitado (veja PEP 703 [https://peps.python.org/pep-0703/]), você deve selecionar “Customize installation” (Instalação personalizada). A segunda página de opções inclui a caixa de seleção “Download free-threaded binaries” (Baixar binários de threads livres).

Selecionar esta opção fará o download e instalará binários adicionais no mesmo local da instalação principal do Python. O executável principal é chamado python3.13t.exe, e outros binários recebem um sufixo t ou um sufixo ABI completo. Arquivos de origem do Python e dependências de terceiros empacotadas são compartilhadas com a instalação principal.

A versão com threads livres é registrada como uma instalação regular do Python com a tag 3.13t (com um sufixo -32 ou -arm64 como normal para essas plataformas). Isso permite que as ferramentas o descubram e que o Inicializador Python para Windows ofereça suporte a py.exe -3.13t. Observe que o inicializador interpretará py.exe -3 (ou um shebang python3) como “a instalação 3.x mais recente”, que preferirá os binários com threads livres aos normais, enquanto py.exe -3.13 não. Se você usar o estilo curto da opção, talvez prefira não instalar os binários com threads livres neste momento.

Para especificar a opção de instalação na linha de comando, use Include_freethreaded=1. Veja Instalando Sem Download para instruções sobre como baixar preventivamente os binários adicionais para instalação offline. As opções para incluir símbolos de depuração e binários também se aplicam às construções com threads livres.

Binários com threads livres também estão disponíveis em nuget.org.

4.2. O pacote Microsoft Store

Adicionado na versão 3.7.2.

O pacote Microsoft Store é um interpretador Python facilmente instalável criado principalmente para uso interativo, por exemplo, por estudantes.

Para instalar o pacote, certifique-se de que você possui as últimas 10 atualizações do Windows e procure o app “Python 3.13” na Microsoft Store. Certifique-se que o app que você selecionou foi publicado pela Python Software Foundation, e instale-o.

Aviso

Python sempre estará disponível gratuitamente na Microsoft Store. Se você for solicitado a pagar por ele, você não selecionou o pacote correto.

Após a instalação, o Python pode ser inicializado por pesquisa no menu Iniciar. Alternativamente, ele estará disponível a partir de qualquer Prompt de Comando ou sessão PowerShell apenas digitando python. Além disso, o pip e a IDLE podem ser usados digitando pip ou idle. A IDLE também pode ser encontrada no menu Iniciar.

Todos os três comandos também estão disponíveis com sufixos do número da versão, por exemplo, como em python3.exe e python3.x.exe bem como python.exe (onde 3.x é a versão específica que você quer iniciar, como a 3.13). Abra o “Gerenciar aliases de execução de aplicativo” através do menu Iniciar para selecionar qual versão do Python está associada com cada comando. É recomendado que você se certifique que pip e idle são consistentes com qualquer versão do python que seja selecionada.

Ambientes virtuais podem ser criados com python -m venv e ativados e usados normalmente.

Se você instalou outra versão do Python e adicionou ela à sua variável PATH, ela estará disponível com python.exe ao invés de uma instalada pela Microsoft Store. Para acessar a nova instalação, use python3.exe ou python3.x.exe.

O instalador py.exe irá detectar essa instalação do Python, mas irá preferir instalações feitas pelo instalador tradicional.

Para remover o Python, abra as Configurações e use Aplicativos e Recursos, ou encontre o Python no menu Iniciar e clique com o botão direito para selecionar Desinstalar. A desinstalação irá remover todos os pacotes que você instalou diretamente dentro dessa instalação do Python, mas não irá remover nenhum ambiente virtual.

4.2.1. Problemas conhecidos

4.2.1.1. Redirecionamento de dados locais, registro e caminhos temporários

Por causa de restrições nos aplicativos da Microsoft Store, scripts Python podem não ter acesso de escrita completo em locais compartilhados como TEMP ou o registro. Ao invés disso, ele irá escrever uma cópia privada. Se seus scripts precisam modificar locais compartilhados, você terá que instalar o instalador completo.

No tempo de execução, o Python usará uma cópia privada de pastas conhecidas do Windows e do registro. Por exemplo, se a variável de ambiente %APPDATA% for c:\Users\<user>\AppData\, ao gravar em C:\Users\<user>\AppData\Local gravará em C:\Users\<user>\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.8_qbz5n2kfra8p0\LocalCache\Local\

Ao ler arquivos, o Windows retornará o arquivo da pasta privada ou, se não existir, o diretório real do Windows. Por exemplo, ler C:\Windows\System32 retorna o conteúdo de C:\Windows\System32 mais o conteúdo de C:\Program Files\WindowsApps \nome_pacote\VFS\SystemX86.

Você pode encontrar o caminho real de qualquer arquivo existente usando os.path.realpath():

>>> import os
>>> test_file = 'C:\\Users\\exemplo\\AppData\\Local\\test.txt'
>>> os.path.realpath(test_file)
'C:\\Users\\exemplo\\AppData\\Local\\Packages\\PythonSoftwareFoundation.Python.3.8_qbz5n2kfra8p0\\LocalCache\\Local\\test.txt'

Ao gravar no Registro do Windows, existem os seguintes comportamentos:

A leitura de HKLM\\Software é permitida e os resultados são mesclados com o arquivo registry.dat no pacote.

Gravar em HKLM\\Software não é permitido se a chave/valor correspondente existir, ou seja, modificar chaves existentes.

Gravar em HKLM\\Software é permitido desde que uma chave/valor correspondente não exista no pacote e o usuário tenha as permissões de acesso corretas.

Para obter mais detalhes sobre a base técnica dessas limitações, consulte a documentação da Microsoft sobre aplicativos de confiança total empacotados, atualmente disponíveis em docs.microsoft.com/pt-br/windows/msix/desktop/desktop-to-uwp-behind-the-scenes [https://docs.microsoft.com/pt-br/windows/msix/desktop/desktop-to-uwp-behind-the-scenes]

4.3. Os pacotes nuget.org

Adicionado na versão 3.5.2.

O pacote nuget.org é um ambiente Python de tamanho reduzido criado para uso em integração contínua e construção de sistemas que não precisam de uma instalação de Python por todo o sistema da máquina. Enquanto nuget é o “gerenciador de pacotes para .NET”, ele também funciona perfeitamente bem para pacotes contendo ferramentas em tempo de construção.

Visite nuget.org [https://www.nuget.org/] para informações mais atualizadas sobre utilização do nuget. A seguir está um sumário que é suficiente para desenvolvedores Python.

A ferramenta de linha de comando nuget.exe pode ser baixada diretamente de https://aka.ms/nugetclidl, por exemplo, usando o curl ou PowerShell. Com a ferramenta, a versão mais recente do Python para máquinas 64-bit ou 32-bit é instalada usando:

nuget.exe install python -ExcludeVersion -OutputDirectory .
nuget.exe install pythonx86 -ExcludeVersion -OutputDirectory .

Para selecionar uma versão específica, adicione -Version 3.x.y. O diretório de saída pode ser mudado de ., e o pacote será instalado em um subdiretório. Por padrão, o subdiretório é nomeado igual ao pacote, e sem a opção -ExcludeVersion esse nome irá incluir a versão específica instalada. Dentro do subdiretório está um diretório tools que contém a instalação do Python:

# Sem -ExcludeVersion
> .\python.3.5.2\tools\python.exe -V
Python 3.5.2

# Com -ExcludeVersion
> .\python\tools\python.exe -V
Python 3.5.2

Em geral, pacotes nuget não são atualizáveis, e novas versões devem ser instaladas lado-a-lado e referenciadas usando o caminho completo. Alternativamente, delete o diretório do pacote manualmente e instale novamente. Muitos sistemas CI irão fazer isso automaticamente se eles não preservam arquivos entre construções de projetos.

Juntamente com o diretório tools está o diretório build\native. Ele contém um arquivo de propriedades MSBuild python.props que pode ser usado em um projeto C++ para referenciar a instalação do Python. Incluir as configurações irá automaticamente usar os cabeçalhos e importar as bibliotecas na sua construção de projeto.

As páginas de informação dos pacotes em nuget.org são www.nuget.org/packages/python [https://www.nuget.org/packages/python] para a versão 64 bits, www.nuget.org/packages/pythonx86 [https://www.nuget.org/packages/pythonx86] para a versão 32 bits e www.nuget.org/packages/pythonarm64 [https://www.nuget.org/packages/pythonarm64] para a versão ARM64

4.3.1. Pacotes com threads livres

Adicionado na versão 3.13: (Experimental)

Nota

Tudo descrito nesta seção é considerado experimental e espera-se que mude em versões futuras.

Pacotes contendo binários com threads livres são chamados python-freethreaded [https://www.nuget.org/packages/python-freethreaded] para a versão de 64 bits, pythonx86-freethreaded [https://www.nuget.org/packages/pythonx86-freethreaded] para a versão de 32 bits e pythonarm64-freethreaded [https://www.nuget.org/packages/pythonarm64-freethreaded] para a versão ARM64. Esses dois pacotes contêm os pontos de entrada python3.13t.exe e python.exe, os quais são executados com threads livres.

4.4. O pacote embutível

Adicionado na versão 3.5.

A distribuição embutida é um arquivo ZIP contendo um ambiente Python mínimo. Ela foi criada para atuar como parte de outra aplicação, ao invés de ser diretamente acessada por usuários finais.

Quando extraída, a distribuição embutida é (quase) completamente isolada do sistema do usuário, incluindo variáveis de ambiente, configurações de registro de sistema, e pacotes instalados. A biblioteca padrão está inclusa como arquivos .pyc pré-compilados e otimizados em um ZIP, e python3.dll, python37.dll, python.exe e pythonw.exe estão todos disponíveis. Tcl/tk (incluindo todas as dependências, como a Idle), pip e a documentação do Python não estão inclusos.

Nota

A distribuição embutida não inclui o Microsoft C Runtime [https://docs.microsoft.com/en-US/cpp/windows/latest-supported-vc-redist#visual-studio-2015-2017-2019-and-2022] e é de responsabilidade do instalador da aplicação providenciar isso. O aplicativo de tempo de execução pode já ter sido instalado no sistema de um usuário previamente ou automaticamente via Windows Update, e pode ser detectado procurando por ucrtbase.dll no diretório do sistema.

Pacotes de terceiros devem ser instalados pelo instalador da aplicação juntamente com a distribuição embutida. Usar o pip para gerenciar as dependências como em uma instalação regular do Python não é suportado nessa distribuição, apesar de que com algum cuidado pode ser possível incluir e usar o pip para atualizações automáticas. Em geral, pacotes de terceiros devem ser tratados como parte da aplicação (“vendoring”) para que o desenvolvedor consiga garantir compatibilidade com versões mais recentes antes de fornecer atualizações para os usuários.

Os dois casos de uso recomendados para essa distribuição são descritos abaixo.

4.4.1. Aplicação Python

Uma aplicação escrita em Python não requer necessariamente que os usuários estejam cientes deste fato. A distribuição embutida pode ser usada neste caso para incluir uma versão privada do pacote de instalação do Python. Dependendo de quão transparente deve ser (ou pelo contrário, quão profissional deve parecer), existem duas opções.

Usar um executável especializado como inicializador requer um pouco de código, mas fornece a experiência mais transparente para os usuários. Com um inicializador personalizado, não existem indicações óbvias que o programa está rodando em Python: ícones podem ser personalizados, informações da empresa e versão podem ser especificadas, e associações de arquivo se comportam de forma apropriada. Na maioria dos casos, um inicializador personalizado deve simplesmente ser capaz de chamar Py_Main com uma linha de comando predefinida (hard-coded).

A abordagem mais simples é fornecer um arquivo batch ou um atalho gerado que chama diretamente o python.exe ou pythonw.exe com os argumentos de linha de comando necessários. Neste caso, a aplicação irá aparecer como Python e não seu nome real, e os usuários podem ter problemas em distinguir ela de outros processos ou associações de arquivo em Python.

Com a abordagem anterior, pacotes devem ser instalados como diretórios juntamente do executável do Python para garantir que estarão disponíveis no caminho do ambiente. Com o instalador especializado, pacotes podem ser armazenados em outras localidades já que há uma oportunidade de especificar o caminho de busca antes de executar a aplicação.

4.4.2. Incorporando Python

Aplicações escritas em código nativo frequentemente precisam de alguma forma de linguagem de script, e a distribuição embutida do Python pode ser usada para esse propósito. Em geral, a maior parte da aplicação é em código nativo, e uma parte irá ou invocar python.exe ou usar diretamente python3.dll. Para ambos os casos, extrair a distribuição embutida em um subdiretório da instalação da aplicação é suficiente para providenciar um interpretador Python carregável.

Para uso da aplicação, pacotes podem ser instalados em qualquer local já que há uma oportunidade de especificar caminhos de busca antes de inicializar o interpretador. De outra forma, não existem diferenças fundamentais entre usar a distribuição embutida ou a instalação regular.

4.5. Pacotes Alternativos

À parte da distribuição padrão CPython, existem pacotes modificados incluindo funcionalidades adicionais. A seguir está uma lista de versões populares e seus recursos chave:

ActivePython [https://www.activestate.com/products/python/]

Instalador com compatibilidade multi-plataforma, documentação, PyWin32

Anaconda [https://www.anaconda.com/download/]

Módulos científicos populares (como o numpy, scipy e pandas) e o gerenciador de pacotes conda.

Enthought Deployment Manager [https://assets.enthought.com/downloads/edm/]

“A próxima geração de ambiente Python e gerenciador de pacotes”.

Anteriormente, a Enthought fornecia Canopy, mas este chegou ao fim de vida em 2016 [https://support.enthought.com/hc/en-us/articles/360038600051-Canopy-GUI-end-of-life-transition-to-the-Enthought-Deployment-Manager-EDM-and-Visual-Studio-Code].

WinPython [https://winpython.github.io/]

Distribuição específica do Windows com pacotes científicos pré-construídos e ferramentas para construir pacotes.

Note que esses pacotes podem não incluir as últimas versões do Python ou outras bibliotecas, e não são mantidos ou suportados pelo time do núcleo do Python.

4.6. Configurando o Python

Para executar o Python convenientemente de um prompt de comando, você pode considerar mudar algumas variáveis de ambiente padrão do Windows. Ainda que o instalador forneça uma opção para configurar as variáveis PATH e PATHEXT para você, isso só é confiável para uma instalação única e global no sistema. Se você usa regularmente múltiplas versões do Python, considere usar o Inicializador Python para Windows.

4.6.1. Excursus: Configurando variáveis de ambiente

O Windows permite que variáveis de ambiente sejam configuradas de forma permanente em ambos os níveis de Usuário e de Sistema, ou temporariamente em um prompt de comando.

Para definir as variáveis de ambiente temporariamente, abra um Prompt de Comando e use o comando set:

C:\>set PATH=C:\Program Files\Python 3.9;%PATH%
C:\>set PYTHONPATH=%PYTHONPATH%;C:\My_python_lib
C:\>python

Essas mudanças serão aplicadas em quaisquer comandos posteriores que forem executados neste console, e serão herdadas por quaisquer aplicações iniciadas pelo console.

Incluir o nome da variável com sinais de porcentagem irá expandir o valor existente, permitindo que você adicione seu novo valor ao início ou final. Modificar o PATH adicionando o diretório contendo python.exe ao início é o modo mais comum de garantir que a versão correta do Python seja iniciada.

Para modificar permanentemente as variáveis de ambiente padrão, clique em Iniciar e procure por ‘Editar as variáveis de ambiente do sistema`, ou abra as propriedades do Sistema, Configurações avançadas do sistema e clique no botão Variáveis de Ambiente. Neste diálogo, você pode adicionar ou modificar as variáveis de Usuário ou Sistema. Para mudar as variáveis do Sistema, você precisa de acesso não-restrito à sua máquina (isto é, direitos de Administrador).

Nota

O Windows irá concatenar as variáveis de Usuário após as variáveis de Sistema, o que pode causar resultados inesperados quando modificando o PATH.

A variável PYTHONPATH é usada por todas as versões do Python, portanto, você não deve configurá-la permanentemente, a menos que os caminhos listados incluam apenas código compatível com todas as versões instaladas do Python.

Ver também

https://docs.microsoft.com/en-us/windows/win32/procthread/environment-variables

Visão geral das variáveis de ambiente no Windows

https://docs.microsoft.com/en-us/windows-server/administration/windows-commands/set_1

O comando set, para modificar temporariamente as variáveis de ambiente

https://docs.microsoft.com/en-us/windows-server/administration/windows-commands/setx

O comando setx, para modificar permanentemente as variáveis de ambiente

4.6.2. Encontrando o executável do Python

Alterado na versão 3.5.

Além de usar o registro do menu Iniciar criado automaticamente para o interpretador do Python, você pode querer iniciar o Python no prompt de comando. O instalador possui uma opção para configurar isso pra você.

Na primeira página do instalador, uma opção chamada “Add Python to PATH” pode ser selecionada para que o instalador adicione o local de instalação na sua variável PATH. O local da pasta de Scripts\ também é adicionado. Isso permite que você digite python para executar o interpretador, e pip para o instalador de pacotes. Além disso, você pode também executar seus scripts com as opções de linha de comando, veja a documentação Linha de comando.

Se você não habilitar essa opção no momento de instalação, você sempre pode re-executar o instalador, selecionar Modify, e habilitá-la. Alternativamente, você pode modificar manualmente a variável PATH usando os direcionamentos em Excursus: Configurando variáveis de ambiente. Você precisa definir sua variável de ambiente PATH para incluir o diretório da sua instalação Python, delimitado por um ponto e vírgula de outras entradas. Uma variável exemplo pode parecer com isso (presumindo que as duas primeiras entradas já existem):

C:\WINDOWS\system32;C:\WINDOWS;C:\Program Files\Python 3.9

4.7. Modo UTF-8

Adicionado na versão 3.7.

O Windows ainda usa codificações legadas para a codificação do sistema (a Página de Código ANSI). O Python usa-o para a codificação padrão de arquivos de texto (por exemplo, locale.getencoding()).

Isso pode causar problemas, porque o UTF-8 é amplamente usado na Internet e na maioria dos sistemas Unix, incluindo o WSL (Subsistema Windows para Linux).

Você pode usar o Modo UTF-8 do Python para alterar a codificação de texto padrão para UTF-8. Você pode habilitar Modo UTF-8 do Python através da opção de linha de comando -X utf8 ou da variável de ambiente PYTHONUTF8=1. Veja PYTHONUTF8 para habilitar o modo UTF-8, e Excursus: Configurando variáveis de ambiente para saber como modificar variáveis de ambiente.

Quando o Modo UTF-8 do Python está habilitado, você ainda pode usar a codificação do sistema (a página de código ANSI) através do codec “mbcs”.

Observe que adicionar PYTHONUTF8=1 às variáveis de ambiente padrão afetará todas as aplicações Python 3.7+ em seu sistema. Se você tiver aplicações Python 3.7+ que dependem da codificação do sistema legado, é recomendável definir a variável de ambiente temporariamente ou usar a opção de linha de comando -X utf8.

Nota

Mesmo quando o modo UTF-8 está desativado, o Python usa o UTF-8 por padrão no Windows para:

E/S do console, incluindo E/S padrão (consulte PEP 528 [https://peps.python.org/pep-0528/] para detalhes).

A codificação do sistema de arquivos (veja a PEP 529 [https://peps.python.org/pep-0529/] para detalhes).

4.8. Inicializador Python para Windows

Adicionado na versão 3.3.

O inicializador Python para Windows é um utilitário que auxilia na localização e execução de diferentes versões do Python. Ele permite que scripts (ou a linha de comando) indiquem uma preferência por uma versão do Python específica, e irá localizar e executar essa versão.

Ao contrário da variável PATH, o inicializador irá corretamente selecionar a versão mais apropriada do Python. Ele irá preferir instalações por usuário ao invés de instalações globais no sistema, e ordenará por versão da linguagem ao invés de usar a versão instalada mais recentemente.

O inicializador foi originalmente especificado na PEP 397 [https://peps.python.org/pep-0397/].

4.8.1. Começando

4.8.1.1. Pela linha de comando

Alterado na versão 3.6.

Instalações globais no sistema do Python 3.3 ou posterior irão colocar o inicializador no seu PATH. O inicializador é compatível com todas as versões disponíveis do Python, então não importa qual versão está instalada. Para verificar se o inicializador está disponível, execute o seguinte comando no Prompt de Comando:

py

Você deve perceber que a última versão do Python que você tem é iniciada - ela pode ser fechada normalmente, e qualquer argumento da linha de comando adicional especificado será enviado diretamente para o Python.

Se você tem múltiplas versões do Python instaladas (por exemplo, 3.7 e 3.13) você deve ter notado que o Python 3.13 foi iniciado – para iniciar o Python 3.7, use o comando:

py -3.7

Se você quer a versão mais recente do Python 2 que você tem instalada, tente o comando:

py -2

Se você ver o seguinte erro, você não tem o inicializador instalado:

'py' is not recognized as an internal or external command,
operable program or batch file.

O comando:

py --list

exibe a(s) versão(ões) atualmente instalada(s) do Python.

O argumento -x.y é a forma abreviada do argumento -V:Empresa/Tag, que permite selecionar um tempo de execução Python específico, incluindo aqueles que podem ter vindo de algum lugar diferente de python.org. Qualquer tempo de execução registrado seguindo a PEP 514 [https://peps.python.org/pep-0514/] será detectável. O comando --list lista todos os tempos de execução disponíveis usando o formato -V:.

Ao usar o argumento -V:, especificar a Empresa limitará a seleção aos tempos de execução desse provedor, enquanto especificar apenas a Tag selecionará de todos os provedores. Observe que omitir a barra implica uma tag:

# Seleciona qualquer runtime sinalizado como '3.*'
py -V:3

# Seleciona qualquer runtime lançado como 'PythonCore'
py -V:PythonCore/

# Seleciona o runtime Python 3 mais recente de PythonCore
py -V:PythonCore/3

A forma abreviada do argumento (-3) só seleciona a partir de versões principais do Python, e não de outras distribuições. No entanto, a forma mais longa (-V:3) selecionará qualquer um.

A Empresa é correspondida na string completa, sem distinção entre maiúsculas e minúsculas. A Tag corresponde a uma string completa ou a um prefixo, desde que o próximo caractere seja um ponto ou um hífen. Isso permite que -V:3.1 corresponda a 3.1-32, mas não a 3.10. As tags são classificadas usando ordenação numérica (3.10 é mais recente que 3.1), mas são comparadas usando texto (-V:3.01 não corresponde a 3.1).

4.8.1.2. Ambientes virtuais

Adicionado na versão 3.5.

Se o inicializador é executado sem versão explícita do Python especificada, e um ambiente virtual (criado com o módulo da biblioteca padrão venv ou da ferramenta externa virtualenv) está ativo, o inicializador irá executar o interpretador do ambiente virtual ao invés do global. Para executar o interpretador global, ou desative o ambiente virtual, ou explicitamente especifique a versão global do Python.

4.8.1.3. Por um script

Vamos criar um script teste de Python - crie um arquivo chamado hello.py com os seguintes conteúdos:

#! python
import sys
sys.stdout.write("olá do Python %s\n" % (sys.version,))

A partir do diretório onde hello.py está, execute o comando:

py hello.py

Você deve notar que o número da versão da sua instalação mais recente do Python 2.x é exibido. Agora tente mudar a primeira linha para ser:

#! python3

Re-executar o comando agora deve exibir informações da última versão do Python 3.x. Como nos exemplos da linha de comando acima, você pode especificar um qualificador de versão mais explícito. Presumindo que você tem o Python 3.7 instalado, tente mudar a primeira linha para #! python3.7 e você deve ver as informações da versão 3.7 sendo exibidas.

Note que diferentemente do uso interativo, um simples “python” irá usar a última versão do Python 2.x que você tem instalada. Isso é para retrocompatibilidade e para compatibilidade com Unix, onde o comando python tipicamente se refere ao Python 2.

4.8.1.4. Por associação de arquivos

O inicializador deve ter sido associado com arquivos Python (isto é, arquivos .py, .pyw, .pyc) quando foi instalado. Isso significa que quando você clica duas vezes em um desses arquivos a partir do Explorador de Arquivos do Windows o inicializador será usado, e assim você pode usar as mesmas facilidades descritas acima para que o script especifique qual versão deve ser usada.

O benefício chave disso é que um único inicializador pode suportar múltiplas versões do Python ao mesmo tempo dependendo dos conteúdos da primeira linha.

4.8.2. Linhas Shebang

Se a primeira linha de um arquivo de script começa com #!, ela é conhecida como linha “shebang”. Linux e outros tipos de sistemas operacionais Unix têm suporte nativo para essas linhas e elas são comumente usadas nesses sistemas para indicar como um script deve ser executado. Esse inicializador permite que as mesmas facilidades sejam usadas com scripts Python no Windows e os exemplos acima demonstram seu uso.

Para permitir que linhas shebang em scripts Python sejam portáveis entre Unix e Windows, este inicializador suporta um número de comandos ‘virtuais’ para especificar qual interpretador deve ser usado. Os comandos virtuais suportados são:

/usr/bin/env

/usr/bin/python

/usr/local/bin/python

python

Por exemplo, se a primeira linha do seu script começa com

#! /usr/bin/python

O Python padrão ou um ambiente virtual ativo será localizado e utilizado. Como muitos scripts Python escritos para funcionar no Unix já terão essa linha, você deve perceber que esses scripts podem ser usados pelo inicializador sem modificação. Se você está escrevendo um novo script no Windows que você espera que seja útil no Unix, você deve usar uma dessas linhas shebang começando com /usr.

Qualquer um dos comandos virtuais acima pode ser sufixado com uma versão explícita (ou apenas a maior versão, ou a maior e a menor versão). Além disso, a versão de 32 bits pode ser solicitada adicionando “-32” após a menor versão. Isto é, /usr/bin/python3.7-32 irá solicitar o uso do python 3.7 32-bit. Se um ambiente virtual estiver ativo, a versão será ignorada e o ambiente será usado.

Adicionado na versão 3.7: A partir do inicializador do python 3.7 é possível solicitar a versão 64-bit adicionando o sufixo “-64”. Além disso é possível especificar uma versão maior e arquitetura sem a menor (isto é, /usr/bin/python3-64).

Alterado na versão 3.11: O sufixo “-64” foi descontinuado e agora implica “qualquer arquitetura que não seja comprovadamente i386/32 bits”. Para solicitar um ambiente específico, use o novo argumento -V:TAG com a tag completa.

Alterado na versão 3.13: Comandos virtuais que referenciam python agora preferem um ambiente virtual ativo em vez de pesquisar PATH. Isso lida com casos em que o shebang especifica /usr/bin/env python3, mas python3.exe não está presente no ambiente ativo.

A forma /usr/bin/env da linha shebang tem mais uma propriedade especial. Antes de procurar por interpretadores Python instalados, este formulário pesquisará o executável PATH por um executável Python correspondente ao nome fornecido como o primeiro argumento. Isso corresponde ao comportamento do programa Unix env, que executa uma pesquisa PATH. Se um executável correspondente ao primeiro argumento após o comando env não puder ser encontrado, mas o argumento começar com python, ele será tratado conforme descrito para os outros comandos virtuais. A variável de ambiente PYLAUNCHER_NO_SEARCH_PATH pode ser definida (para qualquer valor) para ignorar esta pesquisa de PATH.

As linhas Shebang que não correspondem a nenhum desses padrões são procuradas na seção [commands] do arquivo .INI do lançador. Isso pode ser usado para lidar com certos comandos de uma maneira que faça sentido para o seu sistema. O nome do comando deve ser um único argumento (sem espaços no executável shebang) e o valor substituído é o caminho completo para o executável (argumentos adicionais especificados no .INI serão citados como parte do nome do arquivo).

[commands]
/bin/xpython=C:\Program Files\XPython\python.exe

Quaisquer comandos não encontrados no arquivo .INI são tratados como caminhos executáveis do Windows que são absolutos ou relativos ao diretório que contém o arquivo de script. Isso é uma conveniência para scripts somente do Windows, como aqueles gerados por um instalador, pois o comportamento não é compatível com shells de estilo Unix. Esses caminhos podem ser citados e podem incluir vários argumentos, após os quais o caminho para o script e quaisquer argumentos adicionais serão anexados.

4.8.3. Argumentos em linhas shebang

As linhas shebang também podem especificar opções adicionais a serem passadas ao interpretador Python. Por exemplo, se você tem uma linha shebang:

#! /usr/bin/python -v

O Python será iniciado com a opção -v

4.8.4. Personalização

4.8.4.1. Personalização via arquivos INI

Dois arquivos .ini serão pesquisados pelo inicializador - py.ini no diretório de dados de aplicações do usuário atual (%LOCALAPPDATA% ou $env:LocalAppData) e py.ini no mesmo diretório que o inicializador. Os mesmos arquivos .ini são usados para ambas a versão ‘console’ do inicializador (isto é, py.exe) e a versão ‘windows’ (isto é, pyw.exe).

Personalização especificada no “diretório da aplicação” terão precedência sobre àquela especificada junto do executável, portanto um usuário, que pode não ter acesso de escrita ao arquivo .ini junto do inicializador, pode sobrescrever comandos naquele arquivo .ini global.

4.8.4.2. Personalizando versões padrão do Python

Em alguns casos, um qualificador de versão pode ser incluído em um comando para ditar qual versão do Python deve ser usada pelo comando. Um qualificador de versão começa com um número maior de versão e pode opcionalmente ser seguido por um ponto (‘.’) e uma especificação de versão menor. Além disso, é possível especificar se uma implementação de 32 ou 64 bit deve ser solicitada adicionando “-32” ou “-64”.

Por exemplo, uma linha shebang #!python não tem qualificador de versão, enquanto #!python3 tem um qualificador de versão que especifica apenas uma versão maior.

Se nenhum qualificador de versão é encontrado em um comando, a variável de ambiente PY_PYTHON pode ser definida para especificar o qualificador de versão padrão. Se ela não está definida, o padrão é “3”. A variável pode especificar qualquer valor que pode ser passado para a linha de comando, como “3”, “3.7”, “3.7-32” ou “3.7-64”. (Note que a opção “-64” está disponível apenas com o inicializador incluso no Python 3.7 ou mais recente.)

Se nenhum qualificador de versão menor é encontrado, a variável de ambiente PY_PYTHON{major} (onde {major} é o qualificador da versão maior atual, como determinado acima) pode ser definida para especificar a versão completa. Se nenhuma opção é encontrada, o inicializador irá enumerar as versões do Python instaladas e usar a última versão menor encontrada como versão maior, o que é provavelmente, ainda que não garantido, a versão instalada mais recentemente naquela família.

Em um Windows 64-bit com ambas as implementações de 32-bit e 64-bit da mesma (maior.menor) versão do Python instaladas, a versão 64-bit sempre será preferida. Isso será verdadeiro para ambas as implementações de 32-bit e 64-bit do inicializador - um inicializador 32-bit irá preferir executar uma instalação 64-bit do Python da versão especificada, se disponível. Isso é para que o comportamento do inicializador possa ser previsto sabendo apenas quais versões estão instaladas no PC e sem considerar a ordem com que elas foram instaladas (isto é, sem saber se a última a ser instalada foi a versão 32 ou 64-bit do Python e do instalador correspondente). Como observado acima, um sufixo opcional “-32” ou “-64” pode ser usado como especificador de versão para mudar esse comportamento.

Exemplos:

Se nenhuma opção relevante for definida, os comandos python e python2 irão usar a última versão instalada do Python 2.x e o comando python3 irá usar o último Python 3.x instalado.

O comando python3.7 não vai consultar nenhuma opção já que as versões estão completamente especificadas.

Se PY_PYTHON=3, os comandos python e python3 irão ambos usar a última versão do Python 3 instalada.

Se PY_PYTHON=3.7-32, o comando python irá usar a implementação 32 bits do 3.7 enquanto o comando python3 irá usar o último Python instalado (PY_PYTHON não foi considerado porque uma versão maior foi especificada).

Se PY_PYTHON=3 e PY_PYTHON3=3.7, os comandos python e python3 irão ambos usar especificamente 3.7

Em adição às variáveis de ambiente, as mesmas configurações podem ser feitas no arquivo .INI usado pelo inicializador. A seção nos arquivos INI é chamada [defaults] e o nome da chave será o mesmo que as variáveis de ambiente sem o prefixo PY_ (e observe que os nomes das chaves no arquivo INI não diferem maiúsculas e minúsculas). Os conteúdos de uma variável de ambiente irão sobrescrever coisas especificadas em um arquivo INI.

Por exemplo:

Configurar PY_PYTHON=3.7 é o equivalente ao arquivo INI contendo:

[defaults]
python=3.7

Configurar PY_PYTHON=3 e PY_PYTHON3=3.7 é o equivalente ao arquivo INI contendo:

[defaults]
python=3
python3=3.7

4.8.5. Diagnósticos

Se uma variável de ambiente PYLAUNCHER_DEBUG é configurada (para qualquer valor), o inicializador irá exibir a informação de diagnóstico do stderr (isto é, no console). Enquanto essa informação consegue ser simultaneamente verbosa e concisa, ela deve permitir que você veja quais versões do Python foram localizadas, porquê uma versão particular foi escolhida e qual linha de comando exatamente foi usada para executar o Python alvo. Destina-se principalmente para testes e depuração.

4.8.6. Teste de simulação

Se uma variável de ambiente PYLAUNCHER_DRYRUN for definida (para qualquer valor), o inicializador emitirá o comando que ele teria executado, mas não iniciará o Python de fato. Isso pode ser útil para ferramentas que desejam usar o inicializador para detectar e então iniciar o Python diretamente. Observe que o comando escrito na saída padrão é sempre codificado usando UTF-8 e pode não ser renderizado corretamente no console.

4.8.7. Instalar sob demanda

Se uma variável de ambiente PYLAUNCHER_ALLOW_INSTALL for definida (para qualquer valor), e a versão do Python solicitada não estiver instalada, mas estiver disponível na Microsoft Store, o inicializador tentará instalá-la. Isso pode exigir interação do usuário para ser concluído, e você pode precisar executar o comando novamente.

Uma variável adicional PYLAUNCHER_ALWAYS_INSTALL faz com que o inicializador sempre tente instalar o Python, mesmo se for detectado. Isso é destinado principalmente para teste (e deve ser usado com PYLAUNCHER_DRYRUN).

4.8.8. Códigos de retorno

Os seguintes códigos de saída podem ser retornados pelo inicializador do Python. Infelizmente, não há como distingui-los do código de saída do próprio Python.

Os nomes dos códigos são como usados ​​nas fontes e são apenas para referência. Não há como acessá-los ou resolvê-los além de ler esta página. As entradas são listadas em ordem alfabética de nomes.

Nome

Valor

Descrição

RC_BAD_VENV_CFG

107

Um pyvenv.cfg foi encontrado, mas está corrompido.

RC_CREATE_PROCESS

101

Falha ao iniciar o Python.

RC_INSTALLING

111

Uma instalação foi iniciada, mas o comando precisará ser executado novamente após sua conclusão.

RC_INTERNAL_ERROR

109

Erro inesperado. Por favor, relate um bug.

RC_NO_COMMANDLINE

108

Não é possível obter a linha de comando do sistema operacional.

RC_NO_PYTHON

103

Não foi possível localizar a versão solicitada.

RC_NO_VENV_CFG

106

Um pyvenv.cfg era necessário, mas não foi encontrado.

4.9. Encontrando módulos

Estas notas complementam a descrição em A inicialização do caminho de pesquisa de módulos sys.path com notas detalhadas do Windows.

Quando nenhum arquivo ._pth é encontrado, assim é como sys.path é populado no Windows:

Uma entrada em branco é adicionada ao início, que corresponde ao diretório atual.

Se a variável de ambiente PYTHONPATH existe, como descrito em Variáveis de ambiente, suas entradas são adicionadas em seguida. Note que no Windows, caminhos nessa variável devem ser separados por ponto e vírgula, para distinguir eles dos dois pontos usados nos identificadores de drivers (C:\ etc.).

“Caminhos da aplicação” adicionais podem ser adicionados ao registro como subchaves de \SOFTWARE\Python\PythonCore{version}\PythonPath sob ambas HKEY_CURRENT_USER e HKEY_LOCAL_MACHINE. Subchaves que possuem string de caminhos delimitados por ponto e vírgula como seu valor padrão farão com que cada caminho seja adicionado ao sys.path. (Note que todos os instaladores conhecidos usam apenas HKLM, portanto HKCU está tipicamente vazio.)

Se a variável de ambiente PYTHONHOME está definida, ela é presumida como “Python Home”. Caso contrário, o caminho do principal executável do Python é usado para localizar um “arquivo de referência” (ou Lib\os.py ou pythonXY.zip) para deduzir o “Python Home”. Se um Python Home é encontrado, os subdiretórios relevantes adicionados ao sys.path (Lib, plat-win, etc) são baseados naquela pasta. Se não, o caminho núcleo do Python é construído a partir do PythonPath armazenado no registro.

Se o Python Home não puder ser localizado, nenhum PYTHONPATH está especificado no ambiente, e nenhuma entrada de registro pôde ser encontrada, um caminho padrão com entradas relativas é usado (por exemplo, .\Lib;.\plat-win, etc).

Se um arquivo pyvenv.cfg for encontrado juntamente com o principal executável ou no diretório um nível acima do executável, as seguintes variações se aplicam:

Se home é um caminho absoluto e PYTHONHOME não está definido, o caminho é usado ao invés do caminho ao principal executável quando deduzindo a localização do Home.

O resultado final de tudo isso é:

Quando executando python.exe, ou qualquer outro .exe no diretório principal do Python (ou uma versão instalada, ou diretamente do diretório PCbuild), o caminho núcleo é deduzido, e os caminhos núcleo no registro são ignorados. Outros “caminhos da aplicação” no registro são sempre lidos.

Quando Python é hospedado em outro .exe (diretório diferente, embutido via COM, etc), o “Python Home” não será deduzido, então o caminho núcleo do registro é usado. Outros “caminhos da aplicação” no registro sempre são lidos.

Se o Python não puder encontrar seu Home e não existem valores no registro (.exe imutáveis, algumas configurações de instalação bem estranhas) você recebe um caminho com alguns caminhos padrão, porém relativos.

Para aqueles que querem empacotar o Python em suas aplicações ou distribuições, o seguinte conselho irá prevenir conflitos com outras instalações:

Inclua um arquivo ._pth juntamente do executável contendo os diretórios a serem incluídos. Isso irá ignorar caminhos listados no registro e variáveis de ambiente, e também ignorar sites a não ser que import site seja listado.

Se você estiver carregando python3.dll ou python37.dll em seu próprio executável, defina explicitamente PyConfig.module_search_paths antes de Py_InitializeFromConfig().

Limpe e/ou sobrescreva PYTHONPATH e defina PYTHONHOME antes de iniciar o python.exe a partir da sua aplicação.

Se você não puder usar as sugestões anteriores (por exemplo, você é uma distribuição que permite que as pessoas executem o arquivo python.exe diretamente), certifique-se de que o arquivo de referência (Lib\os.py) existe no seu diretório de instalação. (Note que ele não será detectado dentro de um arquivo ZIP, mas um arquivo ZIP corretamente nomeado será detectado ao invés disso.)

Isso irá garantir que seus arquivos em uma instalação global no sistema não terão precedência sobre uma cópia da biblioteca padrão empacotada com a sua aplicação. Caso contrário, seus usuários podem experienciar problemas usando sua aplicação. Note que a primeira sugestão é a melhor, pois as outras podem ainda estar suscetíveis a caminhos não-padrão no registro e no site-packages do usuário.

Alterado na versão 3.6: Adiciona suporte a arquivos ._pth e remove a opção applocal do pyvenv.cfg.

Alterado na versão 3.6: Adiciona pythonXX.zip como uma possível referência quando diretamente adjacente ao executável.

Obsoleto desde a versão 3.6: Módulos especificados no registro sob Modules (não PythonPath) podem ser importados por importlib.machinery.WindowsRegistryFinder. Este localizador está ativo no Windows no 3.6.0 e anteriores, mas pode precisar ser explicitamente adicionado ao sys.meta_path no futuro.

4.10. Módulos adicionais

Mesmo que o Python tenha como objetivo ser portável através de todas as plataformas, existem recursos que são únicos para o Windows. Alguns módulos, em ambas as bibliotecas padrão e externa, e trechos de código existem para usar esses recursos.

Os módulos padrão específicos para Windows estão documentados em Serviços Específicos do MS Windows.

4.10.1. PyWin32

O módulo PyWin32 [https://pypi.org/project/PyWin32/] de Mark Hammond é uma coleção de módulos para suporte avançado específico para Windows. Isso inclui utilitários para:

Component Object Model [https://docs.microsoft.com/en-us/windows/win32/com/component-object-model--com--portal] (COM)

Chamadas à API Win32

Registro

Log de Eventos

Microsoft Foundation Classes [https://docs.microsoft.com/en-us/cpp/mfc/mfc-desktop-applications] (MFC) user interfaces

PythonWin [https://web.archive.org/web/20060524042422/https://www.python.org/windows/pythonwin/] é uma aplicação MFC de exemplo enviada com o PyWin32. É uma IDE embutível com um depurador embutido.

Ver também

Win32 How Do I…? [https://timgolden.me.uk/python/win32_how_do_i.html]

por Tim Golden

Python e COM [https://www.boddie.org.uk/python/COM.html]

by David and Paul Boddie

4.10.2. cx_Freeze

cx_Freeze [https://cx-freeze.readthedocs.io/en/latest/] encapsula scripts Python em programas executáveis do Windows (arquivos *.exe). Quando você tiver feito isso, você pode distribuir sua aplicação sem solicitar que os seus usuários instalem o Python.

4.11. Compilando Python no Windows

Se você quer compilar o CPython por conta própria, a primeira coisa que você precisa ter é a fonte [https://www.python.org/downloads/source/]. Você pode fazer o download tanto da fonte da última versão quanto pegar um novo checkout [https://devguide.python.org/setup/#get-the-source-code].

A árvore de fontes contém uma solução de construção e arquivos de projeto para o Microsoft Visual Studio, que é o compilador usado para construir as versões do Python oficiais. Esses arquivos estão no diretório PCbuild.

Confira o PCbuild/readme.txt para informações gerais sobre o processo de construção.

Para módulos de extensão, consulte Construindo Extensões C e C++ no Windows.

4.12. Outras plataformas

Com o desenvolvimento do Python em andamento, algumas plataformas que costumavam ser suportadas anteriormente não são mais suportadas (devido à falta de usuário ou desenvolvedores). Confira a PEP 11 [https://peps.python.org/pep-0011/] para detalhes de todas as plataformas não suportadas.

Windows CE [https://pythonce.sourceforge.net/] não é mais suportado [https://github.com/python/cpython/issues/71542] desde o Python 3 (se é que foi em algum momento).

O instalador do Cygwin [https://cygwin.com/] oferece instalar o interpretador do Python [https://cygwin.com/packages/summary/python3.html] também

Veja Python for Windows [https://www.python.org/downloads/windows/] para informação detalhada sobre as plataformas com instaladores pré-compilados.

5. Usando Python em macOS

Este documento tem o objetivo de fornecer uma visão geral dos comportamentos específicos do macOS que você deve conhecer para começar a usar o Python em computadores Mac. O Python em um Mac com macOS é muito semelhante ao Python em outras plataformas derivadas do Unix, mas há algumas diferenças na instalação e alguns recursos.

Há várias maneiras de obter e instalar o Python para macOS. Versões pré-construídas das versões mais recentes do Python estão disponíveis em vários distribuidores. Grande parte deste documento descreve o uso dos Pythons fornecidos pela equipe de lançamento do CPython, disponíveis para download no site python.org [https://www.python.org/downloads/]. Consulte Distribuições alternativas para conhecer outras opções.

5.1. Usando Python para macOS do python.org

5.1.1. Etapas de instalação

Para as versões atuais de Python [https://www.python.org/downloads/] (exceto as com status security), a equipe de lançamento produz um pacote de instalação Python para macOS em cada novo lançamento. Uma lista dos instaladores disponíveis está disponível aqui [https://www.python.org/downloads/macos/]. Recomendamos usar a versão suportada mais recente de Python sempre que possível. Os instaladores atuais fornecem uma versão de Python como binário universal 2 [https://pt.wikipedia.org/wiki/Bin%C3%A1rio_universal] que é executado nativamente em todos os Macs (Apple Silicon e Intel) compatíveis com uma ampla gama de versões do macOS, atualmente do macOS 10.13 High Sierra em diante.

O arquivo baixado é um arquivo padrão do instalador de pacotes do macOS (.pkg). As informações de integridade do arquivo (soma de verificação, tamanho, assinatura de Sigstore, etc.) de cada arquivo estão inclusas na página de download dos lançamentos. Os pacotes de instalação e seus conteúdos são assinados e autenticados com certificados Apple Developer ID Python Software Foundation para atender aos requisitos do macOS Gatekeeper [https://support.apple.com/en-us/102445].

Para uma instalação padrão, clique duas vezes no arquivo instalador de pacotes baixado. Isso deverá abrir o aplicativo padrão de instalação do macOS e exibir o primeiro de vários passos de instalação.

Ao clicar no botão Continuar, é exibido o Read Me desse instalador. Além de outras informações importantes, o Read Me documenta qual versão de Python será instalada e em quais versões do macOS ele é compatível. Talvez você precise rolar a tela para ler o arquivo inteiro. Por padrão, esse Read Me também será instalado em /Applications/Python 3.13/ e estará disponível para leitura a qualquer momento.

Ao clicar em Continuar, o instalador exibe a licença do Python e de outros softwares incluídos. Você precisará Concordar com os termos da licença antes de prosseguir para a próxima etapa. Esse arquivo de licença também será instalado e estará disponível para leitura a qualquer momento.

Após aceitar os termos da licença, a próxima etapa será a tela Tipo de instalação. Para a maioria dos usos, o conjunto padrão de operações de instalação é adequado.

Ao pressionar o botão Personalizar, você pode optar por omitir ou selecionar determinados componentes de pacote do instalador. Clique em cada nome de pacote para ver uma descrição do que ele instala. Para também instalar o suporte para o recurso experimental opcional de threads livres, consulte Instalando binários com threads livres.

Em ambos os casos, clicar em Instalar iniciará o processo de instalação solicitando a permissão para instalar um novo software. É necessário um nome de usuário do macOS com privilégio de Administrador, pois o Python instalado estará disponível para todos os usuários do Mac.

Quando a instalação for concluída, a janela Resumo será exibida.

Clique duas vezes no ícone ou arquivo Install Certificates.command na janela /Applications/Python 3.13/ para concluir a instalação.

Isso abrirá uma janela temporária do console Terminal que usará o novo Python para baixar e instalar certificados raiz SSL para seu uso.

Se Successfully installed certifi e update complete aparecerem na janela do terminal, a instalação estará concluída. Feche essa janela do terminal e a janela do instalador.

Uma instalação do padrão incluirá:

Uma pasta Python 3.13 em sua pasta Applications. Aqui você encontra o IDLE, o ambiente de desenvolvimento que é parte das distribuições oficiais do Python; e o Python Launcher, que executa scripts Python quando são clicados duas vezes dentro do Finder [https://support.apple.com/en-us/HT201732] .

Uma framework /Library/Frameworks/Python.framework, que inclui o executável Python e suas bibliotecas. O instalador adiciona esse local ao seu path do console. Para desinstalar o Python, você pode remover esses três itens. É um link simbólico para o executável Python armazenado na pasta /usr/local/bin/.

Nota

As versões recentes do macOS incluem um comando python3 em /usr/bin/python3 que aponta para uma versão geralmente mais antiga e incompleta de Python fornecida por e para uso pelas ferramentas de desenvolvimento da Apple, Xcode ou o Command Line Tools for Xcode. Você nunca deve modificar ou tentar excluir essa instalação por ser controlada pela Apple e é usada por softwares da Apple ou de terceiros. Se você optar por instalar uma versão mais recente do Python a partir de python.org, você terá duas instalações diferentes, mas funcionais, de Python no computador que podem coexistir. As opções do instalador padrão devem garantir que o comando python3 seja usado em vez do python3 do sistema.

5.1.2. Como executar um script Python

Há duas maneiras de invocar o interpretador Python. Se você estiver familiarizado com o uso de um console Unix em terminal, você pode invocar python3.13 ou python3, opcionalmente seguido por uma ou mais opções da linha de comando (descritas em Linha de comando e ambiente). O tutorial de Python também tem uma seção útil sobre o uso interativo do Python a partir de um console.

Você também pode invocar o interpretador por um ambiente de desenvolvimento integrado (IDE). O IDLE é um editor e ambiente de desenvolvimento básico incluído com a distribuição padrão de Python. IDLE inclui um menu Ajuda que te permite acessar a documentação de Python. Se você for completamente iniciante em Python, você pode ler o tutorial de introdução na documentação.

Há muitos outros editores e IDEs disponíveis. Consulte Editores e IDEs para mais informações.

Para executar um script Python na janela do terminal, você pode invocar o interpretador com o nome do arquivo de script:

python3.13 myscript.py

Para executar seu script a partir do Finder, você pode:

Arrastá-lo para o Python Launcher.

Selecione Python Launcher como a aplicação padrão para abrir seu script (ou qualquer script .py) na janela de informações Finder Info, e clique duas vezes nele. O Python Launcher tem várias preferências para controlar como o script é iniciado. Você pode arrastar opções para alterá-las por uma invocação, ou usar o menu Preferências para alterar configurações globalmente.

Saiba que executar o script diretamente do Finder pode produzir resultados diferentes daqueles obtidos em uma janela de terminal, pois o script não será executado no ambiente normal do console, incluindo qualquer configuração de variáveis de ambiente nos perfis do console. E, como em qualquer outro script ou programa, certifique-se do que está prestes a executar.

5.2. Distribuições alternativas

Além do instalador padrão do python.org para macOS, existem distribuições de terceiros para macOS que podem incluir funcionalidades adicionais. Algumas distribuições populares e seus recursos-chave são:

ActivePython [https://www.activestate.com/products/python/]

Instalador com compatibilidade multiplataforma, documentação

Anaconda [https://www.anaconda.com/download/]

Módulos científicos populares (como numpy, scipy e pandas) e o gerenciador de pacotes conda.

Homebrew [https://brew.sh]

Gerenciador de pacotes para macOS que inclui várias versões do Python e muitos pacotes Python de terceiros (incluindo numpy, scipy e pandas).

MacPorts [https://www.macports.org]

Outro gerenciador de pacotes para macOS, incluindo várias versões de Python e muitos pacotes Python de terceiros. Pode incluir versões pré-construídas do Python e muitos pacotes para versões mais antigas do macOS.

Note que distribuições podem não incluir versões mais recentes de Python ou de outras bibliotecas, e não são mantidas ou providas pela equipe do Python.

5.3. Instalando pacotes adicionais ao python

Consulte o Guia de Usuário para Empacotamento de Python [https://packaging.python.org/en/latest/tutorials/installing-packages/] para mais informações.

5.4. Programação de GUI

Existem várias opções para criar aplicações GUI no Mac com Python.

O kit de ferramentas GUI padrão de Python é o módulo tkinter, baseado no kit de ferramentas multiplataforma Tk (https://www.tcl.tk). Uma versão nativa do Tk para macOS está incluída no instalador.

O PyObjC é uma ligação em Python para o Objective-C/Cocoa da Apple framework. Informações sobre o PyObjC estão disponíveis em pyobjc [https://pypi.org/project/pyobjc/].

Há vários kits de ferramentas GUI alternativas disponíveis para o macOS, incluindo:

PySide [https://www.qt.io/qt-for-python]: Ligações oficiais em Python ao kit de ferramentas Qt GUI [https://wiki.qt.io/Qt_for_Python] .

PyQt [https://riverbankcomputing.com/software/pyqt/]: Ligações alternativas em Python ao Qt.

Kivy [https://kivy.org]: Um kit de ferramentas GUI multiplataforma que dá suporte a plataformas de desktop e dispositivos móveis.

Toga [https://toga.readthedocs.io]: Parte do BeeWare Project [https://beeware.org]; dá suporte a aplicativos para desktop, dispositivos móveis, Web e console.

wxPython [https://wxpython.org]: Um kit de ferramentas multiplataforma que dá suporte a sistemas operacionais desktop.

5.5. Tópicos Avançados

5.5.1. Instalando binários com threads livres

Adicionado na versão 3.13: (Experimental)

Nota

Tudo descrito nesta seção é considerado experimental e espera-se que mude em lançamentos futuros.

O pacote de instalação do Python para macOS em python.org pode, opcionalmente, instalar uma compilação adicional do Python 3.13 que dá suporte à PEP 703 [https://peps.python.org/pep-0703/], o recurso experimental de threads livres (executado com o trava global do interpretador desativado). Verifique a página de lançamento em python.org para obter informações atualizadas.

Como esse recurso ainda é considerado experimental, seu suporte não é instalado por padrão. Ele é empacotado como uma opção de instalação separada, disponível clicando no botão Personalizar na etapa Tipo de instalação do instalador, como descrito acima.

Se a caixa ao lado do nome Free-Threaded Python for marcada, um arquivo PythonT.framework também será instalado junto ao arquivo Python.framework em /Library/Frameworks. Essa configuração permite que a compilação de Python |usemac_x_doy_y| com threads livres coexista no seu sistema com a compilação de Python 3.13 tradicional (com GIL) com risco mínimo durante instalação ou testagem. Esse layout de instalação é experimental, e sujeito a mudanças em lançamentos futuros.

Precauções e limitações conhecidas:

O pacote Unix command-line tools, que é selecionado por padrão, instalará links em /usr/local/bin para python3.13t, o interpretador com threads livres e python3.13t-config, um utilitário de configuração que pode ser útil para criadores de pacote. Como /usr/local/bin é normalmente incluído em seu PATH do console, geralmente não é necessário alterar as variáveis de ambiente do PATH para usar o python3.13t.

Neste lançamento, o pacote Shell profile updater e o comando Update Shell Profile.command em /Applications/Python 3.13/ não dão suporte ao pacote de threads livres.

A compilação com threads livres e a compilação tradicional têm caminhos de pesquisa separados e diretórios site-packages separados, portanto, por padrão, se você precisar de um pacote disponível em ambas compilações, talvez seja necessário instalá-lo em ambos. O pacote com threads livres instalará uma instância separada do pip para uso com o python3.13t.

Para instalar um pacote usando pip sem um venv:

python3.13t -m pip install <package_name>

Ao trabalhar com vários ambientes Python, geralmente é mais seguro e mais fácil criar e usar ambientes virtuais. Isso pode tanto evitar possíveis conflitos de comandos, quanto evitar a confusão sobre qual Python está sendo usado:

python3.13t -m venv <venv_name>

e, em seguida, activate.

Para executar uma versão do IDLE com threads livres:

python3.13t -m idlelib

Os intérpretes em ambos as compilações respondem às mesmas variáveis de ambiente PYTHON, o que pode gerar resultados inesperados, por exemplo, se você tiver PYTHONPATH definido em um perfil de console. Se necessário, há opções de linha de comando como -E para ignorar essas variáveis de ambiente.

A compilação com threads livres é ligada às bibliotecas compartilhadas de terceiros, como OpenSSL e Tk, instaladas no framework tradicional. Isso significa que ambas as compilações também compartilham um conjunto de certificados, como instalados pelo script Install Certificates.command, portanto, ele só precisa ser executado uma vez.

Se você não puder depender do link em /usr/local/bin apontando para python3.13t com threads livres do python.org (por exemplo, se quiser instalar sua própria versão lá ou se alguma outra distribuição instalá-lo lá), você poderá definir explicitamente sua variável de ambiente de console PATH para incluir o diretório da framework PythonT bin:

export PATH="/Library/Frameworks/PythonT.framework/Versions/3.13/bin":"$PATH"

A instalação tradicional do framework por padrão faz algo semelhante, exceto pelo arquivo Python.framework. Observe que ter dois diretórios bin do framework em PATH pode gerar confusão se houver nomes duplicados, como python3.13, em ambos; qual deles é realmente usado depende da ordem em que aparecem em PATH. Os comandos which python3.x ou which python3.xt pode mostrar qual caminho está sendo usado. Usar ambientes virtuais pode ajudar a evitar essas ambiguidades. Outra opção pode ser criar um alias no console para o interpretador desejado, como:

alias py3.13="/Library/Frameworks/Python.framework/Versions/3.13/bin/python3.13"
alias py3.13t="/Library/Frameworks/PythonT.framework/Versions/3.13/bin/python3.13t"

5.5.2. Instalação usando a linha de comando

Se você quiser usar automação para instalar o pacote de instalação python.org (em vez de usar o aplicativo GUI Installer do macOS), o utilitário para linha de comando installer permite que você selecione opções que não sejam do padrão. Se você não estiver familiarizado com o installer, ele pode ser um tanto enigmático (consulte: command:man installer para obter mais informações). Como exemplo, o seguinte trecho de console mostra uma maneira de fazer isso, usando a versão 3.13.0b2 e selecionando a opção de interpretador com threads livres:

RELEASE="python-3.13.0b2-macos11.pkg"

# baixa o pkg do instalador
curl -O https://www.python.org/ftp/python/3.13.0/${RELEASE}

# cria o choicechanges do instalador para personalizar a instalação:
#    habilita o pacote PythonTFramework-3.13
#    enquanto aceita outros padrões (instala todos os outros apcotes)
cat > ./choicechanges.plist <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<array>
        <dict>
                <key>attributeSetting</key>
                <integer>1</integer>
                <key>choiceAttribute</key>
                <string>selected</string>
                <key>choiceIdentifier</key>
                <string>org.python.Python.PythonTFramework-3.13</string>
        </dict>
</array>
</plist>
EOF

sudo installer -pkg ./${RELEASE} -applyChoiceChangesXML ./choicechanges.plist -target /

Você pode então testar que ambas as compilações de instaladores estão disponíveis com algo como:

$ # teste que o interpretador com threads livres foi instalado se o pacote Unix Command Tools foi habilitado
$ /usr/local/bin/python3.13t -VV
Python 3.13.0b2 experimental free-threading build (v3.13.0b2:3a83b172af, Jun  5 2024, 12:57:31) [Clang 15.0.0 (clang-1500.3.9.4)]
$ #    e o interpretador tradicional
$ /usr/local/bin/python3.13 -VV
Python 3.13.0b2 (v3.13.0b2:3a83b172af, Jun  5 2024, 12:50:24) [Clang 15.0.0 (clang-1500.3.9.4)]
$ # teste que também eles estão disponíveis sem o prefixo se /usr/local/bin estiver no $PATH
$ python3.13t -VV
Python 3.13.0b2 experimental free-threading build (v3.13.0b2:3a83b172af, Jun  5 2024, 12:57:31) [Clang 15.0.0 (clang-1500.3.9.4)]
$ python3.13 -VV
Python 3.13.0b2 (v3.13.0b2:3a83b172af, Jun  5 2024, 12:50:24) [Clang 15.0.0 (clang-1500.3.9.4)]

Nota

Os instaladores atuais do python.org só instalam em locais fixos, como /Library/Frameworks/, /Applications e /usr/local/bin. Não é possível usar a opção -domain do installer para instalar em outros locais.

5.5.3. Distribuindo aplicações Python

Existe uma variedade de ferramentas para converter seu código Python em uma aplicação distribuível independente:

py2app [https://pypi.org/project/py2app/]: Oferece suporte à criação de pacotes .app do macOS a partir de um projeto Python.

Briefcase [https://briefcase.readthedocs.io]: Parte do BeeWare Project [https://beeware.org]; uma ferramenta de empacotamento multiplataforma que permite criar bundles .app no macOS, além de gerenciar assinaturas digitais e a notarização.

PyInstaller [https://pyinstaller.org/]: Uma ferramenta de empacotamento multiplataforma que cria um único arquivo ou pasta como um artefato distribuível.

5.5.4. Conformidade com a App Store

As aplicações enviadas para distribuição pela macOS App Store devem passar pelo processo de revisão de aplicativos da Apple. Esse processo inclui um conjunto de regras de validação automatizadas que inspecionam o pacote de aplicativos enviado em busca de código problemático.

A biblioteca padrão do Python contém alguns códigos que violam essas regras automatizadas. Embora essas violações pareçam ser falsos positivos, as regras de revisão da Apple não podem ser contestadas. Portanto, é necessário modificar a biblioteca padrão do Python para que uma aplicação passe na revisão da App Store.

A árvore de fontes do Python contém um arquivo de patch [https://github.com/python/cpython/tree/3.13/Mac/Resources/app-store-compliance.patch] que removerá todo o código que é conhecido por causar problemas no processo de revisão da App Store. Este patch é aplicado automaticamente quando o CPython é configurado com a opção --with-app-store-compliance.

Este patch normalmente não é necessário para usar o CPython em um Mac; nem é necessário se você estiver distribuindo uma aplicação fora da App Store do macOS. É necessário apenas se você estiver usando a App Store do macOS como canal de distribuição.

5.6. Outros recursos

A página de ajuda do python.org [https://www.python.org/about/help/] contém links para vários recursos úteis. A lista de discussão Pythonmac-SIG [https://www.python.org/community/sigs/current/pythonmac-sig/] é outro recurso específico de suporte para usuários e desenvolvedores de Python no Mac.

6. Utilizando Python no Android

Python no Android é diferente do Python em plataformas de desktop. Em uma plataforma desktop, o Python geralmente é instalado como um recurso do sistema que pode ser usado por qualquer usuário daquele computador. Os usuários então interagem com o Python executando um executável python e inserindo comandos em um prompt interativo ou executando um script Python.

No Android, não existe o conceito de instalação como recurso do sistema. A única unidade de distribuição de software é uma aplicação, ou “app”. Também não há console onde você possa executar um executável python ou interagir com um REPL do Python.

Como resultado, a única maneira de usar Python no Andoid é no modo incorporado – ou seja, escrevendo uma aplicação Android nativo, incorporando um interpretador Python usando libpython e invocando o código Python usando API de incorporação do Python. O interpretador Python completo, a biblioteca padrão e todo o seu código Python são então empacotados para sua aplicação para seu próprio uso privado.

A biblioteca padrão do Python tem algumas omissões e restrições notáveis no Andoid. Consulte o guia de disponibilidade de API para Android para obter detalhes.

6.1. Adicionando Python a uma aplicação Android

Essas instruções são necessárias somente se você estiver planejando compilar Python para Android você mesmo. A maioria dos usuários não precisa fazer isso. Em vez disso, use uma das seguintes ferramentas, que fornecerão uma experiência muito mais fácil:

Briefcase [https://briefcase.readthedocs.io], do projeto BeeWare

Buildozer [https://buildozer.readthedocs.io], do projeto Kivy

Chaquopy [https://chaquo.com/chaquopy]

pyqtdeploy [https://www.riverbankcomputing.com/static/Docs/pyqtdeploy/]

Termux [https://termux.dev/en/]

Se você tem certeza de que quer fazer tudo isso manualmente, continue lendo. Você pode usar a aplicação testbed [https://github.com/python/cpython/tree/3.13/Android/testbed] como um guia; cada passo abaixo contém um link para o arquivo relevante.

Construa o Python seguindo as instruções em Android/README.md [https://github.com/python/cpython/tree/3.13/Android/README.md].

Adicione código ao seu arquivo build.gradle [https://github.com/python/cpython/tree/3.13/Android/testbed/app/build.gradle.kts] para copiar os seguintes itens para o seu projeto. Todos, exceto seu próprio código Python, podem ser copiados de cross-build/HOST/prefix/lib:

Em suas bibliotecas JNI:

libpython*.*.so

lib*_python.so (bibliotecas externas, tal como OpenSSL)

Em seus ativos (assets):

python*.* (a biblioteca padrão do Python)

python*.*/site-packages (seu próprio código Python)

Adicione código ao seu aplicativo para extrair os ativos para o sistema de arquivos [https://github.com/python/cpython/tree/3.13/Android/testbed/app/src/main/java/org/python/testbed/MainActivity.kt].

Adicione código a sua aplicação para iniciar o Python em modo incorporado [https://github.com/python/cpython/tree/3.13/Android/testbed/app/src/main/c/main_activity.c]. Isso precisará ser código C chamado via JNI.

7. Usando Python no iOS

Autores:

Russell Keith-Magee (2024-03)

Python no iOS é diferente do Python em plataformas de desktop. Em uma plataforma desktop, o Python geralmente é instalado como um recurso do sistema que pode ser usado por qualquer usuário daquele computador. Os usuários então interagem com o Python executando um executável python e inserindo comandos em um prompt interativo ou executando um script Python.

No iOS, não existe o conceito de instalação como recurso do sistema. A única unidade de distribuição de software é uma aplicação, ou “app”. Também não há console onde você possa executar um executável python ou interagir com um REPL do Python.

Como resultado, a única maneira de usar Python no iOS é no modo incorporado – ou seja, escrevendo uma aplicação iOS nativo e incorporando um interpretador Python usando libPython e invocando o código Python usando API de incorporação do Python. O interpretador Python completo, a biblioteca padrão e todo o seu código Python são então empacotados como um pacote independente que pode ser distribuído pela iOS App Store.

Se você deseja experimentar pela primeira vez escrever uma aplicação iOS em Python, projetos como BeeWare [https://beeware.org] e Kivy [https://kivy.org] irão fornecer uma experiência de usuário muito mais acessível. Esses projetos gerenciam as complexidades associadas à execução de um projeto iOS, portanto, você só precisa lidar com o próprio código Python.

7.1. Python em tempo de execução no iOS

7.1.1. Compatibilidade com a versão do iOS

A versão mínima suportada do iOS é especificada em tempo de compilação, usando a opção --host do configure. Por padrão, quando compilado para iOS, Python será compilado com uma versão iOS mínima suportada de 13.0. Para usar uma versão mínima diferente do iOS, forneça o número da versão como parte do argumento --host - por exemplo, --host=arm64-apple-ios15.4-simulator compilaria um simulador ARM64 construído com uma meta de implantação de 15.4.

7.1.2. Identificação da plataforma

Ao executar no iOS, sys.platform reportará como ios. Este valor será retornado em um iPhone ou iPad, independentemente da aplicação estar execitando no simulador ou em um dispositivo físico.

Information about the specific runtime environment, including the iOS version, device model, and whether the device is a simulator, can be obtained using platform.ios_ver(). platform.system() will report iOS or iPadOS, depending on the device.

os.uname() reports kernel-level details; it will report a name of Darwin.

7.1.3. Disponibilidade da biblioteca padrão

The Python standard library has some notable omissions and restrictions on iOS. See the API availability guide for iOS for details.

7.1.4. Módulos de extensão binária

Uma diferença notável sobre o iOS como plataforma é que a distribuição da App Store impõe requisitos rígidos ao empacotamento de uma aplicação. Um desses requisitos rege como os módulos de extensão binária são distribuídos.

A iOS App Store exige que todos os módulos binários em uma aplicação iOS sejam bibliotecas dinâmicas, contidas em um framework com metadados apropriados, armazenados na pasta Frameworks da aplicação empacotada. Pode haver apenas um único binário por framework, e não pode haver nenhum material binário executável fora da pasta Frameworks.

Isto entra em conflito com a abordagem usual do Python para distribuição de binários, que permite que um módulo de extensão binária seja carregado de qualquer local em sys.path. Para garantir a conformidade com as políticas da App Store, um projeto iOS deve pós-processar quaisquer pacotes Python, convertendo módulos binários .so em estruturas independentes individuais com metadados e assinatura apropriados. Para obter detalhes sobre como realizar esse pós-processamento, consulte o guia para adicionar Python ao seu projeto.

Para ajudar o Python a descobrir binários em seu novo local, o arquivo .so original em sys.path é substituído por um arquivo .fwork. Este arquivo é um arquivo texto que contém a localização do binário do framework, relativo ao pacote de aplicações. Para permitir que o framework retorne ao local original, o framework deve conter um arquivo .origin que contém a localização do arquivo .fwork, relativo ao pacote da aplicação.

Por exemplo, considere o caso de uma importação from foo.bar import _whiz, onde _whiz é implementado com o módulo binário sources/foo/bar/_whiz.abi3.so, com sources sendo o local registrado em sys.path, relativo ao pacote da aplicação. Este módulo deve ser distribuído como Frameworks/foo.bar._whiz.framework/foo.bar._whiz (criando o nome do framework a partir do caminho de importação completo do módulo), com um arquivo Info.plist no diretório .framework identificando o binário como um framework. O módulo foo.bar._whiz seria representado no local original com um arquivo marcador sources/foo/bar/_whiz.abi3.fwork, contendo o caminho Frameworks/foo.bar._whiz/foo.bar._whiz. O framework também conteria Frameworks/foo.bar._whiz.framework/foo.bar._whiz.origin, contendo o caminho para o arquivo .fwork.

Ao executar no iOS, o interpretador Python instalará um AppleFrameworkLoader que é capaz de ler e importar arquivos .fwork. Uma vez importado, o atributo __file__ do módulo binário reportará como a localização do arquivo .fwork. Entretanto, o ModuleSpec para o módulo carregado reportará a origin como a localização do binário na pasta do framework.

7.1.5. Binários stub do compilador

O Xcode não expõe compiladores explícitos para iOS; em vez disso, ele usa um script xcrun que resolve um caminho do compilador (por exemplo, xcrun --sdk iphoneos clang para obter o clang para um dispositivo iPhone). No entanto, usar este script apresenta dois problemas:

A saída de xcrun inclui caminhos que são específicos da máquina, resultando em um módulo sysconfig que não pode ser compartilhado entre usuários; e

Isso resulta em definições CC/CPP/LD/AR que incluem espaços. Existem muitas ferramentas do ecossistema C que pressupõem que você pode dividir uma linha de comando no primeiro espaço para obter o caminho para o executável do compilador; este não é o caso ao usar xcrun.

Para evitar esses problemas, o Python forneceu stubs para essas ferramentas. Esses stubs são wrappers de script de shell em torno das ferramentas subjacentes xcrun, distribuídos em uma pasta bin distribuída junto com a estrutura iOS compilada. Esses scripts são relocáveis ​​e sempre serão resolvidos para os caminhos apropriados do sistema local. Ao incluir esses scripts na pasta bin que acompanha um framework, o conteúdo do módulo sysconfig se torna útil para usuários finais compilarem seus próprios módulos. Ao compilar módulos Python de terceiros para iOS, você deve garantir que esses binários stub estejam no seu caminho.

7.2. Instalando Python no iOS

7.2.1. Ferramentas para construir aplicações de iOS

A construção para iOS requer o uso das ferramentas Xcode da Apple. É altamente recomendável que você use a versão estável mais recente do Xcode. Isso exigirá o uso da versão mais recente (ou segunda) do macOS lançada recentemente, já que a Apple não mantém o Xcode para versões mais antigas do macOS. As ferramentas de linha de comando do Xcode não são suficientes para o desenvolvimento iOS; você precisa de uma instalação completa do Xcode.

Se quiser executar seu código no simulador iOS, você também precisará instalar um iOS Simulator Platform. Você deverá ser solicitado a selecionar um iOS Simulator Platform ao executar o Xcode pela primeira vez. Alternativamente, você pode adicionar um iOS Simulator Platform selecionando na guia Platforms do painel Settings do Xcode.

7.2.2. Adicionando Python a um projeto iOS

Python pode ser adicionado a qualquer projeto iOS, usando Swift ou Objective C. Os exemplos a seguir usarão Objective C; se você estiver usando Swift, poderá achar uma biblioteca como PythonKit [https://github.com/pvieito/PythonKit] útil.

Para adicionar Python a um projeto Xcode de iOS:

Construa ou obtenha um XCFramework em Python. Veja as instruções em iOS/README.rst [https://github.com/python/cpython/tree/3.13/iOS/README.rst] (na distribuição fonte do CPython) para detalhes sobre como construir um XCFramework em Python. No mínimo, você precisará de uma construção que tenha suporte arm64-apple-ios, além de arm64-apple-ios-simulator ou x86_64-apple-ios-simulator.

Arraste o XCframework para o seu projeto iOS. Nas instruções a seguir, presumiremos que você colocou o XCframework na raiz do seu projeto; no entanto, você pode usar qualquer outro local desejado ajustando os caminhos conforme necessário.

Arraste o arquivo iOS/Resources/dylib-Info-template.plist para o seu projeto e certifique-se de que ele esteja associado ao destino da aplicação.

Adicione o código da sua aplicação como uma pasta no seu projeto Xcode. Nas instruções a seguir, presumiremos que seu código de usuário está em uma pasta chamada app na raiz do seu projeto; você pode usar qualquer outro local ajustando os caminhos conforme necessário. Certifique-se de que esta pasta esteja associada ao destino da sua aplicação.

Selecione o destino da aplicação selecionando o nó raiz do seu projeto Xcode e, em seguida, o nome do destino na barra lateral que aparece.

Nas configurações de “General”, em “Frameworks, Libraries and Embedded Content”, adicione Python.xcframework, com “Embed & Sign” selecionado.

Na guia “Build Settings”, modifique o seguinte:

Build Options

User Script Sandboxing: No

Enable Testability: Yes

Search Paths

Framework Search Paths: $(PROJECT_DIR)

Header Search Paths: "$(BUILT_PRODUCTS_DIR)/Python.framework/Headers"

Apple Clang - Warnings - All languages

Quoted Include In Framework Header: No

Adicione uma etapa de construção que copie a biblioteca padrão do Python em sua aplicação. Na aba “Build Phases”, adicione uma nova etapa de construção “Run Script” antes da etapa “Embed Frameworks”, mas depois da etapa “Copy Bundle Resources”. Nomeie a etapa como “Install Target Specific Python Standard Library”, desative a caixa de seleção “Based on dependency analysis” e defina o conteúdo do script como:

set -e

mkdir -p "$CODESIGNING_FOLDER_PATH/python/lib"
if [ "$EFFECTIVE_PLATFORM_NAME" = "-iphonesimulator" ]; then
    echo "Installing Python modules for iOS Simulator"
    rsync -au --delete "$PROJECT_DIR/Python.xcframework/ios-arm64_x86_64-simulator/lib/" "$CODESIGNING_FOLDER_PATH/python/lib/"
else
    echo "Installing Python modules for iOS Device"
    rsync -au --delete "$PROJECT_DIR/Python.xcframework/ios-arm64/lib/" "$CODESIGNING_FOLDER_PATH/python/lib/"
fi

Note que o nome da “fatia” do simulador no XCframework pode ser diferente, dependendo das arquiteturas de CPU que seu XCFramework provê suporte.

Adicione uma segunda etapa de construção que processe os módulos de extensão binária na biblioteca padrão no formato “Framework”. Adicione uma etapa de construção “Run Script” diretamente após aquela que você adicionou na etapa 8, chamada “Prepare Python Binary Modules”. Também deve ter “Based on dependency analysis” desmarcado, com o seguinte conteúdo de script:

set -e

install_dylib () {
    INSTALL_BASE=$1
    FULL_EXT=$2

    # The name of the extension file
    EXT=$(basename "$FULL_EXT")
    # The location of the extension file, relative to the bundle
    RELATIVE_EXT=${FULL_EXT#$CODESIGNING_FOLDER_PATH/}
    # The path to the extension file, relative to the install base
    PYTHON_EXT=${RELATIVE_EXT/$INSTALL_BASE/}
    # The full dotted name of the extension module, constructed from the file path.
    FULL_MODULE_NAME=$(echo $PYTHON_EXT | cut -d "." -f 1 | tr "/" ".");
    # A bundle identifier; not actually used, but required by Xcode framework packaging
    FRAMEWORK_BUNDLE_ID=$(echo $PRODUCT_BUNDLE_IDENTIFIER.$FULL_MODULE_NAME | tr "_" "-")
    # The name of the framework folder.
    FRAMEWORK_FOLDER="Frameworks/$FULL_MODULE_NAME.framework"

    # If the framework folder doesn't exist, create it.
    if [ ! -d "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER" ]; then
        echo "Creating framework for $RELATIVE_EXT"
        mkdir -p "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER"
        cp "$CODESIGNING_FOLDER_PATH/dylib-Info-template.plist" "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER/Info.plist"
        plutil -replace CFBundleExecutable -string "$FULL_MODULE_NAME" "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER/Info.plist"
        plutil -replace CFBundleIdentifier -string "$FRAMEWORK_BUNDLE_ID" "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER/Info.plist"
    fi

    echo "Installing binary for $FRAMEWORK_FOLDER/$FULL_MODULE_NAME"
    mv "$FULL_EXT" "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER/$FULL_MODULE_NAME"
    # Create a placeholder .fwork file where the .so was
    echo "$FRAMEWORK_FOLDER/$FULL_MODULE_NAME" > ${FULL_EXT%.so}.fwork
    # Create a back reference to the .so file location in the framework
    echo "${RELATIVE_EXT%.so}.fwork" > "$CODESIGNING_FOLDER_PATH/$FRAMEWORK_FOLDER/$FULL_MODULE_NAME.origin"
 }

 PYTHON_VER=$(ls -1 "$CODESIGNING_FOLDER_PATH/python/lib")
 echo "Install Python $PYTHON_VER standard library extension modules..."
 find "$CODESIGNING_FOLDER_PATH/python/lib/$PYTHON_VER/lib-dynload" -name "*.so" | while read FULL_EXT; do
    install_dylib python/lib/$PYTHON_VER/lib-dynload/ "$FULL_EXT"
 done

 # Clean up dylib template
 rm -f "$CODESIGNING_FOLDER_PATH/dylib-Info-template.plist"

 echo "Signing frameworks as $EXPANDED_CODE_SIGN_IDENTITY_NAME ($EXPANDED_CODE_SIGN_IDENTITY)..."
 find "$CODESIGNING_FOLDER_PATH/Frameworks" -name "*.framework" -exec /usr/bin/codesign --force --sign "$EXPANDED_CODE_SIGN_IDENTITY" ${OTHER_CODE_SIGN_FLAGS:-} -o runtime --timestamp=none --preserve-metadata=identifier,entitlements,flags --generate-entitlement-der "{}" \;

Adicione código Objective C para inicializar e usar um interpretador Python em modo embarcado. Você deve garantir que:

Modo UTF-8 esteja enabled;

Buffered stdio esteja disabled;

Escrita de bytecode esteja disabled;

Manipuladores de sinais estejam enabled;

PYTHONHOME para o interpretador esteja configurado para apontar para a subpasta python do pacote da sua aplicação; e

O PYTHONPATH para o interpretador inclui:

a subpasta python/lib/python3.X do pacote da sua aplicação,

a subpasta python/lib/python3.X/lib-dynload do pacote da sua aplicação, e

a subpasta app do pacote da sua aplicação

O local do pacote da sua aplicação pode ser determinada usando [[NSBundle mainBundle] resourcePath].

Os passos 8, 9 e 10 destas instruções presumem que você tem uma única pasta de código de aplicação Python puro, chamada app. Se você tiver módulos binários de terceiros em sua aplicação, serão necessárias algumas etapas adicionais:

Você precisa garantir que todas as pastas que contenham binários de terceiros sejam associadas ao destino da aplicação ou copiadas como parte da etapa 8. A etapa 8 também deve limpar quaisquer binários que não sejam apropriados para a plataforma que uma construção específica está direcionando (ou seja, exclua todos os binários do dispositivo se estiver criando uma aplicação direcionado ao simulador).

Quaisquer pastas que contenham binários de terceiros devem ser processadas no formato framework no passo 9. A invocação de install_dylib que processa a pasta lib-dynload pode ser copiada e adaptada para este propósito.

Se você estiver usando uma pasta separada para pacotes de terceiros, certifique-se de que essa pasta esteja incluída como parte da configuração PYTHONPATH no passo 10.

7.3. Conformidade com a App Store

O único mecanismo para distribuir aplicações para dispositivos iOS de terceiros é enviar a aplicação para a App Store do iOS; as aplicações enviadas para distribuição devem passar pelo processo de revisão de aplicações da Apple. Esse processo inclui um conjunto de regras de validação automatizadas que inspecionam o pacote de aplicação enviado em busca de código problemático.

A biblioteca padrão do Python contém alguns códigos que violam essas regras automatizadas. Embora essas violações pareçam ser falsos positivos, as regras de revisão da Apple não podem ser contestadas; portanto, é necessário modificar a biblioteca padrão do Python para que uma aplicação passe na revisão da App Store.

A árvore de fontes do Python contém um arquivo de patch [https://github.com/python/cpython/tree/3.13/Mac/Resources/app-store-compliance.patch] que removerá todo o código que é conhecido por causar problemas no processo de revisão da App Store. Este patch é aplicado automaticamente quando o ao construir para o iOS.

8. Editores e IDEs

Há um grande número de IDEs que suportam a linguagem de programação Python. Vários editores e IDEs provêem destaques coloridos de sintaxe, ferramentas de depuração, e checagem do código frente à PEP 8 [https://peps.python.org/pep-0008/].

Por favor, vá para Python Editors [https://wiki.python.org/moin/PythonEditors] and Integrated Development Environments [https://wiki.python.org/moin/IntegratedDevelopmentEnvironments] para obter uma lista completa.

A Referência da Linguagem Python

Este manual de referência descreve a sintaxe e a “semântica central” da linguagem. É conciso, mas tenta ser exato e completo. A semântica dos tipos de objetos embutidos não essenciais e das funções e módulos embutidos é descrita em A Biblioteca Padrão do Python. Para uma introdução informal à linguagem, consulte O tutorial de Python. Para programadores em C ou C++, existem dois manuais adicionais: Estendendo e Incorporando o Interpretador Python descreve a imagem de alto nível de como escrever um módulo de extensão Python, e o Manual de referência da API Python/C descreve as interfaces disponíveis para programadores C/C++ em detalhes.

1. Introdução

1.1. Implementações Alternativas

1.2. Notação

2. Análise léxica

2.1. Estrutura das linhas

2.2. Outros tokens

2.3. Identificadores e palavras-chave

2.4. Literais

2.5. Operadores

2.6. Delimitadores

3. Modelo de dados

3.1. Objetos, valores e tipos

3.2. A hierarquia de tipos padrão

3.3. Nomes de métodos especiais

3.4. Corrotinas

4. Modelo de execução

4.1. Estrutura de um programa

4.2. Nomeação e ligação

4.3. Exceções

5. O sistema de importação

5.1. importlib

5.2. Pacotes

5.3. Caminho de busca

5.4. Carregando

5.5. O localizador baseado no caminho

5.6. Substituindo o sistema de importação padrão

5.7. Importações relativas ao pacote

5.8. Considerações especiais para __main__

5.9. Referências

6. Expressões

6.1. Conversões aritméticas

6.2. Átomos

6.3. Primárias

6.4. Expressão await

6.5. O operador de potência

6.6. Operações aritméticas unárias e bit a bit

6.7. Operações binárias aritméticas

6.8. Operações de deslocamento

6.9. Operações binárias bit a bit

6.10. Comparações

6.11. Operações booleanas

6.12. Expressões de atribuição

6.13. Expressões condicionais

6.14. Lambdas

6.15. Listas de expressões

6.16. Ordem de avaliação

6.17. Precedência de operadores

7. Instruções simples

7.1. Instruções de expressão

7.2. Instruções de atribuição

7.3. A instrução assert

7.4. A instrução pass

7.5. A instrução del

7.6. A instrução return

7.7. A instrução yield

7.8. A instrução raise

7.9. A instrução break

7.10. A instrução continue

7.11. A instrução import

7.12. A instrução global

7.13. A instrução nonlocal

7.14. A instrução type

8. Instruções compostas

8.1. A instrução if

8.2. A instrução while

8.3. A instrução for

8.4. A instrução try

8.5. A instrução with

8.6. A instrução match

8.7. Definições de função

8.8. Definições de classe

8.9. Corrotinas

8.10. Type parameter lists

9. Componentes de Alto Nível

9.1. Programas Python completos

9.2. Entrada de arquivo

9.3. Entrada interativa

9.4. Entrada de expressão

10. Especificação Completa da Gramática

1. Introdução

Este manual de referência descreve a linguagem de programação Python. O mesmo não tem como objetivo de ser um tutorial.

Enquanto estou tentando ser o mais preciso possível, optei por usar especificações em inglês e não formal para tudo, exceto para a sintaxe e análise léxica. Isso deve tornar o documento mais compreensível para o leitor intermediário, mas deixará margem para ambiguidades. Consequentemente, caso estivesses vindo de Marte e tentasse reimplementar o Python a partir deste documento, sozinho, talvez precisarias adivinhar algumas coisas e, na verdade, provavelmente acabaria por implementar um linguagem bem diferente. Por outro lado, se estiveres usando o Python e se perguntando quais são as regras precisas sobre uma determinada área da linguagem, você definitivamente encontrá neste documento o que estás procurando. Caso queiras ver uma definição mais formal do linguagem, talvez possas oferecer seu tempo – ou inventar uma máquina de clonagem :-).

É perigoso adicionar muitos detalhes de implementação num documento de referência de uma linguagem – a implementação pode mudar e outras implementações da mesma linguagem podem funcionar de forma diferente. Por outro lado, o CPython é a única implementação de Python em uso de forma generalizada (embora as implementações alternativas continuem a ganhar suporte), e suas peculiaridades e particulares são por vezes dignas de serem mencionadas, especialmente quando a implementação impõe limitações adicionais. Portanto, encontrarás poucas “notas sobre a implementação” espalhadas neste documento.

Cada implementação do Python vem com vários módulos embutidos e por padrão. Estes estão documentados em A Biblioteca Padrão do Python. Alguns módulos embutidos são mencionados ao interagirem de forma significativa com a definição da linguagem.

1.1. Implementações Alternativas

Embora exista uma implementação do Python que seja, de longe, a mais popular, existem algumas implementações alternativas que são de de interesse particular e para públicos diferentes.

As implementações conhecidas são:

CPython

Esta é a implementação original e a é a versão do Python que mais vem sendo sendo desenvolvido e a mesma está escrita com a linguagem C. Novas funcionalidades ou recursos da linguagem aparecerão por aqui primeiro.

Jython

Versão do Python implementado em Java. Esta implementação pode ser usada como linguagem de Script em aplicações Java, ou pode ser usada para criar aplicativos usando as bibliotecas das classes do Java. Também vem sendo bastante utilizado para criar testes unitários para as bibliotecas do Java. Mais informações podem ser encontradas no the Jython website [https://www.jython.org/].

Python for .NET

Essa implementação utiliza de fato a implementação CPython, mas é uma aplicação gerenciada .NET e disponibilizada como uma bibliotecas .NET. Foi desenvolvida por Brian Lloyd. Para obter mais informações, consulte o site do Python for .NET [https://pythonnet.github.io/].

IronPython

Um versão alternativa do Python para a plataforma .NET. Ao contrário do Python.NET, esta é uma implementação completa do Python que gera IL e compila o código Python diretamente para assemblies .NET. Foi desenvolvida por Jim Hugunin, o criador original do Jython. Para obter mais informações, consulte o site do IronPython [https://ironpython.net/].

PyPy

Uma implementação do Python escrita completamente em Python. A mesma suporta vários recursos avançados não encontrados em outras implementações, como suporte sem pilhas e um compilador Just in Time. Um dos objetivos do projeto é incentivar a construção de experimentos com a própria linguagem, facilitando a modificação do interpretador (uma vez que o mesmos está escrito em Python). Informações adicionais estão disponíveis no site do projeto PyPy [https://pypy.org/].

Cada uma dessas implementações varia em alguma forma a linguagem conforme documentado neste manual, ou introduz informações específicas além do que está coberto na documentação padrão do Python. Consulte a documentação específica da implementação para determinar o que é necessário sobre a implementação específica que você está usando.

1.2. Notação

As descrições de análise léxica e sintaxe usam uma notação de gramática de Formalismo de Backus-Naur (BNF) [https://pt.wikipedia.org/wiki/Formalismo_de_Backus-Naur] modificada. Ela usa o seguinte estilo de definição:

name      ::=  lc_letter (lc_letter | "_")*
lc_letter ::=  "a"..."z"

A primeira linha diz que um name é um lc_letter seguido de uma sequência de zero ou mais lc_letters e underscores. Um lc_letter por sua vez é qualquer um dos caracteres simples 'a' através de 'z'. (Esta regra é aderida pelos nomes definidos nas regras léxicas e gramáticas deste documento.)

Cada regra começa com um nome (no caso, o nome definido pela regra) e ::=. Uma barra vertical (|) é usada para separar alternativas; o mesmo é o operador menos vinculativo nesta notação. Uma estrela (*) significa zero ou mais repetições do item anterior; da mesma forma, o sinal de adição (+) significa uma ou mais repetições, e uma frase entre colchetes ([ ]) significa zero ou uma ocorrência (em outras palavras, a frase anexada é opcional). Os operadores * e + se ligam tão forte quanto possível; parêntesis são usados para o agrupamento. Os literais Strings são delimitados por aspas. O espaço em branco só é significativo para separar os tokens. As regras normalmente estão contidas numa única linha; as regras com muitas alternativas podem ser formatadas alternativamente com cada linha após o primeiro começo com uma barra vertical.

Nas definições léxicas (como o exemplo acima), são utilizadas mais duas convenções: dois caracteres literais separados por três pontos significam a escolha de qualquer caractere único na faixa (inclusiva) fornecida pelos caracteres ASCII. Uma frase entre colchetes angulares (<...>) fornece uma descrição informal do símbolo definido; por exemplo, isso poderia ser usado para descrever a notação de ‘caractere de controle’, caso fosse necessário.

Embora a notação utilizada seja quase a mesma, há uma grande diferença entre o significado das definições lexicais e sintáticas: uma definição lexical opera nos caracteres individuais da fonte de entrada, enquanto uma definição de sintaxe opera no fluxo de tokens gerados pelo analisador léxico. Todos os usos do BNF no próximo capítulo (“Lexical Analysis”) são definições léxicas; os usos nos capítulos subsequentes são definições sintáticas.

2. Análise léxica

Um programa Python é lido por um analisador. A entrada para o analisador é um fluxo de tokens, gerado pelo analisador léxico. Este capítulo descreve como o analisador léxico divide um arquivo em tokens.

Python lê o texto do programa como pontos de código Unicode; a codificação de um arquivo de origem pode ser fornecida por uma declaração de codificação que por padrão é UTF-8, consulte PEP 3120 [https://peps.python.org/pep-3120/] para obter detalhes. Se o arquivo de origem não puder ser decodificado, uma exceção SyntaxError será levantada.

2.1. Estrutura das linhas

Um programa Python é dividido em uma série de linhas lógicas.

2.1.1. Linhas lógicas

O fim de uma linha lógica é representado pelo token NEWLINE. As declarações não podem cruzar os limites da linha lógica, exceto onde NEWLINE for permitido pela sintaxe (por exemplo, entre as declarações de declarações compostas). Uma linha lógica é construída a partir de uma ou mais linhas físicas seguindo as regras explícitas ou implícitas que juntam as linhas.

2.1.2. Linhas físicas

Uma linha física é uma sequência de caracteres terminada por uma sequência de fim de linha. Nos arquivos de origem e cadeias de caracteres, qualquer uma das sequências de terminação de linha de plataforma padrão pode ser usada - o formato Unix usando ASCII LF (linefeed), o formato Windows usando a sequência ASCII CR LF (return seguido de linefeed) ou o antigo formato Macintosh usando o caractere ASCII CR (return). Todos esses formatos podem ser usados ​​igualmente, independentemente da plataforma. O final da entrada também serve como um finalizador implícito para a linha física final.

Ao incorporar o Python, strings de código-fonte devem ser passadas para APIs do Python usando as convenções C padrão para caracteres de nova linha (o caractere \n, representando ASCII LF, será o terminador de linha).

2.1.3. Comentários

Um comentário inicia com um caracter cerquilha (#) que não é parte de uma string literal, e termina com o fim da linha física. Um comentário significa o fim da linha lógica a menos que regras de junção de linha implicitas sejam invocadas. Comentários são ignorados pela sintaxe.

2.1.4. Declarações de codificação

Se um comentário na primeira ou segunda linha de um script Python corresponde com a expressão regular coding[=:]\s*([-\w.]+), esse comentário é processado com uma declaração de codificação; o primeiro grupo dessa expressão indica a codificação do arquivo do código-fonte. A declaração de codificação deve aparecer em uma linha exclusiva para tal. Se está na segunda linha, a primeira linha também deve ser uma linha somente com comentário. As formas recomendadas de uma declaração de codificação são:

# -*- coding: <nome-codificação> -*-

que é reconhecido também por GNU Emacs, e

# vim:fileencoding=<nome-codificação>

que é reconhecido pelo VIM de Bram Moolenaar.

Se nenhuma codificação é declarada, a codificação padrão é UTF-8. Se a codificação implícita ou explícita de um arquivo é UTF-8, uma marca inicial de ordem de byte UTF-8 (b’xefxbbxbf’) será ignorada em vez de ser um erro de sintaxe.

Se uma codificação é declarada, o nome da codificação deve ser reconhecida pelo Python (veja Standard Encodings). A codificação é usada por toda análise léxica, incluindo literais strings, comment and identificadores.

2.1.5. Junção de linha explícita

Duas ou mais linhas físicas podem ser juntadas em linhas lógicas usando o caractere contrabarra (\) da seguinte forma: quando uma linha física termina com uma contrabarra que não é parte da uma literal string ou comentário, ela é juntada com a linha seguinte formando uma única linha lógica, removendo a contrabarra e o caractere de fim de linha seguinte. Por exemplo:

if 1900 < year < 2100 and 1 <= month <= 12 \
   and 1 <= day <= 31 and 0 <= hour < 24 \
   and 0 <= minute < 60 and 0 <= second < 60:   # Parece ser uma data válida
        return 1

Uma linha terminada em uma contrabarra não pode conter um comentário. Uma barra invertida não continua um comentário. Uma contrabarra não continua um token, exceto para strings literais (ou seja, tokens diferentes de strings literais não podem ser divididos em linhas físicas usando uma contrabarra). Uma contrabarra é ilegal em qualquer outro lugar em uma linha fora de uma string literal.

2.1.6. Junção de linha implícita

Expressões entre parênteses, colchetes ou chaves podem ser quebradas em mais de uma linha física sem a necessidade do uso de contrabarras. Por exemplo:

month_names = ['Januari', 'Februari', 'Maart',      # Estes são os
               'April',   'Mei',      'Juni',       # nomes holandeses
               'Juli',    'Augustus', 'September',  # para os meses
               'Oktober', 'November', 'December']   # do ano

Linhas continuadas implicitamente podem conter comentários. O recuo das linhas de continuação não é importante. Linhas de continuação em branco são permitidas. Não há token NEWLINE entre linhas de continuação implícitas. Linhas continuadas implicitamente também podem ocorrer dentro de strings com aspas triplas (veja abaixo); nesse caso, eles não podem conter comentários.

2.1.7. Linhas em branco

Uma linha lógica que contém apenas espaços, tabulações, quebras de página e possivelmente um comentário é ignorada (ou seja, nenhum token NEWLINE é gerado). Durante a entrada interativa de instruções, o tratamento de uma linha em branco pode diferir dependendo da implementação do interpretador. No interpretador interativo padrão, uma linha lógica totalmente em branco (ou seja, uma que não contenha nem mesmo espaço em branco ou um comentário) encerra uma instrução de várias linhas.

2.1.8. Indentação

O espaço em branco (espaços e tabulações) no início de uma linha lógica é usado para calcular o nível de indentação da linha, que por sua vez é usado para determinar o agrupamento de instruções.

As tabulações são substituídas (da esquerda para a direita) por um a oito espaços, de modo que o número total de caracteres até e incluindo a substituição seja um múltiplo de oito (essa é intencionalmente a mesma regra usada pelo Unix). O número total de espaços que precedem o primeiro caractere não em branco determina o recuo da linha. O recuo não pode ser dividido em várias linhas físicas usando contrabarra; o espaço em branco até a primeira contrabarra determina a indentação.

A indentação é rejeitada como inconsistente se um arquivo de origem mistura tabulações e espaços de uma forma que torna o significado dependente do valor de uma tabulação em espaços; uma exceção TabError é levantada nesse caso.

Nota de compatibilidade entre plataformas: devido à natureza dos editores de texto em plataformas não-UNIX, não é aconselhável usar uma mistura de espaços e tabulações para o recuo em um único arquivo de origem. Deve-se notar também que diferentes plataformas podem limitar explicitamente o nível máximo de indentação.

Um caractere de quebra de página pode estar presente no início da linha; ele será ignorado para os cálculos de indentação acima. Os caracteres de quebra de página que ocorrem em outro lugar além do espaço em branco inicial têm um efeito indefinido (por exemplo, eles podem redefinir a contagem de espaços para zero).

Os níveis de indentação das linhas consecutivas são usados para gerar tokens INDENT e DEDENT, usando uma pilha, como segue.

Antes da leitura da primeira linha do arquivo, um único zero é colocado na pilha; isso nunca mais será exibido. Os números colocados na pilha sempre aumentarão estritamente de baixo para cima. No início de cada linha lógica, o nível de indentação da linha é comparado ao topo da pilha. Se for igual, nada acontece. Se for maior, ele é colocado na pilha e um token INDENT é gerado. Se for menor, deve ser um dos números que aparecem na pilha; todos os números maiores na pilha são retirados e, para cada número retirado, um token DEDENT é gerado. Ao final do arquivo, um token DEDENT é gerado para cada número restante na pilha que seja maior que zero.

Aqui está um exemplo de um trecho de código Python indentado corretamente (embora confuso):

def perm(l):
        # Calcula a lista de todas as permutações de l
    if len(l) <= 1:
                  return [l]
    r = []
    for i in range(len(l)):
             s = l[:i] + l[i+1:]
             p = perm(s)
             for x in p:
              r.append(l[i:i+1] + x)
    return r

O exemplo a seguir mostra vários erros de indentação:

 def perm(l):                       # erro: primeira linha indentada
for i in range(len(l)):             # erro: não indentada
    s = l[:i] + l[i+1:]
        p = perm(l[:i] + l[i+1:])   # erro: indentação inesperada
        for x in p:
                r.append(l[i:i+1] + x)
            return r                # erro: desindentação inconsistente

(Na verdade, os três primeiros erros são detectados pelo analisador sintático; apenas o último erro é encontrado pelo analisador léxico — o recuo de não corresponde a um nível retirado da pilha.)

2.1.9. Espaços em branco entre tokens

Exceto no início de uma linha lógica ou em string literais, os caracteres de espaço em branco (espaço, tabulação e quebra de página) podem ser usados alternadamente para separar tokens. O espaço em branco é necessário entre dois tokens somente se sua concatenação puder ser interpretada como um token diferente (por exemplo, ab é um token, mas a b são dois tokens).

2.2. Outros tokens

Além de NEWLINE, INDENT e DEDENT, existem as seguintes categorias de tokens: identificadores, palavras-chave, literais, operadores e delimitadores. Caracteres de espaço em branco (exceto terminadores de linha, discutidos anteriormente) não são tokens, mas servem para delimitar tokens. Onde existe ambiguidade, um token compreende a string mais longa possível que forma um token legal, quando lido da esquerda para a direita.

2.3. Identificadores e palavras-chave

Identificadores (também chamados de nomes) são descritos pelas seguintes definições lexicais.

A sintaxe dos identificadores em Python é baseada no anexo do padrão Unicode UAX-31, com elaboração e alterações conforme definido abaixo; veja também PEP 3131 [https://peps.python.org/pep-3131/] para mais detalhes.

Dentro do intervalo ASCII (U+0001..U+007F), os caracteres válidos para identificadores incluem as letras maiúsculas e minúsculas A a Z, o sublinhado _ e, exceto pelo primeiro caractere, os dígitos 0 a 9. O Python 3.0 introduziu caracteres adicionais de fora do intervalo ASCII (veja PEP 3131 [https://peps.python.org/pep-3131/]). Para esses caracteres, a classificação usa a versão do Unicode Character Database conforme incluído no módulo unicodedata.

Os identificadores têm comprimento ilimitado. Maiúsculas são diferentes de minúsculas.

identifier   ::=  xid_start xid_continue*
id_start     ::=  <all characters in general categories Lu, Ll, Lt, Lm, Lo, Nl, the underscore, and characters with the Other_ID_Start property>
id_continue  ::=  <all characters in id_start, plus characters in the categories Mn, Mc, Nd, Pc and others with the Other_ID_Continue property>
xid_start    ::=  <all characters in id_start whose NFKC normalization is in "id_start xid_continue*">
xid_continue ::=  <all characters in id_continue whose NFKC normalization is in "id_continue*">

Os códigos de categoria Unicode mencionados acima significam:

Lu - letras maiúsculas

Ll - letras minúsculas

Lt - letras em titlecase

Lm - letras modificadoras

Lo - outras letras

Nl - letras numéricas

Mn - marcas sem espaçamento

Mc - marcas de combinação de espaçamento

Nd - números decimais

Pc - pontuações de conectores

Other_ID_Start - lista explícita de caracteres em PropList.txt [https://www.unicode.org/Public/15.1.0/ucd/PropList.txt] para oferecer suporte à compatibilidade com versões anteriores

Other_ID_Continue - igualmente

Todos os identificadores são convertidos no formato normal NFKC durante a análise; a comparação de identificadores é baseada no NFKC.

Um arquivo HTML não normativo listando todos os caracteres identificadores válidos para Unicode 15.1.0 pode ser encontrado em https://www.unicode.org/Public/15.1.0/ucd/DerivedCoreProperties.txt

2.3.1. Palavras reservadas

Os seguintes identificadores são usados como palavras reservadas, ou palavras-chave da linguagem, e não podem ser usados como identificadores comuns. Eles devem ser escritos exatamente como estão escritos aqui:

False      await      else       import     pass
None       break      except     in         raise
True       class      finally    is         return
and        continue   for        lambda     try
as         def        from       nonlocal   while
assert     del        global     not        with
async      elif       if         or         yield

2.3.2. Palavras reservadas contextuais

Adicionado na versão 3.10.

Alguns identificadores são reservados apenas em contextos específicos. Elas são conhecidas como palavras reservadas contextuais. Os identificadores match, case, type e _ podem atuar sintaticamente como palavras reservadas em determinados contextos, mas essa distinção é feita no nível do analisador sintático, não durante a tokenização.

Como palavras reservadas contextuais, seu uso na gramática é possível preservando a compatibilidade com o código existente que usa esses nomes como identificadores.

match, case e _ são usadas na instrução match, type é usado na instrução type.

Alterado na versão 3.12: type é agora uma palavra reservada contextual.

2.3.3. Classes reservadas de identificadores

Certas classes de identificadores (além de palavras reservadas) possuem significados especiais. Essas classes são identificadas pelos padrões de caracteres de sublinhado iniciais e finais:

_*

Não importado por from module import *.

_

Em um padrão case de uma instrução match, _ é uma palavra reservada contextual que denota um curinga.

Isoladamente, o interpretador interativo disponibiliza o resultado da última avaliação na variável _. (Ele é armazenado no módulo builtins, juntamente com funções embutidas como print.)

Em outros lugares, _ é um identificador comum. Muitas vezes é usado para nomear itens “especiais”, mas não é especial para o Python em si.

Nota

O nome _ é frequentemente usado em conjunto com internacionalização; consulte a documentação do módulo gettext para obter mais informações sobre esta convenção.

Também é comumente usado para variáveis não utilizadas.

__*__

Nomes definidos pelo sistema, informalmente conhecidos como nomes “dunder”. Esses nomes e suas implementações são definidos pelo interpretador (incluindo a biblioteca padrão). Os nomes de sistema atuais são discutidos na seção Nomes de métodos especiais e em outros lugares. Provavelmente mais nomes serão definidos em versões futuras do Python. Qualquer uso de nomes __*__, em qualquer contexto, que não siga o uso explicitamente documentado, está sujeito a quebra sem aviso prévio.

__*

Nomes de classes privadas. Os nomes nesta categoria, quando usados no contexto de uma definição de classe, são reescritos para usar uma forma desfigurada para ajudar a evitar conflitos de nomes entre atributos “privados” de classes base e derivadas. Consulte a seção Identificadores (Nomes).

2.4. Literais

Literais são notações para valores constantes de alguns tipos embutidos.

2.4.1. Literais de string e bytes

Literais de string são descritos pelas seguintes definições lexicais:

stringliteral   ::=  [stringprefix](shortstring | longstring)
stringprefix    ::=  "r" | "u" | "R" | "U" | "f" | "F"
                     | "fr" | "Fr" | "fR" | "FR" | "rf" | "rF" | "Rf" | "RF"
shortstring     ::=  "'" shortstringitem* "'" | '"' shortstringitem* '"'
longstring      ::=  "'''" longstringitem* "'''" | '"""' longstringitem* '"""'
shortstringitem ::=  shortstringchar | stringescapeseq
longstringitem  ::=  longstringchar | stringescapeseq
shortstringchar ::=  <any source character except "\" or newline or the quote>
longstringchar  ::=  <any source character except "\">
stringescapeseq ::=  "\" <any source character>

bytesliteral   ::=  bytesprefix(shortbytes | longbytes)
bytesprefix    ::=  "b" | "B" | "br" | "Br" | "bR" | "BR" | "rb" | "rB" | "Rb" | "RB"
shortbytes     ::=  "'" shortbytesitem* "'" | '"' shortbytesitem* '"'
longbytes      ::=  "'''" longbytesitem* "'''" | '"""' longbytesitem* '"""'
shortbytesitem ::=  shortbyteschar | bytesescapeseq
longbytesitem  ::=  longbyteschar | bytesescapeseq
shortbyteschar ::=  <any ASCII character except "\" or newline or the quote>
longbyteschar  ::=  <any ASCII character except "\">
bytesescapeseq ::=  "\" <any ASCII character>

Uma restrição sintática não indicada por essas produções é que não são permitidos espaços em branco entre o stringprefix ou bytesprefix e o restante do literal. O conjunto de caracteres de origem é definido pela declaração de codificação; é UTF-8 se nenhuma declaração de codificação for fornecida no arquivo de origem; veja a seção Declarações de codificação.

Em inglês simples: ambos os tipos de literais podem ser colocados entre aspas simples (') ou aspas duplas ("). Eles também podem ser colocados em grupos correspondentes de três aspas simples ou duplas (geralmente chamadas de strings com aspas triplas). O caractere de contrabarra (\) é usado para dar um significado especial a caracteres comuns como , que significa ‘nova linha’ quando escapado (\n). Também pode ser usado para caracteres de escape que, de outra forma, teriam um significado especial, como nova linha, contrabarra ou o caractere de aspas. Veja sequências de escape abaixo para exemplos.

Literais de bytes são sempre prefixados com 'b' ou 'B'; eles produzem uma instância do tipo bytes em vez do tipo str. Eles só podem conter caracteres ASCII; bytes com valor numérico igual ou superior a 128 devem ser expressos com escapes.

Literais de string e bytes podem opcionalmente ser prefixados com uma letra 'r' ou 'R'; tais construções são chamadas de literais de strings brutas e literais de bytes brutos tratam as contrabarras como caracteres literais. Como resultado, em literais de string, os escapes '\U' e '\u' em strings brutas não são tratados de maneira especial.

Adicionado na versão 3.3: O prefixo 'rb' de literais de bytes brutos foi adicionado como sinônimo de 'br'.

O suporte para o literal legado unicode (u'value') foi reintroduzido para simplificar a manutenção de bases de código duplas Python 2.x e 3.x. Consulte PEP 414 [https://peps.python.org/pep-0414/] para obter mais informações.

Uma string literal com 'f' ou 'F' em seu prefixo é uma string literal formatada; veja Literais de strings formatadas. O 'f' pode ser combinado com 'r', mas não com 'b' ou 'u', portanto strings formatadas brutas são possíveis, mas literais de bytes formatados não são.

Em literais com aspas triplas, novas linhas e aspas sem escape são permitidas (e são retidas), exceto que três aspas sem escape em uma linha encerram o literal. (Uma “aspas” é o caractere usado para abrir o literal, ou seja, ' ou ".)

2.4.1.1. Sequências de escape

A menos que um prefixo 'r' ou 'R' esteja presente, as sequências de escape em literais de string e bytes são interpretadas de acordo com regras semelhantes àquelas usadas pelo Standard C. As sequências de escape reconhecidas são:

Sequência de escape

Significado

Notas

\<newline>

A barra invertida e a nova linha foram ignoradas

(1)

\\

Contrabarra (\)

\'

Aspas simples (')

\"

Aspas duplas (")

\a

ASCII Bell (BEL) - um sinal audível é emitido

\b

ASCII Backspace (BS) - apaga caractere à esquerda

\f

ASCII Formfeed (FF) - quebra de página

\n

ASCII Linefeed (LF) - quebra de linha

\r

ASCII Carriage Return (CR) - retorno de carro

\t

ASCII Horizontal Tab (TAB) - tabulação horizontal

\v

ASCII Vertical Tab (VT) - tabulação vertical

\ooo

Caractere com valor octal ooo

(2,4)

\xhh

Caractere com valor hexadecimal hh

(3,4)

As sequências de escape apenas reconhecidas em literais de strings são:

Sequência de escape

Significado

Notas

\N{name}

Caractere chamado name no banco de dados Unicode

(5)

\uxxxx

Caractere com valor hexadecimal de 16 bits xxxx

(6)

\Uxxxxxxxx

Caractere com valor hexadecimal de 32 bits xxxxxxxx

(7)

Notas:

Uma contrabarra pode ser adicionada ao fim da linha para ignorar a nova linha:

>>> 'Esta string não vai incluir \
... contrabarras e caracteres de nova linha.'
'Esta string não vai incluir contrabarras e caracteres de nova linha.'

O mesmo resultado pode ser obtido usando strings com aspas triplas, ou parênteses e concatenação de literal string.

Como no padrão C, são aceitos até três dígitos octais.

Alterado na versão 3.11: Escapes octais com valor maior que 0o377 produz uma DeprecationWarning.

Alterado na versão 3.12: Escapes octais com valor maior que 0o377 produzem um SyntaxWarning. Em uma versão futura do Python eles serão eventualmente um SyntaxError.

Ao contrário do padrão C, são necessários exatamente dois dígitos hexadecimais.

Em um literal de bytes, os escapes hexadecimais e octais denotam o byte com o valor fornecido. Em uma literal de string, esses escapes denotam um caractere Unicode com o valor fornecido.

Alterado na versão 3.3: O suporte para apelidos de nome [1] foi adicionado.

São necessários exatos quatro dígitos hexadecimais.

Qualquer caractere Unicode pode ser codificado desta forma. São necessários exatamente oito dígitos hexadecimais.

Ao contrário do padrão C, todas as sequências de escape não reconhecidas são deixadas inalteradas na string, ou seja, a contrabarra é deixada no resultado. (Esse comportamento é útil durante a depuração: se uma sequência de escape for digitada incorretamente, a saída resultante será mais facilmente reconhecida como quebrada.) Também é importante observar que as sequências de escape reconhecidas apenas em literais de string se enquadram na categoria de escapes não reconhecidos para literais de bytes.

Alterado na versão 3.6: Sequências de escape não reconhecidas produzem um DeprecationWarning.

Alterado na versão 3.12: Sequências de escape não reconhecidas produzem um SyntaxWarning. Em uma versão futura do Python eles serão eventualmente um SyntaxError.

Mesmo em um literal bruto, as aspas podem ser escapadas com uma contrabarra, mas a barra invertida permanece no resultado; por exemplo, r"\"" é uma literal de string válida que consiste em dois caracteres: uma contrabarra e aspas duplas; r"\" não é uma literal de string válida (mesmo uma string bruta não pode terminar em um número ímpar de contrabarras). Especificamente, um literal bruto não pode terminar em uma única contrabarra (já que a contrabarra escaparia do seguinte caractere de aspas). Observe também que uma única contrabarra seguida por uma nova linha é interpretada como esses dois caracteres como parte do literal, não como uma continuação de linha.

2.4.2. Concatenação de literal de string

São permitidos vários literais de strings ou bytes adjacentes (delimitados por espaços em branco), possivelmente usando diferentes convenções de delimitação de strings, e seu significado é o mesmo de sua concatenação. Assim, "hello" 'world' é equivalente a "helloworld". Este recurso pode ser usado para reduzir o número de barras invertidas necessárias, para dividir strings longas convenientemente em linhas longas ou até mesmo para adicionar comentários a partes de strings, por exemplo:

re.compile("[A-Za-z_]"       # letra ou sublinhado
           "[A-Za-z0-9_]*"   # letra, dígito ou sublinhado
          )

Observe que esse recurso é definido no nível sintático, mas implementado em tempo de compilação. O operador ‘+’ deve ser usado para concatenar expressões de string em tempo de execução. Observe também que a concatenação literal pode usar diferentes estilos de delimitação de strings para cada componente (mesmo misturando strings brutas e strings com aspas triplas), e literais de string formatados podem ser concatenados com literais de string simples.

2.4.3. Literais de strings formatadas

Adicionado na versão 3.6.

Um literal de string formatado ou f-string é uma literal de string prefixado com 'f' ou 'F'. Essas strings podem conter campos de substituição, que são expressões delimitadas por chaves {}. Embora outros literais de string sempre tenham um valor constante, strings formatadas são, na verdade, expressões avaliadas em tempo de execução.

As sequências de escape são decodificadas como em literais de string comuns (exceto quando um literal também é marcado como uma string bruta). Após a decodificação, a gramática do conteúdo da string é:

f_string          ::=  (literal_char | "{{" | "}}" | replacement_field)*
replacement_field ::=  "{" f_expression ["="] ["!" conversion] [":" format_spec] "}"
f_expression      ::=  (conditional_expression | "*" or_expr)
                         ("," conditional_expression | "," "*" or_expr)* [","]
                       | yield_expression
conversion        ::=  "s" | "r" | "a"
format_spec       ::=  (literal_char | replacement_field)*
literal_char      ::=  <any code point except "{", "}" or NULL>

As partes da string fora das chaves são tratadas literalmente, exceto que quaisquer chaves duplas '{{' ou '}}' são substituídas pela chave única correspondente. Uma única chave de abertura '{' marca um campo de substituição, que começa com uma expressão Python. Para exibir o texto da expressão e seu valor após a avaliação (útil na depuração), um sinal de igual '=' pode ser adicionado após a expressão. Um campo de conversão, introduzido por um ponto de exclamação '!', pode vir a seguir. Um especificador de formato também pode ser anexado, introduzido por dois pontos ':'. Um campo de substituição termina com uma chave de fechamento '}'.

Expressões em literais de string formatadas são tratadas como expressões regulares do Python entre parênteses, com algumas exceções. Uma expressão vazia não é permitida e as expressões lambda e de atribuição := devem ser colocadas entre parênteses explícitos. Cada expressão é avaliada no contexto onde o literal de string formatado aparece, na ordem da esquerda para a direita. As expressões de substituição podem conter novas linhas em strings formatadas entre aspas simples e triplas e podem conter comentários. Tudo o que vem depois de um # dentro de um campo de substituição é um comentário (até mesmo colchetes e aspas). Nesse caso, os campos de substituição deverão ser fechados em uma linha diferente.

>>> f"abc{a # Este é um comentário }"
... + 3}"
'abc5'

Alterado na versão 3.7: Antes do Python 3.7, uma expressão await e compreensões contendo uma cláusula async for eram ilegais nas expressões em literais de string formatados devido a um problema com a implementação.

Alterado na versão 3.12: Antes do Python 3.12, comentários não eram permitidos dentro de campos de substituição em f-strings.

Quando o sinal de igual '=' for fornecido, a saída terá o texto da expressão, o '=' e o valor avaliado. Os espaços após a chave de abertura '{', dentro da expressão e após '=' são todos preservados na saída. Por padrão, '=' faz com que repr() da expressão seja fornecida, a menos que haja um formato especificado. Quando um formato é especificado, o padrão é o str() da expressão, a menos que uma conversão '!r' seja declarada.

Adicionado na versão 3.8: O sinal de igual '='.

Se uma conversão for especificada, o resultado da avaliação da expressão será convertido antes da formatação. A conversão '!s' chama str() no resultado, '!r' chama repr() e '!a' chama ascii().

O resultado é então formatado usando o protocolo format(). O especificador de formato é passado para o método __format__() da expressão ou resultado da conversão. Uma string vazia é passada quando o especificador de formato é omitido. O resultado formatado é então incluído no valor final de toda a string.

Os especificadores de formato de nível superior podem incluir campos de substituição aninhados. Esses campos aninhados podem incluir seus próprios campos de conversão e especificadores de formato, mas podem não incluir campos de substituição aninhados mais profundamente. A minilinguagem do especificador de formato é a mesma usada pelo método str.format().

Literais de string formatados podem ser concatenados, mas os campos de substituição não podem ser divididos entre literais.

Alguns exemplos de literais de string formatados:

>>> nome = "Fred"
>>> f"Ele falou que o nome dele é {nome!r}."
"Ele falou que o nome dele é 'Fred'."
>>> f"Ele falou que o nome dele é {repr(nome)}."  # repr() é um equivalente a !r
"Ele falou que o nome dele é 'Fred'."
>>> largura = 10
>>> precisão = 4
>>> valor = decimal.Decimal("12.34567")
>>> f"resultado: {valor:{largura}.{precisão}}"  # campos aninhados
'resultado: 12.35'
>>> hoje = datetime(year=2017, month=1, day=27)
>>> f"{hoje:%B %d, %Y}"  # usando especificador de formato de data
'January 27, 2017'
>>> f"{hoje=:%B %d, %Y}"  # usando especificador de formato de data e depuração
'hoje=January 27, 2017'
>>> número = 1024
>>> f"{número:#0x}"  # usando especificador de formato de número inteiro
'0x400'
>>> foo = "bar"
>>> f"{ foo = }"  # preserva espaço em branco
" foo = 'bar'"
>>> linha = "Olha a caixa d'água"
>>> f"{linha = }"
'linha = "Olha a caixa d\'água"'
>>> f"{linha = :20}"
"linha = Olha a caixa d'água "
>>> f"{linha = !r:20}"
'linha = "Olha a caixa d\'água"'

É permitido reutilizar o tipo de aspas de f-string externa dentro de um campo de substituição:

>>> a = dict(x=2)
>>> f"abc {a["x"]} def"
'abc 2 def'

Alterado na versão 3.12: Antes do Python 3.12, a reutilização do mesmo tipo de aspas da f-string externa dentro de um campo de substituição não era possível.

Contrabarras também são permitidas em campos de substituição e são avaliadas da mesma forma que em qualquer outro contexto:

>>> a = ["a", "b", "c"]
>>> print(f"A lista a contém:\n{"\n".join(a)}")
A lista a contém:
a
b
c

Alterado na versão 3.12: Antes do Python 3.12, contrabarras não eram permitidas dentro de um campo de substituição em uma f-string.

Literais de string formatados não podem ser usados como strings de documentação, mesmo que não incluam expressões.

>>> def foo():
...     f"Não é uma docstring"
...
>>> foo.__doc__ is None
True

Consulte também PEP 498 [https://peps.python.org/pep-0498/] para a proposta que adicionou literais de string formatados e str.format(), que usa um mecanismo de string de formato relacionado.

2.4.4. Literais numéricos

Existem três tipos de literais numéricos: inteiros, números de ponto flutuante e números imaginários. Não existem literais complexos (números complexos podem ser formados adicionando um número real e um número imaginário).

Observe que os literais numéricos não incluem um sinal; uma frase como -1 é, na verdade, uma expressão composta pelo operador unário ‘-2’ e o literal 1.

2.4.5. Inteiros literais

Literais inteiros são descritos pelas seguintes definições léxicas:

integer      ::=  decinteger | bininteger | octinteger | hexinteger
decinteger   ::=  nonzerodigit (["_"] digit)* | "0"+ (["_"] "0")*
bininteger   ::=  "0" ("b" | "B") (["_"] bindigit)+
octinteger   ::=  "0" ("o" | "O") (["_"] octdigit)+
hexinteger   ::=  "0" ("x" | "X") (["_"] hexdigit)+
nonzerodigit ::=  "1"..."9"
digit        ::=  "0"..."9"
bindigit     ::=  "0" | "1"
octdigit     ::=  "0"..."7"
hexdigit     ::=  digit | "a"..."f" | "A"..."F"

Não há limite para o comprimento de literais inteiros além do que pode ser armazenado na memória disponível.

Os sublinhados são ignorados para determinar o valor numérico do literal. Eles podem ser usados para agrupar dígitos para maior legibilidade. Um sublinhado pode ocorrer entre dígitos e após especificadores de base como 0x.

Observe que não são permitidos zeros à esquerda em um número decimal diferente de zero. Isto é para desambiguação com literais octais de estilo C, que o Python usava antes da versão 3.0.

Alguns exemplos de literais inteiros:

7     2147483647                        0o177    0b100110111
3     79228162514264337593543950336     0o377    0xdeadbeef
      100_000_000_000                   0b_1110_0101

Alterado na versão 3.6: Os sublinhados agora são permitidos para fins de agrupamento de literais.

2.4.6. Literais de ponto flutuante

Literais de ponto flutuante são descritos pelas seguintes definições léxicas:

floatnumber   ::=  pointfloat | exponentfloat
pointfloat    ::=  [digitpart] fraction | digitpart "."
exponentfloat ::=  (digitpart | pointfloat) exponent
digitpart     ::=  digit (["_"] digit)*
fraction      ::=  "." digitpart
exponent      ::=  ("e" | "E") ["+" | "-"] digitpart

Observe que as partes inteiras e expoentes são sempre interpretadas usando base 10. Por exemplo, 077e010 é válido e representa o mesmo número que 77e10. O intervalo permitido de literais de ponto flutuante depende da implementação. Assim como em literais inteiros, os sublinhados são permitidos para agrupamento de dígitos.

Alguns exemplos de literais de ponto flutuante:

3.14    10.    .001    1e100    3.14e-10    0e0    3.14_15_93

Alterado na versão 3.6: Os sublinhados agora são permitidos para fins de agrupamento de literais.

2.4.7. Literais imaginários

Os literais imaginários são descritos pelas seguintes definições léxicas:

imagnumber ::=  (floatnumber | digitpart) ("j" | "J")

Um literal imaginário produz um número complexo com uma parte real igual a 0.0. Os números complexos são representados como um par de números de ponto flutuante e têm as mesmas restrições em seu alcance. Para criar um número complexo com uma parte real diferente de zero, adicione um número de ponto flutuante a ele, por exemplo, (3+4j). Alguns exemplos de literais imaginários:

3.14j   10.j    10j     .001j   1e100j   3.14e-10j   3.14_15_93j

2.5. Operadores

Os seguintes tokens são operadores:

+       -       *       **      /       //      %      @
<<      >>      &       |       ^       ~       :=
<       >       <=      >=      ==      !=

2.6. Delimitadores

Os seguintes tokens servem como delimitadores na gramática:

(       )       [       ]       {       }
,       :       !       .       ;       @       =
->      +=      -=      *=      /=      //=     %=
@=      &=      |=      ^=      >>=     <<=     **=

O ponto também pode ocorrer em literais de ponto flutuante e imaginário. Uma sequência de três períodos tem um significado especial como um literal de reticências. A segunda metade da lista, os operadores de atribuição aumentada, servem lexicalmente como delimitadores, mas também realizam uma operação.

Os seguintes caracteres ASCII imprimíveis têm um significado especial como parte de outros tokens ou são significativos para o analisador léxico:

'       "       #       \

Os seguintes caracteres ASCII imprimíveis não são usados em Python. Sua ocorrência fora de literais de string e comentários é um erro incondicional:

$       ?       `

Notas de rodapé

[1]

https://www.unicode.org/Public/15.1.0/ucd/NameAliases.txt

3. Modelo de dados

3.1. Objetos, valores e tipos

Objetos são abstrações do Python para dados. Todos os dados em um programa Python são representados por objetos ou por relações entre objetos. (De certo modo, e em conformidade com o modelo de Von Neumann de um “computador com programa armazenado”, código também é representado por objetos.)

Todo objeto tem uma identidade, um tipo e um valor. A identidade de um objeto nunca muda depois de criado; você pode pensar nisso como endereço de objetos em memória. O operador is compara as identidades de dois objetos; a função id() retorna um inteiro representando sua identidade.

Detalhes da implementação do CPython: Para CPython, id(x) é o endereço de memória em que x está armazenado.

O tipo de um objeto determina as operações que o objeto implementa (por exemplo, “ele tem um comprimento?”) e também define os valores possíveis para objetos desse tipo. A função type() retorna o tipo de um objeto (que é também um objeto). Como sua identidade, o tipo do objeto também é imutável. [1]

O valor de alguns objetos pode mudar. Objetos cujos valores podem mudar são descritos como mutáveis, objetos cujo valor não pode ser mudado uma vez que foram criados são chamados imutáveis. (O valor de um objeto contêiner imutável que contém uma referência a um objeto mutável pode mudar quando o valor deste último for mudado; no entanto o contêiner é ainda assim considerada imutável, pois a coleção de objetos que contém não pode ser mudada. Então a imutabilidade não é estritamente o mesmo do que não haver mudanças de valor, é mais sutil.) A mutabilidade de um objeto é determinada pelo seu tipo; por exemplo, números, strings e tuplas são imutáveis, enquanto dicionários e listas são mutáveis.

Os objetos nunca são destruídos explicitamente; no entanto, quando eles se tornam inacessíveis, eles podem ser coletados como lixo. Uma implementação tem permissão para adiar a coleta de lixo ou omiti-la completamente – é uma questão de detalhe de implementação como a coleta de lixo é implementada, desde que nenhum objeto que ainda esteja acessível seja coletado.

Detalhes da implementação do CPython: CPython atualmente usa um esquema de contagem de referências com detecção atrasada (opcional) de lixo ligado ciclicamente, que coleta a maioria dos objetos assim que eles se tornam inacessíveis, mas não é garantido que coletará lixo contendo referências circulares. Veja a documentação do módulo gc para informações sobre como controlar a coleta de lixo cíclico. Outras implementações agem de forma diferente e o CPython pode mudar. Não dependa da finalização imediata dos objetos quando eles se tornarem inacessíveis (isto é, você deve sempre fechar os arquivos explicitamente).

Observe que o uso dos recursos de rastreamento ou depuração da implementação pode manter os objetos ativos que normalmente seriam coletáveis. Observe também que capturar uma exceção com uma instrução try…except pode manter os objetos vivos.

Alguns objetos contêm referências a recursos “externos”, como arquivos abertos ou janelas. Entende-se que esses recursos são liberados quando o objeto é coletado como lixo, mas como a coleta de lixo não é garantida, tais objetos também fornecem uma maneira explícita de liberar o recurso externo, geralmente um método close(). Os programas são fortemente recomendados para fechar explicitamente esses objetos. A instrução try…finally e a instrução with fornecem maneiras convenientes de fazer isso.

Alguns objetos contêm referências a outros objetos; eles são chamados de contêineres. Exemplos de contêineres são tuplas, listas e dicionários. As referências fazem parte do valor de um contêiner. Na maioria dos casos, quando falamos sobre o valor de um contêiner, nos referimos aos valores, não às identidades dos objetos contidos; entretanto, quando falamos sobre a mutabilidade de um contêiner, apenas as identidades dos objetos contidos imediatamente estão implícitas. Portanto, se um contêiner imutável (como uma tupla) contém uma referência a um objeto mutável, seu valor muda se esse objeto mutável for alterado.

Os tipos afetam quase todos os aspectos do comportamento do objeto. Até mesmo a importância da identidade do objeto é afetada em algum sentido: para tipos imutáveis, as operações que calculam novos valores podem realmente retornar uma referência a qualquer objeto existente com o mesmo tipo e valor, enquanto para objetos mutáveis isso não é permitido. Por exemplo, após a = 1; b = 1, a e b podem ou não se referir ao mesmo objeto com o valor um, dependendo da implementação. Isto ocorre porque int é um tipo imutável, então a referência a 1 pode ser reutilizada. Este comportamento depende da implementação usada, então não deve ser considerada confiável, mas é algo para se estar ciente ao fazer uso de testes de identidade de objeto. No entanto, após c = []; d = [], c e d têm a garantia de referir-se a duas listas vazias diferentes e únicas. (Observe que e = f = [] atribui o mesmo objeto para e e f.)

3.2. A hierarquia de tipos padrão

Abaixo está uma lista dos tipos que são embutidos no Python. Módulos de extensão (escritos em C, Java ou outras linguagens, dependendo da implementação) podem definir tipos adicionais. Versões futuras do Python podem adicionar tipos à hierarquia de tipo (por exemplo, números racionais, matrizes de inteiros armazenadas de forma eficiente, etc.), embora tais adições sejam frequentemente fornecidas por meio da biblioteca padrão.

Algumas das descrições de tipo abaixo contêm um parágrafo listando “atributos especiais”. Esses são atributos que fornecem acesso à implementação e não se destinam ao uso geral. Sua definição pode mudar no futuro.

3.2.1. None

Este tipo possui um único valor. Existe um único objeto com este valor. Este objeto é acessado através do nome embutido None. É usado para significar a ausência de um valor em muitas situações, por exemplo, ele é retornado de funções que não retornam nada explicitamente. Seu valor verdade é falso.

3.2.2. NotImplemented

Este tipo possui um único valor. Existe um único objeto com este valor. Este objeto é acessado através do nome embutido NotImplemented. Os métodos numéricos e métodos de comparação rica devem retornar esse valor se não implementarem a operação para os operandos fornecidos. (O interpretador tentará então a operação refletida ou alguma outra alternativa, dependendo do operador.) Não deve ser avaliado em um contexto booleano.

Veja a documentação Implementando as operações aritméticas para mais detalhes.

Alterado na versão 3.9: A avaliação de NotImplemented em um contexto booleano foi descontinuada. Embora atualmente seja avaliada como verdadeiro, é emitida uma exceção DeprecationWarning. Levantará uma TypeError em uma versão futura do Python.

3.2.3. Ellipsis

Este tipo possui um único valor. Existe um único objeto com este valor. Este objeto é acessado através do literal ... ou do nome embutido Ellipsis (reticências). Seu valor verdade é verdadeiro.

3.2.4. numbers.Number

Esses são criados por literais numéricos e retornados como resultados por operadores aritméticos e funções aritméticas embutidas. Os objetos numéricos são imutáveis; uma vez criado, seu valor nunca muda. Os números do Python são, obviamente, fortemente relacionados aos números matemáticos, mas sujeitos às limitações da representação numérica em computadores.

As representações de string das classes numéricas, calculadas por __repr__() e __str__(), têm as seguintes propriedades:

Elas são literais numéricos válidos que, quando passados para seu construtor de classe, produzem um objeto com o valor do numérico original.

A representação está na base 10, quando possível.

Os zeros à esquerda, possivelmente com exceção de um único zero antes de um ponto decimal, não são mostrados.

Os zeros à direita, possivelmente com exceção de um único zero após um ponto decimal, não são mostrados.

Um sinal é mostrado apenas quando o número é negativo.

Python distingue entre inteiros, números de ponto flutuante e números complexos:

3.2.4.1. numbers.Integral

Estes representam elementos do conjunto matemático de inteiros (positivos e negativos).

Nota

As regras para representação de inteiros têm como objetivo fornecer a interpretação mais significativa das operações de deslocamento e máscara envolvendo inteiros negativos.

Existem dois tipos de inteiros:

Inteiros (int)

Estes representam números em um intervalo ilimitado, sujeito apenas à memória (virtual) disponível. Para o propósito de operações de deslocamento e máscara, uma representação binária é presumida e os números negativos são representados em uma variante do complemento de 2 que dá a ilusão de uma string infinita de bits de sinal estendendo-se para a esquerda.

Booleanos (bool)

Estes representam os valores da verdade Falsos e Verdadeiros. Os dois objetos que representam os valores False e True são os únicos objetos booleanos. O tipo booleano é um subtipo do tipo inteiro, e os valores booleanos se comportam como os valores 0 e 1, respectivamente, em quase todos os contextos, com exceção de que, quando convertidos em uma string, as strings "False" ou "True" são retornados, respectivamente.

3.2.4.2. numbers.Real (float)

Estes representam números de ponto flutuante de precisão dupla no nível da máquina. Você está à mercê da arquitetura da máquina subjacente (e implementação C ou Java) para o intervalo aceito e tratamento de estouro. Python não oferece suporte a números de ponto flutuante de precisão única; a economia no uso do processador e da memória, que normalmente é o motivo de usá-los, é ofuscada pela sobrecarga do uso de objetos em Python, portanto, não há razão para complicar a linguagem com dois tipos de números de ponto flutuante.

3.2.4.3. numbers.Complex (complex)

Estes representam números complexos como um par de números de ponto flutuante de precisão dupla no nível da máquina. As mesmas advertências se aplicam aos números de ponto flutuante. As partes reais e imaginárias de um número complexo z podem ser obtidas através dos atributos somente leitura z.real e z.imag.

3.2.5. Sequências

Estes representam conjuntos ordenados finitos indexados por números não negativos. A função embutida len() retorna o número de itens de uma sequência. Quando o comprimento de uma sequência é n, o conjunto de índices contém os números 0, 1, …, n-1. O item i da sequência a é selecionado por a[i]. Algumas sequências, incluindo sequências embutidas, interpretam subscritos negativos adicionando o comprimento da sequência. Por exemplo, a[-2] é igual a a[n-2], o penúltimo item da sequência a com comprimento n.

Sequências também provê fatiamento: a[i:j] seleciona todos os itens com índice k de forma que i <= k < j. Quando usada como expressão, uma fatia é uma sequência do mesmo tipo. O comentário acima sobre índices negativos também se aplica a posições de fatias negativas.

Algumas sequências também suportam “fatiamento estendido” com um terceiro parâmetro de “etapa”: a[i:j:k] seleciona todos os itens de a com índice x onde x = i + n*k, n >= 0 e i <= x < j.

As sequências são distinguidas de acordo com sua mutabilidade:

3.2.5.1. Sequências imutáveis

Um objeto de um tipo de sequência imutável não pode ser alterado depois de criado. (Se o objeto contiver referências a outros objetos, esses outros objetos podem ser mutáveis e podem ser alterados; no entanto, a coleção de objetos diretamente referenciada por um objeto imutável não pode ser alterada.)

Os tipos a seguir são sequências imutáveis:

Strings

Uma string é uma sequência de valores que representam pontos de código Unicode. Todos os pontos de código no intervalo U+0000 - U+10FFFF podem ser representados em uma string. Python não tem um tipo char; em vez disso, cada ponto de código na string é representado como um objeto string com comprimento 1. A função embutida ord() converte um ponto de código de sua forma de string para um inteiro no intervalo 0 - 10FFFF; chr() converte um inteiro no intervalo 0 - 10FFFF para o objeto de string correspondente de comprimento 1. str.encode() pode ser usado para converter uma str para bytes usando a codificação de texto fornecida, e bytes.decode() pode ser usado para conseguir o oposto.

Tuplas

Os itens de uma tupla são objetos Python arbitrários. Tuplas de dois ou mais itens são formadas por listas de expressões separadas por vírgulas. Uma tupla de um item (um “singleton”) pode ser formada afixando uma vírgula a uma expressão (uma expressão por si só não cria uma tupla, já que os parênteses devem ser usados para agrupamento de expressões). Uma tupla vazia pode ser formada por um par vazio de parênteses.

Bytes

A bytes object is an immutable array. The items are 8-bit bytes, represented by integers in the range 0 <= x < 256. Bytes literals (like b'abc') and the built-in bytes() constructor can be used to create bytes objects. Also, bytes objects can be decoded to strings via the decode() method.

3.2.5.2. Sequências mutáveis

As sequências mutáveis podem ser alteradas após serem criadas. As notações de subscrição e fatiamento podem ser usadas como o destino da atribuição e instruções del (delete, exclusão).

Nota

Os módulos collections e array fornecem exemplos adicionais de tipos de sequência mutáveis.

Atualmente, existem dois tipos de sequência mutável intrínseca:

Listas

Os itens de uma lista são objetos Python arbitrários. As listas são formadas colocando uma lista de expressões separada por vírgulas entre colchetes. (Observe que não há casos especiais necessários para formar listas de comprimento 0 ou 1.)

Vetores de bytes

Um objeto bytearray é um vetor mutável. Eles são criados pelo construtor embutido bytearray(). Além de serem mutáveis (e, portanto, não-hasheável), os vetores de bytes fornecem a mesma interface e funcionalidade que os objetos imutáveis bytes.

3.2.6. Tipos de conjuntos

Estes representam conjuntos finitos e não ordenados de objetos únicos e imutáveis. Como tal, eles não podem ser indexados por nenhum subscrito. No entanto, eles podem ser iterados, e a função embutida len() retorna o número de itens em um conjunto. Os usos comuns para conjuntos são testes rápidos de associação, remoção de duplicatas de uma sequência e computação de operações matemáticas como interseção, união, diferença e diferença simétrica.

Para elementos de conjunto, as mesmas regras de imutabilidade se aplicam às chaves de dicionário. Observe que os tipos numéricos obedecem às regras normais para comparação numérica: se dois números forem iguais (por exemplo, 1 e 1.0), apenas um deles pode estar contido em um conjunto.

Atualmente, existem dois tipos de conjuntos intrínsecos:

Conjuntos

Estes representam um conjunto mutável. Eles são criados pelo construtor embutido set() e podem ser modificados posteriormente por vários métodos, como add().

Conjuntos congelados

Estes representam um conjunto imutável. Eles são criados pelo construtor embutido frozenset(). Como um frozenset é imutável e hasheável, ele pode ser usado novamente como um elemento de outro conjunto, ou como uma chave de dicionário.

3.2.7. Mapeamentos

Eles representam conjuntos finitos de objetos indexados por conjuntos de índices arbitrários. A notação subscrito a[k] seleciona o item indexado por k do mapeamento a; isso pode ser usado em expressões e como alvo de atribuições ou instruções del. A função embutida len() retorna o número de itens em um mapeamento.

Atualmente, há um único tipo de mapeamento intrínseco:

3.2.7.1. Dicionários

Eles representam conjuntos finitos de objetos indexados por valores quase arbitrários. Os únicos tipos de valores não aceitáveis como chaves são os valores que contêm listas ou dicionários ou outros tipos mutáveis que são comparados por valor em vez de por identidade de objeto, o motivo é que a implementação eficiente de dicionários requer que o valor de hash de uma chave permaneça constante. Os tipos numéricos usados para chaves obedecem às regras normais para comparação numérica: se dois números forem iguais (por exemplo, 1 e 1.0), eles podem ser usados alternadamente para indexar a mesma entrada do dicionário.

Dicionários preservam a ordem de inserção, o que significa que as chaves serão produzidas na mesma ordem em que foram adicionadas sequencialmente no dicionário. Substituir uma chave existente não altera a ordem, no entanto, remover uma chave e inseri-la novamente irá adicioná-la ao final em vez de manter seu lugar anterior.

Dictionaries are mutable; they can be created by the {} notation (see section Sintaxes de criação de dicionário).

Os módulos de extensão dbm.ndbm e dbm.gnu fornecem exemplos adicionais de tipos de mapeamento, assim como o módulo collections.

Alterado na versão 3.7: Dicionários não preservavam a ordem de inserção nas versões do Python anteriores à 3.6. No CPython 3.6, a ordem de inserção foi preservada, mas foi considerada um detalhe de implementação naquela época, em vez de uma garantia da linguagem.

3.2.8. Tipos chamáveis

Estes são os tipos aos quais a operação de chamada de função (veja a seção Chamadas) pode ser aplicada:

3.2.8.1. Funções definidas pelo usuário

Um objeto função definido pelo usuário será criado pela definição de função (veja a seção Definições de função). A mesma deverá ser invocada com uma lista de argumentos contendo o mesmo número de itens que a lista de parâmetros formais da função.

3.2.8.1.1. Atributos especiais de somente leitura

Atributo

Significado

function.__globals__

Uma referência ao dicionário que contém as variáveis globais da função – o espaço de nomes global do módulo no qual a função foi definida.

function.__closure__

None or a tuple of cells that contain bindings for the names specified in the co_freevars attribute of the function’s code object.

Um objeto de célula tem o atributo cell_contents. Isso pode ser usado para obter o valor da célula, bem como definir o valor.

3.2.8.1.2. Atributos especiais graváveis

A maioria desses atributos verifica o tipo do valor atribuído:

Atributo

Significado

function.__doc__

The function’s documentation string, or None if unavailable.

function.__name__

O nome da função. Veja também: atributos __name__.

function.__qualname__

O nome qualificado da função. Veja também: atributos __qualname__.

Adicionado na versão 3.3.

function.__module__

O nome do módulo em que a função foi definida ou None se indisponível.

function.__defaults__

Uma tuple contendo valores de parâmetro padrão para aqueles parâmetros que possuem padrões, ou None se nenhum parâmetro tiver um valor padrão.

function.__code__

O objeto código que representa o corpo da função compilada.

function.__dict__

O espaço de nomes que provvê atributos de função arbitrários. Veja também: atributos __dict__.

function.__annotations__

Um dicionário contendo anotações de parâmetros. As chaves do dicionário são os nomes dos parâmetros e 'return' para a anotação de retorno, se fornecida. Veja também: Boas práticas para anotações.

function.__kwdefaults__

Um dicionário contendo padrões apenas para parâmetros somente-nomeados.

function.__type_params__

Uma tuple contendo os parâmetros de tipo de uma função genérica.

Adicionado na versão 3.12.

Os objetos de função também dão suporte à obtenção e definição de atributos arbitrários, que podem ser usados, por exemplo, para anexar metadados a funções. A notação de ponto de atributo regular é usada para obter e definir tais atributos.

Detalhes da implementação do CPython: A implementação atual do CPython provê apenas atributos de função em funções definidas pelo usuário. Atributos de função em funções embutido podem ser suportados no futuro.

Informações adicionais sobre a definição de uma função podem ser obtidas de seu objeto código (acessível através do atributo __code__).

3.2.8.2. Métodos de instância

Um objeto método de instância combina uma classe, uma instância de classe e qualquer objeto chamável (normalmente uma função definida pelo usuário).

Atributos especiais de somente leitura:

method.__self__

Refere-se ao objeto instância da classe ao qual o método é vinculado

method.__func__

Refere-se ao objeto função original

method.__doc__

A documentação do método (igual a method.__func__.__doc__). Um string se a função original tivesse uma docstring, caso contrário None.

method.__name__

O nome do método (mesmo que method.__func__.__name__)

method.__module__

O nome do módulo em que o método foi definido ou None se indisponível.

Os métodos também implementam o acesso (mas não a configuração) dos atributos arbitrários da função no objeto função subjacente.

Objetos método definidos pelo usuário podem ser criados ao obter um atributo de uma classe (talvez através de uma instância dessa classe), se esse atributo for um objeto função definido pelo usuário ou um objeto classmethod .

Quando um objeto método de instância é criado recuperando um objeto função definido pelo usuário de uma classe por meio de uma de suas instâncias, seu atributo __self__ é a instância, e o objeto método é considerado vinculado. O atributo __func__ do novo método é o objeto da função original.

Quando um objeto método de instância é criado obtendo um objeto classmethod de uma classe ou instância, seu atributo __self__ é a própria classe, e seu atributo __func__ é o objeto função subjacente ao método de classe.

Quando um objeto método de instância é chamado, a função subjacente (__func__) é chamada, inserindo a instância de classe (__self__) na frente da lista de argumentos. Por exemplo, quando C é uma classe que contém uma definição para uma função f(), e x é uma instância de C, chamando x.f(1) é equivalente a chamar C.f(x, 1).

Quando um objeto método de instância é derivado de um objeto classmethod, a “instância de classe” armazenada em __self__ será, na verdade, a própria classe, de modo que chamar x.f(1) ou C.f(1) é equivalente a chamar f(C,1) sendo f a função subjacente.

É importante observar que funções definidas pelo usuário que são atributos de uma instância de classe não são convertidas em métodos vinculados; isso somente acontece quando a função é um atributo da classe.

3.2.8.3. Funções geradoras

Uma função ou método que usa a instrução yield (veja a seção A instrução yield) é chamada de função geradora. Tal função, quando chamada, sempre retorna um objeto iterator que pode ser usado para executar o corpo da função: chamar o método iterator.__next__() do iterador fará com que a função seja executada até que forneça um valor usando a instrução yield. Quando a função executa uma instrução return ou sai do fim, uma exceção StopIteration é levantada e o iterador terá alcançado o fim do conjunto de valores a serem retornados.

3.2.8.4. Funções de corrotina

Uma função ou um método que é definida(o) usando async def é chamado de função de corrotina. Tal função, quando chamada, retorna um objeto de corrotina. Ele pode conter expressões await, bem como instruções async with e async for. Veja também a seção Objetos corrotina.

3.2.8.5. Funções geradoras assíncronas

Uma função ou um método que é definida(o) usando async def e que usa a instrução yield é chamada de função geradora assíncrona. Tal função, quando chamada, retorna um objeto iterador assíncrono que pode ser usado em uma instrução async for para executar o corpo da função.

Chamar o método aiterator.__anext__ do iterador assíncrono retornará um aguardável que, quando aguardado, será executado até fornecer um valor usando a expressão yield. Quando a função executa uma instrução vazia return ou chega ao final, uma exceção StopAsyncIteration é levantada e o iterador assíncrono terá alcançado o final do conjunto de valores a serem produzidos.

3.2.8.6. Funções embutidas

Um objeto função embutida é um wrapper em torno de uma função C. Exemplos de funções embutidas são len() e math.sin() (math é um módulo embutido padrão). O número e o tipo dos argumentos são determinados pela função C. Atributos especiais de somente leitura:

__doc__ é a string de documentação da função, ou None se não estiver disponível. Veja function.__doc__.

__name__ é o nome da função. Veja function.__name__.

__self__ é definido para None (mas veja o próximo item).

__module__ é o nome do módulo no qual a função foi definida ou None se não estiver disponível. Veja function.__module__.

3.2.8.7. Métodos embutidos

Este é realmente um disfarce diferente de uma função embutida, desta vez contendo um objeto passado para a função C como um argumento extra implícito. Um exemplo de método embutido é alist.append(), presumindo que alist é um objeto de lista. Nesse caso, o atributo especial de somente leitura __self__ é definido como o objeto denotado por alist. (O atributo tem a mesma semântica de outros métodos de instância.)

3.2.8.8. Classes

Classes são chamáveis. Esses objetos normalmente agem como fábricas para novas instâncias de si mesmos, mas variações são possíveis para tipos de classe que substituem __new__(). Os argumentos da chamada são passados para __new__() e, no caso típico, para __init__() para inicializar a nova instância.

3.2.8.9. Instâncias de classe

Instâncias de classes arbitrárias podem ser tornados chamáveis definindo um método __call__() em sua classe.

3.2.9. Módulos

Módulos são uma unidade organizacional básica do código Python, e são criados pelo sistema de importação quando invocado pela instrução import, ou chamando funções como importlib.import_module() e a embutida __import__(). Um objeto módulo tem um espaço de nomes implementado por um objeto dicionário (este é o dicionário referenciado pelo atributo __globals__ das funções definidas no módulo). As referências de atributos são traduzidas para pesquisas neste dicionário, por exemplo, m.x é equivalente a m.__dict__["x"]. Um objeto módulo não contém o objeto código usado para inicializar o módulo (uma vez que não é necessário depois que a inicialização é concluída).

A atribuição de atributo atualiza o dicionário de espaço de nomes do módulo, por exemplo, m.x = 1 é equivalente a m.__dict__["x"] = 1.

3.2.9.1. Import-related attributes on module objects

Module objects have the following attributes that relate to the import system. When a module is created using the machinery associated with the import system, these attributes are filled in based on the module’s spec, before the loader executes and loads the module.

To create a module dynamically rather than using the import system, it’s recommended to use importlib.util.module_from_spec(), which will set the various import-controlled attributes to appropriate values. It’s also possible to use the types.ModuleType constructor to create modules directly, but this technique is more error-prone, as most attributes must be manually set on the module object after it has been created when using this approach.

Cuidado

With the exception of __name__, it is strongly recommended that you rely on __spec__ and its attributes instead of any of the other individual attributes listed in this subsection. Note that updating an attribute on __spec__ will not update the corresponding attribute on the module itself:

>>> import typing
>>> typing.__name__, typing.__spec__.name
('typing', 'typing')
>>> typing.__spec__.name = 'spelling'
>>> typing.__name__, typing.__spec__.name
('typing', 'spelling')
>>> typing.__name__ = 'keyboard_smashing'
>>> typing.__name__, typing.__spec__.name
('keyboard_smashing', 'spelling')

module.__name__

The name used to uniquely identify the module in the import system. For a directly executed module, this will be set to "__main__".

This attribute must be set to the fully qualified name of the module. It is expected to match the value of module.__spec__.name.

module.__spec__

A record of the module’s import-system-related state.

Set to the module spec that was used when importing the module. See Module specs for more details.

Adicionado na versão 3.4.

module.__package__

The package a module belongs to.

If the module is top-level (that is, not a part of any specific package) then the attribute should be set to '' (the empty string). Otherwise, it should be set to the name of the module’s package (which can be equal to module.__name__ if the module itself is a package). See PEP 366 [https://peps.python.org/pep-0366/] for further details.

This attribute is used instead of __name__ to calculate explicit relative imports for main modules. It defaults to None for modules created dynamically using the types.ModuleType constructor; use importlib.util.module_from_spec() instead to ensure the attribute is set to a str.

It is strongly recommended that you use module.__spec__.parent instead of module.__package__. __package__ is now only used as a fallback if __spec__.parent is not set, and this fallback path is deprecated.

Alterado na versão 3.4: This attribute now defaults to None for modules created dynamically using the types.ModuleType constructor. Previously the attribute was optional.

Alterado na versão 3.6: The value of __package__ is expected to be the same as __spec__.parent. __package__ is now only used as a fallback during import resolution if __spec__.parent is not defined.

Alterado na versão 3.10: ImportWarning is raised if an import resolution falls back to __package__ instead of __spec__.parent.

Alterado na versão 3.12: Raise DeprecationWarning instead of ImportWarning when falling back to __package__ during import resolution.

Deprecated since version 3.13, will be removed in version 3.15: __package__ will cease to be set or taken into consideration by the import system or standard library.

module.__loader__

The loader object that the import machinery used to load the module.

This attribute is mostly useful for introspection, but can be used for additional loader-specific functionality, for example getting data associated with a loader.

__loader__ defaults to None for modules created dynamically using the types.ModuleType constructor; use importlib.util.module_from_spec() instead to ensure the attribute is set to a loader object.

It is strongly recommended that you use module.__spec__.loader instead of module.__loader__.

Alterado na versão 3.4: This attribute now defaults to None for modules created dynamically using the types.ModuleType constructor. Previously the attribute was optional.

Deprecated since version 3.12, will be removed in version 3.14: Setting __loader__ on a module while failing to set __spec__.loader is deprecated. In Python 3.14, __loader__ will cease to be set or taken into consideration by the import system or the standard library.

module.__path__

A (possibly empty) sequence of strings enumerating the locations where the package’s submodules will be found. Non-package modules should not have a __path__ attribute. See __path__ attributes on modules for more details.

It is strongly recommended that you use module.__spec__.submodule_search_locations instead of module.__path__.

module.__file__

module.__cached__

__file__ and __cached__ are both optional attributes that may or may not be set. Both attributes should be a str when they are available.

__file__ indicates the pathname of the file from which the module was loaded (if loaded from a file), or the pathname of the shared library file for extension modules loaded dynamically from a shared library. It might be missing for certain types of modules, such as C modules that are statically linked into the interpreter, and the import system may opt to leave it unset if it has no semantic meaning (for example, a module loaded from a database).

If __file__ is set then the __cached__ attribute might also be set, which is the path to any compiled version of the code (for example, a byte-compiled file). The file does not need to exist to set this attribute; the path can simply point to where the compiled file would exist (see PEP 3147 [https://peps.python.org/pep-3147/]).

Note that __cached__ may be set even if __file__ is not set. However, that scenario is quite atypical. Ultimately, the loader is what makes use of the module spec provided by the finder (from which __file__ and __cached__ are derived). So if a loader can load from a cached module but otherwise does not load from a file, that atypical scenario may be appropriate.

It is strongly recommended that you use module.__spec__.cached instead of module.__cached__.

Deprecated since version 3.13, will be removed in version 3.15: Setting __cached__ on a module while failing to set __spec__.cached is deprecated. In Python 3.15, __cached__ will cease to be set or taken into consideration by the import system or standard library.

3.2.9.2. Other writable attributes on module objects

As well as the import-related attributes listed above, module objects also have the following writable attributes:

module.__doc__

The module’s documentation string, or None if unavailable. See also: __doc__ attributes.

module.__annotations__

Um dicionário contendo anotações de variável coletadas durante a execução do corpo do módulo. Para as melhores práticas sobre como trabalhar com __annotations__, por favor veja Boas práticas para anotações.

3.2.9.3. Module dictionaries

Module objects also have the following special read-only attribute:

module.__dict__

The module’s namespace as a dictionary object. Uniquely among the attributes listed here, __dict__ cannot be accessed as a global variable from within a module; it can only be accessed as an attribute on module objects.

Detalhes da implementação do CPython: Por causa da maneira como CPython limpa dicionários de módulos, o dicionário do módulo será limpo quando o módulo sair do escopo, mesmo se o dicionário ainda tiver referências ativas. Para evitar isso, copie o dicionário ou mantenha o módulo por perto enquanto usa seu dicionário diretamente.

3.2.10. Classes personalizadas

Tipos de classe personalizados são tipicamente criados por definições de classe (veja a seção Definições de classe). Uma classe possui um espaço de nomes implementado por um objeto dicionário. As referências de atributos de classe são traduzidas para pesquisas neste dicionário, por exemplo, C.x é traduzido para C.__dict__["x"] (embora haja uma série de ganchos que permitem outros meios de localizar atributos). Quando o nome do atributo não é encontrado lá, a pesquisa do atributo continua nas classes base. Essa pesquisa das classes base usa a ordem de resolução de métodos C3, que se comporta corretamente mesmo na presença de estruturas de herança em losango, onde há vários caminhos de herança que levam de volta a um ancestral comum. Detalhes adicionais sobre a ordem de resolução de métodos (MRO) C3 usado pelo Python podem ser encontrados em A Ordem de Resolução de Métodos do Python 2.3.

Quando uma referência de atributo de classe (para uma classe C, digamos) produziria um objeto método de classe, ele é transformado em um objeto método de instância cujo atributo __self__ é C. Quando produziria um objeto staticmethod, ele é transformado no objeto encapsulado pelo objeto método estático. Veja a seção Implementando descritores para outra maneira em que os atributos recuperados de uma classe podem diferir daqueles realmente contidos em seu __dict__.

As atribuições de atributos de classe atualizam o dicionário da classe, nunca o dicionário de uma classe base.

Um objeto classe pode ser chamado (veja acima) para produzir uma instância de classe (veja abaixo).

3.2.10.1. Special attributes

Atributo

Significado

type.__name__

The class’s name. See also: __name__ attributes.

type.__qualname__

The class’s qualified name. See also: __qualname__ attributes.

type.__module__

O nome do módulo no qual a classe foi definida.

type.__dict__

A mapping proxy providing a read-only view of the class’s namespace. See also: __dict__ attributes.

type.__bases__

A tuple containing the class’s bases. In most cases, for a class defined as class X(A, B, C), X.__bases__ will be exactly equal to (A, B, C).

type.__doc__

The class’s documentation string, or None if undefined. Not inherited by subclasses.

type.__annotations__

A dictionary containing variable annotations collected during class body execution. For best practices on working with __annotations__, please see Boas práticas para anotações.

Cuidado

Accessing the __annotations__ attribute of a class object directly may yield incorrect results in the presence of metaclasses. In addition, the attribute may not exist for some classes. Use inspect.get_annotations() to retrieve class annotations safely.

type.__type_params__

A tuple containing the type parameters of a generic class.

Adicionado na versão 3.12.

type.__static_attributes__

A tuple containing names of attributes of this class which are assigned through self.X from any function in its body.

Adicionado na versão 3.13.

type.__firstlineno__

The line number of the first line of the class definition, including decorators. Setting the __module__ attribute removes the __firstlineno__ item from the type’s dictionary.

Adicionado na versão 3.13.

type.__mro__

The tuple of classes that are considered when looking for base classes during method resolution.

3.2.10.2. Special methods

In addition to the special attributes described above, all Python classes also have the following two methods available:

type.mro()

This method can be overridden by a metaclass to customize the method resolution order for its instances. It is called at class instantiation, and its result is stored in __mro__.

type.__subclasses__()

Each class keeps a list of weak references to its immediate subclasses. This method returns a list of all those references still alive. The list is in definition order. Example:

>>> class A: pass
>>> class B(A): pass
>>> A.__subclasses__()
[<class 'B'>]

3.2.11. Instâncias de classe

Uma instância de classe é criada chamando um objeto classe (veja acima). Uma instância de classe tem um espaço de nomes implementado como um dicionário que é o primeiro lugar no qual as referências de atributos são pesquisadas. Quando um atributo não é encontrado lá, e a classe da instância possui um atributo com esse nome, a pesquisa continua com os atributos da classe. Se for encontrado um atributo de classe que seja um objeto função definido pelo usuário, ele é transformado em um objeto método de instância cujo atributo __self__ é a instância. Métodos estáticos e métodos de classe também são transformados; veja acima em “Classes”. Veja a seção Implementando descritores para outra maneira em que os atributos de uma classe recuperados através de suas instâncias podem diferir dos objetos realmente armazenados no __dict__ da classe. Se nenhum atributo de classe for encontrado, e a classe do objeto tiver um método __getattr__(), este é chamado para satisfazer a pesquisa.

As atribuições e exclusões de atributos atualizam o dicionário da instância, nunca o dicionário de uma classe. Se a classe tem um método __setattr__() ou __delattr__(), ele é chamado ao invés de atualizar o dicionário da instância diretamente.

As instâncias de classe podem fingir ser números, sequências ou mapeamentos se tiverem métodos com certos nomes especiais. Veja a seção Nomes de métodos especiais.

3.2.11.1. Special attributes

object.__class__

A classe à qual pertence uma instância de classe.

object.__dict__

A dictionary or other mapping object used to store an object’s (writable) attributes. Not all instances have a __dict__ attribute; see the section on __slots__ for more details.

3.2.12. Objetos de E/S (também conhecidos como objetos arquivo)

O objeto arquivo representa um arquivo aberto. Vários atalhos estão disponíveis para criar objetos arquivos: a função embutida open(), e também os.popen(), os.fdopen() e o método makefile() de objetos soquete (e talvez por outras funções ou métodos fornecidos por módulos de extensão).

Os objetos sys.stdin, sys.stdout e sys.stderr são inicializados para objetos arquivo que correspondem aos fluxos de entrada, saída e erro padrão do interpretador; eles são todos abertos em modo texto e, portanto, seguem a interface definida pela classe abstrata io.TextIOBase.

3.2.13. Tipos internos

Alguns tipos usados internamente pelo interpretador são expostos ao usuário. Suas definições podem mudar com versões futuras do interpretador, mas são mencionadas aqui para fins de integridade.

3.2.13.1. Objetos código

Objetos código representam código Python executável compilados em bytes ou bytecode. A diferença entre um objeto código e um objeto função é que o objeto função contém uma referência explícita aos globais da função (o módulo no qual foi definida), enquanto um objeto código não contém nenhum contexto; também os valores de argumento padrão são armazenados no objeto função, não no objeto código (porque eles representam os valores calculados em tempo de execução). Ao contrário dos objetos função, os objetos código são imutáveis e não contêm referências (direta ou indiretamente) a objetos mutáveis.

3.2.13.1.1. Atributos especiais de somente leitura

codeobject.co_name

O nome da função

codeobject.co_qualname

O nome completo da função

Adicionado na versão 3.11.

codeobject.co_argcount

O número total de parâmetros posicionais (incluindo parâmetros somente-posicionais e parâmetros com valores padrão) que a função possui

codeobject.co_posonlyargcount

O número de parâmetros somente-posicionais (incluindo argumentos com valores padrão) que a função possui

codeobject.co_kwonlyargcount

O número de parâmetros somente-nomeados (incluindo argumentos com valores padrão) que a função possui

codeobject.co_nlocals

O número de variáveis locais usadas pela função (incluindo parâmetros)

codeobject.co_varnames

Uma tuple contendo os nomes das variáveis ​​locais na função (começando com os nomes dos parâmetros)

codeobject.co_cellvars

A tuple containing the names of local variables that are referenced from at least one nested scope inside the function

codeobject.co_freevars

A tuple containing the names of free (closure) variables that a nested scope references in an outer scope. See also function.__closure__.

Note: references to global and builtin names are not included.

codeobject.co_code

Uma string representando a sequência de instruções bytecode na função

codeobject.co_consts

Um tuple contendo os literais usados ​​pelo bytecode na função

codeobject.co_names

Um tuple contendo os nomes usados ​​pelo bytecode na função

codeobject.co_filename

O nome do arquivo do qual o código foi compilado

codeobject.co_firstlineno

O número da linha da primeira linha da função

codeobject.co_lnotab

Uma string que codifica o mapeamento de bytecode compensa para números de linha. Para obter detalhes, consulte o código-fonte do interpretador.

Obsoleto desde a versão 3.12: Este atributo de objetos código está descontinuado e pode ser removido no Python 3.14.

codeobject.co_stacksize

O tamanho de pilha necessário do objeto código

codeobject.co_flags

Um número inteiro codificando uma série de sinalizadores para o interpretador.

Os seguintes bits sinalizadores são definidos para co_flags: o bit 0x04 é definido se a função usa a sintaxe *arguments para aceitar um número arbitrário de argumentos posicionais; o bit 0x08 é definido se a função usa a sintaxe **keywords para aceitar argumentos nomeados arbitrários; o bit 0x20 é definido se a função for um gerador. Veja Code Objects Bit Flags para detalhes na semântica de cada sinalizadores que podem estar presentes.

Declarações de recursos futuros (from __future__ import division) também usam bits em co_flags para indicar se um objeto código foi compilado com um recurso específico habilitado: o bit 0x2000 é definido se a função foi compilada com divisão futura habilitada; os bits 0x10 e 0x1000 foram usados em versões anteriores do Python.

Outros bits em co_flags são reservados para uso interno.

Se um objeto código representa uma função, o primeiro item em co_consts é a string de documentação da função, ou None se indefinido.

3.2.13.1.2. Métodos de objetos código

codeobject.co_positions()

Retorna um iterável das posições no código-fonte de cada instrução bytecode no objeto código.

O iterador retorna tuples contendo (start_line, end_line, start_column, end_column). A i-nésima tupla corresponde à posição do código-fonte que compilou para a i-nésima unidade de código. As informações da coluna são deslocamentos de bytes utf-8 indexados em 0 na linha de código fornecida.

A informação posicional pode estar ausente. Veja uma lista não-exaustiva de casos onde isso pode acontecer:

Executando o interpretador com no_debug_ranges -X.

Carregando um arquivo pyc compilado com no_debug_ranges -X.

Tuplas posicionais correspondendo a instruções artificiais.

Números de linha e coluna que não podem ser representados devido a limitações específicas de implementação.

Quando isso ocorre, alguns ou todos elementos da tupla podem ser None.

Adicionado na versão 3.11.

Nota

Esse recurso requer o armazenamento de posições de coluna no objeto código, o que pode resultar em um pequeno aumento no uso de memória do interpretador e no uso de disco para arquivos Python compilados. Para evitar armazenar as informações extras e/ou desativar a exibição das informações extras de rastreamento, use a opção de linha de comando no_debug_ranges -X ou a variável de ambiente PYTHONNODEBUGRANGES.

codeobject.co_lines()

Retorna um iterador que produz informações sobre intervalos sucessivos de bytecodes. Cada item gerado é uma tuple de (start, end, lineno):

start (um int) representa o deslocamento (inclusivo) do início do intervalo bytecode

end (um int) representa o deslocamento (exclusivo) do fim do intervalo bytecode

lineno é um int representando o número da linha do intervalo do bytecode, ou None se os bytecodes no intervalo fornecido não tiverem número de linha

Os itens gerados terão as seguintes propriedades:

O primeiro intervalo gerado terá um start de 0.

Os intervalos (start, end) serão não decrescentes e consecutivos. Ou seja, para qualquer par de tuples, o start do segundo será igual ao end do primeiro.

Nenhum intervalo será inverso: end >= start para todos os trios.

A última tuple gerada terá end igual ao tamanho do bytecode.

Intervalos de largura zero, onde start == end, são permitidos. Intervalos de largura zero são usados ​​para linhas que estão presentes no código-fonte, mas foram eliminadas pelo compilador de bytecode.

Adicionado na versão 3.10.

Ver também

PEP 626 [https://peps.python.org/pep-0626/] - Números de linha precisos para depuração e outras ferramentas.

A PEP que introduziu o método co_lines().

codeobject.replace(**kwargs)

Retorna uma cópia do objeto de código com novos valores para os campos especificados.

Objetos de código também são suportados pela função genérica copy.replace().

Adicionado na versão 3.8.

3.2.13.2. Objetos quadro

Objetos quadro representam quadros de execução. Eles podem ocorrer em objetos traceback e também são passados para funções de rastreamento registradas.

3.2.13.2.1. Atributos especiais de somente leitura

frame.f_back

Aponta para o quadro de pilha anterior (em direção ao chamador), ou None se este for o quadro de pilha mais abaixo.

frame.f_code

O objeto código sendo executado neste quadro. Acessar este atributo levanta um evento de auditoria object.__getattr__ com os argumentos obj e "f_code".

frame.f_locals

O mapeamento usado pelo quadro para procurar variáveis ​​locais. Se o quadro se referir a um escopo otimizado, isso pode retornar um objeto proxy write-through.

Alterado na versão 3.13: Retorna um proxy para escopos otimizados.

frame.f_globals

O dicionário usado pelo quadro para procurar variáveis ​​globais

frame.f_builtins

O dicionário usado pelo quadro para procurar nomes embutidos (intrínsecos)

frame.f_lasti

A “instrução precisa” do objeto quadro (este é um índice na string bytecode do objeto código)

3.2.13.2.2. Atributos especiais graváveis

frame.f_trace

Se não for None, esta é uma função chamada para vários eventos durante a execução do código (isso é usado por depuradores). Normalmente, um evento é disparado para cada nova linha de origem (veja f_trace_lines).

frame.f_trace_lines

Defina este atributo como False para desabilitar o acionamento de um evento de rastreamento para cada linha de origem.

frame.f_trace_opcodes

Defina este atributo para True para permitir que eventos por opcode sejam solicitados. Observe que isso pode levar a um comportamento indefinido do interpretador se as exceções levantadas pela função de rastreamento escaparem para a função que está sendo rastreada.

frame.f_lineno

O número da linha atual do quadro – escrever para isso de dentro de uma função de rastreamento faz saltar para a linha dada (apenas para o quadro mais abaixo). Um depurador pode implementar um comando Jump (também conhecido como Set Next Statement) escrevendo para esse atributo.

3.2.13.2.3. Métodos de objetos quadro

Objetos quadro têm suporte a um método:

frame.clear()

Este método limpa todas as referências a variáveis locais mantidas pelo quadro. Além disso, se o quadro pertencer a um gerador, o gerador é finalizado. Isso ajuda a quebrar os ciclos de referência que envolvem objetos quadro (por exemplo, ao capturar uma exceção e armazenar seu traceback para uso posterior).

RuntimeError é levantada se o quadro estiver em execução ou suspenso.

Adicionado na versão 3.4.

Alterado na versão 3.13: Tentar limpar um quadro suspenso levanta RuntimeError (como sempre foi o caso para quadros em execução).

3.2.13.3. Objetos traceback

Objetos traceback representam o stack trace (situação da pilha de execução) de uma exceção. Um objeto traceback é criado implicitamente quando ocorre uma exceção e também pode ser criado explicitamente chamando types.TracebackType.

Alterado na versão 3.7: Objetos traceback agora podem ser instanciados explicitamente a partir de código Python.

Para tracebacks criados implicitamente, quando a busca por um manipulador de exceção desenrola a pilha de execução, em cada nível desenrolado um objeto traceback é inserido na frente do traceback atual. Quando um manipulador de exceção é inserido, o stack trace é disponibilizado para o programa. (Veja a seção A instrução try.) É acessível como o terceiro item da tupla retornada por sys.exc_info(), e como o atributo __traceback__ da exceção capturada.

Quando o programa não contém um manipulador adequado, o stack trace é escrito (formatado de maneira adequada) no fluxo de erro padrão; se o interpretador for interativo, ele também é disponibilizado ao usuário como sys.last_traceback.

Para tracebacks criados explicitamente, cabe ao criador do traceback determinar como os atributos tb_next devem ser vinculados para formar um stack trace completo.

Atributos especiais de somente leitura:

traceback.tb_frame

Aponta para o quadro de execução do nível atual.

Acessar este atributo levanta um evento de auditoria object.__getattr__ com os argumentos obj e "tb_frame".

traceback.tb_lineno

Fornece o número da linha onde ocorreu a exceção

traceback.tb_lasti

Indica a “instrução precisa”.

O número da linha e a última instrução no traceback podem diferir do número da linha do seu objeto quadro se a exceção ocorreu em uma instrução try sem cláusula except correspondente ou com uma cláusula finally.

traceback.tb_next

O atributo especial de escrita tb_next é o próximo nível no stack trace (em direção ao quadro onde a exceção ocorreu), ou None se não houver próximo nível.

Alterado na versão 3.7: Este atributo agora é gravável

3.2.13.4. Objetos slice

Objetos slice são usados para representar fatias para métodos __getitem__(). Eles também são criados pela função embutida slice().

Atributos especiais de somente leitura: start é o limite inferior; stop é o limite superior; step é o valor da diferença entre elementos subjacentes; cada um desses atributos é None se omitido. Esses atributos podem ter qualquer tipo.

Objetos slice têm suporte a um método:

slice.indices(self, length)

Este método recebe um único argumento inteiro length e calcula informações sobre a fatia que o objeto slice descreveria se aplicado a uma sequência de itens de length. Ele retorna uma tupla de três inteiros; respectivamente, estes são os índices start e stop e o step ou comprimento de avanços da fatia. Índices ausentes ou fora dos limites são tratados de maneira consistente com fatias regulares.

3.2.13.5. Objetos método estático

Objetos método estático fornecem uma forma de transformar objetos função em objetos métodos descritos acima. Um objeto método estático é um invólucro em torno de qualquer outro objeto, comumente um objeto método definido pelo usuário. Quando um objeto método estático é recuperado de uma classe ou de uma instância de classe, o objeto retornado é o objeto encapsulado, do qual não está sujeito a nenhuma transformação adicional. Objetos método estático também são chamáveis. Objetos método estático são criados pelo construtor embutido staticmethod().

3.2.13.6. Objetos método de classe

Um objeto método de classe, como um objeto método estático, é um invólucro em torno de outro objeto que altera a maneira como esse objeto é recuperado de classes e instâncias de classe. O comportamento dos objetos método de classe após tal recuperação é descrito acima, sob “métodos de instância”. Objetos método de classe são criados pelo construtor embutido classmethod().

3.3. Nomes de métodos especiais

Uma classe pode implementar certas operações que são chamadas por sintaxe especial (como operações aritméticas ou indexação e fatiamento), definindo métodos com nomes especiais. Esta é a abordagem do Python para sobrecarga de operador, permitindo que as classes definam seu próprio comportamento em relação aos operadores da linguagem. Por exemplo, se uma classe define um método chamado __getitem__(), e x é uma instância desta classe, então x[i] é aproximadamente equivalente a type(x).__getitem__(x, i). Exceto onde mencionado, as tentativas de executar uma operação levantam uma exceção quando nenhum método apropriado é definido (tipicamente AttributeError ou TypeError).

Definir um método especial para None indica que a operação correspondente não está disponível. Por exemplo, se uma classe define __iter__() para None, a classe não é iterável, então chamar iter() em suas instâncias irá levantar um TypeError (sem retroceder para __getitem__()). [2]

Ao implementar uma classe que emula qualquer tipo embutido, é importante que a emulação seja implementada apenas na medida em que faça sentido para o objeto que está sendo modelado. Por exemplo, algumas sequências podem funcionar bem com a recuperação de elementos individuais, mas extrair uma fatia pode não fazer sentido. (Um exemplo disso é a interface NodeList no Document Object Model do W3C.)

3.3.1. Personalização básica

object.__new__(cls[, ...])

Chamado para criar uma nova instância da classe cls. __new__() é um método estático (é um caso especial, então você não precisa declará-lo como tal) que recebe a classe da qual uma instância foi solicitada como seu primeiro argumento. Os argumentos restantes são aqueles passados para a expressão do construtor do objeto (a chamada para a classe). O valor de retorno de __new__() deve ser a nova instância do objeto (geralmente uma instância de cls).

Implementações típicas criam uma nova instância da classe invocando o método __new__() da superclasse usando super().__new__(cls[, ...]) com os argumentos apropriados e, em seguida, modificando a instância recém-criada conforme necessário antes de retorná-la.

Se __new__() é chamado durante a construção do objeto e retorna uma instância de cls, então o método __init__() da nova instância será chamado como __init__(self[, ...]), onde self é a nova instância e os argumentos restantes são os mesmos que foram passados para o construtor do objeto.

Se __new__() não retornar uma instância de cls, então o método __init__() da nova instância não será invocado.

__new__() destina-se principalmente a permitir que subclasses de tipos imutáveis (como int, str ou tupla) personalizem a criação de instâncias. Também é comumente substituído em metaclasses personalizadas para personalizar a criação de classes.

object.__init__(self[, ...])

Chamado após a instância ter sido criada (por __new__()), mas antes de ser retornada ao chamador. Os argumentos são aqueles passados para a expressão do construtor da classe. Se uma classe base tem um método __init__(), o método __init__() da classe derivada, se houver, deve chamá-lo explicitamente para garantir a inicialização apropriada da parte da classe base da instância; por exemplo: super().__init__([args...]).

Porque __new__() e __init__() trabalham juntos na construção de objetos (__new__() para criá-lo e __init__() para personalizá-lo), nenhum valor diferente de None pode ser retornado por __init__(); fazer isso fará com que uma TypeError seja levantada em tempo de execução.

object.__del__(self)

Chamado quando a instância está prestes a ser destruída. Também é chamada de finalizador ou (incorretamente) de destruidor. Se uma classe base tem um método __del__(), o método __del__() da classe derivada, se houver, deve chamá-lo explicitamente para garantir a exclusão adequada da parte da classe base da instância.

É possível (embora não recomendado!) para o método __del__() adiar a destruição da instância criando uma nova referência a ela. Isso é chamado de ressurreição de objeto. Depende se a implementação de __del__() é chamado uma segunda vez quando um objeto ressuscitado está prestes a ser destruído; a implementação atual do CPython chama-o apenas uma vez.

Não há garantia de que os métodos __del__() sejam chamados para objetos que ainda existem quando o interpretador sai. weakref.finalize fornece uma maneira direta de registrar uma função de limpeza a ser chamada quando um objeto é coletado como lixo.

Nota

del x não chama diretamente x.__del__() – o primeiro diminui a contagem de referências para x em um, e o segundo só é chamado quando a contagem de referências de x atinge zero.

Detalhes da implementação do CPython: É possível que um ciclo de referência impeça que a contagem de referência de um objeto chegue a zero. Neste caso, mais tarde, o ciclo será detectado e deletado pelo coletor de lixo cíclico. Uma causa comum de referências cíclicas é quando uma exceção foi capturada em uma variável local. O locals do quadro então referencia a exceção, que referencia seu próprio traceback, que referencia o locals de todos os quadros capturados no traceback.

Ver também

Documentação do módulo gc.

Aviso

Devido às circunstâncias precárias sob as quais os métodos __del__() são invocados, as exceções que ocorrem durante sua execução são ignoradas e um aviso é impresso em sys.stderr em seu lugar. Em particular:

__del__() pode ser chamado quando um código arbitrário está sendo executado, incluindo de qualquer thread arbitrária. Se __del__() precisa bloquear ou invocar qualquer outro recurso de bloqueio, pode ocorrer um impasse, pois o recurso já pode ter sido levado pelo código que é interrompido para executar __del__().

__del__() pode ser executado durante o encerramento do interpretador. Como consequência, as variáveis globais que ele precisa acessar (incluindo outros módulos) podem já ter sido excluídas ou definidas como None. Python garante que os globais cujo nome comece com um único sublinhado sejam excluídos de seu módulo antes que outros globais sejam excluídos; se nenhuma outra referência a tais globais existir, isso pode ajudar a garantir que os módulos importados ainda estejam disponíveis no momento em que o método __del__() for chamado.

object.__repr__(self)

Chamado pela função embutida repr() para calcular a representação da string “oficial” de um objeto. Se possível, isso deve parecer uma expressão Python válida que pode ser usada para recriar um objeto com o mesmo valor (dado um ambiente apropriado). Se isso não for possível, uma string no formato <...alguma descrição útil...> deve ser retornada. O valor de retorno deve ser um objeto string. Se uma classe define __repr__(), mas não __str__(), então __repr__() também é usado quando uma representação de string “informal” de instâncias daquela classe é necessária.

Isso é normalmente usado para depuração, portanto, é importante que a representação seja rica em informações e inequívoca.

object.__str__(self)

Chamado por str(object) e as funções embutidas format() e print() para calcular a representação da string “informal” ou agradável para exibição de um objeto. O valor de retorno deve ser um objeto string.

Este método difere de object.__repr__() por não haver expectativa de que __str__() retorne uma expressão Python válida: uma representação mais conveniente ou concisa pode ser usada.

A implementação padrão definida pelo tipo embutido object chama object.__repr__().

object.__bytes__(self)

Chamado por bytes para calcular uma representação de string de bytes de um objeto. Isso deve retornar um objeto bytes.

object.__format__(self, format_spec)

Chamado pela função embutida format() e, por extensão, avaliação de literais de string formatadas e o método str.format(), para produzir uma representação de string “formatada” de um objeto. O argumento format_spec é uma string que contém uma descrição das opções de formatação desejadas. A interpretação do argumento format_spec depende do tipo que implementa __format__(), entretanto a maioria das classes delegará a formatação a um dos tipos embutidos ou usará uma sintaxe de opção de formatação semelhante.

Consulte Minilinguagem de especificação de formato para uma descrição da sintaxe de formatação padrão.

O valor de retorno deve ser um objeto string.

Alterado na versão 3.4: O método __format__ do próprio object levanta uma TypeError se passada qualquer string não vazia.

Alterado na versão 3.7: object.__format__(x, '') é agora equivalente a str(x) em vez de format(str(x), '').

object.__lt__(self, other)

object.__le__(self, other)

object.__eq__(self, other)

object.__ne__(self, other)

object.__gt__(self, other)

object.__ge__(self, other)

Esses são os chamados métodos de “comparação rica”. A correspondência entre os símbolos do operador e os nomes dos métodos é a seguinte: x<y chama x.__lt__(y), x<=y chama x.__le__(y), x==y chama x.__eq__(y), x!=y chama x.__ne__(y), x>y chama x.__gt__(y) e x>=y chama x.__ge__(y).

Um método de comparação rica pode retornar o singleton NotImplemented se não implementar a operação para um determinado par de argumentos. Por convenção, False e True são retornados para uma comparação bem-sucedida. No entanto, esses métodos podem retornar qualquer valor, portanto, se o operador de comparação for usado em um contexto booleano (por exemplo, na condição de uma instrução if), Python irá chamar bool() no valor para determinar se o resultado for verdadeiro ou falso.

Por padrão, object implementa __eq__() usando is, retornando NotImplemented no caso de uma comparação falsa: True if x is y else NotImplemented. Para __ne__(), por padrão ele delega para __eq__() e inverte o resultado a menos que seja NotImplemented. Não há outras relações implícitas entre os operadores de comparação ou implementações padrão; por exemplo, o valor verdadeiro de (x<y or x==y) não implica x<=y. Para gerar operações de ordenação automaticamente a partir de uma única operação raiz, consulte functools.total_ordering().

Veja o parágrafo sobre __hash__() para algumas notas importantes sobre a criação de objetos hasheáveis que implementam operações de comparação personalizadas e são utilizáveis como chaves de dicionário.

Não há versões de argumentos trocados desses métodos (a serem usados quando o argumento esquerdo não tem suporte à operação, mas o argumento direito sim); em vez disso, __lt__() e __gt__() são o reflexo um do outro, __le__() e __ge__() são o reflexo um do outro, e __eq__() e __ne__() são seu próprio reflexo. Se os operandos são de tipos diferentes e o tipo do operando direito é uma subclasse direta ou indireta do tipo do operando esquerdo, o método refletido do operando direito tem prioridade, caso contrário, o método do operando esquerdo tem prioridade. Subclasse virtual não é considerada.

Quando nenhum método apropriado retorna qualquer valor diferente de NotImplemented, os operadores == e != retornarão para is e is not, respectivamente.

object.__hash__(self)

Chamado pela função embutida hash() e para operações em membros de coleções com hash incluindo set, frozenset e dict. O método __hash__() deve retornar um inteiro. A única propriedade necessária é que os objetos que são comparados iguais tenham o mesmo valor de hash; é aconselhável misturar os valores hash dos componentes do objeto que também desempenham um papel na comparação dos objetos, empacotando-os em uma tupla e fazendo o hash da tupla. Exemplo:

def __hash__(self):
    return hash((self.name, self.nick, self.color))

Nota

hash() trunca o valor retornado do método __hash__() personalizado de um objeto para o tamanho de um Py_ssize_t. Isso é normalmente 8 bytes em compilações de 64 bits e 4 bytes em compilações de 32 bits. Se o __hash__() de um objeto deve interoperar em compilações de tamanhos de bits diferentes, certifique-se de verificar a largura em todas as compilações com suporte. Uma maneira fácil de fazer isso é com python -c "import sys; print(sys.hash_info.width)".

Se uma classe não define um método __eq__(), ela também não deve definir uma operação __hash__(); se define __eq__() mas não __hash__(), suas instâncias não serão utilizáveis como itens em coleções hasheáveis. Se uma classe define objetos mutáveis e implementa um método __eq__(), ela não deve implementar __hash__(), uma vez que a implementação de coleções hasheáveis requer que o valor hash de uma chave seja imutável (se o valor hash do objeto mudar, estará no balde de hash errado).

As classes definidas pelo usuário têm os métodos __eq__() e __hash__() por padrão; com eles, todos os objetos se comparam desiguais (exceto com eles mesmos) e x.__hash__() retorna um valor apropriado tal que x == y implica que x is y e hash(x) == hash(y).

Uma classe que sobrescreve __eq__() e não define __hash__() terá seu __hash__() implicitamente definido como None. Quando o método __hash__() de uma classe é None, as instâncias da classe levantam uma TypeError apropriada quando um programa tenta recuperar seu valor hash, e também será identificado corretamente como não-hasheável ao verificar isinstance(obj, collections.abc.Hashable).

Se uma classe que substitui __eq__() precisa manter a implementação de __hash__() de uma classe base, o interpretador deve ser informado disso explicitamente pela configuração __hash__ = <ClasseBase>.__hash__.

Se uma classe que não substitui __eq__() deseja suprimir o suporte a hash, deve incluir __hash__ = None na definição de classe. Uma classe que define seu próprio __hash__() que levanta explicitamente uma TypeError seria incorretamente identificada como hasheável por uma chamada isinstance(obj, collections.abc.Hashable).

Nota

Por padrão, os valores __hash__() dos objetos str e bytes são “salgados” com um valor aleatório imprevisível. Embora permaneçam constantes em um processo individual do Python, eles não são previsíveis entre invocações repetidas do Python.

Isso se destina a fornecer proteção contra uma negação de serviço causada por entradas cuidadosamente escolhidas que exploram o pior caso de desempenho de uma inserção de dicionário, complexidade O(n²). Consulte http://ocert.org/advisories/ocert-2011-003.html para obter detalhes.

Alterar os valores de hash afeta a ordem de iteração dos conjuntos. Python nunca deu garantias sobre essa ordem (e normalmente varia entre compilações de 32 e 64 bits).

Consulte também PYTHONHASHSEED.

Alterado na versão 3.3: Aleatorização de hash está habilitada por padrão.

object.__bool__(self)

Chamado para implementar o teste de valor verdade e a operação embutida bool(); deve retornar False ou True. Quando este método não é definido, __len__() é chamado, se estiver definido, e o objeto é considerado verdadeiro se seu resultado for diferente de zero. Se uma classe não define __len__() nem __bool__(), todas as suas instâncias são consideradas verdadeiras.

3.3.2. Personalizando o acesso aos atributos

Os seguintes métodos podem ser definidos para personalizar o significado do acesso aos atributos (uso, atribuição ou exclusão de x.name) para instâncias de classe.

object.__getattr__(self, name)

Chamado quando o acesso padrão ao atributo falha com um AttributeError (ou __getattribute__() levanta uma AttributeError porque name não é um atributo de instância ou um atributo na árvore de classes para self; ou __get__() de uma propriedade name levanta AttributeError). Este método deve retornar o valor do atributo (calculado) ou levantar uma exceção AttributeError.

Note that if the attribute is found through the normal mechanism, __getattr__() is not called. (This is an intentional asymmetry between __getattr__() and __setattr__().) This is done both for efficiency reasons and because otherwise __getattr__() would have no way to access other attributes of the instance. Note that at least for instance variables, you can take total control by not inserting any values in the instance attribute dictionary (but instead inserting them in another object). See the __getattribute__() method below for a way to actually get total control over attribute access.

object.__getattribute__(self, name)

Chamado incondicionalmente para implementar acessos a atributo para instâncias da classe. Se a classe também define __getattr__(), o último não será chamado a menos que __getattribute__() o chame explicitamente ou levante um AttributeError. Este método deve retornar o valor do atributo (calculado) ou levantar uma exceção AttributeError. Para evitar recursão infinita neste método, sua implementação deve sempre chamar o método da classe base com o mesmo nome para acessar quaisquer atributos de que necessita, por exemplo, object.__getattribute__(self, name).

Nota

Este método ainda pode ser ignorado ao procurar métodos especiais como resultado de invocação implícita por meio da sintaxe da linguagem ou built-in functions. Consulte Pesquisa de método especial.

Para acessos a certos atributos sensíveis, levanta um evento de auditoria object.__getattr__ com os argumentos obj e name.

object.__setattr__(self, name, value)

Chamado quando se tenta efetuar uma atribuição de atributos. Esse método é chamado em vez do mecanismo normal (ou seja, armazena o valor no dicionário da instância). name é o nome do atributo, value é o valor a ser atribuído a ele.

Se __setattr__() deseja atribuir a um atributo de instância, ele deve chamar o método da classe base com o mesmo nome, por exemplo, object.__setattr__(self, name, value).

Para atribuições de certos atributos sensíveis, levanta um evento de auditoria object.__setattr__ com os argumentos obj, name e value.

object.__delattr__(self, name)

Como __setattr__(), mas para exclusão de atributo em vez de atribuição. Este método só deve ser implementado se del obj.name for significativo para o objeto.

Para exclusões a certos atributos sensíveis, levanta um evento de auditoria object.__delattr__ com os argumentos obj e name.

object.__dir__(self)

Called when dir() is called on the object. An iterable must be returned. dir() converts the returned iterable to a list and sorts it.

3.3.2.1. Personalizando acesso a atributos de módulos

Os nomes especiais __getattr__ e __dir__ também podem ser usados para personalizar o acesso aos atributos dos módulos. A função __getattr__ no nível do módulo deve aceitar um argumento que é o nome de um atributo e retornar o valor calculado ou levantar uma exceção AttributeError. Se um atributo não for encontrado em um objeto de módulo por meio da pesquisa normal, por exemplo object.__getattribute__(), então __getattr__ é pesquisado no módulo __dict__ antes de levantar AttributeError. Se encontrado, ele é chamado com o nome do atributo e o resultado é retornado.

The __dir__ function should accept no arguments, and return an iterable of strings that represents the names accessible on module. If present, this function overrides the standard dir() search on a module.

Para uma personalização mais refinada do comportamento do módulo (definição de atributos, propriedades etc.), pode-se definir o atributo __class__ de um objeto de módulo para uma subclasse de types.ModuleType. Por exemplo:

import sys
from types import ModuleType

class VerboseModule(ModuleType):
    def __repr__(self):
        return f'Verbose {self.__name__}'

    def __setattr__(self, attr, value):
        print(f'Setting {attr}...')
        super().__setattr__(attr, value)

sys.modules[__name__].__class__ = VerboseModule

Nota

Definir __getattr__ no módulo e configurar o __class__ do módulo só afeta as pesquisas feitas usando a sintaxe de acesso ao atributo – acessar diretamente os globais do módulo (seja por código dentro do módulo, ou por meio de uma referência ao dicionário global do módulo) não tem efeito.

Alterado na versão 3.5: O atributo de módulo __class__ pode agora ser escrito.

Adicionado na versão 3.7: Atributos de módulo __getattr__ e __dir__.

Ver também

PEP 562 [https://peps.python.org/pep-0562/] - __getattr__ e __dir__ de módulo

Descreve as funções __getattr__ e __dir__ nos módulos.

3.3.2.2. Implementando descritores

Os métodos a seguir se aplicam apenas quando uma instância da classe que contém o método (uma classe chamada descritora) aparece em uma classe proprietária owner (o descritor deve estar no dicionário de classe do proprietário ou no dicionário de classe para um dos seus pais). Nos exemplos abaixo, “o atributo” refere-se ao atributo cujo nome é a chave da propriedade no __dict__ da classe proprietária.

object.__get__(self, instance, owner=None)

Chamado para obter o atributo da classe proprietária (acesso ao atributo da classe) ou de uma instância dessa classe (acesso ao atributo da instância). O argumento opcional owner é a classe proprietária, enquanto instance é a instância pela qual o atributo foi acessado, ou None quando o atributo é acessado por meio de owner.

Este método deve retornar o valor do atributo calculado ou levantar uma exceção AttributeError.

PEP 252 [https://peps.python.org/pep-0252/] especifica que __get__() é um chamável com um ou dois argumentos. Os próprios descritores embutidos do Python implementam esta especificação; no entanto, é provável que algumas ferramentas de terceiros tenham descritores que requerem ambos os argumentos. A implementação de __getattribute__() do próprio Python sempre passa em ambos os argumentos sejam eles requeridos ou não.

object.__set__(self, instance, value)

Chamado para definir o atributo em uma instância instance da classe proprietária para um novo valor, value.

Observe que adicionar __set__() ou __delete__() altera o tipo de descritor para um “descritor de dados”. Consulte Invocando descritores para mais detalhes.

object.__delete__(self, instance)

Chamado para excluir o atributo em uma instância instance da classe proprietária.

Instâncias de descritores também podem ter o atributo __objclass__ presente:

object.__objclass__

O atributo __objclass__ é interpretado pelo módulo inspect como sendo a classe onde este objeto foi definido (configurar isso apropriadamente pode ajudar na introspecção em tempo de execução dos atributos dinâmicos da classe). Para chamáveis, pode indicar que uma instância do tipo fornecido (ou uma subclasse) é esperada ou necessária como o primeiro argumento posicional (por exemplo, CPython define este atributo para métodos não acoplados que são implementados em C).

3.3.2.3. Invocando descritores

Em geral, um descritor é um atributo de objeto com “comportamento de ligação”, cujo acesso ao atributo foi substituído por métodos no protocolo do descritor: __get__(), __set__() e __delete__(). Se qualquer um desses métodos for definido para um objeto, é considerado um descritor.

O comportamento padrão para acesso ao atributo é obter, definir ou excluir o atributo do dicionário de um objeto. Por exemplo, a.x tem uma cadeia de pesquisa começando com a.__dict__['x'], depois type(a).__dict__['x'], e continunando pelas classes bases de type(a) excluindo metaclasses.

No entanto, se o valor pesquisado for um objeto que define um dos métodos do descritor, Python pode substituir o comportamento padrão e invocar o método do descritor. Onde isso ocorre na cadeia de precedência depende de quais métodos descritores foram definidos e como eles foram chamados.

O ponto de partida para a invocação do descritor é uma ligação, a.x. Como os argumentos são montados depende de a:

Chamada direta

A chamada mais simples e menos comum é quando o código do usuário invoca diretamente um método descritor: x.__get__(a).

Ligação de instâncias

Se estiver ligando a uma instância de objeto, a.x é transformado na chamada: type(a).__dict__['x'].__get__(a, type(a)).

Ligação de classes

Se estiver ligando a uma classe, A.x é transformado na chamada: A.__dict__['x'].__get__(None, A).

Ligação de super

Uma pesquisa pontilhada, ou dotted lookup, como super(A, a).x procura a.__class__.__mro__ por uma classe base B seguindo A e então retorna B.__dict__['x'].__get__(a, A). Se não for um descritor, x é retornado inalterado.

Para ligações de instâncias, a precedência de invocação do descritor depende de quais métodos do descritor são definidos. Um descritor pode definir qualquer combinação de __get__(), __set__() e __delete__(). Se ele não definir __get__(), então acessar o atributo retornará o próprio objeto descritor, a menos que haja um valor no dicionário de instância do objeto. Se o descritor define __set__() e/ou __delete__(), é um descritor de dados; se não definir nenhum, é um descritor sem dados. Normalmente, os descritores de dados definem __get__() e __set__(), enquanto os descritores sem dados têm apenas o método __get__(). Descritores de dados com __get__() e __set__() (e/ou __delete__()) definidos sempre substituem uma redefinição em um dicionário de instância. Em contraste, descritores sem dados podem ser substituídos por instâncias.

Os métodos Python (incluindo aqueles decorados com @staticmethod and @classmethod) são implementados como descritores sem dados. Assim, as instâncias podem redefinir e substituir métodos. Isso permite que instâncias individuais adquiram comportamentos que diferem de outras instâncias da mesma classe.

A função property() é implementada como um descritor de dados. Da mesma forma, as instâncias não podem substituir o comportamento de uma propriedade.

3.3.2.4. __slots__

__slots__ permite-nos declarar explicitamente membros de dados (como propriedades) e negar a criação de __dict__ e __weakref__ (a menos que explicitamente declarado em __slots__ ou disponível em uma classe base.)

O espaço economizado com o uso de __dict__ pode ser significativo. A velocidade de pesquisa de atributos também pode ser significativamente melhorada.

object.__slots__

Esta variável de classe pode ser atribuída a uma string, iterável ou sequência de strings com nomes de variáveis usados por instâncias. __slots__ reserva espaço para as variáveis declaradas e evita a criação automática de __dict__ e __weakref__ para cada instância.

Observações ao uso de __slots__:

Ao herdar de uma classe sem __slots__, os atributos __dict__ e __weakref__ das instâncias sempre estarão acessíveis.

Sem uma variável __dict__, as instâncias não podem ser atribuídas a novas variáveis não listadas na definição __slots__. As tentativas de atribuir a um nome de variável não listado levantam AttributeError. Se a atribuição dinâmica de novas variáveis for desejada, então adicione '__dict__' à sequência de strings na declaração de __slots__.

Sem uma variável __weakref__ para cada instância, as classes que definem __slots__ não suportam referências fracas para suas instâncias. Se for necessário um suporte de referência fraca, adicione '__weakref__' à sequência de strings na declaração __slots__.

__slots__ são implementados no nível de classe criando descritores para cada nome de variável. Como resultado, os atributos de classe não podem ser usados para definir valores padrão para variáveis de instância definidas por __slots__; caso contrário, o atributo de classe substituiria a atribuição do descritor.

The action of a __slots__ declaration is not limited to the class where it is defined. __slots__ declared in parents are available in child classes. However, instances of a child subclass will get a __dict__ and __weakref__ unless the subclass also defines __slots__ (which should only contain names of any additional slots).

Se uma classe define um slot também definido em uma classe base, a variável de instância definida pelo slot da classe base fica inacessível (exceto por recuperar seu descritor diretamente da classe base). Isso torna o significado do programa indefinido. No futuro, uma verificação pode ser adicionada para evitar isso.

TypeError será levantada se __slots__ não vazios forem definidos para uma classe derivada de um tipo embutido "variable-length" como int, bytes e tuple.

Qualquer iterável não string pode ser atribuído a __slots__.

Se um dicionário for usado para atribuir __slots__, as chaves do dicionário serão usadas como os nomes dos slots. Os valores do dicionário podem ser usados para fornecer strings de documentação (docstrings) por atributo que serão reconhecidos por inspect.getdoc() e exibidos na saída de help().

__class__ assignment works only if both classes have the same __slots__.

A herança múltipla com várias classes bases com slots pode ser usada, mas apenas uma classe base tem permissão para ter atributos criados por slots (as outras classes bases devem ter layouts de slots vazios) – violações levantam TypeError.

Se um iterador for usado para __slots__, um descritor é criado para cada um dos valores do iterador. No entanto, o atributo __slots__ será um iterador vazio.

3.3.3. Personalizando a criação de classe

Sempre que uma classe herda de outra classe, __init_subclass__() é chamado na classe base. Dessa forma, é possível escrever classes que alteram o comportamento das subclasses. Isso está intimamente relacionado aos decoradores de classe, mas onde decoradores de classe afetam apenas a classe específica à qual são aplicados, __init_subclass__ aplica-se apenas a futuras subclasses da classe que define o método.

classmethod object.__init_subclass__(cls)

Este método é chamado sempre que a classe que contém é uma subclasse. cls é então a nova subclasse. Se definido como um método de instância normal, esse método é convertido implicitamente em um método de classe.

Keyword arguments which are given to a new class are passed to the parent class’s __init_subclass__. For compatibility with other classes using __init_subclass__, one should take out the needed keyword arguments and pass the others over to the base class, as in:

class Philosopher:
    def __init_subclass__(cls, /, default_name, **kwargs):
        super().__init_subclass__(**kwargs)
        cls.default_name = default_name

class AustralianPhilosopher(Philosopher, default_name="Bruce"):
    pass

A implementação padrão de object.__init_subclass__ não faz nada, mas levanta um erro se for chamada com quaisquer argumentos.

Nota

A dica da metaclasse metaclass é consumida pelo resto da maquinaria de tipo, e nunca é passada para implementações __init_subclass__. A metaclasse real (em vez da dica explícita) pode ser acessada como type(cls).

Adicionado na versão 3.6.

Quando uma classe é criada, type.__new__() verifica as variáveis de classe e faz chamadas a funções de retorno (callback) para aqueles com um gancho __set_name__().

object.__set_name__(self, owner, name)

Chamado automaticamente no momento em que a classe proprietária owner é criada. O objeto foi atribuído a name nessa classe:

class A:
    x = C()  # Automatically calls: x.__set_name__(A, 'x')

Se a variável de classe for atribuída após a criação da classe, __set_name__() não será chamado automaticamente. Se necessário, __set_name__() pode ser chamado diretamente:

class A:
   pass

c = C()
A.x = c                  # The hook is not called
c.__set_name__(A, 'x')   # Manually invoke the hook

Consulte Criando o objeto classe para mais detalhes.

Adicionado na versão 3.6.

3.3.3.1. Metaclasses

Por padrão, as classes são construídas usando type(). O corpo da classe é executado em um novo espaço de nomes e o nome da classe é vinculado localmente ao resultado de type(name, bases, namespace).

O processo de criação da classe pode ser personalizado passando o argumento nomeado metaclass na linha de definição da classe, ou herdando de uma classe existente que incluiu tal argumento. No exemplo a seguir, MyClass e MySubclass são instâncias de Meta:

class Meta(type):
    pass

class MyClass(metaclass=Meta):
    pass

class MySubclass(MyClass):
    pass

Quaisquer outros argumentos nomeados especificados na definição de classe são transmitidos para todas as operações de metaclasse descritas abaixo.

Quando uma definição de classe é executada, as seguintes etapas ocorrem:

entradas de MRO são resolvidas;

a metaclasse apropriada é determinada;

o espaço de nomes da classe é preparada;

o corpo da classe é executado;

o objeto da classe é criado.

3.3.3.2. Resolvendo entradas de MRO

object.__mro_entries__(self, bases)

Se uma classe base que aparece em uma definição de classe não é uma instância de type, então um método __mro_entries__() é procurado na base. Se um método __mro_entries__() é encontrado, a base é substituída pelo resultado de uma chamada para __mro_entries__() ao criar a classe. O método é chamado com a tupla de bases original passada como parâmetro bases, e deve retornar uma tupla de classes que serão usadas no lugar da base. A tupla retornada pode estar vazia: nesses casos, a base original é ignorada.

Ver também

types.resolve_bases()

Dinamicamente resolve bases que não são instâncias de type.

types.get_original_bases()

Recupera as “bases originais” de uma classe antes das modificações feitas por __mro_entries__().

PEP 560 [https://peps.python.org/pep-0560/]

Suporte básico para módulo typing e tipos genéricos.

3.3.3.3. Determinando a metaclasse apropriada

A metaclasse apropriada para uma definição de classe é determinada da seguinte forma:

se nenhuma classe base e nenhuma metaclasse explícita forem fornecidas, então type() é usada;

se uma metaclasse explícita é fornecida e não é uma instância de type(), então ela é usada diretamente como a metaclasse;

se uma instância de type() é fornecida como a metaclasse explícita, ou classes bases são definidas, então a metaclasse mais derivada é usada.

A metaclasse mais derivada é selecionada a partir da metaclasse explicitamente especificada (se houver) e das metaclasses (ou seja, type(cls)) de todas as classes bases especificadas. A metaclasse mais derivada é aquela que é um subtipo de todas essas metaclasses candidatas. Se nenhuma das metaclasses candidatas atender a esse critério, a definição de classe falhará com TypeError.

3.3.3.4. Preparando o espaço de nomes da classe

Uma vez identificada a metaclasse apropriada, o espaço de nomes da classe é preparado. Se a metaclasse tiver um atributo __prepare__, ela será chamada como namespace = metaclass.__prepare__(name, bases, **kwds) (onde os argumentos nomeados adicionais, se houver, vêm da definição de classe). O método __prepare__ deve ser implementado como um classmethod. O espaço de nomes retornado por __prepare__ é passado para __new__, mas quando o objeto classe final é criado, o espaço de nomes é copiado para um novo dict.

Se a metaclasse não tiver o atributo __prepare__, então o espaço de nomes da classe é inicializado como um mapeamento ordenado vazio.

Ver também

PEP 3115 [https://peps.python.org/pep-3115/] - Metaclasses no Python 3000

Introduzido o gancho de espaço de nomes __prepare__

3.3.3.5. Executando o corpo da classe

O corpo da classe é executado (aproximadamente) como exec(body, globals(), namespace). A principal diferença de uma chamada normal para exec() é que o escopo léxico permite que o corpo da classe (incluindo quaisquer métodos) faça referência a nomes dos escopos atual e externo quando a definição de classe ocorre dentro de uma função.

No entanto, mesmo quando a definição de classe ocorre dentro da função, os métodos definidos dentro da classe ainda não podem ver os nomes definidos no escopo da classe. Variáveis de classe devem ser acessadas através do primeiro parâmetro de instância ou métodos de classe, ou através da referência implícita com escopo léxico __class__ descrita na próxima seção.

3.3.3.6. Criando o objeto classe

Uma vez que o espaço de nomes da classe tenha sido preenchido executando o corpo da classe, o objeto classe é criado chamando metaclass(name, bases, namespace, **kwds) (os argumentos adicionais passados aqui são os mesmos passados para __prepare__).

Este objeto classe é aquele que será referenciado pela chamada a super() sem argumentos. __class__ é uma referência de clausura implícita criada pelo compilador se algum método no corpo da classe se referir a __class__ ou super. Isso permite que a forma de argumento zero de super() identifique corretamente a classe sendo definida com base no escopo léxico, enquanto a classe ou instância que foi usada para fazer a chamada atual é identificada com base no primeiro argumento passado para o método.

Detalhes da implementação do CPython: No CPython 3.6 e posterior, a célula __class__ é passada para a metaclasse como uma entrada de __classcell__ no espaço de nomes da classe. Se estiver presente, deve ser propagado até a chamada a type.__new__ para que a classe seja inicializada corretamente. Não fazer isso resultará em um RuntimeError no Python 3.8.

Quando usada a metaclasse padrão type, ou qualquer metaclasse que chame type.__new__, as seguintes etapas de personalização adicionais são executadas depois da criação do objeto classe:

O método type.__new__ coleta todos os atributos no espaço de nomes da classe que definem um método __set_name__();

Esses métodos __set_name__ são chamados com a classe sendo definida e o nome atribuído para este atributo específico;

O gancho __init_subclass__() é chamado na classe base imediata da nova classe em sua ordem de resolução de método.

Depois que o objeto classe é criado, ele é passado para os decoradores de classe incluídos na definição de classe (se houver) e o objeto resultante é vinculado ao espaço de nomes local como a classe definida.

When a new class is created by type.__new__, the object provided as the namespace parameter is copied to a new ordered mapping and the original object is discarded. The new copy is wrapped in a read-only proxy, which becomes the __dict__ attribute of the class object.

Ver também

PEP 3135 [https://peps.python.org/pep-3135/] - Novo super

Descreve a referência de clausura implícita de __class__

3.3.3.7. Usos para metaclasses

Os usos potenciais para metaclasses são ilimitados. Algumas ideias que foram exploradas incluem enumeradores, criação de log, verificação de interface, delegação automática, criação automática de propriedade, proxies, estruturas e travamento/sincronização automático/a de recursos.

3.3.4. Personalizando verificações de instância e subclasse

Os seguintes métodos são usados para substituir o comportamento padrão das funções embutidas isinstance() e issubclass().

Em particular, a metaclasse abc.ABCMeta implementa esses métodos a fim de permitir a adição de classes base abstratas (ABCs) como “classes base virtuais” para qualquer classe ou tipo (incluindo tipos embutidos), incluindo outras ABCs.

type.__instancecheck__(self, instance)

Retorna verdadeiro se instance deve ser considerada uma instância (direta ou indireta) da classe class. Se definido, chamado para implementar isinstance(instance, class).

type.__subclasscheck__(self, subclass)

Retorna verdadeiro se subclass deve ser considerada uma subclasse (direta ou indireta) da classe class. Se definido, chamado para implementar issubclass(subclass, class).

Observe que esses métodos são pesquisados no tipo (metaclasse) de uma classe. Eles não podem ser definidos como métodos de classe na classe real. Isso é consistente com a pesquisa de métodos especiais que são chamados em instâncias, apenas neste caso a própria instância é uma classe.

Ver também

PEP 3119 [https://peps.python.org/pep-3119/] - Introduzindo classes base abstratas

Includes the specification for customizing isinstance() and issubclass() behavior through __instancecheck__() and __subclasscheck__(), with motivation for this functionality in the context of adding Abstract Base Classes (see the abc module) to the language.

3.3.5. Emulando tipos genéricos

Quando estiver usando anotações de tipo, é frequentemente útil parametrizar um tipo genérico usando a notação de colchetes do Python. Por exemplo, a anotação list[int] pode ser usada para indicar uma list em que todos os seus elementos são do tipo int.

Ver também

PEP 484 [https://peps.python.org/pep-0484/] - Dicas de tipo

Apresenta a estrutura do Python para anotações de tipo

Tipos Generic Alias

Documentação de objetos que representam classes genéricas parametrizadas

Genéricos, genéricos definidos pelo usuário e typing.Generic

Documentação sobre como implementar classes genéricas que podem ser parametrizadas em tempo de execução e compreendidas por verificadores de tipo estático.

Uma classe pode geralmente ser parametrizada somente se ela define o método de classe especial __class_getitem__().

classmethod object.__class_getitem__(cls, key)

Retorna um objeto que representa a especialização de uma classe genérica por argumentos de tipo encontrados em key.

Quando definido em uma classe, __class_getitem__() é automaticamente um método de classe. Assim, não é necessário que seja decorado com @classmethod quando de sua definição.

3.3.5.1. O propósito de __class_getitem__

O propósito de __class_getitem__() é permitir a parametrização em tempo de execução de classes genéricas da biblioteca padrão, a fim de aplicar mais facilmente dicas de tipo a essas classes.

Para implementar classes genéricas personalizadas que podem ser parametrizadas em tempo de execução e compreendidas por verificadores de tipo estáticos, os usuários devem herdar de uma classe da biblioteca padrão que já implementa __class_getitem__(), ou herdar de typing.Generic, que possui sua própria implementação de __class_getitem__().

Implementações personalizadas de __class_getitem__() em classes definidas fora da biblioteca padrão podem não ser compreendidas por verificadores de tipo de terceiros, como o mypy. O uso de __class_getitem__() em qualquer classe para fins diferentes de dicas de tipo é desencorajado.

3.3.5.2. __class_getitem__ versus __getitem__

Normalmente, a subscription de um objeto usando colchetes chamará o método de instância __getitem__() definido na classe do objeto. No entanto, se o objeto sendo subscrito for ele mesmo uma classe, o método de classe __class_getitem__() pode ser chamado em seu lugar. __class_getitem__() deve retornar um objeto GenericAlias se estiver devidamente definido.

Apresentado com a expressão obj[x], o interpretador de Python segue algo parecido com o seguinte processo para decidir se __getitem__() ou __class_getitem__() deve ser chamado:

from inspect import isclass

def subscribe(obj, x):
    """Return the result of the expression 'obj[x]'"""

    class_of_obj = type(obj)

    # If the class of obj defines __getitem__,
    # call class_of_obj.__getitem__(obj, x)
    if hasattr(class_of_obj, '__getitem__'):
        return class_of_obj.__getitem__(obj, x)

    # Else, if obj is a class and defines __class_getitem__,
    # call obj.__class_getitem__(x)
    elif isclass(obj) and hasattr(obj, '__class_getitem__'):
        return obj.__class_getitem__(x)

    # Else, raise an exception
    else:
        raise TypeError(
            f"'{class_of_obj.__name__}' object is not subscriptable"
        )

Em Python, todas as classes são elas mesmas instâncias de outras classes. A classe de uma classe é conhecida como metaclasse dessa classe, e a maioria das classes tem a classe type como sua metaclasse. type não define __getitem__(), o que significa que expressões como list[int], dict[str, float] e tuple[str, bytes] resultam em chamadas para __class_getitem__():

>>> # list has class "type" as its metaclass, like most classes:
>>> type(list)
<class 'type'>
>>> type(dict) == type(list) == type(tuple) == type(str) == type(bytes)
True
>>> # "list[int]" calls "list.__class_getitem__(int)"
>>> list[int]
list[int]
>>> # list.__class_getitem__ returns a GenericAlias object:
>>> type(list[int])
<class 'types.GenericAlias'>

No entanto, se uma classe tiver uma metaclasse personalizada que define __getitem__(), subscrever a classe pode resultar em comportamento diferente. Um exemplo disso pode ser encontrado no módulo enum:

>>> from enum import Enum
>>> class Menu(Enum):
...     """A breakfast menu"""
...     SPAM = 'spam'
...     BACON = 'bacon'
...
>>> # Enum classes have a custom metaclass:
>>> type(Menu)
<class 'enum.EnumMeta'>
>>> # EnumMeta defines __getitem__,
>>> # so __class_getitem__ is not called,
>>> # and the result is not a GenericAlias object:
>>> Menu['SPAM']
<Menu.SPAM: 'spam'>
>>> type(Menu['SPAM'])
<enum 'Menu'>

Ver também

PEP 560 [https://peps.python.org/pep-0560/] - Suporte básico para módulo typing e tipos genéricos

Introduz __class_getitem__(), e define quando uma subscrição resulta na chamada de __class_getitem__() em vez de __getitem__()

3.3.6. Emulando objetos chamáveis

object.__call__(self[, args...])

Chamado quando a instância é “chamada” como uma função; se este método for definido, x(arg1, arg2, ...) basicamente traduz para type(x).__call__(x, arg1, ...).

3.3.7. Emulando de tipos contêineres

The following methods can be defined to implement container objects. Containers usually are sequences (such as lists or tuples) or mappings (like dictionaries), but can represent other containers as well. The first set of methods is used either to emulate a sequence or to emulate a mapping; the difference is that for a sequence, the allowable keys should be the integers k for which 0 <= k < N where N is the length of the sequence, or slice objects, which define a range of items. It is also recommended that mappings provide the methods keys(), values(), items(), get(), clear(), setdefault(), pop(), popitem(), copy(), and update() behaving similar to those for Python’s standard dictionary objects. The collections.abc module provides a MutableMapping abstract base class to help create those methods from a base set of __getitem__(), __setitem__(), __delitem__(), and keys(). Mutable sequences should provide methods append(), count(), index(), extend(), insert(), pop(), remove(), reverse() and sort(), like Python standard list objects. Finally, sequence types should implement addition (meaning concatenation) and multiplication (meaning repetition) by defining the methods __add__(), __radd__(), __iadd__(), __mul__(), __rmul__() and __imul__() described below; they should not define other numerical operators. It is recommended that both mappings and sequences implement the __contains__() method to allow efficient use of the in operator; for mappings, in should search the mapping’s keys; for sequences, it should search through the values. It is further recommended that both mappings and sequences implement the __iter__() method to allow efficient iteration through the container; for mappings, __iter__() should iterate through the object’s keys; for sequences, it should iterate through the values.

object.__len__(self)

Called to implement the built-in function len(). Should return the length of the object, an integer >= 0. Also, an object that doesn’t define a __bool__() method and whose __len__() method returns zero is considered to be false in a Boolean context.

Detalhes da implementação do CPython: In CPython, the length is required to be at most sys.maxsize. If the length is larger than sys.maxsize some features (such as len()) may raise OverflowError. To prevent raising OverflowError by truth value testing, an object must define a __bool__() method.

object.__length_hint__(self)

Called to implement operator.length_hint(). Should return an estimated length for the object (which may be greater or less than the actual length). The length must be an integer >= 0. The return value may also be NotImplemented, which is treated the same as if the __length_hint__ method didn’t exist at all. This method is purely an optimization and is never required for correctness.

Adicionado na versão 3.4.

Nota

O fatiamento é feito exclusivamente com os três métodos a seguir. Uma chamada como

a[1:2] = b

é traduzida com

a[slice(1, 2, None)] = b

e assim por diante. Os itens de fatia ausentes são sempre preenchidos com None.

object.__getitem__(self, key)

Called to implement evaluation of self[key]. For sequence types, the accepted keys should be integers. Optionally, they may support slice objects as well. Negative index support is also optional. If key is of an inappropriate type, TypeError may be raised; if key is a value outside the set of indexes for the sequence (after any special interpretation of negative values), IndexError should be raised. For mapping types, if key is missing (not in the container), KeyError should be raised.

Nota

Os loops for esperam que uma IndexError seja levantada para índices ilegais para permitir a detecção apropriada do fim da sequência.

Nota

When subscripting a class, the special class method __class_getitem__() may be called instead of __getitem__(). See __class_getitem__ versus __getitem__ for more details.

object.__setitem__(self, key, value)

Chamado para implementar a atribuição de self[key]. Mesma nota que para __getitem__(). Isso só deve ser implementado para mapeamentos se os objetos suportarem alterações nos valores das chaves, ou se novas chaves puderem ser adicionadas, ou para sequências se os elementos puderem ser substituídos. As mesmas exceções devem ser levantadas para valores key impróprios do método __getitem__().

object.__delitem__(self, key)

Chamado para implementar a exclusão de self[key]. Mesma nota que para __getitem__(). Isso só deve ser implementado para mapeamentos se os objetos suportarem remoções de chaves, ou para sequências se os elementos puderem ser removidos da sequência. As mesmas exceções devem ser levantadas para valores key impróprios do método __getitem__().

object.__missing__(self, key)

Chamado por dict.__getitem__() para implementar self[key] para subclasses de dicionário quando a chave não estiver no dicionário.

object.__iter__(self)

This method is called when an iterator is required for a container. This method should return a new iterator object that can iterate over all the objects in the container. For mappings, it should iterate over the keys of the container.

object.__reversed__(self)

Chamado (se presente) pelo reversed() embutido para implementar a iteração reversa. Ele deve retornar um novo objeto iterador que itera sobre todos os objetos no contêiner na ordem reversa.

Se o método __reversed__() não for fornecido, o reversed() embutido voltará a usar o protocolo de sequência (__len__() e __getitem__()). Objetos que suportam o protocolo de sequência só devem fornecer __reversed__() se eles puderem fornecer uma implementação que seja mais eficiente do que aquela fornecida por reversed().

Os operadores de teste de associação (in e not in) são normalmente implementados como uma iteração através de um contêiner. No entanto, os objetos contêiner podem fornecer o seguinte método especial com uma implementação mais eficiente, que também não requer que o objeto seja iterável.

object.__contains__(self, item)

Chamado para implementar operadores de teste de associação. Deve retornar verdadeiro se item estiver em self, falso caso contrário. Para objetos de mapeamento, isso deve considerar as chaves do mapeamento em vez dos valores ou pares de itens-chave.

Para objetos que não definem __contains__(), o teste de associação primeiro tenta a iteração via __iter__(), depois o protocolo de iteração de sequência antigo via __getitem__(), consulte esta seção em a referência da linguagem.

3.3.8. Emulando tipos numéricos

Os métodos a seguir podem ser definidos para emular objetos numéricos. Métodos correspondentes a operações que não são suportadas pelo tipo particular de número implementado (por exemplo, operações bit a bit para números não inteiros) devem ser deixados indefinidos.

object.__add__(self, other)

object.__sub__(self, other)

object.__mul__(self, other)

object.__matmul__(self, other)

object.__truediv__(self, other)

object.__floordiv__(self, other)

object.__mod__(self, other)

object.__divmod__(self, other)

object.__pow__(self, other[, modulo])

object.__lshift__(self, other)

object.__rshift__(self, other)

object.__and__(self, other)

object.__xor__(self, other)

object.__or__(self, other)

These methods are called to implement the binary arithmetic operations (+, -, *, @, /, //, %, divmod(), pow(), **, <<, >>, &, ^, |). For instance, to evaluate the expression x + y, where x is an instance of a class that has an __add__() method, type(x).__add__(x, y) is called. The __divmod__() method should be the equivalent to using __floordiv__() and __mod__(); it should not be related to __truediv__(). Note that __pow__() should be defined to accept an optional third argument if the ternary version of the built-in pow() function is to be supported.

If one of those methods does not support the operation with the supplied arguments, it should return NotImplemented.

object.__radd__(self, other)

object.__rsub__(self, other)

object.__rmul__(self, other)

object.__rmatmul__(self, other)

object.__rtruediv__(self, other)

object.__rfloordiv__(self, other)

object.__rmod__(self, other)

object.__rdivmod__(self, other)

object.__rpow__(self, other[, modulo])

object.__rlshift__(self, other)

object.__rrshift__(self, other)

object.__rand__(self, other)

object.__rxor__(self, other)

object.__ror__(self, other)

These methods are called to implement the binary arithmetic operations (+, -, *, @, /, //, %, divmod(), pow(), **, <<, >>, &, ^, |) with reflected (swapped) operands. These functions are only called if the left operand does not support the corresponding operation [3] and the operands are of different types. [4] For instance, to evaluate the expression x - y, where y is an instance of a class that has an __rsub__() method, type(y).__rsub__(y, x) is called if type(x).__sub__(x, y) returns NotImplemented.

Note que ternário pow() não tentará chamar __rpow__() (as regras de coerção se tornariam muito complicadas).

Nota

Se o tipo do operando direito for uma subclasse do tipo do operando esquerdo e essa subclasse fornecer uma implementação diferente do método refletido para a operação, este método será chamado antes do método não refletido do operando esquerdo. Esse comportamento permite que as subclasses substituam as operações de seus ancestrais.

object.__iadd__(self, other)

object.__isub__(self, other)

object.__imul__(self, other)

object.__imatmul__(self, other)

object.__itruediv__(self, other)

object.__ifloordiv__(self, other)

object.__imod__(self, other)

object.__ipow__(self, other[, modulo])

object.__ilshift__(self, other)

object.__irshift__(self, other)

object.__iand__(self, other)

object.__ixor__(self, other)

object.__ior__(self, other)

These methods are called to implement the augmented arithmetic assignments (+=, -=, *=, @=, /=, //=, %=, **=, <<=, >>=, &=, ^=, |=). These methods should attempt to do the operation in-place (modifying self) and return the result (which could be, but does not have to be, self). If a specific method is not defined, or if that method returns NotImplemented, the augmented assignment falls back to the normal methods. For instance, if x is an instance of a class with an __iadd__() method, x += y is equivalent to x = x.__iadd__(y) . If __iadd__() does not exist, or if x.__iadd__(y) returns NotImplemented, x.__add__(y) and y.__radd__(x) are considered, as with the evaluation of x + y. In certain situations, augmented assignment can result in unexpected errors (see Porque a_tuple[i] += [‘item’] levanta uma exceção quando a adição funciona?), but this behavior is in fact part of the data model.

object.__neg__(self)

object.__pos__(self)

object.__abs__(self)

object.__invert__(self)

Chamado para implementar as operações aritméticas unárias (-, +, abs() e ~).

object.__complex__(self)

object.__int__(self)

object.__float__(self)

Chamado para implementar as funções embutidas complex(), int() e float(). Deve retornar um valor do tipo apropriado.

object.__index__(self)

Chamado para implementar operator.index(), e sempre que o Python precisar converter sem perdas o objeto numérico em um objeto inteiro (como no fatiamento ou nas funções embutidas bin(), hex() e oct()). A presença deste método indica que o objeto numérico é do tipo inteiro. Deve retornar um número inteiro.

Se __int__(), __float__() e __complex__() não estiverem definidos, funções embutidas correspondentes int(), float() e complex() recorre a __index__().

object.__round__(self[, ndigits])

object.__trunc__(self)

object.__floor__(self)

object.__ceil__(self)

Chamado para implementar as funções embutidas round() e trunc(), floor() e ceil() de math. A menos que ndigits sejam passados para __round__() todos estes métodos devem retornar o valor do objeto truncado para um Integral (tipicamente um int).

The built-in function int() falls back to __trunc__() if neither __int__() nor __index__() is defined.

Alterado na versão 3.11: The delegation of int() to __trunc__() is deprecated.

3.3.9. Gerenciadores de contexto da instrução with

Um gerenciador de contexto é um objeto que define o contexto de tempo de execução a ser estabelecido ao executar uma instrução with. O gerenciador de contexto lida com a entrada e a saída do contexto de tempo de execução desejado para a execução do bloco de código. Os gerenciadores de contexto são normalmente invocados usando a instrução with (descrita na seção A instrução with), mas também podem ser usados invocando diretamente seus métodos.

Os usos típicos de gerenciadores de contexto incluem salvar e restaurar vários tipos de estado global, travar e destravar recursos, fechar arquivos abertos, etc.

Para obter mais informações sobre gerenciadores de contexto, consulte Tipos de Gerenciador de Contexto.

object.__enter__(self)

Insere o contexto de tempo de execução relacionado a este objeto. A instrução with vinculará o valor de retorno deste método ao(s) alvo(s) especificado(s) na cláusula as da instrução, se houver.

object.__exit__(self, exc_type, exc_value, traceback)

Sai do contexto de tempo de execução relacionado a este objeto. Os parâmetros descrevem a exceção que fez com que o contexto fosse encerrado. Se o contexto foi encerrado sem exceção, todos os três argumentos serão None.

Se uma exceção for fornecida e o método desejar suprimir a exceção (ou seja, evitar que ela seja propagada), ele deve retornar um valor verdadeiro. Caso contrário, a exceção será processada normalmente ao sair deste método.

Note that __exit__() methods should not reraise the passed-in exception; this is the caller’s responsibility.

Ver também

PEP 343 [https://peps.python.org/pep-0343/] - A instrução “with”

A especificação, o histórico e os exemplos para a instrução Python with.

3.3.10. Customizando argumentos posicionais na classe correspondência de padrão

When using a class name in a pattern, positional arguments in the pattern are not allowed by default, i.e. case MyClass(x, y) is typically invalid without special support in MyClass. To be able to use that kind of pattern, the class needs to define a __match_args__ attribute.

object.__match_args__

Essa variável de classe pode ser atribuída a uma tupla de strings. Quando essa classe é usada em uma classe padrão com argumentos posicionais, cada argumento posicional será convertido para um argumento nomeado, usando correspondência de valor em __match_args__ como palavra reservada. A ausência desse atributo é equivalente a defini-lo como ()

Por exemplo, se MyClass.__match_args__ é ("left", "center", "right") significa que case MyClass(x, y) é equivalente a case MyClass(left=x, center=y). Note que o número de argumentos no padrão deve ser menor ou igual ao número de elementos em __match_args__; caso seja maior, a tentativa de correspondência de padrão irá levantar uma TypeError.

Adicionado na versão 3.10.

Ver também

PEP 634 [https://peps.python.org/pep-0634/] - Correspondência de Padrão Estrutural

A especificação para a instrução Python match

3.3.11. Emulating buffer types

The buffer protocol provides a way for Python objects to expose efficient access to a low-level memory array. This protocol is implemented by builtin types such as bytes and memoryview, and third-party libraries may define additional buffer types.

While buffer types are usually implemented in C, it is also possible to implement the protocol in Python.

object.__buffer__(self, flags)

Called when a buffer is requested from self (for example, by the memoryview constructor). The flags argument is an integer representing the kind of buffer requested, affecting for example whether the returned buffer is read-only or writable. inspect.BufferFlags provides a convenient way to interpret the flags. The method must return a memoryview object.

object.__release_buffer__(self, buffer)

Called when a buffer is no longer needed. The buffer argument is a memoryview object that was previously returned by __buffer__(). The method must release any resources associated with the buffer. This method should return None. Buffer objects that do not need to perform any cleanup are not required to implement this method.

Adicionado na versão 3.12.

Ver também

PEP 688 [https://peps.python.org/pep-0688/] - Making the buffer protocol accessible in Python

Introduces the Python __buffer__ and __release_buffer__ methods.

collections.abc.Buffer

ABC for buffer types.

3.3.12. Pesquisa de método especial

Para classes personalizadas, as invocações implícitas de métodos especiais só têm garantia de funcionar corretamente se definidas em um tipo de objeto, não no dicionário de instância do objeto. Esse comportamento é o motivo pelo qual o código a seguir levanta uma exceção:

>>> class C:
...     pass
...
>>> c = C()
>>> c.__len__ = lambda: 5
>>> len(c)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: object of type 'C' has no len()

The rationale behind this behaviour lies with a number of special methods such as __hash__() and __repr__() that are implemented by all objects, including type objects. If the implicit lookup of these methods used the conventional lookup process, they would fail when invoked on the type object itself:

>>> 1 .__hash__() == hash(1)
True
>>> int.__hash__() == hash(int)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: descriptor '__hash__' of 'int' object needs an argument

A tentativa incorreta de invocar um método não vinculado de uma classe dessa maneira é às vezes referida como “confusão de metaclasse” e é evitada ignorando a instância ao pesquisar métodos especiais:

>>> type(1).__hash__(1) == hash(1)
True
>>> type(int).__hash__(int) == hash(int)
True

In addition to bypassing any instance attributes in the interest of correctness, implicit special method lookup generally also bypasses the __getattribute__() method even of the object’s metaclass:

>>> class Meta(type):
...     def __getattribute__(*args):
...         print("Metaclass getattribute invoked")
...         return type.__getattribute__(*args)
...
>>> class C(object, metaclass=Meta):
...     def __len__(self):
...         return 10
...     def __getattribute__(*args):
...         print("Class getattribute invoked")
...         return object.__getattribute__(*args)
...
>>> c = C()
>>> c.__len__()                 # Explicit lookup via instance
Class getattribute invoked
10
>>> type(c).__len__(c)          # Explicit lookup via type
Metaclass getattribute invoked
10
>>> len(c)                      # Implicit lookup
10

Bypassing the __getattribute__() machinery in this fashion provides significant scope for speed optimisations within the interpreter, at the cost of some flexibility in the handling of special methods (the special method must be set on the class object itself in order to be consistently invoked by the interpreter).

3.4. Corrotinas

3.4.1. Objetos aguardáveis

An awaitable object generally implements an __await__() method. Coroutine objects returned from async def functions are awaitable.

Nota

The generator iterator objects returned from generators decorated with types.coroutine() are also awaitable, but they do not implement __await__().

object.__await__(self)

Deve retornar um iterador. Deve ser usado para implementar objetos aguardáveis. Por exemplo, asyncio.Future implementa este método para ser compatível com a expressão await.

Nota

The language doesn’t place any restriction on the type or value of the objects yielded by the iterator returned by __await__, as this is specific to the implementation of the asynchronous execution framework (e.g. asyncio) that will be managing the awaitable object.

Adicionado na versão 3.5.

Ver também

PEP 492 [https://peps.python.org/pep-0492/] para informações adicionais sobre objetos aguardáveis.

3.4.2. Objetos corrotina

Coroutine objects are awaitable objects. A coroutine’s execution can be controlled by calling __await__() and iterating over the result. When the coroutine has finished executing and returns, the iterator raises StopIteration, and the exception’s value attribute holds the return value. If the coroutine raises an exception, it is propagated by the iterator. Coroutines should not directly raise unhandled StopIteration exceptions.

As corrotinas também têm os métodos listados abaixo, que são análogos aos dos geradores (ver Métodos de iterador gerador). No entanto, ao contrário dos geradores, as corrotinas não suportam diretamente a iteração.

Alterado na versão 3.5.2: É uma RuntimeError para aguardar uma corrotina mais de uma vez.

coroutine.send(value)

Starts or resumes execution of the coroutine. If value is None, this is equivalent to advancing the iterator returned by __await__(). If value is not None, this method delegates to the send() method of the iterator that caused the coroutine to suspend. The result (return value, StopIteration, or other exception) is the same as when iterating over the __await__() return value, described above.

coroutine.throw(value)

coroutine.throw(type[, value[, traceback]])

Raises the specified exception in the coroutine. This method delegates to the throw() method of the iterator that caused the coroutine to suspend, if it has such a method. Otherwise, the exception is raised at the suspension point. The result (return value, StopIteration, or other exception) is the same as when iterating over the __await__() return value, described above. If the exception is not caught in the coroutine, it propagates back to the caller.

Alterado na versão 3.12: A segunda assinatura (tipo[, valor[, traceback]]]) foi descontinuada e pode ser removida em uma versão futura do Python.

coroutine.close()

Faz com que a corrotina se limpe e saia. Se a corrotina for suspensa, este método primeiro delega para o método close() do iterador que causou a suspensão da corrotina, se tiver tal método. Então ele levanta GeneratorExit no ponto de suspensão, fazendo com que a corrotina se limpe imediatamente. Por fim, a corrotina é marcada como tendo sua execução concluída, mesmo que nunca tenha sido iniciada.

Objetos corrotina são fechados automaticamente usando o processo acima quando estão prestes a ser destruídos.

3.4.3. Iteradores assíncronos

Um iterador assíncrono pode chamar código assíncrono em seu método __anext__.

Os iteradores assíncronos podem ser usados ​​em uma instrução async for.

object.__aiter__(self)

Deve retornar um objeto iterador assíncrono.

object.__anext__(self)

Deve retornar um aguardável resultando em um próximo valor do iterador. Deve levantar um erro StopAsyncIteration quando a iteração terminar.

Um exemplo de objeto iterável assíncrono:

class Reader:
    async def readline(self):
        ...

    def __aiter__(self):
        return self

    async def __anext__(self):
        val = await self.readline()
        if val == b'':
            raise StopAsyncIteration
        return val

Adicionado na versão 3.5.

Alterado na versão 3.7: Prior to Python 3.7, __aiter__() could return an awaitable that would resolve to an asynchronous iterator.

Starting with Python 3.7, __aiter__() must return an asynchronous iterator object. Returning anything else will result in a TypeError error.

3.4.4. Gerenciadores de contexto assíncronos

Um gerenciador de contexto assíncrono é um gerenciador de contexto que é capaz de suspender a execução em seus métodos __aenter__ e __aexit__.

Os gerenciadores de contexto assíncronos podem ser usados ​​em uma instrução async with.

object.__aenter__(self)

Semantically similar to __enter__(), the only difference being that it must return an awaitable.

object.__aexit__(self, exc_type, exc_value, traceback)

Semantically similar to __exit__(), the only difference being that it must return an awaitable.

Um exemplo de uma classe gerenciadora de contexto assíncrona:

class AsyncContextManager:
    async def __aenter__(self):
        await log('entering context')

    async def __aexit__(self, exc_type, exc, tb):
        await log('exiting context')

Adicionado na versão 3.5.

Notas de rodapé

[1]

Em alguns casos, é possível alterar o tipo de um objeto, sob certas condições controladas. No entanto, geralmente não é uma boa ideia, pois pode levar a um comportamento muito estranho se for tratado incorretamente.

[2]

The __hash__(), __iter__(), __reversed__(), __contains__(), __class_getitem__() and __fspath__() methods have special handling for this. Others will still raise a TypeError, but may do so by relying on the behavior that None is not callable.

[3]

“Does not support” here means that the class has no such method, or the method returns NotImplemented. Do not set the method to None if you want to force fallback to the right operand’s reflected method—that will instead have the opposite effect of explicitly blocking such fallback.

[4]

For operands of the same type, it is assumed that if the non-reflected method – such as __add__() – fails then the overall operation is not supported, which is why the reflected method is not called.

4. Modelo de execução

4.1. Estrutura de um programa

Um programa Python é construído a partir de blocos de código. Um bloco é um pedaço do texto do programa Python que é executado como uma unidade. A seguir estão os blocos: um módulo, um corpo de função e uma definição de classe. Cada comando digitado interativamente é um bloco. Um arquivo de script (um arquivo fornecido como entrada padrão para o interpretador ou especificado como argumento de linha de comando para o interpretador) é um bloco de código. Um comando de script (um comando especificado na linha de comando do interpretador com a opção -c) é um bloco de código. Um módulo executado sobre um script de nível superior (como o módulo __main__) a partir da linha de comando usando um argumento -m também é um bloco de código. O argumento da string passado para as funções embutidas eval() e exec() é um bloco de código.

Um bloco de código é executado em um quadro de execução. Um quadro contém algumas informações administrativas (usadas para depuração) e determina onde e como a execução continua após a conclusão do bloco de código.

4.2. Nomeação e ligação

4.2.1. Ligação de nomes

Nomes referem-se a objetos. Os nomes são introduzidos por operações de ligação de nomes.

As seguintes construções ligam nomes:

parâmetros formais para funções,

definições de classe,

definições de função,

expressões de atribuição,

alvos que são identificadores se ocorrerem em uma atribuição:

cabeçalho de laço for,

depois de as em uma instrução with, cláusula except, cláusula except* ou no padrão as na correspondência de padrões estruturais,

em um padrão de captura na correspondência de padrões estruturais

instruções import.

instruções type.

listas de parâmetros de tipo.

A instrução import no formato from ... import * liga todos os nomes definidos no módulo importado, exceto aqueles que começam com um sublinhado. Este formulário só pode ser usado no nível do módulo.

Um alvo ocorrendo em uma instrução del também é considerado ligado a esse propósito (embora a semântica real seja para desligar do nome).

Cada atribuição ou instrução de importação ocorre dentro de um bloco definido por uma definição de classe ou função ou no nível do módulo (o bloco de código de nível superior).

Se um nome está ligado a um bloco, é uma variável local desse bloco, a menos que declarado como nonlocal ou global. Se um nome está ligado a nível do módulo, é uma variável global. (As variáveis ​​do bloco de código do módulo são locais e globais.) Se uma variável for usada em um bloco de código, mas não definida lá, é uma variável livre.

Cada ocorrência de um nome no texto do programa se refere à ligação daquele nome estabelecido pelas seguintes regras de resolução de nome.

4.2.2. Resolução de nomes

O escopo define a visibilidade de um nome dentro de um bloco. Se uma variável local é definida em um bloco, seu escopo inclui esse bloco. Se a definição ocorrer em um bloco de função, o escopo se estende a quaisquer blocos contidos no bloco de definição, a menos que um bloco contido introduza uma ligação diferente para o nome.

Quando um nome é usado em um bloco de código, ele é resolvido usando o escopo envolvente mais próximo. O conjunto de todos esses escopos visíveis a um bloco de código é chamado de ambiente do bloco.

Quando um nome não é encontrado, uma exceção NameError é levantada. Se o escopo atual for um escopo de função e o nome se referir a uma variável local que ainda não foi associada a um valor no ponto onde o nome é usado, uma exceção UnboundLocalError é levantada. UnboundLocalError é uma subclasse de NameError.

Se a operação de ligação de nomes ocorre dentro de um bloco de código, todos os usos do nome dentro do bloco são tratadas como referências para o bloco atual. Isso pode. Isso pode levar a erros quando um nome é usado em um bloco antes de ser vinculado. Esta regra é sutil. Python carece de declarações e permite que as operações de ligação de nomes ocorram em qualquer lugar dentro de um bloco de código. As variáveis locais de um bloco de código podem ser determinadas pela varredura de todo o texto do bloco para operações de ligação de nome. Veja the FAQ entry on UnboundLocalError para exemplos.

Se a instrução global ocorrer dentro de um bloco, todos os usos dos nomes especificados na instrução referem-se às ligações desses nomes no espaço de nomes de nível superior. Os nomes são resolvidos no espaço de nomes de nível superior pesquisando o espaço de nomes global, ou seja, o espaço de nomes do módulo que contém o bloco de código, e o espaço de nomes embutido, o espaço de nomes do módulo builtins. O espaço de nomes global é pesquisado primeiro. Se os nomes não forem encontrados lá, o espaço de nomes embutidos será pesquisado em seguida. Se os nomes também não forem encontrados no espaço de nomes embutido, novas variáveis são criadas no espaço de nomes global. A instrução global deve preceder todos os usos dos nomes listados.

A instrução global tem o mesmo escopo que uma operação de ligação de nome no mesmo bloco. Se o escopo mais próximo de uma variável livre contiver uma instrução global, a variável livre será tratada como global.

A instrução nonlocal faz com que os nomes correspondentes se refiram a variáveis previamente vinculadas no escopo da função delimitadora mais próxima. A exceção SyntaxError é levantada em tempo de compilação se o nome fornecido não existir em nenhum escopo de função delimitador. Parâmetros de tipo não podem ser vinculadas novamente com a instrução nonlocal.

O espaço de nomes de um módulo é criado automaticamente na primeira vez que um módulo é importado. O módulo principal de um script é sempre chamado de __main__.

Blocos de definição de classe e argumentos para exec() e eval() são especiais no contexto de resolução de nome. Uma definição de classe é uma instrução executável que pode usar e definir nomes. Essas referências seguem as regras normais para resolução de nome, com exceção de que variáveis locais não vinculadas são pesquisadas no espaço de nomes global global. O espaço de nomes global da definição de classe se torna o dicionário de atributos da classe. O escopo dos nomes definidos em um bloco de classe é limitado ao bloco de classe; ele não se estende aos blocos de código de métodos. Isso inclui compreensões e expressões geradoras, mas não inclui escopos de anotação, que têm acesso a seus escopos de classe delimitadores. Isso significa que o seguinte falhará:

class A:
    a = 42
    b = list(a + i for i in range(10))

Porém, o seguinte vai funcionar:

class A:
    type Alias = Nested
    class Nested: pass

print(A.Alias.__value__)  # <type 'A.Nested'>

4.2.3. Escopos de anotação

As instruções type e listas de parâmetros de tipo introduzem escopos de anotação, que se comportam principalmente como escopos de função, mas com algumas exceções discutidas abaixo. Anotações atualmente não usam escopos de anotação, mas espera-se que elas usem escopos de anotação no Python 3.13 quando PEP 649 [https://peps.python.org/pep-0649/] for implementada.

Os escopos de anotação são usados nos seguintes contextos:

Listas de parâmetros de tipo para apelidos de tipo genérico.

Listas de parâmetros de tipo para funções genéricas. As anotações de uma função genérica são executadas dentro do escopo de anotação, mas seus padrões e decoradores não.

Listas de parâmetros de tipo para classes genéricas. As classes base e argumentos nomeados de uma classe genérica são executadas dentro do escopo de anotação, mas seus decoradores não.

Os limites, restrições e valores padrão para parâmetros de tipo (avaliados preguiçosamente).

O valor dos apelidos de tipo (avaliado preguiçosamente).

Escopos de anotação diferenciam-se de escopos de função nas seguintes formas:

Os escopos de anotação têm acesso ao espaço de nomes da classe delimitadora. Se um escopo de anotação estiver imediatamente dentro de um escopo de classe ou dentro de outro escopo de anotação que esteja imediatamente dentro de um escopo de classe, o código no escopo de anotação poderá usar nomes definidos no escopo de classe como se fosse executado diretamente no corpo da classe. Isto contrasta com funções regulares definidas dentro de classes, que não podem acessar nomes definidos no escopo da classe.

Expressões em escopos de anotação não podem conter expressões yield, yield from, await ou := 1. (Essas expressões são permitidas em outros escopos contidos no escopo de anotação.)

Nomes definidos em escopos de anotação não podem ser vinculados novamente com instruções nonlocal em escopos internos. Isso inclui apenas parâmetros de tipo, pois nenhum outro elemento sintático que pode aparecer nos escopos de anotação pode introduzir novos nomes.

Embora os escopos de anotação tenham um nome interno, esse nome não é refletido no nome qualificado dos objetos definidos dentro do escopo. Em vez disso, o __qualname__ de tais objetos é como se o objeto fosse definido no escopo delimitador.

Adicionado na versão 3.12: Escopos de anotação foram introduzidos no Python 3.12 como parte da PEP 695 [https://peps.python.org/pep-0695/].

Alterado na versão 3.13: Os escopos de anotação também são usados para padrões de parâmetros de tipo, conforme introduzido pela PEP 696 [https://peps.python.org/pep-0696/].

4.2.4. Avaliação preguiçosa

Os valores dos apelidos de tipo criados através da instrução type são avaliados preguiçosamente. O mesmo se aplica aos limites, restrições e valores padrão de variáveis de tipo criadas através da sintaxe do parâmetro de tipo. Isso significa que eles não são avaliados quando o apelido de tipo ou a variável de tipo é criado. Em vez disso, eles são avaliados apenas quando isso é necessário para resolver um acesso de atributo.

Exemplo:

>>> type Alias = 1/0
>>> Alias.__value__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero
>>> def func[T: 1/0](): pass
>>> T = func.__type_params__[0]
>>> T.__bound__
Traceback (most recent call last):
  ...
ZeroDivisionError: division by zero

Aqui a exceção é levantada apenas quando o atributo __value__ do apelido de tipo ou o atributo __bound__ da variável de tipo é acessado.

Esse comportamento é útil principalmente para referências a tipos que ainda não foram definidos quando o alias de tipo ou variável de tipo é criado. Por exemplo, a avaliação preguiçosa permite a criação de apelidos de tipo mutuamente recursivos:

from typing import Literal

type SimpleExpr = int | Parenthesized
type Parenthesized = tuple[Literal["("], Expr, Literal[")"]]
type Expr = SimpleExpr | tuple[SimpleExpr, Literal["+", "-"], Expr]

Valores avaliados preguiçosamente são avaliados em escopo de anotação, o que significa que os nomes que aparecem dentro do valor avaliado preguiçosamente são pesquisados como se fossem usados no escopo imediatamente envolvente.

Adicionado na versão 3.12.

4.2.5. Builtins e execução restrita

Detalhes da implementação do CPython: Os usuários não devem tocar em __builtins__; é estritamente um detalhe de implementação. Usuários que desejam substituir valores no espaço de nomes interno devem import o módulo builtins e modificar seus atributos apropriadamente.

O espaço de nomes builtins associado com a execução de um bloco de código é encontrado procurando o nome __builtins__ em seu espaço de nomes global; este deve ser um dicionário ou um módulo (no último caso, o dicionário do módulo é usado). Por padrão, quando no módulo __main__, __builtins__ é o módulo embutido builtins; quando em qualquer outro módulo, __builtins__ é um apelido para o dicionário do próprio módulo builtins.

4.2.6. Interação com recursos dinâmicos

A resolução de nome de variáveis livres ocorre em tempo de execução, não em tempo de compilação. Isso significa que o código a seguir imprimirá 42:

i = 10
def f():
    print(i)
i = 42
f()

As funções eval() e exec() não têm acesso ao ambiente completo para resolução de nome. Os nomes podem ser resolvidos nos espaços de nomes locais e globais do chamador. Variáveis livres não são resolvidas no espaço de nomes mais próximo, mas no espaço de nomes global. [1] As funções exec() e eval() possuem argumentos opcionais para substituir o espaço de nomes global e local. Se apenas um espaço de nomes for especificado, ele será usado para ambos.

4.3. Exceções

As exceções são um meio de romper o fluxo normal de controle de um bloco de código para tratar erros ou outras condições excepcionais. Uma exceção é levantada no ponto em que o erro é detectado; ele pode ser tratado pelo bloco de código circundante ou por qualquer bloco de código que invocou direta ou indiretamente o bloco de código onde ocorreu o erro.

O interpretador Python levanta uma exceção quando detecta um erro em tempo de execução (como divisão por zero). Um programa Python também pode levantar explicitamente uma exceção com a instrução raise. Os tratadores de exceção são especificados com a instrução try … except. A cláusula finally de tal declaração pode ser usada para especificar o código de limpeza que não trata a exceção, mas é executado se uma exceção ocorreu ou não no código anterior.

Python usa o modelo de “terminação” da manipulação de erros: um manipulador de exceção pode descobrir o que aconteceu e continuar a execução em um nível externo, mas não pode reparar a causa do erro e tentar novamente a operação com falha (exceto reinserindo a parte incorreta de código de cima).

Quando uma exceção não é manipulada, o interpretador encerra a execução do programa ou retorna ao seu laço principal interativo. Em ambos os casos, ele exeibe um traceback (situação da pilha de execução), exceto quando a exceção é SystemExit.

As exceções são identificadas por instâncias de classe. A cláusula except é selecionada dependendo da classe da instância: ela deve referenciar a classe da instância ou uma classe base não-virtual dela. A instância pode ser recebida pelo manipulador e pode conter informações adicionais sobre a condição excepcional.

Nota

As mensagens de exceção não fazem parte da API do Python. Seu conteúdo pode mudar de uma versão do Python para outra sem aviso e não deve ser invocado pelo código que será executado em várias versões do interpretador.

Veja também a descrição da declaração try na seção A instrução try e a instrução raise na seção A instrução raise.

Notas de rodapé

[1]

Essa limitação ocorre porque o código executado por essas operações não está disponível no momento em que o módulo é compilado.

5. O sistema de importação

O código Python em um módulo obtém acesso ao código em outro módulo pelo processo de importação dele. A instrução import é a maneira mais comum de invocar o mecanismo de importação, mas não é a única maneira. Funções como importlib.import_module() e a função embutida __import__() também podem ser usadas para chamar o mecanismo de importação.

A instrução import combina duas operações; ela procura o módulo nomeado e vincula os resultados dessa pesquisa a um nome no escopo local. A operação de busca da instrução import é definida como uma chamada para a função __import__(), com os argumentos apropriados. O valor de retorno de __import__() é usado para executar a operação de ligação de nome da instrução import. Veja a instrução import para os detalhes exatos da operação de ligação desse nome.

Uma chamada direta para __import__() realiza apenas a pesquisa do módulo e, se encontrada, a operação de criação do módulo. Embora certos efeitos colaterais possam ocorrer, como a importação de pacotes pai e a atualização de vários caches (incluindo sys.modules), apenas a instrução import realiza uma operação de ligação de nome.

Quando uma instrução import é executada, a função embutida padrão __import__() é chamada. Outros mecanismos para chamar o sistema de importação (como importlib.import_module()) podem optar por ignorar __import__() e usar suas próprias soluções para implementar a semântica de importação.

Quando um módulo é importado pela primeira vez, o Python procura pelo módulo e, se encontrado, cria um objeto de módulo [1], inicializando-o. Se o módulo nomeado não puder ser encontrado, uma ModuleNotFoundError será levantada. O Python implementa várias estratégias para procurar o módulo nomeado quando o mecanismo de importação é chamado. Essas estratégias podem ser modificadas e estendidas usando vários ganchos descritos nas seções abaixo.

Alterado na versão 3.3: O sistema de importação foi atualizado para implementar completamente a segunda fase da PEP 302 [https://peps.python.org/pep-0302/]. Não há mais um mecanismo de importação implícito – o sistema completo de importação é exposto através de sys.meta_path. Além disso, o suporte nativo a pacote de espaço de nomes foi implementado (consulte PEP 420 [https://peps.python.org/pep-0420/]).

5.1. importlib

O módulo importlib fornece uma API rica para interagir com o sistema de importação. Por exemplo, importlib.import_module() fornece uma API mais simples e recomendada do que a função embutida __import__() para chamar o mecanismo de importação. Consulte a documentação da biblioteca importlib para obter detalhes adicionais.

5.2. Pacotes

O Python possui apenas um tipo de objeto de módulo e todos os módulos são desse tipo, independentemente de o módulo estar implementado em Python, C ou qualquer outra coisa. Para ajudar a organizar os módulos e fornecer uma hierarquia de nomes, o Python tem o conceito de pacotes.

Você pode pensar em pacotes como os diretórios em um sistema de arquivos e os módulos como arquivos nos diretórios, mas não tome essa analogia muito literalmente, já que pacotes e módulos não precisam se originar do sistema de arquivos. Para os fins desta documentação, usaremos essa analogia conveniente de diretórios e arquivos. Como os diretórios do sistema de arquivos, os pacotes são organizados hierarquicamente e os próprios pacotes podem conter subpacotes e módulos regulares.

É importante ter em mente que todos os pacotes são módulos, mas nem todos os módulos são pacotes. Ou, dito de outra forma, os pacotes são apenas um tipo especial de módulo. Especificamente, qualquer módulo que contenha um atributo __path__ é considerado um pacote.

Todo módulo tem um nome. Nomes de subpacotes são separados do nome do pacote por um ponto, semelhante à sintaxe de acesso aos atributos padrão do Python. Assim pode ter um pacote chamado email, que por sua vez tem um subpacote chamado email.mime e um módulo dentro dele chamado email.mime.text.

5.2.1. Pacotes regulares

O Python define dois tipos de pacotes, pacotes regulares e pacotes de espaço de nomes. Pacotes regulares são pacotes tradicionais, como existiam no Python 3.2 e versões anteriores. Um pacote regular é normalmente implementado como um diretório que contém um arquivo __init__.py. Quando um pacote regular é importado, esse arquivo __init__.py é executado implicitamente, e os objetos que ele define são vinculados aos nomes no espaço de nomes do pacote. O arquivo __init__.py pode conter o mesmo código Python que qualquer outro módulo pode conter, e o Python adicionará alguns atributos adicionais ao módulo quando ele for importado.

Por exemplo, o layout do sistema de arquivos a seguir define um pacote parent de nível superior com três subpacotes:

parent/
    __init__.py
    one/
        __init__.py
    two/
        __init__.py
    three/
        __init__.py

A importação de parent.one vai executar implicitamente parent/__init__.py e parent/one/__init__.py. Importações subsequentes de parent.two ou parent.three vão executar parent/two/__init__.py e parent/three/__init__.py, respectivamente.

5.2.2. Pacotes de espaço de nomes

Um pacote de espaço de nomes é um composto de várias porções, em que cada parte contribui com um subpacote para o pacote pai. Partes podem residir em locais diferentes no sistema de arquivos. Partes também podem ser encontradas em arquivos zip, na rede ou em qualquer outro lugar que o Python pesquisar durante a importação. Os pacotes de espaço de nomes podem ou não corresponder diretamente aos objetos no sistema de arquivos; eles podem ser módulos virtuais que não têm representação concreta.

Os pacotes de espaço de nomes não usam uma lista comum para o atributo __path__. Em vez disso, eles usam um tipo iterável personalizado que executará automaticamente uma nova pesquisa por partes do pacote na próxima tentativa de importação dentro desse pacote, se o caminho do pacote pai (ou sys.path para um pacote de nível superior) for alterado.

Com pacotes de espaço de nomes, não há arquivo pai/__init__.py. De fato, pode haver vários diretórios pai encontrados durante a pesquisa de importação, onde cada um é fornecido por uma parte diferente. Portanto, pai/um pode não estar fisicamente localizado próximo a pai/dois. Nesse caso, o Python criará um pacote de espaço de nomes para o pacote pai de nível superior sempre que ele ou um de seus subpacotes for importado.

Veja também PEP 420 [https://peps.python.org/pep-0420/] para a especificação de pacotes de espaço de nomes.

5.3. Caminho de busca

Para iniciar a busca, o Python precisa do nome completo do módulo (ou pacote, mas para o propósito dessa exposição, não há diferença) que se quer importar. Esse nome vem de vários argumentos passados para a instrução import, ou dos parâmetros das funções importlib.import_module() ou __import__().

Esse nome será usado em várias fases da busca da importação, e pode ser um nome com pontos para um submódulo como, por exemplo, foo.bar.baz. Nesse caso, Python primeiro tenta importar foo, depois foo.bar e, finalmente, foo.bar.baz. Se alguma das importações intermediárias falharem, uma exceção ModuleNotFoundError é levantada.

5.3.1. O cache de módulos

A primeira verificação durante a busca da importação é feita no sys.modules. Esse mapeamento serve como um cache de todos os módulos que já foram importados previamente, incluindo os caminhos intermediários. Se foo.bar.baz foi previamente importado, sys.modules conterá entradas para foo, foo.bar e foo.bar.baz. Cada chave terá como valor um objeto módulo correspondente.

Durante a importação, o nome do módulo é procurado em sys.modules e, se estiver presente, o valor associado é o módulo que satisfaz a importação, e o processo termina. Entretanto, se o valor é None, uma exceção ModuleNotFoundError é levantada. Se o nome do módulo não foi encontrado, Python continuará a busca pelo módulo.

É possível alterar sys.modules. Apagar uma chave pode não destruir o objeto módulo associado (outros módulos podem manter referências para ele), mas a entrada do cache será invalidada para o nome daquele módulo, fazendo Python executar nova busca na próxima importação. Pode ser atribuído None para a chave, forçando que a próxima importação do módulo resulte numa exceção ModuleNotFoundError.

No entanto, tenha cuidado, pois se você mantiver uma referência para o objeto módulo, invalidar sua entrada de cache em sys.modules e, em seguida, reimportar do módulo nomeado, os dois módulo objetos não serão os mesmos. Por outro lado, o importlib.reload() reutilizará o mesmo objeto módulo e simplesmente reinicializará o conteúdo do módulo executando novamente o código do módulo.

5.3.2. Localizadores e carregadores

Se o módulo nomeado não for encontrado em sys.modules, então o protocolo de importação do Python é invocado para localizar e carregar o módulo. Este protocolo consiste em dois objetos conceituais, localizadores e carregadores. O trabalho de um localizador é determinar se ele pode localizar o módulo nomeado usando qualquer estratégia que ele conheça. Objetos que implementam ambas essas interfaces são referenciadas como importadores – eles retornam a si mesmos, quando eles descobrem que eles podem carregar o módulo requisitado.

Python inclui um número de localizadores e carregadores padrões. O primeiro sabe como localizar módulos embutidos, e o segundo sabe como localizar módulos congelados. Um terceiro localizador padrão procura em um caminho de importação por módulos. O caminho de importação é uma lista de localizações que podem nomear caminhos de sistema de arquivo ou arquivos zip. Ele também pode ser estendido para buscar por qualquer recurso localizável, tais como aqueles identificados por URLs.

O mecanismo de importação é extensível, então novos localizadores podem ser adicionados para estender o alcance e o escopo de buscar módulos.

Localizadores na verdade não carregam módulos. Se eles conseguirem encontrar o módulo nomeado, eles retornam uma especificação do módulo, um encapsulamento da informação relacionada a importação do módulo, a qual o mecanismo de importação então usa quando o módulo é carregado.

As seguintes seções descrevem o protocolo para localizadores e carregadores em mais detalhes, incluindo como você pode criar e registrar novos para estender o mecanismo de importação.

Alterado na versão 3.4: Em versões anteriores do Python, localizadores retornavam carregadores diretamente, enquanto agora eles retornam especificações de módulo, as qual contêm carregadores. Carregadores ainda são usados durante a importação, mas possuem menos responsabilidades.

5.3.3. Ganchos de importação

O mecanismo de importação é desenhado para ser extensível; o mecanismo primário para isso são os ganchos de importação. Existem dois tipos de ganchos de importação: metaganchos e ganchos de importação de caminho.

Metaganchos são chamados no início do processo de importação, antes que qualquer outro processo de importação tenha ocorrido, que não seja busca de cache de sys.modules. Isso permite aos metaganchos substituir processamento de sys.path, módulos congelados ou mesmo módulos embutidos. Metaganchos são registrados adicionando novos objetos localizadores a sys.meta_path, conforme descrito abaixo.

Ganchos de caminho de importação são chamados como parte do processamento de sys.path (ou package.__path__), no ponto onde é encontrado o item do caminho associado. Ganchos de caminho de importação são registrados adicionando novos chamáveis para sys.path_hooks, conforme descrito abaixo.

5.3.4. O metacaminho

When the named module is not found in sys.modules, Python next searches sys.meta_path, which contains a list of meta path finder objects. These finders are queried in order to see if they know how to handle the named module. Meta path finders must implement a method called find_spec() which takes three arguments: a name, an import path, and (optionally) a target module. The meta path finder can use any strategy it wants to determine whether it can handle the named module or not.

Se o localizador de metacaminho souber como tratar o módulo nomeado, ele retorna um objeto com especificações. Se ele não puder tratar o módulo nomeado, ele retorna None. Se o processamento de sys.meta_path alcançar o fim da sua lista sem retornar uma especificação, então ModuleNotFoundError é levantada. Qualquer outras exceções levantadas são simplesmente propagadas para cima, abortando o processo de importação.

The find_spec() method of meta path finders is called with two or three arguments. The first is the fully qualified name of the module being imported, for example foo.bar.baz. The second argument is the path entries to use for the module search. For top-level modules, the second argument is None, but for submodules or subpackages, the second argument is the value of the parent package’s __path__ attribute. If the appropriate __path__ attribute cannot be accessed, a ModuleNotFoundError is raised. The third argument is an existing module object that will be the target of loading later. The import system passes in a target module only during reload.

O metacaminho pode ser percorrido múltiplas vezes para uma requisição de importação individual. Por exemplo, presumindo que nenhum dos módulos envolvidos já tenha sido cacheado, importar foo.bar.baz irá primeiro executar uma importação de alto nível, chamando mpf.find_spec("foo", None, None) em cada localizador de metacaminho (mpf). Depois que foo foi importado, foo.bar será importado percorrendo o metacaminho uma segunda vez, chamando mpf.find_spec("foo.bar", foo.__path__, None). Uma vez que foo.bar tenha sido importado, a travessia final irá chamar mpf.find_spec("foo.bar.baz", foo.bar.__path__, None).

Alguns localizadores de metacaminho apenas dão suporte a importações de alto nível. Estes importadores vão sempre retornar None quando qualquer coisa diferente de None for passada como o segundo argumento.

O sys.meta_path padrão do Python possui três localizador de metacaminho, um que sabe como importar módulos embutidos, um que sabe como importar módulos congelados, e outro que sabe como importar módulos de um caminho de importação (isto é, o localizador baseado no caminho).

Alterado na versão 3.4: O método find_spec() dos localizador de metacaminho substituiu find_module(), o qual agora foi descontinuado. Embora continue a funcionar sem alterações, a mecanismo de importação só tentará fazê-lo se o localizador não implementar find_spec().

Alterado na versão 3.10: O uso de find_module() pelo sistema de importação agora levanta ImportWarning.

Alterado na versão 3.12: find_module() foi removido. Use find_spec().

5.4. Carregando

Se e quando uma especificação do módulo for encontrada, o mecanismo de importação irá usá-lo (e o carregador que ele contém) durante o carregamento do módulo. Aqui está uma aproximação do que acontece durante a etapa de carregamento de uma importação:

module = None
if spec.loader is not None and hasattr(spec.loader, 'create_module'):
    # It is assumed 'exec_module' will also be defined on the loader.
    module = spec.loader.create_module(spec)
if module is None:
    module = ModuleType(spec.name)
# The import-related module attributes get set here:
_init_module_attrs(spec, module)

if spec.loader is None:
    # unsupported
    raise ImportError
if spec.origin is None and spec.submodule_search_locations is not None:
    # namespace package
    sys.modules[spec.name] = module
elif not hasattr(spec.loader, 'exec_module'):
    module = spec.loader.load_module(spec.name)
else:
    sys.modules[spec.name] = module
    try:
        spec.loader.exec_module(module)
    except BaseException:
        try:
            del sys.modules[spec.name]
        except KeyError:
            pass
        raise
return sys.modules[spec.name]

Perceba os seguintes detalhes:

Se houver um objeto módulo existente com o nome fornecido em sys.modules, a importação já tera retornado ele.

O módulo irá existir em sys.modules antes do carregador executar o código do módulo. Isso é crucial porque o código do módulo pode (direta ou indiretamente) importar a si mesmo; adicioná-lo a sys.modules antecipadamente previne recursão infinita no pior caso e múltiplos carregamentos no melhor caso.

Se o carregamento falhar, o módulo com falha – e apenas o módulo com falha – é removido de sys.modules. Qualquer módulo já presente no cache de sys.modules, e qualquer módulo que tenha sido carregado com sucesso como um efeito colateral, deve permanecer no cache. Isso contrasta com recarregamento, onde mesmo o módulo com falha é mantido em sys.modules.

Depois que o módulo é criado, mas antes da execução, o mecanismo de importação define os atributos de módulo relacionados a importação (“_init_module_attrs” no exemplo de pseudocódigo acima), assim como foi resumido em uma seção posterior.

Execução de módulo é o momento chave do carregamento, no qual o espaço de nomes do módulo é populado. Execução é inteiramente delegada para o carregador, o qual pode decidir o que será populado e como.

O módulo criado durante o carregamento e passado para exec_module() pode não ser aquele retornado ao final da importação [2].

Alterado na versão 3.4: O sistema de importação tem tomado conta das responsabilidades inerentes dos carregadores. Essas responsabilidades eram anteriormente executadas pelo método importlib.abc.Loader.load_module().

5.4.1. Carregadores

Os carregadores de módulo fornecem a função crítica de carregamento: execução do módulo. O mecanismo de importação chama o método importlib.abc.Loader.exec_module() com um único argumento, o objeto do módulo a ser executado. Qualquer valor retornado de exec_module() é ignorado.

Os carregadores devem atender aos seguintes requisitos:

Se o módulo for um módulo Python (em oposição a um módulo embutido ou uma extensão carregada dinamicamente), o carregador deve executar o código do módulo no espaço de nomes global do módulo (module.__dict__).

Se o carregador não puder executar o módulo, ele deve levantar uma execção ImportError, embora qualquer outra exceção levantada durante exec_module() será propagada.

Em muitos casos, o localizador e o carregador podem ser o mesmo objeto; nesses casos o método find_spec() apenas retornaria uma especificação com o carregador definido como self.

Os carregadores de módulo podem optar por criar o objeto do módulo durante o carregamento, implementando um método create_module(). Leva um argumento, a especificação do módulo e retorna o novo objeto do módulo para usar durante o carregamento. create_module() não precisa definir nenhum atributo no objeto do módulo. Se o método retornar None, o mecanismo de importação criará ele mesmo o novo módulo.

Adicionado na versão 3.4: O método create_module() de carregadores.

Alterado na versão 3.4: O método load_module() foi substituído por exec_module() e o mecanismo de importação assumiu todas as responsabilidades inerentes de carregamento.

Para compatibilidade com carregadores existentes, o mecanismo de importação usará o método load_module() de carregadores se ele existir e o carregador também não implementar exec_module(). No entanto, load_module() foi descontinuado e os carregadores devem implementar exec_module() em seu lugar.

O método load_module() deve implementar toda a funcionalidade inerente de carregamento descrita acima, além de executar o módulo. Todas as mesmas restrições se aplicam, com alguns esclarecimentos adicionais:

Se houver um objeto de módulo existente com o nome fornecido em sys.modules, o carregador deverá usar esse módulo existente. (Caso contrário, importlib.reload() não funcionará corretamente.) Se o módulo nomeado não existir em sys.modules, o carregador deverá criar um novo objeto de módulo e adicioná-lo a sys.modules.

O módulo deve existir em sys.modules antes que o carregador execute o código do módulo, para evitar recursão ilimitada ou carregamento múltiplo.

Se o carregamento falhar, o carregador deverá remover quaisquer módulos inseridos em sys.modules, mas deverá remover apenas o(s) módulo(s) com falha, e somente se o próprio carregador tiver carregado o(s) módulo(s) explicitamente.

Alterado na versão 3.5: Uma exceção DeprecationWarning é levantada quando exec_module() está definido, mas create_module() não.

Alterado na versão 3.6: Uma exceção ImportError é levantada quando exec_module() está definido, mas create_module() não.

Alterado na versão 3.10: O uso de load_module() vai levantar ImportWarning.

5.4.2. Submódulos

Quando um submódulo é carregado usando qualquer mecanismo (por exemplo, APIs importlib, as instruções import ou import-from, ou __import__() embutidas) uma ligação é colocada no espaço de nomes do módulo pai para o objeto submódulo. Por exemplo, se o pacote spam tiver um submódulo foo, após importar spam.foo, spam terá um atributo foo que está vinculado ao submódulo. Digamos que você tenha a seguinte estrutura de diretórios:

spam/
    __init__.py
    foo.py

e spam/__init__.py tem a seguinte linha:

from .foo import Foo

então executar o seguinte coloca ligações de nome para foo e Foo no módulo spam:

>>> import spam
>>> spam.foo
<module 'spam.foo' from '/tmp/imports/spam/foo.py'>
>>> spam.Foo
<class 'spam.foo.Foo'>

Dadas as conhecidas regras de ligação de nomes do Python, isso pode parecer surpreendente, mas na verdade é um recurso fundamental do sistema de importação. A propriedade invariante é que se você tiver sys.modules['spam'] e sys.modules['spam.foo'] (como faria após a importação acima), o último deve aparecer como o atributo foo do primeiro.

5.4.3. Module specs

O mecanismo de importação utiliza diversas informações sobre cada módulo durante a importação, principalmente antes do carregamento. A maior parte das informações é comum a todos os módulos. O propósito de uma especificação de módulo (spec) é encapsular essas informações relacionadas à importação por módulo.

Usar uma especificação durante a importação permite que o estado seja transferido entre componentes do sistema de importação, por exemplo. entre o localizador que cria a especificação do módulo e o carregador que o executa. Mais importante ainda, permite que o mecanismo de importação execute as operações inerentes de carregamento, enquanto que sem uma especificação de módulo o carregador tinha essa responsabilidade.

The module’s spec is exposed as module.__spec__. Setting __spec__ appropriately applies equally to modules initialized during interpreter startup. The one exception is __main__, where __spec__ is set to None in some cases.

See ModuleSpec for details on the contents of the module spec.

Adicionado na versão 3.4.

5.4.4. __path__ attributes on modules

The __path__ attribute should be a (possibly empty) sequence of strings enumerating the locations where the package’s submodules will be found. By definition, if a module has a __path__ attribute, it is a package.

A package’s __path__ attribute is used during imports of its subpackages. Within the import machinery, it functions much the same as sys.path, i.e. providing a list of locations to search for modules during import. However, __path__ is typically much more constrained than sys.path.

The same rules used for sys.path also apply to a package’s __path__. sys.path_hooks (described below) are consulted when traversing a package’s __path__.

A package’s __init__.py file may set or alter the package’s __path__ attribute, and this was typically the way namespace packages were implemented prior to PEP 420 [https://peps.python.org/pep-0420/]. With the adoption of PEP 420 [https://peps.python.org/pep-0420/], namespace packages no longer need to supply __init__.py files containing only __path__ manipulation code; the import machinery automatically sets __path__ correctly for the namespace package.

5.4.5. Representações do módulo

Por padrão, todos os módulos têm uma representação (repr) utilizável, no entanto, dependendo dos atributos definidos acima e da especificação do módulo, você pode controlar mais explicitamente a representação dos objetos módulo.

Se o módulo tiver uma especificação (__spec__), o mecanismo de importação tentará gerar uma representação a partir dele. Se isso falhar ou não houver nenhuma especificação, o sistema de importação criará uma representação padrão usando qualquer informação disponível no módulo. Ele tentará usar module.__name__, module.__file__ e module.__loader__ como entrada para a representação, com padrões para qualquer informação que esteja faltando.

Arquivo estão as exatas regras usadas:

Se o módulo tiver um atributo __spec__, a informação na especificação é usada para gerar a representação. Os atributos “name”, “loader”, “origin” e “has_location” são consultados.

Se o módulo tiver um atributo __file__, ele será usado como parte da representação do módulo.

Se o módulo não tem __file__ mas tem um __loader__ que não seja None, então a representação do carregador é usado como parte da representação do módulo.

Caso contrário, basta usar o __name__ do módulo na representação.

Alterado na versão 3.12: O uso de module_repr(), descontinuado desde o Python 3.4, foi removido no Python 3.12 e não é mais chamado durante a resolução da representação de um módulo.

5.4.6. Invalidação de bytecode em cache

Antes do Python carregar o bytecode armazenado em cache de um arquivo .pyc, ele verifica se o cache está atualizado com o arquivo fonte .py. Por padrão, o Python faz isso armazenando o registro de data e hora da última modificação da fonte e o tamanho no arquivo de cache ao escrevê-lo. No tempo de execução, o sistema de importação valida o arquivo de cache verificando os metadados armazenados no arquivo de cache em relação aos metadados do código-fonte.

Python também oferece suporte a arquivos de cache “baseados em hash”, que armazenam um hash do conteúdo do arquivo fonte em vez de seus metadados. Existem duas variantes de arquivos .pyc baseados em hash: verificados e não verificados. Para arquivos .pyc baseados em hash verificados, o Python valida o arquivo de cache fazendo hash do arquivo fonte e comparando o hash resultante com o hash no arquivo de cache. Se um arquivo de cache baseado em hash verificado for inválido, o Python o regenerará e gravará um novo arquivo de cache baseado em hash verificado. Para arquivos .pyc baseados em hash não verificados, o Python simplesmente presume que o arquivo de cache é válido, se existir. O comportamento de validação de arquivos .pyc baseados em hash pode ser substituído pelo sinalizador --check-hash-based-pycs.

Alterado na versão 3.7: Adicionados arquivos .pyc baseados em hash. Anteriormente, o Python oferecia suporte apenas à invalidação de caches de bytecode baseada em registro de data e hora.

5.5. O localizador baseado no caminho

Conforme mencionado anteriormente, Python vem com vários localizadores de metacaminho padrão. Um deles, chamado localizador baseado no caminho (PathFinder), pesquisa um caminho de importação, que contém uma lista de entradas de caminho. Cada entrada de caminho nomeia um local para procurar módulos.

O próprio localizador baseado no caminho não sabe como importar nada. Em vez disso, ele percorre as entradas de caminho individuais, associando cada uma delas a um localizador de entrada de caminho que sabe como lidar com esse tipo específico de caminho.

O conjunto padrão de localizadores de entrada de caminho implementa toda a semântica para localizar módulos no sistema de arquivos, manipulando tipos de arquivos especiais, como código-fonte Python (arquivos .py), código de bytes Python (arquivos .pyc) e bibliotecas compartilhadas (por exemplo, arquivos .so). Quando suportado pelo módulo zipimport na biblioteca padrão, os localizadores de entrada de caminho padrão também lidam com o carregamento de todos esses tipos de arquivos (exceto bibliotecas compartilhadas) de arquivos zip.

As entradas de caminho não precisam ser limitadas aos locais do sistema de arquivos. Eles podem referir-se a URLs, consultas de banco de dados ou qualquer outro local que possa ser especificado como uma string.

O localizador baseado no caminho fornece ganchos e protocolos adicionais para que você possa estender e personalizar os tipos de entradas de caminho pesquisáveis. Por exemplo, se você quiser oferecer suporte a entradas de caminho como URLs de rede, poderá escrever um gancho que implemente a semântica HTTP para localizar módulos na web. Este gancho (um chamável) retornaria um localizador de entrada de caminho suportando o protocolo descrito abaixo, que foi então usado para obter um carregador para o módulo da web.

Uma palavra de advertência: esta seção e a anterior usam o termo localizador, distinguindo-os usando os termos localizador de metacaminho e localizador de entrada de caminho. Esses dois tipos de localizadores são muito semelhantes, oferecem suporte a protocolos semelhantes e funcionam de maneira semelhante durante o processo de importação, mas é importante ter em mente que eles são sutilmente diferentes. Em particular, os localizadores de metacaminho operam no início do processo de importação, conforme a travessia de sys.meta_path.

Por outro lado, os localizadores de entrada de caminho são, em certo sentido, um detalhe de implementação do localizador baseado no caminho e, de fato, se o localizador baseado no caminho fosse removido de sys.meta_path, nenhuma semântica do localizador de entrada de caminho seria ser invocado.

5.5.1. Localizadores de entrada de caminho

O localizador baseado no caminho é responsável por encontrar e carregar módulos e pacotes Python cuja localização é especificada com uma string entrada de caminho. A maioria das entradas de caminho nomeiam locais no sistema de arquivos, mas não precisam ser limitadas a isso.

Como um localizador de metacaminho, o localizador baseado no caminho implementa o protocolo find_spec() descrito anteriormente, no entanto, ele expõe ganchos adicionais que podem ser usados para personalizar como os módulos são encontrados e carregado do caminho de importação.

Três variáveis são usadas pelo localizador baseado no caminho, sys.path, sys.path_hooks e sys.path_importer_cache. Os atributos __path__ em objetos de pacote também são usados. Eles fornecem maneiras adicionais de personalizar o mecanismo de importação.

sys.path contém uma lista de strings fornecendo locais de pesquisa para módulos e pacotes. Ele é inicializado a partir da variável de ambiente PYTHONPATH e vários outros padrões específicos de instalação e implementação. Entradas em sys.path podem nomear diretórios no sistema de arquivos, arquivos zip e potencialmente outros “locais” (veja o módulo site) que devem ser pesquisados por módulos, como URLs, ou consultas ao banco de dados. Apenas strings devem estar presentes em sys.path; todos os outros tipos de dados são ignorados.

O localizador baseado no caminho é um localizador de metacaminho, então o mecanismo de importação inicia a pesquisa no caminho de importação chamando o método find_spec() do localizador baseado no caminho conforme descrito anteriormente. Quando o argumento path para find_spec() for fornecido, será uma lista de caminhos de string a serem percorridos – normalmente o atributo __path__ de um pacote para uma importação dentro desse pacote. Se o argumento path for None, isso indica uma importação de nível superior e sys.path é usado.

O localizador baseado no caminho itera sobre cada entrada no caminho de pesquisa e, para cada uma delas, procura um localizador de entrada de caminho (PathEntryFinder) apropriado para a entrada do caminho. Como esta pode ser uma operação custosa (por exemplo, pode haver sobrecargas de chamada stat() para esta pesquisa), o localizador baseado no caminho mantém um cache mapeando entradas de caminho para localizadores de entrada de caminho. Este cache é mantido em sys.path_importer_cache (apesar do nome, este cache na verdade armazena objetos localizadores em vez de ser limitado a objetos importador). Desta forma, a dispendiosa busca pelo localizador de entrada de caminho de local específico de uma entrada de caminho só precisa ser feita uma vez. O código do usuário é livre para remover entradas de cache de sys.path_importer_cache, forçando o localizador baseado no caminho a realizar a pesquisa de entrada de caminho novamente.

Se a entrada de caminho não estiver presente no cache, o localizador baseado no caminho itera sobre cada chamável em sys.path_hooks. Cada um dos ganchos de entrada de caminho nesta lista é chamado com um único argumento, a entrada de caminho a ser pesquisada. Este chamável pode retornar um localizador de entrada de caminho que pode manipular a entrada de caminho ou pode levantar ImportError. Um ImportError é usado pelo localizador baseado no caminho para sinalizar que o gancho não consegue encontrar um localizador de entrada de caminho para aquela entrada de caminho. A exceção é ignorada e a iteração com o caminho de importação continua. O gancho deve esperar um objeto string ou bytes; a codificação de objetos bytes depende do gancho (por exemplo, pode ser uma codificação de sistema de arquivos, UTF-8 ou outra coisa) e, se o gancho não puder decodificar o argumento, ele deve levantar ImportError.

Se a iteração sys.path_hooks terminar sem que nenhum localizador de entrada de caminho seja retornado, o método find_spec() do localizador baseado no caminho armazenará None em sys.path_importer_cache (para indicar que não há um localizador para esta entrada de caminho) e retornará None, indicando que este localizador de metacaminho não conseguiu encontrar o módulo.

Se um localizador de entrada de caminho for retornado por um dos chamáveis de gancho de entrada de caminho ​​em sys.path_hooks, então o seguinte protocolo é usado para solicitar ao localizador uma especificação de módulo, que é então usada ao carregar o módulo.

O diretório de trabalho atual – denotado por uma string vazia – é tratado de forma ligeiramente diferente de outras entradas em sys.path. Primeiro, se o diretório de trabalho atual for considerado inexistente, nenhum valor será armazenado em sys.path_importer_cache. Segundo, o valor para o diretório de trabalho atual é pesquisado novamente para cada pesquisa de módulo. Terceiro, o caminho usado para sys.path_importer_cache e retornado por importlib.machinery.PathFinder.find_spec() será o diretório de trabalho atual real e não a string vazia.

5.5.2. Protocolo do localizador de entrada de caminho

Para dar suporte a importações de módulos e pacotes inicializados e também contribuir com partes para pacotes de espaço de nomes, os localizadores de entrada de caminho devem implementar o método find_spec().

find_spec() recebe dois argumentos: o nome totalmente qualificado do módulo que está sendo importado e o módulo de destino (opcional). find_spec() retorna uma especificação totalmente preenchida para o módulo. Esta especificação sempre terá “loader” definido (com uma exceção).

Para indicar ao maquinário de importação que a especificação representa uma porção de espaço de nomes, o localizador de entrada de caminho define submodule_search_locations como uma lista contendo a porção.

Alterado na versão 3.4: find_spec() substituiu find_loader() e find_module(), ambos descontinuados, mas serão usados ​​se find_spec() não estiver definido.

Os localizadores de entrada de caminho mais antigos podem implementar um desses dois métodos descontinuados em vez de find_spec(). Os métodos ainda são respeitados para fins de compatibilidade com versões anteriores. No entanto, se find_spec() for implementado no localizador de entrada de caminho, os métodos legados serão ignorados.

find_loader() recebe um argumento, o nome totalmente qualificado do módulo que está sendo importado. find_loader() retorna uma tupla 2 onde o primeiro item é o carregador e o segundo item é uma porção de espaço de nomes.

Para compatibilidade com versões anteriores de outras implementações do protocolo de importação, muitos localizadores de entrada de caminho também dão suporte ao mesmo método tradicional find_module() que os localizadores de metacaminho. No entanto, os métodos find_module() do localizador de entrada de caminho nunca são chamados com um argumento path (espera-se que eles registrem as informações de caminho apropriadas da chamada inicial para o gancho de caminho).

O método find_module() em localizadores de entrada de caminho foi descontinuado, pois não permite que o localizador de entrada de caminho contribua com porções para pacotes de espaço de nomes. Se find_loader() e find_module() existirem em um localizador de entrada de caminho, o sistema de importação sempre chamará find_loader() em preferência a find_module().

Alterado na versão 3.10: Chamadas para find_module() e find_loader() pelo sistema de importação vão levantar ImportWarning.

Alterado na versão 3.12: find_module() e find_loader() foram removidos.

5.6. Substituindo o sistema de importação padrão

O mecanismo mais confiável para substituir todo o sistema de importação é excluir o conteúdo padrão de sys.meta_path, substituindo-o inteiramente por um gancho de metacaminho personalizado.

Se for aceitável alterar apenas o comportamento de instruções de importação sem afetar outras APIs que acessam o sistema de importação, então substituir a função embutida __import__() pode ser suficiente. Essa técnica também pode ser empregada no nível do módulo para alterar apenas o comportamento de instruções de importação dentro desse módulo.

Para impedir seletivamente a importação de alguns módulos de um gancho no início do metacaminho (em vez de desabilitar o sistema de importação padrão completamente), é suficiente levantar ModuleNotFoundError diretamente de find_spec() em vez de retornar None. O último indica que a busca do metacaminho deve continuar, enquanto levantar uma exceção a encerra imediatamente.

5.7. Importações relativas ao pacote

Importações relativas usam caracteres de ponto no início. Um único ponto no início indica uma importação relativa, começando com o pacote atual. Dois ou mais pontos no início indicam uma importação relativa para o(s) pai(s) do pacote atual, um nível por ponto após o primeiro. Por exemplo, dado o seguinte layout de pacote:

package/
    __init__.py
    subpackage1/
        __init__.py
        moduleX.py
        moduleY.py
    subpackage2/
        __init__.py
        moduleZ.py
    moduleA.py

Em subpackage1/moduleX.py ou subpackage1/__init__.py, as seguintes são importações relativas válidas:

from .moduleY import spam
from .moduleY import spam as ham
from . import moduleY
from ..subpackage1 import moduleY
from ..subpackage2.moduleZ import eggs
from ..moduleA import foo

Importações absolutas podem usar a sintaxe import <> ou from <> import <>, mas importações relativas podem usar apenas a segunda forma; o motivo para isso é que:

import XXX.YYY.ZZZ

deve expor XXX.YYY.ZZZ como uma expressão utilizável, mas .moduleY não é uma expressão válida.

5.8. Considerações especiais para __main__

O módulo __main__ é um caso especial em relação ao sistema de importação do Python. Conforme observado em em outro lugar, o módulo __main__ é inicializado diretamente na inicialização do interpretador, muito parecido com sys e builtins. No entanto, diferentemente desses dois, ele não se qualifica estritamente como um módulo integrado. Isso ocorre porque a maneira como __main__ é inicializado depende dos sinalizadores e outras opções com as quais o interpretador é invocado.

5.8.1. __main__.__spec__

Dependendo de como __main__ é inicializado, __main__.__spec__ é definido apropriadamente ou como None.

Quando o Python é iniciado com a opção -m, __spec__ é definido como a especificação do módulo ou pacote correspondente. __spec__ também é preenchido quando o módulo __main__ é carregado como parte da execução de um diretório, arquivo zip ou outra entrada sys.path.

Nos demais casos, __main__.__spec__ é definido como None, pois o código usado para preencher o __main__ não corresponde diretamente a um módulo importável:

prompt interativo

opção -c

executar a partir de stdin

executar diretamente de um arquivo de código-fonte ou bytecode

Note que __main__.__spec__ é sempre None no último caso, mesmo se o arquivo pudesse ser importado diretamente como um módulo. Use a opção -m se metadados de módulo válidos forem desejados em __main__.

Note também que mesmo quando __main__ corresponde a um módulo importável e __main__.__spec__ é definido adequadamente, eles ainda são considerados módulos distintos. Isso se deve ao fato de que os blocos protegidos por verificações if __name__ == "__main__": são executados somente quando o módulo é usado para preencher o espaço de nomes __main__, e não durante a importação normal.

5.9. Referências

O maquinário de importação evoluiu consideravelmente desde os primeiros dias do Python. A especificação original para pacotes [https://www.python.org/doc/essays/packages/] ainda está disponível para leitura, embora alguns detalhes tenham mudado desde a escrita desse documento.

A especificação original para sys.meta_path era PEP 302 [https://peps.python.org/pep-0302/], com extensão subsequente em PEP 420 [https://peps.python.org/pep-0420/].

PEP 420 [https://peps.python.org/pep-0420/] introduziu pacotes de espaço de nomes para Python 3.3. PEP 420 [https://peps.python.org/pep-0420/] também introduziu o protocolo find_loader() como uma alternativa ao find_module().

PEP 366 [https://peps.python.org/pep-0366/] descreve a adição do atributo __package__ para importações relativas explícitas em módulos principais.

PEP 328 [https://peps.python.org/pep-0328/] introduziu importações relativas absolutas e explícitas e inicialmente propôs __name__ para semântica. PEP 366 [https://peps.python.org/pep-0366/] eventualmente especificaria __package__.

PEP 338 [https://peps.python.org/pep-0338/] define módulos de execução como scripts.

PEP 451 [https://peps.python.org/pep-0451/] adiciona o encapsulamento do estado de importação por módulo em objetos de especificação. Ele também descarrega a maioria das responsabilidades inerentes dos carregadores de volta para o maquinário de importação. Essas mudanças permitem a descontinuação de várias APIs no sistema de importação e também a adição de novos métodos para localizadores e carregadores.

Notas de rodapé

[1]

Veja types.ModuleType.

[2]

A implementação de importlib evita usar o valor de retorno diretamente. Em vez disso, ela obtém o objeto do módulo procurando o nome do módulo em sys.modules. O efeito indireto disso é que um módulo importado pode substituir a si mesmo em sys.modules. Esse é um comportamento específico da implementação que não tem garantia de funcionar em outras implementações do Python.

6. Expressões

Este capítulo explica o significado dos elementos das expressões em Python.

Notas de sintaxe: Neste e nos capítulos seguintes, a notação BNF estendida será usada para descrever a sintaxe, não a análise lexical. Quando (uma alternativa de) uma regra de sintaxe tem a forma

name ::=  othername

e nenhuma semântica é fornecida, a semântica desta forma de name é a mesma que para othername.

6.1. Conversões aritméticas

Quando uma descrição de um operador aritmético abaixo usa a frase “os argumentos numéricos são convertidos em um tipo comum”, isso significa que a implementação do operador para tipos embutidos funciona da seguinte maneira:

Se um dos argumentos for um número complexo, o outro será convertido em complexo;

caso contrário, se um dos argumentos for um número de ponto flutuante, o outro será convertido em ponto flutuante;

caso contrário, ambos devem ser inteiros e nenhuma conversão é necessária.

Algumas regras adicionais se aplicam a certos operadores (por exemplo, uma string como um argumento à esquerda para o operador ‘%’). As extensões devem definir seu próprio comportamento de conversão.

6.2. Átomos

Os átomos são os elementos mais básicos das expressões. Os átomos mais simples são identificadores ou literais. As formas entre parênteses, colchetes ou chaves também são categorizadas sintaticamente como átomos. A sintaxe para átomos é:

atom      ::=  identifier | literal | enclosure
enclosure ::=  parenth_form | list_display | dict_display | set_display
               | generator_expression | yield_atom

6.2.1. Identificadores (Nomes)

Um identificador que ocorre como um átomo é um nome. Veja a seção Identificadores e palavras-chave para a definição lexical e a seção Nomeação e ligação para documentação de nomenclatura e ligação.

Quando o nome está vinculado a um objeto, a avaliação do átomo produz esse objeto. Quando um nome não está vinculado, uma tentativa de avaliá-lo levanta uma exceção NameError.

6.2.1.1. Desfiguração de nome privado

Quando um identificador que ocorre textualmente em uma definição de classe começa com dois ou mais caracteres de sublinhado e não termina com dois ou mais sublinhados, ele é considerado um nome privado daquela classe.

Ver também

As especificações de classe.

Mais precisamente, os nomes privados são transformados em um formato mais longo antes que o código seja gerado para eles. Se o nome transformado tiver mais de 255 caracteres, poderá ocorrer truncamento definido pela implementação.

A transformação é independente do contexto sintático no qual o identificador é usado, mas apenas os seguintes identificadores privados são desfigurados:

Qualquer nome usado como nome de uma variável que é atribuída ou lida ou qualquer nome de um atributo que está sendo acessado.

O atributo __name__ de funções aninhadas, classes e apelidos de tipo, entretanto, não é desfigurado.

O nome dos módulos importados, por exemplo, __spam em import __spam. Se o módulo faz parte de um pacote (ou seja, seu nome contém um ponto), o nome não é desfigurado, por exemplo, o __foo em import __foo.bar não é desfigurado.

O nome de um membro importado, por exemplo, __f em from spam import __f.

A regra de transformação está definida da seguinte forma:

O nome da classe, com os sublinhados iniciais removidos e um único sublinhado inicial inserido, é inserido na frente do identificador, por exemplo, o identificador __spam ocorrendo em uma classe chamada Foo, _Foo ou __Foo é transformado em _Foo__spam.

Se o nome da classe consiste apenas em sublinhados, a transformação é a identidade, por exemplo, o identificador __spam que ocorre em uma classe chamada _ ou __ é deixado como está.

6.2.2. Literais

Python oferece suporte a strings e bytes literais e vários literais numéricos:

literal ::=  stringliteral | bytesliteral
             | integer | floatnumber | imagnumber

A avaliação de um literal produz um objeto do tipo fornecido (string, bytes, inteiro, número de ponto flutuante, número complexo) com o valor fornecido. O valor pode ser aproximado no caso de ponto flutuante e literais imaginários (complexos). Veja a seção Literais para detalhes.

Todos os literais correspondem a tipos de dados imutáveis e, portanto, a identidade do objeto é menos importante que seu valor. Múltiplas avaliações de literais com o mesmo valor (seja a mesma ocorrência no texto do programa ou uma ocorrência diferente) podem obter o mesmo objeto ou um objeto diferente com o mesmo valor.

6.2.3. Formas de parênteses

Um forma entre parênteses é uma lista de expressões opcional entre parênteses:

parenth_form ::=  "(" [starred_expression] ")"

Uma lista de expressões entre parênteses produz tudo o que aquela lista de expressões produz: se a lista contiver pelo menos uma vírgula, ela produzirá uma tupla; caso contrário, produz a única expressão que compõe a lista de expressões.

Um par de parênteses vazio produz um objeto tupla vazio. Como as tuplas são imutáveis, aplicam-se as mesmas regras dos literais (isto é, duas ocorrências da tupla vazia podem ou não produzir o mesmo objeto).

Observe que as tuplas não são formadas pelos parênteses, mas sim pelo uso da vírgula. A exceção é a tupla vazia, para a qual os parênteses são obrigatórios – permitir “nada” sem parênteses em expressões causaria ambiguidades e permitiria que erros de digitação comuns passassem sem serem detectados.

6.2.4. Sintaxe de criação de listas, conjuntos e dicionários

Para construir uma lista, um conjunto ou um dicionário, o Python fornece uma sintaxe especial chamada “sintaxes de criação” (em inglês, displays), cada uma delas em dois tipos:

o conteúdo do contêiner é listado explicitamente ou

eles são calculados por meio de um conjunto de instruções de laço e filtragem, chamado de compreensão.

Elementos de sintaxe comuns para compreensões são:

comprehension ::=  assignment_expression comp_for
comp_for      ::=  ["async"] "for" target_list "in" or_test [comp_iter]
comp_iter     ::=  comp_for | comp_if
comp_if       ::=  "if" or_test [comp_iter]

A compreensão consiste em uma única expressão seguida por pelo menos uma cláusula for e zero ou mais cláusulas for ou if. Neste caso, os elementos do novo contêiner são aqueles que seriam produzidos considerando cada uma das cláusulas for ou if de um bloco, aninhando da esquerda para a direita, e avaliando a expressão para produzir um elemento cada vez que o bloco mais interno é alcançado.

No entanto, além da expressão iterável na cláusula for mais à esquerda, a compreensão é executada em um escopo aninhado implicitamente separado. Isso garante que os nomes atribuídos na lista de destino não “vazem” para o escopo delimitador.

A expressão iterável na cláusula for mais à esquerda é avaliada diretamente no escopo envolvente e então passada como um argumento para o escopo aninhado implicitamente. Cláusulas for subsequentes e qualquer condição de filtro na cláusula for mais à esquerda não podem ser avaliadas no escopo delimitador, pois podem depender dos valores obtidos do iterável mais à esquerda. Por exemplo: [x*y for x in range(10) for y in range(x, x+10)].

Para garantir que a compreensão sempre resulte em um contêiner do tipo apropriado, as expressões yield e yield from são proibidas no escopo aninhado implicitamente.

Desde o Python 3.6, em uma função async def, uma cláusula async for pode ser usada para iterar sobre um iterador assíncrono. Uma compreensão em uma função async def pode consistir em uma cláusula for ou async for seguindo a expressão inicial, pode conter for adicional ou async for e também pode usar expressões await.

Se uma compreensão contém cláusulas async for, ou se contém expressões await ou outras compreensões assíncronas em qualquer lugar, exceto a expressão iterável na cláusula for mais à esquerda, ela é chamada uma compreensão assíncrona. Uma compreensão assíncrona pode suspender a execução da função de corrotina em que aparece. Veja também a PEP 530 [https://peps.python.org/pep-0530/].

Adicionado na versão 3.6: Compreensões assíncronas foram introduzidas.

Alterado na versão 3.8: yield e yield from proibidos no escopo aninhado implícito.

Alterado na versão 3.11: Compreensões assíncronas agora são permitidas dentro de compreensões em funções assíncronas. As compreensões externas tornam-se implicitamente assíncronas.

6.2.5. Sintaxes de criação de lista

Uma sintaxe de criação de lista é uma série possivelmente vazia de expressões entre colchetes:

list_display ::=  "[" [flexible_expression_list | comprehension] "]"

Uma sintaxe de criação de lista produz um novo objeto de lista, sendo o conteúdo especificado por uma lista de expressões ou uma compreensão. Quando uma lista de expressões separadas por vírgulas é fornecida, seus elementos são avaliados da esquerda para a direita e colocados no objeto de lista nessa ordem. Quando uma compreensão é fornecida, a lista é construída a partir dos elementos resultantes da compreensão.

6.2.6. Sintaxes de criação de conjunto

Uma sintaxe de criação definida é denotada por chaves e distinguível de sintaxes de criação de dicionário pela falta de caractere de dois pontos separando chaves e valores:

set_display ::=  "{" (flexible_expression_list | comprehension) "}"

Uma sintaxe de criação de conjunto produz um novo objeto de conjunto mutável, sendo o conteúdo especificado por uma sequência de expressões ou uma compreensão. Quando uma lista de expressões separadas por vírgula é fornecida, seus elementos são avaliados da esquerda para a direita e adicionados ao objeto definido. Quando uma compreensão é fornecida, o conjunto é construído a partir dos elementos resultantes da compreensão.

Um conjunto vazio não pode ser construído com {}; este literal constrói um dicionário vazio.

6.2.7. Sintaxes de criação de dicionário

Uma sintaxe de criação de dicionário é uma série possivelmente vazia de itens de dicionário (pares chave/valor) envolto entre chaves:

dict_display       ::=  "{" [dict_item_list | dict_comprehension] "}"
dict_item_list     ::=  dict_item ("," dict_item)* [","]
dict_item          ::=  expression ":" expression | "**" or_expr
dict_comprehension ::=  expression ":" expression comp_for

Uma sintaxe de criação de dicionário produz um novo objeto dicionário.

Se for fornecida uma sequência separada por vírgulas de itens de dicionário, eles são avaliados da esquerda para a direita para definir as entradas do dicionário: cada objeto chave é usado como uma chave no dicionário para armazenar o valor correspondente. Isso significa que você pode especificar a mesma chave várias vezes na lista de itens de dicionário, e o valor final do dicionário para essa chave será o último dado.

Um asterisco duplo ** denota desempacotamento do dicionário. Seu operando deve ser um mapeamento. Cada item de mapeamento é adicionado ao novo dicionário. Os valores posteriores substituem os valores já definidos por itens de dicionário anteriores e desempacotamentos de dicionário anteriores.

Adicionado na versão 3.5: Desempacotando em sintaxes de criação de dicionário, originalmente proposto pela PEP 448 [https://peps.python.org/pep-0448/].

Uma compreensão de dict, em contraste com as compreensões de lista e conjunto, precisa de duas expressões separadas por dois pontos, seguidas pelas cláusulas usuais “for” e “if”. Quando a compreensão é executada, os elementos chave e valor resultantes são inseridos no novo dicionário na ordem em que são produzidos.

Restrições nos tipos de valores de chave são listadas anteriormente na seção A hierarquia de tipos padrão. (Para resumir, o tipo de chave deve ser hasheável, que exclui todos os objetos mutáveis.) Não são detectadas colisões entre chaves duplicadas; o último valor (textualmente mais à direita na sintaxe de criação) armazenado para um determinado valor de chave prevalece.

Alterado na versão 3.8: Antes do Python 3.8, em compreensões de dict, a ordem de avaliação de chave e valor não era bem definida. No CPython, o valor foi avaliado antes da chave. A partir de 3.8, a chave é avaliada antes do valor, conforme proposto pela PEP 572 [https://peps.python.org/pep-0572/].

6.2.8. Expressões geradoras

Uma expressão geradora é uma notação geradora compacta entre parênteses:

generator_expression ::=  "(" expression comp_for ")"

Uma expressão geradora produz um novo objeto gerador. Sua sintaxe é a mesma das compreensões, exceto pelo fato de estar entre parênteses em vez de colchetes ou chaves.

As variáveis usadas na expressão geradora são avaliadas lentamente quando o método __next__() é chamado para o objeto gerador (da mesma forma que os geradores normais). No entanto, a expressão iterável na cláusula for mais à esquerda é avaliada imediatamente, de modo que um erro produzido por ela será emitido no ponto em que a expressão do gerador é definida, em vez de no ponto em que o primeiro valor é recuperado. Cláusulas for subsequentes e qualquer condição de filtro na cláusula for mais à esquerda não podem ser avaliadas no escopo delimitador, pois podem depender dos valores obtidos do iterável mais à esquerda. Por exemplo: (x*y for x in range(10) for y in range(x, x+10)).

Os parênteses podem ser omitidos em chamadas com apenas um argumento. Veja a seção Chamadas para detalhes.

Para evitar interferir com a operação esperada da própria expressão geradora, as expressões yield e yield from são proibidas no gerador definido implicitamente.

Se uma expressão geradora contém cláusulas async for ou expressões await, ela é chamada de expressão geradora assíncrona. Uma expressão geradora assíncrona retorna um novo objeto gerador assíncrono, que é um iterador assíncrono (consulte Iteradores assíncronos).

Adicionado na versão 3.6: Expressões geradoras assíncronas foram introduzidas.

Alterado na versão 3.7: Antes do Python 3.7, as expressões geradoras assíncronas só podiam aparecer em corrotinas async def. A partir da versão 3.7, qualquer função pode usar expressões geradoras assíncronas.

Alterado na versão 3.8: yield e yield from proibidos no escopo aninhado implícito.

6.2.9. Expressões yield

yield_atom       ::=  "(" yield_expression ")"
yield_from       ::=  "yield" "from" expression
yield_expression ::=  "yield" yield_list | yield_from

A expressão yield é usada ao definir uma função generadora ou uma função geradora assíncrona e, portanto, só pode ser usada no corpo de uma definição de função. Usar uma expressão yield no corpo de uma função faz com que essa função seja uma função geradora, e usá-la no corpo de uma função async def faz com que essa função de corrotina seja uma função geradora assíncrona. Por exemplo:

def gen():  # define uma função geradora
    yield 123

async def agen(): # define uma função geradora assíncrona
    yield 123

Devido a seus efeitos colaterais no escopo recipiente, as expressões yield não são permitidas como parte dos escopos definidos implicitamente usados para implementar compreensões e expressões geradoras.

Alterado na versão 3.8: Expressões yield proibidas nos escopos aninhados implicitamente usados para implementar compreensões e expressões geradoras.

As funções geradoras são descritas abaixo, enquanto as funções geradoras assíncronas são descritas separadamente na seção Funções geradoras assíncronas

Quando uma função geradora é chamada, ela retorna um iterador conhecido como gerador. Esse gerador então controla a execução da função geradora. A execução começa quando um dos métodos do gerador é chamado. Nesse momento, a execução segue para a primeira expressão yield, onde é suspensa novamente, retornando o valor de yield_list ao chamador do gerador, ou None se yield_list é omitido. Por suspenso, queremos dizer que todo o estado local é retido, incluindo as chamadas atuais de variáveis locais, o ponteiro de instrução, a pilha de avaliação interna e o estado de qualquer tratamento de exceção. Quando a execução é retomada chamando um dos métodos do gerador, a função pode prosseguir exatamente como se a expressão yield fosse apenas outra chamada externa. O valor da expressão yield após a retomada depende do método que retomou a execução. Se __next__() for usado (tipicamente através de uma for ou do next() embutido) então o resultado será None. Caso contrário, se send() for usado, o resultado será o valor passado para esse método.

Tudo isso torna as funções geradoras bastante semelhantes às corrotinas; cedem múltiplas vezes, possuem mais de um ponto de entrada e sua execução pode ser suspensa. A única diferença é que uma função geradora não pode controlar onde a execução deve continuar após o seu rendimento; o controle é sempre transferido para o chamador do gerador.

Expressões yield são permitidas em qualquer lugar em uma construção try. Se o gerador não for retomado antes de ser finalizado (ao atingir uma contagem de referências zero ou ao ser coletado como lixo), o método close() do iterador de gerador será chamado, permitindo que quaisquer cláusulas finally pendentes sejam executadas.

Quando yield from <expr> é usado, a expressão fornecida deve ser iterável. Os valores produzidos pela iteração desse iterável são passados diretamente para o chamador dos métodos do gerador atual. Quaisquer valores passados com send() e quaisquer exceções passadas com throw() são passados para o iterador subjacente se ele tiver os métodos apropriados. Se este não for o caso, então send() irá levantar AttributeError ou TypeError, enquanto throw() irá apenas levantar a exceção passada imediatamente.

Quando o iterador subjacente estiver completo, o atributo value da instância StopIteration gerada torna-se o valor da expressão yield. Ele pode ser definido explicitamente ao levantar StopIteration ou automaticamente quando o subiterador é um gerador (retornando um valor do subgerador).

Alterado na versão 3.3: Adicionado yield from <expr> para delegar o fluxo de controle a um subiterador.

Os parênteses podem ser omitidos quando a expressão yield é a única expressão no lado direito de uma instrução de atribuição.

Ver também

PEP 255 [https://peps.python.org/pep-0255/] - Geradores simples

A proposta para adicionar geradores e a instrução yield ao Python.

PEP 342 [https://peps.python.org/pep-0342/] - Corrotinas via Geradores Aprimorados

A proposta de aprimorar a API e a sintaxe dos geradores, tornando-os utilizáveis como simples corrotinas.

PEP 380 [https://peps.python.org/pep-0380/] - Sintaxe para Delegar a um Subgerador

A proposta de introduzir a sintaxe yield_from, facilitando a delegação a subgeradores.

PEP 525 [https://peps.python.org/pep-0525/] - Geradores assíncronos

A proposta que se expandiu em PEP 492 [https://peps.python.org/pep-0492/] adicionando recursos de gerador a funções de corrotina.

6.2.9.1. Métodos de iterador gerador

Esta subseção descreve os métodos de um iterador gerador. Eles podem ser usados para controlar a execução de uma função geradora.

Observe que chamar qualquer um dos métodos do gerador abaixo quando o gerador já estiver em execução levanta uma exceção ValueError.

generator.__next__()

Inicia a execução de uma função geradora ou a retoma na última expressão yield executada. Quando uma função geradora é retomada com um método __next__(), a expressão yield atual sempre é avaliada como None. A execução então continua para a próxima expressão yield, onde o gerador é suspenso novamente, e o valor de yield_list é retornado para o chamador de __next__(). Se o gerador sair sem produzir outro valor, uma exceção StopIteration será levantada.

Este método é normalmente chamado implicitamente, por exemplo por um laço for, ou pela função embutida next().

generator.send(value)

Retoma a execução e “envia” um valor para a função geradora. O argumento value torna-se o resultado da expressão yield atual. O método send() retorna o próximo valor gerado pelo gerador, ou levanta StopIteration se o gerador sair sem produzir outro valor. Quando send() é chamado para iniciar o gerador, ele deve ser chamado com None como argumento, porque não há nenhuma expressão yield que possa receber o valor.

generator.throw(value)

generator.throw(type[, value[, traceback]])

Levanta uma exceção no ponto em que o gerador foi pausado e retorna o próximo valor gerado pela função geradora. Se o gerador sair sem gerar outro valor, uma exceção StopIteration será levantada. Se a função geradora não detectar a exceção passada ou levanta uma exceção diferente, essa exceção se propagará para o chamador.

Em uso típico, isso é chamado com uma única instância de exceção semelhante à forma como a palavra reservada raise é usada.

Para compatibilidade com versões anteriores, no entanto, a segunda assinatura é suportada, seguindo uma convenção de versões mais antigas do Python. O argumento type deve ser uma classe de exceção e value deve ser uma instância de exceção. Se o valor não for fornecido, o construtor tipo será chamado para obter uma instância. Se traceback for fornecido, ele será definido na exceção, caso contrário, qualquer atributo __traceback__ existente armazenado em value poderá ser limpo.

Alterado na versão 3.12: A segunda assinatura (tipo[, valor[, traceback]]) foi descontinuada e pode ser removida em uma versão futura do Python.

generator.close()

Levanta GeneratorExit no ponto onde a função geradora foi pausada. Se a função geradora captura a exceção, e retorna um valor, este valor é retornado de close(). Se a função geradora já estiver fechada ou levantar GeneratorExit (por não capturar a exceção), close() retornará None. Se o gerador produzir um valor, uma exceção RuntimeError é levantada. Se o gerador levantar qualquer outra exceção, ela será propagada para o chamador. Se o gerador já saiu devido a uma exceção ou saída normal, close() retorna None e tem nenhum outro efeito.

Alterado na versão 3.13: Se um gerador retornar um valor ao ser fechado, o valor será retornado por close().

6.2.9.2. Exemplos

Aqui está um exemplo simples que demonstra o comportamento de geradores e funções geradoras:

>>> def echo(value=None):
...     print("A execução inicia quando 'next()' é chamada pela primeira vez.")
...     try:
...         while True:
...             try:
...                 value = (yield value)
...             except Exception as e:
...                 value = e
...     finally:
...         print("Não se esqueça de fazer uma limpeza quando 'close()' for chamada.")
...
>>> generator = echo(1)
>>> print(next(generator))
A execução inicia quando 'next()' é chamada pela primeira vez.
1
>>> print(next(generator))
None
>>> print(generator.send(2))
2
>>> generator.throw(TypeError, "spam")
TypeError('spam',)
>>> generator.close()
Não se esqueça de fazer uma limpeza quando 'close()' for chamada.

Para exemplos usando yield from, consulte a PEP 380: Syntax for Delegating to a Subgenerator em “O que há de novo no Python.”

6.2.9.3. Funções geradoras assíncronas

A presença de uma expressão yield em uma função ou método definido usando a async def define ainda mais a função como uma função geradora assíncrona.

Quando uma função geradora assíncrona é chamada, ela retorna um iterador assíncrono conhecido como objeto gerador assíncrono. Esse objeto controla a execução da função geradora. Um objeto gerador assíncrono é normalmente usado em uma instrução async for em uma função de corrotina de forma análoga a como um objeto gerador seria usado em uma instrução for.

A chamada de um dos métodos do gerador assíncrono retorna um objeto aguardável, e a execução começa quando esse objeto é aguardado. Nesse momento, a execução prossegue até a primeira expressão yield, onde é suspensa novamente, retornando o valor de yield_list para a corrotina em aguardo. Assim como ocorre com um gerador, a suspensão significa que todo o estado local é mantido, inclusive as ligações atuais das variáveis locais, o ponteiro de instruções, a pilha de avaliação interna e o estado de qualquer tratamento de exceção. Quando a execução é retomada, aguardando o próximo objeto retornado pelos métodos do gerador assíncrono, a função pode prosseguir exatamente como se a expressão de rendimento fosse apenas outra chamada externa. O valor da expressão yield após a retomada depende do método que retomou a execução. Se __anext__() for usado, o resultado será None. Caso contrário, se asend() for usado, o resultado será o valor passado para esse método.

Se um gerador assíncrono encerrar mais cedo por break, pela tarefa que fez sua chamada ser cancelada ou por outras exceções, o código de limpeza assíncrona do gerador será executado e possivelmente levantará alguma exceção ou acessará as variáveis de contexto em um contexto inesperado – talvez após o tempo de vida das tarefas das quais ele depende, ou durante o laço de eventos de encerramento quando o gancho de coleta de lixo do gerador assíncrono for chamado. Para prevenir isso, o chamador deve encerrar explicitamente o gerador assíncrono chamando o método aclose() para finalizar o gerador e, por fim, desconectá-lo do laço de eventos.

Em uma função geradora assíncrona, expressões de yield são permitidas em qualquer lugar em uma construção try. No entanto, se um gerador assíncrono não for retomado antes de ser finalizado (alcançando uma contagem de referência zero ou sendo coletado pelo coletor de lixo), então uma expressão de yield dentro de um construção try pode resultar em uma falha na execução das cláusulas pendentes de finally. Nesse caso, é responsabilidade do laço de eventos ou escalonador que executa o gerador assíncrono chamar o método aclose() do gerador iterador assíncrono e executar o objeto corrotina resultante, permitindo assim que quaisquer cláusulas pendentes de finally sejam executadas.

Para cuidar da finalização após o término do laço de eventos, um laço de eventos deve definir uma função finalizer que recebe um gerador assíncrono e provavelmente chama aclose() e executa a corrotina. Este finalizer pode ser registrado chamando sys.set_asyncgen_hooks(). Quando iterado pela primeira vez, um gerador assíncrono armazenará o finalizer registrado para ser chamado na finalização. Para um exemplo de referência de um método finalizer, consulte a implementação de asyncio.Loop.shutdown_asyncgens em Lib/asyncio/base_events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/base_events.py].

O expressão yield from <expr> é um erro de sintaxe quando usado em uma função geradora assíncrona.

6.2.9.4. Métodos geradores-iteradores assíncronos

Esta subseção descreve os métodos de um iterador gerador assíncrono, que são usados para controlar a execução de uma função geradora.

coroutine agen.__anext__()

Retorna um objeto aguardável que, quando executado, começa a executar o gerador assíncrono ou o retoma na última expressão yield executada. Quando uma função geradora assíncrona é retomada com o método __anext__(), a expressão yield atual sempre avalia para None no objeto aguardável retornado, que, quando executado, continuará para a próxima expressão yield. O valor de yield_list da expressão yield é o valor da exceção StopIteration levantada pela corrotina em conclusão. Se o gerador assíncrono sair sem produzir outro valor, o objeto aguardável em vez disso levanta uma exceção StopAsyncIteration, sinalizando que a iteração assíncrona foi concluída.

Este método é normalmente chamado implicitamente por um laço async for.

coroutine agen.asend(value)

Retorna um objeto aguardável que, quando executado, retoma a execução do gerador assíncrono. Assim como o método send() para um gerador, isso “envia” um valor para a função geradora assíncrona, e o argumento value se torna o resultado da expressão de yield atual. O objeto aguardável retornado pelo método asend() retornará o próximo valor produzido pelo gerador como o valor da exceção StopIteration levantada, ou lança StopAsyncIteration se o gerador assíncrono sair sem produzir outro valor. Quando asend() é chamado para iniciar o gerador assíncrono, ele deve ser chamado com None como argumento, pois não há expressão yield que possa receber o valor.

coroutine agen.athrow(value)

coroutine agen.athrow(type[, value[, traceback]])

Retorna um objeto aguardável que gera uma exceção do tipo type no ponto em que o gerador assíncrono foi pausado, e retorna o próximo valor produzido pela função geradora como o valor da exceção StopIteration levantada. Se o gerador assíncrono terminar sem produzir outro valor, uma exceção StopAsyncIteration é levantada pelo objeto aguardável. Se a função geradora não capturar a exceção passada ou gerar uma exceção diferente, então quando o objeto aguardável for executado, essa exceção se propagará para o chamador do objeto aguardável.

Alterado na versão 3.12: A segunda assinatura (tipo[, valor[, traceback]]) foi descontinuada e pode ser removida em uma versão futura do Python.

coroutine agen.aclose()

Retorna um objeto aguardável que, quando executado, levantará uma GeneratorExit na função geradora assíncrona no ponto em que foi pausada. Se a função geradora assíncrona sair de forma normal, se estiver já estiver fechada ou levantar GeneratorExit (não capturando a exceção), então o objeto aguardável retornado levantará uma exceção StopIteration. Quaisquer outros objetos aguardáveis retornados por chamadas subsequentes à função geradora assíncrona levantarão uma exceção StopAsyncIteration. Se a função geradora assíncrona levantar um valor, um RuntimeError será lançado pelo objeto aguardável. Se a função geradora assíncrona levantar qualquer outra exceção, ela será propagada para o chamador do objeto aguardável. Se a função geradora assíncrona já tiver saído devido a uma exceção ou saída normal, então chamadas posteriores ao método aclose() retornarão um objeto aguardável que não faz nada.

6.3. Primárias

Primárias representam as operações mais fortemente vinculadas da linguagem. Sua sintaxe é:

primary ::=  atom | attributeref | subscription | slicing | call

6.3.1. Referências de atributo

Uma referência de atributo é um primário seguido de um ponto e um nome.

attributeref ::=  primary "." identifier

A primária deve avaliar para um objeto de um tipo que tem suporte a referências de atributo, o que a maioria dos objetos faz. Este objeto é então solicitado a produzir o atributo cujo nome é o identificador. O tipo e o valor produzido são determinados pelo objeto. Várias avaliações da mesma referência de atributo podem produzir diferentes objetos.

Esta produção pode ser personalizada substituindo o método __getattribute__() ou o método __getattr__(). O método __getattribute__() é chamado primeiro e retorna um valor ou levanta uma AttributeError se o atributo não estiver disponível.

Se for levantada uma AttributeError e o objeto tiver um método __getattr__(), esse método será chamado como alternativa.

6.3.2. Subscrições

A subscrição de uma instância de uma classe de classe de contêiner geralmente selecionará um elemento do contêiner. A subscrição de uma classe genérica geralmente retornará um objeto GenericAlias.

subscription ::=  primary "[" flexible_expression_list "]"

Quando um objeto é subscrito, o interpretador avaliará o primário e a lista de expressões.

O primário deve ser avaliado como um objeto que dê suporte à subscrição. Um objeto pode prover suporte a subscrição através da definição de um ou ambos __getitem__() e __class_getitem__(). Quando o primário é subscrito, o resultado avaliado da lista de expressões será passado para um desses métodos. Para mais detalhes sobre quando __class_getitem__ é chamado em vez de __getitem__, veja __class_getitem__ versus __getitem__.

Se a lista de expressões contiver pelo menos uma vírgula ou se alguma das expressões for estrelada, ela será avaliada como uma tuple contendo os itens da lista de expressões. Caso contrário, a lista de expressões será avaliada como o valor do único membro da lista.

Alterado na versão 3.11: Expressões em uma lista de expressões podem ser estreladas. Veja a PEP 646 [https://peps.python.org/pep-0646/].

Para objetos embutido, existem dois tipos de objetos que oferecem suporte a subscrição via __getitem__():

Mapeamentos. Se o primário for um mapeamento, a lista de expressões deve ser avaliada como um objeto cujo valor é uma das chaves do mapeamento, e a subscrição seleciona o valor no mapeamento que corresponde a essa chave. Um exemplo de classe de mapeamento integrada é a classe dict.

Sequências. Se o primário for uma sequência, a lista de expressões deve ser avaliada como int ou slice (conforme discutido na seção seguinte). Exemplos de classes de sequência embutidas incluem as classes str, list e tuple.

A sintaxe formal não faz nenhuma provisão especial para índices negativos em sequências. No entanto, todas as sequências embutidas fornecem um método __getitem__() que interpreta índices negativos adicionando o comprimento da sequência ao índice para que, por exemplo, x[-1] selecione o último item de x. O valor resultante deve ser um número inteiro não negativo menor que o número de itens na sequência, e a subscrição seleciona o item cujo índice é esse valor (contando a partir de zero). Como o suporte para índices negativos e fatiamento ocorre no método __getitem__() do objeto, as subclasses que substituem esse método precisarão adicionar explicitamente esse suporte.

Uma string é um tipo especial de sequência cujos itens são caracteres. Um caractere não é um tipo de dados separado, mas uma string de exatamente um caractere.

6.3.3. Fatiamentos

Um fatiamento seleciona um intervalo de itens em um objeto sequência (por exemplo, uma string, tupla ou lista). As fatias podem ser usadas como expressões ou como alvos em instruções de atribuição ou del. A sintaxe para um fatiamento:

slicing      ::=  primary "[" slice_list "]"
slice_list   ::=  slice_item ("," slice_item)* [","]
slice_item   ::=  expression | proper_slice
proper_slice ::=  [lower_bound] ":" [upper_bound] [ ":" [stride] ]
lower_bound  ::=  expression
upper_bound  ::=  expression
stride       ::=  expression

Há ambiguidade na sintaxe formal aqui: qualquer coisa que se pareça com uma lista de expressões também se parece com uma lista de fatias, portanto qualquer subscrição pode ser interpretada como um fatiamento. Em vez de complicar ainda mais a sintaxe, isso é eliminado pela definição de que, neste caso, a interpretação como uma subscrição tem prioridade sobre a interpretação como um fatiamento (este é o caso se a lista de fatias não contiver uma fatia adequada).

A semântica para um fatiamento é a seguinte. O primário é indexado (usando o mesmo método __getitem__() da subscrição normal) com uma chave que é construída a partir da lista de fatias, como segue. Se a lista de fatias contiver pelo menos uma vírgula, a chave será uma tupla contendo a conversão dos itens da fatia; caso contrário, a conversão do item de fatia isolada é a chave. A conversão de um item de fatia que é uma expressão é essa expressão. A conversão de uma fatia adequada é um objeto fatia (veja a seção A hierarquia de tipos padrão) cujos start, stop e step atributos são os valores das expressões fornecidas como limite inferior, limite superior e passo, respectivamente, substituindo None pelas expressões ausentes.

6.3.4. Chamadas

Uma chamada chama um objeto que é um chamável (por exemplo, uma função) com uma série possivelmente vazia de argumentos:

call                 ::=  primary "(" [argument_list [","] | comprehension] ")"
argument_list        ::=  positional_arguments ["," starred_and_keywords]
                            ["," keywords_arguments]
                          | starred_and_keywords ["," keywords_arguments]
                          | keywords_arguments
positional_arguments ::=  positional_item ("," positional_item)*
positional_item      ::=  assignment_expression | "*" expression
starred_and_keywords ::=  ("*" expression | keyword_item)
                          ("," "*" expression | "," keyword_item)*
keywords_arguments   ::=  (keyword_item | "**" expression)
                          ("," keyword_item | "," "**" expression)*
keyword_item         ::=  identifier "=" expression

Uma vírgula final opcional pode estar presente após os argumentos posicionais e nomeados, mas não afeta a semântica.

O primário deve ser avaliado como um objeto que pode ser chamado (funções definidas pelo usuário, funções embutidas, métodos de objetos embutidos, objetos de classe, métodos de instâncias de classe e todos os objetos que possuem um método __call__() são chamáveis). Todas as expressões de argumento são avaliadas antes da tentativa de chamada. Consulte a seção Definições de função para a sintaxe das listas formais de parâmetros.

Se houver argumentos nomeados, eles serão primeiro convertidos em argumentos posicionais, como segue. Primeiro, é criada uma lista de slots não preenchidos para os parâmetros formais. Se houver N argumentos posicionais, eles serão colocados nos primeiros N slots. A seguir, para cada argumento nomeado, o identificador é usado para determinar o slot correspondente (se o identificador for igual ao primeiro nome formal do parâmetro, o primeiro slot será usado e assim por diante). Se o slot já estiver preenchido, uma exceção TypeError será levantada. Caso contrário, o argumento é colocado no slot, preenchendo-o (mesmo que a expressão seja None, ela preenche o slot). Quando todos os argumentos forem processados, os slots ainda não preenchidos serão preenchidos com o valor padrão correspondente da definição da função. (Os valores padrão são calculados, uma vez, quando a função é definida; assim, um objeto mutável, como uma lista ou dicionário usado como valor padrão, será compartilhado por todas as chamadas que não especificam um valor de argumento para o slot correspondente; isso deve geralmente ser evitado.) Se houver algum slot não preenchido para o qual nenhum valor padrão for especificado, uma exceção TypeError será levantada. Caso contrário, a lista de slots preenchidos será usada como lista de argumentos para a chamada.

Detalhes da implementação do CPython: Uma implementação pode fornecer funções integradas cujos parâmetros posicionais não possuem nomes, mesmo que sejam ‘nomeados’ para fins de documentação e que, portanto, não possam ser fornecidos por nomes. No CPython, este é o caso de funções implementadas em C que usam PyArg_ParseTuple() para analisar seus argumentos.

Se houver mais argumentos posicionais do que slots de parâmetros formais, uma exceção TypeError será levantada, a menos que um parâmetro formal usando a sintaxe *identificador esteja presente; neste caso, esse parâmetro formal recebe uma tupla contendo os argumentos posicionais em excesso (ou uma tupla vazia se não houver argumentos posicionais em excesso).

Se algum argumento nomeado não corresponder a um nome de parâmetro formal, uma exceção TypeError é levantada, a menos que um parâmetro formal usando a sintaxe **identificador esteja presente; neste caso, esse parâmetro formal recebe um dicionário contendo os argumentos nomeados em excesso (usando os nomes como chaves e os valores dos argumentos como valores correspondentes), ou um (novo) dicionário vazio se não houver argumentos nomeados em excesso.

Se a sintaxe *expressão aparecer na chamada da função, expressão deverá ser avaliada como iterável. Os elementos desses iteráveis são tratados como se fossem argumentos posicionais adicionais. Para a chamada f(x1, x2, *y, x3, x4), se y for avaliado como uma sequência y1, …, yM, isso é equivalente a uma chamada com M+4 argumentos posicionais x1, x2, y1, …, yM, x3, x4.

Uma consequência disso é que embora a sintaxe *expressão possa aparecer depois de argumentos nomeados explícitos, ela é processada antes dos argumentos nomeados (e de quaisquer argumentos de **expressão – veja abaixo). Então:

>>> def f(a, b):
...     print(a, b)
...
>>> f(b=1, *(2,))
2 1
>>> f(a=1, *(2,))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: f() got multiple values for keyword argument 'a'
>>> f(1, *(2,))
1 2

É incomum que ambos os argumentos nomeados e a sintaxe *expressão sejam usados na mesma chamada, portanto, na prática, essa confusão não surge com frequência.

Se a sintaxe **expressão aparecer na chamada de função, expressão deve ser avaliada como um mapeamento, cujo conteúdo é tratado como argumentos nomeados adicionais. Se um parâmetro que corresponde a uma chave já recebeu um valor (por um argumento nomeado explícito ou de outro desempacotamento), uma exceção TypeError é levantada.

Quando **expressão é usada, cada chave neste mapeamento deve ser uma string. Cada valor do mapeamento é atribuído ao primeiro parâmetro formal elegível para atribuição de nomeas cujo nome é igual à chave. Uma chave não precisa ser um identificador Python (por exemplo, "max-temp °F" é aceitável, embora não corresponda a nenhum parâmetro formal que possa ser declarado). Se não houver correspondência com um parâmetro formal, o par chave-valor é coletado pelo parâmetro **, se houver, ou se não houver, uma exceção TypeError é levantada.

Parâmetros formais usando a sintaxe *identificador ou **identificador não podem ser usados como slots de argumentos posicionais ou como nomes de argumentos nomeados.

Alterado na versão 3.5: Chamadas de função aceitam qualquer número de desempacotamentos * e **, argumentos posicionais podem seguir desempacotamentos iteráveis (*) e argumentos nomeados podem seguir desempacotamentos de dicionário (**). Originalmente proposto pela PEP 448 [https://peps.python.org/pep-0448/].

Uma chamada sempre retorna algum valor, possivelmente None, a menos que levanta uma exceção. A forma como esse valor é calculado depende do tipo do objeto chamável.

Se for…

uma função definida por usuário:

O bloco de código da função é executado, passando-lhe a lista de argumentos. A primeira coisa que o bloco de código fará é vincular os parâmetros formais aos argumentos; isso é descrito na seção Definições de função. Quando o bloco de código executa uma instrução return, isso especifica o valor de retorno da chamada de função.

um método embutido ou uma função embutida:

O resultado fica por conta do interpretador; veja Funções embutidas para descrições de funções embutidas e métodos embutidos.

um objeto classe:

Uma nova instância dessa classe é retornada.

um método de instância de classe:

A função correspondente definida pelo usuário é chamada, com uma lista de argumentos que é maior que a lista de argumentos da chamada: a instância se torna o primeiro argumento.

uma instância de classe:

A classe deve definir um método __call__(); o efeito é então o mesmo como se esse método fosse chamado.

6.4. Expressão await

Suspende a execução de corrotina em um objeto aguardável. Só pode ser usado dentro de uma função de corrotina.

await_expr ::=  "await" primary

Adicionado na versão 3.5.

6.5. O operador de potência

O operador de potência vincula-se com mais força do que os operadores unários à sua esquerda; ele se vincula com menos força do que os operadores unários à sua direita. A sintaxe é:

power ::=  (await_expr | primary) ["**" u_expr]

Assim, em uma sequência sem parênteses de operadores de potência e unários, os operadores são avaliados da direita para a esquerda (isso não restringe a ordem de avaliação dos operandos): -1**2 resulta em -1 .

O operador de potência tem a mesma semântica que a função embutida pow(), quando chamado com dois argumentos: ele produz seu argumento esquerdo elevado à potência de seu argumento direito. Os argumentos numéricos são primeiro convertidos em um tipo comum e o resultado é desse tipo.

Para operandos int, o resultado tem o mesmo tipo que os operandos, a menos que o segundo argumento seja negativo; nesse caso, todos os argumentos são convertidos em ponto flutuante e um resultado ponto flutuante é entregue. Por exemplo, 10**2 retorna 100, mas 10**-2 retorna 0.01.

Elevar 0.0 a uma potência negativa resulta em uma exceção ZeroDivisionError. Elevar um número negativo a uma potência fracionária resulta em um número complex. (Em versões anteriores, levantava ValueError.)

Esta operação pode ser personalizada usando os métodos especial __pow__() e __rpow__().

6.6. Operações aritméticas unárias e bit a bit

Todas as operações aritméticas unárias e bit a bit têm a mesma prioridade:

u_expr ::=  power | "-" u_expr | "+" u_expr | "~" u_expr

O operador unário - (menos) produz a negação de seu argumento numérico; a operação pode ser substituída pelo método especial __neg__().

O operador unário + (mais) produz seu argumento numérico inalterado; a operação pode ser substituída pelo método especial __pos__().

O operador unário ~ (inverter) produz a inversão bit a bit de seu argumento inteiro. A inversão bit a bit de x é definida como -(x+1). Aplica-se apenas a números inteiros ou a objetos personalizados que substituem o método especial __invert__().

Em todos os três casos, se o argumento não tiver o tipo adequado, uma exceção TypeError é levantada.

6.7. Operações binárias aritméticas

As operações aritméticas binárias possuem os níveis de prioridade convencionais. Observe que algumas dessas operações também se aplicam a determinados tipos não numéricos. Além do operador potência, existem apenas dois níveis, um para operadores multiplicativos e outro para operadores aditivos:

m_expr ::=  u_expr | m_expr "*" u_expr | m_expr "@" m_expr |
            m_expr "//" u_expr | m_expr "/" u_expr |
            m_expr "%" u_expr
a_expr ::=  m_expr | a_expr "+" m_expr | a_expr "-" m_expr

O operador * (multiplicação) produz o produto de seus argumentos. Os argumentos devem ser números ou um argumento deve ser um número inteiro e o outro deve ser uma sequência. No primeiro caso, os números são convertidos para um tipo comum e depois multiplicados. Neste último caso, é realizada a repetição da sequência; um fator de repetição negativo produz uma sequência vazia.

Esta operação pode ser personalizada usando os métodos especial __mul__() e __rmul__().

O operador @ (arroba) deve ser usado para multiplicação de matrizes. Nenhum tipo embutido do Python implementa este operador.

Esta operação pode ser personalizada usando os métodos especial __matmul__() e __rmatmul__().

Adicionado na versão 3.5.

Os operadores / (divisão) e // (divisão pelo piso) produzem o quociente de seus argumentos. Os argumentos numéricos são primeiro convertidos em um tipo comum. A divisão de inteiros produz um ponto flutuante, enquanto a divisão pelo piso de inteiros resulta em um inteiro; o resultado é o da divisão matemática com a função ‘floor’ aplicada ao resultado. A divisão por zero levanta a exceção ZeroDivisionError.

A operação de divisão pode ser personalizada usando os métodos especiais __truediv__() e __rtruediv__(). A operação de divisão pelo piso pode ser personalizada usando os métodos especiais __floordiv__() e __rfloordiv__().

O operador % (módulo) produz o restante da divisão do primeiro argumento pelo segundo. Os argumentos numéricos são primeiro convertidos em um tipo comum. Um argumento zero à direita levanta a exceção ZeroDivisionError. Os argumentos podem ser números de ponto flutuante, por exemplo, 3.14%0.7 é igual a 0.34 (já que 3.14 é igual a 4*0.7 + 0.34.) O operador módulo sempre produz um resultado com o mesmo sinal do seu segundo operando (ou zero); o valor absoluto do resultado é estritamente menor que o valor absoluto do segundo operando [1].

Os operadores de divisão pelo piso e módulo são conectados pela seguinte identidade: x == (x//y)*y + (x%y). A divisão pelo piso e o módulo também estão conectados com a função embutida divmod(): divmod(x, y) == (x//y, x%y). [2].

Além de realizar a operação de módulo em números, o operador % também é sobrecarregado por objetos string para realizar a formatação de string no estilo antigo (também conhecida como interpolação). A sintaxe para formatação de string é descrita na Referência da Biblioteca Python, seção Formatação de String no Formato no estilo printf.

A operação módulo pode ser personalizada usando os métodos especial __mod__() e __rmod__().

O operador de divisão pelo piso, o operador de módulo e a função divmod() não são definidos para números complexos. Em vez disso, converta para um número de ponto flutuante usando a função abs() se apropriado.

O operador + (adição) produz a soma de seus argumentos. Os argumentos devem ser números ou sequências do mesmo tipo. No primeiro caso, os números são convertidos para um tipo comum e depois somados. Neste último caso, as sequências são concatenadas.

Esta operação pode ser personalizada usando os métodos especial __add__() e __radd__().

O operador - (subtração) produz a diferença de seus argumentos. Os argumentos numéricos são primeiro convertidos em um tipo comum.

Esta operação pode ser personalizada usando os métodos especial __sub__() e __rsub__().

6.8. Operações de deslocamento

As operações de deslocamento têm menor prioridade que as operações aritméticas:

shift_expr ::=  a_expr | shift_expr ("<<" | ">>") a_expr

Esses operadores aceitam números inteiros como argumentos. Eles deslocam o primeiro argumento para a esquerda ou para a direita pelo número de bits fornecido pelo segundo argumento.

A operação de deslocamento à esquerda pode ser personalizada usando os métodos especiais __lshift__() e __rlshift__(). A operação de deslocamento à direita pode ser personalizada usando os métodos especiais __rshift__() e __rrshift__().

Um deslocamento para a direita por n bits é definido como divisão pelo piso por pow(2,n). Um deslocamento à esquerda por n bits é definido como multiplicação com pow(2,n).

6.9. Operações binárias bit a bit

Cada uma das três operações bit a bit tem um nível de prioridade diferente:

and_expr ::=  shift_expr | and_expr "&" shift_expr
xor_expr ::=  and_expr | xor_expr "^" and_expr
or_expr  ::=  xor_expr | or_expr "|" xor_expr

O operador & produz o E (AND) bit a bit de seus argumentos, que devem ser inteiros ou um deles deve ser um objeto personalizado substituindo os métodos especiais __and__() ou __rand__().

O operador ^ produz o XOR bit a bit (OU exclusivo) de seus argumentos, que devem ser inteiros ou um deles deve ser um objeto personalizado sobrescrevendo os métodos especiais __xor__() ou __rxor__().

O operador | produz o OU (OR) bit a bit de seus argumentos, que devem ser inteiros ou um deles deve ser um objeto personalizado sobrescrevendo os métodos especiais __or__() ou __ror__().

6.10. Comparações

Ao contrário de C, todas as operações de comparação em Python têm a mesma prioridade, que é menor do que qualquer operação aritmética, de deslocamento ou bit a bit. Também diferentemente de C, expressões como a < b < c têm a interpretação que é convencional em matemática:

comparison    ::=  or_expr (comp_operator or_expr)*
comp_operator ::=  "<" | ">" | "==" | ">=" | "<=" | "!="
                   | "is" ["not"] | ["not"] "in"

Comparações produzem valores booleanos: True ou False. métodos de comparação rica personalizados podem retornar valores não booleanos. Neste caso, o Python chamará bool() nesse valor em contextos booleanos.

As comparações podem ser encadeadas arbitrariamente, por exemplo, x < y <= z é equivalente a x < y and y <= z, exceto que y é avaliado apenas uma vez (mas em ambos os casos z não é avaliado quando x < y é considerado falso).

Formalmente, se a, b, c, …, y, z são expressões e op1, op2, …, opN são operadores de comparação, então a op1 b op2 c ... y opN z é equivalente a a op1 b e b op2 c e ... y opN z, exceto que cada expressão é avaliada no máximo uma vez.

Observe que a op1 b op2 c não implica qualquer tipo de comparação entre a e c, de modo que, por exemplo, x < y > z é perfeitamente válido (embora talvez não seja bonito).

6.10.1. Comparações de valor

Os operadores <, >, ==, >=, <= e != comparam os valores de dois objetos. Os objetos não precisam ser do mesmo tipo.

O capítulo Objetos, valores e tipos afirma que os objetos possuem um valor (além do tipo e da identidade). O valor de um objeto é uma noção bastante abstrata em Python: por exemplo, não existe um método de acesso canônico para o valor de um objeto. Além disso, não há exigência de que o valor de um objeto seja construído de uma maneira específica, por exemplo. composto por todos os seus atributos de dados. Os operadores de comparação implementam uma noção específica de qual é o valor de um objeto. Pode-se pensar neles como definindo o valor de um objeto indiretamente, por meio de sua implementação de comparação.

Como todos os tipos são subtipos (diretos ou indiretos) de object, eles herdam o comportamento de comparação padrão de object. Os tipos podem personalizar seu comportamento de comparação implementando métodos de comparação rica como __lt__(), descrito em Personalização básica.

O comportamento padrão para comparação de igualdade (== e !=) é baseado na identidade dos objetos. Consequentemente, a comparação da igualdade de instâncias com a mesma identidade resulta em igualdade, e a comparação da igualdade de instâncias com identidades diferentes resulta em desigualdade. Uma motivação para este comportamento padrão é o desejo de que todos os objetos sejam reflexivos (ou seja, x is y implica x == y).

Uma comparação de ordem padrão (<, >, <= e >=) não é fornecida; uma tentativa levanta TypeError. Uma motivação para este comportamento padrão é a falta de um invariante semelhante ao da igualdade.

O comportamento da comparação de igualdade padrão, de que instâncias com identidades diferentes são sempre desiguais, pode contrastar com o que os tipos precisarão ter uma definição sensata de valor de objeto e igualdade baseada em valor. Esses tipos precisarão personalizar seu comportamento de comparação e, de fato, vários tipos embutidos fizeram isso.

A lista a seguir descreve o comportamento de comparação dos tipos embutidos mais importantes.

Números de tipos numéricos embutidos (Tipos numéricos — int, float, complex) e dos tipos de biblioteca padrão fractions.Fraction e decimal.Decimal podem ser comparados dentro e entre seus tipos, com a restrição que os números complexos não oferecem suporte a comparação de ordens. Dentro dos limites dos tipos envolvidos, eles comparam matematicamente (algoritmicamente) corretos sem perda de precisão.

Os valores não numéricos float('NaN') e decimal.Decimal('NaN') são especiais. Qualquer comparação ordenada de um número com um valor que não é um número é falsa. Uma implicação contraintuitiva é que os valores que não são numéricos não são iguais a si mesmos. Por exemplo, se x = float('NaN'), 3 < x, x < 3 e x == x são todos falsos, enquanto x != x é verdadeiro. Esse comportamento é compatível com IEEE 754.

None e NotImplemented são singletons. PEP 8 [https://peps.python.org/pep-0008/] aconselha que comparações para singletons devem sempre ser feitas com is ou is not, nunca com os operadores de igualdade.

Sequências binárias (instâncias de bytes ou bytearray) podem ser comparadas dentro e entre seus tipos. Eles comparam lexicograficamente usando os valores numéricos de seus elementos.

Strings (instâncias de str) são comparadas lexicograficamente usando os pontos de código Unicode numéricos (o resultado da função embutida ord()) de seus caracteres. [3]

Strings e sequências binárias não podem ser comparadas diretamente.

Sequências (instâncias de tuple, list ou range) podem ser comparadas apenas dentro de cada um de seus tipos, com a restrição de que intervalos não oferecem suporte a comparação de ordem. A comparação de igualdade entre esses tipos resulta em desigualdade, e a comparação ordenada entre esses tipos levanta TypeError.

As sequências são comparadas lexicograficamente usando a comparação de elementos correspondentes. Os contêineres embutidos normalmente presumem que objetos idênticos são iguais a si mesmos. Isso permite ignorar testes de igualdade para objetos idênticos para melhorar o desempenho e manter seus invariantes internos.

A comparação lexicográfica entre coleções embutidas funciona da seguinte forma:

Para que duas coleções sejam comparadas iguais, elas devem ser do mesmo tipo, ter o mesmo comprimento e cada par de elementos correspondentes deve ser comparado igual (por exemplo, [1,2] == (1,2) é false porque o tipo não é o mesmo).

Coleções que oferecem suporte a comparação de ordem são ordenadas da mesma forma que seus primeiros elementos desiguais (por exemplo, [1,2,x] <= [1,2,y] tem o mesmo valor que x <= y). Se um elemento correspondente não existir, a coleção mais curta é ordenada primeiro (por exemplo, [1,2] < [1,2,3] é verdadeiro).

Mapeamentos (instâncias de dict) comparam iguais se e somente se eles tiverem pares (chave, valor) iguais. A comparação de igualdade das chaves e valores reforça a reflexividade.

Comparações de ordem (<, >, <= e >=) levantam TypeError.

Conjuntos (instâncias de set ou frozenset) podem ser comparados dentro e entre seus tipos.

Eles definem operadores de comparação de ordem para significar testes de subconjunto e superconjunto. Essas relações não definem ordenações totais (por exemplo, os dois conjuntos {1,2} e {2,3} não são iguais, nem subconjuntos um do outro, nem superconjuntos um do outro). Consequentemente, conjuntos não são argumentos apropriados para funções que dependem de ordenação total (por exemplo, min(), max() e sorted() produzem resultados indefinidos dada uma lista de conjuntos como entradas) .

A comparação de conjuntos reforça a reflexividade de seus elementos.

A maioria dos outros tipos embutidos não possui métodos de comparação implementados, portanto, eles herdam o comportamento de comparação padrão.

As classes definidas pelo usuário que personalizam seu comportamento de comparação devem seguir algumas regras de consistência, se possível:

A comparação da igualdade deve ser reflexiva. Em outras palavras, objetos idênticos devem ser comparados iguais:

x is y implica em x == y

A comparação deve ser simétrica. Em outras palavras, as seguintes expressões devem ter o mesmo resultado:

x == y e y == x

x != y e y != x

x < y e y > x

x <= y e y >= x

A comparação deve ser transitiva. Os seguintes exemplos (não exaustivos) ilustram isso:

x > y and y > z implica em x > z

x < y and y <= z implica em x < z

A comparação inversa deve resultar na negação booleana. Em outras palavras, as seguintes expressões devem ter o mesmo resultado:

x == y e not x != y

x < y e not x >= y (pra classificação total)

x > y e not x <= y (pra classificação total)

As duas últimas expressões aplicam-se a coleções totalmente ordenadas (por exemplo, a sequências, mas não a conjuntos ou mapeamentos). Veja também o decorador total_ordering().

O resultado hash() deve ser consistente com a igualdade. Objetos iguais devem ter o mesmo valor de hash ou ser marcados como não-hasheáveis.

Python não impõe essas regras de consistência. Na verdade, os valores não numéricos são um exemplo de não cumprimento dessas regras.

6.10.2. Operações de teste de pertinência

Os operadores in e not in testam se um operando é membro ou não de outro. x in s é avaliado como True se x for membro de s, e False caso contrário. x not in s retorna a negação de x in s. Todas as sequências e tipos de conjuntos embutidos oferecem suporte a isso, assim como o dicionário, para o qual in testa se o dicionário tem uma determinada chave. Para tipos de contêiner como list, tuple, set, frozenset, dict ou Collections.deque, a expressão x in y é equivalente a any(x is e or x == e for e in y).

Para os tipos string e bytes, x in y é True se e somente se x for uma substring de y. Um teste equivalente é y.find(x) != -1. Strings vazias são sempre consideradas uma substring de qualquer outra string, então "" in "abc" retornará True.

Para classes definidas pelo usuário que definem o método __contains__(), x in y retorna True se y.__contains__(x) retorna um valor verdadeiro, e False caso contrário.

Para classes definidas pelo usuário que não definem __contains__(), mas definem __iter__(), x in y é True se algum valor z, para a qual a expressão x is z or x == z é verdadeira, é produzida durante a iteração sobre y. Se uma exceção for levantada durante a iteração, é como se in tivesse levantado essa exceção.

Por último, o protocolo de iteração de estilo antigo é tentado: se uma classe define __getitem__(), x in y é True se, e somente se, houver um índice inteiro não negativo i tal que x is y[i] or x == y[i], e nenhum índice inteiro inferior levanta a exceção IndexError. (Se qualquer outra exceção for levantada, é como se in levantasse essa exceção).

O operador not in é definido para ter o valor verdade inverso de in.

6.10.3. Comparações de identidade

Os operadores is e is not testam a identidade de um objeto: x is y é verdadeiro se, e somente se, x e y são o mesmo objeto. A identidade de um objeto é determinada usando a função id(). x is not y produz o valor verdade inverso. [4]

6.11. Operações booleanas

or_test  ::=  and_test | or_test "or" and_test
and_test ::=  not_test | and_test "and" not_test
not_test ::=  comparison | "not" not_test

No contexto de operações booleanas, e também quando expressões são usadas por instruções de fluxo de controle, os seguintes valores são interpretados como falsos: False, None, zero numérico de todos os tipos e strings e contêineres vazios (incluindo strings, tuplas, listas, dicionários, conjuntos e frozensets). Todos os outros valores são interpretados como verdadeiros. Objetos definidos pelo usuário podem personalizar seu valor verdade fornecendo um método __bool__().

O operador not produz True se seu argumento for falso, False caso contrário.

A expressão x and y primeiro avalia x; se x for falso, seu valor será retornado; caso contrário, y será avaliado e o valor resultante será retornado.

A expressão x or y primeiro avalia x; se x for verdadeiro, seu valor será retornado; caso contrário, y será avaliado e o valor resultante será retornado.

Observe que nem and nem or restringem o valor e o tipo que retornam para False e True, mas sim retornam o último argumento avaliado. Isso às vezes é útil, por exemplo, se s é uma string que deve ser substituída por um valor padrão se estiver vazia, a expressão s or 'foo' produz o valor desejado. Como not precisa criar um novo valor, ele retorna um valor booleano independente do tipo de seu argumento (por exemplo, not 'foo' produz False em vez de ''.)

6.12. Expressões de atribuição

assignment_expression ::=  [identifier ":="] expression

Uma expressão de atribuição (às vezes também chamada de “expressão nomeada” ou “morsa”) atribui um expression a um identifier, ao mesmo tempo que retorna o valor de expression.

Um caso de uso comum é ao lidar com expressões regulares correspondentes:

if matching := pattern.search(data):
    do_something(matching)

Ou, ao processar um fluxo de arquivos em partes:

while chunk := file.read(9000):
    process(chunk)

As expressões de atribuição devem ser colocadas entre parênteses quando usadas como instruções de expressão e quando usadas como subexpressões em expressões de fatiamento, condicionais, de lambda, de argumento nomeado e de if de compreensão e em instruções assert, with e assignment. Em todos os outros lugares onde eles podem ser usados, os parênteses não são necessários, inclusive nas instruções if e while.

Adicionado na versão 3.8: Veja PEP 572 [https://peps.python.org/pep-0572/] para mais detalhes sobre expressões de atribuição.

6.13. Expressões condicionais

conditional_expression ::=  or_test ["if" or_test "else" expression]
expression             ::=  conditional_expression | lambda_expr

Expressões condicionais (às vezes chamadas de “operador ternário”) têm a prioridade mais baixa de todas as operações Python.

A expressão x if C else y primeiro avalia a condição, C em vez de x. Se C for verdadeiro, x é avaliado e seu valor é retornado; caso contrário, y será avaliado e seu valor será retornado.

Veja PEP 308 [https://peps.python.org/pep-0308/] para mais detalhes sobre expressões condicionais.

6.14. Lambdas

lambda_expr ::=  "lambda" [parameter_list] ":" expression

Expressões lambda (às vezes chamadas de funções lambda) são usadas para criar funções anônimas. A expressão lambda parameters: expression produz um objeto função. O objeto sem nome se comporta como um objeto de função definido com:

def <lambda>(parâmetros):
    return expressão

Veja a seção Definições de função para a sintaxe das listas de parâmetros. Observe que as funções criadas com expressões lambda não podem conter instruções ou anotações.

6.15. Listas de expressões

starred_expression       ::=  ["*"] or_expr
flexible_expression      ::=  assignment_expression | starred_expression
flexible_expression_list ::=  flexible_expression ("," flexible_expression)* [","]
starred_expression_list  ::=  starred_expression ("," starred_expression)* [","]
expression_list          ::=  expression ("," expression)* [","]
yield_list               ::=  expression_list | starred_expression "," [starred_expression_list]

Exceto quando parte de uma sintaxe de criação de lista ou conjunto, uma lista de expressões contendo pelo menos uma vírgula produz uma tupla. O comprimento da tupla é o número de expressões na lista. As expressões são avaliadas da esquerda para a direita.

Um asterisco * denota desempacotamento de iterável. Seu operando deve ser um iterável. O iterável é expandido em uma sequência de itens, que são incluídos na nova tupla, lista ou conjunto, no local do desempacotamento.

Adicionado na versão 3.5: Desempacotamento de iterável em listas de expressões, originalmente proposta pela PEP 448 [https://peps.python.org/pep-0448/].

Adicionado na versão 3.11: Qualquer item em uma lista de expressões pode ser estrelado. Veja a PEP 646 [https://peps.python.org/pep-0646/].

Uma vírgula final é necessária apenas para criar uma tupla de um item, como 1,; é opcional em todos os outros casos. Uma única expressão sem vírgula final não cria uma tupla, mas produz o valor dessa expressão. (Para criar uma tupla vazia, use um par vazio de parênteses: ().)

6.16. Ordem de avaliação

Python avalia expressões da esquerda para a direita. Observe que ao avaliar uma tarefa, o lado direito é avaliado antes do lado esquerdo.

Nas linhas a seguir, as expressões serão avaliadas na ordem aritmética de seus sufixos:

expr1, expr2, expr3, expr4
(expr1, expr2, expr3, expr4)
{expr1: expr2, expr3: expr4}
expr1 + expr2 * (expr3 - expr4)
expr1(expr2, expr3, *expr4, **expr5)
expr3, expr4 = expr1, expr2

6.17. Precedência de operadores

A tabela a seguir resume a precedência de operadores no Python, da precedência mais alta (mais vinculativa) à precedência mais baixa (menos vinculativa). Os operadores na mesma caixa têm a mesma precedência. A menos que a sintaxe seja fornecida explicitamente, os operadores são binários. Os operadores na mesma caixa agrupam-se da esquerda para a direita (exceto exponenciação e expressões condicionais, que agrupam da direita para a esquerda).

Observe que comparações, testes de pertinência e testes de identidade têm todos a mesma precedência e possuem um recurso de encadeamento da esquerda para a direita, conforme descrito na seção Comparações.

Operador

Descrição

(expressions...),

[expressões...], {chave: valor...}, {expressões...}

Expressão entre parênteses ou de ligação, sintaxe de criação de lista, sintaxe de criação de dicionário, sintaxe de criação de conjunto

x[índice], x[índice:índice], x(argumentos...), x.atributo

subscrição, fatiamento, chamada, referência a atributo

await x

Expressão await

**

Exponenciação [5]

+x, -x, ~x

positivo, negativo, NEGAÇÃO (NOT) bit a bit

*, @, /, //, %

Multiplicação, multiplicação de matrizes, divisão, divisão pelo piso, resto [6]

+, -

Adição e subtração

<<, >>

Deslocamentos

&

E (AND) bit a bit

^

OU EXCLUSIVO (XOR) bit a bit

|

OU (OR) bit a bit

in, not in, is, is not, <, <=, >, >=, !=, ==

Comparações, incluindo testes de pertinência e testes de identidade

not x

NEGAÇÃO (NOT) booleana

and

E (AND) booleano

or

OU (OR) booleano

if – else

Expressão condicional

lambda

Expressão lambda

:=

Expressão de atribuição

Notas de rodapé

[1]

Embora abs(x%y) < abs(y) seja verdadeiro matematicamente, para números flutuantes pode não ser verdadeiro numericamente devido ao arredondamento. Por exemplo, e presumindo uma plataforma na qual um float Python seja um número de precisão dupla IEEE 754, para que -1e-100 % 1e100 tenha o mesmo sinal que 1e100, o resultado calculado é -1e-100 + 1e100, que é numericamente exatamente igual a 1e100. A função math.fmod() retorna um resultado cujo sinal corresponde ao sinal do primeiro argumento e, portanto, retorna -1e-100 neste caso. Qual abordagem é mais apropriada depende da aplicação.

[2]

Se x estiver muito próximo de um múltiplo inteiro exato de y, é possível que x//y seja maior que (x-x%y)//y devido ao arredondamento. Nesses casos, Python retorna o último resultado, para preservar que divmod(x,y)[0] * y + x % y esteja muito próximo de x.

[3]

O padrão Unicode distingue entre pontos de código (por exemplo, U+0041) e caracteres abstratos (por exemplo, “LATIN CAPITAL LETTER A”). Embora a maioria dos caracteres abstratos em Unicode sejam representados apenas por meio de um ponto de código, há vários caracteres abstratos que também podem ser representados por meio de uma sequência de mais de um ponto de código. Por exemplo, o caractere abstrato “LATIN CAPITAL LETTER C WITH CEDILLA” pode ser representado como um único caractere pré-composto na posição de código U+00C7, ou como uma sequência de um caractere base na posição de código U+0043 (LATIN CAPITAL LETTER C), seguido por um caractere de combinação na posição de código U+0327 (COMBINING CEDILLA).

Os operadores de comparação em strings são comparados no nível dos pontos de código Unicode. Isso pode ser contraintuitivo para os humanos. Por exemplo, "\u00C7" == "\u0043\u0327" é False, mesmo que ambas as strings representem o mesmo caractere abstrato “LATIN CAPITAL LETTER C WITH CEDILLA”.

Para comparar strings no nível de caracteres abstratos (ou seja, de uma forma intuitiva para humanos), use unicodedata.normalize().

[4]

Devido à coleta de lixo automática, às listas livres e à natureza dinâmica dos descritores, você pode notar um comportamento aparentemente incomum em certos usos do operador is, como aqueles que envolvem comparações entre métodos de instância ou constantes. Confira a documentação para obter mais informações.

[5]

O operador de potência ** liga-se com menos força do que um operador aritmético ou unário bit a bit à sua direita, ou seja, 2**-1 é 0.5.

[6]

O operador % também é usado para formatação de strings; a mesma precedência se aplica.

7. Instruções simples

Uma instrução simples consiste uma única linha lógica. Várias instruções simples podem ocorrer em uma única linha separada por ponto e vírgula. A sintaxe para instruções simples é:

simple_stmt ::=  expression_stmt
                 | assert_stmt
                 | assignment_stmt
                 | augmented_assignment_stmt
                 | annotated_assignment_stmt
                 | pass_stmt
                 | del_stmt
                 | return_stmt
                 | yield_stmt
                 | raise_stmt
                 | break_stmt
                 | continue_stmt
                 | import_stmt
                 | future_stmt
                 | global_stmt
                 | nonlocal_stmt
                 | type_stmt

7.1. Instruções de expressão

As instruções de expressão são usadas (principalmente interativamente) para calcular e escrever um valor, ou (geralmente) para chamar um procedimento (uma função que não retorna nenhum resultado significativo; em Python, os procedimentos retornam o valor None). Outros usos de instruções de expressão são permitidos e ocasionalmente úteis. A sintaxe para uma instrução de expressão é:

expression_stmt ::=  starred_expression

Uma instrução de expressão avalia a lista de expressões (que pode ser uma única expressão).

No modo interativo, se o valor não for None, ele será convertido em uma string usando a função embutida repr() e a string resultante será gravada na saída padrão em uma linha sozinha (exceto se o resultado é None, de modo que as chamadas de procedimento não causam nenhuma saída.)

7.2. Instruções de atribuição

As instruções de atribuição são usadas para (re)vincular nomes a valores e modificar atributos ou itens de objetos mutáveis:

assignment_stmt ::=  (target_list "=")+ (starred_expression | yield_expression)
target_list     ::=  target ("," target)* [","]
target          ::=  identifier
                     | "(" [target_list] ")"
                     | "[" [target_list] "]"
                     | attributeref
                     | subscription
                     | slicing
                     | "*" target

(Veja a seção Primárias para as definições de sintaxe de attributeref, subscription e slicing.)

Uma instrução de atribuição avalia a lista de expressões (lembre-se de que pode ser uma única expressão ou uma lista separada por vírgulas, a última produzindo uma tupla) e atribui o único objeto resultante a cada uma das listas alvos, da esquerda para a direita.

A atribuição é definida recursivamente dependendo da forma do alvo (lista). Quando um alvo faz parte de um objeto mutável (uma referência de atributo, assinatura ou divisão), o objeto mutável deve, em última análise, executar a atribuição e decidir sobre sua validade e pode levantar uma exceção se a atribuição for inaceitável. As regras observadas pelos vários tipos e as exceções levantadas são dadas com a definição dos tipos de objetos (ver seção A hierarquia de tipos padrão).

A atribuição de um objeto a uma lista alvo, opcionalmente entre parênteses ou colchetes, é definida recursivamente da maneira a seguir.

Se a lista alvo contiver um único alvo sem vírgula à direita, opcionalmente entre parênteses, o objeto será atribuído a esse alvo.

Senão:

Se a lista alvo contiver um alvo prefixado com um asterisco, chamado de alvo “com estrela” (starred): o objeto deve ser um iterável com pelo menos tantos itens quantos os alvos na lista alvo, menos um. Os primeiros itens do iterável são atribuídos, da esquerda para a direita, aos alvos antes do alvo com estrela. Os itens finais do iterável são atribuídos aos alvos após o alvo com estrela. Uma lista dos itens restantes no iterável é então atribuída ao alvo com estrela (a lista pode estar vazia).

Senão: o objeto deve ser um iterável com o mesmo número de itens que existem alvos na lista alvos, e os itens são atribuídos, da esquerda para a direita, aos alvos correspondentes.

A atribuição de um objeto a um único alvo é definida recursivamente da maneira a seguir.

Se o alvo for um identificador (nome):

Se o nome não ocorrer em uma instrução global ou nonlocal no bloco de código atual: o nome está vinculado ao objeto no espaço de nomes local atual.

Caso contrário: o nome é vinculado ao objeto no espaço de nomes global global ou no espaço de nomes global externo determinado por nonlocal, respectivamente.

O nome é vinculado novamente se já estiver vinculado. Isso pode fazer com que a contagem de referências para o objeto anteriormente vinculado ao nome chegue a zero, fazendo com que o objeto seja desalocado e seu destrutor (se houver) seja chamado.

Se o alvo for uma referência de atributo: a expressão primária na referência é avaliada. Deve produzir um objeto com atributos atribuíveis; se este não for o caso, a exceção TypeError é levanta. Esse objeto é então solicitado a atribuir o objeto atribuído ao atributo fornecido; se não puder executar a atribuição, ele levanta uma exceção (geralmente, mas não necessariamente AttributeError).

Nota: Se o objeto for uma instância de classe e a referência de atributo ocorrer em ambos os lados do operador de atribuição, a expressão do lado direito, a.x pode acessar um atributo de instância ou (se não existir nenhum atributo de instância) uma classe atributo. O alvo do lado esquerdo a.x é sempre definido como um atributo de instância, criando-o se necessário. Assim, as duas ocorrências de a.x não necessariamente se referem ao mesmo atributo: se a expressão do lado direito se refere a um atributo de classe, o lado esquerdo cria um novo atributo de instância como alvo da atribuição:

class Cls:
    x = 3             # variável de classe
inst = Cls()
inst.x = inst.x + 1   # escreve inst.x como 4 deixando Cls.x como 3

Esta descrição não se aplica necessariamente aos atributos do descritor, como propriedades criadas com property().

Se o alvo for uma assinatura: a expressão primária na referência é avaliada. Deve produzir um objeto de sequência mutável (como uma lista) ou um objeto de mapeamento (como um dicionário). Em seguida, a expressão subscrito é avaliada.

Se o primário for um objeto de sequência mutável (como uma lista), o subscrito deverá produzir um inteiro. Se for negativo, o comprimento da sequência é adicionado a ela. O valor resultante deve ser um inteiro não negativo menor que o comprimento da sequência, e a sequência é solicitada a atribuir o objeto atribuído ao seu item com esse índice. Se o índice estiver fora do intervalo, a exceção IndexError será levantada (a atribuição a uma sequência subscrita não pode adicionar novos itens a uma lista).

Se o primário for um objeto de mapeamento (como um dicionário), o subscrito deve ter um tipo compatível com o tipo de chave do mapeamento, e o mapeamento é solicitado a criar um par chave/valore que mapeia o subscrito para o objeto atribuído. Isso pode substituir um par de chave/valor existente pelo mesmo valor de chave ou inserir um novo par de chave/valor (se não existir nenhuma chave com o mesmo valor).

Para objetos definidos pelo usuário, o método __setitem__() é chamado com argumentos apropriados.

Se o alvo for um fatiamento: a expressão primária na referência é avaliada. Deve produzir um objeto de sequência mutável (como uma lista). O objeto atribuído deve ser um objeto de sequência do mesmo tipo. Em seguida, as expressões de limite inferior e superior são avaliadas, na medida em que estiverem presentes; os padrões são zero e o comprimento da sequência. Os limites devem ser avaliados como inteiros. Se um dos limites for negativo, o comprimento da sequência será adicionado a ele. Os limites resultantes são cortados para ficarem entre zero e o comprimento da sequência, inclusive. Finalmente, o objeto de sequência é solicitado a substituir a fatia pelos itens da sequência atribuída. O comprimento da fatia pode ser diferente do comprimento da sequência atribuída, alterando assim o comprimento da sequência alvo, se a sequência alvo permitir.

Detalhes da implementação do CPython: Na implementação atual, a sintaxe dos alvos é considerada a mesma das expressões e a sintaxe inválida é rejeitada durante a fase de geração do código, causando mensagens de erro menos detalhadas.

Embora a definição de atribuição implique que as sobreposições entre o lado esquerdo e o lado direito sejam “simultâneas” (por exemplo, a, b = b, a troca duas variáveis), sobreposições dentro da coleção de variáveis atribuídas ocorrem da esquerda para a direita, às vezes resultando em confusão. Por exemplo, o programa a seguir imprime [0, 2]:

x = [0, 1]
i = 0
i, x[i] = 1, 2         # i é atualizado e, em seguida, x[i] é atualizado
print(x)

Ver também

PEP 3132 [https://peps.python.org/pep-3132/] - Desempacotamento estendido de iterável

A especificação para o recurso *target.

7.2.1. Instruções de atribuição aumentada

A atribuição aumentada é a combinação, em uma única instrução, de uma operação binária e uma instrução de atribuição:

augmented_assignment_stmt ::=  augtarget augop (expression_list | yield_expression)
augtarget                 ::=  identifier | attributeref | subscription | slicing
augop                     ::=  "+=" | "-=" | "*=" | "@=" | "/=" | "//=" | "%=" | "**="
                               | ">>=" | "<<=" | "&=" | "^=" | "|="

(Veja a seção Primárias para as definições de sintaxe dos últimos três símbolos.)

Uma atribuição aumentada avalia o alvo (que, diferentemente das instruções de atribuição normais, não pode ser um desempacotamento) e a lista de expressões, executa a operação binária específica para o tipo de atribuição nos dois operandos e atribui o resultado ao alvo original. O alvo é avaliado apenas uma vez.

Uma instrução de atribuição aumentada como x += 1 pode ser reescrita como x = x + 1 para obter um efeito semelhante, mas não exatamente igual. Na versão aumentada, x é avaliado apenas uma vez. Além disso, quando possível, a operação real é executada no local, o que significa que, em vez de criar um novo objeto e atribuí-lo ao alvo, o objeto antigo é modificado.

Ao contrário das atribuições normais, as atribuições aumentadas avaliam o lado esquerdo antes de avaliar o lado direito. Por exemplo, a[i] += f(x) primeiro procura a[i], então avalia f(x) e executa a adição e, por último, escreve o resultado de volta para a[i].

Com exceção da atribuição a tuplas e vários alvos em uma única instrução, a atribuição feita por instruções de atribuição aumentada é tratada da mesma maneira que atribuições normais. Da mesma forma, com exceção do possível comportamento in-place, a operação binária executada por atribuição aumentada é a mesma que as operações binárias normais.

Para alvos que são referências de atributos, a mesma advertência sobre atributos de classe e instância se aplica a atribuições regulares.

7.2.2. instruções de atribuição anotado

A atribuição de anotação é a combinação, em uma única instrução, de uma anotação de variável ou atributo e uma instrução de atribuição opcional:

annotated_assignment_stmt ::=  augtarget ":" expression
                               ["=" (starred_expression | yield_expression)]

A diferença para as Instruções de atribuição normal é que apenas um único alvo é permitido.

O alvo da atribuição é considerado “simples” se consistir em um único nome que não esteja entre parênteses. Para alvos de atribuição simples, se no escopo de classe ou módulo, as anotações são avaliadas e armazenadas em uma classe especial ou atributo de módulo __annotations__ que é um mapeamento de dicionário de nomes de variáveis (desconfigurados se privados) para anotações avaliadas. Este atributo é gravável e é criado automaticamente no início da execução do corpo da classe ou módulo, se as anotações forem encontradas estaticamente.

Se o alvo da atribuição não for simples (um atributo, nó subscrito ou nome entre parênteses), a anotação será avaliada se estiver no escopo da classe ou do módulo, mas não será armazenada.

Se um nome for anotado em um escopo de função, esse nome será local para esse escopo. As anotações nunca são avaliadas e armazenadas em escopos de função.

Se o lado direito estiver presente, uma atribuição anotada executa a atribuição real antes de avaliar as anotações (quando aplicável). Se o lado direito não estiver presente para um alvo de expressão, então o interpretador avalia o alvo, exceto para a última chamada __setitem__() ou __setattr__().

Ver também

PEP 526 [https://peps.python.org/pep-0526/] - Sintaxe para Anotações de Variáveis

A proposta que adicionou sintaxe para anotar os tipos de variáveis (incluindo variáveis de classe e variáveis de instância), em vez de expressá-las por meio de comentários.

PEP 484 [https://peps.python.org/pep-0484/] - Dicas de tipo

A proposta que adicionou o módulo typing para fornecer uma sintaxe padrão para anotações de tipo que podem ser usadas em ferramentas de análise estática e IDEs.

Alterado na versão 3.8: Agora, as atribuições anotadas permitem as mesmas expressões no lado direito que as atribuições regulares. Anteriormente, algumas expressões (como expressões de tupla sem parênteses) causavam um erro de sintaxe.

7.3. A instrução assert

As instruções assert são uma maneira conveniente de inserir asserções de depuração em um programa:

assert_stmt ::=  "assert" expression ["," expression]

A forma simples, assert expression, é equivalente a

if __debug__:
    if not expression: raise AssertionError

A forma estendida, assert expression1, expression2, é equivalente a

if __debug__:
    if not expression1: raise AssertionError(expression2)

Essas equivalências presumem que __debug__ e AssertionError referem-se às variáveis embutidas com esses nomes. Na implementação atual, a variável embutida __debug__ é True em circunstâncias normais, False quando a otimização é solicitada (opção de linha de comando -O). O gerador de código atual não emite código para uma instrução assert quando a otimização é solicitada em tempo de compilação. Observe que não é necessário incluir o código-fonte da expressão que falhou na mensagem de erro; ele será exibido como parte do stack trace (situação da pilha de execução).

Atribuições a __debug__ são ilegais. O valor da variável embutida é determinado quando o interpretador é iniciado.

7.4. A instrução pass

pass_stmt ::=  "pass"

pass é uma operação nula — quando é executada, nada acontece. É útil como um espaço reservado quando uma instrução é necessária sintaticamente, mas nenhum código precisa ser executado, por exemplo:

def f(arg): pass    # uma função que faz nada (ainda)

class C: pass       # uma classe com nenhum método (ainda)

7.5. A instrução del

del_stmt ::=  "del" target_list

A exclusão é definida recursivamente de maneira muito semelhante à maneira como a atribuição é definida. Em vez de explicar em detalhes, aqui estão algumas dicas.

A exclusão de uma lista alvo exclui recursivamente cada alvo, da esquerda para a direita.

A exclusão de um nome remove a ligação desse nome do espaço de nomes global local ou global, dependendo se o nome ocorre em uma instrução global no mesmo bloco de código. Se o nome for desvinculado, uma exceção NameError será levantada.

A exclusão de referências de atributos, assinaturas e fatias é passada para o objeto principal envolvido; a exclusão de um fatiamento é em geral equivalente à atribuição de uma fatia vazia do tipo certo (mas mesmo isso é determinado pelo objeto fatiado).

Alterado na versão 3.2: Anteriormente, era ilegal excluir um nome do espaço de nomes local se ele ocorresse como uma variável livre em um bloco aninhado.

7.6. A instrução return

return_stmt ::=  "return" [expression_list]

return só pode ocorrer sintaticamente aninhado em uma definição de função, não em uma definição de classe aninhada.

Se uma lista de expressões estiver presente, ela será avaliada, caso contrário, None será substituído.

return deixa a chamada da função atual com a lista de expressões (ou None) como valor de retorno.

Quando return passa o controle de uma instrução try com uma cláusula finally, essa cláusula finally é executada antes de realmente sair da função.

Em uma função geradora, a instrução return indica que o gerador está pronto e fará com que StopIteration seja gerado. O valor retornado (se houver) é usado como argumento para construir StopIteration e se torna o atributo StopIteration.value.

Em uma função de gerador assíncrono, uma instrução return vazia indica que o gerador assíncrono está pronto e fará com que StopAsyncIteration seja gerado. Uma instrução return não vazia é um erro de sintaxe em uma função de gerador assíncrono.

7.7. A instrução yield

yield_stmt ::=  yield_expression

Uma instrução yield é semanticamente equivalente a uma expressão yield. A instrução yield pode ser usada para omitir os parênteses que, de outra forma, seriam necessários na instrução de expressão yield equivalente. Por exemplo, as instruções yield

yield <expr>
yield from <expr>

são equivalentes às instruções de expressão yield

(yield <expr>)
(yield from <expr>)

Expressões e instruções yield são usadas apenas ao definir uma função geradora e são usadas apenas no corpo da função geradora. Usar yield em uma definição de função é suficiente para fazer com que essa definição crie uma função geradora em vez de uma função normal.

Para detalhes completos da semântica yield, consulte a seção Expressões yield.

7.8. A instrução raise

raise_stmt ::=  "raise" [expression ["from" expression]]

Se nenhuma expressão estiver presente, raise reativa a exceção que está sendo tratada no momento, que também é conhecida como exceção ativa. Se não houver uma exceção ativa no momento, uma exceção RuntimeError é levantada indicando que isso é um erro.

Caso contrário, raise avalia a primeira expressão como o objeto de exceção. Deve ser uma subclasse ou uma instância de BaseException. Se for uma classe, a instância de exceção será obtida quando necessário instanciando a classe sem argumentos.

O tipo da exceção é a classe da instância de exceção, o valor é a própria instância.

Um objeto traceback (situação da pilha de execução) normalmente é criado automaticamente quando uma exceção é levantada e anexada a ele como o atributo __traceback__. Você pode criar uma exceção e definir seu próprio traceback em uma etapa usando o método de exceção with_traceback() (que retorna a mesma instância de exceção, com seu traceback definido para seu argumento), assim:

raise Exception("ocorreu foo").with_traceback(tracebackobj)

A cláusula from é usada para encadeamento de exceções: se fornecida, a segunda expressão, expression, deve ser outra classe ou instância de exceção. Se a segunda expressão for uma instância de exceção, ela será anexada à exceção levantada como o atributo __cause__ (que é gravável). Se a expressão for uma classe de exceção, a classe será instanciada e a instância de exceção resultante será anexada à exceção levantada como o atributo __cause__. Se a exceção levantada não for tratada, ambas as exceções serão impressas:

>>> try:
...     print(1 / 0)
... except Exception as exc:
...     raise RuntimeError("Something bad happened") from exc
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    print(1 / 0)
          ~~^~~
ZeroDivisionError: division by zero

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
    raise RuntimeError("Something bad happened") from exc
RuntimeError: Something bad happened

Um mecanismo semelhante funciona implicitamente se uma nova exceção for levantada quando uma exceção já estiver sendo tratada. Uma exceção pode ser tratada quando uma cláusula except ou finally, ou uma instrução with, é usada. A exceção anterior é então anexada como o atributo __context__ da nova exceção:

>>> try:
...     print(1 / 0)
... except:
...     raise RuntimeError("Something bad happened")
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
    print(1 / 0)
          ~~^~~
ZeroDivisionError: division by zero

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
    raise RuntimeError("Something bad happened")
RuntimeError: Something bad happened

O encadeamento de exceção pode ser explicitamente suprimido especificando None na cláusula from:

>>> try:
...     print(1 / 0)
... except:
...     raise RuntimeError("Something bad happened") from None
...
Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
RuntimeError: Something bad happened

Informações adicionais sobre exceções podem ser encontradas na seção Exceções, e informações sobre como lidar com exceções estão na seção A instrução try.

Alterado na versão 3.3: None agora é permitido como Y em raise X from Y.

Adicionado o atributo __suppress_context__ para suprimir a exibição automática do contexto de exceção.

Alterado na versão 3.11: Se o traceback da exceção ativa for modificado em uma cláusula except, uma instrução raise subsequente levantará novamente a exceção com o traceback modificado. Anteriormente, a exceção era levantada novamente com o traceback que tinha quando foi capturada.

7.9. A instrução break

break_stmt ::=  "break"

break só pode ocorrer sintaticamente aninhado em um laço for ou while, mas não aninhado em uma função ou definição de classe dentro desse laço.

Ele termina o laço de fechamento mais próximo, pulando a cláusula opcional else se o laço tiver uma.

Se um laço for é encerrado por break, o alvo de controle do laço mantém seu valor atual.

Quando break passa o controle de uma instrução try com uma cláusula finally, essa cláusula finally é executada antes de realmente sair do laço.

7.10. A instrução continue

continue_stmt ::=  "continue"

continue só pode ocorrer sintaticamente aninhado em um laço for ou while, mas não aninhado em uma função ou definição de classe dentro desse laço. Ele continua com o próximo ciclo do laço de fechamento mais próximo.

Quando continue passa o controle de uma instrução try com uma cláusula finally, essa cláusula finally é executada antes realmente iniciar o próximo ciclo do laço.

7.11. A instrução import

import_stmt     ::=  "import" module ["as" identifier] ("," module ["as" identifier])*
                     | "from" relative_module "import" identifier ["as" identifier]
                     ("," identifier ["as" identifier])*
                     | "from" relative_module "import" "(" identifier ["as" identifier]
                     ("," identifier ["as" identifier])* [","] ")"
                     | "from" relative_module "import" "*"
module          ::=  (identifier ".")* identifier
relative_module ::=  "."* module | "."+

A instrução de importação básica (sem cláusula from) é executada em duas etapas:

encontra um módulo, carregando e inicializando-o se necessário

define um nome ou nomes no espaço de nomes local para o escopo onde ocorre a instrução import.

Quando a instrução contém várias cláusulas (separadas por vírgulas), as duas etapas são executadas separadamente para cada cláusula, como se as cláusulas tivessem sido separadas em instruções de importação individuais.

Os detalhes da primeira etapa, encontrar e carregar módulos, estão descritos com mais detalhes na seção sobre o sistema de importação, que também descreve os vários tipos de pacotes e módulos que podem ser importados, bem como todos os os ganchos que podem ser usados para personalizar o sistema de importação. Observe que falhas nesta etapa podem indicar que o módulo não pôde ser localizado ou que ocorreu um erro durante a inicialização do módulo, o que inclui a execução do código do módulo.

Se o módulo solicitado for recuperado com sucesso, ele será disponibilizado no espaço de nomes local de três maneiras:

Se o nome do módulo é seguido pela palavra reservada as, o nome a seguir é vinculado diretamente ao módulo importado.

Se nenhum outro nome for especificado e o módulo que está sendo importado for um módulo de nível superior, o nome do módulo será vinculado ao espaço de nomes local como uma referência ao módulo importado

Se o módulo que está sendo importado não for um módulo de nível superior, o nome do pacote de nível superior que contém o módulo será vinculado ao espaço de nomes local como uma referência ao pacote de nível superior. O módulo importado deve ser acessado usando seu nome completo e não diretamente

O formulário from usa um processo um pouco mais complexo:

encontra o módulo especificado na cláusula from, carregando e inicializando-o se necessário;

para cada um dos identificadores especificados nas cláusulas import:

verifica se o módulo importado tem um atributo com esse nome

caso contrário, tenta importar um submódulo com esse nome e verifica o módulo importado novamente para esse atributo

se o atributo não for encontrado, a exceção ImportError é levantada.

caso contrário, uma referência a esse valor é armazenada no espaço de nomes local, usando o nome na cláusula as se estiver presente, caso contrário, usando o nome do atributo

Exemplos:

import foo                 # foo imported and bound locally
import foo.bar.baz         # foo, foo.bar, and foo.bar.baz imported, foo bound locally
import foo.bar.baz as fbb  # foo, foo.bar, and foo.bar.baz imported, foo.bar.baz bound as fbb
from foo.bar import baz    # foo, foo.bar, and foo.bar.baz imported, foo.bar.baz bound as baz
from foo import attr       # foo imported and foo.attr bound as attr

Se a lista de identificadores for substituída por uma estrela ('*'), todos os nomes públicos definidos no módulo serão vinculados ao espaço de nomes local para o escopo onde ocorre a instrução import.

Os nomes públicos definidos por um módulo são determinados verificando o espaço de nomes do módulo para uma variável chamada __all__; se definido, deve ser uma sequência de strings que são nomes definidos ou importados por esse módulo. Os nomes dados em __all__ são todos considerados públicos e devem existir. Se __all__ não estiver definido, o conjunto de nomes públicos inclui todos os nomes encontrados no espaço de nomes do módulo que não começam com um caractere sublinhado ('_'). __all__ deve conter toda a API pública. Destina-se a evitar a exportação acidental de itens que não fazem parte da API (como módulos de biblioteca que foram importados e usados no módulo).

A forma curinga de importação — from module import * — só é permitida no nível do módulo. Tentar usá-lo em definições de classe ou função irá levantar uma SyntaxError.

Ao especificar qual módulo importar, você não precisa especificar o nome absoluto do módulo. Quando um módulo ou pacote está contido em outro pacote, é possível fazer uma importação relativa dentro do mesmo pacote superior sem precisar mencionar o nome do pacote. Usando pontos iniciais no módulo ou pacote especificado após from você pode especificar quão alto percorrer a hierarquia de pacotes atual sem especificar nomes exatos. Um ponto inicial significa o pacote atual onde o módulo que faz a importação existe. Dois pontos significam um nível de pacote acima. Três pontos são dois níveis acima, etc. Então, se você executar from . import mod de um módulo no pacote pkg então você acabará importando o pkg.mod. Se você executar from ..subpkg2 import mod de dentro de pkg.subpkg1 você irá importar pkg.subpkg2.mod. A especificação para importações relativas está contida na seção Importações relativas ao pacote.

importlib.import_module() é fornecida para dar suporte a aplicações que determinam dinamicamente os módulos a serem carregados.

Levanta um evento de auditoria import com os argumentos module, filename, sys.path, sys.meta_path, sys.path_hooks.

7.11.1. Instruções future

Uma instrução future é uma diretiva para o compilador de que um determinado módulo deve ser compilado usando sintaxe ou semântica que estará disponível em uma versão futura especificada do Python, onde o recurso se tornará padrão.

A instrução future destina-se a facilitar a migração para versões futuras do Python que introduzem alterações incompatíveis na linguagem. Ele permite o uso dos novos recursos por módulo antes do lançamento em que o recurso se torna padrão.

future_stmt ::=  "from" "__future__" "import" feature ["as" identifier]
                 ("," feature ["as" identifier])*
                 | "from" "__future__" "import" "(" feature ["as" identifier]
                 ("," feature ["as" identifier])* [","] ")"
feature     ::=  identifier

Uma instrução future deve aparecer perto do topo do módulo. As únicas linhas que podem aparecer antes de uma instrução future são:

o módulo docstring (se houver),

omentários,

linhas vazias e

outras instruções future.

O único recurso que requer o uso da instrução future é annotations (veja PEP 563 [https://peps.python.org/pep-0563/]).

Todos os recursos históricos habilitados pela instrução future ainda são reconhecidos pelo Python 3. A lista inclui absolute_import, division, generators, generator_stop, unicode_literals, print_function, nested_scopes e with_statement. Eles são todos redundantes porque estão sempre habilitados e mantidos apenas para compatibilidade com versões anteriores.

Uma instrução future é reconhecida e tratada especialmente em tempo de compilação: as alterações na semântica das construções principais são frequentemente implementadas gerando código diferente. Pode até ser o caso de um novo recurso introduzir uma nova sintaxe incompatível (como uma nova palavra reservada), caso em que o compilador pode precisar analisar o módulo de maneira diferente. Tais decisões não podem ser adiadas até o tempo de execução.

Para qualquer versão, o compilador sabe quais nomes de recursos foram definidos e levanta um erro em tempo de compilação se uma instrução future contiver um recurso desconhecido.

A semântica do tempo de execução direto é a mesma de qualquer instrução de importação: existe um módulo padrão __future__, descrito posteriormente, e será importado da maneira usual no momento em que a instrução future for executada.

A semântica interessante do tempo de execução depende do recurso específico ativado pela instrução future.

Observe que não há nada de especial sobre a instrução:

import __future__ [as name]

Essa não é uma instrução future; é uma instrução de importação comum sem nenhuma semântica especial ou restrições de sintaxe.

O código compilado por chamadas para as funções embutidas exec() e compile() que ocorrem em um módulo M contendo uma instrução future usará, por padrão, a nova sintaxe ou semântica associada com a instrução future. Isso pode ser controlado por argumentos opcionais para compile() – veja a documentação dessa função para detalhes.

Uma instrução future tipada digitada em um prompt do interpretador interativo terá efeito no restante da sessão do interpretador. Se um interpretador for iniciado com a opção -i, for passado um nome de script para ser executado e o script incluir uma instrução future, ela entrará em vigor na sessão interativa iniciada após a execução do script.

Ver também

PEP 236 [https://peps.python.org/pep-0236/] - De volta ao __future__

A proposta original para o mecanismo do __future__.

7.12. A instrução global

global_stmt ::=  "global" identifier ("," identifier)*

A instrução global é uma declaração que vale para todo o bloco de código atual. Isso significa que os identificadores listados devem ser interpretados como globais. Seria impossível atribuir a uma variável global sem global, embora variáveis livres possam se referir a globais sem serem declaradas globais.

Nomes listados em uma instrução global não devem ser usados no mesmo bloco de código que precede textualmente a instrução global.

Os nomes listados em uma instrução global não devem ser definidos como parâmetros formais, ou como alvos em instruções with ou cláusulas except, ou em uma lista alvo for, definição de class, definição de função, instrução import ou anotação de variável.

Detalhes da implementação do CPython: A implementação atual não impõe algumas dessas restrições, mas os programas não devem abusar dessa liberdade, pois implementações future podem aplicá-las ou alterar silenciosamente o significado do programa.

Nota do programador: global é uma diretiva para o analisador sintático. Aplica-se apenas ao código analisado ao mesmo tempo que a instrução global. Em particular, uma instrução global contida em uma string ou objeto código fornecido à função embutida exec() não afeta o bloco de código contendo a chamada da função e o código contido em tal uma string não é afetada por instruções global no código que contém a chamada da função. O mesmo se aplica às funções eval() e compile().

7.13. A instrução nonlocal

nonlocal_stmt ::=  "nonlocal" identifier ("," identifier)*

Quando a definição de uma função ou classe está aninhada (incluída) nas definições de outras funções, seus escopos não locais são os escopos locais das funções envolventes. A instrução nonlocal faz com que os identificadores listados se refiram a nomes previamente vinculados a escopos não locais. Ele permite que o código encapsulado religue esses identificadores não locais. Se um nome estiver ligado a mais de um escopo não local, a ligação mais próxima será usada. Se um nome não estiver vinculado a nenhum escopo não local, ou se não houver escopo não local, uma exceção SyntaxError será levantada.

A instrução não local se aplica a todo o escopo de uma função ou corpo da classe. Uma exceção SyntaxError é levantada se uma variável for usada ou atribuída antes de sua declaração não local no escopo.

Ver também

PEP 3104 [https://peps.python.org/pep-3104/] - Acesso a nomes em escopos externos

A especificação para a instrução nonlocal.

Nota do programador: nonlocal é uma diretiva para o analisador sintático e se aplica apenas ao código analisado junto com ele. Veja a nota para a instrução global.

7.14. A instrução type

type_stmt ::=  'type' identifier [type_params] "=" expression

A instrução type declara um apelido de tipo, que é uma instância de typing.TypeAliasType.

Por exemplo, a instrução a seguir cria um apelido de tipo:

type Point = tuple[float, float]

Este código é aproximadamente equivalente a:

annotation-def VALUE_OF_Point():
    return tuple[float, float]
Point = typing.TypeAliasType("Point", VALUE_OF_Point())

annotation-def indica um escopo de anotação, que se comporta principalmente como uma função, mas com diversas pequenas diferenças.

O valor do apelido de tipo é avaliado no escopo de anotação. Ele não é avaliado quando o apelido de tipo é criado, mas somente quando o valor é acessado através do atributo __value__ do apelido de tipo (veja Avaliação preguiçosa). Isso permite que o apelido de tipo se refira a nomes que ainda não estão definidos.

Apelidos de tipo podem se tornar genéricos adicionando uma lista de parâmetros de tipo após o nome. Veja Generic type aliases para mais.

type é uma palavra reservada contextual.

Adicionado na versão 3.12.

Ver também

PEP 695 [https://peps.python.org/pep-0695/] - Sintaxe de parâmetros de tipo

Introduziu a instrução type e sintaxe para classes e funções genéricas.

8. Instruções compostas

Instruções compostas contém (grupos de) outras instruções; Elas afetam ou controlam a execução dessas outras instruções de alguma maneira. Em geral, instruções compostas abrangem múltiplas linhas, no entanto em algumas manifestações simples uma instrução composta inteira pode estar contida em uma linha.

As instruções if, while e for implementam construções tradicionais de controle do fluxo de execução. try especifica tratadores de exceção e/ou código de limpeza para uma instrução ou grupo de instruções, enquanto a palavra reservada with permite a execução de código de inicialização e finalização em volta de um bloco de código. Definições de função e classe também são sintaticamente instruções compostas.

Uma instrução composta consiste em uma ou mais “cláusulas”. Uma cláusula consiste em um cabeçalho e um “conjunto”. Os cabeçalhos das cláusulas de uma instrução composta específica estão todos no mesmo nível de indentação. Cada cabeçalho de cláusula começa com uma palavra reservada de identificação exclusiva e termina com dois pontos. Um conjunto é um grupo de instruções controladas por uma cláusula. Um conjunto pode ser uma ou mais instruções simples separadas por ponto e vírgula na mesma linha do cabeçalho, após os dois pontos do cabeçalho, ou pode ser uma ou mais instruções indentadas nas linhas subsequentes. Somente a última forma de conjunto pode conter instruções compostas aninhadas; o seguinte é ilegal, principalmente porque não ficaria claro a qual cláusula if a seguinte cláusula else pertenceria:

if test1: if test2: print(x)

Observe também que o ponto e vírgula é mais vinculado que os dois pontos neste contexto, de modo que no exemplo a seguir, todas ou nenhuma das chamadas print() são executadas:

if x < y < z: print(x); print(y); print(z)

Resumindo:

compound_stmt ::=  if_stmt
                   | while_stmt
                   | for_stmt
                   | try_stmt
                   | with_stmt
                   | match_stmt
                   | funcdef
                   | classdef
                   | async_with_stmt
                   | async_for_stmt
                   | async_funcdef
suite         ::=  stmt_list NEWLINE | NEWLINE INDENT statement+ DEDENT
statement     ::=  stmt_list NEWLINE | compound_stmt
stmt_list     ::=  simple_stmt (";" simple_stmt)* [";"]

Note que instruções sempre terminam em uma NEWLINE possivelmente seguida por uma DEDENT. Note também que cláusulas opcionais de continuação sempre começam com uma palavra reservada que não pode iniciar uma instrução, desta forma não há ambiguidades (o problema do “else pendurado” é resolvido em Python obrigando que instruções if aninhadas tenham indentação)

A formatação das regras de gramática nas próximas seções põe cada cláusula em uma linha separada para as tornar mais claras.

8.1. A instrução if

A instrução if é usada para execução condicional:

if_stmt ::=  "if" assignment_expression ":" suite
             ("elif" assignment_expression ":" suite)*
             ["else" ":" suite]

Ele seleciona exatamente um dos conjuntos avaliando as expressões uma por uma até que uma seja considerada verdadeira (veja a seção Operações booleanas para a definição de verdadeiro e falso); então esse conjunto é executado (e nenhuma outra parte da instrução if é executada ou avaliada). Se todas as expressões forem falsas, o conjunto da cláusula else, se presente, é executado.

8.2. A instrução while

A instrução while é usada para execução repetida desde que uma expressão seja verdadeira:

while_stmt ::=  "while" assignment_expression ":" suite
                ["else" ":" suite]

Isto testa repetidamente a expressão e, se for verdadeira, executa o primeiro conjunto; se a expressão for falsa (o que pode ser a primeira vez que ela é testada) o conjunto da cláusula else, se presente, é executado e o laço termina.

Uma instrução break executada no primeiro conjunto termina o loop sem executar o conjunto da cláusula else. Uma instrução continue executada no primeiro conjunto ignora o resto do conjunto e volta a testar a expressão.

8.3. A instrução for

A instrução for é usada para iterar sobre os elementos de uma sequência (como uma string, tupla ou lista) ou outro objeto iterável:

for_stmt ::=  "for" target_list "in" starred_list ":" suite
              ["else" ":" suite]

A expressão starred_list é avaliada uma vez; deve produzir um objeto iterável. Um iterador é criado para esse iterável. O primeiro item fornecido pelo iterador é então atribuído à lista de alvos usando as regras padrão para atribuições (veja Instruções de atribuição), e o conjunto é executado. Isso se repete para cada item fornecido pelo iterador. Quando o iterador se esgota, o conjunto na cláusula else, se presente, é executado e o loop termina.

Uma instrução break executada no primeiro conjunto termina o loop sem executar o conjunto da cláusula else. Uma instrução continue executada no primeiro conjunto pula o resto do conjunto e continua com o próximo item, ou com a cláusula else se não houver próximo item.

O laço for faz atribuições às variáveis na lista de destino. Isso substitui todas as atribuições anteriores a essas variáveis, incluindo aquelas feitas no conjunto do laço for:

for i in range(10):
    print(i)
    i = 5             # this will not affect the for-loop
                      # because i will be overwritten with the next
                      # index in the range

Os nomes na lista de destinos não são excluídos quando o laço termina, mas se a sequência estiver vazia, eles não serão atribuídos pelo laço. Dica: o tipo embutido range() representa sequências aritméticas imutáveis de inteiros. Por exemplo, iterar range(3) sucessivamente produz 0, 1 e depois 2.

Alterado na versão 3.11: Elementos marcados com estrela agora são permitidos na lista de expressões.

8.4. A instrução try

A instrução try especifica manipuladores de exceção e/ou código de limpeza para um grupo de instruções:

try_stmt  ::=  try1_stmt | try2_stmt | try3_stmt
try1_stmt ::=  "try" ":" suite
               ("except" [expression ["as" identifier]] ":" suite)+
               ["else" ":" suite]
               ["finally" ":" suite]
try2_stmt ::=  "try" ":" suite
               ("except" "*" expression ["as" identifier] ":" suite)+
               ["else" ":" suite]
               ["finally" ":" suite]
try3_stmt ::=  "try" ":" suite
               "finally" ":" suite

Informações adicionais sobre exceções podem ser encontradas na seção Exceções, e informações sobre como usar a instrução raise para gerar exceções podem ser encontradas na seção A instrução raise.

8.4.1. Cláusula except

As cláusulas except especificam um ou mais manipuladores de exceção. Quando nenhuma exceção ocorre na cláusula try, nenhum manipulador de exceção é executado. Quando uma exceção ocorre no conjunto try, uma busca por um manipulador de exceção é iniciada. Essa busca inspeciona as cláusulas except por vez até que uma seja encontrada que corresponda à exceção. Uma cláusula except sem expressão, se presente, deve ser a última; ela corresponde a qualquer exceção.

Para uma cláusula except com uma expressão, a expressão deve ser avaliada como um tipo de exceção ou uma tupla de tipos de exceção. A exceção levantada corresponde a uma cláusula except cuja expressão é avaliada como a classe ou uma classe base não virtual do objeto exceção, ou como uma tupla que contém tal classe.

Se nenhuma cláusula except corresponder à exceção, a busca por um manipulador de exceção continua no código circundante e na pilha de invocação. [1]

Se a avaliação de uma expressão no cabeçalho de uma cláusula except levantar uma exceção, a busca original por um manipulador será cancelada e uma busca pela nova exceção será iniciada no código circundante e na pilha de chamadas (ela é tratado como se toda a instrução try levantasse a exceção).

Quando uma cláusula except correspondente é encontrada, a exceção é atribuída ao destino especificado após a palavra reservada as nessa cláusula except, se presente, e o conjunto da cláusula except é executado. Todas as cláusulas except devem ter um bloco executável. Quando o final deste bloco é atingido, a execução continua normalmente após toda a instrução try. (Isso significa que se existirem dois manipuladores aninhados para a mesma exceção, e a exceção ocorrer na cláusula try do manipulador interno, o manipulador externo não tratará a exceção.)

Quando uma exceção foi atribuída usando as target, ela é limpa no final da cláusula except. É como se

except E as N:
    foo

fosse traduzido para

except E as N:
    try:
        foo
    finally:
        del N

Isso significa que a exceção deve ser atribuída a um nome diferente para poder referenciá-la após a cláusula except. As exceções são limpas porque, com o traceback (situação da pilha de execução) anexado a elas, elas formam um ciclo de referência com o quadro de pilha, mantendo todos os locais nesse quadro vivos até que ocorra a próxima coleta de lixo.

Antes de um conjunto de cláusulas except ser executado, a exceção é armazenada no módulo sys, onde pode ser acessada de dentro do corpo da cláusula except chamando sys.exception(). Ao sair de um manipulador de exceções, a exceção armazenada no módulo sys é redefinida para seu valor anterior:

>>> print(sys.exception())
None
>>> try:
...     raise TypeError
... except:
...     print(repr(sys.exception()))
...     try:
...          raise ValueError
...     except:
...         print(repr(sys.exception()))
...     print(repr(sys.exception()))
...
TypeError()
ValueError()
TypeError()
>>> print(sys.exception())
None

8.4.2. Cláusula except*

As cláusulas except* são usadas para manipular ExceptionGroups. O tipo de exceção para correspondência é interpretado como no caso de except, mas no caso de grupos de exceção, podemos ter correspondências parciais quando o tipo corresponde a algumas das exceções no grupo. Isso significa que várias cláusulas except* podem ser executadas, cada uma manipulando parte do grupo de exceções. Cada cláusula é executada no máximo uma vez e manipula um grupo de exceções de todas as exceções correspondentes. Cada exceção no grupo é manipulada por no máximo uma cláusula except*, a primeira que corresponde a ela.

>>> try:
...     raise ExceptionGroup("eg",
...         [ValueError(1), TypeError(2), OSError(3), OSError(4)])
... except* TypeError as e:
...     print(f'caught {type(e)} with nested {e.exceptions}')
... except* OSError as e:
...     print(f'caught {type(e)} with nested {e.exceptions}')
...
caught <class 'ExceptionGroup'> with nested (TypeError(2),)
caught <class 'ExceptionGroup'> with nested (OSError(3), OSError(4))
  + Exception Group Traceback (most recent call last):
  |   File "<stdin>", line 2, in <module>
  | ExceptionGroup: eg
  +-+---------------- 1 ----------------
    | ValueError: 1
    +------------------------------------

Quaisquer exceções restantes que não foram manipuladas por nenhuma cláusula except* são levantadas novamente no final, junto com todas as exceções que foram levantadas de dentro das cláusulas except*. Se esta lista contiver mais de uma exceção para levantar novamente, elas serão combinadas em um grupo de exceções.

Se a exceção levantada não for um grupo de exceções e seu tipo corresponder a uma das cláusulas except*, ela será capturada e encapsulada por um grupo de exceções com uma string de mensagem vazia.

>>> try:
...     raise BlockingIOError
... except* BlockingIOError as e:
...     print(repr(e))
...
ExceptionGroup('', (BlockingIOError()))

Uma cláusula except* deve ter uma expressão correspondente; não pode ser except*:. Além disso, essa expressão não pode conter tipos de grupo de exceção, porque isso teria semântica ambígua.

Não é possível misturar except e except* no mesmo try. break, continue e return não pode aparecer em uma cláusula except*.

8.4.3. Cláusula else

A cláusula opcional else é executada se o fluxo de controle deixar o conjunto try, nenhuma exceção foi levantada e nenhuma instrução return, continue ou break foi executada. Exceções na cláusula else não são manipuladas pelas cláusulas except precedentes.

8.4.4. Cláusula finally

Se finally estiver presente, especifica um manipulador de “limpeza”. A cláusula try é executada, incluindo quaisquer cláusulas except e else. Se uma exceção ocorrer em qualquer uma das cláusulas e não for manipulada, a exceção será salva temporariamente. A cláusula finally é executada. Se houver uma exceção salva, ela será levantada novamente no final da cláusula finally. Se a cláusula finally levantar outra exceção, a exceção salva será definida como o contexto da nova exceção. Se a cláusula finally executar uma instrução return, break ou continue, a exceção salva será descartada:

>>> def f():
...     try:
...         1/0
...     finally:
...         return 42
...
>>> f()
42

As informações de exceção não estão disponíveis para o programa durante a execução da cláusula finally.

Quando uma instrução return, break ou continue é executada no conjunto try de uma instrução try…finally, a cláusula finally também é executada “na saída”.

O valor de retorno de uma função é determinado pela última instrução return executada. Como a cláusula finally sempre é executada, uma instrução return executada na cláusula finally sempre será a última executada:

>>> def foo():
...     try:
...         return 'try'
...     finally:
...         return 'finally'
...
>>> foo()
'finally'

Alterado na versão 3.8: Antes do Python 3.8, uma instrução continue era ilegal na cláusula finally devido a um problema com a implementação.

8.5. A instrução with

A instrução with é usada para envolver em um invólucro a execução de um bloco com métodos definidos por um gerenciador de contexto (veja a seção Gerenciadores de contexto da instrução with). Isso permite que padrões comuns de uso de try…except…finally sejam encapsulados para reutilização conveniente.

with_stmt          ::=  "with" ( "(" with_stmt_contents ","? ")" | with_stmt_contents ) ":" suite
with_stmt_contents ::=  with_item ("," with_item)*
with_item          ::=  expression ["as" target]

A execução da instrução with com um “item” ocorre da seguinte maneira:

A expressão de contexto (a expressão fornecida em with_item) é avaliada para obter um gerenciador de contexto.

O __enter__() do gerenciador de contexto é carregado para uso posterior.

O __exit__() do gerenciador de contexto é carregado para uso posterior.

O método __enter__() do gerenciador de contexto é invocado.

Se um alvo foi incluído na instrução with, o valor de retorno de __enter__() é atribuído a ele.

Nota

A instrução with garante que se o método __enter__() retornar sem um erro, então __exit__() sempre será chamado. Assim, se ocorrer um erro durante a atribuição à lista de alvos, ele será tratado da mesma forma que um erro ocorrendo dentro do conjunto seria. Veja a etapa 7 abaixo.

O conjunto é executado.

O método __exit__() do gerenciador de contexto é invocado. Se uma exceção fez com que o conjunto fosse encerrado, seu tipo, valor e traceback são passados ​​como argumentos para __exit__(). Caso contrário, três argumentos None são fornecidos.

Se o conjunto foi encerrado devido a uma exceção, e o valor de retorno do método __exit__() foi falso, a exceção é levantada novamente. Se o valor de retorno era verdadeiro, a exceção é suprimida, e a execução continua com a instrução após a instrução with.

Se o conjunto foi encerrado por qualquer motivo diferente de uma exceção, o valor de retorno de __exit__() é ignorado e a execução prossegue no local normal para o tipo de saída que foi realizada.

O seguinte código:

with EXPRESSION as TARGET:
    SUITE

é semanticamente equivalente a:

manager = (EXPRESSION)
enter = type(manager).__enter__
exit = type(manager).__exit__
value = enter(manager)
hit_except = False

try:
    TARGET = value
    SUITE
except:
    hit_except = True
    if not exit(manager, *sys.exc_info()):
        raise
finally:
    if not hit_except:
        exit(manager, None, None, None)

Com mais de um item, os gerenciadores de contexto são processados ​​como se várias instruções with estivessem aninhadas:

with A() as a, B() as b:
    SUITE

é semanticamente equivalente a:

with A() as a:
    with B() as b:
        SUITE

Você também pode escrever gerenciadores de contexto multi-item em várias linhas se os itens estiverem entre parênteses. Por exemplo:

with (
    A() as a,
    B() as b,
):
    SUITE

Alterado na versão 3.1: Suporte para múltiplas expressões de contexto.

Alterado na versão 3.10: Suporte para usar parênteses de agrupamento para dividir a instrução em várias linhas.

Ver também

PEP 343 [https://peps.python.org/pep-0343/] - A instrução “with”

A especificação, o histórico e os exemplos para a instrução Python with.

8.6. A instrução match

Adicionado na versão 3.10.

A instrução match é usada para correspondência de padrões. Sintaxe:

match_stmt   ::=  'match' subject_expr ":" NEWLINE INDENT case_block+ DEDENT
subject_expr ::=  star_named_expression "," star_named_expressions?
                  | named_expression
case_block   ::=  'case' patterns [guard] ":" block

Nota

Esta seção usa aspas simples para denotar palavras reservadas contextuais.

A correspondência de padrões aceita um padrão como entrada (seguindo case) e um valor de sujeito (seguindo match). O padrão (que pode conter subpadrões) é correspondido ao valor de assunto. Os resultados são:

Um sucesso ou falha de correspondência (também chamado de sucesso ou falha de padrão).

Possível vinculação de valores correspondentes a um nome. Os pré-requisitos para isso são discutidos mais adiante.

As palavras reservadas match e case são palavras reservadas contextuais.

Ver também

PEP 634 [https://peps.python.org/pep-0634/] – Structural Pattern Matching: Specification

PEP 636 [https://peps.python.org/pep-0636/] – Correspondência de padrões estruturais: Tutorial

8.6.1. Visão Geral

Aqui está uma visão geral do fluxo lógico de uma instrução match:

A expressão de sujeito subject_expr é avaliada e um valor de sujeito resultante é obtido. Se a expressão de sujeito contiver uma vírgula, uma tupla é construída usando as regras padrão.

Cada padrão em um case_block é tentado para corresponder ao valor de sujeito. As regras específicas para sucesso ou falha são descritas abaixo. A tentativa de correspondência também pode vincular alguns ou todos os nomes autônomos dentro do padrão. As regras precisas de vinculação de padrão variam por tipo de padrão e são especificadas abaixo. As vinculações de nome feitas durante uma correspondência de padrão bem-sucedida sobrevivem ao bloco executado e podem ser usadas após a instrução match.

Nota

Durante correspondências de padrões com falha, alguns subpadrões podem ter sucesso. Não confie em vinculações sendo feitas para uma correspondência com falha. Por outro lado, não confie em variáveis ​​permanecendo inalteradas após uma correspondência com falha. O comportamento exato depende da implementação e pode variar. Esta é uma decisão intencional feita para permitir que diferentes implementações adicionem otimizações.

Se o padrão for bem-sucedido, o guard correspondente (se presente) é avaliado. Neste caso, todas as vinculações de nome são garantidas como tendo acontecido.

Se o guard for avaliado como verdadeiro ou estiver ausente, o block dentro de case_block será executado.

Caso contrário, o próximo case_block será tentado conforme descrito acima.

Se não houver mais blocos de caso, a instrução match será concluída.

Nota

Os usuários geralmente nunca devem confiar em um padrão sendo avaliado. Dependendo da implementação, o interpretador pode armazenar valores em cache ou usar outras otimizações que pulam avaliações repetidas.

Um exemplo de instrução match:

>>> flag = False
>>> match (100, 200):
...    case (100, 300):  # Mismatch: 200 != 300
...        print('Case 1')
...    case (100, 200) if flag:  # Successful match, but guard fails
...        print('Case 2')
...    case (100, y):  # Matches and binds y to 200
...        print(f'Case 3, y: {y}')
...    case _:  # Pattern not attempted
...        print('Case 4, I match anything!')
...
Case 3, y: 200

Neste caso, if flag é um guard. Leia mais sobre isso na próxima seção.

8.6.2. Guards

guard ::=  "if" named_expression

Um guard (que faz parte do case) deve ter sucesso para que o código dentro do bloco case seja executado. Ele assume a forma: if seguido por uma expressão.

O fluxo lógico de um bloco case com um guard é o seguinte:

Verifique se o padrão no bloco case foi bem-sucedido. Se o padrão falhou, o guard não é avaliado e o próximo bloco case é verificado.

Se o padrão for bem-sucedido, avalia o guard.

Se a condição guard for avaliada como verdadeira, o bloco de caso será selecionado.

Se a condição guard for avaliada como falsa, o bloco de caso não será selecionado.

Se o guard levantar uma exceção durante a avaliação, a exceção surgirá.

Guards podem ter efeitos colaterais, pois são expressões. A avaliação de guards deve prosseguir do primeiro ao último bloco de caso, um de cada vez, pulando blocos de caso cujos padrões não são todos bem-sucedidos. (Isto é, a avaliação de guardas deve acontecer em ordem.) A avaliação de guards deve parar quando um bloco de caso for selecionado.

8.6.3. Blocos irrefutáveis de case

Um bloco irrefutável de case é um bloco de case que corresponde a qualquer valor. Uma instrução match pode ter no máximo um bloco irrefutável de case, e ele deve ser o último.

Um bloco de case é considerado irrefutável se não tiver guard e seu padrão for irrefutável. Um padrão é considerado irrefutável se pudermos provar somente por sua sintaxe que ele sempre terá sucesso. Somente os seguintes padrões são irrefutáveis:

AS Patterns cujo lado esquerdo é irrefutável

OR Patterns contendo pelo menos um padrão irrefutável

Capture Patterns

Wildcard Patterns

padrões irrefutáveis entre parêteses

8.6.4. Padrões

Nota

Esta seção usa notações de gramática para além do padrão de EBNF:

a notação SEP.RULE+ é uma abreviação para RULE (SEP RULE)*

a notação !RULE é uma abreviação para uma asserção de negação antecipada.

The top-level syntax for patterns is:

patterns       ::=  open_sequence_pattern | pattern
pattern        ::=  as_pattern | or_pattern
closed_pattern ::=  | literal_pattern
                    | capture_pattern
                    | wildcard_pattern
                    | value_pattern
                    | group_pattern
                    | sequence_pattern
                    | mapping_pattern
                    | class_pattern

The descriptions below will include a description “in simple terms” of what a pattern does for illustration purposes (credits to Raymond Hettinger for a document that inspired most of the descriptions). Note that these descriptions are purely for illustration purposes and may not reflect the underlying implementation. Furthermore, they do not cover all valid forms.

8.6.4.1. OR Patterns

An OR pattern is two or more patterns separated by vertical bars |. Syntax:

or_pattern ::=  "|".closed_pattern+

Only the final subpattern may be irrefutable, and each subpattern must bind the same set of names to avoid ambiguity.

An OR pattern matches each of its subpatterns in turn to the subject value, until one succeeds. The OR pattern is then considered successful. Otherwise, if none of the subpatterns succeed, the OR pattern fails.

In simple terms, P1 | P2 | ... will try to match P1, if it fails it will try to match P2, succeeding immediately if any succeeds, failing otherwise.

8.6.4.2. AS Patterns

An AS pattern matches an OR pattern on the left of the as keyword against a subject. Syntax:

as_pattern ::=  or_pattern "as" capture_pattern

If the OR pattern fails, the AS pattern fails. Otherwise, the AS pattern binds the subject to the name on the right of the as keyword and succeeds. capture_pattern cannot be a _.

In simple terms P as NAME will match with P, and on success it will set NAME = <subject>.

8.6.4.3. Literal Patterns

A literal pattern corresponds to most literals in Python. Syntax:

literal_pattern ::=  signed_number
                     | signed_number "+" NUMBER
                     | signed_number "-" NUMBER
                     | strings
                     | "None"
                     | "True"
                     | "False"
signed_number   ::=  ["-"] NUMBER

The rule strings and the token NUMBER are defined in the standard Python grammar. Triple-quoted strings are supported. Raw strings and byte strings are supported. Literais de strings formatadas are not supported.

The forms signed_number '+' NUMBER and signed_number '-' NUMBER are for expressing complex numbers; they require a real number on the left and an imaginary number on the right. E.g. 3 + 4j.

In simple terms, LITERAL will succeed only if <subject> == LITERAL. For the singletons None, True and False, the is operator is used.

8.6.4.4. Capture Patterns

A capture pattern binds the subject value to a name. Syntax:

capture_pattern ::=  !'_' NAME

A single underscore _ is not a capture pattern (this is what !'_' expresses). It is instead treated as a wildcard_pattern.

In a given pattern, a given name can only be bound once. E.g. case x, x: ... is invalid while case [x] | x: ... is allowed.

Capture patterns always succeed. The binding follows scoping rules established by the assignment expression operator in PEP 572 [https://peps.python.org/pep-0572/]; the name becomes a local variable in the closest containing function scope unless there’s an applicable global or nonlocal statement.

In simple terms NAME will always succeed and it will set NAME = <subject>.

8.6.4.5. Wildcard Patterns

A wildcard pattern always succeeds (matches anything) and binds no name. Syntax:

wildcard_pattern ::=  '_'

_ is a soft keyword within any pattern, but only within patterns. It is an identifier, as usual, even within match subject expressions, guards, and case blocks.

In simple terms, _ will always succeed.

8.6.4.6. Value Patterns

A value pattern represents a named value in Python. Syntax:

value_pattern ::=  attr
attr          ::=  name_or_attr "." NAME
name_or_attr  ::=  attr | NAME

The dotted name in the pattern is looked up using standard Python name resolution rules. The pattern succeeds if the value found compares equal to the subject value (using the == equality operator).

In simple terms NAME1.NAME2 will succeed only if <subject> == NAME1.NAME2

Nota

If the same value occurs multiple times in the same match statement, the interpreter may cache the first value found and reuse it rather than repeat the same lookup. This cache is strictly tied to a given execution of a given match statement.

8.6.4.7. Group Patterns

A group pattern allows users to add parentheses around patterns to emphasize the intended grouping. Otherwise, it has no additional syntax. Syntax:

group_pattern ::=  "(" pattern ")"

In simple terms (P) has the same effect as P.

8.6.4.8. Sequence Patterns

A sequence pattern contains several subpatterns to be matched against sequence elements. The syntax is similar to the unpacking of a list or tuple.

sequence_pattern       ::=  "[" [maybe_sequence_pattern] "]"
                            | "(" [open_sequence_pattern] ")"
open_sequence_pattern  ::=  maybe_star_pattern "," [maybe_sequence_pattern]
maybe_sequence_pattern ::=  ",".maybe_star_pattern+ ","?
maybe_star_pattern     ::=  star_pattern | pattern
star_pattern           ::=  "*" (capture_pattern | wildcard_pattern)

There is no difference if parentheses or square brackets are used for sequence patterns (i.e. (...) vs [...] ).

Nota

A single pattern enclosed in parentheses without a trailing comma (e.g. (3 | 4)) is a group pattern. While a single pattern enclosed in square brackets (e.g. [3 | 4]) is still a sequence pattern.

At most one star subpattern may be in a sequence pattern. The star subpattern may occur in any position. If no star subpattern is present, the sequence pattern is a fixed-length sequence pattern; otherwise it is a variable-length sequence pattern.

The following is the logical flow for matching a sequence pattern against a subject value:

If the subject value is not a sequence [2], the sequence pattern fails.

If the subject value is an instance of str, bytes or bytearray the sequence pattern fails.

The subsequent steps depend on whether the sequence pattern is fixed or variable-length.

If the sequence pattern is fixed-length:

If the length of the subject sequence is not equal to the number of subpatterns, the sequence pattern fails

Subpatterns in the sequence pattern are matched to their corresponding items in the subject sequence from left to right. Matching stops as soon as a subpattern fails. If all subpatterns succeed in matching their corresponding item, the sequence pattern succeeds.

Otherwise, if the sequence pattern is variable-length:

If the length of the subject sequence is less than the number of non-star subpatterns, the sequence pattern fails.

The leading non-star subpatterns are matched to their corresponding items as for fixed-length sequences.

If the previous step succeeds, the star subpattern matches a list formed of the remaining subject items, excluding the remaining items corresponding to non-star subpatterns following the star subpattern.

Remaining non-star subpatterns are matched to their corresponding subject items, as for a fixed-length sequence.

Nota

The length of the subject sequence is obtained via len() (i.e. via the __len__() protocol). This length may be cached by the interpreter in a similar manner as value patterns.

In simple terms [P1, P2, P3, … , P<N>] matches only if all the following happens:

check <subject> is a sequence

len(subject) == <N>

P1 matches <subject>[0] (note that this match can also bind names)

P2 matches <subject>[1] (note that this match can also bind names)

… and so on for the corresponding pattern/element.

8.6.4.9. Mapping Patterns

A mapping pattern contains one or more key-value patterns. The syntax is similar to the construction of a dictionary. Syntax:

mapping_pattern     ::=  "{" [items_pattern] "}"
items_pattern       ::=  ",".key_value_pattern+ ","?
key_value_pattern   ::=  (literal_pattern | value_pattern) ":" pattern
                         | double_star_pattern
double_star_pattern ::=  "**" capture_pattern

At most one double star pattern may be in a mapping pattern. The double star pattern must be the last subpattern in the mapping pattern.

Duplicate keys in mapping patterns are disallowed. Duplicate literal keys will raise a SyntaxError. Two keys that otherwise have the same value will raise a ValueError at runtime.

The following is the logical flow for matching a mapping pattern against a subject value:

If the subject value is not a mapping [3],the mapping pattern fails.

If every key given in the mapping pattern is present in the subject mapping, and the pattern for each key matches the corresponding item of the subject mapping, the mapping pattern succeeds.

If duplicate keys are detected in the mapping pattern, the pattern is considered invalid. A SyntaxError is raised for duplicate literal values; or a ValueError for named keys of the same value.

Nota

Key-value pairs are matched using the two-argument form of the mapping subject’s get() method. Matched key-value pairs must already be present in the mapping, and not created on-the-fly via __missing__() or __getitem__().

In simple terms {KEY1: P1, KEY2: P2, ... } matches only if all the following happens:

check <subject> is a mapping

KEY1 in <subject>

P1 matches <subject>[KEY1]

… and so on for the corresponding KEY/pattern pair.

8.6.4.10. Class Patterns

A class pattern represents a class and its positional and keyword arguments (if any). Syntax:

class_pattern       ::=  name_or_attr "(" [pattern_arguments ","?] ")"
pattern_arguments   ::=  positional_patterns ["," keyword_patterns]
                         | keyword_patterns
positional_patterns ::=  ",".pattern+
keyword_patterns    ::=  ",".keyword_pattern+
keyword_pattern     ::=  NAME "=" pattern

The same keyword should not be repeated in class patterns.

The following is the logical flow for matching a class pattern against a subject value:

If name_or_attr is not an instance of the builtin type , raise TypeError.

If the subject value is not an instance of name_or_attr (tested via isinstance()), the class pattern fails.

If no pattern arguments are present, the pattern succeeds. Otherwise, the subsequent steps depend on whether keyword or positional argument patterns are present.

For a number of built-in types (specified below), a single positional subpattern is accepted which will match the entire subject; for these types keyword patterns also work as for other types.

If only keyword patterns are present, they are processed as follows, one by one:

I. The keyword is looked up as an attribute on the subject.

If this raises an exception other than AttributeError, the exception bubbles up.

If this raises AttributeError, the class pattern has failed.

Else, the subpattern associated with the keyword pattern is matched against the subject’s attribute value. If this fails, the class pattern fails; if this succeeds, the match proceeds to the next keyword.

II. If all keyword patterns succeed, the class pattern succeeds.

If any positional patterns are present, they are converted to keyword patterns using the __match_args__ attribute on the class name_or_attr before matching:

I. The equivalent of getattr(cls, "__match_args__", ()) is called.

If this raises an exception, the exception bubbles up.

If the returned value is not a tuple, the conversion fails and TypeError is raised.

If there are more positional patterns than len(cls.__match_args__), TypeError is raised.

Otherwise, positional pattern i is converted to a keyword pattern using __match_args__[i] as the keyword. __match_args__[i] must be a string; if not TypeError is raised.

If there are duplicate keywords, TypeError is raised.

Ver também

Customizando argumentos posicionais na classe correspondência de padrão

II. Once all positional patterns have been converted to keyword patterns,

the match proceeds as if there were only keyword patterns.

For the following built-in types the handling of positional subpatterns is different:

bool

bytearray

bytes

dict

float

frozenset

int

list

set

str

tuple

These classes accept a single positional argument, and the pattern there is matched against the whole object rather than an attribute. For example int(0|1) matches the value 0, but not the value 0.0.

In simple terms CLS(P1, attr=P2) matches only if the following happens:

isinstance(<subject>, CLS)

convert P1 to a keyword pattern using CLS.__match_args__

For each keyword argument attr=P2:

hasattr(<subject>, "attr")

P2 matches <subject>.attr

… and so on for the corresponding keyword argument/pattern pair.

Ver também

PEP 634 [https://peps.python.org/pep-0634/] – Structural Pattern Matching: Specification

PEP 636 [https://peps.python.org/pep-0636/] – Correspondência de padrões estruturais: Tutorial

8.7. Definições de função

A function definition defines a user-defined function object (see section A hierarquia de tipos padrão):

funcdef                   ::=  [decorators] "def" funcname [type_params] "(" [parameter_list] ")"
                               ["->" expression] ":" suite
decorators                ::=  decorator+
decorator                 ::=  "@" assignment_expression NEWLINE
parameter_list            ::=  defparameter ("," defparameter)* "," "/" ["," [parameter_list_no_posonly]]
                                 | parameter_list_no_posonly
parameter_list_no_posonly ::=  defparameter ("," defparameter)* ["," [parameter_list_starargs]]
                               | parameter_list_starargs
parameter_list_starargs   ::=  "*" [star_parameter] ("," defparameter)* ["," ["**" parameter [","]]]
                               | "**" parameter [","]
parameter                 ::=  identifier [":" expression]
star_parameter            ::=  identifier [":" ["*"] expression]
defparameter              ::=  parameter ["=" expression]
funcname                  ::=  identifier

A function definition is an executable statement. Its execution binds the function name in the current local namespace to a function object (a wrapper around the executable code for the function). This function object contains a reference to the current global namespace as the global namespace to be used when the function is called.

The function definition does not execute the function body; this gets executed only when the function is called. [4]

A function definition may be wrapped by one or more decorator expressions. Decorator expressions are evaluated when the function is defined, in the scope that contains the function definition. The result must be a callable, which is invoked with the function object as the only argument. The returned value is bound to the function name instead of the function object. Multiple decorators are applied in nested fashion. For example, the following code

@f1(arg)
@f2
def func(): pass

is roughly equivalent to

def func(): pass
func = f1(arg)(f2(func))

except that the original function is not temporarily bound to the name func.

Alterado na versão 3.9: Functions may be decorated with any valid assignment_expression. Previously, the grammar was much more restrictive; see PEP 614 [https://peps.python.org/pep-0614/] for details.

A list of type parameters may be given in square brackets between the function’s name and the opening parenthesis for its parameter list. This indicates to static type checkers that the function is generic. At runtime, the type parameters can be retrieved from the function’s __type_params__ attribute. See Generic functions for more.

Alterado na versão 3.12: Type parameter lists are new in Python 3.12.

When one or more parameters have the form parameter = expression, the function is said to have “default parameter values.” For a parameter with a default value, the corresponding argument may be omitted from a call, in which case the parameter’s default value is substituted. If a parameter has a default value, all following parameters up until the “*” must also have a default value — this is a syntactic restriction that is not expressed by the grammar.

Default parameter values are evaluated from left to right when the function definition is executed. This means that the expression is evaluated once, when the function is defined, and that the same “pre-computed” value is used for each call. This is especially important to understand when a default parameter value is a mutable object, such as a list or a dictionary: if the function modifies the object (e.g. by appending an item to a list), the default parameter value is in effect modified. This is generally not what was intended. A way around this is to use None as the default, and explicitly test for it in the body of the function, e.g.:

def whats_on_the_telly(penguin=None):
    if penguin is None:
        penguin = []
    penguin.append("property of the zoo")
    return penguin

Function call semantics are described in more detail in section Chamadas. A function call always assigns values to all parameters mentioned in the parameter list, either from positional arguments, from keyword arguments, or from default values. If the form “*identifier” is present, it is initialized to a tuple receiving any excess positional parameters, defaulting to the empty tuple. If the form “**identifier” is present, it is initialized to a new ordered mapping receiving any excess keyword arguments, defaulting to a new empty mapping of the same type. Parameters after “*” or “*identifier” are keyword-only parameters and may only be passed by keyword arguments. Parameters before “/” are positional-only parameters and may only be passed by positional arguments.

Alterado na versão 3.8: The / function parameter syntax may be used to indicate positional-only parameters. See PEP 570 [https://peps.python.org/pep-0570/] for details.

Parameters may have an annotation of the form “: expression” following the parameter name. Any parameter may have an annotation, even those of the form *identifier or **identifier. (As a special case, parameters of the form *identifier may have an annotation “: *expression”.) Functions may have “return” annotation of the form “-> expression” after the parameter list. These annotations can be any valid Python expression. The presence of annotations does not change the semantics of a function. The annotation values are available as values of a dictionary keyed by the parameters’ names in the __annotations__ attribute of the function object. If the annotations import from __future__ is used, annotations are preserved as strings at runtime which enables postponed evaluation. Otherwise, they are evaluated when the function definition is executed. In this case annotations may be evaluated in a different order than they appear in the source code.

Alterado na versão 3.11: Parameters of the form “*identifier” may have an annotation “: *expression”. See PEP 646 [https://peps.python.org/pep-0646/].

It is also possible to create anonymous functions (functions not bound to a name), for immediate use in expressions. This uses lambda expressions, described in section Lambdas. Note that the lambda expression is merely a shorthand for a simplified function definition; a function defined in a “def” statement can be passed around or assigned to another name just like a function defined by a lambda expression. The “def” form is actually more powerful since it allows the execution of multiple statements and annotations.

Programmer’s note: Functions are first-class objects. A “def” statement executed inside a function definition defines a local function that can be returned or passed around. Free variables used in the nested function can access the local variables of the function containing the def. See section Nomeação e ligação for details.

Ver também

PEP 3107 [https://peps.python.org/pep-3107/] - Function Annotations

The original specification for function annotations.

PEP 484 [https://peps.python.org/pep-0484/] - Dicas de tipo

Definition of a standard meaning for annotations: type hints.

PEP 526 [https://peps.python.org/pep-0526/] - Sintaxe para Anotações de Variáveis

Ability to type hint variable declarations, including class variables and instance variables.

PEP 563 [https://peps.python.org/pep-0563/] - Postponed Evaluation of Annotations

Support for forward references within annotations by preserving annotations in a string form at runtime instead of eager evaluation.

PEP 318 [https://peps.python.org/pep-0318/] - Decorators for Functions and Methods

Function and method decorators were introduced. Class decorators were introduced in PEP 3129 [https://peps.python.org/pep-3129/].

8.8. Definições de classe

A class definition defines a class object (see section A hierarquia de tipos padrão):

classdef    ::=  [decorators] "class" classname [type_params] [inheritance] ":" suite
inheritance ::=  "(" [argument_list] ")"
classname   ::=  identifier

A class definition is an executable statement. The inheritance list usually gives a list of base classes (see Metaclasses for more advanced uses), so each item in the list should evaluate to a class object which allows subclassing. Classes without an inheritance list inherit, by default, from the base class object; hence,

class Foo:
    pass

é equivalente a

class Foo(object):
    pass

The class’s suite is then executed in a new execution frame (see Nomeação e ligação), using a newly created local namespace and the original global namespace. (Usually, the suite contains mostly function definitions.) When the class’s suite finishes execution, its execution frame is discarded but its local namespace is saved. [5] A class object is then created using the inheritance list for the base classes and the saved local namespace for the attribute dictionary. The class name is bound to this class object in the original local namespace.

The order in which attributes are defined in the class body is preserved in the new class’s __dict__. Note that this is reliable only right after the class is created and only for classes that were defined using the definition syntax.

Class creation can be customized heavily using metaclasses.

Classes can also be decorated: just like when decorating functions,

@f1(arg)
@f2
class Foo: pass

is roughly equivalent to

class Foo: pass
Foo = f1(arg)(f2(Foo))

The evaluation rules for the decorator expressions are the same as for function decorators. The result is then bound to the class name.

Alterado na versão 3.9: Classes may be decorated with any valid assignment_expression. Previously, the grammar was much more restrictive; see PEP 614 [https://peps.python.org/pep-0614/] for details.

A list of type parameters may be given in square brackets immediately after the class’s name. This indicates to static type checkers that the class is generic. At runtime, the type parameters can be retrieved from the class’s __type_params__ attribute. See Generic classes for more.

Alterado na versão 3.12: Type parameter lists are new in Python 3.12.

Programmer’s note: Variables defined in the class definition are class attributes; they are shared by instances. Instance attributes can be set in a method with self.name = value. Both class and instance attributes are accessible through the notation “self.name”, and an instance attribute hides a class attribute with the same name when accessed in this way. Class attributes can be used as defaults for instance attributes, but using mutable values there can lead to unexpected results. Descriptors can be used to create instance variables with different implementation details.

Ver também

PEP 3115 [https://peps.python.org/pep-3115/] - Metaclasses no Python 3000

The proposal that changed the declaration of metaclasses to the current syntax, and the semantics for how classes with metaclasses are constructed.

PEP 3129 [https://peps.python.org/pep-3129/] - Class Decorators

The proposal that added class decorators. Function and method decorators were introduced in PEP 318 [https://peps.python.org/pep-0318/].

8.9. Corrotinas

Adicionado na versão 3.5.

8.9.1. Definição de função de corrotina

async_funcdef ::=  [decorators] "async" "def" funcname "(" [parameter_list] ")"
                   ["->" expression] ":" suite

Execution of Python coroutines can be suspended and resumed at many points (see coroutine). await expressions, async for and async with can only be used in the body of a coroutine function.

Functions defined with async def syntax are always coroutine functions, even if they do not contain await or async keywords.

It is a SyntaxError to use a yield from expression inside the body of a coroutine function.

An example of a coroutine function:

async def func(param1, param2):
    do_stuff()
    await some_coroutine()

Alterado na versão 3.7: await and async are now keywords; previously they were only treated as such inside the body of a coroutine function.

8.9.2. The async for statement

async_for_stmt ::=  "async" for_stmt

An asynchronous iterable provides an __aiter__ method that directly returns an asynchronous iterator, which can call asynchronous code in its __anext__ method.

The async for statement allows convenient iteration over asynchronous iterables.

O seguinte código:

async for TARGET in ITER:
    SUITE
else:
    SUITE2

Is semantically equivalent to:

iter = (ITER)
iter = type(iter).__aiter__(iter)
running = True

while running:
    try:
        TARGET = await type(iter).__anext__(iter)
    except StopAsyncIteration:
        running = False
    else:
        SUITE
else:
    SUITE2

See also __aiter__() and __anext__() for details.

It is a SyntaxError to use an async for statement outside the body of a coroutine function.

8.9.3. The async with statement

async_with_stmt ::=  "async" with_stmt

An asynchronous context manager is a context manager that is able to suspend execution in its enter and exit methods.

O seguinte código:

async with EXPRESSION as TARGET:
    SUITE

é semanticamente equivalente a:

manager = (EXPRESSION)
aenter = type(manager).__aenter__
aexit = type(manager).__aexit__
value = await aenter(manager)
hit_except = False

try:
    TARGET = value
    SUITE
except:
    hit_except = True
    if not await aexit(manager, *sys.exc_info()):
        raise
finally:
    if not hit_except:
        await aexit(manager, None, None, None)

See also __aenter__() and __aexit__() for details.

It is a SyntaxError to use an async with statement outside the body of a coroutine function.

Ver também

PEP 492 [https://peps.python.org/pep-0492/] - Coroutines with async and await syntax

The proposal that made coroutines a proper standalone concept in Python, and added supporting syntax.

8.10. Type parameter lists

Adicionado na versão 3.12.

Alterado na versão 3.13: Support for default values was added (see PEP 696 [https://peps.python.org/pep-0696/]).

type_params  ::=  "[" type_param ("," type_param)* "]"
type_param   ::=  typevar | typevartuple | paramspec
typevar      ::=  identifier (":" expression)? ("=" expression)?
typevartuple ::=  "*" identifier ("=" expression)?
paramspec    ::=  "**" identifier ("=" expression)?

Functions (including coroutines), classes and type aliases may contain a type parameter list:

def max[T](args: list[T]) -> T:
    ...

async def amax[T](args: list[T]) -> T:
    ...

class Bag[T]:
    def __iter__(self) -> Iterator[T]:
        ...

    def add(self, arg: T) -> None:
        ...

type ListOrSet[T] = list[T] | set[T]

Semantically, this indicates that the function, class, or type alias is generic over a type variable. This information is primarily used by static type checkers, and at runtime, generic objects behave much like their non-generic counterparts.

Type parameters are declared in square brackets ([]) immediately after the name of the function, class, or type alias. The type parameters are accessible within the scope of the generic object, but not elsewhere. Thus, after a declaration def func[T](): pass, the name T is not available in the module scope. Below, the semantics of generic objects are described with more precision. The scope of type parameters is modeled with a special function (technically, an annotation scope) that wraps the creation of the generic object.

Generic functions, classes, and type aliases have a __type_params__ attribute listing their type parameters.

Type parameters come in three kinds:

typing.TypeVar, introduced by a plain name (e.g., T). Semantically, this represents a single type to a type checker.

typing.TypeVarTuple, introduced by a name prefixed with a single asterisk (e.g., *Ts). Semantically, this stands for a tuple of any number of types.

typing.ParamSpec, introduced by a name prefixed with two asterisks (e.g., **P). Semantically, this stands for the parameters of a callable.

typing.TypeVar declarations can define bounds and constraints with a colon (:) followed by an expression. A single expression after the colon indicates a bound (e.g. T: int). Semantically, this means that the typing.TypeVar can only represent types that are a subtype of this bound. A parenthesized tuple of expressions after the colon indicates a set of constraints (e.g. T: (str, bytes)). Each member of the tuple should be a type (again, this is not enforced at runtime). Constrained type variables can only take on one of the types in the list of constraints.

For typing.TypeVars declared using the type parameter list syntax, the bound and constraints are not evaluated when the generic object is created, but only when the value is explicitly accessed through the attributes __bound__ and __constraints__. To accomplish this, the bounds or constraints are evaluated in a separate annotation scope.

typing.TypeVarTuples and typing.ParamSpecs cannot have bounds or constraints.

All three flavors of type parameters can also have a default value, which is used when the type parameter is not explicitly provided. This is added by appending a single equals sign (=) followed by an expression. Like the bounds and constraints of type variables, the default value is not evaluated when the object is created, but only when the type parameter’s __default__ attribute is accessed. To this end, the default value is evaluated in a separate annotation scope. If no default value is specified for a type parameter, the __default__ attribute is set to the special sentinel object typing.NoDefault.

The following example indicates the full set of allowed type parameter declarations:

def overly_generic[
   SimpleTypeVar,
   TypeVarWithDefault = int,
   TypeVarWithBound: int,
   TypeVarWithConstraints: (str, bytes),
   *SimpleTypeVarTuple = (int, float),
   **SimpleParamSpec = (str, bytearray),
](
   a: SimpleTypeVar,
   b: TypeVarWithDefault,
   c: TypeVarWithBound,
   d: Callable[SimpleParamSpec, TypeVarWithConstraints],
   *e: SimpleTypeVarTuple,
): ...

8.10.1. Generic functions

Generic functions are declared as follows:

def func[T](arg: T): ...

This syntax is equivalent to:

annotation-def TYPE_PARAMS_OF_func():
    T = typing.TypeVar("T")
    def func(arg: T): ...
    func.__type_params__ = (T,)
    return func
func = TYPE_PARAMS_OF_func()

Here annotation-def indicates an annotation scope, which is not actually bound to any name at runtime. (One other liberty is taken in the translation: the syntax does not go through attribute access on the typing module, but creates an instance of typing.TypeVar directly.)

The annotations of generic functions are evaluated within the annotation scope used for declaring the type parameters, but the function’s defaults and decorators are not.

The following example illustrates the scoping rules for these cases, as well as for additional flavors of type parameters:

@decorator
def func[T: int, *Ts, **P](*args: *Ts, arg: Callable[P, T] = some_default):
    ...

Except for the lazy evaluation of the TypeVar bound, this is equivalent to:

DEFAULT_OF_arg = some_default

annotation-def TYPE_PARAMS_OF_func():

    annotation-def BOUND_OF_T():
        return int
    # In reality, BOUND_OF_T() is evaluated only on demand.
    T = typing.TypeVar("T", bound=BOUND_OF_T())

    Ts = typing.TypeVarTuple("Ts")
    P = typing.ParamSpec("P")

    def func(*args: *Ts, arg: Callable[P, T] = DEFAULT_OF_arg):
        ...

    func.__type_params__ = (T, Ts, P)
    return func
func = decorator(TYPE_PARAMS_OF_func())

The capitalized names like DEFAULT_OF_arg are not actually bound at runtime.

8.10.2. Generic classes

Generic classes are declared as follows:

class Bag[T]: ...

This syntax is equivalent to:

annotation-def TYPE_PARAMS_OF_Bag():
    T = typing.TypeVar("T")
    class Bag(typing.Generic[T]):
        __type_params__ = (T,)
        ...
    return Bag
Bag = TYPE_PARAMS_OF_Bag()

Here again annotation-def (not a real keyword) indicates an annotation scope, and the name TYPE_PARAMS_OF_Bag is not actually bound at runtime.

Generic classes implicitly inherit from typing.Generic. The base classes and keyword arguments of generic classes are evaluated within the type scope for the type parameters, and decorators are evaluated outside that scope. This is illustrated by this example:

@decorator
class Bag(Base[T], arg=T): ...

Isso equivale a:

annotation-def TYPE_PARAMS_OF_Bag():
    T = typing.TypeVar("T")
    class Bag(Base[T], typing.Generic[T], arg=T):
        __type_params__ = (T,)
        ...
    return Bag
Bag = decorator(TYPE_PARAMS_OF_Bag())

8.10.3. Generic type aliases

The type statement can also be used to create a generic type alias:

type ListOrSet[T] = list[T] | set[T]

Except for the lazy evaluation of the value, this is equivalent to:

annotation-def TYPE_PARAMS_OF_ListOrSet():
    T = typing.TypeVar("T")

    annotation-def VALUE_OF_ListOrSet():
        return list[T] | set[T]
    # In reality, the value is lazily evaluated
    return typing.TypeAliasType("ListOrSet", VALUE_OF_ListOrSet(), type_params=(T,))
ListOrSet = TYPE_PARAMS_OF_ListOrSet()

Here, annotation-def (not a real keyword) indicates an annotation scope. The capitalized names like TYPE_PARAMS_OF_ListOrSet are not actually bound at runtime.

Notas de rodapé

[1]

The exception is propagated to the invocation stack unless there is a finally clause which happens to raise another exception. That new exception causes the old one to be lost.

[2]

In pattern matching, a sequence is defined as one of the following:

a class that inherits from collections.abc.Sequence

a Python class that has been registered as collections.abc.Sequence

a builtin class that has its (CPython) Py_TPFLAGS_SEQUENCE bit set

a class that inherits from any of the above

The following standard library classes are sequences:

array.array

collections.deque

list

memoryview

range

tuple

Nota

Subject values of type str, bytes, and bytearray do not match sequence patterns.

[3]

In pattern matching, a mapping is defined as one of the following:

a class that inherits from collections.abc.Mapping

a Python class that has been registered as collections.abc.Mapping

a builtin class that has its (CPython) Py_TPFLAGS_MAPPING bit set

a class that inherits from any of the above

The standard library classes dict and types.MappingProxyType are mappings.

[4]

A string literal appearing as the first statement in the function body is transformed into the function’s __doc__ attribute and therefore the function’s docstring.

[5]

A string literal appearing as the first statement in the class body is transformed into the namespace’s __doc__ item and therefore the class’s docstring.

9. Componentes de Alto Nível

O interpretador Python pode receber suas entradas de uma quantidade de fontes: de um script passado a ele como entrada padrão ou como um argumento do programa, digitado interativamente, de um arquivo fonte de um módulo, etc. Este capítulo mostra a sintaxe usada nesses casos.

9.1. Programas Python completos

Ainda que uma especificação de linguagem não precise prescrever como o interpretador da linguagem é invocado, é útil ter uma noção de um programa Python completo. Um programa Python completo é executado em um ambiente minimamente inicializado: todos os módulos embutidos e padrões estão disponíveis, mas nenhum foi inicializado, exceto por sys (serviços de sistema diversos), builtins (funções embutidas, exceções e None) e __main__. O último é usado para fornecer o espaço de nomes global e local para execução de um programa completo.

A sintaxe para um programa Python completo é esta para uma entrada de arquivo, descrita na próxima seção.

O interpretador também pode ser invocado no modo interativo; neste caso, ele não lê e executa um programa completo, mas lê e executa uma instrução (possivelmente composta) por vez. O ambiente inicial é idêntico àquele de um programa completo; cada instrução é executada no espaço de nomes de __main__.

Um programa completo pode ser passado ao interpretador de três formas: com a opção de linha de comando -c string, como um arquivo passado como o primeiro argumento da linha de comando, ou como uma entrada padrão. Se o arquivo ou a entrada padrão é um dispositivo tty, o interpretador entra em modo interativo; caso contrário, ele executa o arquivo como um programa completo.

9.2. Entrada de arquivo

Toda entrada lida de arquivos não-interativos têm a mesma forma:

file_input ::=  (NEWLINE | statement)*

Essa sintaxe é usada nas seguintes situações:

quando analisando um programa Python completo (a partir de um arquivo ou de uma string);

quando analisando um módulo;

quando analisando uma string passada à função exec();

9.3. Entrada interativa

A entrada em modo interativo é analisada usando a seguinte gramática:

interactive_input ::=  [stmt_list] NEWLINE | compound_stmt NEWLINE

Note que uma instrução composta (de alto-nível) deve ser seguida por uma linha em branco no modo interativo; isso é necessário para ajudar o analisador sintático a detectar o fim da entrada.

9.4. Entrada de expressão

A função eval() é usada para uma entrada de expressão. Ela ignora espaços à esquerda. O argumento em string para eval() deve ter a seguinte forma:

eval_input ::=  expression_list NEWLINE*

10. Especificação Completa da Gramática

Esta é a gramática completa do Python, derivada diretamente da gramática usada para gerar o analisador sintático de CPython (consulte Grammar/python.gram [https://github.com/python/cpython/tree/3.13/Grammar/python.gram]). A versão aqui omite detalhes relacionados à geração de código e recuperação de erros.

A notação é uma mistura de EBNF [https://pt.wikipedia.org/wiki/Formalismo_de_Backus-Naur_Estendido] e GASE [https://pt.wikipedia.org/wiki/Gramática_de_análise_sintática_de_expressão] (em inglês, PEG [https://en.wikipedia.org/wiki/Parsing_expression_grammar]). Em particular, & seguido por um símbolo, token ou grupo entre parênteses indica um “olhar a frente” positivo (ou seja, é necessário para corresponder, mas não consumido), enquanto ! indica um “olhar a frente” negativo (ou seja, é necessário não combinar). Usamos o separador | para significar a “escolha ordenada” do GASE (escrito como / nas gramáticas GASE tradicionais). Veja PEP 617 [https://peps.python.org/pep-0617/] para mais detalhes sobre a sintaxe da gramática.

# PEG grammar for Python

# ========================= START OF THE GRAMMAR =========================

# General grammatical elements and rules:
#
# * Strings with double quotes (") denote SOFT KEYWORDS
# * Strings with single quotes (') denote KEYWORDS
# * Upper case names (NAME) denote tokens in the Grammar/Tokens file
# * Rule names starting with "invalid_" are used for specialized syntax errors
#     - These rules are NOT used in the first pass of the parser.
#     - Only if the first pass fails to parse, a second pass including the invalid
#       rules will be executed.
#     - If the parser fails in the second phase with a generic syntax error, the
#       location of the generic failure of the first pass will be used (this avoids
#       reporting incorrect locations due to the invalid rules).
#     - The order of the alternatives involving invalid rules matter
#       (like any rule in PEG).
#
# Grammar Syntax (see PEP 617 for more information):
#
# rule_name: expression
#   Optionally, a type can be included right after the rule name, which
#   specifies the return type of the C or Python function corresponding to the
#   rule:
# rule_name[return_type]: expression
#   If the return type is omitted, then a void * is returned in C and an Any in
#   Python.
# e1 e2
#   Match e1, then match e2.
# e1 | e2
#   Match e1 or e2.
#   The first alternative can also appear on the line after the rule name for
#   formatting purposes. In that case, a | must be used before the first
#   alternative, like so:
#       rule_name[return_type]:
#            | first_alt
#            | second_alt
# ( e )
#   Match e (allows also to use other operators in the group like '(e)*')
# [ e ] or e?
#   Optionally match e.
# e*
#   Match zero or more occurrences of e.
# e+
#   Match one or more occurrences of e.
# s.e+
#   Match one or more occurrences of e, separated by s. The generated parse tree
#   does not include the separator. This is otherwise identical to (e (s e)*).
# &e
#   Succeed if e can be parsed, without consuming any input.
# !e
#   Fail if e can be parsed, without consuming any input.
# ~
#   Commit to the current alternative, even if it fails to parse.
# &&e
#   Eager parse e. The parser will not backtrack and will immediately
#   fail with SyntaxError if e cannot be parsed.
#

# STARTING RULES
# ==============

file: [statements] ENDMARKER
interactive: statement_newline
eval: expressions NEWLINE* ENDMARKER
func_type: '(' [type_expressions] ')' '->' expression NEWLINE* ENDMARKER

# GENERAL STATEMENTS
# ==================

statements: statement+

statement: compound_stmt  | simple_stmts

statement_newline:
    | compound_stmt NEWLINE
    | simple_stmts
    | NEWLINE
    | ENDMARKER

simple_stmts:
    | simple_stmt !';' NEWLINE  # Not needed, there for speedup
    | ';'.simple_stmt+ [';'] NEWLINE

# NOTE: assignment MUST precede expression, else parsing a simple assignment
# will throw a SyntaxError.
simple_stmt:
    | assignment
    | type_alias
    | star_expressions
    | return_stmt
    | import_stmt
    | raise_stmt
    | 'pass'
    | del_stmt
    | yield_stmt
    | assert_stmt
    | 'break'
    | 'continue'
    | global_stmt
    | nonlocal_stmt

compound_stmt:
    | function_def
    | if_stmt
    | class_def
    | with_stmt
    | for_stmt
    | try_stmt
    | while_stmt
    | match_stmt

# SIMPLE STATEMENTS
# =================

# NOTE: annotated_rhs may start with 'yield'; yield_expr must start with 'yield'
assignment:
    | NAME ':' expression ['=' annotated_rhs ]
    | ('(' single_target ')'
         | single_subscript_attribute_target) ':' expression ['=' annotated_rhs ]
    | (star_targets '=' )+ (yield_expr | star_expressions) !'=' [TYPE_COMMENT]
    | single_target augassign ~ (yield_expr | star_expressions)

annotated_rhs: yield_expr | star_expressions

augassign:
    | '+='
    | '-='
    | '*='
    | '@='
    | '/='
    | '%='
    | '&='
    | '|='
    | '^='
    | '<<='
    | '>>='
    | '**='
    | '//='

return_stmt:
    | 'return' [star_expressions]

raise_stmt:
    | 'raise' expression ['from' expression ]
    | 'raise'

global_stmt: 'global' ','.NAME+

nonlocal_stmt: 'nonlocal' ','.NAME+

del_stmt:
    | 'del' del_targets &(';' | NEWLINE)

yield_stmt: yield_expr

assert_stmt: 'assert' expression [',' expression ]

import_stmt:
    | import_name
    | import_from

# Import statements
# -----------------

import_name: 'import' dotted_as_names
# note below: the ('.' | '...') is necessary because '...' is tokenized as ELLIPSIS
import_from:
    | 'from' ('.' | '...')* dotted_name 'import' import_from_targets
    | 'from' ('.' | '...')+ 'import' import_from_targets
import_from_targets:
    | '(' import_from_as_names [','] ')'
    | import_from_as_names !','
    | '*'
import_from_as_names:
    | ','.import_from_as_name+
import_from_as_name:
    | NAME ['as' NAME ]
dotted_as_names:
    | ','.dotted_as_name+
dotted_as_name:
    | dotted_name ['as' NAME ]
dotted_name:
    | dotted_name '.' NAME
    | NAME

# COMPOUND STATEMENTS
# ===================

# Common elements
# ---------------

block:
    | NEWLINE INDENT statements DEDENT
    | simple_stmts

decorators: ('@' named_expression NEWLINE )+

# Class definitions
# -----------------

class_def:
    | decorators class_def_raw
    | class_def_raw

class_def_raw:
    | 'class' NAME [type_params] ['(' [arguments] ')' ] ':' block

# Function definitions
# --------------------

function_def:
    | decorators function_def_raw
    | function_def_raw

function_def_raw:
    | 'def' NAME [type_params] '(' [params] ')' ['->' expression ] ':' [func_type_comment] block
    | 'async' 'def' NAME [type_params] '(' [params] ')' ['->' expression ] ':' [func_type_comment] block

# Function parameters
# -------------------

params:
    | parameters

parameters:
    | slash_no_default param_no_default* param_with_default* [star_etc]
    | slash_with_default param_with_default* [star_etc]
    | param_no_default+ param_with_default* [star_etc]
    | param_with_default+ [star_etc]
    | star_etc

# Some duplication here because we can't write (',' | &')'),
# which is because we don't support empty alternatives (yet).

slash_no_default:
    | param_no_default+ '/' ','
    | param_no_default+ '/' &')'
slash_with_default:
    | param_no_default* param_with_default+ '/' ','
    | param_no_default* param_with_default+ '/' &')'

star_etc:
    | '*' param_no_default param_maybe_default* [kwds]
    | '*' param_no_default_star_annotation param_maybe_default* [kwds]
    | '*' ',' param_maybe_default+ [kwds]
    | kwds

kwds:
    | '**' param_no_default

# One parameter.  This *includes* a following comma and type comment.
#
# There are three styles:
# - No default
# - With default
# - Maybe with default
#
# There are two alternative forms of each, to deal with type comments:
# - Ends in a comma followed by an optional type comment
# - No comma, optional type comment, must be followed by close paren
# The latter form is for a final parameter without trailing comma.
#

param_no_default:
    | param ',' TYPE_COMMENT?
    | param TYPE_COMMENT? &')'
param_no_default_star_annotation:
    | param_star_annotation ',' TYPE_COMMENT?
    | param_star_annotation TYPE_COMMENT? &')'
param_with_default:
    | param default ',' TYPE_COMMENT?
    | param default TYPE_COMMENT? &')'
param_maybe_default:
    | param default? ',' TYPE_COMMENT?
    | param default? TYPE_COMMENT? &')'
param: NAME annotation?
param_star_annotation: NAME star_annotation
annotation: ':' expression
star_annotation: ':' star_expression
default: '=' expression  | invalid_default

# If statement
# ------------

if_stmt:
    | 'if' named_expression ':' block elif_stmt
    | 'if' named_expression ':' block [else_block]
elif_stmt:
    | 'elif' named_expression ':' block elif_stmt
    | 'elif' named_expression ':' block [else_block]
else_block:
    | 'else' ':' block

# While statement
# ---------------

while_stmt:
    | 'while' named_expression ':' block [else_block]

# For statement
# -------------

for_stmt:
    | 'for' star_targets 'in' ~ star_expressions ':' [TYPE_COMMENT] block [else_block]
    | 'async' 'for' star_targets 'in' ~ star_expressions ':' [TYPE_COMMENT] block [else_block]

# With statement
# --------------

with_stmt:
    | 'with' '(' ','.with_item+ ','? ')' ':' [TYPE_COMMENT] block
    | 'with' ','.with_item+ ':' [TYPE_COMMENT] block
    | 'async' 'with' '(' ','.with_item+ ','? ')' ':' block
    | 'async' 'with' ','.with_item+ ':' [TYPE_COMMENT] block

with_item:
    | expression 'as' star_target &(',' | ')' | ':')
    | expression

# Try statement
# -------------

try_stmt:
    | 'try' ':' block finally_block
    | 'try' ':' block except_block+ [else_block] [finally_block]
    | 'try' ':' block except_star_block+ [else_block] [finally_block]

# Except statement
# ----------------

except_block:
    | 'except' expression ['as' NAME ] ':' block
    | 'except' ':' block
except_star_block:
    | 'except' '*' expression ['as' NAME ] ':' block
finally_block:
    | 'finally' ':' block

# Match statement
# ---------------

match_stmt:
    | "match" subject_expr ':' NEWLINE INDENT case_block+ DEDENT

subject_expr:
    | star_named_expression ',' star_named_expressions?
    | named_expression

case_block:
    | "case" patterns guard? ':' block

guard: 'if' named_expression

patterns:
    | open_sequence_pattern
    | pattern

pattern:
    | as_pattern
    | or_pattern

as_pattern:
    | or_pattern 'as' pattern_capture_target

or_pattern:
    | '|'.closed_pattern+

closed_pattern:
    | literal_pattern
    | capture_pattern
    | wildcard_pattern
    | value_pattern
    | group_pattern
    | sequence_pattern
    | mapping_pattern
    | class_pattern

# Literal patterns are used for equality and identity constraints
literal_pattern:
    | signed_number !('+' | '-')
    | complex_number
    | strings
    | 'None'
    | 'True'
    | 'False'

# Literal expressions are used to restrict permitted mapping pattern keys
literal_expr:
    | signed_number !('+' | '-')
    | complex_number
    | strings
    | 'None'
    | 'True'
    | 'False'

complex_number:
    | signed_real_number '+' imaginary_number
    | signed_real_number '-' imaginary_number

signed_number:
    | NUMBER
    | '-' NUMBER

signed_real_number:
    | real_number
    | '-' real_number

real_number:
    | NUMBER

imaginary_number:
    | NUMBER

capture_pattern:
    | pattern_capture_target

pattern_capture_target:
    | !"_" NAME !('.' | '(' | '=')

wildcard_pattern:
    | "_"

value_pattern:
    | attr !('.' | '(' | '=')

attr:
    | name_or_attr '.' NAME

name_or_attr:
    | attr
    | NAME

group_pattern:
    | '(' pattern ')'

sequence_pattern:
    | '[' maybe_sequence_pattern? ']'
    | '(' open_sequence_pattern? ')'

open_sequence_pattern:
    | maybe_star_pattern ',' maybe_sequence_pattern?

maybe_sequence_pattern:
    | ','.maybe_star_pattern+ ','?

maybe_star_pattern:
    | star_pattern
    | pattern

star_pattern:
    | '*' pattern_capture_target
    | '*' wildcard_pattern

mapping_pattern:
    | '{' '}'
    | '{' double_star_pattern ','? '}'
    | '{' items_pattern ',' double_star_pattern ','? '}'
    | '{' items_pattern ','? '}'

items_pattern:
    | ','.key_value_pattern+

key_value_pattern:
    | (literal_expr | attr) ':' pattern

double_star_pattern:
    | '**' pattern_capture_target

class_pattern:
    | name_or_attr '(' ')'
    | name_or_attr '(' positional_patterns ','? ')'
    | name_or_attr '(' keyword_patterns ','? ')'
    | name_or_attr '(' positional_patterns ',' keyword_patterns ','? ')'

positional_patterns:
    | ','.pattern+

keyword_patterns:
    | ','.keyword_pattern+

keyword_pattern:
    | NAME '=' pattern

# Type statement
# ---------------

type_alias:
    | "type" NAME [type_params] '=' expression

# Type parameter declaration
# --------------------------

type_params:
    | invalid_type_params
    | '[' type_param_seq ']'

type_param_seq: ','.type_param+ [',']

type_param:
    | NAME [type_param_bound] [type_param_default]
    | '*' NAME [type_param_starred_default]
    | '**' NAME [type_param_default]

type_param_bound: ':' expression
type_param_default: '=' expression
type_param_starred_default: '=' star_expression

# EXPRESSIONS
# -----------

expressions:
    | expression (',' expression )+ [',']
    | expression ','
    | expression

expression:
    | disjunction 'if' disjunction 'else' expression
    | disjunction
    | lambdef

yield_expr:
    | 'yield' 'from' expression
    | 'yield' [star_expressions]

star_expressions:
    | star_expression (',' star_expression )+ [',']
    | star_expression ','
    | star_expression

star_expression:
    | '*' bitwise_or
    | expression

star_named_expressions: ','.star_named_expression+ [',']

star_named_expression:
    | '*' bitwise_or
    | named_expression

assignment_expression:
    | NAME ':=' ~ expression

named_expression:
    | assignment_expression
    | expression !':='

disjunction:
    | conjunction ('or' conjunction )+
    | conjunction

conjunction:
    | inversion ('and' inversion )+
    | inversion

inversion:
    | 'not' inversion
    | comparison

# Comparison operators
# --------------------

comparison:
    | bitwise_or compare_op_bitwise_or_pair+
    | bitwise_or

compare_op_bitwise_or_pair:
    | eq_bitwise_or
    | noteq_bitwise_or
    | lte_bitwise_or
    | lt_bitwise_or
    | gte_bitwise_or
    | gt_bitwise_or
    | notin_bitwise_or
    | in_bitwise_or
    | isnot_bitwise_or
    | is_bitwise_or

eq_bitwise_or: '==' bitwise_or
noteq_bitwise_or:
    | ('!=' ) bitwise_or
lte_bitwise_or: '<=' bitwise_or
lt_bitwise_or: '<' bitwise_or
gte_bitwise_or: '>=' bitwise_or
gt_bitwise_or: '>' bitwise_or
notin_bitwise_or: 'not' 'in' bitwise_or
in_bitwise_or: 'in' bitwise_or
isnot_bitwise_or: 'is' 'not' bitwise_or
is_bitwise_or: 'is' bitwise_or

# Bitwise operators
# -----------------

bitwise_or:
    | bitwise_or '|' bitwise_xor
    | bitwise_xor

bitwise_xor:
    | bitwise_xor '^' bitwise_and
    | bitwise_and

bitwise_and:
    | bitwise_and '&' shift_expr
    | shift_expr

shift_expr:
    | shift_expr '<<' sum
    | shift_expr '>>' sum
    | sum

# Arithmetic operators
# --------------------

sum:
    | sum '+' term
    | sum '-' term
    | term

term:
    | term '*' factor
    | term '/' factor
    | term '//' factor
    | term '%' factor
    | term '@' factor
    | factor

factor:
    | '+' factor
    | '-' factor
    | '~' factor
    | power

power:
    | await_primary '**' factor
    | await_primary

# Primary elements
# ----------------

# Primary elements are things like "obj.something.something", "obj[something]", "obj(something)", "obj" ...

await_primary:
    | 'await' primary
    | primary

primary:
    | primary '.' NAME
    | primary genexp
    | primary '(' [arguments] ')'
    | primary '[' slices ']'
    | atom

slices:
    | slice !','
    | ','.(slice | starred_expression)+ [',']

slice:
    | [expression] ':' [expression] [':' [expression] ]
    | named_expression

atom:
    | NAME
    | 'True'
    | 'False'
    | 'None'
    | strings
    | NUMBER
    | (tuple | group | genexp)
    | (list | listcomp)
    | (dict | set | dictcomp | setcomp)
    | '...'

group:
    | '(' (yield_expr | named_expression) ')'

# Lambda functions
# ----------------

lambdef:
    | 'lambda' [lambda_params] ':' expression

lambda_params:
    | lambda_parameters

# lambda_parameters etc. duplicates parameters but without annotations
# or type comments, and if there's no comma after a parameter, we expect
# a colon, not a close parenthesis.  (For more, see parameters above.)
#
lambda_parameters:
    | lambda_slash_no_default lambda_param_no_default* lambda_param_with_default* [lambda_star_etc]
    | lambda_slash_with_default lambda_param_with_default* [lambda_star_etc]
    | lambda_param_no_default+ lambda_param_with_default* [lambda_star_etc]
    | lambda_param_with_default+ [lambda_star_etc]
    | lambda_star_etc

lambda_slash_no_default:
    | lambda_param_no_default+ '/' ','
    | lambda_param_no_default+ '/' &':'

lambda_slash_with_default:
    | lambda_param_no_default* lambda_param_with_default+ '/' ','
    | lambda_param_no_default* lambda_param_with_default+ '/' &':'

lambda_star_etc:
    | '*' lambda_param_no_default lambda_param_maybe_default* [lambda_kwds]
    | '*' ',' lambda_param_maybe_default+ [lambda_kwds]
    | lambda_kwds

lambda_kwds:
    | '**' lambda_param_no_default

lambda_param_no_default:
    | lambda_param ','
    | lambda_param &':'
lambda_param_with_default:
    | lambda_param default ','
    | lambda_param default &':'
lambda_param_maybe_default:
    | lambda_param default? ','
    | lambda_param default? &':'
lambda_param: NAME

# LITERALS
# ========

fstring_middle:
    | fstring_replacement_field
    | FSTRING_MIDDLE
fstring_replacement_field:
    | '{' annotated_rhs '='? [fstring_conversion] [fstring_full_format_spec] '}'
fstring_conversion:
    | "!" NAME
fstring_full_format_spec:
    | ':' fstring_format_spec*
fstring_format_spec:
    | FSTRING_MIDDLE
    | fstring_replacement_field
fstring:
    | FSTRING_START fstring_middle* FSTRING_END

string: STRING
strings: (fstring|string)+

list:
    | '[' [star_named_expressions] ']'

tuple:
    | '(' [star_named_expression ',' [star_named_expressions]  ] ')'

set: '{' star_named_expressions '}'

# Dicts
# -----

dict:
    | '{' [double_starred_kvpairs] '}'

double_starred_kvpairs: ','.double_starred_kvpair+ [',']

double_starred_kvpair:
    | '**' bitwise_or
    | kvpair

kvpair: expression ':' expression

# Comprehensions & Generators
# ---------------------------

for_if_clauses:
    | for_if_clause+

for_if_clause:
    | 'async' 'for' star_targets 'in' ~ disjunction ('if' disjunction )*
    | 'for' star_targets 'in' ~ disjunction ('if' disjunction )*

listcomp:
    | '[' named_expression for_if_clauses ']'

setcomp:
    | '{' named_expression for_if_clauses '}'

genexp:
    | '(' ( assignment_expression | expression !':=') for_if_clauses ')'

dictcomp:
    | '{' kvpair for_if_clauses '}'

# FUNCTION CALL ARGUMENTS
# =======================

arguments:
    | args [','] &')'

args:
    | ','.(starred_expression | ( assignment_expression | expression !':=') !'=')+ [',' kwargs ]
    | kwargs

kwargs:
    | ','.kwarg_or_starred+ ',' ','.kwarg_or_double_starred+
    | ','.kwarg_or_starred+
    | ','.kwarg_or_double_starred+

starred_expression:
    | '*' expression

kwarg_or_starred:
    | NAME '=' expression
    | starred_expression

kwarg_or_double_starred:
    | NAME '=' expression
    | '**' expression

# ASSIGNMENT TARGETS
# ==================

# Generic targets
# ---------------

# NOTE: star_targets may contain *bitwise_or, targets may not.
star_targets:
    | star_target !','
    | star_target (',' star_target )* [',']

star_targets_list_seq: ','.star_target+ [',']

star_targets_tuple_seq:
    | star_target (',' star_target )+ [',']
    | star_target ','

star_target:
    | '*' (!'*' star_target)
    | target_with_star_atom

target_with_star_atom:
    | t_primary '.' NAME !t_lookahead
    | t_primary '[' slices ']' !t_lookahead
    | star_atom

star_atom:
    | NAME
    | '(' target_with_star_atom ')'
    | '(' [star_targets_tuple_seq] ')'
    | '[' [star_targets_list_seq] ']'

single_target:
    | single_subscript_attribute_target
    | NAME
    | '(' single_target ')'

single_subscript_attribute_target:
    | t_primary '.' NAME !t_lookahead
    | t_primary '[' slices ']' !t_lookahead

t_primary:
    | t_primary '.' NAME &t_lookahead
    | t_primary '[' slices ']' &t_lookahead
    | t_primary genexp &t_lookahead
    | t_primary '(' [arguments] ')' &t_lookahead
    | atom &t_lookahead

t_lookahead: '(' | '[' | '.'

# Targets for del statements
# --------------------------

del_targets: ','.del_target+ [',']

del_target:
    | t_primary '.' NAME !t_lookahead
    | t_primary '[' slices ']' !t_lookahead
    | del_t_atom

del_t_atom:
    | NAME
    | '(' del_target ')'
    | '(' [del_targets] ')'
    | '[' [del_targets] ']'

# TYPING ELEMENTS
# ---------------

# type_expressions allow */** but ignore them
type_expressions:
    | ','.expression+ ',' '*' expression ',' '**' expression
    | ','.expression+ ',' '*' expression
    | ','.expression+ ',' '**' expression
    | '*' expression ',' '**' expression
    | '*' expression
    | '**' expression
    | ','.expression+

func_type_comment:
    | NEWLINE TYPE_COMMENT &(NEWLINE INDENT)   # Must be followed by indented block
    | TYPE_COMMENT

# ========================= END OF THE GRAMMAR ===========================

# ========================= START OF INVALID RULES =======================

A Biblioteca Padrão do Python

Enquanto A Referência da Linguagem Python descreve a sintaxe e a semântica exatas da linguagem Python, este manual de referência de bibliotecas descreve a biblioteca padrão que é distribuída com o Python. Ele também descreve alguns dos componentes opcionais que são comumente incluídos nas distribuições do Python.

A biblioteca padrão do Python é muito extensa, oferecendo uma ampla gama de recursos, conforme indicado pelo longo índice listado abaixo. A biblioteca contém módulos embutidos (escritos em C) que fornecem acesso à funcionalidade do sistema, como E/S de arquivos que de outra forma seriam inacessíveis para programadores Python, bem como módulos escritos em Python que fornecem soluções padronizadas para muitos problemas que ocorrem em programação cotidiana. Alguns desses módulos são explicitamente projetados para incentivar e aprimorar a portabilidade de programas em Python, abstraindo os detalhes da plataforma em APIs neutras em plataforma.

Os instaladores do Python para a plataforma Windows geralmente incluem toda a biblioteca padrão e muitas vezes também incluem muitos componentes adicionais. Para sistemas operacionais semelhantes a Unix, o Python é normalmente fornecido como uma coleção de pacotes, portanto, pode ser necessário usar as ferramentas de empacotamento fornecidas com o sistema operacional para obter alguns ou todos os componentes opcionais.

Além da biblioteca padrão, há uma coleção ativa de centenas de milhares de componentes (de programas e módulos individuais a pacotes e frameworks de desenvolvimento de aplicativos inteiros), disponíveis no Python Package Index [https://pypi.org].

Introdução

Observações sobre disponibilidade

Funções embutidas

abs()

aiter()

all()

anext()

any()

ascii()

bin()

bool

breakpoint()

callable()

chr()

classmethod()

compile()

complex

delattr()

dir()

divmod()

enumerate()

eval()

exec()

filter()

float

format()

getattr()

globals()

hasattr()

hash()

help()

hex()

id()

input()

int

isinstance()

issubclass()

iter()

len()

locals()

map()

max()

min()

next()

object

oct()

open()

ord()

pow()

print()

property

repr()

reversed()

round()

setattr()

slice

sorted()

staticmethod()

sum()

super

type

vars()

zip()

__import__()

Constantes embutidas

False

True

None

NotImplemented

Ellipsis

__debug__

Constantes adicionadas pelo módulo site

Tipos embutidos

Teste do valor verdade

Operações booleanas — and, or, not

Comparações

Tipos numéricos — int, float, complex

Tipo booleano - bool

Tipos iteradores

Tipos sequências — list, tuple, range

Tipo sequência de texto — str

Tipos de Sequência Binária — bytes, bytearray, memoryview

Tipo conjuntos — set, frozenset

Tipo mapeamento — dict

Tipos de Gerenciador de Contexto

Tipos de anotação de tipo — Apelido genérico, União

Outros tipos embutidos

Atributos Especiais

Limitação de comprimento de string na conversão para inteiro

Exceções embutidas

Contexto da exceção

Herdando de exceções embutidas

Classes base

Exceções concretas

Avisos

Grupos de exceções

Hierarquia das exceções

Serviços de Processamento de Texto

string — Operações comuns de strings

re — Operações com expressões regulares

difflib — Helpers for computing deltas

textwrap — Quebra automática e preenchimento de texto

unicodedata — Unicode Database

stringprep — Internet String Preparation

readline — Interface para o GNU readline

rlcompleter — Função de autocomplemento para GNU readline

Serviços de Dados Binários

struct — Interpreta bytes como dados binários empacotados

codecs — Codec registry and base classes

Tipos de Dados

datetime — Tipos básicos de data e hora

zoneinfo — IANA time zone support

calendar — Funções gerais relacionadas ao calendário

collections — Tipos de dados de contêineres

collections.abc — Classes Base Abstratas para Contêineres

heapq — Algoritmo de fila heap

bisect — Array bisection algorithm

array— Vetores eficientes de valores numéricos

weakref — Referências fracas

types — Criação de tipos dinâmicos e nomes para tipos embutidos

copy — Operações de cópia profunda e cópia rasa

pprint — Impressão bonita de dados

reprlib — Alternate repr() implementation

enum — Support for enumerations

graphlib — Funcionalidade para operar com estruturas do tipo grafo

Módulos Matemáticos e Numéricos

numbers — Classes base abstratas numéricas

math — Funções matemáticas

cmath — Funções matemáticas para números complexos

decimal — Aritmética de ponto fixo decimal e ponto flutuante

fractions — Números racionais

random — Gera números pseudoaleatórios

statistics — Funções estatísticas

Módulos de Programação Funcional

itertools — Functions creating iterators for efficient looping

functools — Higher-order functions and operations on callable objects

operator — Operadores padrões como funções

Acesso a arquivos e diretórios

pathlib — Caminhos do sistema de arquivos orientados a objetos

os.path — Manipulações comuns de nomes de caminhos

fileinput — Itera sobre linhas de múltiplos fluxos de entrada

stat — Interpretando resultados de stat()

filecmp — File and Directory Comparisons

tempfile — Generate temporary files and directories

glob — Expansão de padrão de nome de arquivo no estilo Unix

fnmatch — Correspondência de padrões de nome de arquivo Unix

linecache — Acesso aleatório a linhas de texto

shutil — High-level file operations

Persistência de Dados

pickle — Serialização de objetos Python

copyreg — Registra funções de suporte pickle

shelve — Python object persistence

marshal — Serialização interna de objetos Python

dbm — Interfaces to Unix “databases”

sqlite3 —- interface DB-API 2.0 interface para bancos de dados SQLite

Compressão de Dados e Arquivamento

zlib — Compactação compatível com gzip

gzip — Support for gzip files

bz2 — Suporte para compressão bzip2

lzma — Compression using the LZMA algorithm

zipfile — Trabalha com arquivos ZIP

tarfile — Ler e gravar arquivos do tipo tar

Formatos de Arquivo

csv — Leitura e escrita de arquivos CSV

configparser — Analisador sintático de arquivo de configuração

tomllib — Analisa arquivos TOML

netrc — Arquivo de processamento netrc

plistlib — Gera e analisa arquivos Apple .plist

Serviços Criptográficos

hashlib — Secure hashes and message digests

hmac — Keyed-Hashing for Message Authentication

secrets — Gera números aleatórios seguros para gerenciar segredos

Serviços Genéricos do Sistema Operacional

os — Diversas interfaces de sistema operacional

io — Core tools for working with streams

time — Acesso ao horário e conversões

argparse — Analisador sintático para opções de linha de comando, argumentos e subcomandos

logging — Recurso de utilização do Logging para Python

logging.config — Logging configuration

logging.handlers — Logging handlers

getpass — Entrada de senha portátil

curses — Gerenciador de terminal para visualizadores de células de caracteres.

curses.textpad — Text input widget for curses programs

curses.ascii — Utilities for ASCII characters

curses.panel — A panel stack extension for curses

platform — Access to underlying platform’s identifying data

errno — Standard errno system symbols

ctypes — Uma biblioteca de funções externas para Python

Execução Concorrente

threading — Thread-based parallelism

multiprocessing — Paralelismo baseado em processo

multiprocessing.shared_memory — Shared memory for direct access across processes

O pacote concurrent

concurrent.futures — Launching parallel tasks

subprocess — Subprocess management

sched — Event scheduler

queue — A synchronized queue class

contextvars — Variáveis de contexto

_thread— API de segmentação de baixo nível

Comunicação em Rede e Interprocesso

asyncio — E/S assíncrona

socket — Low-level networking interface

ssl — TLS/SSL wrapper for socket objects

select — Waiting for I/O completion

selectors — High-level I/O multiplexing

signal — Define manipuladores para eventos assíncronos

mmap — Memory-mapped file support

Manuseio de Dados na Internet

email — Um e-mail e um pacote MIME manipulável

json — Codificador e decodificador JSON

mailbox — Manipulate mailboxes in various formats

mimetypes — Mapeia nomes de arquivos para tipos MIME

base64 — Base16, Base32, Base64, Base85 Data Encodings

binascii — Convert between binary and ASCII

quopri — Codifica e decodifica dados MIME imprimidos entre aspas

Ferramentas de Processamento de Markup Estruturado

html — Suporte HTML (HyperText Markup Language)

html.parser — Simple HTML and XHTML parser

html.entities — Definições de entidades gerais de HTML

Módulos de Processamento de XML

xml.etree.ElementTree — A API XML ElementTree

xml.dom — The Document Object Model API

xml.dom.minidom — Minimal DOM implementation

xml.dom.pulldom — Support for building partial DOM trees

xml.sax — Support for SAX2 parsers

xml.sax.handler — Base classes for SAX handlers

xml.sax.saxutils — SAX Utilities

xml.sax.xmlreader — Interface for XML parsers

xml.parsers.expat — Fast XML parsing using Expat

Protocolos de Internet e Suporte

webbrowser — Convenient web-browser controller

wsgiref — WSGI Utilities and Reference Implementation

urllib — Módulos de manipulação de URL

urllib.request — Extensible library for opening URLs

urllib.response — Response classes used by urllib

urllib.parse — Analisa URLs para componentes

urllib.error — Classes de exceção levantadas por urllib.request

urllib.robotparser — Parser for robots.txt

http — HTTP modules

http.client — HTTP protocol client

ftplib — FTP protocol client

poplib — POP3 protocol client

imaplib — IMAP4 protocol client

smtplib — SMTP protocol client

uuid — UUID objects according to RFC 4122

socketserver — A framework for network servers

http.server — HTTP servers

http.cookies — HTTP state management

http.cookiejar — Cookie handling for HTTP clients

xmlrpc — Módulos de servidor e cliente XMLRPC

xmlrpc.client — Cliente XML-RPC

xmlrpc.server — Servidores XML-RPC básicos

ipaddress — Biblioteca de manipulação de IPv4/IPv6

Serviços Multimídia

wave — Read and write WAV files

colorsys — Conversões entre sistemas de cores

Internacionalização

gettext — Serviços de internacionalização multilíngues

locale — Serviços de internacionalização

Frameworks de programa

turtle — Gráficos Tartaruga

cmd — Support for line-oriented command interpreters

shlex — Simple lexical analysis

Interfaces Gráficas de Usuário com Tk

tkinter — Interface Python para Tcl/Tk

tkinter.colorchooser — Diálogo de escolha de cor

tkinter.font — Invólucro de fontes Tkinter

Diálogos Tkinter

tkinter.messagebox — Prompts de mensagem do Tkinter

tkinter.scrolledtext — Widget de texto de rolado

tkinter.dnd — Suporte para arrastar e soltar

tkinter.ttk — Widgets temáticos do Tk

IDLE

Ferramentas de Desenvolvimento

typing — Suporte para dicas de tipo

pydoc — Gerador de documentação e sistema de ajuda online

Modo de Desenvolvimento do Python

doctest — Test interactive Python examples

unittest — Unit testing framework

unittest.mock — mock object library

unittest.mock — primeiros passos

test — Regression tests package for Python

test.support — Utilitários para o conjunto de teste do Python

test.support.socket_helper — Utilities for socket tests

test.support.script_helper — Utilities for the Python execution tests

test.support.bytecode_helper — Ferramentas de suporte para testar a geração correta de bytecode

test.support.threading_helper — Utilities for threading tests

test.support.os_helper — Utilities for os tests

test.support.import_helper — Utilities for import tests

test.support.warnings_helper — Utilities for warnings tests

Depuração e perfilamento

Tabela de eventos de auditoria

bdb — Debugger framework

faulthandler — Dump the Python traceback

pdb — O Depurador do Python

Os Profilers do Python

timeit — Mede o tempo de execução de pequenos trechos de código

trace — Rastreia ou acompanha a execução de instruções Python

tracemalloc — Trace memory allocations

Empacotamento e Distribuição de Software

ensurepip — Inicialização do instalador do pip

venv — Criação de ambientes virtuais

zipapp — Manage executable Python zip archives

Serviços de Tempo de Execução Python

sys — Parâmetros e funções específicas do sistema

sys.monitoring — Monitoramento de eventos de execução

sysconfig — Fornece acesso às informações de configuração do Python

builtins — Objetos embutidos

__main__ — Ambiente de código principal

warnings — Warning control

dataclasses — Data Classes

contextlib — Utilities for with-statement contexts

abc — Abstract Base Classes

atexit — Manipuladores de saída

traceback — Imprime ou recupera um traceback da pilha

__future__ — Definições de instruções future

gc — Interface para o coletor de lixo

inspect — Inspect live objects

site — Site-specific configuration hook

Interpretadores Python Personalizados

code — Classes bases do interpretador

codeop — Compila código Python

Importando módulos

zipimport — Import modules from Zip archives

pkgutil — Utilitário de extensão de pacote

modulefinder — Procura módulos usados por um script

runpy — Locating and executing Python modules

importlib — A implementação de import

importlib.resources – Leitura, abertura e acesso a recursos de pacotes

importlib.resources.abc – Classes base abstratas para recursos

importlib.metadata – Acessando metadados do pacote

A inicialização do caminho de pesquisa de módulos sys.path

Serviços da Linguagem Python

ast — Árvores de Sintaxe Abstrata

symtable — Acesso a tabela de símbolos do compilador

token — Constantes usadas com árvores de análises do Python

keyword — Testando palavras reservadas do Python

tokenize — Tokenizer for Python source

tabnanny — Detecção de indentação ambígua

pyclbr — Suporte a navegador de módulos do Python

py_compile — Compila arquivos fonte do Python

compileall — Compilar bibliotecas do Python para bytecode

dis — Disassembler de bytecode do Python

pickletools — Ferramentas para desenvolvedores pickle

Serviços Específicos do MS Windows

msvcrt — Useful routines from the MS VC++ runtime

winreg — Windows registry access

winsound — Sound-playing interface for Windows

Serviços Específicos Unix

posix — As chamadas de sistema mais comuns do POSIX

pwd — A senha do banco de dados

grp — The group database

termios — Controle de tty no estilo POSIX

tty — Funções de controle de terminal

pty — Utilitários de pseudoterminal

fcntl — The fcntl and ioctl system calls

resource — Resource usage information

syslog — Rotinas da biblioteca syslog do Unix

Interface de linha de comando (CLI) de módulos

Módulos substituídos

getopt — Analisador sintático no estilo C para opções de linha de comando

optparse — Parser for command line options

Considerações de segurança

Introdução

A “biblioteca Python” contém vários tipos diferentes de componentes.

Ela contém tipos de dados que seriam normalmente considerados como parte “central” de uma linguagem, tais como números e listas. Para esses tipos, o núcleo da linguagem Python define a forma de literais e coloca algumas restrições em suas semânticas, mas não define completamente as semânticas. (Por outro lado, o núcleo da linguagem define propriedades sintáticas como a ortografia e a prioridade de operadores.)

A biblioteca também contém exceções e funções embutidas — objetos que podem ser usados por todo o código Python sem a necessidade de uma instrução import. Alguns desses são definidos pelo núcleo da linguagem, mas muitos não são essenciais para as semânticas principais e são apenas descritos aqui.

A maior parte da biblioteca, entretanto, consiste em uma coleção de módulos. Há muitas formas de dissecar essa coleção. Alguns módulos são escritos em C e colocados no interpretador do Python; outros são escritos em Python e importados na forma de código. Alguns módulos fornecem interfaces que são muito específicas do Python, como imprimir um stack trace (situação da pilha de execução); alguns fornecem interfaces que são específicas para um sistema operacional em particular, tais como acessar hardware específico; outros fornecem interfaces que são específicas de um domínio de aplicação em particular, como a World Wide Web. Alguns módulos estão disponíveis em todas as versões do Python; outros estão apenas disponíveis quando o sistema subjacente suporta ou necessita deles; e ainda outros estão disponíveis apenas quando uma opção de configuração em particular foi escolhida no momento em que o Python foi compilado e instalado.

Este manual está organizado “de dentro para fora”: ele primeiro descreve as funções embutidas, tipos de dados e exceções, e finalmente os módulos, agrupados em capítulos de módulos relacionados.

Isto significa que, se você começar a ler este manual do início, e pular para o próximo capítulo quando estiver entediado, você terá uma visão geral razoável dos módulos disponíveis e áreas de aplicação que são suportadas pela biblioteca Python. É claro, você não tem que ler como se fosse um romance — você também pode navegar pela tabela de conteúdos (no início do manual), ou procurar por uma função, módulo ou termo específicos no índice (na parte final). E finalmente, se você gostar de aprender sobre assuntos diversos, você pode escolher um número de página aleatório (veja o módulo random) e leia uma seção ou duas. Independente da ordem na qual você leia as seções deste manual, ajuda iniciar pelo capítulo Funções embutidas, já que o resto do manual requer familiaridade com este material.

E que o show comece!

Observações sobre disponibilidade

Uma observação “Disponibilidade: Unix” significa que essa função é comumente encontrada em sistemas Unix. Não faz nenhuma reivindicação sobre sua existência em um sistema operacional específico.

Caso não seja definido separadamente, todas as funções que se definem como “Disponibilidade: Unix” são suportadas no macOS, IOS e Android, todas construidas em um Unix core.

Se uma nota de disponibilidade contiver uma versão mínima do Kernel e uma versão mínima da libc, ambas as condições deverão ser atendidas. Por exemplo, um recurso com a observação Disponibilidade: Linux >= 3.17 com glibc >= 2.27 requer Linux 3.17 ou mais recente e glibc 2.27 ou mais recente.

Plataformas WebAssembly

As plataformas WebAssembly [https://webassembly.org/] wasm32-emscripten (Emscripten [https://emscripten.org/]) e wasm32-wasi (WASI [https://wasi.dev/]) fornecem um subconjunto de APIs POSIX. Os tempos de execução e navegadores do WebAssembly são colocados em área restrita e têm acesso limitado ao host e aos recursos externos. Qualquer módulo de biblioteca padrão do Python que usa processos, encadeamento, rede, sinais ou outras formas de comunicação entre processos (IPC) não está disponível ou pode não funcionar como em outros sistemas semelhantes ao Unix. E/S de arquivo, sistema de arquivos e funções relacionadas à permissão do Unix também são restritas. Emscripten não permite bloqueio de E/S. Outras operações de bloqueio como sleep() bloqueiam o laço de eventos do navegador.

As propriedades e o comportamento do Python em plataformas WebAssembly dependem da versão Emscripten [https://emscripten.org/]-SDK ou WASI [https://wasi.dev/]-SDK, tempos de execução WASM (navegador, NodeJS, wasmtime [https://wasmtime.dev/]) e sinalizadores de tempo de construção do Python. WebAssembly, Emscripten e WASI são padrões em evolução; alguns recursos como rede podem ser suportados no futuro.

Para Python no navegador, os usuários devem considerar Pyodide [https://pyodide.org/] ou PyScript [https://pyscript.net/]. O PyScript é construído sobre o Pyodide, que por sua vez é construído sobre o CPython e o Emscripten. O Pyodide fornece acesso às APIs JavaScript e DOM dos navegadores, bem como recursos de rede limitados com as APIs XMLHttpRequest e Fetch do JavaScript.

As APIs relacionadas a processo não estão disponíveis ou sempre falham com um erro. Isso inclui APIs que geram novos processos (fork(), execve()), aguardam processos (waitpid()), enviam sinais (kill()), ou interagir com processos. O subprocess é importável, mas não funciona.

O módulo socket está disponível, mas é limitado e se comporta de maneira diferente de outras plataformas. No Emscripten, os soquetes são sempre não bloqueantes e requerem código JavaScript adicional e auxiliares no servidor para intermediar TCP por meio de WebSockets; veja Emscripten Networking [https://emscripten.org/docs/porting/networking.html] para mais informações. A primeira snapshot de preview do WASI permite apenas soquetes de um descritor de arquivo existente.

Algumas funções são esboço que não fazem nada e sempre retornam valores definidos no código.

As funções relacionadas a descritores de arquivo, permissões de arquivo, propriedade de arquivo e links são limitadas e não suportam algumas operações. Por exemplo, WASI não permite links simbólicos com nomes de arquivo absolutos.

Plataformas móveis

O Android e o IOS são em linhas gerais sistemas operacionais POSIX. File I/O, socket handling, e threading se comportam como em qualquer sistema operacional POSIX. Entretanto, existem diversas diferenças:

Plataformas móveis podem usar o Python apenas no modo “embedded”. Não existe um Python REPL, e não existe possibilidade para usar executáveis em separado como python ou pip. Para adicionar código Python para seu aplicativo móvel, você deve usar Python embedding API 1. Para maiores detalhes veja Utilizando Python no Android e Usando Python no iOS.

Subprocessos:

On Android, creating subprocesses is possible but officially unsupported [https://issuetracker.google.com/issues/128554619#comment4]. In particular, Android does not support any part of the System V IPC API, so multiprocessing is not available.

An iOS app cannot use any form of subprocessing, multiprocessing, or inter-process communication. If an iOS app attempts to create a subprocess, the process creating the subprocess will either lock up, or crash. An iOS app has no visibility of other applications that are running, nor any ability to communicate with other running applications, outside of the iOS-specific APIs that exist for this purpose.

Aplicativos móveis possuem acesso limitado a recursos do sistema (como o relógio do sistema). Esses recursos serão em sua maioria apenas leitura, e tentativas de modificar esses recusos geralmente falhará.

Console input and output:

No Android, o stdout e o stderr nativos não estão conectados a nada, então o Python instala seus próprios fluxos que redirecionam mensagens para o log do sistema. Esses podem ser vistos sob a tags python.stdout e python.stderr, respectivamente.

iOS apps have a limited concept of console output. stdout and stderr exist, and content written to stdout and stderr will be visible in logs when running in Xcode, but this content won’t be recorded in the system log. If a user who has installed your app provides their app logs as a diagnostic aid, they will not include any detail written to stdout or stderr.

Mobile apps have no usable stdin at all. While apps can display an on-screen keyboard, this is a software feature, not something that is attached to stdin.

Como consequência, módulos Pytthon que envolvem manipulação de console (como curses e readline) não estão disponíveis em plataformas móveis.

Funções embutidas

O interpretador do Python possui várias funções e tipos embutidos que sempre estão disponíveis. A seguir listamos todas as funções em ordem alfabética.

Funções embutidas

A

abs()

aiter()

all()

anext()

any()

ascii()

B

bin()

bool()

breakpoint()

bytearray()

bytes()

C

callable()

chr()

classmethod()

compile()

complex()

D

delattr()

dict()

dir()

divmod()

E

enumerate()

eval()

exec()

F

filter()

float()

format()

frozenset()

G

getattr()

globals()

H

hasattr()

hash()

help()

hex()

I

id()

input()

int()

isinstance()

issubclass()

iter()

L

len()

list()

locals()

M

map()

max()

memoryview()

min()

N

next()

O

object()

oct()

open()

ord()

P

pow()

print()

property()

R

range()

repr()

reversed()

round()

S

set()

setattr()

slice()

sorted()

staticmethod()

str()

sum()

super()

T

tuple()

type()

V

vars()

Z

zip()

_

__import__()

abs(x)

Retorna o valor absoluto de um número. O argumento pode ser um inteiro, um número de ponto flutuante ou um objeto implementando __abs__(). Se o argumento é um número complexo, sua magnitude é retornada.

aiter(async_iterable)

Retorna um iterador assíncrono para um iterável assíncrono. Equivalente a chamar x.__aiter__().

Nota: Ao contrário de iter(), aiter() não tem uma variante de 2 argumentos.

Adicionado na versão 3.10.

all(iterable)

Retorna True se todos os elementos de iterable são verdadeiros (ou se iterable estiver vazio). Equivalente a:

def all(iterable):
    for elemento in iterable:
        if not elemento:
            return False
    return True

awaitable anext(async_iterator)

awaitable anext(async_iterator, default)

Quando aguardado, retorna o próximo item do iterador assíncrono fornecido, ou default se fornecido e o iterador for esgotado.

Esta é a variante assíncrona do next() embutido, e se comporta de forma semelhante.

Isso chama o método __anext__() de async_iterator, retornando um aguardável. Ao aguardar isso, retorna o próximo valor do iterador. Se default for fornecido, ele será retornado se o iterador for esgotado, caso contrário, a exceção StopAsyncIteration será levantada.

Adicionado na versão 3.10.

any(iterable)

Retorna True se algum elemento de iterable for verdadeiro. Se iterable estiver vazio, retorna False. Equivalente a:

def any(iterable):
    for elemento in iterable:
        if elemento:
            return True
    return False

ascii(object)

Como repr(), retorna uma string contendo uma representação imprimível de um objeto, mas faz escape de caracteres não-ASCII na string retornada por repr() usando sequências de escapes \x, \u ou \U. Isto gera uma string similar ao que é retornado por repr() no Python 2.

bin(x)

Converte um número inteiro para uma string de binários prefixada com “0b”. O resultado é uma expressão Python válida. Se x não é um objeto Python int, ele tem que definir um método __index__() que devolve um inteiro. Alguns exemplos:

>>> bin(3)
'0b11'
>>> bin(-10)
'-0b1010'

Se o prefixo “0b” é desejado ou não, você pode usar uma das seguintes maneiras.

>>> format(14, '#b'), format(14, 'b')
('0b1110', '1110')
>>> f'{14:#b}', f'{14:b}'
('0b1110', '1110')

Veja também format() para mais informações.

class bool(object=False, /)

Retorna um valor Booleano, isto é, True ou False. O argumento é convertido usando o procedimento de teste de verdade padrão. Se o argumento for falso ou foi omitido, isso retorna False; senão True. A classe bool é uma subclasse de int (veja Tipos numéricos — int, float, complex). Ela não pode ser usada para criar outra subclasse. Suas únicas instâncias são False e True (veja Tipo booleano - bool).

Alterado na versão 3.7: O parâmetro agora é somente-posicional

breakpoint(*args, **kws)

Esta função coloca você no depurador no local da chamada. Especificamente, ela chama sys.breakpointhook(), passando args e kws diretamente. Por padrão, sys.breakpointhook() chama pdb.set_trace() não esperando nenhum argumento. Neste caso, isso é puramente uma função de conveniência para você não precisar importar pdb explicitamente ou digitar mais código para entrar no depurador. Contudo, sys.breakpointhook() pode ser configurado para alguma outra função e breakpoint() irá automaticamente chamá-la, permitindo você ir para o depurador de sua escolha. Se sys.breakpointhook() não estiver acessível, esta função vai levantar RuntimeError.

Por padrão, o comportamento de breakpoint() pode ser alterado com a variável de ambiente PYTHONBREAKPOINT. Veja sys.breakpointhook() para detalhes de uso.

Observe que isso não é garantido se sys.breakpointhook() tiver sido substituído.

Levanta um evento de auditoria builtins.breakpoint com o argumento breakpointhook.

Adicionado na versão 3.7.

class bytearray(source=b'')

class bytearray(source, encoding)

class bytearray(source, encoding, errors)

Retorna um novo vetor de bytes. A classe bytearray é uma sequência mutável de inteiros no intervalo 0 <= x < 256. Ela tem a maior parte dos métodos mais comuns de sequências mutáveis, descritas em Tipos sequências mutáveis, assim como a maior parte dos métodos que o tipo bytes tem, veja Operações com Bytes e Bytearray.

O parâmetro opcional source pode ser usado para inicializar o vetor de algumas maneiras diferentes:

Se é uma string, você deve informar o parâmetro encoding (e opcionalmente, errors); bytearray() então converte a string para bytes usando str.encode().

Se é um inteiro, o vetor terá esse tamanho e será inicializado com bytes nulos.

Se é um objeto em conformidade com a interface de buffer, um buffer somente leitura do objeto será usado para inicializar o vetor de bytes.

Se é um iterável, deve ser um iterável de inteiros no intervalo 0 <= x < 256, que serão usados como o conteúdo inicial do vetor.

Sem nenhum argumento, um vetor de tamanho 0 é criado.

Veja também Tipos de Sequência Binária — bytes, bytearray, memoryview e Objetos Bytearray.

class bytes(source=b'')

class bytes(source, encoding)

class bytes(source, encoding, errors)

Retorna um novo objeto “bytes” que é uma sequência imutável de inteiros no intervalo 0 <= x < 256. bytes é uma versão imutável de bytearray – tem os mesmos métodos de objetos imutáveis e o mesmo comportamento de índices e fatiamento.

Consequentemente, argumentos do construtor são interpretados como os de bytearray().

Objetos bytes também podem ser criados com literais, veja Literais de string e bytes.

Veja também Tipos de Sequência Binária — bytes, bytearray, memoryview, Objetos Bytes, e Operações com Bytes e Bytearray.

callable(object)

Retorna True se o argumento object parece ser chamável, False caso contrário. Se retorna True, ainda é possível que a chamada falhe, mas se é False, chamar object nunca será bem sucedido. Note que classes são chamáveis (chamar uma classe devolve uma nova instância); instâncias são chamáveis se suas classes possuem um método __call__().

Adicionado na versão 3.2: Esta função foi removida na versão 3.0, mas retornou no Python 3.2.

chr(i)

Retorna o caractere que é apontado pelo inteiro i no código Unicode. Por exemplo, chr(97) retorna a string 'a', enquanto chr(8364) retorna a string '€'. É o inverso de ord().

O intervalo válido para o argumento vai de 0 até 1.114.111 (0x10FFFF na base 16). Será lançada uma exceção ValueError se i estiver fora desse intervalo.

@classmethod

Transforma um método em um método de classe.

Um método de classe recebe a classe como um primeiro argumento implícito, exatamente como um método de instância recebe a instância. Para declarar um método de classe, faça dessa forma:

class C:
    @classmethod
    def f(cls, arg1, arg2): ...

O termo @classmethod é uma função decoradora – veja Definições de função para detalhes.

Um método de classe pode ser chamado tanto da classe (como em C.f()) quanto da instância (como em C().f()). A instância é ignorada, exceto por sua classe. Se um método de classe é chamado por uma classe derivada, o objeto da classe derivada é passado como primeiro argumento implícito.

Métodos de classe são diferentes de métodos estáticos em C++ ou Java. Se você quer saber desses, veja staticmethod() nesta seção. Para mais informações sobre métodos de classe, consulte A hierarquia de tipos padrão.

Alterado na versão 3.9: Métodos de classe agora podem envolver outros descritores tal como property().

Alterado na versão 3.10: Métodos de classe agora herdam os atributos do método (__module__, __name__, __qualname__, __doc__ e __annotations__) e têm um novo atributo __wrapped__.

Deprecated since version 3.11, removed in version 3.13: Métodos de classe não podem mais envolver outros descritores tal como property().

compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1)

Compila o argumento source em código ou objeto AST. Objetos código podem ser executados por exec() ou eval(). source pode ser uma string normal, uma string byte, ou um objeto AST. Consulte a documentação do módulo ast para saber como trabalhar com objetos AST.

O argumento filename deve ser o arquivo de onde o código será lido; passe algum valor reconhecível se isso não foi lido de um arquivo ('<string>' é comumente usado).

O argumento mode especifica qual o tipo de código deve ser compilado; pode ser 'exec' se source consiste em uma sequência de instruções, 'eval' se consiste de uma única expressão, ou 'single' se consiste de uma única instrução interativa (neste último caso, instruções que são avaliadas para alguma coisa diferente de None serão exibidas).

Os argumentos opcionais flags e dont_inherit controlam quais opções do compilador devem ser ativadas e quais recursos futuros devem ser permitidos. Se nenhum estiver presente (ou ambos forem zero), o código é compilado com os mesmos sinalizadores que afetam o código que está chamando compile(). Se o argumento flags for fornecido e dont_inherit não for (ou for zero), as opções do compilador e as instruções futuras especificadas pelo argumento flags são usadas além daquelas que seriam usadas de qualquer maneira. Se dont_inherit for um inteiro diferente de zero, então o argumento flags é – os sinalizadores (recursos futuros e opções do compilador) no código circundante são ignorados.

Opções de compilador e instruções futuras são especificadas por bits, assim pode ocorrer uma operação OU bit a bit para especificar múltiplas instruções. O sinalizador necessário para especificar um dado recurso futuro pode ser encontrado no atributo compiler_flag na instância _Feature do módulo __future__. Sinalizadores de compilador podem ser encontrados no módulo ast, com o prefixo PyCF_.

O argumento optimize especifica o nível de otimização do compilador; o valor padrão de -1 seleciona o nível de otimização do interpretador dado pela opção -O. Níveis explícitos são 0 (nenhuma otimização; __debug__ é verdadeiro), 1 (instruções assert são removidas, __debug__ é falso) ou 2 (strings de documentação também são removidas).

Essa função levanta SyntaxError se o código para compilar é inválido, e ValueError se o código contém bytes nulos.

Se você quer analisar código Python em sua representação AST, veja ast.parse().

Levanta um evento de auditoria compile com os argumentos source, filename. Esse evento pode também ser levantando por uma compilação implícita.

Nota

Quando compilando uma string com código multi-linhas em modo 'single' ou 'eval', entrada deve ser terminada por ao menos um caractere de nova linhas. Isso é para facilitar a detecção de instruções completas e incompletas no módulo code.

Aviso

É possível quebrar o interpretador Python com uma string suficientemente grande/complexa ao compilar para um objeto AST, devido limitações do tamanho da pilha no compilador AST do Python.

Alterado na versão 3.2: Permitido o uso de marcadores de novas linhas no estilo Windows e Mac. Além disso, em modo 'exec' a entrada não precisa mais terminar com uma nova linha. Também foi adicionado o parâmetro optimize.

Alterado na versão 3.5: Anteriormente, TypeError era levantada quando havia bytes nulos em source.

Adicionado na versão 3.8: ast.PyCF_ALLOW_TOP_LEVEL_AWAIT agora pode ser passado em flags para habilitar o suporte em nível superior a await, async for, e async with.

class complex(number=0, /)

class complex(string, /)

class complex(real=0, imag=0)

Converte uma única string ou número para um número complexo, ou cria um número complexo a partir de partes real e imaginária.

Exemplos:

>>> complex('+1.23')
(1.23+0j)
>>> complex('-4.5j')
-4.5j
>>> complex('-1.23+4.5j')
(-1.23+4.5j)
>>> complex('\t( -1.23+4.5J )\n')
(-1.23+4.5j)
>>> complex('-Infinity+NaNj')
(-inf+nanj)
>>> complex(1.23)
(1.23+0j)
>>> complex(imag=-4.5)
-4.5j
>>> complex(-1.23, 4.5)
(-1.23+4.5j)

Se o argumento for uma string, ele deve conter ou a parte real (com o mesmo formato usado em float()) ou uma parte imaginária (com o mesmo formato, mas com um sufixo 'j' ou 'J'), ou então ambas as partes real e imaginária (caso no qual o sinal da parte imaginária é obrigatório). A string pode opcionalmente ser cercada por espaços em branco e parênteses '(' e ')', que são ignorados. A string não deve conter espaços em branco entre os símbolos '+', '-', o sufixo 'j' ou 'J', e o número decimal. Por examplo, complex('1+2j') é ok, mas complex('1 + 2j') levanta ValueError. Mais precisamente, após descartar os parênteses e os espaços em branco do início e do final, a entrada deve ser conforme a regra de produção complexvalue da gramática a seguir:

complexvalue ::=  floatvalue |
                  floatvalue ("j" | "J") |
                  floatvalue sign absfloatvalue ("j" | "J")

Se o argumento for um número, o construtor serve como uma conversão numérica tal qual int e float. Para um objeto Python x qualquer, complex(x) delega para x.__complex__(). Se __complex__() não está definido então a chamada é repassada para __float__(). Se __float__() não está definido então a chamada é, novamente, repassada para __index__().

Se dois argumentos forem passados ou argumentos nomeados forem usados, cada argumento pode ser de qualquer tipo numérico (incluindo complexo). Se ambos argumentos forem números reais, é retornado um número complexo com real como parte real e imag como parte imaginária. Se ambos os argumentos forem números complexos, é retornado um número complexo com parte real real.real-imag.imag e parte imaginária real.imag+imag.real. Se um dos argumentos for um número real, somente a sua parte real é usada nas expressões anteriores.

Se todos os argumentos forem omitidos, retorna 0j.

O tipo complexo está descrito em Tipos numéricos — int, float, complex.

Alterado na versão 3.6: Agrupar dígitos com sublinhados como em literais de código é permitido.

Alterado na versão 3.8: Chamadas para __index__() se __complex__() e __float__() não estão definidas.

delattr(object, name)

Essa função está relacionada com setattr(). Os argumentos são um objeto e uma string. A string deve ser o nome de um dos atributos do objeto. A função remove o atributo indicado, desde que o objeto permita. Por exemplo, delattr(x, 'foobar') é equivalente a del x.foobar. name não precisa ser um identificador Python (veja setattr()).

class dict(**kwarg)

class dict(mapping, **kwarg)

class dict(iterable, **kwarg)

Cria um novo dicionário. O objeto dict é a classe do dicionário. Veja dict e Tipo mapeamento — dict para documentação sobre esta classe.

Para outros contêineres, consulte as classes embutidas list, set e tuple, bem como o módulo collections.

dir()

dir(object)

Sem argumentos, devolve a lista de nomes no escopo local atual. Com um argumento, tentará devolver uma lista de atributos válidos para esse objeto.

Se o objeto tiver um método chamado __dir__(), esse método será chamado e deve devolver a lista de atributos. Isso permite que objetos que implementam uma função personalizada __getattr__() ou __getattribute__() personalizem a maneira como dir() relata seus atributos.

Se o objeto não fornecer __dir__(), a função tentará o melhor possível para coletar informações do atributo __dict__ do objeto, se definido, e do seu objeto de tipo. A lista resultante não está necessariamente completa e pode ser imprecisa quando o objeto possui um __getattr__() personalizado.

O mecanismo padrão dir() se comporta de maneira diferente com diferentes tipos de objetos, pois tenta produzir as informações mais relevantes e não completas:

Se o objeto for um objeto de módulo, a lista conterá os nomes dos atributos do módulo.

Se o objeto for um objeto de tipo ou classe, a lista conterá os nomes de seus atributos e recursivamente os atributos de suas bases.

Caso contrário, a lista conterá os nomes dos atributos do objeto, os nomes dos atributos da classe e recursivamente os atributos das classes base da classe.

A lista resultante é alfabeticamente ordenada. Por exemplo:

>>> import struct
>>> dir()   # show the names in the module namespace
['__builtins__', '__name__', 'struct']
>>> dir(struct)   # show the names in the struct module
['Struct', '__all__', '__builtins__', '__cached__', '__doc__', '__file__',
 '__initializing__', '__loader__', '__name__', '__package__',
 '_clearcache', 'calcsize', 'error', 'pack', 'pack_into',
 'unpack', 'unpack_from']
>>> class Shape:
...     def __dir__(self):
...         return ['area', 'perimeter', 'location']
...
>>> s = Shape()
>>> dir(s)
['area', 'location', 'perimeter']

Nota

Como dir() é fornecido principalmente como uma conveniência para uso em um prompt interativo, ele tenta fornecer um conjunto interessante de nomes mais do que tenta fornecer um conjunto de nomes definido de forma rigorosa ou consistente, e seu comportamento detalhado pode mudar nos lançamentos. Por exemplo, os atributos de metaclasse não estão na lista de resultados quando o argumento é uma classe.

divmod(a, b)

Recebe dois números (não complexos) como argumentos e retorna um par de números que consiste em seu quociente e resto ao usar a divisão inteira. Com tipos de operandos mistos, as regras para operadores aritméticos binários se aplicam. Para números inteiros, o resultado é o mesmo que (a // b, a % b). Para números de ponto flutuante, o resultado é (q, a % b), onde q geralmente é math.floor(a / b), mas pode ser 1 a menos que isso. Em qualquer caso, q * b + a % b está muito próximo de a, se a % b é diferente de zero, tem o mesmo sinal que b e 0 <= abs(a % b) < abs(b).

enumerate(iterable, start=0)

Devolve um objeto enumerado. iterable deve ser uma sequência, um iterador ou algum outro objeto que suporte a iteração. O método __next__() do iterador retornado por enumerate() devolve uma tupla contendo uma contagem (a partir de start, cujo padrão é 0) e os valores obtidos na iteração sobre iterable.

>>> seasons = ['Spring', 'Summer', 'Fall', 'Winter']
>>> list(enumerate(seasons))
[(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')]
>>> list(enumerate(seasons, start=1))
[(1, 'Spring'), (2, 'Summer'), (3, 'Fall'), (4, 'Winter')]

Equivalente a:

def enumerate(iterable, start=0):
    n = start
    for elem in iterable:
        yield n, elem
        n += 1

eval(source, /, globals=None, locals=None)

Parâmetros:

source (str | code object) – Uma expressão Python.

globals (dict | None) – O espaço de nomes global (por padrão, None).

locals (mapping | None) – O espaço de nomes local (por padrão, None).

Retorna:

O resultado da expressão avaliada.

levanta:

Erros de sintaxe são reportados como exceções.

O argumento expression é analisado e avaliado como uma expressão Python (tecnicamente falando, uma lista de condições) usando os mapeamentos globals e locals como espaços de nomes globais e locais. Se o dicionário globals estiver presente e não contiver um valor para a chave __builtins__, uma referência ao dicionário do módulo embutido builtins será inserida sob essa chave antes de expression ser analisado. Dessa forma, você pode controlar quais funções embutidas estão disponíveis para o código executado inserindo seu próprio dicionário __builtins__ em globals antes de passá-lo para eval(). Se o mapeamento locals for omitido, o padrão será o dicionário globals. Se os dois mapeamentos forem omitidos, a expressão será executada com os globals e locals no ambiente em que eval() é chamado. Observe que eval() terá acesso a escopos aninhados (não locais) no ambiente anexo somente se eles já forem referenciados pelo escopo que está chamando eval() (por exemplo, via uma instrução nonlocal).

Exemplo:

>>> x = 1
>>> eval('x+1')
2

Esta função também pode ser usada para executar objetos código arbitrários (como os criados por compile()). Nesse caso, passe um objeto código em vez de uma string. Se o objeto código foi compilado com 'exec' como o argumento mode, o valor de retorno de eval() será None.

Dicas: a execução dinâmica de instruções é suportada pela função exec(). As funções globals() e locals() retornam o dicionário global e local atual, respectivamente, o que pode ser útil para ser usado por eval() ou exec().

Se a fonte fornecida for uma string, os espaços e tabulações à esquerda ou à direita serão removidos.

Veja ast.literal_eval() para uma função que pode avaliar com segurança strings com expressões contendo apenas literais.

Levanta um evento de auditoria exec com o código objeto como argumento. Eventos de compilação de código também podem ser levantados.

Alterado na versão 3.13: Os argumentos globals e locals podem agora ser passados como argumentos nomeados.

Alterado na versão 3.13: A forma de uso do espaço de nomes locals padrão foi ajustado conforme descrito na função embutida locals().

exec(source, /, globals=None, locals=None, *, closure=None)

Esta função suporta a execução dinâmica de código Python. O parâmetro source deve ser ou uma string ou um objeto código. Se for uma string, a mesma é analisada como um conjunto de instruções Python, o qual é então executado (exceto caso um erro de sintaxe ocorra). [1] Se for um objeto código, ele é simplesmente executado. Em todos os casos, espera-se que o código a ser executado seja válido como um arquivo de entrada (veja a seção Entrada de arquivo no Manual de Referência). Tenha cuidado, pois as instruções nonlocal, yield e return não podem ser usadas fora das definições de funções mesmo dentro do contexto do código passado para a função exec() . O valor de retorno é sempre None.

Em todos os casos, se os parâmetros opcionais são omitidos, o código é executado no escopo atual. Se somente globals é fornecido, deve ser um dicionário (e não uma subclasse de dicionário), que será usado tanto para as variáveis globais quanto para locais. Se globals e locals são fornecidos, eles são usados para as variáveis globais e locais, respectivamente. Se fornecido, locals pode ser qualquer objeto de mapeamento. Lembre que no nível de módulo, globais e locais são o mesmo dicionário.

Nota

Quando or exec recebe dois objetos separados como globals and locals, o código será executado como se estivesse embutido em uma definição de classe. Isso significa que funções e classes definidas no código executado não poderão acessar variáveis que sofreram atribuições no escopo mais externo (pois, em uma definição de classe, tais variáveis seriam tratadas como variáveis de classe).

Se o dicionário globals não contém um valor para a chave __builtins__, a referência para o dicionário do módulo embutido builtins é inserido com essa chave. A maneira que você pode controlar quais embutidos estão disponíveis para o código executado é inserindo seu próprio __builtins__ dicionário em globals antes de passar para exec().

O argumento closure especifica uma clausura – uma tupla de cellvars. Só é válido quando o objeto é um objeto código contendo variáveis livres (de clausura). O comprimento da tupla deve corresponder exatamente ao comprimento do atributo co_freevars do objeto código.

Levanta um evento de auditoria exec com o código objeto como argumento. Eventos de compilação de código também podem ser levantados.

Nota

As funções embutidas globals() e locals() devolvem o espaço de nomes global e local, respectivamente, o que pode ser útil para passar adiante e usar como segundo ou terceiro argumento para exec().

Nota

locals padrão atua como descrito pela função locals() abaixo. Se você precisa ver efeitos do código em locals depois da função exec() retornar passe um dicionário locals explícito.

Alterado na versão 3.11: Adicionado o parâmetro closure.

Alterado na versão 3.13: Os argumentos globals e locals podem agora ser passados como argumentos nomeados.

Alterado na versão 3.13: A forma de uso do espaço de nomes locals padrão foi ajustado conforme descrito na função embutida locals().

filter(function, iterable)

Constrói um iterador a partir dos elementos de iterable para os quais function é verdadeiro. iterable pode ser uma sequência, um contêiner que com suporte a iteração, ou um iterador. Se function for None, a função identidade será usada, isto é, todos os elementos de iterable que são falsos são removidos.

Note que filter(function, iterable) é equivalente a expressão geradora (item for item in iterable if function(item)) se function não for None e (item for item in iterable if item) se function for None.

Veja itertools.filterfalse() para a função complementar que devolve elementos de iterable para os quais function é falso.

class float(number=0.0, /)

class float(string, /)

Retorna um número de ponto flutuante construído a partir de um número ou string.

Exemplos:

>>> float('+1.23')
1.23
>>> float('   -12345\n')
-12345.0
>>> float('1e-003')
0.001
>>> float('+1E6')
1000000.0
>>> float('-Infinity')
-inf

Se o argumento for uma string, ele deve conter um número decimal, opcionalmente precedido por um sinal e opcionalmente embutido em um espaço em branco. O sinal opcional pode ser '+' ou '-'; um sinal '+' não tem efeito no valor produzido. O argumento também pode ser uma string representando um NaN (não um número) ou infinito positivo ou negativo. Mais precisamente, a entrada deve estar de acordo com a regra de produção floatvalue na seguinte gramática, depois que os espaços em branco iniciais e finais forem removidos:

sign          ::=  "+" | "-"
infinity      ::=  "Infinity" | "inf"
nan           ::=  "nan"
digit         ::=  <a Unicode decimal digit, i.e. characters in Unicode general category Nd>
digitpart     ::=  digit (["_"] digit)*
number        ::=  [digitpart] "." digitpart | digitpart ["."]
exponent      ::=  ("e" | "E") [sign] digitpart
floatnumber   ::=  number [exponent]
absfloatvalue ::=  floatnumber | infinity | nan
floatvalue    ::=  [sign] absfloatvalue

O caso não é significativo, então, por exemplo, “inf”, “Inf”, “INFINITY” e “iNfINity” são todas grafias aceitáveis para o infinito positivo.

Caso contrário, se o argumento é um inteiro ou um número de ponto flutuante, um número de ponto flutuante com o mesmo valor (com a precisão de ponto flutuante de Python) é retornado. Se o argumento está fora do intervalo de um ponto flutuante Python, uma exceção OverflowError será lançada.

Para um objeto Python genérico x, float(x) delega para o método x.__float__(). Se __float__() não estiver definido, então ele delega para o método __index__().

Se nenhum argumento for fornecido, será retornado 0.0.

O tipo float é descrito em Tipos numéricos — int, float, complex.

Alterado na versão 3.6: Agrupar dígitos com sublinhados como em literais de código é permitido.

Alterado na versão 3.7: O parâmetro agora é somente-posicional

Alterado na versão 3.8: Chamada para __index__() se __float__() não está definido.

format(value, format_spec='')

Converte um valor value em uma representação “formatada”, controlado por format_spec. A interpretação de format_spec dependerá do tipo do argumento value; no entanto há uma sintaxe de formatação padrão usada pela maioria dos tipos embutidos: Minilinguagem de especificação de formato.

O format_spec padrão é uma string vazia que geralmente produz o mesmo efeito que chamar str(value).

Uma chamada de format(value, format_spec) é convertida em type(value).__format__(value, format_spec), que ignora o dicionário da instância ao pesquisar o método __format__() de value. Uma exceção TypeError é levantada se a pesquisa do método atingir object e o format_spec não estiver vazio, ou se o format_spec ou o valor de retorno não forem strings.

Alterado na versão 3.4: object().__format__(format_spec) levanta um TypeError se format_spec não for uma string vazia.

class frozenset(iterable=set())

Devolve um novo objeto frozenset, opcionalmente com elementos obtidos de iterable. frozenset é uma classe embutida. Veja frozenset e Tipo conjuntos — set, frozenset para documentação sobre essas classes.

Para outros contêineres veja as classes embutidas set, list, tuple, e dict, assim como o módulo collections.

getattr(object, name)

getattr(object, name, default)

Devolve o valor do atributo name de object. name deve ser uma string. Se a string é o nome de um dos atributos do objeto, o resultado é o valor de tal atributo. Por exemplo, getattr(x, 'foobar') é equivalente a x.foobar. Se o atributo não existir, default é devolvido se tiver sido fornecido, caso contrário a exceção AttributeError é levantada. name não precisa ser um identificador Python (veja setattr()).

Nota

Uma vez que desfiguração de nome privado acontece em tempo de compilação, deve-se manualmente mutilar o nome de um atributo privado (atributos com dois sublinhados à esquerda) para recuperá-lo com getattr().

globals()

Retorna o dicionário implementando o espaço de nomes do módulo atual. Para código dentro de funções, isso é definido quando a função é definida e permanece o mesmo, independentemente de onde a função é chamada.

hasattr(object, name)

Os argumentos são um objeto e uma string. O resultado é True se a string é o nome de um dos atributos do objeto, e False se ela não for. (Isto é implementado chamando getattr(object, name) e vendo se levanta um AttributeError ou não.)

hash(object)

Retorna o valor hash de um objeto (se houver um). Valores hash são números inteiros. Eles são usados para rapidamente comparar chaves de dicionários durante uma pesquisa em um dicionário. Valores numéricos que ao serem comparados são iguais, possuem o mesmo valor hash (mesmo que eles sejam de tipos diferentes, como é o caso de 1 e 1.0).

Nota

Para objetos com métodos __hash__() personalizados, fique atento que hash() trunca o valor devolvido baseado no comprimento de bits da máquina hospedeira.

help()

help(request)

Invoca o sistema de ajuda embutido. (Esta função é destinada para uso interativo.) Se nenhum argumento é passado, o sistema interativo de ajuda inicia no interpretador do console. Se o argumento é uma string, então a string é pesquisada como o nome de um módulo, função, classe, método, palavra-chave, ou tópico de documentação, e a página de ajuda é exibida no console. Se o argumento é qualquer outro tipo de objeto, uma página de ajuda para o objeto é gerada.

Note que se uma barra(/) aparecer na lista de parâmetros de uma função, quando invocando help(), significa que os parâmetros anteriores a barra são apenas posicionais. Para mais informações, veja a entrada no FAQ sobre parâmetros somente-posicionais.

Esta função é adicionada ao espaço de nomes embutido pelo módulo site.

Alterado na versão 3.4: Mudanças em pydoc e inspect significam que as assinaturas reportadas para chamáveis agora são mais compreensíveis e consistentes.

hex(x)

Converte um número inteiro para uma string hexadecimal em letras minúsculas pré-fixada com “0x”. Se x não é um objeto int do Python, ele tem que definir um método __index__() que retorne um inteiro. Alguns exemplos:

>>> hex(255)
'0xff'
>>> hex(-42)
'-0x2a'

Se você quer converter um número inteiro para uma string hexadecimal em letras maiúsculas ou minúsculas, com prefixo ou sem, você pode usar qualquer uma das seguintes maneiras:

>>> '%#x' % 255, '%x' % 255, '%X' % 255
('0xff', 'ff', 'FF')
>>> format(255, '#x'), format(255, 'x'), format(255, 'X')
('0xff', 'ff', 'FF')
>>> f'{255:#x}', f'{255:x}', f'{255:X}'
('0xff', 'ff', 'FF')

Veja também format() para mais informações.

Veja também int() para converter uma string hexadecimal para um inteiro usando a base 16.

Nota

Para obter uma string hexadecimal de um ponto flutuante, use o método float.hex().

id(object)

Devolve a “identidade” de um objeto. Ele é um inteiro, o qual é garantido que será único e constante para este objeto durante todo o seu ciclo de vida. Dois objetos com ciclos de vida não sobrepostos podem ter o mesmo valor para id().

Detalhes da implementação do CPython: Este é o endereço do objeto na memória.

Levanta um evento de auditoria builtins.id com o argumento id.

input()

input(prompt)

Se o argumento prompt estiver presente, escreve na saída padrão sem uma nova linha ao final. A função então lê uma linha da fonte de entrada, converte a mesma para uma string (removendo o caractere de nova linha ao final), e devolve isso. Quando o final do arquivo (EOF / end-of-file) é encontrado, um erro EOFError é levantado. Exemplo:

>>> s = input('--> ')
--> Monty Python's Flying Circus
>>> s
"Monty Python's Flying Circus"

Se o módulo readline foi carregado, então input() usará ele para prover edição de linhas elaboradas e funcionalidades de histórico.

Levanta um evento de auditoria builtins.input com argumento prompt antes de ler a entrada.

Levanta um evento de auditoria builtins.input/result com o resultado depois de ler a entrada com sucesso.

class int(number=0, /)

class int(string, /, base=10)

Retorna um objeto do tipo inteiro construído a partir de um número ou string, ou retorna 0 caso nenhum argumento seja passado.

Exemplos:

>>> int(123.45)
123
>>> int('123')
123
>>> int('   -12_345\n')
-12345
>>> int('FACE', 16)
64206
>>> int('0xface', 0)
64206
>>> int('01110011', base=2)
115

Se o argumento definir um método __int__(), então int(x) retorna x.__int__(). Se x definir um método __index__(), então ele retorna x.__index__(). Se o argumento definir um método __trunc__(), então ele retorna x.__trunc__(). Para números de ponto flutuante, isto trunca o número na direção do zero.

Se o argumento não for um número ou se base for fornecido, então o argumento deve ser uma instância de string, bytes ou bytearray representando um inteiro na base base. Opcionalmente, a string pode ser precedida por + ou - (sem espaço entre eles), ter zeros à esquerda, estar entre espaços em branco e ter sublinhados simples intercalados entre os dígitos.

Uma string de inteiro de base n contém dígitos, cada um representando um valor de 0 a n-1. Os valores 0–9 podem ser representados por qualquer dígito decimal Unicode. Os valores 10–35 podem ser representados por a a z (ou A a Z). A base padrão é 10. As bases permitidas são 0 e 2–36. As strings base-2, -8 e -16 podem ser opcionalmente prefixadas com 0b/0B, 0o/0O ou 0x/0X, como acontece com literais inteiros no código. Para a base 0, a string é interpretada de maneira semelhante a um literal inteiro no código, em que a base real é 2, 8, 10 ou 16 conforme determinado pelo prefixo. A base 0 também não permite zeros à esquerda: int('010', 0) não é válido, enquanto int('010') e int('010', 8) são.

O tipo inteiro está descrito em Tipos numéricos — int, float, complex.

Alterado na versão 3.4: Se base não é uma instância de int e o objeto base tem um método base.__index__, então esse método é chamado para obter um inteiro para a base. Versões anteriores usavam base.__int__ ao invés de base.__index__.

Alterado na versão 3.6: Agrupar dígitos com sublinhados como em literais de código é permitido.

Alterado na versão 3.7: O primeiro parâmetro agora é somente-posicional.

Alterado na versão 3.8: Chamada para __index__() se __int__() não está definido.

Alterado na versão 3.11: A delegação de __trunc__() foi descontinuada.

Alterado na versão 3.11: Entradas de strings para int e representações em strings podem ser limitadas para ajudar a evitar ataques de negação de serviço. Uma exceção ValueError é levantada quando o limite é excedido durante a conversão de uma string em um int ou quando a conversão de um int em uma string excede o limite. Consulte a documentação sobre limitação de comprimento de conversão de string em inteiro.

isinstance(object, classinfo)

Retorna True se o argumento object é uma instância do argumento classinfo, ou de uma subclasse dele (direta, indireta ou virtual). Se object não é um objeto do tipo dado, a função sempre devolve False. Se classinfo é uma tupla de tipos de objetos (ou recursivamente, como outras tuplas) ou um Tipo União de vários tipos, retorna True se object é uma instância de qualquer um dos tipos. Se classinfo não é um tipo ou tupla de tipos ou outras tuplas, é levantada uma exceção TypeError. TypeError pode não ser levantada por um tipo inválido se uma verificação anterior for bem-sucedida.

Alterado na versão 3.10: classinfo pode ser um Tipo União.

issubclass(class, classinfo)

Retorna True se class for uma subclasse (direta, indireta ou virtual) de classinfo. Uma classe é considerada uma subclasse de si mesma. classinfo pode ser uma tupla de objetos de classe (ou recursivamente, outras tuplas) ou um Tipo União, caso em que retorna True se class for uma subclasse de qualquer entrada em classinfo. Em qualquer outro caso, é levantada uma exceção TypeError.

Alterado na versão 3.10: classinfo pode ser um Tipo União.

iter(object)

iter(object, sentinel)

Retorna um objeto iterador. O primeiro argumento é interpretado muito diferentemente dependendo da presença do segundo argumento. Sem um segundo argumento, object deve ser uma coleção de objetos com suporte ao protocolo iterável (o método __iter__()), ou ele deve ter suporte ao protocolo de sequência (o método __getitem__() com argumentos inteiros começando em 0). Se ele não tem suporte nenhum desses protocolos, uma TypeError é levantada. Se o segundo argumento, sentinel, é fornecido, então object deve ser um objeto chamável. O iterador criado neste caso irá chamar object sem nenhum argumento para cada chamada para o seu método __next__(); se o valor devolvido é igual a sentinel, então StopIteration será levantado, caso contrário o valor será devolvido.

Veja também Tipos iteradores.

Uma aplicação útil da segunda forma de iter() é para construir um bloco de leitura. Por exemplo, ler blocos de comprimento fixo de um arquivo binário de banco de dados até que o final do arquivo seja atingido:

from functools import partial
with open('meusdados.db', 'rb') as f:
    for bloco in iter(partial(f.read, 64), b''):
        process_block(bloco)

len(s)

Devolve o comprimento (o número de itens) de um objeto. O argumento pode ser uma sequência (tal como uma string, bytes, tupla, lista, ou um intervalo) ou uma coleção (tal como um dicionário, conjunto, ou conjunto imutável).

Detalhes da implementação do CPython: len levanta OverflowError em tamanhos maiores que sys.maxsize, tal como range(2 ** 100).

class list

class list(iterable)

Ao invés de ser uma função, list é na verdade um tipo de sequência mutável, conforme documentado em Listas e Tipos sequências — list, tuple, range.

locals()

Retorna um objeto de mapeamento representando a tabela de símbolos atual, com nomes de variáveis como as chaves, e as referências às quais cada variável está atrelada no momento como os valores.

Em um escopo de módulo, assim como quando usando exec() ou eval() com um único espaço de nomes, esta função retorna o mesmo espaço de nomes que globals().

Em um escopo de classe, ela retorna o espaço de nomes que será passado para o construtor da metaclasse.

Quando usando exec() ou eval() com argumentos de espaço local e global distintos, ela retorna o espaço de nomes local passado na chamada.

Em todos os casos acima, cada chamada a locals() em um dado quadro de execução vai retornar o mesmo objeto de mapeamento. Mudanças feitas através do objeto de mapeamento retornado por locals() serão visíveis tal qual variáveis locais atribuídas, reatribuídas ou deletadas, e atribuir, reatribuir ou deletar variáveis locais afetará imediatamente o conteúdo do objeto de mapeamento retornado.

Em contraste aos casos acima, em um escopo otimizado (incluindo funções, geradores e corrotinas), cada chamada a locals() retorna um dicionário novo contendo as ligações atuais das variáveis locais da função e de quaisquer células com referências não-locais. Nesse caso, mudanças em ligações de nomes feitas através do dicionário retornado não são escritas de volta nas variáveis locais correspondentes nem nas células com referências não-locais, e atribuir, reatribuir ou deletar variáveis locais e células com referências não-locais não afeta o conteúdo dos dicionários que já foram retornados.

Chamar a função locals() como parte de uma compreensão em uma função, gerador ou corrotina é equivalente a chamá-la no escopo que contém a compreensão, exceto que as variáveis de iteração inicializadas da compreensão serão incluídas. Em outros escopos, essa função se comporta como se a compreensão estivesse executando como uma função aninhada.

Chamar a função locals() como parte de uma expressão geradora é equivalente a chamá-la em uma função geradora aninhada.

Alterado na versão 3.12: O comportamento de locals() em uma compreensão foi atualizado conforme descrito na PEP 709 [https://peps.python.org/pep-0709/].

Alterado na versão 3.13: Como parte da PEP 667 [https://peps.python.org/pep-0667/], o que acontece após a mutação de objetos de mapeamento retornados desta função está agora definido. O comportamento em escopos otimizados agora é o descrito acima. Além de estar definido, o comportamento em outros escopos não foi modificado em relação aos comportamentos em versões passadas.

map(function, iterable, *iterables)

Devolve um iterador que aplica function para cada item de iterable, gerando os resultados. Se argumentos iterables adicionais são passados, function deve ter a mesma quantidade de argumentos e ela é aplicada aos itens de todos os iteráveis em paralelo. Com múltiplos iteráveis, o iterador para quando o iterador mais curto é encontrado. Para casos onde os parâmetros de entrada da função já estão organizados em tuplas, veja itertools.starmap().

max(iterable, *, key=None)

max(iterable, *, default, key=None)

max(arg1, arg2, *args, key=None)

Devolve o maior item em um iterável ou o maior de dois ou mais argumentos.

Se um argumento posicional é fornecido, ele deve ser um iterável. O maior item no iterável é retornado. Se dois ou mais argumentos posicionais são fornecidos, o maior dos argumentos posicionais é devolvido.

Existem dois parâmetros somente-nomeados opcionais. O parâmetro key especifica uma função de ordenamento de um argumento, como aquelas usadas por list.sort(). O parâmetro default especifica um objeto a ser devolvido se o iterável fornecido estiver vazio. Se o iterável estiver vazio, e default não foi fornecido, uma exceção ValueError é levantada.

Se múltiplos itens são máximos, a função devolve o primeiro encontrado. Isto é consistente com outras ferramentas de ordenamento que preservam a estabilidade, tais como sorted(iterable, key=keyfunc, reverse=True)[0] e heapq.nlargest(1, iterable, key=keyfunc).

Alterado na versão 3.4: Adicionado o parâmetro default somente-nomeado.

Alterado na versão 3.8: O valor de key pode ser None.

class memoryview(object)

Devolve um objeto de “visão da memória” criado a partir do argumento fornecido. Veja Memory Views para mais informações.

min(iterable, *, key=None)

min(iterable, *, default, key=None)

min(arg1, arg2, *args, key=None)

Devolve o menor item de um iterável ou o menor de dois ou mais argumentos.

Se um argumento posicional é fornecido, ele deve ser um iterável. O menor item no iterável é devolvido. Se dois ou mais argumentos posicionais são fornecidos, o menor dos argumentos posicionais é devolvido.

Existem dois parâmetros somente-nomeados opcionais. O parâmetro key especifica uma função de ordenamento de um argumento, como aquelas usadas por list.sort(). O parâmetro default especifica um objeto a ser devolvido se o iterável fornecido estiver vazio. Se o iterável estiver vazio, e default não foi fornecido, uma exceção ValueError é levantada.

Se múltiplos itens são mínimos, a função devolve o primeiro encontrado. Isto é consistente com outras ferramentas de ordenamento que preservam a estabilidade, tais como sorted(iterable, key=keyfunc)[0] e heapq.nsmallest(1, iterable, key=keyfunc).

Alterado na versão 3.4: Adicionado o parâmetro default somente-nomeado.

Alterado na versão 3.8: O valor de key pode ser None.

next(iterator)

next(iterator, default)

Recupera o próximo item do iterador chamando o seu método __next__(). Se default foi fornecido, ele é devolvido caso o iterável tenha sido percorrido por completo, caso contrário StopIteration é levantada.

class object

Devolve um novo objeto sem funcionalidades. object é a classe base para todas as classes. Ela tem os métodos que são comuns para todas as instâncias de classes Python. Esta função não aceita nenhum argumento.

Nota

Instâncias de object não têm atributos __dict__, então você não pode atribuir atributos arbitrários a uma instância de object.

oct(x)

Converte um número inteiro para uma string em base octal, pré-fixada com “0o”. O resultado é uma expressão Python válida. Se x não for um objeto int Python, ele tem que definir um método __index__() que devolve um inteiro. Por exemplo:

>>> oct(8)
'0o10'
>>> oct(-56)
'-0o70'

Se você quiser converter um número inteiro para uma string octal, com o prefixo “0o” ou não, você pode usar qualquer uma das formas a seguir.

>>> '%#o' % 10, '%o' % 10
('0o12', '12')
>>> format(10, '#o'), format(10, 'o')
('0o12', '12')
>>> f'{10:#o}', f'{10:o}'
('0o12', '12')

Veja também format() para mais informações.

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

Abre file e retorna um objeto arquivo correspondente. Se o arquivo não puder ser aberto, uma OSError é levantada. Veja Leitura e escrita de arquivos para mais exemplos de como usar esta função.

file é um objeto caminho ou similar fornecendo o caminho (absoluto ou relativo ao diretório de trabalho atual) do arquivo que será aberto, ou de um inteiro descritor de arquivo a ser manipulado (Se um descritor de arquivo é fornecido, ele é fechado quando o objeto de I/O retornado é fechado, a não ser que closefd esteja marcado como False).

mode é uma string opcional que especifica o modo no qual o arquivo é aberto. O valor padrão é 'r', o qual significa abrir para leitura em modo texto. Outros valores comuns são 'w' para escrever (truncando o arquivo se ele já existe), 'x' para criação exclusiva e 'a' para anexar (o qual em alguns sistemas Unix, significa que todas as escritas anexam ao final do arquivo independentemente da posição de busca atual). No modo texto, se encoding não for especificada, a codificação usada depende da plataforma: locale.getencoding() é chamada para obter a codificação da localidade atual (Para ler e escrever bytes diretamente, use o modo binário e não especifique encoding). Os modos disponíveis são:

Caractere

Significado

'r'

abre para leitura (padrão)

'w'

abre para escrita, truncando o arquivo primeiro (removendo tudo o que estiver contido no mesmo)

'x'

abre para criação exclusiva, falhando caso o arquivo exista

'a'

abre para escrita, anexando ao final do arquivo caso o mesmo exista

'b'

modo binário

't'

modo texto (padrão)

'+'

aberto para atualização (leitura e escrita)

O modo padrão é 'r' (abre para leitura de texto, um sinônimo de 'rt'). Modos 'w+' e 'w+b' abrem e truncam o arquivo. Modos 'r+' e 'r+b' abrem o arquivo sem truncar o mesmo.

Conforme mencionado em Visão Geral, Python diferencia entre entrada/saída binária e de texto. Arquivos abertos em modo binário (incluindo 'b' no parâmetro mode) retornam o conteúdo como objetos bytes sem usar nenhuma decodificação. No modo texto (o padrão, ou quando 't' é incluído no parâmetro mode), o conteúdo do arquivo é retornado como str, sendo os bytes primeiramente decodificados usando uma codificação dependente da plataforma, ou usando a codificação definida em encoding se fornecida.

Nota

Python não depende da noção básica do sistema operacional sobre arquivos de texto; todo processamento é feito pelo próprio Python, e é então independente de plataforma.

buffering é um número inteiro opcional usado para definir a política de buffering. Passe 0 para desativar o buffer (permitido apenas no modo binário), 1 para selecionar o buffer de linha (usável apenas ao gravar no modo de texto) e um inteiro > 1 para indicar o tamanho em bytes de um buffer de bloco de tamanho fixo. Observe que especificar um tamanho de buffer dessa maneira se aplica a E/S com buffer binário, mas TextIOWrapper (ou seja, arquivos abertos com mode='r+') teriam outro buffer. Para desabilitar o buffer em TextIOWrapper, considere usar o sinalizador write_through para io.TextIOWrapper.reconfigure(). Quando nenhum argumento buffering é fornecido, a política de buffering padrão funciona da seguinte forma:

Arquivos binários são armazenados em pedaços de tamanho fixo; o tamanho do buffer é escolhido usando uma heurística que tenta determinar o “tamanho de bloco” subjacente do dispositivo, e usa io.DEFAULT_BUFFER_SIZE caso não consiga. Em muitos sistemas, o buffer possuirá tipicamente 4096 ou 8192 bytes de comprimento.

Arquivos de texto “interativos” (arquivos para os quais isatty() retornam True) usam buffering de linha. Outros arquivos de texto usam a política descrita acima para arquivos binários.

encoding é o nome da codificação usada para codificar ou decodificar o arquivo. Isto deve ser usado apenas no modo texto. A codificação padrão depende da plataforma (seja qual valor locale.getencoding() retornar), mas qualquer codificador de texto suportado pelo Python pode ser usada. Veja o módulo codecs para a lista de codificações suportadas.

errors é uma string opcional que especifica como erros de codificação e de decodificação devem ser tratados — isso não pode ser utilizado no modo binário. Uma variedade de tratadores de erro padrão estão disponíveis (listados em Error Handlers), apesar que qualquer nome para tratamento de erro registrado com codecs.register_error() também é válido. Os nomes padrões incluem:

'strict' para levantar uma exceção ValueError se existir um erro de codificação. O valor padrão None tem o mesmo efeito.

'ignore' ignora erros. Note que ignorar erros de código pode levar à perda de dados.

'replace' faz um marcador de substituição (tal como '?') ser inserido onde existem dados malformados.

representará quaisquer bytes incorretos como unidades de código substituto baixo variando de U + DC80 a U + DCFF. Essas unidades de código substituto serão então transformadas de volta nos mesmos bytes quando o manipulador de erros for usado ao gravar dados. Isso é útil para processar arquivos em uma codificação desconhecida.

'xmlcharrefreplace' é suportado apenas ao gravar em um arquivo. Os caracteres não suportados pela codificação são substituídos pela referência de caracteres XML apropriada &#nnn;.

'backslashreplace' substitui dados malformados pela sequência de escape utilizando contrabarra do Python.

'namereplace' (também é suportado somente quando estiver escrevendo) substitui caractere não suportados com sequências de escape \N{...}.

newline determina como analisar caracteres de nova linha do fluxo. Ele pode ser None, '', '\n', '\r' e '\r\n'. Ele funciona da seguinte forma:

Ao ler a entrada do fluxo, se newline for None, o modo universal de novas linhas será ativado. As linhas na entrada podem terminar em '\n', '\r' ou '\r\n', e são traduzidas para '\n' antes de retornar ao chamador. Se for '', o modo de novas linhas universais será ativado, mas as terminações de linha serão retornadas ao chamador sem tradução. Se houver algum dos outros valores legais, as linhas de entrada são finalizadas apenas pela string especificada e a finalização da linha é retornada ao chamador sem tradução.

Ao gravar a saída no fluxo, se newline for None, quaisquer caracteres '\n' gravados serão traduzidos para o separador de linhas padrão do sistema, os.linesep. Se newline for '' ou '\n', nenhuma tradução ocorrerá. Se newline for um dos outros valores legais, qualquer caractere '\n' escrito será traduzido para a string especificada.

Se closefd for False e um descritor de arquivo em vez de um nome de arquivo for fornecido, o descritor de arquivo subjacente será mantido aberto quando o arquivo for fechado. Se um nome de arquivo for fornecido closefd deve ser True (o padrão), caso contrário, um erro será levantado.

Um abridor personalizado pode ser usado passando um chamável como opener. O descritor de arquivo subjacente para o objeto arquivo é obtido chamando opener com (file, flags). opener deve retornar um descritor de arquivo aberto (passando os.open como opener resulta em funcionalidade semelhante à passagem de None).

O arquivo recém-criado é não-herdável.

O exemplo a seguir usa o parâmetro dir_fd da função os.open() para abrir um arquivo relativo a um determinado diretório:

>>> import os
>>> dir_fd = os.open('algum_dir', os.O_RDONLY)
>>> def opener(path, flags):
...     return os.open(path, flags, dir_fd=dir_fd)
...
>>> with open('spamspam.txt', 'w', opener=opener) as f:
...     print('Isso será escrito para algum_dir/spamspam.txt', file=f)
...
>>> os.close(dir_fd)  # não deixe vazar um descritor de arquivo

O tipo de objeto arquivo retornado pela função open() depende do modo. Quando open() é usado para abrir um arquivo no modo texto ('w', 'r', 'wt', 'rt', etc.), retorna uma subclasse de io.TextIOBase (especificamente io.TextIOWrapper). Quando usada para abrir um arquivo em modo binário com buffer, a classe retornada é uma subclasse de io.BufferedIOBase. A classe exata varia: no modo binário de leitura, ele retorna uma io.BufferedReader; nos modos binário de gravação e binário anexado, ele retorna um io.BufferedWriter e, no modo leitura/gravação, retorna um io.BufferedRandom. Quando o buffer está desativado, o fluxo bruto, uma subclasse de io.RawIOBase, io.FileIO, é retornado.

Veja também os módulos de para lidar com arquivos, tais como fileinput, io (onde open() é declarado), os, os.path, tempfile e shutil.

Levanta um evento de auditoria open com os argumentos path, mode, flags.

Os argumentos mode e flags podem ter sido modificados ou inferidos a partir da chamada original.

Alterado na versão 3.3:

O parâmetro opener foi adicionado.

O modo 'x' foi adicionado.

IOError costumava ser levantado, agora ele é um codinome para OSError.

FileExistsError agora é levantado se o arquivo aberto no modo de criação exclusivo ('x') já existir.

Alterado na versão 3.4:

O arquivo agora é não herdável.

Alterado na versão 3.5:

Se a chamada de sistema é interrompida e o tratador de sinal não levanta uma exceção, a função agora tenta novamente a chamada de sistema em vez de levantar uma exceção InterruptedError (consulte PEP 475 [https://peps.python.org/pep-0475/] para entender a justificativa).

O tratador de erros 'namereplace' foi adicionado.

Alterado na versão 3.6:

Suporte adicionado para aceitar objetos implementados os.PathLike.

No Windows, a abertura de um buffer do console pode retornar uma subclasse de io.RawIOBase que não seja io.FileIO.

Alterado na versão 3.11: O modo 'U' foi removido.

ord(c)

Dada uma string que representa um caractere Unicode, retorna um número inteiro representando o ponto de código Unicode desse caractere. Por exemplo, ord('a') retorna o número inteiro 97 e ord('€') (sinal do Euro) retorna 8364. Este é o inverso de chr().

pow(base, exp, mod=None)

Retorna base à potência de exp; se mod estiver presente, retorna base à potência exp, módulo mod (calculado com mais eficiência do que pow(base, exp) % mod). A forma de dois argumentos pow(base, exp) é equivalente a usar o operador de potência: base**exp.

Os argumentos devem ter tipos numéricos. Com tipos de operandos mistos, aplicam-se as regras de coerção para operadores aritméticos binários. Para operandos int, o resultado tem o mesmo tipo que os operandos (após coerção), a menos que o segundo argumento seja negativo; nesse caso, todos os argumentos são convertidos em ponto flutuante e um resultado ponto flutuante é entregue. Por exemplo, pow(10, 2) retorna 100, mas pow(10, -2) retorna 0.01. Para uma base negativa do tipo int ou float e um expoente não integral, um resultado complexo é entregue. Por exemplo, pow(-9, 0.5) retorna um valor próximo a 3j. Enquanto isso, para uma base negativa do tipo int ou float com um expoente integral, um resultado de ponto flutuante é retornado. Por exemplo, pow(-9, 2.0) retorna 81.0.

Para operandos int base e exp, se mod estiver presente, mod também deve ser do tipo inteiro e mod deve ser diferente de zero. Se mod estiver presente e exp for negativo, base deve ser relativamente primo para mod. Nesse caso, pow(inv_base, -exp, mod) é retornado, onde inv_base é um inverso ao base módulo mod.

Aqui está um exemplo de computação de um inverso para 38 módulo 97:

>>> pow(38, -1, mod=97)
23
>>> 23 * 38 % 97 == 1
True

Alterado na versão 3.8: Para operandos int, a forma de três argumentos de pow agora permite que o segundo argumento seja negativo, permitindo o cálculo de inversos modulares.

Alterado na versão 3.8: Permite argumentos de palavra reservada. Anteriormente, apenas argumentos posicionais eram suportados.

print(*objects, sep=' ', end='\n', file=None, flush=False)

Exibe objects no fluxo de texto arquivo, separado por sep e seguido por end. sep, end, file e flush, se houver, devem ser fornecidos como argumentos nomeados.

Todos os argumentos que não são nomeados são convertidos em strings como str() faz e gravados no fluxo, separados por sep e seguidos por end. sep e end devem ser strings; eles também podem ser None, o que significa usar os valores padrão. Se nenhum object for fornecido, print() escreverá apenas end.

O argumento file deve ser um objeto com um método write(string); se ele não estiver presente ou None, então sys.stdout será usado. Como argumentos exibidos no console são convertidos para strings de texto, print() não pode ser usado com objetos de arquivo em modo binário. Para esses casos, use file.write(...) ao invés.

O buffer de saída geralmente é determinado por arquivo. No entanto, se flush for verdadeiro, o fluxo será descarregado à força.

Alterado na versão 3.3: Adicionado o argumento nomeado flush.

class property(fget=None, fset=None, fdel=None, doc=None)

Retorna um atributo de propriedade.

fget é uma função para obter o valor de um atributo. fset é uma função para definir um valor para um atributo. fdel é uma função para deletar um valor de um atributo. E doc cria um docstring para um atributo.

Um uso comum é para definir um atributo gerenciável x:

class C:
    def __init__(self):
        self._x = None

    def getx(self):
        return self._x

    def setx(self, valor):
        self._x = valor

    def delx(self):
        del self._x

    x = property(getx, setx, delx, "Eu sou a propriedade de 'x'.")

Se c é uma instância de C, c.x irá invocar o método getter, c.x = valor irá invocar o método setter, e del c.x o método deleter.

Se fornecido, doc será a docstring do atributo definido por property. Caso contrário, a property copiará a docstring de fget (se ela existir). Isso torna possível criar facilmente propriedades apenas para leitura usando property() como um decorador:

class Parrot:
    def __init__(self):
        self._voltagem = 100000

    @property
    def voltagem(self):
        """Obtém a voltagem atual."""
        return self._voltagem

O decorador @property transforma o método voltage() em um “getter” para um atributo somente leitura com o mesmo nome, e define a docstring de voltage para “Get the current voltage.”

@getter

@setter

@deleter

Um objeto property possui métodos getter, setter e deleter usáveis como decoradores, que criam uma cópia da property com o assessor correspondente a função definida para a função com decorador. Isso é explicado melhor com um exemplo:

class C:
    def __init__(self):
        self._x = None

    @property
    def x(self):
        """Sou a propriedade de 'x'."""
        return self._x

    @x.setter
    def x(self, value):
        self._x = value

    @x.deleter
    def x(self):
        del self._x

Esse código é exatamente equivalente ao primeiro exemplo. Tenha certeza de nas funções adicionais usar o mesmo nome que a property original (x neste caso).

O objeto property retornado também tem os atributos fget, fset, e fdel correspondendo aos argumentos do construtor.

Alterado na versão 3.5: Agora é possível escrever nas docstrings de objetos property.

__name__

Atributo que contém o nome da propriedade. O nome da propriedade pode ser alterado em tempo de execução.

Adicionado na versão 3.13.

class range(stop)

class range(start, stop, step=1)

Em vez de ser uma função, range é realmente um tipo de sequência imutável, conforme documentado em Intervalos e Tipos sequências — list, tuple, range.

repr(object)

Retorna uma string contendo uma representação imprimível de um objeto. Para muitos tipos, essa função tenta retornar uma string que produziria um objeto com o mesmo valor quando passado para eval(), caso contrário, a representação é uma string entre colchetes angulares que contém o nome do tipo do objeto juntamente com informações adicionais, geralmente incluindo o nome e o endereço do objeto. Uma classe pode controlar o que essa função retorna para suas instâncias, definindo um método __repr__(). Se sys.displayhook() não estiver acessível, esta função vai levantar RuntimeError.

Esta classe possui uma representação personalizada que pode ser executada:

class Pessoa:
   def __init__(self, nome, idade):
      self.name = nome
      self.age = idade

   def __repr__(self):
      return f"Pessoa('{self.nome}', {self.idade})"

reversed(seq)

Retorna um iterador reverso. seq deve ser um objeto que possui o método __reversed__() ou suporta o protocolo de sequência (o método __len__() e o método __getitem__() com argumentos inteiros começando em 0).

round(number, ndigits=None)

Retorna number arredondado para ndigits precisão após o ponto decimal. Se ndigits for omitido ou for None, ele retornará o número inteiro mais próximo de sua entrada.

Para os tipos embutidos com suporte a round(), os valores são arredondados para o múltiplo mais próximo de 10 para a potência de menos ndigit; se dois múltiplos são igualmente próximos, o arredondamento é feito para a opção par (por exemplo, round(0.5) e round(-0.5) são 0 e round(1.5) é 2). Qualquer valor inteiro é válido para ndigits (positivo, zero ou negativo). O valor de retorno é um número inteiro se ndigits for omitido ou None. Caso contrário, o valor de retorno tem o mesmo tipo que number.

Para um objeto Python geral number, round delega para number.__round__.

Nota

O comportamento de round() para pontos flutuantes pode ser surpreendente: por exemplo, round(2.675, 2) fornece 2.67 em vez do esperado 2.68. Isso não é um bug: é resultado do fato de que a maioria das frações decimais não pode ser representada exatamente como um ponto flutuante. Veja Aritmética de ponto flutuante: problemas e limitações para mais informações.

class set

class set(iterable)

Retorna um novo objeto set, opcionalmente com elementos retirados de iterable. set é uma classe embutida. Veja set e Tipo conjuntos — set, frozenset para documentação sobre esta classe.

Para outros contêineres, consulte as classes embutidas frozenset, list, tuple e dict, bem como o módulo collections.

setattr(object, name, value)

Esta é a contrapartida de getattr(). Os argumentos são um objeto, uma string e um valor arbitrário. A string pode nomear um atributo existente ou um novo atributo. A função atribui o valor ao atributo, desde que o objeto permita. Por exemplo, setattr(x, 'foobar', 123) é equivalente a x.foobar = 123.

name não precisa ser um identificador do Python conforme definido em Identificadores e palavras-chave a menos que o objeto opte por impor isso, por exemplo, em um __getattribute__() personalizado ou via __slots__. Um atributo cujo nome não é um identificador não será acessível usando a notação de ponto, mas pode ser acessado através de getattr() etc.

Nota

Uma vez que desfiguração de nome privado acontece em tempo de compilação, deve-se manualmente mutilar o nome de um atributo privado (atributos com dois sublinhados à esquerda) para defini-lo com setattr().

class slice(stop)

class slice(start, stop, step=None)

Retorna um objeto fatia representando o conjunto de índices especificados por range(start, stop, step). Os argumentos start e step têm o padrão None.

start

stop

step

Objetos fatia têm atributos de dados somente leitura start, stop e step que simplesmente retornam os valores dos argumentos (ou seus padrões). Eles não possuem outra funcionalidade explícita; no entanto, eles são usados pelo NumPy e outros pacotes de terceiros.

Objetos fatia também são gerados quando a sintaxe de indexação estendida é usada. Por exemplo: a[start:stop:step] ou a[start:stop, i]. Veja itertools.islice() para uma versão alternativa que retorna um iterador.

Alterado na versão 3.12: Os objetos slice agora são hasheáveis (desde que start, stop e step sejam hasheáveis).

sorted(iterable, /, *, key=None, reverse=False)

Retorna uma nova lista classificada dos itens em iterable.

Possui dois argumentos opcionais que devem ser especificados como argumentos nomeados.

key especifica a função de um argumento usado para extrair uma chave de comparação de cada elemento em iterable (por exemplo, key=str.lower). O valor padrão é None (compara os elementos diretamente).

reverse é um valor booleano. Se definido igual a True, então os elementos da lista são classificados como se cada comparação estivesse invertida.

Usa functools.cmp_to_key() para converter a função das antigas cmp para uma função key.

A função embutida sorted() é garantida como estável. Uma ordenação é estável se garantir não alterar a ordem relativa dos elementos que se comparam da mesma forma — isso é útil para ordenar em várias passagens (por exemplo, ordenar por departamento e depois por nível de salário).

O algoritmo de classificação usa apenas comparações < entre itens. Embora definir um método __lt__() seja suficiente para ordenação, PEP 8 [https://peps.python.org/pep-0008/] recomenda que todas as seis comparações ricas sejam implementadas. Isso ajudará a evitar erros ao usar os mesmos dados com outras ferramentas de ordenação, como max(), que dependem de um método subjacente diferente. Implementar todas as seis comparações também ajuda a evitar confusão para comparações de tipo misto que podem chamar refletido o método __gt__().

Para exemplos de classificação e um breve tutorial de classificação, veja Técnicas de ordenação.

@staticmethod

Transforma um método em método estático.

Um método estático não recebe um primeiro argumento implícito. Para declarar um método estático, use este idioma:

class C:
    @staticmethod
    def f(arg1, arg2, argN): ...

A forma @staticmethod é uma função de decorador – veja Definições de função para detalhes.

Um método estático pode ser chamado na classe (tal como C.f()) ou em uma instância (tal como C().f()). Além disso, o descritor de método estático também é um chamável, então ele pode ser usado na definição de classe (como f()).

Métodos estáticos em Python são similares àqueles encontrados em Java ou C++. Veja também classmethod() para uma variante útil na criação de construtores de classe alternativos.

Como todos os decoradores, também é possível chamar staticmethod como uma função regular e fazer algo com seu resultado. Isso é necessário em alguns casos em que você precisa de uma referência para uma função de um corpo de classe e deseja evitar a transformação automática em método de instância. Para esses casos, use este idioma:

def função_comum():
    ...

class C:
    método = staticmethod(função_comum)

Para mais informações sobre métodos estáticos, consulte A hierarquia de tipos padrão.

Alterado na versão 3.10: Métodos estáticos agora herdam os atributos do método (__module__, __name__, __qualname__, __doc__ e __annotations__), têm um novo atributo __wrapped__ e são agora chamáveis como funções regulares.

class str(object='')

class str(object=b'', encoding='utf-8', errors='strict')

Retorna uma versão str de object. Consulte str() para detalhes.

str é uma classe de string embutida. Para informações gerais sobre strings, consulte Tipo sequência de texto — str.

sum(iterable, /, start=0)

Soma start e os itens de um iterable da esquerda para a direita e retornam o total. Os itens do iterable são normalmente números e o valor inicial não pode ser uma string.

Para alguns casos de uso, existem boas alternativas para sum(). A maneira rápida e preferida de concatenar uma sequência de strings é chamando ''.join(sequence). Para adicionar valores de ponto flutuante com precisão estendida, consulte math.fsum(). Para concatenar uma série de iteráveis, considere usar itertools.chain().

Alterado na versão 3.8: O parâmetro start pode ser especificado como um argumento nomeado.

Alterado na versão 3.12: A soma dos pontos flutuantes foi alterada para um algoritmo que oferece maior precisão e melhor comutatividade na maioria das compilações.

class super

class super(type, object_or_type=None)

Retorna um objeto proxy que delega chamadas de método a uma classe pai ou irmão do type. Isso é útil para acessar métodos herdados que foram substituídos em uma classe.

O object_or_type determina a ordem de resolução de métodos a ser pesquisada. A pesquisa inicia a partir da classe logo após o type.

Por exemplo, se __mro__ de object_or_type é D -> B -> C -> A -> object e o valor de type é B, então super() procura por C -> A -> object.

O atributo __mro__ da classe correspondente ao object_or_type lista a ordem de pesquisa de resolução de método usada por getattr() e super(). O atributo é dinâmico e pode mudar sempre que a hierarquia da herança é atualizada.

Se o segundo argumento for omitido, o objeto super retornado é desacoplado. Se o segundo argumento é um objeto, isinstance(obj, type) deve ser verdadeiro. Se o segundo argumento é um tipo, issubclass(type2, type) deve ser verdadeiro (isto é útil para classmethods).

Quando chamado diretamente de dentro de um método comum de uma classe, pode-se omitir ambos os argumentos (”super() de zero argumentos”). Neste caso, type será a classe em questão, e obj será o primeiro argumento da função que imediatamente chamou super() (geralmente o self). (Isso significa que o super() de zero argumentos não vai funcionar como esperado em funções aninhadas, incluindo expressões geradoras, que criam funções aninhadas implicitamente.)

Existem dois casos de uso típicos para super. Em uma hierarquia de classes com herança única, super pode ser usado para se referir a classes base sem nomeá-las explicitamente, tornando o código mais sustentável. Esse uso é paralelo ao uso de super em outras linguagens de programação.

O segundo caso de uso é oferecer suporte à herança múltipla cooperativa em um ambiente de execução dinâmica. Esse caso de uso é exclusivo do Python e não é encontrado em idiomas ou linguagens compiladas estaticamente que suportam apenas herança única. Isso torna possível implementar “diagramas em losango”, onde várias classes base implementam o mesmo método. Um bom design exige que tais implementações tenham a mesma assinatura de chamada em todos os casos (porque a ordem das chamadas é determinada em tempo de execução, porque essa ordem se adapta às alterações na hierarquia de classes e porque essa ordem pode incluir classes de irmãos desconhecidas antes do tempo de execução).

Nos dois casos de uso, uma chamada típica de superclasse se parece com isso:

class C(B):
    def método(self, arg):
        super().método(arg)    # Isso faz o mesmo que:
                               # super(C, self).método(arg)

Além das pesquisas de método, super() também funciona para pesquisas de atributo. Um possível caso de uso para isso é chamar descritores em uma classe pai ou irmã.

Observe que super() é implementada como parte do processo de vinculação para procura explícita de atributos com ponto, tal como super().__getitem__(nome). Ela faz isso implementando seu próprio método __getattribute__() para pesquisar classes em uma ordem predizível que possui suporte a herança múltipla cooperativa. Logo, super() não é definida para procuras implícitas usando instruções ou operadores como super()[name].

Observe também que, além da forma de argumento zero, super() não se limita ao uso de métodos internos. O formulário de dois argumentos especifica exatamente os argumentos e faz as referências apropriadas. O formulário de argumento zero funciona apenas dentro de uma definição de classe, pois o compilador preenche os detalhes necessários para recuperar corretamente a classe que está sendo definida, além de acessar a instância atual para métodos comuns.

Para sugestões práticas sobre como projetar classes cooperativas usando super(), consulte o guia para uso de super() [https://rhettinger.wordpress.com/2011/05/26/super-considered-super/].

class tuple

class tuple(iterable)

Ao invés de ser uma função, tuple é na verdade um tipo de sequência imutável, conforme documentado em Tuplas e Tipos sequências — list, tuple, range.

class type(object)

class type(name, bases, dict, **kwds)

Com um argumento, retorna o tipo de um object. O valor de retorno é um tipo de objeto e geralmente o mesmo objeto retornado por object.__class__.

A função embutida isinstance() é recomendada para testar o tipo de um objeto, porque ela leva sub-classes em consideração.

Com três argumentos, retorna um novo objeto type. Esta é essencialmente a forma dinâmica da instrução class. A string name é o nome da classe e se torna o atributo __name__. A tupla bases contém as classes bases e se torna o atributo __bases__; se vazio, object, a base final de todas as classes é adicionada. O dicionário dict contém definições de atributo e método para o corpo da classe; ele pode ser copiado ou envolto antes de se tornar o atributo __dict__. As duas instruções a seguir criam objetos type idênticos:

>>> class X:
...     a = 1
...
>>> X = type('X', (), dict(a=1))

Veja também:

Documentação sobre atributos e métodos em classes.

Objetos tipo

Argumentos nomeados fornecidos para a forma de três argumentos são passados para a máquina metaclasse apropriada (geralmente __init_subclass__()) da mesma forma que palavras-chave em uma definição de classe (além de metaclasse) fariam.

Veja também Personalizando a criação de classe.

Alterado na versão 3.6: Subclasses de type que não substituem type.__new__ não podem mais usar a forma com apenas um argumento para obter o tipo de um objeto.

vars()

vars(object)

Retorna o atributo __dict__ para um módulo, classe, instância, or qualquer outro objeto com um atributo __dict__.

Objetos como modelos e instâncias têm um atributo atualizável __dict__; porém, outros projetos podem ter restrições de escrita em seus atributos __dict__ (por exemplo, classes usam um types.MappingProxyType para prevenir atualizações diretas a dicionário).

Sem nenhum argumento, vars() age como locals().

Uma exceção TypeError é levantada se um objeto é especificado, mas ela não tem um atributo __dict__ (por exemplo, se sua classe define o atributo __slots__).

Alterado na versão 3.13: O resultado de chamar esta função sem um argumento foi atualizado conforme descrito na embutida locals().

zip(*iterables, strict=False)

Itera sobre vários iteráveis em paralelo, produzindo tuplas com um item de cada um.

Exemplo:

>>> for item in zip([1, 2, 3], ['açúcar', 'tempero', 'tudo que há de bom']):
...     print(item)
...
(1, 'açúcar')
(2, 'tempero')
(3, 'tudo que há de bom')

Mais formalmente: zip() retorna um iterador de tuplas, onde a i-ésima tupla contém o i-ésimo elemento de cada um dos iteráveis do argumento.

Outra maneira de pensar em zip() é que ela transforma linhas em colunas e colunas em linhas. Isso é semelhante a transpor uma matriz [https://en.wikipedia.org/wiki/Transpose].

zip() é preguiçoso: Os elementos não serão processados até que o iterável seja iterado. Por exemplo, por um loop for ou por um list.

Uma coisa a considerar é que os iteráveis passados para zip() podem ter comprimentos diferentes; às vezes por design e às vezes por causa de um bug no código que preparou esses iteráveis. Python oferece três abordagens diferentes para lidar com esse problema:

Por padrão, zip() para quando o iterável mais curto se esgota. Ele irá ignorar os itens restantes nos iteráveis mais longos, cortando o resultado para o comprimento do iterável mais curto:

>>> list(zip(range(3), ['fi', 'fa', 'fo', 'fum']))
[(0, 'fi'), (1, 'fa'), (2, 'fo')]

zip() é frequentemente usado em casos onde os iteráveis são considerados de tamanho igual. Nesses casos, é recomendado usar a opção strict=True. Sua saída é a mesma do zip():: normal

>>> list(zip(('a', 'b', 'c'), (1, 2, 3), strict=True))
[('a', 1), ('b', 2), ('c', 3)]

Ao contrário do comportamento padrão, ele levanta uma exceção ValueError se um iterável for esgotado antes dos outros:

>>> for item in zip(range(3), ['fee', 'fi', 'fo', 'fum'], strict=True):
...     print(item)
...
(0, 'fee')
(1, 'fi')
(2, 'fo')
Traceback (most recent call last):
  ...
ValueError: zip() argument 2 is longer than argument 1

Sem o argumento strict=True, qualquer bug que resulte em iteráveis de diferentes comprimentos será silenciado, possivelmente se manifestando como um bug difícil de encontrar em outra parte do programa.

Iteráveis mais curtos podem ser preenchidos com um valor constante para fazer com que todos os iteráveis tenham o mesmo comprimento. Isso é feito por itertools.zip_longest().

Casos extremos: Com um único argumento iterável, zip() retorna um iterador de tuplas de um elemento. Sem argumentos, retorna um iterador vazio.

Dicas e truques:

A ordem de avaliação da esquerda para a direita dos iteráveis é garantida. Isso torna possível um idioma para agrupar uma série de dados em grupos de comprimento n usando zip(*[iter(s)]*n, strict=True). Isso repete o mesmo iterador n vezes para que cada tupla de saída tenha o resultado de chamadas n para o iterador. Isso tem o efeito de dividir a entrada em pedaços de n comprimentos.

zip() em conjunto com o operador * pode ser usado para descompactar uma lista:

>>> x = [1, 2, 3]
>>> y = [4, 5, 6]
>>> list(zip(x, y))
[(1, 4), (2, 5), (3, 6)]
>>> x2, y2 = zip(*zip(x, y))
>>> x == list(x2) and y == list(y2)
True

Alterado na versão 3.10: Adicionado o argumento strict.

__import__(name, globals=None, locals=None, fromlist=(), level=0)

Nota

Esta é uma função avançada que não é necessária na programação diária do Python, ao contrário de importlib.import_module().

Esta função é chamada pela instrução import. Ela pode ser substituída (importando o módulo builtins e atribuindo a builtins.__import__) para alterar a semântica da instrução import, mas isso é fortemente desencorajado, pois geralmente é mais simples usar ganchos de importação (consulte PEP 302 [https://peps.python.org/pep-0302/]) para atingir os mesmos objetivos e não causa problemas com o código que pressupõe que a implementação de importação padrão esteja em uso. O uso direto de __import__() também é desencorajado em favor de importlib.import_module().

A função importa o módulo name, potencialmente usando os dados globals e locals para determinar como interpretar o nome em um contexto de pacote. O fromlist fornece os nomes de objetos ou submódulos que devem ser importados do módulo, fornecidos por name. A implementação padrão não usa seu argumento locals e usa seus globals apenas para determinar o contexto do pacote da instrução import.

level especifica se é necessário usar importações absolutas ou relativas. 0 (o padrão) significa apenas realizar importações absolutas. Valores positivos para level indicam o número de diretórios pai a serem pesquisados em relação ao diretório do módulo que chama __import__() (consulte PEP 328 [https://peps.python.org/pep-0328/] para obter detalhes).

Quando a variável name está no formato pacote.módulo, normalmente, o pacote de nível superior (o nome até o primeiro ponto) é retornado, não o módulo nomeado por name. No entanto, quando um argumento fromlist não vazio é fornecido, o módulo nomeado por name é retornado.

Por exemplo, a instrução import spam resulta em bytecode semelhante ao seguinte código:

spam = __import__('spam', globals(), locals(), [], 0)

A instrução import spam.presunto resulta nesta chamada:

spam = __import__('spam.presunto', globals(), locals(), [], 0)

Observe como __import__() retorna o módulo de nível superior aqui, porque este é o objeto vinculado a um nome pela instrução import.

Por outro lado, a instrução from spam.presunto import ovos, salsicha as sals resulta em

_temp = __import__('spam.presunto', globals(), locals(), ['ovos', 'salsicha'], 0)
ovos = _temp.ovos
sals = _temp.salsicha

Aqui, o módulo spam.ham é retornado de __import__(). A partir desse objeto, os nomes a serem importados são recuperados e atribuídos aos seus respectivos nomes.

Se você simplesmente deseja importar um módulo (potencialmente dentro de um pacote) pelo nome, use importlib.import_module().

Alterado na versão 3.3: Valores negativos para level não são mais suportados (o que também altera o valor padrão para 0).

Alterado na versão 3.9: Quando as opções de linha de comando -E ou -I estão sendo usadas, a variável de ambiente PYTHONCASEOK é agora ignorada.

Notas de rodapé

[1]

Observe que o analisador sintático aceita apenas a convenção de fim de linha no estilo Unix. Se você estiver lendo o código de um arquivo, use o modo de conversão de nova linha para converter novas linhas no estilo Windows ou Mac.

Constantes embutidas

Um pequeno número de constantes são definidas no espaço de nomes embutido da linguagem. São elas:

False

O valor falso do tipo bool. As atribuições a False são ilegais e levantam SyntaxError.

True

O valor verdadeiro do tipo bool. As atribuições a True são ilegais e levantam SyntaxError.

None

Um objeto frequentemente usado para representar a ausência de um valor, como quando os argumentos padrão não são passados para uma função. As atribuições a None são ilegais e levantam SyntaxError. None é a única instância do tipo NoneType.

NotImplemented

Um valor especial que deve ser retornado pelos métodos binários especiais (por exemplo: __eq__(), __lt__(), __add__(), __rsub__(), etc.) não é implementado em relação ao outro tipo; pode ser retornado pelos métodos especiais binários no local (por exemplo: __imul__(), __iand__(), etc.) para o mesmo propósito. Ele não deve ser avaliado em um contexto booleano. NotImplemented é a única instância do tipo types.NotImplementedType.

Nota

Quando um método binário (ou local) retorna NotImplemented, o interpretador tentará a operação refletida no outro tipo (ou algum outro fallback, dependendo do operador). Se todas as tentativas retornarem NotImplemented, o interpretador levantará uma exceção apropriada. Retornar incorretamente NotImplemented resultará em uma mensagem de erro enganosa ou no valor NotImplemented sendo retornado ao código Python.

Consulte Implementando as operações aritméticas para ver exemplos.

Nota

NotImplementedError e NotImplemented não são intercambiáveis, mesmo que tenham nomes e propósitos similares. Veja NotImplementedError para detalhes e casos de uso.

Alterado na versão 3.9: A avaliação de NotImplemented em um contexto booleano foi descontinuado. Embora atualmente seja avaliado como verdadeiro, ele emitirá um DeprecationWarning. Ele levantará uma TypeError em uma versão futura do Python.

Ellipsis

O mesmo que as reticências literais “...”. Valor especial usado principalmente em conjunto com a sintaxe de divisão estendida para tipos de dados de contêiner definidos pelo usuário. Ellipsis é a única instância do tipo types.EllipsisType.

__debug__

Esta constante é verdadeira se o Python não foi iniciado com uma opção -O. Veja também a instrução assert.

Nota

Os nomes None, False, True e __debug__ não podem ser reatribuídos (atribuições a eles, mesmo como um nome de atributo, levantam SyntaxError ), para que possam ser consideradas “verdadeiras” constantes.

Constantes adicionadas pelo módulo site

O módulo site (que é importado automaticamente durante a inicialização, exceto se a opção de linha de comando -S for fornecida) adiciona várias constantes ao espaço de nomes embutido. Eles são úteis para o console do interpretador interativo e não devem ser usados em programas.

quit(code=None)

exit(code=None)

Objetos que, quando impressos, imprimem uma mensagem como “Use quit() or Ctrl-D (i.e. EOF) to exit” e, quando chamados, levantam SystemExit com o código de saída especificado.

help

Objeto que, quando impresso, imprime a mensagem “Type help() for interactive help, or help(object) for help about object.”, e quando chamado, age conforme descrito em outro lugar.

copyright

credits

Objetos que ao serem impressos ou chamados, imprimem o texto dos direitos autorais ou créditos, respectivamente.

license

Objeto que, quando impresso, imprime a mensagem “Type license() to see the full license text” e, quando chamado, exibe o texto completo da licença de maneira semelhante a um paginador (uma tela por vez).

Tipos embutidos

As seções a seguir descrevem os tipos padrão que são embutidos ao interpretador.

Os principais tipos embutidos são numéricos, sequências, mapeamentos, classes, instâncias e exceções.

Algumas classes de coleção são mutáveis. Os métodos que adicionam, subtraem ou reorganizam seus membros no lugar, e não retornam um item específico, nunca retornam a instância da coleção propriamente dita, mas um None.

Algumas operações são suportadas por vários tipos de objetos; em particular, praticamente todos os objetos podem ser comparados em termos de igualdade, testados quanto ao valor verdade e convertidos em uma string (com a função repr() ou a função ligeiramente diferente str()). A última função é implicitamente usada quando um objeto é escrito pela função print().

Teste do valor verdade

Qualquer objeto pode ser testado quanto ao valor verdade, para uso em uma condição if ou while ou como operando das operações booleanas abaixo.

Por padrão, um objeto é considerado verdadeiro, a menos que sua a classe defina um método __bool__() que retorne False ou um método __len__() que retorna zero, quando chamado com o objeto. [1] Aqui estão a maioria dos objetos embutidos considerados falsos:

constantes definidas para serem falsas: None e False

zero de qualquer tipo numérico: 0, 0.0, 0j, Decimal(0), Fraction(0, 1)

sequências e coleções vazias: '', (), [], {}, set(), range(0)

Operações e funções embutidas que têm um resultado Booleano retornam 0 ou False para falso e 1 ou True para verdadeiro, salvo indicações ao contrário. (Exceção importante: as operações Booleanas or e and sempre retornam um de seus operandos.)

Operações booleanas — and, or, not

Esses são as operações booleanas, ordenados por prioridade ascendente:

Operação

Resultado

Notas

x or y

se x é true, então x, do contrário y

(1)

x and y

se x é falso, então x, do contrário y

(2)

not x

se x é falso, então True, caso contrário False

(3)

Notas:

Esse é um operador de curto-circuito, por isso só avalia o segundo argumento se o primeiro é falso.

Este é um operador de curto-circuito, por isso só avalia o segundo argumento se o primeiro é verdadeiro.

not tem uma prioridade mais baixa do que operadores não booleanos, então not a == b é interpretado como not (a == b) e a == not b é um erro de sintaxe.

Comparações

Há oito operadores comparativos no Python. Todos eles possuem a mesma prioridade (que é maior do que aquela das operações Booleanas). Comparações podem ser encadeadas arbitrariamente; por exemplo, x < y <= z é equivalente a x < y and y <= z, exceto que y é avaliado apenas uma vez (porém em ambos os casos z não é avaliado de todo quando x < y é sabido ser falso).

Esta tabela resume as operações de comparação:

Operação

Significado

<

estritamente menor que

<=

menor que ou igual

>

estritamente maior que

>=

maior que ou igual

==

igual

!=

não é igual

is

identidade do objeto

is not

identidade de objeto negada

Objetos de tipos diferentes, exceto tipos numéricos diferentes, nunca comparam iguais. O operador == é sempre definido, mas para alguns tipos de objetos (por exemplo, objetos de classe) é equivalente a is. Os operadores <, <=, > e >= são definidos apenas onde fazem sentido; por exemplo, eles levantam uma exceção TypeError quando um dos argumentos é um número complexo.

Instâncias não idênticas de uma classe normalmente comparam-se como desiguais ao menos que a classe defina o método __eq__().

Instâncias de uma classe não podem ser ordenadas com respeito a outras instâncias da mesma classe, ou outros tipos de objeto, ao menos que a classe defina o suficiente dos métodos __lt__(), __le__(), __gt__() e __ge__() (no geral, __lt__() e __eq__() são suficientes, se você quiser o significado convencional dos operadores de comparação).

O comportamento dos operadores is e is not não pode ser personalizado; além disso eles podem ser aplicados a quaisquer dois objetos e nunca levantam uma exceção.

Mais duas operações com a mesma prioridade sintática, in e not in, são suportadas por tipos que são iteráveis ou implementam o método __contains__().

Tipos numéricos — int, float, complex

Existem três tipos numéricos distintos: inteiros, números de ponto flutuante e números complexos. Além disso, os booleanos são um subtipo de números inteiros. Inteiros têm precisão ilimitada. Números de ponto flutuante são geralmente implementados usando double em C; informações sobre a precisão e representação interna dos números de ponto flutuante para a máquina na qual seu programa está sendo executado estão disponíveis em sys.float_info. Números complexos têm uma parte real e imaginária, cada um com um número de ponto flutuante. Para extrair essas partes de um número complexo z, use z.real e z.imag. (A biblioteca padrão inclui os tipos numéricos adicionais fractions.Fraction, para racionais, e decimal.Decimal, para números de ponto flutuante com precisão definida pelo usuário.)

Números são criados por literais numéricos ou como resultado de operadores e funções embutidas. Integrais literais planos (incluindo números hexadecimais, octais e binários) culminam em integrais. Literais numéricos contendo um ponto decimal ou um sinal exponencial resultam em números de ponto flutuante. Anexando 'j' ou 'J' para um literal numérico resulta em um número imaginário (um número complexo com uma parte real zero) com a qual você pode adicionar a um integral ou flutuante para receber um número complexo com partes reais e imaginárias.

Python suporta completamente aritmética mista: quando um operador de aritmética binária tem operandos de tipos numéricos diferentes, o operando com o tipo “mais estreito” é ampliado para o tipo do outro operando, onde um inteiro é mais estreito do que um ponto flutuante, que por sua vez é mais estreito que um número complexo. Uma comparação entre números de diferentes tipos se comporta como se os valores exatos desses números estivessem sendo comparados. [2]

Os construtores int(), float(), e complex() podem ser usados para produzir números de um tipo específico.

Todos os tipos numéricos (exceto complexos) suportam as seguintes operações (para prioridades das operações, consulte Precedência de operadores):

Operação

Resultado

Notas

Documentação completa

x + y

soma de x e y

x - y

diferença de x e y

x * y

produto de x e y

x / y

quociente de x e y

x // y

piso do quociente de x e y

(1)(2)

x % y

restante de x / y

(2)

-x

x negado

+x

x inalterado

abs(x)

valor absoluto ou magnitude de x

abs()

int(x)

x convertido em inteiro

(3)(6)

int()

float(x)

x convertido em ponto flutuante

(4)(6)

float()

complex(re, im)

um número complexo com parte real re, parte imaginária im. im tem como padrão zero.

(6)

complex()

c.conjugate()

conjugado do número complexo c

divmod(x, y)

o par (x // y, x % y)

(2)

divmod()

pow(x, y)

x elevado a y

(5)

pow()

x ** y

x elevado a y

(5)

Notas:

Também referido como uma divisão inteira. Para operandos do tipo int, o resultado tem o tipo int; Para operandos do tipo float, o resultado tem o tipo float. Em geral o resultado é inteiro como todo, apesar do tipo do resultado não necessariamente ser int. O resultado é sempre arredondado para menos infinito: 1//2 é 0, (-1)//2 é -1, 1//(-2) é -1 e (-1)//(-2) é 0.

Não para números complexos. Ao invés disso, converte para pontos flutuantes usando abs() se for apropriado.

Conversão de float para int trunca, descartando a parte fracionária. Veja as funções math.floor() e math.ceil() para conversões alternativas.

ponto flutuante também aceita a string “nan” e “inf” com um prefixo opcional “+” ou “-” a Não é um Número (NaN) e infinidade positiva ou negativa.

Python define pow(0, 0) e 0 ** 0 sendo 1, como é comum para linguagens de programação.

Os literais numéricos aceitos incluem os dígitos de 0 a 9 ou qualquer equivalente Unicode (pontos de código com a propriedade Nd).

Veja o Unicode Standard [https://unicode.org/Public/UNIDATA/extracted/DerivedNumericType.txt] para obter uma lista completa de pontos de código com a propriedade Nd.

Todos os tipos numbers.Real (int e float) também incluem as seguintes operações.

Operação

Resultado

math.trunc(x)

x truncado para Integral

round(x[, n])

x arredondado para n dígitos, arredondando metade para igualar. Se n é omitido, ele toma o padrão de 0.

math.floor(x)

o maior Integral <= x

math.ceil(x)

pelo menos Integral >= x

Para operações numéricas adicionais, consulte os módulos math e cmath.

Operações de bits em tipos inteiros

Operações bit a bit só fazem sentido para números inteiros. O resultado de operações bit a bit é calculado como se fosse realizado no complemento de dois com um número infinito de bits de sinal.

As prioridades das operações bit a bit binárias são todas menores do que as operações numéricas e maiores que as comparações; a operação unária ~ tem a mesma prioridade que as outras operações numéricas unárias (+ e -).

Esta tabela lista as operações de bits classificadas em prioridade ascendente:

Operação

Resultado

Notas

x | y

ou bit a bit de x e y

(4)

x ^ y

ou exclusivo bit a bit de x e y

(4)

x & y

e bit a bit de x e y

(4)

x << n

x deslocado para a esquerda por n bits

(1)(2)

x >> n

x deslocado para a direita por n bits

(1)(3)

~x

os bits de x invertidos

Notas:

Contagens de deslocamento negativo são ilegais e levantam uma ValueError .

Um deslocamento à esquerda por n bits é equivalente à multiplicação por pow(2, n).

Um deslocamento à direita por n bits é equivalente à divisão pelo piso por pow(2, n).

Executar esses cálculos com pelo menos um bit extra de extensão de sinal na representação de complemento de dois finitos (uma largura de bit de trabalho 1 + max(x.bit_length(), y.bit_length()) ou mais) é suficiente para obter o mesmo resultado como se houvesse um número infinito de bits de sinal.

Métodos adicionais em tipos inteiros

O tipo int implementa a classe base abstrata numbers.Integral. Além disso, ele provê mais alguns métodos:

int.bit_length()

Retorna o número de bits necessários para representar um inteiro em binário, excluindo o sinal e entrelinha zeros:

>>> n = -37
>>> bin(n)
'-0b100101'
>>> n.bit_length()
6

Mais precisamente, se x for diferente de zero, então x.bit_length() é o único positivo inteiro k tal que 2**(k-1) <= abs(x) < 2**k. Equivalentemente, quando abs(x) for pequeno o suficiente para ter um logaritmo corretamente arrendondado, então k = 1 + int(log(abs(x), 2)). Se x é zero, então x.bit_length() retorna 0.

Equivalente a:

def bit_length(self):
    s = bin(self)       # representação binária:  bin(-37) --> '-0b100101'
    s = s.lstrip('-0b') # remove zeros no início e sinal negativo
    return len(s)       # len('100101') --> 6

Adicionado na versão 3.1.

int.bit_count()

Retorna o número de unidades na representação binária do valor absoluto do inteiro. Isso também é conhecido como contagem da população. Exemplo:

>>> n = 19
>>> bin(n)
'0b10011'
>>> n.bit_count()
3
>>> (-n).bit_count()
3

Equivalente a:

def bit_count(self):
    return bin(self).count("1")

Adicionado na versão 3.10.

int.to_bytes(length=1, byteorder='big', *, signed=False)

Retorna um vetor de bytes representando um inteiro.

>>> (1024).to_bytes(2, byteorder='big')
b'\x04\x00'
>>> (1024).to_bytes(10, byteorder='big')
b'\x00\x00\x00\x00\x00\x00\x00\x00\x04\x00'
>>> (-1024).to_bytes(10, byteorder='big', signed=True)
b'\xff\xff\xff\xff\xff\xff\xff\xff\xfc\x00'
>>> x = 1000
>>> x.to_bytes((x.bit_length() + 7) // 8, byteorder='little')
b'\xe8\x03'

O inteiro é representado usando length bytes, e o padrão é 1. Uma OverflowError é levantada se um inteiro não é representável com o dado número de bytes.

O argumento byteorder determina a ordem de bytes usada para representar um inteiro, e o padrão é "big". Se o byteorder é "big", o byte mais significativo está no início do vetor de byte. Se byteorder é "little", o byte mais significativo está no final do vetor de byte.

O argumento signed determina aonde o modo de complemento de dois é usado para representar o inteiro. Se signed é False e um inteiro negativo é dado, uma OverflowError é levantada. O valor padrão para signed é False.

Os valores padrão podem ser usados para transformar convenientemente um inteiro em um objeto de byte único:

>>> (65).to_bytes()
b'A'

No entanto, ao usar os argumentos padrão, não tente converter um valor maior que 255 ou você obterá um OverflowError.

Equivalente a:

def to_bytes(n, length=1, byteorder='big', signed=False):
    if byteorder == 'little':
        order = range(length)
    elif byteorder == 'big':
        order = reversed(range(length))
    else:
        raise ValueError("byteorder must be either 'little' or 'big'")

    return bytes((n >> i*8) & 0xff for i in order)

Adicionado na versão 3.2.

Alterado na versão 3.11: Adicionados valores de argumento padrão para length e byteorder.

classmethod int.from_bytes(bytes, byteorder='big', *, signed=False)

Retorna o inteiro representado pelo vetor de bytes dado.

>>> int.from_bytes(b'\x00\x10', byteorder='big')
16
>>> int.from_bytes(b'\x00\x10', byteorder='little')
4096
>>> int.from_bytes(b'\xfc\x00', byteorder='big', signed=True)
-1024
>>> int.from_bytes(b'\xfc\x00', byteorder='big', signed=False)
64512
>>> int.from_bytes([255, 0, 0], byteorder='big')
16711680

O argumento bytes precisa ou ser um objeto byte ou similar ou um iterador produzindo bytes.

O argumento byteorder determina a ordem de bytes usada para representar um inteiro, e o padrão é "big". Se o byteorder é "big", o byte mais significativo está no início do vetor de byte. Se byteorder é "little", o byte mais significativo está no final do vetor de byte. Para requisitar a ordem nativa de byte do sistema hospedeiro, use sys.byteorder como o valor da ordem de byte.

O argumento signed indica quando o complemento de dois é usado para representar o inteiro.

Equivalente a:

def from_bytes(bytes, byteorder='big', signed=False):
    if byteorder == 'little':
        little_ordered = list(bytes)
    elif byteorder == 'big':
        little_ordered = list(reversed(bytes))
    else:
        raise ValueError("byteorder must be either 'little' or 'big'")

    n = sum(b << i*8 for i, b in enumerate(little_ordered))
    if signed and little_ordered and (little_ordered[-1] & 0x80):
        n -= 1 << 8*len(little_ordered)

    return n

Adicionado na versão 3.2.

Alterado na versão 3.11: Adicionados valor de argumento padrão para byteorder.

int.as_integer_ratio()

Retorna um par de números inteiros cuja razão é igual ao número inteiro original e tem um denominador positivo. A proporção inteira de números inteiros (números inteiros) é sempre o número inteiro como numerador e 1 como denominador.

Adicionado na versão 3.8.

int.is_integer()

Retorna True. Existe para compatibilidade com tipo pato com float.is_integer().

Adicionado na versão 3.12.

Métodos adicionais em ponto flutuante

O tipo float implementa a classe base abstrata numbers.Real. float também possui os seguintes métodos adicionais.

float.as_integer_ratio()

Retorna um par de inteiros dos quais a proporção é exatamente igual ao float original. A proporção está em seus termos mais baixos e tem um denominador positivo. Levanta um OverflowError em infinidades e um ValueError em NaNs.

float.is_integer()

Retorna True se a instância do float for finita com o valor integral e False, caso contrário:

>>> (-2.0).is_integer()
True
>>> (3.2).is_integer()
False

Dois métodos suportam conversão para e de strings hexadecimais. Uma vez que os pontos flutuantes do Python são armazenados internamente como números binários, a conversão de um ponto flutuante para ou de uma string decimal geralmente envolve um pequeno erro de arredondamento. Em contraste, as strings hexadecimais permitem a representação exata e a especificação de números de ponto flutuante. Isso pode ser útil na depuração e no trabalho numérico.

float.hex()

Retorna a representação de um número de ponto flutuante como uma string hexadecimal. Para números de ponto flutuante finitos, essa representação vai sempre incluir um 0x inicial e um p final e expoente.

classmethod float.fromhex(s)

Método de classe para retornar um ponto flutuante representado por uma string hexadecimal s. A string s pode ter espaços em branco iniciais e finais.

Note que float.hex() é um método de instância, enquanto float.fromhex() é um método de classe.

Uma string hexadecimal toma a forma:

[sign] ['0x'] integer ['.' fraction] ['p' exponent]

onde o sinal opcional sign pode ser tanto + or -, integer e fraction são strings de dígitos hexadecimais, e exponent é um inteiro decimal com um sinal opcional no início. Maiúsculo ou minúsculo não é significativo, e deve haver ao menos um dígito hexadecimal tanto no inteiro ou na fração. Essa sintaxe é similar à sintaxe especificada na seção 6.4.4.2 do padrão C99, e também do da sintaxe usada no Java 1.5 em diante. Em particular, a saída de float.hex() é usável como um literal hexadecimal de ponto flutuante em código C ou Java, e strings hexadecimais produzidas pelo formato do caractere %a do C ou Double.toHexString do Java são aceitos pelo float.fromhex().

Note que o expoente é escrito em decimal ao invés de hexadecimal, e que ele dá a potência de 2 pela qual se multiplica o coeficiente. Por exemplo, a string hexadecimal 0x3.a7p10 representa o número de ponto flutuante (3 + 10./16 + 7./16**2) * 2.0**10 ou 3740.0:

>>> float.fromhex('0x3.a7p10')
3740.0

Aplicando a conversão inversa a 3740.0 retorna uma string hexadecimal diferente representada pelo mesmo número:

>>> float.hex(3740.0)
'0x1.d380000000000p+11'

Hashing de tipos numéricos

Para números x e y, possivelmente de diferentes tipos, é um requisito que hash(x) == hash(y) sempre que x == y (veja a documentação do método __hash__() para mais detalhes). Para facilitar a implementação e eficiência através de uma variedade de tipos numéricos (incluindo int, float, decimal.Decimal e fractions.Fraction), o hash do Python para tipos numéricos é baseado em uma única função matemática que é definida para qualquer número racional e, portanto, se aplica para todas as instâncias de int e fractions.Fraction, e todas as instâncias finitas das classes float e decimal.Decimal. Essencialmente, essa função é dada pelo módulo de redução P para um primo fixado P. O valor de P é disponibilizado ao Python como um atributo modulus do sys.hash_info.

Detalhes da implementação do CPython: Atualmente, o primo usado é P = 2**31 - 1 em máquinas com longos de 32 bits do C e P = 2**61 - 1 em máquinas com longos de 64 bits do C.

Aqui estão as regras em detalhe:

Se x = m / n é um número racional não negativo e n não é divisível por P, define hash(x) como m * invmod(n, P) % P, onde invmod(n, P) retorna o inverso do módulo de n com P.

Se x = m / n é um número racional não negativo e n é divisível por P (porém m não é) então n não possui modulo P inverso e a regra acima não se aplica; nesse caso defina hash(x) para ser o valor constante sys.hash_info.inf.

Se x = m / n é um número racional negativo, defina hash(x) como -hash(-x). Se a hash resultante é -1, a substituo com -2.

Os valores particulares sys.hash_info.inf e -sys.hash_info.inf são usados como valores de hash para infinidade positiva ou infinidade negativa (respectivamente).

Para número complex z, o valor da hash do número real partes imaginárias são combinados calculando hash(z.real) + sys.hash_info.imag * hash(z.imag), módulo reduzido 2**sys.hash_info.width de modo que isto permaneça em range(-2**(sys.hash_info.width - 1), 2**(sys.hash_info.width - 1)). Novamente, se o resultado é -1, ele é substituído por -2.

Para esclarecer as regras acima, aqui estão alguns exemplos de código em Python, equivalentes ao hash embutido, para calcular o hash de números racionais, float ou complex:

import sys, math

def hash_fraction(m, n):
    """Calcula o hash de um número racional m / n.

    Presume que m e n são inteiros, com n positivo.
    Equivalente a hash(fractions.Fraction(m, n)).

    """
    P = sys.hash_info.modulus
    # Remove fatores comuns de P.  (Desnecessário se m e n são primos entre si.)
    while m % P == n % P == 0:
        m, n = m // P, n // P

    if n % P == 0:
        hash_value = sys.hash_info.inf
    else:
        # Pequeno teorema de Fermat: pow(n, P-1, P) é 1, então
        # pow(n, P-2, P) dá o inverso de n módulo P.
        hash_value = (abs(m) % P) * pow(n, P - 2, P) % P
    if m < 0:
        hash_value = -hash_value
    if hash_value == -1:
        hash_value = -2
    return hash_value

def hash_float(x):
    """Calcula o hash de um ponto flutuante x."""

    if math.isnan(x):
        return object.__hash__(x)
    elif math.isinf(x):
        return sys.hash_info.inf if x > 0 else -sys.hash_info.inf
    else:
        return hash_fraction(*x.as_integer_ratio())

def hash_complex(z):
    """Calcula o hash de um número complexo z."""

    hash_value = hash_float(z.real) + sys.hash_info.imag * hash_float(z.imag)
    # faz um módulo para redução de sinal 2**sys.hash_info.width
    M = 2**(sys.hash_info.width - 1)
    hash_value = (hash_value & (M - 1)) - (hash_value & M)
    if hash_value == -1:
        hash_value = -2
    return hash_value

Tipo booleano - bool

Booleanos representam valores verdade. O tipo bool tem exatamente duas instâncias constantes: True e False.

A função embutida bool() converte qualquer valor em um booleano, se o valor puder ser interpretado como um valor verdade (consultar seção Teste do valor verdade acima).

Para operações lógicas, use operadores booleanos and, or e not. Ao aplicar operadores bit a bit &, |, ^ a dois booleanos, o resultado é um booleano equivalente às operações lógicas “e”, “ou”, “xor”. Entretanto, é preferível usar os operadores lógicos and, or e != em relação aos &, | e ^.

Obsoleto desde a versão 3.12: O uso do operador de inversão bit a bit ~ foi descontinuado e levantará um erro no Python 3.16.

bool é uma subclasse int (veja Tipos numéricos — int, float, complex). Em diversos contextos numéricos, False e True se comportam como 0 e 1, respectivamente. Entretanto, basear-se somente nisso, é desencorajado; ao invés disso, a conversão deve ser feita explicitamente usando int().

Tipos iteradores

Python suporta o conceito de iteração por contêineres. Isso é implementado usando dois métodos distintos; estes são usados para permitir classes definidas pelo usuário suportem iteração. Sequências, descritas abaixo em mais detalhes, sempre suportam os métodos de iteração.

Um método necessita ser definido para objetos contêineres afim destes proverem suporte a iterável:

container.__iter__()

Retorna um objeto iterador. O objeto deve suportar o protocolo iterador descrito abaixo. Se um contêiner suporta diferentes tipos de iterador, métodos adicionais podem ser providenciados para requisitar especificamente iteradores para aqueles tipos de iterações. (Um exemplo de um objeto suportando múltiplas formas de iteração seria uma estrutura em árvore a qual suporta ambas travessias de travessia em largura e em profundidade.) Esse método corresponde ao slot tp_iter da estrutura de tipos para objetos Python na API Python/C.

Os próprios objetos iteradores são obrigados a suportarem os dois métodos a seguir, que juntos formam o protocolo iterador:

iterator.__iter__()

Retorna o próprio objeto iterador em si. Isso é necessário para permitir que ambos os contêineres e iteradores sejam usados com as instruções for e in. Este método corresponde ao slot tp_iter da estrutura de tipos para objetos Python na API Python/C.

iterator.__next__()

Retorna o próximo item do iterador. Se não houver itens além, a exceção StopIteration é levantada. Esse método corresponde ao slot tp_iternext da estrutura de tipos para objetos Python na API Python/C.

Python define diversos objetos iteradores para suportar iterações sobre tipos de sequências gerais e específicas, dicionários, e outras formas mais especializadas. Os tipos específicos não são importantes além de sua implementação do protocolo iterador.

Uma vez que o método __next__() do iterador levantou StopIteration, ele deve continuar fazendo isso em chamadas subsequentes. Implementações que não obedecem essa propriedade são consideradas quebradas.

Tipos geradores

Os geradores do Python proveem uma maneira conveniente para implementar o protocolo iterador. Se o método __iter__() de um objeto contêiner é implementado como um gerador, ele irá automaticamente retornar um objeto iterador (tecnicamente, um objeto gerador) fornecendo os métodos __iter__() e __next__() . Mais informações sobre geradores podem ser encontradas na documentação para a expressão yield.

Tipos sequências — list, tuple, range

Existem três tipos básicos de sequência: listas, tuplas e objetos range. Tipos de sequência adicionais adaptados para o processamento de dados binários e strings de texto são descritos em seções dedicadas.

Operações comuns de sequências

As operações nas seguintes tabelas são suportadas pela maioria dos tipos sequências, ambos mutáveis e imutáveis. A classe ABC collections.abc.Sequence é fornecida para tornar fácil a correta implementação desses operadores em tipos sequências personalizados.

Essa tabela lista as operações de sequência ordenadas em prioridade ascendente. Na tabela, s e t são sequências do mesmo tipo, n, i, j e k são inteiros e x é um objeto arbitrário que atende a qualquer restrição de valor e tipo imposta por s.

As operações in e not in têm as mesmas prioridades que as operações de comparação. As operações + (concatenação) e * (repetição) têm a mesma prioridade que as operações numéricas correspondentes. [3]

Operação

Resultado

Notas

x in s

True caso um item de s seja igual a x, caso contrário False

(1)

x not in s

False caso um item de s for igual a x, caso contrário True

(1)

s + t

a concatenação de s e t

(6)(7)

s * n ou n * s

equivalente a adicionar s a si mesmo n vezes

(2)(7)

s[i]

i-ésimo item de s, origem 0

(3)

s[i:j]

fatia de s de i até j

(3)(4)

s[i:j:k]

fatia de s de i até j com passo k

(3)(5)

len(s)

comprimento de s

min(s)

menor item de s

max(s)

maior item de s

s.index(x[, i[, j]])

índice da primeira ocorrência de x em s (no ou após o índice i, e antes do índice j)

(8)

s.count(x)

numero total de ocorrência de x em s

Sequências do mesmo tipo também suportam comparações. Em particular, tuplas e listas são comparadas lexicograficamente pela comparação de elementos correspondentes. Isso significa que para comparar igualmente, cada elemento deve comparar igual e as duas sequências devem ser do mesmo tipo e possuírem o mesmo comprimento. (Para detalhes completos, veja Comparações na referência da linguagem.)

Iteradores para frente e reversos sobre sequências mutáveis acessam valores usando um índice. Esse índice continuará avançando (ou retrocedendo) mesmo que a sequência subjacente seja alterada. O iterador termina somente quando um IndexError ou um StopIteration é encontrado (ou quando o índice cai abaixo de zero).

Notas:

Enquanto as operações in e not in são usadas somente para testes de contenção simples em modo geral, algumas sequências especializadas (tais como str, bytes e bytearray) também usam-nas para testes de subsequências:

>>> "gg" in "eggs"
True

Os valores de n menos 0 são tratados como 0 (o que produz uma sequência vazia do mesmo tipo que s). Observe que os itens na sequência s não são copiados; eles são referenciados várias vezes. Isso frequentemente assombra novos programadores Python; considere então que:

>>> lists = [[]] * 3
>>> lists
[[], [], []]
>>> lists[0].append(3)
>>> lists
[[3], [3], [3]]

O que aconteceu é que [[]] é uma lista de um elemento contendo uma lista vazia, então todos os três elementos de [[]] * 3 são referências a esta única lista vazia. Modificar qualquer um dos elementos de lists modifica a lista vazia. Podemos criar uma lista de listas diferentes dessa maneira:

>>> lists = [[] for i in range(3)]
>>> lists[0].append(3)
>>> lists[1].append(5)
>>> lists[2].append(7)
>>> lists
[[3], [5], [7]]

Outra explicação está disponível no FAQ Como faço para criar uma lista multidimensional?.

Se i ou j for negativo, o índice será relativo ao fim da sequência s: len(s) + i ou len(s) + j será substituído. Mas note que -0 ainda será 0.

A fatia s de i até j é definida como a sequência de itens com índice k tal que i <= k < j. Se i ou j foi maior do que len(s), usa len(s). Se i for omitido ou None, use 0. Se j for omitido ou None, usa len(s). Se i for maior ou igual a j, a fatia é vazia.

A fatia s de i até j com passo k é definida como sendo a sequência de itens com índice x = i + n*k tal que 0 <= n < (j-i)/k. Em outras palavras, os índices são i, i+k, i+2*k, i+3*k e assim por diante, parando quando j for atingido (mas nunca incluindo j). Quando k for positivo, i e j serão reduzidos a len(s) se forem maiores. Quando k for negativo, i e j são reduzidos para len(s) - 1 se forem maiores. Se i ou j forem omitidos ou None, eles se tornam valores “finais” (cujo final depende de k). Nota: k não pode ser zero. Se k for None, o mesmo será tratado como sendo igual a 1.

Concatenar sequências imutáveis sempre resulta em um novo objeto. Isso significa que a criação de uma sequência por concatenação repetida terá um custo quadrático de tempo de execução no comprimento total da sequência. Para obter um custo de tempo de execução linear, devemos alternar para uma das alternativas abaixo:

Se estiver concatenando objetos str, você pode criar uma lista e usar str.join() no final ou então escrever numa instância de io.StringIO e recuperar o seu valor ao final

Se estiver concatenando objetos bytes, você também pode usar o método bytes.join() ou io.BytesIO, ou você pode fazer concatenação interna com um objeto bytearray. A classe bytearray são objetos mutáveis e possuem um eficiente mecanismo de superalocação

Se estiver concatenando objetos tuple, estenda a classe list em vez disso

para outros tipos, busque na documentação relevante da classe

Alguns tipos sequências (como range) apenas suportam sequências de itens que seguem padrões específicos e, portanto, não suportam concatenação ou repetição de sequência.

index levanta ValueError quando x não é encontrado em s. Nem todas as implementações suportam a passagem dos argumentos adicionais i e j. Esses argumentos permitem a pesquisa eficiente de subseções da sequência. Passar os argumentos extras é aproximadamente equivalente a usar s[i:j].index(x), apenas sem copiar nenhum dado e com o índice retornado sendo relativo ao início da sequência e não ao início da fatia.

Tipos sequência imutáveis

A única operação que os tipos sequências imutáveis geralmente implementam que também não é implementada pelos tipos sequências mutáveis é suporte para a função embutida hash().

Esse suporte permite sequências imutáveis, tais como instâncias da classe tuple, serem usadas como chaves de dicionários dict e armazenados em instâncias de set e de frozenset.

A tentativa de obter um hash de uma sequência imutável que contém valores desnecessários resultará em um erro TypeError.

Tipos sequências mutáveis

As operações na tabela a seguir são definidas em tipos sequência mutáveis. A ABC collections.abc.MutableSequence é fornecida para tornar mais fácil a implementação correta dessas operações em tipos sequências personalizados.

Na tabela s é uma instância de um tipo de sequência mutável, t é qualquer objeto iterável e x é um objeto arbitrário que atende a qualquer restrição de tipo e valor imposto por s (por exemplo bytearray só aceita inteiros que atendam a restrição de valor 0 <= x <= 255).

Operação

Resultado

Notas

s[i] = x

item i de s é substituído por x

s[i:j] = t

fatias de s de i até j são substituídas pelo conteúdo do iterável t

del s[i:j]

o mesmo que s[i:j] = []

s[i:j:k] = t

os elementos de s[i:j:k] são substituídos por aqueles de t

(1)

del s[i:j:k]

remove os elementos de s[i:j:k] desde a listas

s.append(x)

adiciona x no final da sequência (igual a s[len(s):len(s)] = [x])

s.clear()

remove todos os itens de s (mesmo que del s[:])

(5)

s.copy()

cria uma cópia rasa de s (mesmo que s[:])

(5)

s.extend(t) ou s += t

estende s com o conteúdo de t (na maior parte do mesmo s[len(s):len(s)] = t)

s *= n

atualiza s com o seu conteúdo por n vezes

(6)

s.insert(i, x)

insere x dentro de s no índice dado por i (igual a s[i:i] = [x])

s.pop() ou s.pop(i)

retorna o item em i e também remove-o de s

(2)

s.remove(x)

remove o primeiro item de s onde s[i] é igual a x

(3)

s.reverse()

inverte os itens de s in-place

(4)

Notas:

se k não for igual a 1, t deve ter o mesmo comprimento que a fatia a qual ele está substituindo.

O argumento opcional i tem como padrão -1, de modo que, por padrão, o último item é removido e retornado.

remove() levanta ValueError quando x não é encontrado em s.

O método reverse() modifica a sequência no lugar para economizar espaço ao reverter uma grande sequência. Para lembrar os usuários que isso ocorre como sendo um efeito colateral, o mesmo não retorna a sequência invertida.

clear() e copy() estão incluídos para consistência com as interfaces de contêineres mutáveis que não suportam operações de fatiamento (como dict e set). copy() não faz parte da ABC de collections.abc.MutableSequence, mas a maioria das classes concretas de sequências mutáveis fornece isso.

Adicionado na versão 3.3: Métodos clear() e copy().

O valor n é um inteiro, ou um objeto implementando __index__(). Valores zero e negativos de n limparão a sequência. Os itens na sequência não são copiados; eles são referenciados várias vezes, como explicado para s * n em Operações comuns de sequências.

Listas

As listas são sequências mutáveis, normalmente usadas para armazenar coleções de itens homogêneos (onde o grau preciso de similaridade variará de acordo com a aplicação).

class list([iterable])

As listas podem ser construídas de várias maneiras:

Usando um par de colchetes para denotar uma lista vazia: []

Usando colchetes, separando itens por vírgulas: [a], [a, b, c]

Usando uma compreensão de lista: [x for x in iterable]

Usando o construtor de tipo: list() ou list(iterable)

O construtor produz uma lista cujos itens são iguais e na mesma ordem que os itens de iterable. iterable pode ser uma sequência, um contêiner que suporte iteração ou um objeto iterador. Se iterable já for uma lista, uma cópia será feita e retornada, semelhante a iterable[:]. Por exemplo, list('abc') retorna ['a', 'b', 'c'] e list( (1, 2, 3) ) retorna [1, 2, 3]. Se nenhum argumento for dado, o construtor criará uma nova lista vazia [].

Muitas outras operações também produzem listas, incluindo a função embutida sorted().

Listas implementam todas as operações de sequências comuns e mutáveis. As listas também fornecem o seguinte método adicional:

sort(*, key=None, reverse=False)

Esse método classifica a lista in-place, usando apenas comparações < entre itens. As exceções não são suprimidas – se qualquer operação de comparação falhar, toda a operação de ordenação falhará (e a lista provavelmente será deixada em um estado parcialmente modificado).

sort() aceita 2 argumentos que só podem ser passados como argumentos somente-nomeados:

key especifica uma função de um argumento que é usado para extrair uma chave de comparação de cada elemento da lista (por exemplo, key=str.lower). A chave correspondente a cada item na lista é calculada uma vez e depois usada para todo o processo de classificação. O valor padrão None significa que os itens da lista são classificados diretamente sem calcular um valor de chave separado.

A função utilitária functools.cmp_to_key() está disponível para converter a função cmp no estilo 2.x para uma função key.

reverse é um valor booleano. Se definido igual a True, então os elementos da lista são classificados como se cada comparação estivesse invertida.

Este método modifica a sequência in-place para economizar espaço ao classificar uma sequência grande. Para lembrar aos usuários que os mesmos operam por efeito colateral, ele não retorna a sequência ordenada (utilize a função sorted() para solicitar explicitamente uma nova instância da lista ordenada).

O método sort() é garantido como sendo estável. Uma classificação é estável se ela garantir não alterar a ordem relativa de elementos que comparam igual – isso é útil para classificar em várias passagens (por exemplo, classificar por departamento, depois por nota salarial).

Para exemplos de classificação e um breve tutorial de classificação, veja Técnicas de ordenação.

Detalhes da implementação do CPython: No momento em que uma lista está sendo ordenada, o efeito de tentar alterar, ou mesmo inspecionar, a lista é indefinida. A implementação C do Python faz com que a lista apareça vazia durante o tempo de processamento, e levanta a exceção ValueError se puder detectar que a lista foi alterada durante uma ordenação.

Tuplas

Tuplas são sequências imutáveis, tipicamente usadas para armazenar coleções de dados heterogêneos (como as tuplas de 2 elementos produzidas pelo função embutida enumerate()). Tuplas também são usadas para casos em que seja necessária uma sequência imutável de dados homogêneos (como permitir o armazenamento em uma instância set ou dict).

class tuple([iterable])

As tuplas podem ser construídas de várias maneiras:

Usando um par de parênteses para denotar a tupla vazia: ()

Usando uma vírgula à direita para uma tupla singleton: a, ou (a,)

Separando os itens com vírgulas: a, b, c ou (a, b, c)

Usando a função embutida tuple(): tuple() ou tuple(iterable)

O construtor constrói uma tupla cujos itens são iguais e na mesma ordem dos itens de iterable. iterable pode ser uma sequência, um contêiner que suporta iteração ou um objeto iterador. Se iterable já for uma tupla, este será retornado inalterado. Por exemplo, tuple('abc') retorna ('a', 'b', 'c') e tuple( [1, 2, 3] ) retorna (1, 2, 3). Se nenhum argumento for dado, o construtor criará uma tupla vazia, ().

Observe que, na verdade, é a vírgula que faz uma tupla, e não os parênteses. Os parênteses são opcionais, exceto no caso de tupla vazia, ou quando são necessários para evitar ambiguidades sintáticas. Por exemplo, f(a, b, c) é uma chamada da função com três argumentos, enquanto que f((a, b, c)) é uma chamada de função com uma tupla de 3 elementos com um único argumento.

As tuplas implementam todas as operações comuns de sequência.

Para coleções heterogêneas de dados onde o acesso pelo nome é mais claro do que o acesso pelo índice, collections.namedtuple() pode ser uma escolha mais apropriada do que um objeto tupla simples.

Intervalos

O tipo range representa uma sequência imutável de números e é comumente usado para percorrer um número determinado de vezes em um laço for.

class range(stop)

class range(start, stop[, step])

Os argumentos para o construtor de intervalo devem ser inteiros (int embutido ou qualquer objeto que implemente o método especial __index__()). Se o argumento step for omitido, será usado o padrão 1. Se o argumento start for omitido, será usado o padrão 0. Se step for zero, uma exceção ValueError será levantada.

Para um step positivo, o conteúdo de um intervalo r será determinado pela fórmula r[i] = start + step*i onde i >= 0 e r[i] < stop.

Para um step negativo, o conteúdo do intervalo ainda será determinado pela fórmula r[i] = start + step*i, mas as restrições serão i >= 0 e r[i] > stop.

Um objeto intervalo estará vazio se r[0] não atender à restrição de valor. Intervalos suportam índices negativos, mas estes são interpretados como indexadores partindo do final da sequência determinada pelos índices positivos.

Intervalos contendo valores absolutos maiores que sys.maxsize são permitidos, mas alguns recursos (como len()) podem levantar OverflowError.

Exemplos de intervalos:

>>> list(range(10))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> list(range(1, 11))
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> list(range(0, 30, 5))
[0, 5, 10, 15, 20, 25]
>>> list(range(0, 10, 3))
[0, 3, 6, 9]
>>> list(range(0, -10, -1))
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]
>>> list(range(0))
[]
>>> list(range(1, 0))
[]

Ranges implementam todas as operações comuns de sequência, exceto a concatenação e a repetição (devido ao fato de que os objetos intervalos só podem representar sequências que seguem um padrão rígido. e a repetição e a concatenação geralmente vão violar esse padrão).

start

O valor do parâmetro start (ou 0 se o parâmetro não for fornecido)

stop

O valor do parâmetro stop

step

O valor do parâmetro step (ou 1 se o parâmetro não for fornecido)

A vantagem do tipo range sobre um list ou tuple regular é que um objeto range sempre terá a mesma quantidade (pequena) de memória, não importa o tamanho do intervalo o mesmo esteja representando (como ele apenas armazena os valores start, stop e step, calculando itens individuais e subintervalos conforme necessário).

Objetos intervalos implementam a ABC collections.abc.Sequence, e fornecem recursos como testes de contenção, pesquisa de índice de elemento, fatiamento e suporte a índices negativos (veja Tipos sequências — list, tuple, range):

>>> r = range(0, 20, 2)
>>> r
range(0, 20, 2)
>>> 11 in r
False
>>> 10 in r
True
>>> r.index(10)
5
>>> r[5]
10
>>> r[:5]
range(0, 10, 2)
>>> r[-1]
18

Testar objetos intervalos por igualdade com == e != os compara como sequências. Ou seja, dois objetos intervalos são considerados iguais se representarem a mesma sequência de valores. (Observe que dois objetos intervalos considerados iguais podem ter diferentes atributos start, stop e step, por exemplo range(0) == range(2, 1, 3) ou range(0, 3, 2) == range(0, 4, 2).)

Alterado na versão 3.2: Implementa a ABC Sequence. Suporte a fatiamento e a índices negativos. Testa objetos int para associação em tempo constante em vez de iterar através de todos os itens.

Alterado na versão 3.3: Define ‘==’ e ‘!=’ para comparar objetos intervalos com base na sequência de valores que eles definem (em vez de comparar com base na identidade do objeto).

Adicionados os atributos start, stop e step.

Ver também

A receita de linspace [https://code.activestate.com/recipes/579000-equally-spaced-numbers-linspace/] mostra como implementar uma versão preguiçosa de um intervalo adequado para aplicações de ponto flutuante.

Tipo sequência de texto — str

Os dados textuais em Python são tratados com objetos str, ou strings. Strings são sequências imutáveis de pontos de código Unicode. As strings literais são escritas de diversas maneiras:

Aspas simples: 'permitem aspas "duplas" internas'

Aspas duplas: "permitem aspas 'simples' internas"

Aspas triplas: '''Três aspas simples''', """Três aspas duplas"""

Strings de aspas triplas podem expandir por várias linhas – todos os espaços em branco associados serão incluídos em literal string.

Os literais strings que fazem parte de uma única expressão e têm apenas espaços em branco entre eles serão implicitamente convertidos em um único literal string. Isso é, ("spam " "eggs") == "spam eggs".

Veja Literais de string e bytes para mais informações sobre as várias formas de literal de string, incluindo o suporte a sequêncis de escape, e o prefixo r (“raw”) que desabilita a maioria dos processos de sequência de escape.

As strings também podem ser criadas a partir de outros objetos usando o construtor str.

Uma vez que não há nenhum tipo de “caractere” separador, indexar uma string produz strings de comprimento 1. Ou seja, para uma string não vazia s, s[0] == s[0:1].

Também não existe um tipo string mutável, mas o método str.join() ou a classe io.StringIO podem ser usados para construir strings de forma eficiente a partir de vários partes distintas.

Alterado na versão 3.3: Para a compatibilidade com versões anteriores do Python 2, o prefixo u foi mais uma vez permitido em literais strings. Não possui quaisquer efeito sobre o significado de literais strings e não pode ser combinado com o prefixo r.

class str(object='')

class str(object=b'', encoding='utf-8', errors='strict')

Retorna uma versão string de object. Se object não é fornecido, retorna uma string vazia. Caso contrário, o comportamento de str() dependerá se o encoding ou errors são fornecidos, da seguinte forma.

Se nem encoding nem errors for fornecido, str(object) retornará type(object).__str__(object), que é a representação da string “informal” ou que pode ser facilmente imprimível  de object. Para objetos string, esta é a própria string. Se object não tiver um método:__str__(), então a função str() retornará repr(object).

Se pelo menos um de encoding ou errors for fornecido, object deve ser um objeto byte ou similar (por exemplo, bytes ou bytearray). Nesse caso, se object for um objeto bytes (ou bytearray), então str(bytes, encoding, errors) será equivalente a bytes.decode(encoding, errors). Caso contrário, o objeto byte subjacente ao objeto buffer é obtido antes de chamar bytes.decode(). Veja Tipos de Sequência Binária — bytes, bytearray, memoryview e Protocolo de Buffer para obter informações sobre objetos buffer.

Passando um objeto bytes para str() sem os argumentos encoding ou errors se enquadra no primeiro caso de retornar a representação informal de strings (consulte também a opção de linha de comando -b para Python). Por exemplo:

>>> str(b'Zoot!')
"b'Zoot!'"

Para mais informações sobre a classe str e seus métodos, veja Tipo sequência de texto — str e a seção Métodos de string abaixo. Para gerar strings formatadas, veja as seções Literais de strings formatadas e Sintaxe das strings de formato. Além disso, veja a seção Serviços de Processamento de Texto.

Métodos de string

Strings implementam todas as operações comuns de sequências, juntamente com os métodos adicionais descritos abaixo.

Strings também possuem suporte para duas formas de formatação de string, uma fornecendo uma ampla gama de flexibilidade e customização (veja str.format(), Sintaxe das strings de formato e Formatação personalizada de strings) e a outra baseada no estilo de formatação printf da linguagem C, que lida com uma gama menor de tipos e é levemente mais difícil de utilizar corretamente, mas é frequentemente mais rápida para os casos na qual ela consegue manipular (Formatação de String no Formato no estilo printf).

A seção Serviços de Processamento de Texto da biblioteca padrão cobre um número de diversos outros módulos que fornecem vários utilitários relacionados a texto (incluindo suporte a expressões regulares no módulo re).

str.capitalize()

Retorna uma cópia da string com o seu primeiro caractere em maiúsculo e o restante em minúsculo.

Alterado na versão 3.8: O primeiro caractere agora é colocado em titlecase ao invés de letras maiúsculas. Isso significa que caracteres como dígrafos apenas terão sua primeira letra alterada para maiúscula, ao invés de todos os caracteres.

str.casefold()

Retorna uma cópia da string em casefolded. Strings em casefold podem ser usadas para corresponder letras sem importar se são minúsculas ou maiúsculas.

Casefolding é similar a mudar para letras minúsculas, mas mais agressivo porque destina-se a remover todas as diferenças maiúsculas/minúsculas em uma string. Por exemplo, a letra minúscula alemã 'ß' é equivalente a "ss". Como ela já é uma minúscula, o método lower() não irá fazer nada para 'ß'; já o método casefold() converte a letra para "ss".

O algoritmo casefolding está descrito na seção 3.13 ‘Default Case Folding’ do Padrão Unicode [https://www.unicode.org/versions/Unicode15.1.0/ch03.pdf].

Adicionado na versão 3.3.

str.center(width[, fillchar])

Retorna um texto centralizado em uma string de comprimento width. Preenchimento é feito usando o parâmetro fillchar especificado (padrão é o caractere de espaço ASCII). A string original é retornada se width é menor ou igual que len(s).

str.count(sub[, start[, end]])

Retorna o número de ocorrências da sub-string sub que não se sobrepõem no intervalo [start, end]. Argumentos opcionais start e end são interpretados como na notação de fatias.

Se sub estiver vazio, retorna o número de strings vazias entre os caracteres, que é o comprimento da string mais um.

str.encode(encoding='utf-8', errors='strict')

Retorna a string codificada para bytes.

encoding tem como padrão 'utf-8'; veja Standard Encodings para valores possíveis.

errors controla como os erros de codificação são tratados. Se 'strict' (o padrão), uma exceção UnicodeError é levantada. Outros valores possíveis são 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' e qualquer outro nome registrado via codecs.register_error(). Veja Error Handlers para detalhes.

Por motivos de desempenho, o valor de errors não é verificado quanto à validade, a menos que um erro de codificação realmente ocorra, Modo de Desenvolvimento do Python esteja ativado ou uma construção de depuração seja usada.

Alterado na versão 3.1: Adicionado suporte para argumentos nomeados.

Alterado na versão 3.9: O valor do argumento errors agora é verificado em Modo de Desenvolvimento do Python e no modo de depuração.

str.endswith(suffix[, start[, end]])

Retorna True se a string terminar com o suffix especificado, caso contrário retorna False. suffix também pode ser uma tupla de sufixos para procurar. Com o parâmetro opcional start, começamos a testar a partir daquela posição. Com o parâmetro opcional end, devemos parar de comparar na posição especificada.

str.expandtabs(tabsize=8)

Retorna uma cópia da string onde todos os caracteres de tabulação são substituídos por um ou mais espaços, dependendo da coluna atual e do tamanho fornecido para a tabulação. Posições de tabulação ocorrem a cada tabsize caracteres (o padrão é 8, dada as posições de tabulação nas colunas 0, 8, 16 e assim por diante). Para expandir a string, a coluna atual é definida como zero e a string é examinada caractere por caractere. Se o caractere é uma tabulação (\t), um ou mais caracteres de espaço são inseridos no resultado até que a coluna atual seja igual a próxima posição de tabulação. (O caractere de tabulação em si não é copiado.) Se o caractere é um caractere de nova linha (\n) ou de retorno (\r), ele é copiado e a coluna atual é redefinida para zero. Qualquer outro caractere é copiado sem ser modificado e a coluna atual é incrementada em uma unidade independentemente de como o caractere é representado quando é impresso.

>>> '01\t012\t0123\t01234'.expandtabs()
'01      012     0123    01234'
>>> '01\t012\t0123\t01234'.expandtabs(4)
'01  012 0123    01234'

str.find(sub[, start[, end]])

Retorna o índice mais baixo na string onde a substring sub é encontrado dentro da fatia s[start:end]. Argumentos opcionais como start e end são interpretados como na notação de fatiamento. Retorna -1 se sub não for localizado.

Nota

O método find() deve ser usado apenas se precisarmos conhecer a posição de sub. Para verificar se sub é ou não uma substring, use o operador in:

>>> 'Py' in 'Python'
True

str.format(*args, **kwargs)

Executa uma operação de formatação de string. A string na qual este método é chamado pode conter texto literal ou campos para substituição delimitados por chaves {}. Cada campo de substituição contém um índice numérico de um argumento posicional ou o nome de um argumento nomeado. Retorna a cópia da string onde cada campo para substituição é substituído com o valor da string do argumento correspondente.

>>> "The sum of 1 + 2 is {0}".format(1+2)
'The sum of 1 + 2 is 3'

Veja Sintaxe das strings de formato para uma descrição das várias opções de formatação que podem ser especificadas em uma strings de formato.

Nota

Ao formatar um número (int, float, complex, decimal.Decimal e sub-classes) com o tipo n (ex: '{:n}'.format(1234)), a função define temporariamente a localidade LC_CTYPE para a localidade LC_NUMERIC a fim de decodificar campos decimal_point e thousands_sep de localeconv() se eles são caracteres não-ASCII ou maiores que 1 byte, e a localidade LC_NUMERIC é diferente da localidade LC_CTYPE. Esta mudança temporária afeta outras threads.

Alterado na versão 3.7: Ao formatar um número com o tipo n, a função define temporariamente a localidade LC_CTYPE para a localidade LC_NUMERIC em alguns casos.

str.format_map(mapping, /)

Semelhante a str.format(**mapping), exceto pelo fato de que mapping é usado diretamente e não copiado para uma classe dict. Isso é útil se, por exemplo, mapping é uma subclasse de dict:

>>> class Default(dict):
...     def __missing__(self, key):
...         return key
...
>>> '{name} was born in {country}'.format_map(Default(name='Guido'))
'Guido was born in country'

Adicionado na versão 3.2.

str.index(sub[, start[, end]])

Senelhante a find(), mas levanta ValueError quando a substring não é encontrada.

str.isalnum()

Retorna True se todos os caracteres na string são alfanuméricos e existe pelo menos um caractere, ou False caso contrário. Um caractere c é alfanumérico se um dos seguintes retorna True: c.isalpha(), c.isdecimal(), c.isdigit(), ou c.isnumeric().

str.isalpha()

Retorna True se todos os caracteres na string são alfabéticos e existe pelo menos um caractere, False caso contrário. Caracteres alfabéticos são aqueles caracteres definidos na base de dados de caracteres Unicode como “Letra”, isto é, aqueles cuja propriedade na categoria geral é um destes: “Lm”, “Lt”, “Lu”, “Ll” ou “Lo”. Perceba que isso é diferente da propriedade Alfabética definida na seção 4.10 “Letters, Alphabetic, and Ideographic” do Padrão Unicode [https://www.unicode.org/versions/Unicode15.1.0/ch04.pdf].

str.isascii()

Retorna True se a string é vazia ou se todos os caracteres na string são ASCII, False caso contrário. Caracteres ASCII têm pontos de código no intervalo U+0000-U+007F.

Adicionado na versão 3.7.

str.isdecimal()

Retorna True se todos os caracteres na string são caracteres decimais e existe pelo menos um caractere, False caso contrário. Caracteres decimais são aqueles que podem ser usados para formar números na base 10, exemplo U+0660, ou dígito zero para arábico-índico. Formalmente, um caractere decimal é um caractere em Unicode cuja categoria geral é “Nd”.

str.isdigit()

Retorna True se todos os caracteres na string são dígitos e existe pelo menos um caractere, False caso contrário. Dígitos incluem caracteres decimais e dígitos que precisam de tratamento especial, tal como a compatibilidade com dígitos sobre-escritos. Isso inclui dígitos que não podem ser usados para formar números na base 10, como por exemplo os números de Kharosthi. Formalmente, um dígito é um caractere que tem a propriedade com valor Numeric_Type=Digit ou Numeric_Type=Decimal.

str.isidentifier()

Retorna True se a string é um identificador válido conforme a definição da linguagem, seção Identificadores e palavras-chave.

keyword.iskeyword() pode ser usada para testar se a string s é uma palavra reservada, tal como def e class.

Exemplo:

>>> from keyword import iskeyword

>>> 'hello'.isidentifier(), iskeyword('hello')
(True, False)
>>> 'def'.isidentifier(), iskeyword('def')
(True, True)

str.islower()

Retorna True se todos os caracteres em caixa (que possuem maiúsculo e minúsculo) [4] na string são minúsculos e existe pelo menos um caractere em caixa, False caso contrário.

str.isnumeric()

Retorna True se todos os caracteres na string são caracteres numéricos, e existe pelo menos um caractere, False caso contrário. Caracteres numéricos incluem dígitos, e todos os caracteres que têm a propriedade com valor numérico Unicode, isto é: U+2155, um quinto de fração vulgar. Formalmente, caracteres numéricos são aqueles que possuem propriedades com valor Numeric_Type=Digit, Numeric_Type=Decimal ou Numeric_Type=Numeric.

str.isprintable()

Retorna True se todos os caracteres na string podem ser impressos ou se a string é vazia, False caso contrário. Caracteres que não podem ser impressos são aqueles que estão definidos no banco de dados de caracteres Unicode como “Outros” ou “Separadores”, exceto o caractere ASCII que representa o espaço (0x20), o qual é impresso. (Perceba que caracteres que podem ser impressos, neste contexto, são aqueles que não devem ser escapados quando repr() é invocada sobre uma string. Ela não tem sentido no tratamento de strings escritas usando sys.stdout ou sys.stderr.)

str.isspace()

Retorna True se existem apenas caracteres de espaço em branco na string e existe pelo menos um caractere, False caso contrário.

Um caractere é espaço em branco se no banco de dados de caracteres Unicode (veja unicodedata), ou pertence a categoria geral Zs (“Separador, espaço”), ou sua classe bidirecional é WS, B ou S.

str.istitle()

Retorna True se a string é titlecased e existe pelo menos um caractere, por exemplo caracteres maiúsculos somente podem proceder caracteres que não diferenciam maiúsculas/minúsculas, e caracteres minúsculos somente podem proceder caracteres que permitem ambos. Retorna False caso contrário.

str.isupper()

Retorna True se todos os caracteres que permitem maiúsculas ou minúsculas [4] na string estão com letras maiúsculas, e existe pelo menos um caractere maiúsculo, False caso contrário.

>>> 'BANANA'.isupper()
True
>>> 'banana'.isupper()
False
>>> 'baNana'.isupper()
False
>>> ' '.isupper()
False

str.join(iterable)

Retorna a string que é a concatenação das strings no iterável. Uma TypeError será levantada se existirem quaisquer valores que não sejam strings no iterável, incluindo objetos bytes. O separador entre elementos é a string que está fornecendo este método.

str.ljust(width[, fillchar])

Retorna a string alinhada a esquerda em uma string de comprimento width. Preenchimento é feito usando fillchar que for especificado (o padrão é o caractere ASCII de espaço). A string original é retornada se width é menor ou igual que len(s).

str.lower()

Retorna uma cópia da string com todos os caracteres que permitem maiúsculo E minúsculo [4] convertidos para letras minúsculas.

O algoritmo de letras minúsculas está descrito na seção 3.13 ‘Default Case Folding’ do Padrão Unicode [https://www.unicode.org/versions/Unicode15.1.0/ch03.pdf].

str.lstrip([chars])

Retorna uma cópia da string com caracteres iniciais removidos. O argumento chars é uma string que especifica o conjunto de caracteres a serem removidos. Se for omitido ou se for None, o argumento chars será considerado como espaço em branco por padrão para a remoção. O argumento chars não é um prefixo; ao invés disso, todas as combinações dos seus valores são retirados:

>>> '   spacious   '.lstrip()
'spacious   '
>>> 'www.example.com'.lstrip('cmowz.')
'example.com'

Consulte str.removeprefix() para um método que removerá uma única string de prefixo em vez de todo um conjunto de caracteres. Por exemplo:

>>> 'Arthur: three!'.lstrip('Arthur: ')
'ee!'
>>> 'Arthur: three!'.removeprefix('Arthur: ')
'three!'

static str.maketrans(x[, y[, z]])

Este método estático retorna uma tabela de tradução usável para str.translate().

Se existe apenas um argumento, ele deve ser um dicionário mapeando números Unicode (inteiros) ou caracteres (strings de comprimento 1) para números Unicode, strings (de comprimento arbitrário) ou None. Caracteres chave serão então convertidos para números ordinais.

Se existirem dois argumentos, eles devem ser strings de igual comprimento, e no dicionário resultante, cada caractere em x será mapeado para o caractere na mesma posição em y. Se existir um terceiro argumento, ele deve ser uma string, cujos caracteres serão mapeados para None no resultado.

str.partition(sep)

Quebra a string na primeira ocorrência de sep, e retorna uma tupla com 3 elementos contendo a parte antes do separador, o próprio separador, e a parte após o separador. Se o separador não for encontrado, retorna uma tupla com 3 elementos contendo a string, seguido de duas strings vazias.

str.removeprefix(prefix, /)

Se a string começar com a string prefix, retorna string[len(prefix):]. Caso contrário, retorna uma cópia da string original:

>>> 'TestHook'.removeprefix('Test')
'Hook'
>>> 'BaseTestCase'.removeprefix('Test')
'BaseTestCase'

Adicionado na versão 3.9.

str.removesuffix(suffix, /)

Se a string terminar com a string suffix e a suffix não estiver vazia, retorna string[:-len(suffix)]. Caso contrário, retorna uma cópia da string original:

>>> 'MiscTests'.removesuffix('Tests')
'Misc'
>>> 'TmpDirMixin'.removesuffix('Tests')
'TmpDirMixin'

Adicionado na versão 3.9.

str.replace(old, new, count=-1)

Retorna uma cópia da string com todas as ocorrências da substring old substituídas por new. Se o argumento opcional count é fornecido, apenas as primeiras count ocorrências são substituídas. Se count não é especificado ou é igual a -1, então todas as ocorrências serão substituídas.

Alterado na versão 3.13: count agora é suportado como um argumento nomeado.

str.rfind(sub[, start[, end]])

Retorna o maior índice onde a substring sub foi encontrada dentro da string, onde sub está contida dentro do intervalo s[start:end]. Argumentos opcionais start e end são interpretados usando a notação slice. Retorna -1 em caso de falha.

str.rindex(sub[, start[, end]])

Similar a rfind() mas levanta um ValueError quando a substring sub não é encontrada.

str.rjust(width[, fillchar])

Retorna a string alinhada à direita em uma string de comprimento width. Preenchimento é feito usando o caractere fillchar especificado (o padrão é um caractere de espaço ASCII). A string original é retornada se width é menor que ou igual a len(s).

str.rpartition(sep)

Quebra a string na última ocorrência de sep, e retorna uma tupla com 3 elementos contendo a parte antes do separador, o próprio separador, e a parte após o separador. Se o separador não for encontrado, retorna uma tupla com 3 elementos contendo duas strings vazias, seguido da própria string original.

str.rsplit(sep=None, maxsplit=-1)

Retorna uma lista de palavras na string, usando sep como a string delimitadora. Se maxsplit é fornecido, no máximo maxsplit cortes são feitos, sendo estes mais à direita. Se sep não foi especificado ou None foi informado, qualquer string de espaço em branco é um separador. Exceto pelo fato de separar pela direita, rsplit() se comporta como split(), o qual é descrito em detalhes abaixo.

str.rstrip([chars])

Retorna uma cópia da string com caracteres no final removidos. O argumento chars é uma string que especifica o conjunto de caracteres para serem removidos. Se omitidos ou tiver o valor None, o argumento chars considera como padrão a remoção dos espaços em branco. O argumento chars não é um sufixo; ao invés disso, todas as combinações dos seus valores são removidos:

>>> '   spacious   '.rstrip()
'   spacious'
>>> 'mississippi'.rstrip('ipz')
'mississ'

Consulte str.removesuffix() para um método que removerá uma única string de sufixo em vez de todo um conjunto de caracteres. Por exemplo:

>>> 'Monty Python'.rstrip(' Python')
'M'
>>> 'Monty Python'.removesuffix(' Python')
'Monty'

str.split(sep=None, maxsplit=-1)

Retorna uma lista de palavras na string, usando sep como a string delimitadora. Se maxsplit é fornecido, no máximo maxsplit cortes são feitos (portando, a lista terá no máximo maxsplit+1 elementos). Se maxsplit não foi especificado ou -1 foi informado, então não existe limite no número de cortes (todos os cortes possíveis são realizados).

Se sep é fornecido, delimitadores consecutivos não são agrupados juntos e eles são destinados para delimitar strings vazias (por exemplo, '1,,2'.split(',') retorna ['1', '', '2']). O argumento sep pode consistir em vários caracteres como um único delimitador (para separar com vários delimitadores, use re.split()). Separar uma string vazia com um separador especificado retorna [''].

Por exemplo:

>>> '1,2,3'.split(',')
['1', '2', '3']
>>> '1,2,3'.split(',', maxsplit=1)
['1', '2,3']
>>> '1,2,,3,'.split(',')
['1', '2', '', '3', '']
>>> '1<>2<>3<4'.split('<>')
['1', '2', '3<4']

Se sep não for especificado ou for None, um algoritmo diferente de separação é aplicado: ocorrências consecutivas de espaços em branco são consideradas como um separador único, e o resultado não conterá strings vazias no início ou no final, se a string tiver espaços em branco no início ou no final. Consequentemente, separar uma string vazia ou uma string que consiste apenas de espaços em branco com o separador None, retorna [].

Por exemplo:

>>> '1 2 3'.split()
['1', '2', '3']
>>> '1 2 3'.split(maxsplit=1)
['1', '2 3']
>>> '   1   2   3   '.split()
['1', '2', '3']

str.splitlines(keepends=False)

Retorna uma lista das linhas na string, quebrando a mesma nas fronteiras de cada linha. Quebras de linhas não são incluídas na lista resultante a não ser que keepends seja fornecido e seja verdadeiro.

Este método divide nos seguintes limites das linhas. Em particular, os limites são um superconjunto de novas linhas universais.

Representação

Descrição

\n

Feed de linha

\r

Retorno de Carro

\r\n

Retorno do Carro + Feed da Linha

\v ou \x0b

Tabulação de Linha

\f ou \x0c

Formulário de Feed

\x1c

Separador de Arquivos

\x1d

Separador de Grupo

\x1e

Separador de Registro

\x85

Próxima Linha (C1 Control Code)

\u2028

Separador de Linha

\u2029

Separador de Parágrafo

Alterado na versão 3.2: \v e \f adicionado à lista de limites de linha.

Por exemplo:

>>> 'ab c\n\nde fg\rkl\r\n'.splitlines()
['ab c', '', 'de fg', 'kl']
>>> 'ab c\n\nde fg\rkl\r\n'.splitlines(keepends=True)
['ab c\n', '\n', 'de fg\r', 'kl\r\n']

Ao contrário do método split() quando um delimitador de String sep é fornecido, este método retorna uma lista vazia para a uma String vazia e uma quebra de linha de terminal não resulta numa linha extra:

>>> "".splitlines()
[]
>>> "One line\n".splitlines()
['One line']

Para comparação, temos split('\n'):

>>> ''.split('\n')
['']
>>> 'Two lines\n'.split('\n')
['Two lines', '']

str.startswith(prefix[, start[, end]])

Retorne True se a String começar com o prefixo, caso contrário, retorna False. prefixo também pode ser uma tupla de prefixos a serem procurados. Com start opcional, a String de teste começa nessa posição. Com fim opcional, interrompe a comparação de String nessa posição.

str.strip([chars])

Retorna uma cópia da string com caracteres no início e no final removidos. O argumento chars é uma string que especifica o conjunto de caracteres a serem removidos. Se for omitido ou for None, o argumento chars irá remover por padrão os caracteres em branco. O argumento chars não é um prefixo, nem um sufixo; ao contrário disso, todas as combinações dos seus seus valores são removidas:

>>> '   spacious   '.strip()
'spacious'
>>> 'www.example.com'.strip('cmowz.')
'example'

Os valores do argumento chars são removidos dos extremos inicial e final da string. Caracteres são removidos do extremo inicial até atingir um caractere da string que não está contido no conjunto de caracteres em chars. Uma ação similar acontece no extremo final da string. Por exemplo:

>>> comment_string = '#....... Section 3.2.1 Issue #32 .......'
>>> comment_string.strip('.#! ')
'Section 3.2.1 Issue #32'

str.swapcase()

Retorna uma cópia da string com caracteres maiúsculos convertidos para minúsculos e vice-versa. Perceba que não é necessariamente verdade que s.swapcase().swapcase() == s.

str.title()

Retorna uma versão titlecased da string, onde palavras iniciam com um caractere com letra maiúscula e os caracteres restantes são em letras minúsculas.

Por exemplo:

>>> 'Hello world'.title()
'Hello World'

O algoritmo usa uma definição simples independente de idioma para uma palavra, como grupos de letras consecutivas. A definição funciona em muitos contextos, mas isso significa que apóstrofes em contradições e possessivos formam limites de palavras, os quais podem não ser o resultado desejado:

>>> "they're bill's friends from the UK".title()
"They'Re Bill'S Friends From The Uk"

A função string.capwords() não tem esse problema, pois ela divide palavras apenas em espaços.

Alternativamente, uma solução alternativa para os apóstrofes pode ser construída usando expressões regulares:

>>> import re
>>> def titlecase(s):
...     return re.sub(r"[A-Za-z]+('[A-Za-z]+)?",
...                   lambda mo: mo.group(0).capitalize(),
...                   s)
...
>>> titlecase("they're bill's friends.")
"They're Bill's Friends."

str.translate(table)

Retorna uma cópia da string na qual cada caractere foi mapeado através da tabela de tradução fornecida. A tabela deve ser um objeto que implementa indexação através de __getitem__(), tipicamente um mapeamento ou uma sequência. Quando indexada por um ordinal unicode (um inteiro), o objeto tabela pode fazer qualquer uma das seguintes ações: retornar um ordinal unicode ou uma string, para mapear o caractere para um ou mais caracteres; retornar None, para deletar o caractere da string de retorno; ou levantar uma exceção LookupError, para mapear o caractere para si mesmo.

Você pode usar str.maketrans() para criar um mapa de tradução com mapeamentos caractere para caractere em diferentes formatos.

Veja também o módulo codecs para uma abordagem mais flexível para mapeamento de caractere customizado.

str.upper()

Retorna uma cópia da string com todos os caracteres que permitem maiúsculo e minúsculo [4] convertidos para letras maiúsculas. Perceba que s.upper().isupper() pode ser False se s contiver caracteres que não possuem maiúsculas e minúsculas, ou se a categoria Unicode do(s) caractere(s) resultante(s) não for “Lu” (Letra maiúscula), mas por ex “Lt” (Letra em titlecase).

O algoritmo de letras maiúsculas está descrito na seção 3.13 ‘Default Case Folding’ do Padrão Unicode [https://www.unicode.org/versions/Unicode15.1.0/ch03.pdf].

str.zfill(width)

Retorna uma cópia da String deixada preenchida com dígitos ASCII '0' para fazer uma string de comprimento width. Um prefixo sinalizador principal ('+'/'-') será tratado inserindo o preenchimento após o caractere de sinal em vez de antes. A String original será retornada se o width for menor ou igual a len(s).

Por exemplo:

>>> "42".zfill(5)
'00042'
>>> "-42".zfill(5)
'-0042'

Formatação de String no Formato no estilo printf

Nota

As operações de formatação descritas aqui exibem uma variedade de peculiaridades que levam a diversos erros comuns (tais como não conseguir exibir tuplas e dicionários corretamente). Usar o novo formatador de string literal (f-strings), a interface str.format(), ou templates de strings pode ajudar a evitar esses erros. Cada uma dessas alternativas fornece seus próprios custos e benefícios de simplicidade, flexibilidade, e/ou extensibilidade.

Os objetos string possuem um único operador embutido: o operador % (módulo). O mesmo também é conhecido como o operador de formatação ou interpolação. Dado format % values (onde format é uma string), as especificações de conversão % em format são substituídas por zero ou mais elementos de values. O efeito é semelhante ao uso da função sprintf() na linguagem C. Por exemplo:

>>> print('%s has %d quote types.' % ('Python', 2))
Python has 2 quote types.

Se format precisar de um único operador, valores podem ser objetos simples ou que não sejam uma tupla. [5] Caso contrário, valores precisarão ser uma tupla com exatamente o número de itens especificados pela string de formatação, ou um único mapa de objetos (por exemplo, um dicionário).

Um especificador de conversão contém dois ou mais caracteres e tem os seguintes componentes, que devem aparecer nesta ordem:

O caractere '%', que determina o início do especificador.

Mapeamento de Chaves (opcional), consistindo de uma sequência entre parênteses de caracteres (por exemplo, (algumnome)).

Flags de conversão (opcional), que afetam o resultado de alguns tipos de conversão.

Largura mínima do Campo(opcional). Se for especificado por '*' (asterisco), a largura real será lida a partir do próximo elemento da tupla em values e o objeto a converter virá após a largura mínima do campo e a precisão que é opcional.

Precisão (opcional), fornecido como uma '.' (ponto) seguido pela precisão. Se determinado como um '*' (um asterisco), a precisão real será lida a partir do próximo elemento da tupla em values, e o valor a converter virá após a precisão.

Modificador de Comprimento(opcional).

Tipos de Conversão

Quando o argumento certo for um dicionário (ou outro tipo de mapeamento), então os formatos na string deverão incluir uma chave de mapeamento entre parênteses nesse dicionário inserido imediatamente após o caractere '%'. A key de mapeamento seleciona o valor a ser formatado a partir do mapeamento. Por exemplo:

>>> print('%(language)s has %(number)03d quote types.' %
...       {'language': "Python", "number": 2})
Python has 002 quote types.

Nesse caso, nenhum especificador * poderá ocorrer num formato (uma vez que eles exigem uma lista de parâmetros sequenciais).

Os caracteres flags de conversão são:

Sinalizador

Significado

'#'

A conversão de valor usará o “formulário alternativo” (em que definimos abaixo).

'0'

A conversão será preenchida por zeros para valores numéricos.

'-'

O valor convertido será ajustado à esquerda (substitui a conversão '0' se ambos forem fornecidos).

' '

(um espaço) Um espaço em branco deverá ser deixado antes de um número positivo (ou uma String vazia) produzido por uma conversão assinada.

'+'

Um sinal de caractere ('+' ou '-') precedera a conversão (substituindo o sinalizador “space”).

Um modificador de comprimento (h, l, ou L) pode estar presente, mas será ignorado, pois o mesmo não é necessário para o Python – então por exemplo %ld é idêntico a %d.

Os tipos de conversão são:

Conversão

Significado

Notas

'd'

Número decimal inteiro sinalizador.

'i'

Número decimal inteiro sinalizador.

'o'

Valor octal sinalizador.

(1)

'u'

Tipo obsoleto – é idêntico a 'd'.

(6)

'x'

Sinalizador hexadecimal (minúsculas).

(2)

'X'

Sinalizador hexadecimal (maiúscula).

(2)

'e'

Formato exponencial de ponto flutuante (minúsculas).

(3)

'E'

Formato exponencial de ponto flutuante (maiúscula).

(3)

'f'

Formato decimal de ponto flutuante.

(3)

'F'

Formato decimal de ponto flutuante.

(3)

'g'

O formato de ponto flutuante. Usa o formato exponencial em minúsculas se o expoente for inferior a -4 ou não inferior a precisão, formato decimal, caso contrário.

(4)

'G'

Formato de ponto flutuante. Usa o formato exponencial em maiúsculas se o expoente for inferior a -4 ou não inferior que a precisão, formato decimal, caso contrário.

(4)

'c'

Caráter único (aceita inteiro ou um único caractere String).

'r'

String (converte qualquer objeto Python usando a função repr()).

(5)

's'

String (converte qualquer objeto Python usando a função str()).

(5)

'a'

String (converte qualquer objeto Python usando a função ascii()).

(5)

'%'

Nenhum argumento é convertido, resultando um caractere ''%' no resultado.

Notas:

A forma alternativa faz com que um especificador octal principal ('0o') seja inserido antes do primeiro dígito.

O formato alternativo produz um '0x' ou '0X' (dependendo se o formato 'x' or 'X' foi usado) para ser inserido antes do primeiro dígito.

A forma alternativa faz com que o resultado sempre contenha um ponto decimal, mesmo que nenhum dígito o siga.

A precisão determina o número de dígitos após o ponto decimal e o padrão é 6.

A forma alternativa faz com que o resultado sempre contenha um ponto decimal e os zeros à direita não sejam removidos, como de outra forma seriam.

A precisão determina o número de dígitos significativos antes e depois do ponto decimal e o padrão é 6.

Se a precisão for N, a saída será truncada em caracteres N.

Veja PEP 237 [https://peps.python.org/pep-0237/].

Como as Strings do Python possuem comprimento explícito, %s as conversões não presumem que '\0' é o fim da string.

Alterado na versão 3.1: %f as conversões para números cujo valor absoluto é superior a 1e50 não são mais substituídas pela conversão %g.

Tipos de Sequência Binária — bytes, bytearray, memoryview

Os principais tipos embutidos para manipular dados binários são bytes e bytearray. Eles são suportados por memoryview a qual usa o buffer protocol para acessar a memória de outros objetos binários sem precisar fazer uma cópia.

O módulo array suporta armazenamento eficiente de tipos de dados básicos como inteiros de 32 bits e valores de ponto-flutuante com precisão dupla IEEE754.

Objetos Bytes

Objetos bytes são sequências imutáveis de bytes simples. Como muitos protocolos binários importantes são baseados em codificação ASCII de texto, objetos bytes oferecem diversos métodos que são válidos apenas quando trabalhamos com dados compatíveis com ASCII, e são proximamente relacionados com objetos string em uma variedade de outros sentidos.

class bytes([source[, encoding[, errors]]])

Em primeiro lugar, a sintaxe para literais de bytes é em grande parte a mesma para literais de String, exceto que um prefixo b é adicionado:

Aspas simples: b'still allows embedded "double" quotes'

Aspas duplas: b"still allows embedded 'single' quotes"

Aspas triplas: b'''3 single quotes''', b"""3 double quotes"""

Apenas caracteres ASCII são permitidos em literais de bytes (independentemente da codificação declarada). Qualquer valor binário superior a 127 deverá ser inserido em literais de bytes usando a sequência de escape apropriada.

Assim como string literais, bytes literais também podem usar um prefixo r para desabilitar o processamento de sequências de escape. Veja Literais de string e bytes para mais sobre as várias formas de bytes literais, incluindo suporte a sequências de escape.

Enquanto bytes literais e representações são baseados em texto ASCII, objetos bytes na verdade se comportam como sequências imutáveis de inteiros, com cada valor na sequência restrito aos limites 0 <= x < 256 (tentativas de violar essa restrição irão disparar ValueError). Isto é feito deliberadamente para enfatizar que enquanto muitos formatos binários incluem elementos baseados em ASCII e podem ser utilmente manipulados com alguns algoritmos orientados a texto, esse não é geralmente o caso para dados binários arbitrários (aplicar algoritmos de processamento de texto cegamente em formatos de dados binários que não são compatíveis com ASCII irá usualmente resultar em dados corrompidos).

Além das formas literais, os objetos bytes podem ser criados de várias outras maneiras:

Um bytes preenchido com objetos zero com um comprimento especificado: bytes(10)

De um iterável de inteiros: bytes(range(20))

Copiando dados binários existentes através do protocolo de Buffer: bytes(obj)

Veja também os embutidos bytes.

Como 2 dígitos hexadecimais correspondem precisamente a apenas um byte, números hexadecimais são um formato comumente usado para descrever dados binários. Portanto, o tipo bytes tem um método de classe adicional para ler dados nesse formato:

classmethod fromhex(string)

Este método de classe da classe bytes retorna um objeto bytes, decodificando o objeto string fornecido. A string deve conter dois dígitos hexadecimais por byte, com espaço em branco ASCII sendo ignorado.

>>> bytes.fromhex('2Ef0 F1f2  ')
b'.\xf0\xf1\xf2'

Alterado na versão 3.7: bytes.fromhex() agora ignora todos os espaços em branco em ASCII na string, não apenas espaços.

Uma função de conversão reversa existe para transformar um objeto bytes na sua representação hexadecimal.

hex([sep[, bytes_per_sep]])

Retorna um objeto string contendo dois dígitos hexadecimais para cada byte na instância.

>>> b'\xf0\xf1\xf2'.hex()
'f0f1f2'

Se você quiser tornar a string hexadecimal mais fácil de ler, você pode especificar um caractere separador através do parâmetro sep, que será incluído no resultado. Por padrão, este separador será incluído entre cada byte. Um segundo parâmetro opcional bytes_per_sep controla o espaçamento. Valores positivos calculam a posição do separador a partir da direita, valores negativos calculam a partir da esquerda.

>>> value = b'\xf0\xf1\xf2'
>>> value.hex('-')
'f0-f1-f2'
>>> value.hex('_', 2)
'f0_f1f2'
>>> b'UUDDLRLRAB'.hex(' ', -4)
'55554444 4c524c52 4142'

Adicionado na versão 3.5.

Alterado na versão 3.8: bytes.hex() agora suporta os parâmetros opcionais sep e bytes_per_sep para inserir separadores entre bytes na saída hexadecimal.

Como objetos bytes são sequências de inteiros (certo parentesco a uma tupla), para um objeto bytes b, b[0] será um inteiro, enquanto b[0:1] será um objeto bytes de comprimento 1. (Isso contrasta com strings de texto, onde tanto o uso por índice quanto por fatiamento irão produzir uma string de comprimento 1)

A representação de objetos bytes utiliza o formato literal (b'...'), uma vez que ela é frequentemente mais útil do que, por exemplo, bytes([46, 46, 46]). Você sempre pode converter um objeto bytes em uma lista de inteiros usando list(b).

Objetos Bytearray

Objetos bytearray são mutáveis, em contrapartida a objetos bytes.

class bytearray([source[, encoding[, errors]]])

Não existe sintaxe literal dedicada para objetos de bytearray, ao invés disso eles sempre são criados através da chamada do construtor:

Criando uma instância vazia: bytearray()

Criando uma instância cheia de zero com um determinado comprimento: bytearray(10)

A partir de inteiros iteráveis: bytearray(range(20))

Copiando dados binários existentes através do protocolo de buffer: bytearray(b'Hi!')

Como os objetos bytearray são mutáveis, os mesmos suportam as operações de sequência mutable além das operações comuns de bytes e bytearray descritas em Operações com Bytes e Bytearray.

Veja também o tipo embutido bytearray.

Uma vez que 2 dígitos hexadecimais correspondem precisamente a um único byte, os números hexadecimais são um formato comumente usado para descrever dados binários. Consequentemente, o tipo de bytearray tem um método de classe adicional para ler dados nesse formato:

classmethod fromhex(string)

Este método de classe da classe bytearray retorna um objeto bytearray, decodificando o objeto string fornecido. A string deve conter dois dígitos hexadecimais por byte, com espaços em branco ASCII sendo ignorados.

>>> bytearray.fromhex('2Ef0 F1f2  ')
bytearray(b'.\xf0\xf1\xf2')

Alterado na versão 3.7: bytearray.fromhex() agora ignora todos os espaços em branco em ASCII na string, não apenas espaços.

Existe uma função de conversão reversa para transformar um objeto bytearray em sua representação hexadecimal.

hex([sep[, bytes_per_sep]])

Retorna um objeto string contendo dois dígitos hexadecimais para cada byte na instância.

>>> bytearray(b'\xf0\xf1\xf2').hex()
'f0f1f2'

Adicionado na versão 3.5.

Alterado na versão 3.8: Similar a bytes.hex(), bytearray.hex() agora suporta os parâmetros opcionais sep e bytes_per_sep para inserir separadores entre bytes na saída hexadecimal.

Como os objetos bytearray são sequências de inteiros (semelhante a uma lista), para um objeto bytearray b, b[0] será um inteiro, enquanto que b[0:1] será um objeto bytearray de comprimento 1. (Isso contrasta com as Strings de texto, onde tanto a indexação como o fatiamento produzirão sequências de comprimento 1)

A representação de objetos bytearray utiliza o formato literal bytes (bytearray(b'...')), uma vez que muitas vezes é mais útil do que, por exemplo, bytearray([46, 46, 46]). Você sempre pode converter um objeto bytearray em uma lista de inteiros usando list(b).

Operações com Bytes e Bytearray

Ambos os tipos, bytes e os objetos bytearray suportam as operações de sequências comuns. Os mesmo interagem não apenas com operandos do mesmo tipo, mas com qualquer objeto byte ou similar. Devido a esta flexibilidade, os mesmos podem ser misturados livremente em operações sem causar erros. No entanto, o tipo de retorno do resultado pode depender da ordem dos operandos.

Nota

Os métodos em bytes e objetos Bytearray não aceitam Strings como argumentos, assim como os métodos de Strings não aceitam bytes como argumentos. Por exemplo, devemos escrever:

a = "abc"
b = a.replace("a", "f")

e:

a = b"abc"
b = a.replace(b"a", b"f")

Alguns operações com bytes e bytearray presumem o uso de formatos binários compatíveis com ASCII e, portanto, devem ser evitados ao trabalhar com dados binários arbitrários. Essas restrições são abordadas a seguir.

Nota

O uso dessas operações baseadas em ASCII para manipular dados binários que não são armazenados num formato baseado em ASCII poderá resultar na corrupção de dados.

Os métodos a seguir em Bytes e Bytearray podem ser usados com dados binários arbitrários.

bytes.count(sub[, start[, end]])

bytearray.count(sub[, start[, end]])

Retorna o número de ocorrências não sobrepostas de subsequência sub no intervalo [start, end]. Os argumentos opcionais start e end são interpretados como na notação de fatiamento.

A subsequência a ser procurada poderá ser qualquer objeto byte ou similar ou um inteiro no intervalo de 0 a 255.

Se sub estiver vazio, retorna o número de fatias vazias entre os caracteres, que é o comprimento do objeto bytes mais um.

Alterado na versão 3.3: Também aceita um número inteiro no intervalo de 0 a 255 como subsequência.

bytes.removeprefix(prefix, /)

bytearray.removeprefix(prefix, /)

Se os dados binários começarem com a string prefix, retorna bytes[len(prefix):]. Caso contrário, retorna uma cópia dos dados binários originais:

>>> b'TestHook'.removeprefix(b'Test')
b'Hook'
>>> b'BaseTestCase'.removeprefix(b'Test')
b'BaseTestCase'

O prefix pode ser qualquer objeto byte ou similar.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

Adicionado na versão 3.9.

bytes.removesuffix(suffix, /)

bytearray.removesuffix(suffix, /)

Se os dados binários terminarem com a string suffix e a suffix não estiver vazia, retorna bytes[:-len(suffix)]. Caso contrário, retorna uma cópia dos dados binários originais:

>>> b'MiscTests'.removesuffix(b'Tests')
b'Misc'
>>> b'TmpDirMixin'.removesuffix(b'Tests')
b'TmpDirMixin'

O suffix pode ser qualquer objeto byte ou similar.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

Adicionado na versão 3.9.

bytes.decode(encoding='utf-8', errors='strict')

bytearray.decode(encoding='utf-8', errors='strict')

Retorna os bytes decodificados para uma str.

encoding tem como padrão 'utf-8'; veja Standard Encodings para valores possíveis.

errors controla como os erros de decodificação são tratados. Se 'strict' (o padrão), uma exceção UnicodeError é levantada. Outros valores possíveis são 'ignore', 'replace' e qualquer outro nome registrado via codecs.register_error(). Veja Error Handlers para detalhes.

Por motivos de desempenho, o valor de errors não é verificado quanto à validade, a menos que um erro de decodificação realmente ocorra, Modo de Desenvolvimento do Python esteja ativado ou uma construção de depuração seja usada.

Nota

Passar o argumento encoding para str permite decodificar qualquer objeto objeto byte ou similar diretamente, sem a necessidade de criar um objeto bytes ou bytearray temporário.

Alterado na versão 3.1: Adicionado suporte para argumentos nomeados.

Alterado na versão 3.9: O valor do argumento errors agora é verificado em Modo de Desenvolvimento do Python e no modo de depuração.

bytes.endswith(suffix[, start[, end]])

bytearray.endswith(suffix[, start[, end]])

Retorna True se os dados binários encerra com o parâmetro suffix especificado, caso contrário retorna False. suffix também pode ser uma tupla de sufixos para averiguar. Com o parâmetro opcional start, a procura começa naquela posição. Com o parâmetro opcional end, o método encerra a comparação na posição fornecida.

O sufixo(es) para buscas pode ser qualquer termos objeto byte ou similar.

bytes.find(sub[, start[, end]])

bytearray.find(sub[, start[, end]])

Retorna o índice mais baixo nos dados onde a sub-sequência sub é encontrada, tal que sub está contida na fatia s[start:end]. Argumentos opcionais start e end são interpretados como na notação de fatiamento. Retorna -1 se sub não for localizada.

A subsequência a ser procurada poderá ser qualquer objeto byte ou similar ou um inteiro no intervalo de 0 a 255.

Nota

O método find() deve ser usado apenas se você precisa saber a posição de sub. Para verificar se sub é uma substring ou não, use o operador in:

>>> b'Py' in b'Python'
True

Alterado na versão 3.3: Também aceita um número inteiro no intervalo de 0 a 255 como subsequência.

bytes.index(sub[, start[, end]])

bytearray.index(sub[, start[, end]])

Como find(), mas levanta a exceção ValueError quando a subsequência não for encontrada.

A subsequência a ser procurada poderá ser qualquer objeto byte ou similar ou um inteiro no intervalo de 0 a 255.

Alterado na versão 3.3: Também aceita um número inteiro no intervalo de 0 a 255 como subsequência.

bytes.join(iterable)

bytearray.join(iterable)

Retorna um objeto bytes ou bytearray que é a concatenação das sequências de dados binários no iterável. Um TypeError será levantado se existirem quaisquer valores que não sejam objeto byte ou similar, no iterável, incluindo objetos str. O separador entre elementos é o conteúdo do objeto bytes ou bytearray que está fornecendo este método.

static bytes.maketrans(from, to)

static bytearray.maketrans(from, to)

Este método estático retorna uma tabela de tradução usável para bytes.translate(), que irá mapear cada caractere em from no caractere na mesma posição em to; from e to devem ambos ser objeto byte ou similar e ter o mesmo comprimento.

Adicionado na versão 3.1.

bytes.partition(sep)

bytearray.partition(sep)

Quebra a sequência na primeira ocorrência de sep, e retorna uma tupla com 3 elementos contendo a parte antes do separador, o próprio separador, e a parte após o separador. Se o separador não for encontrado, retorna uma tupla com 3 elementos contendo uma cópia da sequência original, seguido de dois bytes ou objetos bytearray vazios.

O separador para buscar pode ser qualquer termos objeto byte ou similar.

bytes.replace(old, new[, count])

bytearray.replace(old, new[, count])

Retornar uma cópia da sequência com todas as ocorrências de subsequências antigas substituídas por novo. Se o argumento opcional count for fornecido, apenas as primeiras ocorrências de count serão substituídas.

A subsequência para buscar e substituição pode ser qualquer termos objeto byte ou similar.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.rfind(sub[, start[, end]])

bytearray.rfind(sub[, start[, end]])

Retorna o índice mais alto na sequência onde a subsequência sub foi encontrada, de modo que sub esteja contido dentro de s[start:end]. Os argumentos opcionais start e end são interpretados como na notação de fatiamento. Caso ocorra algum problema será retornado -1.

A subsequência a ser procurada poderá ser qualquer objeto byte ou similar ou um inteiro no intervalo de 0 a 255.

Alterado na versão 3.3: Também aceita um número inteiro no intervalo de 0 a 255 como subsequência.

bytes.rindex(sub[, start[, end]])

bytearray.rindex(sub[, start[, end]])

Semelhante a rfind() mas levanta ValueError quando a subsequência sub não é encontrada.

A subsequência a ser procurada poderá ser qualquer objeto byte ou similar ou um inteiro no intervalo de 0 a 255.

Alterado na versão 3.3: Também aceita um número inteiro no intervalo de 0 a 255 como subsequência.

bytes.rpartition(sep)

bytearray.rpartition(sep)

Quebra a sequência na primeira ocorrência de sep, e retorna uma tupla com 3 elementos contendo a parte antes do separador, o próprio separador, e a parte após o separador. Se o separador não for encontrado, retorna uma tupla com 3 elementos contendo dois bytes ou objetos bytearray vazios, seguido por uma cópia da sequência original.

O separador para buscar pode ser qualquer termos objeto byte ou similar.

bytes.startswith(prefix[, start[, end]])

bytearray.startswith(prefix[, start[, end]])

Retorna True se os dados binários começam com o prefix especificado, caso contrário retorna False. prefix também pode ser uma tupla de prefixos para procurar. Com o parâmetro opcional start, começa a procura na posição indicada. Com o parâmetro opcional end, encerra a procura na posição indicada.

Os prefixos para pesquisar podem ser qualquer objeto byte ou similar.

bytes.translate(table, /, delete=b'')

bytearray.translate(table, /, delete=b'')

Retorna uma cópia dos bytes ou objeto bytearray, onde todas as ocorrências de bytes do argumento opcional delete são removidas, e os bytes restantes foram mapeados através da tabela de tradução fornecida, a qual deve ser um objeto bytes de comprimento 256.

Você pode usar o método bytes.maketrans() para criar uma tabela de tradução.

Define o argumento table como None para traduções que excluem apenas caracteres:

>>> b'read this short text'.translate(None, b'aeiou')
b'rd ths shrt txt'

Alterado na versão 3.6: delete agora é suportado como um argumento nomeado.

Os seguintes métodos de objetos bytes e bytearray tem comportamentos padrões que presumem o uso de formatos binários compatíveis com ASCII, mas ainda podem ser usados com dados binários arbitrários através da passagem argumentos apropriados. Perceba que todos os métodos de bytearray nesta seção não alteram os argumentos, e ao invés disso produzem novos objetos.

bytes.center(width[, fillbyte])

bytearray.center(width[, fillbyte])

Retorna uma cópia do objeto centralizado em uma sequência de comprimento width. Preenchimento é feito usando o fillbyte especificado (o padrão é um espaço ASCII). Para objetos bytes, a sequência original é retornada se width é menor que ou igual a len(s).

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.ljust(width[, fillbyte])

bytearray.ljust(width[, fillbyte])

Retorna uma cópia do objeto alinhado a esquerda em uma sequência de comprimento width. Preenchimento é feito usando o fillbyte especificado (o padrão é um espaço ASCII). Para objetos bytes, a sequência original é retornada se width é menor que ou igual a len(s).

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.lstrip([chars])

bytearray.lstrip([chars])

Retorna uma cópia da sequência com bytes especificados no início removidos. O argumento chars é uma sequência binária que especifica o conjunto de bytes a serem removidos - o nome refere-se ao fato de este método é usualmente utilizado com caracteres ASCII. Se for omitido ou for None, o argumento chars irá remover por padrão os espaços em branco ASCII. O argumento chars não é um prefixo; ao contrário disso, todas as combinações dos seus seus valores são removidas:

>>> b'   spacious   '.lstrip()
b'spacious   '
>>> b'www.example.com'.lstrip(b'cmowz.')
b'example.com'

A sequência binária de valores de bytes a serem removidos pode ser objeto byte ou similar. Consulte removeprefix() para um método que removerá uma única string de prefixo em vez de todo um conjunto de caracteres. Por exemplo:

>>> b'Arthur: three!'.lstrip(b'Arthur: ')
b'ee!'
>>> b'Arthur: three!'.removeprefix(b'Arthur: ')
b'three!'

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.rjust(width[, fillbyte])

bytearray.rjust(width[, fillbyte])

Retorna uma cópia do objeto alinhado a direita em uma sequência de comprimento width. Preenchimento é feito usando o fillbyte especificado (o padrão é um espaço ASCII). Para objetos bytes, a sequência original é retornada se width é menor que ou igual a len(s).

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.rsplit(sep=None, maxsplit=-1)

bytearray.rsplit(sep=None, maxsplit=-1)

Divide a sequência binária em subsequência do mesmo tipo, usando sep como um delimitador de string. Se maxsplit é fornecido, no máximo maxsplit divisões são feitas, aquelas que estão mais à direita. Se sep não é especificado ou é None, qualquer subsequência consistindo unicamente de espaço em branco ASCII é um separador. Exceto por dividir pela direita, rsplit() comporta-se como split(), o qual é descrito em detalhes abaixo.

bytes.rstrip([chars])

bytearray.rstrip([chars])

Retorna uma cópia da sequência com bytes especificados no final removidos. O argumento chars é uma sequência binária que especifica o conjunto de bytes a serem removidos - o nome refere-se ao fato de este método é usualmente utilizado com caracteres ASCII. Se for omitido ou for None, o argumento chars irá remover por padrão os espaços em branco ASCII. O argumento chars não é um sufixo; ao contrário disso, todas as combinações dos seus seus valores são removidas:

>>> b'   spacious   '.rstrip()
b'   spacious'
>>> b'mississippi'.rstrip(b'ipz')
b'mississ'

A sequência binária de valores de bytes a serem removidos pode ser objeto byte ou similar. Consulte removesuffix() para um método que removerá uma única string de sufixo em vez de todo um conjunto de caracteres. Por exemplo:

>>> b'Monty Python'.rstrip(b' Python')
b'M'
>>> b'Monty Python'.removesuffix(b' Python')
b'Monty'

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.split(sep=None, maxsplit=-1)

bytearray.split(sep=None, maxsplit=-1)

Divide a sequência binária em subsequências do mesmo tipo, usando sep como o delimitador de string. Se maxsplit é fornecido e não-negativo, no máximo maxsplit divisões são feitas (logo, a lista terá no máximo maxsplit+1 elementos). Se maxsplit não é especificado ou é -1, então não existe limite no número de divisões (todas as divisões possíveis são feitas).

Se sep é fornecido, delimitadores consecutivos não são agrupados juntos e eles são destinados para delimitar strings vazias (por exemplo, b'1,,2'.split(b',') retorna [b'1', b'', b'2']). O argumento sep pode consistir de uma sequência de múltiplos bytes como um único delimitador. Separar uma sequência vazia com um separador especificado retorna [b''] ou [bytearray(b'')] dependendo do tipo do objeto que está sendo separado. O argumento sep pode ser qualquer objeto byte ou similar.

Por exemplo:

>>> b'1,2,3'.split(b',')
[b'1', b'2', b'3']
>>> b'1,2,3'.split(b',', maxsplit=1)
[b'1', b'2,3']
>>> b'1,2,,3,'.split(b',')
[b'1', b'2', b'', b'3', b'']
>>> b'1<>2<>3<4'.split(b'<>')
[b'1', b'2', b'3<4']

Se sep não for especificado ou for None, um algoritmo diferente de separação é aplicado: ocorrências consecutivas de espaços em branco ASCII são consideradas como um separador único, e o resultado não conterá strings vazias no início ou no final, se a sequência tiver espaços em branco no início ou no final. Consequentemente, separar uma sequência vazia ou uma sequência que consiste apenas de espaços em branco ASCII sem um separador especificado, retorna [].

Por exemplo:

>>> b'1 2 3'.split()
[b'1', b'2', b'3']
>>> b'1 2 3'.split(maxsplit=1)
[b'1', b'2 3']
>>> b'   1   2   3   '.split()
[b'1', b'2', b'3']

bytes.strip([chars])

bytearray.strip([chars])

Retorna uma cópia da sequência com os bytes especificados no início e no final removidos. O argumento chars é uma sequência binária que especifica o conjunto de bytes a serem removidos - o nome refere-se ao fato que este método é normalmente utilizado com caracteres ASCII. Se for omitido ou for None, o argumento chars irá remover por padrão os espaços em branco ASCII. O argumento chars não é um prefixo, nem um sufixo; ao contrário disso, todas as combinações dos seus seus valores são removidas:

>>> b'   spacious   '.strip()
b'spacious'
>>> b'www.example.com'.strip(b'cmowz.')
b'example'

A sequência binária de valores de bytes a serem removidos pode ser qualquer objeto byte ou similar.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

O seguintes métodos de bytes e objetos bytearray presumem o uso de formatos binários compatíveis com ASCII e não devem ser aplicados a dados binários arbitrários. Perceba que todos os métodos de bytearray nesta seção não alteram os argumentos, e ao invés disso produzem novos objetos.

bytes.capitalize()

bytearray.capitalize()

Retorna uma cópia da sequência com cada byte interpretado como um caractere ASCII, e o primeiro byte em letra maiúscula e o resto em letras minúsculas. Valores de bytes que não são ASCII são passados adiante sem mudanças.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.expandtabs(tabsize=8)

bytearray.expandtabs(tabsize=8)

Retorna uma cópia da sequência onde todos os caracteres de tabulação ASCII são substituídos por um ou mais espaços ASCII, dependendo da coluna atual e do tamanho fornecido para a tabulação. Posições de tabulação ocorrem a cada tabsize bytes (o padrão é 8, dada as posições de tabulação nas colunas 0, 8, 16 e assim por diante). Para expandir a sequência, a coluna atual é definida como zero e a sequência é examinada byte por byte. Se o byte é um caractere ASCII de tabulação (b'\t'), um ou mais caracteres de espaço são inseridos no resultado até que a coluna atual seja igual a próxima posição de tabulação. (O caractere de tabulação em si não é copiado.) Se o byte atual é um caractere ASCII de nova linha (b'\n') ou de retorno (b'\r'), ele é copiado e a coluna atual é redefinida para zero. Qualquer outro byte é copiado sem ser modificado e a coluna atual é incrementada em uma unidade independentemente de como o byte é representado quanto é impresso:

>>> b'01\t012\t0123\t01234'.expandtabs()
b'01      012     0123    01234'
>>> b'01\t012\t0123\t01234'.expandtabs(4)
b'01  012 0123    01234'

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.isalnum()

bytearray.isalnum()

Retorna True se todos os bytes na sequência são caracteres alfabéticos ASCII ou dígitos decimais ASCII e a sequência não é vazia, False caso contrário. Caracteres alfabéticos ASCII são aqueles valores de byte na sequência b'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'. Dígitos decimais ASCII são aqueles valores de byte na sequência b'0123456789'.

Por exemplo:

>>> b'ABCabc1'.isalnum()
True
>>> b'ABC abc1'.isalnum()
False

bytes.isalpha()

bytearray.isalpha()

Retorna True se todos os bytes na sequência são caracteres alfabéticos ASCII e a sequência não é vazia, False caso contrário. Caracteres alfabéticos ASCII são aqueles cujo valor dos bytes estão na sequência b'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'.

Por exemplo:

>>> b'ABCabc'.isalpha()
True
>>> b'ABCabc1'.isalpha()
False

bytes.isascii()

bytearray.isascii()

Retorna True se a sequência é vazia ou todos os bytes na sequência são ASCII, False caso contrário. Bytes ASCII estão no intervalo 0-0x7F.

Adicionado na versão 3.7.

bytes.isdigit()

bytearray.isdigit()

Retorna True se todos os bytes na sequência são dígitos decimais ASCII e a sequência não é vazia, False caso contrário. Dígitos decimais ASCII são aqueles cujos valores dos bytes estão na sequência b'0123456789'.

Por exemplo:

>>> b'1234'.isdigit()
True
>>> b'1.23'.isdigit()
False

bytes.islower()

bytearray.islower()

Retorna True se existe pelo menos um caractere minúsculo ASCII na sequência e nenhum caractere maiúsculo ASCII, False caso contrário.

Por exemplo:

>>> b'hello world'.islower()
True
>>> b'Hello world'.islower()
False

Caracteres minúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'.

bytes.isspace()

bytearray.isspace()

Retorna True se todos os bytes na sequência são espaço em branco ASCII e a sequência não é vazia, False caso contrário. Caracteres de espaço em branco ASCII são aqueles cujos valores de bytes estão na sequência b' \t\n\r\x0b\f' (espaço, tabulação, nova linha, retorno do cursor, tabulação vertical, formulário de entrada).

bytes.istitle()

bytearray.istitle()

Retorna True se a sequência é titlecased ASCII e a sequência não é vazia, False caso contrário. Veja bytes.title() para mais detalhes sobre a definição de “titlecased”.

Por exemplo:

>>> b'Hello World'.istitle()
True
>>> b'Hello world'.istitle()
False

bytes.isupper()

bytearray.isupper()

Retorna True se existe pelo menos um caractere maiúsculo alfabético ASCII na sequência e nenhum caractere minúsculo ASCII, False caso contrário.

Por exemplo:

>>> b'HELLO WORLD'.isupper()
True
>>> b'Hello world'.isupper()
False

Caracteres minúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'.

bytes.lower()

bytearray.lower()

Retorna uma cópia da sequência com todos os caracteres maiúsculos ASCII convertidos para os seus correspondentes caracteres minúsculos.

Por exemplo:

>>> b'Hello World'.lower()
b'hello world'

Caracteres minúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.splitlines(keepends=False)

bytearray.splitlines(keepends=False)

Retorna uma lista das linhas na sequência binária, quebrando nos limites ASCII das linhas. Este método usa a abordagem de novas linhas universais para separar as linhas. Quebras de linhas não são incluídas na lista resultante a não ser que keepends seja fornecido e verdadeiro.

Por exemplo:

>>> b'ab c\n\nde fg\rkl\r\n'.splitlines()
[b'ab c', b'', b'de fg', b'kl']
>>> b'ab c\n\nde fg\rkl\r\n'.splitlines(keepends=True)
[b'ab c\n', b'\n', b'de fg\r', b'kl\r\n']

Ao contrário de split(), quando uma string delimitadora sep é fornecida, este método retorna uma lista vazia para a string vazia, e uma quebra de linha terminal não resulta em uma linha extra:

>>> b"".split(b'\n'), b"Two lines\n".split(b'\n')
([b''], [b'Two lines', b''])
>>> b"".splitlines(), b"One line\n".splitlines()
([], [b'One line'])

bytes.swapcase()

bytearray.swapcase()

Retorna uma cópia da sequência com todos os caracteres minúsculos ASCII convertidos para caracteres maiúsculos correspondentes, e vice-versa.

Por exemplo:

>>> b'Hello World'.swapcase()
b'hELLO wORLD'

Caracteres minúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'.

Unlike str.swapcase(), it is always the case that bin.swapcase().swapcase() == bin for the binary versions. Case conversions are symmetrical in ASCII, even though that is not generally true for arbitrary Unicode code points.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.title()

bytearray.title()

Retorna uma versão titlecased da sequência binária, onde palavras iniciam com um caractere ASCII com letra maiúscula e os caracteres restantes são em letras minúsculas. Bytes quem não possuem diferença entre maiúscula/minúscula não são alterados.

Por exemplo:

>>> b'Hello world'.title()
b'Hello World'

Caracteres minúsculos ASCII são aqueles cujos valores de byte estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de byte estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'. Todos os outros valores de bytes ignoram maiúsculas/minúsculas.

O algoritmo usa uma definição simples independente de idioma para uma palavra, como grupos de letras consecutivas. A definição funciona em muitos contextos, mas isso significa que apóstrofes em contradições e possessivos formam limites de palavras, os quais podem não ser o resultado desejado:

>>> b"they're bill's friends from the UK".title()
b"They'Re Bill'S Friends From The Uk"

Uma solução alternativa para os apóstrofes pode ser construída usando expressões regulares:

>>> import re
>>> def titlecase(s):
...     return re.sub(rb"[A-Za-z]+('[A-Za-z]+)?",
...                   lambda mo: mo.group(0)[0:1].upper() +
...                              mo.group(0)[1:].lower(),
...                   s)
...
>>> titlecase(b"they're bill's friends.")
b"They're Bill's Friends."

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.upper()

bytearray.upper()

Retorna uma cópia da sequência com todos os caracteres minúsculos ASCII convertidos para sua contraparte maiúscula correspondente.

Por exemplo:

>>> b'Hello World'.upper()
b'HELLO WORLD'

Caracteres minúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'abcdefghijklmnopqrstuvwxyz'. Caracteres maiúsculos ASCII são aqueles cujos valores de bytes estão na sequência b'ABCDEFGHIJKLMNOPQRSTUVWXYZ'.

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

bytes.zfill(width)

bytearray.zfill(width)

Retorna uma cópia da sequência preenchida a esquerda com dígitos b'0' ASCII para produzir uma sequência se comprimento width. Um sinal de prefixo inicial (b'+'/ b'-') é controlado através da inserção de preenchimento depois do caractere de sinal, ao invés de antes. Para objetos bytes, a sequência original é retornada se width é menor que ou igual a len(seq).

Por exemplo:

>>> b"42".zfill(5)
b'00042'
>>> b"-42".zfill(5)
b'-0042'

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

Estilo de Formatação de bytes printf-style

Nota

As operações de formatação descritas aqui exibem uma variedade de peculiaridades que levam a uma série de erros comuns (como a falha na exibição de Tuplas e Dicionários corretamente). Se o valor que está sendo impresso puder ser uma tupla ou dicionário, envolva-o numa tupla.

Objetos Bytes (bytes/bytearray) possuem uma operação integrada exclusiva: o operador % (modulo). Isso também é conhecido como o bytes de formatação ou o operador de interpolação. Dado format % values (onde format é um objeto bytes), as especificações de conversão % em format são substituídas por zero ou mais elementos de values. O efeito é semelhante ao uso da função sprintf() na linguagem C.

Se format requer um único argumento, values poderá ser um único objeto não-tuple. [5] Caso contrário, values deverá ser uma tupla com exatamente o número de itens especificados pelo objeto de formatação de Bytes, ou um único objeto de mapeamento (por exemplo, um dicionário).

Um especificador de conversão contém dois ou mais caracteres e tem os seguintes componentes, que devem aparecer nesta ordem:

O caractere '%', que determina o início do especificador.

Mapeamento de Chaves (opcional), consistindo de uma sequência entre parênteses de caracteres (por exemplo, (algumnome)).

Flags de conversão (opcional), que afetam o resultado de alguns tipos de conversão.

Largura mínima do Campo(opcional). Se for especificado por '*' (asterisco), a largura real será lida a partir do próximo elemento da tupla em values e o objeto a converter virá após a largura mínima do campo e a precisão que é opcional.

Precisão (opcional), fornecido como uma '.' (ponto) seguido pela precisão. Se determinado como um '*' (um asterisco), a precisão real será lida a partir do próximo elemento da tupla em values, e o valor a converter virá após a precisão.

Modificador de Comprimento(opcional).

Tipos de Conversão

Quando o argumento a direita é um dicionário (ou outro tipo de mapeamento), então o formato no objeto bytes deve incluir um mapeamento de chaves entre parêntesis neste dicionário inserido imediatamente após o caractere '%'. O mapeamento de chaves seleciona o valor a ser formatado a partir do mapeamento. Por exemplo:

>>> print(b'%(language)s has %(number)03d quote types.' %
...       {b'language': b"Python", b"number": 2})
b'Python has 002 quote types.'

Nesse caso, nenhum especificador * poderá ocorrer num formato (uma vez que eles exigem uma lista de parâmetros sequenciais).

Os caracteres flags de conversão são:

Sinalizador

Significado

'#'

A conversão de valor usará o “formulário alternativo” (em que definimos abaixo).

'0'

A conversão será preenchida por zeros para valores numéricos.

'-'

O valor convertido será ajustado à esquerda (substitui a conversão '0' se ambos forem fornecidos).

' '

(um espaço) Um espaço em branco deverá ser deixado antes de um número positivo (ou uma String vazia) produzido por uma conversão assinada.

'+'

Um sinal de caractere ('+' ou '-') precedera a conversão (substituindo o sinalizador “space”).

Um modificador de comprimento (h, l, ou L) pode estar presente, mas será ignorado, pois o mesmo não é necessário para o Python – então por exemplo %ld é idêntico a %d.

Os tipos de conversão são:

Conversão

Significado

Notas

'd'

Número decimal inteiro sinalizador.

'i'

Número decimal inteiro sinalizador.

'o'

Valor octal sinalizador.

(1)

'u'

Tipo obsoleto – é idêntico a 'd'.

(8)

'x'

Sinalizador hexadecimal (minúsculas).

(2)

'X'

Sinalizador hexadecimal (maiúscula).

(2)

'e'

Formato exponencial de ponto flutuante (minúsculas).

(3)

'E'

Formato exponencial de ponto flutuante (maiúscula).

(3)

'f'

Formato decimal de ponto flutuante.

(3)

'F'

Formato decimal de ponto flutuante.

(3)

'g'

O formato de ponto flutuante. Usa o formato exponencial em minúsculas se o expoente for inferior a -4 ou não inferior a precisão, formato decimal, caso contrário.

(4)

'G'

Formato de ponto flutuante. Usa o formato exponencial em maiúsculas se o expoente for inferior a -4 ou não inferior que a precisão, formato decimal, caso contrário.

(4)

'c'

Byte simples (aceita objetos inteiros ou de byte único).

'b'

Bytes (qualquer objeto que segue o buffer protocol o que possui __bytes__()).

(5)

's'

's' é um alias para 'b' e só deve ser usado para bases de código Python2/3.

(6)

'a'

Bytes (converte qualquer objeto Python usando repr(obj).encode('ascii', 'backslashreplace')).

(5)

'r'

'r' é um alias para 'a' e só deve ser usado para bases de código Python2/3.

(7)

'%'

Nenhum argumento é convertido, resultando um caractere ''%' no resultado.

Notas:

A forma alternativa faz com que um especificador octal principal ('0o') seja inserido antes do primeiro dígito.

O formato alternativo produz um '0x' ou '0X' (dependendo se o formato 'x' or 'X' foi usado) para ser inserido antes do primeiro dígito.

A forma alternativa faz com que o resultado sempre contenha um ponto decimal, mesmo que nenhum dígito o siga.

A precisão determina o número de dígitos após o ponto decimal e o padrão é 6.

A forma alternativa faz com que o resultado sempre contenha um ponto decimal e os zeros à direita não sejam removidos, como de outra forma seriam.

A precisão determina o número de dígitos significativos antes e depois do ponto decimal e o padrão é 6.

Se a precisão for N, a saída será truncada em caracteres N.

b'%s' está descontinuado, mas não será removido durante a versão 3.x.

b'%r' entrou em desuso, mas não serão removidos na versão 3.x.

Veja PEP 237 [https://peps.python.org/pep-0237/].

Nota

A versão Bytearray deste método não opera no local – o mesmo sempre produz um novo objeto, mesmo que não tenha sido feitas alterações.

Ver também

PEP 461 [https://peps.python.org/pep-0461/] - Adicionar formatação % para to bytes e bytearray

Adicionado na versão 3.5.

Memory Views

O objeto memoryview permite que o código Python acesse os dados internos de um objeto que suporte o buffer protocol sem copiá-lo.

class memoryview(object)

Cria uma memoryview que referencia object. object deve ter suporte ao protocolo de buffer. Objetos embutidos que suportam o protocolo de buffer incluem bytes e bytearray.

Uma memoryview tem a noção de um elemento, o qual é a unidade de memória atômica manipulada pelo objeto de origem object. Para muitos tipos simples tais como bytes e bytearray, um elemento é um byte único, mas outros tipos tais como array.array podem ter elementos maiores.

len(view) é igual ao comprimento de tolist, que é a representação de lista aninhada da view. Se view.ndim = 1, isso é igual ao número de elementos na visualização.

Alterado na versão 3.12: Se view.ndim == 0, len(view) agora levanta TypeError em vez de retornar 1.

O atributo itemsize vai lhe dar um número de bytes em um único elemento.

Um memoryview suporta fatiamento e indexação para expor seus dados. Fatiamento unidimensional irá resultar em uma subview:

>>> v = memoryview(b'abcefg')
>>> v[1]
98
>>> v[-1]
103
>>> v[1:4]
<memory at 0x7f3ddc9f4350>
>>> bytes(v[1:4])
b'bce'

Se format é um dos especificadores de formatação nativos do módulo struct, indexar com um inteiro ou uma tupla de inteiros também é suportado, e retorna um element único com o tipo correto. Memoryviews unidimensionais podem ser indexadas com um inteiro ou uma tupla contendo um inteiro. Memoryviews multi-dimensionais podem ser indexadas com tuplas de exatamente ndim inteiros, onde ndim é o número de dimensões. Memoryviews zero-dimensionais podem ser indexadas com uma tupla vazia.

Aqui temos um exemplo usando um formato não-byte:

>>> import array
>>> a = array.array('l', [-11111111, 22222222, -33333333, 44444444])
>>> m = memoryview(a)
>>> m[0]
-11111111
>>> m[-1]
44444444
>>> m[::2].tolist()
[-11111111, -33333333]

Se o objeto subjacente é gravável, a memoryview suporta atribuição de fatias unidimensionais. Redimensionamento não é permitido:

>>> data = bytearray(b'abcefg')
>>> v = memoryview(data)
>>> v.readonly
False
>>> v[0] = ord(b'z')
>>> data
bytearray(b'zbcefg')
>>> v[1:4] = b'123'
>>> data
bytearray(b'z123fg')
>>> v[2:3] = b'spam'
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: memoryview assignment: lvalue and rvalue have different structures
>>> v[2:6] = b'spam'
>>> data
bytearray(b'z1spam')

Memoryviews unidimensionais de tipos hasheáveis (somente leitura) com formatos ‘B’, ‘b’ ou ‘c’ também são hasheáveis. O hash é definido como hash(m) == hash(m.tobytes()):

>>> v = memoryview(b'abcefg')
>>> hash(v) == hash(b'abcefg')
True
>>> hash(v[2:4]) == hash(b'ce')
True
>>> hash(v[::-2]) == hash(b'abcefg'[::-2])
True

Alterado na versão 3.3: Memoryviews unidimensionais agora podem ser fatiadas. Memoryviews unidimensionais com formatos ‘B’, ‘b’ ou ‘c’ agora são hasheáveis.

Alterado na versão 3.4: O memoryview agora é registrado automaticamente como uma classe collections.abc.Sequence

Alterado na versão 3.5: Atualmente, os memoryvies podem ser indexadas com uma tupla de números inteiros.

memoryview possui vários métodos:

__eq__(exporter)

Uma memoryview e um exportador PEP 3118 [https://peps.python.org/pep-3118/] são iguais se as suas formas são equivalentes e se todos os valores correspondentes são iguais quando os códigos de formatação dos respectivos operadores são interpretados usando a sintaxe struct.

Para o subconjunto struct a formatação de Strings atualmente suportadas por tolist(), v e w são iguais se v.tolist() == w.tolist():

>>> import array
>>> a = array.array('I', [1, 2, 3, 4, 5])
>>> b = array.array('d', [1.0, 2.0, 3.0, 4.0, 5.0])
>>> c = array.array('b', [5, 3, 1])
>>> x = memoryview(a)
>>> y = memoryview(b)
>>> x == a == y == b
True
>>> x.tolist() == a.tolist() == y.tolist() == b.tolist()
True
>>> z = y[::-2]
>>> z == c
True
>>> z.tolist() == c.tolist()
True

Se qualquer string de formatação não for suportada pelo módulo struct, então os objetos irão sempre comparar como diferentes (mesmo se as strings de formatação e o conteúdo do buffer são idênticos):

>>> from ctypes import BigEndianStructure, c_long
>>> class BEPoint(BigEndianStructure):
...     _fields_ = [("x", c_long), ("y", c_long)]
...
>>> point = BEPoint(100, 200)
>>> a = memoryview(point)
>>> b = memoryview(point)
>>> a == point
False
>>> a == b
False

Perceba que, assim como com números de ponto flutuante, v is w não implica em v == w para objetos memoryview.

Alterado na versão 3.3: Versões anteriores comparavam a memória bruta desconsiderando o formato do item e estrutura lógica do array.

tobytes(order='C')

Retorna os dados no buffer como um bytestring. Isso é equivalente a chamar o construtor de bytes na memoryview.

>>> m = memoryview(b"abc")
>>> m.tobytes()
b'abc'
>>> bytes(m)
b'abc'

Para arrays não contíguos, o resultado é igual a representação de lista achatada com todos os elementos convertidos para bytes. tobytes() suporta todos os formatos de strings, incluindo aqueles que não estão na sintaxe do módulo struct.

Adicionado na versão 3.8: order pode ser {‘C’, ‘F’, ‘A’}. Quando order é ‘C’ ou ‘F’, os dados do array original são convertidos para a ordem de C our Fortran. Para views contígua, ‘A’ retorna uma cópia exata da memória física. Em particular, ordem de Fortran em memória é preservada. Para views não contígua, os dados são convertidos primeiro para C. order=None é o mesmo que order=’C’.

hex([sep[, bytes_per_sep]])

Retorna um objeto string contendo dois dígitos hexadecimais para cada byte no buffer.

>>> m = memoryview(b"abc")
>>> m.hex()
'616263'

Adicionado na versão 3.5.

Alterado na versão 3.8: Similar a bytes.hex(), memoryview.hex() agora suporta os parâmetros opcionais sep e bytes_per_sep para inserir separadores entre bytes na saída hexadecimal.

tolist()

Retorna os dados no buffer como uma lista de elementos.

>>> memoryview(b'abc').tolist()
[97, 98, 99]
>>> import array
>>> a = array.array('d', [1.1, 2.2, 3.3])
>>> m = memoryview(a)
>>> m.tolist()
[1.1, 2.2, 3.3]

Alterado na versão 3.3: tolist() agora suporta todos os formatos nativos de caracteres únicos na sintaxe do módulo struct, assim como representações multi-dimensionais.

toreadonly()

Retorna uma versão somente leitura do objeto memoryview. O objeto memoryview original não é alterado.

>>> m = memoryview(bytearray(b'abc'))
>>> mm = m.toreadonly()
>>> mm.tolist()
[97, 98, 99]
>>> mm[0] = 42
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: cannot modify read-only memory
>>> m[0] = 43
>>> mm.tolist()
[43, 98, 99]

Adicionado na versão 3.8.

release()

Libera o buffer subjacente exposto pelo objeto memoryview. Muitos objetos aceitam ações especiais quando a view é mantida com eles (por exemplo, um bytearray iria temporariamente proibir o redimensionamento); portanto, chamar release() é útil para remover essas restrições (e liberar quaisquer recursos pendurados) o mais breve possível.

After this method has been called, any further operation on the view raises a ValueError (except release() itself which can be called multiple times):

>>> m = memoryview(b'abc')
>>> m.release()
>>> m[0]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: operation forbidden on released memoryview object

O protocolo de gerenciamento de contexto pode ser usado para efeitos similares, usando a instrução with:

>>> with memoryview(b'abc') as m:
...     m[0]
...
97
>>> m[0]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: operation forbidden on released memoryview object

Adicionado na versão 3.2.

cast(format[, shape])

Converte uma memoryview para um novo formato ou forma. shape por padrão é [byte_length//new_itemsize], o que significa que a visão resultante será unidimensional. O valor de retorno é uma nova memoryview, mas o buffer por si mesmo não é copiado. Conversões suportadas são 1D -> C-contíguo r C-contíguo -> 1D.

O formato de destino é restrito a um elemento em formato nativo na sintaxe struct. Um dos formatos deve ser um formato de byte (‘B’, ‘b’ ou ‘c’). O comprimento de bytes do resultado deve ser o mesmo que o comprimento original. Observe que todos os comprimentos de bytes podem depender do sistema operacional.

Converte de 1D/long para 1D/unsigned bytes:

>>> import array
>>> a = array.array('l', [1,2,3])
>>> x = memoryview(a)
>>> x.format
'l'
>>> x.itemsize
8
>>> len(x)
3
>>> x.nbytes
24
>>> y = x.cast('B')
>>> y.format
'B'
>>> y.itemsize
1
>>> len(y)
24
>>> y.nbytes
24

Converte de 1D/unsigned bytes para 1D/char:

>>> b = bytearray(b'zyz')
>>> x = memoryview(b)
>>> x[0] = b'a'
Traceback (most recent call last):
  ...
TypeError: memoryview: invalid type for format 'B'
>>> y = x.cast('c')
>>> y[0] = b'a'
>>> b
bytearray(b'ayz')

Converte de 1D/bytes para 3D/ints para 1D/signed char:

>>> import struct
>>> buf = struct.pack("i"*12, *list(range(12)))
>>> x = memoryview(buf)
>>> y = x.cast('i', shape=[2,2,3])
>>> y.tolist()
[[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]
>>> y.format
'i'
>>> y.itemsize
4
>>> len(y)
2
>>> y.nbytes
48
>>> z = y.cast('b')
>>> z.format
'b'
>>> z.itemsize
1
>>> len(z)
48
>>> z.nbytes
48

Converte 1D/unsigned long para 2D/unsigned long:

>>> buf = struct.pack("L"*6, *list(range(6)))
>>> x = memoryview(buf)
>>> y = x.cast('L', shape=[2,3])
>>> len(y)
2
>>> y.nbytes
48
>>> y.tolist()
[[0, 1, 2], [3, 4, 5]]

Adicionado na versão 3.3.

Alterado na versão 3.5: O formato fonte não é mais restrito ao converter para uma visão de byte.

Existem também diversos atributos somente leitura disponíveis:

obj

O objeto subjacente da memoryview:

>>> b  = bytearray(b'xyz')
>>> m = memoryview(b)
>>> m.obj is b
True

Adicionado na versão 3.3.

nbytes

nbytes == product(shape) * itemsize == len(m.tobytes()). Este é a quantidade de espaço em bytes que o array deve usar em uma representação contígua. Ela não é necessariamente igual a len(m):

>>> import array
>>> a = array.array('i', [1,2,3,4,5])
>>> m = memoryview(a)
>>> len(m)
5
>>> m.nbytes
20
>>> y = m[::2]
>>> len(y)
3
>>> y.nbytes
12
>>> len(y.tobytes())
12

Arrays Multi-dimensional:

>>> import struct
>>> buf = struct.pack("d"*12, *[1.5*x for x in range(12)])
>>> x = memoryview(buf)
>>> y = x.cast('d', shape=[3,4])
>>> y.tolist()
[[0.0, 1.5, 3.0, 4.5], [6.0, 7.5, 9.0, 10.5], [12.0, 13.5, 15.0, 16.5]]
>>> len(y)
3
>>> y.nbytes
96

Adicionado na versão 3.3.

readonly

Um bool que indica se a memória é somente leitura.

format

Uma string contendo o formato (no estilo do módulo struct) para cada elemento na visão. Uma memoryview pode ser criada a partir de exportadores com strings de formato arbitrário, mas alguns métodos (ex: tolist()) são restritos a formatos de elementos nativos.

Alterado na versão 3.3: formato 'B' agora é tratado de acordo com a sintaxe do módulo struct. Isso significa que memoryview(b'abc')[0] == b'abc'[0] == 97.

itemsize

O tamanho em Bytes de cada elemento do memoryview:

>>> import array, struct
>>> m = memoryview(array.array('H', [32000, 32001, 32002]))
>>> m.itemsize
2
>>> m[0]
32000
>>> struct.calcsize('H') == m.itemsize
True

ndim

Um número inteiro que indica quantas dimensões de uma matriz multidimensional a memória representa.

shape

Uma tupla de inteiros de comprimento ndim dando a forma da memória como uma matriz N-dimensional.

Alterado na versão 3.3: Uma tupla vazia ao invés de None quando ndim = 0.

strides

Uma tupla de inteiros de comprimento de ndim dando o tamanho em bytes para acessar cada elemento de cada dimensão da matriz.

Alterado na versão 3.3: Uma tupla vazia ao invés de None quando ndim = 0.

suboffsets

Usado internamente para estilos de Arrays PIL. O valor é apenas informativo.

c_contiguous

Um bool que indica se a memória é contígua C.

Adicionado na versão 3.3.

f_contiguous

Um bool que indica se a memória é contígua Fortran.

Adicionado na versão 3.3.

contiguous

Um bool que indica se a memória é contígua.

Adicionado na versão 3.3.

Tipo conjuntos — set, frozenset

Um objeto conjunto é uma coleção não ordenada de objetos hasheáveis distintos. Usos comuns incluem testes de associação, remover duplicatas de uma sequência e computar operações matemáticas tais como interseção, união, diferença e diferença simétrica. (Para outros tipos de contêineres veja as classes embutidas dict, list e tuple, e o módulo collections.)

Assim como outras coleções, conjuntos suportam x in set, len(set) e for x in set. Sendo uma coleção não ordenada, conjuntos não armazenam posição de elementos ou ordem de inserção. Portanto, conjuntos não suportam indexação, fatiamento ou outros comportamentos de sequências ou similares.

Existem atualmente dois tipos de conjuntos embutidos, set e frozenset. O tipo set é mutável – o conteúdo pode ser alterado usando métodos como add() e remove(). Como ele é mutável, ele não tem valor hash e não pode ser usado como chave de dicionário ou um elemento de um outro conjunto. O tipo frozenset é imutável e hasheável – seu conteúdo não pode ser alterado depois de ter sido criado; ele pode então ser usado como chave de dicionário ou como um elemento de outro conjunto.

Conjuntos não vazios (que não sejam frozensets) podem ser criados posicionando uma lista de elementos separados por vírgula dentro de chaves, por exemplo: {'jack', 'sjoerd'}, além do construtor set.

Os construtores de ambas as classes funcionam da mesma forma:

class set([iterable])

class frozenset([iterable])

Retorna um novo objeto set ou frozenset, cujos elementos são obtidos a partir de um iterable. Os elementos de um conjunto devem ser hasheável. Para representar conjuntos de sets, os sets internos devem ser objetos frozenset. Se iterable não for especificado, um novo conjunto vazio é retornado.

Conjuntos podem ser criados de várias formas:

Usar uma lista de elementos separados por vírgulas entre chaves: {'jack', 'sjoerd'}

Usar uma compreensão de conjunto: {c for c in 'abracadabra' if c not in 'abc'}

Usar o construtor de tipo: set(), set('foobar'), set(['a', 'b', 'foo'])

Instâncias de set e frozenset fornecem as seguintes operações:

len(s)

Retorna o número de elementos no set s (cardinalidade de s).

x in s

Testa se x pertence a s.

x not in s

Testa se x não pertence a s.

isdisjoint(other)

Retorna True se o conjunto não tem elementos em comum com other. Conjuntos são disjuntos se e somente se a sua interseção é o conjunto vazio.

issubset(other)

set <= other

Testa se cada elemento do conjunto está contido em other.

set < other

Testa se o conjunto é um subconjunto próprio de other, isto é, set <= other and set != other.

issuperset(other)

set >= other

Testa se cada elemento em other está contido no conjunto.

set > other

Testa se o conjunto é um superconjunto próprio de other, isto é, set >= other and set != other.

union(*others)

set | other | ...

Retorna um novo conjunto com elementos do conjunto e de todos os outros.

intersection(*others)

set & other & ...

Retorna um novo conjunto com elementos comuns do conjunto e de todos os outros.

difference(*others)

set - other - ...

Retorna um novo conjunto com elementos no conjunto que não estão nos outros.

symmetric_difference(other)

set ^ other

Retorna um novo conjunto com elementos estejam ou no conjunto ou em other, mas não em ambos.

copy()

Retorna uma cópia rasa do conjunto.

Observe que, as versões não-operador dos métodos union(), intersection(), difference(), symmetric_difference(), issubset(), e issuperset() irão aceitar qualquer iterável como um argumento. Em contraste, suas contrapartes baseadas em operadores exigem que seus argumentos sejam conjuntos. Isso impede construções suscetíveis a erros como set('abc') & 'cbs' e favorece a forma mais legível set('abc').intersection('cbs').

Tanto set quanto frozenset suportam comparar um conjunto com outro. Dois conjuntos são iguais se, e somente se, cada elemento de cada conjunto está contido no outro conjunto (cada um é um subconjunto do outro). Um conjunto é menor que outro se, e somente se, o primeiro conjunto é um subconjunto adequado do segundo (é um subconjunto, mas não é igual). Um conjunto é maior que outro conjunto se, e somente se, o primeiro conjunto é um superconjunto próprio do segundo conjunto (é um superconjunto, mas não é igual).

Instâncias de set são comparadas a instâncias de frozenset baseados nos seus membros. Por exemplo, set('abc') == frozenset('abc') retorna True e assim como set('abc') in set([frozenset('abc')]).

O subconjunto e comparações de igualdade não generalizam para a função de ordenamento total. Por exemplo, quaisquer dois conjuntos deslocados não vazios, não são iguais e não são subconjuntos um do outro, então todos os seguintes retornam False: a<b, a==b ou a>b.

Como conjuntos apenas definem ordenamento parcial (subconjunto de relacionamentos), a saída do método list.sort() é indefinida para listas e conjuntos.

Elementos de conjuntos, assim como chaves de dicionário, devem ser hasheáveis.

Operações binárias que misturam instâncias de set com frozenset retornam o tipo do primeiro operando. Por exemplo: frozenset('ab') | set('bc') retorna uma instância de frozenset.

A seguinte tabela lista operações disponíveis para set que não se aplicam para instâncias imutáveis de frozenset:

update(*others)

set |= other | ...

Atualiza o conjunto, adicionando elementos dos outros.

intersection_update(*others)

set &= other & ...

Atualiza o conjunto, mantendo somente elementos encontrados nele e em outros.

difference_update(*others)

set -= other | ...

Atualiza o conjunto, removendo elementos encontrados em outros.

symmetric_difference_update(other)

set ^= other

Atualiza o conjunto, mantendo somente elementos encontrados em qualquer conjunto, mas não em ambos.

add(elem)

Adiciona o elemento elem ao conjunto.

remove(elem)

Remove o elemento elem do conjunto. Levanta KeyError se elem não estiver contido no conjunto.

discard(elem)

Remove o elemento elem do conjunto se ele estiver presente.

pop()

Remove e retorna um elemento arbitrário do conjunto. Levanta KeyError se o conjunto estiver vazio.

clear()

Remove todos os elementos do conjunto.

Perceba, as versões sem operador dos métodos update(), intersection_update(), difference_update() e symmetric_difference_update() irão aceitar qualquer iterável como um argumento.

Perceba, o argumento elem para os métodos __contains__(), remove() e discard() pode ser um conjunto. Para suportar pesquisas por um frozenset equivalente, um frozenset temporário é criado a partir de elem.

Tipo mapeamento — dict

Um objeto mapeamento mapeia valores hasheáveis para objetos arbitrários. Mapeamentos são objetos mutáveis. Existe no momento apenas um tipo de mapeamento padrão, o dicionário. (Para outros contêineres, veja as classes embutidas list, set e tuple, e o módulo collections.)

As chaves de um dicionário são quase valores arbitrários. Valores que não são hasheáveis, ou seja, valores contendo listas, dicionários ou outros tipos mutáveis (que são comparados por valor e não por identidade de objeto) não podem ser usados como chaves. Valores que comparam iguais (como 1, 1.0 e True) podem ser usados alternadamente para indexar a mesma entrada do dicionário.

class dict(**kwargs)

class dict(mapping, **kwargs)

class dict(iterable, **kwargs)

Retorna um novo dicionário inicializado a partir de um argumento posicional opcional, e um conjunto de argumentos nomeados possivelmente vazio.

Os dicionários podem ser criados de várias formas:

Usar uma lista de pares key: value separados por vírgula com chaves: {'jack': 4098, 'sjoerd': 4127} ou {4098: 'jack', 4127: 'sjoerd'}

Usar uma compreensão de dicionário: {}, {x: x ** 2 for x in range(10)}

Usar o construtor de tipo: dict(), dict([('foo', 100), ('bar', 200)]), dict(foo=100, bar=200)

If no positional argument is given, an empty dictionary is created. If a positional argument is given and it defines a keys() method, a dictionary is created by calling __getitem__() on the argument with each returned key from the method. Otherwise, the positional argument must be an iterable object. Each item in the iterable must itself be an iterable with exactly two elements. The first element of each item becomes a key in the new dictionary, and the second element the corresponding value. If a key occurs more than once, the last value for that key becomes the corresponding value in the new dictionary.

Se argumentos nomeados são fornecidos, os argumentos nomeados e seus valores são adicionados ao dicionário criado a partir do argumento posicional. Se uma chave sendo adicionada já está presente, o valor do argumento nomeado substitui o valor do argumento posicional.

Para ilustrar, os seguintes exemplos todos retornam um dicionário igual a {"one": 1, "two": 2, "three": 3}:

>>> a = dict(one=1, two=2, three=3)
>>> b = {'one': 1, 'two': 2, 'three': 3}
>>> c = dict(zip(['one', 'two', 'three'], [1, 2, 3]))
>>> d = dict([('two', 2), ('one', 1), ('three', 3)])
>>> e = dict({'three': 3, 'one': 1, 'two': 2})
>>> f = dict({'one': 1, 'three': 3}, two=2)
>>> a == b == c == d == e == f
True

Fornecer argumentos nomeados conforme no primeiro exemplo somente funciona para chaves que são identificadores válidos no Python. Caso contrário, quaisquer chaves válidas podem ser usadas.

Estas são as operações que dicionários suportam (e portanto, tipos de mapeamento personalizados devem suportar também):

list(d)

Retorna uma lista de todas as chaves usadas no dicionário d.

len(d)

Retorna o número de itens no dicionário d.

d[key]

Retorna o item de d com a chave key. Levanta um KeyError se key não estiver no mapeamento.

Se uma subclasse de um dict define um método __missing__() e key não estiver presente, a operação d[key] chama aquele método com a chave key como argumento. A operação d[key] então retorna ou levanta o que é retornado ou levantado pela chamada de __missing__(key). Nenhuma operação ou métodos invocam __missing__(). Se __missing__() não for definido, então KeyError é levantado. __missing__() deve ser um método; ele não pode ser uma variável de instância:

>>> class Counter(dict):
...     def __missing__(self, key):
...         return 0
...
>>> c = Counter()
>>> c['red']
0
>>> c['red'] += 1
>>> c['red']
1

O exemplo acima mostra parte da implementação de collections.Counter. Um método __missing__ diferente é usado para collections.defaultdict.

d[key] = value

Define d[key] para value.

del d[key]

Remove d[key] do d. Levanta uma exceção KeyError se key não estiver no mapeamento.

key in d

Retorna True se d tiver uma chave key, caso contrário False.

key not in d

Equivalente a not key in d.

iter(d)

Retorna um iterador para as chaves do dicionário. Isso é um atalho para iter(d.keys()).

clear()

Remove todos os itens do dicionário.

copy()

Retorna uma cópia superficial do dicionário.

classmethod fromkeys(iterable, value=None, /)

Cria um novo dicionário com chaves provenientes de iterable e valores definidos como value.

fromkeys() é um método de classe que retorna um novo dicionário. value tem como valor padrão None. Todos os valores referem-se a apenas uma única instância, então geralmente não faz sentido que value seja um objeto mutável tal como uma lista vazia. Para obter valores distintos, use uma compreensão de dicionário ao invés.

get(key, default=None)

Retorna o valor para key se key está no dicionário, caso contrário default. Se default não é fornecido, será usado o valor padrão None, de tal forma que este método nunca levanta um KeyError.

items()

Retorna uma nova visão dos itens do dicionário (pares de (key, value)). Veja a documentação de objetos de visão de dicionário.

keys()

Retorna uma nova visão das chaves do dicionário. Veja a documentação de objetos de visão de dicionário.

pop(key[, default])

Se key está no dicionário, remove a mesma e retorna o seu valor, caso contrário retorna default. Se default não foi fornecido e key não está no dicionário, um KeyError é levantado.

popitem()

Remove e retorna um par (key, value) do dicionário. Pares são retornados como uma pilha, ou seja em ordem LIFO.

popitem() é útil para destrutivamente iterar sobre um dicionário, algo comumente usado em algoritmos de conjunto. Se o dicionário estiver vazio, chamar popitem() levanta um KeyError.

Alterado na versão 3.7: Ordem LIFO agora é garantida. Em versões anteriores, popitem() iria retornar um par chave/valor arbitrário.

reversed(d)

Retorna um iterador revertido sobre as chaves do dicionário. Isso é um atalho para reversed(d.keys()).

Adicionado na versão 3.8.

setdefault(key, default=None)

Se key está no dicionário, retorna o seu valor. Se não, insere key com o valor default e retorna default. default por padrão usa o valor None.

update([other])

Atualiza o dicionário com os pares chave/valor existente em other, sobrescrevendo chaves existentes. Retorna None.

update() accepts either another object with a keys() method (in which case __getitem__() is called with every key returned from the method). or an iterable of key/value pairs (as tuples or other iterables of length two). If keyword arguments are specified, the dictionary is then updated with those key/value pairs: d.update(red=1, blue=2).

values()

Retorna uma nova visão dos valores do dicionário. Veja a documentação de objetos de visão de dicionário.

Uma comparação de igualdade entre uma visão de dict.values() e outra, sempre irá retornar False. Isso também se aplica ao comparar dict.values() entre si:

>>> d = {'a': 1}
>>> d.values() == d.values()
False

d | other

Cria um novo dicionário com as chaves e os valores mesclados de d e other, que devem ser dicionários. Os valores de other têm prioridade quando d e other compartilham chaves.

Adicionado na versão 3.9.

d |= other

Atualiza o dicionário d com chaves e valores de other, que podem ser a mapeamento ou um iterável dos pares chave/valor. Os valores de other têm prioridade quando d e other compartilham chaves.

Adicionado na versão 3.9.

Dicionários são iguais se e somente se eles os mesmos pares (key, value) (independente de ordem). Comparações de ordem (‘<’, ‘<=’, ‘>=’, ‘>’) levantam TypeError.

Dicionários preservam a ordem de inserção. Perceba que atualizar a chave não afeta a ordem. Chaves adicionadas após a deleção são inseridas no final.

>>> d = {"one": 1, "two": 2, "three": 3, "four": 4}
>>> d
{'one': 1, 'two': 2, 'three': 3, 'four': 4}
>>> list(d)
['one', 'two', 'three', 'four']
>>> list(d.values())
[1, 2, 3, 4]
>>> d["one"] = 42
>>> d
{'one': 42, 'two': 2, 'three': 3, 'four': 4}
>>> del d["two"]
>>> d["two"] = None
>>> d
{'one': 42, 'three': 3, 'four': 4, 'two': None}

Alterado na versão 3.7: Ordem do dicionário é garantida conforme a ordem de inserção. Este comportamento era um detalhe de implementação do CPython a partir da versão 3.6.

Dicionários e visões de dicionários são reversíveis.

>>> d = {"one": 1, "two": 2, "three": 3, "four": 4}
>>> d
{'one': 1, 'two': 2, 'three': 3, 'four': 4}
>>> list(reversed(d))
['four', 'three', 'two', 'one']
>>> list(reversed(d.values()))
[4, 3, 2, 1]
>>> list(reversed(d.items()))
[('four', 4), ('three', 3), ('two', 2), ('one', 1)]

Alterado na versão 3.8: Dicionários agora são reversíveis.

Ver também

types.MappingProxyType podem ser usados para criar uma visão somente leitura de um dict.

Objetos de visão de dicionário

Os objetos retornados por dict.keys(), dict.values() e dict.items() são objetos de visão. Eles fornecem uma visão dinâmica das entradas do dicionário, o que significa que quando o dicionário muda, a visão reflete essas mudanças.

Visões de dicionários podem ser iteradas para apresentar seus respectivos dados, e suportar testes de existência:

len(dictview)

Retorna o número de entradas no dicionário.

iter(dictview)

Retorna um iterador sobre as chaves, valores ou itens (representados como tuplas de (key, value)) no dicionário.

Chaves e valores são iterados em ordem de inserção. Isso permite a criação de pares (value, key) usando zip(): pairs = zip(d.values(), d.keys()). Outra maneira de criar a mesma lista é pairs = [(v, k) for (k, v) in d.items()].

Iterar sobre visões enquanto adiciona ou deleta entradas no dicionário pode levantar um RuntimeError ou falhar a iteração sobre todas as entradas.

Alterado na versão 3.7: Ordem do dicionário é garantida como a ordem de inserção.

x in dictview

Retorna True se x está nas chaves, valores ou itens do dicionário subjacente (no último caso, x deve ser uma tupla de (key, value)).

reversed(dictview)

Retorna um iterador reverso sobre as chaves, valores ou itens do dicionário. A visão será iterada na ordem reversa de inserção.

Alterado na versão 3.8: Visões de dicionário agora são reversíveis.

dictview.mapping

Retorna um types.MappingProxyType que envolve o dicionário original ao qual a visão se refere.

Adicionado na versão 3.10.

Visões chave são similar a conjunto, como suas entradas são únicas e hasheáveis. As visões de itens também têm operações semelhantes a conjuntos, uma vez que os pares (chave, valor) são únicos e as chaves são hasheáveis. Se todos os valores em uma visão de itens também forem hasheáveis, a visão de itens poderá interoperar com outros conjuntos. (Visões de valores não são tratadas de como similar a conjunto, pois as entradas geralmente não são únicas.) Para visões similares a conjunto, todas as operações definidas para a classe base abstrata collections.abc.Set estão disponíveis (por exemplo, ==, < ou ^). Ao usar operadores de conjunto, visões de conjunto ou similares aceitam qualquer iterável como outro operando, ao contrário de conjuntos que aceitam apenas conjuntos como entrada.

Um exemplo da utilização da visualização de dicionário:

>>> dishes = {'eggs': 2, 'sausage': 1, 'bacon': 1, 'spam': 500}
>>> keys = dishes.keys()
>>> values = dishes.values()

>>> # iteration
>>> n = 0
>>> for val in values:
...     n += val
...
>>> print(n)
504

>>> # keys and values are iterated over in the same order (insertion order)
>>> list(keys)
['eggs', 'sausage', 'bacon', 'spam']
>>> list(values)
[2, 1, 1, 500]

>>> # view objects are dynamic and reflect dict changes
>>> del dishes['eggs']
>>> del dishes['sausage']
>>> list(keys)
['bacon', 'spam']

>>> # set operations
>>> keys & {'eggs', 'bacon', 'salad'}
{'bacon'}
>>> keys ^ {'sausage', 'juice'} == {'juice', 'sausage', 'bacon', 'spam'}
True
>>> keys | ['juice', 'juice', 'juice'] == {'bacon', 'spam', 'juice'}
True

>>> # get back a read-only proxy for the original dictionary
>>> values.mapping
mappingproxy({'bacon': 1, 'spam': 500})
>>> values.mapping['spam']
500

Tipos de Gerenciador de Contexto

A instrução with do Python suporta o conceito de um contexto em tempo de execução definido por um gerenciador de contexto. Isto é implementado usando um par de métodos, que permitem que classes definidas pelo usuário especifiquem um contexto em tempo de execução, o qual é inicializado antes da execução das instruções, e encerrado quando as instruções terminam:

contextmanager.__enter__()

Entra no contexto em tempo de execução e retorna este objeto ou outro objeto relacionado ao contexto em tempo de execução. O valor retornado por este método é ligado ao identificador na cláusula as das instruções with usando este gerenciador de contexto.

Um exemplo de gerenciador de contexto que retorna a si mesmo é um objeto arquivo. Objeto arquivos retornam a si mesmos do método __enter__() para permitir que open() seja usado como a expressão de contexto em uma instrução with.

Um exemplo de gerenciador de contexto que retorna um objeto relacionado é aquele retornado por decimal.localcontext(). Esses gerenciadores definem o contexto decimal ativo para uma cópia do contexto decimal original, e então retornam a cópia. Isso permite que mudanças sejam feitas no contexto decimal atual, no corpo contido na instrução with, sem afetar o código fora da instrução with.

contextmanager.__exit__(exc_type, exc_val, exc_tb)

Sai do contexto em tempo de execução e retorna um sinalizador booleano indicando se qualquer exceção que ocorreu deve ser suprimida. Se uma exceção ocorreu enquanto era executado o corpo da instrução with, os argumentos contêm o tipo da exceção, valor e informação da traceback (situação da pilha de execução). Caso contrário, os três argumentos são None.

Retornar um valor verdadeiro deste método fará com que a instrução with suprima a exceção e continue a execução com a instrução imediatamente após a instrução with. Caso contrário a exceção continuará propagando após este método ter encerrado sua execução. Exceções que ocorrerem durante a execução deste método irão substituir qualquer exceção que tenha ocorrido dentro do corpo da instrução with.

A exceção passada nunca deve ser re-levantada explicitamente - ao invés disso, este método deve retornar um valor falso para indicar que o método completou sua execução com sucesso, e não quer suprimir a exceção levantada. Isso permite ao código do gerenciador de contexto facilmente detectar se um método __exit__() realmente falhou ou não.

Python define diversos gerenciadores de contexto para suportar facilmente sincronização de threads, solicita o fechamento de arquivos ou outros objetos, e manipula de forma simples o contexto ativo de aritmética decimal. Os tipos especificados não são tratados de forma especial além da sua implementação e do protocolo do gerenciador de contexto. Veja o módulo contextlib para alguns exemplos.

Os geradores do Python e o decorador contextlib.contextmanager fornecem uma maneira conveniente de implementar esses protocolos. Se uma função geradora for decorada com o decorador contextlib.contextmanager, ela retornará um gerenciador de contexto implementando os métodos necessários __enter__() e __exit__(), em vez de o iterador produzido por uma função geradora não decorada.

Observe que não existe nenhum slot específico para qualquer um desses métodos na estrutura de tipos para objetos Python na API Python/C. Tipos de extensão que desejam definir estes métodos devem fornecê-los como um método acessível normal do Python. Comparado com a sobrecarga de configurar o contexto em tempo de execução, a sobrecarga na pesquisa de dicionário em uma única classe é negligenciável.

Tipos de anotação de tipo — Apelido genérico, União

Os principais tipos embutidos para anotações de tipo são Apelido genérico e União.

Tipo Generic Alias

Objetos GenericAlias são geralmente criados subscrevendo uma classe. Eles são mais usados com classes contêineres, como list ou dict. Por exemplo, list[int] é um objeto GenericAlias criado pela subscrição da classe list com o argumento int. Objetos GenericAlias são destinados principalmente para uso com anotações de tipo.

Nota

Geralmente só é possível subscrever uma classe se a classe implementar o método especial __class_getitem__().

Um objeto GenericAlias atua como um proxy para um tipo genérico, implementando genéricos parametrizados.

Para uma classe contêiner, o(s) argumento(s) fornecido(s) para uma subscrição da classe pode indicar o(s) tipo(s) dos elementos que um objeto contém. Por exemplo, set[bytes] pode ser usado em anotações de tipo para significar um set em que todos os elementos são do tipo bytes.

Para uma classe que define __class_getitem__(), mas não é um contêiner, o(s) argumento(s) fornecido(s) para uma subscrição da classe geralmente indicará o(s) tipo(s) de retorno de um ou mais métodos definidos em um objeto. Por exemplo, expressões regulares podem ser usadas tanto no tipo de dados str quanto no tipo de dados bytes:

Se x = re.search('foo', 'foo'), x será um objeto re.Match onde os valores de retorno de x.group(0) e x[0] serão ambos do tipo str. Podemos representar este tipo de objeto em anotações de tipo com o GenericAlias re.Match[str].

Se y = re.search(b'bar', b'bar') (observe o b para bytes), y também será uma instância de re.Match, mas os valores de retorno de y.group(0) e y[0] serão ambos do tipo bytes. Em anotações de tipo, representaríamos esta variedade de objetos re.Match com re.Match[bytes].

Objetos GenericAlias são instâncias da classe types.GenericAlias, que também podem ser usadas para criar objetos GenericAlias diretamente.

T[X, Y, ...]

Cria um GenericAlias representando um tipo T parametrizado por tipos X, Y e mais, dependendo do T usados. Por exemplo, uma função esperando uma list contendo elementos float:

def average(values: list[float]) -> float:
    return sum(values) / len(values)

Outro exemplo para mapeamento de objetos, usando um dict, o qual é um tipo genérico esperando 2 tipos de parâmetros representando o tipo da chave e o tipo do valor. Neste exemplo, a função espera um dict com chaves do tipo str e valores do tipo int:

def send_post_request(url: str, body: dict[str, int]) -> None:
    ...

As funções embutidas isinstance() e issubclass() não aceitam tipos GenericAlias para o seu segundo argumento:

>>> isinstance([1, 2], list[str])
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: isinstance() argument 2 cannot be a parameterized generic

O runtime Python não obriga anotações de tipo. Isso se aplica a tipos genéricos e seus parâmetros tipados. Ao criar um objeto contêiner a partir de um GenericAlias, os elementos no contêiner não são verificados pelo seu tipo. Por exemplo, o seguinte código é desencorajado, mas irá executar sem erros:

>>> t = list[str]
>>> t([1, 2, 3])
[1, 2, 3]

Além disso, genéricos parametrizados removem parâmetros tipados durante a criação do objeto:

>>> t = list[str]
>>> type(t)
<class 'types.GenericAlias'>

>>> l = t()
>>> type(l)
<class 'list'>

Chamar repr() ou str() sobre um genérico mostra o tipo parametrizado:

>>> repr(list[int])
'list[int]'

>>> str(list[int])
'list[int]'

O método __getitem__() de contêineres genéricos irá levantar uma exceção para não permitir erros como dict[str][str]:

>>> dict[str][str]
Traceback (most recent call last):
  ...
TypeError: dict[str] is not a generic class

Entretanto, tais expressões são válidas quando type variáveis são usadas. O índice deve ter tantos elementos quantos forem os itens de variável de tipo no objeto GenericAlias __args__.

>>> from typing import TypeVar
>>> Y = TypeVar('Y')
>>> dict[str, Y][int]
dict[str, int]

Classes genéricas padrão

As seguintes classes de biblioteca padrão oferecem suporte a genéricos parametrizados. Esta lista não é exaustiva.

tuple

list

dict

set

frozenset

type

collections.deque

collections.defaultdict

collections.OrderedDict

collections.Counter

collections.ChainMap

collections.abc.Awaitable

collections.abc.Coroutine

collections.abc.AsyncIterable

collections.abc.AsyncIterator

collections.abc.AsyncGenerator

collections.abc.Iterable

collections.abc.Iterator

collections.abc.Generator

collections.abc.Reversible

collections.abc.Container

collections.abc.Collection

collections.abc.Callable

collections.abc.Set

collections.abc.MutableSet

collections.abc.Mapping

collections.abc.MutableMapping

collections.abc.Sequence

collections.abc.MutableSequence

collections.abc.ByteString

collections.abc.MappingView

collections.abc.KeysView

collections.abc.ItemsView

collections.abc.ValuesView

contextlib.AbstractContextManager

contextlib.AbstractAsyncContextManager

dataclasses.Field

functools.cached_property

functools.partialmethod

os.PathLike

queue.LifoQueue

queue.Queue

queue.PriorityQueue

queue.SimpleQueue

re.Pattern

re.Match

shelve.BsdDbShelf

shelve.DbfilenameShelf

shelve.Shelf

types.MappingProxyType

weakref.WeakKeyDictionary

weakref.WeakMethod

weakref.WeakSet

weakref.WeakValueDictionary

Atributos especiais de objetos GenericAlias

Todos os genéricos parametrizados implementam atributos especiais somente leitura.

genericalias.__origin__

Este atributo aponta para a classe genérica não parametrizada:

>>> list[int].__origin__
<class 'list'>

genericalias.__args__

Este atributo é uma tuple (possivelmente de comprimento 1) de tipos genéricos passado para o método __class_getitem__() original da classe genérica:

>>> dict[str, list[int]].__args__
(<class 'str'>, list[int])

genericalias.__parameters__

O atributo é uma tupla computada preguiçosamente (possivelmente vazia) de variáveis de tipo único encontradas em __args__:

>>> from typing import TypeVar

>>> T = TypeVar('T')
>>> list[T].__parameters__
(~T,)

Nota

Um objeto GenericAlias com os parâmetros typing.ParamSpec pode não ter __parameters__ correto após a substituição porque typing.ParamSpec se destina principalmente à verificação de tipo estático.

genericalias.__unpacked__

Um booleano que é true se o apelido foi desempacotado usando o operador * (consulte TypeVarTuple).

Adicionado na versão 3.11.

Ver também

PEP 484 [https://peps.python.org/pep-0484/] - Dicas de tipo

Apresentando a estrutura do Python para anotações de tipo.

PEP 585 [https://peps.python.org/pep-0585/] - Sugestão de tipo para Genéricos em coleções padrão

Apresentando a capacidade de parametrizar nativamente as classes da biblioteca padrão, desde que implementem o método de classe especial __class_getitem__().

Genéricos, genéricos definidos pelo usuário e typing.Generic

Documentação sobre como implementar classes genéricas que podem ser parametrizadas em tempo de execução e compreendidas por verificadores de tipo estático.

Adicionado na versão 3.9.

Tipo União

Um objeto união contém o valor da operação | (bit a bit ou) em vários objetos tipo. Esses tipos são destinados principalmente para anotações de tipo. A expressão de tipo de união habilita a sintaxe de sugestão de tipo mais limpo em comparação com typing.Union.

X | Y | ...

Define um objeto união que contém os tipos X, Y e assim por diante. X | Y significa X ou Y. É equivalente a typing.Union[X, Y]. Por exemplo, a seguinte função espera um argumento do tipo int ou float:

def square(number: int | float) -> int | float:
    return number ** 2

Nota

O operando | não pode ser usado em tempo de execução para definir uniões onde um ou mais membros são uma referência direta. Por exemplo, int | "Foo", onde "Foo" é uma referência a uma classe ainda não definida, falhará em tempo de execução. Para uniões que incluem referências futuras, apresente a expressão inteira como uma string, por exemplo. "int | Foo".

union_object == other

Os objetos união podem ser testados quanto à igualdade com outros objetos união. Detalhes:

Uniões de uniões são achatadas:

(int | str) | float == int | str | float

Tipos redundantes são removidos:

int | str | int == int | str

Ao comparar uniões, a ordem é ignorada:

int | str == str | int

É compatível com typing.Union:

int | str == typing.Union[int, str]

Tipos opcionais podem ser escritos como uma união com None:

str | None == typing.Optional[str]

isinstance(obj, union_object)

issubclass(obj, union_object)

Chamadas para isinstance() e issubclass() também são suportados com um objeto união:

>>> isinstance("", int | str)
True

No entanto, genéricos parametrizados em objetos de união não podem ser verificados:

>>> isinstance(1, int | list[int])  # short-circuit evaluation
True
>>> isinstance([1], int | list[int])
Traceback (most recent call last):
  ...
TypeError: isinstance() argument 2 cannot be a parameterized generic

O tipo exposto ao usuário para o objeto união pode ser acessado a partir de types.UnionType e usado por verificações de isinstance(). Um objeto não pode ser instanciado a partir do tipo:

>>> import types
>>> isinstance(int | str, types.UnionType)
True
>>> types.UnionType()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: cannot create 'types.UnionType' instances

Nota

O método __or__() para objetos de tipo foi adicionado para suportar a sintaxe X | Y. Se uma metaclasse implementa __or__(), a União pode substituí-la:

>>> class M(type):
...     def __or__(self, other):
...         return "Hello"
...
>>> class C(metaclass=M):
...     pass
...
>>> C | int
'Hello'
>>> int | C
int | C

Ver também

PEP 604 [https://peps.python.org/pep-0604/] – PEP propondo a sintaxe X | Y e o tipo União.

Adicionado na versão 3.10.

Outros tipos embutidos

O interpretador suporta diversos outros tipos de objetos. Maior parte desses, suporta apenas uma ou duas operações.

Módulos

A única operação especial em um módulo é o acesso a um atributo: m.name, onde m é um módulo e name acessa o nome defino na tabela de símbolos de m. Atributos de módulo podem receber atribuição. (Perceba que a instrução import não é, estritamente falando, uma operação em um objeto do módulo; import foo não requer que um objeto do módulo chamado foo exista, ao invés disso requer uma definição (externa) de um módulo chamado foo em algum lugar.)

Um atributo especial de cada módulo é __dict__. Este é o dicionário contendo a tabela de símbolos do modulo. Modificar este dicionário vai na verdade modificar a tabela de símbolos do módulo, mas atribuição direta para o atributo __dict__ não é possível (você pode escrever m.__dict__['a'] = 1, o qual define m.a para ser 1, mas você não consegue escrever m.__dict__ = {}). Modificar __dict__ diretamente não é recomendado.

Módulos embutidos no interpretador são escritos desta forma: <module 'sys' (built-in)>. Se carregados a partir de um arquivo, eles são escritos como <module 'os' from '/usr/local/lib/pythonX.Y/os.pyc'>.

Classes e Instâncias de Classes

Veja Objetos, valores e tipos e Definições de classe para estes.

Funções

Objetos função são criados através da definição de funções. A única operação que pode ser feita em um objeto função é chamá-la: func(lista-de-argumentos).

Existem na verdade duas possibilidades de objetos função: funções embutidas e funções definidas pelo usuário. Ambas suportam a mesma operação (chamar a função), mas a implementação é diferente, portanto os diferentes tipos de objetos.

Veja a função Definições de função para mais informações.

Métodos

Métodos são funções que são chamadas usando a notação de atributo. Existem duas opções: métodos embutidos (tal como append() em listas) e métodos de instância de classe. Métodos embutidos são descritos com os tipos que suportam eles.

Se você acessar um método (uma função definida em um espaço de nomes de uma classe) através de uma instância, você obtém um objeto especial: um objeto com método vinculado (também chamado de método de instância). Quando chamado, ele irá adicionar o argumento self para a lista de argumentos. Métodos vinculados tem dois atributos somente leitura especiais: m.__self__ é o objeto no qual o método opera, e m.__func__ é a função que implementa o método. Chamar m(arg-1, arg-2, ..., arg-n) é completamente equivalente a chamar m.__func__(m.__self__, arg-1, arg-2, ..., arg-n).

Assim como objetos função, objetos de métodos vinculados tem suporte para receber atributos arbitrários. Entretanto, como atributos de método na verdade são armazenados no objeto função subjacente (method.__func__), definir atributos de método em métodos vinculados não é permitido. Tentar definir um atributo em um método resulta em um AttributeError sendo levantado. A fim de definir um atributo de método, você precisa definir explicitamente ele no objeto função subjacente:

>>> class C:
...     def method(self):
...         pass
...
>>> c = C()
>>> c.method.whoami = 'my name is method'  # can't set on the method
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'method' object has no attribute 'whoami'
>>> c.method.__func__.whoami = 'my name is method'
>>> c.method.whoami
'my name is method'

Veja Métodos de instância para mais informações.

Objetos código

Objetos código são usados pela implementação para representar código Python executável “pseudo-compilado”, tal como corpo de uma função. Eles são diferentes de objetos função porque eles não contém uma referência para os seus ambientes de execução global. Objetos código são retornados pela função embutida compile() e podem ser extraídos de objetos função através do seu atributo __code__. Veja também o módulo code.

Acessar __code__ levanta um evento de auditoria object.__getattr__ com os argumentos obj e "__code__".

Um objeto de código pode ser executado ou avaliado passando-o (ao invés da string fonte) para as funções embutidas exec() ou eval().

Veja o tipo A hierarquia de tipos padrão para maiores informações.

Objetos tipo

Objetos de tipos representam os vários tipos de objetos. Um tipo de um objeto é acessado pela função embutida type(). Não existem operações especiais sobre tipos. O módulo padrão types define nomes para todos os tipos padrão embutidos.

Tipos são escritos como isto: <class 'int'>.

O objeto nulo

Este objeto é retornado por funções que não retornam um valor explicitamente. Ele não suporta operações especiais. Existe exatamente um objeto nulo, chamado de None (um nome embutido). type(None)() produz o mesmo singleton.

Ele é escrito como None.

O Objeto Ellipsis

Este objeto é comumente usado através de fatiamento (veja Fatiamentos). Ela não suporta operações especiais. Existe exatamente um objeto ellipsis, nomeado Ellipsis (um nome embutido). type(Ellipsis)() produz o singleton Ellipsis.

Está escrito com Ellipsis ou ....

O Objeto NotImplemented

Este objeto é retornado a partir de comparações e operações binárias quando elas são solicitadas para operar em tipos nos quais eles não suportam. Veja Comparações para mais informações. Existe exatamente um objeto NotImplemented. type(NotImplemented)() produz o mesmo valor.

Está escrito como NotImplemented.

Objetos Internos

Veja A hierarquia de tipos padrão para esta informação. Descreve objetos de quadro de pilha, objetos traceback (situação da pilha de execução), e objetos fatia.

Atributos Especiais

A implementação adiciona alguns atributos especiais somente leitura para diversos tipos de objetos, onde eles são relevantes. Alguns desses não são reportados pela função embutida dir().

definition.__name__

O nome da classe, função, método, descritor, ou instância geradora.

definition.__qualname__

O nome qualificado da classe, função, método, descritor, ou instância geradora.

Adicionado na versão 3.3.

definition.__module__

The name of the module in which a class or function was defined.

definition.__doc__

The documentation string of a class or function, or None if undefined.

definition.__type_params__

The type parameters of generic classes, functions, and type aliases. For classes and functions that are not generic, this will be an empty tuple.

Adicionado na versão 3.12.

Limitação de comprimento de string na conversão para inteiro

CPython tem um limite global para conversão entre int e str para mitigar ataques de negação de serviço. Esse limite somente se aplica a bases numéricas decimais ou outras que não sejam potência de dois. As conversões hexadecimais, octais e binárias são ilimitadas. O limite pode ser configurado.

O tipo int no CPython é um número de comprimento arbitrário armazenado em formato binário (comumente conhecido como “bignum”). Não existe nenhum algoritmo que possa converter uma string em um inteiro binário ou um inteiro binário em uma string em tempo linear, a menos que a base seja uma potência de 2. Mesmo os algoritmos mais conhecidos para a base 10 têm complexidade subquadrática. Converter um valor grande como int('1' * 500_000) pode levar mais de um segundo em uma CPU rápida.

Limitar o tamanho da conversão oferece uma maneira prática de evitar CVE 2020-10735 [https://www.cve.org/CVERecord?id=CVE-2020-10735].

O limite é aplicado ao número de caracteres de dígitos na string de entrada ou saída quando um algoritmo de conversão não linear estiver envolvido. Sublinhados e o sinal não são contados para o limite.

Quando uma operação excede o limite, uma exceção ValueError é levantada:

>>> import sys
>>> sys.set_int_max_str_digits(4300)  # Illustrative, this is the default.
>>> _ = int('2' * 5432)
Traceback (most recent call last):
...
ValueError: Exceeds the limit (4300 digits) for integer string conversion: value has 5432 digits; use sys.set_int_max_str_digits() to increase the limit
>>> i = int('2' * 4300)
>>> len(str(i))
4300
>>> i_squared = i*i
>>> len(str(i_squared))
Traceback (most recent call last):
...
ValueError: Exceeds the limit (4300 digits) for integer string conversion; use sys.set_int_max_str_digits() to increase the limit
>>> len(hex(i_squared))
7144
>>> assert int(hex(i_squared), base=16) == i*i  # Hexadecimal is unlimited.

O limite padrão é de 4300 dígitos conforme fornecido em sys.int_info.default_max_str_digits. O limite mínimo que pode ser configurado é de 640 dígitos conforme fornecido em sys.int_info.str_digits_check_threshold.

Verificação:

>>> import sys
>>> assert sys.int_info.default_max_str_digits == 4300, sys.int_info
>>> assert sys.int_info.str_digits_check_threshold == 640, sys.int_info
>>> msg = int('578966293710682886880994035146873798396722250538762761564'
...           '9252925514383915483333812743580549779436104706260696366600'
...           '571186405732').to_bytes(53, 'big')
...

Adicionado na versão 3.11.

APIs afetadas

A limitação só se aplica a conversões potencialmente lentas entre int e str ou bytes:

int(string) com padrão sendo base 10.

int(string, base) para todas as bases que não são uma potência de 2.

str(integer).

repr(integer).

qualquer outra conversão de string para base 10 como, por exemplo, f"{integer}", "{}".format(integer) ou b"%d" % integer.

As limitações não se aplicam a funções com um algoritmo linear:

int(string, base) com base 2, 4, 8, 16 ou 32.

int.from_bytes() e int.to_bytes().

hex(), oct(), bin().

Minilinguagem de especificação de formato para números hexa, octal e binários

str para float.

str para decimal.Decimal.

Configurando o limiter

Antes de iniciar o Python, você pode usar uma variável de ambiente ou um sinalizador de linha de comando do interpretador para configurar o limite:

PYTHONINTMAXSTRDIGITS, por exemplo PYTHONINTMAXSTRDIGITS=640 python3 para definir o limite para 640 ou PYTHONINTMAXSTRDIGITS=0 python3 para desabilitar a limitação.

-X int_max_str_digits, por exemplo python3 -X int_max_str_digits=640

sys.flags.int_max_str_digits contém o valor de PYTHONINTMAXSTRDIGITS ou -X int_max_str_digits. Se a variável env e a opção -X estiverem definidas, a opção -X terá precedência. Um valor de -1 indica que ambos não foram definidos, portanto, um valor de sys.int_info.default_max_str_digits foi usado durante a inicialização.

A partir do código, você pode inspecionar o limite atual e definir um novo usando estas APIs sys:

sys.get_int_max_str_digits() e sys.set_int_max_str_digits() são um getter e um setter para o limite de todo o interpretador. Os subinterpretadores têm seu próprio limite.

Informações sobre o padrão e o mínimo podem ser encontradas em sys.int_info:

sys.int_info.default_max_str_digits é o limite padrão compilado.

sys.int_info.str_digits_check_threshold é o menor valor aceito para o limite (diferente de 0 que o desabilita).

Adicionado na versão 3.11.

Cuidado

Definir um limite baixo pode levar a problemas. Embora raro, existe um código que contém constantes inteiras em decimal em sua origem que excedem o limite mínimo. Uma consequência de definir o limite é que o código-fonte do Python contendo literais inteiros decimais maiores que o limite encontrará um erro durante a análise, geralmente no momento da inicialização ou no momento da importação ou até mesmo no momento da instalação – sempre que um .pyc atualizado ainda não existe para o código. Uma solução alternativa para source que contém tais constantes grandes é convertê-las para a forma hexadecimal 0x, pois não há limite.

Teste sua aplicação completamente se você usar um limite baixo. Certifique-se de que seus testes sejam executados com o limite definido anteriormente por meio do ambiente ou sinalizador para que ele seja aplicado durante a inicialização e até mesmo durante qualquer etapa de instalação que possa invocar o Python para pré-compilar fontes .py para arquivos .pyc.

Configuração recomendada

Espera-se que o padrão sys.int_info.default_max_str_digits seja razoável para a maioria das aplicações. Se sua aplicação exigir um limite diferente, defina-o em seu ponto de entrada principal usando código agnóstico de versão Python, pois essas APIs foram adicionadas em lançamentos de patch de segurança em versões anteriores a 3.12.

Exemplo:

>>> import sys
>>> if hasattr(sys, "set_int_max_str_digits"):
...     upper_bound = 68000
...     lower_bound = 4004
...     current_limit = sys.get_int_max_str_digits()
...     if current_limit == 0 or current_limit > upper_bound:
...         sys.set_int_max_str_digits(upper_bound)
...     elif current_limit < lower_bound:
...         sys.set_int_max_str_digits(lower_bound)

Se você precisar desativá-lo totalmente, defina-o como 0.

Notas de rodapé

[1]

Informações adicionais sobre esses métodos especiais podem ser encontradas no Manual de Referência do Python (Customização básica).

[2]

Como uma consequência, a lista [1, 2] é considerada igual a [1.0, 2.0], e similarmente para tuplas.

[3]

Eles precisam ter, já que o analisador sintático não consegue dizer o tipo dos operandos.

[4] (1,2,3,4)

Caracteres que possuem maiúsculo e minúsculo são aqueles com a propriedade de categoria geral igual a “Lu” (Letra, maiúscula), “Ll” (Letra, minúscula), ou “Lt” (Letra, em formato de título).

[5] (1,2)

Para formatar apenas uma tupla, você deve portanto fornecer uma tupla com apenas um elemento, que é a tupla a ser formatada.

Exceções embutidas

No Python, todas as exceções devem ser instâncias de uma classe derivada de BaseException. Em uma instrução try com uma cláusula except que menciona uma classe específica, essa cláusula também lida com qualquer classe de exceção derivada dessa classe (mas não com as classes de exceção a partir das quais ela é derivada). Duas classes de exceção que não são relacionadas por subclasse nunca são equivalentes, mesmo que tenham o mesmo nome.

As exceções embutidas listadas neste capítulo podem ser geradas pelo interpretador ou pelas funções embutidas. Exceto onde mencionado, eles têm um “valor associado” indicando a causa detalhada do erro. Pode ser uma string ou uma tupla de vários itens de informação (por exemplo, um código de erro e uma string que explica o código). O valor associado geralmente é passado como argumentos para o construtor da classe de exceção.

O código do usuário pode gerar exceções embutidas. Isso pode ser usado para testar um manipulador de exceções ou para relatar uma condição de erro “exatamente como” a situação na qual o interpretador gera a mesma exceção; mas lembre-se de que nada impede o código do usuário de gerar um erro inadequado.

As classes de exceções embutidas podem ser usadas como subclasses para definir novas exceções; Os programadores são incentivados a derivar novas exceções da classe Exception ou de uma de suas subclasses, e não de BaseException. Mais informações sobre a definição de exceções estão disponíveis no Tutorial do Python em Exceções definidas pelo usuário.

Contexto da exceção

Três atributos em objetos exceções fornecem informações sobre o contexto em que a exceção foi levantada.

BaseException.__context__

BaseException.__cause__

BaseException.__suppress_context__

Ao levantar uma nova exceção enquanto outra exceção já está sendo tratada, o atributo __context__ da nova exceção é automaticamente definido para a exceção tratada. Uma exceção pode ser tratada quando uma cláusula except ou finally, ou uma instrução with, é usada.

Esse contexto implícito da exceção pode ser complementado com uma causa explícita usando from com raise:

raise new_exc from original_exc

A expressão a seguir from deve ser uma exceção ou None. Ela será definida como __cause__ na exceção levantada. A definição de __cause__ também define implicitamente o atributo __suppress_context__ como True, de modo que o uso de raise new_exc from None substitui efetivamente a exceção antiga pela nova para fins de exibição (por exemplo, convertendo KeyError para AttributeError), deixando a exceção antiga disponível em __context__ para introspecção durante a depuração.

O código de exibição padrão do traceback mostra essas exceções encadeadas, além do traceback da própria exceção. Uma exceção explicitamente encadeada em __cause__ sempre é mostrada quando presente. Uma exceção implicitamente encadeada em __context__ é mostrada apenas se __cause__ for None e __suppress_context__ for falso.

Em qualquer um dos casos, a exceção em si sempre é mostrada após todas as exceções encadeadas, de modo que a linha final do traceback sempre mostre a última exceção que foi levantada.

Herdando de exceções embutidas

O código do usuário pode criar subclasses que herdam de um tipo de exceção. É recomendado criar subclasse de apenas um tipo de exceção por vez para evitar possíveis conflitos entre como as bases tratam o atributo args, bem como devido a possíveis incompatibilidades de layout de memória.

Detalhes da implementação do CPython: A maioria das exceções embutidas são implementadas em C para eficiência, veja: Objects/exceptions.c [https://github.com/python/cpython/tree/3.13/Objects/exceptions.c]. Algumas têm layouts de memória personalizados, o que impossibilita a criação de uma subclasse que herda de vários tipos de exceção. O layout de memória de um tipo é um detalhe de implementação e pode mudar entre as versões do Python, levando a novos conflitos no futuro. Portanto, é recomendável evitar criar subclasses de vários tipos de exceção.

Classes base

As seguintes exceções são usadas principalmente como classes base para outras exceções.

exception BaseException

A classe base para todas as exceções embutidas. Não é para ser herdada diretamente por classes definidas pelo usuário (para isso, use Exception). Se str() for chamado em uma instância desta classe, a representação do(s) argumento(s) para a instância será retornada ou a string vazia quando não houver argumentos.

args

A tupla de argumentos fornecidos ao construtor de exceções. Algumas exceções embutidas (como OSError) esperam um certo número de argumentos e atribuem um significado especial aos elementos dessa tupla, enquanto outras são normalmente chamadas apenas com uma única string que fornece uma mensagem de erro.

with_traceback(tb)

Este método define tb como o novo traceback (situação da pilha de execução) para a exceção e retorna o objeto exceção. Era mais comumente usado antes que os recursos de encadeamento de exceções de PEP 3134 [https://peps.python.org/pep-3134/] se tornassem disponíveis. O exemplo a seguir mostra como podemos converter uma instância de SomeException em uma instância de OtherException enquanto preservamos o traceback. Uma vez gerado, o quadro atual é empurrado para o traceback de OtherException, como teria acontecido com o traceback de SomeException original se tivéssemos permitido que ele se propagasse para o chamador.

try:
    ...
except SomeException:
    tb = sys.exception().__traceback__
    raise OtherException(...).with_traceback(tb)

__traceback__

Um campo gravável que contém o objeto traceback associado a esta exceção. Veja também: A instrução raise.

add_note(note)

Adiciona a string note às notas da exceção que aparecem no traceback padrão após a string de exceção. Uma exceção TypeError é levantada se note não for uma string.

Adicionado na versão 3.11.

__notes__

Uma lista das notas desta exceção, que foram adicionadas com add_note(). Este atributo é criado quando add_note() é chamado.

Adicionado na versão 3.11.

exception Exception

Todas as exceções embutidas que não saem para o sistema são derivadas dessa classe. Todas as exceções definidas pelo usuário também devem ser derivadas dessa classe.

exception ArithmeticError

A classe base para as exceções embutidas levantadas para vários erros aritméticos: OverflowError, ZeroDivisionError, FloatingPointError.

exception BufferError

Levantado quando uma operação relacionada a buffer não puder ser realizada.

exception LookupError

A classe base para as exceções levantadas quando uma chave ou índice usado em um mapeamento ou sequência é inválido: IndexError, KeyError. Isso pode ser levantado diretamente por codecs.lookup().

Exceções concretas

As seguintes exceções são as que geralmente são levantados.

exception AssertionError

Levantado quando uma instrução assert falha.

exception AttributeError

Levantado quando uma referência de atributo (consulte Referências de atributo) ou atribuição falha. (Quando um objeto não oferece suporte a referências ou atribuições de atributos, TypeError é levantado.)

Os atributos name e obj podem ser configurados usando argumentos somente-nomeados para o construtor. Quando configurados, eles representam o nome do atributo que se tentou acessar e do objeto que foi acessado por esse atributo, respectivamente.

Alterado na versão 3.10: Adicionado os atributos name e obj.

exception EOFError

Levantado quando a função input() atinge uma condição de fim de arquivo (EOF) sem ler nenhum dado. (Note: os métodos io.IOBase.read() e io.IOBase.readline() retornam uma string vazia quando pressionam o EOF.)

exception FloatingPointError

Não usado atualmente.

exception GeneratorExit

Levantado quando um gerador ou uma corrotina está fechado(a); veja generator.close() e coroutine.close(). Herda diretamente de BaseException em vez de Exception, já que tecnicamente não é um erro.

exception ImportError

Levantada quando a instrução import tem problemas ao tentar carregar um módulo. Também é gerado quando o “from list” em from ... import tem um nome que não pode ser encontrado.

O argumentos somente-nomeados opcionais name e o path definem o atributos correspondente:

name

O nome do módulo que tentou-se fazer a importação.

path

O caminho para qualquer arquivo que acionou a exceção.

Alterado na versão 3.3: Adicionados os atributos name e path.

exception ModuleNotFoundError

Uma subclasse de ImportError que é levantada por import quando um módulo não pôde ser localizado. Também é levantada quando None é encontrado em sys.modules.

Adicionado na versão 3.6.

exception IndexError

Levantada quando um índice de alguma sequência está fora do intervalo. (Índices de fatia são truncados silenciosamente para cair num intervalo permitido; se um índice não for um inteiro, TypeError é levantada.)

exception KeyError

Levantada quando uma chave de mapeamento (dicionário) não é encontrada no conjunto de chaves existentes.

exception KeyboardInterrupt

Levantada quando um usuário aperta a tecla de interrupção (normalmente Control-C ou Delete). Durante a execução, uma checagem de interrupção é feita regularmente. A exceção herda de BaseException para que não seja capturada acidentalmente por códigos que tratam Exception e assim evita que o interpretador saia.

Nota

Capturar uma KeyboardInterrupt requer consideração especial. Como pode ser levantada em pontos imprevisíveis, pode, em algumas circunstâncias, deixar o programa em execução em um estado inconsistente. Geralmente é melhor permitir que KeyboardInterrupt termine o programa o mais rápido possível ou evitar levantá-la de todo. (Veja Note on Signal Handlers and Exceptions.)

exception MemoryError

Levantada quando uma operação fica sem memória mas a situação ainda pode ser recuperada (excluindo alguns objetos). O valor associado é uma string que indica o tipo de operação (interna) que ficou sem memória. Observe que, por causa da arquitetura de gerenciamento de memória subjacente (função malloc() do C), o interpretador pode não ser capaz de se recuperar completamente da situação; no entanto, levanta uma exceção para que um traceback possa ser impresso, no caso de um outro programa ser a causa.

exception NameError

Levantada quando um nome local ou global não é encontrado. Isso se aplica apenas a nomes não qualificados. O valor associado é uma mensagem de erro que inclui o nome que não pode ser encontrado.

O atributo name pode ser definido usando um argumento somente-nomeado para o construtor. Quando definido, representa o nome da variável que foi tentada ser acessada.

Alterado na versão 3.10: Adicionado o atributo name.

exception NotImplementedError

Essa exceção é derivada da RuntimeError. Em classes base, definidas pelo usuário, os métodos abstratos devem gerar essa exceção quando requerem que classes derivadas substituam o método, ou enquanto a classe está sendo desenvolvida, para indicar que a implementação real ainda precisa ser adicionada.

Nota

Não deve ser usada para indicar que um operador ou método não será mais suportado – nesse caso deixe o operador / método indefinido ou, se é uma subclasse, defina-o como None.

Nota

NotImplementedError e NotImplemented não são intercambiáveis, mesmo que tenham nomes e propósitos similares. Veja NotImplemented para detalhes e casos de uso.

exception OSError([arg])

exception OSError(errno, strerror[, filename[, winerror[, filename2]]])

Esta exceção é levantada quando uma função do sistema retorna um erro relacionado ao sistema, incluindo falhas do tipo E/S como “file not found” ou “disk full” (não para tipos de argumentos não permitidos ou outro erro acessório).

A segunda forma do construtor definir os atributos correspondentes, descritos abaixo. Os atributos usarão o valor padrão None se não forem especificados. Por compatibilidade com versões anteriores, se três argumentos são passados, o atributo args contêm somente uma tupla de 2 elementos, os dois primeiros argumentos do construtor.

O construtor geralmente retorna uma subclasse de OSError, como descrito abaixo em OS exceptions . A subclasse particular depende do valor final de errno. Este comportamento ocorre apenas durante a construção direta ou por meio de um apelido de OSError, e não é herdado na criação de subclasses.

errno

Um código de erro numérico da variável C errno.

winerror

No Windows, isso fornece o código de erro nativo do Windows. O atributo errno é então uma tradução aproximada, em termos POSIX, desse código de erro nativo.

No Windows, se o argumento de construtor winerror for um inteiro, o atributo errno é determinado a partir do código de erro do Windows e o argumento errno é ignorado. Em outras plataformas, o argumento winerror é ignorado e o atributo winerror não existe.

strerror

A mensagem de erro correspondente, conforme fornecida pelo sistema operacional. É formatada pelas funções C perror() no POSIX e FormatMessage() no Windows.

filename

filename2

Para exceções que envolvem um caminho do sistema de arquivos (como open() ou os.unlink()), filename é o nome do arquivo passado para a função. Para funções que envolvem dois caminhos de sistema de arquivos (como os.rename()), filename2 corresponde ao segundo nome de arquivo passado para a função.

Alterado na versão 3.3: EnvironmentError, IOError, WindowsError, socket.error, select.error e mmap.error foram fundidos em OSError, e o construtor pode retornar uma subclasse.

Alterado na versão 3.4: O atributo filename agora é o nome do arquivo original passado para a função, ao invés do nome codificado ou decodificado da tratador de erros e codificação do sistema de arquivos. Além disso, o argumento e o atributo de construtor filename2 foi adicionado.

exception OverflowError

Levantada quando o resultado de uma operação aritmética é muito grande para ser representada. Isso não pode ocorrer para inteiros (que prefere levantar MemoryError a desistir). No entanto, por motivos históricos, OverflowError às vezes é levantada para inteiros que estão fora de um intervalo obrigatório. Devido à falta de padronização do tratamento de exceção de ponto flutuante em C, a maioria das operações de ponto flutuante não são verificadas.

exception PythonFinalizationError

Este exceção é derivada de RuntimeError. É levantada quando uma operação é bloqueada durante o encerramento do interpretador e também conhecido como finalização do Python.

Exemplos de operações que podem ser bloqueadas com um PythonFinalizationError durante a finalização do Python:

Criação de uma nova thread no Python.

os.fork().

Veja também a função sys.is_finalizing().

Adicionado na versão 3.13: Anteriormente, uma RuntimeError simples era levantada.

exception RecursionError

Esta exceção é derivada de RuntimeError. É levantada quando o interpretador detecta que a profundidade máxima de recursão (veja sys.getrecursionlimit()) foi excedida.

Adicionado na versão 3.5: Anteriormente, uma RuntimeError simples era levantada.

exception ReferenceError

Esta exceção é levantada quando um intermediário de referência fraca, criado pela função weakref.proxy(), é usado para acessar um atributo do referente após ter sido coletado como lixo. Para mais informações sobre referências fracas, veja o módulo weakref.

exception RuntimeError

Levantada quando um erro é detectado e não se encaixa em nenhuma das outras categorias. O valor associado é uma string indicando o que precisamente deu errado.

exception StopIteration

Levantada pela função embutida next() e o método __next__() de um iterador para sinalizar que não há mais itens produzidos pelo iterador.

value

O objeto exceção tem um único atributo value, que é fornecido como um argumento ao construir a exceção, e o padrão é None.

Quando uma função geradora ou corrotina retorna, uma nova instância StopIteration é levantada, e o valor retornado pela função é usado como o parâmetro value para o construtor da exceção.

Se um código gerador direta ou indiretamente levantar StopIteration, ele é convertido em uma RuntimeError (mantendo o StopIteration como a nova causa da exceção).

Alterado na versão 3.3: Adicionado o atributo value e a capacidade das funções geradoras de usá-lo para retornar um valor.

Alterado na versão 3.5: Introduzida a transformação RuntimeError via from __future__ import generator_stop, consulte PEP 479 [https://peps.python.org/pep-0479/].

Alterado na versão 3.7: Habilita PEP 479 [https://peps.python.org/pep-0479/] para todo o código por padrão: um erro StopIteration levantado em um gerador é transformado em uma RuntimeError.

exception StopAsyncIteration

Deve ser levantada pelo método __anext__() de um objeto iterador assíncrono para parar a iteração.

Adicionado na versão 3.5.

exception SyntaxError(message, details)

Levantada quando o analisador encontra um erro de sintaxe. Isso pode ocorrer em uma instrução import, em uma chamada às funções embutidas compile(), exec() ou eval(), ou ao ler o script inicial ou entrada padrão (também interativamente).

A função str() da instância de exceção retorna apenas a mensagem de erro. Detalhes é uma tupla cujos membros também estão disponíveis como atributos separados.

filename

O nome do arquivo em que ocorreu o erro de sintaxe.

lineno

Em qual número de linha no arquivo o erro ocorreu. Este é indexado em 1: a primeira linha no arquivo tem um lineno de 1.

offset

A coluna da linha em que ocorreu o erro. Este é indexado em 1: o primeiro caractere na linha tem um offset de 1.

text

O texto do código-fonte envolvido no erro.

end_lineno

Em qual número de linha no arquivo o erro ocorrido termina. Este é indexado em 1: a primeira linha no arquivo tem um lineno de 1.

end_offset

A coluna da linha final em que erro ocorrido finaliza Este é indexado em 1: o primeiro caractere na linha tem um offset de 1.

Para erros em campos de f-string, a mensagem é prefixada por “f-string: “ e os “offsets” são deslocamentos em um texto construído a partir da expressão de substituição. Por exemplo, compilar o campo f’Bad {a b}’ resulta neste atributo de argumentos: (‘f-string: …’, (‘’, 1, 2, ‘(a b)n’, 1, 5)).

Alterado na versão 3.10: Adicionado os atributos end_lineno e end_offset.

exception IndentationError

Classe base para erros de sintaxe relacionados a indentação incorreta. Esta é uma subclasse de SyntaxError.

exception TabError

Levantada quando o indentação contém um uso inconsistente de tabulações e espaços. Esta é uma subclasse de IndentationError.

exception SystemError

Levantada quando o interpretador encontra um erro interno, mas a situação não parece tão grave para fazer com que perca todas as esperanças. O valor associado é uma string que indica o que deu errado (em termos de baixo nível).

Você deve relatar isso ao autor ou mantenedor do seu interpretador Python. Certifique-se de relatar a versão do interpretador Python (sys.version; também é impresso no início de uma sessão Python interativa), a mensagem de erro exata (o valor associado da exceção) e se possível a fonte do programa que acionou o erro.

exception SystemExit

Esta exceção é levantada pela função sys.exit(). Ele herda de BaseException em vez de Exception para que não seja acidentalmente capturado pelo código que captura Exception. Isso permite que a exceção se propague corretamente e faça com que o interpretador saia. Quando não é tratado, o interpretador Python sai; nenhum traceback (situação da pilha de execução) é impresso. O construtor aceita o mesmo argumento opcional passado para sys.exit(). Se o valor for um inteiro, ele especifica o status de saída do sistema (passado para a função C exit()); se for None, o status de saída é zero; se tiver outro tipo (como uma string), o valor do objeto é exibido e o status de saída é um.

Uma chamada para sys.exit() é traduzida em uma exceção para que os tratadores de limpeza (cláusulas finally das instruções try) possam ser executados, e para que um depurador possa executar um script sem correr o risco de perder o controle. A função os._exit() pode ser usada se for absolutamente necessário sair imediatamente (por exemplo, no processo filho após uma chamada para os.fork()).

code

O status de saída ou mensagem de erro transmitida ao construtor. (O padrão é None.)

exception TypeError

Levantada quando uma operação ou função é aplicada a um objeto de tipo inadequado. O valor associado é uma string que fornece detalhes sobre a incompatibilidade de tipo.

Essa exceção pode ser levantada pelo código do usuário para indicar que uma tentativa de operação em um objeto não é suportada e não deveria ser. Se um objeto deve ter suporte a uma dada operação, mas ainda não forneceu uma implementação, NotImplementedError é a exceção apropriada a ser levantada.

Passar argumentos do tipo errado (por exemplo, passar uma list quando um int é esperado) deve resultar em uma TypeError, mas passar argumentos com o valor errado (por exemplo, um número fora limites esperados) deve resultar em uma ValueError.

exception UnboundLocalError

Levantada quando uma referência é feita a uma variável local em uma função ou método, mas nenhum valor foi vinculado a essa variável. Esta é uma subclasse de NameError.

exception UnicodeError

Levantada quando ocorre um erro de codificação ou decodificação relacionado ao Unicode. É uma subclasse de ValueError.

UnicodeError possui atributos que descrevem o erro de codificação ou decodificação. Por exemplo, err.object[err.start:err.end] fornece a entrada inválida específica na qual o codec falhou.

encoding

O nome da codificação que levantou o erro.

reason

Uma string que descreve o erro de codec específico.

object

O objeto que o codec estava tentando codificar ou decodificar.

start

O primeiro índice de dados inválidos em object.

end

O índice após os últimos dados inválidos em object.

exception UnicodeEncodeError

Levantada quando ocorre um erro relacionado ao Unicode durante a codificação. É uma subclasse de UnicodeError.

exception UnicodeDecodeError

Levantada quando ocorre um erro relacionado ao Unicode durante a decodificação. É uma subclasse de UnicodeError.

exception UnicodeTranslateError

Levantada quando ocorre um erro relacionado ao Unicode durante a tradução. É uma subclasse de UnicodeError.

exception ValueError

Levantada quando uma operação ou função recebe um argumento que tem o tipo certo, mas um valor inadequado, e a situação não é descrita por uma exceção mais precisa, como IndexError.

exception ZeroDivisionError

Levantada quando o segundo argumento de uma divisão ou operação de módulo é zero. O valor associado é uma string que indica o tipo dos operandos e a operação.

As seguintes exceções são mantidas para compatibilidade com versões anteriores; a partir do Python 3.3, eles são apelidos de OSError.

exception EnvironmentError

exception IOError

exception WindowsError

Disponível apenas no Windows.

Exceções de sistema operacional

As seguintes exceções são subclasses de OSError, elas são levantadas dependendo do código de erro do sistema.

exception BlockingIOError

Levantada quando uma operação bloquearia em um objeto (por exemplo, soquete) definido para operação sem bloqueio. Corresponde a errno EAGAIN, EALREADY, EWOULDBLOCK e EINPROGRESS.

Além daquelas de OSError, BlockingIOError pode ter mais um atributo:

characters_written

Um inteiro contendo o número de caracteres gravados no fluxo antes de ser bloqueado. Este atributo está disponível ao usar as classes de E/S em buffer do módulo io.

exception ChildProcessError

Levantada quando uma operação em um processo filho falha. Corresponde a errno ECHILD.

exception ConnectionError

Uma classe base para problemas relacionados à conexão.

Suas subclasses são BrokenPipeError, ConnectionAbortedError, ConnectionRefusedError e ConnectionResetError.

exception BrokenPipeError

Uma subclasse de ConnectionError, levantada ao tentar escrever em um encadeamento, enquanto a outra extremidade foi fechada, ou ao tentar escrever em um soquete que foi desligado para escrita. Corresponde a errno EPIPE e ESHUTDOWN.

exception ConnectionAbortedError

Uma subclasse de ConnectionError, levantada quando uma tentativa de conexão é cancelada pelo par. Corresponde a errno ECONNABORTED.

exception ConnectionRefusedError

Uma subclasse de ConnectionError, levantada quando uma tentativa de conexão é recusada pelo par. Corresponde a errno ECONNREFUSED.

exception ConnectionResetError

Uma subclasse de ConnectionError, levantada quando uma conexão é redefinida pelo par. Corresponde a errno ECONNRESET.

exception FileExistsError

Levantada ao tentar criar um arquivo ou diretório que já existe. Corresponde a errno EEXIST.

exception FileNotFoundError

Levantada quando um arquivo ou diretório é solicitado, mas não existe. Corresponde a errno ENOENT.

exception InterruptedError

Levantada quando uma chamada do sistema é interrompida por um sinal de entrada. Corresponde a errno EINTR.

Alterado na versão 3.5: Python agora tenta novamente chamadas de sistema quando uma syscall é interrompida por um sinal, exceto se o tratador de sinal levanta uma exceção (veja PEP 475 [https://peps.python.org/pep-0475/] para a justificativa), em vez de levantar InterruptedError.

exception IsADirectoryError

Levantada quando uma operação de arquivo (como os.remove()) é solicitada em um diretório. Corresponde a errno EISDIR.

exception NotADirectoryError

Levantada quando uma operação de diretório (como os.listdir()) é solicitada em algo que não é um diretório. Na maioria das plataformas POSIX, ela também pode ser levantada se uma operação tentar abrir ou percorrer um arquivo não pertencente ao diretório como se fosse um diretório. Corresponde a errno ENOTDIR.

exception PermissionError

Levantada ao tentar executar uma operação sem os direitos de acesso adequados - por exemplo, permissões do sistema de arquivos. Corresponde a errno EACCES, EPERM, e ENOTCAPABLE.

Alterado na versão 3.11.1: ENOTCAPABLE do WASI agora é mapeado para PermissionError.

exception ProcessLookupError

Levantada quando um determinado processo não existe. Corresponde a errno ESRCH.

exception TimeoutError

Levantada quando uma função do sistema expirou no nível do sistema. Corresponde a errno ETIMEDOUT.

Adicionado na versão 3.3: Todas as subclasses de OSError acima foram adicionadas.

Ver também

PEP 3151 [https://peps.python.org/pep-3151/] - Reworking the OS and IO exception hierarchy

Avisos

As seguintes exceções são usadas como categorias de aviso; veja a documentação de Categorias de avisos para mais detalhes.

exception Warning

Classe base para categorias de aviso.

exception UserWarning

Classe base para avisos gerados pelo código do usuário.

exception DeprecationWarning

Classe base para avisos sobre recursos descontinuados quando esses avisos se destinam a outros desenvolvedores Python.

Ignorado pelos filtros de aviso padrão, exceto no módulo __main__ (PEP 565 [https://peps.python.org/pep-0565/]). Habilitar o Modo de Desenvolvimento do Python mostra este aviso.

A política de descontinuação está descrita na PEP 387 [https://peps.python.org/pep-0387/].

exception PendingDeprecationWarning

Classe base para avisos sobre recursos que foram descontinuados e devem ser descontinuados no futuro, mas não foram descontinuados ainda.

Esta classe raramente é usada para emitir um aviso sobre uma possível descontinuação futura, é incomum, e DeprecationWarning é preferível para descontinuações já ativas.

Ignorado pelos filtros de aviso padrão. Habilitar o Modo de Desenvolvimento do Python mostra este aviso.

A política de descontinuação está descrita na PEP 387 [https://peps.python.org/pep-0387/].

exception SyntaxWarning

Classe base para avisos sobre sintaxe duvidosa.

exception RuntimeWarning

Classe base para avisos sobre comportamento duvidoso de tempo de execução.

exception FutureWarning

Classe base para avisos sobre recursos descontinuados quando esses avisos se destinam a usuários finais de aplicações escritas em Python.

exception ImportWarning

Classe base para avisos sobre prováveis erros na importação de módulos.

Ignorado pelos filtros de aviso padrão. Habilitar o Modo de Desenvolvimento do Python mostra este aviso.

exception UnicodeWarning

Classe base para avisos relacionados a Unicode.

exception EncodingWarning

Classe base para avisos relacionados a codificações.

Veja Opt-in EncodingWarning para detalhes.

Adicionado na versão 3.10.

exception BytesWarning

Classe base para avisos relacionados a bytes e bytearray.

exception ResourceWarning

Classe base para avisos relacionados a uso de recursos.

Ignorado pelos filtros de aviso padrão. Habilitar o Modo de Desenvolvimento do Python mostra este aviso.

Adicionado na versão 3.2.

Grupos de exceções

Os itens a seguir são usados quando é necessário levantar várias exceções não relacionadas. Eles fazem parte da hierarquia de exceção, portanto, podem ser tratados com except como todas as outras exceções. Além disso, eles são reconhecidos por except*, que corresponde a seus subgrupos com base nos tipos de exceções contidas.

exception ExceptionGroup(msg, excs)

exception BaseExceptionGroup(msg, excs)

Ambos os tipos de exceção agrupam as exceções na sequência excs. O parâmetro msg deve ser uma string. A diferença entre as duas classes é que BaseExceptionGroup estende BaseException e pode envolver qualquer exceção, enquanto ExceptionGroup estende Exception e só pode agrupar subclasses de Exception. Este design é para que except Exception capture um ExceptionGroup mas não BaseExceptionGroup.

O construtor de BaseExceptionGroup retorna uma ExceptionGroup ao invés de uma BaseExceptionGroup se todas as exceções contidas forem instâncias Exception, então ela pode ser usada para tornar a seleção automática. O construtor de ExceptionGroup, por outro lado, levanta TypeError se qualquer exceção contida não for uma subclasse de Exception.

message

O argumento msg para o construtor. Este é um atributo somente leitura.

exceptions

Uma tupla de exceções na sequência excs dada ao construtor. Este é um atributo somente leitura.

subgroup(condition)

Retorna um grupo de exceções que contém apenas as exceções do grupo atual que correspondem à condição condition ou None se o resultado estiver vazio.

A condição pode ser um tipo exceção ou tupla de tipos de exceção. Nesse caso, cada exceção é verificada quanto a um match usando a mesma verificação que é usada em uma cláusula de except. A condição também pode ser um chamável (diferente de um objeto de tipo) que aceita uma exceção como seu único argumento e retorna verdadeiro para a exceção que deve estar no subgrupo.

A estrutura de aninhamento da exceção atual é preservada no resultado, assim como os valores de seus campos message, __traceback__, __cause__, __context__ e __notes__. Grupos aninhados vazios são omitidos do resultado.

A condição é verificada para todas as exceções no grupo de exceções aninhadas, incluindo o nível superior e quaisquer grupos de exceções aninhadas. Se a condição for verdadeira para tal grupo de exceções, ela será incluída no resultado por completo.

Adicionado na versão 3.13: condition pode ser qualquer chamável que não seja um objeto de tipo.

split(condition)

Como subgroup(), mas retorna o par (match, rest) onde match é subgroup(condition) e rest é a parte restante não correspondente.

derive(excs)

Retorna um grupo de exceções com o mesmo message, mas que agrupa as exceções em excs.

Este método é usado por subgroup() e split(), que são usados em vários contextos para dividir um grupo de exceções. Uma subclasse precisa substituí-la para fazer com que subgroup() e split() retorne instâncias da subclasse em vez de ExceptionGroup.

subgroup() e split() copiam os campos __traceback__, __cause__, __context__ e __notes__ do grupo de exceções original para o retornado por derive(), então esses campos não precisam ser atualizados por derive().

>>> class MyGroup(ExceptionGroup):
...     def derive(self, excs):
...         return MyGroup(self.message, excs)
...
>>> e = MyGroup("eg", [ValueError(1), TypeError(2)])
>>> e.add_note("a note")
>>> e.__context__ = Exception("context")
>>> e.__cause__ = Exception("cause")
>>> try:
...    raise e
... except Exception as e:
...    exc = e
...
>>> match, rest = exc.split(ValueError)
>>> exc, exc.__context__, exc.__cause__, exc.__notes__
(MyGroup('eg', [ValueError(1), TypeError(2)]), Exception('context'), Exception('cause'), ['a note'])
>>> match, match.__context__, match.__cause__, match.__notes__
(MyGroup('eg', [ValueError(1)]), Exception('context'), Exception('cause'), ['a note'])
>>> rest, rest.__context__, rest.__cause__, rest.__notes__
(MyGroup('eg', [TypeError(2)]), Exception('context'), Exception('cause'), ['a note'])
>>> exc.__traceback__ is match.__traceback__ is rest.__traceback__
True

Observe que BaseExceptionGroup define __new__(), então subclasses que precisam de uma assinatura de construtor diferente precisam substituir isso ao invés de __init__(). Por exemplo, o seguinte define uma subclasse de grupo de exceções que aceita um exit_code e constrói a mensagem do grupo a partir dele.

class Errors(ExceptionGroup):
   def __new__(cls, errors, exit_code):
      self = super().__new__(Errors, f"exit code: {exit_code}", errors)
      self.exit_code = exit_code
      return self

   def derive(self, excs):
      return Errors(excs, self.exit_code)

Como ExceptionGroup, qualquer subclasse de BaseExceptionGroup que também é uma subclasse de Exception só pode agrupar instâncias de Exception.

Adicionado na versão 3.11.

Hierarquia das exceções

A hierarquia de classes para exceções embutidas é:

BaseException
 ├── BaseExceptionGroup
 ├── GeneratorExit
 ├── KeyboardInterrupt
 ├── SystemExit
 └── Exception
      ├── ArithmeticError
      │    ├── FloatingPointError
      │    ├── OverflowError
      │    └── ZeroDivisionError
      ├── AssertionError
      ├── AttributeError
      ├── BufferError
      ├── EOFError
      ├── ExceptionGroup [BaseExceptionGroup]
      ├── ImportError
      │    └── ModuleNotFoundError
      ├── LookupError
      │    ├── IndexError
      │    └── KeyError
      ├── MemoryError
      ├── NameError
      │    └── UnboundLocalError
      ├── OSError
      │    ├── BlockingIOError
      │    ├── ChildProcessError
      │    ├── ConnectionError
      │    │    ├── BrokenPipeError
      │    │    ├── ConnectionAbortedError
      │    │    ├── ConnectionRefusedError
      │    │    └── ConnectionResetError
      │    ├── FileExistsError
      │    ├── FileNotFoundError
      │    ├── InterruptedError
      │    ├── IsADirectoryError
      │    ├── NotADirectoryError
      │    ├── PermissionError
      │    ├── ProcessLookupError
      │    └── TimeoutError
      ├── ReferenceError
      ├── RuntimeError
      │    ├── NotImplementedError
      │    ├── PythonFinalizationError
      │    └── RecursionError
      ├── StopAsyncIteration
      ├── StopIteration
      ├── SyntaxError
      │    └── IndentationError
      │         └── TabError
      ├── SystemError
      ├── TypeError
      ├── ValueError
      │    └── UnicodeError
      │         ├── UnicodeDecodeError
      │         ├── UnicodeEncodeError
      │         └── UnicodeTranslateError
      └── Warning
           ├── BytesWarning
           ├── DeprecationWarning
           ├── EncodingWarning
           ├── FutureWarning
           ├── ImportWarning
           ├── PendingDeprecationWarning
           ├── ResourceWarning
           ├── RuntimeWarning
           ├── SyntaxWarning
           ├── UnicodeWarning
           └── UserWarning

Serviços de Processamento de Texto

Os módulos descritos neste capítulo fornecem uma ampla variedade de operações de manipulação de string e outros serviços de processamento de texto.

O módulo codecs descrito em Serviços de Dados Binários também é altamente relevante para o processamento de texto. Além disso, consulte a documentação do tipo string do Python em Tipo sequência de texto — str.

string — Operações comuns de strings

Constantes de strings

ascii_letters

ascii_lowercase

ascii_uppercase

digits

hexdigits

octdigits

punctuation

printable

whitespace

Formatação personalizada de strings

Formatter

format()

vformat()

parse()

get_field()

get_value()

check_unused_args()

format_field()

convert_field()

Sintaxe das strings de formato

Minilinguagem de especificação de formato

Exemplos de formato

Strings de modelo

Template

substitute()

safe_substitute()

is_valid()

get_identifiers()

template

Funções auxiliares

capwords()

re — Operações com expressões regulares

Sintaxe de expressão regular

Conteúdo do módulo

Sinalizadores

RegexFlag

A

ASCII

DEBUG

I

IGNORECASE

L

LOCALE

M

MULTILINE

NOFLAG

S

DOTALL

U

UNICODE

X

VERBOSE

Funções

compile()

search()

match()

fullmatch()

split()

findall()

finditer()

sub()

subn()

escape()

purge()

Exceções

PatternError

msg

pattern

pos

lineno

colno

Objetos expressão regular

Pattern

search()

match()

fullmatch()

split()

findall()

finditer()

sub()

subn()

flags

groups

groupindex

pattern

Objetos correspondência

Match

expand()

group()

__getitem__()

groups()

groupdict()

start()

end()

span()

pos

endpos

lastindex

lastgroup

re

string

Exemplos de expressão regular

Verificando por um par

Simulando scanf()

search() vs. match()

Criando uma lista telefônica

Mastigando texto

Encontrando todos os advérbios

Encontrando todos os advérbios e suas posições

Notação de string bruta

Escrevendo um analisador léxico

difflib — Helpers for computing deltas

Differ

HtmlDiff

__init__()

make_file()

make_table()

context_diff()

get_close_matches()

ndiff()

restore()

unified_diff()

diff_bytes()

IS_LINE_JUNK()

IS_CHARACTER_JUNK()

SequenceMatcher Objects

SequenceMatcher

set_seqs()

set_seq1()

set_seq2()

find_longest_match()

get_matching_blocks()

get_opcodes()

get_grouped_opcodes()

ratio()

quick_ratio()

real_quick_ratio()

SequenceMatcher Examples

Differ Objects

compare()

Differ Example

A command-line interface to difflib

ndiff example

textwrap — Quebra automática e preenchimento de texto

wrap()

fill()

shorten()

dedent()

indent()

TextWrapper

width

expand_tabs

tabsize

replace_whitespace

drop_whitespace

initial_indent

subsequent_indent

fix_sentence_endings

break_long_words

break_on_hyphens

max_lines

placeholder

wrap()

fill()

unicodedata — Unicode Database

lookup()

name()

decimal()

digit()

numeric()

category()

bidirectional()

combining()

east_asian_width()

mirrored()

decomposition()

normalize()

is_normalized()

unidata_version

ucd_3_2_0

stringprep — Internet String Preparation

in_table_a1()

in_table_b1()

map_table_b2()

map_table_b3()

in_table_c11()

in_table_c12()

in_table_c11_c12()

in_table_c21()

in_table_c22()

in_table_c21_c22()

in_table_c3()

in_table_c4()

in_table_c5()

in_table_c6()

in_table_c7()

in_table_c8()

in_table_c9()

in_table_d1()

in_table_d2()

readline — Interface para o GNU readline

backend

Arquivo init

parse_and_bind()

read_init_file()

Buffer de linha

get_line_buffer()

insert_text()

redisplay()

Arquivo de histórico

read_history_file()

write_history_file()

append_history_file()

get_history_length()

set_history_length()

Lista de histórico

clear_history()

get_current_history_length()

get_history_item()

remove_history_item()

replace_history_item()

add_history()

set_auto_history()

Ganchos de inicialização

set_startup_hook()

set_pre_input_hook()

Autocomplemento

set_completer()

get_completer()

get_completion_type()

get_begidx()

get_endidx()

set_completer_delims()

get_completer_delims()

set_completion_display_matches_hook()

Exemplo

rlcompleter — Função de autocomplemento para GNU readline

Completer

complete()

string — Operações comuns de strings

Código-fonte: Lib/string.py [https://github.com/python/cpython/tree/3.13/Lib/string.py]

Ver também

Tipo sequência de texto — str

Métodos de string

Constantes de strings

As constantes definidas neste módulo são:

string.ascii_letters

A concatenação das constantes ascii_lowercase e ascii_uppercase descritas abaixo. Este valor não depende da localidade.

string.ascii_lowercase

As letras minúsculas 'abcdefghijklmnopqrstuvwxyz'. Este valor não depende da localidade e não mudará.

string.ascii_uppercase

As letras maiúsculas 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'. Este valor não depende da localidade e não mudará.

string.digits

A string '0123456789'.

string.hexdigits

A string '0123456789abcdefABCDEF'.

string.octdigits

A string '01234567'.

string.punctuation

String de caracteres ASCII que são considerados caracteres de pontuação na localidade C: !"#$%&'()*+,-./:;<=>?@[\]^_`{|}~.

string.printable

String de caracteres ASCII que são considerados imprimíveis. Esta é uma combinação de digits, ascii_letters, punctuation e whitespace.

string.whitespace

Uma string contendo todos os caracteres ASCII que são considerados espaços em branco. Isso inclui espaço de caracteres, tabulação, avanço de linha, retorno, avanço de formulário e tabulação vertical.

Formatação personalizada de strings

A classe embutida de string fornece a capacidade de fazer substituições de variáveis complexas e formatação de valor por meio do método format() descrito na PEP 3101 [https://peps.python.org/pep-3101/]. A classe Formatter no módulo string permite que você crie e personalize seus próprios comportamentos de formatação de strings usando a mesma implementação que o método embutido format().

class string.Formatter

A classe Formatter tem os seguintes métodos públicos:

format(format_string, /, *args, **kwargs)

O método principal da API. Ele aceita uma string de formato e um conjunto arbitrário de argumentos posicionais e nomeados. É apenas um invólucro que chama vformat().

Alterado na versão 3.7: Um argumento de string de formato é agora somente-posicional.

vformat(format_string, args, kwargs)

Esta função realiza o trabalho real de formatação. Ela é exposta como uma função separada para casos onde você deseja passar um dicionário predefinido de argumentos, ao invés de desempacotar e empacotar novamente o dicionário como argumentos individuais usando a sintaxe *args e **kwargs. vformat() faz o trabalho de quebrar a string de formato em dados de caracteres e campos de substituição. Ela chama os vários métodos descritos abaixo.

Além disso, o Formatter define uma série de métodos que devem ser substituídos por subclasses:

parse(format_string)

Percorre format_string e retorna um iterável de tuplas (literal_text, field_name, format_spec, conversion). Isso é usado por vformat() para quebrar a string em texto literal ou campos de substituição.

Os valores na tupla representam conceitualmente um intervalo de texto literal seguido por um único campo de substituição. Se não houver texto literal (o que pode acontecer se dois campos de substituição ocorrerem consecutivamente), então literal_text será uma string de comprimento zero. Se não houver campo de substituição, então os valores de field_name, format_spec e conversion serão None.

get_field(field_name, args, kwargs)

Dado field_name conforme retornado por parse() (veja acima), converte-o em um objeto a ser formatado. Retorna uma tupla (obj, used_key). A versão padrão aceita strings no formato definido na PEP 3101 [https://peps.python.org/pep-3101/], como “0[name]” ou “label.title”. args e kwargs são como passados para vformat(). O valor de retorno used_key tem o mesmo significado que o parâmetro key para get_value().

get_value(key, args, kwargs)

Obtém um determinado valor de campo. O argumento key será um inteiro ou uma string. Se for um inteiro, ele representa o índice do argumento posicional em args; se for uma string, então representa um argumento nomeado em kwargs.

O parâmetro args é definido para a lista de argumentos posicionais para vformat(), e o parâmetro kwargs é definido para o dicionário de argumentos nomeados.

Para nomes de campos compostos, essas funções são chamadas apenas para o primeiro componente do nome do campo; os componentes subsequentes são tratados por meio de operações normais de atributo e indexação.

Então, por exemplo, a expressão de campo ‘0.name’ faria com que get_value() fosse chamado com um argumento key de 0. O atributo name será pesquisado após get_value() retorna chamando a função embutida getattr().

Se o índice ou palavra-chave se referir a um item que não existe, um IndexError ou KeyError deve ser levantada.

check_unused_args(used_args, args, kwargs)

Implementa a verificação de argumentos não usados, se desejar. Os argumentos para esta função são o conjunto de todas as chaves de argumento que foram realmente referidas na string de formato (inteiros para argumentos posicionais e strings para argumentos nomeados) e uma referência a args e kwargs que foi passada para vformat. O conjunto de argumentos não utilizados pode ser calculado a partir desses parâmetros. Presume-se que check_unused_args() levata uma exceção se a verificação falhar.

format_field(value, format_spec)

format_field() simplesmente chama o global embutido format(). O método é fornecido para que as subclasses possam substituí-lo.

convert_field(value, conversion)

Converte o valor (retornado por get_field()) dado um tipo de conversão (como na tupla retornada pelo método parse()). A versão padrão entende os tipos de conversão “s” (str), “r” (repr) e “a” (ascii).

Sintaxe das strings de formato

O método str.format() e a classe Formatter compartilham a mesma sintaxe para strings de formato (embora no caso de Formatter, as subclasses possam definir sua própria sintaxe de string de formato). A sintaxe é relacionada a literais de string formatadas, mas é menos sofisticada e, em especial, não tem suporte a expressões arbitrárias.

As strings de formato contêm “campos de substituição” entre chaves {}. Tudo o que não estiver entre chaves é considerado texto literal, que é copiado inalterado para a saída. Se você precisar incluir um caractere de chave no texto literal, ele pode ser escapado duplicando: {{ e }}.

A gramática para um campo de substituição é a seguinte:

replacement_field ::=  "{" [field_name] ["!" conversion] [":" format_spec] "}"
field_name        ::=  arg_name ("." attribute_name | "[" element_index "]")*
arg_name          ::=  [identifier | digit+]
attribute_name    ::=  identifier
element_index     ::=  digit+ | index_string
index_string      ::=  <any source character except "]"> +
conversion        ::=  "r" | "s" | "a"
format_spec       ::=  format-spec:format_spec

Em termos menos formais, o campo de substituição pode começar com um field_name que especifica o objeto cujo valor deve ser formatado e inserido na saída em vez do campo de substituição. O field_name é opcionalmente seguido por um campo conversion, que é precedido por um ponto de exclamação '!', e um format_spec, que é precedido por dois pontos ':'. Eles especificam um formato não padrão para o valor de substituição.

Veja também a seção Minilinguagem de especificação de formato.

O próprio field_name começa com um arg_name que é um número ou uma palavra-chave. Se for um número, ele se refere a um argumento posicional, e se for uma palavra-chave, ele se refere a um argumento nomeado. Um arg_name é tratado como um número se uma chamada para str.isdecimal() na string retorna verdadeira. Se os arg_names numéricos em uma string de formato forem 0, 1, 2, … em sequência, eles podem ser todos omitidos (não apenas alguns) e os números 0, 1, 2, … serão inseridos automaticamente nessa ordem. Como arg_name não é delimitado por aspas, não é possível especificar chaves de dicionário arbitrárias (por exemplo, as strings '10' ou ':-]') dentro de uma string de formato. O arg_name pode ser seguido por qualquer número de expressões de índice ou atributo. Uma expressão da forma '.name' seleciona o atributo nomeado usando getattr(), enquanto uma expressão da forma '[index]' faz uma pesquisa de índice usando __getitem__().

Alterado na versão 3.1: Os especificadores de argumento posicional podem ser omitidos para str.format(), de forma que '{} {}'.format(a, b) é equivalente a '{0} {1}'.format(a, b).

Alterado na versão 3.4: Os especificadores de argumento posicional podem ser omitidos para Formatter.

Alguns exemplos simples de string de formato:

"Primeiro, tu deverás contar até {0}"  # Referencia o primeiro argumento posicional
"Traga-me um {}"                       # Referencia implicitamente o primeiro argumento posicional
"De {} para {}"                        # Mesmo que "De {0} para {1}"
"Minha missão é {nome}"                # Referencia argumento nomeado 'nome'
"Peso em toneladas {0.peso}"           # O atributo 'peso' do primeiro argumento posicional
"Unidades destruídas: {jogadores[0]}"  # Primeiro elemento do argumento nomeado 'jogadores'.

O campo conversion causa uma coerção de tipo antes da formatação. Normalmente, o trabalho de formatação de um valor é feito pelo método __format__() do próprio valor. No entanto, em alguns casos, é desejável forçar um tipo a ser formatado como uma string, substituindo sua própria definição de formatação. Ao converter o valor em uma string antes de chamar __format__(), a lógica de formatação normal é contornada.

Três sinalizadores de conversão são atualmente suportados: '!s', que chama str() no valor; '!r', que chama repr(); e '!a', que chama ascii().

Alguns exemplos:

"Harold's a clever {0!s}"        # Calls str() on the argument first
"Bring out the holy {name!r}"    # Calls repr() on the argument first
"More {!a}"                      # Calls ascii() on the argument first

O campo format_spec contém uma especificação de como o valor deve ser apresentado, incluindo detalhes como largura do campo, alinhamento, preenchimento, precisão decimal e assim por diante. Cada tipo de valor pode definir sua própria “minilinguagem de formatação” ou interpretação de format_spec.

A maioria dos tipos embutidos oferece suporte a uma minilinguagem de formatação comum, que é descrita na próxima seção.

Um campo format_spec também pode incluir campos de substituição aninhados dentro dele. Esses campos de substituição aninhados podem conter um nome de campo, sinalizador de conversão e especificação de formato, mas um aninhamento mais profundo não é permitido. Os campos de substituição em format_spec são substituídos antes que a string format_spec seja interpretada. Isso permite que a formatação de um valor seja especificada dinamicamente.

Veja a seção Exemplos de formato para alguns exemplos.

Minilinguagem de especificação de formato

“Especificações de formato” são usadas nos campos de substituição contidos em uma string de formato para definir como os valores individuais são apresentados (consulte Sintaxe das strings de formato e Literais de strings formatadas). Elas também podem ser passadas diretamente para a função embutida format(). Cada tipo formatável pode definir como a especificação do formato deve ser interpretada.

A maioria dos tipos embutidos implementa as seguintes opções para especificações de formato, embora algumas das opções de formatação sejam suportadas apenas pelos tipos numéricos.

Uma convenção geral é que uma especificação de formato vazia produz o mesmo resultado como se você tivesse chamado str() no valor. Uma especificação de formato não vazio normalmente modifica o resultado.

A forma geral de um especificador de formato padrão é:

format_spec     ::=  [[fill]align][sign]["z"]["#"]["0"][width][grouping_option]["." precision][type]
fill            ::=  <any character>
align           ::=  "<" | ">" | "=" | "^"
sign            ::=  "+" | "-" | " "
width           ::=  digit+
grouping_option ::=  "_" | ","
precision       ::=  digit+
type            ::=  "b" | "c" | "d" | "e" | "E" | "f" | "F" | "g" | "G" | "n" | "o" | "s" | "x" | "X" | "%"

Se um valor align válido for especificado, ele pode ser precedido por um caractere de preenchimento fill que pode ser qualquer caractere e o padrão é um espaço se omitido. Não é possível usar uma chave literal (”{” ou “}”) como o caractere fill em uma string formatada literal ou ao usar o método str.format(). No entanto, é possível inserir uma chave com um campo de substituição aninhado. Esta limitação não afeta a função format().

O significado das várias opções de alinhamento é o seguinte:

Opção

Significado

'<'

Força o alinhamento à esquerda do campo dentro do espaço disponível (este é o padrão para a maioria dos objetos).

'>'

Força o alinhamento à direita do campo dentro do espaço disponível (este é o padrão para números).

'='

Força o preenchimento a ser colocado após o sinal (se houver), mas antes dos dígitos. É usado para imprimir campos na forma “+000000120”. Esta opção de alinhamento só é válida para tipos numéricos. Torna-se o padrão para números quando “0” precede imediatamente a largura do campo.

'^'

Força a centralização do campo no espaço disponível.

Observe que, a menos que uma largura de campo mínima seja definida, a largura do campo sempre será do mesmo tamanho que os dados para preenchê-lo, de modo que a opção de alinhamento não tem significado neste caso.

A opção sign só é válida para tipos numéricos e pode ser um dos seguintes:

Opção

Significado

'+'

indica que um sinal deve ser usado para números positivos e negativos.

'-'

indica que um sinal deve ser usado apenas para números negativos (este é o comportamento padrão).

espaço

indica que um espaço inicial deve ser usado em números positivos e um sinal de menos em números negativos.

A opção 'z' força valores de ponto flutuante de zero negativo para zero positivo após o arredondamento para a precisão do formato. Esta opção só é válida para tipos de apresentação de ponto flutuante.

Alterado na versão 3.11: Adicionada a opção 'z' (veja também PEP 682 [https://peps.python.org/pep-0682/]).

A opção '#' faz com que a “forma alternativa” seja usada para a conversão. A forma alternativa é definida de forma diferente para diferentes tipos. Esta opção é válida apenas para tipos inteiros, pontos flutuantes e complexos. Para inteiros, quando a saída binária, octal ou hexadecimal é usada, esta opção adiciona o prefixo respectivo '0b', '0o', '0x' ou '0X' ao valor de saída. Para pontos flutuante e complexo, a forma alternativa faz com que o resultado da conversão sempre contenha um caractere de ponto decimal, mesmo se nenhum dígito o seguir. Normalmente, um caractere de ponto decimal aparece no resultado dessas conversões apenas se um dígito o seguir. Além disso, para conversões 'g' e 'G', os zeros finais não são removidos do resultado.

A opção ',' sinaliza o uso de uma vírgula para um separador de milhares. Para um separador que reconhece a localidade, use o tipo de apresentação inteiro 'n'.

Alterado na versão 3.1: Adicionada a opção ',' (veja também PEP 378 [https://peps.python.org/pep-0378/]).

A opção '_' sinaliza o uso de um sublinhado para um separador de milhares para tipos de apresentação de ponto flutuante e para o tipo de apresentação de inteiro 'd'. Para os tipos de apresentação inteiros 'b', 'o', 'x' e 'X', sublinhados serão inseridos a cada 4 dígitos. Para outros tipos de apresentação, especificar esta opção é um erro.

Alterado na versão 3.6: Adicionada a opção '_' (veja também PEP 515 [https://peps.python.org/pep-0515/]).

width é um número inteiro decimal que define a largura total mínima do campo, incluindo quaisquer prefixos, separadores e outros caracteres de formatação. Se não for especificado, a largura do campo será determinada pelo conteúdo.

Quando nenhum alinhamento explícito é fornecido, preceder o campo width com um caractere zero ('0') habilita o preenchimento por zero com reconhecimento de sinal para tipos numéricos. Isso é equivalente a um caractere de fill de valor '0' com um tipo de alignment de '='.

Alterado na versão 3.10: Precedendo o campo width com '0' não afeta mais o alinhamento padrão para strings.

precision é um número decimal que indica quantos dígitos devem ser exibidos depois do ponto decimal para um valor de ponto flutuante formatado com 'f' e 'F', ou antes e depois do ponto decimal para um valor de ponto flutuante formatado com 'g' ou 'G'. Para tipos não numéricos, o campo indica o tamanho máximo do campo – em outras palavras, quantos caracteres serão usados do conteúdo do campo. precision não é permitido para valores inteiros.

Finalmente, o type determina como os dados devem ser apresentados.

Os tipos de apresentação de string disponíveis são:

Tipo

Significado

's'

Formato de string. Este é o tipo padrão para strings e pode ser omitido.

None

O mesmo que 's'.

Os tipos de apresentação inteira disponíveis são:

Tipo

Significado

'b'

Formato binário. Exibe o número na base 2.

'c'

Caractere. Converte o inteiro no caractere Unicode correspondente antes de imprimir.

'd'

Inteiro decimal. Exibe o número na base 10.

'o'

Formato octal. Exibe o número na base 8.

'x'

Formato hexadecimal. Produz o número na base 16, usando letras minúsculas para os dígitos acima de 9.

'X'

Formato hexadecimal. Produz o número na base 16, usando letras maiúsculas para os dígitos acima de 9. No caso de '#' ser especificado, o prefixo '0x' será maiúsculo para '0X' também.

'n'

Número. É o mesmo que 'd', exceto que usa a configuração local atual para inserir os caracteres separadores de número apropriados.

None

O mesmo que 'd'.

Além dos tipos de apresentação acima, os inteiros podem ser formatados com os tipos de apresentação de ponto flutuante listados abaixo (exceto 'n' e None). Ao fazer isso, float() é usado para converter o inteiro em um número de ponto flutuante antes da formatação.

Os tipos de apresentação disponíveis para float e Decimal valores são:

Tipo

Significado

'e'

Scientific notation. For a given precision p, formats the number in scientific notation with the letter ‘e’ separating the coefficient from the exponent. The coefficient has one digit before and p digits after the decimal point, for a total of p + 1 significant digits. With no precision given, uses a precision of 6 digits after the decimal point for float, and shows all coefficient digits for Decimal. If p=0, the decimal point is omitted unless the # option is used.

'E'

Notação científica. O mesmo que 'e', exceto que usa um ‘E’ maiúsculo como caractere separador.

'f'

Fixed-point notation. For a given precision p, formats the number as a decimal number with exactly p digits following the decimal point. With no precision given, uses a precision of 6 digits after the decimal point for float, and uses a precision large enough to show all coefficient digits for Decimal. If p=0, the decimal point is omitted unless the # option is used.

'F'

Notação de ponto fixo. O mesmo que 'f', mas converte nan para NAN e inf para INF.

'g'

Formato geral. Para uma determinada precisão p >= 1, isso arredonda o número para p dígitos significativos e então formata o resultado em formato de ponto fixo ou em notação científica, dependendo de sua magnitude. Uma precisão de 0 é tratada como equivalente a uma precisão de 1.

As regras precisas são as seguintes: suponha que o resultado formatado com tipo de apresentação 'e' e precisão p-1 teria o expoente exp. Então, se m <= exp < p, onde m é -4 para pontos flutuantes e -6 para Decimals, o número é formatado com o tipo de apresentação 'f' e precisão p-1-exp. Caso contrário, o número é formatado com tipo de apresentação 'e' e precisão p-1. Em ambos os casos, zeros à direita insignificantes são removidos do significando, e o ponto decimal também é removido se não houver dígitos restantes após ele, a menos que a opção '#' seja usada.

Sem precisão fornecida, usa uma precisão de 6 dígitos significativos para float. Para Decimal, o coeficiente do resultado é formado a partir dos dígitos do coeficiente do valor; a notação científica é usada para valores menores que 1e-6 em valor absoluto e valores onde o valor posicional do dígito menos significativo é maior que 1, e a notação de ponto fixo é usada de outra forma.

Infinito positivo e negativo, zero positivo e negativo e nans, são formatados como inf, -inf, 0, -0 e nan, respectivamente, independentemente da precisão.

'G'

Formato geral. O mesmo que 'g', exceto muda para 'E' se o número ficar muito grande. As representações de infinito e NaN também são maiúsculas.

'n'

Número. É o mesmo que 'g', exceto que usa a configuração da localidade atual para inserir os caracteres separadores de número apropriados.

'%'

Porcentagem. Multiplica o número por 100 e exibe no formato fixo ('f'), seguido por um sinal de porcentagem.

None

For float this is like the 'g' type, except that when fixed-point notation is used to format the result, it always includes at least one digit past the decimal point, and switches to the scientific notation when exp >= p - 1. When the precision is not specified, the latter will be as large as needed to represent the given value faithfully.

Para Decimal, é o mesmo que 'g' ou 'G' dependendo do valor de context.capitals para o contexto decimal atual.

O efeito geral é combinar a saída de str() conforme alterada pelos outros modificadores de formato.

Exemplos de formato

Esta seção contém exemplos da sintaxe de str.format() e comparação com a antiga formatação %.

Na maioria dos casos a sintaxe é semelhante à antiga formatação de %, com a adição de {} e com : usado em vez de %. Por exemplo, '%03.2f' pode ser traduzido para '{:03.2f}'.

A nova sintaxe de formato também oferece suporte a opções novas e diferentes, mostradas nos exemplos a seguir.

Acessando os argumentos por posição:

>>> '{0}, {1}, {2}'.format('a', 'b', 'c')
'a, b, c'
>>> '{}, {}, {}'.format('a', 'b', 'c')  # 3.1+ only
'a, b, c'
>>> '{2}, {1}, {0}'.format('a', 'b', 'c')
'c, b, a'
>>> '{2}, {1}, {0}'.format(*'abc')      # unpacking argument sequence
'c, b, a'
>>> '{0}{1}{0}'.format('abra', 'cad')   # arguments' indices can be repeated
'abracadabra'

Acessando os argumentos por nome:

>>> 'Coordinates: {latitude}, {longitude}'.format(latitude='37.24N', longitude='-115.81W')
'Coordinates: 37.24N, -115.81W'
>>> coord = {'latitude': '37.24N', 'longitude': '-115.81W'}
>>> 'Coordinates: {latitude}, {longitude}'.format(**coord)
'Coordinates: 37.24N, -115.81W'

Acessando os atributos dos argumentos:

>>> c = 3-5j
>>> ('The complex number {0} is formed from the real part {0.real} '
...  'and the imaginary part {0.imag}.').format(c)
'The complex number (3-5j) is formed from the real part 3.0 and the imaginary part -5.0.'
>>> class Point:
...     def __init__(self, x, y):
...         self.x, self.y = x, y
...     def __str__(self):
...         return 'Point({self.x}, {self.y})'.format(self=self)
...
>>> str(Point(4, 2))
'Point(4, 2)'

Acessando os itens dos argumentos:

>>> coord = (3, 5)
>>> 'X: {0[0]};  Y: {0[1]}'.format(coord)
'X: 3;  Y: 5'

Substituindo %s e %r:

>>> "repr() shows quotes: {!r}; str() doesn't: {!s}".format('test1', 'test2')
"repr() shows quotes: 'test1'; str() doesn't: test2"

Alinhando o texto e especificando uma largura:

>>> '{:<30}'.format('left aligned')
'left aligned                  '
>>> '{:>30}'.format('right aligned')
'                 right aligned'
>>> '{:^30}'.format('centered')
'           centered           '
>>> '{:*^30}'.format('centered')  # use '*' as a fill char
'***********centered***********'

Substituindo %+f, %-f e % f e especificando um sinal:

>>> '{:+f}; {:+f}'.format(3.14, -3.14)  # show it always
'+3.140000; -3.140000'
>>> '{: f}; {: f}'.format(3.14, -3.14)  # show a space for positive numbers
' 3.140000; -3.140000'
>>> '{:-f}; {:-f}'.format(3.14, -3.14)  # show only the minus -- same as '{:f}; {:f}'
'3.140000; -3.140000'

Substituindo %x e %o e convertendo o valor para bases diferentes:

>>> # format also supports binary numbers
>>> "int: {0:d};  hex: {0:x};  oct: {0:o};  bin: {0:b}".format(42)
'int: 42;  hex: 2a;  oct: 52;  bin: 101010'
>>> # with 0x, 0o, or 0b as prefix:
>>> "int: {0:d};  hex: {0:#x};  oct: {0:#o};  bin: {0:#b}".format(42)
'int: 42;  hex: 0x2a;  oct: 0o52;  bin: 0b101010'

Usando a vírgula como um separador de milhares:

>>> '{:,}'.format(1234567890)
'1,234,567,890'

Expressando uma porcentagem:

>>> points = 19
>>> total = 22
>>> 'Correct answers: {:.2%}'.format(points/total)
'Correct answers: 86.36%'

Usando formatação específica do tipo:

>>> import datetime
>>> d = datetime.datetime(2010, 7, 4, 12, 15, 58)
>>> '{:%Y-%m-%d %H:%M:%S}'.format(d)
'2010-07-04 12:15:58'

Argumentos de aninhamento e exemplos mais complexos:

>>> for align, text in zip('<^>', ['left', 'center', 'right']):
...     '{0:{fill}{align}16}'.format(text, fill=align, align=align)
...
'left<<<<<<<<<<<<'
'^^^^^center^^^^^'
'>>>>>>>>>>>right'
>>>
>>> octets = [192, 168, 0, 1]
>>> '{:02X}{:02X}{:02X}{:02X}'.format(*octets)
'C0A80001'
>>> int(_, 16)
3232235521
>>>
>>> width = 5
>>> for num in range(5,12):
...     for base in 'dXob':
...         print('{0:{width}{base}}'.format(num, base=base, width=width), end=' ')
...     print()
...
    5     5     5   101
    6     6     6   110
    7     7     7   111
    8     8    10  1000
    9     9    11  1001
   10     A    12  1010
   11     B    13  1011

Strings de modelo

Strings de modelo fornecem substituições de string mais simples, conforme descrito em PEP 292 [https://peps.python.org/pep-0292/]. Um caso de uso primário para strings de modelo é para internacionalização (i18n), uma vez que, nesse contexto, a sintaxe e a funcionalidade mais simples tornam mais fácil traduzir do que outros recursos embutidos de formatação de strings no Python. Como um exemplo de biblioteca construída sobre strings de modelo para i18n, veja o pacote flufl.i18n [https://flufli18n.readthedocs.io/en/latest/].

Strings de modelo oferecem suporte a substituições baseadas em $, usando as seguintes regras:

$$ é um escape; é substituído por um único $.

$identifier nomeia um espaço reservado de substituição correspondendo a uma chave de mapeamento de "identifier". Por padrão, "identifier" é restrito a qualquer string ASCII alfanumérica que não faz distinção entre maiúsculas e minúsculas (incluindo sublinhados) que começa com um sublinhado ou letra ASCII. O primeiro caractere não identificador após o caractere $ termina esta especificação de espaço reservado.

${identifier} é equivalente a $identifier. É necessário quando caracteres identificadores válidos seguem o marcador de posição, mas não fazem parte do marcador, como "${noun}ification".

Qualquer outra ocorrência de $ na string resultará em uma ValueError sendo levantada.

O módulo string fornece uma classe Template que implementa essas regras. Os métodos de Template são:

class string.Template(template)

O construtor recebe um único argumento que é a string de modelo.

substitute(mapping={}, /, **kwds)

Executa a substituição do modelo, retornando uma nova string. mapping é qualquer objeto dicionário ou similar com chaves que correspondem aos marcadores de posição no modelo. Como alternativa, você pode fornecer argumentos nomeados, os quais são espaços reservados. Quando mapping e kwds são fornecidos e há duplicatas, os marcadores de kwds têm precedência.

safe_substitute(mapping={}, /, **kwds)

Como substitute(), exceto que se os espaços reservados estiverem faltando em mapping e kwds, em vez de levantar uma exceção KeyError, o espaço reservado original aparecerá na string resultante intacta. Além disso, ao contrário de substitute(), qualquer outra ocorrência de $ simplesmente retornará $ em vez de levantar ValueError.

Embora outras exceções ainda possam ocorrer, esse método é chamado de “seguro” porque sempre tenta retornar uma string utilizável em vez de levantar uma exceção. Em outro sentido, safe_substitute() pode ser qualquer coisa diferente de seguro, uma vez que irá ignorar silenciosamente modelos malformados contendo delimitadores pendentes, chaves não correspondidas ou espacos reservados que não são identificadores Python válidos.

is_valid()

Retorna falso se o modelo tiver espaços reservados inválidos que farão com que substitute() levante ValueError.

Adicionado na versão 3.11.

get_identifiers()

Retorna uma lista dos identificadores válidos no modelo, na ordem em que aparecem pela primeira vez, ignorando quaisquer identificadores inválidos.

Adicionado na versão 3.11.

Instâncias de Template também fornecem um atributo de dados públicos:

template

Este é o objeto passado para o argumento template do construtor. Em geral, você não deve alterá-lo, mas o acesso somente leitura não é obrigatório.

Aqui está um exemplo de como usar uma instância de Template:

>>> from string import Template
>>> s = Template('$who likes $what')
>>> s.substitute(who='tim', what='kung pao')
'tim likes kung pao'
>>> d = dict(who='tim')
>>> Template('Give $who $100').substitute(d)
Traceback (most recent call last):
...
ValueError: Invalid placeholder in string: line 1, col 11
>>> Template('$who likes $what').substitute(d)
Traceback (most recent call last):
...
KeyError: 'what'
>>> Template('$who likes $what').safe_substitute(d)
'tim likes $what'

Uso avançado: você pode derivar subclasses de Template para personalizar a sintaxe do espaço reservado, caractere delimitador ou toda a expressão regular usada para analisar strings de modelo. Para fazer isso, você pode substituir estes atributos de classe:

delimiter – Este é a string literal que descreve um delimitador de introdução do espaço reservado. O valor padrão é $. Note que esta não deve ser uma expressão regular, já que a implementação irá chamar re.escape() nesta string conforme necessário. Observe também que você não pode alterar o delimitador após a criação da classe (ou seja, um delimitador diferente deve ser definido no espaço de nomes da classe da subclasse).

idpattern – Esta é a expressão regular que descreve o padrão para espaço reservado sem envolto em chaves. O valor padrão é a expressão regular (?a:[_a-z][_a-z0-9]*). Se for fornecido e braceidpattern for None, esse padrão também se aplicará o espaço reservado com chaves.

Nota

Uma vez que flags padrão é re.IGNORECASE, o padrão [a-z] pode corresponder a alguns caracteres não ASCII. É por isso que usamos o sinalizador local a aqui.

Alterado na versão 3.7: braceidpattern pode ser usado para definir padrões separados usados ​​dentro e fora das chaves.

braceidpattern – É como idpattern, mas descreve o padrão para espaços reservados com chaves. O padrão é None, o que significa recorrer a idpattern (ou seja, o mesmo padrão é usado dentro e fora das chaves). Se fornecido, permite definir padrões diferentes para espaço reservado com e sem chaves.

Adicionado na versão 3.7.

flags – Os sinalizadores de expressão regular que serão aplicados ao compilar a expressão regular usada para reconhecer substituições. O valor padrão é re.IGNORECASE. Note que re.VERBOSE sempre será adicionado aos sinalizadores, então idpatterns personalizados devem seguir as convenções para expressões regulares verbosas.

Adicionado na versão 3.2.

Como alternativa, você pode fornecer todo o padrão de expressão regular substituindo o atributo pattern de classe. Se você fizer isso, o valor deve ser um objeto de expressão regular com quatro grupos de captura nomeados. Os grupos de captura correspondem às regras fornecidas acima, junto com a regra inválida do espaço reservado:

escaped – Este grupo corresponde à sequência de escape, por exemplo $$, no padrão.

named – Este grupo corresponde ao nome do espaço reservado sem chaves; não deve incluir o delimitador no grupo de captura.

braced – Este grupo corresponde ao nome do espaço reservado entre chaves; ele não deve incluir o delimitador ou chaves no grupo de captura.

invalid – Esse grupo corresponde a qualquer outro padrão de delimitador (geralmente um único delimitador) e deve aparecer por último na expressão regular.

Os métodos nesta classe irão levantar ValueError se o padrão corresponder ao modelo sem que um desses grupos nomeados corresponda.

Funções auxiliares

string.capwords(s, sep=None)

Divide o argumento em palavras usando str.split(), coloca cada palavra em maiúscula usando str.capitalize(), e junte as palavras em maiúsculas usando str.join(). Se o segundo argumento opcional sep estiver ausente ou None, os caracteres de espaço em branco são substituídos por um único espaço e os espaços em branco à esquerda e à direita são removidos, caso contrário sep é usado para dividir e unir as palavras.

re — Operações com expressões regulares

Código-fonte: Lib/re/ [https://github.com/python/cpython/tree/3.13/Lib/re/]

Este módulo fornece operações para correspondência de expressões regulares semelhantes às encontradas em Perl. O nome do módulo vem das iniciais do termo em inglês regular expressions, também frequentemente chamadas de regex.

Tanto os padrões quanto as strings a serem pesquisados podem ser strings Unicode (str) assim como strings de 8 bits (bytes). No entanto, strings Unicode e strings de 8 bits não podem ser misturadas: ou seja, você não pode corresponder uma string Unicode com um padrão de bytes ou vice-versa; da mesma forma, ao solicitar uma substituição, a string de substituição deve ser do mesmo tipo que o padrão e a string de pesquisa.

Expressões regulares usam o caractere de contrabarra ('\') para indicar formas especiais ou para permitir que caracteres especiais sejam usados sem invocar seu significado especial. Isso colide com o uso em Python do mesmo caractere para o mesmo propósito em literais de string; por exemplo, para corresponder a uma contrabarra literal, pode-se ter que escrever '\\\\' como a string do padrão, porque a expressão regular deve ser \\, e cada contrabarra deve ser expressa como \\ dentro de um literal de string Python regular. Além disso, observe que quaisquer sequências de escape inválidas no uso do Python da contrabarra em literais de string agora levantam uma exceção SyntaxWarning e no futuro isso se tornará um SyntaxError. Esse comportamento acontecerá mesmo se for uma sequência de escape válida para uma expressão regular.

A solução é usar a notação de string bruta do Python para padrões de expressão regular; as contrabarras não são tratadas de nenhuma maneira especial em uma string literal com o prefixo 'r'. Portanto, r"\n" é uma string de dois caracteres contendo '\' e 'n', enquanto "\n" é uma string de um caractere contendo uma nova linha. Normalmente, os padrões serão expressos em código Python usando esta notação de string bruta.

É importante notar que a maioria das operações de expressão regular estão disponíveis como funções e métodos em nível de módulo em expressões regulares compiladas. As funções são atalhos que não exigem que você compile um objeto de expressão regular primeiro, mas perdem-se alguns parâmetros de ajuste fino.

Ver também

O módulo de terceiros regex [https://pypi.org/project/regex/] possui uma API compatível com o módulo da biblioteca padrão re, mas oferece funcionalidades adicionais e um suporte mais completo a Unicode.

Sintaxe de expressão regular

Uma expressão regular (ou ER) especifica um conjunto de strings que corresponde a ela; as funções neste módulo permitem que você verifique se uma determinada string corresponde a uma determinada expressão regular (ou se uma determinada expressão regular corresponde a uma determinada string, o que resulta na mesma coisa).

As expressões regulares podem ser concatenadas para formar novas expressões regulares; se A e B forem expressões regulares, então AB também será uma expressão regular. Em geral, se uma string p corresponder a A e outra string q corresponder a B, a string pq corresponderá a AB. Isso é válido, a menos que A ou B contenham operações de baixa precedência; condições de contorno entre A e B; ou ter referências de grupo numeradas. Assim, expressões complexas podem ser facilmente construídas a partir de expressões primitivas mais simples, como as descritas aqui. Para obter detalhes sobre a teoria e implementação de expressões regulares, consulte o livro de Friedl [Frie09], ou quase qualquer livro sobre construção de compiladores.

Segue uma breve explicação do formato das expressões regulares. Para mais informações e uma apresentação mais suave, consulte o tutorial de Expressões Regulares.

As expressões regulares podem conter caracteres especiais e comuns. A maioria dos caracteres comuns, como 'A', 'a' ou '0', são as expressões regulares mais simples; eles simplesmente se correspondem. Você pode concatenar caracteres comuns, de forma que último corresponda à string 'último'. (No restante desta seção, escreveremos ERs neste estilo especial, geralmente sem aspas, e strings para serem correspondidas 'entre aspas simples'.)

Alguns caracteres, como '|' ou '(', são especiais. Os caracteres especiais representam classes de caracteres comuns ou afetam como as expressões regulares em torno deles são interpretadas.

Operadores de repetição ou quantificadores (*, +, ?, {m,n} etc) não podem ser aninhados diretamente. Isso evita ambiguidade com o sufixo modificador não guloso ?, e com outros modificadores em outras implementações. Para aplicar uma segunda repetição a uma repetição interna, podem ser usados parênteses. Por exemplo, a expressão (?:a{6})* corresponde a qualquer múltiplo de seis caracteres 'a'.

Os caracteres especiais são:

.

(Ponto.) No modo padrão, corresponde a qualquer caractere, exceto uma nova linha. Se o sinalizador DOTALL foi especificado, ele corresponde a qualquer caractere, incluindo uma nova linha. (?s:.) corresponde a qualquer caractere independente de sinalizadores.

^

(Sinal de circunflexo.) Corresponde ao início da string, e no modo MULTILINE também corresponde imediatamente após cada nova linha.

$

Corresponde ao final da string ou logo antes da nova linha no final da string, e no modo MULTILINE também corresponde antes de uma nova linha. foo corresponde a ‘foo’ e ‘foobar’, enquanto a expressão regular foo$ corresponde apenas a ‘foo’. Mais interessante, pesquisar por foo.$ em 'foo1\nfoo2\n' corresponde a ‘foo2’ normalmente, mas ‘foo1’ no modo MULTILINE; procurando por um único $ em 'foo\n' encontrará duas correspondências (vazias): uma logo antes da nova linha e uma no final da string.

*

Faz a ER resultante corresponder a 0 ou mais repetições da ER anterior, tantas repetições quantas forem possíveis. ab* corresponderá a ‘a’, ‘ab’ ou ‘a’ seguido por uma quantidade qualquer de ‘b’s.

+

Faz com que a ER resultante corresponda a 1 ou mais repetições da ER anterior. ab+ irá corresponder a ‘a’ seguido por qualquer número diferente de zero de ‘b’s; não corresponderá apenas a ‘a’.

?

Faz a ER resultante corresponder a 0 ou 1 repetição da ER anterior. ab? irá corresponder a ‘a’ ou ‘ab’.

*?, +?, ??

Os quantificadores '*', '+' e '?' são todos gulosos; eles correspondem ao máximo de texto possível. Às vezes, esse comportamento não é desejado; se a ER <.*> for correspondida com '<a> b <c>', ela irá corresponder a toda a string, e não apenas '<a>'. Adicionar ? após o quantificador faz com que ele execute a correspondência da maneira não gulosa ou minimalista; tão poucos caracteres quanto possível serão correspondidos. Usando a ER <.*?> irá corresponder apenas '<a>'.

*+, ++, ?+

Como os quantificadores '*', '+' e '?', aqueles em que '+' é anexado também correspondem tantas vezes quanto possível. No entanto, ao contrário dos quantificadores realmente gulosos, eles não permitem retrocesso quando a expressão que o segue não corresponde. Estes são conhecidos como quantificadores possessivos. Por exemplo, a*a corresponderá a 'aaaa' porque o a* corresponderá a todos os 4 'a's, mas, quando o final 'a' for encontrado, a expressão é retrocedida para que no final o a* acabe correspondendo a 3 'a's no total, e o quarto 'a' seja correspondido por o final 'a'. No entanto, quando a*+a é usado para corresponder a 'aaaa', o a*+ corresponderá a todos os 4 'a', mas quando o 'a' final não encontrar mais caracteres para corresponder, a expressão não pode ser retrocedida e, portanto, não corresponderá. x*+, x++ e x?+ são equivalentes a (?>x*), (?>x+) e (?>x?) respectivamente.

Adicionado na versão 3.11.

{m}

Especifica que exatamente m cópias da ER anterior devem ser correspondidas; menos correspondências fazem com que toda a ER não seja correspondida. Por exemplo, a{6} irá corresponder exatamente a seis caracteres 'a', mas não a cinco.

{m,n}

Faz a ER resultante corresponder de m a n repetições da ER anterior, tentando corresponder ao máximo de repetições possível. Por exemplo, a{3,5} irá corresponder de 3 a 5 caracteres 'a'. A omissão de m especifica um limite inferior de zero e a omissão de n especifica um limite superior infinito. Como exemplo, a{4,}b irá corresponder a 'aaaab' ou mil caracteres 'a' seguidos por um 'b', mas não 'aaab'. A vírgula não pode ser omitida ou o modificador será confundido com a forma descrita anteriormente.

{m,n}?

Faz a ER resultante corresponder de m a n repetições da ER anterior, tentando corresponder o mínimo de repetições possível. Esta é a versão não gulosa do quantificador anterior. Por exemplo, na string de 6 caracteres 'aaaaaa', a{3,5} irá corresponder a 5 caracteres 'a', enquanto a{3,5}? corresponderá apenas a 3 caracteres.

{m,n}+

Faz a ER resultante corresponder de m a n repetições da ER anterior, tentando corresponder o maior número possível de repetições sem estabelecer nenhum ponto de retrocesso. Esta é a versão possessiva do quantificador acima. Por exemplo, na string de 6 caracteres 'aaaaaa', a{3,5}+aa tenta corresponder 5 caracteres 'a', então, requerer mais 2 'a's, precisará de mais caracteres do que os disponíveis e, portanto, falhará, enquanto a{3,5}aa corresponderá a a{3,5} capturando 5, depois 4 'a's por retrocesso e então os 2 'a's finais são combinados com o aa final no padrão. x{m,n}+ é equivalente a (?>x{m,n}).

Adicionado na versão 3.11.

\

Ou anula o efeito de caracteres especiais (permitindo a você corresponder caracteres como '*', '?' e assim por diante), ou sinaliza uma sequência especial; sequências especiais são discutidas abaixo.

Se você não estiver usando uma string bruta para expressar o padrão, lembre-se de que o Python também usa a contrabarra como uma sequência de escape em literais de string; se a sequência de escape não for reconhecida pelo analisador sintático do Python, a contrabarra e o caractere subsequente serão incluídos na string resultante. No entanto, se Python reconhecer a sequência resultante, a contrabarra deve ser repetida duas vezes. Isso é complicado e difícil de entender, portanto, é altamente recomendável que você use strings brutas para todas as expressões, exceto as mais simples.

[]

Usado para indicar um conjunto de caracteres. Em um conjunto:

Caracteres podem ser listados individualmente, por exemplo, [amk] vai corresponder a 'a', 'm' ou 'k'.

Intervalos de caracteres podem ser indicados fornecendo dois caracteres e separando-os por '-', por exemplo [a-z] irá corresponder a qualquer letra ASCII minúscula, [0-5][0-9] irá corresponder a todos os números de dois dígitos de 00 a 59, e [0-9A-Fa-f] irá corresponder a qualquer dígito hexadecimal. Se - for precedido de uma contrabarra (por exemplo, [a\-z]) ou se for colocado como o primeiro ou último caractere (por exemplo, [-a] ou [a-]), ele corresponderá a um literal '-'.

Os caracteres especiais perdem seu significado especial dentro dos conjuntos. Por exemplo, [(+*)] corresponderá a qualquer um dos caracteres literais '(', '+', '*' ou ')'.

Classes de caracteres, como \w ou \S (definidos abaixo), também são aceitas dentro de um conjunto, embora os caracteres que eles correspondem dependam dos sinalizadores usados.

Os caracteres que não estão dentro de um intervalo podem ser correspondidos complementando o conjunto. Se o primeiro caractere do conjunto for '^', todos os caracteres que não estiverem no conjunto serão correspondidos. Por exemplo, [^5] irá corresponder a qualquer caractere exceto '5', e [^^] irá corresponder a qualquer caractere exceto '^'. ^ não tem nenhum significado especial se não for o primeiro caractere do conjunto.

Para corresponder a um ']' literal dentro de um conjunto, preceda-o com uma contrabarra ou coloque-o no início do conjunto. Por exemplo, [()[\]{}] e []()[{}] vai corresponder ao colchete à direita, assim como o colchete, chave ou parêntese à esquerda.

Suporte para conjuntos aninhados e operações de conjunto como no Padrão Técnico do Unicode #18 [https://unicode.org/reports/tr18/] podem ser adicionados no futuro. Isso mudaria a sintaxe, então para facilitar essa mudança uma FutureWarning será levantada em casos ambíguos por enquanto. Isso inclui conjuntos que começam com um '[' literal ou contendo sequências de caracteres literais '--', '&&', '~~' e '||'. Para evitar um aviso, use uma contrabarra antes deles.

Alterado na versão 3.7: FutureWarning é levantada se um conjunto de caracteres contém construções que mudarão semanticamente no futuro.

|

A|B, onde A e B podem ser ERs arbitrárias, cria uma expressão regular que corresponderá a A ou B. Um número arbitrário de ERs pode ser separado por '|' desta forma. Isso também pode ser usado dentro de grupos (veja abaixo). Conforme a string alvo é percorrida, ERs separadas por '|' são avaliadas da esquerda para a direita. Quando um padrão corresponde completamente, essa ramificação é aceita. Isso significa que, assim que A corresponder, B não será avaliado posteriormente, mesmo que produza uma correspondência geral mais longa. Em outras palavras, o operador '|' nunca é guloso. Para corresponder a um '|' literal, use \|, ou coloque-o dentro de uma classe de caractere, como em [|].

(...)

Corresponde a qualquer expressão regular que esteja entre parênteses e indica o início e o fim de um grupo; o conteúdo de um grupo pode ser recuperado após uma correspondência ter sido realizada e pode ser correspondido posteriormente na string com a sequência especial \número, descrita abaixo. Para corresponder aos literais '(' ou ')', use \( ou \), ou coloque-os dentro de uma classe de caracteres: [(], [)].

(?...)

Esta é uma notação de extensão (um '?' após um '(' não é significativo de outra forma). O primeiro caractere após o '?' determina qual o significado e sintaxe posterior da construção. As extensões normalmente não criam um novo grupo; (?P<nome>...) é a única exceção a esta regra. A seguir estão as extensões atualmente implementadas.

(?aiLmsux)

(Uma ou mais letras do conjunto 'a', 'i', 'L', 'm', 's', 'u', 'x'.) O grupo corresponde à string vazia; as letras definem os sinalizadores correspondentes para toda a expressão regular:

re.A (correspondência somente ASCII)

re.I (ignorar maiúsculas/minúsculas)

re.L (dependente da localidade)

re.M (multi-linha)

re.S (ponto corresponde a tudo)

re.U (correspondência Unicode)

re.X (verboso)

(Os sinalizadores são descritos em Conteúdo do módulo.) Isso é útil se você deseja incluir os sinalizadores como parte da expressão regular, em vez de passar um argumento flag para a função re.compile(). Os sinalizadores devem ser usados primeiro na string de expressão.

Alterado na versão 3.11: Esta construção só pode ser usada no início da expressão.

(?:...)

Uma versão sem captura de parênteses regulares. Corresponde a qualquer expressão regular que esteja entre parênteses, mas a substring correspondida pelo grupo não pode ser recuperada após realizar uma correspondência ou referenciada posteriormente no padrão.

(?aiLmsux-imsx:...)

(Zero ou mais letras do conjunto 'a', 'i', 'L', 'm', 's', 'u', 'x', opcionalmente seguidas por '-' seguido por uma ou mais letras do conjunto 'i', 'm', 's', 'x'.) O conjunto de letras define ou remove os sinalizadores correspondentes para a parte da expressão:

re.A (correspondência somente ASCII)

re.I (ignorar maiúsculas/minúsculas)

re.L (dependente da localidade)

re.M (multi-linha)

re.S (ponto corresponde a tudo)

re.U (correspondência Unicode)

re.X (verboso)

(Os sinalizadores são descritos em Conteúdo do módulo.)

As letras 'a', 'L' e 'u' são mutuamente exclusivas quando usadas como sinalizadores em linha, portanto, não podem ser combinadas ou seguir '-'. Em vez disso, quando um deles aparece em um grupo embutido, ele substitui o modo de correspondência no grupo anexo. Em padrões Unicode (?a:...) muda para correspondência somente ASCII, e (?u:...) muda para correspondência Unicode (padrão). Em padrões de bytes (?L:...) muda para a correspondência dependente da localidade, e (?a:...) muda para correspondência apenas ASCII (padrão). Esta substituição só tem efeito para o grupo estreito em linha e o modo de correspondência original é restaurado fora do grupo.

Adicionado na versão 3.6.

Alterado na versão 3.7: As letras 'a', 'L' e 'u' também podem ser usadas em um grupo.

(?>...)

Tenta corresponder ... como se fosse uma expressão regular separada e, se for bem-sucedida, continua correspondendo ao restante do padrão que a segue. Se o padrão subsequente não corresponder, a pilha só pode ser desenrolada até um ponto antes do (?>...) porque, uma vez encerrada, a expressão, conhecida como grupo atômico, jogou fora todos os pontos de pilha dentro de si. Assim, (?>.*). nunca corresponderia a nada porque primeiro o .* corresponderia a todos os caracteres possíveis, então, não tendo mais nada para corresponder, o . final falharia em corresponder. Como não há pontos de pilha salvos no Grupo Atômico e não há ponto de pilha antes dele, a expressão inteira não corresponderia.

Adicionado na versão 3.11.

(?P<nome>...)

Semelhante aos parênteses regulares, mas a substring correspondida pelo grupo é acessível por meio do nome de grupo simbólico nome. Os nomes de grupo devem ser identificadores Python válidos e em padrões bytes eles só podem conter bytes no intervalo ASCII. Cada nome de grupo deve ser definido apenas uma vez em uma expressão regular. Um grupo simbólico também é um grupo numerado, como se o grupo não tivesse um nome.

Grupos nomeados podem ser referenciados em três contextos. Se o padrão for (?P<citação>['"]).*?(?P=citação) (ou seja, corresponder a uma string entre aspas simples ou duplas):

Contexto de referência ao grupo “citação”

Formas de referenciá-lo

no mesmo padrão

(?P=citação) (como mostrado)

\1

ao processar a correspondência do objeto m

m.group('citação')

m.end('citação') (etc.)

em uma string passada para o argumento repl de re.sub()

\g<citação>

\g<1>

\1

Alterado na versão 3.12: Nos padrões bytes, o grupo nome só pode conter bytes no intervalo ASCII (b'\x00'-b'\x7f').

(?P=nome)

Uma referência anterior a um grupo nomeado; corresponde a qualquer texto que corresponda ao grupo anterior denominado nome.

(?#...)

Um comentário; o conteúdo dos parênteses é simplesmente ignorado.

(?=...)

Corresponde se ... corresponder a próxima, mas não consome nada da string. Isso é chamado de asserção preditiva. Por exemplo, Isaac (?=Asimov) corresponderá a 'Isaac ' apenas se for seguido por 'Asimov'.

(?!...)

Corresponde se ... não corresponder a próxima. Isso é uma asserção preditiva negativa. Por exemplo, Isaac (?!Asimov) corresponderá a 'Isaac ' apenas se não for seguido por 'Asimov'.

(?<=...)

Corresponde se a posição atual na string for precedida por uma correspondência para ... que termina na posição atual. Isso é chamado de asserção retroativa positiva. (?<=abc)def irá encontrar uma correspondência em 'abcdef', uma vez que a expressão regular vai voltar 3 caracteres e verificar se o padrão contido corresponde. O padrão contido deve corresponder apenas a strings de algum comprimento fixo, o que significa que abc ou a|b são permitidos, mas a* e a{3,4} não são. Observe que os padrões que começam com asserções retroativas positivas não corresponderão ao início da string que está sendo pesquisada; você provavelmente desejará usar a função search() em vez da função match():

>>> import re
>>> m = re.search('(?<=abc)def', 'abcdef')
>>> m.group(0)
'def'

Este exemplo procura por uma palavra logo após um hífen:

>>> m = re.search(r'(?<=-)\w+', 'spam-egg')
>>> m.group(0)
'egg'

Alterado na versão 3.5: Adicionado suporte para referências de grupo de comprimento fixo.

(?<!...)

Corresponde se a posição atual na string não for precedida por uma correspondência para .... Isso é chamado de asserção retroativa negativa. Semelhante às asserções retroativas positivas, o padrão contido deve corresponder apenas a strings de algum comprimento fixo. Os padrões que começam com asserções retroativas negativas podem corresponder ao início da string que está sendo pesquisada.

(?(id/nome)padrão-sim|padrão-não)

Tentará corresponder com padrão-sim se o grupo com determinado id ou nome existir, e com padrão-não se não existir. padrão-não é opcional e pode ser omitido. Por exemplo, (<)?(\w+@\w+(?:\.\w+)+)(?(1)>|$) é um padrão ruim de correspondência de e-mail, que corresponderá com '<usuario@host.com>' bem como 'usuario@host.com', mas não com '<usuario@host.com>' nem 'usuario@host.com>'.

Alterado na versão 3.12: O grupo id só podem conter dígitos ASCII. Nos padrões bytes, o grupo nome só pode conter bytes no intervalo ASCII (b'\x00'-b'\x7f').

As sequências especiais consistem em '\' e um caractere da lista abaixo. Se o caractere comum não for um dígito ASCII ou uma letra ASCII, a ER resultante corresponderá ao segundo caractere. Por exemplo, \$ corresponde ao caractere '$'.

\número

Corresponde ao conteúdo do grupo de mesmo número. Os grupos são numerados a partir de 1. Por exemplo, (.+) \1 corresponde a 'de de' ou '55 55', mas não 'dede' (note o espaço após o grupo). Esta sequência especial só pode ser usada para corresponder a um dos primeiros 99 grupos. Se o primeiro dígito de número for 0, ou número tiver 3 dígitos octais de comprimento, ele não será interpretado como uma correspondência de grupo, mas como o caractere com número de valor octal. Dentro de '[' e ']' de uma classe de caracteres, todos os escapes numéricos são tratados como caracteres.

\A

Corresponde apenas ao início da string.

\b

Corresponde à string vazia, mas apenas no início ou no final de uma palavra. Uma palavra é definida como uma sequência de caracteres de palavras. Observe que, formalmente, \b é definido como a fronteira entre um caractere \w e um \W (ou vice-versa), ou entre \w e o início/fim da string. Isso significa que r'\bat\b' corresponde a 'at', 'at.', '(at)', 'as at ay', mas não a 'attempt' ou 'atlas'.

Os caracteres de palavras predefinidos em padrões Unicode (str) são alfanuméricos Unicode e o sublinhado, mas isso pode ser alterado usando o sinalizador ASCII. Os limites das palavras são determinados pela localidade atual se o sinalizador LOCALE for usado.

Nota

Dentro de um intervalo de caracteres, \b representa o caractere backspace, para compatibilidade com strings literais do Python.

\B

Corresponde à string vazia, mas apenas quando não estiver no início ou no final de uma palavra. Isso significa que r'at\B' corresponde a 'athens', 'atom', 'attorney', mas não 'at', 'at.' ou 'at!'. \B é exatamente o oposto de \b, então caracteres de palavras em padrões Unicode são alfanuméricos Unicode ou o sublinhado, embora isso possa ser alterado usando o sinalizador ASCII. Os limites das palavras são determinados pela localidade atual se o sinalizador LOCALE for usado.

Nota

Note que \B não corresponde uma string vazia, o que difere das implementações de ER em outros linguagens de programação, como Perl. Este comportamento é mantido por razões de compatibilidade.

\d

Para padrões Unicode (str):

Corresponde a qualquer dígito decimal Unicode (ou seja, qualquer caractere na categoria de caractere Unicode [Nd] [https://www.unicode.org/versions/Unicode15.0.0/ch04.pdf#G134153]). Isso inclui [0-9], e também muitos outros caracteres de dígitos.

Se o sinalizador ASCII for usado, apenas [0-9] será correspondido.

Para padrões de 8 bits (isto é, bytes):

Corresponde a qualquer dígito decimal no conjunto de caracteres ASCII; isso é equivalente a [0-9].

\D

Corresponde a qualquer caractere que não seja um dígito decimal. Isso é o oposto de \d.

Se o sinalizador ASCII for usado, apenas [^0-9] será correspondido.

\s

Para padrões Unicode (str):

Corresponde a caracteres de espaço em branco Unicode (como definido por str.isspace()) . Isso inclui [ \t\n\r\f\v], e também muitos outros caracteres, como, por exemplo, os espaços não separáveis exigidos pelas regras de tipografia em muitos idiomas.

Se o sinalizador ASCII for usado, apenas [ \t\n\r\f\v] é correspondido.

Para padrões de 8 bits (isto é, bytes):

Corresponde a caracteres considerados espaços em branco no conjunto de caracteres ASCII; isso é equivalente a [ \t\n\r\f\v].

\S

Corresponde a qualquer caractere que não seja um espaço em branco. Isso é o oposto de \s.

Se o sinalizador ASCII for usado, apenas [^ \t\n\r\f\v] é correspondido.

\w

Para padrões Unicode (str):

Corresponde a caracteres de palavras Unicode; isso inclui todos os caracteres alfanuméricos Unicode (conforme definido por str.isalnum()), bem como o sublinhado (_).

Se o sinalizador ASCII for usado, apenas [a-zA-Z0-9_] será correspondido.

Para padrões de 8 bits (isto é, bytes):

Corresponde a caracteres considerados alfanuméricos no conjunto de caracteres ASCII; isso é equivalente a [a-zA-Z0-9_]. Se o sinalizador LOCALE for usado, corresponde aos caracteres considerados alfanuméricos na localidade atual e o sublinhado.

\W

Corresponde a qualquer caractere que não seja um caractere de palavra. Isso é o oposto de \w. Por padrão, corresponde a caracteres que não são sublinhados (_) para os quais str.isalnum() retorna False.

Se o sinalizador ASCII for usado, apenas [^a-zA-Z0-9_] será correspondido.

Se o sinalizador LOCALE for usado, corresponde a caracteres que não são alfanuméricos na localidade atual nem ao sublinhado.

\Z

Corresponde apenas ao final da string.

A maioria das sequências de escape com suporte das literais de string Python também são aceitos pelo analisador sintático de expressão regular:

\a      \b      \f      \n
\N      \r      \t      \u
\U      \v      \x      \\

(Observe que \b é usado para representar limites de palavras e significa fazer “backspace” apenas dentro das classes de caracteres.)

As sequências de escape '\u', '\U' e '\N' são reconhecidas apenas em padrões Unicode (str). Em padrões de bytes, eles são erros. Escapes desconhecidos de letras ASCII são reservados para uso futuro e tratados como erros.

Os escapes octais são incluídos em um formulário limitado. Se o primeiro dígito for 0, ou se houver três dígitos octais, é considerado um escape octal. Caso contrário, é uma referência de grupo. Quanto aos literais de string, os escapes octais têm sempre no máximo três dígitos.

Alterado na versão 3.3: As sequências de escape '\u' e '\U' foram adicionadas.

Alterado na versão 3.6: Escapes desconhecidos consistindo em '\' e uma letra ASCII agora são erros.

Alterado na versão 3.8: A sequência de escape '\N{name}' foi adicionada. Como em literais de string, ela se expande para o caractere Unicode nomeado (por exemplo, '\N{EM DASH}').

Conteúdo do módulo

O módulo define várias funções, constantes e uma exceção. Algumas das funções são versões simplificadas dos métodos completos para expressões regulares compiladas. A maioria das aplicações não triviais sempre usa a forma compilada.

Sinalizadores

Alterado na versão 3.6: Constantes de sinalizadores agora são instâncias de RegexFlag, que é uma subclasse de enum.IntFlag.

class re.RegexFlag

Uma subclasse de enum.IntFlag contendo as opções de expressão regular listadas abaixo.

Adicionado na versão 3.11: - added to __all__

re.A

re.ASCII

Faz com que \w, \W, \b, \B, \d, \D, \s e \S executem a correspondência somente ASCII em vez da correspondência Unicode completa. Isso é significativo apenas para padrões Unicode (str) e é ignorado para padrões de bytes.

Corresponde ao sinalizador em linha (?a).

Nota

O sinalizador U ainda existe para compatibilidade com versões anteriores, mas é redundante no Python 3, pois as correspondências são feitas em Unicode por padrão para padrões de str e correspondência Unicode não é permitida para padrões de “bytes”. UNICODE e o sinalizador em linha (?u) são igualmente redundantes.

re.DEBUG

Exibe informações de depuração sobre a expressão compilada.

Nenhum sinalizador em linha correspondente.

re.I

re.IGNORECASE

Executa uma correspondência que não diferencia maiúsculas de minúsculas; expressões como [A-Z] também corresponderão a letras minúsculas. A correspondência Unicode completa (como Ü correspondendo a ü) também funciona, a menos que o sinalizador ASCII seja usado para desabilitar correspondências não ASCII. A localidade atual não muda o efeito deste sinalizador a menos que o sinalizador LOCALE também seja usado.

Corresponde ao sinalizador em linha (?i).

Observe que quando os padrões Unicode [a-z] ou [A-Z] são usados em combinação com o sinalizador IGNORECASE, eles corresponderão às 52 letras ASCII e 4 letras não-ASCII adicionais: ‘İ’ (U+0130, letra latina I maiúscula com ponto em cima), ‘ı’ (U+0131, letra latina i minúscula sem ponto), ‘ſ’ (U+017F, letra latina s minúscula longa) e ‘K’ (U+212A, sinal de Kelvin). Se o sinalizador ASCII for usado, apenas as letras ‘a’ a ‘z’ e ‘A’ a ‘Z’ serão correspondidas.

re.L

re.LOCALE

Faz com que \w, \W, \b, \B e a correspondência sem diferenciação de maiúsculas e minúsculas dependam da localidade atual. Esse sinalizador só pode ser usado com padrões de bytes.

Corresponde ao sinalizador em linha (?L).

Aviso

Este sinalizador é desencorajado; considere usar correspondência Unicode em vez disso. O mecanismo de localidade é muito pouco confiável, pois só manipula uma “cultura” por vez e só funciona com localidades de 8 bits. A correspondência Unicode é habilitada por padrão para padrões Unicode (str) e é capaz de manipular diferentes localidades e idiomas.

Alterado na versão 3.6: LOCALE pode ser usado apenas com padrões de bytes e não é compatível com ASCII.

Alterado na versão 3.7: Objetos de expressão regular compilados com o sinalizador LOCALE não dependem mais da localidade em tempo de compilação. Apenas a localidade no momento da correspondência afeta o resultado da correspondência.

re.M

re.MULTILINE

Quando especificado, o caractere padrão '^' corresponde ao início da string e ao início de cada linha (imediatamente após cada nova linha); e o caractere padrão '$' corresponde ao final da string e ao final de cada linha (imediatamente antes de cada nova linha). Por padrão, '^' corresponde apenas no início da string, e '$' apenas no final da string e imediatamente antes da nova linha (se houver) no final da string.

Corresponde ao sinalizador em linha (?m).

re.NOFLAG

Indica que nenhum sinalizador está sendo aplicado, o valor é 0. Este sinalizador pode ser usado como um valor padrão para um argumento nomeado de função ou como um valor base que será condicionalmente OU com outros sinalizadores. Exemplo de uso como valor padrão:

def minha_funcao(texto, sinalizador=re.NOFLAG):
    return re.match(texto, sinalizador)

Adicionado na versão 3.11.

re.S

re.DOTALL

Faz o caractere especial '.' corresponder com qualquer caractere que seja, incluindo uma nova linha; sem este sinalizador, '.' irá corresponder a qualquer coisa, exceto uma nova linha.

Corresponde ao sinalizador em linha (?s).

re.U

re.UNICODE

Em Python 3, os caracteres Unicode são correspondidos por padrão para padrões str. Esse sinalizador é, portanto, redundante e sem efeito, sendo mantido apenas para compatibilidade com versões anteriores.

Veja ASCII para restringir a correspondência apenas a caracteres ASCII.

re.X

re.VERBOSE

Este sinalizador permite que você escreva expressões regulares que parecem mais agradáveis e são mais legíveis, permitindo que você separe visualmente seções lógicas do padrão e adicione comentários. O espaço em branco dentro do padrão é ignorado, exceto quando em uma classe de caractere, ou quando precedido por uma contrabarra sem escape, ou dentro de tokens como *?, (?: ou (?P<...>. Por exemplo, (? : e * ? não são permitidos. Quando uma linha contém um # que não está em uma classe de caractere e não é precedido por uma contrabarra sem escape, todos os caracteres a partir do # mais à esquerda até o final da linha são ignorados.

Isso significa que os dois seguintes objetos expressão regular que correspondem a um número decimal são funcionalmente iguais:

a = re.compile(r"""\d +  # a parte inteira
                   \.    # o ponto decimal
                   \d *  # alguns digitos fracionários""", re.X)
b = re.compile(r"\d+\.\d*")

Corresponde ao sinalizador em linha (?x).

Funções

re.compile(pattern, flags=0)

Compila um padrão de expressão regular em um objeto expressão regular, que pode ser usado para correspondência usando seu match(), search() e outros métodos, descritos abaixo.

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

A sequência

prog = re.compile(pattern)
result = prog.match(string)

é equivalente a

result = re.match(pattern, string)

mas usar re.compile() e salvar o objeto expressão regular resultante para reutilização é mais eficiente quando a expressão será usada várias vezes em um único programa.

Nota

As versões compiladas dos padrões mais recentes passados para re.compile() e as funções de correspondência em nível de módulo são armazenadas em cache, de modo que programas que usam apenas algumas expressões regulares por vez não precisam se preocupar em compilar expressões regulares.

re.search(pattern, string, flags=0)

Percorre a string procurando o primeiro local onde o padrão pattern de expressão regular produz uma correspondência e retorna um Match correspondente. Retorna None se nenhuma posição na string corresponder ao padrão; observe que isso é diferente de encontrar uma correspondência de comprimento zero em algum ponto da string.

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

re.match(pattern, string, flags=0)

Se zero ou mais caracteres no início da string corresponderem ao padrão pattern da expressão regular, retorna um Match correspondente. Retorna None se a string não corresponder ao padrão; observe que isso é diferente de uma correspondência de comprimento zero.

Observe que mesmo no modo MULTILINE, re.match() irá corresponder apenas no início da string e não no início de cada linha.

Se você quiser localizar uma correspondência em qualquer lugar em string, use search() (veja também search() vs. match()).

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

re.fullmatch(pattern, string, flags=0)

Se toda a string corresponder ao padrão pattern da expressão regular, retorna um Match correspondente. Retorna None se a string não corresponder ao padrão; observe que isso é diferente de uma correspondência de comprimento zero.

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

Adicionado na versão 3.4.

re.split(pattern, string, maxsplit=0, flags=0)

Divide a string pelas ocorrências do padrão pattern. Se parênteses de captura forem usados em pattern, o texto de todos os grupos no padrão também será retornado como parte da lista resultante. Se maxsplit for diferente de zero, no máximo maxsplit divisões ocorrerão e o restante da string será retornado como o elemento final da lista.

>>> re.split(r'\W+', 'Words, words, words.')
['Words', 'words', 'words', '']
>>> re.split(r'(\W+)', 'Words, words, words.')
['Words', ', ', 'words', ', ', 'words', '.', '']
>>> re.split(r'\W+', 'Words, words, words.', maxsplit=1)
['Words', 'words, words.']
>>> re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE)
['0', '3', '9']

Se houver grupos de captura no separador e ele corresponder ao início da string, o resultado começará com uma string vazia. O mesmo vale para o final da string:

>>> re.split(r'(\W+)', '...words, words...')
['', '...', 'words', ', ', 'words', '...', '']

Dessa forma, os componentes do separador são sempre encontrados nos mesmos índices relativos na lista de resultados.

As correspondências vazias para o padrão dividem a string apenas quando não adjacente a uma correspondência vazia anterior.

>>> re.split(r'\b', 'Words, words, words.')
['', 'Words', ', ', 'words', ', ', 'words', '.']
>>> re.split(r'\W*', '...words...')
['', '', 'w', 'o', 'r', 'd', 's', '', '']
>>> re.split(r'(\W*)', '...words...')
['', '...', '', '', 'w', '', 'o', '', 'r', '', 'd', '', 's', '...', '', '', '']

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

Alterado na versão 3.1: Adicionado o argumento de sinalizadores opcionais.

Alterado na versão 3.7: Adicionado suporte de divisão em um padrão que pode corresponder a uma string vazia.

Obsoleto desde a versão 3.13: Passar maxsplit e flags como argumentos posicionais foi descontinuado. Nas versões futuras do Python eles serão parâmetros somente-nomeados.

re.findall(pattern, string, flags=0)

Retorna todas as correspondências não sobrepostas do padrão pattern em string, como uma lista de strings ou tuplas. A string é verificada da esquerda para a direita e as correspondências são retornadas na ordem encontrada. Correspondências vazias são incluídas no resultado.

O resultado depende do número de grupos de captura no padrão. Se não houver grupos, retorna uma lista de strings que correspondem a todo o padrão. Se houver exatamente um grupo, retorna uma lista de strings correspondentes a esse grupo. Se vários grupos estiverem presentes, retorna uma lista de tuplas de strings correspondentes aos grupos. Grupos sem captura não afetam a forma do resultado.

>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.findall(r'(\w+)=(\d+)', 'set width=20 and height=10')
[('width', '20'), ('height', '10')]

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

Alterado na versão 3.7: Correspondências não vazias agora podem começar logo após uma correspondência vazia anterior.

re.finditer(pattern, string, flags=0)

Retorna um iterador produzindo objetos Match sobre todas as correspondências não sobrepostas para o padrão pattern de ER na string. A string é percorrida da esquerda para a direita e as correspondências são retornadas na ordem encontrada. Correspondências vazias são incluídas no resultado.

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

Alterado na versão 3.7: Correspondências não vazias agora podem começar logo após uma correspondência vazia anterior.

re.sub(pattern, repl, string, count=0, flags=0)

Retorna a string obtida substituindo as ocorrências não sobrepostas da extremidade esquerda do padrão pattern na string pela substituição repl. Se o padrão não for encontrado, string será retornado inalterado. repl pode ser uma string ou uma função; se for uma string, qualquer escape de contrabarra será processado. Ou seja, \n é convertido em um único caractere de nova linha, \r é convertido em um retorno de carro e assim por diante. Escapes desconhecidos de letras ASCII são reservados para uso futuro e tratados como erros. Outros escapes desconhecidos como \& são deixados como estão. Referências anteriores, como \6, são substituídos pela substring correspondida pelo grupo 6 no padrão. Por exemplo:

>>> re.sub(r'def\s+([a-zA-Z_][a-zA-Z_0-9]*)\s*\(\s*\):',
...        r'static PyObject*\npy_\1(void)\n{',
...        'def myfunc():')
'static PyObject*\npy_myfunc(void)\n{'

Se repl for uma função, ela será chamada para cada ocorrência não sobreposta do padrão pattern. A função recebe um único argumento Match e retorna a string de substituição. Por exemplo:

>>> def dashrepl(matchobj):
...     if matchobj.group(0) == '-': return ' '
...     else: return '-'
...
>>> re.sub('-{1,2}', dashrepl, 'pro----gram-files')
'pro--gram files'
>>> re.sub(r'\sAND\s', ' & ', 'Baked Beans And Spam', flags=re.IGNORECASE)
'Baked Beans & Spam'

O padrão pode ser uma string ou um Pattern.

O argumento opcional count é o número máximo de ocorrências de padrão a serem substituídas; count deve ser um número inteiro não negativo. Se omitido ou zero, todas as ocorrências serão substituídas. As correspondências vazias para o padrão são substituídas apenas quando não adjacentes a uma correspondência vazia anterior, então sub('x*', '-', 'abxd') retorna '-a-b--d-'.

Em argumentos repl do tipo string, além dos escapes de caractere e referências anteriores descritas acima, \g<nome> usará a substring correspondida pelo grupo denominado nome, conforme definido pela sintaxe (?P<nome>...). \g<número> usa o número do grupo correspondente; \g<2> é portanto equivalente a \2, mas não é ambíguo em uma substituição como \g<2>0. \20 seria interpretado como uma referência ao grupo 20, não uma referência ao grupo 2 seguida pelo caractere literal '0'. A referência anterior \g6 substitui em toda a substring correspondida pela ER.

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

Alterado na versão 3.1: Adicionado o argumento de sinalizadores opcionais.

Alterado na versão 3.5: Grupos sem correspondência são substituídos por uma string vazia.

Alterado na versão 3.6: Escapes desconhecidos no padrão pattern consistindo em '\' e uma letra ASCII agora são erros.

Alterado na versão 3.7: Escapes desconhecidos em repl consistindo em '\' e uma letra ASCII agora são erros. As correspondências vazias do padrão são substituídas quando adjacentes a uma correspondência não vazia anterior.

Alterado na versão 3.12: O grupo id só podem conter dígitos ASCII. Nas strings de substituição bytes, o grupo name só pode conter bytes no intervalo ASCII (b'\x00'-b'\x7f').

Obsoleto desde a versão 3.13: Passar count e flags como argumentos posicionais foi descontinuado. Nas versões futuras do Python eles serão parâmetros somente-nomeados.

re.subn(pattern, repl, string, count=0, flags=0)

Executa a mesma operação que sub(), mas retorna uma tupla (new_string, number_of_subs_made).

O comportamento da expressão pode ser modificado especificando um valor para o parâmetro flags. Os valores podem ser qualquer um dos sinalizadores , combinados usando OU bit a bit (o operador |).

re.escape(pattern)

Escapa caracteres especiais no padrão pattern. Isso é útil se você deseja corresponder uma string literal arbitrária que pode conter metacaracteres de expressão regular. Por exemplo:

>>> print(re.escape('https://www.python.org'))
https://www\.python\.org

>>> legal_chars = string.ascii_lowercase + string.digits + "!#$%&'*+-.^_`|~:"
>>> print('[%s]+' % re.escape(legal_chars))
[abcdefghijklmnopqrstuvwxyz0123456789!\#\$%\&'\*\+\-\.\^_`\|\~:]+

>>> operators = ['+', '-', '*', '/', '**']
>>> print('|'.join(map(re.escape, sorted(operators, reverse=True))))
/|\-|\+|\*\*|\*

Esta função não deve ser usada para a string de substituição em sub() e subn(), apenas contrabarras devem ser escapadas. Por exemplo:

>>> digits_re = r'\d+'
>>> sample = '/usr/sbin/sendmail - 0 errors, 12 warnings'
>>> print(re.sub(digits_re, digits_re.replace('\\', r'\\'), sample))
/usr/sbin/sendmail - \d+ errors, \d+ warnings

Alterado na versão 3.3: O caractere '_' não é mais escapado.

Alterado na versão 3.7: Somente caracteres que podem ter um significado especial em uma expressão regular são escapados. Como resultado, '!', '"', '%', "'", ',', '/', ':', ';', '<', '=', '>', '@', e "`" não são mais escapados.

re.purge()

Limpa o cache da expressão regular.

Exceções

exception re.PatternError(msg, pattern=None, pos=None)

Exceção levantada quando uma string passada para uma das funções desde módulo não é uma expressão regular válida (por exemplo, ela pode conter parênteses não correspondentes) ou quando algum outro erro ocorre durante a compilação ou correspondência. Nunca é um erro se uma string não contém correspondência para um padrão. A instância de PatternError possui os seguintes atributos adicionais:

msg

A mensagem de erro não formatada.

pattern

O padrão da expressão regular.

pos

O índice no padrão pattern no qual a compilação falhou (pode ser None).

lineno

A linha correspondente a pos (pode ser None).

colno

A coluna correspondente a pos (pode ser None).

Alterado na versão 3.5: Adicionados os atributos adicionais.

Alterado na versão 3.13: PatternError era originalmente chamado de error; o último é mantido como um apelido para compatibilidade com versões anteriores.

Objetos expressão regular

class re.Pattern

Objeto expressão regular compilado retornado por re.compile().

Alterado na versão 3.9: re.Pattern tem suporte a [] para indicar um padrão Unicode (str) ou bytes. Veja Tipo Generic Alias.

Pattern.search(string[, pos[, endpos]])

Percorre a string procurando o primeiro local onde esta expressão regular produz uma correspondência e retorna um Match correspondente. Retorna None se nenhuma posição na string corresponder ao padrão; observe que isso é diferente de encontrar uma correspondência de comprimento zero em algum ponto da string.

O segundo parâmetro opcional pos fornece um índice na string onde a pesquisa deve começar; o padrão é 0. Isso não é totalmente equivalente a fatiar a string; o caractere padrão '^' corresponde no início real da string e nas posições logo após uma nova linha, mas não necessariamente no índice onde a pesquisa deve começar.

O parâmetro opcional endpos limita o quão longe a string será pesquisada; será como se a string tivesse endpos caracteres, então apenas os caracteres de pos a endpos - 1 serão procurados por uma correspondência. Se endpos for menor que pos, nenhuma correspondência será encontrada; caso contrário, se rx é um objeto de expressão regular compilado, rx.search(string, 0, 50) é equivalente a rx.search(string[:50], 0).

>>> pattern = re.compile("d")
>>> pattern.search("dog")     # Match at index 0
<re.Match object; span=(0, 1), match='d'>
>>> pattern.search("dog", 1)  # No match; search doesn't include the "d"

Pattern.match(string[, pos[, endpos]])

Se zero ou mais caracteres no início da string corresponderem a esta expressão regular, retorna um Match correspondente. Retorna None se a string não corresponder ao padrão; observe que isso é diferente de uma correspondência de comprimento zero.

Os parâmetros opcionais pos e endpos têm o mesmo significado que para o método search().

>>> pattern = re.compile("o")
>>> pattern.match("dog")      # No match as "o" is not at the start of "dog".
>>> pattern.match("dog", 1)   # Match as "o" is the 2nd character of "dog".
<re.Match object; span=(1, 2), match='o'>

Se você quiser localizar uma correspondência em qualquer lugar em string, use search() ao invés (veja também search() vs. match()).

Pattern.fullmatch(string[, pos[, endpos]])

Se toda a string corresponder a esta expressão regular, retorna um Match correspondente. Retorna None se a string não corresponder ao padrão; observe que isso é diferente de uma correspondência de comprimento zero.

Os parâmetros opcionais pos e endpos têm o mesmo significado que para o método search().

>>> pattern = re.compile("o[gh]")
>>> pattern.fullmatch("dog")      # No match as "o" is not at the start of "dog".
>>> pattern.fullmatch("ogre")     # No match as not the full string matches.
>>> pattern.fullmatch("doggie", 1, 3)   # Matches within given limits.
<re.Match object; span=(1, 3), match='og'>

Adicionado na versão 3.4.

Pattern.split(string, maxsplit=0)

Idêntico à função split(), usando o padrão compilado.

Pattern.findall(string[, pos[, endpos]])

Semelhante à função findall(), usando o padrão compilado, mas também aceita os parâmetros pos e endpos opcionais que limitam a região de pesquisa como para search().

Pattern.finditer(string[, pos[, endpos]])

Semelhante à função finditer(), usando o padrão compilado, mas também aceita os parâmetros pos e endpos opcionais que limitam a região de pesquisa como para search().

Pattern.sub(repl, string, count=0)

Idêntico à função sub(), usando o padrão compilado.

Pattern.subn(repl, string, count=0)

Idêntico à função subn(), usando o padrão compilado.

Pattern.flags

Os sinalizadores de correspondência de regex. Esta é uma combinação dos sinalizadores fornecidos para compile(), qualquer (?...) sinalizador em linha no padrão e sinalizadores implícitos como UNICODE se o padrão for uma string Unicode.

Pattern.groups

O número de grupos de captura no padrão.

Pattern.groupindex

Um dicionário que mapeia qualquer nome de grupo simbólico definido por (?P<id>) para números de grupo. O dicionário estará vazio se nenhum grupo simbólico for usado no padrão.

Pattern.pattern

A string de padrão da qual o objeto de padrão foi compilado.

Alterado na versão 3.7: Adicionado suporte de copy.copy() e copy.deepcopy(). Os objetos expressão regular compilados são considerados atômicos.

Objetos correspondência

Objetos correspondência sempre têm um valor booleano de True. Como match() e search() retornam None quando não há correspondência, você pode testar se houve uma correspondência com uma simples instrução if:

correspondencia = re.search(padrao, string)
if correspondencia:
    processa(correspondencia)

class re.Match

Objeto correspondência retornado por matchs e searchs bem sucedidos.

Alterado na versão 3.9: re.Match tem suporte a [] para indicar uma correspondência Unicode (str) ou bytes. Veja Tipo Generic Alias.

Match.expand(template)

Retorna a string obtida fazendo a substituição da contrabarra na string de modelo template, como feito pelo método sub(). Escapes como \n são convertidos para os caracteres apropriados, e referências anteriores numéricas (\1, \2) e referências anteriores nomeadas (\g<1>, \g<nome>) são substituídas pelo conteúdo do grupo correspondente. A referência anterior \g<0> será substituída pela correspondência completa.

Alterado na versão 3.5: Grupos sem correspondência são substituídos por uma string vazia.

Match.group([group1, ...])

Retorna um ou mais subgrupos da correspondência. Se houver um único argumento, o resultado será uma única string; se houver vários argumentos, o resultado é uma tupla com um item por argumento. Sem argumentos, group1 padroniza para zero (toda a correspondência é retornada). Se um argumento groupN for zero, o valor de retorno correspondente será toda a string correspondente; se estiver no intervalo inclusivo [1..99], é a string que corresponde ao grupo entre parênteses correspondente. Se um número de grupo for negativo ou maior do que o número de grupos definidos no padrão, uma exceção IndexError é levantada. Se um grupo estiver contido em uma parte do padrão que não correspondeu, o resultado correspondente será None. Se um grupo estiver contido em uma parte do padrão que correspondeu várias vezes, a última correspondência será retornada.

>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, físico")
>>> m.group(0)       # A correspondência inteira
'Isaac Newton'
>>> m.group(1)       # O primeiro subgrupo entre parênteses.
'Isaac'
>>> m.group(2)       # O segundo subgrupo entre parênteses.
'Newton'
>>> m.group(1, 2)    # Múltiplos argumentos retornam uma tupla.
('Isaac', 'Newton')

Se a expressão regular usa a sintaxe (?P<nome>...), os argumentos groupN também podem ser strings que identificam grupos por seus nomes de grupo. Se um argumento string não for usado como um nome de grupo no padrão, uma exceção IndexError é levantada.

Um exemplo moderadamente complicado:

>>> m = re.match(r"(?P<primeiro_nome>\w+) (?P<ultimo_nome>\w+)", "Malcolm Reynolds")
>>> m.group('primeiro_nome')
'Malcolm'
>>> m.group('ultimo_nome')
'Reynolds'

Grupos nomeados também podem ser referidos por seu índice:

>>> m.group(1)
'Malcolm'
>>> m.group(2)
'Reynolds'

Se um grupo corresponder várias vezes, apenas a última correspondência estará acessível:

>>> m = re.match(r"(..)+", "a1b2c3")  # Corresponde 3 vezes.
>>> m.group(1)                        # Retorna somente a última correspondência.
'c3'

Match.__getitem__(g)

Isso é idêntico a m.group(g). Isso permite acesso mais fácil a um grupo individual de uma correspondência:

>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, físico")
>>> m[0]       # A correspondência inteira'
Isaac Newton'
>>> m[1]       # O primeiro subgrupo entre parênteses.
'Isaac'
>>> m[2]       # O segundo subgrupo entre parênteses.
'Newton'

Também há suporte para grupos nomeados:

>>> m = re.match(r"(?P<primeiro_nome>\w+) (?P<segundo_nome>\w+)", "Isaac Newton")
>>> m['primeiro_nome']
'Isaac'
>>> m['segundo_nome']
'Newton'

Adicionado na versão 3.6.

Match.groups(default=None)

Retorna uma tupla contendo todos os subgrupos da correspondência, de 1 até quantos grupos estiverem no padrão. O argumento default é usado para grupos que não participaram da correspondência; o padrão é None.

Por exemplo:

>>> m = re.match(r"(\d+)\.(\d+)", "24.1632")
>>> m.groups()
('24', '1632')

Se colocarmos a casa decimal e tudo depois dela opcional, nem todos os grupos podem participar da correspondência. Esses grupos serão padronizados como None, a menos que o argumento default seja fornecido:

>>> m = re.match(r"(\d+)\.?(\d+)?", "24")
>>> m.groups()      # Segundo grupo padronizado para None.
('24', None)
>>> m.groups('0')   # Agora, o segundo grupo é padronizado para '0'.
('24', '0')

Match.groupdict(default=None)

Retorna um dicionário contendo todos os subgrupos nomeados da correspondência, tendo como chave o nome do subgrupo. O argumento default usado para grupos que não participaram da correspondência; o padrão é None. Por exemplo:

>>> m = re.match(r"(?P<primeiro_nome>\w+) (?P<segundo_nome>\w+)", "Malcolm Reynolds")
>>> m.groupdict()
{'primeiro_nome': 'Malcolm', 'segundo_nome': 'Reynolds'}

Match.start([group])

Match.end([group])

Retorna os índices de início e fim da substring correspondidos pelo grupo group; group tem como padrão zero (o que significa que toda a substring é correspondida). Retorna -1 se group existe, mas não contribuiu para a correspondência. Para um objeto correspondência m e um grupo g que contribuiu para a correspondência, a substring correspondida pelo grupo g (equivalente a m.group(g)) é

m.string[m.start(g):m.end(g)]

Observe que m.start(group) será igual a m.end(group) se group correspondeu a uma string nula. Por exemplo, após m = re.search('b(c?)', 'cba'), m.start(0) é 1, m.end(0) é 2, m.start(1) e m.end(1) são 2, e m.start(2) levanta uma exceção IndexError.

Um exemplo que removerá remova_isto dos endereços de e-mail:

>>> email = "tony@tiremova_istoger.net"
>>> m = re.search("remova_isto", email)
>>> email[:m.start()] + email[m.end():]
'tony@tiger.net'

Match.span([group])

Para uma correspondência m, retorna a tupla com dois elementos (m.start(group), m.end(group)). Observe que se group não contribuiu para a correspondência, isso é (-1, -1). group tem como padrão zero, a correspondência inteira.

Match.pos

O valor de pos que foi passado para o método search() ou match() de um objeto expressão regular. Este é o índice da string na qual o mecanismo de ER começou a procurar uma correspondência.

Match.endpos

O valor de endpos que foi passado para o método search() ou match() de um objeto expressão regular. Este é o índice da string após o qual o mecanismo de ER não vai chegar.

Match.lastindex

O índice em número inteiro do último grupo de captura correspondido, ou None se nenhum grupo foi correspondido. Por exemplo, as expressões (a)b, ((a)(b)) e ((ab)) terão lastindex == 1 se aplicadas à string 'ab', enquanto a expressão (a)(b) terá lastindex == 2, se aplicada à mesma string.

Match.lastgroup

O nome do último grupo de captura correspondido, ou None se o grupo não tinha um nome, ou se nenhum grupo foi correspondido.

Match.re

O objeto expressão regular cujo método match() ou search() produziu esta instância de correspondência.

Match.string

A string passada para match() ou search().

Alterado na versão 3.7: Adicionado suporte para copy.copy() e copy.deepcopy(). Objetos correspondência são considerados atômicos.

Exemplos de expressão regular

Verificando por um par

Neste exemplo, usaremos a seguinte função auxiliar para exibir objetos correspondência com um pouco mais de elegância:

def exibe_correspondencia(correspondencia):
    if correspondencia is None:
        return None
    return '<Correspondencia: %r, grupos=%r>' % (correspondencia.group(), correspondencia.groups())

Suponha que você esteja escrevendo um programa de pôquer onde a mão de um jogador é representada como uma string de 5 caracteres com cada caractere representando uma carta, “a” para ás, “k” para rei, “q” para dama, “j” para valete, “t” para 10 e “2” a “9” representando a carta com esse valor.

Para ver se uma determinada string é uma mão válida, pode-se fazer o seguinte:

>>> válida = re.compile(r"^[a2-9tjqk]{5}$")
>>> exibe_correspondencia(válida.match("akt5q"))  # Válida.
"<Correspondencia: 'akt5q', grupos=()>"
>>> exibe_correspondencia(válida.match("akt5e"))  # Inválida.
>>> exibe_correspondencia(válida.match("akt"))    # Inválida.
>>> exibe_correspondencia(válida.match("727ak"))  # Válida.
"<Correspondencia: '727ak', grupos=()>"

Essa última mão, "727ak", continha um par, ou duas cartas com o mesmo valor. Para combinar isso com uma expressão regular, pode-se usar referências anteriores como:

>>> par = re.compile(r".*(.).*\1")
>>> exibe_correspondencia(par.match("717ak"))     # Par de 7s.
"<Correspondencia: '717', grupos=('7',)>"
>>> exibe_correspondencia(par.match("718ak"))     # Sem pares.
>>> exibe_correspondencia(par.match("354aa"))     # Par de áses.
"<Correspondencia: '354aa', grupos=('a',)>"

Para descobrir em que carta o par consiste, pode-se usar o método group() do objeto correspondência da seguinte maneira:

>>> par = re.compile(r".*(.).*\1")
>>> par.match("717ak").group(1)
'7'

# Erro porque re.match() retorna None, que não tem um método group():
>>> par.match("718ak").group(1)
Traceback (most recent call last):
  File "<pyshell#23>", line 1, in <module>
    re.match(r".*(.).*\1", "718ak").group(1)
AttributeError: 'NoneType' object has no attribute 'group'

>>> par.match("354aa").group(1)
'a'

Simulando scanf()

Python atualmente não possui um equivalente a scanf(). Expressões regulares são geralmente mais poderosas, embora também mais detalhadas, do que strings de formato scanf(). A tabela abaixo oferece alguns mapeamentos mais ou menos equivalentes entre strings de formato scanf() e expressões regulares.

Símbolo do scanf()

Expressão regular

%c

.

%5c

.{5}

%d

[-+]?\d+

%e, %E, %f, %g

[-+]?(\d+(\.\d*)?|\.\d+)([eE][-+]?\d+)?

%i

[-+]?(0[xX][\dA-Fa-f]+|0[0-7]*|\d+)

%o

[-+]?[0-7]+

%s

\S+

%u

\d+

%x, %X

[-+]?(0[xX])?[\dA-Fa-f]+

Para extrair um nome de arquivo e números de uma string como

/usr/sbin/sendmail - 0 errors, 4 warnings

você usaria um formato scanf() como

%s - %d errors, %d warnings

A expressão regular equivalente seria

(\S+) - (\d+) errors, (\d+) warnings

search() vs. match()

Python oferece diferentes operações primitivas baseadas em expressões regulares:

re.match() verifica uma correspondência apenas no início da string

re.search() verifica uma correspondência em qualquer lugar na string (isso é o que o Perl faz por padrão)

re.fullmatch() verifica toda a string para ser uma correspondência

Por exemplo:

>>> re.match("c", "abcdef")    # Sem correspondência
>>> re.search("c", "abcdef")   # Correspondência
<re.Match object; span=(2, 3), match='c'>
>>> re.fullmatch("p.*n", "python") # Correspondência
<re.Match object; span=(0, 6), match='python'>
>>> re.fullmatch("r.*n", "python") # Sem correspondência

Expressões regulares começando com '^' podem ser usadas com search() para restringir a correspondência no início da string:

>>> re.match("c", "abcdef")    # Sem correspondência
>>> re.search("^c", "abcdef")  # Sem correspondência
>>> re.search("^a", "abcdef")  # Correspondência
<re.Match object; span=(0, 1), match='a'>

Observe, entretanto, que no modo MULTILINE match() apenas corresponde ao início da string, enquanto que usar search() com uma expressão regular começando com '^' irá corresponder no início de cada linha.

>>> re.match("X", "A\nB\nX", re.MULTILINE)  # Sem correspondência
>>> re.search("^X", "A\nB\nX", re.MULTILINE)  # Correspondência
<re.Match object; span=(4, 5), match='X'>

Criando uma lista telefônica

split() divide uma string em uma lista delimitada pelo padrão passado. O método é inestimável para converter dados textuais em estruturas de dados que podem ser facilmente lidas e modificadas pelo Python, conforme demonstrado no exemplo a seguir que cria uma lista telefônica.

Primeiro, aqui está a entrada. Normalmente pode vir de um arquivo, aqui estamos usando a sintaxe de string entre aspas triplas.

>>> text = """Ross McFluff: 834.345.1254 155 Elm Street
...
... Ronald Heathmore: 892.345.3428 436 Finley Avenue
... Frank Burger: 925.541.7625 662 South Dogwood Way
...
...
... Heather Albrecht: 548.326.4584 919 Park Place"""

Os registros são separados por uma ou mais novas linhas. Agora, convertemos a string em uma lista com cada linha não vazia tendo seu próprio registro :

>>> registros = re.split("\n+", text)
>>> registros
['Ross McFluff: 834.345.1254 155 Elm Street',
'Ronald Heathmore: 892.345.3428 436 Finley Avenue',
'Frank Burger: 925.541.7625 662 South Dogwood Way',
'Heather Albrecht: 548.326.4584 919 Park Place']

Finalmente, divida cada registro em uma lista com nome, sobrenome, número de telefone e endereço. Usamos o parâmetro maxsplit de split() porque o endereço contém espaços, nosso padrão de divisão:

>>> [re.split(":? ", registro, maxsplit=3) for registro in registros]
[['Ross', 'McFluff', '834.345.1254', '155 Elm Street'],
['Ronald', 'Heathmore', '892.345.3428', '436 Finley Avenue'],
['Frank', 'Burger', '925.541.7625', '662 South Dogwood Way'],
['Heather', 'Albrecht', '548.326.4584', '919 Park Place']]

O padrão :? corresponde ao caractere de dois pontos após o sobrenome, de modo que não ocorre na lista de resultados. Com um maxsplit de 4, podemos separar o número da casa do nome da rua:

>>> [re.split(":? ", registro, maxsplit=4) for registro in registros]
[['Ross', 'McFluff', '834.345.1254', '155', 'Elm Street'],
['Ronald', 'Heathmore', '892.345.3428', '436', 'Finley Avenue'],
['Frank', 'Burger', '925.541.7625', '662', 'South Dogwood Way'],
['Heather', 'Albrecht', '548.326.4584', '919', 'Park Place']]

Mastigando texto

sub() substitui cada ocorrência de um padrão por uma string ou o resultado de uma função. Este exemplo demonstra o uso de sub() com uma função para “mastigar” o texto ou aleatorizar a ordem de todos os caracteres em cada palavra de uma frase, exceto o primeiro e o último caracteres:

>>> def mastiga(m):
...     palavra_interna = list(m.group(2))
...     random.shuffle(palavra_interna)
...     return m.group(1) + "".join(palavra_interna) + m.group(3)
...
>>> texto = "Professor Masanori, favor comunicar suas ausências imediatamente."
>>> re.sub(r"(\w)(\w+)(\w)", mastiga, texto)
'Psesforor Mranoasi, favor cmounacir suas acaêiusns idaaeemttnmie.'
>>> re.sub(r"(\w)(\w+)(\w)", mastiga, texto)
'Prfseosor Monsaari, fovar camonucir saus acuêsains ientdaammetie.'

Encontrando todos os advérbios

findall() corresponde a todas as ocorrências de um padrão, não apenas a primeira como search() faz. Por exemplo, se um escritor deseja encontrar todos os advérbios em algum texto, ele pode usar findall() da seguinte maneira:

>>> texto = "Ele estava cuidadosamente disfarçado, mas foi rapidamente capturado pela polícia."
>>> re.findall(r"\w+mente\b", texto)
['cuidadosamente', 'rapidamente']

Encontrando todos os advérbios e suas posições

Caso seja desejado obter mais informações sobre todas as correspondências de um padrão do que o texto correspondido, finditer() é útil, pois fornece objetos Match em vez de strings. Continuando com o exemplo anterior, se um escritor quisesse encontrar todos os advérbios e suas posições em algum texto, ele usaria finditer() da seguinte maneira:

>>> texto = "Ele estava cuidadosamente disfarçado, mas foi rapidamente capturado pela polícia."
>>> for m in re.finditer(r"\w+mente\b", texto):
... print('%02d-%02d: %s' % (m.start(), m.end(), m.group(0)))
...
11-25: cuidadosamente
46-57: rapidamente

Notação de string bruta

A notação de string bruta (r"texto") mantém as expressões regulares sãs. Sem ela, cada contrabarra ('\') em uma expressão regular teria que ser prefixada com outra para ter seu efeito de caractere especial anulado. Por exemplo, as duas linhas de código a seguir são funcionalmente idênticas:

>>> re.match(r"\W(.)\1\W", " ff ")
<re.Match object; span=(0, 4), match=' ff '>
>>> re.match("\\W(.)\\1\\W", " ff ")
<re.Match object; span=(0, 4), match=' ff '>

Quando se deseja corresponder a uma contrabarra literal, ela deve ser prefixada com outra contrabarra na expressão regular. Com a notação de string bruta, isso significa r"\\". Sem a notação de string bruta, deve-se usar "\\\\", tornando as seguintes linhas de código funcionalmente idênticas:

>>> re.match(r"\\", r"\\")
<re.Match object; span=(0, 1), match='\\'>
>>> re.match("\\\\", r"\\")
<re.Match object; span=(0, 1), match='\\'>

Escrevendo um analisador léxico

Um analisador léxico ou scanner [https://pt.wikipedia.org/wiki/An%C3%A1lise_l%C3%A9xica] analisa uma string para categorizar grupos de caracteres. Este é um primeiro passo útil para escrever um compilador ou interpretador.

As categorias de texto são especificadas com expressões regulares. A técnica é combiná-las em uma única expressão regular mestre e fazer um laço em correspondências sucessivas:

from typing import NamedTuple
import re

class Token(NamedTuple):
    type: str
    value: str
    line: int
    column: int

def tokenize(code):
    keywords = {'IF', 'THEN', 'ENDIF', 'FOR', 'NEXT', 'GOSUB', 'RETURN'}
    token_specification = [
        ('NUMBER',   r'\d+(\.\d*)?'),  # Numero inteiro ou decimal
        ('ASSIGN',   r':='),           # Operador de atribuição
        ('END',      r';'),            # Fiinalizaro de instrução
        ('ID',       r'[A-Za-z]+'),    # Identificadore
        ('OP',       r'[+\-*/]'),      # Operatores aritméticos
        ('NEWLINE',  r'\n'),           # Finais de linha
        ('SKIP',     r'[ \t]+'),       # Pula espaços e tabulações
        ('MISMATCH', r'.'),            # Qualquer outro caracter
    ]
    tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in token_specification)
    line_num = 1
    line_start = 0
    for mo in re.finditer(tok_regex, code):
        kind = mo.lastgroup
        value = mo.group()
        column = mo.start() - line_start
        if kind == 'NUMBER':
            value = float(value) if '.' in value else int(value)
        elif kind == 'ID' and value in keywords:
            kind = value
        elif kind == 'NEWLINE':
            line_start = mo.end()
            line_num += 1
            continue
        elif kind == 'SKIP':
            continue
        elif kind == 'MISMATCH':
            raise RuntimeError(f'{value!r} unexpected on line {line_num}')
        yield Token(kind, value, line_num, column)

statements = '''
    IF quantity THEN
        total := total + price * quantity;
        tax := price * 0.05;
    ENDIF;
'''

for token in tokenize(statements):
    print(token)

O analisador léxico produz a seguinte saída:

Token(type='IF', value='IF', line=2, column=4)
Token(type='ID', value='quantity', line=2, column=7)
Token(type='THEN', value='THEN', line=2, column=16)
Token(type='ID', value='total', line=3, column=8)
Token(type='ASSIGN', value=':=', line=3, column=14)
Token(type='ID', value='total', line=3, column=17)
Token(type='OP', value='+', line=3, column=23)
Token(type='ID', value='price', line=3, column=25)
Token(type='OP', value='*', line=3, column=31)
Token(type='ID', value='quantity', line=3, column=33)
Token(type='END', value=';', line=3, column=41)
Token(type='ID', value='tax', line=4, column=8)
Token(type='ASSIGN', value=':=', line=4, column=12)
Token(type='ID', value='price', line=4, column=15)
Token(type='OP', value='*', line=4, column=21)
Token(type='NUMBER', value=0.05, line=4, column=23)
Token(type='END', value=';', line=4, column=27)
Token(type='ENDIF', value='ENDIF', line=5, column=4)
Token(type='END', value=';', line=5, column=9)

[Frie09]

Friedl, Jeffrey. Mastering Regular Expressions. 3ª ed., O’Reilly Media, 2009. A terceira edição do livro não cobre mais o Python, mas a primeira edição cobriu a escrita de bons padrões de expressão regular em grandes detalhes.

difflib — Helpers for computing deltas

Código-fonte: Lib/difflib.py [https://github.com/python/cpython/tree/3.13/Lib/difflib.py]

This module provides classes and functions for comparing sequences. It can be used for example, for comparing files, and can produce information about file differences in various formats, including HTML and context and unified diffs. For comparing directories and files, see also, the filecmp module.

class difflib.SequenceMatcher

This is a flexible class for comparing pairs of sequences of any type, so long as the sequence elements are hashable. The basic algorithm predates, and is a little fancier than, an algorithm published in the late 1980’s by Ratcliff and Obershelp under the hyperbolic name “gestalt pattern matching.” The idea is to find the longest contiguous matching subsequence that contains no “junk” elements; these “junk” elements are ones that are uninteresting in some sense, such as blank lines or whitespace. (Handling junk is an extension to the Ratcliff and Obershelp algorithm.) The same idea is then applied recursively to the pieces of the sequences to the left and to the right of the matching subsequence. This does not yield minimal edit sequences, but does tend to yield matches that “look right” to people.

Timing: The basic Ratcliff-Obershelp algorithm is cubic time in the worst case and quadratic time in the expected case. SequenceMatcher is quadratic time for the worst case and has expected-case behavior dependent in a complicated way on how many elements the sequences have in common; best case time is linear.

Automatic junk heuristic: SequenceMatcher supports a heuristic that automatically treats certain sequence items as junk. The heuristic counts how many times each individual item appears in the sequence. If an item’s duplicates (after the first one) account for more than 1% of the sequence and the sequence is at least 200 items long, this item is marked as “popular” and is treated as junk for the purpose of sequence matching. This heuristic can be turned off by setting the autojunk argument to False when creating the SequenceMatcher.

Alterado na versão 3.2: Added the autojunk parameter.

class difflib.Differ

This is a class for comparing sequences of lines of text, and producing human-readable differences or deltas. Differ uses SequenceMatcher both to compare sequences of lines, and to compare sequences of characters within similar (near-matching) lines.

Each line of a Differ delta begins with a two-letter code:

Código

Significado

'- '

line unique to sequence 1

'+ '

line unique to sequence 2

'  '

line common to both sequences

'? '

line not present in either input sequence

Lines beginning with ‘?’ attempt to guide the eye to intraline differences, and were not present in either input sequence. These lines can be confusing if the sequences contain whitespace characters, such as spaces, tabs or line breaks.

class difflib.HtmlDiff

This class can be used to create an HTML table (or a complete HTML file containing the table) showing a side by side, line by line comparison of text with inter-line and intra-line change highlights. The table can be generated in either full or contextual difference mode.

The constructor for this class is:

__init__(tabsize=8, wrapcolumn=None, linejunk=None, charjunk=IS_CHARACTER_JUNK)

Initializes instance of HtmlDiff.

tabsize is an optional keyword argument to specify tab stop spacing and defaults to 8.

wrapcolumn is an optional keyword to specify column number where lines are broken and wrapped, defaults to None where lines are not wrapped.

linejunk and charjunk are optional keyword arguments passed into ndiff() (used by HtmlDiff to generate the side by side HTML differences). See ndiff() documentation for argument default values and descriptions.

The following methods are public:

make_file(fromlines, tolines, fromdesc='', todesc='', context=False, numlines=5, *, charset='utf-8')

Compares fromlines and tolines (lists of strings) and returns a string which is a complete HTML file containing a table showing line by line differences with inter-line and intra-line changes highlighted.

fromdesc and todesc are optional keyword arguments to specify from/to file column header strings (both default to an empty string).

context and numlines are both optional keyword arguments. Set context to True when contextual differences are to be shown, else the default is False to show the full files. numlines defaults to 5. When context is True numlines controls the number of context lines which surround the difference highlights. When context is False numlines controls the number of lines which are shown before a difference highlight when using the “next” hyperlinks (setting to zero would cause the “next” hyperlinks to place the next difference highlight at the top of the browser without any leading context).

Nota

fromdesc and todesc are interpreted as unescaped HTML and should be properly escaped while receiving input from untrusted sources.

Alterado na versão 3.5: charset keyword-only argument was added. The default charset of HTML document changed from 'ISO-8859-1' to 'utf-8'.

make_table(fromlines, tolines, fromdesc='', todesc='', context=False, numlines=5)

Compares fromlines and tolines (lists of strings) and returns a string which is a complete HTML table showing line by line differences with inter-line and intra-line changes highlighted.

The arguments for this method are the same as those for the make_file() method.

difflib.context_diff(a, b, fromfile='', tofile='', fromfiledate='', tofiledate='', n=3, lineterm='\n')

Compare a and b (lists of strings); return a delta (a generator generating the delta lines) in context diff format.

Context diffs are a compact way of showing just the lines that have changed plus a few lines of context. The changes are shown in a before/after style. The number of context lines is set by n which defaults to three.

By default, the diff control lines (those with *** or ---) are created with a trailing newline. This is helpful so that inputs created from io.IOBase.readlines() result in diffs that are suitable for use with io.IOBase.writelines() since both the inputs and outputs have trailing newlines.

For inputs that do not have trailing newlines, set the lineterm argument to "" so that the output will be uniformly newline free.

The context diff format normally has a header for filenames and modification times. Any or all of these may be specified using strings for fromfile, tofile, fromfiledate, and tofiledate. The modification times are normally expressed in the ISO 8601 format. If not specified, the strings default to blanks.

>>> import sys
>>> from difflib import *
>>> s1 = ['bacon\n', 'eggs\n', 'ham\n', 'guido\n']
>>> s2 = ['python\n', 'eggy\n', 'hamster\n', 'guido\n']
>>> sys.stdout.writelines(context_diff(s1, s2, fromfile='before.py',
...                        tofile='after.py'))
*** before.py
--- after.py
***************
*** 1,4 ****
! bacon
! eggs
! ham
  guido
--- 1,4 ----
! python
! eggy
! hamster
  guido

See A command-line interface to difflib for a more detailed example.

difflib.get_close_matches(word, possibilities, n=3, cutoff=0.6)

Return a list of the best “good enough” matches. word is a sequence for which close matches are desired (typically a string), and possibilities is a list of sequences against which to match word (typically a list of strings).

Optional argument n (default 3) is the maximum number of close matches to return; n must be greater than 0.

Optional argument cutoff (default 0.6) is a float in the range [0, 1]. Possibilities that don’t score at least that similar to word are ignored.

The best (no more than n) matches among the possibilities are returned in a list, sorted by similarity score, most similar first.

>>> get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'])
['apple', 'ape']
>>> import keyword
>>> get_close_matches('wheel', keyword.kwlist)
['while']
>>> get_close_matches('pineapple', keyword.kwlist)
[]
>>> get_close_matches('accept', keyword.kwlist)
['except']

difflib.ndiff(a, b, linejunk=None, charjunk=IS_CHARACTER_JUNK)

Compare a and b (lists of strings); return a Differ-style delta (a generator generating the delta lines).

Optional keyword parameters linejunk and charjunk are filtering functions (or None):

linejunk: A function that accepts a single string argument, and returns true if the string is junk, or false if not. The default is None. There is also a module-level function IS_LINE_JUNK(), which filters out lines without visible characters, except for at most one pound character ('#') – however the underlying SequenceMatcher class does a dynamic analysis of which lines are so frequent as to constitute noise, and this usually works better than using this function.

charjunk: A function that accepts a character (a string of length 1), and returns if the character is junk, or false if not. The default is module-level function IS_CHARACTER_JUNK(), which filters out whitespace characters (a blank or tab; it’s a bad idea to include newline in this!).

>>> diff = ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
...              'ore\ntree\nemu\n'.splitlines(keepends=True))
>>> print(''.join(diff), end="")
- one
?  ^
+ ore
?  ^
- two
- three
?  -
+ tree
+ emu

difflib.restore(sequence, which)

Return one of the two sequences that generated a delta.

Given a sequence produced by Differ.compare() or ndiff(), extract lines originating from file 1 or 2 (parameter which), stripping off line prefixes.

Exemplo:

>>> diff = ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
...              'ore\ntree\nemu\n'.splitlines(keepends=True))
>>> diff = list(diff) # materialize the generated delta into a list
>>> print(''.join(restore(diff, 1)), end="")
one
two
three
>>> print(''.join(restore(diff, 2)), end="")
ore
tree
emu

difflib.unified_diff(a, b, fromfile='', tofile='', fromfiledate='', tofiledate='', n=3, lineterm='\n')

Compare a and b (lists of strings); return a delta (a generator generating the delta lines) in unified diff format.

Unified diffs are a compact way of showing just the lines that have changed plus a few lines of context. The changes are shown in an inline style (instead of separate before/after blocks). The number of context lines is set by n which defaults to three.

By default, the diff control lines (those with ---, +++, or @@) are created with a trailing newline. This is helpful so that inputs created from io.IOBase.readlines() result in diffs that are suitable for use with io.IOBase.writelines() since both the inputs and outputs have trailing newlines.

For inputs that do not have trailing newlines, set the lineterm argument to "" so that the output will be uniformly newline free.

The unified diff format normally has a header for filenames and modification times. Any or all of these may be specified using strings for fromfile, tofile, fromfiledate, and tofiledate. The modification times are normally expressed in the ISO 8601 format. If not specified, the strings default to blanks.

>>> s1 = ['bacon\n', 'eggs\n', 'ham\n', 'guido\n']
>>> s2 = ['python\n', 'eggy\n', 'hamster\n', 'guido\n']
>>> sys.stdout.writelines(unified_diff(s1, s2, fromfile='before.py', tofile='after.py'))
--- before.py
+++ after.py
@@ -1,4 +1,4 @@
-bacon
-eggs
-ham
+python
+eggy
+hamster
 guido

See A command-line interface to difflib for a more detailed example.

difflib.diff_bytes(dfunc, a, b, fromfile=b'', tofile=b'', fromfiledate=b'', tofiledate=b'', n=3, lineterm=b'\n')

Compare a and b (lists of bytes objects) using dfunc; yield a sequence of delta lines (also bytes) in the format returned by dfunc. dfunc must be a callable, typically either unified_diff() or context_diff().

Allows you to compare data with unknown or inconsistent encoding. All inputs except n must be bytes objects, not str. Works by losslessly converting all inputs (except n) to str, and calling dfunc(a, b, fromfile, tofile, fromfiledate, tofiledate, n, lineterm). The output of dfunc is then converted back to bytes, so the delta lines that you receive have the same unknown/inconsistent encodings as a and b.

Adicionado na versão 3.5.

difflib.IS_LINE_JUNK(line)

Return True for ignorable lines. The line line is ignorable if line is blank or contains a single '#', otherwise it is not ignorable. Used as a default for parameter linejunk in ndiff() in older versions.

difflib.IS_CHARACTER_JUNK(ch)

Return True for ignorable characters. The character ch is ignorable if ch is a space or tab, otherwise it is not ignorable. Used as a default for parameter charjunk in ndiff().

Ver também

Pattern Matching: The Gestalt Approach [https://www.drdobbs.com/database/pattern-matching-the-gestalt-approach/184407970]

Discussion of a similar algorithm by John W. Ratcliff and D. E. Metzener. This was published in Dr. Dobb’s Journal [https://www.drdobbs.com/] in July, 1988.

SequenceMatcher Objects

The SequenceMatcher class has this constructor:

class difflib.SequenceMatcher(isjunk=None, a='', b='', autojunk=True)

Optional argument isjunk must be None (the default) or a one-argument function that takes a sequence element and returns true if and only if the element is “junk” and should be ignored. Passing None for isjunk is equivalent to passing lambda x: False; in other words, no elements are ignored. For example, pass:

lambda x: x in " \t"

if you’re comparing lines as sequences of characters, and don’t want to synch up on blanks or hard tabs.

The optional arguments a and b are sequences to be compared; both default to empty strings. The elements of both sequences must be hashable.

The optional argument autojunk can be used to disable the automatic junk heuristic.

Alterado na versão 3.2: Added the autojunk parameter.

SequenceMatcher objects get three data attributes: bjunk is the set of elements of b for which isjunk is True; bpopular is the set of non-junk elements considered popular by the heuristic (if it is not disabled); b2j is a dict mapping the remaining elements of b to a list of positions where they occur. All three are reset whenever b is reset with set_seqs() or set_seq2().

Adicionado na versão 3.2: The bjunk and bpopular attributes.

SequenceMatcher objects have the following methods:

set_seqs(a, b)

Set the two sequences to be compared.

SequenceMatcher computes and caches detailed information about the second sequence, so if you want to compare one sequence against many sequences, use set_seq2() to set the commonly used sequence once and call set_seq1() repeatedly, once for each of the other sequences.

set_seq1(a)

Set the first sequence to be compared. The second sequence to be compared is not changed.

set_seq2(b)

Set the second sequence to be compared. The first sequence to be compared is not changed.

find_longest_match(alo=0, ahi=None, blo=0, bhi=None)

Find longest matching block in a[alo:ahi] and b[blo:bhi].

If isjunk was omitted or None, find_longest_match() returns (i, j, k) such that a[i:i+k] is equal to b[j:j+k], where alo <= i <= i+k <= ahi and blo <= j <= j+k <= bhi. For all (i', j', k') meeting those conditions, the additional conditions k >= k', i <= i', and if i == i', j <= j' are also met. In other words, of all maximal matching blocks, return one that starts earliest in a, and of all those maximal matching blocks that start earliest in a, return the one that starts earliest in b.

>>> s = SequenceMatcher(None, " abcd", "abcd abcd")
>>> s.find_longest_match(0, 5, 0, 9)
Match(a=0, b=4, size=5)

If isjunk was provided, first the longest matching block is determined as above, but with the additional restriction that no junk element appears in the block. Then that block is extended as far as possible by matching (only) junk elements on both sides. So the resulting block never matches on junk except as identical junk happens to be adjacent to an interesting match.

Here’s the same example as before, but considering blanks to be junk. That prevents ' abcd' from matching the ' abcd' at the tail end of the second sequence directly. Instead only the 'abcd' can match, and matches the leftmost 'abcd' in the second sequence:

>>> s = SequenceMatcher(lambda x: x==" ", " abcd", "abcd abcd")
>>> s.find_longest_match(0, 5, 0, 9)
Match(a=1, b=0, size=4)

If no blocks match, this returns (alo, blo, 0).

This method returns a named tuple Match(a, b, size).

Alterado na versão 3.9: Added default arguments.

get_matching_blocks()

Return list of triples describing non-overlapping matching subsequences. Each triple is of the form (i, j, n), and means that a[i:i+n] == b[j:j+n]. The triples are monotonically increasing in i and j.

The last triple is a dummy, and has the value (len(a), len(b), 0). It is the only triple with n == 0. If (i, j, n) and (i', j', n') are adjacent triples in the list, and the second is not the last triple in the list, then i+n < i' or j+n < j'; in other words, adjacent triples always describe non-adjacent equal blocks.

>>> s = SequenceMatcher(None, "abxcd", "abcd")
>>> s.get_matching_blocks()
[Match(a=0, b=0, size=2), Match(a=3, b=2, size=2), Match(a=5, b=4, size=0)]

get_opcodes()

Return list of 5-tuples describing how to turn a into b. Each tuple is of the form (tag, i1, i2, j1, j2). The first tuple has i1 == j1 == 0, and remaining tuples have i1 equal to the i2 from the preceding tuple, and, likewise, j1 equal to the previous j2.

The tag values are strings, with these meanings:

Valor

Significado

'replace'

a[i1:i2] should be replaced by b[j1:j2].

'delete'

a[i1:i2] should be deleted. Note that j1 == j2 in this case.

'insert'

b[j1:j2] should be inserted at a[i1:i1]. Note that i1 == i2 in this case.

'equal'

a[i1:i2] == b[j1:j2] (the sub-sequences are equal).

Por exemplo:

>>> a = "qabxcd"
>>> b = "abycdf"
>>> s = SequenceMatcher(None, a, b)
>>> for tag, i1, i2, j1, j2 in s.get_opcodes():
...     print('{:7}   a[{}:{}] --> b[{}:{}] {!r:>8} --> {!r}'.format(
...         tag, i1, i2, j1, j2, a[i1:i2], b[j1:j2]))
delete    a[0:1] --> b[0:0]      'q' --> ''
equal     a[1:3] --> b[0:2]     'ab' --> 'ab'
replace   a[3:4] --> b[2:3]      'x' --> 'y'
equal     a[4:6] --> b[3:5]     'cd' --> 'cd'
insert    a[6:6] --> b[5:6]       '' --> 'f'

get_grouped_opcodes(n=3)

Return a generator of groups with up to n lines of context.

Starting with the groups returned by get_opcodes(), this method splits out smaller change clusters and eliminates intervening ranges which have no changes.

The groups are returned in the same format as get_opcodes().

ratio()

Return a measure of the sequences’ similarity as a float in the range [0, 1].

Where T is the total number of elements in both sequences, and M is the number of matches, this is 2.0*M / T. Note that this is 1.0 if the sequences are identical, and 0.0 if they have nothing in common.

This is expensive to compute if get_matching_blocks() or get_opcodes() hasn’t already been called, in which case you may want to try quick_ratio() or real_quick_ratio() first to get an upper bound.

Nota

Caution: The result of a ratio() call may depend on the order of the arguments. For instance:

>>> SequenceMatcher(None, 'tide', 'diet').ratio()
0.25
>>> SequenceMatcher(None, 'diet', 'tide').ratio()
0.5

quick_ratio()

Return an upper bound on ratio() relatively quickly.

real_quick_ratio()

Return an upper bound on ratio() very quickly.

The three methods that return the ratio of matching to total characters can give different results due to differing levels of approximation, although quick_ratio() and real_quick_ratio() are always at least as large as ratio():

>>> s = SequenceMatcher(None, "abcd", "bcde")
>>> s.ratio()
0.75
>>> s.quick_ratio()
0.75
>>> s.real_quick_ratio()
1.0

SequenceMatcher Examples

This example compares two strings, considering blanks to be “junk”:

>>> s = SequenceMatcher(lambda x: x == " ",
...                     "private Thread currentThread;",
...                     "private volatile Thread currentThread;")

ratio() returns a float in [0, 1], measuring the similarity of the sequences. As a rule of thumb, a ratio() value over 0.6 means the sequences are close matches:

>>> print(round(s.ratio(), 3))
0.866

If you’re only interested in where the sequences match, get_matching_blocks() is handy:

>>> for block in s.get_matching_blocks():
...     print("a[%d] and b[%d] match for %d elements" % block)
a[0] and b[0] match for 8 elements
a[8] and b[17] match for 21 elements
a[29] and b[38] match for 0 elements

Note that the last tuple returned by get_matching_blocks() is always a dummy, (len(a), len(b), 0), and this is the only case in which the last tuple element (number of elements matched) is 0.

If you want to know how to change the first sequence into the second, use get_opcodes():

>>> for opcode in s.get_opcodes():
...     print("%6s a[%d:%d] b[%d:%d]" % opcode)
 equal a[0:8] b[0:8]
insert a[8:8] b[8:17]
 equal a[8:29] b[17:38]

Ver também

The get_close_matches() function in this module which shows how simple code building on SequenceMatcher can be used to do useful work.

Simple version control recipe [https://code.activestate.com/recipes/576729-simple-version-control/] for a small application built with SequenceMatcher.

Differ Objects

Note that Differ-generated deltas make no claim to be minimal diffs. To the contrary, minimal diffs are often counter-intuitive, because they synch up anywhere possible, sometimes accidental matches 100 pages apart. Restricting synch points to contiguous matches preserves some notion of locality, at the occasional cost of producing a longer diff.

The Differ class has this constructor:

class difflib.Differ(linejunk=None, charjunk=None)

Optional keyword parameters linejunk and charjunk are for filter functions (or None):

linejunk: A function that accepts a single string argument, and returns true if the string is junk. The default is None, meaning that no line is considered junk.

charjunk: A function that accepts a single character argument (a string of length 1), and returns true if the character is junk. The default is None, meaning that no character is considered junk.

These junk-filtering functions speed up matching to find differences and do not cause any differing lines or characters to be ignored. Read the description of the find_longest_match() method’s isjunk parameter for an explanation.

Differ objects are used (deltas generated) via a single method:

compare(a, b)

Compare two sequences of lines, and generate the delta (a sequence of lines).

Each sequence must contain individual single-line strings ending with newlines. Such sequences can be obtained from the readlines() method of file-like objects. The delta generated also consists of newline-terminated strings, ready to be printed as-is via the writelines() method of a file-like object.

Differ Example

This example compares two texts. First we set up the texts, sequences of individual single-line strings ending with newlines (such sequences can also be obtained from the readlines() method of file-like objects):

>>> text1 = '''  1. Beautiful is better than ugly.
...   2. Explicit is better than implicit.
...   3. Simple is better than complex.
...   4. Complex is better than complicated.
... '''.splitlines(keepends=True)
>>> len(text1)
4
>>> text1[0][-1]
'\n'
>>> text2 = '''  1. Beautiful is better than ugly.
...   3.   Simple is better than complex.
...   4. Complicated is better than complex.
...   5. Flat is better than nested.
... '''.splitlines(keepends=True)

Next we instantiate a Differ object:

>>> d = Differ()

Note that when instantiating a Differ object we may pass functions to filter out line and character “junk.” See the Differ() constructor for details.

Finally, we compare the two:

>>> result = list(d.compare(text1, text2))

result is a list of strings, so let’s pretty-print it:

>>> from pprint import pprint
>>> pprint(result)
['    1. Beautiful is better than ugly.\n',
 '-   2. Explicit is better than implicit.\n',
 '-   3. Simple is better than complex.\n',
 '+   3.   Simple is better than complex.\n',
 '?     ++\n',
 '-   4. Complex is better than complicated.\n',
 '?            ^                     ---- ^\n',
 '+   4. Complicated is better than complex.\n',
 '?           ++++ ^                      ^\n',
 '+   5. Flat is better than nested.\n']

As a single multi-line string it looks like this:

>>> import sys
>>> sys.stdout.writelines(result)
    1. Beautiful is better than ugly.
-   2. Explicit is better than implicit.
-   3. Simple is better than complex.
+   3.   Simple is better than complex.
?     ++
-   4. Complex is better than complicated.
?            ^                     ---- ^
+   4. Complicated is better than complex.
?           ++++ ^                      ^
+   5. Flat is better than nested.

A command-line interface to difflib

This example shows how to use difflib to create a diff-like utility.

""" Command line interface to difflib.py providing diffs in four formats:

* ndiff:    lists every line and highlights interline changes.
* context:  highlights clusters of changes in a before/after format.
* unified:  highlights clusters of changes in an inline format.
* html:     generates side by side comparison with change highlights.

"""

import sys, os, difflib, argparse
from datetime import datetime, timezone

def file_mtime(path):
    t = datetime.fromtimestamp(os.stat(path).st_mtime,
                               timezone.utc)
    return t.astimezone().isoformat()

def main():

    parser = argparse.ArgumentParser()
    parser.add_argument('-c', action='store_true', default=False,
                        help='Produce a context format diff (default)')
    parser.add_argument('-u', action='store_true', default=False,
                        help='Produce a unified format diff')
    parser.add_argument('-m', action='store_true', default=False,
                        help='Produce HTML side by side diff '
                             '(can use -c and -l in conjunction)')
    parser.add_argument('-n', action='store_true', default=False,
                        help='Produce a ndiff format diff')
    parser.add_argument('-l', '--lines', type=int, default=3,
                        help='Set number of context lines (default 3)')
    parser.add_argument('fromfile')
    parser.add_argument('tofile')
    options = parser.parse_args()

    n = options.lines
    fromfile = options.fromfile
    tofile = options.tofile

    fromdate = file_mtime(fromfile)
    todate = file_mtime(tofile)
    with open(fromfile) as ff:
        fromlines = ff.readlines()
    with open(tofile) as tf:
        tolines = tf.readlines()

    if options.u:
        diff = difflib.unified_diff(fromlines, tolines, fromfile, tofile, fromdate, todate, n=n)
    elif options.n:
        diff = difflib.ndiff(fromlines, tolines)
    elif options.m:
        diff = difflib.HtmlDiff().make_file(fromlines,tolines,fromfile,tofile,context=options.c,numlines=n)
    else:
        diff = difflib.context_diff(fromlines, tolines, fromfile, tofile, fromdate, todate, n=n)

    sys.stdout.writelines(diff)

if __name__ == '__main__':
    main()

ndiff example

This example shows how to use difflib.ndiff().

"""ndiff [-q] file1 file2
    or
ndiff (-r1 | -r2) < ndiff_output > file1_or_file2

Print a human-friendly file difference report to stdout.  Both inter-
and intra-line differences are noted.  In the second form, recreate file1
(-r1) or file2 (-r2) on stdout, from an ndiff report on stdin.

In the first form, if -q ("quiet") is not specified, the first two lines
of output are

-: file1
+: file2

Each remaining line begins with a two-letter code:

    "- "    line unique to file1
    "+ "    line unique to file2
    "  "    line common to both files
    "? "    line not present in either input file

Lines beginning with "? " attempt to guide the eye to intraline
differences, and were not present in either input file.  These lines can be
confusing if the source files contain tab characters.

The first file can be recovered by retaining only lines that begin with
"  " or "- ", and deleting those 2-character prefixes; use ndiff with -r1.

The second file can be recovered similarly, but by retaining only "  " and
"+ " lines; use ndiff with -r2; or, on Unix, the second file can be
recovered by piping the output through

    sed -n '/^[+ ] /s/^..//p'
"""

__version__ = 1, 7, 0

import difflib, sys

def fail(msg):
    out = sys.stderr.write
    out(msg + "\n\n")
    out(__doc__)
    return 0

# open a file & return the file object; gripe and return 0 if it
# couldn't be opened
def fopen(fname):
    try:
        return open(fname)
    except IOError as detail:
        return fail("couldn't open " + fname + ": " + str(detail))

# open two files & spray the diff to stdout; return false iff a problem
def fcompare(f1name, f2name):
    f1 = fopen(f1name)
    f2 = fopen(f2name)
    if not f1 or not f2:
        return 0

    a = f1.readlines(); f1.close()
    b = f2.readlines(); f2.close()
    for line in difflib.ndiff(a, b):
        print(line, end=' ')

    return 1

# crack args (sys.argv[1:] is normal) & compare;
# return false iff a problem

def main(args):
    import getopt
    try:
        opts, args = getopt.getopt(args, "qr:")
    except getopt.error as detail:
        return fail(str(detail))
    noisy = 1
    qseen = rseen = 0
    for opt, val in opts:
        if opt == "-q":
            qseen = 1
            noisy = 0
        elif opt == "-r":
            rseen = 1
            whichfile = val
    if qseen and rseen:
        return fail("can't specify both -q and -r")
    if rseen:
        if args:
            return fail("no args allowed with -r option")
        if whichfile in ("1", "2"):
            restore(whichfile)
            return 1
        return fail("-r value must be 1 or 2")
    if len(args) != 2:
        return fail("need 2 filename args")
    f1name, f2name = args
    if noisy:
        print('-:', f1name)
        print('+:', f2name)
    return fcompare(f1name, f2name)

# read ndiff output from stdin, and print file1 (which=='1') or
# file2 (which=='2') to stdout

def restore(which):
    restored = difflib.restore(sys.stdin.readlines(), which)
    sys.stdout.writelines(restored)

if __name__ == '__main__':
    main(sys.argv[1:])

textwrap — Quebra automática e preenchimento de texto

Código-fonte: Lib/textwrap.py [https://github.com/python/cpython/tree/3.13/Lib/textwrap.py]

O módulo textwrap fornece algumas funções convenientes, assim como TextWrapper, a classe que faz todo o trabalho. Se você estiver apenas preenchendo ou fazendo quebra de linha de uma ou duas strings, as funções de conveniência deverão ser boas o suficiente; caso contrário, você deve usar uma instância de TextWrapper para eficiência.

textwrap.wrap(text, width=70, *, initial_indent='', subsequent_indent='', expand_tabs=True, replace_whitespace=True, fix_sentence_endings=False, break_long_words=True, drop_whitespace=True, break_on_hyphens=True, tabsize=8, max_lines=None, placeholder=' [...]')

Quebra do parágrafo único em text (uma string) para que cada linha tenha no máximo width caracteres. Retorna uma lista de linhas de saída, sem novas linhas ao final.

Argumentos nomeados opcionais correspondem aos atributos de instância de TextWrapper, documentados abaixo.

Veja o método TextWrapper.wrap() para detalhes adicionais sobre como wrap() se comporta.

textwrap.fill(text, width=70, *, initial_indent='', subsequent_indent='', expand_tabs=True, replace_whitespace=True, fix_sentence_endings=False, break_long_words=True, drop_whitespace=True, break_on_hyphens=True, tabsize=8, max_lines=None, placeholder=' [...]')

Quebra o parágrafo único em text e retorna uma única string contendo o parágrafo quebrado. fill() é uma abreviação de

"\n".join(wrap(text, ...))

Em particular, fill() aceita exatamente os mesmos argumentos nomeados que wrap().

textwrap.shorten(text, width, *, fix_sentence_endings=False, break_long_words=True, break_on_hyphens=True, placeholder=' [...]')

Recolhe e trunca o texto text fornecido para caber na largura width fornecida.

Primeiro, o espaço em branco em text é recolhido (todos os espaços em branco são substituídos por espaços simples). Se o resultado couber em width, ele será retornado. Caso contrário, palavras suficientes serão eliminadas do final para que as palavras restantes mais o placeholder caibam em largura:

>>> textwrap.shorten("Hello  world!", width=12)
'Hello world!'
>>> textwrap.shorten("Hello  world!", width=11)
'Hello [...]'
>>> textwrap.shorten("Hello world", width=10, placeholder="...")
'Hello...'

Argumentos nomeados opcionais correspondem aos atributos de instância de TextWrapper, documentados abaixo. Observe que o espaço em branco é recolhido antes do texto ser passado para a função TextWrapper fill(), alterando assim o valor de tabsize, expand_tabs, drop_whitespace e replace_whitespace não terão efeito.

Adicionado na versão 3.4.

textwrap.dedent(text)

Remove qualquer espaço em branco inicial em comum de toda linha em text.

Isso pode ser usado para alinhar strings entre aspas triplas com a borda esquerda da tela, enquanto ainda as apresenta no código-fonte em formato com indentação.

Observe que tabulações e espaços são tratados como espaços em branco, mas não são iguais: as linhas "  hello" e "\thello" são consideradas como não tendo espaços em branco iniciais comuns.

Linhas contendo apenas espaços em branco são ignoradas na entrada e normalizadas para um único caractere de nova linha na saída.

Por exemplo:

def test():
    # end first line with \ to avoid the empty line!
    s = '''\
    hello
      world
    '''
    print(repr(s))          # prints '    hello\n      world\n    '
    print(repr(dedent(s)))  # prints 'hello\n  world\n'

textwrap.indent(text, prefix, predicate=None)

Adiciona prefix ao início das linhas selecionadas em text.

As linhas são separadas chamando text.splitlines(True).

Por padrão, prefix é adicionado a todas as linhas que não consistem apenas em espaços em branco (incluindo quaisquer finais de linha).

Por exemplo:

>>> s = 'hello\n\n \nworld'
>>> indent(s, '  ')
'  hello\n\n \n  world'

O argumento opcional predicate pode ser usado para controlar quais linhas têm indentação. Por exemplo, é fácil adicionar prefix até mesmo em linhas vazias e apenas com espaços em branco:

>>> print(indent(s, '+ ', lambda line: True))
+ hello
+
+
+ world

Adicionado na versão 3.3.

wrap(), fill() e shorten() funcionam criando uma instância TextWrapper e chamando um único método nela. Essa instância não é reutilizada, então para aplicações que processam muitas strings de texto usando wrap() e/ou fill(), pode ser mais eficiente criar seu próprio objeto TextWrapper.

O texto é preferencialmente colocado em espaços em branco e logo após os hífens nas palavras hifenizadas; somente então palavras longas serão quebradas se necessário, a menos que TextWrapper.break_long_words seja definido como falso.

class textwrap.TextWrapper(**kwargs)

O construtor TextWrapper aceita vários argumentos nomeados opcionais. Cada argumento nomeado corresponde a um atributo de instância, por exemplo:

wrapper = TextWrapper(initial_indent="* ")

é o mesmo que

wrapper = TextWrapper()
wrapper.initial_indent = "* "

Você pode reutilizar o mesmo objeto TextWrapper muitas vezes e pode alterar qualquer uma de suas opções através de atribuição direta a atributos de instância entre os usos.

Os atributos de instância TextWrapper (e argumentos nomeados para o construtor) são os seguintes:

width

(padrão: 70) O comprimento máximo das linhas quebradas. Contanto que não existam palavras individuais no texto de entrada maiores que width, TextWrapper garante que nenhuma linha de saída será maior que width caracteres.

expand_tabs

(padrão: True) Se verdadeiro, então todos os caracteres de tabulação em text serão expandidos para espaços usando o método expandtabs() de text.

tabsize

(padrão: 8) Se expand_tabs for verdadeiro, então todos os caracteres de tabulação em text serão expandidos para zero ou mais espaços, dependendo da coluna atual e do tamanho da tabulação fornecido.

Adicionado na versão 3.3.

replace_whitespace

(padrão: True) Se verdadeiro, após a expansão da tabulação, mas antes da quebra, o método wrap() substituirá cada caractere de espaço em branco por um único espaço. Os caracteres de espaço em branco substituídos são os seguintes: tabulação, nova linha, tabulação vertical, feed de formulário e retorno de carro ('\t\n\v\f\r').

Nota

Se expand_tabs for falso e replace_whitespace for verdadeiro, cada caractere de tabulação será substituído por um único espaço, que não é o mesmo que expansão de tabulação.

Nota

Se replace_whitespace for falso, novas linhas podem aparecer no meio de uma linha e causar uma saída estranha. Por esta razão, o texto deve ser dividido em parágrafos (usando str.splitlines() ou similar) que são agrupados separadamente.

drop_whitespace

(padrão: True) Se verdadeiro, os espaços em branco no início e no final de cada linha (após quebra automática, mas antes do recuo) são eliminados. O espaço em branco no início do parágrafo, entretanto, não será eliminado se não houver espaço em branco após ele. Se o espaço em branco eliminado ocupar uma linha inteira, a linha inteira será eliminada.

initial_indent

(padrão: '') String que será anexada à primeira linha da saída com quebra de linha. Conta para o comprimento da primeira linha. A string vazia não recebe indentação.

subsequent_indent

(padrão: '') String que será anexada a todas as linhas da saída com quebra de linha, exceto a primeira. Conta para o comprimento de cada linha, exceto a primeira.

fix_sentence_endings

(padrão: False) Se verdadeiro, TextWrapper tenta detectar finais de sentenças e garantir que as sentenças sejam sempre separadas por exatamente dois espaços. Isso geralmente é desejado para texto em fonte monoespaçada. No entanto, o algoritmo de detecção de frase é imperfeito: ele presume que o final de uma frase consiste em uma letra minúscula seguida por uma de '.', '!' ou '?', possivelmente seguido por um de '"' ou "'", seguido por um espaço. Um problema com este algoritmo é que ele é incapaz de detectar a diferença entre “Dr.” em

[...] Dr. Frankenstein's monster [...]

e “Spot.” em

[...] See Spot. See Spot run [...]

fix_sentence_endings é falso por padrão

Como o algoritmo de detecção de frase depende de string.lowercase para a definição de “letra minúscula” e de uma convenção de usar dois espaços após um ponto final para separar frases na mesma linha, ele é específico para textos em inglês.

break_long_words

(padrão: True) Se verdadeiro, palavras maiores que width serão quebradas para garantir que nenhuma linha seja maior que width. Se for falso, palavras longas não serão quebradas e algumas linhas poderão ser maiores que width. (Palavras longas serão colocadas sozinhas em uma linha, a fim de minimizar o valor pelo qual width é excedido.)

break_on_hyphens

(padrão: True) Se verdadeiro, a quebra ocorrerá preferencialmente em espaços em branco e logo após hífens em palavras compostas, como é habitual em inglês. Se for falso, apenas os espaços em branco serão considerados locais potencialmente bons para quebras de linha, mas você precisa definir break_long_words como falso se quiser palavras verdadeiramente inseparáveis. O comportamento padrão nas versões anteriores era sempre permitir a quebra de palavras hifenizadas.

max_lines

(padrão: None) Se não for None, então a saída conterá no máximo max_lines linhas, com placeholder aparecendo no final da saída.

Adicionado na versão 3.4.

placeholder

(padrão: ' [...]') String que aparecerá no final do texto de saída se ele tiver sido truncado.

Adicionado na versão 3.4.

TextWrapper também fornece alguns métodos públicos, análogos às funções de conveniência em nível de módulo:

wrap(text)

Quebra o parágrafo único em text (uma string) para que cada linha tenha no máximo width caracteres. Todas as opções de quebra de linha são obtidas dos atributos da instância TextWrapper. Retorna uma lista de linhas de saída, sem novas linhas finais. Se a saída agrupada não tiver conteúdo, a lista retornada estará vazia.

fill(text)

Quebra o parágrafo único em text e retorna uma única string contendo o parágrafo quebrado.

unicodedata — Unicode Database

This module provides access to the Unicode Character Database (UCD) which defines character properties for all Unicode characters. The data contained in this database is compiled from the UCD version 15.1.0 [https://www.unicode.org/Public/15.1.0/ucd].

The module uses the same names and symbols as defined by Unicode Standard Annex #44, “Unicode Character Database” [https://www.unicode.org/reports/tr44/]. It defines the following functions:

unicodedata.lookup(name)

Look up character by name. If a character with the given name is found, return the corresponding character. If not found, KeyError is raised.

Alterado na versão 3.3: Support for name aliases [1] and named sequences [2] has been added.

unicodedata.name(chr[, default])

Returns the name assigned to the character chr as a string. If no name is defined, default is returned, or, if not given, ValueError is raised.

unicodedata.decimal(chr[, default])

Returns the decimal value assigned to the character chr as integer. If no such value is defined, default is returned, or, if not given, ValueError is raised.

unicodedata.digit(chr[, default])

Returns the digit value assigned to the character chr as integer. If no such value is defined, default is returned, or, if not given, ValueError is raised.

unicodedata.numeric(chr[, default])

Returns the numeric value assigned to the character chr as float. If no such value is defined, default is returned, or, if not given, ValueError is raised.

unicodedata.category(chr)

Returns the general category assigned to the character chr as string.

unicodedata.bidirectional(chr)

Returns the bidirectional class assigned to the character chr as string. If no such value is defined, an empty string is returned.

unicodedata.combining(chr)

Returns the canonical combining class assigned to the character chr as integer. Returns 0 if no combining class is defined.

unicodedata.east_asian_width(chr)

Returns the east asian width assigned to the character chr as string.

unicodedata.mirrored(chr)

Returns the mirrored property assigned to the character chr as integer. Returns 1 if the character has been identified as a “mirrored” character in bidirectional text, 0 otherwise.

unicodedata.decomposition(chr)

Returns the character decomposition mapping assigned to the character chr as string. An empty string is returned in case no such mapping is defined.

unicodedata.normalize(form, unistr)

Return the normal form form for the Unicode string unistr. Valid values for form are ‘NFC’, ‘NFKC’, ‘NFD’, and ‘NFKD’.

The Unicode standard defines various normalization forms of a Unicode string, based on the definition of canonical equivalence and compatibility equivalence. In Unicode, several characters can be expressed in various way. For example, the character U+00C7 (LATIN CAPITAL LETTER C WITH CEDILLA) can also be expressed as the sequence U+0043 (LATIN CAPITAL LETTER C) U+0327 (COMBINING CEDILLA).

For each character, there are two normal forms: normal form C and normal form D. Normal form D (NFD) is also known as canonical decomposition, and translates each character into its decomposed form. Normal form C (NFC) first applies a canonical decomposition, then composes pre-combined characters again.

In addition to these two forms, there are two additional normal forms based on compatibility equivalence. In Unicode, certain characters are supported which normally would be unified with other characters. For example, U+2160 (ROMAN NUMERAL ONE) is really the same thing as U+0049 (LATIN CAPITAL LETTER I). However, it is supported in Unicode for compatibility with existing character sets (e.g. gb2312).

The normal form KD (NFKD) will apply the compatibility decomposition, i.e. replace all compatibility characters with their equivalents. The normal form KC (NFKC) first applies the compatibility decomposition, followed by the canonical composition.

Even if two unicode strings are normalized and look the same to a human reader, if one has combining characters and the other doesn’t, they may not compare equal.

unicodedata.is_normalized(form, unistr)

Return whether the Unicode string unistr is in the normal form form. Valid values for form are ‘NFC’, ‘NFKC’, ‘NFD’, and ‘NFKD’.

Adicionado na versão 3.8.

In addition, the module exposes the following constant:

unicodedata.unidata_version

The version of the Unicode database used in this module.

unicodedata.ucd_3_2_0

This is an object that has the same methods as the entire module, but uses the Unicode database version 3.2 instead, for applications that require this specific version of the Unicode database (such as IDNA).

Exemplos:

>>> import unicodedata
>>> unicodedata.lookup('LEFT CURLY BRACKET')
'{'
>>> unicodedata.name('/')
'SOLIDUS'
>>> unicodedata.decimal('9')
9
>>> unicodedata.decimal('a')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: not a decimal
>>> unicodedata.category('A')  # 'L'etter, 'u'ppercase
'Lu'
>>> unicodedata.bidirectional('\u0660') # 'A'rabic, 'N'umber
'AN'

Notas de rodapé

[1]

https://www.unicode.org/Public/15.1.0/ucd/NameAliases.txt

[2]

https://www.unicode.org/Public/15.1.0/ucd/NamedSequences.txt

stringprep — Internet String Preparation

Código-fonte: Lib/stringprep.py [https://github.com/python/cpython/tree/3.13/Lib/stringprep.py]

When identifying things (such as host names) in the internet, it is often necessary to compare such identifications for “equality”. Exactly how this comparison is executed may depend on the application domain, e.g. whether it should be case-insensitive or not. It may be also necessary to restrict the possible identifications, to allow only identifications consisting of “printable” characters.

RFC 3454 [https://datatracker.ietf.org/doc/html/rfc3454.html] defines a procedure for “preparing” Unicode strings in internet protocols. Before passing strings onto the wire, they are processed with the preparation procedure, after which they have a certain normalized form. The RFC defines a set of tables, which can be combined into profiles. Each profile must define which tables it uses, and what other optional parts of the stringprep procedure are part of the profile. One example of a stringprep profile is nameprep, which is used for internationalized domain names.

The module stringprep only exposes the tables from RFC 3454 [https://datatracker.ietf.org/doc/html/rfc3454.html]. As these tables would be very large to represent as dictionaries or lists, the module uses the Unicode character database internally. The module source code itself was generated using the mkstringprep.py utility.

As a result, these tables are exposed as functions, not as data structures. There are two kinds of tables in the RFC: sets and mappings. For a set, stringprep provides the “characteristic function”, i.e. a function that returns True if the parameter is part of the set. For mappings, it provides the mapping function: given the key, it returns the associated value. Below is a list of all functions available in the module.

stringprep.in_table_a1(code)

Determine whether code is in tableA.1 (Unassigned code points in Unicode 3.2).

stringprep.in_table_b1(code)

Determine whether code is in tableB.1 (Commonly mapped to nothing).

stringprep.map_table_b2(code)

Return the mapped value for code according to tableB.2 (Mapping for case-folding used with NFKC).

stringprep.map_table_b3(code)

Return the mapped value for code according to tableB.3 (Mapping for case-folding used with no normalization).

stringprep.in_table_c11(code)

Determine whether code is in tableC.1.1 (ASCII space characters).

stringprep.in_table_c12(code)

Determine whether code is in tableC.1.2 (Non-ASCII space characters).

stringprep.in_table_c11_c12(code)

Determine whether code is in tableC.1 (Space characters, union of C.1.1 and C.1.2).

stringprep.in_table_c21(code)

Determine whether code is in tableC.2.1 (ASCII control characters).

stringprep.in_table_c22(code)

Determine whether code is in tableC.2.2 (Non-ASCII control characters).

stringprep.in_table_c21_c22(code)

Determine whether code is in tableC.2 (Control characters, union of C.2.1 and C.2.2).

stringprep.in_table_c3(code)

Determine whether code is in tableC.3 (Private use).

stringprep.in_table_c4(code)

Determine whether code is in tableC.4 (Non-character code points).

stringprep.in_table_c5(code)

Determine whether code is in tableC.5 (Surrogate codes).

stringprep.in_table_c6(code)

Determine whether code is in tableC.6 (Inappropriate for plain text).

stringprep.in_table_c7(code)

Determine whether code is in tableC.7 (Inappropriate for canonical representation).

stringprep.in_table_c8(code)

Determine whether code is in tableC.8 (Change display properties or are deprecated).

stringprep.in_table_c9(code)

Determine whether code is in tableC.9 (Tagging characters).

stringprep.in_table_d1(code)

Determine whether code is in tableD.1 (Characters with bidirectional property “R” or “AL”).

stringprep.in_table_d2(code)

Determine whether code is in tableD.2 (Characters with bidirectional property “L”).

readline — Interface para o GNU readline

O módulo readline define uma série de funções para facilitar o autocomplemento e leitura/gravação de arquivos históricos do interpretador Python. Este módulo pode ser usado diretamente ou através do módulo rlcompleter, que provê o autocomplemento de identificadores Python no prompt interativo. As configurações feitas usando este módulo afetam o comportamento do prompt interativo do interpretador e dos prompts oferecidos pela função embutida input().

As combinações de teclas do Readline podem ser configuradas através de um arquivo de inicialização, normalmente .inputrc em seu diretório inicial. Consulte Readline Init File [https://tiswww.cwru.edu/php/chet/readline/rluserman.html#Readline-Init-File] no manual do GNU Readline para obter informações sobre o formato e construções permitidas desse arquivo e os recursos da biblioteca do Readline em geral.

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Nota

A API da biblioteca subjacente do Readline pode ser implementada pela biblioteca editline (libedit) em vez do GNU readline. No macOS, o módulo readline detecta qual biblioteca está sendo usada em tempo de execução.

O arquivo de configuração do editline é diferente daquele do GNU readline. Se você carregar strings de configuração programaticamente, você pode usar backend para determinar qual biblioteca está sendo usada.

Se você usar a emulação de readline do editline/libedit no macOS, o arquivo de inicialização localizado em seu diretório inicial será denominado .editrc. Por exemplo, o seguinte conteúdo em ~/.editrc ativará os atalhos de teclado vi e o autocomplemento de TAB:

python:bind -v
python:bind ^I rl_complete

Observe também que bibliotecas diferentes podem usar formatos de arquivo de histórico diferentes. Ao alternar a biblioteca subjacente, os arquivos de histórico existentes podem se tornar inutilizáveis.

readline.backend

O nome da biblioteca Readline subjacente que está sendo usada, seja "readline" ou "editline".

Adicionado na versão 3.13.

Arquivo init

As seguintes funções estão relacionadas ao arquivo init e à configuração do usuário:

readline.parse_and_bind(string)

Executa a linha de init fornecida no argumento string. Isso chama rl_parse_and_bind() na biblioteca subjacente.

readline.read_init_file([filename])

Executa um arquivo de inicialização do readline. O nome de arquivo padrão é o último nome de arquivo usado. Isso chama rl_read_init_file() na biblioteca subjacente.

Buffer de linha

As seguintes funções operam no buffer de linha:

readline.get_line_buffer()

Retorna o conteúdo atual do buffer de linha (rl_line_buffer na biblioteca subjacente).

readline.insert_text(string)

Insere texto no buffer de linha na posição do cursor. Isso chama rl_insert_text() na biblioteca subjacente, mas ignora o valor de retorno.

readline.redisplay()

Altera o que é exibido na tela para refletir o conteúdo atual do buffer de linha. Isso chama rl_redisplay() na biblioteca subjacente.

Arquivo de histórico

As seguintes funções operam em um arquivo histórico:

readline.read_history_file([filename])

Carrega um arquivo de histórico do readline e anexa-o à lista de histórico. O nome do arquivo padrão é ~/.history. Isso chama read_history() na biblioteca subjacente.

readline.write_history_file([filename])

Salva a lista de histórico em um arquivo de histórico readline, substituindo qualquer arquivo existente. O nome do arquivo padrão é ~/.history. Isso chama write_history() na biblioteca subjacente.

readline.append_history_file(nelements[, filename])

Anexa os últimos nelements itens do histórico a um arquivo. O nome do arquivo padrão é ~/.history. O arquivo já deve existir. Isso chama append_history() na biblioteca subjacente. Esta função só existe se o Python foi compilado para uma versão da biblioteca que a suporta.

Adicionado na versão 3.5.

readline.get_history_length()

readline.set_history_length(length)

Define ou retorna o número desejado de linhas para salvar no arquivo de histórico. A função write_history_file() usa este valor para truncar o arquivo de histórico, chamando history_truncate_file() na biblioteca subjacente. Valores negativos implicam tamanho ilimitado do arquivo de histórico.

Lista de histórico

As seguintes funções operam em uma lista de histórico global:

readline.clear_history()

Limpa o histórico atual. Isso chama clear_history() na biblioteca subjacente. A função Python só existe se o Python foi compilado para uma versão da biblioteca que a suporta.

readline.get_current_history_length()

Retorna o número de itens atualmente no histórico. (Isso é diferente de get_history_length(), que retorna o número máximo de linhas que serão gravadas em um arquivo de histórico.)

readline.get_history_item(index)

Retorna o conteúdo atual do item do histórico em index. O índice do item é baseado em um. Isso chama history_get() na biblioteca subjacente.

readline.remove_history_item(pos)

Remove o item de histórico especificado por sua posição do histórico. A posição conta a partir de zero. Isso chama remove_history() na biblioteca subjacente.

readline.replace_history_item(pos, line)

Substitui o item de histórico especificado pela sua posição por linha. A posição conta a partir do zero. Isso chama replace_history_entry() na biblioteca subjacente.

readline.add_history(line)

Acrescenta line ao buffer do histórico, como se fosse a última linha digitada. Isso chama add_history() na biblioteca subjacente.

readline.set_auto_history(enabled)

Habilita ou desabilita chamadas automáticas para add_history() ao ler a entrada via readline. O argumento enabled deve ser um valor booleano que, quando verdadeiro, ativa o histórico automático e, quando falso, desativa o histórico automático.

Adicionado na versão 3.6.

Detalhes da implementação do CPython: O histórico automático está ativado por padrão e as alterações não persistem em várias sessões.

Ganchos de inicialização

readline.set_startup_hook([function])

Define ou remove a função invocada pelo retorno de chamada rl_startup_hook da biblioteca subjacente. Se function for especificada, ela será usada como a nova função de gancho; se omitido ou None, qualquer função já instalada será removida. O gancho é chamado sem argumentos antes de readline imprimir o primeiro prompt.

readline.set_pre_input_hook([function])

Define ou remove a função invocada pelo retorno de chamada rl_pre_input_hook da biblioteca subjacente. Se function for especificada, ela será usada como a nova função de gancho; se omitida ou None, qualquer função já instalada será removida. O gancho é chamado sem argumentos após a impressão do primeiro prompt e pouco antes de readline começar a ler os caracteres de entrada. Esta função só existe se o Python foi compilado para uma versão da biblioteca que a suporta.

Autocomplemento

As funções a seguir estão relacionadas à implementação de uma função personalizada de autocomplemento ou completion, em inglês, de palavras. Isso normalmente é operado pela tecla Tab e pode sugerir e completar automaticamente uma palavra que está sendo digitada. Por padrão, Readline está configurado para ser usado por rlcompleter para completar identificadores Python para o interpretador interativo. Se o módulo readline for usado com um autocomplemento personalizado, um conjunto diferente de delimitadores de palavras deverá ser definido.

readline.set_completer([function])

Define ou remove a função de autocomplemento. Se function for especificada, ela será usada como a nova função de autocomplemento; se omitido ou None, qualquer função de autocomplemento já instalada será removida. A função de autocomplemento é chamada como function(text, state), para state em 0, 1, 2, …, até retornar um valor que não seja string. Deve retornar o próximo autocomplemento possível começando com text.

A função de autocomplemento instalada é invocada pelo retorno de chamada entry_func passado para rl_completion_matches() na biblioteca subjacente. A string text vem do primeiro parâmetro para o retorno de chamada rl_attempted_completion_function da biblioteca subjacente.

readline.get_completer()

Obtém a função de autocomplemento ou None se nenhuma função de autocomplemento tiver sido definida.

readline.get_completion_type()

Obtém o tipo de autocomplemento que está sendo tentado. Isso retorna a variável rl_completion_type na biblioteca subjacente como um número inteiro.

readline.get_begidx()

readline.get_endidx()

Obtém o índice inicial ou final do escopo de autocomplemento. Esses índices são os argumentos start e end passados para o retorno de chamada rl_attempted_completion_function da biblioteca subjacente. Os valores podem ser diferentes no mesmo cenário de edição de entrada com base na implementação de C readline subjacente. Por exemplo, sabe-se que o libedit se comporta de maneira diferente do libreadline.

readline.set_completer_delims(string)

readline.get_completer_delims()

Define ou obtém os delimitadores de palavras para autocomplemento. Estes determinam o início da palavra a ser considerada para autocomplemento (o escopo de autocomplemento). Essas funções acessam a variável rl_completer_word_break_characters na biblioteca subjacente.

readline.set_completion_display_matches_hook([function])

Define ou remove a função de exibição de autocomplemento. Se function for especificada, ela será usada como a nova função de exibição de autocomplemento; se omitida ou None, qualquer função de exibição de autocomplemento já instalada será removida. Isso define ou limpa o retorno de chamada rl_completion_display_matches_hook na biblioteca subjacente. A função de exibição de autocomplemento é chamada como function(substitution, [correspondências], comprimento_da_correspondência_mais_longa) uma vez que cada correspondência precisa ser exibida.

Exemplo

O exemplo a seguir demonstra como usar as funções de leitura e gravação de histórico do módulo readline para carregar e salvar automaticamente um arquivo de histórico chamado .python_history do diretório inicial do usuário. O código abaixo normalmente seria executado automaticamente durante sessões interativas do arquivo PYTHONSTARTUP do usuário.

import atexit
import os
import readline

histfile = os.path.join(os.path.expanduser("~"), ".python_history")
try:
    readline.read_history_file(histfile)
    # default history len is -1 (infinite), which may grow unruly
    readline.set_history_length(1000)
except FileNotFoundError:
    pass

atexit.register(readline.write_history_file, histfile)

Na verdade, este código é executado automaticamente quando o Python é executado no modo interativo (veja Configuração Readline).

O exemplo a seguir atinge o mesmo objetivo, mas oferece suporte a sessões interativas simultâneas, anexando apenas o novo histórico.

import atexit
import os
import readline
histfile = os.path.join(os.path.expanduser("~"), ".python_history")

try:
    readline.read_history_file(histfile)
    h_len = readline.get_current_history_length()
except FileNotFoundError:
    open(histfile, 'wb').close()
    h_len = 0

def save(prev_h_len, histfile):
    new_h_len = readline.get_current_history_length()
    readline.set_history_length(1000)
    readline.append_history_file(new_h_len - prev_h_len, histfile)
atexit.register(save, h_len, histfile)

O exemplo a seguir estende a classe code.InteractiveConsole para prover salvamento/restauração do histórico.

import atexit
import code
import os
import readline

class HistoryConsole(code.InteractiveConsole):
    def __init__(self, locals=None, filename="<console>",
                 histfile=os.path.expanduser("~/.console-history")):
        code.InteractiveConsole.__init__(self, locals, filename)
        self.init_history(histfile)

    def init_history(self, histfile):
        readline.parse_and_bind("tab: complete")
        if hasattr(readline, "read_history_file"):
            try:
                readline.read_history_file(histfile)
            except FileNotFoundError:
                pass
            atexit.register(self.save_history, histfile)

    def save_history(self, histfile):
        readline.set_history_length(1000)
        readline.write_history_file(histfile)

rlcompleter — Função de autocomplemento para GNU readline

Código-fonte: Lib/rlcompleter.py [https://github.com/python/cpython/tree/3.13/Lib/rlcompleter.py]

O módulo rlcompleter define uma função de autocompletamento adequada para ser passada para set_completer() no módulo readline.

Quando este módulo é importado em uma plataforma Unix com o módulo readline disponível, uma instância da classe Completer é criada automaticamente e seu método complete() é definido como o autocompletamento do readline. O método fornece o autocompletamento de identificadores e palavras-chaves válidas do Python.

Exemplo:

>>> import rlcompleter
>>> import readline
>>> readline.parse_and_bind("tab: complete")
>>> readline. <TAB PRESSED>
readline.__doc__          readline.get_line_buffer(  readline.read_init_file(
readline.__file__         readline.insert_text(      readline.set_completer(
readline.__name__         readline.parse_and_bind(
>>> readline.

O módulo rlcompleter é projetado para uso com o modo interativo do Python. A menos que Python seja executado com a opção -S, o módulo é automaticamente importado e configurado (veja Configuração Readline).

Em plataformas sem readline, a classe Completer definida por este módulo ainda pode ser usada para propósitos personalizados.

class rlcompleter.Completer

Os objetos Completer têm o seguinte método:

complete(text, state)

Retorna o próximo completamento possível para text.

Quando chamado pelo módulo readline, este método é chamado sucessivamente com state == 0, 1, 2, ... até que o método retorne None.

Se chamado para text que não inclui um caractere de ponto ('.'), ele será completado a partir dos nomes atualmente definidos em __main__, builtins e palavras reservadas (conforme definido pelo módulo keyword).

Se chamado por um nome pontilhado, vai tentar avaliar qualquer coisa sem efeitos colaterais óbvios (as funções não serão avaliadas, mas pode levantar chamadas para __getattr__()) até a última parte e encontrar correspondências para o resto por meio da função dir(). Qualquer exceção levantada durante a avaliação da expressão é capturada, silenciada e None é retornado.

Serviços de Dados Binários

Os módulos descritos neste capítulo fornecem algumas operações de serviços básicos para manipulação de dados binários. Outras operações sobre dados binários, especificamente em relação a formatos de arquivo e protocolos de rede, são descritas nas seções relevantes.

Algumas bibliotecas descritas em Serviços de Processamento de Texto também funcionam com formatos binários compatíveis com ASCII (por exemplo re) ou com todos os dados binários (por exemplo difflib).

Além disso, consulte a documentação dos tipos de dados binários embutidos do Python em Tipos de Sequência Binária — bytes, bytearray, memoryview.

struct — Interpreta bytes como dados binários empacotados

Funções e exceções

error

pack()

pack_into()

unpack()

unpack_from()

iter_unpack()

calcsize()

Format Strings

Byte Order, Size, and Alignment

Caracteres Formatados

Exemplos

Applications

Native Formats

Standard Formats

Classes

Struct

pack()

pack_into()

unpack()

unpack_from()

iter_unpack()

format

size

codecs — Codec registry and base classes

encode()

decode()

lookup()

CodecInfo

name

encode

decode

incrementalencoder

incrementaldecoder

streamwriter

streamreader

getencoder()

getdecoder()

getincrementalencoder()

getincrementaldecoder()

getreader()

getwriter()

register()

unregister()

open()

EncodedFile()

iterencode()

iterdecode()

BOM

BOM_BE

BOM_LE

BOM_UTF8

BOM_UTF16

BOM_UTF16_BE

BOM_UTF16_LE

BOM_UTF32

BOM_UTF32_BE

BOM_UTF32_LE

Codec Base Classes

Error Handlers

register_error()

lookup_error()

strict_errors()

ignore_errors()

replace_errors()

backslashreplace_errors()

xmlcharrefreplace_errors()

namereplace_errors()

Stateless Encoding and Decoding

Codec

encode()

decode()

Incremental Encoding and Decoding

IncrementalEncoder Objects

IncrementalEncoder

encode()

reset()

getstate()

setstate()

IncrementalDecoder Objects

IncrementalDecoder

decode()

reset()

getstate()

setstate()

Stream Encoding and Decoding

StreamWriter Objects

StreamWriter

write()

writelines()

reset()

StreamReader Objects

StreamReader

read()

readline()

readlines()

reset()

StreamReaderWriter Objects

StreamReaderWriter

StreamRecoder Objects

StreamRecoder

Encodings and Unicode

Standard Encodings

Python Specific Encodings

Text Encodings

Binary Transforms

Text Transforms

encodings.idna — Internationalized Domain Names in Applications

nameprep()

ToASCII()

ToUnicode()

encodings.mbcs — Windows ANSI codepage

encodings.utf_8_sig — UTF-8 codec with BOM signature

struct — Interpreta bytes como dados binários empacotados

Código-fonte: Lib/struct.py [https://github.com/python/cpython/tree/3.13/Lib/struct.py]

Este módulo converte entre valores Python e structs C representados como objetos bytes do Python. Strings de formato compactas descrevem as conversões pretendidas de/para valores Python. As funções e objetos do módulo podem ser usados ​​para duas aplicações amplamente distintas, troca de dados com fontes externas (arquivos ou conexões de rede) ou transferência de dados entre a aplicação Python e a camada C.

Nota

Quando nenhum caractere de prefixo é fornecido, o modo nativo é o padrão. Ele empacota ou descompacta dados com base na plataforma e no compilador nos quais o interpretador Python foi construído. O resultado do empacotamento de uma dada estrutura C inclui bytes de preenchimento que mantêm o alinhamento adequado para os tipos C envolvidos; similarmente, o alinhamento é levado em conta ao desempacotar. Em contraste, ao comunicar dados entre fontes externas, o programador é responsável por definir a ordenação de bytes e o preenchimento entre os elementos. Veja Byte Order, Size, and Alignment para detalhes.

Várias funções struct (e métodos de Struct) recebem um argumento buffer. Isso se refere a objetos que implementam Protocolo de Buffer e fornecem um buffer legível ou de leitura-gravação. Os tipos mais comuns usados ​​para esse propósito são bytes e bytearray, mas muitos outros tipos que podem ser vistos como uma matriz de bytes implementam o protocolo de buffer, para que possam ser lidos/preenchidos sem cópia adicional de um objeto bytes.

Funções e exceções

O módulo define as seguintes exceções e funções:

exception struct.error

Exceção levantada em várias ocasiões; argumento é uma string que descreve o que está errado.

struct.pack(format, v1, v2, ...)

Return a bytes object containing the values v1, v2, … packed according to the format string format. The arguments must match the values required by the format exactly.

struct.pack_into(format, buffer, offset, v1, v2, ...)

Pack the values v1, v2, … according to the format string format and write the packed bytes into the writable buffer buffer starting at position offset. Note that offset is a required argument.

struct.unpack(format, buffer)

Unpack from the buffer buffer (presumably packed by pack(format, ...)) according to the format string format. The result is a tuple even if it contains exactly one item. The buffer’s size in bytes must match the size required by the format, as reflected by calcsize().

struct.unpack_from(format, /, buffer, offset=0)

Unpack from buffer starting at position offset, according to the format string format. The result is a tuple even if it contains exactly one item. The buffer’s size in bytes, starting at position offset, must be at least the size required by the format, as reflected by calcsize().

struct.iter_unpack(format, buffer)

Iteratively unpack from the buffer buffer according to the format string format. This function returns an iterator which will read equally sized chunks from the buffer until all its contents have been consumed. The buffer’s size in bytes must be a multiple of the size required by the format, as reflected by calcsize().

Each iteration yields a tuple as specified by the format string.

Adicionado na versão 3.4.

struct.calcsize(format)

Return the size of the struct (and hence of the bytes object produced by pack(format, ...)) corresponding to the format string format.

Format Strings

Format strings describe the data layout when packing and unpacking data. They are built up from format characters, which specify the type of data being packed/unpacked. In addition, special characters control the byte order, size and alignment. Each format string consists of an optional prefix character which describes the overall properties of the data and one or more format characters which describe the actual data values and padding.

Byte Order, Size, and Alignment

By default, C types are represented in the machine’s native format and byte order, and properly aligned by skipping pad bytes if necessary (according to the rules used by the C compiler). This behavior is chosen so that the bytes of a packed struct correspond exactly to the memory layout of the corresponding C struct. Whether to use native byte ordering and padding or standard formats depends on the application.

Alternatively, the first character of the format string can be used to indicate the byte order, size and alignment of the packed data, according to the following table:

Caractere

Ordem de bytes

Tamanho

Alinhamento

@

nativo

nativo

nativo

=

nativo

padrão

nenhum

<

little-endian

padrão

nenhum

>

big-endian

padrão

nenhum

!

rede (= big-endian)

padrão

nenhum

Se o primeiro caractere não for um destes, '@' é presumido.

Nota

The number 1023 (0x3ff in hexadecimal) has the following byte representations:

03 ff in big-endian (>)

ff 03 in little-endian (<)

Python example:

>>> import struct
>>> struct.pack('>h', 1023)
b'\x03\xff'
>>> struct.pack('<h', 1023)
b'\xff\x03'

Native byte order is big-endian or little-endian, depending on the host system. For example, Intel x86, AMD64 (x86-64), and Apple M1 are little-endian; IBM z and many legacy architectures are big-endian. Use sys.byteorder to check the endianness of your system.

Native size and alignment are determined using the C compiler’s sizeof expression. This is always combined with native byte order.

Standard size depends only on the format character; see the table in the Caracteres Formatados section.

Note the difference between '@' and '=': both use native byte order, but the size and alignment of the latter is standardized.

The form '!' represents the network byte order which is always big-endian as defined in IETF RFC 1700 [https://datatracker.ietf.org/doc/html/rfc1700].

There is no way to indicate non-native byte order (force byte-swapping); use the appropriate choice of '<' or '>'.

Notas:

Padding is only automatically added between successive structure members. No padding is added at the beginning or the end of the encoded struct.

No padding is added when using non-native size and alignment, e.g. with ‘<’, ‘>’, ‘=’, and ‘!’.

To align the end of a structure to the alignment requirement of a particular type, end the format with the code for that type with a repeat count of zero. See Exemplos.

Caracteres Formatados

Format characters have the following meaning; the conversion between C and Python values should be obvious given their types. The ‘Standard size’ column refers to the size of the packed value in bytes when using standard size; that is, when the format string starts with one of '<', '>', '!' or '='. When using native size, the size of the packed value is platform-dependent.

Formatação

Tipo em C

Tipo em Python

Standard size

Notas

x

pad byte

no value

(7)

c

char

bytes of length 1

1

b

signed char

inteiro

1

(1), (2)

B

unsigned char

inteiro

1

(2)

?

_Bool

bool

1

(1)

h

short

inteiro

2

(2)

H

unsigned short

inteiro

2

(2)

i

int

inteiro

4

(2)

I

unsigned int

inteiro

4

(2)

l

long

inteiro

4

(2)

L

unsigned long

inteiro

4

(2)

q

long long

inteiro

8

(2)

Q

unsigned long long

inteiro

8

(2)

n

ssize_t

inteiro

(3)

N

size_t

inteiro

(3)

e

(6)

float

2

(4)

f

float

float

4

(4)

d

double

float

8

(4)

s

char[]

bytes

(9)

p

char[]

bytes

(8)

P

void*

inteiro

(5)

Alterado na versão 3.3: Added support for the 'n' and 'N' formats.

Alterado na versão 3.6: Added support for the 'e' format.

Notas:

The '?' conversion code corresponds to the _Bool type defined by C standards since C99. In standard mode, it is represented by one byte.

When attempting to pack a non-integer using any of the integer conversion codes, if the non-integer has a __index__() method then that method is called to convert the argument to an integer before packing.

Alterado na versão 3.2: Added use of the __index__() method for non-integers.

The 'n' and 'N' conversion codes are only available for the native size (selected as the default or with the '@' byte order character). For the standard size, you can use whichever of the other integer formats fits your application.

For the 'f', 'd' and 'e' conversion codes, the packed representation uses the IEEE 754 binary32, binary64 or binary16 format (for 'f', 'd' or 'e' respectively), regardless of the floating-point format used by the platform.

The 'P' format character is only available for the native byte ordering (selected as the default or with the '@' byte order character). The byte order character '=' chooses to use little- or big-endian ordering based on the host system. The struct module does not interpret this as native ordering, so the 'P' format is not available.

The IEEE 754 binary16 “half precision” type was introduced in the 2008 revision of the IEEE 754 standard [https://en.wikipedia.org/wiki/IEEE_754-2008_revision]. It has a sign bit, a 5-bit exponent and 11-bit precision (with 10 bits explicitly stored), and can represent numbers between approximately 6.1e-05 and 6.5e+04 at full precision. This type is not widely supported by C compilers: on a typical machine, an unsigned short can be used for storage, but not for math operations. See the Wikipedia page on the half-precision floating-point format [https://en.wikipedia.org/wiki/Half-precision_floating-point_format] for more information.

When packing, 'x' inserts one NUL byte.

The 'p' format character encodes a “Pascal string”, meaning a short variable-length string stored in a fixed number of bytes, given by the count. The first byte stored is the length of the string, or 255, whichever is smaller. The bytes of the string follow. If the string passed in to pack() is too long (longer than the count minus 1), only the leading count-1 bytes of the string are stored. If the string is shorter than count-1, it is padded with null bytes so that exactly count bytes in all are used. Note that for unpack(), the 'p' format character consumes count bytes, but that the string returned can never contain more than 255 bytes.

For the 's' format character, the count is interpreted as the length of the bytes, not a repeat count like for the other format characters; for example, '10s' means a single 10-byte string mapping to or from a single Python byte string, while '10c' means 10 separate one byte character elements (e.g., cccccccccc) mapping to or from ten different Python byte objects. (See Exemplos for a concrete demonstration of the difference.) If a count is not given, it defaults to 1. For packing, the string is truncated or padded with null bytes as appropriate to make it fit. For unpacking, the resulting bytes object always has exactly the specified number of bytes. As a special case, '0s' means a single, empty string (while '0c' means 0 characters).

A format character may be preceded by an integral repeat count. For example, the format string '4h' means exactly the same as 'hhhh'.

Whitespace characters between formats are ignored; a count and its format must not contain whitespace though.

When packing a value x using one of the integer formats ('b', 'B', 'h', 'H', 'i', 'I', 'l', 'L', 'q', 'Q'), if x is outside the valid range for that format then struct.error is raised.

Alterado na versão 3.1: Previously, some of the integer formats wrapped out-of-range values and raised DeprecationWarning instead of struct.error.

For the '?' format character, the return value is either True or False. When packing, the truth value of the argument object is used. Either 0 or 1 in the native or standard bool representation will be packed, and any non-zero value will be True when unpacking.

Exemplos

Nota

Native byte order examples (designated by the '@' format prefix or lack of any prefix character) may not match what the reader’s machine produces as that depends on the platform and compiler.

Pack and unpack integers of three different sizes, using big endian ordering:

>>> from struct import *
>>> pack(">bhl", 1, 2, 3)
b'\x01\x00\x02\x00\x00\x00\x03'
>>> unpack('>bhl', b'\x01\x00\x02\x00\x00\x00\x03')
(1, 2, 3)
>>> calcsize('>bhl')
7

Attempt to pack an integer which is too large for the defined field:

>>> pack(">h", 99999)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
struct.error: 'h' format requires -32768 <= number <= 32767

Demonstrate the difference between 's' and 'c' format characters:

>>> pack("@ccc", b'1', b'2', b'3')
b'123'
>>> pack("@3s", b'123')
b'123'

Unpacked fields can be named by assigning them to variables or by wrapping the result in a named tuple:

>>> record = b'raymond   \x32\x12\x08\x01\x08'
>>> name, serialnum, school, gradelevel = unpack('<10sHHb', record)

>>> from collections import namedtuple
>>> Student = namedtuple('Student', 'name serialnum school gradelevel')
>>> Student._make(unpack('<10sHHb', record))
Student(name=b'raymond   ', serialnum=4658, school=264, gradelevel=8)

The ordering of format characters may have an impact on size in native mode since padding is implicit. In standard mode, the user is responsible for inserting any desired padding. Note in the first pack call below that three NUL bytes were added after the packed '#' to align the following integer on a four-byte boundary. In this example, the output was produced on a little endian machine:

>>> pack('@ci', b'#', 0x12131415)
b'#\x00\x00\x00\x15\x14\x13\x12'
>>> pack('@ic', 0x12131415, b'#')
b'\x15\x14\x13\x12#'
>>> calcsize('@ci')
8
>>> calcsize('@ic')
5

The following format 'llh0l' results in two pad bytes being added at the end, assuming the platform’s longs are aligned on 4-byte boundaries:

>>> pack('@llh0l', 1, 2, 3)
b'\x00\x00\x00\x01\x00\x00\x00\x02\x00\x03\x00\x00'

Ver também

Module array

Packed binary storage of homogeneous data.

Módulo json

JSON encoder and decoder.

Módulo pickle

Python object serialization.

Applications

Two main applications for the struct module exist, data interchange between Python and C code within an application or another application compiled using the same compiler (native formats), and data interchange between applications using agreed upon data layout (standard formats). Generally speaking, the format strings constructed for these two domains are distinct.

Native Formats

When constructing format strings which mimic native layouts, the compiler and machine architecture determine byte ordering and padding. In such cases, the @ format character should be used to specify native byte ordering and data sizes. Internal pad bytes are normally inserted automatically. It is possible that a zero-repeat format code will be needed at the end of a format string to round up to the correct byte boundary for proper alignment of consecutive chunks of data.

Consider these two simple examples (on a 64-bit, little-endian machine):

>>> calcsize('@lhl')
24
>>> calcsize('@llh')
18

Data is not padded to an 8-byte boundary at the end of the second format string without the use of extra padding. A zero-repeat format code solves that problem:

>>> calcsize('@llh0l')
24

The 'x' format code can be used to specify the repeat, but for native formats it is better to use a zero-repeat format like '0l'.

By default, native byte ordering and alignment is used, but it is better to be explicit and use the '@' prefix character.

Standard Formats

When exchanging data beyond your process such as networking or storage, be precise. Specify the exact byte order, size, and alignment. Do not assume they match the native order of a particular machine. For example, network byte order is big-endian, while many popular CPUs are little-endian. By defining this explicitly, the user need not care about the specifics of the platform their code is running on. The first character should typically be < or > (or !). Padding is the responsibility of the programmer. The zero-repeat format character won’t work. Instead, the user must explicitly add 'x' pad bytes where needed. Revisiting the examples from the previous section, we have:

>>> calcsize('<qh6xq')
24
>>> pack('<qh6xq', 1, 2, 3) == pack('@lhl', 1, 2, 3)
True
>>> calcsize('@llh')
18
>>> pack('@llh', 1, 2, 3) == pack('<qqh', 1, 2, 3)
True
>>> calcsize('<qqh6x')
24
>>> calcsize('@llh0l')
24
>>> pack('@llh0l', 1, 2, 3) == pack('<qqh6x', 1, 2, 3)
True

The above results (executed on a 64-bit machine) aren’t guaranteed to match when executed on different machines. For example, the examples below were executed on a 32-bit machine:

>>> calcsize('<qqh6x')
24
>>> calcsize('@llh0l')
12
>>> pack('@llh0l', 1, 2, 3) == pack('<qqh6x', 1, 2, 3)
False

Classes

The struct module also defines the following type:

class struct.Struct(format)

Return a new Struct object which writes and reads binary data according to the format string format. Creating a Struct object once and calling its methods is more efficient than calling module-level functions with the same format since the format string is only compiled once.

Nota

The compiled versions of the most recent format strings passed to the module-level functions are cached, so programs that use only a few format strings needn’t worry about reusing a single Struct instance.

Compiled Struct objects support the following methods and attributes:

pack(v1, v2, ...)

Identical to the pack() function, using the compiled format. (len(result) will equal size.)

pack_into(buffer, offset, v1, v2, ...)

Identical to the pack_into() function, using the compiled format.

unpack(buffer)

Identical to the unpack() function, using the compiled format. The buffer’s size in bytes must equal size.

unpack_from(buffer, offset=0)

Identical to the unpack_from() function, using the compiled format. The buffer’s size in bytes, starting at position offset, must be at least size.

iter_unpack(buffer)

Identical to the iter_unpack() function, using the compiled format. The buffer’s size in bytes must be a multiple of size.

Adicionado na versão 3.4.

format

The format string used to construct this Struct object.

Alterado na versão 3.7: The format string type is now str instead of bytes.

size

The calculated size of the struct (and hence of the bytes object produced by the pack() method) corresponding to format.

Alterado na versão 3.13: The repr() of structs has changed. It is now:

>>> Struct('i')
Struct('i')

codecs — Codec registry and base classes

Código-fonte: Lib/codecs.py [https://github.com/python/cpython/tree/3.13/Lib/codecs.py]

This module defines base classes for standard Python codecs (encoders and decoders) and provides access to the internal Python codec registry, which manages the codec and error handling lookup process. Most standard codecs are text encodings, which encode text to bytes (and decode bytes to text), but there are also codecs provided that encode text to text, and bytes to bytes. Custom codecs may encode and decode between arbitrary types, but some module features are restricted to be used specifically with text encodings or with codecs that encode to bytes.

The module defines the following functions for encoding and decoding with any codec:

codecs.encode(obj, encoding='utf-8', errors='strict')

Encodes obj using the codec registered for encoding.

Errors may be given to set the desired error handling scheme. The default error handler is 'strict' meaning that encoding errors raise ValueError (or a more codec specific subclass, such as UnicodeEncodeError). Refer to Codec Base Classes for more information on codec error handling.

codecs.decode(obj, encoding='utf-8', errors='strict')

Decodes obj using the codec registered for encoding.

Errors may be given to set the desired error handling scheme. The default error handler is 'strict' meaning that decoding errors raise ValueError (or a more codec specific subclass, such as UnicodeDecodeError). Refer to Codec Base Classes for more information on codec error handling.

The full details for each codec can also be looked up directly:

codecs.lookup(encoding)

Looks up the codec info in the Python codec registry and returns a CodecInfo object as defined below.

Encodings are first looked up in the registry’s cache. If not found, the list of registered search functions is scanned. If no CodecInfo object is found, a LookupError is raised. Otherwise, the CodecInfo object is stored in the cache and returned to the caller.

class codecs.CodecInfo(encode, decode, streamreader=None, streamwriter=None, incrementalencoder=None, incrementaldecoder=None, name=None)

Codec details when looking up the codec registry. The constructor arguments are stored in attributes of the same name:

name

The name of the encoding.

encode

decode

The stateless encoding and decoding functions. These must be functions or methods which have the same interface as the encode() and decode() methods of Codec instances (see Codec Interface). The functions or methods are expected to work in a stateless mode.

incrementalencoder

incrementaldecoder

Incremental encoder and decoder classes or factory functions. These have to provide the interface defined by the base classes IncrementalEncoder and IncrementalDecoder, respectively. Incremental codecs can maintain state.

streamwriter

streamreader

Stream writer and reader classes or factory functions. These have to provide the interface defined by the base classes StreamWriter and StreamReader, respectively. Stream codecs can maintain state.

To simplify access to the various codec components, the module provides these additional functions which use lookup() for the codec lookup:

codecs.getencoder(encoding)

Look up the codec for the given encoding and return its encoder function.

Raises a LookupError in case the encoding cannot be found.

codecs.getdecoder(encoding)

Look up the codec for the given encoding and return its decoder function.

Raises a LookupError in case the encoding cannot be found.

codecs.getincrementalencoder(encoding)

Look up the codec for the given encoding and return its incremental encoder class or factory function.

Raises a LookupError in case the encoding cannot be found or the codec doesn’t support an incremental encoder.

codecs.getincrementaldecoder(encoding)

Look up the codec for the given encoding and return its incremental decoder class or factory function.

Raises a LookupError in case the encoding cannot be found or the codec doesn’t support an incremental decoder.

codecs.getreader(encoding)

Look up the codec for the given encoding and return its StreamReader class or factory function.

Raises a LookupError in case the encoding cannot be found.

codecs.getwriter(encoding)

Look up the codec for the given encoding and return its StreamWriter class or factory function.

Raises a LookupError in case the encoding cannot be found.

Custom codecs are made available by registering a suitable codec search function:

codecs.register(search_function)

Register a codec search function. Search functions are expected to take one argument, being the encoding name in all lower case letters with hyphens and spaces converted to underscores, and return a CodecInfo object. In case a search function cannot find a given encoding, it should return None.

Alterado na versão 3.9: Hyphens and spaces are converted to underscore.

codecs.unregister(search_function)

Unregister a codec search function and clear the registry’s cache. If the search function is not registered, do nothing.

Adicionado na versão 3.10.

While the builtin open() and the associated io module are the recommended approach for working with encoded text files, this module provides additional utility functions and classes that allow the use of a wider range of codecs when working with binary files:

codecs.open(filename, mode='r', encoding=None, errors='strict', buffering=-1)

Open an encoded file using the given mode and return an instance of StreamReaderWriter, providing transparent encoding/decoding. The default file mode is 'r', meaning to open the file in read mode.

Nota

If encoding is not None, then the underlying encoded files are always opened in binary mode. No automatic conversion of '\n' is done on reading and writing. The mode argument may be any binary mode acceptable to the built-in open() function; the 'b' is automatically added.

encoding specifies the encoding which is to be used for the file. Any encoding that encodes to and decodes from bytes is allowed, and the data types supported by the file methods depend on the codec used.

errors may be given to define the error handling. It defaults to 'strict' which causes a ValueError to be raised in case an encoding error occurs.

buffering has the same meaning as for the built-in open() function. It defaults to -1 which means that the default buffer size will be used.

Alterado na versão 3.11: O modo 'U' foi removido.

codecs.EncodedFile(file, data_encoding, file_encoding=None, errors='strict')

Return a StreamRecoder instance, a wrapped version of file which provides transparent transcoding. The original file is closed when the wrapped version is closed.

Data written to the wrapped file is decoded according to the given data_encoding and then written to the original file as bytes using file_encoding. Bytes read from the original file are decoded according to file_encoding, and the result is encoded using data_encoding.

If file_encoding is not given, it defaults to data_encoding.

errors may be given to define the error handling. It defaults to 'strict', which causes ValueError to be raised in case an encoding error occurs.

codecs.iterencode(iterator, encoding, errors='strict', **kwargs)

Uses an incremental encoder to iteratively encode the input provided by iterator. This function is a generator. The errors argument (as well as any other keyword argument) is passed through to the incremental encoder.

This function requires that the codec accept text str objects to encode. Therefore it does not support bytes-to-bytes encoders such as base64_codec.

codecs.iterdecode(iterator, encoding, errors='strict', **kwargs)

Uses an incremental decoder to iteratively decode the input provided by iterator. This function is a generator. The errors argument (as well as any other keyword argument) is passed through to the incremental decoder.

This function requires that the codec accept bytes objects to decode. Therefore it does not support text-to-text encoders such as rot_13, although rot_13 may be used equivalently with iterencode().

The module also provides the following constants which are useful for reading and writing to platform dependent files:

codecs.BOM

codecs.BOM_BE

codecs.BOM_LE

codecs.BOM_UTF8

codecs.BOM_UTF16

codecs.BOM_UTF16_BE

codecs.BOM_UTF16_LE

codecs.BOM_UTF32

codecs.BOM_UTF32_BE

codecs.BOM_UTF32_LE

These constants define various byte sequences, being Unicode byte order marks (BOMs) for several encodings. They are used in UTF-16 and UTF-32 data streams to indicate the byte order used, and in UTF-8 as a Unicode signature. BOM_UTF16 is either BOM_UTF16_BE or BOM_UTF16_LE depending on the platform’s native byte order, BOM is an alias for BOM_UTF16, BOM_LE for BOM_UTF16_LE and BOM_BE for BOM_UTF16_BE. The others represent the BOM in UTF-8 and UTF-32 encodings.

Codec Base Classes

The codecs module defines a set of base classes which define the interfaces for working with codec objects, and can also be used as the basis for custom codec implementations.

Each codec has to define four interfaces to make it usable as codec in Python: stateless encoder, stateless decoder, stream reader and stream writer. The stream reader and writers typically reuse the stateless encoder/decoder to implement the file protocols. Codec authors also need to define how the codec will handle encoding and decoding errors.

Error Handlers

To simplify and standardize error handling, codecs may implement different error handling schemes by accepting the errors string argument:

>>> 'German ß, ♬'.encode(encoding='ascii', errors='backslashreplace')
b'German \\xdf, \\u266c'
>>> 'German ß, ♬'.encode(encoding='ascii', errors='xmlcharrefreplace')
b'German &#223;, &#9836;'

The following error handlers can be used with all Python Standard Encodings codecs:

Valor

Significado

'strict'

Raise UnicodeError (or a subclass), this is the default. Implemented in strict_errors().

'ignore'

Ignore the malformed data and continue without further notice. Implemented in ignore_errors().

'replace'

Replace with a replacement marker. On encoding, use ? (ASCII character). On decoding, use � (U+FFFD, the official REPLACEMENT CHARACTER). Implemented in replace_errors().

'backslashreplace'

Replace with backslashed escape sequences. On encoding, use hexadecimal form of Unicode code point with formats \xhh \uxxxx \Uxxxxxxxx. On decoding, use hexadecimal form of byte value with format \xhh. Implemented in backslashreplace_errors().

'surrogateescape'

On decoding, replace byte with individual surrogate code ranging from U+DC80 to U+DCFF. This code will then be turned back into the same byte when the 'surrogateescape' error handler is used when encoding the data. (See PEP 383 [https://peps.python.org/pep-0383/] for more.)

The following error handlers are only applicable to encoding (within text encodings):

Valor

Significado

'xmlcharrefreplace'

Replace with XML/HTML numeric character reference, which is a decimal form of Unicode code point with format &#num;. Implemented in xmlcharrefreplace_errors().

'namereplace'

Replace with \N{...} escape sequences, what appears in the braces is the Name property from Unicode Character Database. Implemented in namereplace_errors().

In addition, the following error handler is specific to the given codecs:

Valor

Codecs

Significado

'surrogatepass'

utf-8, utf-16, utf-32, utf-16-be, utf-16-le, utf-32-be, utf-32-le

Allow encoding and decoding surrogate code point (U+D800 - U+DFFF) as normal code point. Otherwise these codecs treat the presence of surrogate code point in str as an error.

Adicionado na versão 3.1: The 'surrogateescape' and 'surrogatepass' error handlers.

Alterado na versão 3.4: The 'surrogatepass' error handler now works with utf-16* and utf-32* codecs.

Adicionado na versão 3.5: The 'namereplace' error handler.

Alterado na versão 3.5: The 'backslashreplace' error handler now works with decoding and translating.

The set of allowed values can be extended by registering a new named error handler:

codecs.register_error(name, error_handler)

Register the error handling function error_handler under the name name. The error_handler argument will be called during encoding and decoding in case of an error, when name is specified as the errors parameter.

For encoding, error_handler will be called with a UnicodeEncodeError instance, which contains information about the location of the error. The error handler must either raise this or a different exception, or return a tuple with a replacement for the unencodable part of the input and a position where encoding should continue. The replacement may be either str or bytes. If the replacement is bytes, the encoder will simply copy them into the output buffer. If the replacement is a string, the encoder will encode the replacement. Encoding continues on original input at the specified position. Negative position values will be treated as being relative to the end of the input string. If the resulting position is out of bound an IndexError will be raised.

Decoding and translating works similarly, except UnicodeDecodeError or UnicodeTranslateError will be passed to the handler and that the replacement from the error handler will be put into the output directly.

Previously registered error handlers (including the standard error handlers) can be looked up by name:

codecs.lookup_error(name)

Return the error handler previously registered under the name name.

Raises a LookupError in case the handler cannot be found.

The following standard error handlers are also made available as module level functions:

codecs.strict_errors(exception)

Implementa a tratativa de erro 'strict'.

Each encoding or decoding error raises a UnicodeError.

codecs.ignore_errors(exception)

Implementa a tratativa de erro 'ignore'.

Malformed data is ignored; encoding or decoding is continued without further notice.

codecs.replace_errors(exception)

Implementa a tratativa de erro 'replace'.

Substitutes ? (ASCII character) for encoding errors or � (U+FFFD, the official REPLACEMENT CHARACTER) for decoding errors.

codecs.backslashreplace_errors(exception)

Implementa a tratativa de erro 'backslashreplace'.

Malformed data is replaced by a backslashed escape sequence. On encoding, use the hexadecimal form of Unicode code point with formats \xhh \uxxxx \Uxxxxxxxx. On decoding, use the hexadecimal form of byte value with format \xhh.

Alterado na versão 3.5: Works with decoding and translating.

codecs.xmlcharrefreplace_errors(exception)

Implements the 'xmlcharrefreplace' error handling (for encoding within text encoding only).

The unencodable character is replaced by an appropriate XML/HTML numeric character reference, which is a decimal form of Unicode code point with format &#num; .

codecs.namereplace_errors(exception)

Implements the 'namereplace' error handling (for encoding within text encoding only).

The unencodable character is replaced by a \N{...} escape sequence. The set of characters that appear in the braces is the Name property from Unicode Character Database. For example, the German lowercase letter 'ß' will be converted to byte sequence \N{LATIN SMALL LETTER SHARP S} .

Adicionado na versão 3.5.

Stateless Encoding and Decoding

The base Codec class defines these methods which also define the function interfaces of the stateless encoder and decoder:

class codecs.Codec

encode(input, errors='strict')

Encodes the object input and returns a tuple (output object, length consumed). For instance, text encoding converts a string object to a bytes object using a particular character set encoding (e.g., cp1252 or iso-8859-1).

The errors argument defines the error handling to apply. It defaults to 'strict' handling.

The method may not store state in the Codec instance. Use StreamWriter for codecs which have to keep state in order to make encoding efficient.

The encoder must be able to handle zero length input and return an empty object of the output object type in this situation.

decode(input, errors='strict')

Decodes the object input and returns a tuple (output object, length consumed). For instance, for a text encoding, decoding converts a bytes object encoded using a particular character set encoding to a string object.

For text encodings and bytes-to-bytes codecs, input must be a bytes object or one which provides the read-only buffer interface – for example, buffer objects and memory mapped files.

The errors argument defines the error handling to apply. It defaults to 'strict' handling.

The method may not store state in the Codec instance. Use StreamReader for codecs which have to keep state in order to make decoding efficient.

The decoder must be able to handle zero length input and return an empty object of the output object type in this situation.

Incremental Encoding and Decoding

The IncrementalEncoder and IncrementalDecoder classes provide the basic interface for incremental encoding and decoding. Encoding/decoding the input isn’t done with one call to the stateless encoder/decoder function, but with multiple calls to the encode()/decode() method of the incremental encoder/decoder. The incremental encoder/decoder keeps track of the encoding/decoding process during method calls.

The joined output of calls to the encode()/decode() method is the same as if all the single inputs were joined into one, and this input was encoded/decoded with the stateless encoder/decoder.

IncrementalEncoder Objects

The IncrementalEncoder class is used for encoding an input in multiple steps. It defines the following methods which every incremental encoder must define in order to be compatible with the Python codec registry.

class codecs.IncrementalEncoder(errors='strict')

Constructor for an IncrementalEncoder instance.

All incremental encoders must provide this constructor interface. They are free to add additional keyword arguments, but only the ones defined here are used by the Python codec registry.

The IncrementalEncoder may implement different error handling schemes by providing the errors keyword argument. See Error Handlers for possible values.

The errors argument will be assigned to an attribute of the same name. Assigning to this attribute makes it possible to switch between different error handling strategies during the lifetime of the IncrementalEncoder object.

encode(object, final=False)

Encodes object (taking the current state of the encoder into account) and returns the resulting encoded object. If this is the last call to encode() final must be true (the default is false).

reset()

Reset the encoder to the initial state. The output is discarded: call .encode(object, final=True), passing an empty byte or text string if necessary, to reset the encoder and to get the output.

getstate()

Return the current state of the encoder which must be an integer. The implementation should make sure that 0 is the most common state. (States that are more complicated than integers can be converted into an integer by marshaling/pickling the state and encoding the bytes of the resulting string into an integer.)

setstate(state)

Set the state of the encoder to state. state must be an encoder state returned by getstate().

IncrementalDecoder Objects

The IncrementalDecoder class is used for decoding an input in multiple steps. It defines the following methods which every incremental decoder must define in order to be compatible with the Python codec registry.

class codecs.IncrementalDecoder(errors='strict')

Constructor for an IncrementalDecoder instance.

All incremental decoders must provide this constructor interface. They are free to add additional keyword arguments, but only the ones defined here are used by the Python codec registry.

The IncrementalDecoder may implement different error handling schemes by providing the errors keyword argument. See Error Handlers for possible values.

The errors argument will be assigned to an attribute of the same name. Assigning to this attribute makes it possible to switch between different error handling strategies during the lifetime of the IncrementalDecoder object.

decode(object, final=False)

Decodes object (taking the current state of the decoder into account) and returns the resulting decoded object. If this is the last call to decode() final must be true (the default is false). If final is true the decoder must decode the input completely and must flush all buffers. If this isn’t possible (e.g. because of incomplete byte sequences at the end of the input) it must initiate error handling just like in the stateless case (which might raise an exception).

reset()

Reset the decoder to the initial state.

getstate()

Return the current state of the decoder. This must be a tuple with two items, the first must be the buffer containing the still undecoded input. The second must be an integer and can be additional state info. (The implementation should make sure that 0 is the most common additional state info.) If this additional state info is 0 it must be possible to set the decoder to the state which has no input buffered and 0 as the additional state info, so that feeding the previously buffered input to the decoder returns it to the previous state without producing any output. (Additional state info that is more complicated than integers can be converted into an integer by marshaling/pickling the info and encoding the bytes of the resulting string into an integer.)

setstate(state)

Set the state of the decoder to state. state must be a decoder state returned by getstate().

Stream Encoding and Decoding

The StreamWriter and StreamReader classes provide generic working interfaces which can be used to implement new encoding submodules very easily. See encodings.utf_8 for an example of how this is done.

StreamWriter Objects

The StreamWriter class is a subclass of Codec and defines the following methods which every stream writer must define in order to be compatible with the Python codec registry.

class codecs.StreamWriter(stream, errors='strict')

Constructor for a StreamWriter instance.

All stream writers must provide this constructor interface. They are free to add additional keyword arguments, but only the ones defined here are used by the Python codec registry.

The stream argument must be a file-like object open for writing text or binary data, as appropriate for the specific codec.

The StreamWriter may implement different error handling schemes by providing the errors keyword argument. See Error Handlers for the standard error handlers the underlying stream codec may support.

The errors argument will be assigned to an attribute of the same name. Assigning to this attribute makes it possible to switch between different error handling strategies during the lifetime of the StreamWriter object.

write(object)

Writes the object’s contents encoded to the stream.

writelines(list)

Writes the concatenated iterable of strings to the stream (possibly by reusing the write() method). Infinite or very large iterables are not supported. The standard bytes-to-bytes codecs do not support this method.

reset()

Resets the codec buffers used for keeping internal state.

Chamar este método deve garantir que os dados na saída estejam num estado limpo, que permite anexar novos dados sem ter que verificar novamente todo o fluxo para recuperar o estado.

In addition to the above methods, the StreamWriter must also inherit all other methods and attributes from the underlying stream.

StreamReader Objects

The StreamReader class is a subclass of Codec and defines the following methods which every stream reader must define in order to be compatible with the Python codec registry.

class codecs.StreamReader(stream, errors='strict')

Constructor for a StreamReader instance.

All stream readers must provide this constructor interface. They are free to add additional keyword arguments, but only the ones defined here are used by the Python codec registry.

The stream argument must be a file-like object open for reading text or binary data, as appropriate for the specific codec.

The StreamReader may implement different error handling schemes by providing the errors keyword argument. See Error Handlers for the standard error handlers the underlying stream codec may support.

The errors argument will be assigned to an attribute of the same name. Assigning to this attribute makes it possible to switch between different error handling strategies during the lifetime of the StreamReader object.

The set of allowed values for the errors argument can be extended with register_error().

read(size=-1, chars=-1, firstline=False)

Decodes data from the stream and returns the resulting object.

The chars argument indicates the number of decoded code points or bytes to return. The read() method will never return more data than requested, but it might return less, if there is not enough available.

The size argument indicates the approximate maximum number of encoded bytes or code points to read for decoding. The decoder can modify this setting as appropriate. The default value -1 indicates to read and decode as much as possible. This parameter is intended to prevent having to decode huge files in one step.

The firstline flag indicates that it would be sufficient to only return the first line, if there are decoding errors on later lines.

The method should use a greedy read strategy meaning that it should read as much data as is allowed within the definition of the encoding and the given size, e.g. if optional encoding endings or state markers are available on the stream, these should be read too.

readline(size=None, keepends=True)

Read one line from the input stream and return the decoded data.

size, if given, is passed as size argument to the stream’s read() method.

If keepends is false line-endings will be stripped from the lines returned.

readlines(sizehint=None, keepends=True)

Read all lines available on the input stream and return them as a list of lines.

Line-endings are implemented using the codec’s decode() method and are included in the list entries if keepends is true.

sizehint, if given, is passed as the size argument to the stream’s read() method.

reset()

Resets the codec buffers used for keeping internal state.

Note that no stream repositioning should take place. This method is primarily intended to be able to recover from decoding errors.

In addition to the above methods, the StreamReader must also inherit all other methods and attributes from the underlying stream.

StreamReaderWriter Objects

The StreamReaderWriter is a convenience class that allows wrapping streams which work in both read and write modes.

The design is such that one can use the factory functions returned by the lookup() function to construct the instance.

class codecs.StreamReaderWriter(stream, Reader, Writer, errors='strict')

Creates a StreamReaderWriter instance. stream must be a file-like object. Reader and Writer must be factory functions or classes providing the StreamReader and StreamWriter interface resp. Error handling is done in the same way as defined for the stream readers and writers.

StreamReaderWriter instances define the combined interfaces of StreamReader and StreamWriter classes. They inherit all other methods and attributes from the underlying stream.

StreamRecoder Objects

The StreamRecoder translates data from one encoding to another, which is sometimes useful when dealing with different encoding environments.

The design is such that one can use the factory functions returned by the lookup() function to construct the instance.

class codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors='strict')

Creates a StreamRecoder instance which implements a two-way conversion: encode and decode work on the frontend — the data visible to code calling read() and write(), while Reader and Writer work on the backend — the data in stream.

You can use these objects to do transparent transcodings, e.g., from Latin-1 to UTF-8 and back.

The stream argument must be a file-like object.

The encode and decode arguments must adhere to the Codec interface. Reader and Writer must be factory functions or classes providing objects of the StreamReader and StreamWriter interface respectively.

Error handling is done in the same way as defined for the stream readers and writers.

StreamRecoder instances define the combined interfaces of StreamReader and StreamWriter classes. They inherit all other methods and attributes from the underlying stream.

Encodings and Unicode

Strings are stored internally as sequences of code points in range U+0000–U+10FFFF. (See PEP 393 [https://peps.python.org/pep-0393/] for more details about the implementation.) Once a string object is used outside of CPU and memory, endianness and how these arrays are stored as bytes become an issue. As with other codecs, serialising a string into a sequence of bytes is known as encoding, and recreating the string from the sequence of bytes is known as decoding. There are a variety of different text serialisation codecs, which are collectivity referred to as text encodings.

The simplest text encoding (called 'latin-1' or 'iso-8859-1') maps the code points 0–255 to the bytes 0x0–0xff, which means that a string object that contains code points above U+00FF can’t be encoded with this codec. Doing so will raise a UnicodeEncodeError that looks like the following (although the details of the error message may differ): UnicodeEncodeError: 'latin-1' codec can't encode character '\u1234' in position 3: ordinal not in range(256).

There’s another group of encodings (the so called charmap encodings) that choose a different subset of all Unicode code points and how these code points are mapped to the bytes 0x0–0xff. To see how this is done simply open e.g. encodings/cp1252.py (which is an encoding that is used primarily on Windows). There’s a string constant with 256 characters that shows you which character is mapped to which byte value.

All of these encodings can only encode 256 of the 1114112 code points defined in Unicode. A simple and straightforward way that can store each Unicode code point, is to store each code point as four consecutive bytes. There are two possibilities: store the bytes in big endian or in little endian order. These two encodings are called UTF-32-BE and UTF-32-LE respectively. Their disadvantage is that if e.g. you use UTF-32-BE on a little endian machine you will always have to swap bytes on encoding and decoding. UTF-32 avoids this problem: bytes will always be in natural endianness. When these bytes are read by a CPU with a different endianness, then bytes have to be swapped though. To be able to detect the endianness of a UTF-16 or UTF-32 byte sequence, there’s the so called BOM (“Byte Order Mark”). This is the Unicode character U+FEFF. This character can be prepended to every UTF-16 or UTF-32 byte sequence. The byte swapped version of this character (0xFFFE) is an illegal character that may not appear in a Unicode text. So when the first character in a UTF-16 or UTF-32 byte sequence appears to be a U+FFFE the bytes have to be swapped on decoding. Unfortunately the character U+FEFF had a second purpose as a ZERO WIDTH NO-BREAK SPACE: a character that has no width and doesn’t allow a word to be split. It can e.g. be used to give hints to a ligature algorithm. With Unicode 4.0 using U+FEFF as a ZERO WIDTH NO-BREAK SPACE has been deprecated (with U+2060 (WORD JOINER) assuming this role). Nevertheless Unicode software still must be able to handle U+FEFF in both roles: as a BOM it’s a device to determine the storage layout of the encoded bytes, and vanishes once the byte sequence has been decoded into a string; as a ZERO WIDTH NO-BREAK SPACE it’s a normal character that will be decoded like any other.

There’s another encoding that is able to encode the full range of Unicode characters: UTF-8. UTF-8 is an 8-bit encoding, which means there are no issues with byte order in UTF-8. Each byte in a UTF-8 byte sequence consists of two parts: marker bits (the most significant bits) and payload bits. The marker bits are a sequence of zero to four 1 bits followed by a 0 bit. Unicode characters are encoded like this (with x being payload bits, which when concatenated give the Unicode character):

Range

Encoding

U-00000000 … U-0000007F

0xxxxxxx

U-00000080 … U-000007FF

110xxxxx 10xxxxxx

U-00000800 … U-0000FFFF

1110xxxx 10xxxxxx 10xxxxxx

U-00010000 … U-0010FFFF

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

The least significant bit of the Unicode character is the rightmost x bit.

As UTF-8 is an 8-bit encoding no BOM is required and any U+FEFF character in the decoded string (even if it’s the first character) is treated as a ZERO WIDTH NO-BREAK SPACE.

Without external information it’s impossible to reliably determine which encoding was used for encoding a string. Each charmap encoding can decode any random byte sequence. However that’s not possible with UTF-8, as UTF-8 byte sequences have a structure that doesn’t allow arbitrary byte sequences. To increase the reliability with which a UTF-8 encoding can be detected, Microsoft invented a variant of UTF-8 (that Python calls "utf-8-sig") for its Notepad program: Before any of the Unicode characters is written to the file, a UTF-8 encoded BOM (which looks like this as a byte sequence: 0xef, 0xbb, 0xbf) is written. As it’s rather improbable that any charmap encoded file starts with these byte values (which would e.g. map to

LATIN SMALL LETTER I WITH DIAERESIS

RIGHT-POINTING DOUBLE ANGLE QUOTATION MARK

INVERTED QUESTION MARK

in iso-8859-1), this increases the probability that a utf-8-sig encoding can be correctly guessed from the byte sequence. So here the BOM is not used to be able to determine the byte order used for generating the byte sequence, but as a signature that helps in guessing the encoding. On encoding the utf-8-sig codec will write 0xef, 0xbb, 0xbf as the first three bytes to the file. On decoding utf-8-sig will skip those three bytes if they appear as the first three bytes in the file. In UTF-8, the use of the BOM is discouraged and should generally be avoided.

Standard Encodings

Python comes with a number of codecs built-in, either implemented as C functions or with dictionaries as mapping tables. The following table lists the codecs by name, together with a few common aliases, and the languages for which the encoding is likely used. Neither the list of aliases nor the list of languages is meant to be exhaustive. Notice that spelling alternatives that only differ in case or use a hyphen instead of an underscore are also valid aliases; therefore, e.g. 'utf-8' is a valid alias for the 'utf_8' codec.

Detalhes da implementação do CPython: Some common encodings can bypass the codecs lookup machinery to improve performance. These optimization opportunities are only recognized by CPython for a limited set of (case insensitive) aliases: utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs (Windows only), ascii, us-ascii, utf-16, utf16, utf-32, utf32, and the same using underscores instead of dashes. Using alternative aliases for these encodings may result in slower execution.

Alterado na versão 3.6: Optimization opportunity recognized for us-ascii.

Many of the character sets support the same languages. They vary in individual characters (e.g. whether the EURO SIGN is supported or not), and in the assignment of characters to code positions. For the European languages in particular, the following variants typically exist:

an ISO 8859 codeset

a Microsoft Windows code page, which is typically derived from an 8859 codeset, but replaces control characters with additional graphic characters

an IBM EBCDIC code page

an IBM PC code page, which is ASCII compatible

Codec

Aliases

Idiomas

ascii

646, us-ascii

Inglês

big5

big5-tw, csbig5

Traditional Chinese

big5hkscs

big5-hkscs, hkscs

Traditional Chinese

cp037

IBM037, IBM039

Inglês

cp273

273, IBM273, csIBM273

Alemão

Adicionado na versão 3.4.

cp424

EBCDIC-CP-HE, IBM424

Hebraico

cp437

437, IBM437

Inglês

cp500

EBCDIC-CP-BE, EBCDIC-CP-CH, IBM500

Western Europe

cp720

Árabe

cp737

Grego

cp775

IBM775

Baltic languages

cp850

850, IBM850

Western Europe

cp852

852, IBM852

Central and Eastern Europe

cp855

855, IBM855

Bulgarian, Byelorussian, Macedonian, Russian, Serbian

cp856

Hebraico

cp857

857, IBM857

Turco

cp858

858, IBM858

Western Europe

cp860

860, IBM860

Português

cp861

861, CP-IS, IBM861

Islandês

cp862

862, IBM862

Hebraico

cp863

863, IBM863

Canadense

cp864

IBM864

Árabe

cp865

865, IBM865

Danish, Norwegian

cp866

866, IBM866

Russo

cp869

869, CP-GR, IBM869

Grego

cp874

Tailandês

cp875

Grego

cp932

932, ms932, mskanji, ms-kanji, windows-31j

Japonês

cp949

949, ms949, uhc

Coreano

cp950

950, ms950

Traditional Chinese

cp1006

Urdu

cp1026

ibm1026

Turco

cp1125

1125, ibm1125, cp866u, ruscii

Ucraniano

Adicionado na versão 3.4.

cp1140

ibm1140

Western Europe

cp1250

windows-1250

Central and Eastern Europe

cp1251

windows-1251

Bulgarian, Byelorussian, Macedonian, Russian, Serbian

cp1252

windows-1252

Western Europe

cp1253

windows-1253

Grego

cp1254

windows-1254

Turco

cp1255

windows-1255

Hebraico

cp1256

windows-1256

Árabe

cp1257

windows-1257

Baltic languages

cp1258

windows-1258

Vietnamita

euc_jp

eucjp, ujis, u-jis

Japonês

euc_jis_2004

jisx0213, eucjis2004

Japonês

euc_jisx0213

eucjisx0213

Japonês

euc_kr

euckr, korean, ksc5601, ks_c-5601, ks_c-5601-1987, ksx1001, ks_x-1001

Coreano

gb2312

chinese, csiso58gb231280, euc-cn, euccn, eucgb2312-cn, gb2312-1980, gb2312-80, iso-ir-58

Simplified Chinese

gbk

936, cp936, ms936

Unified Chinese

gb18030

gb18030-2000

Unified Chinese

hz

hzgb, hz-gb, hz-gb-2312

Simplified Chinese

iso2022_jp

csiso2022jp, iso2022jp, iso-2022-jp

Japonês

iso2022_jp_1

iso2022jp-1, iso-2022-jp-1

Japonês

iso2022_jp_2

iso2022jp-2, iso-2022-jp-2

Japanese, Korean, Simplified Chinese, Western Europe, Greek

iso2022_jp_2004

iso2022jp-2004, iso-2022-jp-2004

Japonês

iso2022_jp_3

iso2022jp-3, iso-2022-jp-3

Japonês

iso2022_jp_ext

iso2022jp-ext, iso-2022-jp-ext

Japonês

iso2022_kr

csiso2022kr, iso2022kr, iso-2022-kr

Coreano

latin_1

iso-8859-1, iso8859-1, 8859, cp819, latin, latin1, L1

Western Europe

iso8859_2

iso-8859-2, latin2, L2

Central and Eastern Europe

iso8859_3

iso-8859-3, latin3, L3

Esperanto, Maltese

iso8859_4

iso-8859-4, latin4, L4

Baltic languages

iso8859_5

iso-8859-5, cyrillic

Bulgarian, Byelorussian, Macedonian, Russian, Serbian

iso8859_6

iso-8859-6, arabic

Árabe

iso8859_7

iso-8859-7, greek, greek8

Grego

iso8859_8

iso-8859-8, hebrew

Hebraico

iso8859_9

iso-8859-9, latin5, L5

Turco

iso8859_10

iso-8859-10, latin6, L6

Nordic languages

iso8859_11

iso-8859-11, thai

Thai languages

iso8859_13

iso-8859-13, latin7, L7

Baltic languages

iso8859_14

iso-8859-14, latin8, L8

Celtic languages

iso8859_15

iso-8859-15, latin9, L9

Western Europe

iso8859_16

iso-8859-16, latin10, L10

South-Eastern Europe

johab

cp1361, ms1361

Coreano

koi8_r

Russo

koi8_t

Tajik

Adicionado na versão 3.5.

koi8_u

Ucraniano

kz1048

kz_1048, strk1048_2002, rk1048

Cazaque

Adicionado na versão 3.5.

mac_cyrillic

maccyrillic

Bulgarian, Byelorussian, Macedonian, Russian, Serbian

mac_greek

macgreek

Grego

mac_iceland

maciceland

Islandês

mac_latin2

maclatin2, maccentraleurope, mac_centeuro

Central and Eastern Europe

mac_roman

macroman, macintosh

Western Europe

mac_turkish

macturkish

Turco

ptcp154

csptcp154, pt154, cp154, cyrillic-asian

Cazaque

shift_jis

csshiftjis, shiftjis, sjis, s_jis

Japonês

shift_jis_2004

shiftjis2004, sjis_2004, sjis2004

Japonês

shift_jisx0213

shiftjisx0213, sjisx0213, s_jisx0213

Japonês

utf_32

U32, utf32

todas linguagens

utf_32_be

UTF-32BE

todas linguagens

utf_32_le

UTF-32LE

todas linguagens

utf_16

U16, utf16

todas linguagens

utf_16_be

UTF-16BE

todas linguagens

utf_16_le

UTF-16LE

todas linguagens

utf_7

U7, unicode-1-1-utf-7

todas linguagens

utf_8

U8, UTF, utf8, cp65001

todas linguagens

utf_8_sig

todas linguagens

Alterado na versão 3.4: The utf-16* and utf-32* encoders no longer allow surrogate code points (U+D800–U+DFFF) to be encoded. The utf-32* decoders no longer decode byte sequences that correspond to surrogate code points.

Alterado na versão 3.8: cp65001 is now an alias to utf_8.

Python Specific Encodings

A number of predefined codecs are specific to Python, so their codec names have no meaning outside Python. These are listed in the tables below based on the expected input and output types (note that while text encodings are the most common use case for codecs, the underlying codec infrastructure supports arbitrary data transforms rather than just text encodings). For asymmetric codecs, the stated meaning describes the encoding direction.

Text Encodings

The following codecs provide str to bytes encoding and bytes-like object to str decoding, similar to the Unicode text encodings.

Codec

Aliases

Significado

idna

Implement RFC 3490 [https://datatracker.ietf.org/doc/html/rfc3490.html], see also encodings.idna. Only errors='strict' is supported.

mbcs

ansi, dbcs

Windows only: Encode the operand according to the ANSI codepage (CP_ACP).

oem

Windows only: Encode the operand according to the OEM codepage (CP_OEMCP).

Adicionado na versão 3.6.

palmos

Encoding of PalmOS 3.5.

punycode

Implement RFC 3492 [https://datatracker.ietf.org/doc/html/rfc3492.html]. Stateful codecs are not supported.

raw_unicode_escape

Latin-1 encoding with \uXXXX and \UXXXXXXXX for other code points. Existing backslashes are not escaped in any way. It is used in the Python pickle protocol.

undefined

Raise an exception for all conversions, even empty strings. The error handler is ignored.

unicode_escape

Encoding suitable as the contents of a Unicode literal in ASCII-encoded Python source code, except that quotes are not escaped. Decode from Latin-1 source code. Beware that Python source code actually uses UTF-8 by default.

Alterado na versão 3.8: “unicode_internal” codec is removed.

Binary Transforms

The following codecs provide binary transforms: bytes-like object to bytes mappings. They are not supported by bytes.decode() (which only produces str output).

Codec

Aliases

Significado

Encoder / decoder

base64_codec [1]

base64, base_64

Convert the operand to multiline MIME base64 (the result always includes a trailing '\n').

Alterado na versão 3.4: accepts any bytes-like object as input for encoding and decoding

base64.encodebytes() / base64.decodebytes()

bz2_codec

bz2

Compress the operand using bz2.

bz2.compress() / bz2.decompress()

hex_codec

hex

Convert the operand to hexadecimal representation, with two digits per byte.

binascii.b2a_hex() / binascii.a2b_hex()

quopri_codec

quopri, quotedprintable, quoted_printable

Convert the operand to MIME quoted printable.

quopri.encode() with quotetabs=True / quopri.decode()

uu_codec

uu

Convert the operand using uuencode.

zlib_codec

zip, zlib

Compress the operand using gzip.

zlib.compress() / zlib.decompress()

[1]

In addition to bytes-like objects, 'base64_codec' also accepts ASCII-only instances of str for decoding

Adicionado na versão 3.2: Restoration of the binary transforms.

Alterado na versão 3.4: Restoration of the aliases for the binary transforms.

Text Transforms

The following codec provides a text transform: a str to str mapping. It is not supported by str.encode() (which only produces bytes output).

Codec

Aliases

Significado

rot_13

rot13

Return the Caesar-cypher encryption of the operand.

Adicionado na versão 3.2: Restoration of the rot_13 text transform.

Alterado na versão 3.4: Restoration of the rot13 alias.

encodings.idna — Internationalized Domain Names in Applications

This module implements RFC 3490 [https://datatracker.ietf.org/doc/html/rfc3490.html] (Internationalized Domain Names in Applications) and RFC 3492 [https://datatracker.ietf.org/doc/html/rfc3492.html] (Nameprep: A Stringprep Profile for Internationalized Domain Names (IDN)). It builds upon the punycode encoding and stringprep.

If you need the IDNA 2008 standard from RFC 5891 [https://datatracker.ietf.org/doc/html/rfc5891.html] and RFC 5895 [https://datatracker.ietf.org/doc/html/rfc5895.html], use the third-party idna [https://pypi.org/project/idna/] module.

These RFCs together define a protocol to support non-ASCII characters in domain names. A domain name containing non-ASCII characters (such as www.Alliancefrançaise.nu) is converted into an ASCII-compatible encoding (ACE, such as www.xn--alliancefranaise-npb.nu). The ACE form of the domain name is then used in all places where arbitrary characters are not allowed by the protocol, such as DNS queries, HTTP Host fields, and so on. This conversion is carried out in the application; if possible invisible to the user: The application should transparently convert Unicode domain labels to IDNA on the wire, and convert back ACE labels to Unicode before presenting them to the user.

Python supports this conversion in several ways: the idna codec performs conversion between Unicode and ACE, separating an input string into labels based on the separator characters defined in section 3.1 of RFC 3490 [https://datatracker.ietf.org/doc/html/rfc3490.html#section-3.1] and converting each label to ACE as required, and conversely separating an input byte string into labels based on the . separator and converting any ACE labels found into unicode. Furthermore, the socket module transparently converts Unicode host names to ACE, so that applications need not be concerned about converting host names themselves when they pass them to the socket module. On top of that, modules that have host names as function parameters, such as http.client and ftplib, accept Unicode host names (http.client then also transparently sends an IDNA hostname in the Host field if it sends that field at all).

When receiving host names from the wire (such as in reverse name lookup), no automatic conversion to Unicode is performed: applications wishing to present such host names to the user should decode them to Unicode.

The module encodings.idna also implements the nameprep procedure, which performs certain normalizations on host names, to achieve case-insensitivity of international domain names, and to unify similar characters. The nameprep functions can be used directly if desired.

encodings.idna.nameprep(label)

Return the nameprepped version of label. The implementation currently assumes query strings, so AllowUnassigned is true.

encodings.idna.ToASCII(label)

Convert a label to ASCII, as specified in RFC 3490 [https://datatracker.ietf.org/doc/html/rfc3490.html]. UseSTD3ASCIIRules is assumed to be false.

encodings.idna.ToUnicode(label)

Convert a label to Unicode, as specified in RFC 3490 [https://datatracker.ietf.org/doc/html/rfc3490.html].

encodings.mbcs — Windows ANSI codepage

This module implements the ANSI codepage (CP_ACP).

Disponibilidade

Alterado na versão 3.2: Before 3.2, the errors argument was ignored; 'replace' was always used to encode, and 'ignore' to decode.

Alterado na versão 3.3: Support any error handler.

encodings.utf_8_sig — UTF-8 codec with BOM signature

This module implements a variant of the UTF-8 codec. On encoding, a UTF-8 encoded BOM will be prepended to the UTF-8 encoded bytes. For the stateful encoder this is only done once (on the first write to the byte stream). On decoding, an optional UTF-8 encoded BOM at the start of the data will be skipped.

Tipos de Dados

Os módulos descritos neste capítulo fornecem uma variedade de tipos de dados especializados, como datas e horas, vetores de tipo fixo, filas de heap, filas de extremidade dupla e enumerações.

O Python também fornece alguns tipos de dados embutidos, em especial dict, list, set e frozenset e tuple. A classe str é usada para armazenar strings Unicode, e as classes bytes e bytearray são usadas para armazenar dados binários.

Os seguintes módulos estão documentados neste capítulo:

datetime — Tipos básicos de data e hora

Objetos Conscientes e Ingênuos

Constantes

MINYEAR

MAXYEAR

UTC

Tipos disponíveis

Propriedades Comuns

Determinando se um Objeto é Consciente ou Ingênuo

Objetos timedelta

timedelta

min

max

resolution

days

seconds

microseconds

total_seconds()

Exemplos de uso: timedelta

Objetos date

date

today()

fromtimestamp()

fromordinal()

fromisoformat()

fromisocalendar()

min

max

resolution

year

month

day

replace()

timetuple()

toordinal()

weekday()

isoweekday()

isocalendar()

isoformat()

__str__()

ctime()

strftime()

__format__()

Exemplos de uso: date

Objetos datetime

datetime

today()

now()

utcnow()

fromtimestamp()

utcfromtimestamp()

fromordinal()

combine()

fromisoformat()

fromisocalendar()

strptime()

min

max

resolution

year

month

day

hour

minute

second

microsecond

tzinfo

fold

date()

time()

timetz()

replace()

astimezone()

utcoffset()

dst()

tzname()

timetuple()

utctimetuple()

toordinal()

timestamp()

weekday()

isoweekday()

isocalendar()

isoformat()

__str__()

ctime()

strftime()

__format__()

Exemplos de uso: datetime

Objetos time

time

min

max

resolution

hour

minute

second

microsecond

tzinfo

fold

fromisoformat()

replace()

isoformat()

__str__()

strftime()

__format__()

utcoffset()

dst()

tzname()

Exemplos de uso: time

Objetos tzinfo

tzinfo

utcoffset()

dst()

tzname()

fromutc()

Objetos timezone

timezone

utcoffset()

tzname()

dst()

fromutc()

utc

strftime() and strptime() Behavior

strftime() and strptime() Format Codes

Detalhes técnicos

zoneinfo — IANA time zone support

Usando ZoneInfo

Data sources

Configuring the data sources

Compile-time configuration

Configuração do ambiente

Runtime configuration

The ZoneInfo class

ZoneInfo

from_file()

no_cache()

clear_cache()

key

String representations

Pickle serialization

Funções

available_timezones()

reset_tzpath()

Globals

TZPATH

Exceptions and warnings

ZoneInfoNotFoundError

InvalidTZPathWarning

calendar — Funções gerais relacionadas ao calendário

Calendar

iterweekdays()

itermonthdates()

itermonthdays()

itermonthdays2()

itermonthdays3()

itermonthdays4()

monthdatescalendar()

monthdays2calendar()

monthdayscalendar()

yeardatescalendar()

yeardays2calendar()

yeardayscalendar()

TextCalendar

formatmonth()

prmonth()

formatyear()

pryear()

HTMLCalendar

formatmonth()

formatyear()

formatyearpage()

formatmonthname()

cssclasses

cssclass_noday

cssclasses_weekday_head

cssclass_month_head

cssclass_month

cssclass_year

cssclass_year_head

LocaleTextCalendar

LocaleHTMLCalendar

setfirstweekday()

firstweekday()

isleap()

leapdays()

weekday()

weekheader()

monthrange()

monthcalendar()

prmonth()

month()

prcal()

calendar()

timegm()

day_name

day_abbr

MONDAY

TUESDAY

WEDNESDAY

THURSDAY

FRIDAY

SATURDAY

SUNDAY

Day

month_name

month_abbr

JANUARY

FEBRUARY

MARCH

APRIL

MAY

JUNE

JULY

AUGUST

SEPTEMBER

OCTOBER

NOVEMBER

DECEMBER

Month

IllegalMonthError

month

IllegalWeekdayError

weekday

Uso na linha de comando

collections — Tipos de dados de contêineres

Objetos ChainMap

ChainMap

maps

new_child()

parents

Exemplos e Receitas de ChainMap

Objetos Counter

Counter

elements()

most_common()

subtract()

total()

fromkeys()

update()

Objetos deque

deque

append()

appendleft()

clear()

copy()

count()

extend()

extendleft()

index()

insert()

pop()

popleft()

remove()

reverse()

rotate()

maxlen

Receitas de deque

Objetos defaultdict

defaultdict

__missing__()

default_factory

Exemplos de defaultdict

Função de fábrica para tuplas com campos nomeados namedtuple()

namedtuple()

_make()

_asdict()

_replace()

_fields

_field_defaults

Objetos OrderedDict

OrderedDict

popitem()

move_to_end()

Exemplos e receitas de OrderedDict

Objetos UserDict

UserDict

data

Objetos UserList

UserList

data

Objetos UserString

UserString

data

collections.abc — Classes Base Abstratas para Contêineres

Classes Base Abstratas de Coleções

Collections Abstract Base Classes – Detailed Descriptions

Container

Hashable

Sized

Callable

Iterable

Collection

Iterator

Reversible

Generator

Sequence

MutableSequence

ByteString

Set

MutableSet

Mapping

MutableMapping

MappingView

ItemsView

KeysView

ValuesView

Awaitable

Coroutine

AsyncIterable

AsyncIterator

AsyncGenerator

Buffer

Exemplos e receitas

heapq — Algoritmo de fila heap

heappush()

heappop()

heappushpop()

heapify()

heapreplace()

merge()

nlargest()

nsmallest()

Exemplos básicos

Notas de implementação da fila de prioridade

Teoria

bisect — Array bisection algorithm

bisect_left()

bisect_right()

bisect()

insort_left()

insort_right()

insort()

Observações sobre desempenho

Pesquisando em listas ordenadas

Exemplos

array— Vetores eficientes de valores numéricos

typecodes

array

typecode

itemsize

append()

buffer_info()

byteswap()

count()

extend()

frombytes()

fromfile()

fromlist()

fromunicode()

index()

insert()

pop()

remove()

clear()

reverse()

tobytes()

tofile()

tolist()

tounicode()

weakref — Referências fracas

ref

__callback__

proxy()

getweakrefcount()

getweakrefs()

WeakKeyDictionary

keyrefs()

WeakValueDictionary

valuerefs()

WeakSet

WeakMethod

finalize

__call__()

detach()

peek()

alive

atexit

ReferenceType

ProxyType

CallableProxyType

ProxyTypes

Objetos referência fraca

Exemplo

Objetos finalizadores

Comparando finalizadores com métodos __del__()

types — Criação de tipos dinâmicos e nomes para tipos embutidos

Criação de tipos dinâmicos

new_class()

prepare_class()

resolve_bases()

get_original_bases()

Tipos padrão do interpretador

NoneType

FunctionType

LambdaType

GeneratorType

CoroutineType

AsyncGeneratorType

CodeType

CellType

MethodType

BuiltinFunctionType

BuiltinMethodType

WrapperDescriptorType

MethodWrapperType

NotImplementedType

MethodDescriptorType

ClassMethodDescriptorType

ModuleType

EllipsisType

GenericAlias

UnionType

TracebackType

FrameType

GetSetDescriptorType

MemberDescriptorType

MappingProxyType

copy()

get()

items()

keys()

values()

CapsuleType

Classes e funções de utilidades adicionais

SimpleNamespace

DynamicClassAttribute()

Funções de utilidade de corrotina

coroutine()

copy — Operações de cópia profunda e cópia rasa

copy()

deepcopy()

replace()

Error

__copy__()

__deepcopy__()

__replace__()

pprint — Impressão bonita de dados

Funções

pp()

pprint()

pformat()

isreadable()

isrecursive()

saferepr()

Objetos PrettyPrinter

PrettyPrinter

pformat()

pprint()

isreadable()

isrecursive()

format()

Exemplo

reprlib — Alternate repr() implementation

Repr

aRepr

repr()

recursive_repr()

Objetos Repr

fillvalue

maxlevel

maxdict

maxlist

maxtuple

maxset

maxfrozenset

maxdeque

maxarray

maxlong

maxstring

maxother

indent

repr()

repr1()

Subclassing Repr Objects

enum — Support for enumerations

Conteúdo do módulo

Tipos de Dados

EnumType

__call__()

__contains__()

__dir__()

__getitem__()

__iter__()

__len__()

__members__

__reversed__()

_add_alias_()

_add_value_alias_()

Enum

name

value

_name_

_value_

_order_

_ignore_

__dir__()

_generate_next_value_()

__init__()

__init_subclass__()

_missing_()

__new__()

__repr__()

__str__()

__format__()

IntEnum

StrEnum

Flag

__contains__()

__or__()

__and__()

__xor__()

_numeric_repr_()

IntFlag

ReprEnum

EnumCheck

UNIQUE

CONTINUOUS

NAMED_FLAGS

FlagBoundary

STRICT

CONFORM

EJECT

KEEP

Nomes __dunder__ suportados

Nomes _sunder_ suportados

Utilities and Decorators

auto

property()

unique()

verify()

member()

nonmember()

global_enum()

show_flag_values()

Notas

graphlib — Funcionalidade para operar com estruturas do tipo grafo

TopologicalSorter

add()

prepare()

is_active()

done()

get_ready()

static_order()

Exceções

CycleError

datetime — Tipos básicos de data e hora

Código-fonte: Lib/datetime.py [https://github.com/python/cpython/tree/3.13/Lib/datetime.py]

O módulo datetime fornece as classes para manipulação de datas e horas.

Ainda que a aritmética de data e hora seja suportada, o foco da implementação é na extração eficiente do atributo para formatação da saída e manipulação.

Dica

Pular para os códigos de formatação.

Ver também

Módulo calendar

Funções gerais relacionadas ao calendário.

Módulo time

Acesso de hora e conversões.

Módulo zoneinfo

Fusos horários concretos representando o banco de dados de fusos horários IANA.

Pacote dateutil [https://dateutil.readthedocs.io/en/stable/]

Biblioteca de terceiros com fuso horário expandido e suporte à análise.

Pacote DateType [https://pypi.org/project/DateType/]

Biblioteca de terceiros que apresenta tipos estáticos distintos para, por exemplo, permitir que verificadores de tipo estático diferenciem datas ingênuas e conscientes.

Objetos Conscientes e Ingênuos

Objetos de data e hora podem ser categorizados como “consciente” ou “ingênuo” dependendo se eles incluem ou não informação sobre fuso horário.

Com conhecimento suficiente dos ajustes de tempo algorítmicos e políticos aplicáveis, como informações de fuso horário e horário de verão, um objeto consciente pode se localizar em relação a outros objetos conscientes. Um objeto consciente representa um momento específico no tempo que não está aberto à interpretação. [1]

Um objeto ingênuo não contém informações suficientes para se localizar inequivocamente em relação a outros objetos de data/hora. Se um objeto ingênuo representa o Coordinated Universal Time (UTC), a hora local, ou a hora em algum outro fuso horário, isso depende exclusivamente do programa, assim como é tarefa do programa decidir se um número específico representa metros, milhas ou massa. Objetos ingênuos são fáceis de entender e trabalhar, com o custo de ignorar alguns aspectos da realidade.

Para aplicativos que requerem objetos conscientes, os objetos datetime e time possuem um atributo opcional de informações do fuso horário, tzinfo, que pode ser definido como uma instância de uma subclasse da classe abstrata tzinfo. Esses objetos tzinfo capturam informações sobre a diferença da hora UTC, o nome do fuso horário e se o horário de verão está em vigor.

Somente uma classe concreta tzinfo, a classe timezone, é fornecida pelo módulo datetime. A classe timezone pode representar fusos horários simples com diferenças fixas do UTC, como o próprio UTC, ou os fusos horários norte-americanos EST e EDT. O suporte a fusos horários em níveis mais detalhados depende da aplicação. As regras para ajuste de tempo em todo o mundo são mais políticas do que racionais, mudam com frequência e não há um padrão adequado para todas as aplicações além da UTC.

Constantes

O módulo datetime exporta as seguintes constantes:

datetime.MINYEAR

O menor número de ano permitido em um objeto date ou datetime. MINYEAR é 1.

datetime.MAXYEAR

O maior número de ano permitido no objeto date ou datetime. MAXYEAR é 9999.

datetime.UTC

Apelido para o singleton de fuso horário UTC datetime.timezone.utc.

Adicionado na versão 3.11.

Tipos disponíveis

class datetime.date

Uma data ingênua idealizada, presumindo que o atual calendário Gregoriano sempre foi, e sempre estará em vigor. Atributos: year, month e day.

class datetime.time

Um horário ideal, independente de qualquer dia em particular, presumindo que todos os dias tenham exatamente 24*60*60 segundos. (Não há noção de “segundos bissextos” aqui.) Atributos: hour, minute, second, microsecond e tzinfo.

class datetime.datetime

Uma combinação de uma data e uma hora. Atributos: year, month, day, hour, minute, second, microsecond e tzinfo.

class datetime.timedelta

Uma duração que expressa a diferença entre duas instâncias datetime ou date para resolução de microssegundos.

class datetime.tzinfo

Uma classe base abstrata para objetos de informações de fuso horário. Eles são usados pelas classes datetime e time para fornecer uma noção personalizável de ajuste de horário (por exemplo, para considerar o fuso horário e/ou o horário de verão).

class datetime.timezone

Uma classe que implementa a classe base abstrata tzinfo como uma diferença fixa do UTC.

Adicionado na versão 3.2.

Objetos desse tipo são imutáveis.

Relacionamentos de subclasse:

object
    timedelta
    tzinfo
        timezone
    time
    date
        datetime

Propriedades Comuns

Os tipos date, datetime, time e timezone compartilham esses recursos comuns:

Objetos desse tipo são imutáveis.

Objetos desses tipos são hasheáveis, o que significa que podem ser usados como chaves de dicionário.

Objetos desse tipo suportam decapagem eficiente através do módulo pickle.

Determinando se um Objeto é Consciente ou Ingênuo

Objetos do tipo date são sempre ingênuos.

Um objeto do tipo time ou datetime pode ser consciente ou ingênuo.

O objeto datetime d é consciente se ambos os seguintes itens forem verdadeiros:

d.tzinfo não é None

d.tzinfo.utcoffset(d) não retorna None

Caso contrário, d é ingênuo.

O objeto time t é consciente, se os seguintes itens são verdadeiros:

t.tzinfo não é None

t.tzinfo.utcoffset(None) não retorna None.

Caso contrário, t é ingênuo.

A distinção entre consciente e ingênuo não se aplica a objetos timedelta.

Objetos timedelta

O objeto timedelta representa uma duração, a diferença entre duas instâncias datetime ou date.

class datetime.timedelta(days=0, seconds=0, microseconds=0, milliseconds=0, minutes=0, hours=0, weeks=0)

Todos os argumentos são opcionais e o padrão é 0. Os argumentos podem ser números inteiros ou ponto flutuantes, e podem ser positivos ou negativos.

Apenas days, seconds e microseconds são armazenados internamente. Os argumentos são convertidos para essas unidades:

Um milissegundo é convertido em 1000 microssegundos.

Um minuto é convertido em 60 segundos.

Uma hora é convertida em 3600 segundos.

Uma semana é convertida para 7 dias.

e dias, segundos e microssegundos são normalizados para que a representação seja única, com

0 <= microseconds < 1000000

0 <= seconds < 3600*24 (o número de segundos em um dia)

-999999999 <= days <= 999999999

O exemplo a seguir ilustra como quaisquer argumentos além de days, seconds e microseconds são “mesclados” e normalizados nos três atributos resultantes:

>>> from datetime import timedelta
>>> delta = timedelta(
...     days=50,
...     seconds=27,
...     microseconds=10,
...     milliseconds=29000,
...     minutes=5,
...     hours=8,
...     weeks=2
... )
>>> # sá restam dias, segundos e microssegundos
>>> delta
datetime.timedelta(days=64, seconds=29156, microseconds=10)

Se qualquer argumento for um ponto flutuante e houver microssegundos fracionários, os microssegundos fracionários restantes de todos os argumentos serão combinados e sua soma será arredondada para o microssegundo mais próximo usando o desempatador de metade da metade para o par. Se nenhum argumento é ponto flutuante, os processos de conversão e normalização são exatos (nenhuma informação é perdida).

Se o valor normalizado de dias estiver fora do intervalo indicado, a exceção OverflowError é levantada.

Observe que a normalização de valores negativos pode ser surpreendente a princípio. Por exemplo:

>>> from datetime import timedelta
>>> d = timedelta(microseconds=-1)
>>> (d.days, d.seconds, d.microseconds)
(-1, 86399, 999999)

Atributos de classe:

timedelta.min

O mais negativo objeto timedelta, timedelta(-999999999).

timedelta.max

O mais positivo objeto timedelta, timedelta(days=999999999, hours=23, minutes=59, seconds=59, microseconds=999999).

timedelta.resolution

A menor diferença possível entre objetos não iguais timedelta, timedelta(microseconds=1).

Observe que, devido à normalização, timedelta.max é maior que -timedelta.min. -timedelta.max não é representável como um objeto timedelta.

Atributos de instância (somente leitura):

timedelta.days

Entre -999.999.999 e 999.999.999 inclusive

timedelta.seconds

Entre 0 e 86.399 inclusive.

Cuidado

É um bug relativamente comum utilizar este atributo de forma não intencional quando, na verdade, o objetivo é obter o valor de total_seconds():

>>> from datetime import timedelta
>>> duration = timedelta(seconds=11235813)
>>> duration.days, duration.seconds
(130, 3813)
>>> duration.total_seconds()
11235813.0

timedelta.microseconds

Entre 0 e 999.999 inclusive.

Operações suportadas:

Operação

Resultado

t1 = t2 + t3

Soma de t2 e t3. Depois t1 - t2 == t3 e t1 - t3 == t2 são verdadeiros. (1)

t1 = t2 - t3

Diferença de t2 e t3. Depois t1 == t2 - t3 e t2 == t1 + t3 são verdadeiros (1)(6)

t1 = t2 * i or t1 = i * t2

Delta multiplicado por um número inteiro. Depois t1 // i == t2 é verdadeiro, desde que i != 0.

Em geral, t1 * i == t1 * (i-1) + t1 é verdadeiro. (1)

t1 = t2 * f or t1 = f * t2

Delta multiplicado por um float, ponto flutuante. O resultado é arredondado para o múltiplo mais próximo de timedelta.resolution usando a metade da metade para o par.

f = t2 / t3

Divisão (3) da duração total t2 por unidade de intervalo t3. Retorna um objeto float.

t1 = t2 / f or t1 = t2 / i

Delta dividido por um float ou um int. O resultado é arredondado para o múltiplo mais próximo de timedelta.resolution usando a metade da metade para o par.

t1 = t2 // i ou t1 = t2 // t3

O piso é calculado e o restante (se houver) é jogado fora. No segundo caso, um número inteiro é retornado. (3)

t1 = t2 % t3

O restante é calculado como um objeto timedelta. (3)

q, r = divmod(t1, t2)

Calcula o quociente e o resto: q = t1 // t2 (3) e r = t1 % t2. q é um inteiro e r é um objeto timedelta.

+t1

Retorna um objeto timedelta com o mesmo valor. (2)

-t1

Equivalente a timedelta(-t1.days, -t1.seconds, -t1.microseconds) e a t1 * -1. (1)(4)

abs(t)

Equivalente a +t quando t.days >= 0 e a -t quando t.days < 0. (2)

str(t)

Retorna uma string no formato [D day[s], ][H]H:MM:SS[.UUUUUU], onde D é negativo para t negativo. (5)

repr(t)

Retorna uma representação em string do objeto timedelta como uma chamada do construtor com valores de atributos canônicos.

Notas:

Isso é exato, mas pode transbordar.

Isso é exato e não pode transbordar.

A divisão por zero levanta ZeroDivisionError.

-timedelta.max não é representável como um objeto timedelta.

As representações de string de objetos timedelta são normalizadas de maneira semelhante à sua representação interna. Isso leva a resultados um tanto incomuns para timedeltas negativos. Por exemplo:

>>> timedelta(hours=-5)
datetime.timedelta(days=-1, seconds=68400)
>>> print(_)
-1 day, 19:00:00

A expressão t2 - t3 sempre será igual à expressão t2 + (-t3) exceto quando t3 for igual a timedelta.max; nesse caso, o primeiro produzirá um resultado enquanto o último transbordará.

Além das operações listadas acima, os objetos timedelta suportam certas adições e subtrações com os objetos date e datetime (veja abaixo).

Alterado na versão 3.2: A divisão pelo piso e a divisão verdadeira de um objeto timedelta por outro objeto timedelta agora são suportadas, assim como as operações restantes e a função divmod(). A divisão verdadeira e multiplicação de um objeto timedelta por um objeto float agora são suportadas.

Objetos timedelta dão suporte a comparações de igualdade e ordem.

Em contexto booleano, um objeto timedelta é considerado verdadeiro se, e somente se, não for igual a timedelta(0).

Métodos de instância:

timedelta.total_seconds()

Retorna o número total de segundos contidos na duração. Equivalente a td / timedelta(seconds=1). Para unidades de intervalo diferentes de segundos, use a forma de divisão diretamente (por exemplo td / timedelta(microseconds=1)).

Observe que, em intervalos de tempo muito grandes (mais de 270 anos na maioria das plataformas), esse método perde a precisão de microssegundos.

Adicionado na versão 3.2.

Exemplos de uso: timedelta

Um exemplo adicional de normalização:

>>> # Os componentes de outro_ano somam exatamente 365 dias
>>> from datetime import timedelta
>>> year = timedelta(days=365)
>>> outro_ano = timedelta(weeks=40, days=84, hours=23,
...                       minutes=50, seconds=600)
>>> year == outro_ano
True
>>> year.total_seconds()
31536000.0

Exemplos de aritmética com timedelta:

>>> from datetime import timedelta
>>> ano = timedelta(days=365)
>>> dez_anos = 10 * ano
>>> dez_anos
datetime.timedelta(days=3650)
>>> dez_anos.days // 365
10
>>> nove_anos = dez_anos - ano
>>> nove_anos
datetime.timedelta(days=3285)
>>> três_anos = nove_anos // 3
>>> três_anos, três_anos.days // 365
(datetime.timedelta(days=1095), 3)

Objetos date

O objeto date representa uma data (ano, mês e dia) em um calendário idealizado, o atual calendário Gregoriano estendido indefinidamente em ambas as direções.

1º de janeiro do ano 1 é chamado de dia número 1, 2º de janeiro do ano 1 é chamado de dia número 2, e assim por diante. [2]

class datetime.date(year, month, day)

Todos os argumentos são obrigatórios. Os argumentos devem ser números inteiros, nos seguintes intervalos:

MINYEAR <= year <= MAXYEAR

1 <= month <= 12

1 <= day <= número de dias no mês e ano fornecidos

Se um argumento fora desses intervalos for fornecido, a exceção ValueError é levantada.

Outros construtores, todos os métodos de classe.

classmethod date.today()

Retorna a data local atual.

Isso é equivalente a date.fromtimestamp(time.time()).

classmethod date.fromtimestamp(timestamp)

Retorna a data local correspondente ao registro de data e hora do POSIX, como é retornado por time.time().

Isso pode levantar OverflowError, se o registro de data e hora estiver fora do intervalo de valores suportados pela função C localtime() da plataforma, e em caso de falha OSError em localtime(). É comum que isso seja restrito a anos de 1970 a 2038. Observe que, em sistemas não POSIX que incluem segundos bissextos na sua notação de registro de data e hora, os segundos bissextos são ignorados por fromtimestamp().

Alterado na versão 3.3: Levanta OverflowError ao invés de ValueError se o registro de data e hora estiver fora do intervalo de valores suportados pela plataforma C localtime() função. Levanta OSError ao invés de ValueError em falha de localtime() .

classmethod date.fromordinal(ordinal)

Retorna a data correspondente ao ordinal proléptico gregoriano, considerando que 1º de janeiro do ano 1 tem o ordinal 1.

ValueError é levantado a menos que 1 <= ordinal <= date.max.toordinal(). Para qualquer data d, date.fromordinal(d.toordinal()) == d.

classmethod date.fromisoformat(date_string)

Retorna um date correspondendo a date_string dada em qualquer formato válido de ISO 8601, com as seguintes exceções:

Datas de precisão reduzida não são atualmente suportadas (YYYY-MM, YYYY).

Representações de data estendidas não são atualmente suportadas (±YYYYYY-MM-DD).

Atualmente, as datas ordinais não são suportadas (YYYY-OOO).

Exemplos:

>>> from datetime import date
>>> date.fromisoformat('2019-12-04')
datetime.date(2019, 12, 4)
>>> date.fromisoformat('20191204')
datetime.date(2019, 12, 4)
>>> date.fromisoformat('2021-W01-1')
datetime.date(2021, 1, 4)

Adicionado na versão 3.7.

Alterado na versão 3.11: Anteriormente, este método tinha suporte apenas ao formato YYYY-MM-DD.

classmethod date.fromisocalendar(year, week, day)

Retorna um objeto date correspondendo a data em calendário ISO especificada por year, week e day. Esta é o inverso da função date.isocalendar().

Adicionado na versão 3.8.

Atributos de classe:

date.min

A data representável mais antiga, date(MINYEAR, 1, 1).

date.max

A data representável mais tardia, date(MAXYEAR, 12, 31).

date.resolution

A menor diferença possível entre objetos date não iguais, timedelta(days=1).

Atributos de instância (somente leitura):

date.year

Entre MINYEAR e MAXYEAR incluindo extremos.

date.month

Entre 1 e 12 incluindo extremos.

date.day

Entre 1 e o número de dias no mês especificado do ano especificado.

Operações suportadas:

Operação

Resultado

date2 = date1 + timedelta

date2 terá timedelta.days dias após date1. (1)

date2 = date1 - timedelta

Calcula date2 de modo que date2 + timedelta == date1. (2)

timedelta = date1 - date2

(3)

date1 == date2

date1 != date2

Comparação de igualdade. (4)

date1 < date2

date1 > date2

date1 <= date2

date1 >= date2

Comparação de ordem. (5)

Notas:

date2 é movida para frente no tempo se timedelta.days > 0, ou para trás se timedelta.days < 0. Posteriormente date2 - date1 == timedelta.days. timedelta.seconds e timedelta.microseconds são ignorados. A exceção OverflowError é levantada se date2.year for menor que MINYEAR ou maior que MAXYEAR.

timedelta.seconds e timedelta.microseconds são ignoradas.

Isso é exato e não pode estourar. timedelta.seconds e timedelta.microseconds são 0, e date2 + timedelta == date1 depois.

Objetos date são iguais se representam a mesma data.

Objetos date que não são também instâncias datetime nunca são iguais a objetos datetime, mesmo que representem a mesma data.

date1 é considerado menor que date2 quando date1 preceder date2 no tempo. Em outras palavras, date1 < date2 se e somente se date1.toordinal() < date2.toordinal().

A comparação de ordem entre um objeto date que não é também uma instância datetime e um objeto datetime levanta TypeError.

Alterado na versão 3.13: A comparação entre o objeto datetime e uma instância da subclasse date que não é uma subclasse datetime não converte mais a última para date, ignorando o parte horária e o fuso horário. O comportamento padrão pode ser alterado substituindo os métodos especiais de comparação nas subclasses.

Em contextos booleanos, todo objeto date é considerado verdadeiro.

Métodos de instância:

date.replace(year=self.year, month=self.month, day=self.day)

Retorna uma data com o mesmo valor, exceto por aqueles parâmetros que receberam novos valores, por quaisquer argumentos nomeados especificados.

Exemplo:

>>> from datetime import date
>>> d = date(2002, 12, 31)
>>> d.replace(day=26)
datetime.date(2002, 12, 26)

Objetos date também são suportados pela função genérica copy.replace().

date.timetuple()

Retorna uma time.struct_time tal como retornado por time.localtime().

As horas, minutos e segundos são 0, e o sinalizador de horário de verão é -1.

d.timetuple() é equivalente a:

time.struct_time((d.year, d.month, d.day, 0, 0, 0, d.weekday(), yday, -1))

sendo yday = d.toordinal() - date(d.year, 1, 1).toordinal() + 1 o número do dia no ano atual, começando com 1 para 1º de janeiro.

date.toordinal()

Retorna o ordinal proléptico gregoriano da data, considerando que 1º de janeiro do ano 1 tem o ordinal 1. Para qualquer objeto date d, date.fromordinal(d.toordinal()) == d.

date.weekday()

Retorna o dia da semana como um inteiro, onde Segunda é 0 e Domingo é 6. Por exemplo, date(2002, 12, 4).weekday() == 2, uma Quarta-feira. Veja também isoweekday().

date.isoweekday()

Retorna o dia da semana como um inteiro, onde Segunda é 1 e Domingo é 7. Por exemplo, date(2002, 12, 4).isoweekday() == 3, uma Quarta-feira. Veja também weekday(), isocalendar().

date.isocalendar()

Retorna um objeto tupla nomeada com três componentes: year, week e weekday.

O calendário ISO é uma variação amplamente usada do calendário gregoriano. [3]

O ano ISO consiste de 52 ou 53 semanas completas, e onde uma semana começa na segunda-feira e termina no domingo. A primeira semana de um ano ISO é a primeira semana no calendário (Gregoriano) de um ano contendo uma quinta-feira. Isso é chamado de semana número 1, e o ano ISO dessa quinta-feira é o mesmo que o seu ano Gregoriano.

Por exemplo, 2004 começa em uma quinta-feira, então a primeira semana do ano ISO 2004 começa na segunda-feira, 29 de dezembro de 2003, e termina no domingo, 4 de janeiro de 2004:

>>> from datetime import date
>>> date(2003, 12, 29).isocalendar()
datetime.IsoCalendarDate(year=2004, week=1, weekday=1)
>>> date(2004, 1, 4).isocalendar()
datetime.IsoCalendarDate(year=2004, week=1, weekday=7)

Alterado na versão 3.9: Resultado alterado de uma tupla para uma tupla nomeada.

date.isoformat()

Retorna uma string representando a data no formato ISO 8601, YYYY-MM-DD:

>>> from datetime import date
>>> date(2002, 12, 4).isoformat()
'2002-12-04'

date.__str__()

Para um data d, str(d) é equivalente a d.isoformat().

date.ctime()

Retorna uma string representando a data:

>>> from datetime import date
>>> date(2002, 12, 4).ctime()
'Wed Dec  4 00:00:00 2002'

d.ctime() é equivalente a:

time.ctime(time.mktime(d.timetuple()))

em plataformas em que a função C nativa ctime() (que é invocada pela função time.ctime(), mas não pelo método date.ctime()) se conforma com o padrão C.

date.strftime(format)

Retorna uma string representando a data, controlado por uma string explícita de formatação. Códigos de formatação referenciando horas, minutos ou segundos irão ver valores 0. Veja também strftime() and strptime() Behavior e date.isoformat().

date.__format__(format)

O mesmo que date.strftime(). Isso torna possível especificar uma string de formatação para o objeto date em literais de string formatados e ao usar str.format(). Veja também strftime() and strptime() Behavior e date.isoformat().

Exemplos de uso: date

Exemplo de contagem de dias para um evento:

>>> import time
>>> from datetime import date
>>> hoje = date.today()
>>> hoje
datetime.date(2007, 12, 5)
>>> hoje == date.fromtimestamp(time.time())
True
>>> meu_aniversário = date(hoje.year, 6, 24)
>>> if meu_aniversário < hoje:
...     meu_aniversário = meu_aniversário.replace(year=hoje.year + 1)
...
>>> meu_aniversário
datetime.date(2008, 6, 24)
>>> tempo_até_aniversário = abs(meu_aniversário - hoje)
>>> tempo_até_aniversário.days
202

Mais exemplos de uso da classe date:

>>> from datetime import date
>>> d = date.fromordinal(730920) # 730920º dia após 1. 1. 0001
>>> d
datetime.date(2002, 3, 11)

>>> # Métodos relacionados à formatação de saída de string
>>> d.isoformat()
'2002-03-11'
>>> d.strftime("%d/%m/%y")
'11/03/02'
>>> d.strftime("%A %d. %B %Y")
'Monday 11. March 2002'
>>> d.ctime()
'Mon Mar 11 00:00:00 2002'
>>> 'O {1} é {0:%d}, o {2} é {0:%B}.'.format(d, "dia", "mês")
'O dia é 11, o mês é March.'

>>> # Métodos para extrair 'componentes' em diferentes calendários
>>> t = d.timetuple()
>>> for i in t:
...     print(i)
2002                # ano
3                   # mês
11                  # dia
0
0
0
0                   # dia de semana (0 = segunda-feira)
70                  # 70º dia no ano
-1
>>> ic = d.isocalendar()
>>> for i in ic:
...     print(i)
2002                # ano em ISO
11                  # número da semana em ISO
1                   # número do dia em ISO ( 1 = segunda-feira )

>>> # O objeto data é imutável; todas as operações produzem um novo objeto
>>> d.replace(year=2005)
datetime.date(2005, 3, 11)

Objetos datetime

Um objeto datetime é um único objeto contendo todas as informações de um objeto date e um objeto time.

Assim como um objeto date, datetime presume o atual calendário Gregoriano estendido em ambas as direções; assim como um objeto time, datetime presume que existem exatamente 3600*24 segundos em cada dia.

Construtor:

class datetime.datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0, tzinfo=None, *, fold=0)

Os argumentos year, month e day são obrigatórios. tzinfo pode ser None, ou uma instância de subclasse de tzinfo. Os argumentos remanescentes devem ser inteiros nos seguintes intervalos:

MINYEAR <= year <= MAXYEAR,

1 <= month <= 12,

1 <= day <= número de dias no mês e ano fornecidos,

0 <= hour < 24,

0 <= minute < 60,

0 <= second < 60,

0 <= microsecond < 1000000,

fold in [0, 1].

Se um argumento fora desses intervalos for fornecido, a exceção ValueError é levantada.

Alterado na versão 3.6: Adicionado o parâmetro fold.

Outros construtores, todos os métodos de classe.

classmethod datetime.today()

Retorna a data e hora local atual, com o atributo tzinfo definido para None.

Equivalente a:

datetime.fromtimestamp(time.time())

Veja também now(), fromtimestamp().

Este método é funcionalmente equivalente a now(), mas sem um parâmetro tz.

classmethod datetime.now(tz=None)

Retorna a data e hora local atual.

Se o argumento opcional tz é None ou não especificado, isto é o mesmo que today(), mas, se possível, fornece mais precisão do que pode ser obtido indo por um registro de data e hora da função time.time() (por exemplo, isto pode ser possível em plataformas que fornecem a função C gettimeofday()).

Se tz não for None, ele deve ser uma instância de uma subclasse de tzinfo, e a data e hora local atual são convertidas para o fuso horário de tz.

Esta função é preferida ao invés de today() e utcnow().

Nota

Chamadas subsequentes para datetime.now() podem retornar o mesmo instante, dependendo da precisão do relógio subjacente.

classmethod datetime.utcnow()

Retorna a data e hora atual em UTC, com tzinfo como None.

Este é similar a now(), mas retorna a data e hora atual em UTC, como um objeto datetime ingênuo. Um datetime UTC consciente pode ser obtido chamando datetime.now(timezone.utc). Veja também now().

Aviso

Devido ao fato de objetos datetime ingênuos serem tratados por muitos métodos datetime como hora local, é preferível usar datetimes conscientes para representar horas em UTC. De tal forma, a maneira recomendada para criar um objeto representando a hora local em UTC é chamando datetime.now(timezone.utc).

Obsoleto desde a versão 3.12: Use datetime.now() com UTC.

classmethod datetime.fromtimestamp(timestamp, tz=None)

Retorna a data e hora local correspondente ao registro de data e hora POSIX, como é retornado por time.time(). Se o argumento opcional tz é None ou não especificado, o registro de data e hora é convertido para a data e hora local da plataforma, e o objeto datetime retornado é ingênuo.

Se tz não for None, ela deve ser uma instância de uma subclasse de tzinfo, e o registro de data e hora é convertido para o fuso horário de tz.

fromtimestamp() pode levantar OverflowError, se o registro de data e hora estiver fora do intervalo de valores suportados pelas funções em C localtime() ou gmtime() da plataforma, e ocorrer uma falha de OSError em localtime() ou gmtime(). É comum para isso ser restrito aos anos 1970 até 2038. Perceba que em sistemas não-POSIX que incluem segundos bissextos na sua notação de registro de data e hora, segundos bissextos são ignorados por fromtimestamp(), e então é possível ter dois registros de data e hora com diferença de um segundo que apresentam objetos datetime idênticos. Este método é preferido sobre utcfromtimestamp().

Alterado na versão 3.3: Levanta um OverflowError ao invés de ValueError se o registro de data e hora estiver fora do intervalo dos valores suportados pelas funções C localtime() ou gmtime() da plataforma. Levanta OSError ao invés de ValueError em falhas de localtime() ou gmtime().

Alterado na versão 3.6: fromtimestamp() pode retornar instâncias com fold igual a 1.

classmethod datetime.utcfromtimestamp(timestamp)

Retorna o datetime UTC correspondente ao registro de data e hora POSIX, com tzinfo setado para None. (O objeto resultante é ingênuo.)

Isso pode levantar OverflowError, se o registro de data e hora estiver fora do intervalo de valores suportados pela função C gmtime() da plataforma, e em caso de falha OSError em gmtime(). É comum que isso seja restrito a anos de 1970 a 2038.

Para conseguir um objeto datetime consciente, chame fromtimestamp():

datetime.fromtimestamp(timestamp, timezone.utc)

Nas plataformas compatíveis com POSIX, é equivalente à seguinte expressão:

datetime(1970, 1, 1, tzinfo=timezone.utc) + timedelta(seconds=timestamp)

com a exceção de que a última fórmula sempre dá suporte ao intervalo completo de anos: entre MINYEAR e MAXYEAR inclusive.

Aviso

Devido ao fato de objetos datetime ingênuos serem tratados por muitos métodos datetime como hora local, é preferível usar datetimes conscientes para representar horas em UTC. De tal forma, a maneira recomendada para criar um objeto representando um registro de data e hora específico em UTC é chamando datetime.fromtimestamp(timestamp, tz=timezone.utc).

Alterado na versão 3.3: Levanta OverflowError ao invés de ValueError se o registro de data e hora estiver fora do intervalo de valores suportados pela função C gmtime() da plataforma. Levanta OSError ao invés de ValueError em caso de falha gmtime().

Obsoleto desde a versão 3.12: Use datetime.fromtimestamp() com UTC.

classmethod datetime.fromordinal(ordinal)

Retorna um datetime correspondente ao ordinal proléptico Gregoriano, onde 1º de janeiro do ano 1 tem ordinal 1. ValueError é levantado a não ser que 1 <= ordinal <= datetime.max.toordinal(). As horas, minutos, segundos e micro segundos do resultado são todos 0, e tzinfo é None.

classmethod datetime.combine(date, time, tzinfo=time.tzinfo)

Retorna um novo objeto datetime no qual os componentes de data são iguais ao objeto date fornecido, e nos quais os componentes de hora são iguais ao do objeto time fornecido. Se o argumento tzinfo é fornecido, seu valor é usado para definir o atributo tzinfo do resultado, caso contrário o atributo tzinfo do argumento time é usado. Se o argumento date é um objeto datetime, seus componentes de hora e atributos tzinfo são ignorados.

Para qualquer objeto datetime d, d == datetime.combine(d.date(), d.time(), d.tzinfo).

Alterado na versão 3.6: Adicionado o argumento tzinfo.

classmethod datetime.fromisoformat(date_string)

Retorna um datetime correspondendo a date_string em qualquer formato válido de ISO 8601, com as seguintes exceções:

Os deslocamentos de fuso horário podem ter segundos fracionários.

O separador T pode ser substituído por qualquer caractere unicode único.

Horas e minutos fracionários não são suportados.

Datas de precisão reduzida não são atualmente suportadas (YYYY-MM, YYYY).

Representações de data estendidas não são atualmente suportadas (±YYYYYY-MM-DD).

Atualmente, as datas ordinais não são suportadas (YYYY-OOO).

Exemplos:

>>> from datetime import datetime
>>> datetime.fromisoformat('2011-11-04')
datetime.datetime(2011, 11, 4, 0, 0)
>>> datetime.fromisoformat('20111104')
datetime.datetime(2011, 11, 4, 0, 0)
>>> datetime.fromisoformat('2011-11-04T00:05:23')
datetime.datetime(2011, 11, 4, 0, 5, 23)
>>> datetime.fromisoformat('2011-11-04T00:05:23Z')
datetime.datetime(2011, 11, 4, 0, 5, 23, tzinfo=datetime.timezone.utc)
>>> datetime.fromisoformat('20111104T000523')
datetime.datetime(2011, 11, 4, 0, 5, 23)
>>> datetime.fromisoformat('2011-W01-2T00:05:23.283')
datetime.datetime(2011, 1, 4, 0, 5, 23, 283000)
>>> datetime.fromisoformat('2011-11-04 00:05:23.283')
datetime.datetime(2011, 11, 4, 0, 5, 23, 283000)
>>> datetime.fromisoformat('2011-11-04 00:05:23.283+00:00')
datetime.datetime(2011, 11, 4, 0, 5, 23, 283000, tzinfo=datetime.timezone.utc)
>>> datetime.fromisoformat('2011-11-04T00:05:23+04:00')
datetime.datetime(2011, 11, 4, 0, 5, 23,
    tzinfo=datetime.timezone(datetime.timedelta(seconds=14400)))

Adicionado na versão 3.7.

Alterado na versão 3.11: Anteriormente, este método suportava apenas formatos que podiam ser emitidos por date.isoformat() ou datetime.isoformat().

classmethod datetime.fromisocalendar(year, week, day)

Retorna um datetime correspondente à data no calendário ISO especificada por year, week e day. Os componentes não-data do datetime são preenchidos normalmente com seus valores padrões. Isso é o inverso da função datetime.isocalendar().

Adicionado na versão 3.8.

classmethod datetime.strptime(date_string, format)

Retorna um datetime correspondente ao date_string, analisado de acordo com format.

Se format não contiver microssegundos ou informações de fuso horário, isso é equivalente a:

datetime(*(time.strptime(date_string, format)[0:6]))

ValueError é levantado se o date_string e o format não puderem ser interpretados por time.strptime() ou se ele retorna um valor o qual não é uma tupla temporal. Veja também strftime() and strptime() Behavior e datetime.fromisoformat().

Alterado na versão 3.13: Se format especificar um dia do mês sem um ano, um DeprecationWarning agora é emitido. Isso é para evitar um bug de ano bissexto quadrienal no código que busca analisar apenas um mês e dia, pois o ano padrão usado na ausência de um no formato não é um ano bissexto. Esses valores de format podem gerar um erro a partir do Python 3.15. A solução alternativa é sempre incluir um ano em seu format. Se estiver analisando valores de date_string que não têm um ano, adicione explicitamente um ano que seja um ano bissexto antes da análise:

>>> from datetime import datetime
>>> date_string = "02/29"
>>> when = datetime.strptime(f"{date_string};1984", "%m/%d;%Y")  # Evita o bug do ano bissexto.
>>> when.strftime("%B %d")
'February 29'

Atributos de classe:

datetime.min

O primeiro datetime representável, datetime(MINYEAR, 1, 1, tzinfo=None).

datetime.max

O último datetime representável, datetime(MAXYEAR, 12, 31, 23, 59, 59, 999999, tzinfo=None).

datetime.resolution

A menor diferença possível entre objetos datetime diferentes, timedelta(microseconds=1).

Atributos de instância (somente leitura):

datetime.year

Entre MINYEAR e MAXYEAR incluindo extremos.

datetime.month

Entre 1 e 12 incluindo extremos.

datetime.day

Entre 1 e o número de dias no mês especificado do ano especificado.

datetime.hour

No intervalo range(24).

datetime.minute

No intervalo range(60).

datetime.second

No intervalo range(60).

datetime.microsecond

No intervalo range(1000000).

datetime.tzinfo

O objeto passado como o argumento tzinfo do construtor datetime, ou None se nada foi passado.

datetime.fold

Entre [0, 1]. Usado para desambiguar tempos reais durante um intervalo repetido. (Um intervalo repetido ocorre quando relógios são atrasados ao final do horário de verão ou quando a diferença UTC para o fuso horário atual é reduzida por razões políticas.) Os valores 0 e 1 representam, respectivamente, o primeiro e o segundo dos dois momentos com a mesma representação de tempo real.

Adicionado na versão 3.6.

Operações suportadas:

Operação

Resultado

datetime2 = datetime1 + timedelta

(1)

datetime2 = datetime1 - timedelta

(2)

timedelta = datetime1 - datetime2

(3)

datetime1 == datetime2

datetime1 != datetime2

Comparação de igualdade. (4)

datetime1 < datetime2

datetime1 > datetime2

datetime1 <= datetime2

datetime1 >= datetime2

Comparação de ordem. (5)

datetime2 representa a duração de timedelta removido de datetime1, movendo o tempo para frente se timedelta.days > 0, ou para trás se timedelta.days < 0. O resultado tem o mesmo atributo tzinfo que o datetime de entrada, e datetime2 - datetime1 == timedelta após. OverflowError é levantada se datetime2.year fosse menor que MINYEAR ou maior que MAXYEAR. Perceba que nenhum ajuste no fuso horário é feito mesmo se a entrada é um objeto consciente disso.

Computa o datetime2 tal que datetime2 + timedelta == datetime1. Assim como para adição, o resultado tem o mesmo atributo tzinfo que datetime de entrada, e nenhum ajuste de fuso horário é feito mesmo que a entrada seja consciente disso.

Subtração de um datetime de outro datetime é definido apenas se ambos os operandos são ingênuos, ou se ambos são conscientes. Se um deles é consciente e o outro é ingênuo, TypeError é levantado.

Se ambos são ingênuos, ou ambos são conscientes e tiverem o mesmo atributo tzinfo, os atributos tzinfo são ignorados, e o resultado é um objeto t do tipo timedelta, tal que datetime2 + t == datetime1. Nenhum ajuste de fuso horário é feito neste caso.

Se ambas são conscientes e têm atributos tzinfo diferentes, a-b age como se a e b tivessem sido primeiro convertidos para datetimes ingênuas em UTC. O resultado é (a.replace(tzinfo=None) - a.utcoffset()) - (b.replace(tzinfo=None) - b.utcoffset()) exceto que a implementação nunca estoura.

Objetos datetime são iguais se representarem a mesma data e hora, levando em consideração o fuso horário.

Objetos datetime ingênuos e conscientes nunca são iguais.

Se ambos os comparandos forem conscientes e tiverem o mesmo atributo tzinfo, os atributos tzinfo e fold serão ignorados e os datetimes base serão comparados. Se ambos os comparandos forem conscientes e tiverem atributos tzinfo diferentes, a comparação atua como se os comparandos fossem primeiro convertidos para datetimes UTC, exceto que a implementação nunca estoura. Instâncias datetime em um intervalo repetido nunca são iguais a instâncias datetime em outro fuso horário.

datetime1 é considerado menor que datetime2 quando datetime1 precede datetime2 no tempo. levando em consideração o fuso horário.

A comparação de ordens entre objetos datetime ingênuos e conscientes levanta TypeError.

Se ambos os comparandos forem conscientes e tiverem o mesmo atributo tzinfo, os atributos tzinfo e fold serão ignorados e os datetimes base serão comparados. Se ambos os comparandos forem conscientes e tiverem atributos tzinfo diferentes, a comparação atua como se os comparandos fossem primeiro convertidos para datetimes UTC, exceto que a implementação nunca estoura.

Alterado na versão 3.3: Comparações de igualdade entre instâncias de datetime conscientes e nativas não levantam TypeError.

Alterado na versão 3.13: A comparação entre o objeto datetime e uma instância da subclasse date que não é uma subclasse datetime não converte mais a última para date, ignorando o parte horária e o fuso horário. O comportamento padrão pode ser alterado substituindo os métodos especiais de comparação nas subclasses.

Métodos de instância:

datetime.date()

Retorna um objeto date com o mesmo ano, mês e dia.

datetime.time()

Retorna um objeto time com a mesma hora, minuto, segundo, microssegundo e fold. O atributo tzinfo é None. Veja também o método timetz().

Alterado na versão 3.6: O valor fold é copiado para o objeto time retornado.

datetime.timetz()

Retorna um objeto time com os mesmos atributos de hora, minuto, segundo, microssegundo, fold e tzinfo. Veja também o método time().

Alterado na versão 3.6: O valor fold é copiado para o objeto time retornado.

datetime.replace(year=self.year, month=self.month, day=self.day, hour=self.hour, minute=self.minute, second=self.second, microsecond=self.microsecond, tzinfo=self.tzinfo, *, fold=0)

Retorna um datetime com os mesmos atributos, exceto para aqueles atributos que receberam novos valores por quaisquer argumentos nomeados que foram especificados. Perceba que tzinfo=None pode ser especificado para criar um datetime ingênuo a partir de um datetime consciente, sem conversão de dados da data ou hora.

Objetos datetime também são suportados pela função genérica copy.replace().

Alterado na versão 3.6: Adicionado o parâmetro fold.

datetime.astimezone(tz=None)

Retorna um objeto datetime com novo atributo tzinfo definido por tz, ajustando a data e hora de forma que o resultado seja o mesmo horário UTC que self, mas na hora local de tz.

Se fornecido, tz deve ser uma instância de uma subclasse tzinfo, e seus métodos utcoffset() e dst() não devem retornar None. Se self for ingênuo, é presumido que ele representa o tempo no fuso horário do sistema.

Se for chamado sem argumentos (ou com tz=None) o fuso horário do sistema local é presumido como o fuso horário desejado. O atributo .tzinfo da instância datetime convertida será definido para uma instância de timezone com o nome da zona e um deslocamento obtido a partir do sistema operacional.

Se self.tzinfo for tz, self.astimezone(tz) é igual a self: nenhum ajuste nos dados de data ou hora é realizado. Caso contrário o resultado é a hora local no fuso horário tz, representando a mesma hora UTC que self: depois astz = dt.astimezone(tz), astz - astz.utcoffset() terá os mesmos dados de data e hora que dt - dt.utcoffset().

Se você quer meramente anexar um objeto timezone tz a um datetime dt sem ajustes de dados de data e hora, use dt.replace(tzinfo=tz). Se você meramente quer remover o objeto timezone de um datetime consciente dt sem conversão de dados de data e hora, use dt.replace(tzinfo=None).

Perceba que o método padrão tzinfo.fromutc() pode ser substituído em uma subclasse tzinfo para afetar o resultado retornado por astimezone(). Ignorando erros de letras maiúsculas/minúsculas, astimezone() funciona como:

def astimezone(self, tz):
    if self.tzinfo is tz:
        return self
    # Converte self para UTC e anexa o novo objeto timezone.
    utc = (self - self.utcoffset()).replace(tzinfo=tz)
    # Converte o horário local de UTC para tz.
    return tz.fromutc(utc)

Alterado na versão 3.3: tz agora pode ser omitido.

Alterado na versão 3.6: O método astimezone() agora pode ser chamado em instâncias ingênuas que presumidamente representam a hora local do sistema.

datetime.utcoffset()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.utcoffset(self), e levanta uma exceção se o segundo não retornar None ou um objeto timedelta com magnitude menor que um dia.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

datetime.dst()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.dst(self), e levanta uma exceção se o segundo não retornar None ou um objeto timedelta com magnitude menor que um dia.

Alterado na versão 3.7: A diferença de horário de verão não é restrita a um número completo de minutos.

datetime.tzname()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.tzname(self), levanta uma exceção se o segundo não retornar None ou um objeto string.

datetime.timetuple()

Retorna uma time.struct_time tal como retornado por time.localtime().

d.timetuple() é equivalente a:

time.struct_time((d.year, d.month, d.day,
                  d.hour, d.minute, d.second,
                  d.weekday(), yday, dst))

onde yday = d.toordinal() - date(d.year, 1, 1).toordinal() + 1 é o número de dias dentro do ano atual, começando com 1 para 1º de janeiro. O sinalizador tm_isdst do resultado é definido conforme o método dst(): tzinfo é None ou dst() retorna None, tm_isdst é definido para -1; caso contrário se dst() retornar um valor diferente de zero, tm_isdst é definido para 1; caso contrário tm_isdst é definido para 0.

datetime.utctimetuple()

Se a instância datetime d é ingênua, isto é o mesmo que d.timetuple(), exceto que tm_isdst é forçado para 0, independentemente do que d.dst() retornar. O horário de verão nunca é afetado por um horário UTC.

Se d é consciente, d é normalizado para horário UTC, subtraindo d.utcoffset(), e um time.struct_time para o horário normalizado é retornado. tm_isdst é forçado para 0. Observe que uma exceção OverflowError pode ser levantada se d.year for MINYEAR ou MAXYEAR e os ajustes UTC ultrapassar o limite de um ano.

Aviso

Por causa que objetos datetime ingênuos são tratados por muitos métodos datetime como hora local, é preferido usar datetimes conscientes para representar horários em UTC; como resultado, usar datetime.utctimetuple() pode dar resultados enganosos. Se você tem um datetime ingênuo representando UTC, use datetime.replace(tzinfo=timezone.utc) para torná-lo consciente, ponto no qual você pode usar datetime.timetuple().

datetime.toordinal()

Retorna o ordinal proléptico gregoriano da data. o mesmo que self.date().toordinal().

datetime.timestamp()

Retorna o registro de data e hora POSIX correspondente a instância datetime. O valor de retorno é um float similar aquele retornado por time.time().

Presume-se que instâncias datetime ingênuas representam a hora local e este método depende da função C mktime() da plataforma para realizar a conversão. Como datetime suporta um intervalo maior de valores que mktime() em muitas plataformas, este método pode levantar OverflowError ou OSError para horários longe no passado ou longe no futuro.

Para instâncias conscientes de datetime, o valor retornado é computado como:

(dt - datetime(1970, 1, 1, tzinfo=timezone.utc)).total_seconds()

Adicionado na versão 3.3.

Alterado na versão 3.6: O método timestamp() usa o atributo fold para desambiguar os tempos durante um intervalo repetido.

Nota

Não existe método para obter o timestamp POSIX diretamente de uma instância datetime ingênua representando tempo em UTC. Se a sua aplicação usa esta convenção e o fuso horário do seu sistema não está setado para UTC, você pode obter o registro de data e hora POSIX fornecendo tzinfo=timezone.utc:

timestamp = dt.replace(tzinfo=timezone.utc).timestamp()

ou calculando o registro de data e hora diretamente:

timestamp = (dt - datetime(1970, 1, 1)) / timedelta(seconds=1)

datetime.weekday()

Retorna o dia da semana como um inteiro, em que segunda-feira é 0 e domingo é 6. O mesmo que self.date().weekday(). Veja também isoweekday().

datetime.isoweekday()

Retorna o dia da semana como um inteiro, em que segunda-feira é 1 e domingo é 7. O mesmo que self.date().isoweekday(). Veja também weekday(), isocalendar().

datetime.isocalendar()

Retorna uma tupla nomeada com três componentes: year, week e weekday. O mesmo que self.date().isocalendar().

datetime.isoformat(sep='T', timespec='auto')

Retorna uma string representando a data e o tempo no formato ISO 8601:

YYYY-MM-DDTHH:MM:SS.ffffff, se microsecond não é 0

YYYY-MM-DDTHH:MM:SS, se microsecond é 0

Se utcoffset() não retorna None, uma string é adicionada com a diferença UTC:

YYYY-MM-DDTHH:MM:SS.ffffff+HH:MM[:SS[.ffffff]], se microsecond não é 0

YYYY-MM-DDTHH:MM:SS+HH:MM[:SS[.ffffff]], se microsecond é 0

Exemplos:

>>> from datetime import datetime, timezone
>>> datetime(2019, 5, 18, 15, 17, 8, 132263).isoformat()
'2019-05-18T15:17:08.132263'
>>> datetime(2019, 5, 18, 15, 17, tzinfo=timezone.utc).isoformat()
'2019-05-18T15:17:00+00:00'

O argumento opcional sep (por padrão, 'T') é um separador de caractere único, colocado entre as porções de data e tempo do resultado. Por exemplo:

>>> from datetime import tzinfo, timedelta, datetime
>>> class TZ(tzinfo):
...     """Um fuso horário com uma posição arbitrária constante de -06:39."""
...     def utcoffset(self, dt):
...         return timedelta(hours=-6, minutes=-39)
...
>>> datetime(2002, 12, 25, tzinfo=TZ()).isoformat(' ')
'2002-12-25 00:00:00-06:39'
>>> datetime(2009, 11, 27, microsecond=100, tzinfo=TZ()).isoformat()
'2009-11-27T00:00:00.000100-06:39'

O argumento opcional timespec especifica o número de componentes adicionais do tempo a incluir (o padrão é 'auto'). Pode ser uma das seguintes strings:

'auto': O mesmo que 'seconds' se microsecond é 0, o mesmo que 'microseconds' caso contrário.

'hours': Inclui o atributo hour no formato de dois dígitos HH.

'minutes': Inclui os atributos hour e minute no formato HH:MM.

'seconds': Inclui os atributos hour, minute e second no formato HH:MM:SS.

'milliseconds': Inclui o tempo completo, mas trunca a parte fracional dos segundos em milissegundos. Formato HH:MM:SS.sss.

'microseconds': Inclui o tempo completo no formato HH:MM:SS.ffffff.

Nota

Componentes do tempo excluídos são truncados, não arredondados.

A exceção ValueError vai ser levantada no caso de um argumento timespec inválido:

>>> from datetime import datetime
>>> datetime.now().isoformat(timespec='minutes')
'2002-12-25T00:00'
>>> dt = datetime(2015, 1, 1, 12, 30, 59, 0)
>>> dt.isoformat(timespec='microseconds')
'2015-01-01T12:30:59.000000'

Alterado na versão 3.6: Adicionado o parâmetro timespec.

datetime.__str__()

Para uma instância datetime d, str(d) é equivalente a d.isoformat(' ').

datetime.ctime()

Retorna uma string representando a data e hora:

>>> from datetime import datetime
>>> datetime(2002, 12, 4, 20, 30, 40).ctime()
'Wed Dec  4 20:30:40 2002'

A string de saída não irá incluir informações de fuso horário, independente de a entrada ser consciente ou ingênua.

d.ctime() é equivalente a:

time.ctime(time.mktime(d.timetuple()))

em plataformas onde a função nativa em C ctime() (a qual time.ctime() invoca, mas a qual datetime.ctime() não invoca) conforma com o padrão C.

datetime.strftime(format)

Retorna uma string representando a data e hora, controladas por uma string com formato explícito. Veja também strftime() and strptime() Behavior e datetime.isoformat().

datetime.__format__(format)

O mesmo que datetime.strftime(). Isso torna possível especificar uma string de formatação para o objeto datetime em literais de string formatados e ao usar str.format(). Veja também strftime() and strptime() Behavior e datetime.isoformat().

Exemplos de uso: datetime

Exemplos para trabalhar com objetos datetime:

>>> from datetime import datetime, date, time, timezone

>>> # Usando datetime.combine()
>>> d = date(2005, 7, 14)
>>> t = time(12, 30)
>>> datetime.combine(d, t)
datetime.datetime(2005, 7, 14, 12, 30)

>>> # Usando datetime.now()
>>> datetime.now()
datetime.datetime(2007, 12, 6, 16, 29, 43, 79043)   # GMT +1
>>> datetime.now(timezone.utc)
datetime.datetime(2007, 12, 6, 15, 29, 43, 79060, tzinfo=datetime.timezone.utc)

>>> # Usando datetime.strptime()
>>> dt = datetime.strptime("21/11/06 16:30", "%d/%m/%y %H:%M")
>>> dt
datetime.datetime(2006, 11, 21, 16, 30)

>>> # Usando datetime.timetuple() para obter uma tupla de todos os atributos
>>> tt = dt.timetuple()
>>> for it in tt:
...     print(it)
...
2006    # ano
11      # mês
21      # dia
16      # hora
30      # minuto
0       # segundo
1       # dia da semana (0 = Segunda-feira)
325     # número de dias desde 1º de janeiro
-1      # dst - método tzinfo.dst() retornou None

>>> # Data em formato ISO
>>> ic = dt.isocalendar()
>>> for it in ic:
...     print(it)
...
2006    # ano ISO
47      # semana ISO
2       # dia da semana ISO

>>> # Formatando um datetime
>>> dt.strftime("%A, %d. %B %Y %I:%M%p")
'Tuesday, 21. November 2006 04:30PM'
>>> 'O {1} é {0:%d}, o {2} é {0:%B}, a {3} é {0:%I:%M%p}.'.format(dt, "dia", "mês", "hora")
'O dia é 21, o mês é November, a hora é 04:30PM.'

O exemplo abaixo define uma subclasse tzinfo capturando informações de fuso horário para Kabul, Afeganistão, o qual usou +4 UTC até 1945 e depois +4:30 UTC após esse período:

from datetime import timedelta, datetime, tzinfo, timezone

class KabulTz(tzinfo):
    # Kabul usou +4 até 1945, quando eles moveram para +4:30
    UTC_MOVE_DATE = datetime(1944, 12, 31, 20, tzinfo=timezone.utc)

    def utcoffset(self, dt):
        if dt.year < 1945:
            return timedelta(hours=4)
        elif (1945, 1, 1, 0, 0) <= dt.timetuple()[:5] < (1945, 1, 1, 0, 30):
            # Um intervalo de meia hora ambíguo ("imaginário") representando
            # um 'fold' no tempo por causa da troca de +4 para +4:30.
            # Se dt cair no intervalo imaginário, usa a fold para decidir como
            # para resolver. Veja PEP495.
            return timedelta(hours=4, minutes=(30 if dt.fold else 0))
        else:
            return timedelta(hours=4, minutes=30)

    def fromutc(self, dt):
        # Segue as mesmas validações como em datetime.tzinfo
        if not isinstance(dt, datetime):
            raise TypeError("fromutc() requer um argumento datetime")
        if dt.tzinfo is not self:
            raise ValueError("dt.tzinfo não é self")

        # Uma implementação personalizada é necessária para fromutc
        # como a entrada para esta função é um datetime com valores utc
        # mas com um tzinfo definido para self.
        # Veja datetime.astimezone ou fromtimestamp.
        if dt.replace(tzinfo=timezone.utc) >= self.UTC_MOVE_DATE:
            return dt + timedelta(hours=4, minutes=30)
        else:
            return dt + timedelta(hours=4)

    def dst(self, dt):
        # Kabul não tem horário de verão.
        return timedelta(0)

    def tzname(self, dt):
        if dt >= self.UTC_MOVE_DATE:
            return "+04:30"
        return "+04"

Uso de KabulTz mostrado acima:

>>> tz1 = KabulTz()

>>> # Datetime antes da alteração
>>> dt1 = datetime(1900, 11, 21, 16, 30, tzinfo=tz1)
>>> print(dt1.utcoffset())
4:00:00

>>> # Datetime após a alteração
>>> dt2 = datetime(2006, 6, 14, 13, 0, tzinfo=tz1)
>>> print(dt2.utcoffset())
4:30:00

>>> # Converte datetime para outro fuso horário
>>> dt3 = dt2.astimezone(timezone.utc)
>>> dt3
datetime.datetime(2006, 6, 14, 8, 30, tzinfo=datetime.timezone.utc)
>>> dt2
datetime.datetime(2006, 6, 14, 13, 0, tzinfo=KabulTz())
>>> dt2 == dt3
True

Objetos time

Um objeto time representa a hora (local) do dia, independente de qualquer dia em particular, e sujeito a ajustes através de um objeto tzinfo.

class datetime.time(hour=0, minute=0, second=0, microsecond=0, tzinfo=None, *, fold=0)

Todos os argumentos são opcionais. tzinfo pode ser None, ou uma instância de uma subclasse de tzinfo. Os argumentos remanescentes devem ser inteiros nos seguintes intervalos:

0 <= hour < 24,

0 <= minute < 60,

0 <= second < 60,

0 <= microsecond < 1000000,

fold in [0, 1].

Se um argumento fora desses intervalos é fornecido, ValueError é levantada. Todos tem como padrão o valor 0 exceto tzinfo, o qual tem o valor padrão None.

Atributos de classe:

time.min

O time mais cedo que pode ser representado, time(0, 0, 0, 0).

time.max

O time mais tardio que pode ser representado, time(23, 59, 59, 999999).

time.resolution

A menor diferença possível entre objetos time diferentes, timedelta(microseconds=1), embora perceba que aritmética sobre objetos time não é suportada.

Atributos de instância (somente leitura):

time.hour

No intervalo range(24).

time.minute

No intervalo range(60).

time.second

No intervalo range(60).

time.microsecond

No intervalo range(1000000).

time.tzinfo

O objeto passado como argumento tzinfo para o construtor da classe time, ou None se nada foi passado.

time.fold

Entre [0, 1]. Usado para desambiguar tempos reais durante um intervalo repetido. (Um intervalo repetido ocorre quando relógios são atrasados ao final do horário de verão ou quando a diferença UTC para o fuso horário atual é reduzida por razões políticas.) Os valores 0 e 1 representam, respectivamente, o primeiro e o segundo dos dois momentos com a mesma representação de tempo real.

Adicionado na versão 3.6.

Objetos time oferecem suporte para comparações de igualdade e ordem, onde a é considerado menor que b quando a precede b no tempo.

Objetos time ingênuos e conscientes nunca são iguais. A comparação de ordem entre objetos time ingênuos e conscientes levanta TypeError.

Se ambos os comparandos são conscientes, e tem o mesmo atributo tzinfo, os atributos tzinfo e fold são ignorados e os tempos base são comparados. Se ambos os comparandos são conscientes e tem atributos tzinfo diferentes, os comparandos são primeiro ajustados subtraindo sua diferença em UTC (obtida através de self.utcoffset()).

Alterado na versão 3.3: Comparações de igualdade entre instâncias de time conscientes e nativas não levantam TypeError.

Em contextos Booleanos, um objeto time é sempre considerado como verdadeiro.

Alterado na versão 3.5: Antes do Python 3.5, um objeto time era considerado falso se ele representava meia-noite em UTC. Este comportamento era considerado obscuro e suscetível a erros, e foi removido no Python 3.5. Veja bpo-13936 [https://bugs.python.org/issue?@action=redirect&bpo=13936] para todos os detalhes.

Outro construtor:

classmethod time.fromisoformat(time_string)

Retorna um time correspondendo a time_string em qualquer formato válido de ISO 8601, com as seguintes exceções:

Os deslocamentos de fuso horário podem ter segundos fracionários.

O T inicial, normalmente exigido nos casos em que pode haver ambiguidade entre uma data e uma hora, não é necessário.

Segundos fracionários podem ter qualquer número de dígitos (algo além de 6 será truncado).

Horas e minutos fracionários não são suportados.

Exemplos:

>>> from datetime import time
>>> time.fromisoformat('04:23:01')
datetime.time(4, 23, 1)
>>> time.fromisoformat('T04:23:01')
datetime.time(4, 23, 1)
>>> time.fromisoformat('T042301')
datetime.time(4, 23, 1)
>>> time.fromisoformat('04:23:01.000384')
datetime.time(4, 23, 1, 384)
>>> time.fromisoformat('04:23:01,000384')
datetime.time(4, 23, 1, 384)
>>> time.fromisoformat('04:23:01+04:00')
datetime.time(4, 23, 1, tzinfo=datetime.timezone(datetime.timedelta(seconds=14400)))
>>> time.fromisoformat('04:23:01Z')
datetime.time(4, 23, 1, tzinfo=datetime.timezone.utc)
>>> time.fromisoformat('04:23:01+00:00')
datetime.time(4, 23, 1, tzinfo=datetime.timezone.utc)

Adicionado na versão 3.7.

Alterado na versão 3.11: Anteriormente, este método suportava apenas formatos que podiam ser emitidos por time.isoformat().

Métodos de instância:

time.replace(hour=self.hour, minute=self.minute, second=self.second, microsecond=self.microsecond, tzinfo=self.tzinfo, *, fold=0)

Retorna um time com o mesmo valor, exceto para aqueles atributos que receberam novos valores através de quaisquer argumentos nomeados que foram especificados. Perceba que tzinfo=None pode ser especificado para criar um time ingênuo a partir de um time consciente, sem conversão de dados do horário.

Objetos time também são suportados pela função genérica copy.replace().

Alterado na versão 3.6: Adicionado o parâmetro fold.

time.isoformat(timespec='auto')

Retorna uma string representando a hora em formato ISO 8601, um destes:

HH:MM:SS.ffffff, se microsecond não é 0

HH:MM:SS, se microsecond é 0

HH:MM:SS.ffffff+HH:MM[:SS[.ffffff]], se utcoffset() não retorna None

HH:MM:SS+HH:MM[:SS[.ffffff]], se microsecond é 0 e utcoffset() não retorna None

O argumento opcional timespec especifica o número de componentes adicionais do tempo a incluir (o padrão é 'auto'). Pode ser uma das seguintes strings:

'auto': O mesmo que 'seconds' se microsecond é 0, o mesmo que 'microseconds' caso contrário.

'hours': Inclui o atributo hour no formato de dois dígitos HH.

'minutes': Inclui os atributos hour e minute no formato HH:MM.

'seconds': Inclui os atributos hour, minute e second no formato HH:MM:SS.

'milliseconds': Inclui o tempo completo, mas trunca a parte fracional dos segundos em milissegundos. Formato HH:MM:SS.sss.

'microseconds': Inclui o tempo completo no formato HH:MM:SS.ffffff.

Nota

Componentes do tempo excluídos são truncados, não arredondados.

ValueError será levantado com um argumento timespec inválido.

Exemplo:

>>> from datetime import time
>>> time(hour=12, minute=34, second=56, microsecond=123456).isoformat(timespec='minutes')
'12:34'
>>> dt = time(hour=12, minute=34, second=56, microsecond=0)
>>> dt.isoformat(timespec='microseconds')
'12:34:56.000000'
>>> dt.isoformat(timespec='auto')
'12:34:56'

Alterado na versão 3.6: Adicionado o parâmetro timespec.

time.__str__()

Para um tempo t, str(t) é equivalente a t.isoformat().

time.strftime(format)

Retorna uma string representando a hora, controladas por uma string com formato explícito. Veja também strftime() and strptime() Behavior e time.isoformat().

time.__format__(format)

O mesmo que time.strftime(). Isso torna possível especificar uma string de formatação para o objeto time em literais de string formatados e ao usar str.format(). Veja também strftime() and strptime() Behavior e time.isoformat().

time.utcoffset()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.utcoffset(None), e levanta uma exceção se o segundo não retornar None ou um objeto timedelta com magnitude menor que um dia.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

time.dst()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.dst(None), e levanta uma exceção se o segundo não retornar None, ou um objeto timedelta com magnitude menor que um dia.

Alterado na versão 3.7: A diferença de horário de verão não é restrita a um número completo de minutos.

time.tzname()

Se tzinfo for None, retorna None, caso contrário retorna self.tzinfo.tzname(None), ou levanta uma exceção se o último caso não retornar None ou um objeto string.

Exemplos de uso: time

Exemplos para trabalhar com um objeto time:

>>> from datetime import time, tzinfo, timedelta
>>> class TZ1(tzinfo):
...     def utcoffset(self, dt):
...         return timedelta(hours=1)
...     def dst(self, dt):
...         return timedelta(0)
...     def tzname(self,dt):
...         return "+01:00"
...     def  __repr__(self):
...         return f"{self.__class__.__name__}()"
...
>>> t = time(12, 10, 30, tzinfo=TZ1())
>>> t
datetime.time(12, 10, 30, tzinfo=TZ1())
>>> t.isoformat()
'12:10:30+01:00'
>>> t.dst()
datetime.timedelta(0)
>>> t.tzname()
'+01:00'
>>> t.strftime("%H:%M:%S %Z")
'12:10:30 +01:00'
>>> 'A {} é {:%H:%M}.'.format("hora", t)
'A hora é 12:10.'

Objetos tzinfo

class datetime.tzinfo

Esta é uma classe base abstrata, o que significa que esta classe não deve ser instanciada diretamente. Defina uma subclasse de tzinfo para capturar informações sobre um fuso horário em particular.

Uma instância de (uma subclasse concreta de) tzinfo pode ser passada para os construtores de objetos datetime e time. Os objetos time veem seus atributos como se estivessem em horário local, e o objeto tzinfo suporta métodos revelando a diferença da hora local a partir de UTC, o nome do fuso horário, e diferença de horário em horário de verão, todos relativos ao objeto date ou time passado para eles.

Você precisa derivar uma subclasse concreta, e (pelo menos) fornecer implementações dos métodos padrões de tzinfo necessários pelos métodos datetime que você usa. O módulo datetime fornece timezone, uma subclasse concreta simples de tzinfo, que pode representar fusos horários com diferença fixa a partir de UTC, tais como o próprio UTC, ou EST (Eastern Standard Time ou Horário padrão oriental) e EDT (Eastern Daylight Time ou Horário de verão oriental) na América do Norte.

Requisito especial para preservação: uma subclasse tzinfo deve ter um método __init__() que pode ser chamado sem nenhum argumento, caso contrário ele pode ser conservado, mas não alterado novamente. Isso é um requisito técnico que pode ser relaxado no futuro.

Uma subclasse concreta de tzinfo pode precisar implementar os seguintes métodos. Exatamente quais métodos são necessários depende do uso feito de objetos datetime conscientes. Se estiver em dúvida, simplesmente implemente todos eles.

tzinfo.utcoffset(dt)

Retorna a diferença da hora local a partir do UTC, como um objeto timedelta, que é positivo a leste do UTC. Se a hora local está a oeste do UTC, isto deve ser negativo.

Isto representa a diferença total a partir de UTC; por exemplo, se um objeto tzinfo representa fuso horário e ajustes de horário de verão, utcoffset() deve retornar a soma deles. Se a diferença UTC não é conhecida, retorna None. Caso contrário o valor retornado deve ser um objeto timedelta estritamente contido entre -timedelta(hours=24) e timedelta(hours=24) (a magnitude da diferença deve ser menor que um dia). A maior parte das implementações de utcoffset() irá provavelmente parecer com um destes dois:

return CONSTANT                 # classe de posição fixa
return CONSTANT + self.dst(dt)  # classe consciente de horário de verão

Se utcoffset() não retorna None, dst() também não deve retornar None.

A implementação padrão de utcoffset() levanta NotImplementedError.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

tzinfo.dst(dt)

Retorna o ajuste para o horário de verão (DST - daylight saving time), como um objeto timedelta ou None se informação para o horário de verão é desconhecida.

Retorna timedelta(0) se o horário de verão não estiver ativo. Se o horário de verão estiver ativo, retorna a diferença como um objeto timedelta (veja utcoffset() para detalhes). Perceba que a diferença do horário de verão, se aplicável, já foi adicionada a diferença UTC retornada por utcoffset(), então não existe necessidade de consultar dst() a não ser que você esteja interessado em obter a informação de horário de verão separadamente. Por exemplo, datetime.timetuple() chama o método dst() do seu atributo tzinfo para determinar como o flag tm_isdst deve ser definido, e tzinfo.fromutc() chama dst() para contabilizar as mudanças de horário de verão quando ocorrem mudanças de fuso horário.

Uma instância tz de uma subclasse tzinfo que modela tanto horário padrão quanto horário de verão deve ser consistente neste sentido:

tz.utcoffset(dt) - tz.dst(dt)

deve retornar o mesmo resultado para cada datetime dt com dt.tzinfo == tz para subclasses tzinfo sãs, esta expressão produz a “diferença padrão” do fuso horário, a qual não deve depender de data ou hora, mas apenas de localização geográfica. A implementação de datetime.astimezone() depende disso, mas não pode detectar violações; é responsabilidade do programador garantir isso. Se uma subclasse tzinfo não pode garantir isso, ele pode ser capaz de substituir a implementação padrão de tzinfo.fromutc() para funcionar corretamente com astimezone() independente disso.

Maior parte das implementações de dst() provavelmente irá parecer com um destes dois:

def dst(self, dt):
    # uma classe de posição fixa: não levam em conta DST
    return timedelta(0)

ou:

def dst(self, dt):
    # Código para definir dston e dstoff para os horários
    # de transição do horário de versão com base
    # no dt.year de entrada e expresso no horário local padrão.

    if dston <= dt.replace(tzinfo=None) < dstoff:
        return timedelta(hours=1)
    else:
        return timedelta(0)

A implementação padrão de dst() levanta NotImplementedError.

Alterado na versão 3.7: A diferença de horário de verão não é restrita a um número completo de minutos.

tzinfo.tzname(dt)

Retorna o nome do fuso horário correspondente ao objeto datetime dt, como uma string. Nada sobre nomes de strings é definido pelo módulo datetime, e não há nenhuma exigência de que signifique algo em particular. Por exemplo, "GMT", "UTC", "-500", "-5:00", "EDT", "US/Eastern", "America/New York" são todas respostas válidas. Retorna None se um nome de string não for conhecido. Observe que este é um método em vez de uma string fixa, principalmente porque algumas subclasses tzinfo desejarão retornar nomes diferentes dependendo do valor específico de dt passado, especialmente se a classe tzinfo estiver contabilizando o horário de verão.

A implementação padrão de tzname() levanta NotImplementedError.

Estes métodos são chamados por um objeto datetime ou time, em resposta aos seus métodos de mesmo nome. Um objeto datetime passa a si mesmo como argumento, e um objeto time passa None como o argumento. Os métodos de uma subclasse tzinfo devem portanto estar preparados para aceitar um argumento dt com valor None, ou uma classe datetime.

Quando None é passado, cabe ao projetista da classe decidir a melhor resposta. Por exemplo, retornar None é apropriado se a classe deseja dizer que objetos time não participam nos protocolos da classe tzinfo. Pode ser mais útil para utcoffset(None) retornar a diferença UTC padrão, como não existe outra convenção para descobrir a diferença padrão.

Quando um objeto datetime é passado em resposta a um método datetime, dt.tzinfo é o mesmo objeto que self. Os métodos tzinfo podem confiar nisso, a menos que o código do usuário chame métodos tzinfo diretamente. A intenção é que os métodos tzinfo interpretem dt como estando no horário local, e não precisem se preocupar com objetos em outros fusos horários.

Existe mais um método tzinfo que uma subclasse pode desejar substituição:

tzinfo.fromutc(dt)

Isto é chamado a partir do padrão implementação de datetime.astimezone(). Quando chamado a partir dele, dt.tzinfo é self, e os dados de data e hora de dt devem ser vistos como expressando um Horário Universal Coordenado (UTC). O propósito de fromutc() é ajustar os dados de data e hora, retornando um datetime equivalente na hora local de self.

A maioria das subclasses de tzinfo deve ser capaz de herdar a implementação padrão de fromutc() sem problemas. Ela é robusta o suficiente para lidar com fusos horários de deslocamento fixo, e fusos horários que contabilizam tanto o horário padrão quanto o horário de verão, sendo que este último é tratado mesmo que os horários de transição do horário de verão sejam diferentes em anos distintos. Um exemplo de fuso horário que a implementação padrão de fromutc() pode não lidar corretamente em todos os casos é aquele onde o deslocamento padrão (de UTC) depende da data e hora específicas passadas, o que pode acontecer por razões políticas. As implementações padrão de astimezone() e fromutc() podem não produzir o resultado desejado se o resultado estiver entre as horas que abrangem o momento em que o deslocamento padrão muda.

Ignorando o código para casos de erros, a implementação padrão fromutc() funciona como:

def fromutc(self, dt):
    # levanta o erro ValueError se dt.tzinfo não é o self
    dtoff = dt.utcoffset()
    dtdst = dt.dst()
    # levanta ValueError se dtoff é None ou dtdst é None
    delta = dtoff - dtdst  # este é o deslocamento padrão do self
    if delta:
        dt += delta   # converter para hora local padrão
        dtdst = dt.dst()
        # levanta ValueError se dtdst é None
    if dtdst:
        return dt + dtdst
    else:
        return dt

No seguinte arquivo tzinfo_examples.py existem alguns exemplos de classes tzinfo:

from datetime import tzinfo, timedelta, datetime

ZERO = timedelta(0)
HOUR = timedelta(hours=1)
SECOND = timedelta(seconds=1)

# A class capturing the platform's idea of local time.
# (May result in wrong values on historical times in
#  timezones where UTC offset and/or the DST rules had
#  changed in the past.)
import time as _time

STDOFFSET = timedelta(seconds = -_time.timezone)
if _time.daylight:
    DSTOFFSET = timedelta(seconds = -_time.altzone)
else:
    DSTOFFSET = STDOFFSET

DSTDIFF = DSTOFFSET - STDOFFSET

class LocalTimezone(tzinfo):

    def fromutc(self, dt):
        assert dt.tzinfo is self
        stamp = (dt - datetime(1970, 1, 1, tzinfo=self)) // SECOND
        args = _time.localtime(stamp)[:6]
        dst_diff = DSTDIFF // SECOND
        # Detect fold
        fold = (args == _time.localtime(stamp - dst_diff))
        return datetime(*args, microsecond=dt.microsecond,
                        tzinfo=self, fold=fold)

    def utcoffset(self, dt):
        if self._isdst(dt):
            return DSTOFFSET
        else:
            return STDOFFSET

    def dst(self, dt):
        if self._isdst(dt):
            return DSTDIFF
        else:
            return ZERO

    def tzname(self, dt):
        return _time.tzname[self._isdst(dt)]

    def _isdst(self, dt):
        tt = (dt.year, dt.month, dt.day,
              dt.hour, dt.minute, dt.second,
              dt.weekday(), 0, 0)
        stamp = _time.mktime(tt)
        tt = _time.localtime(stamp)
        return tt.tm_isdst > 0

Local = LocalTimezone()

# A complete implementation of current DST rules for major US time zones.

def first_sunday_on_or_after(dt):
    days_to_go = 6 - dt.weekday()
    if days_to_go:
        dt += timedelta(days_to_go)
    return dt

# US DST Rules
#
# This is a simplified (i.e., wrong for a few cases) set of rules for US
# DST start and end times. For a complete and up-to-date set of DST rules
# and timezone definitions, visit the Olson Database (or try pytz):
# http://www.twinsun.com/tz/tz-link.htm
# https://sourceforge.net/projects/pytz/ (might not be up-to-date)
#
# In the US, since 2007, DST starts at 2am (standard time) on the second
# Sunday in March, which is the first Sunday on or after Mar 8.
DSTSTART_2007 = datetime(1, 3, 8, 2)
# and ends at 2am (DST time) on the first Sunday of Nov.
DSTEND_2007 = datetime(1, 11, 1, 2)
# From 1987 to 2006, DST used to start at 2am (standard time) on the first
# Sunday in April and to end at 2am (DST time) on the last
# Sunday of October, which is the first Sunday on or after Oct 25.
DSTSTART_1987_2006 = datetime(1, 4, 1, 2)
DSTEND_1987_2006 = datetime(1, 10, 25, 2)
# From 1967 to 1986, DST used to start at 2am (standard time) on the last
# Sunday in April (the one on or after April 24) and to end at 2am (DST time)
# on the last Sunday of October, which is the first Sunday
# on or after Oct 25.
DSTSTART_1967_1986 = datetime(1, 4, 24, 2)
DSTEND_1967_1986 = DSTEND_1987_2006

def us_dst_range(year):
    # Find start and end times for US DST. For years before 1967, return
    # start = end for no DST.
    if 2006 < year:
        dststart, dstend = DSTSTART_2007, DSTEND_2007
    elif 1986 < year < 2007:
        dststart, dstend = DSTSTART_1987_2006, DSTEND_1987_2006
    elif 1966 < year < 1987:
        dststart, dstend = DSTSTART_1967_1986, DSTEND_1967_1986
    else:
        return (datetime(year, 1, 1), ) * 2

    start = first_sunday_on_or_after(dststart.replace(year=year))
    end = first_sunday_on_or_after(dstend.replace(year=year))
    return start, end

class USTimeZone(tzinfo):

    def __init__(self, hours, reprname, stdname, dstname):
        self.stdoffset = timedelta(hours=hours)
        self.reprname = reprname
        self.stdname = stdname
        self.dstname = dstname

    def __repr__(self):
        return self.reprname

    def tzname(self, dt):
        if self.dst(dt):
            return self.dstname
        else:
            return self.stdname

    def utcoffset(self, dt):
        return self.stdoffset + self.dst(dt)

    def dst(self, dt):
        if dt is None or dt.tzinfo is None:
            # An exception may be sensible here, in one or both cases.
            # It depends on how you want to treat them.  The default
            # fromutc() implementation (called by the default astimezone()
            # implementation) passes a datetime with dt.tzinfo is self.
            return ZERO
        assert dt.tzinfo is self
        start, end = us_dst_range(dt.year)
        # Can't compare naive to aware objects, so strip the timezone from
        # dt first.
        dt = dt.replace(tzinfo=None)
        if start + HOUR <= dt < end - HOUR:
            # DST is in effect.
            return HOUR
        if end - HOUR <= dt < end:
            # Fold (an ambiguous hour): use dt.fold to disambiguate.
            return ZERO if dt.fold else HOUR
        if start <= dt < start + HOUR:
            # Gap (a non-existent hour): reverse the fold rule.
            return HOUR if dt.fold else ZERO
        # DST is off.
        return ZERO

    def fromutc(self, dt):
        assert dt.tzinfo is self
        start, end = us_dst_range(dt.year)
        start = start.replace(tzinfo=self)
        end = end.replace(tzinfo=self)
        std_time = dt + self.stdoffset
        dst_time = std_time + HOUR
        if end <= dst_time < end + HOUR:
            # Repeated hour
            return std_time.replace(fold=1)
        if std_time < start or dst_time >= end:
            # Standard time
            return std_time
        if start <= std_time < end - HOUR:
            # Daylight saving time
            return dst_time

Eastern  = USTimeZone(-5, "Eastern",  "EST", "EDT")
Central  = USTimeZone(-6, "Central",  "CST", "CDT")
Mountain = USTimeZone(-7, "Mountain", "MST", "MDT")
Pacific  = USTimeZone(-8, "Pacific",  "PST", "PDT")

Perceba que existem sutilezas inevitáveis duas vezes por ano em uma subclasse tzinfo contabilizando tanto hora normal e horário de verão, nos pontos de transição do horário de verão. Para concretude, considere a costa leste dos EUA (UTC -0500), onde o horário de verão EDT começa no minuto após 1:59 (EST, hora padrão) no segundo domingo de Março, e termina no minuto posterior a 1:59 (EDT, horário de verão) no primeiro domingo de Novembro:

  UTC   3:MM  4:MM  5:MM  6:MM  7:MM  8:MM
  EST  22:MM 23:MM  0:MM  1:MM  2:MM  3:MM
  EDT  23:MM  0:MM  1:MM  2:MM  3:MM  4:MM

start  22:MM 23:MM  0:MM  1:MM  3:MM  4:MM

  end  23:MM  0:MM  1:MM  1:MM  2:MM  3:MM

Quando o horário de verão inicia (a linha de “início”), o relógio de parede local salta de 1:59 para 3:00. Um horário de parede da forma 2:MM realmente não faz sentido nesse dia, então astimezone(Eastern) não irá entregar um resultado com hour == 2 no dia que o horário de verão começar. Por exemplo, na primavera de transição para frente em 2016, nós tivemos:

>>> from datetime import datetime, timezone
>>> from tzinfo_examples import HOUR, Eastern
>>> u0 = datetime(2016, 3, 13, 5, tzinfo=timezone.utc)
>>> for i in range(4):
...     u = u0 + i*HOUR
...     t = u.astimezone(Eastern)
...     print(u.time(), 'UTC =', t.time(), t.tzname())
...
05:00:00 UTC = 00:00:00 EST
06:00:00 UTC = 01:00:00 EST
07:00:00 UTC = 03:00:00 EDT
08:00:00 UTC = 04:00:00 EDT

When DST ends (the “end” line), there’s a potentially worse problem: there’s an hour that can’t be spelled unambiguously in local wall time: the last hour of daylight time. In Eastern, that’s times of the form 5:MM UTC on the day daylight time ends. The local wall clock leaps from 1:59 (daylight time) back to 1:00 (standard time) again. Local times of the form 1:MM are ambiguous. astimezone() mimics the local clock’s behavior by mapping two adjacent UTC hours into the same local hour then. In the Eastern example, UTC times of the form 5:MM and 6:MM both map to 1:MM when converted to Eastern, but earlier times have the fold attribute set to 0 and the later times have it set to 1. For example, at the Fall back transition of 2016, we get:

>>> u0 = datetime(2016, 11, 6, 4, tzinfo=timezone.utc)
>>> for i in range(4):
...     u = u0 + i*HOUR
...     t = u.astimezone(Eastern)
...     print(u.time(), 'UTC =', t.time(), t.tzname(), t.fold)
...
04:00:00 UTC = 00:00:00 EDT 0
05:00:00 UTC = 01:00:00 EDT 0
06:00:00 UTC = 01:00:00 EST 1
07:00:00 UTC = 02:00:00 EST 0

Note that the datetime instances that differ only by the value of the fold attribute are considered equal in comparisons.

Applications that can’t bear wall-time ambiguities should explicitly check the value of the fold attribute or avoid using hybrid tzinfo subclasses; there are no ambiguities when using timezone, or any other fixed-offset tzinfo subclass (such as a class representing only EST (fixed offset -5 hours), or only EDT (fixed offset -4 hours)).

Ver também

zoneinfo

The datetime module has a basic timezone class (for handling arbitrary fixed offsets from UTC) and its timezone.utc attribute (a UTC timezone instance).

zoneinfo brings the IANA time zone database (also known as the Olson database) to Python, and its usage is recommended.

IANA time zone database [https://www.iana.org/time-zones]

O banco de dados de fuso horário (comumente chamado de tz, tzdata ou zoneinfo) contém código e dados que representam o histórico de hora local para muitas localizações representativas ao redor do globo. Ele é atualizado periodicamente para refletir mudanças feitas por corpos políticos para limites de fuso horário, diferenças UTC, e regras de horário de verão.

Objetos timezone

The timezone class is a subclass of tzinfo, each instance of which represents a time zone defined by a fixed offset from UTC.

Objects of this class cannot be used to represent time zone information in the locations where different offsets are used in different days of the year or where historical changes have been made to civil time.

class datetime.timezone(offset, name=None)

O argumento offset deve ser especificado como um objeto timedelta representando a diferença entre o tempo local e o UTC. Ele deve estar estritamente entre -timedelta(hours=24) e timedelta(hous=24), caso contrário a exceção ValueError será provocada.

O argumento name é opcional. Se especificado, deve ser uma string que será usada como o valor retornado pelo método datetime.tzname().

Adicionado na versão 3.2.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

timezone.utcoffset(dt)

Retorna o valor fixo especificado quando a instância timezone é construída.

O argumento dt é ignorado. O valor de retorno é uma instância timedelta equivalente à diferença entre o tempo local e o UTC.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

timezone.tzname(dt)

Retorna o valor fixo especificado quando a instância timezone é construída.

Se name não é passado ao construtor, o nome retornado por tzname(dt) é gerado a partir do valor de offset do seguinte modo: Se offset é timedelta(0), o nome é “UTC”, caso contrário é uma string no formato UTC±HH:MM, na qual ± é o sinal do offset, HH e MM são dois dígitos de offset.hours e offset.minutes respectivamente.

Alterado na versão 3.6: Nome gerado de offset=timedelta(0) é agora simplesmente 'UTC', não 'UTC+00:00'.

timezone.dst(dt)

Sempre retorna None.

timezone.fromutc(dt)

Retorna dt + offset. O argumento dt deve ser uma instância datetime consciente, com tzinfo definida para self.

Atributos de classe:

timezone.utc

The UTC time zone, timezone(timedelta(0)).

strftime() and strptime() Behavior

Todos os objetos date, datetime e time dão suporte ao método strftime(format), para criar uma string representando o tempo sob o controle de uma string de formatação explícita.

Em recíproca, o método de classe datetime.strptime() cria um objeto datetime a partir de uma string representando a data e a hora e uma string de formatação correspondente.

The table below provides a high-level comparison of strftime() versus strptime():

strftime

strptime

Uso

Converte objeto para uma string conforme um formato fornecido

Interpreta uma string como um objeto datetime dado um formato correspondente

Tipo de método

Método de instância

Método de classe

Método de

date; datetime; time

datetime

Assinatura

strftime(format)

strptime(date_string, format)

strftime() and strptime() Format Codes

Esses métodos aceitam códigos de formato que podem ser usados para analisar e formatar datas:

>>> datetime.strptime('31/01/22 23:59:59.999999',
...                   '%d/%m/%y %H:%M:%S.%f')
datetime.datetime(2022, 1, 31, 23, 59, 59, 999999)
>>> _.strftime('%a %d %b %Y, %I:%M%p')
'Mon 31 Jan 2022, 11:59PM'

A seguir é exibida uma lista de todos os códigos de formatação que o padrão C de 1989 requer, e eles funcionam em todas as plataformas com implementação padrão C.

Diretiva

Significado

Exemplo

Notas

%a

Dias da semana como nomes abreviados da localidade.

Sun, Mon, …, Sat (en_US);

So, Mo, …, Sa (de_DE)

(1)

%A

Dia da semana como nome completo da localidade.

Sunday, Monday, …, Saturday (en_US);

Sonntag, Montag, …, Samstag (de_DE)

(1)

%w

Dia da semana como um número decimal, onde 0 é domingo e 6 é sábado.

0, 1, …, 6

%d

Dia do mês como um número decimal com zeros a esquerda.

01, 02, …, 31

(9)

%b

Mês como nome da localidade abreviado.

Jan, Feb, …, Dec (en_US);

Jan, Feb, …, Dez (de_DE)

(1)

%B

Mês como nome completo da localidade.

January, February, …, December (en_US);

janeiro, fevereiro, …, dezembro (pt_BR)

(1)

%m

Mês como um número decimal com zeros a esquerda.

01, 02, …, 12

(9)

%y

Ano sem século como um número decimal com zeros a esquerda.

00, 01, …, 99

(9)

%Y

Ano com século como um número decimal.

0001, 0002, …, 2013, 2014, …, 9998, 9999

(2)

%H

Hora (relógio de 24 horas) como um número decimal com zeros a esquerda.

00, 01, …, 23

(9)

%I

Hora (relógio de 12 horas) como um número decimal com zeros a esquerda.

01, 02, …, 12

(9)

%p

Equivalente da localidade a AM ou PM.

AM, PM (en_US);

am, pm (de_DE)

(1), (3)

%M

Minutos como um número decimal, com zeros a esquerda.

00, 01, …, 59

(9)

%S

Segundos como um número decimal, com zeros a esquerda.

00, 01, …, 59

(4), (9)

%f

Microssegundos como um número decimal, com zeros à esquerda até completar 6 dígitos.

000000, 000001, …, 999999

(5)

%z

Diferença UTC no formato ±HHMM[SS[.ffffff]] (string vazia se o objeto é ingênuo).

(vazio), +0000, -0400, +1030, +063415, -030712.345216

(6)

%Z

Nome do fuso horário (string vazia se o objeto é ingênuo).

(vazio), UTC, GMT

(6)

%j

Dia do ano como um número decimal, com zeros a esquerda.

001, 002, …, 366

(9)

%U

Número da semana do ano (Domingo como o primeiro dia da semana) como um número decimal, com zeros a esquerda. Todos os dias em um ano novo precedendo o primeiro domingo são considerados como estando na semana 0.

00, 01, …, 53

(7), (9)

%W

Número da semana do ano (Segunda-feira como o primeiro dia da semana) como um número decimal, com zeros a esquerda. Todos os dias em um ano novo precedendo a primeira segunda-feira são considerados como estando na semana 0.

00, 01, …, 53

(7), (9)

%c

Representação de data e hora apropriada da localidade.

Tue Aug 16 21:30:00 1988 (en_US);

Di 16 Aug 21:30:00 1988 (de_DE)

(1)

%x

Representação de data apropriada de localidade.

08/16/88 (None);

08/16/1988 (en_US);

16.08.1988 (de_DE)

(1)

%X

Representação de hora apropriada da localidade.

21:30:00 (en_US);

21:30:00 (de_DE)

(1)

%%

Um caractere literal '%'.

%

Diversas diretivas adicionais não necessárias pelo padrão C89 são incluídas para conveniência. Estes parâmetros todos correspondem a valores de datas na ISO 8601.

Diretiva

Significado

Exemplo

Notas

%G

Ano ISO 8601 com o século representando o ano que a maior parte da semana ISO (%V).

0001, 0002, …, 2013, 2014, …, 9998, 9999

(8)

%u

Dia de semana ISO 8601 como um número decimal onde 1 é segunda-feira.

1, 2, …, 7

%V

Semana ISO 8601 como um número decimal, com segunda-feira como o primeiro dia da semana. A semana 01 é a semana contendo o dia 4 de Janeiro.

01, 02, …, 53

(8), (9)

%:z

Diferença UTC no formato ±HH:MM[:SS[.ffffff]] (string vazia se o objeto é ingênuo).

(vazio), +00:00, -04:00, +10:30, +06:34:15, -03:07:12.345216

(6)

These may not be available on all platforms when used with the strftime() method. The ISO 8601 year and ISO 8601 week directives are not interchangeable with the year and week number directives above. Calling strptime() with incomplete or ambiguous ISO 8601 directives will raise a ValueError.

The full set of format codes supported varies across platforms, because Python calls the platform C library’s strftime() function, and platform variations are common. To see the full set of format codes supported on your platform, consult the strftime(3) [https://manpages.debian.org/strftime(3)] documentation. There are also differences between platforms in handling of unsupported format specifiers.

Adicionado na versão 3.6: %G, %u e %V foram adicionados.

Adicionado na versão 3.12: %:z foi adicionado.

Detalhes técnicos

Broadly speaking, d.strftime(fmt) acts like the time module’s time.strftime(fmt, d.timetuple()) although not all objects support a timetuple() method.

For the datetime.strptime() class method, the default value is 1900-01-01T00:00:00.000: any components not specified in the format string will be pulled from the default value. [4]

Usar datetime.strptime(date_string, format) é equivalente a:

datetime(*(time.strptime(date_string, format)[0:6]))

except when the format includes sub-second components or time zone offset information, which are supported in datetime.strptime but are discarded by time.strptime.

For time objects, the format codes for year, month, and day should not be used, as time objects have no such values. If they’re used anyway, 1900 is substituted for the year, and 1 for the month and day.

For date objects, the format codes for hours, minutes, seconds, and microseconds should not be used, as date objects have no such values. If they’re used anyway, 0 is substituted for them.

Pela mesma razão, o tratamento de formatação de strings contendo pontos de código Unicode que não podem ser representados no conjunto de caracteres da localidade atual também é dependente da plataforma. Em algumas plataformas, tais pontos de código são preservados intactos na saída, enquanto em outros strftime pode levantar UnicodeError ou retornar uma string vazia ao invés.

Notas:

Como o formato depende da localidade atual, deve-se tomar cuidado ao fazer suposições sobre o valor de saída. A ordenação dos campos irá variar (por exemplo, “mês/dia/ano” versus “dia/mês/ano”) e a saída pode conter caracteres não ASCII.

The strptime() method can parse years in the full [1, 9999] range, but years < 1000 must be zero-filled to 4-digit width.

Alterado na versão 3.2: In previous versions, strftime() method was restricted to years >= 1900.

Alterado na versão 3.3: In version 3.2, strftime() method was restricted to years >= 1000.

When used with the strptime() method, the %p directive only affects the output hour field if the %I directive is used to parse the hour.

Unlike the time module, the datetime module does not support leap seconds.

When used with the strptime() method, the %f directive accepts from one to six digits and zero pads on the right. %f is an extension to the set of format characters in the C standard (but implemented separately in datetime objects, and therefore always available).

Para um objeto ingênuo, os códigos de formatação %z, %:z e %Z são substituídos por strings vazias.

Para um objeto consciente:

%z

utcoffset() is transformed into a string of the form ±HHMM[SS[.ffffff]], where HH is a 2-digit string giving the number of UTC offset hours, MM is a 2-digit string giving the number of UTC offset minutes, SS is a 2-digit string giving the number of UTC offset seconds and ffffff is a 6-digit string giving the number of UTC offset microseconds. The ffffff part is omitted when the offset is a whole number of seconds and both the ffffff and the SS part is omitted when the offset is a whole number of minutes. For example, if utcoffset() returns timedelta(hours=-3, minutes=-30), %z is replaced with the string '-0330'.

Alterado na versão 3.7: A diferença UTC não é restrita a um número completo de minutos.

Alterado na versão 3.7: When the %z directive is provided to the strptime() method, the UTC offsets can have a colon as a separator between hours, minutes and seconds. For example, '+01:00:00' will be parsed as an offset of one hour. In addition, providing 'Z' is identical to '+00:00'.

%:z

Comporta-se exatamente como %z, mas possui um separador de dois pontos adicionado entre horas, minutos e segundos.

%Z

In strftime(), %Z is replaced by an empty string if tzname() returns None; otherwise %Z is replaced by the returned value, which must be a string.

strptime() only accepts certain values for %Z:

qualquer valor em time.tzname para a localidade da sua máquina

os valores codificados UTC e GMT

Então alguém vivendo no Japão pode ter JST, UTC, e GMT como valores válidos, mas provavelmente não EST. Isso levantará ValueError para valores inválidos.

Alterado na versão 3.2: When the %z directive is provided to the strptime() method, an aware datetime object will be produced. The tzinfo of the result will be set to a timezone instance.

When used with the strptime() method, %U and %W are only used in calculations when the day of the week and the calendar year (%Y) are specified.

Similar to %U and %W, %V is only used in calculations when the day of the week and the ISO year (%G) are specified in a strptime() format string. Also note that %G and %Y are not interchangeable.

When used with the strptime() method, the leading zero is optional for formats %d, %m, %H, %I, %M, %S, %j, %U, %W, and %V. Format %y does require a leading zero.

When parsing a month and day using strptime(), always include a year in the format. If the value you need to parse lacks a year, append an explicit dummy leap year. Otherwise your code will raise an exception when it encounters leap day because the default year used by the parser is not a leap year. Users run into this bug every four years…

>>> month_day = "02/29"
>>> datetime.strptime(f"{month_day};1984", "%m/%d;%Y")  # No leap year bug.
datetime.datetime(1984, 2, 29, 0, 0)

Deprecated since version 3.13, will be removed in version 3.15: strptime() calls using a format string containing a day of month without a year now emit a DeprecationWarning. In 3.15 or later we may change this into an error or change the default year to a leap year. See gh-70647 [https://github.com/python/cpython/issues/70647].

Notas de rodapé

[1]

Se, isto é, nós ignoramos os efeitos da Relatividade

[2]

Isso combina com a definição do calendário “proléptico Gregoriano” no livro Cálculos Calendáricos de Dershowitz e Reingold, onde ele é o calendário base para todas as computações. Veja o livro para algoritmos para conversão entre ordinais proléptico Gregoriano e muitos outros sistemas de calendário.

[3]

Veja O guia para a matemática de calendário ISO 8601 [https://web.archive.org/web/20220531051136/https://webspace.science.uu.nl/~gent0113/calendar/isocalendar.htm] de R. H. van Gent para uma boa explicação.

[4]

Passing datetime.strptime('Feb 29', '%b %d') will fail since 1900 is not a leap year.

zoneinfo — IANA time zone support

Adicionado na versão 3.9.

Código-fonte: Lib/zoneinfo [https://github.com/python/cpython/tree/3.13/Lib/zoneinfo]

The zoneinfo module provides a concrete time zone implementation to support the IANA time zone database as originally specified in PEP 615 [https://peps.python.org/pep-0615/]. By default, zoneinfo uses the system’s time zone data if available; if no system time zone data is available, the library will fall back to using the first-party tzdata [https://pypi.org/project/tzdata/] package available on PyPI.

Ver também

Module: datetime

Provides the time and datetime types with which the ZoneInfo class is designed to be used.

Package tzdata [https://pypi.org/project/tzdata/]

First-party package maintained by the CPython core developers to supply time zone data via PyPI.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Usando ZoneInfo

ZoneInfo is a concrete implementation of the datetime.tzinfo abstract base class, and is intended to be attached to tzinfo, either via the constructor, the datetime.replace method or datetime.astimezone:

>>> from zoneinfo import ZoneInfo
>>> from datetime import datetime, timedelta

>>> dt = datetime(2020, 10, 31, 12, tzinfo=ZoneInfo("America/Los_Angeles"))
>>> print(dt)
2020-10-31 12:00:00-07:00

>>> dt.tzname()
'PDT'

Datetimes constructed in this way are compatible with datetime arithmetic and handle daylight saving time transitions with no further intervention:

>>> dt_add = dt + timedelta(days=1)

>>> print(dt_add)
2020-11-01 12:00:00-08:00

>>> dt_add.tzname()
'PST'

These time zones also support the fold attribute introduced in PEP 495 [https://peps.python.org/pep-0495/]. During offset transitions which induce ambiguous times (such as a daylight saving time to standard time transition), the offset from before the transition is used when fold=0, and the offset after the transition is used when fold=1, for example:

>>> dt = datetime(2020, 11, 1, 1, tzinfo=ZoneInfo("America/Los_Angeles"))
>>> print(dt)
2020-11-01 01:00:00-07:00

>>> print(dt.replace(fold=1))
2020-11-01 01:00:00-08:00

When converting from another time zone, the fold will be set to the correct value:

>>> from datetime import timezone
>>> LOS_ANGELES = ZoneInfo("America/Los_Angeles")
>>> dt_utc = datetime(2020, 11, 1, 8, tzinfo=timezone.utc)

>>> # Before the PDT -> PST transition
>>> print(dt_utc.astimezone(LOS_ANGELES))
2020-11-01 01:00:00-07:00

>>> # After the PDT -> PST transition
>>> print((dt_utc + timedelta(hours=1)).astimezone(LOS_ANGELES))
2020-11-01 01:00:00-08:00

Data sources

The zoneinfo module does not directly provide time zone data, and instead pulls time zone information from the system time zone database or the first-party PyPI package tzdata [https://pypi.org/project/tzdata/], if available. Some systems, including notably Windows systems, do not have an IANA database available, and so for projects targeting cross-platform compatibility that require time zone data, it is recommended to declare a dependency on tzdata. If neither system data nor tzdata are available, all calls to ZoneInfo will raise ZoneInfoNotFoundError.

Configuring the data sources

When ZoneInfo(key) is called, the constructor first searches the directories specified in TZPATH for a file matching key, and on failure looks for a match in the tzdata package. This behavior can be configured in three ways:

The default TZPATH when not otherwise specified can be configured at compile time.

TZPATH can be configured using an environment variable.

At runtime, the search path can be manipulated using the reset_tzpath() function.

Compile-time configuration

The default TZPATH includes several common deployment locations for the time zone database (except on Windows, where there are no “well-known” locations for time zone data). On POSIX systems, downstream distributors and those building Python from source who know where their system time zone data is deployed may change the default time zone path by specifying the compile-time option TZPATH (or, more likely, the configure flag --with-tzpath), which should be a string delimited by os.pathsep.

On all platforms, the configured value is available as the TZPATH key in sysconfig.get_config_var().

Configuração do ambiente

When initializing TZPATH (either at import time or whenever reset_tzpath() is called with no arguments), the zoneinfo module will use the environment variable PYTHONTZPATH, if it exists, to set the search path.

PYTHONTZPATH

This is an os.pathsep-separated string containing the time zone search path to use. It must consist of only absolute rather than relative paths. Relative components specified in PYTHONTZPATH will not be used, but otherwise the behavior when a relative path is specified is implementation-defined; CPython will raise InvalidTZPathWarning, but other implementations are free to silently ignore the erroneous component or raise an exception.

To set the system to ignore the system data and use the tzdata package instead, set PYTHONTZPATH="".

Runtime configuration

The TZ search path can also be configured at runtime using the reset_tzpath() function. This is generally not an advisable operation, though it is reasonable to use it in test functions that require the use of a specific time zone path (or require disabling access to the system time zones).

The ZoneInfo class

class zoneinfo.ZoneInfo(key)

A concrete datetime.tzinfo subclass that represents an IANA time zone specified by the string key. Calls to the primary constructor will always return objects that compare identically; put another way, barring cache invalidation via ZoneInfo.clear_cache(), for all values of key, the following assertion will always be true:

a = ZoneInfo(key)
b = ZoneInfo(key)
assert a is b

key must be in the form of a relative, normalized POSIX path, with no up-level references. The constructor will raise ValueError if a non-conforming key is passed.

If no file matching key is found, the constructor will raise ZoneInfoNotFoundError.

The ZoneInfo class has two alternate constructors:

classmethod ZoneInfo.from_file(fobj, /, key=None)

Constructs a ZoneInfo object from a file-like object returning bytes (e.g. a file opened in binary mode or an io.BytesIO object). Unlike the primary constructor, this always constructs a new object.

The key parameter sets the name of the zone for the purposes of __str__() and __repr__().

Objects created via this constructor cannot be pickled (see pickling).

classmethod ZoneInfo.no_cache(key)

An alternate constructor that bypasses the constructor’s cache. It is identical to the primary constructor, but returns a new object on each call. This is most likely to be useful for testing or demonstration purposes, but it can also be used to create a system with a different cache invalidation strategy.

Objects created via this constructor will also bypass the cache of a deserializing process when unpickled.

Cuidado

Using this constructor may change the semantics of your datetimes in surprising ways, only use it if you know that you need to.

The following class methods are also available:

classmethod ZoneInfo.clear_cache(*, only_keys=None)

A method for invalidating the cache on the ZoneInfo class. If no arguments are passed, all caches are invalidated and the next call to the primary constructor for each key will return a new instance.

If an iterable of key names is passed to the only_keys parameter, only the specified keys will be removed from the cache. Keys passed to only_keys but not found in the cache are ignored.

Aviso

Invoking this function may change the semantics of datetimes using ZoneInfo in surprising ways; this modifies module state and thus may have wide-ranging effects. Only use it if you know that you need to.

A classe possui um atributo:

ZoneInfo.key

This is a read-only attribute that returns the value of key passed to the constructor, which should be a lookup key in the IANA time zone database (e.g. America/New_York, Europe/Paris or Asia/Tokyo).

For zones constructed from file without specifying a key parameter, this will be set to None.

Nota

Although it is a somewhat common practice to expose these to end users, these values are designed to be primary keys for representing the relevant zones and not necessarily user-facing elements. Projects like CLDR (the Unicode Common Locale Data Repository) can be used to get more user-friendly strings from these keys.

String representations

The string representation returned when calling str on a ZoneInfo object defaults to using the ZoneInfo.key attribute (see the note on usage in the attribute documentation):

>>> zone = ZoneInfo("Pacific/Kwajalein")
>>> str(zone)
'Pacific/Kwajalein'

>>> dt = datetime(2020, 4, 1, 3, 15, tzinfo=zone)
>>> f"{dt.isoformat()} [{dt.tzinfo}]"
'2020-04-01T03:15:00+12:00 [Pacific/Kwajalein]'

For objects constructed from a file without specifying a key parameter, str falls back to calling repr(). ZoneInfo’s repr is implementation-defined and not necessarily stable between versions, but it is guaranteed not to be a valid ZoneInfo key.

Pickle serialization

Rather than serializing all transition data, ZoneInfo objects are serialized by key, and ZoneInfo objects constructed from files (even those with a value for key specified) cannot be pickled.

The behavior of a ZoneInfo file depends on how it was constructed:

ZoneInfo(key): When constructed with the primary constructor, a ZoneInfo object is serialized by key, and when deserialized, the deserializing process uses the primary and thus it is expected that these are expected to be the same object as other references to the same time zone. For example, if europe_berlin_pkl is a string containing a pickle constructed from ZoneInfo("Europe/Berlin"), one would expect the following behavior:

>>> a = ZoneInfo("Europe/Berlin")
>>> b = pickle.loads(europe_berlin_pkl)
>>> a is b
True

ZoneInfo.no_cache(key): When constructed from the cache-bypassing constructor, the ZoneInfo object is also serialized by key, but when deserialized, the deserializing process uses the cache bypassing constructor. If europe_berlin_pkl_nc is a string containing a pickle constructed from ZoneInfo.no_cache("Europe/Berlin"), one would expect the following behavior:

>>> a = ZoneInfo("Europe/Berlin")
>>> b = pickle.loads(europe_berlin_pkl_nc)
>>> a is b
False

ZoneInfo.from_file(fobj, /, key=None): When constructed from a file, the ZoneInfo object raises an exception on pickling. If an end user wants to pickle a ZoneInfo constructed from a file, it is recommended that they use a wrapper type or a custom serialization function: either serializing by key or storing the contents of the file object and serializing that.

This method of serialization requires that the time zone data for the required key be available on both the serializing and deserializing side, similar to the way that references to classes and functions are expected to exist in both the serializing and deserializing environments. It also means that no guarantees are made about the consistency of results when unpickling a ZoneInfo pickled in an environment with a different version of the time zone data.

Funções

zoneinfo.available_timezones()

Get a set containing all the valid keys for IANA time zones available anywhere on the time zone path. This is recalculated on every call to the function.

This function only includes canonical zone names and does not include “special” zones such as those under the posix/ and right/ directories, or the posixrules zone.

Cuidado

This function may open a large number of files, as the best way to determine if a file on the time zone path is a valid time zone is to read the “magic string” at the beginning.

Nota

These values are not designed to be exposed to end-users; for user facing elements, applications should use something like CLDR (the Unicode Common Locale Data Repository) to get more user-friendly strings. See also the cautionary note on ZoneInfo.key.

zoneinfo.reset_tzpath(to=None)

Sets or resets the time zone search path (TZPATH) for the module. When called with no arguments, TZPATH is set to the default value.

Calling reset_tzpath will not invalidate the ZoneInfo cache, and so calls to the primary ZoneInfo constructor will only use the new TZPATH in the case of a cache miss.

The to parameter must be a sequence of strings or os.PathLike and not a string, all of which must be absolute paths. ValueError will be raised if something other than an absolute path is passed.

Globals

zoneinfo.TZPATH

A read-only sequence representing the time zone search path – when constructing a ZoneInfo from a key, the key is joined to each entry in the TZPATH, and the first file found is used.

TZPATH may contain only absolute paths, never relative paths, regardless of how it is configured.

The object that zoneinfo.TZPATH points to may change in response to a call to reset_tzpath(), so it is recommended to use zoneinfo.TZPATH rather than importing TZPATH from zoneinfo or assigning a long-lived variable to zoneinfo.TZPATH.

For more information on configuring the time zone search path, see Configuring the data sources.

Exceptions and warnings

exception zoneinfo.ZoneInfoNotFoundError

Raised when construction of a ZoneInfo object fails because the specified key could not be found on the system. This is a subclass of KeyError.

exception zoneinfo.InvalidTZPathWarning

Raised when PYTHONTZPATH contains an invalid component that will be filtered out, such as a relative path.

calendar — Funções gerais relacionadas ao calendário

Código-fonte: Lib/calendar.py [https://github.com/python/cpython/tree/3.13/Lib/calendar.py]

Este módulo permite que você exiba calendários como o programa Unix cal, e fornece funções adicionais úteis relacionadas ao calendário. Por padrão, esses calendários têm a segunda-feira como o primeiro dia da semana, e domingo como o último (a convenção europeia). Use setfirstweekday() para colocar o primeiro dia da semana como domingo (6) ou para qualquer outro dia da semana. Parâmetros que especificam datas são dados como inteiros. Para funcionalidade relacionada, veja também os módulos datetime e time.

As funções e classes definidas neste módulo usam um calendário idealizado, o calendário Gregoriano atual estendido indefinidamente nas duas direções. Isso corresponde à definição do calendário “proleptic Gregorian” (gregoriano proléptico) no livro “Calendrical Calculations” de Dershowitz e Reingold, onde está o calendário base para todas os cálculos. Anos com zero ou negativos são interpretados e prescritos pelo padrão ISO 8601. Ano 0 é 1 A.C., ano -1 é 2 A.C, e de assim em diante.

class calendar.Calendar(firstweekday=0)

Cria um objeto Calendar. firstweekday é um inteiro que especifica o primeiro dia da semana. MONDAY é 0 (o padrão), SUNDAY é 6.

Um objeto Calendar fornece vários métodos que podem ser usados para preparar os dados do calendário para formatação. Esta classe não realiza nenhuma formatação por si mesma. Esse é o trabalho das subclasses.

Instâncias de Calendar têm os seguintes métodos:

iterweekdays()

Retorna um iterador para os números dos dias da semana que serão usados em uma semana. O primeiro valor do iterador será o mesmo que o valor da propriedade firstweekday.

itermonthdates(year, month)

Retorna um iterador para o mês month (1–12) no ano year. Este iterador retornará todos os dias (como objetos datetime.date) para o mês e todos os dias antes do início do mês ou após o final do mês que são necessários para obter uma semana completa.

itermonthdays(year, month)

Retorna um iterador para o mês month no ano year semelhante a itermonthdates(), mas não restrito pelo intervalo de datetime.date. Os dias retornados serão simplesmente os números dos dias do mês. Para os dias fora do mês especificado, o número do dia será 0.

itermonthdays2(year, month)

Retorna um iterador para o mês month no ano year semelhante a itermonthdates(), mas não restrito pelo intervalo de datetime.date. Os dias retornados serão tuplas consistindo de um número de dia do mês e um número de dia da semana.

itermonthdays3(year, month)

Retorna um iterador para o mês month no ano year semelhante a itermonthdates(), mas não restrito pelo intervalo de datetime.date. Os dias retornados serão tuplas consistindo de números de um ano, um mês e um dia do mês.

Adicionado na versão 3.7.

itermonthdays4(year, month)

Retorna um iterador para o mês month no ano year semelhante a itermonthdates(), mas não restrito pelo intervalo de datetime.date. Os dias retornados serão tuplas consistindo de números de um ano, um mês, um dia do mês e um dia da semana.

Adicionado na versão 3.7.

monthdatescalendar(year, month)

Retorna uma lista das semanas do mês month do year como semanas completas. As semanas são listas de sete objetos datetime.date.

monthdays2calendar(year, month)

Retorna uma lista das semanas do mês month do ano year como semanas completas. As semanas são listas de sete tuplas de números dias e de dias de semanas.

monthdayscalendar(year, month)

Retorna uma lista das semanas do mês month do ano year como semanas completas. As semanas são listas de números de sete dias.

yeardatescalendar(year, width=3)

Retorna os dados para o ano especificado prontos para formatação. O valor de retorno é uma lista de linhas de meses. Cada linha de mês contém até width meses (padrão é 3). Cada mês contém entre 4 e 6 semanas, e cada semana contém 1–7 dias. Os dias são objetos datetime.date.

yeardays2calendar(year, width=3)

Retorna os dados para o ano especificado prontos para formatação (semelhante a yeardatescalendar()). Entradas nas listas semanais são tuplas de números de dias e números de dias de semana. Números de dias fora deste mês são zero.

yeardayscalendar(year, width=3)

Retorna a data para o ano especificado prontos para formatação (semelhante a yeardatescalendar()). Entradas nas listas de semanas são números de dias. Números de dias fora deste mês são zero.

class calendar.TextCalendar(firstweekday=0)

Esta classe pode ser usada para gerar texto plano para calendários.

Instâncias de TextCalendar têm os seguintes métodos:

formatmonth(theyear, themonth, w=0, l=0)

Retorna o calendário do mês em uma string multilinha. Se w for providenciado, isto especifica a largura das colunas de data, que são centrais. Se l for dado, este especifica o número de linhas que cada semana vai usar. Dependendo do primeiro dia da semana conforme especificado no construtor ou configurado pelo método setfirstweekday().

prmonth(theyear, themonth, w=0, l=0)

Imprime um calendário do mês conforme retornado pelo formatmonth().

formatyear(theyear, w=2, l=1, c=6, m=3)

Retorna um calendário com m colunas para um ano inteiro conforme uma string multilinha. Parâmetros opcionais w, l e c definem a largura da coluna data, linhas por semana e números de espaços entre as colunas dos meses, respectivamente. Depende do primeiro dia da semana conforme especificado no construtor ou definido pelo método setfirstweekday(). O ano mais novo para o qual o calendário pode ser gerado depende da plataforma.

pryear(theyear, w=2, l=1, c=6, m=3)

Imprime o calendário para um ano inteiro conforme retornado por formatyear().

class calendar.HTMLCalendar(firstweekday=0)

Esta classse pode ser usada para gerar calendários HTML.

Instâncias de HTMLCalendar têm os seguintes métodos:

formatmonth(theyear, themonth, withyear=True)

Retorna um calendário do mês como uma tabela HTML. Se withyear for verdadeiro, o ano será incluído no cabeçalho, senão apenas o nome do mês será utilizado.

formatyear(theyear, width=3)

Retorna um calendário do ano como uma tabela HTML. width (padronizada para 3) especifica o número de meses por linha.

formatyearpage(theyear, width=3, css='calendar.css', encoding=None)

Return a year’s calendar as a complete HTML page. width (defaulting to 3) specifies the number of months per row. css is the name for the cascading style sheet to be used. None can be passed if no style sheet should be used. encoding specifies the encoding to be used for the output (defaulting to the system default encoding).

formatmonthname(theyear, themonth, withyear=True)

Return a month name as an HTML table row. If withyear is true the year will be included in the row, otherwise just the month name will be used.

HTMLCalendar has the following attributes you can override to customize the CSS classes used by the calendar:

cssclasses

A list of CSS classes used for each weekday. The default class list is:

cssclasses = ["mon", "tue", "wed", "thu", "fri", "sat", "sun"]

more styles can be added for each day:

cssclasses = ["mon text-bold", "tue", "wed", "thu", "fri", "sat", "sun red"]

Note that the length of this list must be seven items.

cssclass_noday

The CSS class for a weekday occurring in the previous or coming month.

Adicionado na versão 3.7.

cssclasses_weekday_head

A list of CSS classes used for weekday names in the header row. The default is the same as cssclasses.

Adicionado na versão 3.7.

cssclass_month_head

The month’s head CSS class (used by formatmonthname()). The default value is "month".

Adicionado na versão 3.7.

cssclass_month

The CSS class for the whole month’s table (used by formatmonth()). The default value is "month".

Adicionado na versão 3.7.

cssclass_year

The CSS class for the whole year’s table of tables (used by formatyear()). The default value is "year".

Adicionado na versão 3.7.

cssclass_year_head

The CSS class for the table head for the whole year (used by formatyear()). The default value is "year".

Adicionado na versão 3.7.

Note that although the naming for the above described class attributes is singular (e.g. cssclass_month cssclass_noday), one can replace the single CSS class with a space separated list of CSS classes, for example:

"text-bold text-red"

Here is an example how HTMLCalendar can be customized:

class CustomHTMLCal(calendar.HTMLCalendar):
    cssclasses = [style + " text-nowrap" for style in
                  calendar.HTMLCalendar.cssclasses]
    cssclass_month_head = "text-center month-head"
    cssclass_month = "text-center month"
    cssclass_year = "text-italic lead"

class calendar.LocaleTextCalendar(firstweekday=0, locale=None)

This subclass of TextCalendar can be passed a locale name in the constructor and will return month and weekday names in the specified locale.

class calendar.LocaleHTMLCalendar(firstweekday=0, locale=None)

This subclass of HTMLCalendar can be passed a locale name in the constructor and will return month and weekday names in the specified locale.

Nota

The constructor, formatweekday() and formatmonthname() methods of these two classes temporarily change the LC_TIME locale to the given locale. Because the current locale is a process-wide setting, they are not thread-safe.

Para calendários de texto simples, este módulo fornece as seguintes funções.

calendar.setfirstweekday(weekday)

Sets the weekday (0 is Monday, 6 is Sunday) to start each week. The values MONDAY, TUESDAY, WEDNESDAY, THURSDAY, FRIDAY, SATURDAY, and SUNDAY are provided for convenience. For example, to set the first weekday to Sunday:

import calendar
calendar.setfirstweekday(calendar.SUNDAY)

calendar.firstweekday()

Returns the current setting for the weekday to start each week.

calendar.isleap(year)

Returns True if year is a leap year, otherwise False.

calendar.leapdays(y1, y2)

Returns the number of leap years in the range from y1 to y2 (exclusive), where y1 and y2 are years.

This function works for ranges spanning a century change.

calendar.weekday(year, month, day)

Returns the day of the week (0 is Monday) for year (1970–…), month (1–12), day (1–31).

calendar.weekheader(n)

Return a header containing abbreviated weekday names. n specifies the width in characters for one weekday.

calendar.monthrange(year, month)

Returns weekday of first day of the month and number of days in month, for the specified year and month.

calendar.monthcalendar(year, month)

Returns a matrix representing a month’s calendar. Each row represents a week; days outside of the month are represented by zeros. Each week begins with Monday unless set by setfirstweekday().

calendar.prmonth(theyear, themonth, w=0, l=0)

Prints a month’s calendar as returned by month().

calendar.month(theyear, themonth, w=0, l=0)

Returns a month’s calendar in a multi-line string using the formatmonth() of the TextCalendar class.

calendar.prcal(year, w=0, l=0, c=6, m=3)

Prints the calendar for an entire year as returned by calendar().

calendar.calendar(year, w=2, l=1, c=6, m=3)

Returns a 3-column calendar for an entire year as a multi-line string using the formatyear() of the TextCalendar class.

calendar.timegm(tuple)

An unrelated but handy function that takes a time tuple such as returned by the gmtime() function in the time module, and returns the corresponding Unix timestamp value, assuming an epoch of 1970, and the POSIX encoding. In fact, time.gmtime() and timegm() are each others’ inverse.

The calendar module exports the following data attributes:

calendar.day_name

A sequence that represents the days of the week in the current locale, where Monday is day number 0.

>>> import calendar
>>> list(calendar.day_name)
['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']

calendar.day_abbr

A sequence that represents the abbreviated days of the week in the current locale, where Mon is day number 0.

>>> import calendar
>>> list(calendar.day_abbr)
['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']

calendar.MONDAY

calendar.TUESDAY

calendar.WEDNESDAY

calendar.THURSDAY

calendar.FRIDAY

calendar.SATURDAY

calendar.SUNDAY

Aliases for the days of the week, where MONDAY is 0 and SUNDAY is 6.

Adicionado na versão 3.12.

class calendar.Day

Enumeration defining days of the week as integer constants. The members of this enumeration are exported to the module scope as MONDAY through SUNDAY.

Adicionado na versão 3.12.

calendar.month_name

A sequence that represents the months of the year in the current locale. This follows normal convention of January being month number 1, so it has a length of 13 and month_name[0] is the empty string.

>>> import calendar
>>> list(calendar.month_name)
['', 'January', 'February', 'March', 'April', 'May', 'June', 'July', 'August', 'September', 'October', 'November', 'December']

calendar.month_abbr

A sequence that represents the abbreviated months of the year in the current locale. This follows normal convention of January being month number 1, so it has a length of 13 and month_abbr[0] is the empty string.

>>> import calendar
>>> list(calendar.month_abbr)
['', 'Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec']

calendar.JANUARY

calendar.FEBRUARY

calendar.MARCH

calendar.APRIL

calendar.MAY

calendar.JUNE

calendar.JULY

calendar.AUGUST

calendar.SEPTEMBER

calendar.OCTOBER

calendar.NOVEMBER

calendar.DECEMBER

Aliases for the months of the year, where JANUARY is 1 and DECEMBER is 12.

Adicionado na versão 3.12.

class calendar.Month

Enumeration defining months of the year as integer constants. The members of this enumeration are exported to the module scope as JANUARY through DECEMBER.

Adicionado na versão 3.12.

The calendar module defines the following exceptions:

exception calendar.IllegalMonthError(month)

A subclass of ValueError, raised when the given month number is outside of the range 1-12 (inclusive).

month

The invalid month number.

exception calendar.IllegalWeekdayError(weekday)

A subclass of ValueError, raised when the given weekday number is outside of the range 0-6 (inclusive).

weekday

The invalid weekday number.

Ver também

Módulo datetime

Object-oriented interface to dates and times with similar functionality to the time module.

Módulo time

Low-level time related functions.

Uso na linha de comando

Adicionado na versão 2.5.

The calendar module can be executed as a script from the command line to interactively print a calendar.

python -m calendar [-h] [-L LOCALE] [-e ENCODING] [-t {text,html}]
                   [-w WIDTH] [-l LINES] [-s SPACING] [-m MONTHS] [-c CSS]
                   [-f FIRST_WEEKDAY] [year] [month]

For example, to print a calendar for the year 2000:

$ python -m calendar 2000
                                  2000

      January                   February                   March
Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su
                1  2          1  2  3  4  5  6             1  2  3  4  5
 3  4  5  6  7  8  9       7  8  9 10 11 12 13       6  7  8  9 10 11 12
10 11 12 13 14 15 16      14 15 16 17 18 19 20      13 14 15 16 17 18 19
17 18 19 20 21 22 23      21 22 23 24 25 26 27      20 21 22 23 24 25 26
24 25 26 27 28 29 30      28 29                     27 28 29 30 31
31

       April                      May                       June
Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su
                1  2       1  2  3  4  5  6  7                1  2  3  4
 3  4  5  6  7  8  9       8  9 10 11 12 13 14       5  6  7  8  9 10 11
10 11 12 13 14 15 16      15 16 17 18 19 20 21      12 13 14 15 16 17 18
17 18 19 20 21 22 23      22 23 24 25 26 27 28      19 20 21 22 23 24 25
24 25 26 27 28 29 30      29 30 31                  26 27 28 29 30

        July                     August                  September
Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su
                1  2          1  2  3  4  5  6                   1  2  3
 3  4  5  6  7  8  9       7  8  9 10 11 12 13       4  5  6  7  8  9 10
10 11 12 13 14 15 16      14 15 16 17 18 19 20      11 12 13 14 15 16 17
17 18 19 20 21 22 23      21 22 23 24 25 26 27      18 19 20 21 22 23 24
24 25 26 27 28 29 30      28 29 30 31               25 26 27 28 29 30
31

      October                   November                  December
Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su      Mo Tu We Th Fr Sa Su
                   1             1  2  3  4  5                   1  2  3
 2  3  4  5  6  7  8       6  7  8  9 10 11 12       4  5  6  7  8  9 10
 9 10 11 12 13 14 15      13 14 15 16 17 18 19      11 12 13 14 15 16 17
16 17 18 19 20 21 22      20 21 22 23 24 25 26      18 19 20 21 22 23 24
23 24 25 26 27 28 29      27 28 29 30               25 26 27 28 29 30 31
30 31

As seguintes opções são aceitas:

--help, -h

Mostra a mensagem de ajuda e sai.

--locale LOCALE, -L LOCALE

The locale to use for month and weekday names. Defaults to English.

--encoding ENCODING, -e ENCODING

The encoding to use for output. --encoding is required if --locale is set.

--type {text,html}, -t {text,html}

Print the calendar to the terminal as text, or as an HTML document.

--first-weekday FIRST_WEEKDAY, -f FIRST_WEEKDAY

The weekday to start each week. Must be a number between 0 (Monday) and 6 (Sunday). Defaults to 0.

Adicionado na versão 3.13.

year

The year to print the calendar for. Defaults to the current year.

month

The month of the specified year to print the calendar for. Must be a number between 1 and 12, and may only be used in text mode. Defaults to printing a calendar for the full year.

Text-mode options:

--width WIDTH, -w WIDTH

The width of the date column in terminal columns. The date is printed centred in the column. Any value lower than 2 is ignored. Defaults to 2.

--lines LINES, -l LINES

The number of lines for each week in terminal rows. The date is printed top-aligned. Any value lower than 1 is ignored. Defaults to 1.

--spacing SPACING, -s SPACING

The space between months in columns. Any value lower than 2 is ignored. Defaults to 6.

--months MONTHS, -m MONTHS

The number of months printed per row. Defaults to 3.

HTML-mode options:

--css CSS, -c CSS

The path of a CSS stylesheet to use for the calendar. This must either be relative to the generated HTML, or an absolute HTTP or file:/// URL.

collections — Tipos de dados de contêineres

Código-fonte: Lib/collections/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/collections/__init__.py]

Este módulo implementa tipos de dados de contêineres especializados que fornecem alternativas aos contêineres embutidos do Python, dict, list, set e tuple.

namedtuple()

função fábrica (factory function) para criar subclasses de tuplas com campos nomeados

deque

contêiner lista ou similar com acréscimos e retiradas rápidas nas duas extremidades

ChainMap

classe dict ou similar para criar uma visão única de vários mapeamentos

Counter

subclasse de dict para contar objetos hasheáveis

OrderedDict

subclasse de dict que lembra a ordem que as entradas foram adicionadas

defaultdict

subclasse de dict que chama uma função fábrica para fornecer valores não encontrados

UserDict

invólucro em torno de objetos dicionário para facilitar fazer subclasse de dict

UserList

invólucro em torno de objetos lista para facilitar criação de subclasse de lista

UserString

invólucro em torno de objetos string para uma facilitar criação de subclasse de string

Objetos ChainMap

Adicionado na versão 3.3.

Uma classe ChainMap é fornecida para ligar rapidamente uma série de mapeamentos de forma que possam ser tratados como um só. O que é frequentemente mais rápido do que criar um novo dicionário e executar múltiplas chamadas de update().

A classe pode ser usada para simular escopos aninhados e é útil em modelos.

class collections.ChainMap(*maps)

ChainMap agrupa múltiplos dicts ou outros mapeamentos para criar uma única vista atualizável. Se nenhum maps for especificado, um dicionário vazio será fornecido para que uma nova cadeia tenha sempre pelo menos um mapeamento.

Os mapeamentos subjacentes são armazenados em uma lista. Essa lista é pública e pode ser acessada ou atualizada usando o atributo maps. Não existe outro estado.

Faz uma busca nos mapeamentos subjacentes sucessivamente até que uma chave seja encontrada. Em contraste, escrita, atualizações e remoções operam apenas no primeiro mapeamento.

Uma ChainMap incorpora os mapeamentos subjacentes por referência. Então, se um dos mapeamentos subjacentes for atualizado, essas alterações serão refletidas na ChainMap.

Todos os métodos usuais do dicionário são suportados. Além disso, existe um atributo maps, um método para criar novos subcontextos e uma propriedade para acessar todos, exceto o primeiro mapeamento:

maps

Uma lista de mapeamentos atualizáveis ​​pelo usuário. A lista é ordenada desde o primeiro pesquisado até a última pesquisado. É o único estado armazenado e pode ser modificado para alterar quais mapeamentos são pesquisados. A lista deve sempre conter pelo menos um mapeamento.

new_child(m=None, **kwargs)

Retorna uma nova ChainMap contendo um novo mapa seguido de todos os mapas na instância atual. Se m for especificado, torna-se o novo mapa na frente da lista de mapeamentos; Se não especificado, é usado um dicionário vazio, de modo que chamar d.new_child() é equivalente a: ChainMap({}, *d.maps). Se algum argumento nomeado for especificado, ele atualizará o mapa passado ou o novo dicionário vazio. Esse método é usado para criar subcontextos que podem ser atualizados sem alterar valores em nenhum dos mapeamentos pai.

Alterado na versão 3.4: O parâmetro opcional m foi adicionado.

Alterado na versão 3.10: Suporte a argumentos nomeados foi adicionado.

parents

Propriedade que retorna um novo ChainMap contendo todos os mapas da instância atual, exceto o primeiro. Isso é útil para pular o primeiro mapa da pesquisa. Os casos de uso são semelhantes aos do argumento nomeado nonlocal usada em escopos aninhados. Os casos de uso também são paralelos aos da função embutida super(). Uma referência a d.parents é equivalente a: ChainMap(*d.maps[1:]).

Observe, a ordem de iteração de um ChainMap é determinada pela varredura dos mapeamentos do último ao primeiro:

>>> baseline = {'music': 'bach', 'art': 'rembrandt'}
>>> adjustments = {'art': 'van gogh', 'opera': 'carmen'}
>>> list(ChainMap(adjustments, baseline))
['music', 'art', 'opera']

Isso dá a mesma ordem de uma série de chamadas de dict.update() começando com o último mapeamento:

>>> combined = baseline.copy()
>>> combined.update(adjustments)
>>> list(combined)
['music', 'art', 'opera']

Alterado na versão 3.9: Adicionado suporte para os operadores | e |=, especificados na PEP 584 [https://peps.python.org/pep-0584/].

Ver também

A classe MultiContext [https://github.com/enthought/codetools/blob/4.0.0/codetools/contexts/multi_context.py] no pacote CodeTools [https://github.com/enthought/codetools] de Enthought tem opções para oferecer suporte à escrita em qualquer mapeamento na cadeia.

A classe Context [https://github.com/django/django/blob/main/django/template/context.py] do Django para modelos é uma cadeia de mapeamentos somente leitura. Ela também oferece o recurso de push e pop (inserir e retirar) contextos semelhantes ao método new_child() e a propriedade parents.

A receita de Contextos Aninhados [https://code.activestate.com/recipes/577434-nested-contexts-a-chain-of-mapping-objects/] possui opções para controlar se escritas e outras mutações se aplicam a apenas o primeiro mapeamento ou para qualquer mapeamento na cadeia.

Uma versão muito simplificada somente leitura do Chainmap [https://code.activestate.com/recipes/305268/].

Exemplos e Receitas de ChainMap

Esta seção mostra várias abordagens para trabalhar com mapas encadeados.

Exemplo de simulação da cadeia de busca interna do Python:

import builtins
pylookup = ChainMap(locals(), globals(), vars(builtins))

Exemplo de como permitir que os argumentos de linha de comando especificados pelo usuário tenham precedência sobre as variáveis de ambiente que, por sua vez, têm precedência sobre os valores padrão:

import os, argparse

defaults = {'color': 'red', 'user': 'guest'}

parser = argparse.ArgumentParser()
parser.add_argument('-u', '--user')
parser.add_argument('-c', '--color')
namespace = parser.parse_args()
command_line_args = {k: v for k, v in vars(namespace).items() if v is not None}

combined = ChainMap(command_line_args, os.environ, defaults)
print(combined['color'])
print(combined['user'])

Padrões de exemplo para utilização da classe ChainMap para simular contextos aninhados:

c = ChainMap()        # Create root context
d = c.new_child()     # Create nested child context
e = c.new_child()     # Child of c, independent from d
e.maps[0]             # Current context dictionary -- like Python's locals()
e.maps[-1]            # Root context -- like Python's globals()
e.parents             # Enclosing context chain -- like Python's nonlocals

d['x'] = 1            # Set value in current context
d['x']                # Get first key in the chain of contexts
del d['x']            # Delete from current context
list(d)               # All nested values
k in d                # Check all nested values
len(d)                # Number of nested values
d.items()             # All nested items
dict(d)               # Flatten into a regular dictionary

A classe ChainMap só faz atualizações (escritas e remoções) no primeiro mapeamento na cadeia, enquanto as pesquisas irão buscar em toda a cadeia. Contudo, se há o desejo de escritas e remoções profundas, é fácil fazer uma subclasse que atualiza chaves encontradas mais a fundo na cadeia:

class DeepChainMap(ChainMap):
    'Variant of ChainMap that allows direct updates to inner scopes'

    def __setitem__(self, key, value):
        for mapping in self.maps:
            if key in mapping:
                mapping[key] = value
                return
        self.maps[0][key] = value

    def __delitem__(self, key):
        for mapping in self.maps:
            if key in mapping:
                del mapping[key]
                return
        raise KeyError(key)

>>> d = DeepChainMap({'zebra': 'black'}, {'elephant': 'blue'}, {'lion': 'yellow'})
>>> d['lion'] = 'orange'         # update an existing key two levels down
>>> d['snake'] = 'red'           # new keys get added to the topmost dict
>>> del d['elephant']            # remove an existing key one level down
>>> d                            # display result
DeepChainMap({'zebra': 'black', 'snake': 'red'}, {}, {'lion': 'orange'})

Objetos Counter

Uma ferramenta de contagem é fornecida para apoiar contas rápidas e convenientes. Por exemplo:

>>> # Tally occurrences of words in a list
>>> cnt = Counter()
>>> for word in ['red', 'blue', 'red', 'green', 'blue', 'blue']:
...     cnt[word] += 1
...
>>> cnt
Counter({'blue': 3, 'red': 2, 'green': 1})

>>> # Find the ten most common words in Hamlet
>>> import re
>>> words = re.findall(r'\w+', open('hamlet.txt').read().lower())
>>> Counter(words).most_common(10)
[('the', 1143), ('and', 966), ('to', 762), ('of', 669), ('i', 631),
 ('you', 554),  ('a', 546), ('my', 514), ('hamlet', 471), ('in', 451)]

class collections.Counter([iterable-or-mapping])

Um Counter é uma subclasse de dict subclass para contagem de objetos hasheáveis. É uma coleção na qual elementos são armazenados como chaves de dicionário e suas contagens são armazenadas como valores de dicionário. Contagens podem ser qualquer valor inteiro incluindo zero e contagens negativas. A classe Counter é similar a sacos ou multiconjuntos em outras linguagens.

Os elementos são contados a partir de um iterável iterable ou inicializado a partir de um outro mapeamento mapping (ou contador):

>>> c = Counter()                           # a new, empty counter
>>> c = Counter('gallahad')                 # a new counter from an iterable
>>> c = Counter({'red': 4, 'blue': 2})      # a new counter from a mapping
>>> c = Counter(cats=4, dogs=8)             # a new counter from keyword args

Objetos Counter tem uma interface de dicionário, com a diferença que devolvem uma contagem zero para itens que não estão presentes em vez de levantar a exceção KeyError:

>>> c = Counter(['eggs', 'ham'])
>>> c['bacon']                              # count of a missing element is zero
0

Definir uma contagem como zero não remove um elemento do contador. Use del para o remover completamente.

>>> c['sausage'] = 0                        # counter entry with a zero count
>>> del c['sausage']                        # del actually removes the entry

Adicionado na versão 3.1.

Alterado na versão 3.7: Como uma subclasse de dict, Counter herda a capacidade de lembrar a ordem de inserção. Operações matemáticas em objetos Counter também preservam ordem. Os resultados são ordenados de acordo com o momento que um elemento é encontrado pela primeira vez no operando da esquerda e, em seguida, pela ordem encontrada no operando da direita.

Objetos Counter têm suporte a métodos adicionais além daqueles que já estão disponíveis para todos os dicionários:

elements()

Retorna um iterador sobre os elementos, repetindo cada um tantas vezes quanto sua contagem. Os elementos são retornados na ordem em que foram encontrados pela primeira vez. Se a contagem de um elemento é menor que um, ele será ignorado por elements() .

>>> c = Counter(a=4, b=2, c=0, d=-2)
>>> sorted(c.elements())
['a', 'a', 'a', 'a', 'b', 'b']

most_common([n])

Retorna uma lista dos n elementos mais comuns e suas contagens, do mais comum para o menos comum. Se n for omitido ou igual a None, most_common() retorna todos os elementos no contador. Elementos com contagens iguais são ordenados na ordem em que foram encontrados pela primeira vez:

>>> Counter('abracadabra').most_common(3)
[('a', 5), ('b', 2), ('r', 2)]

subtract([iterable-or-mapping])

Os elementos são subtraídos de um iterável iterable ou de outro mapeamento mapping (ou contador). Funciona como dict.update(), mas subtraindo contagens ao invés de substituí-las. Tanto as entradas quanto as saídas podem ser zero ou negativas.

>>> c = Counter(a=4, b=2, c=0, d=-2)
>>> d = Counter(a=1, b=2, c=3, d=4)
>>> c.subtract(d)
>>> c
Counter({'a': 3, 'b': 0, 'c': -3, 'd': -6})

Adicionado na versão 3.2.

total()

Calcula a soma das contagens.

>>> c = Counter(a=10, b=5, c=0)
>>> c.total()
15

Adicionado na versão 3.10.

Os métodos usuais de dicionário estão disponíveis para objetos Counter, exceto por dois que funcionam de forma diferente para contadores.

fromkeys(iterable)

Este método de classe não está implementado para objetos Counter.

update([iterable-or-mapping])

Elementos são contados a partir de um iterável iterable ou adicionados de outro mapeamento mapping (ou contador). Funciona como dict.update(), mas adiciona contagens em vez de substituí-las. Além disso, é esperado que o iterable seja uma sequência de elementos, e não uma sequência de pares (key, value).

Os contadores oferecem suporte a operadores de comparação rica para relacionamentos de igualdade, subconjunto e superconjunto: ==, !=, <, <=, >, >=. Todos esses testes tratam os elementos ausentes como tendo contagens zero para que Counter(a=1) == Counter(a=1, b=0) retorne verdadeiro.

Alterado na versão 3.10: Foram adicionadas operações de rica comparação.

Alterado na versão 3.10: Em testes de igualdade, os elementos ausentes são tratados como tendo contagens zero. Anteriormente, Counter(a=3) e Counter(a=3, b=0) eram considerados distintos.

Padrões comuns para trabalhar com objetos Counter:

c.total()                       # total of all counts
c.clear()                       # reset all counts
list(c)                         # list unique elements
set(c)                          # convert to a set
dict(c)                         # convert to a regular dictionary
c.items()                       # access the (elem, cnt) pairs
Counter(dict(list_of_pairs))    # convert from a list of (elem, cnt) pairs
c.most_common()[:-n-1:-1]       # n least common elements
+c                              # remove zero and negative counts

Diversas operações matemáticas são fornecidas combinando objetos do tipo Counter afim de se produzir multiconjuntos (Counters que possuem contagens maiores que 0). Adição e subtração combinam contadores adicionando ou subtraindo o contagem do elemento correspondente. Intersecção ou união retorna o mínimo e máximo da contagem correspondente. Igualdade e inclusão compara as contagens correspondentes. Cada operação aceita entradas com contagens assinadas, mas a saída vai excluir resultados com contagens de zero ou menos.

>>> c = Counter(a=3, b=1)
>>> d = Counter(a=1, b=2)
>>> c + d                       # add two counters together:  c[x] + d[x]
Counter({'a': 4, 'b': 3})
>>> c - d                       # subtract (keeping only positive counts)
Counter({'a': 2})
>>> c & d                       # intersection:  min(c[x], d[x])
Counter({'a': 1, 'b': 1})
>>> c | d                       # union:  max(c[x], d[x])
Counter({'a': 3, 'b': 2})
>>> c == d                      # equality:  c[x] == d[x]
False
>>> c <= d                      # inclusion:  c[x] <= d[x]
False

A adição e subtração unárias são atalhos para adicionar um contador vazio ou subtrair de um contador vazio.

>>> c = Counter(a=2, b=-4)
>>> +c
Counter({'a': 2})
>>> -c
Counter({'b': 4})

Adicionado na versão 3.3: Adicionado suporte para operador unário mais, unário menos e operações in-place em multiconjuntos.

Nota

Os contadores foram projetados principalmente para funcionar com números inteiros positivos para representar contagens contínuas; no entanto, foi tomado cuidado para não impedir desnecessariamente os casos de uso que precisassem de outros tipos ou valores negativos. Para ajudar nesses casos de uso, esta seção documenta o intervalo mínimo e as restrições de tipo.

A própria classe Counter é uma subclasse de dicionário sem restrições em suas chaves e valores. Os valores pretendem ser números que representam contagens, mas você pode armazenar qualquer coisa no campo de valor.

O método most_common() requer apenas que os valores sejam ordenáveis.

Para operações in-place, como c[key] += 1, o tipo de valor precisa oferecer suporte a apenas adição e subtração. Portanto, frações, números de ponto flutuante e decimais funcionariam e os valores negativos são suportados. O mesmo também é verdadeiro para update() e subtract() que permitem valores negativos e zero para entradas e saídas.

Os métodos de multiconjuntos são projetados apenas para casos de uso com valores positivos. As entradas podem ser negativas ou zero, mas apenas saídas com valores positivos são criadas. Não há restrições de tipo, mas o tipo de valor precisa suportar adição, subtração e comparação.

O método elements() requer contagens de inteiros. Ele ignora contagens zero e negativas.

Ver também

Classe Bag [https://www.gnu.org/software/smalltalk/manual-base/html_node/Bag.html] do Smalltalk.

Entrada da Wikipédia para Multiconjuntos [https://pt.wikipedia.org/wiki/Multiconjunto].

Tutorial com exemplos de multiconjuntos no C++ [http://www.java2s.com/Tutorial/Cpp/0380__set-multiset/Catalog0380__set-multiset.htm].

Para operações matemáticas em multiconjuntos e seus casos de uso, consulte Knuth, Donald. The Art of Computer Programming Volume II, Seção 4.6.3, Exercício 19.

Para enumerar todos os multiconjuntos distintos de um determinado tamanho em um determinado conjunto de elementos, consulte itertools.combinations_with_replacement():

map(Counter, combinations_with_replacement('ABC', 2)) # --> AA AB AC BB BC CC

Objetos deque

class collections.deque([iterable[, maxlen]])

Retorna um novo objeto deque inicializado da esquerda para a direita (usando append()) com dados do iterável iterable. Se iterable não for especificado, o novo deque estará vazio.

Deques são uma generalização de pilhas e filas (o nome é pronunciado “deck” e é abreviação de “double-ended queue”, e conhecida como “fila duplamente terminada” em português). O Deques oferece suporte para acréscimos e retiradas seguros para thread e eficientes em uso memória de ambos os lados do deque com aproximadamente o mesmo desempenho O(1) em qualquer direção.

Embora os objetos list ofereçam suporte a operações semelhantes, eles são otimizados para operações rápidas de comprimento fixo e sujeitam em custos de movimentação de memória O(n) para as operações pop(0) e insert(0, v) que alteram o tamanho e a posição da representação de dados subjacente.

Se maxlen não for especificado ou for None, deques podem crescer para um comprimento arbitrário. Caso contrário, o deque é limitado ao comprimento máximo especificado. Quando um deque de comprimento limitado está cheio, quando novos itens são adicionados, um número correspondente de itens é descartado da extremidade oposta. Deques de comprimento limitado fornecem funcionalidade semelhante ao filtro tail no Unix. Eles também são úteis para rastrear transações e outras pools de dados onde apenas a atividade mais recente é de interesse.

Os objetos Deque oferecem suporte aos seguintes métodos:

append(x)

Adiciona x ao lado direito do deque.

appendleft(x)

Adiciona x ao lado esquerdo do deque

clear()

Remove todos os elementos do deque deixando-o com comprimento 0.

copy()

Cria uma cópia rasa do deque.

Adicionado na versão 3.5.

count(x)

Conta o número de elementos deque igual a x.

Adicionado na versão 3.2.

extend(iterable)

Estende o lado direito do deque anexando elementos do argumento iterável.

extendleft(iterable)

Estende o lado esquerdo do deque anexando elementos de iterable. Observe que a série de acréscimos à esquerda resulta na reversão da ordem dos elementos no argumento iterável.

index(x[, start[, stop]])

Retorna a posição de x no deque (no ou após o índice start e antes do índice stop). Retorna a primeira correspondência ou levanta ValueError se não for encontrado.

Adicionado na versão 3.5.

insert(i, x)

Insere x no deque na posição i.

Se a inserção fizer com que um deque limitado cresça além de maxlen, uma IndexError é levantada.

Adicionado na versão 3.5.

pop()

Remove e devolve um elemento do lado direito do deque. Se nenhum elemento estiver presente, levanta um IndexError.

popleft()

Remove e devolve um elemento do lado esquerdo do deque. Se nenhum elemento estiver presente, levanta um IndexError.

remove(value)

Remove a primeira ocorrência de value. Se não for encontrado, levanta um ValueError.

reverse()

Inverte os elementos do deque no local e, em seguida, retorna None.

Adicionado na versão 3.2.

rotate(n=1)

Gira o deque n passos para a direita. Se n for negativo, gire para a esquerda.

Quando o deque não está vazio, girar um passo para a direita é equivalente a d.appendleft(d.pop()) e girar um passo para a esquerda é equivalente a d.append(d.popleft()).

Os objetos Deque também fornecem um atributo somente leitura:

maxlen

Tamanho máximo de um deque ou None se ilimitado.

Adicionado na versão 3.1.

Além do acima, deques oferece suporte a iteração, serialização com pickle, len(d), reversed(d), copy.copy(d), copy.deepcopy(d) e teste de associação com o operador in e referências subscritas, como d[0] para acessar o primeiro elemento. O acesso indexado é O(1) em ambas as extremidades, mas diminui para O(n) no meio. Para acesso aleatório rápido, use listas.

A partir da versão 3.5, deques oferecem suporte a __add__(),``__mul__()`` e __imul__().

Exemplo:

>>> from collections import deque
>>> d = deque('ghi')                 # make a new deque with three items
>>> for elem in d:                   # iterate over the deque's elements
...     print(elem.upper())
G
H
I

>>> d.append('j')                    # add a new entry to the right side
>>> d.appendleft('f')                # add a new entry to the left side
>>> d                                # show the representation of the deque
deque(['f', 'g', 'h', 'i', 'j'])

>>> d.pop()                          # return and remove the rightmost item
'j'
>>> d.popleft()                      # return and remove the leftmost item
'f'
>>> list(d)                          # list the contents of the deque
['g', 'h', 'i']
>>> d[0]                             # peek at leftmost item
'g'
>>> d[-1]                            # peek at rightmost item
'i'

>>> list(reversed(d))                # list the contents of a deque in reverse
['i', 'h', 'g']
>>> 'h' in d                         # search the deque
True
>>> d.extend('jkl')                  # add multiple elements at once
>>> d
deque(['g', 'h', 'i', 'j', 'k', 'l'])
>>> d.rotate(1)                      # right rotation
>>> d
deque(['l', 'g', 'h', 'i', 'j', 'k'])
>>> d.rotate(-1)                     # left rotation
>>> d
deque(['g', 'h', 'i', 'j', 'k', 'l'])

>>> deque(reversed(d))               # make a new deque in reverse order
deque(['l', 'k', 'j', 'i', 'h', 'g'])
>>> d.clear()                        # empty the deque
>>> d.pop()                          # cannot pop from an empty deque
Traceback (most recent call last):
    File "<pyshell#6>", line 1, in -toplevel-
        d.pop()
IndexError: pop from an empty deque

>>> d.extendleft('abc')              # extendleft() reverses the input order
>>> d
deque(['c', 'b', 'a'])

Receitas de deque

Esta seção mostra várias abordagens para trabalhar com deques.

Deques de comprimento limitado fornecem funcionalidade semelhante ao filtro tail em Unix:

def tail(filename, n=10):
    'Return the last n lines of a file'
    with open(filename) as f:
        return deque(f, n)

Outra abordagem para usar deques é manter uma sequência de elementos adicionados recentemente, acrescentando à direita e clicando à esquerda:

def moving_average(iterable, n=3):
    # moving_average([40, 30, 50, 46, 39, 44]) --> 40.0 42.0 45.0 43.0
    # https://en.wikipedia.org/wiki/Moving_average
    it = iter(iterable)
    d = deque(itertools.islice(it, n-1))
    d.appendleft(0)
    s = sum(d)
    for elem in it:
        s += elem - d.popleft()
        d.append(elem)
        yield s / n

Um escalonador round robin [https://en.wikipedia.org/wiki/Round-robin_scheduling] pode ser implementado com iteradores de entrada armazenados em um deque. Os valores são produzidos a partir do iterador ativo na posição zero. Se esse iterador estiver esgotado, ele pode ser removido com popleft(); caso contrário, ele pode voltar ao fim com o método rotate():

def roundrobin(*iterables):
    "roundrobin('ABC', 'D', 'EF') --> A D E B F C"
    iterators = deque(map(iter, iterables))
    while iterators:
        try:
            while True:
                yield next(iterators[0])
                iterators.rotate(-1)
        except StopIteration:
            # Remove an exhausted iterator.
            iterators.popleft()

O método rotate() fornece uma maneira de implementar o fatiamento e exclusão deque. Por exemplo, uma implementação Python pura de del d[n] depende do método rotate() para posicionar os elementos a serem retirados:

def delete_nth(d, n):
    d.rotate(-n)
    d.popleft()
    d.rotate(n)

Para implementar o fatiamento de deque, use uma abordagem semelhante aplicando rotate() para trazer um elemento alvo para o lado esquerdo do deque. Remova as entradas antigas com popleft(), adicione novas entradas com extend(), e, então, inverta a rotação. Com pequenas variações dessa abordagem, é fácil implementar manipulações de pilha de estilo Forth, como dup, drop, swap, over, pick, rot e roll.

Objetos defaultdict

class collections.defaultdict(default_factory=None, /[, ...])

Retorna um novo objeto dicionário ou similar. defaultdict é uma subclasse da classe embutida dict. Ele substitui um método e adiciona uma variável de instância gravável. A funcionalidade restante é a mesma da classe dict e não está documentada aqui.

O primeiro argumento fornece o valor inicial para o atributo default_factory; o padrão é None. Todos os argumentos restantes são tratados da mesma forma como se fossem passados ​​para o construtor dict, incluindo argumentos nomeados.

Os objetos defaultdict oferecem suporta ao seguinte método além das operações padrão dict:

__missing__(key)

Se o atributo default_factory for None, isso levanta uma exceção KeyError com key como argumento.

Se default_factory não for None, ele é chamado sem argumentos para fornecer um valor padrão para a chave key fornecida, este valor é inserido no dicionário para key e retornado.

Se chamar default_factory levanta uma exceção, esta exceção é propagada inalterada.

Este método é chamado pelo método __getitem__() da classe dict quando a chave solicitada não é encontrada; tudo o que ele retorna ou levanta é então retornado ou levantado por __getitem__().

Observe que __missing__() não é chamado para nenhuma operação além de __getitem__(). Isso significa que get() irá, como dicionários normais, retornar None como padrão ao invés de usar default_factory.

Objetos defaultdict permitem a seguinte variável de instância:

default_factory

Este atributo é usado pelo método __missing__(); ele é inicializado a partir do primeiro argumento para o construtor, se presente, ou para None, se ausente.

Alterado na versão 3.9: Adicionado operadores de mesclagem (|) e de atualização (|=), especificados na PEP 584 [https://peps.python.org/pep-0584/].

Exemplos de defaultdict

Usando list como default_factory, se for fácil agrupar a sequencia dos pares chave-valores num dicionário de listas

>>> s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]
>>> d = defaultdict(list)
>>> for k, v in s:
...     d[k].append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]

Quando cada chave é encontrada pela primeira vez, ela ainda não está no mapeamento; então uma entrada é criada automaticamente usando a função default_factory que retorna uma list vazia. A operação list.append() então anexa o valor à nova lista. Quando as chaves são encontradas novamente, a pesquisa prossegue normalmente (retornando a lista daquela chave) e a operação list.append() adiciona outro valor à lista. Esta técnica é mais simples e rápida que uma técnica equivalente usando dict.setdefault():

>>> d = {}
>>> for k, v in s:
...     d.setdefault(k, []).append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]

Definir default_factory como int torna defaultdict útil para contagem (como um multiconjunto em outras linguagens):

>>> s = 'mississippi'
>>> d = defaultdict(int)
>>> for k in s:
...     d[k] += 1
...
>>> sorted(d.items())
[('i', 4), ('m', 1), ('p', 2), ('s', 4)]

Quando uma letra é encontrada pela primeira vez, ela está ausente no mapeamento, então a função default_factory chama int() para fornecer uma contagem padrão de zero. A operação de incremento então cria a contagem para cada letra.

A função int() que sempre retorna zero é apenas um caso especial de funções constantes. Uma maneira mais rápida e flexível de criar funções constantes é usar uma função lambda que pode fornecer qualquer valor constante (não apenas zero):

>>> def constant_factory(value):
...     return lambda: value
...
>>> d = defaultdict(constant_factory('<missing>'))
>>> d.update(name='John', action='ran')
>>> '%(name)s %(action)s to %(object)s' % d
'John ran to <missing>'

Definir default_factory como set torna defaultdict útil para construir um dicionário de conjuntos:

>>> s = [('red', 1), ('blue', 2), ('red', 3), ('blue', 4), ('red', 1), ('blue', 4)]
>>> d = defaultdict(set)
>>> for k, v in s:
...     d[k].add(v)
...
>>> sorted(d.items())
[('blue', {2, 4}), ('red', {1, 3})]

Função de fábrica para tuplas com campos nomeados namedtuple()

Tuplas nomeadas determinam o significado de cada posição numa tupla e permitem um código mais legível e autodocumentado. Podem ser usadas sempre que tuplas regulares forem utilizadas, e adicionam a possibilidade de acessar campos pelo nome ao invés da posição do índice.

collections.namedtuple(typename, field_names, *, rename=False, defaults=None, module=None)

Retorna uma nova subclasse de tupla chamada typename. A nova subclasse é usada para criar objetos semelhantes a tuplas que possuem campos acessíveis por pesquisa de atributos, além de serem indexáveis ​​e iteráveis. As instâncias da subclasse também possuem uma docstring útil (com typename e field_names) e um método útil __repr__() que lista o conteúdo da tupla em um formato nome=valor.

field_names são uma sequência de strings como ['x', 'y']. Alternativamente, field_names pode ser uma única string com cada nome de campo separado por espaços em branco e/ou vírgulas como, por exemplo, 'x y' ou 'x, y'.

Qualquer identificador Python válido pode ser usado para um nome de campo, exceto para nomes que começam com um sublinhado. Identificadores válidos consistem em letras, dígitos e sublinhados, mas não começam com um dígito ou sublinhado e não podem ser uma keyword como class, for, return, global, pass ou raise.

Se rename for verdadeiro, nomes de campos inválidos serão automaticamente substituídos por nomes posicionais. Por exemplo, ['abc', 'def', 'ghi', 'abc'] é convertido para ['abc', '_1', 'ghi', '_3'], eliminando a palavra reservada def e o nome de campo duplicado abc.

defaults pode ser None ou um iterável de valores padrão. Como os campos com valor padrão devem vir depois de qualquer campo sem padrão, os padrões são aplicados aos parâmetros mais à direita. Por exemplo, se os nomes dos campos forem ['x', 'y', 'z'] e os padrões forem (1, 2), então x será um argumento obrigatório, y será o padrão 1, e z será o padrão 2.

If module is defined, the __module__ attribute of the named tuple is set to that value.

As instâncias de tuplas nomeadas não possuem dicionários por instância, portanto são leves e não requerem mais memória do que as tuplas normais.

Para prover suporte para a serialização com pickle, a classe de tupla nomeada deve ser atribuída a uma variável que corresponda a typename.

Alterado na versão 3.1: Adicionado suporte a rename.

Alterado na versão 3.6: Os parâmetros verbose e rename tornaram-se argumentos somente-nomeados.

Alterado na versão 3.6: Adicionado o parâmetro module.

Alterado na versão 3.7: Removido o parâmetro verbose e o atributo _source

Alterado na versão 3.7: Adicionado o parâmetro defaults e o atributo _field_defaults.

>>> # Basic example
>>> Point = namedtuple('Point', ['x', 'y'])
>>> p = Point(11, y=22)     # instantiate with positional or keyword arguments
>>> p[0] + p[1]             # indexable like the plain tuple (11, 22)
33
>>> x, y = p                # unpack like a regular tuple
>>> x, y
(11, 22)
>>> p.x + p.y               # fields also accessible by name
33
>>> p                       # readable __repr__ with a name=value style
Point(x=11, y=22)

Tuplas nomeadas são especialmente úteis para atribuir nomes de campos a tuplas de resultados retornadas pelos módulos csv ou sqlite3:

EmployeeRecord = namedtuple('EmployeeRecord', 'name, age, title, department, paygrade')

import csv
for emp in map(EmployeeRecord._make, csv.reader(open("employees.csv", "rb"))):
    print(emp.name, emp.title)

import sqlite3
conn = sqlite3.connect('/companydata')
cursor = conn.cursor()
cursor.execute('SELECT name, age, title, department, paygrade FROM employees')
for emp in map(EmployeeRecord._make, cursor.fetchall()):
    print(emp.name, emp.title)

Além dos métodos herdados das tuplas, as tuplas nomeadas oferecem suporte a três métodos adicionais e dois atributos. Para evitar conflitos com nomes de campos, os nomes de métodos e atributos começam com um sublinhado.

classmethod somenamedtuple._make(iterable)

Método de classe que cria uma nova instância a partir de uma sequência existente ou iterável.

>>> t = [11, 22]
>>> Point._make(t)
Point(x=11, y=22)

somenamedtuple._asdict()

Retorna um novo dict que mapeia nomes de campo para seus respectivos valores:

>>> p = Point(x=11, y=22)
>>> p._asdict()
{'x': 11, 'y': 22}

Alterado na versão 3.1: Retorna um OrderedDict em vez de um dict normal.

Alterado na versão 3.8: Retorna um dict regular em vez de um OrderedDict. A partir do Python 3.7, é garantido que os dicionários regulares sejam ordenados. Se os recursos extras de OrderedDict forem necessários, a correção sugerida é converter o resultado para o tipo desejado: OrderedDict(nt._asdict()).

somenamedtuple._replace(**kwargs)

Retorna uma nova instância da tupla nomeada substituindo os campos especificados por novos valores:

>>> p = Point(x=11, y=22)
>>> p._replace(x=33)
Point(x=33, y=22)

>>> for partnum, record in inventory.items():
...     inventory[partnum] = record._replace(price=newprices[partnum], timestamp=time.now())

Tuplas nomeadas também são suportados pela função genérica copy.replace().

Alterado na versão 3.13: Levanta TypeError em vez de ValueError para argumentos nomeados inválidos.

somenamedtuple._fields

Tupla de strings listando os nomes dos campos. Útil para introspecção e para criar novos tipos de tuplas nomeadas a partir de tuplas nomeadas existentes.

>>> p._fields            # view the field names
('x', 'y')

>>> Color = namedtuple('Color', 'red green blue')
>>> Pixel = namedtuple('Pixel', Point._fields + Color._fields)
>>> Pixel(11, 22, 128, 255, 0)
Pixel(x=11, y=22, red=128, green=255, blue=0)

somenamedtuple._field_defaults

Dicionário mapeando nomes de campos para valores padrão.

>>> Account = namedtuple('Account', ['type', 'balance'], defaults=[0])
>>> Account._field_defaults
{'balance': 0}
>>> Account('premium')
Account(type='premium', balance=0)

Para recuperar um campo cujo nome está armazenado em uma string, use a função getattr():

>>> getattr(p, 'x')
11

Para converter um dicionário em uma tupla nomeada, use o operador estrela dupla (conforme descrito em Desempacotando listas de argumentos):

>>> d = {'x': 11, 'y': 22}
>>> Point(**d)
Point(x=11, y=22)

Como uma tupla nomeada é uma classe regular do Python, é fácil adicionar ou alterar funcionalidades com uma subclasse. Veja como adicionar um campo calculado e um formato de impressão de largura fixa:

>>> class Point(namedtuple('Point', ['x', 'y'])):
...     __slots__ = ()
...     @property
...     def hypot(self):
...         return (self.x ** 2 + self.y ** 2) ** 0.5
...     def __str__(self):
...         return 'Point: x=%6.3f  y=%6.3f  hypot=%6.3f' % (self.x, self.y, self.hypot)

>>> for p in Point(3, 4), Point(14, 5/7):
...     print(p)
Point: x= 3.000  y= 4.000  hypot= 5.000
Point: x=14.000  y= 0.714  hypot=14.018

A subclasse mostrada acima define __slots__ como uma tupla vazia. Isso ajuda a manter baixos os requisitos de memória, evitando a criação de dicionários de instância.

A criação de subclasse não é útil para adicionar novos campos armazenados. Em vez disso, simplesmente crie um novo tipo de tupla nomeado a partir do atributo _fields:

>>> Point3D = namedtuple('Point3D', Point._fields + ('z',))

Docstrings podem ser personalizados fazendo atribuições diretas aos campos __doc__:

>>> Book = namedtuple('Book', ['id', 'title', 'authors'])
>>> Book.__doc__ += ': Hardcover book in active collection'
>>> Book.id.__doc__ = '13-digit ISBN'
>>> Book.title.__doc__ = 'Title of first printing'
>>> Book.authors.__doc__ = 'List of authors sorted by last name'

Alterado na versão 3.5: Os docstrings de propriedade tornaram-se graváveis.

Ver também

Veja typing.NamedTuple para uma maneira de adicionar dicas de tipo para tuplas nomeadas. Ele também fornece uma notação elegante usando a palavra reservada class:

class Component(NamedTuple):
    part_number: int
    weight: float
    description: Optional[str] = None

Veja types.SimpleNamespace() para um espaço de nomes mutável baseado em um dicionário subjacente em vez de uma tupla.

O módulo dataclasses fornece um decorador e funções para adicionar automaticamente métodos especiais gerados a classes definidas pelo usuário.

Objetos OrderedDict

Os dicionários ordenados são como os dicionários normais, mas possuem alguns recursos extras relacionados às operações de pedido. Eles se tornaram menos importantes agora que a classe embutida dict ganhou a capacidade de lembrar a ordem de inserção (esse novo comportamento foi garantido no Python 3.7).

Algumas diferenças de dict ainda permanecem:

O dict regular foi projetado para ser muito bom em operações de mapeamento. O rastreamento do pedido de inserção era secundário.

O OrderedDict foi projetado para ser bom em operações de reordenação. A eficiência de espaço, a velocidade de iteração e o desempenho das operações de atualização eram secundários.

O algoritmo OrderedDict pode lidar com operações de reordenação frequentes melhor do que dict. Conforme mostrado nas receitas abaixo, isso o torna adequado para implementar vários tipos de caches LRU.

A operação de igualdade para OrderedDict verifica a ordem correspondente.

Um dict regular pode emular o teste de igualdade sensível à ordem com p == q and all(k1 == k2 for k1, k2 in zip(p, q)).

O método popitem() de OrderedDict tem uma assinatura diferente. Ele aceita um argumento opcional para especificar qual item será exibido.

Um dict normal pode emular o od.popitem(last=True) do OrderedDict com d.popitem() que é garantido para exibir o (último) item mais à direita.

Um dict normal pode emular o od.popitem(last=False) do OrderedDict com (k := next(iter(d)), d.pop(k)) que retornará e remova o item mais à esquerda (primeiro), se existir.

OrderedDict possui um método move_to_end() para reposicionar eficientemente um elemento em um endpoint.

Um dict normal pode emular o od.move_to_end(k, last=True) do OrderedDict com d[k] = d.pop(k) que moverá a chave e seu valor associado para a posição mais à direita (última).

Um dict regular não tem um equivalente eficiente para o od.move_to_end(k, last=False) do OrderedDict, que move a chave e seu valor associado para a posição mais à esquerda (primeira).

Até o Python 3.8, dict não tinha um método __reversed__().

class collections.OrderedDict([items])

Retorna uma instância de uma subclasse dict que possui métodos especializados para reorganizar a ordem do dicionário.

Adicionado na versão 3.1.

popitem(last=True)

O método popitem() para dicionários ordenados retorna e remove um par (chave, valor). Os pares são retornados na ordem LIFO se last for verdadeiro ou na ordem FIFO se for falso.

move_to_end(key, last=True)

Move uma chave key existente para qualquer extremidade de um dicionário ordenado. O item é movido para a extremidade direita se last for verdadeiro (o padrão) ou para o início se último for falso. Levanta KeyError se a key não existir:

>>> d = OrderedDict.fromkeys('abcde')
>>> d.move_to_end('b')
>>> ''.join(d)
'acdeb'
>>> d.move_to_end('b', last=False)
>>> ''.join(d)
'bacde'

Adicionado na versão 3.2.

Além dos métodos usuais de mapeamento, dicionários ordenados também oferecem suporte a iteração reversa usando a função reversed().

Equality tests between OrderedDict objects are order-sensitive and are roughly equivalent to list(od1.items())==list(od2.items()).

Equality tests between OrderedDict objects and other Mapping objects are order-insensitive like regular dictionaries. This allows OrderedDict objects to be substituted anywhere a regular dictionary is used.

Alterado na versão 3.5: Os itens, chaves e valores de visões de OrderedDict agora oferecem suporte a iteração reversa usando reversed().

Alterado na versão 3.6: Com a aceitação da PEP 468 [https://peps.python.org/pep-0468/], a ordem é mantida para argumentos nomeados passados ​​para o construtor OrderedDict e seu método update().

Alterado na versão 3.9: Adicionado operadores de mesclagem (|) e de atualização (|=), especificados na PEP 584 [https://peps.python.org/pep-0584/].

Exemplos e receitas de OrderedDict

É simples criar uma variante de dicionário ordenado que lembre a ordem em que as chaves foram inseridas pela última vez. Se uma nova entrada substituir uma entrada existente, a posição de inserção original será alterada e movida para o final:

class LastUpdatedOrderedDict(OrderedDict):
    'Store items in the order the keys were last added'

    def __setitem__(self, key, value):
        super().__setitem__(key, value)
        self.move_to_end(key)

Um OrderedDict também seria útil para implementar variantes de functools.lru_cache():

from collections import OrderedDict
from time import time

class TimeBoundedLRU:
    "LRU Cache that invalidates and refreshes old entries."

    def __init__(self, func, maxsize=128, maxage=30):
        self.cache = OrderedDict()      # { args : (timestamp, result)}
        self.func = func
        self.maxsize = maxsize
        self.maxage = maxage

    def __call__(self, *args):
        if args in self.cache:
            self.cache.move_to_end(args)
            timestamp, result = self.cache[args]
            if time() - timestamp <= self.maxage:
                return result
        result = self.func(*args)
        self.cache[args] = time(), result
        if len(self.cache) > self.maxsize:
            self.cache.popitem(last=False)
        return result

class MultiHitLRUCache:
    """ LRU cache that defers caching a result until
        it has been requested multiple times.

        To avoid flushing the LRU cache with one-time requests,
        we don't cache until a request has been made more than once.

    """

    def __init__(self, func, maxsize=128, maxrequests=4096, cache_after=1):
        self.requests = OrderedDict()   # { uncached_key : request_count }
        self.cache = OrderedDict()      # { cached_key : function_result }
        self.func = func
        self.maxrequests = maxrequests  # max number of uncached requests
        self.maxsize = maxsize          # max number of stored return values
        self.cache_after = cache_after

    def __call__(self, *args):
        if args in self.cache:
            self.cache.move_to_end(args)
            return self.cache[args]
        result = self.func(*args)
        self.requests[args] = self.requests.get(args, 0) + 1
        if self.requests[args] <= self.cache_after:
            self.requests.move_to_end(args)
            if len(self.requests) > self.maxrequests:
                self.requests.popitem(last=False)
        else:
            self.requests.pop(args, None)
            self.cache[args] = result
            if len(self.cache) > self.maxsize:
                self.cache.popitem(last=False)
        return result

Objetos UserDict

A classe UserDict atua como um invólucro em torno de objetos dicionário. A necessidade desta classe foi parcialmente suplantada pela capacidade de criar subclasses diretamente de dict; entretanto, essa classe pode ser mais fácil de trabalhar porque o dicionário subjacente é acessível como um atributo.

class collections.UserDict([initialdata])

Classe que simula um dicionário. O conteúdo da instância é mantido em um dicionário regular, que é acessível através do atributo data das instâncias UserDict. Se initialdata for fornecido, data é inicializado com seu conteúdo; observe que a referência a initialdata não será mantida, permitindo sua utilização para outros fins.

Além de prover suporte aos métodos e operações de mapeamentos, as instâncias UserDict fornecem o seguinte atributo:

data

Um dicionário real usado para armazenar o conteúdo da classe UserDict.

Objetos UserList

Esta classe atua como um invólucro em torno de objetos de lista. É uma classe base útil para suas próprias classes semelhantes a listas, que podem herdar delas e substituir métodos existentes ou adicionar novos. Desta forma, é possível adicionar novos comportamentos às listas.

A necessidade desta classe foi parcialmente suplantada pela capacidade de criar subclasses diretamente de list; no entanto, pode ser mais fácil trabalhar com essa classe porque a lista subjacente pode ser acessada como um atributo.

class collections.UserList([list])

Classe que simula uma lista. O conteúdo da instância é mantido em uma lista regular, que é acessível através do atributo data das instâncias UserList. O conteúdo da instância é inicialmente definido como uma cópia de list, padronizando a lista vazia []. list pode ser qualquer iterável, por exemplo, uma lista Python real ou um objeto UserList.

Além de prover suporte aos métodos e operações de sequências mutáveis, as instâncias UserList fornecem o seguinte atributo:

data

Um objeto list real usado para armazenar o conteúdo da classe UserList.

Requisitos para criar subclasse: Espera-se que as subclasses de UserList ofereçam um construtor que pode ser chamado sem argumentos ou com um argumento. Listar operações que retornam uma nova sequência tenta criar uma instância da classe de implementação real. Para isso, presume que o construtor pode ser chamado com um único parâmetro, que é um objeto de sequência usado como fonte de dados.

Se uma classe derivada não desejar atender a este requisito, todos os métodos especiais suportados por esta classe precisarão ser substituídos; consulte as fontes para obter informações sobre os métodos que precisam ser fornecidos nesse caso.

Objetos UserString

A classe UserString atua como um invólucro em torno de objetos string. A necessidade desta classe foi parcialmente suplantada pela capacidade de criar subclasses diretamente de str; entretanto, essa classe pode ser mais fácil de trabalhar porque a string subjacente é acessível como um atributo.

class collections.UserString(seq)

Classe que simula um objeto string. O conteúdo da instância é mantido em um objeto string regular, que é acessível através do atributo data das instâncias UserString. O conteúdo da instância é inicialmente definido como uma cópia de seq. O argumento seq pode ser qualquer objeto que possa ser convertido em uma string usando a função embutida str().

Além de prover suporte aos métodos e operações de strings, as instâncias UserString fornecem o seguinte atributo:

data

Um objeto str real usado para armazenar o conteúdo da classe UserString.

Alterado na versão 3.5: Novos métodos __getnewargs__, __rmod__, casefold, format_map, isprintable e maketrans.

collections.abc — Classes Base Abstratas para Contêineres

Adicionado na versão 3.3: Anteriormente, esse módulo fazia parte do módulo collections.

Código-fonte: Lib/_collections_abc.py [https://github.com/python/cpython/tree/3.13/Lib/_collections_abc.py]

Esse módulo fornece classes base abstratas que podem ser usadas para testar se uma classe fornece uma interface específica; por exemplo, se é hasheável ou se é um mapeamento.

Um teste issubclass() ou isinstance() para uma interface funciona em uma das três formas.

1) A newly written class can inherit directly from one of the abstract base classes. The class must supply the required abstract methods. The remaining mixin methods come from inheritance and can be overridden if desired. Other methods may be added as needed:

class C(Sequence):                      # Herança direta
    def __init__(self): ...             # Método extra não exigido pela ABC
    def __getitem__(self, index):  ...  # Método abstrato exigido
    def __len__(self):  ...             # Método abstrato exigido
    def count(self, value): ...         # Opcionalmente substitui um método mixin

>>> issubclass(C, Sequence)
True
>>> isinstance(C(), Sequence)
True

2) Existing classes and built-in classes can be registered as “virtual subclasses” of the ABCs. Those classes should define the full API including all of the abstract methods and all of the mixin methods. This lets users rely on issubclass() or isinstance() tests to determine whether the full interface is supported. The exception to this rule is for methods that are automatically inferred from the rest of the API:

class D:                                 # Sem herança
    def __init__(self): ...              # Método extra exigido pela ABC
    def __getitem__(self, index):  ...   # Método abstrato
    def __len__(self):  ...              # Método abstrato
    def count(self, value): ...          # Método mixin
    def index(self, value): ...          # Método mixin

Sequence.register(D)                     # Registra ao invés de herdar

>>> issubclass(D, Sequence)
True
>>> isinstance(D(), Sequence)
True

In this example, class D does not need to define __contains__, __iter__, and __reversed__ because the in-operator, the iteration logic, and the reversed() function automatically fall back to using __getitem__ and __len__.

3) Some simple interfaces are directly recognizable by the presence of the required methods (unless those methods have been set to None):

class E:
    def __iter__(self): ...
    def __next__(self): ...

>>> issubclass(E, Iterable)
True
>>> isinstance(E(), Iterable)
True

Complex interfaces do not support this last technique because an interface is more than just the presence of method names. Interfaces specify semantics and relationships between methods that cannot be inferred solely from the presence of specific method names. For example, knowing that a class supplies __getitem__, __len__, and __iter__ is insufficient for distinguishing a Sequence from a Mapping.

Adicionado na versão 3.9: These abstract classes now support []. See Tipo Generic Alias and PEP 585 [https://peps.python.org/pep-0585/].

Classes Base Abstratas de Coleções

O módulo de coleções oferece o seguinte ABCs:

ABC

Herda de

Métodos Abstratos

Métodos Mixin

Container [1]

__contains__

Hashable [1]

__hash__

Iterable [1] [2]

__iter__

Iterator [1]

Iterable

__next__

__iter__

Reversible [1]

Iterable

__reversed__

Generator [1]

Iterator

send, throw

close, __iter__, __next__

Sized [1]

__len__

Callable [1]

__call__

Collection [1]

Sized, Iterable, Container

__contains__, __iter__, __len__

Sequence

Reversible, Collection

__getitem__, __len__

__contains__, __iter__, __reversed__, index, and count

MutableSequence

Sequence

__getitem__, __setitem__, __delitem__, __len__, insert

Inherited Sequence methods and append, clear, reverse, extend, pop, remove, and __iadd__

ByteString

Sequence

__getitem__, __len__

Herdado Sequence métodos

Set

Collection

__contains__, __iter__, __len__

__le__, __lt__, __eq__, __ne__, __gt__, __ge__, __and__, __or__, __sub__, __xor__, e isdisjoint

MutableSet

Set

__contains__, __iter__, __len__, add, discard

Herdado Set métodos e clear, pop, remove, __ior__, __iand__, __ixor__, e __isub__

Mapping

Collection

__getitem__, __iter__, __len__

__contains__, keys, items, values, get, __eq__, e __ne__

MutableMapping

Mapping

__getitem__, __setitem__, __delitem__, __iter__, __len__

Herdado Mapping métodos e pop, popitem, clear, update, e setdefault

MappingView

Sized

__len__

ItemsView

MappingView, Set

__contains__, __iter__

KeysView

MappingView, Set

__contains__, __iter__

ValuesView

MappingView, Collection

__contains__, __iter__

Awaitable [1]

__await__

Coroutine [1]

Awaitable

send, throw

close

AsyncIterable [1]

__aiter__

AsyncIterator [1]

AsyncIterable

__anext__

__aiter__

AsyncGenerator [1]

AsyncIterator

asend, athrow

aclose, __aiter__, __anext__

Buffer [1]

__buffer__

Notas de rodapé

[1] (1,2,3,4,5,6,7,8,9,10,11,12,13,14,15)

These ABCs override __subclasshook__() to support testing an interface by verifying the required methods are present and have not been set to None. This only works for simple interfaces. More complex interfaces require registration or direct subclassing.

[2]

Checking isinstance(obj, Iterable) detects classes that are registered as Iterable or that have an __iter__() method, but it does not detect classes that iterate with the __getitem__() method. The only reliable way to determine whether an object is iterable is to call iter(obj).

Collections Abstract Base Classes – Detailed Descriptions

class collections.abc.Container

ABC for classes that provide the __contains__() method.

class collections.abc.Hashable

ABC for classes that provide the __hash__() method.

class collections.abc.Sized

ABC for classes that provide the __len__() method.

class collections.abc.Callable

ABC for classes that provide the __call__() method.

See Anotações de objetos chamáveis for details on how to use Callable in type annotations.

class collections.abc.Iterable

ABC for classes that provide the __iter__() method.

Checking isinstance(obj, Iterable) detects classes that are registered as Iterable or that have an __iter__() method, but it does not detect classes that iterate with the __getitem__() method. The only reliable way to determine whether an object is iterable is to call iter(obj).

class collections.abc.Collection

ABC para classes de contêiner iterável de tamanho.

Adicionado na versão 3.6.

class collections.abc.Iterator

ABC para classes que fornecem os métodos __iter__() e métodos __next__(). Veja também a definição de iterator.

class collections.abc.Reversible

ABC for iterable classes that also provide the __reversed__() method.

Adicionado na versão 3.6.

class collections.abc.Generator

ABC for generator classes that implement the protocol defined in PEP 342 [https://peps.python.org/pep-0342/] that extends iterators with the send(), throw() and close() methods.

See Annotating generators and coroutines for details on using Generator in type annotations.

Adicionado na versão 3.5.

class collections.abc.Sequence

class collections.abc.MutableSequence

class collections.abc.ByteString

ABCs para sequências somente de leitura e mutáveis.

Implementation note: Some of the mixin methods, such as __iter__(), __reversed__() and index(), make repeated calls to the underlying __getitem__() method. Consequently, if __getitem__() is implemented with constant access speed, the mixin methods will have linear performance; however, if the underlying method is linear (as it would be with a linked list), the mixins will have quadratic performance and will likely need to be overridden.

Alterado na versão 3.5: O método index() adicionou suporte para os argumentos stop e start.

Deprecated since version 3.12, will be removed in version 3.14: The ByteString ABC has been deprecated. For use in typing, prefer a union, like bytes | bytearray, or collections.abc.Buffer. For use as an ABC, prefer Sequence or collections.abc.Buffer.

class collections.abc.Set

class collections.abc.MutableSet

ABCs for read-only and mutable sets.

class collections.abc.Mapping

class collections.abc.MutableMapping

ABCs para somente leitura e mutável mappings.

class collections.abc.MappingView

class collections.abc.ItemsView

class collections.abc.KeysView

class collections.abc.ValuesView

ABCs para mapeamento, itens, chaves e valores views.

class collections.abc.Awaitable

ABC for awaitable objects, which can be used in await expressions. Custom implementations must provide the __await__() method.

Objetos e instâncias de corrotina da ABC Coroutine são todas instâncias dessa ABC.

Nota

In CPython, generator-based coroutines (generators decorated with @types.coroutine) are awaitables, even though they do not have an __await__() method. Using isinstance(gencoro, Awaitable) for them will return False. Use inspect.isawaitable() to detect them.

Adicionado na versão 3.5.

class collections.abc.Coroutine

ABC for coroutine compatible classes. These implement the following methods, defined in Objetos corrotina: send(), throw(), and close(). Custom implementations must also implement __await__(). All Coroutine instances are also instances of Awaitable.

Nota

In CPython, generator-based coroutines (generators decorated with @types.coroutine) are awaitables, even though they do not have an __await__() method. Using isinstance(gencoro, Coroutine) for them will return False. Use inspect.isawaitable() to detect them.

See Annotating generators and coroutines for details on using Coroutine in type annotations. The variance and order of type parameters correspond to those of Generator.

Adicionado na versão 3.5.

class collections.abc.AsyncIterable

ABC for classes that provide an __aiter__ method. See also the definition of asynchronous iterable.

Adicionado na versão 3.5.

class collections.abc.AsyncIterator

ABC para classes que fornecem os métodos __aiter__ e __anext__. Veja também a definição de iterador assíncrono.

Adicionado na versão 3.5.

class collections.abc.AsyncGenerator

ABC for asynchronous generator classes that implement the protocol defined in PEP 525 [https://peps.python.org/pep-0525/] and PEP 492 [https://peps.python.org/pep-0492/].

See Annotating generators and coroutines for details on using AsyncGenerator in type annotations.

Adicionado na versão 3.6.

class collections.abc.Buffer

ABC for classes that provide the __buffer__() method, implementing the buffer protocol. See PEP 688 [https://peps.python.org/pep-0688/].

Adicionado na versão 3.12.

Exemplos e receitas

ABCs allow us to ask classes or instances if they provide particular functionality, for example:

size = None
if isinstance(myvar, collections.abc.Sized):
    size = len(myvar)

Several of the ABCs are also useful as mixins that make it easier to develop classes supporting container APIs. For example, to write a class supporting the full Set API, it is only necessary to supply the three underlying abstract methods: __contains__(), __iter__(), and __len__(). The ABC supplies the remaining methods such as __and__() and isdisjoint():

class ListBasedSet(collections.abc.Set):
    ''' Alternate set implementation favoring space over speed
        and not requiring the set elements to be hashable. '''
    def __init__(self, iterable):
        self.elements = lst = []
        for value in iterable:
            if value not in lst:
                lst.append(value)

    def __iter__(self):
        return iter(self.elements)

    def __contains__(self, value):
        return value in self.elements

    def __len__(self):
        return len(self.elements)

s1 = ListBasedSet('abcdef')
s2 = ListBasedSet('defghi')
overlap = s1 & s2            # The __and__() method is supported automatically

Notas sobre o uso de Set e MutableSet como um mixin:

Since some set operations create new sets, the default mixin methods need a way to create new instances from an iterable. The class constructor is assumed to have a signature in the form ClassName(iterable). That assumption is factored-out to an internal classmethod called _from_iterable() which calls cls(iterable) to produce a new set. If the Set mixin is being used in a class with a different constructor signature, you will need to override _from_iterable() with a classmethod or regular method that can construct new instances from an iterable argument.

To override the comparisons (presumably for speed, as the semantics are fixed), redefine __le__() and __ge__(), then the other operations will automatically follow suit.

The Set mixin provides a _hash() method to compute a hash value for the set; however, __hash__() is not defined because not all sets are hashable or immutable. To add set hashability using mixins, inherit from both Set() and Hashable(), then define __hash__ = Set._hash.

Ver também

OrderedSet receita [https://code.activestate.com/recipes/576694/] para um exemplo baseado em MutableSet.

Para mais informações sobre ABCs, consulte o módulo abc e PEP 3119 [https://peps.python.org/pep-3119/].

heapq — Algoritmo de fila heap

Código-fonte: Lib/heapq.py [https://github.com/python/cpython/tree/3.13/Lib/heapq.py]

Este módulo fornece uma implementação do algoritmo de fila heap, também conhecido como algoritmo de fila de prioridade.

Heaps são árvores binárias para as quais cada nó pai tem um valor menor ou igual a qualquer um de seus filhos. Chamamos essa condição de invariante de heap.

Esta implementação usa arrays para os quais heap[k] <= heap[2*k+1] e heap[k] <= heap[2*k+2] para todos k, contando elementos de zero. Para efeito de comparação, os elementos inexistentes são considerados infinitos. A propriedade interessante de um heap é que seu menor elemento é sempre a raiz, heap[0].

A API abaixo difere dos algoritmos de heap de livros didáticos em dois aspectos: (a) Usamos indexação baseada em zero. Isso torna o relacionamento entre o índice de um nó e os índices de seus filhos um pouco menos óbvio, mas é mais adequado, pois o Python usa indexação baseada em zero. (b) Nosso método pop retorna o menor item, não o maior (chamado de “min heap” em livros didáticos; um “max heap” é mais comum em textos devido à sua adequação para classificação no local).

Esses dois tornam possível visualizar o heap como uma lista regular do Python sem surpresas: heap[0] é o menor item, e heap.sort() mantém o invariante de heap!

Para criar um heap, use uma lista inicializada com [], ou você pode transformar uma lista preenchida em um heap através da função heapify().

As seguintes funções são fornecidas:

heapq.heappush(heap, item)

Coloca o valor item no heap, mantendo o invariante de heap.

heapq.heappop(heap)

Retira e retorna o menor item do heap, mantendo o invariante de heap. Se o heap estiver vazio, a exceção IndexError será levantada. Para acessar o menor item sem retirá-lo, use heap[0].

heapq.heappushpop(heap, item)

Coloca item no heap, depois retira e retorna o menor item do heap. A ação combinada é executada com mais eficiência do que heappush() seguida por uma chamada separada para heappop().

heapq.heapify(x)

Transforma a lista x em um heap, no local, em tempo linear.

heapq.heapreplace(heap, item)

Abre e retorna o menor item da heap e também coloca o novo item. O tamanho do heap não muda. Se o heap estiver vazio, a exceção IndexError será levantada.

Esta operação de uma etapa é mais eficiente que heappop() seguida por heappush() e pode ser mais apropriada ao usar um heap de tamanho fixo. A combinação de retirar/colocar sempre retorna um elemento do heap e o substitui por item.

O valor retornado pode ser maior que o item adicionado. Se isso não for desejado, considere usar heappushpop(). Sua combinação de retirar/colocar retorna o menor dos dois valores, deixando o valor maior no heap.

O módulo também oferece três funções de propósito geral baseadas em heaps.

heapq.merge(*iterables, key=None, reverse=False)

Mescla diversas entradas classificadas em uma única saída classificada (por exemplo, mescla entradas com registro de data e hora de vários arquivos de log). Retorna um iterador sobre os valores classificados.

Semelhante a sorted(itertools.chain(*iterables)) mas retorna um iterável, não puxa os dados para a memória todos de uma vez e presume que cada um dos fluxos de entrada já está classificado (do menor para o maior).

Possui dois argumentos opcionais que devem ser especificados como argumentos nomeados.

key especifica uma função chave de um argumento que é usado para extrair uma chave de comparação de cada elemento de entrada. O valor padrão é None (compare os elementos diretamente).

reverse é um valor booleano. Se definido como True, então os elementos de entrada serão mesclados como se cada comparação fosse invertida. Para obter um comportamento semelhante a sorted(itertools.chain(*iterables), reverse=True), todos os iteráveis devem ser classificados do maior para o menor.

Alterado na versão 3.5: Adicionados os parâmetros opcionais key e reverse.

heapq.nlargest(n, iterable, key=None)

Retorna uma lista com os n maiores elementos do conjunto de dados definido por iterable. key, se fornecido, especifica uma função de um argumento que é usado para extrair uma chave de comparação de cada elemento em iterable (por exemplo, key=str.lower). Equivalente a: sorted(iterable, key=key, reverse=True)[:n].

heapq.nsmallest(n, iterable, key=None)

Retorna uma lista com os n menores elementos do conjunto de dados definido por iterable. key, se fornecido, especifica uma função de um argumento que é usado para extrair uma chave de comparação de cada elemento em iterable (por exemplo, key=str.lower). Equivalente a: sorted(iterable, key=key)[:n].

As duas últimas funções têm melhor desempenho para valores menores de n. Para valores maiores, é mais eficiente usar a função sorted(). Além disso, quando n==1, é mais eficiente usar as funções embutidas min() e max(). Se for necessário o uso repetido dessas funções, considere transformar o iterável em um heap real.

Exemplos básicos

Um heapsort [https://en.wikipedia.org/wiki/Heapsort] pode ser implementado colocando todos os valores em um heap e, em seguida, retirando os menores valores, um de cada vez:

>>> def heapsort(iterable):
...     h = []
...     for value in iterable:
...         heappush(h, value)
...     return [heappop(h) for i in range(len(h))]
...
>>> heapsort([1, 3, 5, 7, 9, 2, 4, 6, 8, 0])
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Isto é semelhante a sorted(iterable), mas diferente de sorted(), esta implementação não é estável.

Os elementos de heap podem ser tuplas. Isto é útil para atribuir valores de comparação (como prioridades de tarefas) juntamente com o registro principal que está sendo rastreado:

>>> h = []
>>> heappush(h, (5, 'write code'))
>>> heappush(h, (7, 'release product'))
>>> heappush(h, (1, 'write spec'))
>>> heappush(h, (3, 'create tests'))
>>> heappop(h)
(1, 'write spec')

Notas de implementação da fila de prioridade

Uma fila de prioridade [https://en.wikipedia.org/wiki/Priority_queue] é de uso comum para um heap e apresenta vários desafios de implementação:

Estabilidade de classificação: como fazer com que duas tarefas com prioridades iguais sejam retornadas na ordem em que foram adicionadas originalmente?

A comparação de tuplas quebra para pares (prioridade, tarefa) se as prioridades forem iguais e as tarefas não tiverem uma ordem de comparação padrão.

Se a prioridade de uma tarefa mudar, como movê-la para uma nova posição no heap?

Ou se uma tarefa pendente precisar ser excluída, como encontrá-la e removê-la da fila?

Uma solução para os dois primeiros desafios é armazenar as entradas como uma lista de 3 elementos, incluindo a prioridade, uma contagem de entradas e a tarefa. A contagem de entradas serve de desempate para que duas tarefas com a mesma prioridade sejam retornadas na ordem em que foram adicionadas. E como não há duas contagens de entradas iguais, a comparação de tuplas nunca tentará comparar diretamente duas tarefas.

Outra solução para o problema de tarefas não comparáveis é criar uma classe wrapper que ignore o item da tarefa e compare apenas o campo de prioridade:

from dataclasses import dataclass, field
from typing import Any

@dataclass(order=True)
class PrioritizedItem:
    priority: int
    item: Any=field(compare=False)

Os desafios restantes giram em torno de encontrar uma tarefa pendente e fazer alterações em sua prioridade ou removê-la totalmente. Encontrar uma tarefa pode ser feito com um dicionário apontando para uma entrada na fila.

Remover a entrada ou alterar sua prioridade é mais difícil porque quebraria os invariantes da estrutura de heap. Assim, uma possível solução é marcar a entrada como removida e adicionar uma nova entrada com a prioridade revisada:

pq = []                         # list of entries arranged in a heap
entry_finder = {}               # mapping of tasks to entries
REMOVED = '<removed-task>'      # placeholder for a removed task
counter = itertools.count()     # unique sequence count

def add_task(task, priority=0):
    'Add a new task or update the priority of an existing task'
    if task in entry_finder:
        remove_task(task)
    count = next(counter)
    entry = [priority, count, task]
    entry_finder[task] = entry
    heappush(pq, entry)

def remove_task(task):
    'Mark an existing task as REMOVED.  Raise KeyError if not found.'
    entry = entry_finder.pop(task)
    entry[-1] = REMOVED

def pop_task():
    'Remove and return the lowest priority task. Raise KeyError if empty.'
    while pq:
        priority, count, task = heappop(pq)
        if task is not REMOVED:
            del entry_finder[task]
            return task
    raise KeyError('pop from an empty priority queue')

Teoria

Heaps são arrays para os quais a[k] <= a[2*k+1] e a[k] <= a[2*k+2] para todos k, contando elementos de 0. Para fins de comparação, os elementos inexistentes são considerados infinitos. A propriedade interessante de um heap é que a[0] é sempre seu menor elemento.

O estranho invariante acima pretende ser uma representação de memória eficiente para um torneio. Os números abaixo são k, não a[k]:

                               0

              1                                 2

      3               4                5               6

  7       8       9       10      11      12      13      14

15 16   17 18   19 20   21 22   23 24   25 26   27 28   29 30

Na árvore acima, cada célula k está no topo de 2*k+1 e 2*k+2. Num torneio binário normal que vemos nos desportos, cada célula é a vencedora das duas células que está no topo, e podemos rastrear o vencedor na árvore para ver todos os adversários que teve. Contudo, em muitas aplicações informáticas de tais torneios, não precisamos de traçar a história de um vencedor. Para sermos mais eficientes em termos de memória, quando um vencedor é promovido, tentamos substituí-lo por algo de nível inferior, e a regra passa a ser que uma célula e as duas células que ela cobre contêm três itens diferentes, mas a célula de cima “ganha” sobre as duas células superiores.

Se esse invariante de heap estiver protegido o tempo todo, o índice 0 é claramente o vencedor geral. A maneira algorítmica mais simples de removê-lo e encontrar o “próximo” vencedor é mover algum perdedor (digamos a célula 30 no diagrama acima) para a posição 0 e, em seguida, filtrar esse novo 0 pela árvore, trocando valores, até que o invariante é restabelecido. Isto é claramente logarítmico do número total de itens na árvore. Ao iterar todos os itens, você obtém uma classificação O(n log n).

Um recurso interessante desse tipo é que você pode inserir novos itens com eficiência enquanto a classificação está em andamento, desde que os itens inseridos não sejam “melhores” que o último 0º elemento extraído. Isto é especialmente útil em contextos de simulação, onde a árvore contém todos os eventos recebidos e a condição “vitória” significa o menor tempo programado. Quando um evento agenda outros eventos para execução, eles são agendados para o futuro, para que possam entrar facilmente no heap. Portanto, um heap é uma boa estrutura para implementar escalonadores (foi isso que usei no meu sequenciador MIDI :-).

Várias estruturas para implementação de escalonadores foram extensivamente estudadas, e os heaps são bons para isso, pois são razoavelmente rápidos, a velocidade é quase constante e o pior caso não é muito diferente do caso médio. No entanto, existem outras representações que são globalmente mais eficientes, embora os piores casos possam ser terríveis.

Heaps também são muito úteis em classificações de discos grandes. Provavelmente todos vocês sabem que uma classificação grande implica a produção de “execuções” (que são sequências pré-classificadas, cujo tamanho geralmente está relacionado à quantidade de memória da CPU), seguidas de passagens de fusão para essas execuções, cuja fusão geralmente é muito inteligente. organizado [1]. É muito importante que a classificação inicial produza as execuções mais longas possíveis. Os torneios são uma boa maneira de conseguir isso. Se, usando toda a memória disponível para realizar um torneio, você substituir e filtrar itens que se encaixem na corrida atual, você produzirá corridas que têm o dobro do tamanho da memória para entradas aleatórias e muito melhores para entradas ordenadas de maneira imprecisa.

Além disso, se você gerar o 0º item no disco e obter uma entrada que pode não caber no torneio atual (porque o valor “ganha” sobre o último valor de saída), ele não poderá caber no heap, então o tamanho do heap diminui. A memória liberada poderia ser reutilizada de maneira inteligente e imediata para a construção progressiva de um segundo heap, que cresce exatamente na mesma proporção que o primeiro heap está derretendo. Quando o primeiro heap desaparece completamente, você troca os heaps e inicia uma nova execução. Inteligente e bastante eficaz!

Em uma palavra, heaps são estruturas de memória úteis para conhecer. Eu os uso em alguns aplicativos e acho bom manter um módulo “heap” por perto. :-)

Notas de rodapé

[1]

Os algoritmos de balanceamento de disco atuais, hoje em dia, são mais incômodos do que inteligentes, e isso é consequência da capacidade de busca dos discos. Em dispositivos que não são capazes de buscar, como grandes drives de fita, a história era bem diferente, e era preciso ser muito inteligente para garantir (com muita antecedência) que cada movimento da fita seria o mais eficaz possível (isto é, participaria melhor na “progressão” da fusão). Algumas fitas podiam até ser lidas de trás para frente, o que também era usado para evitar o tempo de rebobinar. Acredite em mim, fitas realmente boas eram espetaculares de assistir! Desde sempre, ordenar sempre foi uma Grande Arte! :-)

bisect — Array bisection algorithm

Código-fonte: Lib/bisect.py [https://github.com/python/cpython/tree/3.13/Lib/bisect.py]

Este módulo fornece suporte para manter uma lista em ordem de classificação sem ter que classificar a lista após cada inserção. Para longas listas de itens com operações de comparação caras, isso pode ser uma melhoria em relação a pesquisas lineares ou recorrência frequente.

The module is called bisect because it uses a basic bisection algorithm to do its work. Unlike other bisection tools that search for a specific value, the functions in this module are designed to locate an insertion point. Accordingly, the functions never call an __eq__() method to determine whether a value has been found. Instead, the functions only call the __lt__() method and will return an insertion point between values in an array.

As seguintes funções são fornecidas:

bisect.bisect_left(a, x, lo=0, hi=len(a), *, key=None)

Localiza o ponto de inserção de x em a para manter a ordem de classificação. Os parâmetros lo e hi podem ser usados para especificar um subconjunto da lista que deve ser considerado; por padrão, toda a lista é usada. Se x já estiver presente em a, o ponto de inserção estará antes (à esquerda) de qualquer entrada existente. O valor de retorno é adequado para uso como o primeiro parâmetro para list.insert() supondo que a já esteja ordenado.

O ponto de inserção retornado ip particiona o vetor a em duas fatias de forma que all(elem < x for elem in a[lo : ip]) seja verdadeiro para a fatia esquerda e all(elem >= x for elem in a[ip : hi]) é verdadeiro para a fatia certa.

key especifica uma função chave de um argumento que é usado para extrair uma chave de comparação de cada elemento no vetor. Para oferecer suporte à pesquisa de registros complexos, a função chave não é aplicada ao valor x.

Se key for None, os elementos serão comparados diretamente e nenhuma função chave será chamada.

Alterado na versão 3.10: Adicionado o parâmetro key.

bisect.bisect_right(a, x, lo=0, hi=len(a), *, key=None)

bisect.bisect(a, x, lo=0, hi=len(a), *, key=None)

Semelhante a bisect_left(), mas retorna um ponto de inserção que vem depois (à direita de) qualquer entrada existente de x em a.

O ponto de inserção retornado ip particiona o vetor a em duas fatias de forma que all(elem <= x for elem in a[lo : ip]) seja verdadeiro para a fatia esquerda e all(elem > x for elem in a[ip : hi]) é verdadeiro para a fatia certa.

Alterado na versão 3.10: Adicionado o parâmetro key.

bisect.insort_left(a, x, lo=0, hi=len(a), *, key=None)

Insere x em a na ordem de classificação.

This function first runs bisect_left() to locate an insertion point. Next, it runs the insert() method on a to insert x at the appropriate position to maintain sort order.

Para oferecer suporte à inserção de registros em uma tabela, a função key (se houver) é aplicada a x para a etapa de pesquisa, mas não para a etapa de inserção.

Keep in mind that the O(log n) search is dominated by the slow O(n) insertion step.

Alterado na versão 3.10: Adicionado o parâmetro key.

bisect.insort_right(a, x, lo=0, hi=len(a), *, key=None)

bisect.insort(a, x, lo=0, hi=len(a), *, key=None)

Semelhante a insort_left(), mas inserindo x em a após qualquer entrada existente de x.

This function first runs bisect_right() to locate an insertion point. Next, it runs the insert() method on a to insert x at the appropriate position to maintain sort order.

Para oferecer suporte à inserção de registros em uma tabela, a função key (se houver) é aplicada a x para a etapa de pesquisa, mas não para a etapa de inserção.

Keep in mind that the O(log n) search is dominated by the slow O(n) insertion step.

Alterado na versão 3.10: Adicionado o parâmetro key.

Observações sobre desempenho

Ao escrever um código sensível ao tempo usando bisect() e insort(), lembre-se do seguinte:

A bisseção é eficaz para pesquisar intervalos de valores. Para localizar valores específicos, os dicionários são mais eficientes.

The insort() functions are O(n) because the logarithmic search step is dominated by the linear time insertion step.

The search functions are stateless and discard key function results after they are used. Consequently, if the search functions are used in a loop, the key function may be called again and again on the same array elements. If the key function isn’t fast, consider wrapping it with functools.cache() to avoid duplicate computations. Alternatively, consider searching an array of precomputed keys to locate the insertion point (as shown in the examples section below).

Ver também

Sorted Collections [https://grantjenks.com/docs/sortedcollections/] is a high performance module that uses bisect to managed sorted collections of data.

The SortedCollection recipe [https://code.activestate.com/recipes/577197-sortedcollection/] uses bisect to build a full-featured collection class with straight-forward search methods and support for a key-function. The keys are precomputed to save unnecessary calls to the key function during searches.

Pesquisando em listas ordenadas

The above bisect functions are useful for finding insertion points but can be tricky or awkward to use for common searching tasks. The following five functions show how to transform them into the standard lookups for sorted lists:

def index(a, x):
    'Locate the leftmost value exactly equal to x'
    i = bisect_left(a, x)
    if i != len(a) and a[i] == x:
        return i
    raise ValueError

def find_lt(a, x):
    'Find rightmost value less than x'
    i = bisect_left(a, x)
    if i:
        return a[i-1]
    raise ValueError

def find_le(a, x):
    'Find rightmost value less than or equal to x'
    i = bisect_right(a, x)
    if i:
        return a[i-1]
    raise ValueError

def find_gt(a, x):
    'Find leftmost value greater than x'
    i = bisect_right(a, x)
    if i != len(a):
        return a[i]
    raise ValueError

def find_ge(a, x):
    'Find leftmost item greater than or equal to x'
    i = bisect_left(a, x)
    if i != len(a):
        return a[i]
    raise ValueError

Exemplos

The bisect() function can be useful for numeric table lookups. This example uses bisect() to look up a letter grade for an exam score (say) based on a set of ordered numeric breakpoints: 90 and up is an ‘A’, 80 to 89 is a ‘B’, and so on:

>>> def grade(score, breakpoints=[60, 70, 80, 90], grades='FDCBA'):
...     i = bisect(breakpoints, score)
...     return grades[i]
...
>>> [grade(score) for score in [33, 99, 77, 70, 89, 90, 100]]
['F', 'A', 'C', 'C', 'B', 'A', 'A']

The bisect() and insort() functions also work with lists of tuples. The key argument can serve to extract the field used for ordering records in a table:

>>> from collections import namedtuple
>>> from operator import attrgetter
>>> from bisect import bisect, insort
>>> from pprint import pprint

>>> Movie = namedtuple('Movie', ('name', 'released', 'director'))

>>> movies = [
...     Movie('Jaws', 1975, 'Spielberg'),
...     Movie('Titanic', 1997, 'Cameron'),
...     Movie('The Birds', 1963, 'Hitchcock'),
...     Movie('Aliens', 1986, 'Cameron')
... ]

>>> # Find the first movie released after 1960
>>> by_year = attrgetter('released')
>>> movies.sort(key=by_year)
>>> movies[bisect(movies, 1960, key=by_year)]
Movie(name='The Birds', released=1963, director='Hitchcock')

>>> # Insert a movie while maintaining sort order
>>> romance = Movie('Love Story', 1970, 'Hiller')
>>> insort(movies, romance, key=by_year)
>>> pprint(movies)
[Movie(name='The Birds', released=1963, director='Hitchcock'),
 Movie(name='Love Story', released=1970, director='Hiller'),
 Movie(name='Jaws', released=1975, director='Spielberg'),
 Movie(name='Aliens', released=1986, director='Cameron'),
 Movie(name='Titanic', released=1997, director='Cameron')]

If the key function is expensive, it is possible to avoid repeated function calls by searching a list of precomputed keys to find the index of a record:

>>> data = [('red', 5), ('blue', 1), ('yellow', 8), ('black', 0)]
>>> data.sort(key=lambda r: r[1])       # Or use operator.itemgetter(1).
>>> keys = [r[1] for r in data]         # Precompute a list of keys.
>>> data[bisect_left(keys, 0)]
('black', 0)
>>> data[bisect_left(keys, 1)]
('blue', 1)
>>> data[bisect_left(keys, 5)]
('red', 5)
>>> data[bisect_left(keys, 8)]
('yellow', 8)

array— Vetores eficientes de valores numéricos

Esse módulo define um tipo de objeto que pode representar compactamente um vetor de valores básicos: caracteres, inteiros, números de ponto flutuante. Vetores são tipos de sequência e funcionam bem parecidamente com listas, porém o tipo dos objetos armazenados é restringido. O tipo é especificado na criação do objeto usando um código de tipo, que é um único caractere. São definidos os seguintes códigos de tipo:

Código de tipo

Tipo em C

Tipo em Python

Tamanho mínimo em bytes

Notas

'b'

signed char

int

1

'B'

unsigned char

int

1

'u'

wchar_t

Caractere unicode

2

(1)

'w'

Py_UCS4

Caractere unicode

4

'h'

signed short

int

2

'H'

unsigned short

int

2

'i'

signed int

int

2

'I'

unsigned int

int

2

'l'

signed long

int

4

'L'

unsigned long

int

4

'q'

signed long long

int

8

'Q'

unsigned long long

int

8

'f'

ponto flutuante

ponto flutuante

4

'd'

double

ponto flutuante

8

Notas:

Pode ser de 16 ou 32 bits dependendo da plataforma.

Alterado na versão 3.9: array('u') now uses wchar_t as C type instead of deprecated Py_UNICODE. This change doesn’t affect its behavior because Py_UNICODE is alias of wchar_t since Python 3.3.

Deprecated since version 3.3, will be removed in version 3.16: Please migrate to 'w' typecode.

The actual representation of values is determined by the machine architecture (strictly speaking, by the C implementation). The actual size can be accessed through the array.itemsize attribute.

The module defines the following item:

array.typecodes

String com todos os códigos de tipo disponíveis.

O módulo define o seguinte tipo:

class array.array(typecode[, initializer])

A new array whose items are restricted by typecode, and initialized from the optional initializer value, which must be a bytes or bytearray object, a Unicode string, or iterable over elements of the appropriate type.

If given a bytes or bytearray object, the initializer is passed to the new array’s frombytes() method; if given a Unicode string, the initializer is passed to the fromunicode() method; otherwise, the initializer’s iterator is passed to the extend() method to add initial items to the array.

Objetos array tem suporte para as operações de sequência comuns: indexação, fatiamento, concatenação, e multiplicação. Quando usando a atribuição de fatias, o valor associado deve ser um objeto array com o mesmo código de tipo; caso contrário, TypeError é levantada. Objetos array também implementam a interface buffer, e também podem ser usados em qualquer lugar onde objetos byte ou similar é permitido.

Levanta um evento de auditoria array.__new__ com os argumentos typecode, initializer.

typecode

O caractere typecode usado para criar o vetor.

itemsize

O tamanho em bytes de um item do vetor em representação interna.

append(x)

Adiciona um novo item com valor x ao final do vetor.

buffer_info()

Return a tuple (address, length) giving the current memory address and the length in elements of the buffer used to hold array’s contents. The size of the memory buffer in bytes can be computed as array.buffer_info()[1] * array.itemsize. This is occasionally useful when working with low-level (and inherently unsafe) I/O interfaces that require memory addresses, such as certain ioctl() operations. The returned numbers are valid as long as the array exists and no length-changing operations are applied to it.

Nota

Quando se está usando vetores de código escrito em C ou C++ (o único jeito efetivo de usar essa informação), faz mais sentido usar a interface do buffer suportada pelos vetores. Esse método é mantido para retrocompatibilidade e deve ser evitado em código novo. A interface de buffers está documentada em Protocolo de Buffer.

byteswap()

“Byteswap” todos os itens do vetor. Isso é somente suportado para valores de 1, 2, 4 ou 8 bytes de tamanho; para outros tipos de valores é levantada RuntimeError . Isso é útil quando estamos lendo dados de um arquivo para serem escritos em um arquivo de outra máquina de ordem de bytes diferente.

count(x)

Retorna a quantidade de ocorrências de x no vetor.

extend(iterable)

Acrescenta os itens de iterable ao final do vetor. Se iterable for outro vetor, ele deve ter exatamente o mesmo código de tipo; senão, ocorrerá uma TypeError. Se iterable não for um vetor, ele deve ser iterável e seus elementos devem ser do tipo correto para ser acrescentado ao vetor.

frombytes(buffer)

Appends items from the bytes-like object, interpreting its content as an array of machine values (as if it had been read from a file using the fromfile() method).

Adicionado na versão 3.2: fromstring() is renamed to frombytes() for clarity.

fromfile(f, n)

Lê n itens (como valores de máquinas) do objeto arquivo f e adiciona-os ao fim do vetor. Se estão disponíveis menos de n itens, EOFError é levantada, mas os itens disponíveis ainda são inseridos ao final do vetor.

fromlist(list)

Adiciona itens de list. Isso é equivalente a for x in list: a.append(x) exceto que se ocorrer um errro de tipo, o vetor não é alterado.

fromunicode(s)

Extends this array with data from the given Unicode string. The array must have type code 'u' or 'w'; otherwise a ValueError is raised. Use array.frombytes(unicodestring.encode(enc)) to append Unicode data to an array of some other type.

index(x[, start[, stop]])

Return the smallest i such that i is the index of the first occurrence of x in the array. The optional arguments start and stop can be specified to search for x within a subsection of the array. Raise ValueError if x is not found.

Alterado na versão 3.10: Added optional start and stop parameters.

insert(i, x)

Insere um novo item com o x no vetor antes da posição i. Valores negativos são tratados como sendo em relação ao fim do vetor.

pop([i])

Remove o item com o índice i do vetor e retorna este item. O valor padrão do argumento é -1, assim por padrão o último item é removido e retornado.

remove(x)

Remove a primeira ocorrência de x do vetor.

clear()

Remove all elements from the array.

Adicionado na versão 3.13.

reverse()

Inverte a ordem dos itens no vetor.

tobytes()

Devolve os itens do vetor como um vetor de valores de máquina com a representação em bytes (a mesma sequência de bytes que seria escrita pelo método tofile().)

Adicionado na versão 3.2: tostring() is renamed to tobytes() for clarity.

tofile(f)

Escreve todos os itens (como valores de máquinas) para o objeto arquivo f.

tolist()

Devolve os itens do vetor como uma lista comum.

tounicode()

Convert the array to a Unicode string. The array must have a type 'u' or 'w'; otherwise a ValueError is raised. Use array.tobytes().decode(enc) to obtain a Unicode string from an array of some other type.

The string representation of array objects has the form array(typecode, initializer). The initializer is omitted if the array is empty, otherwise it is a Unicode string if the typecode is 'u' or 'w', otherwise it is a list of numbers. The string representation is guaranteed to be able to be converted back to an array with the same type and value using eval(), so long as the array class has been imported using from array import array. Variables inf and nan must also be defined if it contains corresponding floating-point values. Examples:

array('l')
array('w', 'hello \u2641')
array('l', [1, 2, 3, 4, 5])
array('d', [1.0, 2.0, 3.14, -inf, nan])

Ver também

Módulo struct

Empacotamento e desempacotamento de dados binários heterogêneos.

NumPy [https://numpy.org/]

The NumPy package defines another array type.

weakref — Referências fracas

Código-fonte: Lib/weakref.py [https://github.com/python/cpython/tree/3.13/Lib/weakref.py]

O módulo weakref permite ao programador Python criar referências fracas para objetos.

A seguir, o termo referente significa o objeto ao qual é referido por uma referência fraca.

Uma referência fraca a um objeto não é suficiente para mantê-lo vivo: quando as únicas referências restantes a um referente são referências fracas, a coleta de lixo está livre para destruir o referente e reutilizar sua memória para outra coisa. Entretanto, até que o objeto seja realmente destruído, a referência fraca poderá retornar o objeto mesmo que não haja referências fortes a ele.

Um uso principal para referências fracas é implementar caches ou mapeamentos contendo objetos grandes, onde é desejado que um objeto grande não seja mantido ativo apenas porque aparece em um cache ou mapeamento.

Por exemplo, se você tiver vários objetos de imagem binária grandes, poderá associar um nome a cada um. Se você usasse um dicionário Python para mapear nomes para imagens, ou imagens para nomes, os objetos de imagem permaneceriam vivos apenas porque apareceriam como valores ou chaves nos dicionários. As classes WeakKeyDictionary e WeakValueDictionary fornecidas pelo módulo weakref são uma alternativa, usando referências fracas para construir mapeamentos que não mantêm objetos vivos apenas porque aparecem nos objetos de mapeamento. Se, por exemplo, um objeto de imagem for um valor em um WeakValueDictionary, então quando as últimas referências restantes a esse objeto de imagem forem as referências fracas mantidas por mapeamentos fracos, a coleta de lixo poderá recuperar o objeto e suas entradas correspondentes em mapeamentos fracos são simplesmente excluídos.

WeakKeyDictionary e WeakValueDictionary usam referências fracas em sua implementação, configurando funções de retorno de chamada nas referências fracas que notificam os dicionários fracos quando uma chave ou valor foi recuperado pela coleta de lixo. WeakSet implementa a interface set, mas mantém referências fracas aos seus elementos, assim como WeakKeyDictionary faz.

finalize fornece uma maneira direta de registrar uma função de limpeza a ser chamada quando um objeto é coletado como lixo. Isso é mais simples de usar do que configurar uma função de retorno de chamada em uma referência fraca não tratada, pois o módulo garante automaticamente que o finalizador permaneça ativo até que o objeto seja coletado.

A maioria dos programas deve descobrir que usar um desses tipos de contêineres fracos ou finalize é tudo que eles precisam – geralmente não é necessário criar suas próprias referências fracas diretamente. O maquinário de baixo nível é exposto pelo módulo weakref para benefício de usos avançados.

Nem todos os objetos podem ser referenciados de maneira fraca. Objetos que oferecem suporte a referências fracas incluem instâncias de classe, funções escritas em Python (mas não em C), métodos de instância, conjuntos, frozensets, alguns objetos arquivos, geradores, objetos tipo, sockets, arrays, deques, objetos padrão de expressão regular e objetos código.

Alterado na versão 3.2: Adicionado suporte para thread.lock, threading.Lock e objetos código.

Vários tipos embutidos como list e dict não oferecem suporta diretamente a referências fracas, mas podem adicionar suporte através de subclasses:

class Dict(dict):
    pass

obj = Dict(red=1, green=2, blue=3)   # este objeto é potencialmente fracamente referenciável

Detalhes da implementação do CPython: Outros tipos embutidos como tuple e int não oferecem suporte a referências fracas mesmo em subclasses.

Os tipos de extensão podem ser facilmente criados para oferecer suporte a referências fracas; veja Weak Reference Support.

Quando __slots__ são definidos para um determinado tipo, o suporte a referência fraca é desativado a menos que uma string '__weakref__' também esteja presente na sequência de strings na declaração de __slots__. Veja a documentação de __slots__ para detalhes.

class weakref.ref(object[, callback])

Retorna uma referência fraca para object. O objeto original pode ser recuperado chamando o objeto referência se o referente ainda estiver ativo; se o referente não estiver mais ativo, chamar o objeto referência fará com que None seja retornado. Se callback for fornecido e não for None, e o objeto referência fraca retornado ainda estiver ativo, o função de retorno será chamada quando o objeto estiver prestes a ser finalizado; o objeto referência fraca será passado como único parâmetro para a função de retorno; o referente não estará mais disponível.

É permitido que muitas referências fracas sejam construídas para o mesmo objeto. As funções de retorno registradas para cada referência fraca serão chamadas da função de retorno registrada mais recentemente para a função de retorno registrada mais antiga.

As exceções levantadas pela função de retorno serão anotadas na saída de erro padrão, mas não poderão ser propagadas; elas são tratadas exatamente da mesma maneira que as exceções levantadas pelo método __del__() de um objeto.

Referências fracas são hasheáveis se o object for hasheável. Elas manterão seu valor de hash mesmo depois que object for excluído. Se hash() for chamada pela primeira vez somente após o object ter sido excluído, a chamada vai levantar TypeError.

Referências fracas oferecem suporte a testes de igualdade, mas não de ordenação. Se os referentes ainda estiverem vivos, duas referências terão a mesma relação de igualdade que seus referentes (independentemente do callback). Se um dos referentes tiver sido excluído, as referências serão iguais somente se os objetos referência forem o mesmo objeto.

Este é um tipo do qual pode ser feita subclasse em vez de uma função de fábrica.

__callback__

Este atributo somente leitura retorna a função de retorno atualmente associada à referência fraca. Se não houver função de retorno ou se o referente da referência fraca não estiver mais ativo, então este atributo terá o valor None.

Alterado na versão 3.4: Adicionado o atributo __callback__.

weakref.proxy(object[, callback])

Retorna um intermediário (proxy, em inglês) para object que usa uma referência fraca. Isto provê suporte ao uso do intermediário na maioria dos contextos, em vez de exigir a desreferenciação explícita usada com objetos de referência fraca. O objeto retornado terá um tipo ProxyType ou CallableProxyType, dependendo se object é chamável. Objetos intermediários não são hasheáveis independentemente do referente; isso evita uma série de problemas relacionados à sua natureza fundamentalmente mutável e impede seu uso como chaves de dicionário. callback é igual ao parâmetro de mesmo nome da função ref().

Acessar um atributo do objeto intermediário depois que o referente é coletado como lixo levanta ReferenceError.

Alterado na versão 3.8: Estendeu o suporte ao operador em objetos intermediários para incluir os operadores @ e @= para multiplicação de matrizes.

weakref.getweakrefcount(object)

Retorna o número de referências fracas e intermediários que fazem referência a object.

weakref.getweakrefs(object)

Retorna uma lista de todos os objetos intermediários e de referência fraca que fazem referência a object.

class weakref.WeakKeyDictionary([dict])

Classe de mapeamento que faz referência fraca a chaves. Entradas no dicionário serão descartadas quando não houver mais uma referência forte à chave. Isso pode ser usado para associar dados adicionais a um objeto de propriedade de outras partes de uma aplicação sem adicionar atributos a esses objetos. Isso pode ser especialmente útil com objetos que substituem acessos de atributos.

Note que quando uma chave com valor igual a uma chave existente (mas não identidade igual) é inserida no dicionário, ela substitui o valor, mas não substitui a chave existente. Devido a isso, quando a referência à chave original é excluída, ela também exclui a entrada no dicionário:

>>> class T(str): pass
...
>>> k1, k2 = T(), T()
>>> d = weakref.WeakKeyDictionary()
>>> d[k1] = 1   # d = {k1: 1}
>>> d[k2] = 2   # d = {k1: 2}
>>> del k1      # d = {}

Uma solução alternativa seria remover a chave antes da reatribuição:

>>> class T(str): pass
...
>>> k1, k2 = T(), T()
>>> d = weakref.WeakKeyDictionary()
>>> d[k1] = 1   # d = {k1: 1}
>>> del d[k1]
>>> d[k2] = 2   # d = {k2: 2}
>>> del k1      # d = {k2: 2}

Alterado na versão 3.9: Adicionado suporte para operadores | e |=, conforme especificado na PEP 584 [https://peps.python.org/pep-0584/].

Objetos WeakKeyDictionary têm um método adicional que expõe as referências internas diretamente. Não há garantia de que as referências estejam “ativas” no momento em que são usadas, então o resultado da chamada das referências precisa ser verificado antes de ser usado. Isso pode ser usado para evitar a criação de referências que farão com que o coletor de lixo mantenha as chaves por mais tempo do que o necessário.

WeakKeyDictionary.keyrefs()

Retorna um iterável das referências fracas às chaves.

class weakref.WeakValueDictionary([dict])

Classe de mapeamento que faz referência fraca a valores. Entradas no dicionário serão descartadas quando nenhuma referência forte ao valor existir mais.

Alterado na versão 3.9: Adicionado suporte para operadores | e |=, conforme especificado na PEP 584 [https://peps.python.org/pep-0584/].

Os objetos WeakValueDictionary têm um método adicional que apresenta os mesmos problemas que o método WeakKeyDictionary.keyrefs().

WeakValueDictionary.valuerefs()

Retorna um iterável das referências fracas aos valores.

class weakref.WeakSet([elements])

Define a classe que mantém referências fracas para seus elementos. Um elemento será descartado quando nenhuma referência forte a ele existir mais.

class weakref.WeakMethod(method[, callback])

Uma subclasse personalizada de ref que simula uma referência fraca a um método vinculado (ou seja, um método definido em uma classe e pesquisado em uma instância). Como um método vinculado é efêmero, uma referência fraca padrão não pode mantê-lo. WeakMethod tem um código especial para recriar o método vinculado até que o objeto ou a função original morra:

>>> class C:
...     def method(self):
...         print("method called!")
...
>>> c = C()
>>> r = weakref.ref(c.method)
>>> r()
>>> r = weakref.WeakMethod(c.method)
>>> r()
<bound method C.method of <__main__.C object at 0x7fc859830220>>
>>> r()()
method called!
>>> del c
>>> gc.collect()
0
>>> r()
>>>

callback é o mesmo que o parâmetro de mesmo nome da função ref().

Adicionado na versão 3.4.

class weakref.finalize(obj, func, /, *args, **kwargs)

Retorna um objeto finalizador chamável que será chamado quando obj for coletado como lixo. Diferentemente de uma referência fraca comum, um finalizador sempre sobreviverá até que o objeto referência seja coletado, simplificando muito o gerenciamento do ciclo de vida.

Um finalizador é considerado alive (vivo) até ser chamado (explicitamente ou na coleta de lixo), e depois disso ele é dead (morto). Chamar um finalizador vivo retorna o resultado da avaliação de func(*arg, **kwargs), enquanto chamar um finalizador morto retorna None.

Exceções levantadas por funções de retorno do finalizador durante a coleta de lixo serão mostradas na saída de erro padrão, mas não podem ser propagadas. Elas são tratadas da mesma forma que exceções levantadas de um método __del__() de um objeto ou de uma função de retorno da referência fraca.

Quando o programa é encerrado, cada finalizador vivo restante é chamado, a menos que seu atributo atexit tenha sido definido como falso. Eles são chamados na ordem reversa da criação.

Um finalizador nunca vai invocar sua função de retorno durante a parte posterior do desligamento do interpretador quando os globais do módulo podem ter sido substituídos por None.

__call__()

Se self estiver vivo, marca-o como morto e retorna o resultado da chamada func(*args, **kwargs). Se self estiver morto, retorna None.

detach()

Se self estiver vivo, marca-o como morto e retorna a tupla (obj, func, args, kwargs). Se self estiver morto, retorna None.

peek()

Se self estiver vivo, retorna a tupla (obj, func, args, kwargs). Se self estiver morto, retorna None.

alive

Propriedade que é verdadeiro se o finalizador estiver ativo, falsa caso contrário.

atexit

Uma propriedade booleana gravável que por padrão é verdadeiro. Quando o programa sai, ele chama todos os finalizadores vivos restantes para os quais atexit é verdadeiro. Eles são chamados na ordem reversa da criação.

Nota

É importante garantir que func, args e kwargs não possuam nenhuma referência a obj, direta ou indiretamente, pois, caso contrário, obj nunca será coletado como lixo. Em particular, func não deve ser um método vinculado de obj.

Adicionado na versão 3.4.

weakref.ReferenceType

O objeto tipo para objetos referências fracas.

weakref.ProxyType

O tipo de objeto para intermediários de objetos que não são chamáveis.

weakref.CallableProxyType

O objeto de tipo para intermediários de objetos chamáveis.

weakref.ProxyTypes

Sequência contendo todos os objetos de tipo para intermediários. Isso pode tornar mais simples testar se um objeto é um intermediário sem depender da nomeação de ambos os tipos de intermediário.

Ver também

PEP 205 [https://peps.python.org/pep-0205/] - Referências fracas

A proposta e a justificativa para esse recurso, incluindo links para implementações anteriores e informações sobre recursos semelhantes em outras linguagens.

Objetos referência fraca

Objetos referência fraca não têm métodos nem atributos além de ref.__callback__. Um objeto referência fraca permite que o referente seja obtido, se ele ainda existir, chamando-o:

>>> import weakref
>>> class Object:
...     pass
...
>>> o = Object()
>>> r = weakref.ref(o)
>>> o2 = r()
>>> o is o2
True

Se o referente não existir mais, chamar o objeto referência retornará None:

>>> del o, o2
>>> print(r())
None

O teste de se um objeto referência fraca ainda está vivo deve ser feito usando a expressão ref() is not None. Normalmente, o código da aplicação que precisa usar um objeto de referência deve seguir este padrão:

# r é um objeto referência fraca
o = r()
if o is None:
    # referente foi coletado como lixo
    print("O objeto foi desalocado; não é possível mexer com ele.")
else:
    print("O objeto ainda está vivo!")
    o.faz_algo_útil()

Usar um teste separado para “vivacidade” cria condições de corrida em aplicações que usam mais de uma thread; uma outra thread pode fazer com que uma referência fraca seja invalidada antes que a referência fraca seja chamada; o idioma mostrado acima é seguro em aplicações que usam mais de uma thread, bem como em aplicações de thread única.

Versões especializadas de objetos ref podem ser criadas por meio de subclasse. Isso é usado na implementação do WeakValueDictionary para reduzir a sobrecarga de memória para cada entrada no mapeamento. Isso pode ser mais útil para associar informações adicionais a uma referência, mas também pode ser usado para inserir processamento adicional em chamadas para recuperar o referente.

Este exemplo mostra como uma subclasse de ref pode ser usada para armazenar informações adicionais sobre um objeto e afetar o valor retornado quando o referente é acessado:

import weakref

class ExtendedRef(weakref.ref):
    def __init__(self, ob, callback=None, /, **annotations):
        super().__init__(ob, callback)
        self.__counter = 0
        for k, v in annotations.items():
            setattr(self, k, v)

    def __call__(self):
        """Retorna um par contendo o referente e o número de
        vezes que a referência foi chamada.
        """
        ob = super().__call__()
        if ob is not None:
            self.__counter += 1
            ob = (ob, self.__counter)
        return ob

Exemplo

Este exemplo simples mostra como uma aplicação pode usar IDs de objeto para recuperar objetos que ele viu antes. Os IDs dos objetos podem então ser usados ​​em outras estruturas de dados sem forçar os objetos a permanecerem vivos, mas os objetos ainda podem ser recuperados por ID se o fizerem.

import weakref

_id2obj_dict = weakref.WeakValueDictionary()

def remember(obj):
    oid = id(obj)
    _id2obj_dict[oid] = obj
    return oid

def id2obj(oid):
    return _id2obj_dict[oid]

Objetos finalizadores

O principal benefício de usar finalize é que ele simplifica o registro de um retorno de chamada sem precisar preservar o objeto finalizador retornado. Por exemplo

>>> import weakref
>>> class Object:
...     pass
...
>>> kenny = Object()
>>> weakref.finalize(kenny, print, "You killed Kenny!")
<finalize object at ...; for 'Object' at ...>
>>> del kenny
You killed Kenny!

O finalizador pode ser chamado diretamente também. No entanto, o finalizador vai invocar a função de retorno no máximo uma vez.

>>> def callback(x, y, z):
...     print("CALLBACK")
...     return x + y + z
...
>>> obj = Object()
>>> f = weakref.finalize(obj, callback, 1, 2, z=3)
>>> assert f.alive
>>> assert f() == 6
CALLBACK
>>> assert not f.alive
>>> f()                     # callback not called because finalizer dead
>>> del obj                 # callback not called because finalizer dead

Você pode desfazer o registro de um finalizador usando seu método detach(). Isso elimina o finalizador e retorna os argumentos passados ​​ao construtor quando ele foi criado.

>>> obj = Object()
>>> f = weakref.finalize(obj, callback, 1, 2, z=3)
>>> f.detach()
(<...Object object ...>, <function callback ...>, (1, 2), {'z': 3})
>>> newobj, func, args, kwargs = _
>>> assert not f.alive
>>> assert newobj is obj
>>> assert func(*args, **kwargs) == 6
CALLBACK

A menos que você defina o atributo atexit como False, um finalizador será chamado quando o programa sair se ele ainda estiver vivo. Por exemplo

>>> obj = Object()
>>> weakref.finalize(obj, print, "obj dead or exiting")
<finalize object at ...; for 'Object' at ...>
>>> exit()
obj dead or exiting

Comparando finalizadores com métodos __del__()

Suponha que queremos criar uma classe cujas instâncias representam diretórios temporários. Os diretórios devem ser excluídos com seus conteúdos quando o primeiro dos seguintes eventos ocorrer:

o objeto é um lixo coletado,

o método remove() do objeto é chamado, ou

o programa finaliza.

Podemos tentar implementar a classe usando um método __del__() da seguinte maneira:

class TempDir:
    def __init__(self):
        self.name = tempfile.mkdtemp()

    def remove(self):
        if self.name is not None:
            shutil.rmtree(self.name)
            self.name = None

    @property
    def removed(self):
        return self.name is None

    def __del__(self):
        self.remove()

A partir do Python 3.4, os métodos __del__() não impedem mais que os ciclos de referência sejam coletados como lixo, e os módulos globais não são mais forçados a None durante desligamento do interpretador. Então, esse código deve funcionar sem problemas no CPython.

Entretanto, o tratamento dos métodos __del__() é notoriamente específico da implementação, pois depende de detalhes internos da implementação do coletor de lixo do interpretador.

Uma alternativa mais robusta pode ser definir um finalizador que faça referência apenas às funções e objetos específicos de que necessita, em vez de ter acesso ao estado completo do objeto:

class TempDir:
    def __init__(self):
        self.name = tempfile.mkdtemp()
        self._finalizer = weakref.finalize(self, shutil.rmtree, self.name)

    def remove(self):
        self._finalizer()

    @property
    def removed(self):
        return not self._finalizer.alive

Definido assim, nosso finalizador recebe apenas uma referência aos detalhes que ele precisa para limpar o diretório apropriadamente. Se o objeto nunca for coletado como lixo, o finalizador ainda será chamado na saída.

A outra vantagem dos finalizadores baseados em referências fracas é que eles podem ser usados ​​para registrar finalizadores para classes onde a definição é controlada por terceiros, como executar código quando um módulo é descarregado:

import weakref, sys
def unloading_module():
    # referência implícita aos globais do módulo do corpo da função
weakref.finalize(sys.modules[__name__], unloading_module)

Nota

Se você criar um objeto finalizador em uma thread em um daemon assim que o programa sair, então há a possibilidade de que o finalizador não seja chamado na saída. No entanto, em um thread em um daemon atexit.register(), try: ... finally: ... e with: ... não garantem que a limpeza ocorra também.

types — Criação de tipos dinâmicos e nomes para tipos embutidos

Código-fonte: Lib/types.py [https://github.com/python/cpython/tree/3.13/Lib/types.py]

Este módulo define funções utilitárias para auxiliar na criação dinâmica de novos tipos.

Também define nomes para alguns tipos de objetos usados pelo interpretador Python padrão, mas não expostos como componentes embutidos como int ou str são.

Por fim, fornece algumas classes e funções adicionais relacionadas ao tipo que não são fundamentais o suficiente para serem incorporadas.

Criação de tipos dinâmicos

types.new_class(name, bases=(), kwds=None, exec_body=None)

Cria um objeto de classe dinamicamente usando a metaclasse apropriada.

Os três primeiros argumentos são os componentes que compõem um cabeçalho de definição de classe: o nome da classe, as classes base (em ordem), os argumentos nomeados (como metaclass).

O argumento exec_body é um retorno de chamada usado para preencher o espaço para nome da classe recém-criado. Ele deve aceitar o espaço para nome da classe como seu único argumento e atualizar o espaço para nome diretamente com o conteúdo da classe. Se nenhum retorno de chamada for fornecido, ele terá o mesmo efeito que passar em lambda ns: None.

Adicionado na versão 3.3.

types.prepare_class(name, bases=(), kwds=None)

Calcula a metaclasse apropriada e cria o espaço de nomes da classe.

Os argumentos são os componentes que compõem um cabeçalho de definição de classe: o nome da classe, as classes base (em ordem) e os argumentos nomeados (como metaclass).

O valor de retorno é uma tupla de 3: metaclass, namespace, kwds

metaclass é a metaclasse apropriada, namespace é o espaço de nomes da classe preparada e kwds é uma cópia atualizada do argumento passado no kwds com qualquer entrada 'metaclass' removida. Se nenhum argumento kwds for passado, este será um ditado vazio.

Adicionado na versão 3.3.

Alterado na versão 3.6: O valor padrão para o elemento namespace da tupla retornada foi alterado. Agora, um mapeamento preservando-ordem-inserção é usado quando a metaclasse não possui um método __prepare__.

Ver também

Metaclasses

Detalhes completos do processo de criação de classe suportado por essas funções

PEP 3115 [https://peps.python.org/pep-3115/] - Metaclasses no Python 3000

Introduzido o gancho de espaço de nomes __prepare__

types.resolve_bases(bases)

Resolve entradas MRO dinamicamente, conforme especificado pela PEP 560 [https://peps.python.org/pep-0560/].

Esta função procura por itens em bases que não sejam instâncias de type e retorna uma tupla onde cada objeto que possui um método __mro_entries__() é substituído por um resultado desempacotado da chamada desse método. Se um item bases é uma instância de type, ou não possui o método __mro_entries__(), ele é incluído na tupla de retorno inalterada.

Adicionado na versão 3.7.

types.get_original_bases(cls, /)

Retorna a tupla de objetos originalmente dados como as bases de cls antes do método __mro_entries__() ter sido chamado em qualquer base (seguindo os mecanismos apresentados na PEP 560 [https://peps.python.org/pep-0560/]). Isso é útil para introspecção de Generics.

For classes that have an __orig_bases__ attribute, this function returns the value of cls.__orig_bases__. For classes without the __orig_bases__ attribute, cls.__bases__ is returned.

Exemplos:

from typing import TypeVar, Generic, NamedTuple, TypedDict

T = TypeVar("T")
class Foo(Generic[T]): ...
class Bar(Foo[int], float): ...
class Baz(list[str]): ...
Eggs = NamedTuple("Eggs", [("a", int), ("b", str)])
Spam = TypedDict("Spam", {"a": int, "b": str})

assert Bar.__bases__ == (Foo, float)
assert get_original_bases(Bar) == (Foo[int], float)

assert Baz.__bases__ == (list,)
assert get_original_bases(Baz) == (list[str],)

assert Eggs.__bases__ == (tuple,)
assert get_original_bases(Eggs) == (NamedTuple,)

assert Spam.__bases__ == (dict,)
assert get_original_bases(Spam) == (TypedDict,)

assert int.__bases__ == (object,)
assert get_original_bases(int) == (object,)

Adicionado na versão 3.12.

Ver também

PEP 560 [https://peps.python.org/pep-0560/] - Suporte básico para módulo typing e tipos genéricos

Tipos padrão do interpretador

Este módulo fornece nomes para muitos dos tipos necessários para implementar um interpretador Python. Evita deliberadamente incluir alguns dos tipos que surgem apenas incidentalmente durante o processamento, como o tipo listiterator.

O uso típico desses nomes é para verificações isinstance() ou issubclass().

Se você instanciar algum desses tipos, observe que as assinaturas podem variar entre as versões do Python.

Os nomes padrão são definidos para os seguintes tipos:

types.NoneType

O tipo de None.

Adicionado na versão 3.10.

types.FunctionType

types.LambdaType

O tipo de funções definidas pelo usuário e funções criadas por expressões lambda.

Levanta um evento de auditoria function.__new__ com o argumento code.

O evento de auditoria ocorre apenas para instanciação direta de objetos de função e não é levantado para compilação normal.

types.GeneratorType

O tipo de objetos de iterador gerador, criados pelas funções de gerador.

types.CoroutineType

O tipo de objetos de corrotina, criado por funções de async def.

Adicionado na versão 3.5.

types.AsyncGeneratorType

O tipo de objetos de iterador gerador assíncrono, criados pelas funções do gerador assíncrono.

Adicionado na versão 3.6.

class types.CodeType(**kwargs)

O tipo de objetos código retornados por compile().

Levanta um code.__new__ de evento de auditoria com os argumentos code, filename, name, argcount, posonlyargcount, kwonlyargcount, nlocals, stacksize, flags.

Observe que os argumentos auditados podem não corresponder aos nomes ou posições exigidos pelo inicializador. O evento de auditoria ocorre apenas para instanciação direta de objetos de código e não é levantado para compilação normal.

types.CellType

The type for cell objects: such objects are used as containers for a function’s closure variables.

Adicionado na versão 3.8.

types.MethodType

O tipo de método de instâncias de classe definidas pelo usuário.

types.BuiltinFunctionType

types.BuiltinMethodType

O tipo de funções embutidas como len() ou sys.exit(), e métodos de classes embutidas. (Aqui, o termo “embutidas” significa “escrito em C”.)

types.WrapperDescriptorType

O tipo de método de alguns tipos de dados embutidos e classes base, como object.__init__() ou object.__lt__().

Adicionado na versão 3.7.

types.MethodWrapperType

O tipo de métodos vinculados de alguns tipos de dados embutidos e classes base. Por exemplo, é o tipo de object().__str__.

Adicionado na versão 3.7.

types.NotImplementedType

O tipo de NotImplemented.

Adicionado na versão 3.10.

types.MethodDescriptorType

O tipo de método de alguns tipos de dados embutidos, como str.join().

Adicionado na versão 3.7.

types.ClassMethodDescriptorType

O tipo de métodos de classe não vinculados de alguns tipos de dados embutidos, como dict.__dict__['fromkeys'].

Adicionado na versão 3.7.

class types.ModuleType(name, doc=None)

O tipo de módulos. O construtor aceita o nome do módulo a ser criado e, opcionalmente, seu docstring.

Ver também

Documentation on module objects

Provides details on the special attributes that can be found on instances of ModuleType.

importlib.util.module_from_spec()

Modules created using the ModuleType constructor are created with many of their special attributes unset or set to default values. module_from_spec() provides a more robust way of creating ModuleType instances which ensures the various attributes are set appropriately.

types.EllipsisType

O tipo de Ellipsis.

Adicionado na versão 3.10.

class types.GenericAlias(t_origin, t_args)

O tipo dos genéricos parametrizados como list[int].

t_origin deve ser uma classe genérica não parametrizada, como list, tuple ou dict. t_args deve ser uma tuple (possivelmente com comprimento 1) de tipos que parametrizam t_origin:

>>> from types import GenericAlias

>>> list[int] == GenericAlias(list, (int,))
True
>>> dict[str, int] == GenericAlias(dict, (str, int))
True

Adicionado na versão 3.9.

Alterado na versão 3.9.2: Este tipo pode agora ter uma subclasse.

Ver também

Tipos Generic Alias

Documentação detalhada sobre instâncias de types.GenericAlias

PEP 585 [https://peps.python.org/pep-0585/] - Sugestão de tipo para Genéricos em coleções padrão

Apresentação da classe types.GenericAlias

class types.UnionType

The type of union type expressions.

Adicionado na versão 3.10.

class types.TracebackType(tb_next, tb_frame, tb_lasti, tb_lineno)

O tipo de objetos traceback, como encontrados em sys.exception().__traceback__.

Veja a referência de linguagem para detalhes dos atributos e operações disponíveis, e orientação sobre como criar tracebacks dinamicamente.

types.FrameType

O tipo de objetos de quadro como encontrado em tb.tb_frame se tb é um objeto traceback.

types.GetSetDescriptorType

O tipo de objetos definidos em módulos de extensão com PyGetSetDef, como FrameType.f_locals ou array.array.typecode. Este tipo é usado como descritor para atributos de objeto; tem o mesmo propósito que o tipo property, mas para classes definidas em módulos de extensão.

types.MemberDescriptorType

O tipo de objetos definidos em módulos de extensão com PyMemberDef, como datetime.timedelta.days. Este tipo é usado como descritor para membros de dados C simples que usam funções de conversão padrão; tem o mesmo propósito que o tipo property, mas para classes definidas em módulos de extensão.

In addition, when a class is defined with a __slots__ attribute, then for each slot, an instance of MemberDescriptorType will be added as an attribute on the class. This allows the slot to appear in the class’s __dict__.

Detalhes da implementação do CPython: Em outras implementações de Python, este tipo pode ser idêntico a GetSetDescriptorType.

class types.MappingProxyType(mapping)

Proxy somente leitura de um mapeamento. Ele fornece uma visão dinâmica das entradas do mapeamento, o que significa que quando o mapeamento muda, a visão reflete essas mudanças.

Adicionado na versão 3.3.

Alterado na versão 3.9: Atualizado para ter suporte ao novo operador de união (|) da PEP 584 [https://peps.python.org/pep-0584/], que simplesmente delega para o mapeamento subjacente.

key in proxy

Retorna True se o mapeamento subjacente tiver uma chave key, senão False.

proxy[key]

Retorna e o item do mapeamento subjacente com a chave key. Levanta um KeyError se key não estiver no mapeamento subjacente.

iter(proxy)

Retorna um iterador sobre as chaves do mapeamento subjacente. Este é um atalho para iter(proxy.keys()).

len(proxy)

Retorna o número de itens no mapeamento subjacente.

copy()

Retorna uma cópia rasa do mapeamento subjacente.

get(key[, default])

Retorna o valor para key se key estiver no mapeamento subjacente, caso contrário, default. Se default não for fornecido, o padrão é None, de forma que este método nunca levante uma KeyError.

items()

Retorna uma nova visão dos itens do mapeamento subjacente (pares (chave, valor)).

keys()

Retorna uma nova visão das chaves do mapeamento subjacente.

values()

Retorna uma nova visão dos valores do mapeamento subjacente.

reversed(proxy)

Retorna um iterador reverso sobre as chaves do mapeamento subjacente.

Adicionado na versão 3.9.

hash(proxy)

Retorna um hash do mapeamento subjacente.

Adicionado na versão 3.12.

class types.CapsuleType

O tipo de objetos cápsula.

Adicionado na versão 3.13.

Classes e funções de utilidades adicionais

class types.SimpleNamespace

Uma subclasse object simples que fornece acesso de atributo ao seu espaço de nomes, bem como um repr significativo.

Ao contrário de object, com SimpleNamespace você pode adicionar e remover atributos.

Objetos SimpleNamespace podem ser inicializados da mesma forma que dict: ou com argumentos nomeados, com um único argumento posicional, ou com ambos. Quando inicializados com argumentos nomeados, eles são adicionados diretamente ao espaço de nomes subjacente. Alternativamente, quando inicializado com um argumento posicional, o espaço de nomes subjacente será atualizado com pares de valores-chave desse argumento (um objeto mapeamento ou um objeto iterável produzindo pares de valores-chave). Todas essas chaves devem ser strings.

O tipo é aproximadamente equivalente ao seguinte código:

class SimpleNamespace:
    def __init__(self, mapping_or_iterable=(), /, **kwargs):
        self.__dict__.update(mapping_or_iterable)
        self.__dict__.update(kwargs)

    def __repr__(self):
        items = (f"{k}={v!r}" for k, v in self.__dict__.items())
        return "{}({})".format(type(self).__name__, ", ".join(items))

    def __eq__(self, other):
        if isinstance(self, SimpleNamespace) and isinstance(other, SimpleNamespace):
           return self.__dict__ == other.__dict__
        return NotImplemented

SimpleNamespace pode ser útil como um substituto para class NS: pass. No entanto, para um tipo de registro estruturado, use namedtuple().

Objetos SimpleNamespace são suportados por copy.replace().

Adicionado na versão 3.3.

Alterado na versão 3.9: A ordem dos atributos no repr mudou de alfabética para inserção (como no dict).

Alterado na versão 3.13: Adicionado suporte para um argumento posicional opcional.

types.DynamicClassAttribute(fget=None, fset=None, fdel=None, doc=None)

Roteia o acesso ao atributo em uma classe para __getattr__.

Este é um descritor, usado para definir atributos que atuam de forma diferente quando acessados por meio de uma instância e por meio de uma classe. O acesso à instância permanece normal, mas o acesso a um atributo por meio de uma classe será roteado para o método __getattr__ da classe; isso é feito levantando AttributeError.

Isso permite ter propriedades ativas em uma instância, e ter atributos virtuais na classe com o mesmo nome (veja enum.Enum para um exemplo).

Adicionado na versão 3.4.

Funções de utilidade de corrotina

types.coroutine(gen_func)

Esta função transforma uma função geradora em uma função de corrotina que retorna uma corrotina baseada em gerador. A corrotina baseada em gerador ainda é um iterador gerador, mas também é considerada um objeto corrotina e é aguardável. No entanto, pode não necessariamente implementar o método __await__().

Se gen_func for uma função geradora, ela será modificada no local.

Se gen_func não for uma função geradora, ela será envolta. Se ele retornar uma instância de Collections.abc.Generator, a instância será envolvida em um objeto proxy aguardável. Todos os outros tipos de objetos serão retornados como estão.

Adicionado na versão 3.5.

copy — Operações de cópia profunda e cópia rasa

Código-fonte: Lib/copy.py [https://github.com/python/cpython/tree/3.13/Lib/copy.py]

As instruções de atribuição no Python não copiam objetos, elas criam ligações entre um destino e um objeto. Para coleções que são mutáveis ​​ou contêm itens mutáveis, às vezes é necessária uma cópia para que seja possível alterar uma cópia sem alterar a outra. Este módulo fornece operações genéricas de cópia profunda e rasa (explicadas abaixo).

Resumo da interface:

copy.copy(obj)

Retorna uma cópia rasa de obj.

copy.deepcopy(obj[, memo])

Retorna uma cópia profunda de obj.

copy.replace(obj, /, **changes)

Cria um novo objeto do mesmo tipo que obj, substituindo campos por valores de changes.

Adicionado na versão 3.13.

exception copy.Error

Levantada para erros específicos do módulo.

A diferença entre cópia profunda e rasa é relevante apenas para objetos compostos (objetos que contêm outros objetos, como listas ou instâncias de classe):

Uma cópia rasa constrói um novo objeto composto e então (na medida do possível) insere nele referências aos objetos encontrados no original.

Uma cópia profunda constrói um novo objeto composto e então, recursivamente, insere nele cópias dos objetos encontrados no original.

Frequentemente, existem dois problemas com operações de cópia profunda que não existem com operações de cópia rasa:

Objetos recursivos (objetos compostos que, direta ou indiretamente, contêm uma referência a si mesmos) podem causar um laço recursivo.

Como a cópia profunda copia tudo, ela pode copiar muito, como dados que devem ser compartilhados entre as cópias.

A função deepcopy() evita esses problemas:

mantendo um dicionário memo de objetos já copiados durante a passagem de cópia atual; e

permitindo que as classes definidas pelo usuário substituam a operação de cópia ou o conjunto de componentes copiados.

Este módulo não copia tipos como módulo, método, stack trace (situação da pilha de execução), quadro de empilhamento, arquivo, soquete, janela ou outros tipos semelhantes. Ele “copia” funções e classes (rasas e profundamente), devolvendo o objeto original inalterado; isso é compatível com a maneira que estes itens são tratados pelo módulo pickle.

Cópias rasas de dicionários podem ser feitas usando dict.copy(), e de listas atribuindo uma fatia de toda a lista, por exemplo, lista_copiada = lista_original[:].

As classes podem usar as mesmas interfaces para controlar a cópia que usam para controlar a serialização com pickle. Veja a descrição do módulo pickle para informações sobre esses métodos. Na verdade, o módulo copy usa as funções pickle registradas do módulo copyreg.

Para que uma classe defina sua própria implementação de cópia, ela pode definir métodos especiais __copy__() e __deepcopy__().

object.__copy__(self)

Chamado para implementar a operação de cópia rasa; nenhum argumento adicional é passado.

object.__deepcopy__(self, memo)

Chamado para implementar a operação de cópia profunda; é passado um argumento, o dicionário memo. Se a implementação __deepcopy__ precisar fazer uma cópia profunda de um componente, ela deve chamar a função deepcopy() com o componente como primeiro argumento e o dicionário memo como segundo argumento. O dicionário memo deve ser tratado como um objeto opaco.

A função copy.replace() é mais limitada que copy() e deepcopy(), e tem suporte a apenas tuplas nomeadas criadas por namedtuple(), dataclasses e outras classes que definem o método __replace__().

object.__replace__(self, /, **changes)

Este método deve criar um novo objeto do mesmo tipo, substituindo campos por valores de changes.

Ver também

Módulo pickle

Discussão dos métodos especiais usados ​​para dar suporte à recuperação e restauração do estado do objeto.

pprint — Impressão bonita de dados

Código-fonte: Lib/pprint.py [https://github.com/python/cpython/tree/3.13/Lib/pprint.py]

O módulo pprint fornece a capacidade de “imprimir de forma bonita” estruturas de dados Python arbitrárias em um formato que pode ser usado como entrada para o interpretador. Se as estruturas formatadas incluírem objetos que não sejam tipos fundamentais do Python, a representação poderá não ser carregável. Este pode ser o caso se objetos como arquivos, soquetes ou classes forem incluídos, bem como muitos outros objetos que não são representáveis como literais do Python.

A representação formatada mantém os objetos em uma única linha, se possível, e os divide em múltiplas linhas se eles não couberem na largura permitida, ajustável pelo parâmetro width padrão para 80 caracteres.

Os dicionários são classificados por chave antes que a exibição seja calculada.

Alterado na versão 3.9: Adicionado suporte para impressão bonita de types.SimpleNamespace.

Alterado na versão 3.10: Adicionado suporte para impressão bonita de dataclasses.dataclass.

Funções

pprint.pp(object, stream=None, indent=1, width=80, depth=None, *, compact=False, sort_dicts=False, underscore_numbers=False)

Imprime a representação formatada de object, seguida por uma nova linha. Esta função pode ser usado no interpretador interativo em vez da função print() para inspecionar valores. Dica: você pode reatribuir print = pprint.pp para uso dentro de um escopo.

Parâmetros:

object – O objeto a ser impresso.

stream (file-like object | None) – Um objeto arquivo ou similar no qual a saída será gravada chamando seu método write(). Se None (o padrão), sys.stdout será usado.

indent (int) – A quantidade de indentação adicionado para cada nível de aninhamento.

width (int) – O número máximo desejado de caracteres por linha na saída. Se uma estrutura não puder ser formatada dentro da restrição de largura, será feito o melhor esforço.

depth (int | None) – O número de níveis de aninhamento que podem ser impressos. Se a estrutura de dados que está sendo impressa for muito profunda, o próximo nível contido será substituído por .... Se None (o padrão), não há restrição na profundidade dos objetos que estão sendo formatados.

compact (bool) – Controla a forma como sequências são formatadas. Se False (o padrão), cada item de uma sequência será formatado em uma linha separada, caso contrário, tantos itens quantos couberem na largura serão formatados em cada linha de saída.

sort_dicts (bool) – Se True, os dicionários serão formatados com suas chaves classificadas, caso contrário, serão exibidos na ordem de inserção (o padrão).

underscore_numbers (bool) – Se True, os números inteiros serão formatados com o caractere _ para um separador de milhares, caso contrário, os sublinhados não serão exibidos (o padrão).

>>> import pprint
>>> stuff = ['spam', 'eggs', 'lumberjack', 'knights', 'ni']
>>> stuff.insert(0, stuff)
>>> pprint.pp(stuff)
[<Recursion on list with id=...>,
 'spam',
 'eggs',
 'lumberjack',
 'knights',
 'ni']

Adicionado na versão 3.8.

pprint.pprint(object, stream=None, indent=1, width=80, depth=None, *, compact=False, sort_dicts=True, underscore_numbers=False)

Apelido ​​para pp() com sort_dicts definido como True por padrão, o que classificaria automaticamente as chaves dos dicionários, você pode querer usar pp() em vez disso, onde é False por padrão.

pprint.pformat(object, indent=1, width=80, depth=None, *, compact=False, sort_dicts=True, underscore_numbers=False)

Retorna a representação formatada de object como uma string. indent, width, depth, compact, sort_dicts e underscore_numbers são passados para o construtor de PrettyPrinter como parâmetros de formatação e seus significados são descritos na documentação acima.

pprint.isreadable(object)

Determina se a representação formatada de object é “legível” ou pode ser usada para reconstruir o valor usando eval(). Isso sempre retorna False para objetos recursivos.

>>> pprint.isreadable(stuff)
False

pprint.isrecursive(object)

Determina se object requer uma representação recursiva. Esta função está sujeita às mesmas limitações mencionadas em saferepr() abaixo e pode levantar uma exceção RecursionError se falhar em detectar um objeto recursivo.

pprint.saferepr(object)

Retorna uma representação de string de object, protegida contra recursão em algumas estruturas de dados comuns, nomeadamente instâncias de dict, list e tuple ou subclasses cujo __repr__ não foi substituído. Se a representação do objeto expõe uma entrada recursiva, a referência recursiva será representada como <Recursion on typename with id=number>. A representação não é formatada de outra forma.

>>> pprint.saferepr(stuff)
"[<Recursion on list with id=...>, 'spam', 'eggs', 'lumberjack', 'knights', 'ni']"

Objetos PrettyPrinter

class pprint.PrettyPrinter(indent=1, width=80, depth=None, stream=None, *, compact=False, sort_dicts=True, underscore_numbers=False)

Constrói uma instância PrettyPrinter.

Os argumentos têm o mesmo significado que para pp(). Observe que eles estão em uma ordem diferente e que o padrão sort_dicts é True.

>>> import pprint
>>> stuff = ['spam', 'eggs', 'lumberjack', 'knights', 'ni']
>>> stuff.insert(0, stuff[:])
>>> pp = pprint.PrettyPrinter(indent=4)
>>> pp.pprint(stuff)
[   ['spam', 'eggs', 'lumberjack', 'knights', 'ni'],
    'spam',
    'eggs',
    'lumberjack',
    'knights',
    'ni']
>>> pp = pprint.PrettyPrinter(width=41, compact=True)
>>> pp.pprint(stuff)
[['spam', 'eggs', 'lumberjack',
  'knights', 'ni'],
 'spam', 'eggs', 'lumberjack', 'knights',
 'ni']
>>> tup = ('spam', ('eggs', ('lumberjack', ('knights', ('ni', ('dead',
... ('parrot', ('fresh fruit',))))))))
>>> pp = pprint.PrettyPrinter(depth=6)
>>> pp.pprint(tup)
('spam', ('eggs', ('lumberjack', ('knights', ('ni', ('dead', (...)))))))

Alterado na versão 3.4: Adicionado o parâmetro compact.

Alterado na versão 3.8: Adicionado o parâmetro sort_dicts.

Alterado na versão 3.10: Adicionado o parâmetro underscore_numbers.

Alterado na versão 3.11: Não tenta mais escrever em sys.stdout se for None.

Instâncias PrettyPrinter contêm os seguintes métodos:

PrettyPrinter.pformat(object)

Retorna a representação formatada de object. Isso leva em consideração as opções passadas para o construtor PrettyPrinter.

PrettyPrinter.pprint(object)

Exibe a representação formatada de object no fluxo configurado, seguida por uma nova linha.

Os métodos a seguir fornecem as implementações para as funções correspondentes com os mesmos nomes. Usar esses métodos em uma instância é um pouco mais eficiente já que novos objetos PrettyPrinter não precisam ser criados.

PrettyPrinter.isreadable(object)

Determina se a representação formatada do objeto é “legível” ou pode ser usada para reconstruir o valor usando eval(). Observe que isso retorna False para objetos recursivos. Se o parâmetro depth de PrettyPrinter estiver definido e o objeto for mais profundo que o permitido, isso retornará False.

PrettyPrinter.isrecursive(object)

Determina se o objeto requer uma representação recursiva.

Este método é fornecido como um gancho para permitir que as subclasses modifiquem a maneira como os objetos são convertidos em strings. A implementação padrão usa os componentes internos da implementação de saferepr().

PrettyPrinter.format(object, context, maxlevels, level)

Retorna três valores: a versão formatada de object como uma string, um sinalizador indicando se o resultado é legível e um sinalizador indicando se a recursão foi detectada. O primeiro argumento é o objeto a ser apresentado. O segundo é um dicionário que contém o id() de objetos que fazem parte do contexto de apresentação atual (contêineres diretos e indiretos para objects que estão afetando a apresentação) como chaves; se for necessário apresentar um objeto que já esteja representado em context, o terceiro valor de retorno deverá ser True. Chamadas recursivas ao método format() devem adicionar entradas adicionais para contêineres neste dicionário. O terceiro argumento, maxlevels, fornece o limite solicitado para recursão; será 0 se não houver limite solicitado. Este argumento deve ser passado sem modificações para chamadas recursivas. O quarto argumento, level, fornece o nível atual; chamadas recursivas devem receber um valor menor que o da chamada atual.

Exemplo

Para demonstrar vários usos da função pp() e seus parâmetros, vamos buscar informações sobre um projeto no PyPI [https://pypi.org]:

>>> import json
>>> import pprint
>>> from urllib.request import urlopen
>>> with urlopen('https://pypi.org/pypi/sampleproject/json') as resp:
...     project_info = json.load(resp)['info']

Em sua forma básica, pp() mostra o objeto inteiro:

>>> pprint.pp(project_info)
{'author': 'The Python Packaging Authority',
 'author_email': 'pypa-dev@googlegroups.com',
 'bugtrack_url': None,
 'classifiers': ['Development Status :: 3 - Alpha',
                 'Intended Audience :: Developers',
                 'License :: OSI Approved :: MIT License',
                 'Programming Language :: Python :: 2',
                 'Programming Language :: Python :: 2.6',
                 'Programming Language :: Python :: 2.7',
                 'Programming Language :: Python :: 3',
                 'Programming Language :: Python :: 3.2',
                 'Programming Language :: Python :: 3.3',
                 'Programming Language :: Python :: 3.4',
                 'Topic :: Software Development :: Build Tools'],
 'description': 'A sample Python project\n'
                '=======================\n'
                '\n'
                'This is the description file for the project.\n'
                '\n'
                'The file should use UTF-8 encoding and be written using '
                'ReStructured Text. It\n'
                'will be used to generate the project webpage on PyPI, and '
                'should be written for\n'
                'that purpose.\n'
                '\n'
                'Typical contents for this file would include an overview of '
                'the project, basic\n'
                'usage examples, etc. Generally, including the project '
                'changelog in here is not\n'
                'a good idea, although a simple "What\'s New" section for the '
                'most recent version\n'
                'may be appropriate.',
 'description_content_type': None,
 'docs_url': None,
 'download_url': 'UNKNOWN',
 'downloads': {'last_day': -1, 'last_month': -1, 'last_week': -1},
 'home_page': 'https://github.com/pypa/sampleproject',
 'keywords': 'sample setuptools development',
 'license': 'MIT',
 'maintainer': None,
 'maintainer_email': None,
 'name': 'sampleproject',
 'package_url': 'https://pypi.org/project/sampleproject/',
 'platform': 'UNKNOWN',
 'project_url': 'https://pypi.org/project/sampleproject/',
 'project_urls': {'Download': 'UNKNOWN',
                  'Homepage': 'https://github.com/pypa/sampleproject'},
 'release_url': 'https://pypi.org/project/sampleproject/1.2.0/',
 'requires_dist': None,
 'requires_python': None,
 'summary': 'A sample Python project',
 'version': '1.2.0'}

O resultado pode ser limitado a uma certa depth (reticências são usadas para conteúdos mais profundos):

>>> pprint.pp(project_info, depth=1)
{'author': 'The Python Packaging Authority',
 'author_email': 'pypa-dev@googlegroups.com',
 'bugtrack_url': None,
 'classifiers': [...],
 'description': 'A sample Python project\n'
                '=======================\n'
                '\n'
                'This is the description file for the project.\n'
                '\n'
                'The file should use UTF-8 encoding and be written using '
                'ReStructured Text. It\n'
                'will be used to generate the project webpage on PyPI, and '
                'should be written for\n'
                'that purpose.\n'
                '\n'
                'Typical contents for this file would include an overview of '
                'the project, basic\n'
                'usage examples, etc. Generally, including the project '
                'changelog in here is not\n'
                'a good idea, although a simple "What\'s New" section for the '
                'most recent version\n'
                'may be appropriate.',
 'description_content_type': None,
 'docs_url': None,
 'download_url': 'UNKNOWN',
 'downloads': {...},
 'home_page': 'https://github.com/pypa/sampleproject',
 'keywords': 'sample setuptools development',
 'license': 'MIT',
 'maintainer': None,
 'maintainer_email': None,
 'name': 'sampleproject',
 'package_url': 'https://pypi.org/project/sampleproject/',
 'platform': 'UNKNOWN',
 'project_url': 'https://pypi.org/project/sampleproject/',
 'project_urls': {...},
 'release_url': 'https://pypi.org/project/sampleproject/1.2.0/',
 'requires_dist': None,
 'requires_python': None,
 'summary': 'A sample Python project',
 'version': '1.2.0'}

Além disso, a largura width máxima do caractere pode ser sugerida. Se um objeto longo não puder ser dividido, a largura especificada será excedida:

>>> pprint.pp(project_info, depth=1, width=60)
{'author': 'The Python Packaging Authority',
 'author_email': 'pypa-dev@googlegroups.com',
 'bugtrack_url': None,
 'classifiers': [...],
 'description': 'A sample Python project\n'
                '=======================\n'
                '\n'
                'This is the description file for the '
                'project.\n'
                '\n'
                'The file should use UTF-8 encoding and be '
                'written using ReStructured Text. It\n'
                'will be used to generate the project '
                'webpage on PyPI, and should be written '
                'for\n'
                'that purpose.\n'
                '\n'
                'Typical contents for this file would '
                'include an overview of the project, '
                'basic\n'
                'usage examples, etc. Generally, including '
                'the project changelog in here is not\n'
                'a good idea, although a simple "What\'s '
                'New" section for the most recent version\n'
                'may be appropriate.',
 'description_content_type': None,
 'docs_url': None,
 'download_url': 'UNKNOWN',
 'downloads': {...},
 'home_page': 'https://github.com/pypa/sampleproject',
 'keywords': 'sample setuptools development',
 'license': 'MIT',
 'maintainer': None,
 'maintainer_email': None,
 'name': 'sampleproject',
 'package_url': 'https://pypi.org/project/sampleproject/',
 'platform': 'UNKNOWN',
 'project_url': 'https://pypi.org/project/sampleproject/',
 'project_urls': {...},
 'release_url': 'https://pypi.org/project/sampleproject/1.2.0/',
 'requires_dist': None,
 'requires_python': None,
 'summary': 'A sample Python project',
 'version': '1.2.0'}

reprlib — Alternate repr() implementation

Código-fonte: Lib/reprlib.py [https://github.com/python/cpython/tree/3.13/Lib/reprlib.py]

O módulo reprlib fornece um meio de produzir representações de objetos com limites no tamanho das strings resultantes. Isso é usado no depurador Python e pode ser útil em outros contextos também.

Este módulo fornece uma classe, uma instância e uma função.

class reprlib.Repr(*, maxlevel=6, maxtuple=6, maxlist=6, maxarray=5, maxdict=4, maxset=6, maxfrozenset=6, maxdeque=6, maxstring=30, maxlong=40, maxother=30, fillvalue='...', indent=None)

Classe que fornece serviços de formatação úteis na implementação de funções semelhantes à embutida repr(); limites de tamanho para diferentes tipos de objetos são adicionados para evitar a geração de representações excessivamente longas.

Os argumentos nomeados do construtor podem ser usados como um atalho para definir os atributos da instância de Repr. O que significa que a inicialização a seguir:

aRepr = reprlib.Repr(maxlevel=3)

É equivalente a:

aRepr = reprlib.Repr()
aRepr.maxlevel = 3

See section Repr Objects for more information about Repr attributes.

Alterado na versão 3.12: Allow attributes to be set via keyword arguments.

reprlib.aRepr

This is an instance of Repr which is used to provide the repr() function described below. Changing the attributes of this object will affect the size limits used by repr() and the Python debugger.

reprlib.repr(obj)

This is the repr() method of aRepr. It returns a string similar to that returned by the built-in function of the same name, but with limits on most sizes.

In addition to size-limiting tools, the module also provides a decorator for detecting recursive calls to __repr__() and substituting a placeholder string instead.

@reprlib.recursive_repr(fillvalue='...')

Decorator for __repr__() methods to detect recursive calls within the same thread. If a recursive call is made, the fillvalue is returned, otherwise, the usual __repr__() call is made. For example:

>>> from reprlib import recursive_repr
>>> class MyList(list):
...     @recursive_repr()
...     def __repr__(self):
...         return '<' + '|'.join(map(repr, self)) + '>'
...
>>> m = MyList('abc')
>>> m.append(m)
>>> m.append('x')
>>> print(m)
<'a'|'b'|'c'|...|'x'>

Adicionado na versão 3.2.

Objetos Repr

Repr instances provide several attributes which can be used to provide size limits for the representations of different object types, and methods which format specific object types.

Repr.fillvalue

This string is displayed for recursive references. It defaults to ....

Adicionado na versão 3.11.

Repr.maxlevel

Depth limit on the creation of recursive representations. The default is 6.

Repr.maxdict

Repr.maxlist

Repr.maxtuple

Repr.maxset

Repr.maxfrozenset

Repr.maxdeque

Repr.maxarray

Limits on the number of entries represented for the named object type. The default is 4 for maxdict, 5 for maxarray, and 6 for the others.

Repr.maxlong

Maximum number of characters in the representation for an integer. Digits are dropped from the middle. The default is 40.

Repr.maxstring

Limit on the number of characters in the representation of the string. Note that the “normal” representation of the string is used as the character source: if escape sequences are needed in the representation, these may be mangled when the representation is shortened. The default is 30.

Repr.maxother

This limit is used to control the size of object types for which no specific formatting method is available on the Repr object. It is applied in a similar manner as maxstring. The default is 20.

Repr.indent

If this attribute is set to None (the default), the output is formatted with no line breaks or indentation, like the standard repr(). For example:

>>> example = [
...     1, 'spam', {'a': 2, 'b': 'spam eggs', 'c': {3: 4.5, 6: []}}, 'ham']
>>> import reprlib
>>> aRepr = reprlib.Repr()
>>> print(aRepr.repr(example))
[1, 'spam', {'a': 2, 'b': 'spam eggs', 'c': {3: 4.5, 6: []}}, 'ham']

If indent is set to a string, each recursion level is placed on its own line, indented by that string:

>>> aRepr.indent = '-->'
>>> print(aRepr.repr(example))
[
-->1,
-->'spam',
-->{
-->-->'a': 2,
-->-->'b': 'spam eggs',
-->-->'c': {
-->-->-->3: 4.5,
-->-->-->6: [],
-->-->},
-->},
-->'ham',
]

Setting indent to a positive integer value behaves as if it was set to a string with that number of spaces:

>>> aRepr.indent = 4
>>> print(aRepr.repr(example))
[
    1,
    'spam',
    {
        'a': 2,
        'b': 'spam eggs',
        'c': {
            3: 4.5,
            6: [],
        },
    },
    'ham',
]

Adicionado na versão 3.12.

Repr.repr(obj)

The equivalent to the built-in repr() that uses the formatting imposed by the instance.

Repr.repr1(obj, level)

Recursive implementation used by repr(). This uses the type of obj to determine which formatting method to call, passing it obj and level. The type-specific methods should call repr1() to perform recursive formatting, with level - 1 for the value of level in the recursive call.

Repr.repr_TYPE(obj, level)

Formatting methods for specific types are implemented as methods with a name based on the type name. In the method name, TYPE is replaced by '_'.join(type(obj).__name__.split()). Dispatch to these methods is handled by repr1(). Type-specific methods which need to recursively format a value should call self.repr1(subobj, level - 1).

Subclassing Repr Objects

The use of dynamic dispatching by Repr.repr1() allows subclasses of Repr to add support for additional built-in object types or to modify the handling of types already supported. This example shows how special support for file objects could be added:

import reprlib
import sys

class MyRepr(reprlib.Repr):

    def repr_TextIOWrapper(self, obj, level):
        if obj.name in {'<stdin>', '<stdout>', '<stderr>'}:
            return obj.name
        return repr(obj)

aRepr = MyRepr()
print(aRepr.repr(sys.stdin))         # prints '<stdin>'

<stdin>

enum — Support for enumerations

Adicionado na versão 3.4.

Código-fonte: Lib/enum.py [https://github.com/python/cpython/tree/3.13/Lib/enum.py]

Important

Esta página contêm informação de referência da API. Para informação tutorial e discussão de tópicos mais avançados, consulte

Basic Tutorial

Advanced Tutorial

Enum Cookbook

An enumeration:

is a set of symbolic names (members) bound to unique values

can be iterated over to return its canonical (i.e. non-alias) members in definition order

uses call syntax to return members by value

uses index syntax to return members by name

Enumerations are created either by using class syntax, or by using function-call syntax:

>>> from enum import Enum

>>> # class syntax
>>> class Color(Enum):
...     RED = 1
...     GREEN = 2
...     BLUE = 3

>>> # functional syntax
>>> Color = Enum('Color', ['RED', 'GREEN', 'BLUE'])

Even though we can use class syntax to create Enums, Enums are not normal Python classes. See How are Enums different? for more details.

Nota

Nomenclature

The class Color is an enumeration (or enum)

The attributes Color.RED, Color.GREEN, etc., are enumeration members (or members) and are functionally constants.

The enum members have names and values (the name of Color.RED is RED, the value of Color.BLUE is 3, etc.)

Conteúdo do módulo

EnumType

The type for Enum and its subclasses.

Enum

Base class for creating enumerated constants.

IntEnum

Base class for creating enumerated constants that are also subclasses of int. (Notes)

StrEnum

Base class for creating enumerated constants that are also subclasses of str. (Notes)

Flag

Base class for creating enumerated constants that can be combined using the bitwise operations without losing their Flag membership.

IntFlag

Base class for creating enumerated constants that can be combined using the bitwise operators without losing their IntFlag membership. IntFlag members are also subclasses of int. (Notes)

ReprEnum

Used by IntEnum, StrEnum, and IntFlag to keep the str() of the mixed-in type.

EnumCheck

An enumeration with the values CONTINUOUS, NAMED_FLAGS, and UNIQUE, for use with verify() to ensure various constraints are met by a given enumeration.

FlagBoundary

An enumeration with the values STRICT, CONFORM, EJECT, and KEEP which allows for more fine-grained control over how invalid values are dealt with in an enumeration.

auto

Instances are replaced with an appropriate value for Enum members. StrEnum defaults to the lower-cased version of the member name, while other Enums default to 1 and increase from there.

property()

Allows Enum members to have attributes without conflicting with member names. The value and name attributes are implemented this way.

unique()

Enum class decorator that ensures only one name is bound to any one value.

verify()

Enum class decorator that checks user-selectable constraints on an enumeration.

member()

Make obj a member. Can be used as a decorator.

nonmember()

Do not make obj a member. Can be used as a decorator.

global_enum()

Modify the str() and repr() of an enum to show its members as belonging to the module instead of its class, and export the enum members to the global namespace.

show_flag_values()

Return a list of all power-of-two integers contained in a flag.

Adicionado na versão 3.6: Flag, IntFlag, auto

Adicionado na versão 3.11: StrEnum, EnumCheck, ReprEnum, FlagBoundary, property, member, nonmember, global_enum, show_flag_values

Tipos de Dados

class enum.EnumType

EnumType is the metaclass for enum enumerations. It is possible to subclass EnumType – see Subclassing EnumType for details.

EnumType is responsible for setting the correct __repr__(), __str__(), __format__(), and __reduce__() methods on the final enum, as well as creating the enum members, properly handling duplicates, providing iteration over the enum class, etc.

__call__(cls, value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

This method is called in two different ways:

to look up an existing member:

cls:

The enum class being called.

value:

The value to lookup.

to use the cls enum to create a new enum (only if the existing enum does not have any members):

cls:

The enum class being called.

value:

The name of the new Enum to create.

nomes:

The names/values of the members for the new Enum.

módulo:

The name of the module the new Enum is created in.

qualname:

The actual location in the module where this Enum can be found.

tipo:

A mix-in type for the new Enum.

start:

The first integer value for the Enum (used by auto).

boundary:

How to handle out-of-range values from bit operations (Flag only).

__contains__(cls, member)

Returns True if member belongs to the cls:

>>> some_var = Color.RED
>>> some_var in Color
True
>>> Color.RED.value in Color
True

Alterado na versão 3.12: Before Python 3.12, a TypeError is raised if a non-Enum-member is used in a containment check.

__dir__(cls)

Returns ['__class__', '__doc__', '__members__', '__module__'] and the names of the members in cls:

>>> dir(Color)
['BLUE', 'GREEN', 'RED', '__class__', '__contains__', '__doc__', '__getitem__', '__init_subclass__', '__iter__', '__len__', '__members__', '__module__', '__name__', '__qualname__']

__getitem__(cls, name)

Returns the Enum member in cls matching name, or raises a KeyError:

>>> Color['BLUE']
<Color.BLUE: 3>

__iter__(cls)

Returns each member in cls in definition order:

>>> list(Color)
[<Color.RED: 1>, <Color.GREEN: 2>, <Color.BLUE: 3>]

__len__(cls)

Returns the number of member in cls:

>>> len(Color)
3

__members__

Returns a mapping of every enum name to its member, including aliases

__reversed__(cls)

Returns each member in cls in reverse definition order:

>>> list(reversed(Color))
[<Color.BLUE: 3>, <Color.GREEN: 2>, <Color.RED: 1>]

_add_alias_()

Adds a new name as an alias to an existing member. Raises a NameError if the name is already assigned to a different member.

_add_value_alias_()

Adds a new value as an alias to an existing member. Raises a ValueError if the value is already linked with a different member.

Adicionado na versão 3.11: Before 3.11 EnumType was called EnumMeta, which is still available as an alias.

class enum.Enum

Enum is the base class for all enum enumerations.

name

The name used to define the Enum member:

>>> Color.BLUE.name
'BLUE'

value

The value given to the Enum member:

>>> Color.RED.value
1

Value of the member, can be set in __new__().

Nota

Enum member values

Member values can be anything: int, str, etc. If the exact value is unimportant you may use auto instances and an appropriate value will be chosen for you. See auto for the details.

While mutable/unhashable values, such as dict, list or a mutable dataclass, can be used, they will have a quadratic performance impact during creation relative to the total number of mutable/unhashable values in the enum.

_name_

Name of the member.

_value_

Value of the member, can be set in __new__().

_order_

No longer used, kept for backward compatibility. (class attribute, removed during class creation).

_ignore_

_ignore_ is only used during creation and is removed from the enumeration once creation is complete.

_ignore_ is a list of names that will not become members, and whose names will also be removed from the completed enumeration. See TimePeriod for an example.

__dir__(self)

Returns ['__class__', '__doc__', '__module__', 'name', 'value'] and any public methods defined on self.__class__:

>>> from datetime import date
>>> class Weekday(Enum):
...     MONDAY = 1
...     TUESDAY = 2
...     WEDNESDAY = 3
...     THURSDAY = 4
...     FRIDAY = 5
...     SATURDAY = 6
...     SUNDAY = 7
...     @classmethod
...     def today(cls):
...         print('today is %s' % cls(date.today().isoweekday()).name)
...
>>> dir(Weekday.SATURDAY)
['__class__', '__doc__', '__eq__', '__hash__', '__module__', 'name', 'today', 'value']

_generate_next_value_(name, start, count, last_values)

nome:

The name of the member being defined (e.g. ‘RED’).

start:

The start value for the Enum; the default is 1.

count:

The number of members currently defined, not including this one.

last_values:

A list of the previous values.

A staticmethod that is used to determine the next value returned by auto:

>>> from enum import auto
>>> class PowersOfThree(Enum):
...     @staticmethod
...     def _generate_next_value_(name, start, count, last_values):
...         return 3 ** (count + 1)
...     FIRST = auto()
...     SECOND = auto()
...
>>> PowersOfThree.SECOND.value
9

__init__(self, *args, **kwds)

By default, does nothing. If multiple values are given in the member assignment, those values become separate arguments to __init__; e.g.

>>> from enum import Enum
>>> class Weekday(Enum):
...     MONDAY = 1, 'Mon'

Weekday.__init__() would be called as Weekday.__init__(self, 1, 'Mon')

__init_subclass__(cls, **kwds)

A classmethod that is used to further configure subsequent subclasses. By default, does nothing.

_missing_(cls, value)

A classmethod for looking up values not found in cls. By default it does nothing, but can be overridden to implement custom search behavior:

>>> from enum import StrEnum
>>> class Build(StrEnum):
...     DEBUG = auto()
...     OPTIMIZED = auto()
...     @classmethod
...     def _missing_(cls, value):
...         value = value.lower()
...         for member in cls:
...             if member.value == value:
...                 return member
...         return None
...
>>> Build.DEBUG.value
'debug'
>>> Build('deBUG')
<Build.DEBUG: 'debug'>

__new__(cls, *args, **kwds)

By default, doesn’t exist. If specified, either in the enum class definition or in a mixin class (such as int), all values given in the member assignment will be passed; e.g.

>>> from enum import Enum
>>> class MyIntEnum(int, Enum):
...     TWENTYSIX = '1a', 16

results in the call int('1a', 16) and a value of 26 for the member.

Nota

When writing a custom __new__, do not use super().__new__ – call the appropriate __new__ instead.

__repr__(self)

Returns the string used for repr() calls. By default, returns the Enum name, member name, and value, but can be overridden:

>>> class OtherStyle(Enum):
...     ALTERNATE = auto()
...     OTHER = auto()
...     SOMETHING_ELSE = auto()
...     def __repr__(self):
...         cls_name = self.__class__.__name__
...         return f'{cls_name}.{self.name}'
...
>>> OtherStyle.ALTERNATE, str(OtherStyle.ALTERNATE), f"{OtherStyle.ALTERNATE}"
(OtherStyle.ALTERNATE, 'OtherStyle.ALTERNATE', 'OtherStyle.ALTERNATE')

__str__(self)

Returns the string used for str() calls. By default, returns the Enum name and member name, but can be overridden:

>>> class OtherStyle(Enum):
...     ALTERNATE = auto()
...     OTHER = auto()
...     SOMETHING_ELSE = auto()
...     def __str__(self):
...         return f'{self.name}'
...
>>> OtherStyle.ALTERNATE, str(OtherStyle.ALTERNATE), f"{OtherStyle.ALTERNATE}"
(<OtherStyle.ALTERNATE: 1>, 'ALTERNATE', 'ALTERNATE')

__format__(self)

Returns the string used for format() and f-string calls. By default, returns __str__() return value, but can be overridden:

>>> class OtherStyle(Enum):
...     ALTERNATE = auto()
...     OTHER = auto()
...     SOMETHING_ELSE = auto()
...     def __format__(self, spec):
...         return f'{self.name}'
...
>>> OtherStyle.ALTERNATE, str(OtherStyle.ALTERNATE), f"{OtherStyle.ALTERNATE}"
(<OtherStyle.ALTERNATE: 1>, 'OtherStyle.ALTERNATE', 'ALTERNATE')

Nota

Using auto with Enum results in integers of increasing value, starting with 1.

Alterado na versão 3.12: Added Dataclass support

class enum.IntEnum

IntEnum is the same as Enum, but its members are also integers and can be used anywhere that an integer can be used. If any integer operation is performed with an IntEnum member, the resulting value loses its enumeration status.

>>> from enum import IntEnum
>>> class Number(IntEnum):
...     ONE = 1
...     TWO = 2
...     THREE = 3
...
>>> Number.THREE
<Number.THREE: 3>
>>> Number.ONE + Number.TWO
3
>>> Number.THREE + 5
8
>>> Number.THREE == 3
True

Nota

Using auto with IntEnum results in integers of increasing value, starting with 1.

Alterado na versão 3.11: __str__() is now int.__str__() to better support the replacement of existing constants use-case. __format__() was already int.__format__() for that same reason.

class enum.StrEnum

StrEnum is the same as Enum, but its members are also strings and can be used in most of the same places that a string can be used. The result of any string operation performed on or with a StrEnum member is not part of the enumeration.

Nota

There are places in the stdlib that check for an exact str instead of a str subclass (i.e. type(unknown) == str instead of isinstance(unknown, str)), and in those locations you will need to use str(StrEnum.member).

Nota

Using auto with StrEnum results in the lower-cased member name as the value.

Nota

__str__() is str.__str__() to better support the replacement of existing constants use-case. __format__() is likewise str.__format__() for that same reason.

Adicionado na versão 3.11.

class enum.Flag

Flag is the same as Enum, but its members support the bitwise operators & (AND), | (OR), ^ (XOR), and ~ (INVERT); the results of those operations are (aliases of) members of the enumeration.

__contains__(self, value)

Returns True if value is in self:

>>> from enum import Flag, auto
>>> class Color(Flag):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> purple = Color.RED | Color.BLUE
>>> white = Color.RED | Color.GREEN | Color.BLUE
>>> Color.GREEN in purple
False
>>> Color.GREEN in white
True
>>> purple in white
True
>>> white in purple
False

__iter__(self):

Returns all contained non-alias members:

>>> list(Color.RED)
[<Color.RED: 1>]
>>> list(purple)
[<Color.RED: 1>, <Color.BLUE: 4>]

Adicionado na versão 3.11.

__len__(self):

Returns number of members in flag:

>>> len(Color.GREEN)
1
>>> len(white)
3

Adicionado na versão 3.11.

__bool__(self):

Returns True if any members in flag, False otherwise:

>>> bool(Color.GREEN)
True
>>> bool(white)
True
>>> black = Color(0)
>>> bool(black)
False

__or__(self, other)

Returns current flag binary or’ed with other:

>>> Color.RED | Color.GREEN
<Color.RED|GREEN: 3>

__and__(self, other)

Returns current flag binary and’ed with other:

>>> purple & white
<Color.RED|BLUE: 5>
>>> purple & Color.GREEN
<Color: 0>

__xor__(self, other)

Returns current flag binary xor’ed with other:

>>> purple ^ white
<Color.GREEN: 2>
>>> purple ^ Color.GREEN
<Color.RED|GREEN|BLUE: 7>

__invert__(self):

Returns all the flags in type(self) that are not in self:

>>> ~white
<Color: 0>
>>> ~purple
<Color.GREEN: 2>
>>> ~Color.RED
<Color.GREEN|BLUE: 6>

_numeric_repr_()

Function used to format any remaining unnamed numeric values. Default is the value’s repr; common choices are hex() and oct().

Nota

Using auto with Flag results in integers that are powers of two, starting with 1.

Alterado na versão 3.11: The repr() of zero-valued flags has changed. It is now::

>>> Color(0)
<Color: 0>

class enum.IntFlag

IntFlag is the same as Flag, but its members are also integers and can be used anywhere that an integer can be used.

>>> from enum import IntFlag, auto
>>> class Color(IntFlag):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> Color.RED & 2
<Color: 0>
>>> Color.RED | 2
<Color.RED|GREEN: 3>

If any integer operation is performed with an IntFlag member, the result is not an IntFlag:

>>> Color.RED + 2
3

If a Flag operation is performed with an IntFlag member and:

the result is a valid IntFlag: an IntFlag is returned

the result is not a valid IntFlag: the result depends on the FlagBoundary setting

The repr() of unnamed zero-valued flags has changed. It is now:

>>> Color(0)
<Color: 0>

Nota

Using auto with IntFlag results in integers that are powers of two, starting with 1.

Alterado na versão 3.11: __str__() is now int.__str__() to better support the replacement of existing constants use-case. __format__() was already int.__format__() for that same reason.

Inversion of an IntFlag now returns a positive value that is the union of all flags not in the given flag, rather than a negative value. This matches the existing Flag behavior.

class enum.ReprEnum

ReprEnum uses the repr() of Enum, but the str() of the mixed-in data type:

int.__str__() for IntEnum and IntFlag

str.__str__() for StrEnum

Inherit from ReprEnum to keep the str() / format() of the mixed-in data type instead of using the Enum-default str().

Adicionado na versão 3.11.

class enum.EnumCheck

EnumCheck contains the options used by the verify() decorator to ensure various constraints; failed constraints result in a ValueError.

UNIQUE

Ensure that each value has only one name:

>>> from enum import Enum, verify, UNIQUE
>>> @verify(UNIQUE)
... class Color(Enum):
...     RED = 1
...     GREEN = 2
...     BLUE = 3
...     CRIMSON = 1
Traceback (most recent call last):
...
ValueError: aliases found in <enum 'Color'>: CRIMSON -> RED

CONTINUOUS

Ensure that there are no missing values between the lowest-valued member and the highest-valued member:

>>> from enum import Enum, verify, CONTINUOUS
>>> @verify(CONTINUOUS)
... class Color(Enum):
...     RED = 1
...     GREEN = 2
...     BLUE = 5
Traceback (most recent call last):
...
ValueError: invalid enum 'Color': missing values 3, 4

NAMED_FLAGS

Ensure that any flag groups/masks contain only named flags – useful when values are specified instead of being generated by auto():

>>> from enum import Flag, verify, NAMED_FLAGS
>>> @verify(NAMED_FLAGS)
... class Color(Flag):
...     RED = 1
...     GREEN = 2
...     BLUE = 4
...     WHITE = 15
...     NEON = 31
Traceback (most recent call last):
...
ValueError: invalid Flag 'Color': aliases WHITE and NEON are missing combined values of 0x18 [use enum.show_flag_values(value) for details]

Nota

CONTINUOUS and NAMED_FLAGS are designed to work with integer-valued members.

Adicionado na versão 3.11.

class enum.FlagBoundary

FlagBoundary controls how out-of-range values are handled in Flag and its subclasses.

STRICT

Out-of-range values cause a ValueError to be raised. This is the default for Flag:

>>> from enum import Flag, STRICT, auto
>>> class StrictFlag(Flag, boundary=STRICT):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> StrictFlag(2**2 + 2**4)
Traceback (most recent call last):
...
ValueError: <flag 'StrictFlag'> invalid value 20
    given 0b0 10100
  allowed 0b0 00111

CONFORM

Out-of-range values have invalid values removed, leaving a valid Flag value:

>>> from enum import Flag, CONFORM, auto
>>> class ConformFlag(Flag, boundary=CONFORM):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> ConformFlag(2**2 + 2**4)
<ConformFlag.BLUE: 4>

EJECT

Out-of-range values lose their Flag membership and revert to int.

>>> from enum import Flag, EJECT, auto
>>> class EjectFlag(Flag, boundary=EJECT):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> EjectFlag(2**2 + 2**4)
20

KEEP

Out-of-range values are kept, and the Flag membership is kept. This is the default for IntFlag:

>>> from enum import Flag, KEEP, auto
>>> class KeepFlag(Flag, boundary=KEEP):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...
>>> KeepFlag(2**2 + 2**4)
<KeepFlag.BLUE|16: 20>

Adicionado na versão 3.11.

Nomes __dunder__ suportados

__members__ is a read-only ordered mapping of member_name:member items. It is only available on the class.

__new__(), if specified, must create and return the enum members; it is also a very good idea to set the member’s _value_ appropriately. Once all the members are created it is no longer used.

Nomes _sunder_ suportados

_add_alias_() – adds a new name as an alias to an existing member.

_add_value_alias_() – adds a new value as an alias to an existing member.

_name_ – name of the member

_value_ – value of the member; can be set in __new__

_missing_() – a lookup function used when a value is not found; may be overridden

_ignore_ – a list of names, either as a list or a str, that will not be transformed into members, and will be removed from the final class

_order_ – no longer used, kept for backward compatibility (class attribute, removed during class creation)

_generate_next_value_() – used to get an appropriate value for an enum member; may be overridden

Nota

For standard Enum classes the next value chosen is the highest value seen incremented by one.

For Flag classes the next value chosen will be the next highest power-of-two.

While _sunder_ names are generally reserved for the further development of the Enum class and can not be used, some are explicitly allowed:

_repr_* (e.g. _repr_html_), as used in IPython’s rich display [https://ipython.readthedocs.io/en/stable/config/integrating.html#rich-display]

Adicionado na versão 3.6: _missing_, _order_, _generate_next_value_

Adicionado na versão 3.7: _ignore_

Adicionado na versão 3.13: _add_alias_, _add_value_alias_, _repr_*

Utilities and Decorators

class enum.auto

auto can be used in place of a value. If used, the Enum machinery will call an Enum’s _generate_next_value_() to get an appropriate value. For Enum and IntEnum that appropriate value will be the last value plus one; for Flag and IntFlag it will be the first power-of-two greater than the highest value; for StrEnum it will be the lower-cased version of the member’s name. Care must be taken if mixing auto() with manually specified values.

auto instances are only resolved when at the top level of an assignment:

FIRST = auto() will work (auto() is replaced with 1);

SECOND = auto(), -2 will work (auto is replaced with 2, so 2, -2 is used to create the SECOND enum member;

THREE = [auto(), -3] will not work (<auto instance>, -3 is used to create the THREE enum member)

Alterado na versão 3.11.1: In prior versions, auto() had to be the only thing on the assignment line to work properly.

_generate_next_value_ can be overridden to customize the values used by auto.

Nota

in 3.13 the default _generate_next_value_ will always return the highest member value incremented by 1, and will fail if any member is an incompatible type.

@enum.property

A decorator similar to the built-in property, but specifically for enumerations. It allows member attributes to have the same names as members themselves.

Nota

the property and the member must be defined in separate classes; for example, the value and name attributes are defined in the Enum class, and Enum subclasses can define members with the names value and name.

Adicionado na versão 3.11.

@enum.unique

A class decorator specifically for enumerations. It searches an enumeration’s __members__, gathering any aliases it finds; if any are found ValueError is raised with the details:

>>> from enum import Enum, unique
>>> @unique
... class Mistake(Enum):
...     ONE = 1
...     TWO = 2
...     THREE = 3
...     FOUR = 3
...
Traceback (most recent call last):
...
ValueError: duplicate values found in <enum 'Mistake'>: FOUR -> THREE

@enum.verify

A class decorator specifically for enumerations. Members from EnumCheck are used to specify which constraints should be checked on the decorated enumeration.

Adicionado na versão 3.11.

@enum.member

A decorator for use in enums: its target will become a member.

Adicionado na versão 3.11.

@enum.nonmember

A decorator for use in enums: its target will not become a member.

Adicionado na versão 3.11.

@enum.global_enum

A decorator to change the str() and repr() of an enum to show its members as belonging to the module instead of its class. Should only be used when the enum members are exported to the module global namespace (see re.RegexFlag for an example).

Adicionado na versão 3.11.

enum.show_flag_values(value)

Return a list of all power-of-two integers contained in a flag value.

Adicionado na versão 3.11.

Notas

IntEnum, StrEnum, and IntFlag

These three enum types are designed to be drop-in replacements for existing integer- and string-based values; as such, they have extra limitations:

__str__ uses the value and not the name of the enum member

__format__, because it uses __str__, will also use the value of the enum member instead of its name

If you do not need/want those limitations, you can either create your own base class by mixing in the int or str type yourself:

>>> from enum import Enum
>>> class MyIntEnum(int, Enum):
...     pass

or you can reassign the appropriate str(), etc., in your enum:

>>> from enum import Enum, IntEnum
>>> class MyIntEnum(IntEnum):
...     __str__ = Enum.__str__

graphlib — Funcionalidade para operar com estruturas do tipo grafo

Código-fonte: Lib/graphlib.py [https://github.com/python/cpython/tree/3.13/Lib/graphlib.py]

class graphlib.TopologicalSorter(graph=None)

Fornece funcionalidade para classificar topologicamente um grafo de nós hasheáveis.

Uma ordem topológica é uma ordenação linear dos vértices em um grafo, de modo que para cada aresta direcionada u -> v do vértice u ao vértice v, o vértice u vem antes do vértice v na ordenação. Por exemplo, os vértices do grafo podem representar tarefas a serem executadas e as arestas podem representar restrições de que uma tarefa deve ser executada antes de outra; neste exemplo, uma ordem topológica é apenas uma sequência válida para as tarefas. Uma ordenação topológica completa é possível se e somente se o grafo não tiver ciclos direcionados, ou seja, se for um grafo acíclico direcionado.

Se o argumento opcional graph for fornecido, ele deverá ser um dicionário que represente um grafo acíclico direcionado no qual as chaves sejam nós e os valores sejam iteráveis de todos os predecessores desse nó no grafo (os nós que possuem bordas que apontam para o valor na chave). Nós adicionais podem ser adicionados ao grafo usando o método add().

No caso geral, as etapas necessárias para executar a classificação de um determinado grafo são as seguintes:

Cria uma instância da classe TopologicalSorter com um grafo inicial opcional.

Adiciona nós adicionais ao grafo.

Chama o método prepare() no grafo.

Enquanto is_active() é True, itera pelos nós retornados por get_ready() e os processa. Chama done() em cada nó na medida em que finaliza o processamento.

Caso apenas uma classificação imediata dos nós no grafo seja necessária e nenhum paralelismo esteja envolvido, o método de conveniência TopologicalSorter.static_order() pode ser usado diretamente:

>>> graph = {"D": {"B", "C"}, "C": {"A"}, "B": {"A"}}
>>> ts = TopologicalSorter(graph)
>>> tuple(ts.static_order())
('A', 'C', 'B', 'D')

A classe foi projetada para suportar facilmente o processamento paralelo dos nós à medida que eles se tornam prontos. Por exemplo:

topological_sorter = TopologicalSorter()

# Add nodes to 'topological_sorter'...

topological_sorter.prepare()
while topological_sorter.is_active():
    for node in topological_sorter.get_ready():
        # Worker threads or processes take nodes to work on off the
        # 'task_queue' queue.
        task_queue.put(node)

    # When the work for a node is done, workers put the node in
    # 'finalized_tasks_queue' so we can get more nodes to work on.
    # The definition of 'is_active()' guarantees that, at this point, at
    # least one node has been placed on 'task_queue' that hasn't yet
    # been passed to 'done()', so this blocking 'get()' must (eventually)
    # succeed.  After calling 'done()', we loop back to call 'get_ready()'
    # again, so put newly freed nodes on 'task_queue' as soon as
    # logically possible.
    node = finalized_tasks_queue.get()
    topological_sorter.done(node)

add(node, *predecessors)

Adiciona um novo nó e seus predecessores ao grafo. O node e todos os elementos em predecessors devem ser hasheáveis.

Se chamado várias vezes com o mesmo argumento do nó, o conjunto de dependências será a união de todas as dependências transmitidas.

É possível adicionar um nó sem dependências (predecessors não são fornecidos) ou fornecer uma dependência duas vezes. Se um nó que não foi fornecido anteriormente for incluído entre os predecessors, ele será automaticamente adicionado ao grafo sem predecessores próprios.

Levanta ValueError se chamado após prepare().

prepare()

Marca o grafo como concluído e verifica os ciclos no grafo. Se qualquer ciclo for detectado, CycleError será gerado, mas get_ready() ainda poderá ser usado para obter o maior número possível de nós até que os ciclos bloqueiem mais progressos. Após uma chamada para esta função, o grafo não pode ser modificado e, portanto, nenhum nó pode ser adicionado usando add().

is_active()

Retorna True se mais progresso puder ser feito e False caso contrário. É possível progredir se os ciclos não bloquearem a resolução e ainda houver nós prontos que ainda não foram retornados por TopologicalSorter.get_ready() ou o número de nós marcados TopologicalSorter.done() é menor que o número retornado por TopologicalSorter.get_ready().

O método __bool__() desta classe adia para essa função, então, em vez de:

if ts.is_active():
    ...

é possível simplesmente fazer:

if ts:
    ...

Levanta ValueError se chamado sem chamar prepare() anteriormente.

done(*nodes)

Marca um conjunto de nós retornados por TopologicalSorter.get_ready() como processado, desbloqueando qualquer sucessor de cada nó em nodes para ser retornado no futuro por uma chamada para TopologicalSorter.get_ready().

Levanta ValueError se algum nó em nodes já foi marcado como processado por uma chamada anterior a este método ou se um nó não foi adicionado ao grafo usando TopologicalSorter.add(), se chamado sem chamar prepare() ou se o nó ainda não foi retornado por get_ready().

get_ready()

Retorna uma tupla com todos os nós que estão prontos. Inicialmente, ele retorna todos os nós sem predecessores e, uma vez marcados como processados, chamando TopologicalSorter.done(), novas chamadas retornarão todos os novos nós que já tenham seus antecessores já processados. Quando não for possível fazer mais progresso, as tuplas vazias serão retornadas.

Levanta ValueError se chamado sem chamar prepare() anteriormente.

static_order()

Retorna um objeto iterador que irá iterar sobre os nós em uma ordem topológica. Ao usar este método, prepare() e done() não devem ser chamados. Este método é equivalente a:

def static_order(self):
    self.prepare()
    while self.is_active():
        node_group = self.get_ready()
        yield from node_group
        self.done(*node_group)

A ordem específica retornada pode depender da ordem específica em que os itens foram inseridos no grafo. Por exemplo:

>>> ts = TopologicalSorter()
>>> ts.add(3, 2, 1)
>>> ts.add(1, 0)
>>> print([*ts.static_order()])
[2, 0, 1, 3]

>>> ts2 = TopologicalSorter()
>>> ts2.add(1, 0)
>>> ts2.add(3, 2, 1)
>>> print([*ts2.static_order()])
[0, 2, 1, 3]

Isso se deve ao fato de que “0” e “2” estão no mesmo nível no grafo (eles teriam sido retornados na mesma chamada para get_ready()) e a ordem entre eles é determinada pela ordem de inserção.

Se qualquer ciclo for detectado, CycleError será levantada.

Adicionado na versão 3.9.

Exceções

O módulo graphlib define as seguintes classes de exceção:

exception graphlib.CycleError

Subclasse de ValueError levantada por TopologicalSorter.prepare() se houver ciclos no grafo de trabalho. Se existirem vários ciclos, apenas uma opção indefinida entre eles será relatada e incluída na exceção.

O ciclo detectado pode ser acessado através do segundo elemento no atributo args da instância de exceção e consiste em uma lista de nós, de modo que cada nó seja, no grafo, um predecessor imediato do próximo nó na lista. Na lista relatada, o primeiro e o último nó serão os mesmos, para deixar claro que é cíclico.

Módulos Matemáticos e Numéricos

Os módulos descritos neste capítulo fornecem funções e tipos de dados relacionados com o numérico e matemática. O módulo numbers define uma hierarquia abstrata de tipos numéricos. Os módulos math e cmath contêm várias funções matemáticas para números de ponto flutuante e números complexos. O módulo decimal suporta representações exatas de números decimais, usando aritmética de precisão arbitrária.

Os seguintes módulos estão documentados neste capítulo:

numbers — Classes base abstratas numéricas

Number

A torre numérica

Complex

real

imag

conjugate()

Real

Rational

numerator

denominator

Integral

Notas para implementadores de tipos

Adicionando mais ABCs numéricas

Implementando as operações aritméticas

math — Funções matemáticas

Funções de teoria dos números e de representação

ceil()

comb()

copysign()

fabs()

factorial()

floor()

fma()

fmod()

frexp()

fsum()

gcd()

isclose()

isfinite()

isinf()

isnan()

isqrt()

lcm()

ldexp()

modf()

nextafter()

perm()

prod()

remainder()

sumprod()

trunc()

ulp()

Funções de potência e logarítmicas

cbrt()

exp()

exp2()

expm1()

log()

log1p()

log2()

log10()

pow()

sqrt()

Funções trigonométricas

acos()

asin()

atan()

atan2()

cos()

dist()

hypot()

sin()

tan()

Conversão angular

degrees()

radians()

Funções hiperbólicas

acosh()

asinh()

atanh()

cosh()

sinh()

tanh()

Funções especiais

erf()

erfc()

gamma()

lgamma()

Constantes

pi

e

tau

inf

nan

cmath — Funções matemáticas para números complexos

Conversões de e para coordenadas polares

phase()

polar()

rect()

Funções de potência e logarítmicas

exp()

log()

log10()

sqrt()

Funções trigonométricas

acos()

asin()

atan()

cos()

sin()

tan()

Funções hiperbólicas

acosh()

asinh()

atanh()

cosh()

sinh()

tanh()

Funções de classificação

isfinite()

isinf()

isnan()

isclose()

Constantes

pi

e

tau

inf

infj

nan

nanj

decimal — Aritmética de ponto fixo decimal e ponto flutuante

Tutorial de início rápido

Objetos de Decimal

Decimal

adjusted()

as_integer_ratio()

as_tuple()

canonical()

compare()

compare_signal()

compare_total()

compare_total_mag()

conjugate()

copy_abs()

copy_negate()

copy_sign()

exp()

from_float()

fma()

is_canonical()

is_finite()

is_infinite()

is_nan()

is_normal()

is_qnan()

is_signed()

is_snan()

is_subnormal()

is_zero()

ln()

log10()

logb()

logical_and()

logical_invert()

logical_or()

logical_xor()

max()

max_mag()

min()

min_mag()

next_minus()

next_plus()

next_toward()

normalize()

number_class()

quantize()

radix()

remainder_near()

rotate()

same_quantum()

scaleb()

shift()

sqrt()

to_eng_string()

to_integral()

to_integral_exact()

to_integral_value()

Operandos lógicos

Objetos de contexto

getcontext()

setcontext()

localcontext()

BasicContext

ExtendedContext

DefaultContext

Context

clear_flags()

clear_traps()

copy()

copy_decimal()

create_decimal()

create_decimal_from_float()

Etiny()

Etop()

abs()

add()

canonical()

compare()

compare_signal()

compare_total()

compare_total_mag()

copy_abs()

copy_negate()

copy_sign()

divide()

divide_int()

divmod()

exp()

fma()

is_canonical()

is_finite()

is_infinite()

is_nan()

is_normal()

is_qnan()

is_signed()

is_snan()

is_subnormal()

is_zero()

ln()

log10()

logb()

logical_and()

logical_invert()

logical_or()

logical_xor()

max()

max_mag()

min()

min_mag()

minus()

multiply()

next_minus()

next_plus()

next_toward()

normalize()

number_class()

plus()

power()

quantize()

radix()

remainder()

remainder_near()

rotate()

same_quantum()

scaleb()

shift()

sqrt()

subtract()

to_eng_string()

to_integral_exact()

to_sci_string()

Constantes

MAX_PREC

MAX_EMAX

MIN_EMIN

MIN_ETINY

HAVE_THREADS

HAVE_CONTEXTVAR

Modos de arredondamento

ROUND_CEILING

ROUND_DOWN

ROUND_FLOOR

ROUND_HALF_DOWN

ROUND_HALF_EVEN

ROUND_HALF_UP

ROUND_UP

ROUND_05UP

Sinais

Clamped

DecimalException

DivisionByZero

Inexact

InvalidOperation

Overflow

Rounded

Subnormal

Underflow

FloatOperation

Observações sobre ponto flutuante

Atenuando o erro de arredondamento com maior precisão

Valores especiais

Trabalhando com threads

Receitas

Perguntas frequentes sobre Decimal

fractions — Números racionais

Fraction

numerator

denominator

as_integer_ratio()

is_integer()

from_float()

from_decimal()

limit_denominator()

__floor__()

__ceil__()

__round__()

__format__()

random — Gera números pseudoaleatórios

Funções de contabilidade

seed()

getstate()

setstate()

Funções para bytes

randbytes()

Funções para inteiros

randrange()

randint()

getrandbits()

Funções para sequências

choice()

choices()

shuffle()

sample()

Distribuições discretas

binomialvariate()

Distribuições com valor real

random()

uniform()

triangular()

betavariate()

expovariate()

gammavariate()

gauss()

lognormvariate()

normalvariate()

vonmisesvariate()

paretovariate()

weibullvariate()

Gerador alternativo

Random

seed()

getstate()

setstate()

random()

getrandbits()

SystemRandom

Notas sobre reprodutibilidade

Exemplos

Receitas

Uso na linha de comando

Exemplos na linha de comando

statistics — Funções estatísticas

Médias e medidas de valor central

Medidas de espalhamento

Estatísticas para relações entre duas entradas

Detalhes das funções

mean()

fmean()

geometric_mean()

harmonic_mean()

kde()

kde_random()

median()

median_low()

median_high()

median_grouped()

mode()

multimode()

pstdev()

pvariance()

stdev()

variance()

quantiles()

covariance()

correlation()

linear_regression()

Exceções

StatisticsError

Objetos NormalDist

NormalDist

mean

median

mode

stdev

variance

from_samples()

samples()

pdf()

cdf()

inv_cdf()

overlap()

quantiles()

zscore()

Exemplos e receitas

Classic probability problems

Monte Carlo inputs for simulations

Approximating binomial distributions

Naive bayesian classifier

numbers — Classes base abstratas numéricas

Código-fonte: Lib/numbers.py [https://github.com/python/cpython/tree/3.13/Lib/numbers.py]

O módulo numbers (PEP 3141 [https://peps.python.org/pep-3141/]) define uma hierarquia de classes base abstratas que progressivamente definem mais operações. Nenhum dos tipos definidos neste módulo se destina a ser instanciado.

class numbers.Number

A raiz da hierarquia numérica. Se você quiser apenas verificar se um argumento x é um número, sem se importar com o tipo, use isinstance(x, Number).

A torre numérica

class numbers.Complex

As subclasses deste tipo descrevem números complexos e incluem as operações que funcionam no tipo embutido complex. Elas são: conversões para complex e bool, real, imag, +, -, *, /, **, abs(), conjugate(), == e !=. Todos exceto - e != são abstratos.

real

Abstrata. Obtém o componente real deste número.

imag

Abstrata. Obtém o componente imaginário deste número.

abstractmethod conjugate()

Abstrata. Retorna o conjugado complexo. Por exemplo, (1+3j).conjugate() == (1-3j).

class numbers.Real

Para Complex, Real adiciona as operações que funcionam em números reais.

Em suma, são: uma conversão para float, math.trunc(), round(), math.floor(), math.ceil(), divmod(), //, %, <, <=, > e >=.

Real também fornece padrão para complex(), real, imag e conjugate().

class numbers.Rational

Estende Real e adiciona as propriedades numerator e denominator. Ele fornece um padrão para float().

Os valores numerator e denominator devem ser instâncias de Integral e devem estar nos termos mais baixos com denominator positivo.

numerator

Abstrata.

denominator

Abstrata.

class numbers.Integral

Estende Rational e adiciona uma conversão para int. Fornece padrões para float(), numerator e denominator. Adiciona métodos abstratos para pow() com operações de módulo e de string de bits: <<, >>, &, ^, |, ~.

Notas para implementadores de tipos

Os implementadores devem ter o cuidado de tornar iguais números iguais e fazer hash deles com os mesmos valores. Isso pode ser sutil se houver duas extensões diferentes dos números reais. Por exemplo, fractions.Fraction implementa hash() desta forma:

def __hash__(self):
    if self.denominator == 1:
        # Get integers right.
        return hash(self.numerator)
    # Expensive check, but definitely correct.
    if self == float(self):
        return hash(float(self))
    else:
        # Use tuple's hash to avoid a high collision rate on
        # simple fractions.
        return hash((self.numerator, self.denominator))

Adicionando mais ABCs numéricas

Existem, é claro, mais ABCs possíveis para números, e isso seria uma hierarquia pobre se excluísse a possibilidade de adicioná-los. Você pode adicionar MyFoo entre Complex e Real com:

class MyFoo(Complex): ...
MyFoo.register(Real)

Implementando as operações aritméticas

Queremos implementar as operações aritméticas de forma que as operações de modo misto chamem uma implementação cujo autor conhecia os tipos de ambos os argumentos ou convertam ambos para o tipo embutido mais próximo e façam a operação lá. Para subtipos de Integral, isso significa que __add__() e __radd__() devem ser definidos com:

class MyIntegral(Integral):

    def __add__(self, other):
        if isinstance(other, MyIntegral):
            return do_my_adding_stuff(self, other)
        elif isinstance(other, OtherTypeIKnowAbout):
            return do_my_other_adding_stuff(self, other)
        else:
            return NotImplemented

    def __radd__(self, other):
        if isinstance(other, MyIntegral):
            return do_my_adding_stuff(other, self)
        elif isinstance(other, OtherTypeIKnowAbout):
            return do_my_other_adding_stuff(other, self)
        elif isinstance(other, Integral):
            return int(other) + int(self)
        elif isinstance(other, Real):
            return float(other) + float(self)
        elif isinstance(other, Complex):
            return complex(other) + complex(self)
        else:
            return NotImplemented

Existem 5 casos diferentes para uma operação de tipo misto em subclasses de Complex. Vou me referir a todo o código acima que não se refere a MyIntegral e OtherTypeIKnowAbout com um “modelo”. a será uma instância de A, que é um subtipo de Complex (a : A <: Complex) e b : B <: Complex. Vou considerar a + b:

Se A define um __add__(), que aceita b, está tudo bem.

Se A voltar ao código padrão e tivesse que retornar um valor de __add__(), perderíamos a possibilidade de que B definisse um __radd__() mais inteligente, então o código padrão deve retornar NotImplemented de __add__(). (Ou A pode não implementar __add__().)

Então, __radd__() do B consegue uma chance. Se ele aceitar a, está tudo bem.

Se ele recorrer ao padrão, não há mais métodos possíveis para tentar, então é aqui que a implementação padrão deve residir.

Se B <: A, Python tenta B.__radd__ antes de A.__add__. Isso está ok, porque foi implementado com conhecimento de A, então ele pode lidar com essas instâncias antes de delegar para Complex.

Se A <: Complex e B <: Real sem compartilhar nenhum outro conhecimento, então a operação compartilhada apropriada é aquela envolvendo a complex embutida, e __radd__() de ambos chegam lá, de forma que a+b == b+a.

Como a maioria das operações em qualquer tipo será muito semelhante, pode ser útil definir uma função auxiliar que gera as instâncias de avanço e reversão de qualquer operador. Por exemplo, fractions.Fraction usa:

def _operator_fallbacks(monomorphic_operator, fallback_operator):
    def forward(a, b):
        if isinstance(b, (int, Fraction)):
            return monomorphic_operator(a, b)
        elif isinstance(b, float):
            return fallback_operator(float(a), b)
        elif isinstance(b, complex):
            return fallback_operator(complex(a), b)
        else:
            return NotImplemented
    forward.__name__ = '__' + fallback_operator.__name__ + '__'
    forward.__doc__ = monomorphic_operator.__doc__

    def reverse(b, a):
        if isinstance(a, Rational):
            # Includes ints.
            return monomorphic_operator(a, b)
        elif isinstance(a, Real):
            return fallback_operator(float(a), float(b))
        elif isinstance(a, Complex):
            return fallback_operator(complex(a), complex(b))
        else:
            return NotImplemented
    reverse.__name__ = '__r' + fallback_operator.__name__ + '__'
    reverse.__doc__ = monomorphic_operator.__doc__

    return forward, reverse

def _add(a, b):
    """a + b"""
    return Fraction(a.numerator * b.denominator +
                    b.numerator * a.denominator,
                    a.denominator * b.denominator)

__add__, __radd__ = _operator_fallbacks(_add, operator.add)

# ...

math — Funções matemáticas

Este módulo fornece acesso às funções matemáticas definidas pelo padrão C.

Essas funções não podem ser usadas com números complexos; use as funções de mesmo nome do módulo cmath se você precisar de suporte para números complexos. A distinção entre funções que suportam números complexos e aquelas que não suportam é feita uma vez que a maioria dos usuários não quer aprender a matemática necessária para entender números complexos. Receber uma exceção em vez de um resultado complexo permite a detecção antecipada do número complexo inesperado usado como parâmetro, para que o programador possa determinar como e por que ele foi gerado em primeiro lugar.

As funções a seguir são fornecidas por este módulo. Exceto quando explicitamente indicado de outra forma, todos os valores de retorno são pontos flutuantes.

Funções de teoria dos números e de representação

math.ceil(x)

Retorna o teto de x, o menor inteiro maior ou igual que x. Se x não é um float, delega para x.__ceil__, que deve retornar um valor do tipo Integral.

math.comb(n, k)

Retorna o número de maneiras de escolher k itens de n itens sem repetição e sem ordem.

Avalia para n! / (k! * (n - k)!) quando k <= n e avalia para zero quando k > n.

Também conhecido como coeficiente binomial pois é equivalente ao coeficiente do k-ésimo termo na expansão polionomial (1 + x)ⁿ

Levanta TypeError se algum dos argumentos não for inteiro. Levanta ValueError se algum dos argumentos for negativo.

Adicionado na versão 3.8.

math.copysign(x, y)

Retorna um ponto flutuante com a magnitude (valor absoluto) de x, mas o sinal de y. Em plataformas que suportam zeros com sinal, copysign(1.0, -0.0) retorna -1.0.

math.fabs(x)

Retorna o valor absoluto de x.

math.factorial(n)

Retorna o fatorial de n como um inteiro. Levanta ValueError se n não for um inteiro ou for negativo.

Alterado na versão 3.10: Números de ponto flutuate com valor integral (como 5.0) não são mais aceitos.

math.floor(x)

Retorna o chão de x, o maior inteiro menor ou igual a x. Se x não é um ponto flutuante, delega para x.__floor__, que deve retornar um valor do tipo Integral

math.fma(x, y, z)

Operação de multiplicação-adição combinada. Retorna (x * y) + z, calculado de forma a obter o mesmo resultado que seria obtido se o cálculo desfrutasse de precisão e limites infinitos, seguido de um único arredondamento para o formato float. Esta operação frequentemente oferece acurácia melhor do que a expressão direta (x * y) + z ofereceria.

Esta função segue a especificação da operação fusedMultiplyAdd descrita no padrão IEEE 754. O padrão deixa um caso a ser definido pela implementação, que são os resultados de fma(0, inf, nan) e fma(inf, 0, nan). Nestes casos, math.fma retorna NaN, e não levanta nenhuma exceção.

Adicionado na versão 3.13.

math.fmod(x, y)

Retorna fmod(x, y), conforme definido pela biblioteca C da plataforma. Observe que a expressão Python x % y pode não retornar o mesmo resultado. A intenção do padrão C é que fmod(x, y) seja exatamente (matematicamente; com precisão infinita) igual a x - n*y para algum inteiro n de modo que o resultado tenha o mesmo sinal que x e magnitude menor que abs(y). O x % y do Python retorna um resultado com o sinal de y, e pode não ser exatamente computável para argumentos de ponto flutuante. Por exemplo, fmod(-1e-100, 1e100) é -1e-100, mas o resultado de -1e-100 % 1e100 do Python é 1e100-1e-100, que não pode ser representado exatamente como um ponto flutuante, e é arredondado para o surpreendente 1e100. Por esta razão, a função fmod() é geralmente preferida ao trabalhar com pontos flutuantes, enquanto o x % y do Python é preferido ao trabalhar com inteiros.

math.frexp(x)

Retorna a mantissa e o expoente de x como o par (m, e). m é um ponto flutuante e e é um inteiro tal que x == m * 2**e exatamente. Se x for zero, retorna (0.0, 0), caso contrário, 0.5 <= abs(m) < 1. Isso é usado para “separar” a representação interna de um ponto flutuante de forma portátil.

math.fsum(iterable)

Retorna uma soma precisa dos valores de ponto flutuante no iterável. Evita perda de precisão rastreando várias somas parciais intermediárias.

A precisão do algoritmo depende das garantias aritméticas do IEEE-754 e do caso típico em que o modo de arredondamento é meio par. Em algumas compilações que não são do Windows, a biblioteca C subjacente usa adição de precisão estendida e pode ocasionalmente arredondar uma soma intermediária fazendo com que ela introduza um erro no bit menos significativo.

Para uma discussão mais aprofundada e duas abordagens alternativas, consulte o ASPN cookbook recipes for accurate floating point summation [https://code.activestate.com/recipes/393090-binary-floating-point-summation-accurate-to-full-p/].

math.gcd(*integers)

Retorna o maior divisor comum dos argumentos inteiros especificados. Se algum dos argumentos for diferente de zero, o valor retornado será o maior inteiro positivo que é um divisor de todos os argumentos. Se todos os argumentos forem zero, o valor retornado será 0. gcd() sem argumentos retorna 0.

Adicionado na versão 3.5.

Alterado na versão 3.9: Adicionado suporte para um número arbitrário de argumentos. Anteriormente, apenas dois argumentos eram suportados.

math.isclose(a, b, *, rel_tol=1e-09, abs_tol=0.0)

Retorna True se os valores a e b estiverem próximos e False caso contrário.

Se dois valores são ou não considerados próximos, é determinado de acordo com as tolerâncias absolutas e relativas fornecidas.

rel_tol é a tolerância relativa – é a diferença máxima permitida entre a e b, em relação ao maior valor absoluto de a ou b. Por exemplo, para definir uma tolerância de 5%, passe rel_tol=0.05. A tolerância padrão é 1e-09, o que garante que os dois valores sejam iguais em cerca de 9 dígitos decimais. rel_tol deve ser maior que zero.

abs_tol é a tolerância absoluta mínima – útil para comparações próximas a zero. abs_tol deve ser pelo menos zero.

Se nenhum erro ocorrer, o resultado será: abs(a-b) <= max(rel_tol * max(abs(a), abs(b)), abs_tol).

Os valores especiais do IEEE 754 de NaN, inf e -inf serão tratados de acordo com as regras do IEEE. Especificamente, NaN não é considerado próximo a qualquer outro valor, incluindo NaN. inf e -inf são considerados apenas próximos a si mesmos.

Adicionado na versão 3.5.

Ver também

PEP 485 [https://peps.python.org/pep-0485/] – Uma função para testar igualdade aproximada

math.isfinite(x)

Retorna True se x não for um infinito nem um NaN, e False caso contrário. (Observe que 0.0 é considerado finito.)

Adicionado na versão 3.2.

math.isinf(x)

Retorna True se x for um infinito positivo ou negativo, e False caso contrário.

math.isnan(x)

Retorna True se x for um NaN (não um número), e False caso contrário.

math.isqrt(n)

Retorna a raiz quadrada inteira do inteiro não negativo n. Este é o piso da raiz quadrada exata de n, ou equivalentemente o maior inteiro a tal que a² ≤ n.

Para algumas aplicações, pode ser mais conveniente ter o menor número inteiro a tal que n ≤ a² ou, em outras palavras, o teto da raiz quadrada exata de n. Para n positivo, isso pode ser calculado usando a = 1 + isqrt(n - 1).

Adicionado na versão 3.8.

math.lcm(*integers)

Retorna o mínimo múltiplo comum dos argumentos inteiros especificados. Se todos os argumentos forem diferentes de zero, o valor retornado será o menor inteiro positivo que é um múltiplo de todos os argumentos. Se algum dos argumentos for zero, o valor retornado será 0. lcm() sem argumentos retorna 1.

Adicionado na versão 3.9.

math.ldexp(x, i)

Retorna x * (2**i). Este é essencialmente o inverso da função frexp().

math.modf(x)

Retorna as partes fracionárias e inteiras de x. Ambos os resultados carregam o sinal de x e são pontos flutuantes.

math.nextafter(x, y, steps=1)

Retorna o valor de ponto flutuante com steps passos após x em direção a y.

Se x for igual a y, retorna y, a menos que steps seja zero.

Exemplos:

math.nextafter(x, math.inf) sobe: em direção ao infinito positivo.

math.nextafter(x, -math.inf) desce: em direção ao menos infinito.

math.nextafter(x, 0.0) vai em direção a zero.

math.nextafter(x, math.copysign(math.inf, x)) se afasta do zero.

Veja também math.ulp.()

Adicionado na versão 3.9.

Alterado na versão 3.12: Adicionado o argumento steps.

math.perm(n, k=None)

Retorna o número de maneiras de escolher k itens de n itens sem repetição e com ordem.

Avalia para n! / (n - k)! quando k <= n e avalia para zero quando k > n.

Se k não for especificado ou for None, k usará o padrão n e a função retornará n!.

Levanta TypeError se algum dos argumentos não for inteiro. Levanta ValueError se algum dos argumentos for negativo.

Adicionado na versão 3.8.

math.prod(iterable, *, start=1)

Calcula o produto de todos os elementos na entrada iterable. O valor start padrão para o produto é 1.

Quando o iterável estiver vazio, retorna o valor de start. Esta função deve ser usada especificamente com valores numéricos e pode rejeitar tipos não numéricos.

Adicionado na versão 3.8.

math.remainder(x, y)

Retorna o resto no estilo IEEE 754 de x em relação a y. Para o finito x e o finito diferente de zero y, esta é a diferença x - n*y, onde n é o número inteiro mais próximo do valor exato do quociente x / y . Se x / y está exatamente no meio do caminho entre dois inteiros consecutivos, o inteiro par mais próximo é usado para n. O resto r = remainder(x, y) assim sempre satisfaz abs(r) <= 0.5 * abs(y).

Casos especiais seguem IEEE 754: em particular, remainder(x, math.inf) é x para qualquer x finito, e remainder(x, 0) e remainder(math.inf, x) levantam ValueError para qualquer x não NaN. Se o resultado da operação remainder for zero, esse zero terá o mesmo sinal de x.

Em plataformas que usam ponto flutuante binário do IEEE 754, o resultado dessa operação é sempre exatamente representável: nenhum erro de arredondamento é introduzido.

Adicionado na versão 3.7.

math.sumprod(p, q)

Retorna a soma dos produtos dos valores de dois iteráveis p e q.

Levanta ValueError se as entradas não tiverem o mesmo comprimento.

Aproximadamente equivalente a:

sum(itertools.starmap(operator.mul, zip(p, q, strict=True)))

Para entradas float e mistas int/float, os produtos intermediários e as somas são calculados com precisão estendida.

Adicionado na versão 3.12.

math.trunc(x)

Retorna x com a parte fracionária removida, deixando a parte inteira. Isso arredonda para 0: trunc() é equivalente a floor() para x positivos, e equivalentes a ceil() para x negativos. Se x não é um ponto flutuante, então delega para x.__trunc__, cujo qual deve retornar um valor do tipo Integral.

math.ulp(x)

Retorna o valor do bit menos significativo do ponto flutuante x:

Se x for um NaN (não um número), retorna x.

Se x for negativo, retorna ulp(-x).

Se x for um infinito positivo, retorna x.

Se x for igual a zero, retorna o menor valor flutuante positivo desnormalizado representável (menor que o ponto flutuante de valor mínimo positivo normalizado, sys.float_info.min).

Se x for igual ao maior ponto flutuante positivo representável, retorna o valor do bit menos significativo de x, tal que o primeiro ponto flutuante menor que x seja x - ulp(x).

Caso contrário (x é um número finito positivo), retorna o valor do bit menos significativo de x, de modo que o primeiro ponto flutuante maior que x seja x + ulp(x).

ULP significa “Unit in the Last Place” ou, em português, unidade na última posição.

Veja também math.nextafter() e sys.float_info.epsilon.

Adicionado na versão 3.9.

Observe que frexp() e modf() têm um padrão de chamada/retorno diferente de seus equivalentes C: elas pegam um único argumento e retornam um par de valores, ao invés de retornar seu segundo valor de retorno por meio de um “parâmetro de saída” (não existe tal coisa em Python).

Para as funções ceil(), floor() e modf(), observe que todos os números de ponto flutuante de magnitude suficientemente grande são inteiros exatos. Os pontos flutuantes do Python normalmente não carregam mais do que 53 bits de precisão (o mesmo que o tipo duplo da plataforma C), caso em que qualquer ponto flutuante x com abs(x) >= 2**52 necessariamente não tem bits fracionários.

Funções de potência e logarítmicas

math.cbrt(x)

Retorna a raiz cúbica de x.

Adicionado na versão 3.11.

math.exp(x)

Retorna e elevado à potência x, onde e = 2.718281… é a base dos logaritmos naturais. Isso geralmente é mais preciso do que math.e ** x ou pow(math.e, x).

math.exp2(x)

Retorna 2 elevado a x

Adicionado na versão 3.11.

math.expm1(x)

Retorna e elevado à potência x, menos 1. Aqui e é a base dos logaritmos naturais. Para pequenos pontos flutuantes x, a subtração em exp(x) - 1 pode resultar em uma perda significativa de precisão [https://en.wikipedia.org/wiki/Loss_of_significance]; a função expm1() fornece uma maneira de calcular essa quantidade com precisão total:

>>> from math import exp, expm1
>>> exp(1e-5) - 1  # gives result accurate to 11 places
1.0000050000069649e-05
>>> expm1(1e-5)    # result accurate to full precision
1.0000050000166668e-05

Adicionado na versão 3.2.

math.log(x[, base])

Com um argumento, retorna o logaritmo natural de x (para base e).

Com dois argumentos, retorna o logaritmo de x para a base fornecida, calculada como log(x)/log(base).

math.log1p(x)

Retorna o logaritmo natural de 1+x (base e). O resultado é calculado de forma precisa para x próximo a zero.

math.log2(x)

Retorna o logaritmo de base 2 de x. Isso geralmente é mais preciso do que log(x, 2).

Adicionado na versão 3.3.

Ver também

int.bit_length() retorna o número de bits necessários para representar um inteiro em binário, excluindo o sinal e os zeros à esquerda.

math.log10(x)

Retorna o logaritmo de base 10 de x. Isso geralmente é mais preciso do que log(x, 10).

math.pow(x, y)

Retorna x elevado a potência de y. Exceções seguem o padrão IEEE 754 o máximo possível. pow(1.0, x) e pow(x, 0.0) em particular sempre retornam 1.0, mesmo quando x é ZERO ou NaN. Se ambos x e y são números finitos, x é negativo, e y não é um inteiro então pow(x, y) é indefinido e levanta ValueError.

Ao contrário do operador embutido **, math.pow() converte ambos os seus argumentos para o tipo float. Use ** ou a função embutida pow() para calcular potências inteiras exatas.

Alterado na versão 3.11: Os casos especiais pow(0.0, -inf) e pow(-0.0, -inf) foram alterados para retornar inf ao invés de retornarem ValueError, para ter consistencia com a IEEE 754.

math.sqrt(x)

Retorna a raiz quadrada de x.

Funções trigonométricas

math.acos(x)

Retorna o arco cosseno de x, em radianos. O resultado está entre 0 e pi.

math.asin(x)

Retorna o arco seno de x, em radianos. O resultado está entre -pi/2 e pi/2.

math.atan(x)

Retorna o arco tangente de x, em radianos. O resultado está entre -pi/2 e pi/2.

math.atan2(y, x)

Retorna atan(y / x), em radianos. O resultado está entre -pi e pi. O vetor no plano da origem ao ponto (x, y) faz este ângulo com o eixo X positivo. O ponto de atan2() é que os sinais de ambas as entradas são conhecidos por ele, então ele pode calcular o quadrante correto para o ângulo. Por exemplo, atan(1) e atan2(1, 1) são ambos pi/4, mas atan2(-1, -1) é -3*pi/4.

math.cos(x)

Retorna o cosseno de x radianos.

math.dist(p, q)

Retorna a distância euclidiana entre dois pontos p e q, cada um dado como uma sequência (ou iterável) de coordenadas. Os dois pontos devem ter a mesma dimensão.

Aproximadamente equivalente a:

sqrt(sum((px - qx) ** 2.0 for px, qx in zip(p, q)))

Adicionado na versão 3.8.

math.hypot(*coordinates)

Retorna a norma euclidiana, sqrt(sum(x**2 for x in coordinates)). Este é o comprimento do vetor da origem até o ponto dado pelas coordenadas.

Para um ponto bidimensional (x, y), isso é equivalente a calcular a hipotenusa de um triângulo retângulo usando o teorema de Pitágoras, sqrt(x*x + y*y).

Alterado na versão 3.8: Adicionado suporte para pontos n-dimensionais. Anteriormente, apenas o caso bidimensional era suportado.

Alterado na versão 3.10: Melhorou a precisão do algoritmo para que o erro máximo seja inferior a 1 ulp (unidade no último lugar). Mais tipicamente, o resultado é quase sempre arredondado corretamente para 1/2 ulp.

math.sin(x)

Retorna o seno de x radianos.

math.tan(x)

Retorna o tangente de x radianos.

Conversão angular

math.degrees(x)

Converte o ângulo x de radianos para graus.

math.radians(x)

Converte o ângulo x de graus para radianos.

Funções hiperbólicas

Funções hiperbólicas [https://en.wikipedia.org/wiki/Hyperbolic_functions] são análogas às funções trigonométricas baseadas em hipérboles em vez de círculos.

math.acosh(x)

Retorna o cosseno hiperbólico inverso de x.

math.asinh(x)

Retorna o seno hiperbólico inverso de x.

math.atanh(x)

Retorna a tangente hiperbólica inversa de x.

math.cosh(x)

Retorna o cosseno hiperbólico de x.

math.sinh(x)

Retorna o seno hiperbólico de x.

math.tanh(x)

Retorna a tangente hiperbólica de x.

Funções especiais

math.erf(x)

Retorna a função erro [https://pt.wikipedia.org/wiki/Função_erro] em x.

A função erf() pode ser usada para calcular funções estatísticas tradicionais, como a distribuição normal padrão cumulativa [https://en.wikipedia.org/wiki/Cumulative_distribution_function]:

def phi(x):
    'Cumulative distribution function for the standard normal distribution'
    return (1.0 + erf(x / sqrt(2.0))) / 2.0

Adicionado na versão 3.2.

math.erfc(x)

Retorna a função erro complementar em x. A função erro complementar [https://en.wikipedia.org/wiki/Error_function] é definida como 1.0 - erf(x). É usado para grandes valores de x onde uma subtração de um causaria uma perda de significância [https://en.wikipedia.org/wiki/Loss_of_significance].

Adicionado na versão 3.2.

math.gamma(x)

Retorna a função gama [https://pt.wikipedia.org/wiki/Função_gama] em x.

Adicionado na versão 3.2.

math.lgamma(x)

Retorna o logaritmo natural do valor absoluto da função gama em x.

Adicionado na versão 3.2.

Constantes

math.pi

A constante matemática π = 3.141592…, para a precisão disponível.

math.e

A constante matemática e = 2.718281…, para a precisão disponível.

math.tau

A constante matemática τ = 6.283185…, para a precisão disponível. Tau é uma constante de círculo igual a 2π, a razão entre a circunferência de um círculo e seu raio. Para saber mais sobre Tau, confira o vídeo Pi is (still) Wrong [https://www.youtube.com/watch?v=jG7vhMMXagQ] de Vi Hart, e comece a comemorar o dia do Tau [https://tauday.com/] comendo duas vezes mais torta!

Adicionado na versão 3.6.

math.inf

Um infinito positivo de ponto flutuante. (Para infinito negativo, use -math.inf.) Equivalente à saída de float('inf').

Adicionado na versão 3.5.

math.nan

Um valor de ponto flutuante “não é um número” (NaN). Equivalente à saída de float('nan'). Devido aos requisitos do padrão IEEE-754 [https://en.wikipedia.org/wiki/IEEE_754], math.nan e float('nan') não são considerados para ser igual a qualquer outro valor numérico, incluindo eles próprios. Para verificar se um número é NaN, use a função isnan() para testar NaNs em vez de is ou ==. Exemplo:

>>> import math
>>> math.nan == math.nan
False
>>> float('nan') == float('nan')
False
>>> math.isnan(math.nan)
True
>>> math.isnan(float('nan'))
True

Adicionado na versão 3.5.

Alterado na versão 3.11: Agora está sempre disponível

Detalhes da implementação do CPython: O módulo math consiste principalmente em invólucros finos em torno das funções da biblioteca matemática C da plataforma. O comportamento em casos excepcionais segue o Anexo F da norma C99 quando apropriado. A implementação atual levantará ValueError para operações inválidas como sqrt(-1.0) ou log(0.0) (onde C99 Anexo F recomenda sinalizar operação inválida ou divisão por zero), e OverflowError para resultados que estouram (por exemplo, exp(1000.0)). Um NaN não será retornado de nenhuma das funções acima, a menos que um ou mais dos argumentos de entrada sejam um NaN; nesse caso, a maioria das funções retornará um NaN, mas (novamente seguindo C99 Anexo F) há algumas exceções a esta regra, por exemplo, pow(float('nan'), 0.0) ou hypot(float('nan'), float('inf')).

Observe que o Python não faz nenhum esforço para distinguir NaNs de sinalização de NaNs silenciosos, e o comportamento para NaNs de sinalização permanece não especificado. O comportamento típico é tratar todos os NaNs como se estivessem quietos.

Ver também

Módulo cmath

Versões de números complexos de muitas dessas funções.

cmath — Funções matemáticas para números complexos

Este módulo fornece acesso a funções matemáticas para números complexos. As funções neste módulo aceitam inteiros, números de ponto flutuante ou números complexos como argumentos. Eles também aceitarão qualquer objeto Python que tenha um método __complex__() ou __float__(): esses métodos são usados ​​para converter o objeto em um número complexo ou de ponto flutuante, respectivamente, e a função é então aplicada ao resultado da conversão.

Nota

Para funções que envolvem cortes de ramificação, temos o problema de decidir como definir essas funções no próprio corte. Seguindo o artigo de Kahan intitulado “Branch cuts for complex elementary functions” (em tradução livre, “Cortes de ramificação para funções complexas elementares”), bem como o Anexo G do C99 e padrões C posteriores, usamos o sinal de zero para distinguir um lado do outro no corte de ramificação: para um corte de ramificação ao longo (de uma porção) do eixo real olhamos para o sinal da parte imaginária, enquanto para um corte de ramificação ao longo do eixo imaginário olhamos para o sinal da parte real.

Por exemplo, a função cmath.sqrt() tem um corte de ramificação ao longo do eixo real negativo. Um argumento de complex(-2.0, -0.0) é tratado como se estivesse abaixo do corte de ramificação, e assim dá um resultado no eixo imaginário negativo:

>>> cmath.sqrt(complex(-2.0, -0.0))
-1.4142135623730951j

Mas um argumento de complex(-2.0, 0.0) é tratado como se estivesse acima do corte de ramificação:

>>> cmath.sqrt(complex(-2.0, 0.0))
1.4142135623730951j

Conversões de e para coordenadas polares

Um número complexo Python z é armazenado internamente usando coordenadas retangulares ou cartesianas. É completamente determinado por sua parte real z.real e sua parte imaginária z.imag.

Coordenadas polares fornecem uma forma alternativa de representar um número complexo. Em coordenadas polares, um número complexo z é definido pelo módulo r e pelo ângulo de fase phi. O módulo r é a distância de z à origem, enquanto a fase phi é o ângulo anti-horário, medido em radianos, do eixo x positivo ao segmento de reta que une a origem a z.

As funções a seguir podem ser usadas para converter coordenadas retangulares nativas em coordenadas polares e vice-versa.

cmath.phase(x)

Retorna a fase de x (também conhecido como argumento de x), como um ponto flutuante. phase(x) é equivalente a math.atan2(x.imag, x.real). O resultado está no intervalo [-π, π], e o corte de ramificação para esta operação está ao longo do eixo real negativo. O sinal do resultado é igual ao sinal de x.imag, mesmo quando x.imag é zero:

>>> phase(complex(-1.0, 0.0))
3.141592653589793
>>> phase(complex(-1.0, -0.0))
-3.141592653589793

Nota

O módulo (valor absoluto) de um número complexo x pode ser calculado usando a função embutida abs(). Não há função do módulo cmath separada para esta operação.

cmath.polar(x)

Retorna a representação de x em coordenadas polares. Retorna um par (r, phi) onde r é o módulo de x e phi é a fase de x. polar(x) é equivalente a (abs(x), phase(x)).

cmath.rect(r, phi)

Retorna o número complexo x com coordenadas polares r e phi. Equivalente a complex(r * math.cos(phi), r * math.sin(phi)).

Funções de potência e logarítmicas

cmath.exp(x)

Retorna e elevado à potência x, onde e é a base de logaritmos naturais.

cmath.log(x[, base])

Retorna o logaritmo de x para a base fornecida. Se a base não for especificada, retorna o logaritmo natural de x. Há um corte de ramificação, de 0 ao longo do eixo real negativo até -∞.

cmath.log10(x)

Retorna o logaritmo de x na base 10. Este tem o mesmo corte de ramificação que log().

cmath.sqrt(x)

Retorna a raiz quadrada de x. Este tem o mesmo corte de ramificação que log().

Funções trigonométricas

cmath.acos(x)

Retorna o arco cosseno de x. Existem dois cortes de ramificação: um se estende desde 1 ao longo do eixo real até ∞. O outro se estende para a esquerda de -1 ao longo do eixo real até -∞.

cmath.asin(x)

Retorna o arco seno de x. Tem os mesmos cortes de ramificação que acos().

cmath.atan(x)

Retorna o arco tangente de x. Existem dois cortes de ramificação: Um se estende de 1j ao longo do eixo imaginário até ∞j. O outro se estende de -1j ao longo do eixo imaginário até -∞j.

cmath.cos(x)

Retorna o cosseno de x.

cmath.sin(x)

Retorna o seno de x.

cmath.tan(x)

Retorna a tangente de x.

Funções hiperbólicas

cmath.acosh(x)

Retorna o cosseno hiperbólico inverso de x. Há um corte de ramificação, estendendo-se para a esquerda de 1 ao longo do eixo real até -∞.

cmath.asinh(x)

Retorna o seno hiperbólico inverso de x. Existem dois cortes de ramificação: Um se estende de 1j ao longo do eixo imaginário até ∞j. O outro se estende de -1j ao longo do eixo imaginário até -∞j.

cmath.atanh(x)

Retorna a tangente hiperbólica inversa de x. Existem dois cortes de ramificação: Um se estende de 1 ao longo do eixo real até ∞. O outro se estende de -1 ao longo do eixo real até -∞.

cmath.cosh(x)

Retorna o cosseno hiperbólico de x.

cmath.sinh(x)

Retorna o seno hiperbólico de x.

cmath.tanh(x)

Retorna a tangente hiperbólica de x.

Funções de classificação

cmath.isfinite(x)

Retorna True se ambas as partes real e imaginária de x forem finitas, e False caso contrário.

Adicionado na versão 3.2.

cmath.isinf(x)

Retorna True se ou a parte real ou a imaginária de x for infinita, e False caso contrário.

cmath.isnan(x)

Retorna True se ou a parte real ou a imaginária de x for NaN, e False caso contrário.

cmath.isclose(a, b, *, rel_tol=1e-09, abs_tol=0.0)

Retorna True se os valores a e b estiverem próximos e False caso contrário.

Se dois valores são ou não considerados próximos, é determinado de acordo com as tolerâncias absoluta e relativa fornecidas.

rel_tol é a tolerância relativa – é a diferença máxima permitida entre a e b, em relação ao maior valor absoluto de a ou b. Por exemplo, para definir uma tolerância de 5%, passe rel_tol=0.05. A tolerância padrão é 1e-09, o que garante que os dois valores sejam iguais em cerca de 9 dígitos decimais. rel_tol deve ser maior que zero.

abs_tol é a tolerância absoluta mínima – útil para comparações próximas a zero. abs_tol deve ser pelo menos zero.

Se nenhum erro ocorrer, o resultado será: abs(a-b) <= max(rel_tol * max(abs(a), abs(b)), abs_tol).

Os valores especiais do IEEE 754 de NaN, inf e -inf serão tratados de acordo com as regras do IEEE. Especificamente, NaN não é considerado próximo a qualquer outro valor, incluindo NaN. inf e -inf são considerados apenas próximos a si mesmos.

Adicionado na versão 3.5.

Ver também

PEP 485 [https://peps.python.org/pep-0485/] – Uma função para testar igualdade aproximada

Constantes

cmath.pi

A constante matemática π, como um ponto flutuante.

cmath.e

A constante matemática e, como um ponto flutuante.

cmath.tau

A constante matemática τ, como um ponto flutuante.

Adicionado na versão 3.6.

cmath.inf

Infinito positivo de ponto flutuante. Equivalente a float('inf').

Adicionado na versão 3.6.

cmath.infj

Número complexo com parte real zero e parte imaginária infinita positiva. Equivalente a complex(0.0, float('inf')).

Adicionado na versão 3.6.

cmath.nan

Um valor de ponto flutuante “não um número” (NaN). Equivalente a float('nan').

Adicionado na versão 3.6.

cmath.nanj

Número complexo com parte real zero e parte imaginária NaN. Equivalente a complex(0.0, float('nan')).

Adicionado na versão 3.6.

Observe que a seleção de funções é semelhante, mas não idêntica, àquela no módulo math. A razão para ter dois módulos é que alguns usuários não estão interessados ​​em números complexos e talvez nem saibam o que são. Eles preferem que math.sqrt(-1) gere uma exceção do que retorne um número complexo. Observe também que as funções definidas em cmath sempre retornam um número complexo, mesmo que a resposta possa ser expressa como um número real (nesse caso o número complexo tem uma parte imaginária de zero).

Uma nota sobre cortes de ramificação: são curvas ao longo das quais a função dada não é contínua. Eles são um recurso necessário de muitas funções complexas. Presume-se que se você precisar calcular com funções complexas, você entenderá sobre cortes de ramificação. Consulte quase qualquer livro (não muito elementar) sobre variáveis ​​complexas para obter esclarecimento. Para informações sobre a escolha adequada dos cortes de ramificação para fins numéricos, uma boa referência deve ser a seguinte:

Ver também

Kahan, W: Branch cuts for complex elementary functions; or, Much ado about nothing’s sign bit. Em Iserles, A. e Powell, M. (eds.), The state of the art in numerical analysis. Clarendon Press (1987) pp165–211.

decimal — Aritmética de ponto fixo decimal e ponto flutuante

Código-fonte: Lib/decimal.py [https://github.com/python/cpython/tree/3.13/Lib/decimal.py]

O módulo decimal fornece suporte a aritmética rápida de ponto flutuante decimal corretamente arredondado. Oferece várias vantagens sobre o tipo de dados float:

Decimal “é baseado em um modelo de ponto flutuante que foi projetado com as pessoas em mente e necessariamente tem um princípio orientador primordial – os computadores devem fornecer uma aritmética que funcione da mesma maneira que a aritmética que as pessoas aprendem na escola”. – trecho da especificação aritmética decimal.

Os números decimais podem ser representados exatamente. Por outro lado, números como 1.1 e 2.2 não possuem representações exatas em ponto flutuante binário. Os usuários finais normalmente não esperam que 1.1 + 2.2 sejam exibidos como 3.3000000000000003, como acontece com o ponto flutuante binário.

A exatidão transita para a aritmética. No ponto flutuante decimal, 0.1 + 0.1 + 0.1 - 0.3 é exatamente igual a zero. No ponto flutuante binário, o resultado é 5.5511151231257827e-017. Embora próximas de zero, as diferenças impedem o teste de igualdade confiável e as diferenças podem se acumular. Por esse motivo, o decimal é preferido em aplicações de contabilidade que possuem invariáveis estritos de igualdade.

O módulo decimal incorpora uma noção de casas significativas para que 1.30 + 1.20 seja 2.50. O zero à direita é mantido para indicar significância. Esta é a apresentação habitual para aplicações monetárias. Para multiplicação, a abordagem “livro escolar” usa todas as figuras nos multiplicandos. Por exemplo, 1.3 * 1.2 é igual a 1.56 enquanto 1.30 * 1.20 é igual a 1.5600.

Diferentemente do ponto flutuante binário baseado em hardware, o módulo decimal possui uma precisão alterável pelo usuário (padrão de 28 casas), que pode ser tão grande quanto necessário para um determinado problema:

>>> from decimal import *
>>> getcontext().prec = 6
>>> Decimal(1) / Decimal(7)
Decimal('0.142857')
>>> getcontext().prec = 28
>>> Decimal(1) / Decimal(7)
Decimal('0.1428571428571428571428571429')

O ponto flutuante binário e decimal é implementado em termos de padrões publicados. Enquanto o tipo ponto flutuante embutido expõe apenas uma parte modesta de seus recursos, o módulo decimal expõe todas as partes necessárias do padrão. Quando necessário, o programador tem controle total sobre o arredondamento e o manuseio do sinal. Isso inclui uma opção para impor aritmética exata usando exceções para bloquear quaisquer operações inexatas.

O módulo decimal foi projetado para dar suporte, “sem prejuízo, a aritmética decimal não arredondada exata (às vezes chamada aritmética de ponto fixo) e aritmética arredondada de ponto flutuante”. – trecho da especificação aritmética decimal.

O design do módulo é centrado em torno de três conceitos: o número decimal, o contexto da aritmética e os sinais.

Um número decimal é imutável. Possui um sinal, dígitos de coeficiente e um expoente. Para preservar a significância, os dígitos do coeficiente não truncam zeros à direita. Os decimais também incluem valores especiais, tais como Infinity, -Infinity e NaN. O padrão também diferencia -0 de +0.

O contexto da aritmética é um ambiente que especifica precisão, regras de arredondamento, limites de expoentes, sinalizadores indicando os resultados das operações e ativadores de interceptação que determinam se os sinais são tratados como exceções. As opções de arredondamento incluem ROUND_CEILING, ROUND_DOWN, ROUND_FLOOR, ROUND_HALF_DOWN, ROUND_HALF_EVEN, ROUND_HALF_UP, ROUND_UP e ROUND_05UP.

Sinais são grupos de condições excepcionais que surgem durante o curso da computação. Dependendo das necessidades da aplicação, os sinais podem ser ignorados, considerados informativos ou tratados como exceções. Os sinais no módulo decimal são: Clamped, InvalidOperation, DivisionByZero, Inexact, Rounded, Subnormal, Overflow, Underflow e FloatOperation.

Para cada sinal, há um sinalizador e um ativador de interceptação. Quando um sinal é encontrado, seu sinalizador é definido como um e, se o ativador de interceptação estiver definido como um, uma exceção será gerada. Os sinalizadores são fixos; portanto, o usuário precisa redefini-los antes de monitorar um cálculo.

Ver também

A especificação geral aritmética decimal da IBM, The General Decimal Arithmetic Specification [https://speleotrove.com/decimal/decarith.html].

Tutorial de início rápido

O início usual do uso de decimais é importar o módulo, exibir o contexto atual com getcontext() e, se necessário, definir novos valores para precisão, arredondamento ou armadilhas ativados:

>>> from decimal import *
>>> getcontext()
Context(prec=28, rounding=ROUND_HALF_EVEN, Emin=-999999, Emax=999999,
        capitals=1, clamp=0, flags=[], traps=[Overflow, DivisionByZero,
        InvalidOperation])

>>> getcontext().prec = 7       # Set a new precision

Instâncias decimais podem ser construídas a partir de números inteiros, strings, pontos flutuantes ou tuplas. A construção de um número inteiro ou de um ponto flutuante realiza uma conversão exata do valor desse número inteiro ou ponto flutuante. Os números decimais incluem valores especiais como NaN, que significa “Não é um número”, Infinity positivo e negativo e -0:

>>> getcontext().prec = 28
>>> Decimal(10)
Decimal('10')
>>> Decimal('3.14')
Decimal('3.14')
>>> Decimal(3.14)
Decimal('3.140000000000000124344978758017532527446746826171875')
>>> Decimal((0, (3, 1, 4), -2))
Decimal('3.14')
>>> Decimal(str(2.0 ** 0.5))
Decimal('1.4142135623730951')
>>> Decimal(2) ** Decimal('0.5')
Decimal('1.414213562373095048801688724')
>>> Decimal('NaN')
Decimal('NaN')
>>> Decimal('-Infinity')
Decimal('-Infinity')

Se o sinal FloatOperation for capturado na armadilha, a mistura acidental de decimais e pontos flutuantes em construtores ou comparações de ordenação levanta uma exceção:

>>> c = getcontext()
>>> c.traps[FloatOperation] = True
>>> Decimal(3.14)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
decimal.FloatOperation: [<class 'decimal.FloatOperation'>]
>>> Decimal('3.5') < 3.7
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
decimal.FloatOperation: [<class 'decimal.FloatOperation'>]
>>> Decimal('3.5') == 3.5
True

Adicionado na versão 3.3.

O significado de um novo decimal é determinado apenas pelo número de dígitos inseridos. A precisão e o arredondamento do contexto só entram em jogo durante operações aritméticas.

>>> getcontext().prec = 6
>>> Decimal('3.0')
Decimal('3.0')
>>> Decimal('3.1415926535')
Decimal('3.1415926535')
>>> Decimal('3.1415926535') + Decimal('2.7182818285')
Decimal('5.85987')
>>> getcontext().rounding = ROUND_UP
>>> Decimal('3.1415926535') + Decimal('2.7182818285')
Decimal('5.85988')

Se os limites internos da versão C forem excedidos, a construção de um decimal levanta InvalidOperation:

>>> Decimal("1e9999999999999999999")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
decimal.InvalidOperation: [<class 'decimal.InvalidOperation'>]

Alterado na versão 3.3.

Os decimais interagem bem com grande parte do resto do Python. Aqui está um pequeno circo voador de ponto flutuante decimal:

>>> data = list(map(Decimal, '1.34 1.87 3.45 2.35 1.00 0.03 9.25'.split()))
>>> max(data)
Decimal('9.25')
>>> min(data)
Decimal('0.03')
>>> sorted(data)
[Decimal('0.03'), Decimal('1.00'), Decimal('1.34'), Decimal('1.87'),
 Decimal('2.35'), Decimal('3.45'), Decimal('9.25')]
>>> sum(data)
Decimal('19.29')
>>> a,b,c = data[:3]
>>> str(a)
'1.34'
>>> float(a)
1.34
>>> round(a, 1)
Decimal('1.3')
>>> int(a)
1
>>> a * 5
Decimal('6.70')
>>> a * b
Decimal('2.5058')
>>> c % a
Decimal('0.77')

E algumas funções matemáticas também estão disponíveis no Decimal:

>>> getcontext().prec = 28
>>> Decimal(2).sqrt()
Decimal('1.414213562373095048801688724')
>>> Decimal(1).exp()
Decimal('2.718281828459045235360287471')
>>> Decimal('10').ln()
Decimal('2.302585092994045684017991455')
>>> Decimal('10').log10()
Decimal('1')

O método quantize() arredonda um número para um expoente fixo. Esse método é útil para aplicações monetárias que geralmente arredondam os resultados para um número fixo de locais:

>>> Decimal('7.325').quantize(Decimal('.01'), rounding=ROUND_DOWN)
Decimal('7.32')
>>> Decimal('7.325').quantize(Decimal('1.'), rounding=ROUND_UP)
Decimal('8')

Como mostrado acima, a função getcontext() acessa o contexto atual e permite que as configurações sejam alteradas. Essa abordagem atende às necessidades da maioria das aplicações.

Para trabalhos mais avançados, pode ser útil criar contextos alternativos usando o construtor Context(). Para ativar uma alternativa, use a função setcontext().

De acordo com o padrão, o módulo decimal fornece dois contextos padrão prontos para uso, BasicContext e ExtendedContext. O primeiro é especialmente útil para depuração porque muitas das armadilhas estão ativadas:

>>> myothercontext = Context(prec=60, rounding=ROUND_HALF_DOWN)
>>> setcontext(myothercontext)
>>> Decimal(1) / Decimal(7)
Decimal('0.142857142857142857142857142857142857142857142857142857142857')

>>> ExtendedContext
Context(prec=9, rounding=ROUND_HALF_EVEN, Emin=-999999, Emax=999999,
        capitals=1, clamp=0, flags=[], traps=[])
>>> setcontext(ExtendedContext)
>>> Decimal(1) / Decimal(7)
Decimal('0.142857143')
>>> Decimal(42) / Decimal(0)
Decimal('Infinity')

>>> setcontext(BasicContext)
>>> Decimal(42) / Decimal(0)
Traceback (most recent call last):
  File "<pyshell#143>", line 1, in -toplevel-
    Decimal(42) / Decimal(0)
DivisionByZero: x / 0

Os contextos também possuem sinalizadores para monitorar condições excepcionais encontradas durante os cálculos. Os sinalizadores permanecem definidos até que sejam explicitamente limpos, portanto, é melhor limpar os sinalizadores antes de cada conjunto de cálculos monitorados usando o método clear_flags().

>>> setcontext(ExtendedContext)
>>> getcontext().clear_flags()
>>> Decimal(355) / Decimal(113)
Decimal('3.14159292')
>>> getcontext()
Context(prec=9, rounding=ROUND_HALF_EVEN, Emin=-999999, Emax=999999,
        capitals=1, clamp=0, flags=[Inexact, Rounded], traps=[])

A entrada flags mostra que a aproximação racional de pi foi arredondada (dígitos além da precisão do contexto foram descartados) e que o resultado é inexato (alguns dos dígitos descartados eram diferentes de zero).

As armadilhas individuais são definidas usando o dicionário no atributo traps de um contexto:

>>> setcontext(ExtendedContext)
>>> Decimal(1) / Decimal(0)
Decimal('Infinity')
>>> getcontext().traps[DivisionByZero] = 1
>>> Decimal(1) / Decimal(0)
Traceback (most recent call last):
  File "<pyshell#112>", line 1, in -toplevel-
    Decimal(1) / Decimal(0)
DivisionByZero: x / 0

A maioria dos programas ajusta o contexto atual apenas uma vez, no início do programa. E, em muitas aplicações, os dados são convertidos para Decimal com uma única conversão dentro de um loop. Com o conjunto de contextos e decimais criados, a maior parte do programa manipula os dados de maneira diferente do que com outros tipos numéricos do Python.

Objetos de Decimal

class decimal.Decimal(value='0', context=None)

Constrói um novo objeto de Decimal com base em value.

value pode ser um inteiro, string, tupla, float ou outro objeto de Decimal. Se nenhum value for fornecido, retornará Decimal('0'). Se value for uma string, ele deverá estar em conformidade com a sintaxe da string numérica decimal após caracteres de espaço em branco à esquerda e à direita, bem como sublinhados em toda parte, serem removidos:

sign           ::=  '+' | '-'
digit          ::=  '0' | '1' | '2' | '3' | '4' | '5' | '6' | '7' | '8' | '9'
indicator      ::=  'e' | 'E'
digits         ::=  digit [digit]...
decimal-part   ::=  digits '.' [digits] | ['.'] digits
exponent-part  ::=  indicator [sign] digits
infinity       ::=  'Infinity' | 'Inf'
nan            ::=  'NaN' [digits] | 'sNaN' [digits]
numeric-value  ::=  decimal-part [exponent-part] | infinity
numeric-string ::=  [sign] numeric-value | [sign] nan

Outros dígitos decimais Unicode também são permitidos onde digit aparece acima. Isso inclui dígitos decimais de vários outros alfabetos (por exemplo, dígitos em árabes-índicos e devanágaris), além dos dígitos de largura total '\uff10' a '\uff19'.

Se value for um tuple, ele deverá ter três componentes, um sinal (0 para positivo ou 1 para negativo), um tuple de dígitos e um expoente inteiro. Por exemplo, Decimal((0, (1, 4, 1, 4), -3)) returna Decimal('1.414').

Se value é um float, o valor do ponto flutuante binário é convertido sem perdas no seu equivalente decimal exato. Essa conversão geralmente requer 53 ou mais dígitos de precisão. Por exemplo, Decimal(float('1.1')) converte para Decimal('1.100000000000000088817841970012523233890533447265625').

A precisão context não afeta quantos dígitos estão armazenados. Isso é determinado exclusivamente pelo número de dígitos em value. Por exemplo, Decimal('3.00000') registra todos os cinco zeros, mesmo que a precisão do contexto seja apenas três.

O objetivo do argumento context é determinar o que fazer se value for uma string malformada. Se o contexto capturar InvalidOperation, uma exceção será levantada; caso contrário, o construtor retornará um novo decimal com o valor de NaN.

Uma vez construídos, objetos de Decimal são imutáveis.

Alterado na versão 3.2: O argumento para o construtor agora pode ser uma instância de float.

Alterado na versão 3.3: Os argumentos de float levantam uma exceção se a armadilha FloatOperation estiver definida. Por padrão, a armadilha está desativada.

Alterado na versão 3.6: Sublinhados são permitidos para agrupamento, como nos literais de ponto flutuante e integral no código.

Objetos decimais de ponto flutuante compartilham muitas propriedades com outros tipos numéricos embutidos, como float e int. Todas as operações matemáticas usuais e métodos especiais se aplicam. Da mesma forma, objetos decimais podem ser copiados, separados, impressos, usados como chaves de dicionário, usados como elementos de conjunto, comparados, classificados e convertidos a outro tipo (como float ou int).

Existem algumas pequenas diferenças entre aritmética em objetos decimais e aritmética em números inteiros e flutuantes. Quando o operador de resto % é aplicado a objetos decimais, o sinal do resultado é o sinal do dividend em vez do sinal do divisor:

>>> (-7) % 4
1
>>> Decimal(-7) % Decimal(4)
Decimal('-3')

O operador de divisão inteira // se comporta de maneira análoga, retornando a parte inteira do quociente verdadeiro (truncando em direção a zero) em vez de seu resto, de modo a preservar a identidade usual x == (x // y) * y + x % y:

>>> -7 // 4
-2
>>> Decimal(-7) // Decimal(4)
Decimal('-1')

Os operadores % e // implementam as operações de remainder e divide-integer (respectivamente) como descrito na especificação.

Objetos decimais geralmente não podem ser combinados com pontos flutuantes ou instâncias de fractions.Fraction em operações aritméticas: uma tentativa de adicionar um Decimal a um float, por exemplo, vai levantar um TypeError. No entanto, é possível usar os operadores de comparação do Python para comparar uma instância de Decimal x com outro número y. Isso evita resultados confusos ao fazer comparações de igualdade entre números de tipos diferentes.

Alterado na versão 3.2: As comparações de tipos mistos entre instâncias de Decimal e outros tipos numéricos agora são totalmente suportadas.

Além das propriedades numéricas padrões, os objetos de ponto flutuante decimal também possuem vários métodos especializados:

adjusted()

Retorna o expoente ajustado depois de deslocar os dígitos mais à direita do coeficiente até restar apenas o dígito principal: Decimal('321e+5').adjusted() retorna sete. Usado para determinar a posição do dígito mais significativo em relação ao ponto decimal.

as_integer_ratio()

Retorna um par (n, d) de números inteiros que representam a instância dada Decimal como uma fração, nos termos mais baixos e com um denominador positivo:

>>> Decimal('-3.14').as_integer_ratio()
(-157, 50)

A conversão é exata. Levanta OverflowError em infinitos e ValueError em NaNs.

Adicionado na versão 3.6.

as_tuple()

Retorna uma representação de tupla nomeada do número: DecimalTuple(sign, digits, exponent).

canonical()

Retorna a codificação canônica do argumento. Atualmente, a codificação de uma instância de Decimal é sempre canônica, portanto, esta operação retorna seu argumento inalterado.

compare(other, context=None)

Compara os valores de duas instâncias decimais. compare() retorna uma instância decimal, e se qualquer operando for um NaN, o resultado será um NaN:

a or b is a NaN  ==> Decimal('NaN')
a < b            ==> Decimal('-1')
a == b           ==> Decimal('0')
a > b            ==> Decimal('1')

compare_signal(other, context=None)

Esta operação é idêntica ao método compare(), exceto que todos os NaNs sinalizam. Ou seja, se nenhum operando for um NaN sinalizador, qualquer operando NaN silencioso será tratado como se fosse um NaN sinalizador.

compare_total(other, context=None)

Compara dois operandos usando sua representação abstrata em vez de seu valor numérico. Semelhante ao método compare(), mas o resultado fornece uma ordem total nas instâncias de Decimal. Duas instâncias de Decimal com o mesmo valor numérico, mas diferentes representações, se comparam desiguais nesta ordem:

>>> Decimal('12.0').compare_total(Decimal('12'))
Decimal('-1')

Os NaNs silenciosos e sinalizadores também estão incluídos no pedido total. O resultado dessa função é Decimal('0') se os dois operandos tiverem a mesma representação, Decimal('-1') se o primeiro operando for menor na ordem total que o segundo e Decimal('1') se o primeiro operando for maior na ordem total que o segundo operando. Veja a especificação para detalhes da ordem total.

Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado. Como uma exceção, a versão C pode levantar InvalidOperation se o segundo operando não puder ser convertido exatamente.

compare_total_mag(other, context=None)

Compara dois operandos usando sua representação abstrata em vez de seu valor, como em compare_total(), mas ignorando o sinal de cada operando. x.compare_total_mag(y) é equivalente a x.copy_abs().compare_total(y.copy_abs()).

Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado. Como uma exceção, a versão C pode levantar InvalidOperation se o segundo operando não puder ser convertido exatamente.

conjugate()

Apenas retorna a si próprio, sendo esse método apenas para atender à Especificação de Decimal.

copy_abs()

Retorna o valor absoluto do argumento. Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado.

copy_negate()

Retorna a negação do argumento. Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado.

copy_sign(other, context=None)

Retorna uma cópia do primeiro operando com o sinal definido para ser o mesmo que o sinal do segundo operando. Por exemplo:

>>> Decimal('2.3').copy_sign(Decimal('-1.5'))
Decimal('-2.3')

Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado. Como uma exceção, a versão C pode levantar InvalidOperation se o segundo operando não puder ser convertido exatamente.

exp(context=None)

Retorna o valor da função exponencial (natural) e**x no número especificado. O resultado é arredondado corretamente usando o modo de arredondamento ROUND_HALF_EVEN.

>>> Decimal(1).exp()
Decimal('2.718281828459045235360287471')
>>> Decimal(321).exp()
Decimal('2.561702493119680037517373933E+139')

classmethod from_float(f)

Construtor alternativo que aceita apenas instâncias de float ou int.

Observe que Decimal.from_float(0.1) não é o mesmo que Decimal('0.1'). Como 0.1 não é exatamente representável no ponto flutuante binário, o valor é armazenado como o valor representável mais próximo que é 0x1.999999999999ap-4.; Esse valor equivalente em decimal é 0.1000000000000000055511151231257827021181583404541015625.

Nota

A partir do Python 3.2 em diante, uma instância de Decimal também pode ser construída diretamente a partir de um float.

>>> Decimal.from_float(0.1)
Decimal('0.1000000000000000055511151231257827021181583404541015625')
>>> Decimal.from_float(float('nan'))
Decimal('NaN')
>>> Decimal.from_float(float('inf'))
Decimal('Infinity')
>>> Decimal.from_float(float('-inf'))
Decimal('-Infinity')

Adicionado na versão 3.1.

fma(other, third, context=None)

Multiplicação e adição fundidos. Retorna self*other+third sem arredondamento do produto intermediário self*other.

>>> Decimal(2).fma(3, 5)
Decimal('11')

is_canonical()

Retorna True se o argumento for canônico e False caso contrário. Atualmente, uma instância de Decimal é sempre canônica, portanto, esta operação sempre retorna True.

is_finite()

Retorna True se o argumento for um número finito e False se o argumento for um infinito ou um NaN.

is_infinite()

Retorna True se o argumento for infinito positivo ou negativo e False caso contrário.

is_nan()

Retorna True se o argumento for NaN (silencioso ou sinalizador) e False caso contrário.

is_normal(context=None)

Retorna True se o argumento for um número finito normal. Retorna False se o argumento for zero, subnormal, infinito ou NaN.

is_qnan()

Retorna True se o argumento for um NaN silencioso, e False caso contrário.

is_signed()

Retorna True se o argumento tiver um sinal negativo e False caso contrário. Observe que zeros e NaNs podem carregar sinais.

is_snan()

Retorna True se o argumento for um sinal NaN e False caso contrário.

is_subnormal(context=None)

Retorna True se o argumento for subnormal e False caso contrário.

is_zero()

Retorna True se o argumento for um zero (positivo ou negativo) e False caso contrário.

ln(context=None)

Retorna o logaritmo (base e) natural do operando. O resultado é arredondado corretamente usando o modo de arredondamento ROUND_HALF_EVEN.

log10(context=None)

Retorna o logaritmo da base dez do operando. O resultado é arredondado corretamente usando o modo de arredondamento ROUND_HALF_EVEN.

logb(context=None)

Para um número diferente de zero, retorna o expoente ajustado de seu operando como uma instância de Decimal. Se o operando é zero, Decimal('-Infinity') é retornado e o sinalizador DivisionByZero é levantado. Se o operando for um infinito, Decimal('Infinity') será retornado.

logical_and(other, context=None)

logical_and() é uma operação lógica que leva dois operandos lógicos (consulte Operandos lógicos). O resultado é o and dígito a dígito dos dois operandos.

logical_invert(context=None)

logical_invert() é uma operação lógica. O resultado é a inversão dígito a dígito do operando.

logical_or(other, context=None)

logical_or() é uma operação lógica que leva dois operandos lógicos (consulte Operandos lógicos). O resultado é o or dígito a dígito dos dois operandos.

logical_xor(other, context=None)

logical_xor() é uma operação lógica que leva dois operandos lógicos (consulte Operandos lógicos). O resultado é o “ou exclusivo” dígito a dígito ou dos dois operandos.

max(other, context=None)

Como max(self, other), exceto que a regra de arredondamento de contexto é aplicada antes de retornar e que os valores NaN são sinalizados ou ignorados (dependendo do contexto e se estão sinalizando ou silenciosos).

max_mag(other, context=None)

Semelhante ao método max(), mas a comparação é feita usando os valores absolutos dos operandos.

min(other, context=None)

Como min(self, other), exceto que a regra de arredondamento de contexto é aplicada antes de retornar e que os valores NaN são sinalizados ou ignorados (dependendo do contexto e se estão sinalizando ou silenciosos).

min_mag(other, context=None)

Semelhante ao método min(), mas a comparação é feita usando os valores absolutos dos operandos.

next_minus(context=None)

Retorna o maior número representável no contexto fornecido (ou no contexto atual da thread, se nenhum contexto for fornecido) que seja menor que o operando especificado.

next_plus(context=None)

Retorna o menor número representável no contexto fornecido (ou no contexto atual da thread, se nenhum contexto for fornecido) que seja maior que o operando fornecido.

next_toward(other, context=None)

Se os dois operandos forem desiguais, retorna o número mais próximo ao primeiro operando na direção do segundo operando. Se os dois operandos forem numericamente iguais, retorna uma cópia do primeiro operando com o sinal configurado para ser o mesmo que o sinal do segundo operando.

normalize(context=None)

Usado para produzir valores canônicos de uma classe de equivalência no contexto atual ou no contexto especificado.

Esta tem a mesma semântica que a operação unária mais, exceto que se o resultado final for finito, ele será reduzido à sua forma mais simples, com todos os zeros à direita removidos e seu sinal preservado. Ou seja, enquanto o coeficiente for diferente de zero e múltiplo de dez, o coeficiente é dividido por dez e o expoente é incrementado em 1. Caso contrário (o coeficiente é zero), o expoente é definido como 0. Em todos os casos, o sinal permanece inalterado. .

Por exemplo, Decimal('32.100') e Decimal('0.321000e+2') ambos normalizam para o valor equivalente Decimal('32.1').

Observe que o arredondamento é aplicado antes de reduzir para a forma mais simples.

Nas versões mais recentes da especificação, esta operação também é conhecida como reduce.

number_class(context=None)

Retorna uma string descrevendo a classe do operando. O valor retornado é uma das dez sequências a seguir.

"-Infinity", indicando que o operando é infinito negativo.

"-Normal", indicando que o operando é um número normal negativo.

"-Subnormal", indicando que o operando é negativo e subnormal.

"-Zero", indicando que o operando é um zero negativo.

"+Zero", indicando que o operando é um zero positivo.

"+Subnormal", indicando que o operando é positivo e subnormal.

"+Normal", indicando que o operando é um número normal positivo.

"+Infinity", indicando que o operando é infinito positivo.

"NaN", indicando que o operando é um NaN (“Not a Number”) silencioso.

"sNaN", indicando que o operando é um NaN sinalizador.

quantize(exp, rounding=None, context=None)

Retorna um valor igual ao primeiro operando após o arredondamento e com o expoente do segundo operando.

>>> Decimal('1.41421356').quantize(Decimal('1.000'))
Decimal('1.414')

Diferentemente de outras operações, se o comprimento do coeficiente após a operação de quantização for maior que a precisão, então InvalidOperation é sinalizado. Isso garante que, a menos que haja uma condição de erro, o expoente quantizado é sempre igual ao do operando do lado direito.

Também, diferentemente de outras operações, a quantização nunca sinaliza Underflow, mesmo que o resultado seja subnormal e inexato.

Se o expoente do segundo operando for maior que o do primeiro, o arredondamento poderá ser necessário. Nesse caso, o modo de arredondamento é determinado pelo argumento rounding, se fornecido, ou pelo argumento context fornecido; se nenhum argumento for fornecido, o modo de arredondamento do contexto da thread atual será usado.

Um erro é retornado sempre que o expoente resultante for maior que Emax ou menor que Etiny().

radix()

Retorna Decimal(10), a raiz (base) na qual a classe Decimal faz toda a sua aritmética. Incluído para compatibilidade com a especificação.

remainder_near(other, context=None)

Retorna o resto da divisão de self por other. Isso é diferente de self % other, pois o sinal do resto é escolhido para minimizar seu valor absoluto. Mais precisamente, o valor de retorno é self - n * other, onde n é o número inteiro mais próximo do valor exato de self / other, e se dois números inteiros estiverem igualmente próximos, o par será é escolhido.

Se o resultado for zero, seu sinal será o sinal de self.

>>> Decimal(18).remainder_near(Decimal(10))
Decimal('-2')
>>> Decimal(25).remainder_near(Decimal(10))
Decimal('5')
>>> Decimal(35).remainder_near(Decimal(10))
Decimal('-5')

rotate(other, context=None)

Retorna o resultado da rotação dos dígitos do primeiro operando em uma quantidade especificada pelo segundo operando. O segundo operando deve ser um número inteiro no intervalo - precisão através da precisão. O valor absoluto do segundo operando fornece o número de locais a serem rotacionados. Se o segundo operando for positivo, a rotação será para a esquerda; caso contrário, a rotação será para a direita. O coeficiente do primeiro operando é preenchido à esquerda com zeros na precisão do comprimento, se necessário. O sinal e o expoente do primeiro operando não são alterados.

same_quantum(other, context=None)

Testa se “self” e “other” têm o mesmo expoente ou se ambos são NaN.

Esta operação não é afetada pelo contexto e é silenciosa: nenhum sinalizador é alterado e nenhum arredondamento é executado. Como uma exceção, a versão C pode levantar InvalidOperation se o segundo operando não puder ser convertido exatamente.

scaleb(other, context=None)

Retorna o primeiro operando com o expoente ajustado pelo segundo. Da mesma forma, retorna o primeiro operando multiplicado por 10**other. O segundo operando deve ser um número inteiro.

shift(other, context=None)

Retorna o resultado da troca dos dígitos do primeiro operando em uma quantidade especificada pelo segundo operando. O segundo operando deve ser um número inteiro no intervalo - precisão através da precisão. O valor absoluto do segundo operando fornece o número de locais a serem deslocados. Se o segundo operando for positivo, o deslocamento será para a esquerda; caso contrário, a mudança é para a direita. Os dígitos deslocados para o coeficiente são zeros. O sinal e o expoente do primeiro operando não são alterados.

sqrt(context=None)

Retorna a raiz quadrada do argumento para a precisão total.

to_eng_string(context=None)

Converte em uma string, usando notação de engenharia, se for necessário um expoente.

A notação de engenharia possui um expoente que é múltiplo de 3. Isso pode deixar até 3 dígitos à esquerda da casa decimal e pode exigir a adição de um ou dois zeros à direita.

Por exemplo, isso converte Decimal('123E+1') para Decimal('1.23E+3').

to_integral(rounding=None, context=None)

Idêntico ao método to_integral_value(). O nome to_integral foi mantido para compatibilidade com versões mais antigas.

to_integral_exact(rounding=None, context=None)

Arredonda para o número inteiro mais próximo, sinalizando Inexact ou Rounded, conforme apropriado, se o arredondamento ocorrer. O modo de arredondamento é determinado pelo parâmetro rounding, se fornecido, ou pelo context especificado. Se nenhum parâmetro for fornecido, o modo de arredondamento do contexto atual será usado.

to_integral_value(rounding=None, context=None)

Arredonda para o número inteiro mais próximo sem sinalizar Inexact ou Rounding. Se fornecido, aplica rounding; caso contrário, usa o método de arredondamento no context especificado ou no contexto atual.

Os números decimais podem ser arredondados usando a função round():

round(number)

round(number, ndigits)

Se ndigits não for fornecido ou None, retorna o int de number mais próximo, arredondando até chegar em par, e ignorando o modo de arredondamento do contexto Decimal. Levanta OverflowError se number for um infinito ou ValueError se for um NaN (silencioso ou de sinalização).

Se ndigits for um int, o modo de arredondamento do contexto é respeitado e um Decimal representando número arredondado para o múltiplo mais próximo de Decimal('1E-ndigits') é retornado; neste caso, round(number, ndigits) é equivalente a self.quantize(Decimal('1E-ndigits')). Retorna Decimal('NaN') se number for um NaN silencioso. Levanta InvalidOperation se number for um infinito, uma sinalização NaN, ou se o comprimento do coeficiente após a operação de quantização for maior que a precisão do contexto atual. Em outras palavras, para os situações comuns:

se ndigits for positivo, retorna number arredondado para ndigits casas decimais;

se ndigits for zero, retorna number arredondado para o número inteiro mais próximo;

se ndigits for negativo, retorna number arredondado para o múltiplo mais próximo de 10**abs(ndigits).

Por exemplo:

>>> from decimal import Decimal, getcontext, ROUND_DOWN
>>> getcontext().rounding = ROUND_DOWN
>>> round(Decimal('3.75'))     # context rounding ignored
4
>>> round(Decimal('3.5'))      # round-ties-to-even
4
>>> round(Decimal('3.75'), 0)  # uses the context rounding
Decimal('3')
>>> round(Decimal('3.75'), 1)
Decimal('3.7')
>>> round(Decimal('3.75'), -1)
Decimal('0E+1')

Operandos lógicos

Os métodos logical_and(), logical_invert(), logical_or() e logical_xor() esperam que seus argumentos sejam operandos lógicos. Um operando lógico é uma instância de Decimal cujo expoente e sinal são zero e cujos dígitos são todos 0 ou 1.

Objetos de contexto

Contextos são ambientes para operações aritméticas. Eles governam a precisão, estabelecem regras para arredondamento, determinam quais sinais são tratados como exceções e limitam o intervalo dos expoentes.

Cada thread possui seu próprio contexto atual que é acessado ou alterado usando as funções getcontext() e setcontext():

decimal.getcontext()

Retorna o contexto atual para a thread ativa.

decimal.setcontext(c)

Define o contexto atual para a thread ativa como C.

Você também pode usar a instrução with e a função localcontext() para alterar temporariamente o contexto ativo.

decimal.localcontext(ctx=None, **kwargs)

Retorna um gerenciador de contexto que vai definir o contexto atual da thread ativa para uma cópia de ctx na entrada da instrução “with” e restaurar o contexto anterior ao sair da instrução “with”. Se nenhum contexto for especificado, uma cópia do contexto atual será usada. O argumento kwargs é usado para definir os atributos do novo contexto.

Por exemplo, o código a seguir define a precisão decimal atual para 42 casas, executa um cálculo e restaura automaticamente o contexto anterior:

from decimal import localcontext

with localcontext() as ctx:
    ctx.prec = 42   # Perform a high precision calculation
    s = calculate_something()
s = +s  # Round the final result back to the default precision

Usando argumentos nomeados, o código seria o seguinte:

from decimal import localcontext

with localcontext(prec=42) as ctx:
    s = calculate_something()
s = +s

Levanta TypeError se kwargs fornecer um atributo que Context não oferecer suporte. Levanta TypeError ou ValueError se kwargs fornecer um valor inválido para um atributo.

Alterado na versão 3.11: localcontext() agora tem suporte à configuração de atributos de contexto através do uso de argumentos nomeados.

Novos contextos também podem ser criados usando o construtor Context descrito abaixo. Além disso, o módulo fornece três contextos pré-criados:

class decimal.BasicContext

Este é um contexto padrão definido pela Especificação Aritmética Decimal Geral. A precisão está definida como nove. O arredondamento está definido como ROUND_HALF_UP. Todos os sinalizadores estão limpos. Todos as armadilhas estão ativadas (tratadas como exceções), exceto por Inexact, Rounded e Subnormal.

Como muitas das armadilhas estão ativadas, esse contexto é útil para depuração.

class decimal.ExtendedContext

Este é um contexto padrão definido pela Especificação Aritmética Decimal Geral. A precisão está definida como nove. O arredondamento está definido como ROUND_HALF_EVEN. Todos os sinalizadores estão limpos. Nenhuma armadilha está ativada (de forma que exceções não são levantadas durante os cálculos).

Como as armadilhas estão desativadas, esse contexto é útil para aplicativos que preferem ter o valor de resultado de NaN ou Infinity em vez de levantar exceções. Isso permite que uma aplicação conclua uma execução na presença de condições que interromperiam o programa.

class decimal.DefaultContext

Este contexto é usado pelo construtor Context como um protótipo para novos contextos. Alterar um campo (tal como precisão) tem o efeito de alterar o padrão para novos contextos criados pelo construtor Context.

Esse contexto é mais útil em ambientes multithread. A alteração de um dos campos antes do início das threads tem o efeito de definir os padrões para todo o sistema. Não é recomendável alterar os campos após o início das threads, pois exigiria sincronização de threads para evitar condições de corrida.

Em ambientes de thread única, é preferível não usar esse contexto. Em vez disso, basta criar contextos explicitamente, conforme descrito abaixo.

Os valores padrão são Context.prec=28, Context.rounding=ROUND_HALF_EVEN e armadilhas ativadas para Overflow, InvalidOperation e DivisionByZero.

Além dos três contextos fornecidos, novos contextos podem ser criados com o construtor Context.

class decimal.Context(prec=None, rounding=None, Emin=None, Emax=None, capitals=None, clamp=None, flags=None, traps=None)

Cria um novo contexto. Se um campo não for especificado ou for None, os valores padrão serão copiados de DefaultContext. Se o campo flags não for especificado ou for None, todos os sinalizadores serão limpados.

prec é um número inteiro no intervalo [1, MAX_PREC] que define a precisão das operações aritméticas no contexto.

A opção rounding é uma das constantes listadas na seção Modos de arredondamento.

Os campos traps e flags listam todos os sinais a serem configurados. Geralmente, novos contextos devem apenas definir armadilhas e deixar os sinalizadores limpos.

Os campos Emin e Emax são números inteiros que especificam os limites externos permitidos para expoentes. Emin deve estar no intervalo [MIN_EMIN, 0], Emax no intervalo [0, MAX_EMAX].

O campo capitals é 0 ou 1 (o padrão). Se definido como 1, os expoentes serão impressos com um E maiúsculo; caso contrário, um e minúscula é usado: Decimal('6.02e+23').

O campo clamp é 0 (o padrão) ou 1. Se definido como 1, o expoente e de uma instância de Decimal representável nesse contexto é estritamente limitado ao intervalo Emin - prec + 1 <= e <= Emax - prec + 1. Se clamp for 0, uma condição mais fraca será mantida: o expoente ajustado da instância de Decimal é no máximo Emax. Quando clamp é 1, um grande número normal terá, sempre que possível, seu expoente reduzido e um número correspondente de zeros adicionado ao seu coeficiente, para ajustar as restrições do expoente; isso preserva o valor do número, mas perde informações sobre zeros à direita significativos. Por exemplo:

>>> Context(prec=6, Emax=999, clamp=1).create_decimal('1.23e999')
Decimal('1.23000E+999')

Um valor de clamp de 1 permite compatibilidade com os formatos de intercâmbio decimal de largura fixa especificados na IEEE 754.

A classe Context define vários métodos de uso geral, bem como um grande número de métodos para fazer aritmética diretamente em um determinado contexto. Além disso, para cada um dos métodos de Decimal descritos acima (com exceção dos métodos adjusted() e as_tuple()) existe um método correspondente em Context. Por exemplo, para uma instância C de Context e uma instância x de Decimal, C.exp(x) é equivalente a x.exp(context=C). Cada método de Context aceita um número inteiro do Python (uma instância de int) em qualquer lugar em que uma instância de Decimal seja aceita.

clear_flags()

Redefine todos os sinalizadores para 0.

clear_traps()

Redefine todas as armadilhas para 0.

Adicionado na versão 3.3.

copy()

Retorna uma duplicata do contexto.

copy_decimal(num)

Retorna uma cópia da instância de Decimal num.

create_decimal(num)

Cria uma nova instância decimal a partir de num, mas usando self como contexto. Diferentemente do construtor de Decimal, a precisão do contexto, o método de arredondamento, os sinalizadores e as armadilhas são aplicadas à conversão.

Isso é útil porque as constantes geralmente são fornecidas com uma precisão maior do que a necessária pela aplicação. Outro benefício é que o arredondamento elimina imediatamente os efeitos indesejados dos dígitos além da precisão atual. No exemplo a seguir, o uso de entradas não arredondadas significa que adicionar zero a uma soma pode alterar o resultado:

>>> getcontext().prec = 3
>>> Decimal('3.4445') + Decimal('1.0023')
Decimal('4.45')
>>> Decimal('3.4445') + Decimal(0) + Decimal('1.0023')
Decimal('4.44')

Este método implementa a operação “to-number” da especificação IBM. Se o argumento for uma string, nenhum espaço em branco à esquerda ou à direita ou sublinhado serão permitidos.

create_decimal_from_float(f)

Cria uma nova instância de Decimal a partir de um ponto flutuante f, mas arredondando usando self como contexto. Diferentemente do método da classe Decimal.from_float(), a precisão do contexto, o método de arredondamento, os sinalizadores e as armadilhas são aplicados à conversão.

>>> context = Context(prec=5, rounding=ROUND_DOWN)
>>> context.create_decimal_from_float(math.pi)
Decimal('3.1415')
>>> context = Context(prec=5, traps=[Inexact])
>>> context.create_decimal_from_float(math.pi)
Traceback (most recent call last):
    ...
decimal.Inexact: None

Adicionado na versão 3.1.

Etiny()

Retorna um valor igual a Emin - prec + 1, que é o valor mínimo do expoente para resultados subnormais. Quando ocorre o estouro negativo, o expoente é definido como Etiny.

Etop()

Retorna um valor igual a Emax - prec + 1.

A abordagem usual para trabalhar com decimais é criar instâncias de Decimal e depois aplicar operações aritméticas que ocorrem no contexto atual da thread ativa. Uma abordagem alternativa é usar métodos de contexto para calcular dentro de um contexto específico. Os métodos são semelhantes aos da classe Decimal e são contados apenas brevemente aqui.

abs(x)

Retorna o valor absoluto de x.

add(x, y)

Retorna a soma de x e y.

canonical(x)

Retorna o mesmo objeto de Decimal x.

compare(x, y)

Compara x e y numericamente.

compare_signal(x, y)

Compara os valores dos dois operandos numericamente.

compare_total(x, y)

Compara dois operandos usando sua representação abstrata.

compare_total_mag(x, y)

Compara dois operandos usando sua representação abstrata, ignorando o sinal.

copy_abs(x)

Retorna uma cópia de x com o sinal definido para 0.

copy_negate(x)

Retorna uma cópia de x com o sinal invertido.

copy_sign(x, y)

Copia o sinal de y para x.

divide(x, y)

Retorna x dividido por y.

divide_int(x, y)

Retorna x dividido por y, truncado para um inteiro.

divmod(x, y)

Divide dois números e retorna a parte inteira do resultado.

exp(x)

Retorna e ** x.

fma(x, y, z)

Retorna x multiplicado por y, mais z.

is_canonical(x)

Retorna True se x for canonical; caso contrário, retorna False.

is_finite(x)

Retorna True se x for finito; caso contrário, retorna False.

is_infinite(x)

Retorna True se x for infinito; caso contrário, retorna False.

is_nan(x)

Retorna True se x for qNaN ou sNaN; caso contrário, retorna False.

is_normal(x)

Retorna True se x for um número normal; caso contrário, retorna False.

is_qnan(x)

Retorna True se x for um NaN silencioso; caso contrário, retorna False.

is_signed(x)

Retorna True se x for negativo; caso contrário, retorna False.

is_snan(x)

Retorna True se x for um NaN sinalizador; caso contrário, retorna False.

is_subnormal(x)

Retorna True se x for subnormal; caso contrário, retorna False.

is_zero(x)

Retorna True se x for zero; caso contrário, retorna False.

ln(x)

Retorna o logaritmo natural (base e) de x.

log10(x)

Retorna o logaritmo de base 10 de x.

logb(x)

Retorna o expoente da magnitude do MSD do operando.

logical_and(x, y)

Aplica a operação lógica e entre cada dígito do operando.

logical_invert(x)

Inverte todos os dígitos em x.

logical_or(x, y)

Aplica a operação lógica ou entre cada dígito do operando.

logical_xor(x, y)

Aplica a operação lógica ou exclusivo entre cada dígito do operando.

max(x, y)

Compara dois valores numericamente e retorna o máximo.

max_mag(x, y)

Compara dois valores numericamente com seu sinal ignorado.

min(x, y)

Compara dois valores numericamente e retorna o mínimo.

min_mag(x, y)

Compara dois valores numericamente com seu sinal ignorado.

minus(x)

Minus corresponde ao operador de subtração de prefixo unário no Python.

multiply(x, y)

Retorna o produto de x e y.

next_minus(x)

Retorna o maior número representável menor que x.

next_plus(x)

Retorna o menor número representável maior que x.

next_toward(x, y)

Retorna o número mais próximo a x, em direção a y.

normalize(x)

Reduz x para sua forma mais simples.

number_class(x)

Retorna uma indicação da classe de x.

plus(x)

Plus corresponde ao operador de soma de prefixo unário no Python. Esta operação aplica a precisão e o arredondamento do contexto, portanto não é uma operação de identidade.

power(x, y, modulo=None)

Retorna x à potência de y, com a redução de módulo modulo se fornecido.

Com dois argumentos, calcula x**y. Se x for negativo, y deve ser inteiro. O resultado será inexato, a menos que y seja inteiro e o resultado seja finito e possa ser expresso exatamente em “precisão” dígitos. O modo de arredondamento do contexto é usado. Os resultados são sempre arredondados corretamente na versão Python.

Decimal(0) ** Decimal(0) resulta em InvalidOperation, e se InvalidOperation não for capturado, resulta em Decimal('NaN').

Alterado na versão 3.3: O módulo C calcula power() em termos das funções corretamente arredondadas exp() e ln(). O resultado é bem definido, mas apenas “quase sempre corretamente arredondado”.

Com três argumentos, calcula (x**y) % modulo. Para o formulário de três argumentos, as seguintes restrições nos argumentos são válidas:

todos os três argumentos devem ser inteiros

y não pode ser negativo

pelo menos um de x ou y não pode ser negativo

modulo não pode ser zero e deve ter pelo menos “precisão” dígitos

O valor resultante de Context.power(x, y, modulo) é igual ao valor que seria obtido ao computar (x**y) % modulo com precisão ilimitada, mas é calculado com mais eficiência . O expoente do resultado é zero, independentemente dos expoentes de x, y e modulo. O resultado é sempre exato.

quantize(x, y)

Retorna um valor igual a x (arredondado), com o expoente de y.

radix()

Só retorna 10, já que isso é Decimal, :)

remainder(x, y)

Retorna o resto da divisão inteira.

O sinal do resultado, se diferente de zero, é o mesmo que o do dividendo original.

remainder_near(x, y)

Retorna x - y * n, onde n é o número inteiro mais próximo do valor exato de x / y (se o resultado for 0, seu sinal será o sinal de x).

rotate(x, y)

Retorna uma cópia re de x, y vezes.

same_quantum(x, y)

Retorna True se os dois operandos tiverem o mesmo expoente.

scaleb(x, y)

Retorna o primeiro operando após adicionar o segundo valor seu exp.

shift(x, y)

Retorna uma cópia deslocada de x, y vezes.

sqrt(x)

Raiz quadrada de um número não negativo para precisão do contexto.

subtract(x, y)

Retorna a diferença entre x e y.

to_eng_string(x)

Converte em uma string, usando notação de engenharia, se for necessário um expoente.

A notação de engenharia possui um expoente que é múltiplo de 3. Isso pode deixar até 3 dígitos à esquerda da casa decimal e pode exigir a adição de um ou dois zeros à direita.

to_integral_exact(x)

Arredonda para um número inteiro.

to_sci_string(x)

Converte um número em uma string usando notação científica.

Constantes

As constantes nesta seção são relevantes apenas para o módulo C. Eles também estão incluídos na versão pura do Python para compatibilidade.

32 bits

64 bits

decimal.MAX_PREC

425000000

999999999999999999

decimal.MAX_EMAX

425000000

999999999999999999

decimal.MIN_EMIN

-425000000

-999999999999999999

decimal.MIN_ETINY

-849999999

-1999999999999999997

decimal.HAVE_THREADS

O valor é True. Descontinuado porque o Python agora sempre tem threads.

Obsoleto desde a versão 3.9.

decimal.HAVE_CONTEXTVAR

O valor padrão é True. Se o Python for configurado usando a opção --without-decimal-contextvar, a versão C usará um contexto local de thread em vez de local de corrotina e o valor será False. Isso é um pouco mais rápido em alguns cenários de contexto aninhados.

Adicionado na versão 3.8.3.

Modos de arredondamento

decimal.ROUND_CEILING

Arredonda para Infinity.

decimal.ROUND_DOWN

Arredonda para zero.

decimal.ROUND_FLOOR

Arredonda para -Infinity.

decimal.ROUND_HALF_DOWN

Arrendonda para o mais próximo com empates tendendo a zero.

decimal.ROUND_HALF_EVEN

Arredonda para o mais próximo com empates indo para o mais próximo inteiro par.

decimal.ROUND_HALF_UP

Arrendonda para o mais próximo com empates se afastando de zero.

decimal.ROUND_UP

Arredonda se afastando de zero.

decimal.ROUND_05UP

Arredonda se afastando de zero se o último dígito após o arredondamento para zero fosse 0 ou 5; caso contrário, arredonda para zero.

Sinais

Sinais representam condições que surgem durante o cálculo. Cada um corresponde a um sinalizador de contexto e um ativador de armadilha de contexto.

O sinalizador de contexto é definido sempre que a condição é encontrada. Após o cálculo, os sinalizadores podem ser verificados para fins informativos (por exemplo, para determinar se um cálculo era exato). Depois de verificar os sinalizadores, certifique-se de limpar todos os sinalizadores antes de iniciar o próximo cálculo.

Se o ativador de armadilha de contexto estiver definido para o sinal, a condição fará com que uma exceção Python seja levantada. Por exemplo, se a armadilha DivisionByZero for configurada, uma exceção DivisionByZero será levantada ao encontrar a condição.

class decimal.Clamped

Altera um expoente para ajustar as restrições de representação.

Normalmente, clamping ocorre quando um expoente fica fora dos limites do contexto Emin e Emax. Se possível, o expoente é reduzido para caber adicionando zeros ao coeficiente.

class decimal.DecimalException

Classe base para outros sinais e uma subclasse de ArithmeticError.

class decimal.DivisionByZero

Sinaliza a divisão de um número não infinito por zero.

Pode ocorrer com divisão, divisão de módulo ou ao elevar um número a uma potência negativa. Se este sinal não for capturado, retornará Infinity ou -Infinity com o sinal determinado pelas entradas do cálculo.

class decimal.Inexact

Indica que o arredondamento ocorreu e o resultado não é exato.

Sinaliza quando dígitos diferentes de zero foram descartados durante o arredondamento. O resultado arredondado é retornado. O sinalizador ou armadilha de sinal é usado para detectar quando os resultados são inexatos.

class decimal.InvalidOperation

Uma operação inválida foi realizada.

Indica que uma operação foi solicitada que não faz sentido. Se não for capturado, retorna NaN. As possíveis causas incluem:

Infinity - Infinity
0 * Infinity
Infinity / Infinity
x % 0
Infinity % x
sqrt(-x) and x > 0
0 ** 0
x ** (non-integer)
x ** Infinity

class decimal.Overflow

Estouro numérico.

Indica que o expoente é maior que Context.Emax após o arredondamento ocorrer. Se não for capturado, o resultado depende do modo de arredondamento, puxando para dentro para o maior número finito representável ou arredondando para fora para Infinity. Nos dois casos, Inexact e Rounded também são sinalizados.

class decimal.Rounded

O arredondamento ocorreu, embora possivelmente nenhuma informação tenha sido perdida.

Sinalizado sempre que o arredondamento descarta dígitos; mesmo que esses dígitos sejam zero (como arredondamento 5.00 a 5.0). Se não for capturado, retorna o resultado inalterado. Este sinal é usado para detectar a perda de dígitos significativos.

class decimal.Subnormal

O expoente foi menor que Emin antes do arredondamento.

Ocorre quando um resultado da operação é subnormal (o expoente é muito pequeno). Se não for capturado, retorna o resultado inalterado.

class decimal.Underflow

Estouro negativo numérico com resultado arredondado para zero.

Ocorre quando um resultado subnormal é empurrado para zero arredondando. Inexact e Subnormal também são sinalizados.

class decimal.FloatOperation

Ativa semânticas mais rigorosas para misturar objetos de float com de Decimal.

Se o sinal não for capturado (padrão), a mistura de tipos float e Decimal será permitida no construtor Decimal, create_decimal() e em todos os operadores de comparação. Tanto a conversão quanto as comparações são exatas. Qualquer ocorrência de uma operação mista é registrada silenciosamente pela configuração FloatOperation nos sinalizadores de contexto. Conversões explícitas com from_float() ou create_decimal_from_float() não definem o sinalizador.

Caso contrário (o sinal é capturado), apenas comparações de igualdade e conversões explícitas são silenciosas. Todas as outras operações mistas levantam FloatOperation.

A tabela a seguir resume a hierarquia de sinais:

exceptions.ArithmeticError(exceptions.Exception)
    DecimalException
        Clamped
        DivisionByZero(DecimalException, exceptions.ZeroDivisionError)
        Inexact
            Overflow(Inexact, Rounded)
            Underflow(Inexact, Rounded, Subnormal)
        InvalidOperation
        Rounded
        Subnormal
        FloatOperation(DecimalException, exceptions.TypeError)

Observações sobre ponto flutuante

Atenuando o erro de arredondamento com maior precisão

O uso do ponto flutuante decimal elimina o erro de representação decimal (possibilitando representar 0.1 de forma exata); no entanto, algumas operações ainda podem sofrer erros de arredondamento quando dígitos diferentes de zero excederem a precisão fixa.

Os efeitos do erro de arredondamento podem ser amplificados pela adição ou subtração de quantidades quase compensadoras, resultando em perda de significância. Knuth fornece dois exemplos instrutivos em que a aritmética de ponto flutuante arredondado com precisão insuficiente causa a quebra das propriedades associativas e distributivas da adição:

# Examples from Seminumerical Algorithms, Section 4.2.2.
>>> from decimal import Decimal, getcontext
>>> getcontext().prec = 8

>>> u, v, w = Decimal(11111113), Decimal(-11111111), Decimal('7.51111111')
>>> (u + v) + w
Decimal('9.5111111')
>>> u + (v + w)
Decimal('10')

>>> u, v, w = Decimal(20000), Decimal(-6), Decimal('6.0000003')
>>> (u*v) + (u*w)
Decimal('0.01')
>>> u * (v+w)
Decimal('0.0060000')

O módulo decimal permite restaurar as identidades expandindo a precisão o suficiente para evitar perda de significância:

>>> getcontext().prec = 20
>>> u, v, w = Decimal(11111113), Decimal(-11111111), Decimal('7.51111111')
>>> (u + v) + w
Decimal('9.51111111')
>>> u + (v + w)
Decimal('9.51111111')
>>>
>>> u, v, w = Decimal(20000), Decimal(-6), Decimal('6.0000003')
>>> (u*v) + (u*w)
Decimal('0.0060000')
>>> u * (v+w)
Decimal('0.0060000')

Valores especiais

O sistema numérico para o módulo decimal fornece valores especiais, incluindo NaN, sNaN, -Infinity, Infinity, e dois zeros, +0 e -0.

Os infinitos podem ser construídos diretamente com: Decimal('Infinity'). Além disso, eles podem resultar da divisão por zero quando o sinal DivisionByZero não é capturado. Da mesma forma, quando o sinal Overflow não é capturado, o infinito pode resultar do arredondamento além dos limites do maior número representável.

Os infinitos contêm sinais (afins) e podem ser usados em operações aritméticas, onde são tratados como números muito grandes e indeterminados. Por exemplo, adicionar uma constante ao infinito fornece outro resultado infinito.

Algumas operações são indeterminadas e retornam NaN ou, se o sinal InvalidOperation for capturado, levanta uma exceção. Por exemplo, 0/0 retorna NaN, que significa “não é um número” em inglês. Esta variação de NaN é silenciosa e, uma vez criada, fluirá através de outros cálculos sempre resultando em outra NaN. Esse comportamento pode ser útil para uma série de cálculos que ocasionalmente têm entradas ausentes — ele permite que o cálculo continue enquanto sinaliza resultados específicos como inválidos.

Uma variante é sNaN, que sinaliza em vez de permanecer em silêncio após cada operação. Esse é um valor de retorno útil quando um resultado inválido precisa interromper um cálculo para tratamento especial.

O comportamento dos operadores de comparação do Python pode ser um pouco surpreendente onde um NaN está envolvido. Um teste de igualdade em que um dos operandos é um NaN silencioso ou sinalizador sempre retorna False (mesmo ao fazer Decimal('NaN')==Decimal('NaN')), enquanto um teste de desigualdade sempre retorna True. Uma tentativa de comparar dois decimais usando qualquer um dos operadores <, <=, > ou >= levantará o sinal InvalidOperation se um dos operandos for um NaN e retorna False se esse sinal não for capturado. Observe que a especificação aritmética decimal geral não especifica o comportamento das comparações diretas; estas regras para comparações envolvendo a NaN foram retiradas do padrão IEEE 854 (consulte a Tabela 3 na seção 5.7). Para garantir uma rígida conformidade com os padrões, use os métodos compare() e compare_signal().

Os zeros com sinais podem resultar de cálculos insuficientes. Eles mantêm o sinal que teria resultado se o cálculo tivesse sido realizado com maior precisão. Como sua magnitude é zero, os zeros positivos e negativos são tratados como iguais e seu sinal é informacional.

Além dos dois zeros com sinais que são distintos e iguais, existem várias representações de zero com diferentes precisões e ainda com valor equivalente. Isso leva um pouco de tempo para se acostumar. Para um olho acostumado a representações de ponto flutuante normalizadas, não é imediatamente óbvio que o seguinte cálculo retorne um valor igual a zero:

>>> 1 / Decimal('Infinity')
Decimal('0E-1000026')

Trabalhando com threads

A função getcontext() acessa um objeto Context diferente para cada thread. Ter contextos de threads separadas significa que as threads podem fazer alterações (como getcontext().prec=10) sem interferir em outras threads.

Da mesma forma, a função setcontext() atribui automaticamente seu alvo à thread atual.

Se setcontext() não tiver sido chamado antes de getcontext(), então getcontext() criará automaticamente um novo contexto para uso na thread atual.

O novo contexto é copiado de um contexto protótipo chamado DefaultContext. Para controlar os padrões para que cada thread, use os mesmos valores em todo a aplicação, modifique diretamente o objeto DefaultContext. Isso deve ser feito antes de qualquer thread ser iniciada, para que não haja uma condição de corrida entre as threads chamando getcontext(). Por exemplo:

# Set applicationwide defaults for all threads about to be launched
DefaultContext.prec = 12
DefaultContext.rounding = ROUND_DOWN
DefaultContext.traps = ExtendedContext.traps.copy()
DefaultContext.traps[InvalidOperation] = 1
setcontext(DefaultContext)

# Afterwards, the threads can be started
t1.start()
t2.start()
t3.start()
 . . .

Receitas

Aqui estão algumas receitas que servem como funções utilitárias e que demonstram maneiras de trabalhar com a classe Decimal:

def moneyfmt(value, places=2, curr='', sep=',', dp='.',
             pos='', neg='-', trailneg=''):
    """Convert Decimal to a money formatted string.

    places:  required number of places after the decimal point
    curr:    optional currency symbol before the sign (may be blank)
    sep:     optional grouping separator (comma, period, space, or blank)
    dp:      decimal point indicator (comma or period)
             only specify as blank when places is zero
    pos:     optional sign for positive numbers: '+', space or blank
    neg:     optional sign for negative numbers: '-', '(', space or blank
    trailneg:optional trailing minus indicator:  '-', ')', space or blank

    >>> d = Decimal('-1234567.8901')
    >>> moneyfmt(d, curr='$')
    '-$1,234,567.89'
    >>> moneyfmt(d, places=0, sep='.', dp='', neg='', trailneg='-')
    '1.234.568-'
    >>> moneyfmt(d, curr='$', neg='(', trailneg=')')
    '($1,234,567.89)'
    >>> moneyfmt(Decimal(123456789), sep=' ')
    '123 456 789.00'
    >>> moneyfmt(Decimal('-0.02'), neg='<', trailneg='>')
    '<0.02>'

    """
    q = Decimal(10) ** -places      # 2 places --> '0.01'
    sign, digits, exp = value.quantize(q).as_tuple()
    result = []
    digits = list(map(str, digits))
    build, next = result.append, digits.pop
    if sign:
        build(trailneg)
    for i in range(places):
        build(next() if digits else '0')
    if places:
        build(dp)
    if not digits:
        build('0')
    i = 0
    while digits:
        build(next())
        i += 1
        if i == 3 and digits:
            i = 0
            build(sep)
    build(curr)
    build(neg if sign else pos)
    return ''.join(reversed(result))

def pi():
    """Compute Pi to the current precision.

    >>> print(pi())
    3.141592653589793238462643383

    """
    getcontext().prec += 2  # extra digits for intermediate steps
    three = Decimal(3)      # substitute "three=3.0" for regular floats
    lasts, t, s, n, na, d, da = 0, three, 3, 1, 0, 0, 24
    while s != lasts:
        lasts = s
        n, na = n+na, na+8
        d, da = d+da, da+32
        t = (t * n) / d
        s += t
    getcontext().prec -= 2
    return +s               # unary plus applies the new precision

def exp(x):
    """Return e raised to the power of x.  Result type matches input type.

    >>> print(exp(Decimal(1)))
    2.718281828459045235360287471
    >>> print(exp(Decimal(2)))
    7.389056098930650227230427461
    >>> print(exp(2.0))
    7.38905609893
    >>> print(exp(2+0j))
    (7.38905609893+0j)

    """
    getcontext().prec += 2
    i, lasts, s, fact, num = 0, 0, 1, 1, 1
    while s != lasts:
        lasts = s
        i += 1
        fact *= i
        num *= x
        s += num / fact
    getcontext().prec -= 2
    return +s

def cos(x):
    """Return the cosine of x as measured in radians.

    The Taylor series approximation works best for a small value of x.
    For larger values, first compute x = x % (2 * pi).

    >>> print(cos(Decimal('0.5')))
    0.8775825618903727161162815826
    >>> print(cos(0.5))
    0.87758256189
    >>> print(cos(0.5+0j))
    (0.87758256189+0j)

    """
    getcontext().prec += 2
    i, lasts, s, fact, num, sign = 0, 0, 1, 1, 1, 1
    while s != lasts:
        lasts = s
        i += 2
        fact *= i * (i-1)
        num *= x * x
        sign *= -1
        s += num / fact * sign
    getcontext().prec -= 2
    return +s

def sin(x):
    """Return the sine of x as measured in radians.

    The Taylor series approximation works best for a small value of x.
    For larger values, first compute x = x % (2 * pi).

    >>> print(sin(Decimal('0.5')))
    0.4794255386042030002732879352
    >>> print(sin(0.5))
    0.479425538604
    >>> print(sin(0.5+0j))
    (0.479425538604+0j)

    """
    getcontext().prec += 2
    i, lasts, s, fact, num, sign = 1, 0, x, 1, x, 1
    while s != lasts:
        lasts = s
        i += 2
        fact *= i * (i-1)
        num *= x * x
        sign *= -1
        s += num / fact * sign
    getcontext().prec -= 2
    return +s

Perguntas frequentes sobre Decimal

P. É complicado digitar decimal.Decimal('1234.5'). Existe uma maneira de minimizar a digitação ao usar o interpretador interativo?

R. Alguns usuários abreviam o construtor para apenas uma única letra:

>>> D = decimal.Decimal
>>> D('1.23') + D('3.45')
Decimal('4.68')

P. Em uma aplicação de ponto fixo com duas casas decimais, algumas entradas têm muitas casas e precisam ser arredondadas. Outros não devem ter dígitos em excesso e precisam ser validados. Quais métodos devem ser usados?

R. O método quantize() arredonda para um número fixo de casas decimais. Se a armadilha Inexact estiver configurada, também será útil para validação:

>>> TWOPLACES = Decimal(10) ** -2       # same as Decimal('0.01')

>>> # Round to two places
>>> Decimal('3.214').quantize(TWOPLACES)
Decimal('3.21')

>>> # Validate that a number does not exceed two places
>>> Decimal('3.21').quantize(TWOPLACES, context=Context(traps=[Inexact]))
Decimal('3.21')

>>> Decimal('3.214').quantize(TWOPLACES, context=Context(traps=[Inexact]))
Traceback (most recent call last):
   ...
Inexact: None

P. Assim que eu tiver entradas de duas casas válidas, como mantenho essa invariante em uma aplicação?

R. Algumas operações como adição, subtração e multiplicação por um número inteiro preservam automaticamente o ponto fixo. Outras operações, como divisão e multiplicação não inteira, alteram o número de casas decimais e precisam ser seguidas com uma etapa quantize():

>>> a = Decimal('102.72')           # Initial fixed-point values
>>> b = Decimal('3.17')
>>> a + b                           # Addition preserves fixed-point
Decimal('105.89')
>>> a - b
Decimal('99.55')
>>> a * 42                          # So does integer multiplication
Decimal('4314.24')
>>> (a * b).quantize(TWOPLACES)     # Must quantize non-integer multiplication
Decimal('325.62')
>>> (b / a).quantize(TWOPLACES)     # And quantize division
Decimal('0.03')

No desenvolvimento de aplicações de ponto fixo, é conveniente definir funções para manipular a etapa quantize():

>>> def mul(x, y, fp=TWOPLACES):
...     return (x * y).quantize(fp)
...
>>> def div(x, y, fp=TWOPLACES):
...     return (x / y).quantize(fp)

>>> mul(a, b)                       # Automatically preserve fixed-point
Decimal('325.62')
>>> div(b, a)
Decimal('0.03')

P. Existem várias maneiras de expressar o mesmo valor. Os números 200, 200.000, 2E2 e .02E+4 têm todos o mesmo valor em várias precisões. Existe uma maneira de transformá-los em um único valor canônico reconhecível?

R. O método normalize() mapeia todos os valores equivalentes para um único representativo:

>>> values = map(Decimal, '200 200.000 2E2 .02E+4'.split())
>>> [v.normalize() for v in values]
[Decimal('2E+2'), Decimal('2E+2'), Decimal('2E+2'), Decimal('2E+2')]

P. Quando ocorre o arredondamento em um cálculo?

R. Ocorre após o cálculo. A filosofia da especificação decimal é que os números são considerados exatos e criados independentemente do contexto atual. Eles podem até ter maior precisão do que o contexto atual. O processo de cálculo com essas entradas exatas e, em seguida, o arredondamento (ou outras operações de contexto) é aplicado ao resultado do cálculo:

>>> getcontext().prec = 5
>>> pi = Decimal('3.1415926535')   # More than 5 digits
>>> pi                             # All digits are retained
Decimal('3.1415926535')
>>> pi + 0                         # Rounded after an addition
Decimal('3.1416')
>>> pi - Decimal('0.00005')        # Subtract unrounded numbers, then round
Decimal('3.1415')
>>> pi + 0 - Decimal('0.00005').   # Intermediate values are rounded
Decimal('3.1416')

P. Alguns valores decimais sempre são exibidas com notação exponencial. Existe uma maneira de obter uma representação não exponencial?

R. Para alguns valores, a notação exponencial é a única maneira de expressar o número de casas significativas no coeficiente. Por exemplo, expressar 5.0E+3 como 5000 mantém o valor constante, mas não pode mostrar a significância de duas casa do original.

Se uma aplicação não se importa com o rastreamento da significância, é fácil remover o expoente e os zeros à direita, perdendo a significância, mas mantendo o valor inalterado:

>>> def remove_exponent(d):
...     return d.quantize(Decimal(1)) if d == d.to_integral() else d.normalize()

>>> remove_exponent(Decimal('5E+3'))
Decimal('5000')

P. Existe uma maneira de converter um float comum em um Decimal?

R. Sim, qualquer número de ponto flutuante binário pode ser expresso exatamente como um Decimal, embora uma conversão exata possa exigir mais precisão do que a intuição sugere:

>>> Decimal(math.pi)
Decimal('3.141592653589793115997963468544185161590576171875')

P. Em um cálculo complexo, como posso ter certeza de que não obtive um resultado falso devido à precisão insuficiente ou a anomalias de arredondamento.

R. O módulo decimal facilita o teste de resultados. Uma prática recomendada é executar novamente os cálculos usando maior precisão e com vários modos de arredondamento. Resultados amplamente diferentes indicam precisão insuficiente, problemas no modo de arredondamento, entradas mal condicionadas ou um algoritmo numericamente instável.

P. Notei que a precisão do contexto é aplicada aos resultados das operações, mas não às entradas. Há algo a observar ao misturar valores de diferentes precisões?

R. Sim. O princípio é que todos os valores são considerados exatos, assim como a aritmética desses valores. Somente os resultados são arredondados. A vantagem das entradas é que “o que você vê é o que você obtém”. Uma desvantagem é que os resultados podem parecer estranhos se você esquecer que as entradas não foram arredondadas:

>>> getcontext().prec = 3
>>> Decimal('3.104') + Decimal('2.104')
Decimal('5.21')
>>> Decimal('3.104') + Decimal('0.000') + Decimal('2.104')
Decimal('5.20')

A solução é aumentar a precisão ou forçar o arredondamento das entradas usando a operação unária de mais:

>>> getcontext().prec = 3
>>> +Decimal('1.23456789')      # unary plus triggers rounding
Decimal('1.23')

Como alternativa, as entradas podem ser arredondadas na criação usando o método Context.create_decimal():

>>> Context(prec=5, rounding=ROUND_DOWN).create_decimal('1.2345678')
Decimal('1.2345')

P. A implementação do CPython é rápida para números grandes?

A. Sim. Nas implementações CPython e PyPy3, as versões C/CFFI do módulo decimal integram a biblioteca de alta velocidade libmpdec [https://www.bytereef.org/mpdecimal/doc/libmpdec/index.html] para precisão arbitrária de aritmética de ponto flutuante decimal corretamente arredondado [1]. libmpdec usa a multiplicação de Karatsuba [https://pt.wikipedia.org/wiki/Algoritmo_de_Karatsuba] para números com tamanho médio e a Transformada Numérica de Fourier [https://en.wikipedia.org/wiki/Discrete_Fourier_transform_(general)#Number-theoretic_transform] para números muito grandes.

O contexto deve ser adaptado para uma aritmética exata de precisão arbitrária. Emin e Emax devem sempre ser configurados com os valores máximos, clamp deve sempre ser 0 (o padrão). A configuração de prec requer alguns cuidados.

A abordagem mais fácil para testar a aritmética do bignum é usar o valor máximo para prec também [2]:

>>> setcontext(Context(prec=MAX_PREC, Emax=MAX_EMAX, Emin=MIN_EMIN))
>>> x = Decimal(2) ** 256
>>> x / 128
Decimal('904625697166532776746648320380374280103671755200316906558262375061821325312')

Para resultados inexatos, MAX_PREC é muito grande em plataformas de 64 bits e a memória disponível será insuficiente:

>>> Decimal(1) / 3
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
MemoryError

Em sistemas com alocação excessiva (por exemplo, Linux), uma abordagem mais sofisticada é ajustar prec à quantidade de RAM disponível. Suponha que você tenha 8 GB de RAM e espere 10 operandos simultâneos usando no máximo 500 MB cada:

>>> import sys
>>>
>>> # Maximum number of digits for a single operand using 500MB in 8-byte words
>>> # with 19 digits per word (4-byte and 9 digits for the 32-bit build):
>>> maxdigits = 19 * ((500 * 1024**2) // 8)
>>>
>>> # Check that this works:
>>> c = Context(prec=maxdigits, Emax=MAX_EMAX, Emin=MIN_EMIN)
>>> c.traps[Inexact] = True
>>> setcontext(c)
>>>
>>> # Fill the available precision with nines:
>>> x = Decimal(0).logical_invert() * 9
>>> sys.getsizeof(x)
524288112
>>> x + 2
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  decimal.Inexact: [<class 'decimal.Inexact'>]

Em geral (e especialmente em sistemas sem alocação excessiva), recomenda-se estimar limites ainda mais apertados e definir a armadilha Inexact se for esperado que todos os cálculos sejam mais precisos.

[1]

Adicionado na versão 3.3.

[2]

Alterado na versão 3.9: Esta abordagem agora funciona para todos os resultados exatos, exceto para potências de números que não sejam inteiros.

fractions — Números racionais

Código-fonte: Lib/fractions.py [https://github.com/python/cpython/tree/3.13/Lib/fractions.py]

O módulo fractions fornece suporte para aritmética de números racionais.

Uma instância de Fraction pode ser construída a partir de um par de números inteiros, de outro número racional ou de uma string.

class fractions.Fraction(numerator=0, denominator=1)

class fractions.Fraction(other_fraction)

class fractions.Fraction(float)

class fractions.Fraction(decimal)

class fractions.Fraction(string)

A primeira versão requer que numerator e denominator sejam instâncias de numbers.Rational e retorna uma nova instância de Fraction com o valor numerator/denominator. Se denominator for 0, ele levanta uma ZeroDivisionError. A segunda versão requer que other_fraction seja uma instância de numbers.Rational e retorna uma instância de Fraction com o mesmo valor. As próximas duas versões aceitam uma instância de float ou decimal.Decimal e retornam uma instância de Fraction com exatamente o mesmo valor. Note que devido aos problemas usuais com ponto flutuante binário (veja Aritmética de ponto flutuante: problemas e limitações), o argumento para Fraction(1.1) não é exatamente igual a 11/10, e então Fraction(1.1) não retorna Fraction(11, 10) como seria de se esperar. (Mas veja a documentação para o método limit_denominator() abaixo.) A última versão do construtor espera uma instância de string ou unicode. A forma usual para esta instância é:

[sign] numerator ['/' denominator]

onde o sign opcional pode ser ‘+’ ou ‘-’ e numerator e denominator (se presente) são strings de dígitos decimais (sublinhados podem ser usados ​​para delimitar dígitos como com literais integrais no código). Além disso, qualquer string que represente um valor finito e seja aceita pelo construtor float também é aceita pelo construtor Fraction. Em qualquer forma, a string de entrada também pode ter espaços em branco à esquerda e/ou à direita. Aqui estão alguns exemplos:

>>> from fractions import Fraction
>>> Fraction(16, -10)
Fraction(-8, 5)
>>> Fraction(123)
Fraction(123, 1)
>>> Fraction()
Fraction(0, 1)
>>> Fraction('3/7')
Fraction(3, 7)
>>> Fraction(' -3/7 ')
Fraction(-3, 7)
>>> Fraction('1.414213 \t\n')
Fraction(1414213, 1000000)
>>> Fraction('-.125')
Fraction(-1, 8)
>>> Fraction('7e-6')
Fraction(7, 1000000)
>>> Fraction(2.25)
Fraction(9, 4)
>>> Fraction(1.1)
Fraction(2476979795053773, 2251799813685248)
>>> from decimal import Decimal
>>> Fraction(Decimal('1.1'))
Fraction(11, 10)

A classe Fraction herda da classe base abstrata numbers.Rational e implementa todos os métodos e operações dessa classe. As instâncias de Fraction são hasheável e devem ser tratadas como imutáveis. Além disso, Fraction tem as seguintes propriedades e métodos:

Alterado na versão 3.2: O construtor Fraction agora aceita instâncias float e decimal.Decimal.

Alterado na versão 3.9: A função math.gcd() agora é usada para normalizar o numerator e o denominator. math.gcd() sempre retorna um tipo int. Anteriormente, o tipo GCD dependia do numerator e do denominator.

Alterado na versão 3.11: Sublinhados agora são permitidos ao criar uma instância Fraction a partir de uma string, seguindo as regras PEP 515 [https://peps.python.org/pep-0515/].

Alterado na versão 3.11: Fraction implementa __int__ agora para satisfazer verificações de instância typing.SupportsInt.

Alterado na versão 3.12: É permitido espaço ao redor da barra para entradas de string: Fraction('2 / 3').

Alterado na versão 3.12: Instâncias de Fraction agora oferecem suporte à formatação no estilo float, com tipos de apresentação "e", "E", "f", "F", "g", "G" e "%"".

Alterado na versão 3.13: A formatação de instâncias Fraction sem um tipo de apresentação agora oferece suporte a preenchimento, alinhamento, tratamento de sinais, largura mínima e agrupamento.

numerator

Numerador de Fraction no menor termo.

denominator

Denominador de Fraction no menor termo.

as_integer_ratio()

Retorna uma tupla de dois inteiros, cuja razão é igual a Fraction original. A razão está em termos mais baixos e tem um denominador positivo.

Adicionado na versão 3.8.

is_integer()

Retorna True se a Fraction for um inteiro.

Adicionado na versão 3.12.

classmethod from_float(flt)

Construtor alternativo que aceita apenas instâncias de float ou numbers.Integral. Esteja ciente de que Fraction.from_float(0.3) não é o mesmo valor que Fraction(3, 10).

Nota

A partir do Python 3.2, você também pode construir uma instância Fraction diretamente de um float.

classmethod from_decimal(dec)

Construtor alternativo que aceita somente instâncias de decimal.Decimal ou numbers.Integral.

Nota

A partir do Python 3.2, você também pode construir uma instância Fraction diretamente de uma instância de decimal.Decimal.

limit_denominator(max_denominator=1000000)

Encontra e retorna o Fraction mais próximo de self que tem denominador no máximo max_denominator. Este método é útil para encontrar aproximações racionais para um dado número de ponto flutuante:

>>> from fractions import Fraction
>>> Fraction('3.1415926535897932').limit_denominator(1000)
Fraction(355, 113)

ou para recuperar um número racional que é representado como um ponto flutuante:

>>> from math import pi, cos
>>> Fraction(cos(pi/3))
Fraction(4503599627370497, 9007199254740992)
>>> Fraction(cos(pi/3)).limit_denominator()
Fraction(1, 2)
>>> Fraction(1.1).limit_denominator()
Fraction(11, 10)

__floor__()

Retorna o maior int <= self. Este método também pode ser acessado por meio da função math.floor():

>>> from math import floor
>>> floor(Fraction(355, 113))
3

__ceil__()

Retorna o menor int >= self. Este método também pode ser acessado por meio da função math.ceil().

__round__()

__round__(ndigits)

A primeira versão retorna o int mais próximo de self, arredondando a metade para par. A segunda versão arredonda self para o múltiplo mais próximo de Fraction(1, 10**ndigits) (logicamente, se ndigits for negativo), novamente arredondando a metade para par. Este método também pode ser acessado por meio da função round().

__format__(format_spec, /)

Fornece suporte para formatação de instâncias de Fraction por meio do método str.format(), da função embutida format() ou literais de strings formatadas.

Se a string de especificação de formato format_spec não terminar com um dos tipos de apresentação 'e', 'E', 'f', 'F', 'g', 'G' ou '%', então a formatação segue as regras gerais para preenchimento, alinhamento, tratamento de sinais, largura mínima e agrupamento, conforme descrito na minilinguagem de especificação de formato. O sinalizador de “formato alternativo” '#' é suportado: se presente, ele força a string de saída a sempre incluir um denominador explícito, mesmo quando o valor que está sendo formatado é um inteiro exato. O sinalizador de preenchimento de zeros '0' não é suportado.

Se a string de especificação de formato format_spec terminar com um dos tipos de apresentação 'e', 'E', 'f', 'F', 'g', 'G' ou '%', então a formatação segue as regras descritas para o tipo float na seção Minilinguagem de especificação de formato.

Veja alguns exemplos:

>>> from fractions import Fraction
>>> format(Fraction(103993, 33102), '_')
'103_993/33_102'
>>> format(Fraction(1, 7), '.^+10')
'...+1/7...'
>>> format(Fraction(3, 1), '')
'3'
>>> format(Fraction(3, 1), '#')
'3/1'
>>> format(Fraction(1, 7), '.40g')
'0.1428571428571428571428571428571428571429'
>>> format(Fraction('1234567.855'), '_.2f')
'1_234_567.86'
>>> f"{Fraction(355, 113):*>20.6e}"
'********3.141593e+00'
>>> old_price, new_price = 499, 672
>>> "{:.2%} price increase".format(Fraction(new_price, old_price) - 1)
'34.67% price increase'

Ver também

Módulo numbers

As classes base abstratas que compõem a torre numérica.

random — Gera números pseudoaleatórios

Código-fonte: Lib/random.py [https://github.com/python/cpython/tree/3.13/Lib/random.py]

Este módulo implementa geradores de números pseudoaleatórios para várias distribuições.

Para números inteiros, há uma seleção uniforme de um intervalo. Para sequências, há uma seleção uniforme de um elemento aleatório, uma função para gerar uma permutação aleatória de uma lista internamanete e uma função para amostragem aleatória sem substituição.

Na linha real, existem funções para calcular distribuições uniforme, normal (gaussiana), log-normal, exponencial negativa, gama e beta. Para gerar distribuições de ângulos, a distribuição de von Mises está disponível.

Quase todas as funções do módulo dependem da função básica random(), que gera um ponto flutuante aleatório uniformemente no intervalo semiaberto 0.0 <= X < 1.0. Python usa o Mersenne Twister como gerador de núcleo. Produz pontos flutuantes de precisão de 53 bits e possui um período de 2**19937-1. A implementação subjacente em C é rápida e segura para threads. O Mersenne Twister é um dos geradores de números aleatórios mais amplamente testados existentes. No entanto, sendo completamente determinístico, não é adequado para todos os fins e é totalmente inadequado para fins criptográficos.

As funções fornecidas por este módulo são, na verdade, métodos vinculados de uma instância oculta da classe random.Random. Você pode instanciar suas próprias instâncias de Random para obter geradores que não compartilham estado.

A classe Random também pode ser subclassificada se você quiser usar um gerador básico diferente de sua própria criação: veja a documentação dessa classe para mais detalhes.

O módulo random também fornece a classe SystemRandom que usa a função do sistema os.urandom() para gerar números aleatórios a partir de fontes fornecidas pelo sistema operacional.

Aviso

Os geradores pseudoaleatórios deste módulo não devem ser usados para fins de segurança. Para segurança ou uso criptográfico, veja o módulo secrets.

Ver também

M. Matsumoto and T. Nishimura, “Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator”, ACM Transactions on Modeling and Computer Simulation Vol. 8, No. 1, January pp.3–30 1998.

Receita de Complementary-Multiply-with-Carry [https://code.activestate.com/recipes/576707-long-period-random-number-generator/] para um gerador de números aleatórios alternativo compatível com um longo período e operações de atualização comparativamente simples.

Nota

O gerador global de números aleatórios e as instâncias de Random são seguros para thread. No entanto, na construção com threads livres, chamadas simultâneas ao gerador global ou à mesma instância de Random podem encontrar contenção e baixo desempenho. Considere usar instâncias separadas de Random por thread.

Funções de contabilidade

random.seed(a=None, version=2)

Inicializa o gerador de números aleatórios.

Se a for omitido ou None, a hora atual do sistema será usada. Se fontes de aleatoriedade são fornecidas pelo sistema operacional, elas são usadas no lugar da hora do sistema (consulte a função os.urandom() para detalhes sobre disponibilidade).

Se a é um int, ele é usado diretamente.

Com a versão 2 (o padrão), o objeto a str, bytes ou bytearray é convertido em um objeto int e todos os seus bits são usados.

Com a versão 1 (fornecida para reproduzir sequências aleatórias de versões mais antigas do Python), o algoritmo para str e bytes gera um intervalo mais restrito de sementes.

Alterado na versão 3.2: Movido para o esquema da versão 2, que usa todos os bits em uma semente de strings.

Alterado na versão 3.11: seed deve ser um dos seguintes tipos: None, int, float, str, bytes ou bytearray.

random.getstate()

Retorna um objeto capturando o estado interno atual do gerador. Este objeto pode ser passado para setstate() para restaurar o estado.

random.setstate(state)

state deveria ter sido obtido de uma chamada anterior para getstate(), e setstate() restaura o estado interno do gerador para o que era no momento que getstate() foi chamado.

Funções para bytes

random.randbytes(n)

Gera n bytes aleatórios.

Este método não deve ser usado para gerar tokens de segurança. Use secrets.token_bytes().

Adicionado na versão 3.9.

Funções para inteiros

random.randrange(stop)

random.randrange(start, stop[, step])

Retorna um elemento selecionado aleatoriamente de range(start, stop, step).

Isso é aproximadamente equivalente a choice(range(start, stop, step)) mas provê suporte a intervalos arbitrariamente grandes e é otimizado para casos comuns.

O padrão de argumento posicional corresponde à função range().

Argumentos nomeados não devem ser usados porque podem ser interpretados de maneiras inesperadas. Por exemplo randrange(start=100) é interpretado como randrange(0, 100, 1).

Alterado na versão 3.2: randrange() é mais sofisticado em produzir valores igualmente distribuídos. Anteriormente, usava um estilo como int(random()*n), que poderia produzir distribuições ligeiramente desiguais.

Alterado na versão 3.12: A conversão automática de tipos não inteiros não é mais suportada. Chamadas como randrange(10.0) e randrange(Fraction(10, 1)) agora levantam uma TypeError.

random.randint(a, b)

Retorna um inteiro aleatório N de forma que a <= N <= b. Apelido para randrange(a, b+1).

random.getrandbits(k)

Retorna um número inteiro Python não-negativo com bits aleatórios k. Este método é fornecido com o gerador Mersenne Twister e alguns outros geradores também podem fornecê-lo como uma parte opcional da API. Quando disponível, getrandbits() permite que randrange() manipule intervalos arbitrariamente grandes.

Alterado na versão 3.9: Este método agora aceita zero em k.

Funções para sequências

random.choice(seq)

Retorna um elemento aleatório da sequência não vazia seq. Se seq estiver vazio, levanta IndexError.

random.choices(population, weights=None, *, cum_weights=None, k=1)

Retorna uma lista do tamanho de k de elementos escolhidos da population com substituição. Se a population estiver vazio, levanta IndexError.

Se uma sequência weights for especificada, as seleções serão feitas de acordo com os pesos relativos. Alternativamente, se uma sequência cum_weights for fornecida, as seleções serão feitas de acordo com os pesos cumulativos (talvez calculados usando itertools.accumulate()). Por exemplo, os pesos relativos [10, 5, 30, 5] são equivalentes aos pesos cumulativos [10, 15, 45, 50]. Internamente, os pesos relativos são convertidos em pesos acumulados antes de fazer seleções, portanto, fornecer pesos cumulativos economiza trabalho.

Se nem weights nem cum_weights forem especificados, as seleções serão feitas com igual probabilidade. Se uma sequência de pesos for fornecida, ela deverá ter o mesmo comprimento que a sequência population. É um TypeError para especificar ambos os weights e cum_weights.

weights ou cum_weights pode usar qualquer tipo numérico que interopera com os valores float retornados por random() (que inclui inteiros, pontos flutuantes, e frações mas exclui decimais). Presume-se que pesos serão não-negativos e finitos. Uma ValueError é levantada se todos os pesos forem zero.

Para uma dada semente, a função choices() com igual peso normalmente produz uma sequência diferente das chamadas repetidas para choice(). O algoritmo usado por choice() usa aritmética de ponto flutuante para consistência e velocidade internas. O algoritmo usado por choice() assume como padrão aritmética inteira com seleções repetidas para evitar pequenos vieses de erro de arredondamento.

Adicionado na versão 3.6.

Alterado na versão 3.9: Levanta uma ValueError se todos os pesos forem zero.

random.shuffle(x)

Embaralha a sequência x internamente.

Para embaralhar uma sequência imutável e retornar uma nova lista embaralhada, use sample(x, k=len(x)).

Observe que, mesmo para pequenos len(x), o número total de permutações de x pode crescer rapidamente maior que o período da maioria dos geradores de números aleatórios. Isso implica que a maioria das permutações de uma longa sequência nunca pode ser gerada. Por exemplo, uma sequência de comprimento 2080 é a maior que pode caber no período do gerador de números aleatórios Mersenne Twister.

Alterado na versão 3.11: Removido o parâmetro opcional random.

random.sample(population, k, *, counts=None)

Retorna uma lista de comprimento k de elementos únicos escolhidos na sequência populacional. Usado para amostragem aleatória sem reposição.

Retorna uma nova lista contendo elementos da população, mantendo a população original inalterada. A lista resultante está na ordem de seleção, para que todas as subfatias também sejam amostras aleatórias válidas. Isso permite que os vencedores do sorteio (a amostra) sejam divididos em grandes prêmios e vencedores de segundo lugar (as subfatias).

Os membros da população não precisam ser hasheáveis ou únicos. Se a população contiver repetições, cada ocorrência é uma seleção possível na amostra.

Elementos repetidos podem ser especificados um de cada vez ou com o parâmetro somente-nomeado opcional count. Por exemplo, sample(['red', 'blue'], counts=[4, 2], k=5) é equivalente a sample(['red', 'red', 'red', 'red', 'blue', 'blue'], k=5).

Para escolher uma amostra de um intervalo de números inteiros, use um objeto range() como argumento. Isso é especialmente rápido e com eficiência de espaço para amostragem de uma grande população: sample(range(10000000), k=60).

Se o tamanho da amostra for maior que o tamanho da população, uma ValueError é levantada.

Alterado na versão 3.9: Adicionado o parâmetro counts.

Alterado na versão 3.11: population deve ser uma sequência. A conversão automática de conjuntos em listas não é mais suportada.

Distribuições discretas

A função a seguir gera uma distribuição discreta.

random.binomialvariate(n=1, p=0.5)

Distribuição binomial [https://mathworld.wolfram.com/BinomialDistribution.html]. Retorna o número de sucessos para n tentativas independentes com a probabilidade de sucesso em cada tentativa sendo p:

Matematicamente equivalente a:

sum(random() < p for i in range(n))

O número de tentativas n deve ser um número inteiro não negativo. A probabilidade de sucesso p deve estar entre 0.0 <= p <= 1.0. O resultado é um número inteiro no intervalo 0 <= X <= n.

Adicionado na versão 3.12.

Distribuições com valor real

As funções a seguir geram distribuições específicas com valor real. Os parâmetros de função são nomeados após as variáveis correspondentes na equação da distribuição, conforme usadas na prática matemática comum; a maioria dessas equações pode ser encontrada em qualquer texto estatístico.

random.random()

Retorna o próximo número aleatório de ponto flutuante no intervalo 0.0 <= X < 1.0.

random.uniform(a, b)

Retorna um número de ponto flutuante aleatório N de forma que a <= N <= b para a <= b e b <= N <= a para b < a.

O valor final b pode ou não ser incluído no intervalo dependendo do arredondamento de ponto flutuante na expressão a + (b-a) * random().

random.triangular(low, high, mode)

Retorna um número de ponto flutuante aleatório N de forma que low <= N <= high e com o mode especificado entre esses limites. Os limites low e high são padronizados como zero e um. O argumento mode assume como padrão o ponto médio entre os limites, fornecendo uma distribuição simétrica.

random.betavariate(alpha, beta)

Distribuição beta. As condições nos parâmetros são alpha > 0 e beta > 0. Os valores retornados variam entre 0 e 1.

random.expovariate(lambd=1.0)

Distribuição exponencial. lambd é 1.0 dividido pela média desejada. Deve ser diferente de zero. (O parâmetro seria chamado “lambda”, mas é uma palavra reservada em Python.) Os valores retornados variam de 0 a infinito positivo se lambd for positivo e de infinito negativo a 0 se lambd for negativo.

Alterado na versão 3.12: Adicionado o valor padrão para lambd.

random.gammavariate(alpha, beta)

Distribuição gama. (Não a função gama!) Os parâmetros de forma e escala, alfa e beta, devem ter valores positivos. (As convenções de chamada variam e algumas fontes definem ‘beta’ como o inverso da escala).

A função de distribuição de probabilidade é:

          x ** (alpha - 1) * math.exp(-x / beta)
pdf(x) =  --------------------------------------
            math.gamma(alpha) * beta ** alpha

random.gauss(mu=0.0, sigma=1.0)

Distribuição normal, também chamada de distribuição gaussiana. mu é a média e sigma é o desvio padrão. Isto é um pouco mais rápido que a função normalvariate() definida abaixo.

Nota sobre multithreading: quando duas threads chamam esta função simultaneamente, é possível que recebam o mesmo valor de retorno. Isso pode ser evitado de três maneiras. 1) Fazer com que cada thread use uma instância diferente do gerador de números aleatórios. 2) Colocar travas em todas as chamadas. 3) Usar a função mais lenta, mas segura para thread normalvariate().

Alterado na versão 3.11: mu e sigma agora têm argumentos padrão.

random.lognormvariate(mu, sigma)

Distribuição log normal. Se você usar o logaritmo natural dessa distribuição, obterá uma distribuição normal com média mu e desvio padrão sigma. mu pode ter qualquer valor e sigma deve ser maior que zero.

random.normalvariate(mu=0.0, sigma=1.0)

Distribuição normal. mu é a média e sigma é o desvio padrão.

Alterado na versão 3.11: mu e sigma agora têm argumentos padrão.

random.vonmisesvariate(mu, kappa)

mu é o ângulo médio, expresso em radianos entre 0 e 2*pi, e kappa é o parâmetro de concentração, que deve ser maior ou igual a zero. Se kappa for igual a zero, essa distribuição será reduzida para um ângulo aleatório uniforme no intervalo de 0 a 2*pi.

random.paretovariate(alpha)

Distribuição de Pareto. alpha é o parâmetro de forma.

random.weibullvariate(alpha, beta)

Distribuição Weibull. alpha é o parâmetro de escala e beta é o parâmetro de forma.

Gerador alternativo

class random.Random([seed])

Classe que implementa o gerador de números pseudoaleatórios padrão usado pelo módulo random.

Alterado na versão 3.11: Anteriormente, o seed poderia ser qualquer objeto hasheável. Agora está limitado a: None, int, float, str, bytes ou bytearray.

Subclasses de Random devem substituir os seguintes métodos se desejarem fazer uso de um gerador básico diferente:

seed(a=None, version=2)

Substitua este método nas subclasses para personalizar o comportamento de seed() das instâncias de Random.

getstate()

Substitua este método nas subclasses para personalizar o comportamento de getstate() das instâncias de Random.

setstate(state)

Substitua este método nas subclasses para personalizar o comportamento de setstate() das instâncias de Random.

random()

Substitua este método nas subclasses para personalizar o comportamento de random() das instâncias de Random.

Opcionalmente, uma subclasse geradora personalizada também pode fornecer o seguinte método:

getrandbits(k)

Substitua este método nas subclasses para personalizar o comportamento de getrandbits() das instâncias de Random.

class random.SystemRandom([seed])

Classe que usa a função os.urandom() para gerar números aleatórios a partir de fontes fornecidas pelo sistema operacional. Não disponível em todos os sistemas. Não depende do estado do software e as sequências não são reproduzíveis. Assim, o método seed() não tem efeito e é ignorado. Os métodos getstate() e setstate() levantam NotImplementedError se chamados.

Notas sobre reprodutibilidade

Às vezes, é útil poder reproduzir as sequências fornecidas por um gerador de números pseudoaleatórios. Reutilizando um valor inicial, a mesma sequência deve ser reproduzível de execução para execução, desde que mais de uma thread não estejam em execução.

A maioria dos algoritmos e funções de propagação do módulo aleatório está sujeita a alterações nas versões de Python, mas dois aspectos são garantidos para não serem alterados:

Se um novo método de semeadura for adicionado, será oferecida um semeador compatível com versões anteriores.

O método random() do gerador continuará produzindo a mesma sequência quando o semeador compatível receber a mesma semente.

Exemplos

Exemplos básicos:

>>> random()                          # Random float:  0.0 <= x < 1.0
0.37444887175646646

>>> uniform(2.5, 10.0)                # Random float:  2.5 <= x <= 10.0
3.1800146073117523

>>> expovariate(1 / 5)                # Interval between arrivals averaging 5 seconds
5.148957571865031

>>> randrange(10)                     # Integer from 0 to 9 inclusive
7

>>> randrange(0, 101, 2)              # Even integer from 0 to 100 inclusive
26

>>> choice(['win', 'lose', 'draw'])   # Single random element from a sequence
'draw'

>>> deck = 'ace two three four'.split()
>>> shuffle(deck)                     # Shuffle a list
>>> deck
['four', 'two', 'ace', 'three']

>>> sample([10, 20, 30, 40, 50], k=4) # Four samples without replacement
[40, 10, 50, 30]

Simulações:

>>> # Six roulette wheel spins (weighted sampling with replacement)
>>> choices(['red', 'black', 'green'], [18, 18, 2], k=6)
['red', 'green', 'black', 'black', 'red', 'black']

>>> # Deal 20 cards without replacement from a deck
>>> # of 52 playing cards, and determine the proportion of cards
>>> # with a ten-value:  ten, jack, queen, or king.
>>> deal = sample(['tens', 'low cards'], counts=[16, 36], k=20)
>>> deal.count('tens') / 20
0.15

>>> # Estimate the probability of getting 5 or more heads from 7 spins
>>> # of a biased coin that settles on heads 60% of the time.
>>> sum(binomialvariate(n=7, p=0.6) >= 5 for i in range(10_000)) / 10_000
0.4169

>>> # Probability of the median of 5 samples being in middle two quartiles
>>> def trial():
...     return 2_500 <= sorted(choices(range(10_000), k=5))[2] < 7_500
...
>>> sum(trial() for i in range(10_000)) / 10_000
0.7958

Exemplo de bootstrapping estatístico [https://pt.wikipedia.org/wiki/Bootstrapping_(estatística)] usando reamostragem com substituição para estimar um intervalo de confiança para a média de uma amostra:

# https://www.thoughtco.com/example-of-bootstrapping-3126155
from statistics import fmean as mean
from random import choices

data = [41, 50, 29, 37, 81, 30, 73, 63, 20, 35, 68, 22, 60, 31, 95]
means = sorted(mean(choices(data, k=len(data))) for i in range(100))
print(f'The sample mean of {mean(data):.1f} has a 90% confidence '
      f'interval from {means[5]:.1f} to {means[94]:.1f}')

Exemplo de um teste de permutação de reamostragem [https://en.wikipedia.org/wiki/Resampling_(statistics)#Permutation_tests] para determinar a significância estatística ou valor-p [https://pt.wikipedia.org/wiki/Valor-p] de uma diferença observada entre os efeitos de uma droga em comparação com um placebo:

# Example from "Statistics is Easy" by Dennis Shasha and Manda Wilson
from statistics import fmean as mean
from random import shuffle

drug = [54, 73, 53, 70, 73, 68, 52, 65, 65]
placebo = [54, 51, 58, 44, 55, 52, 42, 47, 58, 46]
observed_diff = mean(drug) - mean(placebo)

n = 10_000
count = 0
combined = drug + placebo
for i in range(n):
    shuffle(combined)
    new_diff = mean(combined[:len(drug)]) - mean(combined[len(drug):])
    count += (new_diff >= observed_diff)

print(f'{n} label reshufflings produced only {count} instances with a difference')
print(f'at least as extreme as the observed difference of {observed_diff:.1f}.')
print(f'The one-sided p-value of {count / n:.4f} leads us to reject the null')
print(f'hypothesis that there is no difference between the drug and the placebo.')

Simulação de tempos de chegada e entregas de serviços para uma fila multisservidor:

from heapq import heapify, heapreplace
from random import expovariate, gauss
from statistics import mean, quantiles

average_arrival_interval = 5.6
average_service_time = 15.0
stdev_service_time = 3.5
num_servers = 3

waits = []
arrival_time = 0.0
servers = [0.0] * num_servers  # time when each server becomes available
heapify(servers)
for i in range(1_000_000):
    arrival_time += expovariate(1.0 / average_arrival_interval)
    next_server_available = servers[0]
    wait = max(0.0, next_server_available - arrival_time)
    waits.append(wait)
    service_duration = max(0.0, gauss(average_service_time, stdev_service_time))
    service_completed = arrival_time + wait + service_duration
    heapreplace(servers, service_completed)

print(f'Mean wait: {mean(waits):.1f}   Max wait: {max(waits):.1f}')
print('Quartiles:', [round(q, 1) for q in quantiles(waits)])

Ver também

Statistics for Hackers [https://www.youtube.com/watch?v=Iq9DzN6mvYA] um tutorial em vídeo por Jake Vanderplas [https://us.pycon.org/2016/speaker/profile/295/] sobre análise estatística usando apenas alguns conceitos fundamentais, incluindo simulação, amostragem, embaralhamento e validação cruzada.

Economics Simulation [https://nbviewer.org/url/norvig.com/ipython/Economics.ipynb] uma simulação de um mercado por Peter Norvig [https://norvig.com/bio.html] que mostra o uso eficaz de muitas das ferramentas e distribuições fornecidas por este módulo (gauss, uniform, sample, betavariate, choice, triangular e randrange).

A Concrete Introduction to Probability (using Python) [https://nbviewer.org/url/norvig.com/ipython/Probability.ipynb] um tutorial de Peter Norvig [https://norvig.com/bio.html] cobrindo os fundamentos da teoria das probabilidades, como escrever simulações e como realizar análises de dados usando Python.

Receitas

Estas receitas mostram como fazer seleções aleatórias de forma eficiente a partir dos iteradores combinatórios no módulo itertools:

def random_product(*args, repeat=1):
    "Random selection from itertools.product(*args, **kwds)"
    pools = [tuple(pool) for pool in args] * repeat
    return tuple(map(random.choice, pools))

def random_permutation(iterable, r=None):
    "Random selection from itertools.permutations(iterable, r)"
    pool = tuple(iterable)
    r = len(pool) if r is None else r
    return tuple(random.sample(pool, r))

def random_combination(iterable, r):
    "Random selection from itertools.combinations(iterable, r)"
    pool = tuple(iterable)
    n = len(pool)
    indices = sorted(random.sample(range(n), r))
    return tuple(pool[i] for i in indices)

def random_combination_with_replacement(iterable, r):
    "Choose r elements with replacement.  Order the result to match the iterable."
    # Result will be in set(itertools.combinations_with_replacement(iterable, r)).
    pool = tuple(iterable)
    n = len(pool)
    indices = sorted(random.choices(range(n), k=r))
    return tuple(pool[i] for i in indices)

O padrão de random() é retornar múltiplos de 2⁻⁵³ no intervalo 0.0 ≤ x < 1.0. Todos esses números são espaçados uniformemente e são representáveis exatamente como pontos flutuantes Python. No entanto, muitos outros pontos flutuantes representados nesse intervalo não são seleções possíveis. Por exemplo, 0.05954861408025609 não é um múltiplo inteiro de 2⁻⁵³.

A receita a seguir tem uma abordagem diferente. Todos os pontos flutuantes no intervalo são seleções possíveis. A mantissa vem de uma distribuição uniforme de inteiros no intervalo 2⁵² ≤ mantissa < 2⁵³. O expoente vem de uma distribuição geométrica onde expoentes menores que -53 ocorrem com metade da frequência do próximo expoente maior.

from random import Random
from math import ldexp

class FullRandom(Random):

    def random(self):
        mantissa = 0x10_0000_0000_0000 | self.getrandbits(52)
        exponent = -53
        x = 0
        while not x:
            x = self.getrandbits(32)
            exponent += x.bit_length() - 32
        return ldexp(mantissa, exponent)

Todas as distribuições reais valoradas na classe usarão o novo método:

>>> fr = FullRandom()
>>> fr.random()
0.05954861408025609
>>> fr.expovariate(0.25)
8.87925541791544

A receita é conceitualmente equivalente a um algoritmo que escolhe entre todos os múltiplos de 2⁻¹⁰⁷⁴ no intervalo 0.0 ≤ x < 1.0. Todos esses números são espaçados uniformemente, mas a maioria deve ser arredondada para o ponto flutuante Python representável mais próximo. (O valor 2⁻¹⁰⁷⁴ é o menor ponto flutuante positivo não normalizado e é igual a math.ulp(0.0).)

Ver também

Generating Pseudo-random Floating-Point Values [https://allendowney.com/research/rand/downey07randfloat.pdf] um artigo de Allen B. Downey descrevendo formas de gerar pontos flutuantes mais refinados do que normalmente gerados por random().

Uso na linha de comando

Adicionado na versão 3.13.

O módulo random pode ser invocado como um script na linha de comando:

python -m random [-h] [-c CHOICE [CHOICE ...] | -i N | -f N] [input ...]

As seguintes opções são aceitas:

-h, --help

Mostra a mensagem de ajuda e sai.

-c CHOICE [CHOICE ...]

--choice CHOICE [CHOICE ...]

Imprime uma escolha aleatória, usando choice().

-i <N>

--integer <N>

Imprime um inteiro aleatório entre 1 e N inclusive, usando randint().

-f <N>

--float <N>

Imprime um número de ponto flutuante aleatório entre 0 e N inclusive, usando uniform().

Se nenhuma opção for fornecida, a saída dependerá da entrada:

String ou vários: mesmo que --choice.

Inteiro mesmo que --integer.

Ponto flutuante: mesmo que --float.

Exemplos na linha de comando

Aqui estão alguns exemplos da interface de linha de comando random:

$ # Choose one at random
$ python -m random egg bacon sausage spam "Lobster Thermidor aux crevettes with a Mornay sauce"
Lobster Thermidor aux crevettes with a Mornay sauce

$ # Random integer
$ python -m random 6
6

$ # Random floating-point number
$ python -m random 1.8
1.7080016272295635

$ # With explicit arguments
$ python  -m random --choice egg bacon sausage spam "Lobster Thermidor aux crevettes with a Mornay sauce"
egg

$ python -m random --integer 6
3

$ python -m random --float 1.8
1.5666339105010318

$ python -m random --integer 6
5

$ python -m random --float 6
3.1942323316565915

statistics — Funções estatísticas

Adicionado na versão 3.4.

Código-fonte: Lib/statistics.py [https://github.com/python/cpython/tree/3.13/Lib/statistics.py]

Esse módulo fornece funções para o cálculo de estatísticas matemáticas de dados numéricos (para valores do tipo Real).

O módulo não tem a intenção de competir com bibliotecas de terceiros como NumPy [https://numpy.org], SciPy [https://scipy.org/], ou pacotes proprietários de estatísticas com todos os recursos destinados a estatísticos profissionais como Minitab, SAS e Matlab. Ela destina-se ao nível de calculadoras gráficas e científicas.

A menos que seja explicitamente indicado, essas funções suportam int, float, Decimal e Fraction. O uso com outros tipos (sejam numéricos ou não) não é atualmente suportado. Coleções com uma mistura de tipos também são indefinidas e dependentes da implementação. Se os seus dados de entrada consistem de tipos misturados, você pode usar map() para garantir um resultado consistente, por exemplo map(float, dado_entrada).

Alguns conjuntos de dados usam valores NaN (não um número) para representar dados ausentes. Como os NaNs possuem semântica de comparação incomum, eles causam comportamentos surpreendentes ou indefinidos nas funções estatísticas que classificam dados ou contam ocorrências. As funções afetadas são median(), median_low(), median_high(), median_grouped(), mode(), multimode() e quantiles(). Os valores NaN devem ser removidos antes de chamar estas funções:

>>> from statistics import median
>>> from math import isnan
>>> from itertools import filterfalse

>>> data = [20.7, float('NaN'),19.2, 18.3, float('NaN'), 14.4]
>>> sorted(data)  # This has surprising behavior
[20.7, nan, 14.4, 18.3, 19.2, nan]
>>> median(data)  # This result is unexpected
16.35

>>> sum(map(isnan, data))    # Number of missing values
2
>>> clean = list(filterfalse(isnan, data))  # Strip NaN values
>>> clean
[20.7, 19.2, 18.3, 14.4]
>>> sorted(clean)  # Sorting now works as expected
[14.4, 18.3, 19.2, 20.7]
>>> median(clean)       # This result is now well defined
18.75

Médias e medidas de valor central

Essas funções calculam a média ou o valor típico de uma população ou amostra.

mean()

Média aritmética dos dados.

fmean()

Média aritmética rápida de ponto flutuante, com ponderação opcional.

geometric_mean()

Média geométrica dos dados.

harmonic_mean()

Média harmônica dos dados.

kde()

Estima a distribuição de densidade de probabilidade dos dados.

kde_random()

Amostragem aleatória do PDF gerado por kde().

median()

Mediana (valor do meio) dos dados.

median_low()

Mediana inferior dos dados.

median_high()

Mediana superior dos dados.

median_grouped()

Mediana (50º percentil) dos dados agrupados.

mode()

Moda (valor mais comum) de dados discretos ou nominais.

multimode()

Lista de modas (valores mais comuns) de dados discretos ou nominais.

quantiles()

Divide os dados em intervalos com probabilidade igual.

Medidas de espalhamento

Essas funções calculam o quanto a população ou amostra tendem a desviar dos valores típicos ou médios.

pstdev()

Desvio padrão populacional dos dados.

pvariance()

Variância populacional dos dados.

stdev()

Desvio padrão amostral dos dados.

variance()

Variância amostral dos dados.

Estatísticas para relações entre duas entradas

Essas funções calculam estatísticas sobre relações entre duas entradas.

covariance()

Covariância amostral para duas variáveis.

correlation()

Coeficientes de correlação de Pearson e Spearman.

linear_regression()

Inclinação e intersecção para regressão linear simples.

Detalhes das funções

Nota: as funções não exigem que os dados estejam ordenados. No entanto, para conveniência do leitor, a maioria dos exemplos mostrará sequências ordenadas.

statistics.mean(data)

Retorna a média aritmética amostral de data que pode ser uma sequência ou iterável.

A média aritmética é a soma dos dados dividida pela quantidade de dados. É comumente chamada apenas de “média”, apesar de ser uma das diversas médias matemáticas. Ela representa uma medida da localização central dos dados.

Se data for vazio, uma exceção do tipo StatisticsError será levantada.

Alguns exemplos de uso:

>>> mean([1, 2, 3, 4, 4])
2.8
>>> mean([-1.0, 2.5, 3.25, 5.75])
2.625

>>> from fractions import Fraction as F
>>> mean([F(3, 7), F(1, 21), F(5, 3), F(1, 3)])
Fraction(13, 21)

>>> from decimal import Decimal as D
>>> mean([D("0.5"), D("0.75"), D("0.625"), D("0.375")])
Decimal('0.5625')

Nota

A média é fortemente afetada por outliers [https://pt.wikipedia.org/wiki/Outlier] (valor atípico) e não é necessariamente um exemplo típico dos pontos de dados. Para uma medida mais robusta, embora menos eficiente, de tendência central [https://pt.m.wikipedia.org/wiki/Tendência_central], veja median().

A média amostral fornece uma estimativa não enviesada da média populacional verdadeira, ou seja, quando a média é obtida para todas as possíveis amostras, mean(sample) converge para a média verdadeira de toda população. Se data representa toda população ao invés de uma amostra, então mean(data) é equivalente a calcular a verdadeira média populacional μ.

statistics.fmean(data, weights=None)

Converte valores em data para ponto flutuante e calcula a média aritmética.

Essa função executa mais rapidamente do que a função mean() e sempre retorna um float. data pode ser uma sequência ou iterável. Se o conjunto de dados de entrada estiver vazio, levanta uma exceção StatisticsError.

>>> fmean([3.5, 4.0, 5.25])
4.25

A ponderação opcional é suportada. Por exemplo, um professor atribui uma nota para um curso ponderando questionários em 20%, trabalhos de casa em 20%, um exame de meio de período em 30% e um exame final em 30%:

>>> grades = [85, 92, 83, 91]
>>> weights = [0.20, 0.20, 0.30, 0.30]
>>> fmean(grades, weights)
87.6

Se weights for fornecido, deve ter o mesmo comprimento que data ou uma ValueError será levantada.

Adicionado na versão 3.8.

Alterado na versão 3.11: Adicionado suporte a weights.

statistics.geometric_mean(data)

Converte valores em data para ponto flutuante e calcula a média geométrica.

A média geométrica indica a tendência central ou valor típico de data usando o produto dos valores (em oposição à média aritmética que usa a soma deles).

Levanta uma exceção StatisticsError se a entrada do conjunto de dados for vazia, contiver um zero ou um valor negativo. data pode ser uma sequência ou iterável.

Nenhum esforço especial é feito para alcançar resultados exatos. (Mas, isso pode mudar no futuro).

>>> round(geometric_mean([54, 24, 36]), 1)
36.0

Adicionado na versão 3.8.

statistics.harmonic_mean(data, weights=None)

Retorna a média harmônica de data, uma sequência ou iterável de números de valor real. Se weights for omitido ou None, então a ponderação igual é presumida.

A média harmônica é a recíproca da média arimética calculada pela função mean() dos recíprocos dos dados. Por exemplo, a média harmônica de três valores a, b e c será equivalente a 3/(1/a + 1/b + 1/c). Se um dos valores for zero, o resultado também será zero.

A média harmônica é um tipo de média, uma medida de localização central dos dados. Ela é geralmente apropriada quando se está calculando a média de razões e taxas; por exemplo, velocidades.

Suponha que um carro viaje 10 km a 40 km/h, e em seguida viaje mais 10 km a 60 km/h. Qual é a velocidade média?

>>> harmonic_mean([40, 60])
48.0

Suponha que um carro viaja a 40 km/h por 5 km e, quando o trânsito melhora, acelera para 60 km/h pelos 30 km restantes da viagem. Qual é a velocidade média?

>>> harmonic_mean([40, 60], weights=[5, 30])
56.0

StatisticsError é levantada se data for vazio, qualquer elemento for menor que zero, ou se a soma ponderada não for positiva.

O algoritmo atual tem uma saída antecipada quando encontra um zero na entrada. Isso significa que as entradas subsequentes não tem a validade testada. (Esse comportamento pode mudar no futuro.)

Adicionado na versão 3.6.

Alterado na versão 3.10: Adicionado suporte a weights.

statistics.kde(data, h, kernel='normal', *, cumulative=False)

Estimativa de densidade por Kernel (KDE) [https://www.itm-conferences.org/articles/itmconf/pdf/2018/08/itmconf_sam2018_00037.pdf]: Cria uma função de densidade de probabilidade contínua ou uma função de distribuição cumulativa a partir de amostras discretas.

A ideia básica é suavizar os dados usando uma função kernel [https://en.wikipedia.org/wiki/Kernel_(statistics)]. para ajudar a tirar inferências sobre uma população a partir de uma amostra.

O grau de suavização é controlado pelo parâmetro de escala h, que é chamado de largura de banda. Valores menores enfatizam características locais, enquanto valores maiores dão resultados mais suaves.

O kernel determina os pesos relativos dos pontos de dados da amostra. Geralmente, a escolha do formato de kernel não importa tanto quanto o parâmetro de suavização de largura de banda mais influente.

Os kernels que dão algum peso a cada ponto de amostra incluem normal (gauss), logistic e sigmoid.

Os kernels que apenas dão peso aos pontos de amostra dentro da largura de banda incluem rectangular (uniform), triangular, parabolic (epanechnikov), quartic (biweight), triweight e cosine.

Se cumulative for verdadeiro, retornará uma função de distribuição cumulativa.

Uma StatisticsError será levantada se a sequência de dados em data estiver vazia.

A Wikipédia tem um exemplo onde podemos usar kde() para gerar e plotar uma função de densidade de probabilidade estimada a partir de uma pequena amostra:

>>> sample = [-2.1, -1.3, -0.4, 1.9, 5.1, 6.2]
>>> f_hat = kde(sample, h=1.5)
>>> xarr = [i/100 for i in range(-750, 1100)]
>>> yarr = [f_hat(x) for x in xarr]

Os pontos em xarr e yarr podem ser usados ​​para fazer um gráfico PDF:

Adicionado na versão 3.13.

statistics.kde_random(data, h, kernel='normal', *, seed=None)

Retorna uma função que faz uma seleção aleatória da função de densidade de probabilidade estimada produzida por kde(data, h, kernel).

Fornecer uma seed permite seleções reproduzíveis. No futuro, os valores podem mudar um pouco conforme estimativas de funções de distribuição acumulada (CDF) inversas de kernel mais precisas forem implementadas. seed pode ser um inteiro, float, str ou bytes.

Uma StatisticsError será levantada se a sequência de dados em data estiver vazia.

Continuando o exemplo de kde(), podemos usar kde_random() para gerar novas seleções aleatórias a partir de uma função de densidade de probabilidade estimada:

>>> data = [-2.1, -1.3, -0.4, 1.9, 5.1, 6.2]
>>> rand = kde_random(data, h=1.5, seed=8675309)
>>> new_selections = [rand() for i in range(10)]
>>> [round(x, 1) for x in new_selections]
[0.7, 6.2, 1.2, 6.9, 7.0, 1.8, 2.5, -0.5, -1.8, 5.6]

Adicionado na versão 3.13.

statistics.median(data)

Retorna a mediana (o valor do meio) de dados numéricos, usando o método comum de “média entre os dois do meio”. Se data for vazio, é levantada uma exceção StatisticsError. data pode ser uma sequência ou um iterável.

A mediana é uma medida robusta de localização central e é menos afetada por valores discrepantes. Quando a quantidade de pontos de dados for ímpar, o valor de meio é retornado:

>>> median([1, 3, 5])
3

Quando o número de elementos for par, a mediana é calculada tomando-se a média entre os dois valores no meio:

>>> median([1, 3, 5, 7])
4.0

Isso serve quando seus dados forem discretos e você não se importa que a média possa não ser um valor que de fato ocorre nos seus dados.

Caso os dados sejam ordinais (oferecem suporte para operações de ordenação) mas não são numéricos (não oferecem suporte para adição), considere usar a função median_low() ou median_high() no lugar.

statistics.median_low(data)

Retorna a mediana inferior de dados numéricos. Se data for vazio, a exceção StatisticsError é levantada. data pode ser uma sequência ou um iterável.

A mediana inferior sempre é um membro do conjunto de dados. Quando o número de elementos for ímpar, o valor intermediário é retornado. Se houver um número par de elementos, o menor entre os dois valores centrais é retornado.

>>> median_low([1, 3, 5])
3
>>> median_low([1, 3, 5, 7])
3

Use a mediana inferior caso seus dados forem discretos e você prefira que a mediana seja um valor que de fato existe nos seus dados ao invés de um valor interpolado.

statistics.median_high(data)

Retorna a mediana superior de dados numéricos. Se data for vazio, a exceção StatisticsError é levantada. data pode ser uma sequência ou um iterável.

A mediana superior sempre é um membro do conjunto de dados. Quando o número de elementos for ímpar, o valor intermediário é retornado. Se houver um número par de elementos, o maior entre os dois valores centrais é retornado.

>>> median_high([1, 3, 5])
3
>>> median_high([1, 3, 5, 7])
5

Use a mediana superior caso seus dados forem discretos e você prefira que a mediana seja um valor que de fato existe nos seus dados ao invés de um valor interpolado.

statistics.median_grouped(data, interval=1.0)

Estima a mediana para dados numéricos que foram agrupados ou “binned” [https://en.wikipedia.org/wiki/Data_binning] em torno dos pontos médios de intervalos consecutivos de largura fixa.

The data can be any iterable of numeric data with each value being exactly the midpoint of a bin. At least one value must be present.

The interval is the width of each bin.

Por exemplo, as informações demográficas podem ter sido resumidas em grupos etários consecutivos de dez anos, com cada grupo sendo representado pelos pontos médios de cinco anos dos intervalos:

>>> from collections import Counter
>>> demographics = Counter({
...    25: 172,   # 20 to 30 years old
...    35: 484,   # 30 to 40 years old
...    45: 387,   # 40 to 50 years old
...    55:  22,   # 50 to 60 years old
...    65:   6,   # 60 to 70 years old
... })
...

O 50º percentil (mediana) é a 536ª pessoa de 1071 membros. Essa pessoa está na faixa etária de 30 a 40 anos.

A função regular median() iria presumir que todos na faixa etária tricenariana tinham exatamente 35 anos. Uma suposição mais sustentável é que os 484 membros dessa faixa etária estão distribuídos uniformemente entre 30 e 40. Para isso, usamos median_grouped():

>>> data = list(demographics.elements())
>>> median(data)
35
>>> round(median_grouped(data, interval=10), 1)
37.5

O chamador é responsável por garantir que os pontos de dados sejam separados por múltiplos exatos de intervalo. Isso é essencial para obter um resultado correto. A função não verifica essa pré-condição.

As entradas podem ser qualquer tipo numérico que possa ser convertido para um ponto flutuante durante a etapa de interpolação.

statistics.mode(data)

Retorna o valor mais comum dos dados discretos ou nominais em data. A moda (quando existe) é o valor mais típico e serve como uma medida de localização central.

Se existirem múltiplas modas com a mesma frequência, retorna a primeira encontrada em data. Se ao invés disso se desejar a menor ou a maior dentre elas, use min(multimode(data)) ou max(multimode(data)). Se a entrada data é vazia, a exceção StatisticsError é levantada.

mode presume que os dados são discretos e retorna um único valor. Esse é o tratamento padrão do conceito de moda normalmente ensinado nas escolas:

>>> mode([1, 1, 2, 3, 3, 3, 3, 4])
3

A moda é única no sentido que é a única medida estatística nesse módulo que também se aplica a dados nominais (não-numéricos):

>>> mode(["red", "blue", "blue", "red", "green", "red", "red"])
'red'

Somente entradas hasheáveis ​​são suportadas. Para manipular o tipo set, considere fazer a conversão para frozenset. Para manipular o tipo list, considere fazer a conversão para tuple. Para entradas mistas ou aninhadas, considere usar este algoritmo quadrático mais lento que depende apenas de testes de igualdade: max(data, key=data.count).

Alterado na versão 3.8: Agora lida com conjunto de dados multimodais retornando a primeira moda encontrada. Anteriormente, ela levantava a exceção StatisticsError quando mais do que uma moda era encontrada.

statistics.multimode(data)

Retorna uma lista dos valores mais frequentes na ordem em que eles foram encontrados em data. Irá retornar mais do que um resultado se houver múltiplas modas ou uma lista vazia se data for vazio.

>>> multimode('aabbbbccddddeeffffgg')
['b', 'd', 'f']
>>> multimode('')
[]

Adicionado na versão 3.8.

statistics.pstdev(data, mu=None)

Retorna o desvio padrão populacional (a raiz quadrada da variância populacional). Veja os argumentos e outros detalhes em pvariance().

>>> pstdev([1.5, 2.5, 2.5, 2.75, 3.25, 4.75])
0.986893273527251

statistics.pvariance(data, mu=None)

Retorna a variância populacional de data, que deve ser uma sequência ou iterável não-vazio de números reais. A variância, o segundo momento estatístico a partir da média, é uma medida da variabilidade (espalhamento ou dispersão) dos dados. Uma variância grande indica que os dados são espalhados; uma variância menor indica que os dados estão agrupado em volta da média.

Se o segundo argumento opcional mu for fornecido, ele deve ser a média da população dos dados em data. Ele também pode ser usado para calcular o segundo momento em torno de um ponto que não é a média. Se estiver faltando ou for None (o padrão), a média aritmética é calculada automaticamente.

Use essa função para calcular a variância de toda a população. Para estimar a variância de uma amostra, a função variance() costuma ser uma escolha melhor.

Levanta StatisticsError se data for vazio.

Exemplos:

>>> data = [0.0, 0.25, 0.25, 1.25, 1.5, 1.75, 2.75, 3.25]
>>> pvariance(data)
1.25

Se você já calculou a média dos seus dados, você pode passar o valor no segundo argumento opcional mu para evitar recálculos:

>>> mu = mean(data)
>>> pvariance(data, mu)
1.25

Decimais e frações são suportadas:

>>> from decimal import Decimal as D
>>> pvariance([D("27.5"), D("30.25"), D("30.25"), D("34.5"), D("41.75")])
Decimal('24.815')

>>> from fractions import Fraction as F
>>> pvariance([F(1, 4), F(5, 4), F(1, 2)])
Fraction(13, 72)

Nota

Quando os dados de entrada representarem toda a população, ele retorna a variância populacional σ². Se em vez disso, amostras forem usadas, então a variância amostral enviesada s², também conhecida como variância com N graus de liberdade é retornada.

Se de alguma forma você souber a verdadeira média populacional μ, você pode usar essa função para calcular a variância de uma amostra, fornecendo a média populacional conhecida como segundo argumento. Caso seja fornecido um conjunto de amostras aleatórias da população, o resultado será um estimador não enviesado da variância populacional.

statistics.stdev(data, xbar=None)

Retorna o desvio padrão amostral (a raiz quadrada da variância amostral). Veja variance() para argumentos e outros detalhes.

>>> stdev([1.5, 2.5, 2.5, 2.75, 3.25, 4.75])
1.0810874155219827

statistics.variance(data, xbar=None)

Retorna a variância amostral de data, que deve ser um iterável com pelo menos dois números reais. Variância, ou o segundo momento estatístico a partir da média, é uma medida de variabilidade (espalhamento ou dispersão) dos dados. Uma variância grande indica que os dados são espalhados, uma variância menor indica que os dados estão agrupados em volta da média.

If the optional second argument xbar is given, it should be the sample mean of data. If it is missing or None (the default), the mean is automatically calculated.

Use essa função quando seus dados representarem uma amostra da população. Para calcular a variância de toda população veja pvariance().

Levanta a exceção StatisticsError se data tiver menos do que dois valores.

Exemplos:

>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> variance(data)
1.3720238095238095

If you have already calculated the sample mean of your data, you can pass it as the optional second argument xbar to avoid recalculation:

>>> m = mean(data)
>>> variance(data, m)
1.3720238095238095

Essa função não verifica se você passou a média verdadeira como xbar. Usar valores arbitrários para xbar pode levar a resultados inválidos ou impossíveis.

Decimais e frações são suportados.

>>> from decimal import Decimal as D
>>> variance([D("27.5"), D("30.25"), D("30.25"), D("34.5"), D("41.75")])
Decimal('31.01875')

>>> from fractions import Fraction as F
>>> variance([F(1, 6), F(1, 2), F(5, 3)])
Fraction(67, 108)

Nota

Essa é a variância amostral s² com a correção de Bessel, também conhecida como variância com N-1 graus de liberdade. Desde que os pontos de dados sejam representativos (por exemplo, independentes e distribuídos de forma idêntica), o resultado deve ser uma estimativa não enviesada da verdadeira variação populacional.

Caso você de alguma forma saiba a verdadeira média populacional μ você deveria passar para a função pvariance() como o parâmetro mu para obter a variância da amostra.

statistics.quantiles(data, *, n=4, method='exclusive')

Divide data em n intervalos contínuos com igual probabilidade. Retorna uma lista de n - 1 pontos de corte separando os intervalos.

Defina n como 4 para quartis (o padrão). Defina n como 10 para decis. Defina n como 100 para percentis, o que fornece os 99 pontos de corte que separam data em 100 grupos de tamanhos iguais. Levanta a exceção StatisticsError se n não for pelo menos 1.

The data can be any iterable containing sample data. For meaningful results, the number of data points in data should be larger than n. Raises StatisticsError if there is not at least one data point.

Os pontos de corte são linearmente interpolados a partir dos dois pontos mais próximos. Por exemplo, se um ponto de corte cair em um terço da distância entre dois valores, 100 e 112, o ponto de corte será avaliado como 104.

O method para computar quantis pode variar dependendo se data incluir ou excluir os menores e maiores valores possíveis da população.

O valor padrão do parâmetro method é “exclusive” e é usado para dados amostrados de uma população que pode ter valores mais extremos do que os encontrados nas amostras. A porção da população que fica abaixo do i-ésimo item de m pontos ordenados é calculada como i / (m + 1). Dados nove valores, o método os ordena e atribui a eles os seguintes percentis: 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%.

Definimos o parâmetro method para “inclusive” para descrever dados da população ou para amostras que são conhecidas por incluir os valores mais extremos da população. O mínimo valor em data é tratado como o percentil 0 e o máximo valor é tratado como percentil 100. A porção da população que fica abaixo do i-ésimo item de m pontos ordenados é calculada como (i - 1) / (m - 1). Dados 11 valores, o método os ordena e atribui a eles os seguintes percentis: 0%, 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 100%.

# Decile cut points for empirically sampled data
>>> data = [105, 129, 87, 86, 111, 111, 89, 81, 108, 92, 110,
...         100, 75, 105, 103, 109, 76, 119, 99, 91, 103, 129,
...         106, 101, 84, 111, 74, 87, 86, 103, 103, 106, 86,
...         111, 75, 87, 102, 121, 111, 88, 89, 101, 106, 95,
...         103, 107, 101, 81, 109, 104]
>>> [round(q, 1) for q in quantiles(data, n=10)]
[81.0, 86.2, 89.0, 99.4, 102.5, 103.6, 106.0, 109.8, 111.0]

Adicionado na versão 3.8.

Alterado na versão 3.13: No longer raises an exception for an input with only a single data point. This allows quantile estimates to be built up one sample point at a time becoming gradually more refined with each new data point.

statistics.covariance(x, y, /)

Return the sample covariance of two inputs x and y. Covariance is a measure of the joint variability of two inputs.

Both inputs must be of the same length (no less than two), otherwise StatisticsError is raised.

Exemplos:

>>> x = [1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> y = [1, 2, 3, 1, 2, 3, 1, 2, 3]
>>> covariance(x, y)
0.75
>>> z = [9, 8, 7, 6, 5, 4, 3, 2, 1]
>>> covariance(x, z)
-7.5
>>> covariance(z, x)
-7.5

Adicionado na versão 3.10.

statistics.correlation(x, y, /, *, method='linear')

Return the Pearson’s correlation coefficient [https://en.wikipedia.org/wiki/Pearson_correlation_coefficient] for two inputs. Pearson’s correlation coefficient r takes values between -1 and +1. It measures the strength and direction of a linear relationship.

If method is “ranked”, computes Spearman’s rank correlation coefficient [https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient] for two inputs. The data is replaced by ranks. Ties are averaged so that equal values receive the same rank. The resulting coefficient measures the strength of a monotonic relationship.

Spearman’s correlation coefficient is appropriate for ordinal data or for continuous data that doesn’t meet the linear proportion requirement for Pearson’s correlation coefficient.

Both inputs must be of the same length (no less than two), and need not to be constant, otherwise StatisticsError is raised.

Example with Kepler’s laws of planetary motion [https://en.wikipedia.org/wiki/Kepler's_laws_of_planetary_motion]:

>>> # Mercury, Venus, Earth, Mars, Jupiter, Saturn, Uranus, and  Neptune
>>> orbital_period = [88, 225, 365, 687, 4331, 10_756, 30_687, 60_190]    # days
>>> dist_from_sun = [58, 108, 150, 228, 778, 1_400, 2_900, 4_500] # million km

>>> # Show that a perfect monotonic relationship exists
>>> correlation(orbital_period, dist_from_sun, method='ranked')
1.0

>>> # Observe that a linear relationship is imperfect
>>> round(correlation(orbital_period, dist_from_sun), 4)
0.9882

>>> # Demonstrate Kepler's third law: There is a linear correlation
>>> # between the square of the orbital period and the cube of the
>>> # distance from the sun.
>>> period_squared = [p * p for p in orbital_period]
>>> dist_cubed = [d * d * d for d in dist_from_sun]
>>> round(correlation(period_squared, dist_cubed), 4)
1.0

Adicionado na versão 3.10.

Alterado na versão 3.12: Added support for Spearman’s rank correlation coefficient.

statistics.linear_regression(x, y, /, *, proportional=False)

Return the slope and intercept of simple linear regression [https://en.wikipedia.org/wiki/Simple_linear_regression] parameters estimated using ordinary least squares. Simple linear regression describes the relationship between an independent variable x and a dependent variable y in terms of this linear function:

y = slope * x + intercept + noise

where slope and intercept are the regression parameters that are estimated, and noise represents the variability of the data that was not explained by the linear regression (it is equal to the difference between predicted and actual values of the dependent variable).

Both inputs must be of the same length (no less than two), and the independent variable x cannot be constant; otherwise a StatisticsError is raised.

For example, we can use the release dates of the Monty Python films [https://en.wikipedia.org/wiki/Monty_Python#Films] to predict the cumulative number of Monty Python films that would have been produced by 2019 assuming that they had kept the pace.

>>> year = [1971, 1975, 1979, 1982, 1983]
>>> films_total = [1, 2, 3, 4, 5]
>>> slope, intercept = linear_regression(year, films_total)
>>> round(slope * 2019 + intercept)
16

If proportional is true, the independent variable x and the dependent variable y are assumed to be directly proportional. The data is fit to a line passing through the origin. Since the intercept will always be 0.0, the underlying linear function simplifies to:

y = slope * x + noise

Continuing the example from correlation(), we look to see how well a model based on major planets can predict the orbital distances for dwarf planets:

>>> model = linear_regression(period_squared, dist_cubed, proportional=True)
>>> slope = model.slope

>>> # Dwarf planets:   Pluto,  Eris,    Makemake, Haumea, Ceres
>>> orbital_periods = [90_560, 204_199, 111_845, 103_410, 1_680]  # days
>>> predicted_dist = [math.cbrt(slope * (p * p)) for p in orbital_periods]
>>> list(map(round, predicted_dist))
[5912, 10166, 6806, 6459, 414]

>>> [5_906, 10_152, 6_796, 6_450, 414]  # actual distance in million km
[5906, 10152, 6796, 6450, 414]

Adicionado na versão 3.10.

Alterado na versão 3.11: Added support for proportional.

Exceções

Uma única exceção é definida:

exception statistics.StatisticsError

Subclasse de ValueError para exceções relacionadas a estatísticas.

Objetos NormalDist

NormalDist é uma ferramenta para criar e manipular distribuições normais de uma variável aleatória [https://pt.wikipedia.org/wiki/Vari%C3%A1vel_aleat%C3%B3ria]. É uma classe que trata a média e o desvio padrão das medições de dados como uma entidade única.

Distribuições normais surgem do Teorema Central do Limite [https://pt.wikipedia.org/wiki/Teorema_central_do_limite] e possuem uma gama de aplicações em estatísticas.

class statistics.NormalDist(mu=0.0, sigma=1.0)

Retorna um novo objeto NormalDist onde mu representa a média aritmética [https://pt.wikipedia.org/wiki/M%C3%A9dia_aritm%C3%A9tica] e sigma representa o desvio padrão [https://pt.wikipedia.org/wiki/Desvio_padr%C3%A3o].

Se sigma for negativo, levanta a exceção StatisticsError.

mean

Uma propriedade somente leitura para a média aritmética [https://pt.wikipedia.org/wiki/M%C3%A9dia_aritm%C3%A9tica] de uma distribuição normal.

median

Uma propriedade somente leitura para a mediana [https://pt.wikipedia.org/wiki/Mediana_%28estat%C3%ADstica%29] de uma distribuição normal.

mode

Uma propriedade somente leitura para a moda [https://pt.wikipedia.org/wiki/Moda_%28estat%C3%ADstica%29] de uma distribuição normal.

stdev

Uma propriedade somente leitura para o desvio padrão [https://pt.wikipedia.org/wiki/Desvio_padr%C3%A3o] de uma distribuição normal.

variance

Uma propriedade somente leitura para a variância [https://pt.wikipedia.org/wiki/Vari%C3%A2ncia] de uma distribuição normal. Igual ao quadrado do desvio padrão.

classmethod from_samples(data)

Faz uma instância da distribuição normal com os parâmetros mu e sigma estimados a partir de data usando fmean() e stdev().

data pode ser qualquer iterável e deve consistir de valores que pode ser convertidos para o tipo float. Se data não contém pelo menos dois elementos, levanta a exceção StatisticsError porque é preciso pelo menos um ponto para estimar um valor central e pelo menos dois pontos para estimar a dispersão.

samples(n, *, seed=None)

Gera n amostras aleatórias para uma dada média e desvio padrão. Retorna uma list de valores float.

Se o parâmetro seed for fornecido, cria uma nova instância do gerador de número aleatório subjacente. Isso é útil para criar resultados reproduzíveis, mesmo em um contexto multithreading.

Alterado na versão 3.13.

Switched to a faster algorithm. To reproduce samples from previous versions, use random.seed() and random.gauss().

pdf(x)

Usando uma função densidade de probabilidade (fdp) [https://pt.wikipedia.org/wiki/Fun%C3%A7%C3%A3o_densidade], calcula a probabilidade relativa que uma variável aleatória X estará perto do valor dado x. Matematicamente, é o limite da razão P(x <= X < x+dx) / dx quando dx se aproxima de zero.

The relative likelihood is computed as the probability of a sample occurring in a narrow range divided by the width of the range (hence the word “density”). Since the likelihood is relative to other points, its value can be greater than 1.0.

cdf(x)

Usando uma função distribuição acumulada (fda) [https://pt.wikipedia.org/wiki/Fun%C3%A7%C3%A3o_distribui%C3%A7%C3%A3o_acumulada], calcula a probabilidade de que uma variável aleatória X seja menor ou igual a x. Matematicamente, é representada da seguinte maneira: P(X <= x).

inv_cdf(p)

Calcula a função distribuição acumulada inversa, também conhecida como função quantil [https://pt.wikipedia.org/wiki/Quantil] ou o função ponto percentual [https://web.archive.org/web/20190203145224/https://www.statisticshowto.datasciencecentral.com/inverse-distribution-function/]. Matematicamente, é representada como x : P(X <= x) = p.

Encontra o valor x da variável aleatória X de tal forma que a probabilidade da variável ser menor ou igual a esse valor seja igual à probabilidade dada p.

overlap(other)

Mede a concordância entre duas distribuições de probabilidade normais. Retorna um valor entre 0,0 e 1,0 fornecendo a área de sobreposição para as duas funções de densidade de probabilidade [https://www.rasch.org/rmt/rmt101r.htm].

quantiles(n=4)

Divide a distribuição normal em n intervalos contínuos com probabilidade igual. Retorna uma lista de (n - 1) pontos de corte separando os intervalos.

Defina n como 4 para quartis (o padrão). Defina n como 10 para decis. Defina n como 100 para percentis, o que dá os 99 pontos de corte que separam a distribuição normal em 100 grupos de tamanhos iguais.

zscore(x)

Calcula a Pontuação Padrão (z-score) [https://www.statisticshowto.com/probability-and-statistics/z-score/] descrevendo x em termos do número de desvios padrão acima ou abaixo da média da distribuição normal: (x - mean) / stdev.

Adicionado na versão 3.9.

Instâncias de NormalDist suportam adição, subtração, multiplicação e divisão por uma constante. Essas operações são usadas para translação e dimensionamento. Por exemplo:

>>> temperature_february = NormalDist(5, 2.5)             # Celsius
>>> temperature_february * (9/5) + 32                     # Fahrenheit
NormalDist(mu=41.0, sigma=4.5)

A divisão de uma constante por uma instância de NormalDist não é suportada porque o resultado não seria distribuído normalmente.

Uma vez que distribuições normais surgem de efeitos aditivos de variáveis independentes, é possível adicionar e subtrair duas variáveis aleatórias independentes normalmente distribuídas [https://en.wikipedia.org/wiki/Sum_of_normally_distributed_random_variables] representadas como instâncias de NormalDist. Por exemplo:

>>> birth_weights = NormalDist.from_samples([2.5, 3.1, 2.1, 2.4, 2.7, 3.5])
>>> drug_effects = NormalDist(0.4, 0.15)
>>> combined = birth_weights + drug_effects
>>> round(combined.mean, 1)
3.1
>>> round(combined.stdev, 1)
0.5

Adicionado na versão 3.8.

Exemplos e receitas

Classic probability problems

NormalDist facilmente resolve problemas de probabilidade clássicos.

Por exemplo, considerando os dados históricos para exames SAT [https://nces.ed.gov/programs/digest/d17/tables/dt17_226.40.asp] mostrando que as pontuações são normalmente distribuídas com média de 1060 e desvio padrão de 195, determine o percentual de alunos com pontuações de teste entre 1100 e 1200, após arredondar para o número inteiro mais próximo:

>>> sat = NormalDist(1060, 195)
>>> fraction = sat.cdf(1200 + 0.5) - sat.cdf(1100 - 0.5)
>>> round(fraction * 100.0, 1)
18.4

Encontrar os quartis [https://pt.wikipedia.org/wiki/Quartil] e decis [https://pt.wikipedia.org/wiki/Decil] para as pontuações SAT:

>>> list(map(round, sat.quantiles()))
[928, 1060, 1192]
>>> list(map(round, sat.quantiles(n=10)))
[810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310]

Monte Carlo inputs for simulations

To estimate the distribution for a model that isn’t easy to solve analytically, NormalDist can generate input samples for a Monte Carlo simulation [https://en.wikipedia.org/wiki/Monte_Carlo_method]:

>>> def model(x, y, z):
...     return (3*x + 7*x*y - 5*y) / (11 * z)
...
>>> n = 100_000
>>> X = NormalDist(10, 2.5).samples(n, seed=3652260728)
>>> Y = NormalDist(15, 1.75).samples(n, seed=4582495471)
>>> Z = NormalDist(50, 1.25).samples(n, seed=6582483453)
>>> quantiles(map(model, X, Y, Z))
[1.4591308524824727, 1.8035946855390597, 2.175091447274739]

Approximating binomial distributions

Normal distributions can be used to approximate Binomial distributions [https://mathworld.wolfram.com/BinomialDistribution.html] when the sample size is large and when the probability of a successful trial is near 50%.

Por exemplo, uma conferência de código aberto tem 750 participantes e duas salas com capacidade para 500 pessoas. Há uma palestra sobre Python e outra sobre Ruby. Em conferências anteriores, 65% dos participantes preferiram ouvir palestras sobre Python. Supondo que as preferências da população não tenham mudado, qual é a probabilidade da sala de Python permanecer dentro de seus limites de capacidade?

>>> n = 750             # Sample size
>>> p = 0.65            # Preference for Python
>>> q = 1.0 - p         # Preference for Ruby
>>> k = 500             # Room capacity

>>> # Approximation using the cumulative normal distribution
>>> from math import sqrt
>>> round(NormalDist(mu=n*p, sigma=sqrt(n*p*q)).cdf(k + 0.5), 4)
0.8402

>>> # Exact solution using the cumulative binomial distribution
>>> from math import comb, fsum
>>> round(fsum(comb(n, r) * p**r * q**(n-r) for r in range(k+1)), 4)
0.8402

>>> # Approximation using a simulation
>>> from random import seed, binomialvariate
>>> seed(8675309)
>>> mean(binomialvariate(n, p) <= k for i in range(10_000))
0.8406

Naive bayesian classifier

Distribuições normais geralmente surgem em problemas de aprendizado de máquina.

Wikipedia has a nice example of a Naive Bayesian Classifier [https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Person_classification]. The challenge is to predict a person’s gender from measurements of normally distributed features including height, weight, and foot size.

Recebemos um conjunto de dados de treinamento com medições para oito pessoas. As medidas são consideradas normalmente distribuídas, então resumimos os dados com NormalDist:

>>> height_male = NormalDist.from_samples([6, 5.92, 5.58, 5.92])
>>> height_female = NormalDist.from_samples([5, 5.5, 5.42, 5.75])
>>> weight_male = NormalDist.from_samples([180, 190, 170, 165])
>>> weight_female = NormalDist.from_samples([100, 150, 130, 150])
>>> foot_size_male = NormalDist.from_samples([12, 11, 12, 10])
>>> foot_size_female = NormalDist.from_samples([6, 8, 7, 9])

Em seguida, encontramos uma nova pessoa cujas características de medidas são conhecidas, mas cujo gênero é desconhecido:

>>> ht = 6.0        # height
>>> wt = 130        # weight
>>> fs = 8          # foot size

Começando com uma probabilidade a priori de 50% [https://pt.wikipedia.org/wiki/Probabilidade_a_priori] de ser homem ou mulher, calculamos a posteriori como a priori vezes o produto das probabilidade para as características de medidas dado o gênero:

>>> prior_male = 0.5
>>> prior_female = 0.5
>>> posterior_male = (prior_male * height_male.pdf(ht) *
...                   weight_male.pdf(wt) * foot_size_male.pdf(fs))

>>> posterior_female = (prior_female * height_female.pdf(ht) *
...                     weight_female.pdf(wt) * foot_size_female.pdf(fs))

A previsão final vai para a probabilidade posterior maior. Isso é conhecido como máximo a posteriori [https://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation] ou MAP:

>>> 'male' if posterior_male > posterior_female else 'female'
'female'

Módulos de Programação Funcional

Os módulos descritos neste capítulo fornecem funções e classes que suportam um estilo de programação funcional e operações gerais em chamáveis.

Os seguintes módulos estão documentados neste capítulo:

itertools — Functions creating iterators for efficient looping

Itertool Functions

accumulate()

batched()

chain()

from_iterable()

combinations()

combinations_with_replacement()

compress()

count()

cycle()

dropwhile()

filterfalse()

groupby()

islice()

pairwise()

permutations()

product()

repeat()

starmap()

takewhile()

tee()

zip_longest()

Receitas com itertools

functools — Higher-order functions and operations on callable objects

cache()

cached_property()

cmp_to_key()

lru_cache()

total_ordering()

partial()

partialmethod

reduce()

singledispatch()

singledispatchmethod

update_wrapper()

wraps()

Objetos partial

func

args

keywords

operator — Operadores padrões como funções

lt()

le()

eq()

ne()

ge()

gt()

__lt__()

__le__()

__eq__()

__ne__()

__ge__()

__gt__()

not_()

__not__()

truth()

is_()

is_not()

abs()

__abs__()

add()

__add__()

and_()

__and__()

floordiv()

__floordiv__()

index()

__index__()

inv()

invert()

__inv__()

__invert__()

lshift()

__lshift__()

mod()

__mod__()

mul()

__mul__()

matmul()

__matmul__()

neg()

__neg__()

or_()

__or__()

pos()

__pos__()

pow()

__pow__()

rshift()

__rshift__()

sub()

__sub__()

truediv()

__truediv__()

xor()

__xor__()

concat()

__concat__()

contains()

__contains__()

countOf()

delitem()

__delitem__()

getitem()

__getitem__()

indexOf()

setitem()

__setitem__()

length_hint()

call()

__call__()

attrgetter()

itemgetter()

methodcaller()

Mapeando os operadores para suas respectivas funções

Operadores in-place

iadd()

__iadd__()

iand()

__iand__()

iconcat()

__iconcat__()

ifloordiv()

__ifloordiv__()

ilshift()

__ilshift__()

imod()

__imod__()

imul()

__imul__()

imatmul()

__imatmul__()

ior()

__ior__()

ipow()

__ipow__()

irshift()

__irshift__()

isub()

__isub__()

itruediv()

__itruediv__()

ixor()

__ixor__()

itertools — Functions creating iterators for efficient looping

Esse módulo implementa diversos blocos de instruções com iteradores, inspirados por construções de APL, Haskell, e SML. Cada uma foi adequadamente reformulada para Python.

Esse módulo padroniza um conjunto central de ferramentas rápidas e de uso eficiente da memória, que podem ser utilizadas sozinhas ou combinadas. Juntas, eles formam uma “álgebra de iteradores” tornando possível construir ferramentas sucintas e eficientes em Python puro.

Por exemplo, SML fornece uma ferramenta para tabulação: tabulate(f) que produz uma sequência f(0), f(1), .... O mesmo efeito pode ser obtido em Python combinando map() e count() para formar map(f, count()).

These tools and their built-in counterparts also work well with the high-speed functions in the operator module. For example, the multiplication operator can be mapped across two vectors to form an efficient dot-product: sum(starmap(operator.mul, zip(vec1, vec2, strict=True))).

Iteradores infinitos:

Iterador

Argumentos

Resultado

Exemplo

count()

[start[, step]]

start, start+step, start+2*step, …

count(10) → 10 11 12 13 14 ...

cycle()

p

p0, p1, … ultimo elemento de p, p0, p1, …

cycle('ABCD') → A B C D A B C D ...

repeat()

elem [,n]

elem, elem, elem, … repete infinitamente ou até n vezes

repeat(10, 3) → 10 10 10

Iteradores terminando na sequencia de entrada mais curta:

Iterador

Argumentos

Resultado

Exemplo

accumulate()

p [,func]

p0, p0+p1, p0+p1+p2, …

accumulate([1,2,3,4,5]) → 1 3 6 10 15

batched()

p, n

(p0, p1, …, p_n-1), …

batched('ABCDEFG', n=3) → ABC DEF G

chain()

p, q, …

p0, p1, … último elemento de p, q0, q1, …

chain('ABC', 'DEF') → A B C D E F

chain.from_iterable()

iterable

p0, p1, … último elemento de p, q0, q1, …

chain.from_iterable(['ABC', 'DEF']) → A B C D E F

compress()

data, selectors

(d[0] if s[0]), (d[1] if s[1]), …

compress('ABCDEF', [1,0,1,0,1,1]) → A C E F

dropwhile()

predicate, seq

seq[n], seq[n+1], starting when predicate fails

dropwhile(lambda x: x<5, [1,4,6,3,8]) → 6 3 8

filterfalse()

predicate, seq

elements of seq where predicate(elem) fails

filterfalse(lambda x: x<5, [1,4,6,3,8]) → 6 8

groupby()

iterable[, key]

sub-iteradores agrupados pelo valor de key(v)

groupby(['A','B','DEF'], len) → (1, A B) (3, DEF)

islice()

seq, [start,] stop [, step]

elementos de seq[start:stop:step]

islice('ABCDEFG', 2, None) → C D E F G

pairwise()

iterable

(p[0], p[1]), (p[1], p[2])

pairwise('ABCDEFG') → AB BC CD DE EF FG

starmap()

func, seq

func(*seq[0]), func(*seq[1]), …

starmap(pow, [(2,5), (3,2), (10,3)]) → 32 9 1000

takewhile()

predicate, seq

seq[0], seq[1], until predicate fails

takewhile(lambda x: x<5, [1,4,6,3,8]) → 1 4

tee()

it, n

n iteradores it independentes

zip_longest()

p, q, …

(p[0], q[0]), (p[1], q[1]), …

zip_longest('ABCD', 'xy', fillvalue='-') → Ax By C- D-

Iteradores combinatórios:

Iterador

Argumentos

Resultado

product()

p, q, … [repeat=1]

produto cartesiano, equivalente a laços for aninhados

permutations()

p[, r]

tuplas de tamanho r, com todas ordenações possíveis, sem elementos repetidos

combinations()

p, r

tuplas de tamanho r, ordenadas, sem elementos repetidos

combinations_with_replacement()

p, r

tuplas de tamanho r, ordenadas, com elementos repetidos

Exemplos

Resultado

product('ABCD', repeat=2)

AA AB AC AD BA BB BC BD CA CB CC CD DA DB DC DD

permutations('ABCD', 2)

AB AC AD BA BC BD CA CB CD DA DB DC

combinations('ABCD', 2)

AB AC AD BC BD CD

combinations_with_replacement('ABCD', 2)

AA AB AC AD BB BC BD CC CD DD

Itertool Functions

The following functions all construct and return iterators. Some provide streams of infinite length, so they should only be accessed by functions or loops that truncate the stream.

itertools.accumulate(iterable[, function, *, initial=None])

Make an iterator that returns accumulated sums or accumulated results from other binary functions.

The function defaults to addition. The function should accept two arguments, an accumulated total and a value from the iterable.

If an initial value is provided, the accumulation will start with that value and the output will have one more element than the input iterable.

Aproximadamente equivalente a:

def accumulate(iterable, function=operator.add, *, initial=None):
    'Return running totals'
    # accumulate([1,2,3,4,5]) → 1 3 6 10 15
    # accumulate([1,2,3,4,5], initial=100) → 100 101 103 106 110 115
    # accumulate([1,2,3,4,5], operator.mul) → 1 2 6 24 120

    iterator = iter(iterable)
    total = initial
    if initial is None:
        try:
            total = next(iterator)
        except StopIteration:
            return

    yield total
    for element in iterator:
        total = function(total, element)
        yield total

To compute a running minimum, set function to min(). For a running maximum, set function to max(). Or for a running product, set function to operator.mul(). To build an amortization table [https://www.ramseysolutions.com/real-estate/amortization-schedule], accumulate the interest and apply payments:

>>> data = [3, 4, 6, 2, 1, 9, 0, 7, 5, 8]
>>> list(accumulate(data, max))              # running maximum
[3, 4, 6, 6, 6, 9, 9, 9, 9, 9]
>>> list(accumulate(data, operator.mul))     # running product
[3, 12, 72, 144, 144, 1296, 0, 0, 0, 0]

# Amortize a 5% loan of 1000 with 10 annual payments of 90
>>> update = lambda balance, payment: round(balance * 1.05) - payment
>>> list(accumulate(repeat(90, 10), update, initial=1_000))
[1000, 960, 918, 874, 828, 779, 728, 674, 618, 559, 497]

Veja functools.reduce() para uma função similar que devolve apenas o valor acumulado final.

Adicionado na versão 3.2.

Alterado na versão 3.3: Added the optional function parameter.

Alterado na versão 3.8: Adicionado o parâmetro opcional initial.

itertools.batched(iterable, n, *, strict=False)

Batch data from the iterable into tuples of length n. The last batch may be shorter than n.

If strict is true, will raise a ValueError if the final batch is shorter than n.

Loops over the input iterable and accumulates data into tuples up to size n. The input is consumed lazily, just enough to fill a batch. The result is yielded as soon as the batch is full or when the input iterable is exhausted:

>>> flattened_data = ['roses', 'red', 'violets', 'blue', 'sugar', 'sweet']
>>> unflattened = list(batched(flattened_data, 2))
>>> unflattened
[('roses', 'red'), ('violets', 'blue'), ('sugar', 'sweet')]

Aproximadamente equivalente a:

def batched(iterable, n, *, strict=False):
    # batched('ABCDEFG', 3) → ABC DEF G
    if n < 1:
        raise ValueError('n must be at least one')
    iterator = iter(iterable)
    while batch := tuple(islice(iterator, n)):
        if strict and len(batch) != n:
            raise ValueError('batched(): incomplete batch')
        yield batch

Adicionado na versão 3.12.

Alterado na versão 3.13: Added the strict option.

itertools.chain(*iterables)

Make an iterator that returns elements from the first iterable until it is exhausted, then proceeds to the next iterable, until all of the iterables are exhausted. This combines multiple data sources into a single iterator. Roughly equivalent to:

def chain(*iterables):
    # chain('ABC', 'DEF') → A B C D E F
    for iterable in iterables:
        yield from iterable

classmethod chain.from_iterable(iterable)

Construtor alternativo para chain(). Obtém entradas encadeadas a partir de um único argumento iterável que avaliado preguiçosamente. Aproximadamente equivalente a:

def from_iterable(iterables):
    # chain.from_iterable(['ABC', 'DEF']) → A B C D E F
    for iterable in iterables:
        yield from iterable

itertools.combinations(iterable, r)

Devolve subsequências de elementos com comprimento r a partir da entrada iterável

The output is a subsequence of product() keeping only entries that are subsequences of the iterable. The length of the output is given by math.comb() which computes n! / r! / (n - r)! when 0 ≤ r ≤ n or zero when r > n.

The combination tuples are emitted in lexicographic order according to the order of the input iterable. If the input iterable is sorted, the output tuples will be produced in sorted order.

Elements are treated as unique based on their position, not on their value. If the input elements are unique, there will be no repeated values within each combination.

Aproximadamente equivalente a:

def combinations(iterable, r):
    # combinations('ABCD', 2) → AB AC AD BC BD CD
    # combinations(range(4), 3) → 012 013 023 123

    pool = tuple(iterable)
    n = len(pool)
    if r > n:
        return
    indices = list(range(r))

    yield tuple(pool[i] for i in indices)
    while True:
        for i in reversed(range(r)):
            if indices[i] != i + n - r:
                break
        else:
            return
        indices[i] += 1
        for j in range(i+1, r):
            indices[j] = indices[j-1] + 1
        yield tuple(pool[i] for i in indices)

itertools.combinations_with_replacement(iterable, r)

Devolve subsequências de comprimento r de elementos do iterável de entrada permitindo que elementos individuais sejam repetidos mais de uma vez.

The output is a subsequence of product() that keeps only entries that are subsequences (with possible repeated elements) of the iterable. The number of subsequence returned is (n + r - 1)! / r! / (n - 1)! when n > 0.

The combination tuples are emitted in lexicographic order according to the order of the input iterable. if the input iterable is sorted, the output tuples will be produced in sorted order.

Elements are treated as unique based on their position, not on their value. If the input elements are unique, the generated combinations will also be unique.

Aproximadamente equivalente a:

def combinations_with_replacement(iterable, r):
    # combinations_with_replacement('ABC', 2) → AA AB AC BB BC CC

    pool = tuple(iterable)
    n = len(pool)
    if not n and r:
        return
    indices = [0] * r

    yield tuple(pool[i] for i in indices)
    while True:
        for i in reversed(range(r)):
            if indices[i] != n - 1:
                break
        else:
            return
        indices[i:] = [indices[i] + 1] * (r - i)
        yield tuple(pool[i] for i in indices)

Adicionado na versão 3.1.

itertools.compress(data, selectors)

Make an iterator that returns elements from data where the corresponding element in selectors is true. Stops when either the data or selectors iterables have been exhausted. Roughly equivalent to:

def compress(data, selectors):
    # compress('ABCDEF', [1,0,1,0,1,1]) → A C E F
    return (datum for datum, selector in zip(data, selectors) if selector)

Adicionado na versão 3.1.

itertools.count(start=0, step=1)

Make an iterator that returns evenly spaced values beginning with start. Can be used with map() to generate consecutive data points or with zip() to add sequence numbers. Roughly equivalent to:

def count(start=0, step=1):
    # count(10) → 10 11 12 13 14 ...
    # count(2.5, 0.5) → 2.5 3.0 3.5 ...
    n = start
    while True:
        yield n
        n += step

Quando é feita uma contagem usando números de ponto flutuante, é possível ter melhor precisão substituindo código multiplicativo como (start + step * i for i in count()).

Alterado na versão 3.1: Adicionou argumento step e permitiu argumentos não-inteiros.

itertools.cycle(iterable)

Make an iterator returning elements from the iterable and saving a copy of each. When the iterable is exhausted, return elements from the saved copy. Repeats indefinitely. Roughly equivalent to:

def cycle(iterable):
    # cycle('ABCD') → A B C D A B C D A B C D ...

    saved = []
    for element in iterable:
        yield element
        saved.append(element)

    while saved:
        for element in saved:
            yield element

This itertool may require significant auxiliary storage (depending on the length of the iterable).

itertools.dropwhile(predicate, iterable)

Make an iterator that drops elements from the iterable while the predicate is true and afterwards returns every element. Roughly equivalent to:

def dropwhile(predicate, iterable):
    # dropwhile(lambda x: x<5, [1,4,6,3,8]) → 6 3 8

    iterator = iter(iterable)
    for x in iterator:
        if not predicate(x):
            yield x
            break

    for x in iterator:
        yield x

Note this does not produce any output until the predicate first becomes false, so this itertool may have a lengthy start-up time.

itertools.filterfalse(predicate, iterable)

Make an iterator that filters elements from the iterable returning only those for which the predicate returns a false value. If predicate is None, returns the items that are false. Roughly equivalent to:

def filterfalse(predicate, iterable):
    # filterfalse(lambda x: x<5, [1,4,6,3,8]) → 6 8

    if predicate is None:
        predicate = bool

    for x in iterable:
        if not predicate(x):
            yield x

itertools.groupby(iterable, key=None)

Make an iterator that returns consecutive keys and groups from the iterable. The key is a function computing a key value for each element. If not specified or is None, key defaults to an identity function and returns the element unchanged. Generally, the iterable needs to already be sorted on the same key function.

The operation of groupby() is similar to the uniq filter in Unix. It generates a break or new group every time the value of the key function changes (which is why it is usually necessary to have sorted the data using the same key function). That behavior differs from SQL’s GROUP BY which aggregates common elements regardless of their input order.

The returned group is itself an iterator that shares the underlying iterable with groupby(). Because the source is shared, when the groupby() object is advanced, the previous group is no longer visible. So, if that data is needed later, it should be stored as a list:

groups = []
uniquekeys = []
data = sorted(data, key=keyfunc)
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

groupby() é aproximadamente equivalente a:

def groupby(iterable, key=None):
    # [k for k, g in groupby('AAAABBBCCDAABBB')] → A B C D A B
    # [list(g) for k, g in groupby('AAAABBBCCD')] → AAAA BBB CC D

    keyfunc = (lambda x: x) if key is None else key
    iterator = iter(iterable)
    exhausted = False

    def _grouper(target_key):
        nonlocal curr_value, curr_key, exhausted
        yield curr_value
        for curr_value in iterator:
            curr_key = keyfunc(curr_value)
            if curr_key != target_key:
                return
            yield curr_value
        exhausted = True

    try:
        curr_value = next(iterator)
    except StopIteration:
        return
    curr_key = keyfunc(curr_value)

    while not exhausted:
        target_key = curr_key
        curr_group = _grouper(target_key)
        yield curr_key, curr_group
        if curr_key == target_key:
            for _ in curr_group:
                pass

itertools.islice(iterable, stop)

itertools.islice(iterable, start, stop[, step])

Make an iterator that returns selected elements from the iterable. Works like sequence slicing but does not support negative values for start, stop, or step.

If start is zero or None, iteration starts at zero. Otherwise, elements from the iterable are skipped until start is reached.

If stop is None, iteration continues until the input is exhausted, if at all. Otherwise, it stops at the specified position.

If step is None, the step defaults to one. Elements are returned consecutively unless step is set higher than one which results in items being skipped.

Aproximadamente equivalente a:

def islice(iterable, *args):
    # islice('ABCDEFG', 2) → A B
    # islice('ABCDEFG', 2, 4) → C D
    # islice('ABCDEFG', 2, None) → C D E F G
    # islice('ABCDEFG', 0, None, 2) → A C E G

    s = slice(*args)
    start = 0 if s.start is None else s.start
    stop = s.stop
    step = 1 if s.step is None else s.step
    if start < 0 or (stop is not None and stop < 0) or step <= 0:
        raise ValueError

    indices = count() if stop is None else range(max(start, stop))
    next_i = start
    for i, element in zip(indices, iterable):
        if i == next_i:
            yield element
            next_i += step

If the input is an iterator, then fully consuming the islice advances the input iterator by max(start, stop) steps regardless of the step value.

itertools.pairwise(iterable)

Return successive overlapping pairs taken from the input iterable.

The number of 2-tuples in the output iterator will be one fewer than the number of inputs. It will be empty if the input iterable has fewer than two values.

Aproximadamente equivalente a:

def pairwise(iterable):
    # pairwise('ABCDEFG') → AB BC CD DE EF FG

    iterator = iter(iterable)
    a = next(iterator, None)

    for b in iterator:
        yield a, b
        a = b

Adicionado na versão 3.10.

itertools.permutations(iterable, r=None)

Return successive r length permutations of elements [https://www.britannica.com/science/permutation] from the iterable.

If r is not specified or is None, then r defaults to the length of the iterable and all possible full-length permutations are generated.

The output is a subsequence of product() where entries with repeated elements have been filtered out. The length of the output is given by math.perm() which computes n! / (n - r)! when 0 ≤ r ≤ n or zero when r > n.

The permutation tuples are emitted in lexicographic order according to the order of the input iterable. If the input iterable is sorted, the output tuples will be produced in sorted order.

Elements are treated as unique based on their position, not on their value. If the input elements are unique, there will be no repeated values within a permutation.

Aproximadamente equivalente a:

def permutations(iterable, r=None):
    # permutations('ABCD', 2) → AB AC AD BA BC BD CA CB CD DA DB DC
    # permutations(range(3)) → 012 021 102 120 201 210

    pool = tuple(iterable)
    n = len(pool)
    r = n if r is None else r
    if r > n:
        return

    indices = list(range(n))
    cycles = list(range(n, n-r, -1))
    yield tuple(pool[i] for i in indices[:r])

    while n:
        for i in reversed(range(r)):
            cycles[i] -= 1
            if cycles[i] == 0:
                indices[i:] = indices[i+1:] + indices[i:i+1]
                cycles[i] = n - i
            else:
                j = cycles[i]
                indices[i], indices[-j] = indices[-j], indices[i]
                yield tuple(pool[i] for i in indices[:r])
                break
        else:
            return

itertools.product(*iterables, repeat=1)

Cartesian product [https://en.wikipedia.org/wiki/Cartesian_product] of the input iterables.

Aproximadamente equivalente a laços for aninhados em uma expressão geradora. Por exemplo, product(A, B) devolve o mesmo que ((x,y) for x in A for y in B).

Os laços aninhados circulam como um hodômetro com o elemento mais à direita avançando a cada iteração. Este padrão cria uma ordenação lexicográfica de maneira que se os iteráveis de entrada estiverem ordenados, as tuplas produzidas são emitidas de maneira ordenada.

To compute the product of an iterable with itself, specify the number of repetitions with the optional repeat keyword argument. For example, product(A, repeat=4) means the same as product(A, A, A, A).

This function is roughly equivalent to the following code, except that the actual implementation does not build up intermediate results in memory:

def product(*iterables, repeat=1):
    # product('ABCD', 'xy') → Ax Ay Bx By Cx Cy Dx Dy
    # product(range(2), repeat=3) → 000 001 010 011 100 101 110 111

    if repeat < 0:
        raise ValueError('repeat argument cannot be negative')
    pools = [tuple(pool) for pool in iterables] * repeat

    result = [[]]
    for pool in pools:
        result = [x+[y] for x in result for y in pool]

    for prod in result:
        yield tuple(prod)

Before product() runs, it completely consumes the input iterables, keeping pools of values in memory to generate the products. Accordingly, it is only useful with finite inputs.

itertools.repeat(object[, times])

Make an iterator that returns object over and over again. Runs indefinitely unless the times argument is specified.

Aproximadamente equivalente a:

def repeat(object, times=None):
    # repeat(10, 3) → 10 10 10
    if times is None:
        while True:
            yield object
    else:
        for i in range(times):
            yield object

Um uso comum de repeat é para fornecer um fluxo de valores constantes para map ou zip.

>>> list(map(pow, range(10), repeat(2)))
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

itertools.starmap(function, iterable)

Make an iterator that computes the function using arguments obtained from the iterable. Used instead of map() when argument parameters have already been “pre-zipped” into tuples.

The difference between map() and starmap() parallels the distinction between function(a,b) and function(*c). Roughly equivalent to:

def starmap(function, iterable):
    # starmap(pow, [(2,5), (3,2), (10,3)]) → 32 9 1000
    for args in iterable:
        yield function(*args)

itertools.takewhile(predicate, iterable)

Make an iterator that returns elements from the iterable as long as the predicate is true. Roughly equivalent to:

def takewhile(predicate, iterable):
    # takewhile(lambda x: x<5, [1,4,6,3,8]) → 1 4
    for x in iterable:
        if not predicate(x):
            break
        yield x

Note, the element that first fails the predicate condition is consumed from the input iterator and there is no way to access it. This could be an issue if an application wants to further consume the input iterator after takewhile has been run to exhaustion. To work around this problem, consider using more-iterools before_and_after() [https://more-itertools.readthedocs.io/en/stable/api.html#more_itertools.before_and_after] instead.

itertools.tee(iterable, n=2)

Return n independent iterators from a single iterable.

Aproximadamente equivalente a:

def tee(iterable, n=2):
    if n < 0:
        raise ValueError
    if n == 0:
        return ()
    iterator = _tee(iterable)
    result = [iterator]
    for _ in range(n - 1):
        result.append(_tee(iterator))
    return tuple(result)

class _tee:

    def __init__(self, iterable):
        it = iter(iterable)
        if isinstance(it, _tee):
            self.iterator = it.iterator
            self.link = it.link
        else:
            self.iterator = it
            self.link = [None, None]

    def __iter__(self):
        return self

    def __next__(self):
        link = self.link
        if link[1] is None:
            link[0] = next(self.iterator)
            link[1] = [None, None]
        value, self.link = link
        return value

When the input iterable is already a tee iterator object, all members of the return tuple are constructed as if they had been produced by the upstream tee() call. This “flattening step” allows nested tee() calls to share the same underlying data chain and to have a single update step rather than a chain of calls.

The flattening property makes tee iterators efficiently peekable:

def lookahead(tee_iterator):
     "Return the next value without moving the input forward"
     [forked_iterator] = tee(tee_iterator, 1)
     return next(forked_iterator)

>>> iterator = iter('abcdef')
>>> [iterator] = tee(iterator, 1)   # Make the input peekable
>>> next(iterator)                  # Move the iterator forward
'a'
>>> lookahead(iterator)             # Check next value
'b'
>>> next(iterator)                  # Continue moving forward
'b'

tee iterators are not threadsafe. A RuntimeError may be raised when simultaneously using iterators returned by the same tee() call, even if the original iterable is threadsafe.

This itertool may require significant auxiliary storage (depending on how much temporary data needs to be stored). In general, if one iterator uses most or all of the data before another iterator starts, it is faster to use list() instead of tee().

itertools.zip_longest(*iterables, fillvalue=None)

Make an iterator that aggregates elements from each of the iterables.

If the iterables are of uneven length, missing values are filled-in with fillvalue. If not specified, fillvalue defaults to None.

Iteration continues until the longest iterable is exhausted.

Aproximadamente equivalente a:

def zip_longest(*iterables, fillvalue=None):
    # zip_longest('ABCD', 'xy', fillvalue='-') → Ax By C- D-

    iterators = list(map(iter, iterables))
    num_active = len(iterators)
    if not num_active:
        return

    while True:
        values = []
        for i, iterator in enumerate(iterators):
            try:
                value = next(iterator)
            except StopIteration:
                num_active -= 1
                if not num_active:
                    return
                iterators[i] = repeat(fillvalue)
                value = fillvalue
            values.append(value)
        yield tuple(values)

If one of the iterables is potentially infinite, then the zip_longest() function should be wrapped with something that limits the number of calls (for example islice() or takewhile()).

Receitas com itertools

Esta seção mostra receitas para criação de um ferramental ampliado usando as ferramentas existentes de itertools como elementos construtivos.

The primary purpose of the itertools recipes is educational. The recipes show various ways of thinking about individual tools — for example, that chain.from_iterable is related to the concept of flattening. The recipes also give ideas about ways that the tools can be combined — for example, how starmap() and repeat() can work together. The recipes also show patterns for using itertools with the operator and collections modules as well as with the built-in itertools such as map(), filter(), reversed(), and enumerate().

A secondary purpose of the recipes is to serve as an incubator. The accumulate(), compress(), and pairwise() itertools started out as recipes. Currently, the sliding_window(), iter_index(), and sieve() recipes are being tested to see whether they prove their worth.

Substantially all of these recipes and many, many others can be installed from the more-itertools [https://pypi.org/project/more-itertools/] project found on the Python Package Index:

python -m pip install more-itertools

Many of the recipes offer the same high performance as the underlying toolset. Superior memory performance is kept by processing elements one at a time rather than bringing the whole iterable into memory all at once. Code volume is kept small by linking the tools together in a functional style [https://www.cs.kent.ac.uk/people/staff/dat/miranda/whyfp90.pdf]. High speed is retained by preferring “vectorized” building blocks over the use of for-loops and generators which incur interpreter overhead.

import collections
import contextlib
import functools
import math
import operator
import random

def take(n, iterable):
    "Return first n items of the iterable as a list."
    return list(islice(iterable, n))

def prepend(value, iterable):
    "Prepend a single value in front of an iterable."
    # prepend(1, [2, 3, 4]) → 1 2 3 4
    return chain([value], iterable)

def tabulate(function, start=0):
    "Return function(0), function(1), ..."
    return map(function, count(start))

def repeatfunc(func, times=None, *args):
    "Repeat calls to func with specified arguments."
    if times is None:
        return starmap(func, repeat(args))
    return starmap(func, repeat(args, times))

def flatten(list_of_lists):
    "Flatten one level of nesting."
    return chain.from_iterable(list_of_lists)

def ncycles(iterable, n):
    "Returns the sequence elements n times."
    return chain.from_iterable(repeat(tuple(iterable), n))

def tail(n, iterable):
    "Return an iterator over the last n items."
    # tail(3, 'ABCDEFG') → E F G
    return iter(collections.deque(iterable, maxlen=n))

def consume(iterator, n=None):
    "Advance the iterator n-steps ahead. If n is None, consume entirely."
    # Use functions that consume iterators at C speed.
    if n is None:
        collections.deque(iterator, maxlen=0)
    else:
        next(islice(iterator, n, n), None)

def nth(iterable, n, default=None):
    "Returns the nth item or a default value."
    return next(islice(iterable, n, None), default)

def quantify(iterable, predicate=bool):
    "Given a predicate that returns True or False, count the True results."
    return sum(map(predicate, iterable))

def first_true(iterable, default=False, predicate=None):
    "Returns the first true value or the *default* if there is no true value."
    # first_true([a,b,c], x) → a or b or c or x
    # first_true([a,b], x, f) → a if f(a) else b if f(b) else x
    return next(filter(predicate, iterable), default)

def all_equal(iterable, key=None):
    "Returns True if all the elements are equal to each other."
    # all_equal('4٤௪౪໔', key=int) → True
    return len(take(2, groupby(iterable, key))) <= 1

def unique_justseen(iterable, key=None):
    "Yield unique elements, preserving order. Remember only the element just seen."
    # unique_justseen('AAAABBBCCDAABBB') → A B C D A B
    # unique_justseen('ABBcCAD', str.casefold) → A B c A D
    if key is None:
        return map(operator.itemgetter(0), groupby(iterable))
    return map(next, map(operator.itemgetter(1), groupby(iterable, key)))

def unique_everseen(iterable, key=None):
    "Yield unique elements, preserving order. Remember all elements ever seen."
    # unique_everseen('AAAABBBCCDAABBB') → A B C D
    # unique_everseen('ABBcCAD', str.casefold) → A B c D
    seen = set()
    if key is None:
        for element in filterfalse(seen.__contains__, iterable):
            seen.add(element)
            yield element
    else:
        for element in iterable:
            k = key(element)
            if k not in seen:
                seen.add(k)
                yield element

def unique(iterable, key=None, reverse=False):
   "Yield unique elements in sorted order. Supports unhashable inputs."
   # unique([[1, 2], [3, 4], [1, 2]]) → [1, 2] [3, 4]
   return unique_justseen(sorted(iterable, key=key, reverse=reverse), key=key)

def sliding_window(iterable, n):
    "Collect data into overlapping fixed-length chunks or blocks."
    # sliding_window('ABCDEFG', 4) → ABCD BCDE CDEF DEFG
    iterator = iter(iterable)
    window = collections.deque(islice(iterator, n - 1), maxlen=n)
    for x in iterator:
        window.append(x)
        yield tuple(window)

def grouper(iterable, n, *, incomplete='fill', fillvalue=None):
    "Collect data into non-overlapping fixed-length chunks or blocks."
    # grouper('ABCDEFG', 3, fillvalue='x') → ABC DEF Gxx
    # grouper('ABCDEFG', 3, incomplete='strict') → ABC DEF ValueError
    # grouper('ABCDEFG', 3, incomplete='ignore') → ABC DEF
    iterators = [iter(iterable)] * n
    match incomplete:
        case 'fill':
            return zip_longest(*iterators, fillvalue=fillvalue)
        case 'strict':
            return zip(*iterators, strict=True)
        case 'ignore':
            return zip(*iterators)
        case _:
            raise ValueError('Expected fill, strict, or ignore')

def roundrobin(*iterables):
    "Visit input iterables in a cycle until each is exhausted."
    # roundrobin('ABC', 'D', 'EF') → A D E B F C
    # Algorithm credited to George Sakkis
    iterators = map(iter, iterables)
    for num_active in range(len(iterables), 0, -1):
        iterators = cycle(islice(iterators, num_active))
        yield from map(next, iterators)

def subslices(seq):
    "Return all contiguous non-empty subslices of a sequence."
    # subslices('ABCD') → A AB ABC ABCD B BC BCD C CD D
    slices = starmap(slice, combinations(range(len(seq) + 1), 2))
    return map(operator.getitem, repeat(seq), slices)

def iter_index(iterable, value, start=0, stop=None):
    "Return indices where a value occurs in a sequence or iterable."
    # iter_index('AABCADEAF', 'A') → 0 1 4 7
    seq_index = getattr(iterable, 'index', None)
    if seq_index is None:
        iterator = islice(iterable, start, stop)
        for i, element in enumerate(iterator, start):
            if element is value or element == value:
                yield i
    else:
        stop = len(iterable) if stop is None else stop
        i = start
        with contextlib.suppress(ValueError):
            while True:
                yield (i := seq_index(value, i, stop))
                i += 1

def iter_except(func, exception, first=None):
    "Convert a call-until-exception interface to an iterator interface."
    # iter_except(d.popitem, KeyError) → non-blocking dictionary iterator
    with contextlib.suppress(exception):
        if first is not None:
            yield first()
        while True:
            yield func()

The following recipes have a more mathematical flavor:

def powerset(iterable):
    "powerset([1,2,3]) → () (1,) (2,) (3,) (1,2) (1,3) (2,3) (1,2,3)"
    s = list(iterable)
    return chain.from_iterable(combinations(s, r) for r in range(len(s)+1))

def sum_of_squares(iterable):
    "Add up the squares of the input values."
    # sum_of_squares([10, 20, 30]) → 1400
    return math.sumprod(*tee(iterable))

def reshape(matrix, cols):
    "Reshape a 2-D matrix to have a given number of columns."
    # reshape([(0, 1), (2, 3), (4, 5)], 3) →  (0, 1, 2), (3, 4, 5)
    return batched(chain.from_iterable(matrix), cols, strict=True)

def transpose(matrix):
    "Swap the rows and columns of a 2-D matrix."
    # transpose([(1, 2, 3), (11, 22, 33)]) → (1, 11) (2, 22) (3, 33)
    return zip(*matrix, strict=True)

def matmul(m1, m2):
    "Multiply two matrices."
    # matmul([(7, 5), (3, 5)], [(2, 5), (7, 9)]) → (49, 80), (41, 60)
    n = len(m2[0])
    return batched(starmap(math.sumprod, product(m1, transpose(m2))), n)

def convolve(signal, kernel):
    """Discrete linear convolution of two iterables.
    Equivalent to polynomial multiplication.

    Convolutions are mathematically commutative; however, the inputs are
    evaluated differently.  The signal is consumed lazily and can be
    infinite. The kernel is fully consumed before the calculations begin.

    Article:  https://betterexplained.com/articles/intuitive-convolution/
    Video:    https://www.youtube.com/watch?v=KuXjwB4LzSA
    """
    # convolve([1, -1, -20], [1, -3]) → 1 -4 -17 60
    # convolve(data, [0.25, 0.25, 0.25, 0.25]) → Moving average (blur)
    # convolve(data, [1/2, 0, -1/2]) → 1st derivative estimate
    # convolve(data, [1, -2, 1]) → 2nd derivative estimate
    kernel = tuple(kernel)[::-1]
    n = len(kernel)
    padded_signal = chain(repeat(0, n-1), signal, repeat(0, n-1))
    windowed_signal = sliding_window(padded_signal, n)
    return map(math.sumprod, repeat(kernel), windowed_signal)

def polynomial_from_roots(roots):
    """Compute a polynomial's coefficients from its roots.

       (x - 5) (x + 4) (x - 3)  expands to:   x³ -4x² -17x + 60
    """
    # polynomial_from_roots([5, -4, 3]) → [1, -4, -17, 60]
    factors = zip(repeat(1), map(operator.neg, roots))
    return list(functools.reduce(convolve, factors, [1]))

def polynomial_eval(coefficients, x):
    """Evaluate a polynomial at a specific value.

    Computes with better numeric stability than Horner's method.
    """
    # Evaluate x³ -4x² -17x + 60 at x = 5
    # polynomial_eval([1, -4, -17, 60], x=5) → 0
    n = len(coefficients)
    if not n:
        return type(x)(0)
    powers = map(pow, repeat(x), reversed(range(n)))
    return math.sumprod(coefficients, powers)

def polynomial_derivative(coefficients):
    """Compute the first derivative of a polynomial.

       f(x)  =  x³ -4x² -17x + 60
       f'(x) = 3x² -8x  -17
    """
    # polynomial_derivative([1, -4, -17, 60]) → [3, -8, -17]
    n = len(coefficients)
    powers = reversed(range(1, n))
    return list(map(operator.mul, coefficients, powers))

def sieve(n):
    "Primes less than n."
    # sieve(30) → 2 3 5 7 11 13 17 19 23 29
    if n > 2:
        yield 2
    data = bytearray((0, 1)) * (n // 2)
    for p in iter_index(data, 1, start=3, stop=math.isqrt(n) + 1):
        data[p*p : n : p+p] = bytes(len(range(p*p, n, p+p)))
    yield from iter_index(data, 1, start=3)

def factor(n):
    "Prime factors of n."
    # factor(99) → 3 3 11
    # factor(1_000_000_000_000_007) → 47 59 360620266859
    # factor(1_000_000_000_000_403) → 1000000000000403
    for prime in sieve(math.isqrt(n) + 1):
        while not n % prime:
            yield prime
            n //= prime
            if n == 1:
                return
    if n > 1:
        yield n

def totient(n):
    "Count of natural numbers up to n that are coprime to n."
    # https://mathworld.wolfram.com/TotientFunction.html
    # totient(12) → 4 because len([1, 5, 7, 11]) == 4
    for prime in set(factor(n)):
        n -= n // prime
    return n

functools — Higher-order functions and operations on callable objects

Código-fonte: Lib/functools.py [https://github.com/python/cpython/tree/3.13/Lib/functools.py]

O módulo functools é para funções de ordem superior: funções que atuam ou retornam outras funções. Em geral, qualquer objeto chamável pode ser tratado como uma função para os propósitos deste módulo.

O módulo functools define as seguintes funções:

@functools.cache(user_function)

Cache simples e leve de funções sem vínculo. Às vezes chamado de “memoizar” [https://en.wikipedia.org/wiki/Memoization].

Returns the same as lru_cache(maxsize=None), creating a thin wrapper around a dictionary lookup for the function arguments. Because it never needs to evict old values, this is smaller and faster than lru_cache() with a size limit.

Por exemplo:

@cache
def factorial(n):
    return n * factorial(n-1) if n else 1

>>> factorial(10)      # no previously cached result, makes 11 recursive calls
3628800
>>> factorial(5)       # just looks up cached value result
120
>>> factorial(12)      # makes two new recursive calls, the other 10 are cached
479001600

The cache is threadsafe so that the wrapped function can be used in multiple threads. This means that the underlying data structure will remain coherent during concurrent updates.

It is possible for the wrapped function to be called more than once if another thread makes an additional call before the initial call has been completed and cached.

Adicionado na versão 3.9.

@functools.cached_property(func)

Transforma um método de uma classe em uma propriedade cujo valor é calculado uma vez e, em seguida, armazenado em cache como um atributo normal para a vida útil da instância. Semelhante a property(), com a adição de armazenamento em cache. Útil para propriedades computadas caras de instâncias que são efetivamente imutáveis.

Exemplo:

class DataSet:

    def __init__(self, sequence_of_numbers):
        self._data = tuple(sequence_of_numbers)

    @cached_property
    def stdev(self):
        return statistics.stdev(self._data)

The mechanics of cached_property() are somewhat different from property(). A regular property blocks attribute writes unless a setter is defined. In contrast, a cached_property allows writes.

The cached_property decorator only runs on lookups and only when an attribute of the same name doesn’t exist. When it does run, the cached_property writes to the attribute with the same name. Subsequent attribute reads and writes take precedence over the cached_property method and it works like a normal attribute.

The cached value can be cleared by deleting the attribute. This allows the cached_property method to run again.

The cached_property does not prevent a possible race condition in multi-threaded usage. The getter function could run more than once on the same instance, with the latest run setting the cached value. If the cached property is idempotent or otherwise not harmful to run more than once on an instance, this is fine. If synchronization is needed, implement the necessary locking inside the decorated getter function or around the cached property access.

Note, this decorator interferes with the operation of PEP 412 [https://peps.python.org/pep-0412/] key-sharing dictionaries. This means that instance dictionaries can take more space than usual.

Also, this decorator requires that the __dict__ attribute on each instance be a mutable mapping. This means it will not work with some types, such as metaclasses (since the __dict__ attributes on type instances are read-only proxies for the class namespace), and those that specify __slots__ without including __dict__ as one of the defined slots (as such classes don’t provide a __dict__ attribute at all).

If a mutable mapping is not available or if space-efficient key sharing is desired, an effect similar to cached_property() can also be achieved by stacking property() on top of lru_cache(). See How do I cache method calls? for more details on how this differs from cached_property().

Adicionado na versão 3.8.

Alterado na versão 3.12: Prior to Python 3.12, cached_property included an undocumented lock to ensure that in multi-threaded usage the getter function was guaranteed to run only once per instance. However, the lock was per-property, not per-instance, which could result in unacceptably high lock contention. In Python 3.12+ this locking is removed.

functools.cmp_to_key(func)

Transforma uma função de comparação de estilo antigo para um função chave. Usado com ferramentas que aceitam funções chave (como sorted(), min(), max(), heapq.nlargest(), heapq.nsmallest(), itertools.groupby()). Esta função é usada principalmente como uma ferramenta de transição para programas que estão sendo convertidos a partir do Python 2, que suportou o uso de funções de comparação.

A comparison function is any callable that accepts two arguments, compares them, and returns a negative number for less-than, zero for equality, or a positive number for greater-than. A key function is a callable that accepts one argument and returns another value to be used as the sort key.

Exemplo:

sorted(iterable, key=cmp_to_key(locale.strcoll))  # locale-aware sort order

Para exemplos de classificação e um breve tutorial de classificação, veja Técnicas de ordenação.

Adicionado na versão 3.2.

@functools.lru_cache(user_function)

@functools.lru_cache(maxsize=128, typed=False)

Decorador para embrulhar uma função com um chamável memoizável que economiza até as chamadas mais recentes maxsize. Pode economizar tempo quando uma função cara ou E/S é periodicamente chamada com os mesmos argumentos.

The cache is threadsafe so that the wrapped function can be used in multiple threads. This means that the underlying data structure will remain coherent during concurrent updates.

It is possible for the wrapped function to be called more than once if another thread makes an additional call before the initial call has been completed and cached.

Since a dictionary is used to cache results, the positional and keyword arguments to the function must be hashable.

Distinct argument patterns may be considered to be distinct calls with separate cache entries. For example, f(a=1, b=2) and f(b=2, a=1) differ in their keyword argument order and may have two separate cache entries.

Se user_function especificado, deve ser um chamável. Isso permite que o decorador lru_cache seja aplicado diretamente a uma função do usuário, deixando maxsize em seu valor padrão de 128:

@lru_cache
def count_vowels(sentence):
    return sum(sentence.count(vowel) for vowel in 'AEIOUaeiou')

Se maxsize for definido como None, o recurso LRU é desabilitado e o cache pode crescer sem limites.

If typed is set to true, function arguments of different types will be cached separately. If typed is false, the implementation will usually regard them as equivalent calls and only cache a single result. (Some types such as str and int may be cached separately even when typed is false.)

Note, type specificity applies only to the function’s immediate arguments rather than their contents. The scalar arguments, Decimal(42) and Fraction(42) are be treated as distinct calls with distinct results. In contrast, the tuple arguments ('answer', Decimal(42)) and ('answer', Fraction(42)) are treated as equivalent.

The wrapped function is instrumented with a cache_parameters() function that returns a new dict showing the values for maxsize and typed. This is for information purposes only. Mutating the values has no effect.

To help measure the effectiveness of the cache and tune the maxsize parameter, the wrapped function is instrumented with a cache_info() function that returns a named tuple showing hits, misses, maxsize and currsize.

O decorador também fornece uma função cache_clear() para limpar ou invalidar o cache.

A função subjacente original é acessível através do atributo __wrapped__. Isso é útil para introspecção, para ignorar o cache, ou para reinstalar a função com um cache diferente.

The cache keeps references to the arguments and return values until they age out of the cache or until the cache is cleared.

If a method is cached, the self instance argument is included in the cache. See How do I cache method calls?

An LRU (least recently used) cache [https://en.wikipedia.org/wiki/Cache_replacement_policies#Least_Recently_Used_(LRU)] works best when the most recent calls are the best predictors of upcoming calls (for example, the most popular articles on a news server tend to change each day). The cache’s size limit assures that the cache does not grow without bound on long-running processes such as web servers.

In general, the LRU cache should only be used when you want to reuse previously computed values. Accordingly, it doesn’t make sense to cache functions with side-effects, functions that need to create distinct mutable objects on each call (such as generators and async functions), or impure functions such as time() or random().

Exemplo de um cache LRU para conteúdo web estático:

@lru_cache(maxsize=32)
def get_pep(num):
    'Retrieve text of a Python Enhancement Proposal'
    resource = f'https://peps.python.org/pep-{num:04d}'
    try:
        with urllib.request.urlopen(resource) as s:
            return s.read()
    except urllib.error.HTTPError:
        return 'Not Found'

>>> for n in 8, 290, 308, 320, 8, 218, 320, 279, 289, 320, 9991:
...     pep = get_pep(n)
...     print(n, len(pep))

>>> get_pep.cache_info()
CacheInfo(hits=3, misses=8, maxsize=32, currsize=8)

Exemplo de computação eficiente dos números Fibonacci [https://pt.wikipedia.org/wiki/Sequência_de_Fibonacci] usando um cache para implementar uma programação dinâmica [https://pt.wikipedia.org/wiki/Programação_dinâmica] técnica:

@lru_cache(maxsize=None)
def fib(n):
    if n < 2:
        return n
    return fib(n-1) + fib(n-2)

>>> [fib(n) for n in range(16)]
[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610]

>>> fib.cache_info()
CacheInfo(hits=28, misses=16, maxsize=None, currsize=16)

Adicionado na versão 3.2.

Alterado na versão 3.3: Adicionada a opção typed.

Alterado na versão 3.8: Adicionada a opção user_function.

Alterado na versão 3.9: Added the function cache_parameters()

@functools.total_ordering

Given a class defining one or more rich comparison ordering methods, this class decorator supplies the rest. This simplifies the effort involved in specifying all of the possible rich comparison operations:

The class must define one of __lt__(), __le__(), __gt__(), or __ge__(). In addition, the class should supply an __eq__() method.

Por exemplo:

@total_ordering
class Student:
    def _is_valid_operand(self, other):
        return (hasattr(other, "lastname") and
                hasattr(other, "firstname"))
    def __eq__(self, other):
        if not self._is_valid_operand(other):
            return NotImplemented
        return ((self.lastname.lower(), self.firstname.lower()) ==
                (other.lastname.lower(), other.firstname.lower()))
    def __lt__(self, other):
        if not self._is_valid_operand(other):
            return NotImplemented
        return ((self.lastname.lower(), self.firstname.lower()) <
                (other.lastname.lower(), other.firstname.lower()))

Nota

While this decorator makes it easy to create well behaved totally ordered types, it does come at the cost of slower execution and more complex stack traces for the derived comparison methods. If performance benchmarking indicates this is a bottleneck for a given application, implementing all six rich comparison methods instead is likely to provide an easy speed boost.

Nota

This decorator makes no attempt to override methods that have been declared in the class or its superclasses. Meaning that if a superclass defines a comparison operator, total_ordering will not implement it again, even if the original method is abstract.

Adicionado na versão 3.2.

Alterado na versão 3.4: Returning NotImplemented from the underlying comparison function for unrecognised types is now supported.

functools.partial(func, /, *args, **keywords)

Return a new partial object which when called will behave like func called with the positional arguments args and keyword arguments keywords. If more arguments are supplied to the call, they are appended to args. If additional keyword arguments are supplied, they extend and override keywords. Roughly equivalent to:

def partial(func, /, *args, **keywords):
    def newfunc(*fargs, **fkeywords):
        newkeywords = {**keywords, **fkeywords}
        return func(*args, *fargs, **newkeywords)
    newfunc.func = func
    newfunc.args = args
    newfunc.keywords = keywords
    return newfunc

The partial() is used for partial function application which “freezes” some portion of a function’s arguments and/or keywords resulting in a new object with a simplified signature. For example, partial() can be used to create a callable that behaves like the int() function where the base argument defaults to two:

>>> from functools import partial
>>> basetwo = partial(int, base=2)
>>> basetwo.__doc__ = 'Convert base 2 string to an int.'
>>> basetwo('10010')
18

class functools.partialmethod(func, /, *args, **keywords)

Return a new partialmethod descriptor which behaves like partial except that it is designed to be used as a method definition rather than being directly callable.

func must be a descriptor or a callable (objects which are both, like normal functions, are handled as descriptors).

When func is a descriptor (such as a normal Python function, classmethod(), staticmethod(), abstractmethod() or another instance of partialmethod), calls to __get__ are delegated to the underlying descriptor, and an appropriate partial object returned as the result.

When func is a non-descriptor callable, an appropriate bound method is created dynamically. This behaves like a normal Python function when used as a method: the self argument will be inserted as the first positional argument, even before the args and keywords supplied to the partialmethod constructor.

Exemplo:

>>> class Cell:
...     def __init__(self):
...         self._alive = False
...     @property
...     def alive(self):
...         return self._alive
...     def set_state(self, state):
...         self._alive = bool(state)
...     set_alive = partialmethod(set_state, True)
...     set_dead = partialmethod(set_state, False)
...
>>> c = Cell()
>>> c.alive
False
>>> c.set_alive()
>>> c.alive
True

Adicionado na versão 3.4.

functools.reduce(function, iterable, [initial, ]/)

Apply function of two arguments cumulatively to the items of iterable, from left to right, so as to reduce the iterable to a single value. For example, reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) calculates ((((1+2)+3)+4)+5). The left argument, x, is the accumulated value and the right argument, y, is the update value from the iterable. If the optional initial is present, it is placed before the items of the iterable in the calculation, and serves as a default when the iterable is empty. If initial is not given and iterable contains only one item, the first item is returned.

Aproximadamente equivalente a:

initial_missing = object()

def reduce(function, iterable, initial=initial_missing, /):
    it = iter(iterable)
    if initial is initial_missing:
        value = next(it)
    else:
        value = initial
    for element in it:
        value = function(value, element)
    return value

See itertools.accumulate() for an iterator that yields all intermediate values.

@functools.singledispatch

Transform a function into a single-dispatch generic function.

To define a generic function, decorate it with the @singledispatch decorator. When defining a function using @singledispatch, note that the dispatch happens on the type of the first argument:

>>> from functools import singledispatch
>>> @singledispatch
... def fun(arg, verbose=False):
...     if verbose:
...         print("Let me just say,", end=" ")
...     print(arg)

To add overloaded implementations to the function, use the register() attribute of the generic function, which can be used as a decorator. For functions annotated with types, the decorator will infer the type of the first argument automatically:

>>> @fun.register
... def _(arg: int, verbose=False):
...     if verbose:
...         print("Strength in numbers, eh?", end=" ")
...     print(arg)
...
>>> @fun.register
... def _(arg: list, verbose=False):
...     if verbose:
...         print("Enumerate this:")
...     for i, elem in enumerate(arg):
...         print(i, elem)

types.UnionType and typing.Union can also be used:

>>> @fun.register
... def _(arg: int | float, verbose=False):
...     if verbose:
...         print("Strength in numbers, eh?", end=" ")
...     print(arg)
...
>>> from typing import Union
>>> @fun.register
... def _(arg: Union[list, set], verbose=False):
...     if verbose:
...         print("Enumerate this:")
...     for i, elem in enumerate(arg):
...         print(i, elem)
...

For code which doesn’t use type annotations, the appropriate type argument can be passed explicitly to the decorator itself:

>>> @fun.register(complex)
... def _(arg, verbose=False):
...     if verbose:
...         print("Better than complicated.", end=" ")
...     print(arg.real, arg.imag)
...

For code that dispatches on a collections type (e.g., list), but wants to typehint the items of the collection (e.g., list[int]), the dispatch type should be passed explicitly to the decorator itself with the typehint going into the function definition:

>>> @fun.register(list)
... def _(arg: list[int], verbose=False):
...     if verbose:
...         print("Enumerate this:")
...     for i, elem in enumerate(arg):
...         print(i, elem)

Nota

At runtime the function will dispatch on an instance of a list regardless of the type contained within the list i.e. [1,2,3] will be dispatched the same as ["foo", "bar", "baz"]. The annotation provided in this example is for static type checkers only and has no runtime impact.

To enable registering lambdas and pre-existing functions, the register() attribute can also be used in a functional form:

>>> def nothing(arg, verbose=False):
...     print("Nothing.")
...
>>> fun.register(type(None), nothing)

The register() attribute returns the undecorated function. This enables decorator stacking, pickling, and the creation of unit tests for each variant independently:

>>> @fun.register(float)
... @fun.register(Decimal)
... def fun_num(arg, verbose=False):
...     if verbose:
...         print("Half of your number:", end=" ")
...     print(arg / 2)
...
>>> fun_num is fun
False

When called, the generic function dispatches on the type of the first argument:

>>> fun("Hello, world.")
Hello, world.
>>> fun("test.", verbose=True)
Let me just say, test.
>>> fun(42, verbose=True)
Strength in numbers, eh? 42
>>> fun(['spam', 'spam', 'eggs', 'spam'], verbose=True)
Enumerate this:
0 spam
1 spam
2 eggs
3 spam
>>> fun(None)
Nothing.
>>> fun(1.23)
0.615

Where there is no registered implementation for a specific type, its method resolution order is used to find a more generic implementation. The original function decorated with @singledispatch is registered for the base object type, which means it is used if no better implementation is found.

If an implementation is registered to an abstract base class, virtual subclasses of the base class will be dispatched to that implementation:

>>> from collections.abc import Mapping
>>> @fun.register
... def _(arg: Mapping, verbose=False):
...     if verbose:
...         print("Keys & Values")
...     for key, value in arg.items():
...         print(key, "=>", value)
...
>>> fun({"a": "b"})
a => b

To check which implementation the generic function will choose for a given type, use the dispatch() attribute:

>>> fun.dispatch(float)
<function fun_num at 0x1035a2840>
>>> fun.dispatch(dict)    # note: default implementation
<function fun at 0x103fe0000>

To access all registered implementations, use the read-only registry attribute:

>>> fun.registry.keys()
dict_keys([<class 'NoneType'>, <class 'int'>, <class 'object'>,
          <class 'decimal.Decimal'>, <class 'list'>,
          <class 'float'>])
>>> fun.registry[float]
<function fun_num at 0x1035a2840>
>>> fun.registry[object]
<function fun at 0x103fe0000>

Adicionado na versão 3.4.

Alterado na versão 3.7: The register() attribute now supports using type annotations.

Alterado na versão 3.11: The register() attribute now supports types.UnionType and typing.Union as type annotations.

class functools.singledispatchmethod(func)

Transform a method into a single-dispatch generic function.

To define a generic method, decorate it with the @singledispatchmethod decorator. When defining a function using @singledispatchmethod, note that the dispatch happens on the type of the first non-self or non-cls argument:

class Negator:
    @singledispatchmethod
    def neg(self, arg):
        raise NotImplementedError("Cannot negate a")

    @neg.register
    def _(self, arg: int):
        return -arg

    @neg.register
    def _(self, arg: bool):
        return not arg

@singledispatchmethod supports nesting with other decorators such as @classmethod. Note that to allow for dispatcher.register, singledispatchmethod must be the outer most decorator. Here is the Negator class with the neg methods bound to the class, rather than an instance of the class:

class Negator:
    @singledispatchmethod
    @classmethod
    def neg(cls, arg):
        raise NotImplementedError("Cannot negate a")

    @neg.register
    @classmethod
    def _(cls, arg: int):
        return -arg

    @neg.register
    @classmethod
    def _(cls, arg: bool):
        return not arg

The same pattern can be used for other similar decorators: @staticmethod, @abstractmethod, and others.

Adicionado na versão 3.8.

functools.update_wrapper(wrapper, wrapped, assigned=WRAPPER_ASSIGNMENTS, updated=WRAPPER_UPDATES)

Update a wrapper function to look like the wrapped function. The optional arguments are tuples to specify which attributes of the original function are assigned directly to the matching attributes on the wrapper function and which attributes of the wrapper function are updated with the corresponding attributes from the original function. The default values for these arguments are the module level constants WRAPPER_ASSIGNMENTS (which assigns to the wrapper function’s __module__, __name__, __qualname__, __annotations__, __type_params__, and __doc__, the documentation string) and WRAPPER_UPDATES (which updates the wrapper function’s __dict__, i.e. the instance dictionary).

To allow access to the original function for introspection and other purposes (e.g. bypassing a caching decorator such as lru_cache()), this function automatically adds a __wrapped__ attribute to the wrapper that refers to the function being wrapped.

The main intended use for this function is in decorator functions which wrap the decorated function and return the wrapper. If the wrapper function is not updated, the metadata of the returned function will reflect the wrapper definition rather than the original function definition, which is typically less than helpful.

update_wrapper() may be used with callables other than functions. Any attributes named in assigned or updated that are missing from the object being wrapped are ignored (i.e. this function will not attempt to set them on the wrapper function). AttributeError is still raised if the wrapper function itself is missing any attributes named in updated.

Alterado na versão 3.2: The __wrapped__ attribute is now automatically added. The __annotations__ attribute is now copied by default. Missing attributes no longer trigger an AttributeError.

Alterado na versão 3.4: The __wrapped__ attribute now always refers to the wrapped function, even if that function defined a __wrapped__ attribute. (see bpo-17482 [https://bugs.python.org/issue?@action=redirect&bpo=17482])

Alterado na versão 3.12: The __type_params__ attribute is now copied by default.

@functools.wraps(wrapped, assigned=WRAPPER_ASSIGNMENTS, updated=WRAPPER_UPDATES)

This is a convenience function for invoking update_wrapper() as a function decorator when defining a wrapper function. It is equivalent to partial(update_wrapper, wrapped=wrapped, assigned=assigned, updated=updated). For example:

>>> from functools import wraps
>>> def my_decorator(f):
...     @wraps(f)
...     def wrapper(*args, **kwds):
...         print('Calling decorated function')
...         return f(*args, **kwds)
...     return wrapper
...
>>> @my_decorator
... def example():
...     """Docstring"""
...     print('Called example function')
...
>>> example()
Calling decorated function
Called example function
>>> example.__name__
'example'
>>> example.__doc__
'Docstring'

Without the use of this decorator factory, the name of the example function would have been 'wrapper', and the docstring of the original example() would have been lost.

Objetos partial

partial objects are callable objects created by partial(). They have three read-only attributes:

partial.func

A callable object or function. Calls to the partial object will be forwarded to func with new arguments and keywords.

partial.args

The leftmost positional arguments that will be prepended to the positional arguments provided to a partial object call.

partial.keywords

The keyword arguments that will be supplied when the partial object is called.

partial objects are like function objects in that they are callable, weak referenceable, and can have attributes. There are some important differences. For instance, the __name__ and function.__doc__ attributes are not created automatically. Also, partial objects defined in classes behave like static methods and do not transform into bound methods during instance attribute look-up.

operator — Operadores padrões como funções

Código-fonte: Lib/operator.py [https://github.com/python/cpython/tree/3.13/Lib/operator.py]

O módulo operator exporta um conjunto de funções eficientes correspondentes aos operadores intrínsecos do Python. Por exemplo, operator.add(x,y) é equivalente à expressão x+y. Muitos nomes de função são aqueles usados para métodos especiais, sem os sublinhados duplos. Para compatibilidade com versões anteriores, muitos deles têm uma variante com os sublinhados duplos mantidos. As variantes sem os sublinhados duplos são preferenciais para maior clareza.

As funções se enquadram em categorias que realizam comparações de objetos, operações lógicas, operações matemáticas e operações de sequência.

As funções de comparação de objetos são úteis para todos os objetos e são nomeadas conforme os operadores de comparação que os mesmos suportam:

operator.lt(a, b)

operator.le(a, b)

operator.eq(a, b)

operator.ne(a, b)

operator.ge(a, b)

operator.gt(a, b)

operator.__lt__(a, b)

operator.__le__(a, b)

operator.__eq__(a, b)

operator.__ne__(a, b)

operator.__ge__(a, b)

operator.__gt__(a, b)

Executam “comparações ricas” entre a e b. Especialmente, lt(a, b) é equivalente a a < b, le(a, b) é equivalente a a <= b, eq(a, b) é equivalente a a == b, ne(a, b) é equivalente a a != b, gt(a, b) é equivalente a a > b e ge(a, b) é equivalente a a >= b. Observe que essas funções podem retornar qualquer valor, que pode ou não ser interpretável como um valor booleano. Consulte Comparações para obter mais informações sobre comparações ricas.

As operações lógicas também são geralmente aplicáveis a todos os objetos e tem suporte para testes de verdade, testes de identidade e operações booleanas:

operator.not_(obj)

operator.__not__(obj)

Retorna o resultado de not obj. (Veja que não existe nenhum método __not__() para instâncias de objetos; apenas o núcleo do interpretador definirá esta operação. O resultado será afetado pelos métodos __bool__() e __len__().)

operator.truth(obj)

Retorna True se o obj for verdadeiro, e False caso contrário. Isso é equivalente a utilizar a construção bool.

operator.is_(a, b)

Retorna a is b. Testa a identidade do objeto.

operator.is_not(a, b)

Retorna a is not b. Testa a identidade do objeto.

As operações matemáticas bit a bit são as mais numerosas:

operator.abs(obj)

operator.__abs__(obj)

Retorna o valor absoluto de obj.

operator.add(a, b)

operator.__add__(a, b)

Retorna a + b, onde a e b são números.

operator.and_(a, b)

operator.__and__(a, b)

Retorna bit a bit de a e b.

operator.floordiv(a, b)

operator.__floordiv__(a, b)

Retorna a // b.

operator.index(a)

operator.__index__(a)

Retorna a convertendo para um inteiro. Equivalente a a.__index__().

Alterado na versão 3.10: O resultado sempre tem o tipo exato int. Anteriormente, o resultado poderia ter sido uma instância de uma subclasse de int.

operator.inv(obj)

operator.invert(obj)

operator.__inv__(obj)

operator.__invert__(obj)

Retorna o inverso bit a bit do número obj. Isso equivale a ~obj.

operator.lshift(a, b)

operator.__lshift__(a, b)

Retorna a deslocado para a esquerda por b.

operator.mod(a, b)

operator.__mod__(a, b)

Retorna a % b.

operator.mul(a, b)

operator.__mul__(a, b)

Retorna a * b, onde a e b são números.

operator.matmul(a, b)

operator.__matmul__(a, b)

Retorna a @ b.

Adicionado na versão 3.5.

operator.neg(obj)

operator.__neg__(obj)

Retorna obj negado (-obj).

operator.or_(a, b)

operator.__or__(a, b)

Retorna bit a bit de a e b.

operator.pos(obj)

operator.__pos__(obj)

Retorna obj positivo (+obj).

operator.pow(a, b)

operator.__pow__(a, b)

Retorna a ** b, onde a e b são números.

operator.rshift(a, b)

operator.__rshift__(a, b)

Retorna a deslocado para a direita por b.

operator.sub(a, b)

operator.__sub__(a, b)

Retorna a - b.

operator.truediv(a, b)

operator.__truediv__(a, b)

Retorna a / b onde 2/3 é .66 em vez de 0. Isso também é conhecido como divisão “verdadeira”.

operator.xor(a, b)

operator.__xor__(a, b)

Retorna o OU exclusivo bit a bit de a e b.

Operações que funcionam com sequências (algumas delas com mapas também) incluem:

operator.concat(a, b)

operator.__concat__(a, b)

Retorna a + b para as sequências a e b.

operator.contains(a, b)

operator.__contains__(a, b)

Retorna o resultado do teste b in a. Observe os operandos invertidos.

operator.countOf(a, b)

Retorna o número de ocorrências de b em a.

operator.delitem(a, b)

operator.__delitem__(a, b)

Remove de a o valor no índice b.

operator.getitem(a, b)

operator.__getitem__(a, b)

Retorna de a o valor no índice b.

operator.indexOf(a, b)

Retorna o índice da primeira ocorrência de b em a.

operator.setitem(a, b, c)

operator.__setitem__(a, b, c)

Define em a o valor no índice b para c.

operator.length_hint(obj, default=0)

Retorna um comprimento estimado para o objeto obj. Primeiro tenta retornar o seu comprimento real, em seguida, uma estimativa utilizando object.__length_hint__(), e finalmente retorna o valor padrão.

Adicionado na versão 3.4.

Os operadores seguintes funcionam com chamáveis:

operator.call(obj, /, *args, **kwargs)

operator.__call__(obj, /, *args, **kwargs)

Retorna obj(*args, **kwargs).

Adicionado na versão 3.11.

O módulo operator também define ferramentas para procura de itens e atributos generalizados. Estes são úteis para fazer extração de campo rapidamente como argumentos para as funções map(), sorted(), itertools.groupby(), ou outra função que espera uma função como argumento.

operator.attrgetter(attr)

operator.attrgetter(*attrs)

Retorna um objeto chamável que pode buscar o attr do seu operando. Caso seja solicitado mais de um atributo, retorna uma tupla de atributos. Os nomes dos atributos também podem conter pontos. Por exemplo:

Depois de f = attrgetter('name'), a chamada a f(b) retorna b.name.

Depois de f = attrgetter('name', 'date'), a chamada a f(b) retorna (b.name, b.date).

Depois de f = attrgetter('name.first', 'name.last'), a chamada a f(b) retorna (b.name.first, b.name.last).

Equivalente a:

def attrgetter(*items):
    if any(not isinstance(item, str) for item in items):
        raise TypeError('attribute name must be a string')
    if len(items) == 1:
        attr = items[0]
        def g(obj):
            return resolve_attr(obj, attr)
    else:
        def g(obj):
            return tuple(resolve_attr(obj, attr) for attr in items)
    return g

def resolve_attr(obj, attr):
    for name in attr.split("."):
        obj = getattr(obj, name)
    return obj

operator.itemgetter(item)

operator.itemgetter(*items)

Retorna um objeto chamável que busca item de seu operando usando o método __getitem__() do operando. Se vários itens forem especificados, retorna um tupla de valores de pesquisa. Por exemplo:

Depois de f = itemgetter(2), a chamada a f(r) retorna r[2].

Depois de g = itemgetter(2, 5, 3), a chamada a g(r) retorna (r[2], r[5], r[3]).

Equivalente a:

def itemgetter(*items):
    if len(items) == 1:
        item = items[0]
        def g(obj):
            return obj[item]
    else:
        def g(obj):
            return tuple(obj[item] for item in items)
    return g

Os itens podem ser de qualquer tipo aceito pelo método __getitem__() do operando. Dicionários aceitam qualquer valor hasheável . Listas, tuplas e strings aceitam um índice ou um fatiamento:

>>> itemgetter(1)('ABCDEFG')
'B'
>>> itemgetter(1, 3, 5)('ABCDEFG')
('B', 'D', 'F')
>>> itemgetter(slice(2, None))('ABCDEFG')
'CDEFG'
>>> soldier = dict(rank='captain', name='dotterbart')
>>> itemgetter('rank')(soldier)
'captain'

Exemplo de uso itemgetter() para recuperar campos específicos de um registro de tupla:

>>> inventory = [('apple', 3), ('banana', 2), ('pear', 5), ('orange', 1)]
>>> getcount = itemgetter(1)
>>> list(map(getcount, inventory))
[3, 2, 5, 1]
>>> sorted(inventory, key=getcount)
[('orange', 1), ('banana', 2), ('apple', 3), ('pear', 5)]

operator.methodcaller(name, /, *args, **kwargs)

Retorna um objeto chamável que invoca o método name em seu operando. Se argumentos adicionais e/ou argumentos nomeados forem fornecidos, os mesmos serão passados para o método. Por exemplo:

Depois de f = methodcaller('name'), a chamada a f(b) retorna b.name().

Depois de f = methodcaller('name', 'foo', bar=1), a chamada f(b) retorna b.name('foo', bar=1).

Equivalente a:

def methodcaller(name, /, *args, **kwargs):
    def caller(obj):
        return getattr(obj, name)(*args, **kwargs)
    return caller

Mapeando os operadores para suas respectivas funções

Esta tabela mostra como as operações abstratas correspondem aos símbolos do operador na sintaxe Python e às funções no módulo operator.

Operação

Sintaxe

Função

Adição

a + b

add(a, b)

Concatenação

seq1 + seq2

concat(seq1, seq2)

Teste de pertinência

obj in seq

contains(seq, obj)

Divisão

a / b

truediv(a, b)

Divisão

a // b

floordiv(a, b)

E bit a bit

a & b

and_(a, b)

Ou exclusivo bit a bit

a ^ b

xor(a, b)

Inversão bit a bit

~ a

invert(a)

Ou bit a bit

a | b

or_(a, b)

Exponenciação

a ** b

pow(a, b)

Identidade

a is b

is_(a, b)

Identidade

a is not b

is_not(a, b)

Atribuição Indexada

obj[k] = v

setitem(obj, k, v)

Eliminação indexada

del obj[k]

delitem(obj, k)

Indexação

obj[k]

getitem(obj, k)

Deslocamento à esquerda

a << b

lshift(a, b)

Módulo

a % b

mod(a, b)

Multiplicação

a * b

mul(a, b)

Multiplicação de matrizes

a @ b

matmul(a, b)

Negação (aritmética)

- a

neg(a)

Negação (lógica)

not a

not_(a)

Positivo

+ a

pos(a)

Deslocamento à direita

a >> b

rshift(a, b)

Atribuição de fatia

seq[i:j] = values

setitem(seq, slice(i, j), values)

Remoção de fatia

del seq[i:j]

delitem(seq, slice(i, j))

Fatiamento

seq[i:j]

getitem(seq, slice(i, j))

Formatação de strings

s % obj

mod(s, obj)

Subtração

a - b

sub(a, b)

Teste verdadeiro

obj

truth(obj)

Ordenação

a < b

lt(a, b)

Ordenação

a <= b

le(a, b)

Igualdade

a == b

eq(a, b)

Diferença

a != b

ne(a, b)

Ordenação

a >= b

ge(a, b)

Ordenação

a > b

gt(a, b)

Operadores in-place

Muitas operações possuem uma versão “in-place”. Listadas abaixo, as funções fornecem um acesso mais primitivo aos operadores locais do que a sintaxe usual; por exemplo, a instrução x += y é equivalente a x = operator.iadd(x, y). Outra maneira de colocá-lo é dizendo que z = operator.iadd(x, y) é equivalente à instrução composta z = x; z += y.

Nesses exemplos, note que, quando um método in-place é invocado, a computação e a atribuição são realizadas em duas etapas separadas. As funções in-place listadas abaixo apenas fazem o primeiro passo, invocando o método in-place. O segundo passo, a atribuição, não é tratado.

Para os casos imutáveis, como as strings, números e tuplas, o valor atualizado será calculado, mas não será atribuído de volta à variável de entrada:

>>> a = 'hello'
>>> iadd(a, ' world')
'hello world'
>>> a
'hello'

Para alvos mutáveis tal como listas e dicionários, o método in-place vai realizar a atualização, então nenhuma atribuição subsequente é necessária:

>>> s = ['h', 'e', 'l', 'l', 'o']
>>> iadd(s, [' ', 'w', 'o', 'r', 'l', 'd'])
['h', 'e', 'l', 'l', 'o', ' ', 'w', 'o', 'r', 'l', 'd']
>>> s
['h', 'e', 'l', 'l', 'o', ' ', 'w', 'o', 'r', 'l', 'd']

operator.iadd(a, b)

operator.__iadd__(a, b)

a = iadd(a, b) é equivalente a a += b.

operator.iand(a, b)

operator.__iand__(a, b)

a = iand(a, b) é equivalente a a &= b.

operator.iconcat(a, b)

operator.__iconcat__(a, b)

a = iconcat(a, b) é equivalente a a += b onde a e b são sequências.

operator.ifloordiv(a, b)

operator.__ifloordiv__(a, b)

a = ifloordiv(a, b) é equivalente a a //= b.

operator.ilshift(a, b)

operator.__ilshift__(a, b)

a = ilshift(a, b) é equivalente a a <<= b.

operator.imod(a, b)

operator.__imod__(a, b)

a = imod(a, b) é equivalente a a %= b.

operator.imul(a, b)

operator.__imul__(a, b)

a = imul(a, b) é equivalente a a *= b.

operator.imatmul(a, b)

operator.__imatmul__(a, b)

a = imatmul(a, b) é equivalente a a @= b.

Adicionado na versão 3.5.

operator.ior(a, b)

operator.__ior__(a, b)

a = ior(a, b) é equivalente a a |= b.

operator.ipow(a, b)

operator.__ipow__(a, b)

a = ipow(a, b) é equivalente a a **= b.

operator.irshift(a, b)

operator.__irshift__(a, b)

a = irshift(a, b) é equivalente a a >>= b.

operator.isub(a, b)

operator.__isub__(a, b)

a = isub(a, b) é equivalente a a -= b.

operator.itruediv(a, b)

operator.__itruediv__(a, b)

a = itruediv(a, b) é equivalente a a /= b.

operator.ixor(a, b)

operator.__ixor__(a, b)

a = ixor(a, b) é equivalente a a ^= b.

Acesso a arquivos e diretórios

Os módulos descritos neste capítulo dizem respeito aos arquivos e diretórios no disco. Por exemplo, existem módulos para ler as propriedades dos arquivos, manipular o caminhos de forma multiplataforma e para criar arquivos temporários. A lista completa de módulos neste capítulo é:

pathlib — Caminhos do sistema de arquivos orientados a objetos

Uso básico

Exceções

UnsupportedOperation

Caminhos puros

PurePath

PurePosixPath

PureWindowsPath

Propriedades gerais

Operadores

Acessando partes individuais

parts

Métodos e propriedades

parser

drive

root

anchor

parents

parent

name

suffix

suffixes

stem

as_posix()

is_absolute()

is_relative_to()

is_reserved()

joinpath()

full_match()

match()

relative_to()

with_name()

with_stem()

with_suffix()

with_segments()

Caminhos concretos

Path

PosixPath

WindowsPath

Analisando e gerando URIs

from_uri()

as_uri()

Expandindo e resolvendo caminhos

home()

expanduser()

cwd()

absolute()

resolve()

readlink()

Consultando tipo de arquivo e status

stat()

lstat()

exists()

is_file()

is_dir()

is_symlink()

is_junction()

is_mount()

is_socket()

is_fifo()

is_block_device()

is_char_device()

samefile()

Lendo e escrevendo arquivos

open()

read_text()

read_bytes()

write_text()

write_bytes()

Lendo diretórios

iterdir()

glob()

rglob()

walk()

Criando arquivos e diretórios

touch()

mkdir()

symlink_to()

hardlink_to()

Renaming and deleting

rename()

replace()

unlink()

rmdir()

Permissions and ownership

owner()

group()

chmod()

lchmod()

Pattern language

Comparison to the glob module

Comparison to the os and os.path modules

Corresponding tools

os.path — Manipulações comuns de nomes de caminhos

abspath()

basename()

commonpath()

commonprefix()

dirname()

exists()

lexists()

expanduser()

expandvars()

getatime()

getmtime()

getctime()

getsize()

isabs()

isfile()

isdir()

isjunction()

islink()

ismount()

isdevdrive()

isreserved()

join()

normcase()

normpath()

realpath()

relpath()

samefile()

sameopenfile()

samestat()

split()

splitdrive()

splitroot()

splitext()

supports_unicode_filenames

fileinput — Itera sobre linhas de múltiplos fluxos de entrada

input()

filename()

fileno()

lineno()

filelineno()

isfirstline()

isstdin()

nextfile()

close()

FileInput

hook_compressed()

hook_encoded()

stat — Interpretando resultados de stat()

S_ISDIR()

S_ISCHR()

S_ISBLK()

S_ISREG()

S_ISFIFO()

S_ISLNK()

S_ISSOCK()

S_ISDOOR()

S_ISPORT()

S_ISWHT()

S_IMODE()

S_IFMT()

filemode()

ST_MODE

ST_INO

ST_DEV

ST_NLINK

ST_UID

ST_GID

ST_SIZE

ST_ATIME

ST_MTIME

ST_CTIME

S_IFSOCK

S_IFLNK

S_IFREG

S_IFBLK

S_IFDIR

S_IFCHR

S_IFIFO

S_IFDOOR

S_IFPORT

S_IFWHT

S_ISUID

S_ISGID

S_ISVTX

S_IRWXU

S_IRUSR

S_IWUSR

S_IXUSR

S_IRWXG

S_IRGRP

S_IWGRP

S_IXGRP

S_IRWXO

S_IROTH

S_IWOTH

S_IXOTH

S_ENFMT

S_IREAD

S_IWRITE

S_IEXEC

UF_SETTABLE

UF_NODUMP

UF_IMMUTABLE

UF_APPEND

UF_OPAQUE

UF_NOUNLINK

UF_COMPRESSED

UF_TRACKED

UF_DATAVAULT

UF_HIDDEN

SF_SETTABLE

SF_SUPPORTED

SF_SYNTHETIC

SF_ARCHIVED

SF_IMMUTABLE

SF_APPEND

SF_RESTRICTED

SF_NOUNLINK

SF_SNAPSHOT

SF_FIRMLINK

SF_DATALESS

FILE_ATTRIBUTE_ARCHIVE

FILE_ATTRIBUTE_COMPRESSED

FILE_ATTRIBUTE_DEVICE

FILE_ATTRIBUTE_DIRECTORY

FILE_ATTRIBUTE_ENCRYPTED

FILE_ATTRIBUTE_HIDDEN

FILE_ATTRIBUTE_INTEGRITY_STREAM

FILE_ATTRIBUTE_NORMAL

FILE_ATTRIBUTE_NOT_CONTENT_INDEXED

FILE_ATTRIBUTE_NO_SCRUB_DATA

FILE_ATTRIBUTE_OFFLINE

FILE_ATTRIBUTE_READONLY

FILE_ATTRIBUTE_REPARSE_POINT

FILE_ATTRIBUTE_SPARSE_FILE

FILE_ATTRIBUTE_SYSTEM

FILE_ATTRIBUTE_TEMPORARY

FILE_ATTRIBUTE_VIRTUAL

IO_REPARSE_TAG_SYMLINK

IO_REPARSE_TAG_MOUNT_POINT

IO_REPARSE_TAG_APPEXECLINK

filecmp — File and Directory Comparisons

cmp()

cmpfiles()

clear_cache()

A classe dircmp

dircmp

report()

report_partial_closure()

report_full_closure()

left

right

left_list

right_list

common

left_only

right_only

common_dirs

common_files

common_funny

same_files

diff_files

funny_files

subdirs

DEFAULT_IGNORES

tempfile — Generate temporary files and directories

TemporaryFile()

NamedTemporaryFile()

SpooledTemporaryFile

rollover()

TemporaryDirectory

name

cleanup()

mkstemp()

mkdtemp()

gettempdir()

gettempdirb()

gettempprefix()

gettempprefixb()

tempdir

Exemplos

Deprecated functions and variables

mktemp()

glob — Expansão de padrão de nome de arquivo no estilo Unix

glob()

iglob()

escape()

translate()

Exemplos

fnmatch — Correspondência de padrões de nome de arquivo Unix

fnmatch()

fnmatchcase()

filter()

translate()

linecache — Acesso aleatório a linhas de texto

getline()

clearcache()

checkcache()

lazycache()

shutil — High-level file operations

Operações de diretório e arquivos

copyfileobj()

copyfile()

SameFileError

copymode()

copystat()

copy()

copy2()

ignore_patterns()

copytree()

rmtree()

avoids_symlink_attacks

move()

disk_usage()

chown()

which()

Error

Operações de cópia eficientes dependentes da plataforma

Exemplo de copytree

exemplo rmtree

Operações de arquivamento

make_archive()

get_archive_formats()

register_archive_format()

unregister_archive_format()

unpack_archive()

register_unpack_format()

unregister_unpack_format()

get_unpack_formats()

Exemplo de arquivo

Exemplo de arquivamento com base_dir

Consultando o tamanho do terminal de saída

get_terminal_size()

Ver também

Módulo os

Interfaces do sistema operacional, incluindo funções para trabalhar com arquivos num nível inferior a objetos arquivos do Python.

Módulo io

A biblioteca embutida de E/S do Python, incluindo as classes abstratas e algumas classes concretas, como E/S de arquivos.

Função embutida open()

A maneira padrão de abrir arquivos para ler e escrever em Python.

pathlib — Caminhos do sistema de arquivos orientados a objetos

Adicionado na versão 3.4.

Código-fonte: Lib/pathlib/ [https://github.com/python/cpython/tree/3.13/Lib/pathlib/]

Este módulo oferece classes que representam caminhos de sistema de arquivos com semântica apropriada para diferentes sistemas operacionais. As classes de caminho são divididas entre caminhos puros, que fornecem operações puramente computacionais sem E/S, e caminhos concretos, que herdam de caminhos puros, mas também fornecem operações de E/S.

Se você nunca usou este módulo antes ou apenas não tem certeza de qual classe é a certa para sua tarefa, provavelmente Path é o que você precisa. Ele instancia um caminho concreto para a plataforma em que o código está sendo executado.

Caminhos puros são úteis em alguns casos especiais. Por exemplo:

Se você deseja manipular os caminhos do Windows em uma máquina Unix (ou vice-versa). Você não pode instanciar uma WindowsPath quando executado no Unix, mas você pode instanciar PureWindowsPath.

Você quer ter certeza de que seu código apenas manipula caminhos, sem realmente acessar o sistema operacional. Nesse caso, instanciar uma das classes puras pode ser útil, pois elas simplesmente não têm nenhuma operação de acesso ao sistema operacional.

Ver também

PEP 428 [https://peps.python.org/pep-0428/]: O módulo pathlib – caminhos de sistema de arquivos orientados a objetos.

Ver também

Para manipulação de caminho de baixo nível em strings, você também pode usar o módulo os.path.

Uso básico

Importação da classe principal:

>>> from pathlib import Path

Listando os subdiretórios:

>>> p = Path('.')
>>> [x for x in p.iterdir() if x.is_dir()]
[PosixPath('.hg'), PosixPath('docs'), PosixPath('dist'),
 PosixPath('__pycache__'), PosixPath('build')]

Listando os arquivos fontes do Python e sua árvore de diretórios:

>>> list(p.glob('**/*.py'))
[PosixPath('test_pathlib.py'), PosixPath('setup.py'),
 PosixPath('pathlib.py'), PosixPath('docs/conf.py'),
 PosixPath('build/lib/pathlib.py')]

Navegando dentro da árvore de diretórios:

>>> p = Path('/etc')
>>> q = p / 'init.d' / 'reboot'
>>> q
PosixPath('/etc/init.d/reboot')
>>> q.resolve()
PosixPath('/etc/rc.d/init.d/halt')

Consultando as propriedades do path:

>>> q.exists()
True
>>> q.is_dir()
False

Abrindo um arquivo:

>>> with q.open() as f: f.readline()
...
'#!/bin/bash\n'

Exceções

exception pathlib.UnsupportedOperation

Uma exceção herdada de NotImplementedError que é levantada quando uma operação não suportada é chamada em um objeto caminho.

Adicionado na versão 3.13.

Caminhos puros

Objetos de caminho puro fornecem operações de manipulação de caminho que, na verdade, não acessam um sistema de arquivos. Existem três maneiras de acessar essas classes, que também chamamos de sabores:

class pathlib.PurePath(*pathsegments)

Uma classe genérica que representa o tipo de caminho do sistema (instanciando-a cria uma PurePosixPath ou uma PureWindowsPath):

>>> PurePath('setup.py')      # Running on a Unix machine
PurePosixPath('setup.py')

Cada elemento de pathsegments pode ser uma string representando um segmento de caminho, um objeto que implementa a interface que retorna uma string ou um objeto implementando a interface os.PathLike, onde o método __fspath__() retorna uma string, como outro objeto caminho:

>>> PurePath('foo', 'some/path', 'bar')
PurePosixPath('foo/some/path/bar')
>>> PurePath(Path('foo'), Path('bar'))
PurePosixPath('foo/bar')

Quando pathsegments está vazio, o diretório atual é presumido:

>>> PurePath()
PurePosixPath('.')

Se um segmento for um caminho absoluto, todos os segmentos anteriores serão ignorados (como os.path.join()):

>>> PurePath('/etc', '/usr', 'lib64')
PurePosixPath('/usr/lib64')
>>> PureWindowsPath('c:/Windows', 'd:bar')
PureWindowsPath('d:bar')

No Windows, a unidade não é redefinida quando um segmento de caminho relativo enraizado (por exemplo, r'\foo') é encontrado:

>>> PureWindowsPath('c:/Windows', '/Program Files')
PureWindowsPath('c:/Program Files')

Barras espúrias e pontos simples são recolhidos, mas pontos duplos ('..') e barras duplas iniciais ('//') não são, pois isso mudaria o significado de um caminho por vários motivos (por exemplo, links simbólicos, caminhos UNC):

>>> PurePath('foo//bar')
PurePosixPath('foo/bar')
>>> PurePath('//foo/bar')
PurePosixPath('//foo/bar')
>>> PurePath('foo/./bar')
PurePosixPath('foo/bar')
>>> PurePath('foo/../bar')
PurePosixPath('foo/../bar')

(uma abordagem ingênua seria criar PurePosixPath('foo/../bar') equivalente a PurePosixPath('bar'), o que é errado se foo for um link simbólico para outro diretório)

Objetos caminho puro implementam a interface os.PathLike, permitindo que sejam usados em qualquer lugar em que a interface seja aceita.

Alterado na versão 3.6: Adicionado suporte para a interface os.PathLike.

class pathlib.PurePosixPath(*pathsegments)

Uma subclasse de PurePath, este tipo de caminho representa caminhos de sistema de arquivos não Windows:

>>> PurePosixPath('/etc/hosts')
PurePosixPath('/etc/hosts')

pathsegments é especificado de forma similar para PurePath.

class pathlib.PureWindowsPath(*pathsegments)

Uma subclasse de PurePath, este tipo de caminho representa os caminhos do sistema de arquivos do Windows, incluindo Caminhos UNC [https://en.wikipedia.org/wiki/Path_(computing)#UNC]:

>>> PureWindowsPath('c:/', 'Users', 'Ximénez')
PureWindowsPath('c:/Users/Ximénez')
>>> PureWindowsPath('//server/share/file')
PureWindowsPath('//server/share/file')

pathsegments é especificado de forma similar para PurePath.

Independentemente do sistema em que você está usando, você pode instanciar todas essas classes, uma vez que elas não fornecem nenhuma operação que faça chamadas de sistema.

Propriedades gerais

Os caminhos são imutáveis e hasheáveis. Os caminhos do mesmo sabor são comparáveis e ordenáveis. Essas propriedades respeitam a semântica de caixa alta e baixa do sabor:

>>> PurePosixPath('foo') == PurePosixPath('FOO')
False
>>> PureWindowsPath('foo') == PureWindowsPath('FOO')
True
>>> PureWindowsPath('FOO') in { PureWindowsPath('foo') }
True
>>> PureWindowsPath('C:') < PureWindowsPath('d:')
True

Caminhos de um sabor diferente são comparados de forma desigual e não podem ser ordenados:

>>> PureWindowsPath('foo') == PurePosixPath('foo')
False
>>> PureWindowsPath('foo') < PurePosixPath('foo')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: '<' not supported between instances of 'PureWindowsPath' and 'PurePosixPath'

Operadores

O operador barra ajuda a criar caminhos filhos, como os.path.join(). Se o argumento for um caminho absoluto, o caminho anterior será ignorado. No Windows, a unidade não é redefinida quando o argumento é um caminho relativo enraizado (por exemplo, r'\foo'):

>>> p = PurePath('/etc')
>>> p
PurePosixPath('/etc')
>>> p / 'init.d' / 'apache2'
PurePosixPath('/etc/init.d/apache2')
>>> q = PurePath('bin')
>>> '/usr' / q
PurePosixPath('/usr/bin')
>>> p / '/an_absolute_path'
PurePosixPath('/an_absolute_path')
>>> PureWindowsPath('c:/Windows', '/Program Files')
PureWindowsPath('c:/Program Files')

Um objeto de caminho pode ser usado em qualquer lugar em que um objeto implementando os.PathLike seja aceito:

>>> import os
>>> p = PurePath('/etc')
>>> os.fspath(p)
'/etc'

A representação de string de um caminho é o próprio caminho do sistema de arquivos bruto (na forma nativa, por exemplo, com contrabarras no Windows), que você pode passar para qualquer função usando um caminho de arquivo como uma string:

>>> p = PurePath('/etc')
>>> str(p)
'/etc'
>>> p = PureWindowsPath('c:/Program Files')
>>> str(p)
'c:\\Program Files'

Da mesma forma, chamar bytes em um caminho fornece o caminho do sistema de arquivos bruto como um objeto bytes, codificado por os.fsencode():

>>> bytes(p)
b'/etc'

Nota

A chamada de bytes só é recomendada no Unix. No Windows, a forma Unicode é a representação canônica dos caminhos do sistema de arquivos.

Acessando partes individuais

Para acessar as “partes” individuais (componentes) de um caminho, use a seguinte propriedade:

PurePath.parts

Uma tupla que dá acesso aos vários componentes do caminho:

>>> p = PurePath('/usr/bin/python3')
>>> p.parts
('/', 'usr', 'bin', 'python3')

>>> p = PureWindowsPath('c:/Program Files/PSF')
>>> p.parts
('c:\\', 'Program Files', 'PSF')

(observe como a unidade e a raiz local são reagrupadas em uma única parte)

Métodos e propriedades

Caminhos puros fornecem os seguintes métodos e propriedades:

PurePath.parser

A implementação do módulo os.path usado para análise e junção de caminhos de baixo nível: posixpath ou ntpath.

Adicionado na versão 3.13.

PurePath.drive

Uma string que representa a letra ou nome da unidade, se houver:

>>> PureWindowsPath('c:/Program Files/').drive
'c:'
>>> PureWindowsPath('/Program Files/').drive
''
>>> PurePosixPath('/etc').drive
''

Os compartilhamentos UNC também são considerados unidades:

>>> PureWindowsPath('//host/share/foo.txt').drive
'\\\\host\\share'

PurePath.root

Uma string que representa a raiz (local ou global), se houver:

>>> PureWindowsPath('c:/Program Files/').root
'\\'
>>> PureWindowsPath('c:Program Files/').root
''
>>> PurePosixPath('/etc').root
'/'

Os compartilhamentos UNC sempre têm uma raiz:

>>> PureWindowsPath('//host/share').root
'\\'

Se o caminho começa com mais de duas barras sucessivas, PurePosixPath as recolhe:

>>> PurePosixPath('//etc').root
'//'
>>> PurePosixPath('///etc').root
'/'
>>> PurePosixPath('////etc').root
'/'

Nota

Este comportamento está em conformidade com o parágrafo 4.11 Pathname Resolution [https://pubs.opengroup.org/onlinepubs/009695399/basedefs/xbd_chap04.html#tag_04_11] do The Open Group Base Specifications Issue 6:

“Um nome de caminho que começa com duas barras sucessivas pode ser interpretado de maneira definida pela implementação, embora mais de duas barras iniciais devam ser tratadas como uma única barra.”

PurePath.anchor

A concatenação da unidade e da raiz:

>>> PureWindowsPath('c:/Program Files/').anchor
'c:\\'
>>> PureWindowsPath('c:Program Files/').anchor
'c:'
>>> PurePosixPath('/etc').anchor
'/'
>>> PureWindowsPath('//host/share').anchor
'\\\\host\\share\\'

PurePath.parents

Uma sequência imutável que fornece acesso aos ancestrais lógicos do caminho:

>>> p = PureWindowsPath('c:/foo/bar/setup.py')
>>> p.parents[0]
PureWindowsPath('c:/foo/bar')
>>> p.parents[1]
PureWindowsPath('c:/foo')
>>> p.parents[2]
PureWindowsPath('c:/')

Alterado na versão 3.10: A sequência pai agora tem suporte fatias e valores de índice negativos.

PurePath.parent

O pai lógico do caminho:

>>> p = PurePosixPath('/a/b/c/d')
>>> p.parent
PurePosixPath('/a/b/c')

Você não pode passar por uma âncora ou caminho vazio:

>>> p = PurePosixPath('/')
>>> p.parent
PurePosixPath('/')
>>> p = PurePosixPath('.')
>>> p.parent
PurePosixPath('.')

Nota

Esta é uma operação puramente lexical, daí o seguinte comportamento:

>>> p = PurePosixPath('foo/..')
>>> p.parent
PurePosixPath('foo')

Se você deseja percorrer um caminho arbitrário do sistema de arquivos para cima, é recomendável primeiro chamar Path.resolve() para resolver os links simbólicos e eliminar os componentes "..".

PurePath.name

Uma string que representa o componente do caminho final, excluindo a unidade e a raiz, se houver:

>>> PurePosixPath('my/library/setup.py').name
'setup.py'

Nomes de unidades UNC não são considerados::

>>> PureWindowsPath('//some/share/setup.py').name
'setup.py'
>>> PureWindowsPath('//some/share').name
''

PurePath.suffix

A última parte separada por pontos do componente final, se houver:

>>> PurePosixPath('my/library/setup.py').suffix
'.py'
>>> PurePosixPath('my/library.tar.gz').suffix
'.gz'
>>> PurePosixPath('my/library').suffix
''

Isso é comumente chamado de extensão de arquivo.

PurePath.suffixes

Uma lista dos sufixos do caminho, com frequência chamados de extensões de arquivo:

>>> PurePosixPath('my/library.tar.gar').suffixes
['.tar', '.gar']
>>> PurePosixPath('my/library.tar.gz').suffixes
['.tar', '.gz']
>>> PurePosixPath('my/library').suffixes
[]

PurePath.stem

O componente final do caminho, sem seu sufixo:

>>> PurePosixPath('my/library.tar.gz').stem
'library.tar'
>>> PurePosixPath('my/library.tar').stem
'library'
>>> PurePosixPath('my/library').stem
'library'

PurePath.as_posix()

Retorna uma representação de string do caminho com barras (/):

>>> p = PureWindowsPath('c:\\windows')
>>> str(p)
'c:\\windows'
>>> p.as_posix()
'c:/windows'

PurePath.is_absolute()

Retorna se o caminho é absoluto ou não. Um caminho é considerado absoluto se tiver uma raiz e (se o tipo permitir) uma unidade:

>>> PurePosixPath('/a/b').is_absolute()
True
>>> PurePosixPath('a/b').is_absolute()
False

>>> PureWindowsPath('c:/a/b').is_absolute()
True
>>> PureWindowsPath('/a/b').is_absolute()
False
>>> PureWindowsPath('c:').is_absolute()
False
>>> PureWindowsPath('//some/share').is_absolute()
True

PurePath.is_relative_to(other)

Retorna se este caminho é ou não relativo a outro caminho, representado por other.

>>> p = PurePath('/etc/passwd')
>>> p.is_relative_to('/etc')
True
>>> p.is_relative_to('/usr')
False

Este método é baseado em string; ele não acessa o sistema de arquivos nem trata segmentos “..” especialmente. O código a seguir é equivalente:

>>> u = PurePath('/usr')
>>> u == p or u in p.parents
False

Adicionado na versão 3.9.

Deprecated since version 3.12, will be removed in version 3.14: A passagem de argumentos adicionais está descontinuada; se fornecidos, eles são unidos com other.

PurePath.is_reserved()

Com PureWindowsPath, retorna True se o caminho é considerado reservado no Windows, False caso contrário. Com PurePosixPath, False é sempre retornado.

Alterado na versão 3.13: Nomes de caminho do Windows que contêm dois pontos, ou terminam com um ponto ou um espaço, são considerados reservados. Caminhos UNC podem ser reservados.

Deprecated since version 3.13, will be removed in version 3.15: Este método está descontinuado; use os.path.isreserved() para detectar caminhos reservados no Windows.

PurePath.joinpath(*pathsegments)

Chamar este método é equivalente a combinar o caminho com cada um dos pathsegments por vez:

>>> PurePosixPath('/etc').joinpath('passwd')
PurePosixPath('/etc/passwd')
>>> PurePosixPath('/etc').joinpath(PurePosixPath('passwd'))
PurePosixPath('/etc/passwd')
>>> PurePosixPath('/etc').joinpath('init.d', 'apache2')
PurePosixPath('/etc/init.d/apache2')
>>> PureWindowsPath('c:').joinpath('/Program Files')
PureWindowsPath('c:/Program Files')

PurePath.full_match(pattern, *, case_sensitive=None)

Compara esse caminho com o padrão de estilo glob fornecido. Retorna True se a correspondência for bem-sucedida, False caso contrário. Por exemplo:

>>> PurePath('a/b.py').full_match('a/*.py')
True
>>> PurePath('a/b.py').full_match('*.py')
False
>>> PurePath('/a/b/c.py').full_match('/a/**')
True
>>> PurePath('/a/b/c.py').full_match('**/*.py')
True

Ver também

Documentação de Pattern language.

Tal como acontece com outros métodos, a distinção entre maiúsculas e minúsculas segue os padrões da plataforma:

>>> PurePosixPath('b.py').full_match('*.PY')
False
>>> PureWindowsPath('b.py').full_match('*.PY')
True

Defina case_sensitive como True ou False para substituir esse comportamento.

Adicionado na versão 3.13.

PurePath.match(pattern, *, case_sensitive=None)

Compara esse caminho com o padrão no recursivo de estilo glob fornecido. Retorna True se a correspondência for bem-sucedida, False caso contrário.

Este método é semelhante a full_match(), mas padrões vazios não são permitidos (ValueError é levantada), o curinga recursivo “**” não é suportado (ele age como o “*” não recursivo) e, se um padrão relativo for fornecido, a correspondência será feita da direita:

>>> PurePath('a/b.py').match('*.py')
True
>>> PurePath('/a/b/c.py').match('b/*.py')
True
>>> PurePath('/a/b/c.py').match('a/*.py')
False

Alterado na versão 3.12: O parâmetro pattern aceita um objeto caminho ou similar.

Alterado na versão 3.12: O parâmetro case_sensitive foi adicionado.

PurePath.relative_to(other, walk_up=False)

Calcula uma versão deste caminho em relação ao caminho representado por other. Se for impossível, ValueError é levantada:

>>> p = PurePosixPath('/etc/passwd')
>>> p.relative_to('/')
PurePosixPath('etc/passwd')
>>> p.relative_to('/etc')
PurePosixPath('passwd')
>>> p.relative_to('/usr')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "pathlib.py", line 941, in relative_to
    raise ValueError(error_message.format(str(self), str(formatted)))
ValueError: '/etc/passwd' is not in the subpath of '/usr' OR one path is relative and the other is absolute.

Quando walk_up é falso (o padrão), o caminho deve começar com other. Quando o argumento é verdadeiro, entradas .. podem ser adicionadas para formar o caminho relativo. Em todos os outros casos, como os caminhos que fazem referência a unidades diferentes, ValueError é levantada.:

>>> p.relative_to('/usr', walk_up=True)
PurePosixPath('../etc/passwd')
>>> p.relative_to('foo', walk_up=True)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "pathlib.py", line 941, in relative_to
    raise ValueError(error_message.format(str(self), str(formatted)))
ValueError: '/etc/passwd' is not on the same drive as 'foo' OR one path is relative and the other is absolute.

Aviso

Esta função faz parte de PurePath e funciona com strings. Ela não verifica ou acessa a estrutura do arquivo subjacente. Isso pode impactar a opção walk_up, pois ela presume que não há links simbólicos presentes no caminho; chame resolve() primeiro se necessário para resolver links simbólicos.

Alterado na versão 3.12: O parâmetro walk_up foi adicionado (o comportamento antigo é o mesmo de walk_up=False).

Deprecated since version 3.12, will be removed in version 3.14: A passagem de argumentos posicionais adicionais está descontinuada; se fornecidos, eles são unidos com other.

PurePath.with_name(name)

Retorna um novo caminho com o name alterado. Se o caminho original não tiver um nome, ValueError é levantada:

>>> p = PureWindowsPath('c:/Downloads/pathlib.tar.gz')
>>> p.with_name('setup.py')
PureWindowsPath('c:/Downloads/setup.py')
>>> p = PureWindowsPath('c:/')
>>> p.with_name('setup.py')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/antoine/cpython/default/Lib/pathlib.py", line 751, in with_name
    raise ValueError("%r has an empty name" % (self,))
ValueError: PureWindowsPath('c:/') has an empty name

PurePath.with_stem(stem)

Retorna um novo caminho com o stem alterado. Se o caminho original não tiver um nome, ValueError é levantada:

>>> p = PureWindowsPath('c:/Downloads/draft.txt')
>>> p.with_stem('final')
PureWindowsPath('c:/Downloads/final.txt')
>>> p = PureWindowsPath('c:/Downloads/pathlib.tar.gz')
>>> p.with_stem('lib')
PureWindowsPath('c:/Downloads/lib.gz')
>>> p = PureWindowsPath('c:/')
>>> p.with_stem('')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/antoine/cpython/default/Lib/pathlib.py", line 861, in with_stem
    return self.with_name(stem + self.suffix)
  File "/home/antoine/cpython/default/Lib/pathlib.py", line 851, in with_name
    raise ValueError("%r has an empty name" % (self,))
ValueError: PureWindowsPath('c:/') has an empty name

Adicionado na versão 3.9.

PurePath.with_suffix(suffix)

Retorna um novo caminho com o suffix alterado. Se o caminho original não tiver um sufixo, o novo suffixo será anexado. Se o suffix for uma string vazia, o sufixo original será removido:

>>> p = PureWindowsPath('c:/Downloads/pathlib.tar.gz')
>>> p.with_suffix('.bz2')
PureWindowsPath('c:/Downloads/pathlib.tar.bz2')
>>> p = PureWindowsPath('README')
>>> p.with_suffix('.txt')
PureWindowsPath('README.txt')
>>> p = PureWindowsPath('README.txt')
>>> p.with_suffix('')
PureWindowsPath('README')

PurePath.with_segments(*pathsegments)

Cria um novo objeto caminho do mesmo tipo combinando os pathsegments fornecidos. Este método é chamado sempre que um caminho derivado é criado, como de parent e relative_to(). Subclasses podem substituir este método para passar informações para caminhos derivados, por exemplo:

from pathlib import PurePosixPath

class MyPath(PurePosixPath):
    def __init__(self, *pathsegments, session_id):
        super().__init__(*pathsegments)
        self.session_id = session_id

    def with_segments(self, *pathsegments):
        return type(self)(*pathsegments, session_id=self.session_id)

etc = MyPath('/etc', session_id=42)
hosts = etc / 'hosts'
print(hosts.session_id)  # 42

Adicionado na versão 3.12.

Caminhos concretos

Caminhos concretos são subclasses das classes de caminho puro. Além das operações fornecidas por este último, eles também fornecem métodos para fazer chamadas de sistema em objetos de caminho. Existem três maneiras de instanciar caminhos concretos:

class pathlib.Path(*pathsegments)

Uma subclasse de PurePath, esta classe representa caminhos concretos do tipo de caminho do sistema (instanciando-o cria uma PosixPath ou uma WindowsPath):

>>> Path('setup.py')
PosixPath('setup.py')

pathsegments é especificado de forma similar para PurePath.

class pathlib.PosixPath(*pathsegments)

Uma subclasse de Path e PurePosixPath, esta classe representa caminhos concretos de sistemas de arquivos não Windows:

>>> PosixPath('/etc/hosts')
PosixPath('/etc/hosts')

pathsegments é especificado de forma similar para PurePath.

Alterado na versão 3.13: Levanta UnsupportedOperation no Windows. Em versões anteriores, NotImplementedError era levantada em vez disso.

class pathlib.WindowsPath(*pathsegments)

Uma subclasse de Path e PureWindowsPath, esta classe representa caminhos concretos de sistemas de arquivos do Windows:

>>> WindowsPath('c:/', 'Users', 'Ximénez')
WindowsPath('c:/Users/Ximénez')

pathsegments é especificado de forma similar para PurePath.

Alterado na versão 3.13: Levanta UnsupportedOperation em plataformas não-Windows. Em versões anteriores, NotImplementedError era levantada em vez disso.

Você só pode instanciar o tipo de classe que corresponde ao seu sistema (permitir chamadas de sistema em tipos de caminho não compatíveis pode levar a bugs ou falhas em sua aplicação):

>>> import os
>>> os.name
'posix'
>>> Path('setup.py')
PosixPath('setup.py')
>>> PosixPath('setup.py')
PosixPath('setup.py')
>>> WindowsPath('setup.py')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "pathlib.py", line 798, in __new__
    % (cls.__name__,))
UnsupportedOperation: cannot instantiate 'WindowsPath' on your system

Alguns métodos de caminho concretos podem levantar um OSError se uma chamada de sistema falhar (por exemplo, porque o caminho não existe).

Analisando e gerando URIs

Objetos caminho concretos podem ser criados e representados como URIs de ‘file’ em conformidade com RFC 8089 [https://datatracker.ietf.org/doc/html/rfc8089.html].

Nota

URIs de arquivos não são portáteis entre máquinas com diferentes codificações de sistema de arquivos.

classmethod Path.from_uri(uri)

Retorna um novo objeto de caminho a partir da análise sintática de um URI ‘file’. Por exemplo:

>>> p = Path.from_uri('file:///etc/hosts')
PosixPath('/etc/hosts')

No Windows, os caminhos do dispositivo DOS e UNC podem ser analisados ​​a partir de URIs:

>>> p = Path.from_uri('file:///c:/windows')
WindowsPath('c:/windows')
>>> p = Path.from_uri('file://server/share')
WindowsPath('//server/share')

Várias formas variantes são suportadas:

>>> p = Path.from_uri('file:////server/share')
WindowsPath('//server/share')
>>> p = Path.from_uri('file://///server/share')
WindowsPath('//server/share')
>>> p = Path.from_uri('file:c:/windows')
WindowsPath('c:/windows')
>>> p = Path.from_uri('file:/c|/windows')
WindowsPath('c:/windows')

ValueError é levantada se o URI não começar com file: ou se o caminho analisado não for absoluto.

Adicionado na versão 3.13.

Path.as_uri()

Representa o caminho como um URI ‘file’. ValueError é levantada se o caminho não for absoluto.

>>> p = PosixPath('/etc/passwd')
>>> p.as_uri()
'file:///etc/passwd'
>>> p = WindowsPath('c:/Windows')
>>> p.as_uri()
'file:///c:/Windows'

Por razões históricas, esse método também está disponível em objetos PurePath. No entanto, seu uso de os.fsencode() o torna estritamente impuro.

Expandindo e resolvendo caminhos

classmethod Path.home()

Retorna um novo objeto caminho representando o diretório pessoal do usuário (conforme retornado por os.path.expanduser() com a construção ~). Se o diretório pessoal não puder ser resolvido, RuntimeError é levantada.

>>> Path.home()
PosixPath('/home/antoine')

Adicionado na versão 3.5.

Path.expanduser()

Retorna um novo caminho com as construções ~ e ~user expandidas, como retornado por os.path.expanduser(). Se um diretório pessoal não puder ser resolvido, RuntimeError é levantada.

>>> p = PosixPath('~/films/Monty Python')
>>> p.expanduser()
PosixPath('/home/eric/films/Monty Python')

Adicionado na versão 3.5.

classmethod Path.cwd()

Retorna um novo objeto caminho que representa o diretório atual (conforme retornado por os.getcwd()):

>>> Path.cwd()
PosixPath('/home/antoine/pathlib')

Path.absolute()

Torna o caminho absoluto, sem normalização ou resolução de links simbólicos. Retorna um novo objeto de caminho:

>>> p = Path('tests')
>>> p
PosixPath('tests')
>>> p.absolute()
PosixPath('/home/antoine/pathlib/tests')

Path.resolve(strict=False)

Faça o caminho absoluto, resolvendo quaisquer links simbólicos. Um novo objeto de caminho é retornado:

>>> p = Path()
>>> p
PosixPath('.')
>>> p.resolve()
PosixPath('/home/antoine/pathlib')

Componentes “..” também são eliminados (este é o único método para fazer isso):

>>> p = Path('docs/../setup.py')
>>> p.resolve()
PosixPath('/home/antoine/pathlib/setup.py')

Se um caminho não existe ou um laço de link simbólico é encontrado, e strict é True, OSError é levantada. Se strict for False, o caminho será resolvido tanto quanto possível e qualquer resto é anexado sem verificar se existe.

Alterado na versão 3.6: O parâmetro strict foi adicionado (comportamento pré-3.6 é estrito).

Alterado na versão 3.13: Os laços em link simbólico são tratados como outros erros: OSError é levantada no modo estrito, e nenhuma exceção é levantada no modo não estrito. Em versões anteriores, RuntimeError é levantada não importando o valor de strict.

Path.readlink()

Retorna o caminho para o qual o link simbólico aponta (conforme retornado por os.readlink()):

>>> p = Path('mylink')
>>> p.symlink_to('setup.py')
>>> p.readlink()
PosixPath('setup.py')

Adicionado na versão 3.9.

Alterado na versão 3.13: Levanta UnsupportedOperation se os.readlink() não estiver disponível. Em versões anteriores, NotImplementedError era levantada.

Consultando tipo de arquivo e status

Alterado na versão 3.8: exists(), is_dir(), is_file(), is_mount(), is_symlink(), is_block_device(), is_char_device(), is_fifo(), is_socket() now return False instead of raising an exception for paths that contain characters unrepresentable at the OS level.

Path.stat(*, follow_symlinks=True)

Retorna um objeto os.stat_result contendo informações sobre este caminho, como os.stat(). O resultado é consultado em cada chamada para este método.

Este método normalmente segue links simbólicos; para obter estado de um link simbólico, adicione o argumento follow_symlinks=False, ou use lstat().

>>> p = Path('setup.py')
>>> p.stat().st_size
956
>>> p.stat().st_mtime
1327883547.852554

Alterado na versão 3.10: O parâmetro follow_symlinks foi adicionado.

Path.lstat()

Como Path.stat(), mas, se o caminho apontar para um link simbólico, retorna as informações do link simbólico ao invés de seu alvo.

Path.exists(*, follow_symlinks=True)

Retorna True se o caminho aponta para um arquivo ou diretório existente.

Este método normalmente segue links simbólicos; para verificar se um link simbólico existe, adicione o argumento follow_symlinks=False.

>>> Path('.').exists()
True
>>> Path('setup.py').exists()
True
>>> Path('/etc').exists()
True
>>> Path('nonexistentfile').exists()
False

Alterado na versão 3.12: O parâmetro follow_symlinks foi adicionado.

Path.is_file(*, follow_symlinks=True)

Retorna True se o caminho aponta para um arquivo regular, False se aponta para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Este método normalmente segue links simbólicos; para excluir links simbólicos, adicione o argumento follow_symlinks=False.

Alterado na versão 3.13: O parâmetro follow_symlinks foi adicionado.

Path.is_dir(*, follow_symlinks=True)

Retorna True se o caminho aponta para um diretório, False se aponta para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Este método normalmente segue links simbólicos; para excluir links simbólicos para diretórios, adicione o argumento follow_symlinks=False.

Alterado na versão 3.13: O parâmetro follow_symlinks foi adicionado.

Path.is_symlink()

Retorna True se o caminho apontar para um link simbólico, False caso contrário.

False também é retornado se o caminho não existir; outros erros (como erros de permissão) são propagados.

Path.is_junction()

Retorna True se o caminho apontar para uma junção, e False para qualquer outro tipo de arquivo. Atualmente, apenas o Windows dá suporte a junções.

Adicionado na versão 3.12.

Path.is_mount()

Retorna True se o caminho for um ponto de montagem: um ponto em um sistema de arquivos onde um sistema de arquivos diferente foi montado. No POSIX, a função verifica se o pai do path, path/.., está em um dispositivo diferente de path, ou se path/.. e path apontam para o mesmo nó-i no mesmo dispositivo – isso deve detectar pontos de montagem para todas as variantes Unix e POSIX. No Windows, um ponto de montagem é considerado uma raiz de letra de unidade (por exemplo, c:\), um compartilhamento UNC (por exemplo, \\server\share) ou um diretório de sistema de arquivos montado.

Adicionado na versão 3.7.

Alterado na versão 3.12: Suporte ao Windows foi adicionado.

Path.is_socket()

Retorna True se o caminho apontar para um soquete Unix (ou um link simbólico apontando para um soquete Unix), False se apontar para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Path.is_fifo()

Retorna True se o caminho apontar para um FIFO (ou um link simbólico apontando para um FIFO), False se apontar para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Path.is_block_device()

Retorna True se o caminho apontar para um dispositivo de bloco (ou um link simbólico apontando para um dispositivo de bloco), False se apontar para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Path.is_char_device()

Retorna True se o caminho apontar para um dispositivo de caractere (ou um link simbólico apontando para um dispositivo de caractere), False se apontar para outro tipo de arquivo.

False também é retornado se o caminho não existir ou se for um link simbólico quebrado; outros erros (como erros de permissão) são propagados.

Path.samefile(other_path)

Retorna se este path apontar para o mesmo arquivo como other_path, que pode ser um objeto PATH ou uma String. A semântica é semelhante a função os.path.samefile() e a função os.path.samestat().

Um OSError poderá ser levantado caso algum arquivo não puder ser acessado por alguma razão.

>>> p = Path('spam')
>>> q = Path('eggs')
>>> p.samefile(q)
False
>>> p.samefile('spam')
True

Adicionado na versão 3.5.

Lendo e escrevendo arquivos

Path.open(mode='r', buffering=-1, encoding=None, errors=None, newline=None)

Abre o arquivo apontado pelo caminho, como a função embutida open() faz:

>>> p = Path('setup.py')
>>> with p.open() as f:
...     f.readline()
...
'#!/usr/bin/env python3\n'

Path.read_text(encoding=None, errors=None, newline=None)

Retorna o conteúdo decodificado do arquivo apontado como uma string:

>>> p = Path('my_text_file')
>>> p.write_text('Text file contents')
18
>>> p.read_text()
'Text file contents'

O arquivo é aberto e, então, fechado. Os parâmetros opcionais têm o mesmo significado que em open().

Adicionado na versão 3.5.

Alterado na versão 3.13: O parâmetro newline foi adicionado.

Path.read_bytes()

Retorna o conteúdo binário do arquivo apontado como um objeto bytes:

>>> p = Path('my_binary_file')
>>> p.write_bytes(b'Binary file contents')
20
>>> p.read_bytes()
b'Binary file contents'

Adicionado na versão 3.5.

Path.write_text(data, encoding=None, errors=None, newline=None)

Abre o arquivo apontado no modo de texto, escreve data e fecha o arquivo:

>>> p = Path('my_text_file')
>>> p.write_text('Text file contents')
18
>>> p.read_text()
'Text file contents'

Um arquivo existente com o mesmo nome é sobrescrito. Os parâmetros opcionais têm o mesmo significado que em open().

Adicionado na versão 3.5.

Alterado na versão 3.10: O parâmetro newline foi adicionado.

Path.write_bytes(data)

Abre o arquivo apontado no modo bytes, escreve dados e fecha o arquivo:

>>> p = Path('my_binary_file')
>>> p.write_bytes(b'Binary file contents')
20
>>> p.read_bytes()
b'Binary file contents'

Um arquivo existente de mesmo nome será substituído.

Adicionado na versão 3.5.

Lendo diretórios

Path.iterdir()

Quando o caminho aponta para um diretório, produz objetos caminho do conteúdo do diretório:

>>> p = Path('docs')
>>> for child in p.iterdir(): child
...
PosixPath('docs/conf.py')
PosixPath('docs/_templates')
PosixPath('docs/make.bat')
PosixPath('docs/index.rst')
PosixPath('docs/_build')
PosixPath('docs/_static')
PosixPath('docs/Makefile')

Os filhos são gerados em ordem arbitrária e as entradas especiais '.' e '..' não são incluídas. Se um arquivo for removido ou adicionado ao diretório após a criação do iterador, não está especificado se um objeto caminho para esse arquivo é incluído.

Se o caminho não for um diretório ou estiver inacessível, OSError será levantada.

Path.glob(pattern, *, case_sensitive=None, recurse_symlinks=False)

Faz o glob do pattern relativo fornecido no diretório representado por este caminho, produzindo todos os arquivos correspondentes (de qualquer tipo):

>>> sorted(Path('.').glob('*.py'))
[PosixPath('pathlib.py'), PosixPath('setup.py'), PosixPath('test_pathlib.py')]
>>> sorted(Path('.').glob('*/*.py'))
[PosixPath('docs/conf.py')]
>>> sorted(Path('.').glob('**/*.py'))
[PosixPath('build/lib/pathlib.py'),
 PosixPath('docs/conf.py'),
 PosixPath('pathlib.py'),
 PosixPath('setup.py'),
 PosixPath('test_pathlib.py')]

Ver também

Documentação de Pattern language.

Por padrão, ou quando o argumento somente-nomeado case_sensitive é definido como None, esse método corresponde a caminhos usando regras de capitalização específicas da plataforma: normalmente, diferencia maiúsculas de minúsculas no POSIX e não diferencia maiúsculas de minúsculas no Windows. Defina case_sensitive como True ou False para substituir esse comportamento.

Por padrão, ou quando o argumento somente-nomeado recurse_symlinks é definido como False, este método segue links simbólicos, exceto ao expandir curingas “**”. Defina recurse_symlinks como True para sempre seguir links simbólicos.

Levanta um evento de auditoria pathlib.Path.glob com os argumentos self, pattern.

Alterado na versão 3.12: O parâmetro case_sensitive foi adicionado.

Alterado na versão 3.13: O parâmetro recurse_symlinks foi adicionado.

Alterado na versão 3.13: O parâmetro pattern aceita um objeto caminho ou similar.

Alterado na versão 3.13: Quaisquer exceções OSError levantadas pela varredura do sistema de arquivos são suprimidas. Em versões anteriores, tais exceções são suprimidas em muitos casos, mas não em todos.

Path.rglob(pattern, *, case_sensitive=None, recurse_symlinks=False)

Faz um glob no pattern relativo dado recursivamente. Isso é como chamar Path.glob() com “**/” adicionado na frente do pattern.

Ver também

Documentação de Pattern language e Path.glob().

Levanta um evento de auditoria pathlib.Path.rglob com argumentos self, pattern.

Alterado na versão 3.12: O parâmetro case_sensitive foi adicionado.

Alterado na versão 3.13: O parâmetro recurse_symlinks foi adicionado.

Alterado na versão 3.13: O parâmetro pattern aceita um objeto caminho ou similar.

Path.walk(top_down=True, on_error=None, follow_symlinks=False)

Gera os nomes de arquivos em uma árvore de diretórios percorrendo a árvore de cima para baixo ou de baixo para cima.

Para cada diretório na árvore de diretórios com raiz em self (incluindo self, mas excluindo ‘.’ e ‘..’), o método produz uma tupla de 3 elementos de (dirpath, dirnames, filenames).

dirpath é um Path para o diretório que está sendo percorrido no momento, dirnames é uma lista de strings para os nomes dos subdiretórios em dirpath (excluindo '.' e '..'), e filenames é uma lista de strings para os nomes dos arquivos não diretório em dirpath. Para obter um caminho completo (que começa com self) para um arquivo ou diretório em dirpath, faça dirpath / name. Se as listas são ou não classificadas depende do sistema de arquivos.

Se o argumento opcional top_down for verdadeiro (que é o padrão), o trio para um diretório é gerado antes dos trios para qualquer um de seus subdiretórios (os diretórios são percorridos de cima para baixo). Se top_down for falso, o trio para um diretório é gerado após os trios para todos os seus subdiretórios (os diretórios são percorridos de baixo para cima). Não importa o valor de top_down, a lista de subdiretórios é recuperada antes que os trios para o diretório e seus subdiretórios sejam percorridos.

When top_down is true, the caller can modify the dirnames list in-place (for example, using del or slice assignment), and Path.walk() will only recurse into the subdirectories whose names remain in dirnames. This can be used to prune the search, or to impose a specific order of visiting, or even to inform Path.walk() about directories the caller creates or renames before it resumes Path.walk() again. Modifying dirnames when top_down is false has no effect on the behavior of Path.walk() since the directories in dirnames have already been generated by the time dirnames is yielded to the caller.

By default, errors from os.scandir() are ignored. If the optional argument on_error is specified, it should be a callable; it will be called with one argument, an OSError instance. The callable can handle the error to continue the walk or re-raise it to stop the walk. Note that the filename is available as the filename attribute of the exception object.

By default, Path.walk() does not follow symbolic links, and instead adds them to the filenames list. Set follow_symlinks to true to resolve symlinks and place them in dirnames and filenames as appropriate for their targets, and consequently visit directories pointed to by symlinks (where supported).

Nota

Be aware that setting follow_symlinks to true can lead to infinite recursion if a link points to a parent directory of itself. Path.walk() does not keep track of the directories it has already visited.

Nota

Path.walk() assumes the directories it walks are not modified during execution. For example, if a directory from dirnames has been replaced with a symlink and follow_symlinks is false, Path.walk() will still try to descend into it. To prevent such behavior, remove directories from dirnames as appropriate.

Nota

Unlike os.walk(), Path.walk() lists symlinks to directories in filenames if follow_symlinks is false.

Esse exemplo mostra o número de bytes usados por todos os arquivos em cada diretório, ignorando diretórios __pycache__:

from pathlib import Path
for root, dirs, files in Path("cpython/Lib/concurrent").walk(on_error=print):
  print(
      root,
      "consumes",
      sum((root / file).stat().st_size for file in files),
      "bytes in",
      len(files),
      "non-directory files"
  )
  if '__pycache__' in dirs:
        dirs.remove('__pycache__')

This next example is a simple implementation of shutil.rmtree(). Walking the tree bottom-up is essential as rmdir() doesn’t allow deleting a directory before it is empty:

# Delete everything reachable from the directory "top".
# CAUTION:  This is dangerous! For example, if top == Path('/'),
# it could delete all of your files.
for root, dirs, files in top.walk(top_down=False):
    for name in files:
        (root / name).unlink()
    for name in dirs:
        (root / name).rmdir()

Adicionado na versão 3.12.

Criando arquivos e diretórios

Path.touch(mode=0o666, exist_ok=True)

Create a file at this given path. If mode is given, it is combined with the process’s umask value to determine the file mode and access flags. If the file already exists, the function succeeds when exist_ok is true (and its modification time is updated to the current time), otherwise FileExistsError is raised.

Ver também

The open(), write_text() and write_bytes() methods are often used to create files.

Path.mkdir(mode=0o777, parents=False, exist_ok=False)

Create a new directory at this given path. If mode is given, it is combined with the process’s umask value to determine the file mode and access flags. If the path already exists, FileExistsError is raised.

Se parents for verdadeiro, quaisquer pais ausentes neste caminho serão criados conforme necessário; eles são criados com as permissões padrão sem levar o mode em consideração (imitando o comando POSIX mkdir -p).

Se parents for falso (o padrão), um pai ausente levanta FileNotFoundError.

Se exist_ok for falso (o padrão), FileExistsError será levantada se o diretório alvo já existir.

If exist_ok is true, FileExistsError will not be raised unless the given path already exists in the file system and is not a directory (same behavior as the POSIX mkdir -p command).

Alterado na versão 3.5: O parâmetro exist_ok foi adicionado.

Path.symlink_to(target, target_is_directory=False)

Faça desse path um symbolic link apontando para um target

On Windows, a symlink represents either a file or a directory, and does not morph to the target dynamically. If the target is present, the type of the symlink will be created to match. Otherwise, the symlink will be created as a directory if target_is_directory is true or a file symlink (the default) otherwise. On non-Windows platforms, target_is_directory is ignored.

>>> p = Path('mylink')
>>> p.symlink_to('setup.py')
>>> p.resolve()
PosixPath('/home/antoine/pathlib/setup.py')
>>> p.stat().st_size
956
>>> p.lstat().st_size
8

Nota

A ordem dos argumentos (link, target) é o inverso da função os.symlink()’s.

Alterado na versão 3.13: Raises UnsupportedOperation if os.symlink() is not available. In previous versions, NotImplementedError was raised.

Path.hardlink_to(target)

Faz deste caminho um link físico para o mesmo arquivo que target.

Nota

A ordem dos argumentos (link, target) é o inverso da função os.link()’s.

Adicionado na versão 3.10.

Alterado na versão 3.13: Raises UnsupportedOperation if os.link() is not available. In previous versions, NotImplementedError was raised.

Renaming and deleting

Path.rename(target)

Rename this file or directory to the given target, and return a new Path instance pointing to target. On Unix, if target exists and is a file, it will be replaced silently if the user has permission. On Windows, if target exists, FileExistsError will be raised. target can be either a string or another path object:

>>> p = Path('foo')
>>> p.open('w').write('some text')
9
>>> target = Path('bar')
>>> p.rename(target)
PosixPath('bar')
>>> target.open().read()
'some text'

The target path may be absolute or relative. Relative paths are interpreted relative to the current working directory, not the directory of the Path object.

Está implementada em termos de os.rename() e fornece as mesmas garantias.

Alterado na versão 3.8: Added return value, return the new Path instance.

Path.replace(target)

Rename this file or directory to the given target, and return a new Path instance pointing to target. If target points to an existing file or empty directory, it will be unconditionally replaced.

The target path may be absolute or relative. Relative paths are interpreted relative to the current working directory, not the directory of the Path object.

Alterado na versão 3.8: Added return value, return the new Path instance.

Path.unlink(missing_ok=False)

Remova esse arquivo ou link simbólico. Caso o caminho aponte para um diretório, use a função Path.rmdir() em vez disso.

Se missing_ok for falso (o padrão), FileNotFoundError é levantada se o caminho não existir.

Se missing_ok for verdadeiro, exceções de FileNotFoundError serão ignoradas (mesmo comportamento que o comando POSIX rm -f).

Alterado na versão 3.8: O parâmetro missing_ok foi adicionado.

Path.rmdir()

Remove este diretório. O diretório deve estar vazio.

Permissions and ownership

Path.owner(*, follow_symlinks=True)

Retorna o nome do usuário que possui o arquivo. KeyError é levantado caso o identificador de usuário (UID) não for encontrado no banco de dados do sistema.

Esse método normalmente segue symlinks; para retornar o dono do symlink, adcione o argumento follow_symlinks=False .

Alterado na versão 3.13: Raises UnsupportedOperation if the pwd module is not available. In earlier versions, NotImplementedError was raised.

Alterado na versão 3.13: O parâmetro follow_symlinks foi adicionado.

Path.group(*, follow_symlinks=True)

Return the name of the group owning the file. KeyError is raised if the file’s group identifier (GID) isn’t found in the system database.

This method normally follows symlinks; to get the group of the symlink, add the argument follow_symlinks=False.

Alterado na versão 3.13: Raises UnsupportedOperation if the grp module is not available. In earlier versions, NotImplementedError was raised.

Alterado na versão 3.13: O parâmetro follow_symlinks foi adicionado.

Path.chmod(mode, *, follow_symlinks=True)

Altera o modo de arquivo e as permissões, como os.chmod().

This method normally follows symlinks. Some Unix flavours support changing permissions on the symlink itself; on these platforms you may add the argument follow_symlinks=False, or use lchmod().

>>> p = Path('setup.py')
>>> p.stat().st_mode
33277
>>> p.chmod(0o444)
>>> p.stat().st_mode
33060

Alterado na versão 3.10: O parâmetro follow_symlinks foi adicionado.

Path.lchmod(mode)

Como Path.chmod(), mas, se o caminho apontar para um link simbólico, o modo do link simbólico é alterado ao invés de seu alvo.

Pattern language

The following wildcards are supported in patterns for full_match(), glob() and rglob():

** (entire segment)

Matches any number of file or directory segments, including zero.

* (entire segment)

Matches one file or directory segment.

* (part of a segment)

Matches any number of non-separator characters, including zero.

?

Matches one non-separator character.

[seq]

Matches one character in seq.

[!seq]

Matches one character not in seq.

For a literal match, wrap the meta-characters in brackets. For example, "[?]" matches the character "?".

The “**” wildcard enables recursive globbing. A few examples:

Padrão

Significado

“**/*”

Any path with at least one segment.

“**/*.py”

Any path with a final segment ending “.py”.

“assets/**”

Any path starting with “assets/”.

“assets/**/*”

Any path starting with “assets/”, excluding “assets/” itself.

Nota

Globbing with the “**” wildcard visits every directory in the tree. Large directory trees may take a long time to search.

Alterado na versão 3.13: Globbing with a pattern that ends with “**” returns both files and directories. In previous versions, only directories were returned.

In Path.glob() and rglob(), a trailing slash may be added to the pattern to match only directories.

Alterado na versão 3.11: Globbing with a pattern that ends with a pathname components separator (sep or altsep) returns only directories.

Comparison to the glob module

The patterns accepted and results generated by Path.glob() and Path.rglob() differ slightly from those by the glob module:

Files beginning with a dot are not special in pathlib. This is like passing include_hidden=True to glob.glob().

“**” pattern components are always recursive in pathlib. This is like passing recursive=True to glob.glob().

“**” pattern components do not follow symlinks by default in pathlib. This behaviour has no equivalent in glob.glob(), but you can pass recurse_symlinks=True to Path.glob() for compatible behaviour.

Like all PurePath and Path objects, the values returned from Path.glob() and Path.rglob() don’t include trailing slashes.

The values returned from pathlib’s path.glob() and path.rglob() include the path as a prefix, unlike the results of glob.glob(root_dir=path).

The values returned from pathlib’s path.glob() and path.rglob() may include path itself, for example when globbing “**”, whereas the results of glob.glob(root_dir=path) never include an empty string that would correspond to path.

Comparison to the os and os.path modules

pathlib implements path operations using PurePath and Path objects, and so it’s said to be object-oriented. On the other hand, the os and os.path modules supply functions that work with low-level str and bytes objects, which is a more procedural approach. Some users consider the object-oriented style to be more readable.

Many functions in os and os.path support bytes paths and paths relative to directory descriptors. These features aren’t available in pathlib.

Python’s str and bytes types, and portions of the os and os.path modules, are written in C and are very speedy. pathlib is written in pure Python and is often slower, but rarely slow enough to matter.

pathlib’s path normalization is slightly more opinionated and consistent than os.path. For example, whereas os.path.abspath() eliminates “..” segments from a path, which may change its meaning if symlinks are involved, Path.absolute() preserves these segments for greater safety.

pathlib’s path normalization may render it unsuitable for some applications:

pathlib normalizes Path("my_folder/") to Path("my_folder"), which changes a path’s meaning when supplied to various operating system APIs and command-line utilities. Specifically, the absence of a trailing separator may allow the path to be resolved as either a file or directory, rather than a directory only.

pathlib normalizes Path("./my_program") to Path("my_program"), which changes a path’s meaning when used as an executable search path, such as in a shell or when spawning a child process. Specifically, the absence of a separator in the path may force it to be looked up in PATH rather than the current directory.

As a consequence of these differences, pathlib is not a drop-in replacement for os.path.

Corresponding tools

Abaixo está uma tabela mapeando várias funções os a sua PurePath/Path equivalente.

os e os.path

pathlib

os.path.dirname()

PurePath.parent

os.path.basename()

PurePath.name

os.path.splitext()

PurePath.stem, PurePath.suffix

os.path.join()

PurePath.joinpath()

os.path.isabs()

PurePath.is_absolute()

os.path.relpath()

PurePath.relative_to() [1]

os.path.expanduser()

Path.expanduser() [2]

os.path.realpath()

Path.resolve()

os.path.abspath()

Path.absolute() [3]

os.path.exists()

Path.exists()

os.path.isfile()

Path.is_file()

os.path.isdir()

Path.is_dir()

os.path.islink()

Path.is_symlink()

os.path.isjunction()

Path.is_junction()

os.path.ismount()

Path.is_mount()

os.path.samefile()

Path.samefile()

os.getcwd()

Path.cwd()

os.stat()

Path.stat()

os.lstat()

Path.lstat()

os.listdir()

Path.iterdir()

os.walk()

Path.walk() [4]

os.mkdir(), os.makedirs()

Path.mkdir()

os.link()

Path.hardlink_to()

os.symlink()

Path.symlink_to()

os.readlink()

Path.readlink()

os.rename()

Path.rename()

os.replace()

Path.replace()

os.remove(), os.unlink()

Path.unlink()

os.rmdir()

Path.rmdir()

os.chmod()

Path.chmod()

os.lchmod()

Path.lchmod()

Notas de rodapé

[1]

os.path.relpath() calls abspath() to make paths absolute and remove “..” parts, whereas PurePath.relative_to() is a lexical operation that raises ValueError when its inputs’ anchors differ (e.g. if one path is absolute and the other relative.)

[2]

os.path.expanduser() returns the path unchanged if the home directory can’t be resolved, whereas Path.expanduser() raises RuntimeError.

[3]

os.path.abspath() removes “..” components without resolving symlinks, which may change the meaning of the path, whereas Path.absolute() leaves any “..” components in the path.

[4]

os.walk() always follows symlinks when categorizing paths into dirnames and filenames, whereas Path.walk() categorizes all symlinks into filenames when follow_symlinks is false (the default.)

os.path — Manipulações comuns de nomes de caminhos

Código-fonte: Lib/genericpath.py [https://github.com/python/cpython/tree/3.13/Lib/genericpath.py], Lib/posixpath.py [https://github.com/python/cpython/tree/3.13/Lib/posixpath.py] (para POSIX) e Lib/ntpath.py [https://github.com/python/cpython/tree/3.13/Lib/ntpath.py] (para Windows).

Este módulo implementa algumas funções úteis em nomes de caminho. Para ler ou escrever arquivos veja open(), e para acessar o sistema de arquivos veja o módulo os. Os parâmetros de caminho podem ser passados como strings, ou bytes, ou qualquer objeto que implemente o protocolo os.PathLike.

Ao contrário de um shell Unix, Python não faz nenhuma expansão automática de caminho. Funções como expanduser() e expandvars() podem ser invocadas explicitamente quando uma aplicação deseja uma expansão de caminho no estilo do shell. (Veja também o módulo glob.)

Ver também

O módulo pathlib oferece objetos de caminho de alto nível.

Nota

Todas essas funções aceitam apenas bytes ou apenas objetos de string como seus parâmetros. O resultado é um objeto do mesmo tipo, se um caminho ou nome de arquivo for retornado.

Nota

Uma vez que diferentes sistemas operacionais têm diferentes convenções de nome de caminho, existem várias versões deste módulo na biblioteca padrão. O módulo os.path é sempre o módulo de caminho adequado para o sistema operacional em que o Python está sendo executado e, portanto, pode ser usado para caminhos locais. No entanto, você também pode importar e usar os módulos individuais se quiser manipular um caminho que esteja sempre em um dos diferentes formatos. Todos eles têm a mesma interface:

posixpath para caminhos no estilo UNIX

ntpath para caminhos do Windows

Alterado na versão 3.8: exists(), lexists(), isdir(), isfile(), islink() e ismount() agora retornam False em vez de levantar uma exceção para caminhos que contêm caracteres ou bytes não representáveis no nível de sistema de operacional.

os.path.abspath(path)

Retorna uma versão normalizada e absolutizada do nome de caminho path. Na maioria das plataformas, isso é equivalente a chamar a função normpath() da seguinte forma: normpath(join(os.getcwd(), path)).

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.basename(path)

Retorna o nome base do caminho path. Este é o segundo elemento do par retornado pela passagem de path para a função split(). Observe que o resultado desta função é diferente do programa Unix basename; onde basename para '/foo/bar/' retorna 'bar', a função basename() retorna uma string vazia ('').

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.commonpath(paths)

Retorna o subcaminho comum mais longo de cada nome de caminho no iterável paths. Levanta ValueError se paths contiverem nomes de caminho absolutos e relativos, os paths estiverem em unidades diferentes ou se paths estiverem vazios. Ao contrário de commonprefix(), retorna um caminho válido.

Adicionado na versão 3.5.

Alterado na versão 3.6: Aceita uma sequência de objetos caminho ou similar.

Alterado na versão 3.13: Qualquer iterável agora pode ser passado, em vez de apenas sequências.

os.path.commonprefix(list)

Retorna o prefixo de caminho mais longo (obtido caractere por caractere) que é um prefixo de todos os caminhos em list. Se list estiver vazia, retorna a string vazia ('').

Nota

Esta função pode retornar caminhos inválidos porque funciona um caractere por vez. Para obter um caminho válido, consulte commonpath().

>>> os.path.commonprefix(['/usr/lib', '/usr/local/lib'])
'/usr/l'

>>> os.path.commonpath(['/usr/lib', '/usr/local/lib'])
'/usr'

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.dirname(path)

Retorna o nome do diretório do nome de caminho path. Este é o primeiro elemento do par retornado passando path para a função split().

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.exists(path)

Retorna True se path se referir a um caminho existente ou um descritor de arquivo aberto. Retorna False para links simbólicos quebrados. Em algumas plataformas, esta função pode retornar False se a permissão não for concedida para executar os.stat() no arquivo solicitado, mesmo se o path existir fisicamente.

Alterado na versão 3.3: path agora pode ser um inteiro: True é retornado se for um descritor de arquivo aberto, False caso contrário.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.lexists(path)

Retorna True se path se referir a um caminho existente, incluindo links simbólicos quebrados. Equivalente a exists() em plataformas sem os.lstat().

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.expanduser(path)

No Unix e no Windows, retorna o argumento com um componente inicial de ~ ou ~user substituído pelo diretório inicial daquele usuário user.

No Unix, um ~ no início é substituído pela variável de ambiente HOME se estiver definida; caso contrário, o diretório pessoal do usuário atual é procurado no diretório de senha através do módulo embutido pwd. Um ~user no início é procurado diretamente no diretório de senhas.

No Windows, USERPROFILE será usada se definida; caso contrário, uma combinação de HOMEPATH e HOMEDRIVE será usada. Um ~user inicial é tratado verificando se o último componente do diretório home do usuário atual corresponde a USERNAME, e substituindo-o se for o caso.

Se a expansão falhar ou se o caminho não começar com um til, o caminho será retornado inalterado.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.8: Não usa mais HOME no Windows.

os.path.expandvars(path)

Retorna o argumento com as variáveis de ambiente expandidas. Substrings da forma $name ou ${name} são substituídas pelo valor da variável de ambiente name. Nomes de variáveis malformados e referências a variáveis não existentes permanecem inalterados.

No Windows, expansões %name% são suportadas juntamente a $name e ${name}.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.getatime(path)

Retorna a hora do último acesso de path. O valor de retorno é um número de ponto flutuante dando o número de segundos desde a Era Unix (veja o módulo time). Levanta OSError se o arquivo não existe ou está inacessível.

os.path.getmtime(path)

Retorna a hora da última modificação de path. O valor de retorno é um número de ponto flutuante dando o número de segundos desde a Era Unix (veja o módulo time). Levanta OSError se o arquivo não existe ou está inacessível.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.getctime(path)

Retorna o ctime do sistema que, em alguns sistemas (como Unix) é a hora da última alteração de metadados, e, em outros (como Windows), é a hora de criação de path. O valor de retorno é um número que fornece o número de segundos desde a Era Unix (veja o módulo time). Levanta OSError se o arquivo não existe ou está inacessível.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.getsize(path)

Retorna o tamanho, em bytes, de path. Levanta OSError se o arquivo não existe ou está inacessível.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.isabs(path)

Retorna True se path for um nome de caminho absoluto. No Unix, isso significa que começa com uma barra, no Windows começa com duas (contra)barras ou uma letra de unidade, caractere de dois pontos e (contra)barra juntos.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.13: No Windows, retorna False se o caminho fornecido começar com exatamente uma (contra)barra.

os.path.isfile(path)

Retorna True se path for um arquivo regular existente. Isso segue links simbólicos, então islink() e isfile() podem ser verdadeiros para o mesmo caminho.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.isdir(path)

Retorna True se path for um diretório existente. Isso segue links simbólicos, então islink() e isdir() podem ser verdadeiros para o mesmo caminho.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.isjunction(path)

Retorna True se path se referir a uma entrada de diretório existente que é uma junção. Sempre retorna False se junções não forem suportados na plataforma atual.

Adicionado na versão 3.12.

os.path.islink(path)

Retorna True se path se referir a uma entrada de diretório existente que é um link simbólico. Sempre False se links simbólicos não forem suportados pelo tempo de execução Python.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.ismount(path)

Retorna True se o nome de caminho path for um ponto de montagem: um ponto em um sistema de arquivos onde um sistema de arquivos diferente foi montado. No POSIX, a função verifica se o pai de path, path/.., está em um dispositivo diferente de path, ou se path/.. e path apontam para o mesmo nó-i no mesmo dispositivo – isso deve detectar pontos de montagem para todas as variantes Unix e POSIX. Não é capaz de detectar confiavelmente montagens bind no mesmo sistema de arquivos. No Windows, uma raiz de letra de unidade e um UNC de compartilhamento são sempre pontos de montagem e, para qualquer outro caminho, GetVolumePathName é chamado para ver se é diferente do caminho de entrada.

Alterado na versão 3.4: Adicionado suporte para detecção de pontos de montagem não raiz no Windows.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.isdevdrive(path)

Retorna True se o nome do caminho path estiver localizado em um Windows Dev Drive. Um Dev Drive é otimizado para cenários de desenvolvedor e oferece desempenho mais rápido para leitura e gravação de arquivos. É recomendado para uso em código-fonte, diretórios de construção temporários, caches de pacotes e outras operações com uso intensivo de ES.

Pode levantar um erro para um caminho inválido, por exemplo, um sem uma unidade reconhecível, mas retorna False em plataformas que não provêm suporte a Dev Drives. Consulte a documentação do Windows [https://learn.microsoft.com/windows/dev-drive/] para obter informações sobre como habilitar e criar Dev Drives.

Adicionado na versão 3.12.

Alterado na versão 3.13: A função já está disponível em todas as plataformas, e sempre retornará False naquelas que não possuem suporte para Dev Drives

os.path.isreserved(path)

Retorna True se path for um caminho reservado no sistema atual.

No Windows, os nomes de arquivos reservados incluem aqueles que terminam com espaço ou ponto; aqueles que contêm dois pontos (ou seja, fluxos de arquivos como “nome:fluxo”), caracteres curinga (ou seja, '*?"<>'), encadeamento (pipe) ou caracteres de controle ASCII; bem como nomes de dispositivos DOS, como “NUL”, “CON”, “CONIN$”, “CONOUT$”, “AUX”, “PRN”, “COM1” e “LPT1”.

Nota

Esta função aproxima regras para caminhos reservados na maioria dos sistemas Windows. Essas regras mudam com o tempo em diversas versões do Windows. Esta função pode ser atualizada em versões futuras do Python à medida que as alterações nas regras se tornarem amplamente disponíveis.

Disponibilidade

Adicionado na versão 3.13.

os.path.join(path, *paths)

Junta um ou mais segmentos do caminho de forma inteligente. O valor de retorno é a concatenação de path e todos os membros de *paths com exatamente um separador de diretório seguindo cada parte não vazia exceto a última. Significa que o resultado só terminará em um separador se a última parte estiver vazia ou terminar em um separador. Se um segmento for um caminho absoluto (que no Windows requer a unidade/drive e uma raiz), todos os segmentos anteriores serão ignorados e a união continuará a partir do segmento do caminho absoluto.

No Windows, a unidade não é redefinida quando um segmento de caminho raiz (por exemplo, r'\foo') é encontrado. Se um segmento contiver uma unidade diferente ou um caminho absoluto, todos os segmentos anteriores serão ignorados e a unidade será redefinida. Observe que, como há um diretório atual para cada unidade, os.path.join("c:", "foo") representa um caminho relativo ao diretório atual na unidade C: (c:foo), e não c:\foo.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para path e paths.

os.path.normcase(path)

Normaliza o estado de letras maiúsculas/minúsculas de um nome de caminho. No Windows, converte todos os caracteres do nome do caminho em minúsculas e também converte barras normais em barras invertidas. Em outros sistemas operacionais, retorna o caminho inalterado.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.normpath(path)

Normaliza um nome de caminho retirando separadores redundantes e referências de nível superior para que A//B, A/B/, A/./B e A/foo/../B todos se tornem A/B. Essa manipulação de string pode mudar o significado de um caminho que contém links simbólicos. No Windows, ele converte barras normais em barras invertidas. Para normalizar o estado de letras maiúsculas/minúsculas, use normcase().

Nota

Em sistemas POSIX, de acordo com IEEE Std 1003.1 2013 Edition; 4.13 Pathname Resolution [https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap04.html#tag_04_13], se um nome de caminho começa com exatamente duas barras, o primeiro componente após os caracteres iniciais pode ser interpretado em um forma definida pela implementação, embora mais de dois caracteres iniciais devam ser tratados como um único caractere.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.realpath(path, *, strict=False)

Retorna o caminho canônico do nome de arquivo especificado, eliminando quaisquer links simbólicos encontrados no caminho (se forem suportados pelo sistema operacional). No Windows, esta função também resolverá nomes de estilo do MS-DOS (também chamado de 8.3), como C:\\PROGRA~1 para C:\\Program Files.

Se um caminho não existir ou um laço de link simbólico for encontrado, e strict for True, OSError será levantada. Se strict for False esses erros serão ignorados e, portanto, o resultado poderá estar ausente ou inacessível.

Nota

Esta função emula o procedimento do sistema operacional para tornar um caminho canônico, que difere ligeiramente entre o Windows e o UNIX no que diz respeito à interação dos links e dos componentes do caminho subsequentes.

As APIs do sistema operacional tornam os caminhos canônicos conforme necessário, portanto, normalmente não é necessário chamar esta função.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.8: Links simbólicos e junções agora são resolvidos no Windows.

Alterado na versão 3.10: O parâmetro script foi adicionado.

os.path.relpath(path, start=os.curdir)

Retorna um caminho de arquivo relativo a caminho do diretório atual ou de um diretório start opcional. Este é um cálculo de caminho: o sistema de arquivos não é acessado para confirmar a existência ou natureza de path ou start. No Windows, ValueError é levantada quando path e start estão em unidades diferentes.

start tem como padrão os.curdir.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.samefile(path1, path2)

Retorna True se ambos os argumentos de nome de caminho se referem ao mesmo arquivo ou diretório. Isso é determinado pelo número do dispositivo e número do nó-i e levanta uma exceção se uma chamada os.stat() em qualquer um dos caminhos falhar.

Alterado na versão 3.2: Adicionado suporte ao Windows.

Alterado na versão 3.4: O Windows agora usa a mesma implementação que todas as outras plataformas.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.sameopenfile(fp1, fp2)

Retorna True se os descritores de arquivo fp1 e fp2 fazem referência ao mesmo arquivo.

Alterado na versão 3.2: Adicionado suporte ao Windows.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.samestat(stat1, stat2)

Retorna True se as tuplas de estatísticas stat1 e stat2 fazem referência ao mesmo arquivo. Essas estruturas podem ter sido retornadas por os.fstat(), os.lstat() ou os.stat(). Esta função implementa a comparação subjacente usada por samefile() e sameopenfile().

Alterado na versão 3.4: Adicionado suporte ao Windows.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.split(path)

Divide o caminho path em um par, (cabeça, rabo) onde rabo é o último componente do nome do caminho e cabeça é tudo o que leva a isso. A parte rabo nunca conterá uma barra; se path terminar com uma barra, tail ficará vazio. Se não houver uma barra no path, o head ficará vazio. Se path estiver vazio, cabeça e rabo estarão vazios. As barras finais são retiradas da cabeça, a menos que seja a raiz (uma ou mais barras apenas). Em todos os casos, join(cabeça, rabo) retorna um caminho para o mesmo local que path (mas as strings podem ser diferentes). Veja também as funções dirname() e basename().

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.splitdrive(path)

Divide o nome do caminho path em um par (unidade, rabo) onde unidade é um ponto de montagem ou uma string vazia. Em sistemas que não usam especificações de unidade, unidade sempre será a string vazia. Em todos os casos, unidade + rabo será o mesmo que path.

No Windows, divide um nome de caminho em unidade/ponto de compartilhamento UNC e caminho relativo.

Se o caminho contiver uma letra de unidade, a unidade conterá tudo, incluindo os dois pontos:

>>> splitdrive("c:/dir")
("c:", "/dir")

Se o caminho contiver um caminho UNC, a unidade conterá o nome do host e o compartilhamento:

>>> splitdrive("//host/computador/diretório")
("//host/computador", "/diretório")

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.splitroot(path)

Divide o nome de caminho path em uma tupla de 3 itens (drive, root, tail) onde drive é um nome de dispositivo ou ponto de montagem, root é uma string de separadores após a unidade e tail é tudo depois da raiz. Qualquer um desses itens pode ser uma string vazia. Em todos os casos, drive + root + tail será igual a path.

Em sistemas POSIX, drive está sempre vazio. A root pode estar vazia (se path for relativo), uma única barra (se path for absoluto) ou duas barras (definidas pela implementação de acordo com IEEE Std 1003.1-2017; 4.13 Pathname Resolution [https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap04.html#tag_04_13].) Por exemplo:

>>> splitroot('/home/sam')
('', '/', 'home/sam')
>>> splitroot('//home/sam')
('', '//', 'home/sam')
>>> splitroot('///home/sam')
('', '/', '//home/sam')

No Windows, drive pode estar vazio, ser um nome de letra de unidade, um compartilhamento UNC ou um nome de dispositivo. root pode estar vazio, ser uma barra ou uma barra invertida. Por exemplo:

>>> splitroot('C:/Users/Sam')
('C:', '/', 'Users/Sam')
>>> splitroot('//Server/Share/Users/Sam')
('//Server/Share', '/', 'Users/Sam')

Adicionado na versão 3.12.

os.path.splitext(path)

Divida o nome do caminho path em um par (root, ext) de modo que root + ext == path, e a extensão, ext, esteja vazia ou comece com um ponto e contenha no máximo um período.

Se o caminho não contiver extensão, ext será '':

>>> splitext('bar')
('bar', '')

Se o caminho contiver uma extensão, ext será definido para esta extensão, incluindo o ponto inicial. Observe que os períodos anteriores serão ignorados:

>>> splitext('foo.bar.exe')
('foo.bar', '.exe')
>>> splitext('/foo/bar.exe')
('/foo/bar', '.exe')

Os períodos iniciais do último componente do caminho são considerados parte da raiz:

>>> splitext('.cshrc')
('.cshrc', '')
>>> splitext('/foo/....jpg')
('/foo/....jpg', '')

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.path.supports_unicode_filenames

True se strings Unicode arbitrárias podem ser usadas como nomes de arquivo (dentro das limitações impostas pelo sistema de arquivos).

fileinput — Itera sobre linhas de múltiplos fluxos de entrada

Código-fonte: Lib/fileinput.py [https://github.com/python/cpython/tree/3.13/Lib/fileinput.py]

Este módulo implementa uma classe auxiliar e funções para escrever rapidamente um laço sobre uma entrada padrão ou uma lista de arquivos. Se você quiser apenas ler ou escrever um arquivo veja open().

O uso típico é:

import fileinput
for line in fileinput.input(encoding="utf-8"):
    process(line)

Isto itera sobre as linhas de todos os arquivos listados em sys.argv[1:], padronizando sys.stdin se a lista estiver vazia. Se o nome de um arquivo for '-', ele também será substituído por sys.stdin e os argumentos opcionais mode e openhook serão ignorados. Para especificar uma lista alternativa de nomes de arquivos, passe-a como primeiro argumento para input(). Um único nome de arquivo também é permitido.

Todos os arquivos são abertos em modo texto por padrão, mas você pode substituir isso especificando o parâmetro mode na chamada para input() ou FileInput. Se ocorrer um erro de E/S durante a abertura ou leitura de um arquivo, OSError será levantada.

Alterado na versão 3.3: IOError costumava ser levantada; agora é um apelido de OSError.

Se sys.stdin for usado mais de uma vez, o segundo e posterior uso não retornará nenhuma linha, exceto talvez para uso interativo, ou se tiver sido explicitamente redefinido (por exemplo, usando sys.stdin.seek(0)).

Arquivos vazios são abertos e fechados imediatamente; a única vez que sua presença na lista de nomes de arquivos é perceptível é quando o último arquivo aberto está vazio.

As linhas são retornadas com novas linhas intactas, o que significa que a última linha de um arquivo pode não ter nenhuma.

Você pode controlar como os arquivos são abertos fornecendo um gancho de abertura através do parâmetro openhook para fileinput.input() ou FileInput(). O gancho deve ser uma função que recebe dois argumentos, filename e mode, e retorna um objeto arquivo ou similar aberto de acordo. Se encoding e/ou errors forem especificados, eles serão passados ​​para o gancho como argumentos nomeados adicionais. Este módulo fornece um hook_compressed() para oferece suporte a arquivos compactados.

A seguinte função é a interface principal deste módulo:

fileinput.input(files=None, inplace=False, backup='', *, mode='r', openhook=None, encoding=None, errors=None)

Cria uma instância da classe FileInput. A instância será usada como estado global para as funções deste módulo e também será retornada para uso durante a iteração. Os parâmetros desta função serão passados ​​para o construtor da classe FileInput.

A instância FileInput pode ser usada como um gerenciador de contexto na instrução with. Neste exemplo, input é fechado após a saída da instrução with, mesmo se ocorrer uma exceção:

with fileinput.input(files=('spam.txt', 'eggs.txt'), encoding="utf-8") as f:
    for line in f:
        process(line)

Alterado na versão 3.2: Pode ser usado como gerenciador de contexto.

Alterado na versão 3.8: Os parâmetros nomeados mode e openhook agora são somente-nomeados.

Alterado na versão 3.10: Os parâmetros somente-nomeados encoding e errors foram adicionados.

As funções a seguir usam o estado global criado por fileinput.input(); se não houver estado ativo, RuntimeError será levantada.

fileinput.filename()

Retorna o nome do arquivo que está sendo lido no momento. Antes da primeira linha ser lida, retorna None.

fileinput.fileno()

Retorna o número inteiro de “descritor de arquivo” para o arquivo atual. Quando nenhum arquivo é aberto (antes da primeira linha e entre arquivos), retorna -1.

fileinput.lineno()

Retorna o número cumulativo da linha que acabou de ser lida. Antes da primeira linha ser lida, retorna 0. Após a leitura da última linha do último arquivo, retorna o número da linha dessa linha.

fileinput.filelineno()

Retorna o número da linha no arquivo atual. Antes da primeira linha ser lida, retorna 0. Após a leitura da última linha do último arquivo, retorna o número da linha dessa linha no arquivo.

fileinput.isfirstline()

Retorna True se a linha que acabou de ler for a primeira linha do seu arquivo, caso contrário retorna False.

fileinput.isstdin()

Retorna True se a última linha foi lida em sys.stdin, caso contrário retorna False.

fileinput.nextfile()

Fecha o arquivo atual para que a próxima iteração leia a primeira linha do próximo arquivo (se houver); as linhas não lidas do arquivo não contarão para a contagem cumulativa de linhas. O nome do arquivo não é alterado até que a primeira linha do próximo arquivo seja lida. Antes da leitura da primeira linha, esta função não tem efeito; ele não pode ser usado para pular o primeiro arquivo. Após a leitura da última linha do último arquivo, esta função não terá efeito.

fileinput.close()

Fecha a sequência.

A classe que implementa o comportamento de sequência fornecido pelo módulo também está disponível para subclasses:

class fileinput.FileInput(files=None, inplace=False, backup='', *, mode='r', openhook=None, encoding=None, errors=None)

A classe FileInput é a implementação; seus métodos filename(), fileno(), lineno(), filelineno(), isfirstline(), isstdin(), nextfile() e close() correspondem às funções de mesmo nome no módulo. Além disso, é iterável e possui um método readline() que retorna a próxima linha de entrada. A sequência deve ser acessada em ordem estritamente sequencial; acesso aleatório e readline() não podem ser misturados.

Com mode você pode especificar qual modo de arquivo será passado para open(). Deve ser um entre 'r' e 'rb'.

O openhook, quando fornecido, deve ser uma função que recebe dois argumentos, filename e mode, e retorna um objeto arquivo ou similar aberto de acordo. Você não pode usar inplace e openhook juntos.

Você pode especificar encoding e errors que são passados ​​para open() ou openhook.

Uma instância FileInput pode ser usada como um gerenciador de contexto na instrução with. Neste exemplo, input é fechado após a saída da instrução with, mesmo se ocorrer uma exceção:

with FileInput(files=('spam.txt', 'eggs.txt')) as input:
    process(input)

Alterado na versão 3.2: Pode ser usado como gerenciador de contexto.

Alterado na versão 3.8: Os parâmetros nomeados mode e openhook agora são somente-nomeados.

Alterado na versão 3.10: Os parâmetros somente-nomeados encoding e errors foram adicionados.

Alterado na versão 3.11: Os modos 'rU' e 'U' e o método __getitem__() foram removidos.

Filtragem local opcional: se o argumento nomeado inplace=True for passado para fileinput.input() ou para o construtor FileInput, o arquivo é movido para um arquivo de backup e a saída padrão é direcionada para o arquivo de entrada (se já existir um arquivo com o mesmo nome do arquivo de backup, ele será substituído silenciosamente). Isso torna possível escrever um filtro que reescreva seu arquivo de entrada internamente. Se o parâmetro backup for fornecido (normalmente como backup='.<some extension>'), ele especifica a extensão do arquivo de backup, e o arquivo de backup permanece disponível; por padrão, a extensão é '.bak' e é excluída quando o arquivo de saída é fechado. A filtragem local é desativada quando a entrada padrão é lida.

Os dois ganchos de abertura a seguir são fornecidos por este módulo:

fileinput.hook_compressed(filename, mode, *, encoding=None, errors=None)

Abre de forma transparente arquivos compactados com gzip e bzip2 (reconhecidos pelas extensões '.gz' e '.bz2') usando os módulos gzip e bz2. Se a extensão do nome do arquivo não for '.gz' ou '.bz2', o arquivo é aberto normalmente (ou seja, usando open() sem qualquer descompactação).

Os valores encoding e errors são passados ​​para io.TextIOWrapper para arquivos compactados e abertos para arquivos normais.

Exemplo de uso: fi = fileinput.FileInput(openhook=fileinput.hook_compressed, encoding="utf-8")

Alterado na versão 3.10: Os parâmetros somente-nomeados encoding e errors foram adicionados.

fileinput.hook_encoded(encoding, errors=None)

Retorna um gancho que abre cada arquivo com open(), usando a encoding e errors fornecidas para ler o arquivo.

Exemplo de uso: fi = fileinput.FileInput(openhook=fileinput.hook_encoded("utf-8", "surrogateescape"))

Alterado na versão 3.6: Adicionado o parâmetro opcional errors.

Obsoleto desde a versão 3.10: Esta função foi descontinuado já que fileinput.input() e FileInput agora possuem parâmetros encoding e errors.

stat — Interpretando resultados de stat()

Código-fonte: Lib/stat.py [https://github.com/python/cpython/tree/3.13/Lib/stat.py]

O módulo stat define constantes e funções para interpretar os resultados de os.stat(), os.fstat() e os.lstat() (se existirem). Para detalhes completos sobre chamadas stat(), fstat() e lstat(), consulte a documentação do seu sistema.

Alterado na versão 3.4: O módulo stat é apoiado por uma implementação C.

O módulo stat define as seguintes funções para testar tipos de arquivos específicos:

stat.S_ISDIR(mode)

Retorna diferente de zero se o modo for de um diretório.

stat.S_ISCHR(mode)

Retorna diferente de zero se o modo for de um arquivo de dispositivo especial de caractere.

stat.S_ISBLK(mode)

Retorna diferente de zero se o modo for de um arquivo de dispositivo especial de bloco.

stat.S_ISREG(mode)

Retorna diferente de zero se o modo for de um arquivo regular.

stat.S_ISFIFO(mode)

Retorna diferente de zero se o modo for de um FIFO (encadeamento nomeado).

stat.S_ISLNK(mode)

Retorna diferente de zero se o modo for de um link simbólico.

stat.S_ISSOCK(mode)

Retorna diferente de zero se o modo for de um soquete.

stat.S_ISDOOR(mode)

Retorna diferente de zero se o modo for de uma porta.

Adicionado na versão 3.4.

stat.S_ISPORT(mode)

Retorna diferente de zero se o modo for de uma porta de eventos.

Adicionado na versão 3.4.

stat.S_ISWHT(mode)

Retorna diferente de zero se o modo for de um apagamento.

Adicionado na versão 3.4.

Duas funções adicionais são definidas para manipulação mais geral do modo do arquivo:

stat.S_IMODE(mode)

Retorna a parte do modo do arquivo que pode ser definido por os.chmod() — ou seja, os bits de permissão do arquivo, mais os bits sticky bit, set-group-id e set-user-id (em sistemas que têm suporte a eles).

stat.S_IFMT(mode)

Retorna a parte do modo do arquivo que descreve o tipo de arquivo (usado pelas funções S_IS*() acima).

Normalmente, você usaria as funções os.path.is*() para testar o tipo de um arquivo; as funções aqui são úteis quando você está fazendo vários testes do mesmo arquivo e deseja evitar a sobrecarga da chamada de sistema stat() para cada teste. Eles também são úteis ao verificar informações sobre um arquivo que não é manipulado por os.path, como os testes para dispositivos de blocos e caracteres.

Exemplo:

import os, sys
from stat import *

def walktree(top, callback):
    '''desce recursivamente a árvore de diretórios com raiz no topo,
     chamando a função de retorno de chamada para cada arquivo regular'''

    for f in os.listdir(top):
        pathname = os.path.join(top, f)
        mode = os.lstat(pathname).st_mode
        if S_ISDIR(mode):
            # É um diretório, percorre recursivamente nele
            walktree(pathname, callback)
        elif S_ISREG(mode):
            # É um arquivo, chama a função de retorno
            callback(pathname)
        else:
            # Tipo de arquivo desconhecido, imprime uma mensagem
            print('Pulando %s' % pathname)

def visitfile(file):
    print('visitando, file)

if __name__ == '__main__':
    walktree(sys.argv[1], visitfile)

Uma função utilitária adicional é fornecida para converter o modo de um arquivo em uma string legível por humanos:

stat.filemode(mode)

Converte o modo de um arquivo em uma string no formato ‘-rwxrwxrwx’.

Adicionado na versão 3.3.

Alterado na versão 3.4: A função tem suporte a S_IFDOOR, S_IFPORT e S_IFWHT.

Todas as variáveis ​​abaixo são simplesmente índices simbólicos nas 10 tuplas retornadas por os.stat(), os.fstat() ou os.lstat().

stat.ST_MODE

Modo de proteção de nó-i.

stat.ST_INO

Número de nó-i.

stat.ST_DEV

Nó-i em que o dispositivo reside.

stat.ST_NLINK

Número de links para o nó-i.

stat.ST_UID

O ID de usuário para o proprietário.

stat.ST_GID

O ID de grupo para o proprietário.

stat.ST_SIZE

Tamanho em bytes de um arquivo simples; quantidade de dados aguardando em alguns arquivos especiais.

stat.ST_ATIME

Hora do último acesso.

stat.ST_MTIME

Hora da última modificação.

stat.ST_CTIME

O “ctime” conforme relatado pelo sistema operacional. Em alguns sistemas (como Unix) é o horário da última alteração de metadados e, em outros (como Windows), é o horário de criação (consulte a documentação da plataforma para obter detalhes).

A interpretação do “tamanho do arquivo” muda de acordo com o tipo de arquivo. Para arquivos simples, este é o tamanho do arquivo em bytes. Para FIFOs e soquetes na maioria dos tipos de Unix (incluindo Linux em particular), o “tamanho” é o número de bytes aguardando para serem lidos no momento da chamada para os.stat(), os.fstat() ou os.lstat(); isso às vezes pode ser útil, especialmente para pesquisar um desses arquivos especiais após uma abertura sem bloqueio. O significado do campo de tamanho para outros dispositivos de caracteres e blocos varia mais, dependendo da implementação da chamada de sistema subjacente.

As variáveis ​​abaixo definem os sinalizadores utilizadas no campo ST_MODE.

O uso das funções acima é mais portátil do que o uso do primeiro conjunto de sinalizadores:

stat.S_IFSOCK

Soquete.

stat.S_IFLNK

Link simbólico.

stat.S_IFREG

Arquivo regular.

stat.S_IFBLK

Dispositivo de bloco.

stat.S_IFDIR

Diretório.

stat.S_IFCHR

Dispositivo de caracteres.

stat.S_IFIFO

FIFO.

stat.S_IFDOOR

Porta.

Adicionado na versão 3.4.

stat.S_IFPORT

Porta de eventos.

Adicionado na versão 3.4.

stat.S_IFWHT

Apagamento.

Adicionado na versão 3.4.

Nota

S_IFDOOR, S_IFPORT ou S_IFWHT são definidos como 0 quando a plataforma não possui suporte para os tipos de arquivo.

Os seguintes sinalizadores também podem ser usados ​​no argumento mode de os.chmod():

stat.S_ISUID

Define o bit de UID.

stat.S_ISGID

Bit de set-group-ID. Este bit tem vários usos especiais. Para um diretório, indica que a semântica BSD deve ser usada para esse diretório: os arquivos criados lá herdam seu ID de grupo do diretório, não do ID de grupo efetivo do processo de criação, e os diretórios criados lá também receberão o conjunto de bits S_ISGID. Para um arquivo que não possui o bit de execução de grupo (S_IXGRP) definido, o bit de set-group-ID indica trava obrigatória de arquivo/registro (veja também S_ENFMT).

stat.S_ISVTX

Sticky bit. Quando este bit é definido em um diretório, significa que um arquivo nesse diretório pode ser renomeado ou excluído apenas pelo proprietário do arquivo, pelo proprietário do diretório ou por um processo privilegiado.

stat.S_IRWXU

Máscara para permissões de proprietário de arquivo.

stat.S_IRUSR

Proprietário tem permissão de leitura.

stat.S_IWUSR

Proprietário tem permissão de escrita.

stat.S_IXUSR

Proprietário tem permissão de execução.

stat.S_IRWXG

Máscara para permissões de grupo.

stat.S_IRGRP

Grupo tem permissão de leitura.

stat.S_IWGRP

Grupo tem permissão de escrita.

stat.S_IXGRP

Grupo tem permissão de execução.

stat.S_IRWXO

Máscara para permissões para outros (não no grupo).

stat.S_IROTH

Outros têm permissão de leitura.

stat.S_IWOTH

Outros têm permissão de escrita.

stat.S_IXOTH

Outros têm permissão de execução.

stat.S_ENFMT

Aplicação de trava de arquivo do System V. Este sinalizador é compartilhada com S_ISGID: a trava de arquivo/registro é aplicada em arquivos que não possuem o bit de execução de grupo (S_IXGRP) definido.

stat.S_IREAD

Sinônimo Unix V7 para S_IRUSR.

stat.S_IWRITE

Sinônimo Unix V7 para S_IWUSR.

stat.S_IEXEC

Sinônimo Unix V7 para S_IXUSR.

Os seguintes sinalizadores podem ser usados ​​no argumento flags de os.chflags():

stat.UF_SETTABLE

Todos os sinalizadores definíveis pelo usuário

Adicionado na versão 3.13.

stat.UF_NODUMP

Não despeja o arquivo.

stat.UF_IMMUTABLE

O arquivo não pode ser alterado.

stat.UF_APPEND

O arquivo só pode sofrer acréscimos.

stat.UF_OPAQUE

O diretório é opaco quando visualizado por meio de uma pilha de união.

stat.UF_NOUNLINK

O arquivo não pode ser renomeado ou excluído.

stat.UF_COMPRESSED

O arquivo é armazenado compactado (macOS 10.6+).

stat.UF_TRACKED

Usado para manipular IDs de documentos (macOS)

Adicionado na versão 3.13.

stat.UF_DATAVAULT

O arquivo precisa de direito para leitura ou gravação (macOS 10.13+)

Adicionado na versão 3.13.

stat.UF_HIDDEN

O arquivo não deve ser exibido em uma GUI (macOS 10.5+).

stat.SF_SETTABLE

Todos os sinalizadores mutáveis ​​de superusuário

Adicionado na versão 3.13.

stat.SF_SUPPORTED

Todos os sinalizadores válidos ​de superusuário

Disponibilidade

Adicionado na versão 3.13.

stat.SF_SYNTHETIC

Todos os sinalizadores sintéticos de somente leitura ​de superusuário

Disponibilidade

Adicionado na versão 3.13.

stat.SF_ARCHIVED

O arquivo não pode ser arquivado.

stat.SF_IMMUTABLE

O arquivo não pode ser alterado.

stat.SF_APPEND

O arquivo só pode sofrer acréscimos.

stat.SF_RESTRICTED

O arquivo precisa de um direito para ser escrito (macOS 10.13+)

Adicionado na versão 3.13.

stat.SF_NOUNLINK

O arquivo não pode ser renomeado ou excluído.

stat.SF_SNAPSHOT

O arquivo é um arquivo de captura (snapshot).

stat.SF_FIRMLINK

O arquivo é um firmlink (macOS 10.15+)

Adicionado na versão 3.13.

stat.SF_DATALESS

O arquivo é um objeto sem dados (macOS 10.15+)

Adicionado na versão 3.13.

Consulte a página man dos sistemas *BSD ou macOS chflags(2) [https://manpages.debian.org/chflags(2)] para obter mais informações.

No Windows, as seguintes constantes de atributos de arquivo estão disponíveis para uso ao testar bits no membro st_file_attributes retornado por os.stat(). Consulte a documentação da API do Windows [https://msdn.microsoft.com/en-us/library/windows/desktop/gg258117.aspx] para obter mais detalhes sobre o significado dessas constantes.

stat.FILE_ATTRIBUTE_ARCHIVE

stat.FILE_ATTRIBUTE_COMPRESSED

stat.FILE_ATTRIBUTE_DEVICE

stat.FILE_ATTRIBUTE_DIRECTORY

stat.FILE_ATTRIBUTE_ENCRYPTED

stat.FILE_ATTRIBUTE_HIDDEN

stat.FILE_ATTRIBUTE_INTEGRITY_STREAM

stat.FILE_ATTRIBUTE_NORMAL

stat.FILE_ATTRIBUTE_NOT_CONTENT_INDEXED

stat.FILE_ATTRIBUTE_NO_SCRUB_DATA

stat.FILE_ATTRIBUTE_OFFLINE

stat.FILE_ATTRIBUTE_READONLY

stat.FILE_ATTRIBUTE_REPARSE_POINT

stat.FILE_ATTRIBUTE_SPARSE_FILE

stat.FILE_ATTRIBUTE_SYSTEM

stat.FILE_ATTRIBUTE_TEMPORARY

stat.FILE_ATTRIBUTE_VIRTUAL

Adicionado na versão 3.5.

No Windows, as seguintes constantes estão disponíveis para comparação com o membro st_reparse_tag retornado por os.lstat(). Estas são constantes bem conhecidas, mas não são uma lista exaustiva.

stat.IO_REPARSE_TAG_SYMLINK

stat.IO_REPARSE_TAG_MOUNT_POINT

stat.IO_REPARSE_TAG_APPEXECLINK

Adicionado na versão 3.8.

filecmp — File and Directory Comparisons

Código-fonte: Lib/filecmp.py [https://github.com/python/cpython/tree/3.13/Lib/filecmp.py]

The filecmp module defines functions to compare files and directories, with various optional time/correctness trade-offs. For comparing files, see also the difflib module.

The filecmp module defines the following functions:

filecmp.cmp(f1, f2, shallow=True)

Compare the files named f1 and f2, returning True if they seem equal, False otherwise.

If shallow is true and the os.stat() signatures (file type, size, and modification time) of both files are identical, the files are taken to be equal.

Otherwise, the files are treated as different if their sizes or contents differ.

Note that no external programs are called from this function, giving it portability and efficiency.

This function uses a cache for past comparisons and the results, with cache entries invalidated if the os.stat() information for the file changes. The entire cache may be cleared using clear_cache().

filecmp.cmpfiles(dir1, dir2, common, shallow=True)

Compare the files in the two directories dir1 and dir2 whose names are given by common.

Returns three lists of file names: match, mismatch, errors. match contains the list of files that match, mismatch contains the names of those that don’t, and errors lists the names of files which could not be compared. Files are listed in errors if they don’t exist in one of the directories, the user lacks permission to read them or if the comparison could not be done for some other reason.

The shallow parameter has the same meaning and default value as for filecmp.cmp().

For example, cmpfiles('a', 'b', ['c', 'd/e']) will compare a/c with b/c and a/d/e with b/d/e. 'c' and 'd/e' will each be in one of the three returned lists.

filecmp.clear_cache()

Clear the filecmp cache. This may be useful if a file is compared so quickly after it is modified that it is within the mtime resolution of the underlying filesystem.

Adicionado na versão 3.4.

A classe dircmp

class filecmp.dircmp(a, b, ignore=None, hide=None, *, shallow=True)

Construct a new directory comparison object, to compare the directories a and b. ignore is a list of names to ignore, and defaults to filecmp.DEFAULT_IGNORES. hide is a list of names to hide, and defaults to [os.curdir, os.pardir].

The dircmp class compares files by doing shallow comparisons as described for filecmp.cmp() by default using the shallow parameter.

Alterado na versão 3.13: Added the shallow parameter.

The dircmp class provides the following methods:

report()

Print (to sys.stdout) a comparison between a and b.

report_partial_closure()

Print a comparison between a and b and common immediate subdirectories.

report_full_closure()

Print a comparison between a and b and common subdirectories (recursively).

The dircmp class offers a number of interesting attributes that may be used to get various bits of information about the directory trees being compared.

Note that via __getattr__() hooks, all attributes are computed lazily, so there is no speed penalty if only those attributes which are lightweight to compute are used.

left

The directory a.

right

The directory b.

left_list

Files and subdirectories in a, filtered by hide and ignore.

right_list

Files and subdirectories in b, filtered by hide and ignore.

common

Files and subdirectories in both a and b.

left_only

Files and subdirectories only in a.

right_only

Files and subdirectories only in b.

common_dirs

Subdirectories in both a and b.

common_files

Arquivos em a e b.

common_funny

Names in both a and b, such that the type differs between the directories, or names for which os.stat() reports an error.

same_files

Files which are identical in both a and b, using the class’s file comparison operator.

diff_files

Files which are in both a and b, whose contents differ according to the class’s file comparison operator.

funny_files

Files which are in both a and b, but could not be compared.

subdirs

A dictionary mapping names in common_dirs to dircmp instances (or MyDirCmp instances if this instance is of type MyDirCmp, a subclass of dircmp).

Alterado na versão 3.10: Previously entries were always dircmp instances. Now entries are the same type as self, if self is a subclass of dircmp.

filecmp.DEFAULT_IGNORES

Adicionado na versão 3.4.

List of directories ignored by dircmp by default.

Here is a simplified example of using the subdirs attribute to search recursively through two directories to show common different files:

>>> from filecmp import dircmp
>>> def print_diff_files(dcmp):
...     for name in dcmp.diff_files:
...         print("diff_file %s found in %s and %s" % (name, dcmp.left,
...               dcmp.right))
...     for sub_dcmp in dcmp.subdirs.values():
...         print_diff_files(sub_dcmp)
...
>>> dcmp = dircmp('dir1', 'dir2')
>>> print_diff_files(dcmp)

tempfile — Generate temporary files and directories

Código-fonte: Lib/tempfile.py [https://github.com/python/cpython/tree/3.13/Lib/tempfile.py]

This module creates temporary files and directories. It works on all supported platforms. TemporaryFile, NamedTemporaryFile, TemporaryDirectory, and SpooledTemporaryFile are high-level interfaces which provide automatic cleanup and can be used as context managers. mkstemp() and mkdtemp() are lower-level functions which require manual cleanup.

All the user-callable functions and constructors take additional arguments which allow direct control over the location and name of temporary files and directories. Files names used by this module include a string of random characters which allows those files to be securely created in shared temporary directories. To maintain backward compatibility, the argument order is somewhat odd; it is recommended to use keyword arguments for clarity.

The module defines the following user-callable items:

tempfile.TemporaryFile(mode='w+b', buffering=-1, encoding=None, newline=None, suffix=None, prefix=None, dir=None, *, errors=None)

Return a file-like object that can be used as a temporary storage area. The file is created securely, using the same rules as mkstemp(). It will be destroyed as soon as it is closed (including an implicit close when the object is garbage collected). Under Unix, the directory entry for the file is either not created at all or is removed immediately after the file is created. Other platforms do not support this; your code should not rely on a temporary file created using this function having or not having a visible name in the file system.

The resulting object can be used as a context manager (see Exemplos). On completion of the context or destruction of the file object the temporary file will be removed from the filesystem.

The mode parameter defaults to 'w+b' so that the file created can be read and written without being closed. Binary mode is used so that it behaves consistently on all platforms without regard for the data that is stored. buffering, encoding, errors and newline are interpreted as for open().

The dir, prefix and suffix parameters have the same meaning and defaults as with mkstemp().

The returned object is a true file object on POSIX platforms. On other platforms, it is a file-like object whose file attribute is the underlying true file object.

The os.O_TMPFILE flag is used if it is available and works (Linux-specific, requires Linux kernel 3.11 or later).

On platforms that are neither Posix nor Cygwin, TemporaryFile is an alias for NamedTemporaryFile.

Levanta um evento de auditoria tempfile.mkstemp com o argumento fullpath.

Alterado na versão 3.5: The os.O_TMPFILE flag is now used if available.

Alterado na versão 3.8: Parâmetro errors foi adicionado.

tempfile.NamedTemporaryFile(mode='w+b', buffering=-1, encoding=None, newline=None, suffix=None, prefix=None, dir=None, delete=True, *, errors=None, delete_on_close=True)

This function operates exactly as TemporaryFile() does, except the following differences:

This function returns a file that is guaranteed to have a visible name in the file system.

To manage the named file, it extends the parameters of TemporaryFile() with delete and delete_on_close parameters that determine whether and how the named file should be automatically deleted.

The returned object is always a file-like object whose file attribute is the underlying true file object. This file-like object can be used in a with statement, just like a normal file. The name of the temporary file can be retrieved from the name attribute of the returned file-like object. On Unix, unlike with the TemporaryFile(), the directory entry does not get unlinked immediately after the file creation.

If delete is true (the default) and delete_on_close is true (the default), the file is deleted as soon as it is closed. If delete is true and delete_on_close is false, the file is deleted on context manager exit only, or else when the file-like object is finalized. Deletion is not always guaranteed in this case (see object.__del__()). If delete is false, the value of delete_on_close is ignored.

Therefore to use the name of the temporary file to reopen the file after closing it, either make sure not to delete the file upon closure (set the delete parameter to be false) or, in case the temporary file is created in a with statement, set the delete_on_close parameter to be false. The latter approach is recommended as it provides assistance in automatic cleaning of the temporary file upon the context manager exit.

Opening the temporary file again by its name while it is still open works as follows:

On POSIX the file can always be opened again.

On Windows, make sure that at least one of the following conditions are fulfilled:

delete is false

additional open shares delete access (e.g. by calling os.open() with the flag O_TEMPORARY)

delete is true but delete_on_close is false. Note, that in this case the additional opens that do not share delete access (e.g. created via builtin open()) must be closed before exiting the context manager, else the os.unlink() call on context manager exit will fail with a PermissionError.

On Windows, if delete_on_close is false, and the file is created in a directory for which the user lacks delete access, then the os.unlink() call on exit of the context manager will fail with a PermissionError. This cannot happen when delete_on_close is true because delete access is requested by the open, which fails immediately if the requested access is not granted.

On POSIX (only), a process that is terminated abruptly with SIGKILL cannot automatically delete any NamedTemporaryFiles it created.

Levanta um evento de auditoria tempfile.mkstemp com o argumento fullpath.

Alterado na versão 3.8: Parâmetro errors foi adicionado.

Alterado na versão 3.12: Added delete_on_close parameter.

class tempfile.SpooledTemporaryFile(max_size=0, mode='w+b', buffering=-1, encoding=None, newline=None, suffix=None, prefix=None, dir=None, *, errors=None)

This class operates exactly as TemporaryFile() does, except that data is spooled in memory until the file size exceeds max_size, or until the file’s fileno() method is called, at which point the contents are written to disk and operation proceeds as with TemporaryFile().

rollover()

The resulting file has one additional method, rollover(), which causes the file to roll over to an on-disk file regardless of its size.

The returned object is a file-like object whose _file attribute is either an io.BytesIO or io.TextIOWrapper object (depending on whether binary or text mode was specified) or a true file object, depending on whether rollover() has been called. This file-like object can be used in a with statement, just like a normal file.

Alterado na versão 3.3: the truncate method now accepts a size argument.

Alterado na versão 3.8: Parâmetro errors foi adicionado.

Alterado na versão 3.11: Fully implements the io.BufferedIOBase and io.TextIOBase abstract base classes (depending on whether binary or text mode was specified).

class tempfile.TemporaryDirectory(suffix=None, prefix=None, dir=None, ignore_cleanup_errors=False, *, delete=True)

This class securely creates a temporary directory using the same rules as mkdtemp(). The resulting object can be used as a context manager (see Exemplos). On completion of the context or destruction of the temporary directory object, the newly created temporary directory and all its contents are removed from the filesystem.

name

The directory name can be retrieved from the name attribute of the returned object. When the returned object is used as a context manager, the name will be assigned to the target of the as clause in the with statement, if there is one.

cleanup()

The directory can be explicitly cleaned up by calling the cleanup() method. If ignore_cleanup_errors is true, any unhandled exceptions during explicit or implicit cleanup (such as a PermissionError removing open files on Windows) will be ignored, and the remaining removable items deleted on a “best-effort” basis. Otherwise, errors will be raised in whatever context cleanup occurs (the cleanup() call, exiting the context manager, when the object is garbage-collected or during interpreter shutdown).

The delete parameter can be used to disable cleanup of the directory tree upon exiting the context. While it may seem unusual for a context manager to disable the action taken when exiting the context, it can be useful during debugging or when you need your cleanup behavior to be conditional based on other logic.

Levanta um evento de auditoria tempfile.mkdtemp com o argumento fullpath.

Adicionado na versão 3.2.

Alterado na versão 3.10: Added ignore_cleanup_errors parameter.

Alterado na versão 3.12: Added the delete parameter.

tempfile.mkstemp(suffix=None, prefix=None, dir=None, text=False)

Creates a temporary file in the most secure manner possible. There are no race conditions in the file’s creation, assuming that the platform properly implements the os.O_EXCL flag for os.open(). The file is readable and writable only by the creating user ID. If the platform uses permission bits to indicate whether a file is executable, the file is executable by no one. The file descriptor is not inherited by child processes.

Unlike TemporaryFile(), the user of mkstemp() is responsible for deleting the temporary file when done with it.

If suffix is not None, the file name will end with that suffix, otherwise there will be no suffix. mkstemp() does not put a dot between the file name and the suffix; if you need one, put it at the beginning of suffix.

If prefix is not None, the file name will begin with that prefix; otherwise, a default prefix is used. The default is the return value of gettempprefix() or gettempprefixb(), as appropriate.

If dir is not None, the file will be created in that directory; otherwise, a default directory is used. The default directory is chosen from a platform-dependent list, but the user of the application can control the directory location by setting the TMPDIR, TEMP or TMP environment variables. There is thus no guarantee that the generated filename will have any nice properties, such as not requiring quoting when passed to external commands via os.popen().

If any of suffix, prefix, and dir are not None, they must be the same type. If they are bytes, the returned name will be bytes instead of str. If you want to force a bytes return value with otherwise default behavior, pass suffix=b''.

If text is specified and true, the file is opened in text mode. Otherwise, (the default) the file is opened in binary mode.

mkstemp() returns a tuple containing an OS-level handle to an open file (as would be returned by os.open()) and the absolute pathname of that file, in that order.

Levanta um evento de auditoria tempfile.mkstemp com o argumento fullpath.

Alterado na versão 3.5: suffix, prefix, and dir may now be supplied in bytes in order to obtain a bytes return value. Prior to this, only str was allowed. suffix and prefix now accept and default to None to cause an appropriate default value to be used.

Alterado na versão 3.6: The dir parameter now accepts a path-like object.

tempfile.mkdtemp(suffix=None, prefix=None, dir=None)

Creates a temporary directory in the most secure manner possible. There are no race conditions in the directory’s creation. The directory is readable, writable, and searchable only by the creating user ID.

The user of mkdtemp() is responsible for deleting the temporary directory and its contents when done with it.

The prefix, suffix, and dir arguments are the same as for mkstemp().

mkdtemp() returns the absolute pathname of the new directory.

Levanta um evento de auditoria tempfile.mkdtemp com o argumento fullpath.

Alterado na versão 3.5: suffix, prefix, and dir may now be supplied in bytes in order to obtain a bytes return value. Prior to this, only str was allowed. suffix and prefix now accept and default to None to cause an appropriate default value to be used.

Alterado na versão 3.6: The dir parameter now accepts a path-like object.

Alterado na versão 3.12: mkdtemp() now always returns an absolute path, even if dir is relative.

tempfile.gettempdir()

Return the name of the directory used for temporary files. This defines the default value for the dir argument to all functions in this module.

Python searches a standard list of directories to find one which the calling user can create files in. The list is:

The directory named by the TMPDIR environment variable.

The directory named by the TEMP environment variable.

The directory named by the TMP environment variable.

Uma localização específica por plataforma:

On Windows, the directories C:\TEMP, C:\TMP, \TEMP, and \TMP, in that order.

On all other platforms, the directories /tmp, /var/tmp, and /usr/tmp, in that order.

As a last resort, the current working directory.

The result of this search is cached, see the description of tempdir below.

Alterado na versão 3.10: Always returns a str. Previously it would return any tempdir value regardless of type so long as it was not None.

tempfile.gettempdirb()

Same as gettempdir() but the return value is in bytes.

Adicionado na versão 3.5.

tempfile.gettempprefix()

Return the filename prefix used to create temporary files. This does not contain the directory component.

tempfile.gettempprefixb()

Same as gettempprefix() but the return value is in bytes.

Adicionado na versão 3.5.

The module uses a global variable to store the name of the directory used for temporary files returned by gettempdir(). It can be set directly to override the selection process, but this is discouraged. All functions in this module take a dir argument which can be used to specify the directory. This is the recommended approach that does not surprise other unsuspecting code by changing global API behavior.

tempfile.tempdir

When set to a value other than None, this variable defines the default value for the dir argument to the functions defined in this module, including its type, bytes or str. It cannot be a path-like object.

If tempdir is None (the default) at any call to any of the above functions except gettempprefix() it is initialized following the algorithm described in gettempdir().

Nota

Beware that if you set tempdir to a bytes value, there is a nasty side effect: The global default return type of mkstemp() and mkdtemp() changes to bytes when no explicit prefix, suffix, or dir arguments of type str are supplied. Please do not write code expecting or depending on this. This awkward behavior is maintained for compatibility with the historical implementation.

Exemplos

Here are some examples of typical usage of the tempfile module:

>>> import tempfile

# create a temporary file and write some data to it
>>> fp = tempfile.TemporaryFile()
>>> fp.write(b'Hello world!')
# read data from file
>>> fp.seek(0)
>>> fp.read()
b'Hello world!'
# close the file, it will be removed
>>> fp.close()

# create a temporary file using a context manager
>>> with tempfile.TemporaryFile() as fp:
...     fp.write(b'Hello world!')
...     fp.seek(0)
...     fp.read()
b'Hello world!'
>>>
# file is now closed and removed

# create a temporary file using a context manager
# close the file, use the name to open the file again
>>> with tempfile.NamedTemporaryFile(delete_on_close=False) as fp:
...     fp.write(b'Hello world!')
...     fp.close()
... # the file is closed, but not removed
... # open the file again by using its name
...     with open(fp.name, mode='rb') as f:
...         f.read()
b'Hello world!'
>>>
# file is now removed

# create a temporary directory using the context manager
>>> with tempfile.TemporaryDirectory() as tmpdirname:
...     print('created temporary directory', tmpdirname)
>>>
# directory and contents have been removed

Deprecated functions and variables

A historical way to create temporary files was to first generate a file name with the mktemp() function and then create a file using this name. Unfortunately this is not secure, because a different process may create a file with this name in the time between the call to mktemp() and the subsequent attempt to create the file by the first process. The solution is to combine the two steps and create the file immediately. This approach is used by mkstemp() and the other functions described above.

tempfile.mktemp(suffix='', prefix='tmp', dir=None)

Obsoleto desde a versão 2.3: Use mkstemp().

Return an absolute pathname of a file that did not exist at the time the call is made. The prefix, suffix, and dir arguments are similar to those of mkstemp(), except that bytes file names, suffix=None and prefix=None are not supported.

Aviso

Use of this function may introduce a security hole in your program. By the time you get around to doing anything with the file name it returns, someone else may have beaten you to the punch. mktemp() usage can be replaced easily with NamedTemporaryFile(), passing it the delete=False parameter:

>>> f = NamedTemporaryFile(delete=False)
>>> f.name
'/tmp/tmptjujjt'
>>> f.write(b"Hello World!\n")
13
>>> f.close()
>>> os.unlink(f.name)
>>> os.path.exists(f.name)
False

glob — Expansão de padrão de nome de arquivo no estilo Unix

Código-fonte: Lib/glob.py [https://github.com/python/cpython/tree/3.13/Lib/glob.py]

O módulo glob encontra todos os nomes de caminho que correspondem a um padrão especificado de acordo com as regras usadas pelo shell Unix, embora os resultados sejam retornados em ordem arbitrária. Nenhuma expansão de til é feita, mas *, ? e os intervalos de caracteres expressos com [] serão correspondidos corretamente. Isso é feito usando as funções os.scandir() e fnmatch.fnmatch() em conjunto, e não invocando realmente um subshell.

Observe que arquivos iniciados com um ponto (.) só podem ser correspondidos com padrões que também iniciam com um ponto, ao contrário de fnmatch.fnmatch() ou pathlib.Path.glob(). (Para expansão de til e variável de shell, use os.path.expanduser() e os.path.expandvars().)

Para uma correspondência literal, coloque os metacaracteres entre colchetes. Por exemplo, '[?]' corresponde ao caractere '?'.

O módulo glob define as seguintes funções:

glob.glob(pathname, *, root_dir=None, dir_fd=None, recursive=False, include_hidden=False)

Retorna uma lista possivelmente vazia de nomes de caminho que correspondem a pathname, que deve ser uma string contendo uma especificação de caminho. pathname pode ser absoluto (como /usr/src/Python-1.5/Makefile) ou relativo (como ../../Tools/*/*.gif) e pode conter curingas no estilo shell. Links simbólicos quebrados são incluídos nos resultados (como no shell). Se os resultados são classificados ou não depende do sistema de arquivos. Se um arquivo que satisfaz as condições for removido ou adicionado durante a chamada desta função, não é especificado se um nome de caminho para esse arquivo será incluído.

Se root_dir não for None, deve ser um objeto caminho ou similar especificando o diretório raiz para pesquisa. Tem o mesmo efeito em glob() que alterar o diretório atual antes de chamá-lo. Se pathname for relativo, o resultado conterá caminhos relativos a root_dir.

Esta função oferece suporte para caminhos relativos aos descritores de diretório com o parâmetro dir_fd.

Se recursive for verdadeiro, o padrão “**” corresponderá a qualquer arquivo e zero ou mais diretórios, subdiretórios e links simbólicos para diretórios. Se o padrão for seguido por um os.sep ou os.altsep, então os arquivos não irão corresponder.

Se include_hidden for verdadeiro, o padrão “**” corresponderá aos diretórios ocultos.

Levanta um evento de auditoria glob.glob com os argumentos pathname, recursive.

Levanta um evento de auditoria glob.glob/2 com os argumentos pathname, recursive, root_dir, dir_fd.

Nota

Usar o padrão “**” em grandes árvores de diretório pode consumir uma quantidade excessiva de tempo.

Nota

Esta função pode retornar nomes de caminhos duplicados se pathname contiver vários padrões “**” e recursive for verdadeiro.

Alterado na versão 3.5: Suporte a globs recursivos usando “**”.

Alterado na versão 3.10: Adicionados os parâmetros root_dir e dir_fd.

Alterado na versão 3.11: Adicionado o parâmetro include_hidden.

glob.iglob(pathname, *, root_dir=None, dir_fd=None, recursive=False, include_hidden=False)

Retorna um iterador que produz os mesmos valores que glob() sem realmente armazená-los todos simultaneamente.

Levanta um evento de auditoria glob.glob com os argumentos pathname, recursive.

Levanta um evento de auditoria glob.glob/2 com os argumentos pathname, recursive, root_dir, dir_fd.

Nota

Esta função pode retornar nomes de caminhos duplicados se pathname contiver vários padrões “**” e recursive for verdadeiro.

Alterado na versão 3.5: Suporte a globs recursivos usando “**”.

Alterado na versão 3.10: Adicionados os parâmetros root_dir e dir_fd.

Alterado na versão 3.11: Adicionado o parâmetro include_hidden.

glob.escape(pathname)

Escapa todos os caracteres especiais ('?', '*' e '['). Isso é útil se você deseja corresponder a uma string literal arbitrária que pode conter caracteres especiais. Os caracteres especiais nos pontos de compartilhamento de unidade/UNC não têm escape, por exemplo, no Windows escape('//?/c:/Quo vadis?.txt') retorna '//?/c:/Quo vadis[?].txt'.

Adicionado na versão 3.4.

glob.translate(pathname, *, recursive=False, include_hidden=False, seps=None)

Converte a especificação de caminho dada para uma expressão regular para uso com re.match(). A especificação de caminho pode conter curingas no estilo shell.

Por exemplo:

>>> import glob, re
>>>
>>> regex = glob.translate('**/*.txt', recursive=True, include_hidden=True)
>>> regex
'(?s:(?:.+/)?[^/]*\\.txt)\\Z'
>>> reobj = re.compile(regex)
>>> reobj.match('foo/bar/baz.txt')
<re.Match object; span=(0, 15), match='foo/bar/baz.txt'>

Separadores de caminho e segmentos são significativos para esta função, diferentemente de fnmatch.translate(). Por padrão, curingas não correspondem a separadores de caminho, e segmentos de padrão * correspondem precisamente a um segmento de caminho.

Se recursive for verdadeiro, o segmento de padrão “**” corresponderá a qualquer número de segmentos de caminho.

Se include_hidden for verdadeiro, os curingas poderão corresponder a segmentos de caminho que começam com um ponto (.).

Uma sequência de separadores de caminho pode ser fornecida ao argumento seps. Se não for fornecido, os.sep e altsep (se disponível) são usados.

Ver também

Os métodos pathlib.PurePath.full_match() e pathlib.Path.glob(), que chamam esta função para implementar correspondência de padrões e globbing.

Adicionado na versão 3.13.

Exemplos

Considere um diretório contendo os seguintes arquivos: 1.gif, 2.txt, card.gif e um subdiretório sub que contém apenas o arquivo 3.txt. glob() produzirá os seguintes resultados. Observe como todos os componentes principais do caminho são preservados.

>>> import glob
>>> glob.glob('./[0-9].*')
['./1.gif', './2.txt']
>>> glob.glob('*.gif')
['1.gif', 'card.gif']
>>> glob.glob('?.gif')
['1.gif']
>>> glob.glob('**/*.txt', recursive=True)
['2.txt', 'sub/3.txt']
>>> glob.glob('./**/', recursive=True)
['./', './sub/']

Se o diretório contém arquivos começando com . eles não serão correspondidos por padrão. Por exemplo, considere um diretório contendo card.gif e .card.gif

>>> import glob
>>> glob.glob('*.gif')
['card.gif']
>>> glob.glob('.c*')
['.card.gif']

Ver também

O módulo fnmatch oferece expansão de nome de arquivo (não caminho) no estilo shell.

Ver também

O módulo pathlib oferece objetos de caminho de alto nível.

fnmatch — Correspondência de padrões de nome de arquivo Unix

Código-fonte: Lib/fnmatch.py [https://github.com/python/cpython/tree/3.13/Lib/fnmatch.py]

Este módulo fornece suporte para curingas no estilo shell do Unix, que não são iguais às expressões regulares (documentadas no módulo re). Os caracteres especiais usados nos curingas no estilo de shell são:

Padrão

Significado

*

corresponde a tudo

?

Corresponde a qualquer caractere único

[seq]

corresponde a qualquer caractere em seq

[!seq]

corresponde a qualquer caractere ausente em seq

Para uma correspondência literal, coloque os metacaracteres entre colchetes. Por exemplo, '[?]' corresponde ao caractere '?'.

Note que o separador de nome de arquivo ('/' no Unix) não é especial para este módulo. Veja o módulo glob para expansão do nome do caminho (glob usa filter() para corresponder aos segmentos do nome do caminho). Da mesma forma, os nomes de arquivos que começam com um ponto final não são especiais para este módulo e são correspondidos pelos padrões * e ?.

Observe também que functools.lru_cache() com maxsize de 32768 é usado para armazenar em cache os padrões de regex compilados nas seguintes funções: fnmatch(), fnmatchcase(), filter().

fnmatch.fnmatch(name, pat)

Testa se a string do nome de arquivo name corresponde à string de padrão pat, retornando True ou False. Ambos os parâmetros são normalizados em maiúsculas e minúsculas usando os.path.normcase(). fnmatchcase() pode ser usado para realizar uma comparação com distinção entre maiúsculas e minúsculas, independentemente de ser padrão para o sistema operacional.

Este exemplo vai exibir todos os nomes de arquivos no diretório atual com a extensão .txt:

import fnmatch
import os

for arquivo in os.listdir('.'):
    if fnmatch.fnmatch(arquivo, '*.txt'):
        print(arquivo)

fnmatch.fnmatchcase(name, pat)

Testa se a string do nome de arquivo name corresponde à string de padrão pat, retornando True ou False; a comparação diferencia maiúsculas de minúsculas e não se aplica a os.path.normcase().

fnmatch.filter(names, pat)

Constrói uma lista a partir daqueles elementos do iterável names que correspondem ao padrão pat. É o mesmo que [n for n in names if fnmatch(n, pat)], mas implementado com mais eficiência.

fnmatch.translate(pat)

Retorna o padrão pat no estilo shell convertido em uma expressão regular para usar com re.match().

Exemplo:

>>> import fnmatch, re
>>>
>>> regex = fnmatch.translate('*.txt')
>>> regex
'(?s:.*\\.txt)\\Z'
>>> reobj = re.compile(regex)
>>> reobj.match('foobar.txt')
<re.Match object; span=(0, 10), match='foobar.txt'>

Ver também

Módulo glob

Expansão de caminho no estilo shell do Unix.

linecache — Acesso aleatório a linhas de texto

Código-fonte: Lib/linecache.py [https://github.com/python/cpython/tree/3.13/Lib/linecache.py]

O módulo linecache permite obter qualquer linha de um arquivo fonte Python, enquanto tenta otimizar internamente, usando um cache, o caso comum em que muitas linhas são lidas em um único arquivo. Isso é usado pelo módulo traceback para recuperar as linhas de origem para inclusão no traceback (situação da pilha de execução) formatado.

A função tokenize.open() é usada para abrir arquivos. Esta função usa tokenize.detect_encoding() para obter a codificação do arquivo; na ausência de um token de codificação, o padrão de codificação do arquivo é UTF-8.

O módulo linecache define as seguintes funções:

linecache.getline(filename, lineno, module_globals=None)

Obtém a linha lineno do arquivo chamado filename. Essa função nunca levanta uma exceção — ela retornará '' em erros (o caractere de nova linha final será incluído para as linhas encontradas).

Se um arquivo chamado filename não for encontrado, a função primeiro verifica por um __loader__ da PEP 302 [https://peps.python.org/pep-0302/] em module_globals. Se existe um carregador e ele define um método get_source, isso determina as linhas fonte (se get_source() retornar None, então '' será retornado). Por fim, se filename for um nome de arquivo relativo, ele será procurado em relação às entradas no caminho de pesquisa do módulo, sys.path.

linecache.clearcache()

Limpa o cache. Use esta função se você não precisar mais de linhas de arquivos lidos anteriormente usando getline().

linecache.checkcache(filename=None)

Verifica a validade do cache. Use esta função se os arquivos no cache tiverem sido alterados no disco e você precisar da versão atualizada. Se filename for omitido, ele verificará todas as entradas no cache.

linecache.lazycache(filename, module_globals)

Captura detalhes suficientes sobre um módulo não baseado em arquivo para permitir obter suas linhas posteriormente via getline() mesmo se module_globals for None na chamada posterior. Isso evita a execução de E/S até que uma linha seja realmente necessária, sem ter que carregar o módulo global indefinidamente.

Adicionado na versão 3.5.

Exemplo:

>>> import linecache
>>> linecache.getline(linecache.__file__, 8)
'import sys\n'

shutil — High-level file operations

Código-fonte: Lib/shutil.py [https://github.com/python/cpython/tree/3.13/Lib/shutil.py]

O módulo shutil oferece várias operações de alto nível em arquivos e coleções de arquivos. Em particular, são fornecidas funções que possuem suporte a cópia e remoção de arquivos. Para operações em arquivos individuais, veja também o módulo os.

Aviso

Mesmo as funções de cópia de arquivos de nível mais alto (shutil.copy(), shutil.copy2()) não podem copiar todos os metadados do arquivo.

Nas plataformas POSIX, isso significa que o proprietário e o grupo do arquivo são perdidos, bem como as ACLs. No Mac OS, a bifurcação de recursos e outros metadados não são usados. Isso significa que os recursos serão perdidos e o tipo de arquivo e os códigos do criador não estarão corretos. No Windows, os proprietários de arquivos, ACLs e fluxos de dados alternativos não são copiados.

Operações de diretório e arquivos

shutil.copyfileobj(fsrc, fdst[, length])

Copy the contents of the file-like object fsrc to the file-like object fdst. The integer length, if given, is the buffer size. In particular, a negative length value means to copy the data without looping over the source data in chunks; by default the data is read in chunks to avoid uncontrolled memory consumption. Note that if the current file position of the fsrc object is not 0, only the contents from the current file position to the end of the file will be copied.

shutil.copyfile(src, dst, *, follow_symlinks=True)

Copy the contents (no metadata) of the file named src to a file named dst and return dst in the most efficient way possible. src and dst are path-like objects or path names given as strings.

dst deve ser o nome completo do arquivo de destino; veja copy() para uma cópia que aceita um caminho de diretório de destino. Se src e dst especificarem o mesmo arquivo, SameFileError será levantada.

O local de destino deve ser gravável; caso contrário, uma exceção OSError será levantada. Se o dst já existir, ele será substituído. Arquivos especiais como dispositivos de caractere ou bloco e encadeamentos (pipe) não podem ser copiados com esta função.

Se follow_symlinks for falso e src for um link simbólico, um novo link simbólico será criado em vez de copiar o arquivo src para o qual o arquivo aponta.

Levanta um evento de auditoria shutil.copyfile com os argumentos src, dst.

Alterado na versão 3.3: IOError costumava ser levantada em vez de OSError. Adicionado argumento follow_symlinks. Agora retorna dst.

Alterado na versão 3.4: Levanta SameFileError em vez de Error. Como a primeira é uma subclasse da última, essa alteração é compatível com versões anteriores.

Alterado na versão 3.8: As chamadas de sistema de cópia rápida específicas da plataforma podem ser usadas internamente para copiar o arquivo com mais eficiência. Veja a seção Operações de cópia eficientes dependentes da plataforma.

exception shutil.SameFileError

Essa exceção é levantada se a origem e o destino em copyfile() forem o mesmo arquivo.

Adicionado na versão 3.4.

shutil.copymode(src, dst, *, follow_symlinks=True)

Copy the permission bits from src to dst. The file contents, owner, and group are unaffected. src and dst are path-like objects or path names given as strings. If follow_symlinks is false, and both src and dst are symbolic links, copymode() will attempt to modify the mode of dst itself (rather than the file it points to). This functionality is not available on every platform; please see copystat() for more information. If copymode() cannot modify symbolic links on the local platform, and it is asked to do so, it will do nothing and return.

Levanta um evento de auditoria shutil.copymode com os argumentos src, dst.

Alterado na versão 3.3: Adicionado argumento follow_symlinks.

shutil.copystat(src, dst, *, follow_symlinks=True)

Copy the permission bits, last access time, last modification time, and flags from src to dst. On Linux, copystat() also copies the “extended attributes” where possible. The file contents, owner, and group are unaffected. src and dst are path-like objects or path names given as strings.

Se follow_symlinks for falso e src e dst se referirem a links simbólicos, copystat() operará nos próprios links simbólicos, e não nos arquivos aos quais os links simbólicos se referem - lendo as informações do link simbólico src e gravando as informações no link simbólico dst.

Nota

Nem todas as plataformas oferecem a capacidade de examinar e modificar links simbólicos. O próprio Python pode dizer qual funcionalidade está disponível localmente.

Se os.chmod in os.supports_follow_symlinks for True, copystat() pode modificar os bits de permissão de um link simbólico.

Se os.utime in os.supports_follow_symlinks for True, copystat() pode modificar as horas da última modificação e do último acesso de um link simbólico.

Se os.chflags in os.supports_follow_symlinks for True, copystat() pode modificar os sinalizadores de um link simbólico. (os.chflags não está disponível em todas as plataformas.)

Nas plataformas em que algumas ou todas essas funcionalidades não estão disponíveis, quando solicitado a modificar um link simbólico, copystat() copiará tudo o que puder. copystat() nunca retorna falha.

Por favor, veja os.supports_follow_symlinks para mais informações.

Levanta um evento de auditoria shutil.copystat com os argumentos src, dst.

Alterado na versão 3.3: Adicionado argumento follow_symlinks e suporte a atributos estendidos do Linux.

shutil.copy(src, dst, *, follow_symlinks=True)

Copies the file src to the file or directory dst. src and dst should be path-like objects or strings. If dst specifies a directory, the file will be copied into dst using the base filename from src. If dst specifies a file that already exists, it will be replaced. Returns the path to the newly created file.

Se follow_symlinks for falso e src for um link simbólico, dst será criado como um link simbólico. Se follow_symlinks for verdadeiro e src for um link simbólico, dst será uma cópia do arquivo ao qual src se refere.

copy() copia os dados do arquivo e o modo de permissão do arquivo (consulte os.chmod()). Outros metadados, como os tempos de criação e modificação do arquivo, não são preservados. Para preservar todos os metadados do arquivo do original, use copy2().

Levanta um evento de auditoria shutil.copyfile com os argumentos src, dst.

Levanta um evento de auditoria shutil.copymode com os argumentos src, dst.

Alterado na versão 3.3: Adicionado argumento follow_symlinks. Agora retorna o caminho para o arquivo recém-criado.

Alterado na versão 3.8: As chamadas de sistema de cópia rápida específicas da plataforma podem ser usadas internamente para copiar o arquivo com mais eficiência. Veja a seção Operações de cópia eficientes dependentes da plataforma.

shutil.copy2(src, dst, *, follow_symlinks=True)

Idêntico a copy(), exceto que copy2() também tenta preservar os metadados do arquivo.

When follow_symlinks is false, and src is a symbolic link, copy2() attempts to copy all metadata from the src symbolic link to the newly created dst symbolic link. However, this functionality is not available on all platforms. On platforms where some or all of this functionality is unavailable, copy2() will preserve all the metadata it can; copy2() never raises an exception because it cannot preserve file metadata.

copy2() usa copystat() para copiar os metadados do arquivo. Por favor, veja copystat() para obter mais informações sobre o suporte da plataforma para modificar os metadados do link simbólico.

Levanta um evento de auditoria shutil.copyfile com os argumentos src, dst.

Levanta um evento de auditoria shutil.copystat com os argumentos src, dst.

Alterado na versão 3.3: Adicionado argumento follow_symlinks, tenta copiar também atributos estendidos do sistema de arquivos (atualmente apenas no Linux). Agora retorna o caminho para o arquivo recém-criado.

Alterado na versão 3.8: As chamadas de sistema de cópia rápida específicas da plataforma podem ser usadas internamente para copiar o arquivo com mais eficiência. Veja a seção Operações de cópia eficientes dependentes da plataforma.

shutil.ignore_patterns(*patterns)

Esta função de fábrica cria uma função que pode ser usada como um chamável para o argumento ignore de copytree(), ignorando arquivos e diretórios que correspondem a um dos padrões patterns de estilo glob fornecidos. Veja o exemplo abaixo.

shutil.copytree(src, dst, symlinks=False, ignore=None, copy_function=copy2, ignore_dangling_symlinks=False, dirs_exist_ok=False)

Recursively copy an entire directory tree rooted at src to a directory named dst and return the destination directory. All intermediate directories needed to contain dst will also be created by default.

Permissões e horas dos diretórios são copiados com copystat(), arquivos individuais são copiados usando copy2().

Se symlinks for verdadeiro, os links simbólicos na árvore de origem são representados como links simbólicos na nova árvore e os metadados dos links originais serão copiados na medida do permitido pela plataforma; se falso ou omitido, o conteúdo e os metadados dos arquivos vinculados são copiados para a nova árvore.

When symlinks is false, if the file pointed to by the symlink doesn’t exist, an exception will be added in the list of errors raised in an Error exception at the end of the copy process. You can set the optional ignore_dangling_symlinks flag to true if you want to silence this exception. Notice that this option has no effect on platforms that don’t support os.symlink().

Se ignore for fornecido, deve ser um chamável que receberá como argumento o diretório que está sendo visitado por copytree(), e uma lista de seu conteúdo, retornada por os.listdir(). Como copytree() é chamada recursivamente, o chamável ignore será chamado uma vez para cada diretório que é copiado. O chamável deve retornar uma sequência de nomes de diretório e arquivo em relação ao diretório atual (ou seja, um subconjunto dos itens em seu segundo argumento); esses nomes serão ignorados no processo de cópia. ignore_patterns() pode ser usado para criar um chamável que ignore nomes com base em padrões de estilo glob.

Se uma ou mais exceções ocorrerem, uma Error é levantada com uma lista dos motivos.

Se copy_function for fornecida, deverá ser um chamável que será usado para copiar cada arquivo. Ele será chamado com o caminho de origem e o caminho de destino como argumentos. Por padrão, copy2() é usada, mas qualquer função que possua suporte à mesma assinatura (como copy()) pode ser usada.

If dirs_exist_ok is false (the default) and dst already exists, a FileExistsError is raised. If dirs_exist_ok is true, the copying operation will continue if it encounters existing directories, and files within the dst tree will be overwritten by corresponding files from the src tree.

Levanta um evento de auditoria shutil.copytree com os argumentos src, dst.

Alterado na versão 3.2: Added the copy_function argument to be able to provide a custom copy function. Added the ignore_dangling_symlinks argument to silence dangling symlinks errors when symlinks is false.

Alterado na versão 3.3: Copia metadados quando symlinks for falso. Agora, retorna dst.

Alterado na versão 3.8: As chamadas de sistema de cópia rápida específicas da plataforma podem ser usadas internamente para copiar o arquivo com mais eficiência. Veja a seção Operações de cópia eficientes dependentes da plataforma.

Alterado na versão 3.8: Added the dirs_exist_ok parameter.

shutil.rmtree(path, ignore_errors=False, onerror=None, *, onexc=None, dir_fd=None)

Delete an entire directory tree; path must point to a directory (but not a symbolic link to a directory). If ignore_errors is true, errors resulting from failed removals will be ignored; if false or omitted, such errors are handled by calling a handler specified by onexc or onerror or, if both are omitted, exceptions are propagated to the caller.

Esta função tem suporte a caminhos relativos para descritores de diretório.

Nota

Em plataformas que suportam as funções baseadas em descritores de arquivo necessárias, uma versão resistente a ataques de links simbólicos de rmtree() é usada por padrão. Em outras plataformas, a implementação rmtree() é suscetível a um ataque de link simbólico: dados o tempo e as circunstâncias apropriados, os invasores podem manipular links simbólicos no sistema de arquivos para excluir arquivos que eles não seriam capazes de acessar de outra forma. Os aplicativos podem usar o atributo de função rmtree.avoids_symlink_attacks para determinar qual caso se aplica.

If onexc is provided, it must be a callable that accepts three parameters: function, path, and excinfo.

The first parameter, function, is the function which raised the exception; it depends on the platform and implementation. The second parameter, path, will be the path name passed to function. The third parameter, excinfo, is the exception that was raised. Exceptions raised by onexc will not be caught.

The deprecated onerror is similar to onexc, except that the third parameter it receives is the tuple returned from sys.exc_info().

Levanta um evento de auditoria shutil.rmtree com os argumentos path, dir_fd.

Alterado na versão 3.3: Adicionada uma versão resistente a ataques de link simbólico que é usada automaticamente se a plataforma suportar funções baseadas em descritor de arquivo.

Alterado na versão 3.8: No Windows, não excluirá mais o conteúdo de uma junção de diretório antes de remover a junção.

Alterado na versão 3.11: Adicionado o parâmetro dir_fd.

Alterado na versão 3.12: Added the onexc parameter, deprecated onerror.

Alterado na versão 3.13: rmtree() now ignores FileNotFoundError exceptions for all but the top-level path. Exceptions other than OSError and subclasses of OSError are now always propagated to the caller.

rmtree.avoids_symlink_attacks

Indica se a plataforma e implementação atuais fornecem uma versão resistente a ataques de link simbólico de rmtree(). Atualmente, isso só é verdade para plataformas que suportam funções de acesso ao diretório baseadas em descritor de arquivo.

Adicionado na versão 3.3.

shutil.move(src, dst, copy_function=copy2)

Recursively move a file or directory (src) to another location and return the destination.

If dst is an existing directory or a symlink to a directory, then src is moved inside that directory. The destination path in that directory must not already exist.

If dst already exists but is not a directory, it may be overwritten depending on os.rename() semantics.

If the destination is on the current filesystem, then os.rename() is used. Otherwise, src is copied to the destination using copy_function and then removed. In case of symlinks, a new symlink pointing to the target of src will be created as the destination and src will be removed.

If copy_function is given, it must be a callable that takes two arguments, src and the destination, and will be used to copy src to the destination if os.rename() cannot be used. If the source is a directory, copytree() is called, passing it the copy_function. The default copy_function is copy2(). Using copy() as the copy_function allows the move to succeed when it is not possible to also copy the metadata, at the expense of not copying any of the metadata.

Levanta um evento de auditoria shutil.move com os argumentos src, dst.

Alterado na versão 3.3: Adicionada manipulação de links simbólicos explícitos para sistemas de arquivos externos, adaptando-os ao comportamento do GNU mv. Agora retorna dst.

Alterado na versão 3.5: Adicionado o argumento nomeado copy_function.

Alterado na versão 3.8: As chamadas de sistema de cópia rápida específicas da plataforma podem ser usadas internamente para copiar o arquivo com mais eficiência. Veja a seção Operações de cópia eficientes dependentes da plataforma.

Alterado na versão 3.9: Aceita um objeto caminho ou similar para src e dst.

shutil.disk_usage(path)

Retorna estatísticas de uso de disco sobre o caminho fornecido como tupla nomeada com os atributos total, used e free, que são a quantidade de espaço total, usado e livre, em bytes. path pode ser um arquivo ou diretório.

Nota

On Unix filesystems, path must point to a path within a mounted filesystem partition. On those platforms, CPython doesn’t attempt to retrieve disk usage information from non-mounted filesystems.

Adicionado na versão 3.3.

Alterado na versão 3.8: No Windows, path pode agora ser um arquivo ou diretório.

Disponibilidade

shutil.chown(path, user=None, group=None, *, dir_fd=None, follow_symlinks=True)

Altera o proprietário usuário e/ou group do path fornecido.

user pode ser um nome de usuário do sistema ou um uid; o mesmo se aplica ao group. É necessário pelo menos um argumento.

Veja também os.chown(), a função subjacente.

Levanta um evento de auditoria shutil.chown com os argumentos path, user, group.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.13: Added dir_fd and follow_symlinks parameters.

shutil.which(cmd, mode=os.F_OK | os.X_OK, path=None)

Retorna o caminho para um executável que seria executado se o cmd fornecido fosse chamado. Se nenhum cmd for chamado, retorna None.

mode is a permission mask passed to os.access(), by default determining if the file exists and is executable.

path is a “PATH string” specifying the directories to look in, delimited by os.pathsep. When no path is specified, the PATH environment variable is read from os.environ, falling back to os.defpath if it is not set.

On Windows, the current directory is prepended to the path if mode does not include os.X_OK. When the mode does include os.X_OK, the Windows API NeedCurrentDirectoryForExePathW will be consulted to determine if the current directory should be prepended to path. To avoid consulting the current working directory for executables: set the environment variable NoDefaultCurrentDirectoryInExePath.

Also on Windows, the PATHEXT environment variable is used to resolve commands that may not already include an extension. For example, if you call shutil.which("python"), which() will search PATHEXT to know that it should look for python.exe within the path directories. For example, on Windows:

>>> shutil.which("python")
'C:\\Python33\\python.EXE'

This is also applied when cmd is a path that contains a directory component:

>> shutil.which("C:\\Python33\\python")
'C:\\Python33\\python.EXE'

Adicionado na versão 3.3.

Alterado na versão 3.8: O tipo bytes é agora aceitado. Se o tipo de cmd é bytes, o tipo resultante também é bytes.

Alterado na versão 3.12: On Windows, the current directory is no longer prepended to the search path if mode includes os.X_OK and WinAPI NeedCurrentDirectoryForExePathW(cmd) is false, else the current directory is prepended even if it is already in the search path; PATHEXT is used now even when cmd includes a directory component or ends with an extension that is in PATHEXT; and filenames that have no extension can now be found.

Alterado na versão 3.12.1: On Windows, if mode includes os.X_OK, executables with an extension in PATHEXT will be preferred over executables without a matching extension. This brings behavior closer to that of Python 3.11.

exception shutil.Error

Esta exceção coleta exceções que são levantadas durante uma operação de vários arquivos. Para copytree(), o argumento de exceção é uma lista de tuplas de 3 elementos (srcname, dstname, exception).

Operações de cópia eficientes dependentes da plataforma

A partir do Python 3.8, todas as funções envolvendo uma cópia de arquivo (copyfile(), copy(), copy2(), copytree() e move() ) podem usar chamadas do sistema de “cópia rápida” específicas da plataforma para copiar o arquivo de forma mais eficiente (veja bpo-33671 [https://bugs.python.org/issue?@action=redirect&bpo=33671]). “cópia rápida” significa que a operação de cópia ocorre dentro do kernel, evitando o uso de buffers de espaço de usuário em Python como em “outfd.write(infd.read())”.

No macOS, fcopyfile [http://www.manpagez.com/man/3/copyfile/] é usado para copiar o conteúdo do arquivo (não metadados).

No Linux, os.sendfile() é usado.

No Windows, shutil.copyfile() usa um tamanho de buffer padrão maior (1 MiB ao invés de 64 KiB) e uma variante de shutil.copyfileobj() baseada em memoryview() é usada.

Se a operação de cópia rápida falhar e nenhum dado foi escrito no arquivo de destino, o shutil irá silenciosamente voltar a usar a função menos eficiente copyfileobj() internamente.

Alterado na versão 3.8.

Exemplo de copytree

An example that uses the ignore_patterns() helper:

from shutil import copytree, ignore_patterns

copytree(source, destination, ignore=ignore_patterns('*.pyc', 'tmp*'))

Isso irá copiar tudo, exceto os arquivos .pyc e arquivos ou diretórios cujo nome começa com tmp.

Outro exemplo que usa o argumento ignore para adicionar uma chamada de registro:

from shutil import copytree
import logging

def _logpath(path, names):
    logging.info('Working in %s', path)
    return []   # nothing will be ignored

copytree(source, destination, ignore=_logpath)

exemplo rmtree

This example shows how to remove a directory tree on Windows where some of the files have their read-only bit set. It uses the onexc callback to clear the readonly bit and reattempt the remove. Any subsequent failure will propagate.

import os, stat
import shutil

def remove_readonly(func, path, _):
    "Clear the readonly bit and reattempt the removal"
    os.chmod(path, stat.S_IWRITE)
    func(path)

shutil.rmtree(directory, onexc=remove_readonly)

Operações de arquivamento

Adicionado na versão 3.2.

Alterado na versão 3.5: Adicionado suporte ao formato xztar.

Utilitários de alto nível para criar e ler arquivos compactados e arquivados também são fornecidos. Eles contam com os módulos zipfile e tarfile.

shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

Cria um arquivo compactado (como zip ou tar) e retorna seu nome.

base_name is the name of the file to create, including the path, minus any format-specific extension.

format is the archive format: one of “zip” (if the zlib module is available), “tar”, “gztar” (if the zlib module is available), “bztar” (if the bz2 module is available), or “xztar” (if the lzma module is available).

root_dir é um diretório que será o diretório raiz do arquivo, todos os caminhos no arquivo serão relativos a ele; por exemplo, normalmente chdir em root_dir antes de criar o arquivo.

base_dir é o diretório de onde iniciamos o arquivamento; ou seja, base_dir será o prefixo comum de todos os arquivos e diretórios no arquivo. base_dir deve ser fornecido em relação a root_dir. Veja Exemplo de arquivamento com base_dir para como usar base_dir e root_dir juntos.

root_dir e base_dir têm com padrão o diretório atual.

Se dry_run for verdadeiro, nenhum arquivo é criado, mas as operações que seriam executadas são registradas no logger.

owner e group são usados ao criar um arquivo tar. Por padrão, usa o proprietário e grupo atuais.

logger deve ser um objeto compatível com a PEP 282 [https://peps.python.org/pep-0282/], geralmente uma instância de logging.Logger.

O argumento verbose não é usado e foi descontinuado.

Levanta um evento de auditoria shutil.make_archive com os argumentos base_name, format, root_dir, base_dir.

Nota

This function is not thread-safe when custom archivers registered with register_archive_format() do not support the root_dir argument. In this case it temporarily changes the current working directory of the process to root_dir to perform archiving.

Alterado na versão 3.8: O formato pax moderno (POSIX.1-2001) agora é usado em vez do formato GNU legado para arquivos criados com format="tar".

Alterado na versão 3.10.6: This function is now made thread-safe during creation of standard .zip and tar archives.

shutil.get_archive_formats()

Retorna uma lista de formatos suportados para arquivamento. Cada elemento da sequência retornada é uma tupla (nome, descrição).

Por padrão, shutil fornece estes formatos:

zip: arquivo ZIP (se o módulo zlib estiver disponível).

tar: Arquivo tar não compactado. Usa o formato POSIX.1-2001 pax para novos arquivos.

gztar: arquivo tar compactado com gzip (se o módulo zlib estiver disponível).

bztar: arquivo tar compactado com bzip2 (se o módulo bz2 estiver disponível).

xztar: Arquivo tar compactado com xz (se o módulo lzma estiver disponível).

Você pode registrar novos formatos ou fornecer seu próprio arquivador para quaisquer formatos existentes, usando register_archive_format().

shutil.register_archive_format(name, function[, extra_args[, description]])

Registra um arquivador para o formato name.

function é o chamável que será usado para desempacotar arquivos. O chamável receberá o base_name do arquivo a ser criado, seguido pelo base_dir (cujo padrão é os.curdir) para iniciar o arquivamento. Outros argumentos são passados ​​como argumentos nomeados owner, group, dry_run e logger (como passado em make_archive()).

If function has the custom attribute function.supports_root_dir set to True, the root_dir argument is passed as a keyword argument. Otherwise the current working directory of the process is temporarily changed to root_dir before calling function. In this case make_archive() is not thread-safe.

Se fornecido, extra_args é uma sequência de pares (nome, valor) que serão usados ​​como argumentos nomeados extras quando o arquivador chamável for usado.

description é usado por get_archive_formats() que retorna a lista de arquivadores. O padrão é uma string vazia.

Alterado na versão 3.12: Added support for functions supporting the root_dir argument.

shutil.unregister_archive_format(name)

Remove o formato de arquivo name da lista de formatos suportados.

shutil.unpack_archive(filename[, extract_dir[, format[, filter]]])

Desempacota um arquivo. filename é o caminho completo do arquivo.

extract_dir é o nome do diretório de destino onde o arquivo é desempacotado. Se não for fornecido, o diretório de trabalho atual será usado.

format é o formato do arquivo: um de “zip”, “tar”, “gztar”, “bztar” ou “xztar”. Ou qualquer outro formato registrado com register_unpack_format(). Se não for fornecido, unpack_archive() irá usar a extensão do nome do arquivo e ver se um desempacotador foi registrado para essa extensão. Caso nenhum seja encontrado, uma ValueError é levantada.

The keyword-only filter argument is passed to the underlying unpacking function. For zip files, filter is not accepted. For tar files, it is recommended to set it to 'data', unless using features specific to tar and UNIX-like filesystems. (See Filtros de extração for details.) The 'data' filter will become the default for tar files in Python 3.14.

Levanta um evento de auditoria shutil.unpack_archive com os argumentos filename, extract_dir, format.

Aviso

Never extract archives from untrusted sources without prior inspection. It is possible that files are created outside of the path specified in the extract_dir argument, e.g. members that have absolute filenames starting with “/” or filenames with two dots “..”.

Alterado na versão 3.7: Aceita um objeto caminho ou similar para filename e extract_dir.

Alterado na versão 3.12: Added the filter argument.

shutil.register_unpack_format(name, extensions, function[, extra_args[, description]])

Registra um formato de desempacotamento. name é o nome do formato e extensions é uma lista de extensões correspondentes ao formato, como .zip para arquivos Zip.

function is the callable that will be used to unpack archives. The callable will receive:

the path of the archive, as a positional argument;

the directory the archive must be extracted to, as a positional argument;

possibly a filter keyword argument, if it was given to unpack_archive();

additional keyword arguments, specified by extra_args as a sequence of (name, value) tuples.

description pode ser fornecido para descrever o formato e será devolvido pela função get_unpack_formats().

shutil.unregister_unpack_format(name)

Cancela o registro de um formato de desempacotamento. name é o nome do formato.

shutil.get_unpack_formats()

Retorna uma lista de todos os formatos registrados para desempacotamento. Cada elemento da sequência retornada é uma tupla (name, extensions, description).

Por padrão, shutil fornece estes formatos:

zip: arquivo ZIP (desempacotar arquivos compactados funciona apenas se o módulo correspondente estiver disponível).

tar: arquivo tar não comprimido.

gztar: arquivo tar compactado com gzip (se o módulo zlib estiver disponível).

bztar: arquivo tar compactado com bzip2 (se o módulo bz2 estiver disponível).

xztar: Arquivo tar compactado com xz (se o módulo lzma estiver disponível).

Você pode registrar novos formatos ou fornecer seu próprio desempacotador para quaisquer formatos existentes, usando register_unpack_format().

Exemplo de arquivo

Neste exemplo, criamos um arquivo tar compactado com gzip contendo todos os arquivos encontrados no diretório .ssh do usuário:

>>> from shutil import make_archive
>>> import os
>>> archive_name = os.path.expanduser(os.path.join('~', 'myarchive'))
>>> root_dir = os.path.expanduser(os.path.join('~', '.ssh'))
>>> make_archive(archive_name, 'gztar', root_dir)
'/Users/tarek/myarchive.tar.gz'

O arquivo resultante contém:

$ tar -tzvf /Users/tarek/myarchive.tar.gz
drwx------ tarek/staff       0 2010-02-01 16:23:40 ./
-rw-r--r-- tarek/staff     609 2008-06-09 13:26:54 ./authorized_keys
-rwxr-xr-x tarek/staff      65 2008-06-09 13:26:54 ./config
-rwx------ tarek/staff     668 2008-06-09 13:26:54 ./id_dsa
-rwxr-xr-x tarek/staff     609 2008-06-09 13:26:54 ./id_dsa.pub
-rw------- tarek/staff    1675 2008-06-09 13:26:54 ./id_rsa
-rw-r--r-- tarek/staff     397 2008-06-09 13:26:54 ./id_rsa.pub
-rw-r--r-- tarek/staff   37192 2010-02-06 18:23:10 ./known_hosts

Exemplo de arquivamento com base_dir

Neste exemplo, semelhante ao acima, mostramos como usar make_archive(), mas desta vez com o uso de base_dir. Agora temos a seguinte estrutura de diretório:

$ tree tmp
tmp
└── root
    └── structure
        ├── content
            └── please_add.txt
        └── do_not_add.txt

No arquivo final, please_add.txt deve ser incluído, mas do_not_add.txt não deve. Portanto, usamos o seguinte:

>>> from shutil import make_archive
>>> import os
>>> archive_name = os.path.expanduser(os.path.join('~', 'myarchive'))
>>> make_archive(
...     archive_name,
...     'tar',
...     root_dir='tmp/root',
...     base_dir='structure/content',
... )
'/Users/tarek/my_archive.tar'

Listar os arquivos no arquivo resultante nos dá:

$ python -m tarfile -l /Users/tarek/myarchive.tar
structure/content/
structure/content/please_add.txt

Consultando o tamanho do terminal de saída

shutil.get_terminal_size(fallback=(columns, lines))

Obtém o tamanho da janela do terminal.

Para cada uma das duas dimensões, a variável de ambiente, COLUMNS e LINES respectivamente, é verificada. Se a variável estiver definida e o valor for um número inteiro positivo, ela será usada.

Quando COLUMNS ou LINES não está definida, que é o caso comum, o terminal conectado a sys.__stdout__ é consultado invocando os.get_terminal_size().

Se o tamanho do terminal não pode ser consultado com sucesso, ou porque o sistema não tem suporte a consultas, ou porque não estamos conectados a um terminal, o valor dado no parâmetro fallback é usado. O padrão de fallback é (80, 24), que é o tamanho padrão usado por muitos emuladores de terminal.

O valor retornado é uma tupla nomeada do tipo os.terminal_size.

Veja também: The Single UNIX Specification, Versão 2, Other Environment Variables [https://pubs.opengroup.org/onlinepubs/7908799/xbd/envvar.html#tag_002_003].

Adicionado na versão 3.3.

Alterado na versão 3.11: The fallback values are also used if os.get_terminal_size() returns zeroes.

Persistência de Dados

Os módulos descritos neste capítulo possuem suporte ao armazenamento de dados do Python em um formato persistente no disco. Os módulos pickle e marshal podem transformar muitos tipos de dados do Python em um fluxo de bytes e então recriar os objetos a partir dos bytes. Os vários módulos relacionados ao DBM possuem suporte a uma família de formatos de arquivo baseados em hash que armazenam um mapeamento de strings para outras strings.

A lista de módulos descritos neste capítulo é:

pickle — Serialização de objetos Python

Relacionamento com outros módulos Python

Comparação com marshal

Comparação com json

Formato de fluxo de dados

Interface do módulo

HIGHEST_PROTOCOL

DEFAULT_PROTOCOL

dump()

dumps()

load()

loads()

PickleError

PicklingError

UnpicklingError

Pickler

dump()

persistent_id()

dispatch_table

reducer_override()

fast

Unpickler

load()

persistent_load()

find_class()

PickleBuffer

raw()

release()

O que pode ser serializado e desserializado com pickle?

Serializando com pickle instâncias de classes

__getnewargs_ex__()

__getnewargs__()

__getstate__()

__setstate__()

__reduce__()

__reduce_ex__()

Persistência de objetos externos

Tabelas de despacho

Manipulação de objetos com estado

Redução personalizada para tipos, funções e outros objetos

Buffers fora da banda

API de provedor

API de consumidor

Exemplo

Restringindo globais

Desempenho

Exemplos

copyreg — Registra funções de suporte pickle

constructor()

pickle()

Exemplo

shelve — Python object persistence

open()

sync()

close()

Restrições

Shelf

BsdDbShelf

DbfilenameShelf

Exemplo

marshal — Serialização interna de objetos Python

dump()

load()

dumps()

loads()

version

dbm — Interfaces to Unix “databases”

error

whichdb()

open()

dbm.sqlite3 — SQLite backend for dbm

open()

dbm.gnu — GNU database manager

error

open()

open_flags

firstkey()

nextkey()

reorganize()

sync()

close()

clear()

dbm.ndbm — New Database Manager

error

library

open()

close()

clear()

dbm.dumb — Portable DBM implementation

error

open()

sync()

close()

sqlite3 —- interface DB-API 2.0 interface para bancos de dados SQLite

Tutorial

Referência

Funções do módulo

connect()

complete_statement()

enable_callback_tracebacks()

register_adapter()

register_converter()

Constantes do módulo

LEGACY_TRANSACTION_CONTROL

PARSE_COLNAMES

PARSE_DECLTYPES

SQLITE_OK

SQLITE_DENY

SQLITE_IGNORE

apilevel

paramstyle

sqlite_version

sqlite_version_info

threadsafety

version

version_info

SQLITE_DBCONFIG_DEFENSIVE

SQLITE_DBCONFIG_DQS_DDL

SQLITE_DBCONFIG_DQS_DML

SQLITE_DBCONFIG_ENABLE_FKEY

SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER

SQLITE_DBCONFIG_ENABLE_LOAD_EXTENSION

SQLITE_DBCONFIG_ENABLE_QPSG

SQLITE_DBCONFIG_ENABLE_TRIGGER

SQLITE_DBCONFIG_ENABLE_VIEW

SQLITE_DBCONFIG_LEGACY_ALTER_TABLE

SQLITE_DBCONFIG_LEGACY_FILE_FORMAT

SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE

SQLITE_DBCONFIG_RESET_DATABASE

SQLITE_DBCONFIG_TRIGGER_EQP

SQLITE_DBCONFIG_TRUSTED_SCHEMA

SQLITE_DBCONFIG_WRITABLE_SCHEMA

Connection objects

Connection

cursor()

blobopen()

commit()

rollback()

close()

execute()

executemany()

executescript()

create_function()

create_aggregate()

create_window_function()

create_collation()

interrupt()

set_authorizer()

set_progress_handler()

set_trace_callback()

enable_load_extension()

load_extension()

iterdump()

backup()

getlimit()

setlimit()

getconfig()

setconfig()

serialize()

deserialize()

autocommit

in_transaction

isolation_level

row_factory

text_factory

total_changes

Cursor objects

Cursor

execute()

executemany()

executescript()

fetchone()

fetchmany()

fetchall()

close()

setinputsizes()

setoutputsize()

arraysize

connection

description

lastrowid

rowcount

row_factory

Row objects

Row

keys()

Blob objects

Blob

close()

read()

write()

tell()

seek()

PrepareProtocol objects

PrepareProtocol

Exceções

Warning

Error

sqlite_errorcode

sqlite_errorname

InterfaceError

DatabaseError

DataError

OperationalError

IntegrityError

InternalError

ProgrammingError

NotSupportedError

SQLite and Python types

Default adapters and converters (deprecated)

Interface de linha de comando

Guias de como fazer

How to use placeholders to bind values in SQL queries

How to adapt custom Python types to SQLite values

How to write adaptable objects

How to register adapter callables

How to convert SQLite values to custom Python types

Adapter and converter recipes

How to use connection shortcut methods

How to use the connection context manager

How to work with SQLite URIs

How to create and use row factories

How to handle non-UTF-8 text encodings

Explicação

Controle de transações

Controle de transações através do atributo autocommit

Controle de transação através do atributo isolation_level

pickle — Serialização de objetos Python

Código-fonte: Lib/pickle.py [https://github.com/python/cpython/tree/3.13/Lib/pickle.py]

O módulo pickle implementa protocolos binários para serializar e desserializar uma estrutura de objeto Python. “Pickling” é o processo pelo qual uma hierarquia de objetos Python é convertida em um fluxo de bytes, e “unpickling” é a operação inversa, em que um fluxo de bytes (de um arquivo binário ou objeto byte ou similar) é convertido de volta em uma hierarquia de objetos. Pickling (e unpickling) com pickle é alternativamente conhecido como “serialização”, “marshalling” [1] ou “flattening”; no entanto, para evitar confusão, usa-se is termos “pickling” e “unpickling”. Nesta documentação traduzida, usaremos “serialização com pickle” e “desserialização com pickle”, respectivamente.

Aviso

O módulo pickle não é seguro. Desserialize com pickle apenas os dados em que você confia.

É possível construir dados maliciosos em pickle que irão executar código arbitrário durante o processo de desserialização com pickle. Nunca desserialize com pickle os dados que possam vir de uma fonte não confiável ou que possam ter sido adulterados.

Considere assinar dados com hmac se você precisar garantir que eles não foram adulterados.

Formatos de serialização mais seguros como json podem ser mais apropriados se você estiver processando dados não confiáveis. Vejo Comparação com json.

Relacionamento com outros módulos Python

Comparação com marshal

Python tem um módulo de serialização mais primitivo chamado marshal, mas em geral pickle deve ser sempre a forma preferida de serializar objetos Python. marshal existe principalmente para oferecer suporte a arquivos .pyc do Python.

O módulo pickle difere do marshal de várias maneiras significativas:

O módulo pickle mantém o controle dos objetos que já serializou, para que referências posteriores ao mesmo objeto não sejam serializadas novamente. marshal não faz isso.

Isso tem implicações tanto para objetos recursivos quanto para compartilhamento de objetos. Objetos recursivos são objetos que contêm referências a si mesmos. Eles não são tratados pelo marshal e, de fato, tentar usar marshal em objetos recursivos irá travar seu interpretador Python. O compartilhamento de objetos ocorre quando há várias referências ao mesmo objeto em locais diferentes na hierarquia de objetos sendo serializados. pickle armazena tais objetos apenas uma vez, e garante que todas as outras referências apontem para a cópia mestre. Os objetos compartilhados permanecem compartilhados, o que pode ser muito importante para objetos mutáveis.

marshal não pode ser usado para serializar classes definidas pelo usuário e suas instâncias. pickle pode salvar e restaurar instâncias de classe de forma transparente, no entanto, a definição de classe deve ser importável e viver no mesmo módulo de quando o objeto foi armazenado.

O formato de serialização do marshal não tem garantia de portabilidade entre as versões do Python. Como sua principal tarefa em vida é oferecer suporte a arquivos .pyc, os implementadores do Python se reservam o direito de alterar o formato de serialização de maneiras não compatíveis com versões anteriores, caso haja necessidade. O formato de serialização do pickle tem a garantia de ser compatível com versões anteriores em todas as versões do Python, desde que um protocolo pickle compatível seja escolhido e o código de serialização e desserialização com pickle lide com diferenças de tipo Python 2 a Python 3 se seus dados estiverem cruzando aquele limite de mudança de linguagem exclusivo.

Comparação com json

Existem diferenças fundamentais entre os protocolos pickle e JSON (JavaScript Object Notation) [https://json.org]:

JSON é um formato de serialização de texto (ele produz texto unicode, embora na maioria das vezes seja codificado para utf-8), enquanto pickle é um formato de serialização binário;

JSON é legível por humanos, enquanto pickle não é;

JSON é interoperável e amplamente usado fora do ecossistema Python, enquanto pickle é específico para Python;

JSON, por padrão, só pode representar um subconjunto dos tipos embutidos do Python, e nenhuma classe personalizada; pickle pode representar um número extremamente grande de tipos Python (muitos deles automaticamente, pelo uso inteligente dos recursos de introspecção do Python; casos complexos podem ser resolvidos implementando APIs de objetos específicos);

Ao contrário do pickle, a desserialização não confiável do JSON não cria, por si só, uma vulnerabilidade de execução de código arbitrário.

Ver também

O módulo json: um módulo de biblioteca padrão que permite a serialização e desserialização JSON.

Formato de fluxo de dados

O formato de dados usado pelo pickle é específico do Python. Isso tem a vantagem de não haver restrições impostas por padrões externos, como JSON (que não pode representar o compartilhamento de ponteiros); no entanto, isso significa que programas não Python podem não ser capazes de reconstruir objetos Python serializados com pickle.

Por padrão, o formato de dados do pickle usa uma representação binária relativamente compacta. Se você precisa de características de tamanho ideal, pode com eficiência comprimir dados processados com pickle.

O módulo pickletools contém ferramentas para analisar fluxos de dados gerados por pickle. O código-fonte do pickletools tem extensos comentários sobre códigos de operações usados ​​por protocolos de pickle.

Existem atualmente 6 protocolos diferentes que podem ser usados ​​para a serialização com pickle. Quanto mais alto o protocolo usado, mais recente é a versão do Python necessária para ler o pickle produzido.

A versão 0 do protocolo é o protocolo original “legível por humanos” e é compatível com versões anteriores do Python.

A versão 1 do protocolo é um formato binário antigo que também é compatível com versões anteriores do Python.

A versão 2 do protocolo foi introduzida no Python 2.3. Ela fornece uma serialização com pickle muito mais eficiente de classes estilo novo. Consulte PEP 307 [https://peps.python.org/pep-0307/] para obter informações sobre as melhorias trazidas pelo protocolo 2.

A versão 3 do protocolo foi adicionada ao Python 3.0. Ela tem suporte explícito a objetos bytes e não é possível desserializar com pickle a partir do Python 2.x. Este era o protocolo padrão no Python 3.0–3.7.

A versão 4 do protocolo foi adicionada ao Python 3.4. Ela adiciona suporte para objetos muito grandes, serialização com pickle de mais tipos de objetos e algumas otimizações de formato de dados. É o protocolo padrão a partir do Python 3.8. Consulte PEP 3154 [https://peps.python.org/pep-3154/] para obter informações sobre as melhorias trazidas pelo protocolo 4.

A versão 5 do protocolo foi adicionada ao Python 3.8. Ela adiciona suporte a dados fora da banda e aumento de velocidade para dados dentro da banda. Consulte PEP 574 [https://peps.python.org/pep-0574/] para obter informações sobre as melhorias trazidas pelo protocolo 5.

Nota

A serialização é uma noção mais primitiva do que a persistência; embora o pickle leia e escreva objetos de arquivo, ele não lida com a questão de nomear objetos persistentes, nem a questão (ainda mais complicada) de acesso simultâneo a objetos persistentes. O módulo pickle pode transformar um objeto complexo em um fluxo de bytes e pode transformar o fluxo de bytes em um objeto com a mesma estrutura interna. Talvez a coisa mais óbvia a fazer com esses fluxos de bytes seja escrevê-los em um arquivo, mas também é concebível enviá-los através de uma rede ou armazená-los em um banco de dados. O módulo shelve fornece uma interface simples para serializar e desserializar com pickle os objetos em arquivos de banco de dados no estilo DBM.

Interface do módulo

Para serializar uma hierarquia de objeto, você simplesmente chama a função dumps(). Da mesma forma, para desserializar um fluxo de dados, você chama a função loads(). No entanto, se você quiser mais controle sobre a serialização e desserialização, pode criar um objeto Pickler ou Unpickler, respectivamente.

O módulo pickle fornece as seguintes constantes:

pickle.HIGHEST_PROTOCOL

Um inteiro, a mais alta versão de protocolo disponível. Este valor pode ser passado como um valor de protocol para as funções dump() e dumps(), bem como o construtor de Pickler.

pickle.DEFAULT_PROTOCOL

Um inteiro, a versão de protocolo padrão usada para a serialização com pickle. Pode ser menor que HIGHEST_PROTOCOL. Atualmente, o protocolo padrão é 4, introduzido pela primeira vez no Python 3.4 e incompatível com as versões anteriores.

Alterado na versão 3.0: O protocolo padrão é 3.

Alterado na versão 3.8: O protocolo padrão é 4.

O módulo pickle fornece as seguintes funções para tornar o processo de serialização com pickle mais conveniente:

pickle.dump(obj, file, protocol=None, *, fix_imports=True, buffer_callback=None)

Escreve a representação após a serialização com pickle do objeto obj no objeto arquivo aberto file. Isso é equivalente a Pickler(file, protocol).dump(obj).

Os argumentos file, protocol, fix_imports e buffer_callback têm o mesmo sentido que no construtor de Pickler.

Alterado na versão 3.8: O argumento buffer_callback foi adicionado.

pickle.dumps(obj, protocol=None, *, fix_imports=True, buffer_callback=None)

Retorna a representação em após a serialização com pickle do objeto obj como um objeto bytes, ao invés de escrevê-lo em um arquivo.

Os argumentos protocol, fix_imports e buffer_callback têm o mesmo sentido que no construtor de Pickler.

Alterado na versão 3.8: O argumento buffer_callback foi adicionado.

pickle.load(file, *, fix_imports=True, encoding='ASCII', errors='strict', buffers=None)

Lê a representação serializada com pickle de um objeto a partir de objeto arquivo aberto file e retorna a hierarquia de objeto reconstituído especificada nele. Isso é equivalente a Unpickler(file).load().

A versão do protocolo pickle é detectada automaticamente, portanto, nenhum argumento de protocolo é necessário. Bytes após a representação serializada com pickle do objeto são ignorados.

Os argumentos file, fix_imports, encoding, errors, strict e buffers têm o mesmo significado que no construtor construtor Unpickler.

Alterado na versão 3.8: O argumento buffers foi adicionado.

pickle.loads(data, /, *, fix_imports=True, encoding='ASCII', errors='strict', buffers=None)

Retorna a hierarquia de objeto reconstituído da representação serializada com pickle data de um objeto. data deve ser um objeto byte ou similar.

A versão do protocolo pickle é detectada automaticamente, portanto, nenhum argumento de protocolo é necessário. Bytes após a representação serializada com pickle do objeto são ignorados.

Os argumentos fix_imports, encoding, errors, strict e buffers têm o mesmo significado que no construtor construtor Unpickler.

Alterado na versão 3.8: O argumento buffers foi adicionado.

O módulo pickle define três exceções:

exception pickle.PickleError

Classe base comum para as outras exceções de serialização com pickle. Herda de Exception.

exception pickle.PicklingError

Erro levantado quando um objeto não serializável com pickle é encontrado por Pickler. Herda de PickleError.

Consulte O que pode ser serializado e desserializado com pickle? para saber quais tipos de objetos podem ser serializados com pickle.

exception pickle.UnpicklingError

Erro levantado quando há um problema ao desserializar com pickle um objeto, como dados corrompidos ou violação de segurança. Herda de PickleError.

Observe que outras exceções também podem ser levantadas durante a desserialização com pickle, incluindo (mas não necessariamente limitado a) AttributeError, EOFError, ImportError e IndexError.

O módulo pickle exporta três classes, Pickler, Unpickler e PickleBuffer:

class pickle.Pickler(file, protocol=None, *, fix_imports=True, buffer_callback=None)

Isso leva um arquivo binário a escrever um fluxo de dados pickle.

O argumento opcional protocol, um inteiro, diz ao pickler para usar o protocolo fornecido; os protocolos suportados são de 0 a HIGHEST_PROTOCOL. Se não for especificado, o padrão é DEFAULT_PROTOCOL. Se um número negativo for especificado, HIGHEST_PROTOCOL é selecionado.

O argumento file deve ter um método write() que aceite um argumento de um único byte. Portanto, pode ser um arquivo em disco aberto para escrita binária, uma instância io.BytesIO ou qualquer outro objeto personalizado que atenda a esta interface.

Se fix_imports for verdadeiro e protocolo for menor que 3, pickle tentará mapear os novos nomes do Python 3 para os nomes dos módulos antigos usados no Python 2, de modo que o fluxo de dados pickle seja legível com o Python 2.

Se buffer_callback for None (o padrão), as visualizações de buffer são serializadas em file como parte do fluxo pickle.

Se buffer_callback não for None, ele pode ser chamado qualquer número de vezes com uma visualização de buffer. Se essa chamada retornar um valor falso (tal como None), o buffer fornecido é fora da banda; caso contrário, o buffer é serializado dentro da banda, ou seja, dentro do fluxo pickle.

É um erro se buffer_callback não for None e protocol for None ou menor que 5.

Alterado na versão 3.8: O argumento buffer_callback foi adicionado.

dump(obj)

Escreve a representação serializada em pickle de obj no objeto arquivo aberto fornecido no construtor.

persistent_id(obj)

Não faz nada por padrão. Isso existe para que uma subclasse possa substituí-lo.

Se persistent_id() retornar None, obj é serializado com pickle como de costume. Qualquer outro valor faz com que Pickler emita o valor retornado como um ID persistente para obj. O significado deste ID persistente deve ser definido por Unpickler.persistent_load(). Observe que o valor retornado por persistent_id() não pode ter um ID persistente.

Consulte Persistência de objetos externos para detalhes e exemplos de usos.

Alterado na versão 3.13: Foi adicionada a implementação padrão desse método na implementação em C da Pickler.

dispatch_table

A tabela de despacho de um objeto pickler é um registro de funções de redução do tipo que pode ser declarado usando copyreg.pickle(). É um mapeamento cujas chaves são classes e cujos valores são funções de redução. Uma função de redução leva um único argumento da classe associada e deve estar de acordo com a mesma interface de um método __reduce__().

Por padrão, um objeto pickler não terá um atributo dispatch_table, e em vez disso usará a tabela de despacho global gerenciada pelo módulo copyreg. No entanto, para personalizar a serialização com pickle de um objeto pickler específico, pode-se definir o atributo dispatch_table para um objeto do tipo dict. Alternativamente, se uma subclasse de Pickler tem um atributo dispatch_table então ele será usado como a tabela de despacho padrão para instâncias daquela classe.

Consulte Tabelas de despacho para exemplos de uso.

Adicionado na versão 3.3.

reducer_override(obj)

Redutor especial que pode ser definido em subclasses de Pickler. Este método tem prioridade sobre qualquer redutor em dispatch_table. Ele deve estar de acordo com a mesma interface que um método __reduce__() e pode opcionalmente retornar NotImplemented como alternativa em redutores registrados em dispatch_table para serializar com pickle obj.

Para exemplo detalhado, consulte Redução personalizada para tipos, funções e outros objetos.

Adicionado na versão 3.8.

fast

Descontinuado. Ative o modo rápido se definido como um valor verdadeiro. O modo rápido desabilita o uso de memo, portanto, agilizando o processo de serialização com pickle por não gerar códigos de operação PUT supérfluos. Ele não deve ser usado com objetos autorreferenciais, fazer o contrário fará com que Pickler recorra infinitamente.

Use pickletools.optimize() se você precisar de serializações com pickle mais compactas.

class pickle.Unpickler(file, *, fix_imports=True, encoding='ASCII', errors='strict', buffers=None)

Recebe um arquivo binário para ler um fluxo de dados pickle.

A versão do protocolo do pickle é detectada automaticamente, portanto, nenhum argumento de protocolo é necessário.

O argumento file deve ter três métodos: um método read() que recebe um argumento inteiro, um método readinto() que recebe um argumento buffer e um método readline() que não requer argumentos, como na interface io.BufferedIOBase. Assim, file pode ser um arquivo em disco aberto para leitura binária, um objeto io.BytesIO ou qualquer outro objeto personalizado que atenda a esta interface.

Os argumentos opcionais fix_imports, encoding e errors são usados para controlar o suporte de compatibilidade ao fluxo pickle gerado pelo Python 2. Se fix_imports for verdadeiro, pickle tentará mapear os nomes antigos do Python 2 para os novos nomes usados no Python 3. Os encoding e erros dizem ao pickle como decodificar instâncias de string de 8 bits capturadas pelo Python 2; o padrão é ‘ASCII’ e ‘strict’, respectivamente. O argumento encoding pode ser ‘bytes’ para ler essas instâncias de string de 8 bits como objetos de bytes. Usar encoding='latin1' é necessário para a desserialização com pickle de vetores NumPy e instâncias de datetime, date e time serializadas com pickle pelo Python 2.

Se buffers for None (o padrão), todos os dados necessários para desserialização devem estar contidos no fluxo pickle. Isso significa que o argumento buffer_callback era None quando um Pickler foi instanciado (ou quando dump() ou dumps() foi chamado).

Se buffers for None, deve ser um iterável de objetos habilitados para buffer que é consumido cada vez que o fluxo de serialização com pickle faz referência a uma visualização de buffer fora da banda. Esses buffers foram fornecidos em ordem para o buffer_callback de um objeto Pickler.

Alterado na versão 3.8: O argumento buffers foi adicionado.

load()

Lê a representação serializada com pickle de um objeto a partir do objeto arquivo aberto fornecido no construtor e retorna a hierarquia de objeto reconstituído especificada nele. Os bytes após a representação serializada com pickle do objeto são ignorados.

persistent_load(pid)

Levanta um UnpicklingError por padrão.

Se definido, persistent_load() deve retornar o objeto especificado pelo ID persistente pid. Se um ID persistente inválido for encontrado, uma UnpicklingError deve ser levantada.

Consulte Persistência de objetos externos para detalhes e exemplos de usos.

Alterado na versão 3.13: Foi adicionada a implementação padrão desse método na implementação em C da Unpickler.

find_class(module, name)

Importa module se necessário e retorna o objeto chamado name dele, onde os argumentos module e name são objetos str. Observe, ao contrário do que seu nome sugere, find_class() também é usado para encontrar funções.

As subclasses podem substituir isso para obter controle sobre quais tipos de objetos e como eles podem ser carregados, reduzindo potencialmente os riscos de segurança. Confira Restringindo globais para detalhes.

Levanta um evento de auditoria pickle.find_class com os argumentos module, name.

class pickle.PickleBuffer(buffer)

Um invólucro para um buffer que representa dados serializáveis com pickle. buffer deve ser um objeto provedor de buffer, como um objeto byte ou similar ou um vetor N-dimensional.

PickleBuffer é ele próprio um provedor de buffer, de forma que é possível passá-lo para outras APIs que esperam um objeto provedor de buffer, como memoryview.

Objetos PickleBuffer só podem ser serializados usando o protocolo pickle 5 ou superior. Eles são elegíveis para serialização fora de banda.

Adicionado na versão 3.8.

raw()

Retorna um memoryview da área de memória subjacente a este buffer. O objeto retornado é um memoryview unidimensional, contíguo C com formato B (bytes não assinados). BufferError é levantada se o buffer não for contíguo C nem Fortran.

release()

Libera o buffer subjacente exposto pelo objeto PickleBuffer.

O que pode ser serializado e desserializado com pickle?

Os seguintes tipos podem ser serializados com pickle:

constantes embutidas (None, True, False, Ellipsis e NotImplemented);

inteiros, números de ponto flutuante, números complexos;

strings, bytes, bytearrays;

tuplas, listas, conjuntos e dicionários contendo apenas objetos serializáveis com pickle;

funções (embutidas ou definidas pelo usuário) acessíveis no nível superior de um módulo (usando def, não lambda);

classes acessíveis no nível superior de um módulo;

instâncias de classes cujo o resultado da chamada de __getstate__() seja serializável com pickle (veja a seção Serializando com pickle instâncias de classes para detalhes).

As tentativas de serializar objetos não serializáveis com pickle vão levantar a exceção PicklingError; quando isso acontece, um número não especificado de bytes pode já ter sido escrito no arquivo subjacente. Tentar serializar com pickle uma estrutura de dados altamente recursiva pode exceder a profundidade máxima de recursão, a RecursionError será levantada neste caso. Você pode aumentar este limite cuidadosamente com sys.setrecursionlimit().

Observe que as funções (embutidas e definidas pelo usuário) são serializadas com pickle pelo nome qualificado, não pelo valor. [2] Isso significa que apenas o nome da função é serializado com pickle, junto com o nome do módulo e das classes contidos. Nem o código da função, nem qualquer um de seus atributos de função são serializados com pickle. Assim, o módulo de definição deve ser importável no ambiente de desserialização com pickle, e o módulo deve conter o objeto nomeado, caso contrário, uma exceção será levantada. [3]

Da mesma forma, as classes são serializadas com pickle pelo nome qualificado, portanto, aplicam-se as mesmas restrições no ambiente de desserialização com pickle. Observe que nenhum código ou dado da classe é coletado, portanto, no exemplo a seguir, o atributo de classe attr não é restaurado no ambiente de desserialização com pickle:

class Foo:
    attr = 'A class attribute'

picklestring = pickle.dumps(Foo)

Essas restrições são a razão pela qual as funções e classes serializáveis com pickle devem ser definidas no nível superior de um módulo.

Da mesma forma, quando as instâncias da classe são serializadas com pickle, o código e os dados de sua classe não são serializados junto com elas. Apenas os dados da instância são serializados com pickle. Isso é feito de propósito para que você possa corrigir bugs em uma classe ou adicionar métodos à classe e ainda carregar objetos que foram criados com uma versão anterior da classe. Se você planeja ter objetos de longa duração que verão muitas versões de uma classe, pode valer a pena colocar um número de versão nos objetos para que as conversões adequadas possam ser feitas pelo método __setstate__() da classe.

Serializando com pickle instâncias de classes

Nesta seção, descrevemos os mecanismos gerais disponíveis para você definir, personalizar e controlar como as instâncias de classe são serializadas e desserializadas com pickle.

Na maioria dos casos, nenhum código adicional é necessário para tornar as instâncias serializáveis com pickle. Por padrão, o pickle recuperará a classe e os atributos de uma instância por meio de introspecção. Quando uma instância de classe não está serializada com pickle, seu método __init__() geralmente não é invocado. O comportamento padrão primeiro cria uma instância não inicializada e, em seguida, restaura os atributos salvos. O código a seguir mostra uma implementação desse comportamento:

def save(obj):
    return (obj.__class__, obj.__dict__)

def restore(cls, attributes):
    obj = cls.__new__(cls)
    obj.__dict__.update(attributes)
    return obj

As classes podem alterar o comportamento padrão, fornecendo um ou vários métodos especiais:

object.__getnewargs_ex__()

Nos protocolos 2 e mais recentes, as classes que implementam o método __getnewargs_ex__() podem ditar os valores passados para o método __new__() após a desserialização com pickle. O método deve retornar um par (args, kwargs) onde args é uma tupla de argumentos posicionais e kwargs um dicionário de argumentos nomeados para construir o objeto. Esses serão passados para o método __new__() após a desserialização com pickle.

Você deve implementar este método se o método __new__() de sua classe requer argumentos somente-nomeados. Caso contrário, é recomendado para compatibilidade implementar __getnewargs__().

Alterado na versão 3.6: __getnewargs_ex__() é agora usado em protocolos 2 e 3.

object.__getnewargs__()

Este método serve a um propósito semelhante ao de __getnewargs_ex__(), mas tem suporte apenas a argumentos posicionais. Ele deve retornar uma tupla de argumentos args que serão passados para o método __new__() após a desserialização com pickle.

__getnewargs__() não será chamado se __getnewargs_ex__() estiver definido.

Alterado na versão 3.6: Antes do Python 3.6, __getnewargs__() era chamado em vez de __getnewargs_ex__() nos protocolos 2 e 3.

object.__getstate__()

Classes podem influenciar ainda mais como suas instâncias são serializadas com pickle, substituindo o método __getstate__(). Ele é chamado e o objeto retornado é serializado com pickle como o conteúdo da instância, em vez de um estado padrão. Existem vários casos:

Para uma classe que não possui instância __dict__ e não possui __slots__, o estado padrão é None.

Para uma classe que não uma possui instância __dict__ nem __slots__, o estado padrão é self.__dict__.

Para uma classe que possui uma instância __dict__ e __slots__, o estado padrão é uma tupla consistindo de dois dicionários: self.__dict__, e um dicionário de mapeamento de nomes de slot para valores de slot. Apenas os slots que possuem um valor são incluídos neste último.

Para uma classe que possui __slots__ e nenhuma __dict__ de instância, o estado padrão é uma tupla cujo primeiro item é None e cujo segundo item é um dicionário mapeando os nomes dos slots para os valores dos slots descritos no tópico anterior.

Alterado na versão 3.11: Adicionada a implementação padrão do método __getstate__() na classe objeto.

object.__setstate__(state)

Ao desserializar com pickle, se a classe define __setstate__(), ela é chamada com o estado não desserializado. Nesse caso, não há nenhum requisito para que o objeto de estado seja um dicionário. Caso contrário, o estado serializado com pickle deve ser um dicionário e seus itens são atribuídos ao dicionário da nova instância.

Nota

Se __reduce__() retorna um estado com valor None na serialização com pickle, o método __setstate__() não será chamado quando da desserialização com pickle.

Confira a seção Manipulação de objetos com estado para mais informações sobre como usar os métodos __getstate__() e __setstate__().

Nota

Quando da desserialização com pickle, alguns métodos, como __getattr__(), __getattribute__() ou __setattr__(), podem ser chamados na instância. No caso desses métodos dependerem de alguma invariante interna ser verdadeira, o tipo deve ser implementado __new__() para estabelecer tal invariante, pois __init__() não é chamada quando da desserialização com pickle em uma instância.

Como veremos, o pickle não usa diretamente os métodos descritos acima. Na verdade, esses métodos são parte do protocolo de cópia que implementa o método especial __reduce__(). O protocolo de cópia fornece uma interface unificada para recuperar os dados necessários para serialização com pickle e cópia de objetos. [4]

Apesar de poderoso, implementar __reduce__() diretamente em sua classe é algo propenso a erro. Por este motivo, designers de classe devem usar a interface de alto nível (ou seja, __getnewargs_ex__(), __getstate__() e __setstate__()) sempre que possível. Vamos mostrar, porém, casos em que o uso de __reduce__() é a única opção ou leva a uma serialização com pickle mais eficiente, ou as ambas.

object.__reduce__()

A interface está atualmente definida da seguinte maneira. O método __reduce__() não aceita nenhum argumento e deve retornar uma string ou preferencialmente uma tupla (o objeto retornado é frequentemente referido como o “valor de redução”).

Se uma string é retornada, ela deve ser interpretada como o nome de uma variável global. Deve ser o nome local do objeto relativo ao seu módulo; o módulo pickle pesquisa o espaço de nomes do módulo para determinar o módulo do objeto. Esse comportamento é normalmente útil para singletons.

Quando uma tupla é retornada, ela deve ter entre dois e seis itens. Os itens opcionais podem ser omitidos ou None pode ser fornecido como seu valor. A semântica de cada item está em ordem:

Um objeto chamável que será chamado para criar a versão inicial do objeto.

Uma tupla de argumentos para o objeto chamável. Uma tupla vazia deve ser fornecida se o chamável não aceitar nenhum argumento.

Opcionalmente, o estado do objeto, que será passado para o método __setstate__() do objeto conforme descrito anteriormente. Se o objeto não tiver tal método, o valor deve ser um dicionário e será adicionado ao atributo __dict__ do objeto.

Opcionalmente, um iterador (e não uma sequência) produzindo itens sucessivos. Esses itens serão anexados ao objeto usando obj.append(item) ou, em lote, usando obj.extend(list_of_items). Isso é usado principalmente para subclasses de lista, mas pode ser usado por outras classes, desde que tenham os métodos append e extend com a assinatura apropriada. (Se append() ou extend() é usado depende de qual versão do protocolo pickle é usada, bem como o número de itens a anexar, então ambos devem ser suportados.)

Opcionalmente, um iterador (não uma sequência) produzindo pares de valor-chave sucessivos. Esses itens serão armazenados no objeto usando obj[chave]=valor. Isso é usado principalmente para subclasses de dicionário, mas pode ser usado por outras classes, desde que implementem __setitem__().

Opcionalmente, um chamável com uma assinatura (obj, estado). Este chamável permite ao usuário controlar programaticamente o comportamento de atualização de estado de um objeto específico, ao invés de usar o método estático __setstate__() de obj. Se não for None, este chamável terá prioridade sobre o __setstate__() de obj.

Adicionado na versão 3.8: O sexto item opcional de tupla, (obj, estado), foi adicionado.

object.__reduce_ex__(protocol)

Alternativamente, um método __reduce_ex__() pode ser definido. A única diferença é que este método deve ter um único argumento inteiro, a versão do protocolo. Quando definido, pickle irá preferir isso ao método __reduce__(). Além disso, __reduce__() automaticamente se torna um sinônimo para a versão estendida. O principal uso desse método é fornecer valores de redução com compatibilidade reversa para versões mais antigas do Python.

Persistência de objetos externos

Para o benefício da persistência do objeto, o módulo pickle tem suporte à noção de uma referência a um objeto fora do fluxo de dados serializados com pickle. Esses objetos são referenciados por um ID persistente, que deve ser uma string de caracteres alfanuméricos (para o protocolo 0) [5] ou apenas um objeto arbitrário (para qualquer protocolo mais recente).

A resolução de tais IDs persistentes não é definida pelo módulo pickle; ele vai delegar esta resolução aos métodos definidos pelo usuário no selecionador e no separador, persistent_id() e persistent_load() respectivamente.

Para serializar com pickle objetos que têm um ID externo persistente, o pickler deve ter um método persistent_id() personalizado que recebe um objeto como um argumento e retorna None ou o ID persistente para esse objeto. Quando None é retornado, o pickler simplesmente serializa o objeto normalmente. Quando uma string de ID persistente é retornada, o pickler serializa aquele objeto, junto com um marcador para que o unpickler o reconheça como um ID persistente.

Para desserializar com pickle objetos externos, o unpickler deve ter um método persistent_load() personalizado que recebe um objeto de ID persistente e retorna o objeto referenciado.

Aqui está um exemplo abrangente que apresenta como o ID persistente pode ser usado para serializar com pickle objetos externos por referência.

# Simple example presenting how persistent ID can be used to pickle
# external objects by reference.

import pickle
import sqlite3
from collections import namedtuple

# Simple class representing a record in our database.
MemoRecord = namedtuple("MemoRecord", "key, task")

class DBPickler(pickle.Pickler):

    def persistent_id(self, obj):
        # Instead of pickling MemoRecord as a regular class instance, we emit a
        # persistent ID.
        if isinstance(obj, MemoRecord):
            # Here, our persistent ID is simply a tuple, containing a tag and a
            # key, which refers to a specific record in the database.
            return ("MemoRecord", obj.key)
        else:
            # If obj does not have a persistent ID, return None. This means obj
            # needs to be pickled as usual.
            return None

class DBUnpickler(pickle.Unpickler):

    def __init__(self, file, connection):
        super().__init__(file)
        self.connection = connection

    def persistent_load(self, pid):
        # This method is invoked whenever a persistent ID is encountered.
        # Here, pid is the tuple returned by DBPickler.
        cursor = self.connection.cursor()
        type_tag, key_id = pid
        if type_tag == "MemoRecord":
            # Fetch the referenced record from the database and return it.
            cursor.execute("SELECT * FROM memos WHERE key=?", (str(key_id),))
            key, task = cursor.fetchone()
            return MemoRecord(key, task)
        else:
            # Always raises an error if you cannot return the correct object.
            # Otherwise, the unpickler will think None is the object referenced
            # by the persistent ID.
            raise pickle.UnpicklingError("unsupported persistent object")

def main():
    import io
    import pprint

    # Initialize and populate our database.
    conn = sqlite3.connect(":memory:")
    cursor = conn.cursor()
    cursor.execute("CREATE TABLE memos(key INTEGER PRIMARY KEY, task TEXT)")
    tasks = (
        'give food to fish',
        'prepare group meeting',
        'fight with a zebra',
        )
    for task in tasks:
        cursor.execute("INSERT INTO memos VALUES(NULL, ?)", (task,))

    # Fetch the records to be pickled.
    cursor.execute("SELECT * FROM memos")
    memos = [MemoRecord(key, task) for key, task in cursor]
    # Save the records using our custom DBPickler.
    file = io.BytesIO()
    DBPickler(file).dump(memos)

    print("Pickled records:")
    pprint.pprint(memos)

    # Update a record, just for good measure.
    cursor.execute("UPDATE memos SET task='learn italian' WHERE key=1")

    # Load the records from the pickle data stream.
    file.seek(0)
    memos = DBUnpickler(file, conn).load()

    print("Unpickled records:")
    pprint.pprint(memos)

if __name__ == '__main__':
    main()

Tabelas de despacho

Se alguém quiser personalizar a serialização com pickle de algumas classes sem perturbar nenhum outro código que dependa da serialização, pode-se criar um pickler com uma tabela de despacho privada.

A tabela de despacho global gerenciada pelo módulo copyreg está disponível como copyreg.dispatch_table. Portanto, pode-se escolher usar uma cópia modificada de copyreg.dispatch_table como uma tabela de despacho privada.

Por exemplo

f = io.BytesIO()
p = pickle.Pickler(f)
p.dispatch_table = copyreg.dispatch_table.copy()
p.dispatch_table[SomeClass] = reduce_SomeClass

cria uma instância de pickle.Pickler com uma tabela de despacho privada que trata a classe SomeClass especialmente. Alternativamente, o código

class MyPickler(pickle.Pickler):
    dispatch_table = copyreg.dispatch_table.copy()
    dispatch_table[SomeClass] = reduce_SomeClass
f = io.BytesIO()
p = MyPickler(f)

faz o mesmo, mas todas as instâncias de MyPickler compartilharão por padrão a tabela de despacho privada. Por outro lado, o código

copyreg.pickle(SomeClass, reduce_SomeClass)
f = io.BytesIO()
p = pickle.Pickler(f)

modifica a tabela de despacho global compartilhada por todos os usuários do módulo copyreg.

Manipulação de objetos com estado

Aqui está um exemplo que mostra como modificar o comportamento de serialização com pickle de uma classe. A classe TextReader abaixo abre um arquivo texto e retorna o número da linha e o conteúdo da linha cada vez que seu método readline() é chamado. Se uma instância de TextReader for selecionada, todos os atributos exceto o membro do objeto arquivo são salvos. Quando a instância é removida, o arquivo é reaberto e a leitura continua a partir do último local. Os métodos __setstate__() e __getstate__() são usados para implementar este comportamento.

class TextReader:
    """Print and number lines in a text file."""

    def __init__(self, filename):
        self.filename = filename
        self.file = open(filename)
        self.lineno = 0

    def readline(self):
        self.lineno += 1
        line = self.file.readline()
        if not line:
            return None
        if line.endswith('\n'):
            line = line[:-1]
        return "%i: %s" % (self.lineno, line)

    def __getstate__(self):
        # Copy the object's state from self.__dict__ which contains
        # all our instance attributes. Always use the dict.copy()
        # method to avoid modifying the original state.
        state = self.__dict__.copy()
        # Remove the unpicklable entries.
        del state['file']
        return state

    def __setstate__(self, state):
        # Restore instance attributes (i.e., filename and lineno).
        self.__dict__.update(state)
        # Restore the previously opened file's state. To do so, we need to
        # reopen it and read from it until the line count is restored.
        file = open(self.filename)
        for _ in range(self.lineno):
            file.readline()
        # Finally, save the file.
        self.file = file

Um exemplo de uso pode ser algo assim:

>>> reader = TextReader("hello.txt")
>>> reader.readline()
'1: Hello world!'
>>> reader.readline()
'2: I am line number two.'
>>> new_reader = pickle.loads(pickle.dumps(reader))
>>> new_reader.readline()
'3: Goodbye!'

Redução personalizada para tipos, funções e outros objetos

Adicionado na versão 3.8.

Às vezes, dispatch_table pode não ser flexível o suficiente. Em particular, podemos querer personalizar a serialização com pickle com base em outro critério que não o tipo do objeto, ou podemos personalizar a serialização com pickle de funções e classes.

Para esses casos, é possível criar uma subclasse da classe Pickler e implementar um método reducer_override(). Este método pode retornar uma tupla de redução arbitrária (veja __reduce__()). Ele pode, alternativamente, retornar NotImplemented para retornar ao comportamento tradicional.

Se dispatch_table e reducer_override() forem definidos, o método reducer_override() tem prioridade.

Nota

Por motivos de desempenho, reducer_override() não pode ser chamado para os seguintes objetos: None, True, False, e as instâncias exatas de int, float, bytes, str, dict, set, frozenset, list e tuple.

Aqui está um exemplo simples onde permitimos serialização com pickle e reconstrução de uma determinada classe:

import io
import pickle

class MyClass:
    my_attribute = 1

class MyPickler(pickle.Pickler):
    def reducer_override(self, obj):
        """Custom reducer for MyClass."""
        if getattr(obj, "__name__", None) == "MyClass":
            return type, (obj.__name__, obj.__bases__,
                          {'my_attribute': obj.my_attribute})
        else:
            # For any other object, fallback to usual reduction
            return NotImplemented

f = io.BytesIO()
p = MyPickler(f)
p.dump(MyClass)

del MyClass

unpickled_class = pickle.loads(f.getvalue())

assert isinstance(unpickled_class, type)
assert unpickled_class.__name__ == "MyClass"
assert unpickled_class.my_attribute == 1

Buffers fora da banda

Adicionado na versão 3.8.

Em alguns contextos, o módulo pickle é usado para transferir grandes quantidades de dados. Portanto, pode ser importante minimizar o número de cópias de memória para preservar o desempenho e o consumo de recursos. No entanto, a operação normal do módulo pickle, à medida que transforma uma estrutura semelhante a um gráfico de objetos em um fluxo sequencial de bytes, envolve intrinsecamente a cópia de dados de e para o fluxo pickle.

Esta restrição pode ser evitada se tanto o fornecedor (a implementação dos tipos de objetos a serem transferidos) e o consumidor (a implementação do sistema de comunicações) tiverem suporte aos recursos de transferência fora de banda fornecidos pelo protocolo pickle 5 e superior.

API de provedor

Os grandes objetos de dados a serem serializados com pickle devem implementar um método __reduce_ex__() especializado para o protocolo 5 e superior, que retorna uma instância PickleBuffer (em vez de, por exemplo, um objeto bytes) para quaisquer dados grandes.

Um objeto PickleBuffer sinaliza que o buffer subjacente é elegível para transferência de dados fora de banda. Esses objetos permanecem compatíveis com o uso normal do módulo pickle. No entanto, os consumidores também podem optar por dizer ao pickle que eles irão lidar com esses buffers por conta própria.

API de consumidor

Um sistema de comunicação pode permitir o manuseio personalizado dos objetos PickleBuffer gerados ao serializar um grafo de objeto.

No lado emissor, é necessário passar um argumento buffer_callback para Pickler (ou para a função dump() ou dumps()), que será chamada com cada PickleBuffer gerado durante a serialização com pickle do grafo do objeto. Os buffers acumulados pelo buffer_callback não verão seus dados copiados no fluxo pickle, apenas um marcador barato será inserido.

No lado receptor, é necessário passar um argumento buffers para Unpickler (ou para a função load() ou load()), que é um iterável dos buffers que foram passado para buffer_callback. Esse iterável deve produzir buffers na mesma ordem em que foram passados para buffer_callback. Esses buffers fornecerão os dados esperados pelos reconstrutores dos objetos cuja serialização com pickle produziu os objetos PickleBuffer originais.

Entre o lado emissor e o lado receptor, o sistema de comunicações está livre para implementar seu próprio mecanismo de transferência para buffers fora de banda. As otimizações potenciais incluem o uso de memória compartilhada ou compactação dependente do tipo de dados.

Exemplo

Aqui está um exemplo trivial onde implementamos uma subclasse de bytearray capaz de participar de serialização com pickle de buffer fora de banda:

class ZeroCopyByteArray(bytearray):

    def __reduce_ex__(self, protocol):
        if protocol >= 5:
            return type(self)._reconstruct, (PickleBuffer(self),), None
        else:
            # PickleBuffer is forbidden with pickle protocols <= 4.
            return type(self)._reconstruct, (bytearray(self),)

    @classmethod
    def _reconstruct(cls, obj):
        with memoryview(obj) as m:
            # Get a handle over the original buffer object
            obj = m.obj
            if type(obj) is cls:
                # Original buffer object is a ZeroCopyByteArray, return it
                # as-is.
                return obj
            else:
                return cls(obj)

O reconstrutor (o método de classe _reconstruct) retorna o objeto de fornecimento do buffer se ele tiver o tipo correto. Esta é uma maneira fácil de simular o comportamento de cópia zero neste exemplo de brinquedo.

Do lado consumidor, podemos serializar com pickle esses objetos da maneira usual, que quando não serializados nos dará uma cópia do objeto original:

b = ZeroCopyByteArray(b"abc")
data = pickle.dumps(b, protocol=5)
new_b = pickle.loads(data)
print(b == new_b)  # True
print(b is new_b)  # False: a copy was made

Mas se passarmos um buffer_callback e, em seguida, retornarmos os buffers acumulados ao desserializar, seremos capazes de recuperar o objeto original:

b = ZeroCopyByteArray(b"abc")
buffers = []
data = pickle.dumps(b, protocol=5, buffer_callback=buffers.append)
new_b = pickle.loads(data, buffers=buffers)
print(b == new_b)  # True
print(b is new_b)  # True: no copy was made

Este exemplo é limitado pelo fato de que bytearray aloca sua própria memória: você não pode criar uma instância de bytearray que é apoiada pela memória de outro objeto. No entanto, tipos de dados de terceiros, como arrays de NumPy, não têm essa limitação e permitem o uso de serialização com pickle de cópia zero (ou fazer o mínimo de cópias possível) ao transferir entre processos ou sistemas distintos.

Ver também

PEP 574 [https://peps.python.org/pep-0574/] – Protocolo de Pickle 5 com buffers de dados fora da banda

Restringindo globais

Por padrão, a desserialização com pickle importará qualquer classe ou função que encontrar nos dados pickle. Para muitos aplicativos, esse comportamento é inaceitável, pois permite que o unpickler importe e invoque código arbitrário. Basta considerar o que este fluxo de dados pickle feito à mão faz quando carregado:

>>> import pickle
>>> pickle.loads(b"cos\nsystem\n(S'echo hello world'\ntR.")
hello world
0

Neste exemplo, o unpickler importa a função os.system() e então aplica o argumento string “echo hello world”. Embora este exemplo seja inofensivo, não é difícil imaginar um que possa danificar seu sistema.

Por esta razão, você pode querer controlar o que é desserializado com pickle personalizando Unpickler.find_class(). Ao contrário do que seu nome sugere, Unpickler.find_class() é chamado sempre que um global (ou seja, uma classe ou uma função) é solicitado. Assim, é possível proibir completamente os globais ou restringi-los a um subconjunto seguro.

Aqui está um exemplo de um unpickler que permite que apenas algumas classes seguras do módulo builtins sejam carregadas:

import builtins
import io
import pickle

safe_builtins = {
    'range',
    'complex',
    'set',
    'frozenset',
    'slice',
}

class RestrictedUnpickler(pickle.Unpickler):

    def find_class(self, module, name):
        # Only allow safe classes from builtins.
        if module == "builtins" and name in safe_builtins:
            return getattr(builtins, name)
        # Forbid everything else.
        raise pickle.UnpicklingError("global '%s.%s' is forbidden" %
                                     (module, name))

def restricted_loads(s):
    """Helper function analogous to pickle.loads()."""
    return RestrictedUnpickler(io.BytesIO(s)).load()

Um exemplo de uso do nosso unpickler funcionando como esperado:

>>> restricted_loads(pickle.dumps([1, 2, range(15)]))
[1, 2, range(0, 15)]
>>> restricted_loads(b"cos\nsystem\n(S'echo hello world'\ntR.")
Traceback (most recent call last):
  ...
pickle.UnpicklingError: global 'os.system' is forbidden
>>> restricted_loads(b'cbuiltins\neval\n'
...                  b'(S\'getattr(__import__("os"), "system")'
...                  b'("echo hello world")\'\ntR.')
Traceback (most recent call last):
  ...
pickle.UnpicklingError: global 'builtins.eval' is forbidden

Como nossos exemplos mostram, você deve ter cuidado com o que permite que seja desserializado com pickle. Portanto, se a segurança é uma preocupação, você pode querer considerar alternativas como a API de marshalling em xmlrpc.client ou soluções de terceiros.

Desempenho

Versões recentes do protocolo pickle (do protocolo 2 em diante) apresentam codificações binárias eficientes para vários recursos comuns e tipos embutidos. Além disso, o módulo pickle tem um otimizador transparente escrito em C.

Exemplos

Para código mais simples, use as funções dump() e load().

import pickle

# An arbitrary collection of objects supported by pickle.
data = {
    'a': [1, 2.0, 3+4j],
    'b': ("character string", b"byte string"),
    'c': {None, True, False}
}

with open('data.pickle', 'wb') as f:
    # Pickle the 'data' dictionary using the highest protocol available.
    pickle.dump(data, f, pickle.HIGHEST_PROTOCOL)

O exemplo a seguir lê os dados resultantes em serializados com pickle.

import pickle

with open('data.pickle', 'rb') as f:
    # The protocol version used is detected automatically, so we do not
    # have to specify it.
    data = pickle.load(f)

Ver também

Módulo copyreg

Registro de construtor de interface Pickle para tipos de extensão.

Módulo pickletools

Ferramentas para trabalhar e analisar dados serializados com pickle.

Módulo shelve

Banco de dados indexado de objetos; usa pickle.

Módulo copy

Cópia rasa e cópia profunda de objeto.

Módulo marshal

Serialização de alto desempenho de tipos embutidos.

Notas de rodapé

[1]

Não confunda isso com o módulo marshal

[2]

É por isso que funções lambda não podem ser serializadas com pickle: todas as funções lambda compartilham o mesmo nome: <lambda>.

[3]

A exceção levantada provavelmente será uma ImportError ou uma AttributeError, mas poderia ser outra coisa.

[4]

O módulo copy usa este protocolo para operações de cópia rasa e cópia profunda.

[5]

A limitação de caracteres alfanuméricos se deve ao fato de que os IDs persistentes, no protocolo 0, serem delimitados pelo caractere de nova linha. Portanto, se qualquer tipo de caractere de nova linha ocorrer em IDs persistentes, os dados resultantes da serialização com pickle se tornarão ilegíveis.

copyreg — Registra funções de suporte pickle

Código-fonte: Lib/copyreg.py [https://github.com/python/cpython/tree/3.13/Lib/copyreg.py]

O módulo copyreg oferece uma maneira de definir as funções usadas durante a remoção de objetos específicos. Os módulos pickle e copy usam essas funções ao selecionar/copiar esses objetos. O módulo fornece informações de configuração sobre construtores de objetos que não são classes. Esses construtores podem ser funções de fábrica ou instâncias de classes.

copyreg.constructor(object)

Declara object para ser um construtor válido. Se object não for chamável (e, portanto, não for válido como um construtor), levanta TypeError.

copyreg.pickle(type, function, constructor_ob=None)

Declara que a function deve ser usada como uma função de “redução” para objetos do tipo type. function deve retornar uma string ou uma tupla contendo entre dois e seis elementos. Veja dispatch_table para mais detalhes sobre a interface da function.

O parâmetro constructor_ob é um recurso herdado e agora é ignorado, mas se passado deve ser UM chamável.

Note que o atributo dispatch_table de um objeto pickler ou subclasse de pickle.Pickler também podem ser usados para declarar funções de redução.

Exemplo

O exemplo abaixo gostaria de mostrar como registrar uma função de pickle e como ela será usada:

>>> import copyreg, copy, pickle
>>> class C:
...     def __init__(self, a):
...         self.a = a
...
>>> def pickle_c(c):
...     print("pickling a C instance...")
...     return C, (c.a,)
...
>>> copyreg.pickle(C, pickle_c)
>>> c = C(1)
>>> d = copy.copy(c)
pickling a C instance...
>>> p = pickle.dumps(c)
pickling a C instance...

shelve — Python object persistence

Código-fonte: Lib/shelve.py [https://github.com/python/cpython/tree/3.13/Lib/shelve.py]

A “shelf” is a persistent, dictionary-like object. The difference with “dbm” databases is that the values (not the keys!) in a shelf can be essentially arbitrary Python objects — anything that the pickle module can handle. This includes most class instances, recursive data types, and objects containing lots of shared sub-objects. The keys are ordinary strings.

shelve.open(filename, flag='c', protocol=None, writeback=False)

Open a persistent dictionary. The filename specified is the base filename for the underlying database. As a side-effect, an extension may be added to the filename and more than one file may be created. By default, the underlying database file is opened for reading and writing. The optional flag parameter has the same interpretation as the flag parameter of dbm.open().

By default, pickles created with pickle.DEFAULT_PROTOCOL are used to serialize values. The version of the pickle protocol can be specified with the protocol parameter.

Because of Python semantics, a shelf cannot know when a mutable persistent-dictionary entry is modified. By default modified objects are written only when assigned to the shelf (see Exemplo). If the optional writeback parameter is set to True, all entries accessed are also cached in memory, and written back on sync() and close(); this can make it handier to mutate mutable entries in the persistent dictionary, but, if many entries are accessed, it can consume vast amounts of memory for the cache, and it can make the close operation very slow since all accessed entries are written back (there is no way to determine which accessed entries are mutable, nor which ones were actually mutated).

Alterado na versão 3.10: pickle.DEFAULT_PROTOCOL is now used as the default pickle protocol.

Alterado na versão 3.11: Aceita um objeto caminho ou similar como nome de arquivo.

Nota

Do not rely on the shelf being closed automatically; always call close() explicitly when you don’t need it any more, or use shelve.open() as a context manager:

with shelve.open('spam') as db:
    db['eggs'] = 'eggs'

Aviso

Because the shelve module is backed by pickle, it is insecure to load a shelf from an untrusted source. Like with pickle, loading a shelf can execute arbitrary code.

Shelf objects support most of methods and operations supported by dictionaries (except copying, constructors and operators | and |=). This eases the transition from dictionary based scripts to those requiring persistent storage.

Two additional methods are supported:

Shelf.sync()

Write back all entries in the cache if the shelf was opened with writeback set to True. Also empty the cache and synchronize the persistent dictionary on disk, if feasible. This is called automatically when the shelf is closed with close().

Shelf.close()

Synchronize and close the persistent dict object. Operations on a closed shelf will fail with a ValueError.

Ver também

Persistent dictionary recipe [https://code.activestate.com/recipes/576642-persistent-dict-with-multiple-standard-file-format/] with widely supported storage formats and having the speed of native dictionaries.

Restrições

The choice of which database package will be used (such as dbm.ndbm or dbm.gnu) depends on which interface is available. Therefore it is not safe to open the database directly using dbm. The database is also (unfortunately) subject to the limitations of dbm, if it is used — this means that (the pickled representation of) the objects stored in the database should be fairly small, and in rare cases key collisions may cause the database to refuse updates.

The shelve module does not support concurrent read/write access to shelved objects. (Multiple simultaneous read accesses are safe.) When a program has a shelf open for writing, no other program should have it open for reading or writing. Unix file locking can be used to solve this, but this differs across Unix versions and requires knowledge about the database implementation used.

On macOS dbm.ndbm can silently corrupt the database file on updates, which can cause hard crashes when trying to read from the database.

class shelve.Shelf(dict, protocol=None, writeback=False, keyencoding='utf-8')

A subclass of collections.abc.MutableMapping which stores pickled values in the dict object.

By default, pickles created with pickle.DEFAULT_PROTOCOL are used to serialize values. The version of the pickle protocol can be specified with the protocol parameter. See the pickle documentation for a discussion of the pickle protocols.

If the writeback parameter is True, the object will hold a cache of all entries accessed and write them back to the dict at sync and close times. This allows natural operations on mutable entries, but can consume much more memory and make sync and close take a long time.

The keyencoding parameter is the encoding used to encode keys before they are used with the underlying dict.

A Shelf object can also be used as a context manager, in which case it will be automatically closed when the with block ends.

Alterado na versão 3.2: Added the keyencoding parameter; previously, keys were always encoded in UTF-8.

Alterado na versão 3.4: Adicionado suporte a gerenciador de contexto.

Alterado na versão 3.10: pickle.DEFAULT_PROTOCOL is now used as the default pickle protocol.

class shelve.BsdDbShelf(dict, protocol=None, writeback=False, keyencoding='utf-8')

A subclass of Shelf which exposes first(), next(), previous(), last() and set_location() methods. These are available in the third-party bsddb module from pybsddb [https://www.jcea.es/programacion/pybsddb.htm] but not in other database modules. The dict object passed to the constructor must support those methods. This is generally accomplished by calling one of bsddb.hashopen(), bsddb.btopen() or bsddb.rnopen(). The optional protocol, writeback, and keyencoding parameters have the same interpretation as for the Shelf class.

class shelve.DbfilenameShelf(filename, flag='c', protocol=None, writeback=False)

A subclass of Shelf which accepts a filename instead of a dict-like object. The underlying file will be opened using dbm.open(). By default, the file will be created and opened for both read and write. The optional flag parameter has the same interpretation as for the open() function. The optional protocol and writeback parameters have the same interpretation as for the Shelf class.

Exemplo

To summarize the interface (key is a string, data is an arbitrary object):

import shelve

d = shelve.open(filename)  # open -- file may get suffix added by low-level
                           # library

d[key] = data              # store data at key (overwrites old data if
                           # using an existing key)
data = d[key]              # retrieve a COPY of data at key (raise KeyError
                           # if no such key)
del d[key]                 # delete data stored at key (raises KeyError
                           # if no such key)

flag = key in d            # true if the key exists
klist = list(d.keys())     # a list of all existing keys (slow!)

# as d was opened WITHOUT writeback=True, beware:
d['xx'] = [0, 1, 2]        # this works as expected, but...
d['xx'].append(3)          # *this doesn't!* -- d['xx'] is STILL [0, 1, 2]!

# having opened d without writeback=True, you need to code carefully:
temp = d['xx']             # extracts the copy
temp.append(5)             # mutates the copy
d['xx'] = temp             # stores the copy right back, to persist it

# or, d=shelve.open(filename,writeback=True) would let you just code
# d['xx'].append(5) and have it work as expected, BUT it would also
# consume more memory and make the d.close() operation slower.

d.close()                  # close it

Ver também

Módulo dbm

Generic interface to dbm-style databases.

Módulo pickle

Object serialization used by shelve.

marshal — Serialização interna de objetos Python

Este módulo contém funções que podem ler e gravar valores Python em formato binário. O formato é específico para Python, mas independente dos problemas de arquitetura da máquina (por exemplo, você pode gravar um valor Python em um arquivo em um PC, transportar o arquivo para um Mac e lê-lo de volta lá). Os detalhes do formato não são documentados propositalmente; ele pode mudar entre as versões do Python (embora raramente mude). [1]

Este não é um módulo de “persistência” geral. Para persistência geral e transferência de objetos Python através de chamadas RPC, veja os módulos pickle e shelve. O módulo marshal existe principalmente para ter suporte à leitura e escrita do código “pseudocompilado” para módulos Python de arquivos .pyc. Portanto, os mantenedores do Python se reservam o direito de modificar o formato do marshal de maneiras incompatíveis com versões anteriores, caso seja necessário. O formato dos objetos código não é compatível entre as versões do Python, mesmo que a versão do formato seja a mesma. Desserializar um objeto código na versão incorreta do Python tem um comportamento indefinido. Se você estiver serializando e desserializando objetos Python, use o módulo pickle – o desempenho é comparável, a independência de versão é garantida e pickle tem suporte a uma gama substancialmente maior de objetos do que marshal.

Aviso

O módulo marshal não se destina a ser seguro contra dados errôneos ou construídos de forma maliciosa. Nunca faça o unmarshalling de dados recebidos de uma fonte não confiável ou não autenticada.

Nem todos os tipos de objetos Python são manipuláveis com marshal; em geral, apenas objetos cujo valor é independente de uma invocação particular de Python podem ser escritos e lidos por este módulo. Os seguintes tipos são suportados: booleanos, inteiros, números de ponto flutuante, números complexos, strings, bytes, bytearrays, tuplas, listas, conjuntos, conjuntos congelados, dicionários e objetos código (se allow_code for verdadeiro), onde deve ser entendido que tuplas, listas, conjuntos, conjuntos congelados e os dicionários são suportados apenas enquanto os próprios valores contidos neles forem suportados. Os valores únicos None, Ellipsis e StopIteration também podem ser serializados e dessarializados com marshal. Para formato version inferior a 3, listas recursivas, conjuntos e dicionários não podem ser escritos (veja abaixo).

Existem funções que leem/gravam arquivos, bem como funções que operam em objetos byte ou similares.

O módulo define estas funções:

marshal.dump(value, file, version=version, /, *, allow_code=True)

Grava o valor no arquivo aberto. O valor deve ser um tipo compatível. O arquivo deve ser arquivo binário gravável.

Se o valor tem (ou contém um objeto que tem) um tipo não suportado, uma exceção ValueError é levantada – mas dados de lixo também serão gravados no arquivo. O objeto não será lido corretamente por load(). Há suporte a objetos código somente se allow_code for verdadeiro.

O argumento version indica o formato de dados que o dump deve usar (veja abaixo).

Levanta um evento de auditoria marshal.dumps com os argumentos value, version.

Alterado na versão 3.13: Adicionado o parâmetro allow_code.

marshal.load(file, /, *, allow_code=True)

Lê um valor do arquivo aberto e retorna-o. Se nenhum valor válido for lido (por exemplo, porque os dados têm um formato de empacotamento incompatível com uma versão diferente do Python), levanta EOFError, ValueError ou TypeError. Há suporte a objetos código somente se allow_code for verdadeiro. O arquivo deve ser um arquivo binário legível.

Levanta um evento de auditoria marshal.load sem argumentos.

Nota

Se um objeto contendo um tipo não suportado foi empacotado com dump(), load() irá substituir None pelo tipo não empacotável.

Alterado na versão 3.10: Esta chamada costumava levantar um evento de auditoria code.__new__ para cada objeto código. Agora, ele levanta um único evento marshal.load para toda a operação de carregamento.

Alterado na versão 3.13: Adicionado o parâmetro allow_code.

marshal.dumps(value, version=version, /, *, allow_code=True)

Retorna o objeto bytes que seria escrito em um arquivo por dump(value, file). O valor deve ser um tipo compatível. Levanta uma exceção ValueError se o valor tem (ou contém um objeto que tem) um tipo não suportado. Há suporte a objetos código somente se allow_code for verdadeiro.

O argumento version indica o formato de dados que dumps deve usar (veja abaixo).

Levanta um evento de auditoria marshal.dumps com os argumentos value, version.

Alterado na versão 3.13: Adicionado o parâmetro allow_code.

marshal.loads(bytes, /, *, allow_code=True)

Converte o objeto byte ou similar em um valor. Se nenhum valor válido for encontrado, levanta EOFError, ValueError ou TypeError. Há suporte a objetos código somente se allow_code for verdadeiro. Bytes extras na entrada são ignorados.

Levanta um evento de auditoria marshal.loads com o argumento bytes.

Alterado na versão 3.10: Esta chamada costumava levantar um evento de auditoria code.__new__ para cada objeto código. Agora, ele levanta um único evento marshal.loads para toda a operação de carregamento.

Alterado na versão 3.13: Adicionado o parâmetro allow_code.

Além disso, as seguintes constantes são definidas:

marshal.version

Indica o formato que o módulo usa. A versão 0 é o formato histórico, a versão 1 compartilha strings internas e a versão 2 usa um formato binário para números de ponto flutuante. A versão 3 adiciona suporte para instanciação e recursão de objetos. A versão atual é a 4.

Notas de rodapé

[1]

O nome deste módulo deriva de um pouco da terminologia usada pelos designers do Modula-3 (entre outros), que usam o termo “marshalling” para enviar dados em um formato independente. Estritamente falando, “to marshal” significa converter alguns dados da forma interna para a externa (em um buffer RPC, por exemplo) e “unmarshalling” para o processo reverso.

dbm — Interfaces to Unix “databases”

Código-fonte: Lib/dbm/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/dbm/__init__.py]

dbm is a generic interface to variants of the DBM database:

dbm.sqlite3

dbm.gnu

dbm.ndbm

If none of these modules are installed, the slow-but-simple implementation in module dbm.dumb will be used. There is a third party interface [https://www.jcea.es/programacion/pybsddb.htm] to the Oracle Berkeley DB.

exception dbm.error

A tuple containing the exceptions that can be raised by each of the supported modules, with a unique exception also named dbm.error as the first item — the latter is used when dbm.error is raised.

dbm.whichdb(filename)

This function attempts to guess which of the several simple database modules available — dbm.sqlite3, dbm.gnu, dbm.ndbm, or dbm.dumb — should be used to open a given file.

Return one of the following values:

None if the file can’t be opened because it’s unreadable or doesn’t exist

the empty string ('') if the file’s format can’t be guessed

a string containing the required module name, such as 'dbm.ndbm' or 'dbm.gnu'

Alterado na versão 3.11: filename accepts a path-like object.

dbm.open(file, flag='r', mode=0o666)

Open a database and return the corresponding database object.

Parâmetros:

file (path-like object) –

The database file to open.

If the database file already exists, the whichdb() function is used to determine its type and the appropriate module is used; if it does not exist, the first submodule listed above that can be imported is used.

flag (str) –

'r' (default): Open existing database for reading only.

'w': Open existing database for reading and writing.

'c': Open database for reading and writing, creating it if it doesn’t exist.

'n': Always create a new, empty database, open for reading and writing.

mode (int) – The Unix file access mode of the file (default: octal 0o666), used only when the database has to be created.

Alterado na versão 3.11: file accepts a path-like object.

The object returned by open() supports the same basic functionality as a dict; keys and their corresponding values can be stored, retrieved, and deleted, and the in operator and the keys() method are available, as well as get() and setdefault() methods.

Key and values are always stored as bytes. This means that when strings are used they are implicitly converted to the default encoding before being stored.

These objects also support being used in a with statement, which will automatically close them when done.

Alterado na versão 3.2: get() and setdefault() methods are now available for all dbm backends.

Alterado na versão 3.4: Added native support for the context management protocol to the objects returned by open().

Alterado na versão 3.8: Deleting a key from a read-only database raises a database module specific exception instead of KeyError.

The following example records some hostnames and a corresponding title, and then prints out the contents of the database:

import dbm

# Open database, creating it if necessary.
with dbm.open('cache', 'c') as db:

    # Record some values
    db[b'hello'] = b'there'
    db['www.python.org'] = 'Python Website'
    db['www.cnn.com'] = 'Cable News Network'

    # Note that the keys are considered bytes now.
    assert db[b'www.python.org'] == b'Python Website'
    # Notice how the value is now in bytes.
    assert db['www.cnn.com'] == b'Cable News Network'

    # Often-used methods of the dict interface work too.
    print(db.get('python.org', b'not present'))

    # Storing a non-string key or value will raise an exception (most
    # likely a TypeError).
    db['www.yahoo.com'] = 4

# db is automatically closed when leaving the with statement.

Ver também

Módulo shelve

Persistence module which stores non-string data.

The individual submodules are described in the following sections.

dbm.sqlite3 — SQLite backend for dbm

Adicionado na versão 3.13.

Source code: Lib/dbm/sqlite3.py [https://github.com/python/cpython/tree/3.13/Lib/dbm/sqlite3.py]

This module uses the standard library sqlite3 module to provide an SQLite backend for the dbm module. The files created by dbm.sqlite3 can thus be opened by sqlite3, or any other SQLite browser, including the SQLite CLI.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

dbm.sqlite3.open(filename, /, flag='r', mode=0o666)

Open an SQLite database. The returned object behaves like a mapping, implements a close() method, and supports a “closing” context manager via the with keyword.

Parâmetros:

filename (path-like object) – The path to the database to be opened.

flag (str) –

'r' (default): Open existing database for reading only.

'w': Open existing database for reading and writing.

'c': Open database for reading and writing, creating it if it doesn’t exist.

'n': Always create a new, empty database, open for reading and writing.

mode – The Unix file access mode of the file (default: octal 0o666), used only when the database has to be created.

dbm.gnu — GNU database manager

Source code: Lib/dbm/gnu.py [https://github.com/python/cpython/tree/3.13/Lib/dbm/gnu.py]

The dbm.gnu module provides an interface to the GDBM library, similar to the dbm.ndbm module, but with additional functionality like crash tolerance.

Nota

The file formats created by dbm.gnu and dbm.ndbm are incompatible and can not be used interchangeably.

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

exception dbm.gnu.error

Raised on dbm.gnu-specific errors, such as I/O errors. KeyError is raised for general mapping errors like specifying an incorrect key.

dbm.gnu.open(filename, flag='r', mode=0o666, /)

Open a GDBM database and return a gdbm object.

Parâmetros:

filename (path-like object) – The database file to open.

flag (str) –

'r' (default): Open existing database for reading only.

'w': Open existing database for reading and writing.

'c': Open database for reading and writing, creating it if it doesn’t exist.

'n': Always create a new, empty database, open for reading and writing.

The following additional characters may be appended to control how the database is opened:

'f': Open the database in fast mode. Writes to the database will not be synchronized.

's': Synchronized mode. Changes to the database will be written immediately to the file.

'u': Do not lock database.

Not all flags are valid for all versions of GDBM. See the open_flags member for a list of supported flag characters.

mode (int) – The Unix file access mode of the file (default: octal 0o666), used only when the database has to be created.

Levanta:

error – If an invalid flag argument is passed.

Alterado na versão 3.11: filename accepts a path-like object.

dbm.gnu.open_flags

A string of characters the flag parameter of open() supports.

gdbm objects behave similar to mappings, but items() and values() methods are not supported. The following methods are also provided:

gdbm.firstkey()

It’s possible to loop over every key in the database using this method and the nextkey() method. The traversal is ordered by GDBM’s internal hash values, and won’t be sorted by the key values. This method returns the starting key.

gdbm.nextkey(key)

Returns the key that follows key in the traversal. The following code prints every key in the database db, without having to create a list in memory that contains them all:

k = db.firstkey()
while k is not None:
    print(k)
    k = db.nextkey(k)

gdbm.reorganize()

If you have carried out a lot of deletions and would like to shrink the space used by the GDBM file, this routine will reorganize the database. gdbm objects will not shorten the length of a database file except by using this reorganization; otherwise, deleted file space will be kept and reused as new (key, value) pairs are added.

gdbm.sync()

When the database has been opened in fast mode, this method forces any unwritten data to be written to the disk.

gdbm.close()

Close the GDBM database.

gdbm.clear()

Remove all items from the GDBM database.

Adicionado na versão 3.13.

dbm.ndbm — New Database Manager

Source code: Lib/dbm/ndbm.py [https://github.com/python/cpython/tree/3.13/Lib/dbm/ndbm.py]

The dbm.ndbm module provides an interface to the NDBM library. This module can be used with the “classic” NDBM interface or the GDBM compatibility interface.

Nota

The file formats created by dbm.gnu and dbm.ndbm are incompatible and can not be used interchangeably.

Aviso

The NDBM library shipped as part of macOS has an undocumented limitation on the size of values, which can result in corrupted database files when storing values larger than this limit. Reading such corrupted files can result in a hard crash (segmentation fault).

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

exception dbm.ndbm.error

Raised on dbm.ndbm-specific errors, such as I/O errors. KeyError is raised for general mapping errors like specifying an incorrect key.

dbm.ndbm.library

Name of the NDBM implementation library used.

dbm.ndbm.open(filename, flag='r', mode=0o666, /)

Open an NDBM database and return an ndbm object.

Parâmetros:

filename (path-like object) – The basename of the database file (without the .dir or .pag extensions).

flag (str) –

'r' (default): Open existing database for reading only.

'w': Open existing database for reading and writing.

'c': Open database for reading and writing, creating it if it doesn’t exist.

'n': Always create a new, empty database, open for reading and writing.

mode (int) – The Unix file access mode of the file (default: octal 0o666), used only when the database has to be created.

ndbm objects behave similar to mappings, but items() and values() methods are not supported. The following methods are also provided:

Alterado na versão 3.11: Aceita um objeto caminho ou similar como nome de arquivo.

ndbm.close()

Close the NDBM database.

ndbm.clear()

Remove all items from the NDBM database.

Adicionado na versão 3.13.

dbm.dumb — Portable DBM implementation

Source code: Lib/dbm/dumb.py [https://github.com/python/cpython/tree/3.13/Lib/dbm/dumb.py]

Nota

The dbm.dumb module is intended as a last resort fallback for the dbm module when a more robust module is not available. The dbm.dumb module is not written for speed and is not nearly as heavily used as the other database modules.

The dbm.dumb module provides a persistent dict-like interface which is written entirely in Python. Unlike other dbm backends, such as dbm.gnu, no external library is required.

The dbm.dumb module defines the following:

exception dbm.dumb.error

Raised on dbm.dumb-specific errors, such as I/O errors. KeyError is raised for general mapping errors like specifying an incorrect key.

dbm.dumb.open(filename, flag='c', mode=0o666)

Open a dbm.dumb database. The returned database object behaves similar to a mapping, in addition to providing sync() and close() methods.

Parâmetros:

filename –

The basename of the database file (without extensions). A new database creates the following files:

filename.dat

filename.dir

flag (str) –

'r': Open existing database for reading only.

'w': Open existing database for reading and writing.

'c' (default): Open database for reading and writing, creating it if it doesn’t exist.

'n': Always create a new, empty database, open for reading and writing.

mode (int) – The Unix file access mode of the file (default: octal 0o666), used only when the database has to be created.

Aviso

It is possible to crash the Python interpreter when loading a database with a sufficiently large/complex entry due to stack depth limitations in Python’s AST compiler.

Alterado na versão 3.5: open() always creates a new database when flag is 'n'.

Alterado na versão 3.8: A database opened read-only if flag is 'r'. A database is not created if it does not exist if flag is 'r' or 'w'.

Alterado na versão 3.11: filename accepts a path-like object.

In addition to the methods provided by the collections.abc.MutableMapping class, the following methods are provided:

dumbdbm.sync()

Synchronize the on-disk directory and data files. This method is called by the Shelve.sync() method.

dumbdbm.close()

Close the database.

sqlite3 —- interface DB-API 2.0 interface para bancos de dados SQLite

Código-fonte: Lib/sqlite3/ [https://github.com/python/cpython/tree/3.13/Lib/sqlite3/]

SQLite é uma biblioteca C que fornece um banco de dados leve baseado em disco que não requer um processo de servidor separado e permite acessar o banco de dados usando uma variante não padrão da linguagem de consulta SQL. Algumas aplicações podem usar SQLite para armazenamento interno de dados. Também é possível prototipar uma aplicação usando SQLite e, em seguida, portar o código para um banco de dados maior, como PostgreSQL ou Oracle.

O módulo sqlite3 foi escrito por Gerhard Häring. Ele oferece uma interface SQL compatível com a especificação DB-API 2.0 descrita pela PEP 249 [https://peps.python.org/pep-0249/] e requer o SQLite 3.15.2 ou o mais recente.

Esse documento inclui quatro seções principais:

Tutorial ensina como usar o módulo sqlite3.

Referência descreve as classes e funções que este módulo define.

Guias de como fazer detalha como lidar com tarefas específicas.

Explicação fornece informações detalhadas sobre controle de transações.

Ver também

https://www.sqlite.org

A página web do SQLite; a documentação descreve a sintaxe e os tipos de dados disponíveis para o dialeto SQL suportado.

https://www.w3schools.com/sql/

Tutoriais, referências e exemplos para aprender a sintaxe SQL.

PEP 249 [https://peps.python.org/pep-0249/] - Especificação 2.0 da API de banco de dados

PEP escrita por Marc-André Lemburg.

Tutorial

Neste tutorial, você criará um banco de dados de filmes do Monty Python usando a funcionalidade básica sqlite3. Ele pressupõe uma compreensão fundamental dos conceitos de banco de dados, incluindo cursores [https://en.wikipedia.org/wiki/Cursor_(databases)] e transações [https://en.wikipedia.org/wiki/Database_transaction].

Primeiro, precisamos criar um novo banco de dados e abrir uma conexão com o banco de dados para permitir que sqlite3 funcione com ele. Chame sqlite3.connect() para criar uma conexão com o banco de dados tutorial.db no diretório de trabalho atual, criando-o implicitamente se ele não existir:

import sqlite3
con = sqlite3.connect("tutorial.db")

O objeto Connection con retornado representa a conexão com o banco de dados em disco.

Para executar instruções SQL e buscar resultados de consultas SQL, precisaremos usar um cursor de banco de dados. Chame con.cursor() para criar o Cursor:

cur = con.cursor()

Agora que temos uma conexão com o banco de dados e um cursor, podemos criar uma tabela de banco de dados movie com colunas para título, ano de lançamento e pontuação da revisão. Para simplificar, podemos apenas usar nomes de colunas na declaração da tabela - graças ao recurso tipagem flexível [https://www.sqlite.org/flextypegood.html] do SQLite, especificar os tipos de dados é opcional. Execute a instrução CREATE TABLE chamando cur.execute(...):

cur.execute("CREATE TABLE movie(title, year, score)")

Podemos verificar se a nova tabela foi criada consultando a tabela embutida sqlite_master no SQLite, que agora deve conter uma entrada para a definição da tabela movie (veja The Schema Table [https://www.sqlite.org/schematab.html] para detalhes). Execute essa consulta chamando cur.execute(...), atribua o resultado a res e chame res.fetchone() para buscar a linha resultante:

>>> res = cur.execute("SELECT name FROM sqlite_master")
>>> res.fetchone()
('movie',)

Podemos ver que a tabela foi criada, pois a consulta retorna tuple contendo o nome da tabela. Se fizermos uma consulta sqlite_master para uma tabela inexistente spam, res.fetchone() ela retornará None:

>>> res = cur.execute("SELECT name FROM sqlite_master WHERE name='spam'")
>>> res.fetchone() is None
True

Agora, adicione duas linhas de dados fornecidos como literais SQL executando uma instrução INSERT, mais uma vez chamando cur.execute(...):

cur.execute("""
    INSERT INTO movie VALUES
        ('Monty Python and the Holy Grail', 1975, 8.2),
        ('And Now for Something Completely Different', 1971, 7.5)
""")

A instrução INSERT abre implicitamente uma transação, que precisa ser confirmada antes que as alterações sejam salvas no banco de dados (veja Controle de transações para detalhes). Chame con.commit() no objeto de conexão para confirmar a transação:

con.commit()

Podemos verificar que os dados foram inseridos corretamente executando uma consulta SELECT. Use o já conhecido cur.execute(...) para atribuir o resultado a res e chame res.fetchall() para retornar todas as linhas resultantes.

>>> res = cur.execute("SELECT score FROM movie")
>>> res.fetchall()
[(8.2,), (7.5,)]

O resultado é uma list de duas tuples, uma por linha, cada uma contendo o valor score dessa linha.

Agora, insira mais três linhas chamando cur.executemany(...):

data = [
    ("Monty Python Live at the Hollywood Bowl", 1982, 7.9),
    ("Monty Python's The Meaning of Life", 1983, 7.5),
    ("Monty Python's Life of Brian", 1979, 8.0),
]
cur.executemany("INSERT INTO movie VALUES(?, ?, ?)", data)
con.commit()  # Remember to commit the transaction after executing INSERT.

Observe que espaços reservados ? são usados para vincular data à consulta. Sempre use espaços reservados em vez de formatação de string para vincular valores Python a instruções SQL, para evitar ataques de injeção de SQL [https://en.wikipedia.org/wiki/SQL_injection] (consulte How to use placeholders to bind values in SQL queries para mais detalhes).

Podemos verificar que as novas linhas foram inseridas executando uma consulta SELECT, desta vez iterando sobre os resultados da consulta.

>>> for row in cur.execute("SELECT year, title FROM movie ORDER BY year"):
...     print(row)
(1971, 'And Now for Something Completely Different')
(1975, 'Monty Python and the Holy Grail')
(1979, "Monty Python's Life of Brian")
(1982, 'Monty Python Live at the Hollywood Bowl')
(1983, "Monty Python's The Meaning of Life")

Cada linha é uma tuple de dois itens (year, title), correspondendo às colunas selecionadas na consulta.

Finalmente, verifique se o banco de dados foi gravado no disco chamando con.close() para fechar a conexão existente, abrir uma nova, criar um novo cursor e, em seguida, consultar o banco de dados.

>>> con.close()
>>> new_con = sqlite3.connect("tutorial.db")
>>> new_cur = new_con.cursor()
>>> res = new_cur.execute("SELECT title, year FROM movie ORDER BY score DESC")
>>> title, year = res.fetchone()
>>> print(f'The highest scoring Monty Python movie is {title!r}, released in {year}')
The highest scoring Monty Python movie is 'Monty Python and the Holy Grail', released in 1975
>>> new_con.close()

Você agora criou um banco de dados SQLite usando o módulo sqlite3, inseriu dados e recuperou valores dele de várias maneiras.

Ver também

Guias de como fazer para leitura adicional:

How to use placeholders to bind values in SQL queries

How to adapt custom Python types to SQLite values

How to convert SQLite values to custom Python types

How to use the connection context manager

How to create and use row factories

Explicação para obter informações detalhadas sobre o controle de transações.

Referência

Funções do módulo

sqlite3.connect(database, timeout=5.0, detect_types=0, isolation_level='DEFERRED', check_same_thread=True, factory=sqlite3.Connection, cached_statements=128, uri=False, *, autocommit=sqlite3.LEGACY_TRANSACTION_CONTROL)

Abra uma conexão com um banco de dados SQLite.

Parâmetros:

database (path-like object) – O caminho para o arquivo do banco de dados a ser aberto. Você pode passar ":memory:" para criar um banco de dados SQLite que existirá apenas na memória [https://sqlite.org/inmemorydb.html], e abrir uma conexão com ele.

timeout (float) – Quantos segundos a conexão deve aguardar antes de levantar uma exceção OperationalError quando uma tabela estiver bloqueada. Se outra conexão abrir uma transação para modificar uma tabela, essa tabela permanecerá bloqueada até que a transação seja confirmada. O padrão é cinco segundos.

detect_types (int) – Control whether and how data types not natively supported by SQLite are looked up to be converted to Python types, using the converters registered with register_converter(). Set it to any combination (using |, bitwise or) of PARSE_DECLTYPES and PARSE_COLNAMES to enable this. Column names takes precedence over declared types if both flags are set. Types cannot be detected for generated fields (for example max(data)), even when the detect_types parameter is set; str will be returned instead. By default (0), type detection is disabled.

isolation_level (str | None) – Control legacy transaction handling behaviour. See Connection.isolation_level and Controle de transação através do atributo isolation_level for more information. Can be "DEFERRED" (default), "EXCLUSIVE" or "IMMEDIATE"; or None to disable opening transactions implicitly. Has no effect unless Connection.autocommit is set to LEGACY_TRANSACTION_CONTROL (the default).

check_same_thread (bool) – If True (default), ProgrammingError will be raised if the database connection is used by a thread other than the one that created it. If False, the connection may be accessed in multiple threads; write operations may need to be serialized by the user to avoid data corruption. See threadsafety for more information.

factory (Connection) – A custom subclass of Connection to create the connection with, if not the default Connection class.

cached_statements (int) – The number of statements that sqlite3 should internally cache for this connection, to avoid parsing overhead. By default, 128 statements.

uri (bool) – If set to True, database is interpreted as a URI with a file path and an optional query string. The scheme part must be "file:", and the path can be relative or absolute. The query string allows passing parameters to SQLite, enabling various How to work with SQLite URIs.

autocommit (bool) – Control PEP 249 [https://peps.python.org/pep-0249/] transaction handling behaviour. See Connection.autocommit and Controle de transações através do atributo autocommit for more information. autocommit currently defaults to LEGACY_TRANSACTION_CONTROL. The default will change to False in a future Python release.

Tipo de retorno:

Connection

Levanta um evento de auditoria sqlite3.connect com o argumento database.

Levanta um evento de auditoria sqlite3.connect/handle com o argumento connection_handle.

Alterado na versão 3.4: Adicionado o parâmetro uri.

Alterado na versão 3.7: database can now also be a path-like object, not only a string.

Alterado na versão 3.10: Added the sqlite3.connect/handle auditing event.

Alterado na versão 3.12: Added the autocommit parameter.

Alterado na versão 3.13: Positional use of the parameters timeout, detect_types, isolation_level, check_same_thread, factory, cached_statements, and uri is deprecated. They will become keyword-only parameters in Python 3.15.

sqlite3.complete_statement(statement)

Return True if the string statement appears to contain one or more complete SQL statements. No syntactic verification or parsing of any kind is performed, other than checking that there are no unclosed string literals and the statement is terminated by a semicolon.

Por exemplo:

>>> sqlite3.complete_statement("SELECT foo FROM bar;")
True
>>> sqlite3.complete_statement("SELECT foo")
False

This function may be useful during command-line input to determine if the entered text seems to form a complete SQL statement, or if additional input is needed before calling execute().

See runsource() in Lib/sqlite3/__main__.py [https://github.com/python/cpython/tree/3.13/Lib/sqlite3/__main__.py] for real-world use.

sqlite3.enable_callback_tracebacks(flag, /)

Enable or disable callback tracebacks. By default you will not get any tracebacks in user-defined functions, aggregates, converters, authorizer callbacks etc. If you want to debug them, you can call this function with flag set to True. Afterwards, you will get tracebacks from callbacks on sys.stderr. Use False to disable the feature again.

Nota

Errors in user-defined function callbacks are logged as unraisable exceptions. Use an unraisable hook handler for introspection of the failed callback.

sqlite3.register_adapter(type, adapter, /)

Register an adapter callable to adapt the Python type type into an SQLite type. The adapter is called with a Python object of type type as its sole argument, and must return a value of a type that SQLite natively understands.

sqlite3.register_converter(typename, converter, /)

Register the converter callable to convert SQLite objects of type typename into a Python object of a specific type. The converter is invoked for all SQLite values of type typename; it is passed a bytes object and should return an object of the desired Python type. Consult the parameter detect_types of connect() for information regarding how type detection works.

Note: typename and the name of the type in your query are matched case-insensitively.

Constantes do módulo

sqlite3.LEGACY_TRANSACTION_CONTROL

Set autocommit to this constant to select old style (pre-Python 3.12) transaction control behaviour. See Controle de transação através do atributo isolation_level for more information.

sqlite3.PARSE_COLNAMES

Pass this flag value to the detect_types parameter of connect() to look up a converter function by using the type name, parsed from the query column name, as the converter dictionary key. The type name must be wrapped in square brackets ([]).

SELECT p as "p [point]" FROM test;  ! will look up converter "point"

This flag may be combined with PARSE_DECLTYPES using the | (bitwise or) operator.

sqlite3.PARSE_DECLTYPES

Pass this flag value to the detect_types parameter of connect() to look up a converter function using the declared types for each column. The types are declared when the database table is created. sqlite3 will look up a converter function using the first word of the declared type as the converter dictionary key. For example:

CREATE TABLE test(
   i integer primary key,  ! will look up a converter named "integer"
   p point,                ! will look up a converter named "point"
   n number(10)            ! will look up a converter named "number"
 )

This flag may be combined with PARSE_COLNAMES using the | (bitwise or) operator.

sqlite3.SQLITE_OK

sqlite3.SQLITE_DENY

sqlite3.SQLITE_IGNORE

Flags that should be returned by the authorizer_callback callable passed to Connection.set_authorizer(), to indicate whether:

Access is allowed (SQLITE_OK),

The SQL statement should be aborted with an error (SQLITE_DENY)

The column should be treated as a NULL value (SQLITE_IGNORE)

sqlite3.apilevel

String constant stating the supported DB-API level. Required by the DB-API. Hard-coded to "2.0".

sqlite3.paramstyle

String constant stating the type of parameter marker formatting expected by the sqlite3 module. Required by the DB-API. Hard-coded to "qmark".

Nota

The named DB-API parameter style is also supported.

sqlite3.sqlite_version

Version number of the runtime SQLite library as a string.

sqlite3.sqlite_version_info

Version number of the runtime SQLite library as a tuple of integers.

sqlite3.threadsafety

Integer constant required by the DB-API 2.0, stating the level of thread safety the sqlite3 module supports. This attribute is set based on the default threading mode [https://sqlite.org/threadsafe.html] the underlying SQLite library is compiled with. The SQLite threading modes are:

Single-thread: In this mode, all mutexes are disabled and SQLite is unsafe to use in more than a single thread at once.

Multi-thread: In this mode, SQLite can be safely used by multiple threads provided that no single database connection is used simultaneously in two or more threads.

Serialized: In serialized mode, SQLite can be safely used by multiple threads with no restriction.

The mappings from SQLite threading modes to DB-API 2.0 threadsafety levels are as follows:

SQLite threading mode

threadsafety [https://peps.python.org/pep-0249/#threadsafety]

SQLITE_THREADSAFE [https://sqlite.org/compile.html#threadsafe]

DB-API 2.0 meaning

single-thread

0

0

Threads may not share the module

multi-thread

1

2

Threads may share the module, but not connections

serialized

3

1

Threads may share the module, connections and cursors

Alterado na versão 3.11: Set threadsafety dynamically instead of hard-coding it to 1.

sqlite3.version

Version number of this module as a string. This is not the version of the SQLite library.

Deprecated since version 3.12, will be removed in version 3.14: This constant used to reflect the version number of the pysqlite package, a third-party library which used to upstream changes to sqlite3. Today, it carries no meaning or practical value.

sqlite3.version_info

Version number of this module as a tuple of integers. This is not the version of the SQLite library.

Deprecated since version 3.12, will be removed in version 3.14: This constant used to reflect the version number of the pysqlite package, a third-party library which used to upstream changes to sqlite3. Today, it carries no meaning or practical value.

sqlite3.SQLITE_DBCONFIG_DEFENSIVE

sqlite3.SQLITE_DBCONFIG_DQS_DDL

sqlite3.SQLITE_DBCONFIG_DQS_DML

sqlite3.SQLITE_DBCONFIG_ENABLE_FKEY

sqlite3.SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER

sqlite3.SQLITE_DBCONFIG_ENABLE_LOAD_EXTENSION

sqlite3.SQLITE_DBCONFIG_ENABLE_QPSG

sqlite3.SQLITE_DBCONFIG_ENABLE_TRIGGER

sqlite3.SQLITE_DBCONFIG_ENABLE_VIEW

sqlite3.SQLITE_DBCONFIG_LEGACY_ALTER_TABLE

sqlite3.SQLITE_DBCONFIG_LEGACY_FILE_FORMAT

sqlite3.SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE

sqlite3.SQLITE_DBCONFIG_RESET_DATABASE

sqlite3.SQLITE_DBCONFIG_TRIGGER_EQP

sqlite3.SQLITE_DBCONFIG_TRUSTED_SCHEMA

sqlite3.SQLITE_DBCONFIG_WRITABLE_SCHEMA

These constants are used for the Connection.setconfig() and getconfig() methods.

The availability of these constants varies depending on the version of SQLite Python was compiled with.

Adicionado na versão 3.12.

Ver também

https://www.sqlite.org/c3ref/c_dbconfig_defensive.html

SQLite docs: Database Connection Configuration Options

Connection objects

class sqlite3.Connection

Each open SQLite database is represented by a Connection object, which is created using sqlite3.connect(). Their main purpose is creating Cursor objects, and Controle de transações.

Ver também

How to use connection shortcut methods

How to use the connection context manager

Alterado na versão 3.13: A ResourceWarning is emitted if close() is not called before a Connection object is deleted.

An SQLite database connection has the following attributes and methods:

cursor(factory=Cursor)

Create and return a Cursor object. The cursor method accepts a single optional parameter factory. If supplied, this must be a callable returning an instance of Cursor or its subclasses.

blobopen(table, column, row, /, *, readonly=False, name='main')

Open a Blob handle to an existing BLOB.

Parâmetros:

table (str) – The name of the table where the blob is located.

column (str) – The name of the column where the blob is located.

row (str) – The name of the row where the blob is located.

readonly (bool) – Set to True if the blob should be opened without write permissions. Defaults to False.

name (str) – The name of the database where the blob is located. Defaults to "main".

Levanta:

OperationalError – When trying to open a blob in a WITHOUT ROWID table.

Tipo de retorno:

Blob

Nota

The blob size cannot be changed using the Blob class. Use the SQL function zeroblob to create a blob with a fixed size.

Adicionado na versão 3.11.

commit()

Commit any pending transaction to the database. If autocommit is True, or there is no open transaction, this method does nothing. If autocommit is False, a new transaction is implicitly opened if a pending transaction was committed by this method.

rollback()

Roll back to the start of any pending transaction. If autocommit is True, or there is no open transaction, this method does nothing. If autocommit is False, a new transaction is implicitly opened if a pending transaction was rolled back by this method.

close()

Close the database connection. If autocommit is False, any pending transaction is implicitly rolled back. If autocommit is True or LEGACY_TRANSACTION_CONTROL, no implicit transaction control is executed. Make sure to commit() before closing to avoid losing pending changes.

execute(sql, parameters=(), /)

Create a new Cursor object and call execute() on it with the given sql and parameters. Return the new cursor object.

executemany(sql, parameters, /)

Create a new Cursor object and call executemany() on it with the given sql and parameters. Return the new cursor object.

executescript(sql_script, /)

Create a new Cursor object and call executescript() on it with the given sql_script. Return the new cursor object.

create_function(name, narg, func, *, deterministic=False)

Create or remove a user-defined SQL function.

Parâmetros:

name (str) – O nome da função SQL.

narg (int) – The number of arguments the SQL function can accept. If -1, it may take any number of arguments.

func (callback | None) – A callable that is called when the SQL function is invoked. The callable must return a type natively supported by SQLite. Set to None to remove an existing SQL function.

deterministic (bool) – If True, the created SQL function is marked as deterministic [https://sqlite.org/deterministic.html], which allows SQLite to perform additional optimizations.

Alterado na versão 3.8: Added the deterministic parameter.

Exemplo:

>>> import hashlib
>>> def md5sum(t):
...     return hashlib.md5(t).hexdigest()
>>> con = sqlite3.connect(":memory:")
>>> con.create_function("md5", 1, md5sum)
>>> for row in con.execute("SELECT md5(?)", (b"foo",)):
...     print(row)
('acbd18db4cc2f85cedef654fccc4a4d8',)
>>> con.close()

Alterado na versão 3.13: Passing name, narg, and func as keyword arguments is deprecated. These parameters will become positional-only in Python 3.15.

create_aggregate(name, n_arg, aggregate_class)

Create or remove a user-defined SQL aggregate function.

Parâmetros:

name (str) – The name of the SQL aggregate function.

n_arg (int) – The number of arguments the SQL aggregate function can accept. If -1, it may take any number of arguments.

aggregate_class (class | None) –

Uma classe deve implementar os seguintes métodos:

step(): Add a row to the aggregate.

finalize(): Return the final result of the aggregate as a type natively supported by SQLite.

The number of arguments that the step() method must accept is controlled by n_arg.

Set to None to remove an existing SQL aggregate function.

Exemplo:

class MySum:
    def __init__(self):
        self.count = 0

    def step(self, value):
        self.count += value

    def finalize(self):
        return self.count

con = sqlite3.connect(":memory:")
con.create_aggregate("mysum", 1, MySum)
cur = con.execute("CREATE TABLE test(i)")
cur.execute("INSERT INTO test(i) VALUES(1)")
cur.execute("INSERT INTO test(i) VALUES(2)")
cur.execute("SELECT mysum(i) FROM test")
print(cur.fetchone()[0])

con.close()

Alterado na versão 3.13: Passing name, n_arg, and aggregate_class as keyword arguments is deprecated. These parameters will become positional-only in Python 3.15.

create_window_function(name, num_params, aggregate_class, /)

Create or remove a user-defined aggregate window function.

Parâmetros:

name (str) – The name of the SQL aggregate window function to create or remove.

num_params (int) – The number of arguments the SQL aggregate window function can accept. If -1, it may take any number of arguments.

aggregate_class (class | None) –

Uma classe que deve implementar os seguintes métodos:

step(): Add a row to the current window.

value(): Return the current value of the aggregate.

inverse(): Remove a row from the current window.

finalize(): Return the final result of the aggregate as a type natively supported by SQLite.

The number of arguments that the step() and value() methods must accept is controlled by num_params.

Set to None to remove an existing SQL aggregate window function.

Levanta:

NotSupportedError – If used with a version of SQLite older than 3.25.0, which does not support aggregate window functions.

Adicionado na versão 3.11.

Exemplo:

# Example taken from https://www.sqlite.org/windowfunctions.html#udfwinfunc
class WindowSumInt:
    def __init__(self):
        self.count = 0

    def step(self, value):
        """Add a row to the current window."""
        self.count += value

    def value(self):
        """Return the current value of the aggregate."""
        return self.count

    def inverse(self, value):
        """Remove a row from the current window."""
        self.count -= value

    def finalize(self):
        """Return the final value of the aggregate.

        Any clean-up actions should be placed here.
        """
        return self.count

con = sqlite3.connect(":memory:")
cur = con.execute("CREATE TABLE test(x, y)")
values = [
    ("a", 4),
    ("b", 5),
    ("c", 3),
    ("d", 8),
    ("e", 1),
]
cur.executemany("INSERT INTO test VALUES(?, ?)", values)
con.create_window_function("sumint", 1, WindowSumInt)
cur.execute("""
    SELECT x, sumint(y) OVER (
        ORDER BY x ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING
    ) AS sum_y
    FROM test ORDER BY x
""")
print(cur.fetchall())
con.close()

create_collation(name, callable, /)

Create a collation named name using the collating function callable. callable is passed two string arguments, and it should return an integer:

1 if the first is ordered higher than the second

-1 if the first is ordered lower than the second

0 if they are ordered equal

The following example shows a reverse sorting collation:

def collate_reverse(string1, string2):
    if string1 == string2:
        return 0
    elif string1 < string2:
        return 1
    else:
        return -1

con = sqlite3.connect(":memory:")
con.create_collation("reverse", collate_reverse)

cur = con.execute("CREATE TABLE test(x)")
cur.executemany("INSERT INTO test(x) VALUES(?)", [("a",), ("b",)])
cur.execute("SELECT x FROM test ORDER BY x COLLATE reverse")
for row in cur:
    print(row)
con.close()

Remove a collation function by setting callable to None.

Alterado na versão 3.11: The collation name can contain any Unicode character. Earlier, only ASCII characters were allowed.

interrupt()

Call this method from a different thread to abort any queries that might be executing on the connection. Aborted queries will raise an OperationalError.

set_authorizer(authorizer_callback)

Register callable authorizer_callback to be invoked for each attempt to access a column of a table in the database. The callback should return one of SQLITE_OK, SQLITE_DENY, or SQLITE_IGNORE to signal how access to the column should be handled by the underlying SQLite library.

The first argument to the callback signifies what kind of operation is to be authorized. The second and third argument will be arguments or None depending on the first argument. The 4th argument is the name of the database (“main”, “temp”, etc.) if applicable. The 5th argument is the name of the inner-most trigger or view that is responsible for the access attempt or None if this access attempt is directly from input SQL code.

Please consult the SQLite documentation about the possible values for the first argument and the meaning of the second and third argument depending on the first one. All necessary constants are available in the sqlite3 module.

Passing None as authorizer_callback will disable the authorizer.

Alterado na versão 3.11: Added support for disabling the authorizer using None.

Alterado na versão 3.13: Passing authorizer_callback as a keyword argument is deprecated. The parameter will become positional-only in Python 3.15.

set_progress_handler(progress_handler, n)

Register callable progress_handler to be invoked for every n instructions of the SQLite virtual machine. This is useful if you want to get called from SQLite during long-running operations, for example to update a GUI.

If you want to clear any previously installed progress handler, call the method with None for progress_handler.

Returning a non-zero value from the handler function will terminate the currently executing query and cause it to raise a DatabaseError exception.

Alterado na versão 3.13: Passing progress_handler as a keyword argument is deprecated. The parameter will become positional-only in Python 3.15.

set_trace_callback(trace_callback)

Register callable trace_callback to be invoked for each SQL statement that is actually executed by the SQLite backend.

The only argument passed to the callback is the statement (as str) that is being executed. The return value of the callback is ignored. Note that the backend does not only run statements passed to the Cursor.execute() methods. Other sources include the transaction management of the sqlite3 module and the execution of triggers defined in the current database.

Passing None as trace_callback will disable the trace callback.

Nota

Exceptions raised in the trace callback are not propagated. As a development and debugging aid, use enable_callback_tracebacks() to enable printing tracebacks from exceptions raised in the trace callback.

Adicionado na versão 3.3.

Alterado na versão 3.13: Passing trace_callback as a keyword argument is deprecated. The parameter will become positional-only in Python 3.15.

enable_load_extension(enabled, /)

Enable the SQLite engine to load SQLite extensions from shared libraries if enabled is True; else, disallow loading SQLite extensions. SQLite extensions can define new functions, aggregates or whole new virtual table implementations. One well-known extension is the fulltext-search extension distributed with SQLite.

Nota

The sqlite3 module is not built with loadable extension support by default, because some platforms (notably macOS) have SQLite libraries which are compiled without this feature. To get loadable extension support, you must pass the --enable-loadable-sqlite-extensions option to configure.

Levanta um evento de auditoria sqlite3.enable_load_extension com os argumentos connection, enabled.

Adicionado na versão 3.2.

Alterado na versão 3.10: Added the sqlite3.enable_load_extension auditing event.

con.enable_load_extension(True)

# Load the fulltext search extension
con.execute("select load_extension('./fts3.so')")

# alternatively you can load the extension using an API call:
# con.load_extension("./fts3.so")

# disable extension loading again
con.enable_load_extension(False)

# example from SQLite wiki
con.execute("CREATE VIRTUAL TABLE recipe USING fts3(name, ingredients)")
con.executescript("""
    INSERT INTO recipe (name, ingredients) VALUES('broccoli stew', 'broccoli peppers cheese tomatoes');
    INSERT INTO recipe (name, ingredients) VALUES('pumpkin stew', 'pumpkin onions garlic celery');
    INSERT INTO recipe (name, ingredients) VALUES('broccoli pie', 'broccoli cheese onions flour');
    INSERT INTO recipe (name, ingredients) VALUES('pumpkin pie', 'pumpkin sugar flour butter');
    """)
for row in con.execute("SELECT rowid, name, ingredients FROM recipe WHERE name MATCH 'pie'"):
    print(row)

load_extension(path, /, *, entrypoint=None)

Load an SQLite extension from a shared library. Enable extension loading with enable_load_extension() before calling this method.

Parâmetros:

path (str) – The path to the SQLite extension.

entrypoint (str | None) – Entry point name. If None (the default), SQLite will come up with an entry point name of its own; see the SQLite docs Loading an Extension [https://www.sqlite.org/loadext.html#loading_an_extension] for details.

Levanta um evento de auditoria sqlite3.load_extension com os argumentos connection, path.

Adicionado na versão 3.2.

Alterado na versão 3.10: Added the sqlite3.load_extension auditing event.

Alterado na versão 3.12: Added the entrypoint parameter.

iterdump(*, filter=None)

Return an iterator to dump the database as SQL source code. Useful when saving an in-memory database for later restoration. Similar to the .dump command in the sqlite3 shell.

Parâmetros:

filter (str | None) – An optional LIKE pattern for database objects to dump, e.g. prefix_%. If None (the default), all database objects will be included.

Exemplo:

# Convert file example.db to SQL dump file dump.sql
con = sqlite3.connect('example.db')
with open('dump.sql', 'w') as f:
    for line in con.iterdump():
        f.write('%s\n' % line)
con.close()

Ver também

How to handle non-UTF-8 text encodings

Alterado na versão 3.13: Adicionado o parâmetro filter.

backup(target, *, pages=-1, progress=None, name='main', sleep=0.250)

Create a backup of an SQLite database.

Works even if the database is being accessed by other clients or concurrently by the same connection.

Parâmetros:

target (Connection) – The database connection to save the backup to.

pages (int) – The number of pages to copy at a time. If equal to or less than 0, the entire database is copied in a single step. Defaults to -1.

progress (callback | None) – If set to a callable, it is invoked with three integer arguments for every backup iteration: the status of the last iteration, the remaining number of pages still to be copied, and the total number of pages. Defaults to None.

name (str) – The name of the database to back up. Either "main" (the default) for the main database, "temp" for the temporary database, or the name of a custom database as attached using the ATTACH DATABASE SQL statement.

sleep (float) – The number of seconds to sleep between successive attempts to back up remaining pages.

Example 1, copy an existing database into another:

def progress(status, remaining, total):
    print(f'Copied {total-remaining} of {total} pages...')

src = sqlite3.connect('example.db')
dst = sqlite3.connect('backup.db')
with dst:
    src.backup(dst, pages=1, progress=progress)
dst.close()
src.close()

Example 2, copy an existing database into a transient copy:

src = sqlite3.connect('example.db')
dst = sqlite3.connect(':memory:')
src.backup(dst)
dst.close()
src.close()

Adicionado na versão 3.7.

Ver também

How to handle non-UTF-8 text encodings

getlimit(category, /)

Get a connection runtime limit.

Parâmetros:

category (int) – The SQLite limit category [https://www.sqlite.org/c3ref/c_limit_attached.html] to be queried.

Tipo de retorno:

int

Levanta:

ProgrammingError – If category is not recognised by the underlying SQLite library.

Example, query the maximum length of an SQL statement for Connection con (the default is 1000000000):

>>> con.getlimit(sqlite3.SQLITE_LIMIT_SQL_LENGTH)
1000000000

Adicionado na versão 3.11.

setlimit(category, limit, /)

Set a connection runtime limit. Attempts to increase a limit above its hard upper bound are silently truncated to the hard upper bound. Regardless of whether or not the limit was changed, the prior value of the limit is returned.

Parâmetros:

category (int) – The SQLite limit category [https://www.sqlite.org/c3ref/c_limit_attached.html] to be set.

limit (int) – The value of the new limit. If negative, the current limit is unchanged.

Tipo de retorno:

int

Levanta:

ProgrammingError – If category is not recognised by the underlying SQLite library.

Example, limit the number of attached databases to 1 for Connection con (the default limit is 10):

>>> con.setlimit(sqlite3.SQLITE_LIMIT_ATTACHED, 1)
10
>>> con.getlimit(sqlite3.SQLITE_LIMIT_ATTACHED)
1

Adicionado na versão 3.11.

getconfig(op, /)

Query a boolean connection configuration option.

Parâmetros:

op (int) – A SQLITE_DBCONFIG code.

Tipo de retorno:

bool

Adicionado na versão 3.12.

setconfig(op, enable=True, /)

Set a boolean connection configuration option.

Parâmetros:

op (int) – A SQLITE_DBCONFIG code.

enable (bool) – True if the configuration option should be enabled (default); False if it should be disabled.

Adicionado na versão 3.12.

serialize(*, name='main')

Serialize a database into a bytes object. For an ordinary on-disk database file, the serialization is just a copy of the disk file. For an in-memory database or a “temp” database, the serialization is the same sequence of bytes which would be written to disk if that database were backed up to disk.

Parâmetros:

name (str) – The database name to be serialized. Defaults to "main".

Tipo de retorno:

bytes

Nota

This method is only available if the underlying SQLite library has the serialize API.

Adicionado na versão 3.11.

deserialize(data, /, *, name='main')

Deserialize a serialized database into a Connection. This method causes the database connection to disconnect from database name, and reopen name as an in-memory database based on the serialization contained in data.

Parâmetros:

data (bytes) – A serialized database.

name (str) – The database name to deserialize into. Defaults to "main".

Levanta:

OperationalError – If the database connection is currently involved in a read transaction or a backup operation.

DatabaseError – If data does not contain a valid SQLite database.

OverflowError – If len(data) is larger than 2**63 - 1.

Nota

This method is only available if the underlying SQLite library has the deserialize API.

Adicionado na versão 3.11.

autocommit

This attribute controls PEP 249 [https://peps.python.org/pep-0249/]-compliant transaction behaviour. autocommit has three allowed values:

False: Select PEP 249 [https://peps.python.org/pep-0249/]-compliant transaction behaviour, implying that sqlite3 ensures a transaction is always open. Use commit() and rollback() to close transactions.

This is the recommended value of autocommit.

True: Use SQLite’s autocommit mode [https://www.sqlite.org/lang_transaction.html#implicit_versus_explicit_transactions]. commit() and rollback() have no effect in this mode.

LEGACY_TRANSACTION_CONTROL: Pre-Python 3.12 (non-PEP 249 [https://peps.python.org/pep-0249/]-compliant) transaction control. See isolation_level for more details.

This is currently the default value of autocommit.

Changing autocommit to False will open a new transaction, and changing it to True will commit any pending transaction.

See Controle de transações através do atributo autocommit for more details.

Nota

The isolation_level attribute has no effect unless autocommit is LEGACY_TRANSACTION_CONTROL.

Adicionado na versão 3.12.

in_transaction

This read-only attribute corresponds to the low-level SQLite autocommit mode [https://www.sqlite.org/lang_transaction.html#implicit_versus_explicit_transactions].

True if a transaction is active (there are uncommitted changes), False otherwise.

Adicionado na versão 3.2.

isolation_level

Controls the legacy transaction handling mode of sqlite3. If set to None, transactions are never implicitly opened. If set to one of "DEFERRED", "IMMEDIATE", or "EXCLUSIVE", corresponding to the underlying SQLite transaction behaviour [https://www.sqlite.org/lang_transaction.html#deferred_immediate_and_exclusive_transactions], implicit transaction management is performed.

If not overridden by the isolation_level parameter of connect(), the default is "", which is an alias for "DEFERRED".

Nota

Using autocommit to control transaction handling is recommended over using isolation_level. isolation_level has no effect unless autocommit is set to LEGACY_TRANSACTION_CONTROL (the default).

row_factory

The initial row_factory for Cursor objects created from this connection. Assigning to this attribute does not affect the row_factory of existing cursors belonging to this connection, only new ones. Is None by default, meaning each row is returned as a tuple.

Consulte How to create and use row factories para mais detalhes.

text_factory

A callable that accepts a bytes parameter and returns a text representation of it. The callable is invoked for SQLite values with the TEXT data type. By default, this attribute is set to str.

Consulte How to handle non-UTF-8 text encodings para mais detalhes.

total_changes

Return the total number of database rows that have been modified, inserted, or deleted since the database connection was opened.

Cursor objects

A Cursor object represents a database cursor [https://en.wikipedia.org/wiki/Cursor_(databases)] which is used to execute SQL statements, and manage the context of a fetch operation. Cursors are created using Connection.cursor(), or by using any of the connection shortcut methods.

Cursor objects are iterators, meaning that if you execute() a SELECT query, you can simply iterate over the cursor to fetch the resulting rows:

for row in cur.execute("SELECT t FROM data"):
    print(row)

class sqlite3.Cursor

A Cursor instance has the following attributes and methods.

execute(sql, parameters=(), /)

Execute a single SQL statement, optionally binding Python values using placeholders.

Parâmetros:

sql (str) – A single SQL statement.

parameters (dict | sequence) – Python values to bind to placeholders in sql. A dict if named placeholders are used. A sequence if unnamed placeholders are used. See How to use placeholders to bind values in SQL queries.

Levanta:

ProgrammingError – If sql contains more than one SQL statement.

If autocommit is LEGACY_TRANSACTION_CONTROL, isolation_level is not None, sql is an INSERT, UPDATE, DELETE, or REPLACE statement, and there is no open transaction, a transaction is implicitly opened before executing sql.

Deprecated since version 3.12, will be removed in version 3.14: DeprecationWarning is emitted if named placeholders are used and parameters is a sequence instead of a dict. Starting with Python 3.14, ProgrammingError will be raised instead.

Use executescript() to execute multiple SQL statements.

executemany(sql, parameters, /)

For every item in parameters, repeatedly execute the parameterized DML SQL statement sql.

Uses the same implicit transaction handling as execute().

Parâmetros:

sql (str) – A single SQL DML statement.

parameters (iterable) – An iterable of parameters to bind with the placeholders in sql. See How to use placeholders to bind values in SQL queries.

Levanta:

ProgrammingError – If sql contains more than one SQL statement, or is not a DML statement.

Exemplo:

rows = [
    ("row1",),
    ("row2",),
]
# cur is an sqlite3.Cursor object
cur.executemany("INSERT INTO data VALUES(?)", rows)

Nota

Any resulting rows are discarded, including DML statements with RETURNING clauses [https://www.sqlite.org/lang_returning.html].

Deprecated since version 3.12, will be removed in version 3.14: DeprecationWarning is emitted if named placeholders are used and the items in parameters are sequences instead of dicts. Starting with Python 3.14, ProgrammingError will be raised instead.

executescript(sql_script, /)

Execute the SQL statements in sql_script. If the autocommit is LEGACY_TRANSACTION_CONTROL and there is a pending transaction, an implicit COMMIT statement is executed first. No other implicit transaction control is performed; any transaction control must be added to sql_script.

sql_script must be a string.

Exemplo:

# cur is an sqlite3.Cursor object
cur.executescript("""
    BEGIN;
    CREATE TABLE person(firstname, lastname, age);
    CREATE TABLE book(title, author, published);
    CREATE TABLE publisher(name, address);
    COMMIT;
""")

fetchone()

If row_factory is None, return the next row query result set as a tuple. Else, pass it to the row factory and return its result. Return None if no more data is available.

fetchmany(size=cursor.arraysize)

Return the next set of rows of a query result as a list. Return an empty list if no more rows are available.

The number of rows to fetch per call is specified by the size parameter. If size is not given, arraysize determines the number of rows to be fetched. If fewer than size rows are available, as many rows as are available are returned.

Note there are performance considerations involved with the size parameter. For optimal performance, it is usually best to use the arraysize attribute. If the size parameter is used, then it is best for it to retain the same value from one fetchmany() call to the next.

fetchall()

Return all (remaining) rows of a query result as a list. Return an empty list if no rows are available. Note that the arraysize attribute can affect the performance of this operation.

close()

Close the cursor now (rather than whenever __del__ is called).

The cursor will be unusable from this point forward; a ProgrammingError exception will be raised if any operation is attempted with the cursor.

setinputsizes(sizes, /)

Required by the DB-API. Does nothing in sqlite3.

setoutputsize(size, column=None, /)

Required by the DB-API. Does nothing in sqlite3.

arraysize

Read/write attribute that controls the number of rows returned by fetchmany(). The default value is 1 which means a single row would be fetched per call.

connection

Read-only attribute that provides the SQLite database Connection belonging to the cursor. A Cursor object created by calling con.cursor() will have a connection attribute that refers to con:

>>> con = sqlite3.connect(":memory:")
>>> cur = con.cursor()
>>> cur.connection == con
True
>>> con.close()

description

Read-only attribute that provides the column names of the last query. To remain compatible with the Python DB API, it returns a 7-tuple for each column where the last six items of each tuple are None.

It is set for SELECT statements without any matching rows as well.

lastrowid

Read-only attribute that provides the row id of the last inserted row. It is only updated after successful INSERT or REPLACE statements using the execute() method. For other statements, after executemany() or executescript(), or if the insertion failed, the value of lastrowid is left unchanged. The initial value of lastrowid is None.

Nota

Inserts into WITHOUT ROWID tables are not recorded.

Alterado na versão 3.6: Added support for the REPLACE statement.

rowcount

Read-only attribute that provides the number of modified rows for INSERT, UPDATE, DELETE, and REPLACE statements; is -1 for other statements, including CTE queries. It is only updated by the execute() and executemany() methods, after the statement has run to completion. This means that any resulting rows must be fetched in order for rowcount to be updated.

row_factory

Control how a row fetched from this Cursor is represented. If None, a row is represented as a tuple. Can be set to the included sqlite3.Row; or a callable that accepts two arguments, a Cursor object and the tuple of row values, and returns a custom object representing an SQLite row.

Defaults to what Connection.row_factory was set to when the Cursor was created. Assigning to this attribute does not affect Connection.row_factory of the parent connection.

Consulte How to create and use row factories para mais detalhes.

Row objects

class sqlite3.Row

A Row instance serves as a highly optimized row_factory for Connection objects. It supports iteration, equality testing, len(), and mapping access by column name and index.

Two Row objects compare equal if they have identical column names and values.

Consulte How to create and use row factories para mais detalhes.

keys()

Return a list of column names as strings. Immediately after a query, it is the first member of each tuple in Cursor.description.

Alterado na versão 3.5: Added support of slicing.

Blob objects

class sqlite3.Blob

Adicionado na versão 3.11.

A Blob instance is a file-like object that can read and write data in an SQLite BLOB. Call len(blob) to get the size (number of bytes) of the blob. Use indices and slices for direct access to the blob data.

Use the Blob as a context manager to ensure that the blob handle is closed after use.

con = sqlite3.connect(":memory:")
con.execute("CREATE TABLE test(blob_col blob)")
con.execute("INSERT INTO test(blob_col) VALUES(zeroblob(13))")

# Write to our blob, using two write operations:
with con.blobopen("test", "blob_col", 1) as blob:
    blob.write(b"hello, ")
    blob.write(b"world.")
    # Modify the first and last bytes of our blob
    blob[0] = ord("H")
    blob[-1] = ord("!")

# Read the contents of our blob
with con.blobopen("test", "blob_col", 1) as blob:
    greeting = blob.read()

print(greeting)  # outputs "b'Hello, world!'"
con.close()

close()

Close the blob.

The blob will be unusable from this point onward. An Error (or subclass) exception will be raised if any further operation is attempted with the blob.

read(length=-1, /)

Read length bytes of data from the blob at the current offset position. If the end of the blob is reached, the data up to EOF will be returned. When length is not specified, or is negative, read() will read until the end of the blob.

write(data, /)

Write data to the blob at the current offset. This function cannot change the blob length. Writing beyond the end of the blob will raise ValueError.

tell()

Return the current access position of the blob.

seek(offset, origin=os.SEEK_SET, /)

Set the current access position of the blob to offset. The origin argument defaults to os.SEEK_SET (absolute blob positioning). Other values for origin are os.SEEK_CUR (seek relative to the current position) and os.SEEK_END (seek relative to the blob’s end).

PrepareProtocol objects

class sqlite3.PrepareProtocol

The PrepareProtocol type’s single purpose is to act as a PEP 246 [https://peps.python.org/pep-0246/] style adaption protocol for objects that can adapt themselves to native SQLite types.

Exceções

The exception hierarchy is defined by the DB-API 2.0 (PEP 249 [https://peps.python.org/pep-0249/]).

exception sqlite3.Warning

This exception is not currently raised by the sqlite3 module, but may be raised by applications using sqlite3, for example if a user-defined function truncates data while inserting. Warning is a subclass of Exception.

exception sqlite3.Error

The base class of the other exceptions in this module. Use this to catch all errors with one single except statement. Error is a subclass of Exception.

If the exception originated from within the SQLite library, the following two attributes are added to the exception:

sqlite_errorcode

The numeric error code from the SQLite API [https://sqlite.org/rescode.html]

Adicionado na versão 3.11.

sqlite_errorname

The symbolic name of the numeric error code from the SQLite API [https://sqlite.org/rescode.html]

Adicionado na versão 3.11.

exception sqlite3.InterfaceError

Exception raised for misuse of the low-level SQLite C API. In other words, if this exception is raised, it probably indicates a bug in the sqlite3 module. InterfaceError is a subclass of Error.

exception sqlite3.DatabaseError

Exception raised for errors that are related to the database. This serves as the base exception for several types of database errors. It is only raised implicitly through the specialised subclasses. DatabaseError is a subclass of Error.

exception sqlite3.DataError

Exception raised for errors caused by problems with the processed data, like numeric values out of range, and strings which are too long. DataError is a subclass of DatabaseError.

exception sqlite3.OperationalError

Exception raised for errors that are related to the database’s operation, and not necessarily under the control of the programmer. For example, the database path is not found, or a transaction could not be processed. OperationalError is a subclass of DatabaseError.

exception sqlite3.IntegrityError

Exception raised when the relational integrity of the database is affected, e.g. a foreign key check fails. It is a subclass of DatabaseError.

exception sqlite3.InternalError

Exception raised when SQLite encounters an internal error. If this is raised, it may indicate that there is a problem with the runtime SQLite library. InternalError is a subclass of DatabaseError.

exception sqlite3.ProgrammingError

Exception raised for sqlite3 API programming errors, for example supplying the wrong number of bindings to a query, or trying to operate on a closed Connection. ProgrammingError is a subclass of DatabaseError.

exception sqlite3.NotSupportedError

Exception raised in case a method or database API is not supported by the underlying SQLite library. For example, setting deterministic to True in create_function(), if the underlying SQLite library does not support deterministic functions. NotSupportedError is a subclass of DatabaseError.

SQLite and Python types

SQLite natively supports the following types: NULL, INTEGER, REAL, TEXT, BLOB.

The following Python types can thus be sent to SQLite without any problem:

Tipo em Python

Tipo em SQLite

None

NULL

int

INTEGER

float

REAL

str

TEXT

bytes

BLOB

This is how SQLite types are converted to Python types by default:

Tipo em SQLite

Tipo em Python

NULL

None

INTEGER

int

REAL

float

TEXT

depends on text_factory, str by default

BLOB

bytes

The type system of the sqlite3 module is extensible in two ways: you can store additional Python types in an SQLite database via object adapters, and you can let the sqlite3 module convert SQLite types to Python types via converters.

Default adapters and converters (deprecated)

Nota

The default adapters and converters are deprecated as of Python 3.12. Instead, use the Adapter and converter recipes and tailor them to your needs.

The deprecated default adapters and converters consist of:

An adapter for datetime.date objects to strings in ISO 8601 [https://en.wikipedia.org/wiki/ISO_8601] format.

An adapter for datetime.datetime objects to strings in ISO 8601 format.

A converter for declared “date” types to datetime.date objects.

A converter for declared “timestamp” types to datetime.datetime objects. Fractional parts will be truncated to 6 digits (microsecond precision).

Nota

The default “timestamp” converter ignores UTC offsets in the database and always returns a naive datetime.datetime object. To preserve UTC offsets in timestamps, either leave converters disabled, or register an offset-aware converter with register_converter().

Obsoleto desde a versão 3.12.

Interface de linha de comando

The sqlite3 module can be invoked as a script, using the interpreter’s -m switch, in order to provide a simple SQLite shell. The argument signature is as follows:

python -m sqlite3 [-h] [-v] [filename] [sql]

Type .quit or CTRL-D to exit the shell.

-h, --help

Print CLI help.

-v, --version

Print underlying SQLite library version.

Adicionado na versão 3.12.

Guias de como fazer

How to use placeholders to bind values in SQL queries

SQL operations usually need to use values from Python variables. However, beware of using Python’s string operations to assemble queries, as they are vulnerable to SQL injection attacks [https://en.wikipedia.org/wiki/SQL_injection]. For example, an attacker can simply close the single quote and inject OR TRUE to select all rows:

>>> # Never do this -- insecure!
>>> symbol = input()
' OR TRUE; --
>>> sql = "SELECT * FROM stocks WHERE symbol = '%s'" % symbol
>>> print(sql)
SELECT * FROM stocks WHERE symbol = '' OR TRUE; --'
>>> cur.execute(sql)

Instead, use the DB-API’s parameter substitution. To insert a variable into a query string, use a placeholder in the string, and substitute the actual values into the query by providing them as a tuple of values to the second argument of the cursor’s execute() method.

An SQL statement may use one of two kinds of placeholders: question marks (qmark style) or named placeholders (named style). For the qmark style, parameters must be a sequence whose length must match the number of placeholders, or a ProgrammingError is raised. For the named style, parameters must be an instance of a dict (or a subclass), which must contain keys for all named parameters; any extra items are ignored. Here’s an example of both styles:

con = sqlite3.connect(":memory:")
cur = con.execute("CREATE TABLE lang(name, first_appeared)")

# This is the named style used with executemany():
data = (
    {"name": "C", "year": 1972},
    {"name": "Fortran", "year": 1957},
    {"name": "Python", "year": 1991},
    {"name": "Go", "year": 2009},
)
cur.executemany("INSERT INTO lang VALUES(:name, :year)", data)

# This is the qmark style used in a SELECT query:
params = (1972,)
cur.execute("SELECT * FROM lang WHERE first_appeared = ?", params)
print(cur.fetchall())
con.close()

Nota

PEP 249 [https://peps.python.org/pep-0249/] numeric placeholders are not supported. If used, they will be interpreted as named placeholders.

How to adapt custom Python types to SQLite values

SQLite supports only a limited set of data types natively. To store custom Python types in SQLite databases, adapt them to one of the Python types SQLite natively understands.

There are two ways to adapt Python objects to SQLite types: letting your object adapt itself, or using an adapter callable. The latter will take precedence above the former. For a library that exports a custom type, it may make sense to enable that type to adapt itself. As an application developer, it may make more sense to take direct control by registering custom adapter functions.

How to write adaptable objects

Suppose we have a Point class that represents a pair of coordinates, x and y, in a Cartesian coordinate system. The coordinate pair will be stored as a text string in the database, using a semicolon to separate the coordinates. This can be implemented by adding a __conform__(self, protocol) method which returns the adapted value. The object passed to protocol will be of type PrepareProtocol.

class Point:
    def __init__(self, x, y):
        self.x, self.y = x, y

    def __conform__(self, protocol):
        if protocol is sqlite3.PrepareProtocol:
            return f"{self.x};{self.y}"

con = sqlite3.connect(":memory:")
cur = con.cursor()

cur.execute("SELECT ?", (Point(4.0, -3.2),))
print(cur.fetchone()[0])
con.close()

How to register adapter callables

The other possibility is to create a function that converts the Python object to an SQLite-compatible type. This function can then be registered using register_adapter().

class Point:
    def __init__(self, x, y):
        self.x, self.y = x, y

def adapt_point(point):
    return f"{point.x};{point.y}"

sqlite3.register_adapter(Point, adapt_point)

con = sqlite3.connect(":memory:")
cur = con.cursor()

cur.execute("SELECT ?", (Point(1.0, 2.5),))
print(cur.fetchone()[0])
con.close()

How to convert SQLite values to custom Python types

Writing an adapter lets you convert from custom Python types to SQLite values. To be able to convert from SQLite values to custom Python types, we use converters.

Let’s go back to the Point class. We stored the x and y coordinates separated via semicolons as strings in SQLite.

First, we’ll define a converter function that accepts the string as a parameter and constructs a Point object from it.

Nota

Converter functions are always passed a bytes object, no matter the underlying SQLite data type.

def convert_point(s):
    x, y = map(float, s.split(b";"))
    return Point(x, y)

We now need to tell sqlite3 when it should convert a given SQLite value. This is done when connecting to a database, using the detect_types parameter of connect(). There are three options:

Implicit: set detect_types to PARSE_DECLTYPES

Explicit: set detect_types to PARSE_COLNAMES

Both: set detect_types to sqlite3.PARSE_DECLTYPES | sqlite3.PARSE_COLNAMES. Column names take precedence over declared types.

The following example illustrates the implicit and explicit approaches:

class Point:
    def __init__(self, x, y):
        self.x, self.y = x, y

    def __repr__(self):
        return f"Point({self.x}, {self.y})"

def adapt_point(point):
    return f"{point.x};{point.y}"

def convert_point(s):
    x, y = list(map(float, s.split(b";")))
    return Point(x, y)

# Register the adapter and converter
sqlite3.register_adapter(Point, adapt_point)
sqlite3.register_converter("point", convert_point)

# 1) Parse using declared types
p = Point(4.0, -3.2)
con = sqlite3.connect(":memory:", detect_types=sqlite3.PARSE_DECLTYPES)
cur = con.execute("CREATE TABLE test(p point)")

cur.execute("INSERT INTO test(p) VALUES(?)", (p,))
cur.execute("SELECT p FROM test")
print("with declared types:", cur.fetchone()[0])
cur.close()
con.close()

# 2) Parse using column names
con = sqlite3.connect(":memory:", detect_types=sqlite3.PARSE_COLNAMES)
cur = con.execute("CREATE TABLE test(p)")

cur.execute("INSERT INTO test(p) VALUES(?)", (p,))
cur.execute('SELECT p AS "p [point]" FROM test')
print("with column names:", cur.fetchone()[0])
cur.close()
con.close()

Adapter and converter recipes

This section shows recipes for common adapters and converters.

import datetime
import sqlite3

def adapt_date_iso(val):
    """Adapt datetime.date to ISO 8601 date."""
    return val.isoformat()

def adapt_datetime_iso(val):
    """Adapt datetime.datetime to timezone-naive ISO 8601 date."""
    return val.isoformat()

def adapt_datetime_epoch(val):
    """Adapt datetime.datetime to Unix timestamp."""
    return int(val.timestamp())

sqlite3.register_adapter(datetime.date, adapt_date_iso)
sqlite3.register_adapter(datetime.datetime, adapt_datetime_iso)
sqlite3.register_adapter(datetime.datetime, adapt_datetime_epoch)

def convert_date(val):
    """Convert ISO 8601 date to datetime.date object."""
    return datetime.date.fromisoformat(val.decode())

def convert_datetime(val):
    """Convert ISO 8601 datetime to datetime.datetime object."""
    return datetime.datetime.fromisoformat(val.decode())

def convert_timestamp(val):
    """Convert Unix epoch timestamp to datetime.datetime object."""
    return datetime.datetime.fromtimestamp(int(val))

sqlite3.register_converter("date", convert_date)
sqlite3.register_converter("datetime", convert_datetime)
sqlite3.register_converter("timestamp", convert_timestamp)

How to use connection shortcut methods

Using the execute(), executemany(), and executescript() methods of the Connection class, your code can be written more concisely because you don’t have to create the (often superfluous) Cursor objects explicitly. Instead, the Cursor objects are created implicitly and these shortcut methods return the cursor objects. This way, you can execute a SELECT statement and iterate over it directly using only a single call on the Connection object.

# Create and fill the table.
con = sqlite3.connect(":memory:")
con.execute("CREATE TABLE lang(name, first_appeared)")
data = [
    ("C++", 1985),
    ("Objective-C", 1984),
]
con.executemany("INSERT INTO lang(name, first_appeared) VALUES(?, ?)", data)

# Print the table contents
for row in con.execute("SELECT name, first_appeared FROM lang"):
    print(row)

print("I just deleted", con.execute("DELETE FROM lang").rowcount, "rows")

# close() is not a shortcut method and it's not called automatically;
# the connection object should be closed manually
con.close()

How to use the connection context manager

A Connection object can be used as a context manager that automatically commits or rolls back open transactions when leaving the body of the context manager. If the body of the with statement finishes without exceptions, the transaction is committed. If this commit fails, or if the body of the with statement raises an uncaught exception, the transaction is rolled back. If autocommit is False, a new transaction is implicitly opened after committing or rolling back.

If there is no open transaction upon leaving the body of the with statement, or if autocommit is True, the context manager does nothing.

Nota

The context manager neither implicitly opens a new transaction nor closes the connection. If you need a closing context manager, consider using contextlib.closing().

con = sqlite3.connect(":memory:")
con.execute("CREATE TABLE lang(id INTEGER PRIMARY KEY, name VARCHAR UNIQUE)")

# Successful, con.commit() is called automatically afterwards
with con:
    con.execute("INSERT INTO lang(name) VALUES(?)", ("Python",))

# con.rollback() is called after the with block finishes with an exception,
# the exception is still raised and must be caught
try:
    with con:
        con.execute("INSERT INTO lang(name) VALUES(?)", ("Python",))
except sqlite3.IntegrityError:
    print("couldn't add Python twice")

# Connection object used as context manager only commits or rollbacks transactions,
# so the connection object should be closed manually
con.close()

How to work with SQLite URIs

Some useful URI tricks include:

Open a database in read-only mode:

>>> con = sqlite3.connect("file:tutorial.db?mode=ro", uri=True)
>>> con.execute("CREATE TABLE readonly(data)")
Traceback (most recent call last):
OperationalError: attempt to write a readonly database

Do not implicitly create a new database file if it does not already exist; will raise OperationalError if unable to create a new file:

>>> con = sqlite3.connect("file:nosuchdb.db?mode=rw", uri=True)
Traceback (most recent call last):
OperationalError: unable to open database file

Create a shared named in-memory database:

db = "file:mem1?mode=memory&cache=shared"
con1 = sqlite3.connect(db, uri=True)
con2 = sqlite3.connect(db, uri=True)
with con1:
    con1.execute("CREATE TABLE shared(data)")
    con1.execute("INSERT INTO shared VALUES(28)")
res = con2.execute("SELECT data FROM shared")
assert res.fetchone() == (28,)

con1.close()
con2.close()

More information about this feature, including a list of parameters, can be found in the SQLite URI documentation [https://www.sqlite.org/uri.html].

How to create and use row factories

By default, sqlite3 represents each row as a tuple. If a tuple does not suit your needs, you can use the sqlite3.Row class or a custom row_factory.

While row_factory exists as an attribute both on the Cursor and the Connection, it is recommended to set Connection.row_factory, so all cursors created from the connection will use the same row factory.

Row provides indexed and case-insensitive named access to columns, with minimal memory overhead and performance impact over a tuple. To use Row as a row factory, assign it to the row_factory attribute:

>>> con = sqlite3.connect(":memory:")
>>> con.row_factory = sqlite3.Row

Queries now return Row objects:

>>> res = con.execute("SELECT 'Earth' AS name, 6378 AS radius")
>>> row = res.fetchone()
>>> row.keys()
['name', 'radius']
>>> row[0]         # Access by index.
'Earth'
>>> row["name"]    # Access by name.
'Earth'
>>> row["RADIUS"]  # Column names are case-insensitive.
6378
>>> con.close()

Nota

The FROM clause can be omitted in the SELECT statement, as in the above example. In such cases, SQLite returns a single row with columns defined by expressions, e.g. literals, with the given aliases expr AS alias.

You can create a custom row_factory that returns each row as a dict, with column names mapped to values:

def dict_factory(cursor, row):
    fields = [column[0] for column in cursor.description]
    return {key: value for key, value in zip(fields, row)}

Using it, queries now return a dict instead of a tuple:

>>> con = sqlite3.connect(":memory:")
>>> con.row_factory = dict_factory
>>> for row in con.execute("SELECT 1 AS a, 2 AS b"):
...     print(row)
{'a': 1, 'b': 2}
>>> con.close()

The following row factory returns a named tuple:

from collections import namedtuple

def namedtuple_factory(cursor, row):
    fields = [column[0] for column in cursor.description]
    cls = namedtuple("Row", fields)
    return cls._make(row)

namedtuple_factory() can be used as follows:

>>> con = sqlite3.connect(":memory:")
>>> con.row_factory = namedtuple_factory
>>> cur = con.execute("SELECT 1 AS a, 2 AS b")
>>> row = cur.fetchone()
>>> row
Row(a=1, b=2)
>>> row[0]  # Indexed access.
1
>>> row.b   # Attribute access.
2
>>> con.close()

With some adjustments, the above recipe can be adapted to use a dataclass, or any other custom class, instead of a namedtuple.

How to handle non-UTF-8 text encodings

By default, sqlite3 uses str to adapt SQLite values with the TEXT data type. This works well for UTF-8 encoded text, but it might fail for other encodings and invalid UTF-8. You can use a custom text_factory to handle such cases.

Because of SQLite’s flexible typing [https://www.sqlite.org/flextypegood.html], it is not uncommon to encounter table columns with the TEXT data type containing non-UTF-8 encodings, or even arbitrary data. To demonstrate, let’s assume we have a database with ISO-8859-2 (Latin-2) encoded text, for example a table of Czech-English dictionary entries. Assuming we now have a Connection instance con connected to this database, we can decode the Latin-2 encoded text using this text_factory:

con.text_factory = lambda data: str(data, encoding="latin2")

For invalid UTF-8 or arbitrary data in stored in TEXT table columns, you can use the following technique, borrowed from the Unicode:

con.text_factory = lambda data: str(data, errors="surrogateescape")

Nota

The sqlite3 module API does not support strings containing surrogates.

Ver também

Unicode

Explicação

Controle de transações

sqlite3 oferece vários métodos para controlar se, quando e como as transações do banco de dados são abertas e fechadas. Controle de transações através do atributo autocommit é recomendado, enquanto Controle de transação através do atributo isolation_level mantém o comportamento pré-Python 3.12.

Controle de transações através do atributo autocommit

A forma recomendada de controlar o comportamento da transação é através do atributo Connection.autocommit, que deve ser preferencialmente definido usando o parâmetro autocommit de connect().

É sugerido definir autocommit como False, o que implica controle de transação compatível com a PEP 249 [https://peps.python.org/pep-0249/]. Isso significa:

sqlite3 garante que uma transação esteja sempre aberta, então connect(), Connection.commit() e Connection.rollback() abrirão implicitamente uma nova transação (imediatamente após fechando a pendência, para as duas últimas). sqlite3 usa instruções BEGIN DEFERRED ao abrir transações.

Transações devem ser executadas explicitamente usando commit().

Transações devem ser revertidas explicitamente usando rollback().

Uma reversão implícita é executada se o banco de dados estiver em estado close() com alterações pendentes.

Defina autocommit como True para ativar o modo autocommit [https://www.sqlite.org/lang_transaction.html#implicit_versus_explicit_transactions] do SQLite. Neste modo, Connection.commit() e Connection.rollback() não têm efeito. Observe que o modo autocommit do SQLite é distinto do atributo Connection.autocommit compatível com PEP 249 [https://peps.python.org/pep-0249/]; use Connection.in_transaction para consultar o modo de confirmação automática do SQLite de baixo nível.

Defina autocommit como LEGACY_TRANSACTION_CONTROL para deixar o comportamento de controle de transação para o atributo Connection.isolation_level. Veja Controle de transação através do atributo isolation_level para mais informações.

Controle de transação através do atributo isolation_level

Nota

A forma recomendada de controlar transações é através do atributo autocommit. Veja Controle de transações através do atributo autocommit.

Se Connection.autocommit estiver definido como LEGACY_TRANSACTION_CONTROL (o padrão), o comportamento da transação é controlado usando o atributo Connection.isolation_level. Caso contrário, isolation_level não tem efeito.

Se o atributo de conexão isolation_level não for None, novas transações são abertas implicitamente antes de execute() e executemany() executa instruções INSERT, UPDATE, DELETE ou REPLACE; para outras instruções, nenhuma manipulação de transação implícita é executada. Use os métodos commit() e rollback() para fazer commit e reverter respectivamente transações pendentes. Você pode escolher o comportamento subjacente de transação do SQLite [https://www.sqlite.org/lang_transaction.html#deferred_immediate_and_exclusive_transactions] – isto é, se e que tipo de instruções BEGIN do sqlite3 são executadas implicitamente – através do atributo isolation_level.

Se isolation_level estiver definido como None, nenhuma transação será aberta implicitamente. Isso deixa a biblioteca SQLite subjacente no modo autocommit [https://www.sqlite.org/lang_transaction.html#implicit_versus_explicit_transactions], mas também permite que o usuário execute sua própria manipulação de transações usando instruções SQL explícitas. O modo de autocommit da biblioteca SQLite subjacente pode ser consultado usando o atributo in_transaction.

O método executescript() compromete implicitamente qualquer transação pendente antes da execução do script SQL fornecido, independentemente do valor de isolation_level.

Alterado na versão 3.6: sqlite3 costumava fazer commit de forma implícita de uma transação aberta antes das instruções DDL. Este não é mais o caso.

Alterado na versão 3.12: A forma recomendada de controlar transações agora é através do atributo autocommit.

Compressão de Dados e Arquivamento

Os módulos descritos neste capítulo suportam a compressão de dados com os algoritmos zlib, gzip, bzip2 e lzma e a criação de arquivos ZIP e tar. Consulte também Operações de arquivamento fornecido pelo módulo shutil.

zlib — Compactação compatível com gzip

error

adler32()

compress()

compressobj()

crc32()

decompress()

decompressobj()

compress()

flush()

copy()

unused_data

unconsumed_tail

eof

decompress()

flush()

copy()

ZLIB_VERSION

ZLIB_RUNTIME_VERSION

gzip — Support for gzip files

open()

BadGzipFile

GzipFile

peek()

mode

mtime

name

compress()

decompress()

Exemplos de uso

Interface de linha de comando

Opções da linha de comando

bz2 — Suporte para compressão bzip2

(Des)compressão de arquivos

open()

BZ2File

peek()

fileno()

readable()

seekable()

writable()

read1()

readinto()

mode

name

(Des)compressão incremental

BZ2Compressor

compress()

flush()

BZ2Decompressor

decompress()

eof

unused_data

needs_input

(De)compressão de uma só vez (one-shot)

compress()

decompress()

Exemplos de uso

lzma — Compression using the LZMA algorithm

LZMAError

Lendo e escrevendo arquivos compactados

open()

LZMAFile

peek()

mode

name

Compactando e descompactando dados na memória

LZMACompressor

compress()

flush()

LZMADecompressor

decompress()

check

eof

unused_data

needs_input

compress()

decompress()

Diversos

is_check_supported()

Specifying custom filter chains

Exemplos

zipfile — Trabalha com arquivos ZIP

BadZipFile

BadZipfile

LargeZipFile

ZipInfo

is_zipfile()

ZIP_STORED

ZIP_DEFLATED

ZIP_BZIP2

ZIP_LZMA

Objetos ZipFile

ZipFile

close()

getinfo()

infolist()

namelist()

open()

extract()

extractall()

printdir()

setpassword()

read()

testzip()

write()

writestr()

mkdir()

filename

debug

comment

Objetos Path

Path

name

open()

iterdir()

is_dir()

is_file()

is_symlink()

exists()

suffix

stem

suffixes

read_text()

read_bytes()

joinpath()

Objetos PyZipFile

PyZipFile

writepy()

Objetos ZipInfo

from_file()

is_dir()

filename

date_time

compress_type

comment

extra

create_system

create_version

extract_version

reserved

flag_bits

volume

internal_attr

external_attr

header_offset

CRC

compress_size

file_size

Interface de Linha de Comando

Opções de linha de comando

Armadilhas de descompressão

Do próprio arquivo

Limitações do sistema de arquivos

Limitações de recursos

Interrupção

Comportamentos padrão da extração

tarfile — Ler e gravar arquivos do tipo tar

open()

is_tarfile()

TarError

ReadError

CompressionError

StreamError

ExtractError

HeaderError

FilterError

tarinfo

AbsolutePathError

OutsideDestinationError

SpecialFileError

AbsoluteLinkError

LinkOutsideDestinationError

ENCODING

REGTYPE

AREGTYPE

LNKTYPE

SYMTYPE

CHRTYPE

BLKTYPE

DIRTYPE

FIFOTYPE

CONTTYPE

GNUTYPE_LONGNAME

GNUTYPE_LONGLINK

GNUTYPE_SPARSE

USTAR_FORMAT

GNU_FORMAT

PAX_FORMAT

DEFAULT_FORMAT

TarFile Objects

TarFile

open()

getmember()

getmembers()

getnames()

list()

next()

extractall()

extract()

extractfile()

errorlevel

extraction_filter

add()

addfile()

gettarinfo()

close()

pax_headers

Objetos TarInfo

TarInfo

frombuf()

fromtarfile()

tobuf()

name

size

mtime

mode

type

linkname

uid

gid

uname

gname

chksum

devmajor

devminor

offset

offset_data

sparse

pax_headers

replace()

isfile()

isreg()

isdir()

issym()

islnk()

ischr()

isblk()

isfifo()

isdev()

Filtros de extração

Default named filters

fully_trusted_filter()

tar_filter()

data_filter()

Filter errors

Dicas para verificação adicional

Suporte a versões mais antigas do Python

Stateful extraction filter example

Interface de Linha de Comando

Opções de linha de comando

Exemplos

Formatos tar suportados

Problemas de Unicode

zlib — Compactação compatível com gzip

Para aplicações que exigem compactação de dados, as funções deste módulo permitem a compactação e a descompactação, usando a biblioteca zlib. A biblioteca zlib tem sua própria página em https://www.zlib.net. Existem algumas incompatibilidades conhecidas entre o Python módulo e as versões da biblioteca zlib anteriores à 1.1.3; a 1.1.3 tem uma vulnerabilidade de segurança [https://zlib.net/zlib_faq.html#faq33], portanto, recomendamos o uso da 1.1.4 ou posterior.

As funções do zlib têm muitas opções e geralmente precisam ser usadas em uma ordem específica. Esta documentação não tenta cobrir todas as permutações; consulte o manual do zlib em http://www.zlib.net/manual.html para obter informações oficiais.

Para leitura e escrita de arquivos .gz, consulte o módulo gzip.

A exceção e as funções disponíveis neste módulo são:

exception zlib.error

Exceção levantada em erros de compactação e descompactação.

zlib.adler32(data[, value])

Calcula uma soma de verificação Adler-32 de data. (Uma soma de verificação Adler-32 é quase tão confiável quanto uma CRC32, mas pode ser calculada muito mais rapidamente.) O resultado é um número inteiro sem sinal de 32 bits. Se value estiver presente, ele será usado como o valor inicial da soma de verificação; caso contrário, um valor padrão de 1 é usado. A passagem de value permite calcular uma soma de verificação em execução através da concatenação de várias entradas. O algoritmo não é criptograficamente forte e não deve ser usado para autenticação ou assinaturas digitais. Como o algoritmo foi projetado para uso como um algoritmo de soma de verificação, não é adequado para uso como um algoritmo de hash geral.

Alterado na versão 3.0: O resultado é sempre sem sinal.

zlib.compress(data, /, level=-1, wbits=MAX_WBITS)

Comprime os bytes em data, retornando um objeto de bytes que contém dados comprimidos. level é um inteiro de 0 a 9 ou -1 que controla o nível de compressão; 1 (Z_BEST_SPEED) é o mais rápido e produz a menor compressão, 9 (Z_BEST_COMPRESSION) é o mais lento e produz a maior. 0 (Z_NO_COMPRESSION) não produz compactação. O valor padrão é -1 (Z_DEFAULT_COMPRESSION). Z_DEFAULT_COMPRESSION representa um meio termo entre velocidade e compressão (atualmente equivale ao nível 6).

O argumento wbits controla o tamanho do buffer do histórico (ou o “tamanho da janela”) usado ao compactar dados e se um cabeçalho e um trailer estão incluídos na saída. Pode levar vários intervalos de valores, padronizando para 15 (MAX_WBITS):

+9 a +15: o logaritmo de base dois do tamanho da janela, que varia entre 512 e 32768. Valores maiores produzem melhor compactação às custas de maior uso de memória. A saída resultante incluirá um cabeçalho e uma sequência específicos para zlib.

-9 a -15: Usa o valor absoluto de wbits como o logaritmo do tamanho da janela, enquanto produz um fluxo de saída bruto sem cabeçalho ou soma de verificação à direita.

+25 a +31 = 16 + (9 a 15): Usa os 4 bits baixos do valor como logaritmo do tamanho da janela, incluindo um cabeçalho básico gzip e a soma de verificação à direita na saída.

Levanta uma exceção do tipo error, se ocorrer algum erro.

Alterado na versão 3.6: level pode agora ser usado como um palavra reservada nomeada.

Alterado na versão 3.11: O parâmetro wbits agora está disponível para definir janelas de bits e tipo de compactação.

zlib.compressobj(level=-1, method=DEFLATED, wbits=MAX_WBITS, memLevel=DEF_MEM_LEVEL, strategy=Z_DEFAULT_STRATEGY[, zdict])

Retorna um objeto de compactação, a ser usado para compactar fluxos de dados que não cabem na memória de uma só vez.

level é o nível de compactação – um número inteiro de 0 a 9 ou -1. Um valor de 1 (Z_BEST_SPEED) é mais rápido e produz a menor compactação, enquanto um valor de 9 (Z_BEST_COMPRESSION) é mais lento e produz o máximo. 0 (Z_NO_COMPRESSION) é nenhuma compactação. O valor padrão é -1 (Z_DEFAULT_COMPRESSION). Z_DEFAULT_COMPRESSION representa um meio termo padrão entre velocidade e compactação (atualmente equivalente ao nível 6).

method é o algoritmo de compactação. Atualmente, o único valor suportado é DEFLATED.

O parâmetro wbits controla o tamanho do histórico buffer (ou o “tamanho da janela do buffer”) e qual o formato do cabeçalho e do trailer serão usados. Ele tem o mesmo significado que o descrito para compress().

O argumento memLevel controla a quantidade de memória usada para o estado de compactação interno. Os valores válidos variam de 1 a 9. Valores mais altos usam mais memória, mas são mais rápidos e produzem uma saída menor.

strategy é usado para ajustar o algoritmo de compactação. Os valores possíveis são Z_DEFAULT_STRATEGY, Z_FILTERED, Z_HUFFMAN_ONLY, Z_RLE (zlib 1.2.0.1) e Z_FIXED (zlib 1.2.2.2).

zdict é um dicionário de compactação predefinido. Esta é uma sequência de bytes (como um objeto bytes) que contém subsequências que se espera que ocorram com frequência nos dados a serem compactados. As subsequências que se espera serem mais comuns devem aparecer no final do dicionário.

Alterado na versão 3.3: Adicionado o suporte ao parâmetro e argumento nomeado zdict.

zlib.crc32(data[, value])

Calcula uma soma de verificação CRC (Cyclic Redundancy Check) de data. O resultado é um número inteiro sem sinal de 32 bits. Se value estiver presente, ele será usado como o valor inicial da soma de verificação; caso contrário, um valor padrão de 1 é usado. A passagem de value permite calcular uma soma de verificação em execução através da concatenação de várias entradas. O algoritmo não é criptograficamente forte e não deve ser usado para autenticação ou assinaturas digitais. Como o algoritmo foi projetado para uso como um algoritmo de soma de verificação, não é adequado para uso como um algoritmo de hash geral.

Alterado na versão 3.0: O resultado é sempre sem sinal.

zlib.decompress(data, /, wbits=MAX_WBITS, bufsize=DEF_BUF_SIZE)

Descompacta os bytes em data, retornando um objeto de bytes que contém os dados não compactados. O parâmetro wbits depende do formato de data e é discutido mais abaixo. Se bufsize for fornecido, ele será usado como o tamanho inicial do buffer de saída. Levanta a exceção error se ocorrer algum erro.

O parâmetro wbits controla o tamanho do buffer do histórico (ou “tamanho da janela”) e qual formato de cabeçalho e sequência é esperado. É semelhante ao parâmetro para compressobj(), mas aceita mais intervalos de valores:

+8 a +15: O logaritmo de base dois do tamanho da janela. A entrada deve incluir um cabeçalho e uma sequência de zlib.

0: Determina automaticamente o tamanho da janela no cabeçalho zlib. Suportado apenas desde o zlib 1.2.3.5.

−8 a −15: Usa o valor absoluto de wbits como o logaritmo do tamanho da janela. A entrada deve ser um fluxo bruto sem cabeçalho ou sequência.

+24 a +31 = 16 + (8 a 15): Usa os 4 bits baixos do valor como logaritmo do tamanho da janela. A entrada deve incluir um cabeçalho e sequência de gzip.

+40 a +47 = 32 + (8 a 15): Usa os 4 bits baixos do valor como logaritmo do tamanho da janela e aceita automaticamente o formato zlib ou gzip.

Ao descompactar um fluxo, o tamanho da janela não deve ser menor que o tamanho originalmente usado para compactar o fluxo; o uso de um valor muito pequeno pode resultar em uma exceção error. O valor padrão wbits corresponde ao maior tamanho da janela e requer que um cabeçalho e uma sequência de zlib sejam incluídos.

bufsize é o tamanho inicial do buffer usado para armazenar dados descompactados. Se for necessário mais espaço, o tamanho do buffer será aumentado conforme necessário, para que você não precise obter esse valor exatamente correto; sintonizando, apenas algumas chamadas serão salvas em malloc().

Alterado na versão 3.6: wbits e bufsize podem ser usados como argumentos nomeados.

zlib.decompressobj(wbits=MAX_WBITS[, zdict])

Retorna um objeto descompactado, a ser usado para descompactar fluxos de dados que não cabem na memória de uma só vez.

O parâmetro wbits controla o tamanho do histórico do buffer (ou o “tamanho da janela do buffer”) e qual formato do cabeçalho e trailer são esperados. Ele tem o mesmo significado que o descrito para decompress().

O parâmetro zdict especifica uma dicionário pre-definido de compressão. Se fornecido, deve ser o mesmo dicionário usado pelo compressor que produziu os dados a serem descompactados.

Nota

Se zdict for um objeto mutável (como um bytearray), você não deve modificar seu conteúdo entre a chamada de decompressobj() e a primeira chamada para o método de descompatação decompress().

Alterado na versão 3.3: Adicionado o parâmetro zdict.

Um objeto do tipo Compress oferece suporte aos seguintes métodos:

Compress.compress(data)

Comprime data, retornando um objeto de bytes que contém dados compactados para pelo menos parte dos dados em data. Esses dados devem ser concatenados à saída produzida por quaisquer chamadas anteriores ao método compress(). Algumas entradas podem ser mantidas em buffers internos para processamento posterior.

Compress.flush([mode])

Toda a entrada pendente é processada e um objeto de bytes contendo a saída compactada restante é retornado. O mode pode ser selecionado entre constantes Z_NO_FLUSH , Z_PARTIAL_FLUSH, Z_SYNC_FLUSH, Z_FULL_FLUSH, Z_BLOCK (zlib 1.2.3.4) ou Z_FINISH, com o padrão sendo Z_FINISH. Exceto Z_FINISH, todas as demais constantes permitem a compactação de mais bytestrings de dados, enquanto Z_FINISH finaliza o fluxo compactado e impede a compactação de mais dados. Depois de chamar flush() com mode definido como Z_FINISH, o método compress() não pode ser chamado novamente; a única ação restante possível é excluir o objeto.

Compress.copy()

Retorna uma cópia do objeto de compactação. Isso pode ser usado para compactar com eficiência um conjunto de dados que compartilham um prefixo inicial comum.

Alterado na versão 3.8: As funções copy.copy() e copy.deepcopy() foram adicionadas como suporte para a compressão de objetos.

Um objeto do tipo Decompress oferece suporte aos seguintes métodos:

Decompress.unused_data

Um objeto de bytes que contém todos os bytes após o final dos dados compactados. Ou seja, ele permanece b"" até que o último byte que contém dados compactados esteja disponível. Se todo o bytestring contiver dados compactados, este será b"", um objeto de bytes vazio.

Decompress.unconsumed_tail

Um objeto de bytes que contém todos os dados que não foram consumidos pela última chamada decompress() porque excederam o limite dos dados não compactados no buffer. Esses dados ainda não foram vistos pela zlib, portanto, você deve alimentá-los (possivelmente com outros dados concatenados a eles) em uma chamada subsequente para o método decompress() e, com isso, obter a saída correta.

Decompress.eof

Um booleano indicando se o fim do fluxo de dados compactados foi alcançado.

Isso permite distinguir entre um fluxo compactado formado corretamente e um fluxo incompleto ou truncado.

Adicionado na versão 3.3.

Decompress.decompress(data, max_length=0)

Descompacta data, retornando um objeto de bytes que contém os dados não compactados correspondentes a pelo menos uma parte dos dados em string. Esses dados devem ser concatenados com a saída produzida por quaisquer chamadas anteriores ao método decompress() . Alguns dos dados de entrada podem ser preservados em buffers internos para processamento posterior.

Se o parâmetro opcional max_length for diferente de zero, o valor retornado não será maior que max_length. Isso pode significar que nem toda a entrada compactada poderá ser processada, e os dados não consumidos serão armazenados no atributo unconsumed_tail . Esse bytestring deve ser passado para uma chamada subsequente a decompress() se a descompressão tiver que continuar. Se max_length for zero, toda a entrada será descompactada e unconsumed_tail ficará vazio.

Alterado na versão 3.6: max_length pode ser usado como argumento nomeado.

Decompress.flush([length])

Toda a entrada que estiver pendente é processada e um objeto de bytes contendo a saída descompactada restante é retornado. Depois de chamar flush(), o método decompress() não pode ser chamado novamente; a única ação possível é excluir o objeto.

O parâmetro opcional comprimento define o tamanho inicial da saída do buffer.

Decompress.copy()

Retorna uma cópia do objeto de descompressão. Isso pode ser usado para salvar o estado do descompressor no meio do fluxo de dados, a fim de acelerar as buscas aleatórias no fluxo em um ponto futuro.

Alterado na versão 3.8: As funções copy.copy() e copy.deepcopy() foram adicionadas como suporte para a descompressão de objetos.

As informações sobre o versão da biblioteca zlib em uso estão disponíveis no seguinte constantes:

zlib.ZLIB_VERSION

Uma string com a versão da biblioteca zlib que foi usada para construir o módulo. Isso pode ser diferente da biblioteca zlib realmente usada no tempo de execução, que está disponível como ZLIB_RUNTIME_VERSION.

zlib.ZLIB_RUNTIME_VERSION

Uma string com a versão da biblioteca zlib atualmente utilizada pelo interpretador.

Adicionado na versão 3.3.

Ver também

módulo gzip

Leia e escreva arquivos no formato gzip

http://www.zlib.net

A página inicial da biblioteca zlib.

http://www.zlib.net/manual.html

O manual da zlib explica a semântica e uso de diversas funções desta biblioteca.

gzip — Support for gzip files

Código-fonte: Lib/gzip.py [https://github.com/python/cpython/tree/3.13/Lib/gzip.py]

Esse módulo disponibiliza uma interface simples para comprimir e extrair arquivos como os programas GNU gzip e gunzip fazem.

A compressão de dados é realizada pelo módulo zlib.

The gzip module provides the GzipFile class, as well as the open(), compress() and decompress() convenience functions. The GzipFile class reads and writes gzip-format files, automatically compressing or decompressing the data so that it looks like an ordinary file object.

Note that additional file formats which can be decompressed by the gzip and gunzip programs, such as those produced by compress and pack, are not supported by this module.

Este módulo define os seguintes itens:

gzip.open(filename, mode='rb', compresslevel=9, encoding=None, errors=None, newline=None)

Abre um arquivo comprimido com gzip em modo binário ou texto, retornando file object.

The filename argument can be an actual filename (a str or bytes object), or an existing file object to read from or write to.

The mode argument can be any of 'r', 'rb', 'a', 'ab', 'w', 'wb', 'x' or 'xb' for binary mode, or 'rt', 'at', 'wt', or 'xt' for text mode. The default is 'rb'.

The compresslevel argument is an integer from 0 to 9, as for the GzipFile constructor.

For binary mode, this function is equivalent to the GzipFile constructor: GzipFile(filename, mode, compresslevel). In this case, the encoding, errors and newline arguments must not be provided.

For text mode, a GzipFile object is created, and wrapped in an io.TextIOWrapper instance with the specified encoding, error handling behavior, and line ending(s).

Alterado na versão 3.3: Added support for filename being a file object, support for text mode, and the encoding, errors and newline arguments.

Alterado na versão 3.4: Adicionado suporte para os modos 'x', 'xb' e 'xt'.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

exception gzip.BadGzipFile

An exception raised for invalid gzip files. It inherits from OSError. EOFError and zlib.error can also be raised for invalid gzip files.

Adicionado na versão 3.8.

class gzip.GzipFile(filename=None, mode=None, compresslevel=9, fileobj=None, mtime=None)

Constructor for the GzipFile class, which simulates most of the methods of a file object, with the exception of the truncate() method. At least one of fileobj and filename must be given a non-trivial value.

The new class instance is based on fileobj, which can be a regular file, an io.BytesIO object, or any other object which simulates a file. It defaults to None, in which case filename is opened to provide a file object.

When fileobj is not None, the filename argument is only used to be included in the gzip file header, which may include the original filename of the uncompressed file. It defaults to the filename of fileobj, if discernible; otherwise, it defaults to the empty string, and in this case the original filename is not included in the header.

The mode argument can be any of 'r', 'rb', 'a', 'ab', 'w', 'wb', 'x', or 'xb', depending on whether the file will be read or written. The default is the mode of fileobj if discernible; otherwise, the default is 'rb'. In future Python releases the mode of fileobj will not be used. It is better to always specify mode for writing.

Note that the file is always opened in binary mode. To open a compressed file in text mode, use open() (or wrap your GzipFile with an io.TextIOWrapper).

The compresslevel argument is an integer from 0 to 9 controlling the level of compression; 1 is fastest and produces the least compression, and 9 is slowest and produces the most compression. 0 is no compression. The default is 9.

The optional mtime argument is the timestamp requested by gzip. The time is in Unix format, i.e., seconds since 00:00:00 UTC, January 1, 1970. If mtime is omitted or None, the current time is used. Use mtime = 0 to generate a compressed stream that does not depend on creation time.

See below for the mtime attribute that is set when decompressing.

Calling a GzipFile object’s close() method does not close fileobj, since you might wish to append more material after the compressed data. This also allows you to pass an io.BytesIO object opened for writing as fileobj, and retrieve the resulting memory buffer using the io.BytesIO object’s getvalue() method.

GzipFile supports the io.BufferedIOBase interface, including iteration and the with statement. Only the truncate() method isn’t implemented.

GzipFile também disponibiliza os seguintes métodos e atributos:

peek(n)

Read n uncompressed bytes without advancing the file position. At most one single read on the compressed stream is done to satisfy the call. The number of bytes returned may be more or less than requested.

Nota

While calling peek() does not change the file position of the GzipFile, it may change the position of the underlying file object (e.g. if the GzipFile was constructed with the fileobj parameter).

Adicionado na versão 3.2.

mode

'rb' para leitura e 'wb' para escrita.

Alterado na versão 3.13: Em versões anteriores era um inteiro 1 ou 2.

mtime

When decompressing, this attribute is set to the last timestamp in the most recently read header. It is an integer, holding the number of seconds since the Unix epoch (00:00:00 UTC, January 1, 1970). The initial value before reading any headers is None.

name

The path to the gzip file on disk, as a str or bytes. Equivalent to the output of os.fspath() on the original input path, with no other normalization, resolution or expansion.

Alterado na versão 3.1: Support for the with statement was added, along with the mtime constructor argument and mtime attribute.

Alterado na versão 3.2: Support for zero-padded and unseekable files was added.

Alterado na versão 3.3: O método io.BufferedIOBase.read1() foi implementado agora.

Alterado na versão 3.4: Added support for the 'x' and 'xb' modes.

Alterado na versão 3.5: Added support for writing arbitrary bytes-like objects. The read() method now accepts an argument of None.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Obsoleto desde a versão 3.9: Opening GzipFile for writing without specifying the mode argument is deprecated.

Alterado na versão 3.12: Remove the filename attribute, use the name attribute instead.

gzip.compress(data, compresslevel=9, *, mtime=None)

Compress the data, returning a bytes object containing the compressed data. compresslevel and mtime have the same meaning as in the GzipFile constructor above.

Adicionado na versão 3.2.

Alterado na versão 3.8: Added the mtime parameter for reproducible output.

Alterado na versão 3.11: Speed is improved by compressing all data at once instead of in a streamed fashion. Calls with mtime set to 0 are delegated to zlib.compress() for better speed. In this situation the output may contain a gzip header “OS” byte value other than 255 “unknown” as supplied by the underlying zlib implementation.

Alterado na versão 3.13: The gzip header OS byte is guaranteed to be set to 255 when this function is used as was the case in 3.10 and earlier.

gzip.decompress(data)

Decompress the data, returning a bytes object containing the uncompressed data. This function is capable of decompressing multi-member gzip data (multiple gzip blocks concatenated together). When the data is certain to contain only one member the zlib.decompress() function with wbits set to 31 is faster.

Adicionado na versão 3.2.

Alterado na versão 3.11: Speed is improved by decompressing members at once in memory instead of in a streamed fashion.

Exemplos de uso

Exemplo de como ler um arquivo comprimido:

import gzip
with gzip.open('/home/joe/file.txt.gz', 'rb') as f:
    file_content = f.read()

Exemplo de como criar um arquivo comprimido com GZIP:

import gzip
content = b"Lots of content here"
with gzip.open('/home/joe/file.txt.gz', 'wb') as f:
    f.write(content)

Exemplo de como comprimir um arquivo existente com GZIP:

import gzip
import shutil
with open('/home/joe/file.txt', 'rb') as f_in:
    with gzip.open('/home/joe/file.txt.gz', 'wb') as f_out:
        shutil.copyfileobj(f_in, f_out)

Exemplo de como comprimir uma string binária com compressão GZIP:

import gzip
s_in = b"Lots of content here"
s_out = gzip.compress(s_in)

Ver também

Módulo zlib

The basic data compression module needed to support the gzip file format.

Interface de linha de comando

The gzip module provides a simple command line interface to compress or decompress files.

Once executed the gzip module keeps the input file(s).

Alterado na versão 3.8: Add a new command line interface with a usage. By default, when you will execute the CLI, the default compression level is 6.

Opções da linha de comando

file

Se o arquivo não for especificado, ler de sys.stdin

--fast

Indica o método mais rápido de compressão (menor compressão)

--best

Indica o método mais lento de compressão (melhor compressão).

-d, --decompress

Descompacta o arquivo dado.

-h, --help

Exibe a mensagem de ajuda.

bz2 — Suporte para compressão bzip2

Código-fonte: Lib/bz2.py [https://github.com/python/cpython/tree/3.13/Lib/bz2.py]

Este módulo fornece uma interface abrangente para compactar e descompactar dados usando o algoritmo de compactação bzip2.

O módulo bz2 contém:

A função open() e a classe BZ2File para leitura e escrita de arquivos compactados.

As classes BZ2Compressor e BZ2Decompressor para (des)compressão incremental.

As funções compress() e decompress() para (des)compressão de uma só vez.

(Des)compressão de arquivos

bz2.open(filename, mode='rb', compresslevel=9, encoding=None, errors=None, newline=None)

Abre um arquivo compactado com bzip2 no modo binário ou texto, retornando um objeto arquivo.

Assim como no construtor para BZ2File, o argumento filename pode ser um nome de arquivo real (um objeto str ou bytes), ou um objeto arquivo existente para ler ou gravar.

O argumento mode pode ser qualquer um de 'r', 'rb', 'w', 'wb', 'x', 'xb', 'a' ou 'ab' para modo binário, ou 'rt', 'wt', 'xt' ou 'at' para modo texto. O padrão é 'rb'.

O argumento compresslevel é um inteiro de 1 a 9, como para o construtor BZ2File.

Para o modo binário, esta função é equivalente ao construtor de BZ2File: BZ2File(filename, mode, compresslevel=compresslevel). Neste caso, os argumentos encoding, errors e newline não devem ser fornecidos.

Para o modo texto, um objeto BZ2File é criado e envolto em uma instância io.TextIOWrapper com a codificação especificada, comportamento de tratamento de erros e final(is) de linha.

Adicionado na versão 3.3.

Alterado na versão 3.4: O modo 'x' (criação exclusiva) foi adicionado.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

class bz2.BZ2File(filename, mode='r', *, compresslevel=9)

Abre um arquivo compactado com bzip2 no modo binário.

Se filename for um objeto str ou bytes, abra o arquivo nomeado diretamente. Caso contrário, filename deve ser um objeto arquivo, que será usado para ler ou gravar os dados compactados.

O argumento mode pode ser 'r' para leitura (padrão), 'w' para substituição, 'x' para criação exclusiva ou 'a' para anexar. Estes podem ser equivalentemente dados como 'rb', 'wb', 'xb' e 'ab' respectivamente.

Se filename for um objeto arquivo (ao invés de um nome de arquivo real), um modo de 'w' não truncará o arquivo e será equivalente a 'a'.

Se mode for 'w' ou 'a', compresslevel pode ser um inteiro entre 1 e 9 especificando o nível de compressão: 1 produz a menor compressão e 9 (padrão) produz a maior compactação.

Se mode for 'r', o arquivo de entrada pode ser a concatenação de vários fluxos compactados.

BZ2File fornece todos os membros especificados pelo io.BufferedIOBase, exceto detach() e truncate(). Iteração e a instrução with são suportadas.

BZ2File também fornece os seguintes métodos e atributos:

peek([n])

Retorna dados armazenados em buffer sem avançar a posição do arquivo. Pelo menos um byte de dados será retornado (a menos que em EOF). O número exato de bytes retornados não é especificado.

Nota

Enquanto chamar peek() não altera a posição do arquivo de BZ2File, pode alterar a posição do objeto de arquivo subjacente (por exemplo, se o BZ2File foi construído passando um objeto de arquivo para filename).

Adicionado na versão 3.3.

fileno()

Retorna o endereço descritor de arquivo do arquivo subjacente.

Adicionado na versão 3.3.

readable()

Retorna se o arquivo foi aberto para leitura.

Adicionado na versão 3.3.

seekable()

Retorna se o arquivo suporta a busca.

Adicionado na versão 3.3.

writable()

Retorna se o arquivo foi aberto para gravação.

Adicionado na versão 3.3.

read1(size=-1)

Lê até o tamanho size de bytes não compactados, tentando evitar várias leituras do fluxo subjacente. Lê até um valor buffer de dados se o tamanho for negativo.

Retorna b'' se o arquivo tiver atingido EOF, ou seja, o fim do arquivo.

Adicionado na versão 3.3.

readinto(b)

Lêr bytes para b.

Retorna o número de bytes lidos (0 para EOF).

Adicionado na versão 3.3.

mode

'rb' para leitura e 'wb' para escrita.

Adicionado na versão 3.13.

name

O nome do arquivo bzip2. Equivalente ao atributo name do objeto arquivo subjacente.

Adicionado na versão 3.13.

Alterado na versão 3.1: Suporte para a instrução with foi adicionado.

Alterado na versão 3.3: Foi adicionado suporte para filename ser um objeto arquivo em vez de um nome de arquivo real.

O modo 'a' (anexar) foi adicionado, juntamente com suporte para leitura de arquivos multifluxo.

Alterado na versão 3.4: O modo 'x' (criação exclusiva) foi adicionado.

Alterado na versão 3.5: O método read() agora aceita um argumento de None.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.9: O parâmetro buffering foi removido. Foi ignorado e descontinuado desde o Python 3.0. Passe um objeto arquivo aberto para controlar como o arquivo é aberto.

O parâmetro compresslevel tornou-se somente-nomeado.

Alterado na versão 3.10: Esta classe não é segura para threads diante de vários leitores ou escritores simultâneos, assim como suas classes equivalentes em gzip e lzma sempre foram.

(Des)compressão incremental

class bz2.BZ2Compressor(compresslevel=9)

Cria um novo objeto compressor. Este objeto pode ser usado para compactar dados de forma incremental. Para compactação única, use a função compress().

compresslevel, se fornecido, deve ser um inteiro entre 1 e 9. O padrão é 9.

compress(data)

Fornece dados para o objeto compressor. Retorna um pedaço de dados compactados, se possível, ou uma string de bytes vazia, caso contrário.

Quando você terminar de fornecer dados ao compactador, chame o método flush() para finalizar o processo de compressão.

flush()

Finaliza o processo de compactação. Retorna os dados compactados deixados em buffers internos.

O objeto compactador não pode ser usado após a chamada deste método.

class bz2.BZ2Decompressor

Cria um novo objeto descompactador. Este objeto pode ser usado para descompactar dados de forma incremental. Para compactação única, use a função decompress().

Nota

Esta classe não trata de forma transparente entradas contendo múltiplos fluxos compactados, ao contrário de decompress() e BZ2File. Se você precisar descompactar uma entrada multifluxo com BZ2Decompressor, você deve usar um novo descompactador para cada fluxo.

decompress(data, max_length=-1)

Descompacta dados data (um objeto bytes ou similar), retornando dados não compactados como bytes. Alguns dos data podem ser armazenados em buffer internamente, para uso em chamadas posteriores para decompress(). Os dados retornados devem ser concatenados com a saída de qualquer chamada anterior para decompress().

Se max_length for não negativo, retornará no máximo max_length bytes de dados descompactados. Se este limite for atingido e mais saída puder ser produzida, o atributo needs_input será definido como False. Neste caso, a próxima chamada para decompress() pode fornecer data como b'' para obter mais saída.

Se todos os dados de entrada foram descompactados e retornados (seja porque era menor que max_length bytes, ou porque max_length era negativo), o atributo needs_input será definido como True .

A tentativa de descompactar os dados após o final do fluxo ser atingido gera um EOFError. Quaisquer dados encontrados após o final do fluxo são ignorados e salvos no atributo unused_data.

Alterado na versão 3.5: Adicionado o parâmetro max_length.

eof

True se o marcador de fim de fluxo foi atingido.

Adicionado na versão 3.3.

unused_data

Dados encontrados após o término do fluxo compactado.

Se este atributo for acessado antes do final do fluxo ser alcançado, seu valor será b''.

needs_input

False se o método decompress() puder fornecer mais dados descompactados antes de exigir uma nova entrada descompactada.

Adicionado na versão 3.5.

(De)compressão de uma só vez (one-shot)

bz2.compress(data, compresslevel=9)

Compacta data, um objeto bytes ou similar.

compresslevel, se fornecido, deve ser um inteiro entre 1 e 9. O padrão é 9.

Para compressão incremental, use um BZ2Compressor.

bz2.decompress(data)

Descompacta data, um objeto bytes ou similar.

Se data for a concatenação de vários fluxos compactados, descompacta todos os fluxos.

Para descompressão incremental, use um BZ2Decompressor.

Alterado na versão 3.3: Suporte para entradas multifluxo foi adicionado.

Exemplos de uso

Abaixo estão alguns exemplos de uso típico do módulo bz2.

Usando compress() e decompress() para demonstrar a compactação de ida e volta:

>>> import bz2
>>> data = b"""\
... Donec rhoncus quis sapien sit amet molestie. Fusce scelerisque vel augue
... nec ullamcorper. Nam rutrum pretium placerat. Aliquam vel tristique lorem,
... sit amet cursus ante. In interdum laoreet mi, sit amet ultrices purus
... pulvinar a. Nam gravida euismod magna, non varius justo tincidunt feugiat.
... Aliquam pharetra lacus non risus vehicula rutrum. Maecenas aliquam leo
... felis. Pellentesque semper nunc sit amet nibh ullamcorper, ac elementum
... dolor luctus. Curabitur lacinia mi ornare consectetur vestibulum."""
>>> c = bz2.compress(data)
>>> len(data) / len(c)  # Data compression ratio
1.513595166163142
>>> d = bz2.decompress(c)
>>> data == d  # Check equality to original object after round-trip
True

Usando BZ2Compressor para compressão incremental:

>>> import bz2
>>> def gen_data(chunks=10, chunksize=1000):
...     """Yield incremental blocks of chunksize bytes."""
...     for _ in range(chunks):
...         yield b"z" * chunksize
...
>>> comp = bz2.BZ2Compressor()
>>> out = b""
>>> for chunk in gen_data():
...     # Provide data to the compressor object
...     out = out + comp.compress(chunk)
...
>>> # Finish the compression process.  Call this once you have
>>> # finished providing data to the compressor.
>>> out = out + comp.flush()

O exemplo acima usa um fluxo de dados muito “não aleatório” (um fluxo de partes b"z"). Dados aleatórios tendem a compactar mal, enquanto dados ordenados e repetitivos geralmente produzem uma alta taxa de compactação.

Escrevendo e lendo um arquivo compactado com bzip2 no modo binário:

>>> import bz2
>>> data = b"""\
... Donec rhoncus quis sapien sit amet molestie. Fusce scelerisque vel augue
... nec ullamcorper. Nam rutrum pretium placerat. Aliquam vel tristique lorem,
... sit amet cursus ante. In interdum laoreet mi, sit amet ultrices purus
... pulvinar a. Nam gravida euismod magna, non varius justo tincidunt feugiat.
... Aliquam pharetra lacus non risus vehicula rutrum. Maecenas aliquam leo
... felis. Pellentesque semper nunc sit amet nibh ullamcorper, ac elementum
... dolor luctus. Curabitur lacinia mi ornare consectetur vestibulum."""
>>> with bz2.open("myfile.bz2", "wb") as f:
...     # Write compressed data to file
...     unused = f.write(data)
...
>>> with bz2.open("myfile.bz2", "rb") as f:
...     # Decompress data from file
...     content = f.read()
...
>>> content == data  # Check equality to original object after round-trip
True

lzma — Compression using the LZMA algorithm

Adicionado na versão 3.3.

Código-fonte: Lib/lzma.py [https://github.com/python/cpython/tree/3.13/Lib/lzma.py]

Este módulo fornece classes e funções de conveniência para compactar e descompactar dados usando o algoritmo de compactação LZMA. Também está incluída uma interface de arquivo que oferece suporte aos formatos de arquivo .xz e legado .lzma usados pelo utilitário xz, bem como fluxos brutos compactados.

A interface fornecida por este módulo é muito semelhante à do módulo bz2. Observe que LZMAFile e bz2.BZ2File não são seguro para thread, portanto, se você precisar usar uma única instância LZMAFile de vários threads, é necessário protegê-la com uma trava.

exception lzma.LZMAError

Essa exceção é levantada quando ocorre um erro durante a compactação ou descompactação ou durante a inicialização do estado compactador/descompactador.

Lendo e escrevendo arquivos compactados

lzma.open(filename, mode='rb', *, format=None, check=-1, preset=None, filters=None, encoding=None, errors=None, newline=None)

Abre um arquivo compactado com LZMA no modo binário ou texto, retornando um objeto arquivo.

O argumento filename pode ser um nome de arquivo real (dado como um objeto str, bytes ou caminho ou similar), neste caso o arquivo nomeado é aberto , ou pode ser um objeto arquivo existente para leitura ou escrita.

O argumento mode pode ser qualquer um de "r", "rb", "w", "wb", "x", "xb", "a" ou "ab" para modo binário, ou "rt", "wt", "xt" , ou "at" para o modo de texto. O padrão é "rb".

Ao abrir um arquivo para leitura, os argumentos format e filters têm os mesmos significados que em LZMADecompressor. Neste caso, os argumentos check e preset não devem ser usados.

Ao abrir um arquivo para escrita, os argumentos format, check, preset e filters têm os mesmos significados que em LZMACompressor.

Para o modo binário, esta função é equivalente ao construtor LZMAFile: LZMAFile(filename, mode, ...). Nesse caso, os argumentos encoding, errors e newline não devem ser fornecidos.

Para o modo texto, um objeto LZMAFile é criado e encapsulado em uma instância io.TextIOWrapper com a codificação especificada, comportamento de tratamento de erros e final(is) de linha.

Alterado na versão 3.4: Adicionado suporte para os modos "x", "xb" e "xt".

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

class lzma.LZMAFile(filename=None, mode='r', *, format=None, check=-1, preset=None, filters=None)

Abre um arquivo compactado com LZMA no modo binário.

Um LZMAFile pode envolver um objeto arquivo já aberto, ou operar diretamente em um arquivo nomeado. O argumento filename especifica o objeto arquivo a ser encapsulado ou o nome do arquivo a ser aberto (como um objeto str, bytes ou caminho ou similar). Ao agrupar um objeto de arquivo existente, o arquivo agrupado não será fechado quando o LZMAFile for fechado.

O argumento mode pode ser "r" para leitura (padrão), "w" para substituição, "x" para criação exclusiva ou "a" para anexar. Estes podem ser equivalentemente dados como "rb", "wb", "xb" e "ab" respectivamente.

Se filename for um objeto arquivo (em vez de um nome de arquivo real), um modo de "w" não truncará o arquivo e será equivalente a "a".

Ao abrir um arquivo para leitura, o arquivo de entrada pode ser a concatenação de vários fluxos compactados separados. Estes são decodificados de forma transparente como um único fluxo lógico.

Ao abrir um arquivo para leitura, os argumentos format e filters têm os mesmos significados que em LZMADecompressor. Neste caso, os argumentos check e preset não devem ser usados.

Ao abrir um arquivo para escrita, os argumentos format, check, preset e filters têm os mesmos significados que em LZMACompressor.

LZMAFile supports all the members specified by io.BufferedIOBase, except for detach() and truncate(). Iteration and the with statement are supported.

The following method and attributes are also provided:

peek(size=-1)

Retorna dados armazenados em buffer sem avançar a posição do arquivo. Pelo menos um byte de dados será retornado, a menos que o EOF tenha sido atingido. O número exato de bytes retornados não é especificado (o argumento size é ignorado).

Nota

Enquanto chamar peek() não altera a posição do arquivo de LZMAFile, pode alterar a posição do objeto arquivo subjacente (por exemplo, se o LZMAFile foi construído passando um objeto arquivo para nome do arquivo).

mode

'rb' para leitura e 'wb' para escrita.

Adicionado na versão 3.13.

name

The lzma file name. Equivalent to the name attribute of the underlying file object.

Adicionado na versão 3.13.

Alterado na versão 3.4: Adicionado suporte para os modos "x" e "xb".

Alterado na versão 3.5: O método read() agora aceita um argumento de None.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Compactando e descompactando dados na memória

class lzma.LZMACompressor(format=FORMAT_XZ, check=-1, preset=None, filters=None)

Cria um objeto compactador, que pode ser usado para compactar dados de forma incremental.

Para uma maneira mais conveniente de compactar um único bloco de dados, consulte compress().

O argumento format especifica qual formato de contêiner deve ser usado. Os valores possíveis são:

FORMAT_XZ: O formato de contêiner .xz.

Este é o formato padrão.

FORMAT_ALONE: O formato de contêiner legado .lzma.

Este formato é mais limitado que .xz – ele não oferece suporte a verificações de integridade ou filtros múltiplos.

FORMAT_RAW: Um fluxo de dados brutos, que não usa nenhum formato de contêiner.

Esse especificador de formato não oferece suporte a verificações de integridade e exige que você sempre especifique uma cadeia de filtros personalizada (para compactação e descompactação). Além disso, dados compactados dessa maneira não podem ser descompactados usando FORMAT_AUTO (veja LZMADecompressor).

O argumento check especifica o tipo de verificação de integridade a ser incluída nos dados compactados. Essa verificação é usada ao descompactar, para garantir que os dados não foram corrompidos. Os valores possíveis são:

CHECK_NONE: Sem verificação de integridade. Este é o padrão (e o único valor aceitável) para FORMAT_ALONE e FORMAT_RAW.

CHECK_CRC32: Verificação de redundância cíclica de 32 bits.

CHECK_CRC64: Verificação de redundância cíclica de 64 bits. Este é o padrão para FORMAT_XZ.

CHECK_SHA256: Algoritmo de hash seguro de 256 bits.

Se a verificação especificada não for suportada, uma exceção LZMAError será levantada.

As configurações de compactação podem ser especificadas como um nível de compactação predefinido (com o argumento preset) ou em detalhes como uma cadeia de filtros personalizada (com o argumento filters).

O argumento preset (se fornecido) deve ser um inteiro entre 0 e 9 (inclusive), opcionalmente com OR com a constante PRESET_EXTREME. Se nem preset nem filters forem fornecidos, o comportamento padrão é usar PRESET_DEFAULT (nível predefinido 6). Predefinições mais altas produzem uma saída menor, mas tornam o processo de compactação mais lento.

Nota

Além de consumir mais CPU, a compactação com predefinições mais altas também requer muito mais memória (e produz uma saída que precisa de mais memória para descompactar). Com a predefinição 9 por exemplo, a sobrecarga para um objeto LZMACompressor pode chegar a 800 MiB. Por esse motivo, geralmente é melhor ficar com a predefinição padrão.

O argumento filters (se fornecido) deve ser um especificador de cadeia de filtros. Veja Specifying custom filter chains para detalhes.

compress(data)

Compress data (a bytes object), returning a bytes object containing compressed data for at least part of the input. Some of data may be buffered internally, for use in later calls to compress() and flush(). The returned data should be concatenated with the output of any previous calls to compress().

flush()

Finish the compression process, returning a bytes object containing any data stored in the compressor’s internal buffers.

The compressor cannot be used after this method has been called.

class lzma.LZMADecompressor(format=FORMAT_AUTO, memlimit=None, filters=None)

Create a decompressor object, which can be used to decompress data incrementally.

For a more convenient way of decompressing an entire compressed stream at once, see decompress().

The format argument specifies the container format that should be used. The default is FORMAT_AUTO, which can decompress both .xz and .lzma files. Other possible values are FORMAT_XZ, FORMAT_ALONE, and FORMAT_RAW.

The memlimit argument specifies a limit (in bytes) on the amount of memory that the decompressor can use. When this argument is used, decompression will fail with an LZMAError if it is not possible to decompress the input within the given memory limit.

The filters argument specifies the filter chain that was used to create the stream being decompressed. This argument is required if format is FORMAT_RAW, but should not be used for other formats. See Specifying custom filter chains for more information about filter chains.

Nota

This class does not transparently handle inputs containing multiple compressed streams, unlike decompress() and LZMAFile. To decompress a multi-stream input with LZMADecompressor, you must create a new decompressor for each stream.

decompress(data, max_length=-1)

Descompacta dados data (um objeto bytes ou similar), retornando dados não compactados como bytes. Alguns dos data podem ser armazenados em buffer internamente, para uso em chamadas posteriores para decompress(). Os dados retornados devem ser concatenados com a saída de qualquer chamada anterior para decompress().

Se max_length for não negativo, retornará no máximo max_length bytes de dados descompactados. Se este limite for atingido e mais saída puder ser produzida, o atributo needs_input será definido como False. Neste caso, a próxima chamada para decompress() pode fornecer data como b'' para obter mais saída.

Se todos os dados de entrada foram descompactados e retornados (seja porque era menor que max_length bytes, ou porque max_length era negativo), o atributo needs_input será definido como True .

A tentativa de descompactar os dados após o final do fluxo ser atingido gera um EOFError. Quaisquer dados encontrados após o final do fluxo são ignorados e salvos no atributo unused_data.

Alterado na versão 3.5: Adicionado o parâmetro max_length.

check

The ID of the integrity check used by the input stream. This may be CHECK_UNKNOWN until enough of the input has been decoded to determine what integrity check it uses.

eof

True se o marcador de fim de fluxo foi atingido.

unused_data

Dados encontrados após o término do fluxo compactado.

Before the end of the stream is reached, this will be b"".

needs_input

False se o método decompress() puder fornecer mais dados descompactados antes de exigir uma nova entrada descompactada.

Adicionado na versão 3.5.

lzma.compress(data, format=FORMAT_XZ, check=-1, preset=None, filters=None)

Compress data (a bytes object), returning the compressed data as a bytes object.

See LZMACompressor above for a description of the format, check, preset and filters arguments.

lzma.decompress(data, format=FORMAT_AUTO, memlimit=None, filters=None)

Decompress data (a bytes object), returning the uncompressed data as a bytes object.

If data is the concatenation of multiple distinct compressed streams, decompress all of these streams, and return the concatenation of the results.

See LZMADecompressor above for a description of the format, memlimit and filters arguments.

Diversos

lzma.is_check_supported(check)

Return True if the given integrity check is supported on this system.

CHECK_NONE and CHECK_CRC32 are always supported. CHECK_CRC64 and CHECK_SHA256 may be unavailable if you are using a version of liblzma that was compiled with a limited feature set.

Specifying custom filter chains

A filter chain specifier is a sequence of dictionaries, where each dictionary contains the ID and options for a single filter. Each dictionary must contain the key "id", and may contain additional keys to specify filter-dependent options. Valid filter IDs are as follows:

Filtro Compression:

FILTER_LZMA1 (para ser usado com FORMAT_ALONE)

FILTER_LZMA2 (para ser utilizado com FORMAT_XZ and FORMAT_RAW)

Delta filter:

FILTER_DELTA

Branch-Call-Jump (BCJ) filters:

FILTER_X86

FILTER_IA64

FILTER_ARM

FILTER_ARMTHUMB

FILTER_POWERPC

FILTER_SPARC

A filter chain can consist of up to 4 filters, and cannot be empty. The last filter in the chain must be a compression filter, and any other filters must be delta or BCJ filters.

Compression filters support the following options (specified as additional entries in the dictionary representing the filter):

preset: A compression preset to use as a source of default values for options that are not specified explicitly.

dict_size: Dictionary size in bytes. This should be between 4 KiB and 1.5 GiB (inclusive).

lc: Number of literal context bits.

lp: Number of literal position bits. The sum lc + lp must be at most 4.

pb: Number of position bits; must be at most 4.

mode: MODE_FAST or MODE_NORMAL.

nice_len: What should be considered a “nice length” for a match. This should be 273 or less.

mf: What match finder to use – MF_HC3, MF_HC4, MF_BT2, MF_BT3, or MF_BT4.

depth: Maximum search depth used by match finder. 0 (default) means to select automatically based on other filter options.

The delta filter stores the differences between bytes, producing more repetitive input for the compressor in certain circumstances. It supports one option, dist. This indicates the distance between bytes to be subtracted. The default is 1, i.e. take the differences between adjacent bytes.

The BCJ filters are intended to be applied to machine code. They convert relative branches, calls and jumps in the code to use absolute addressing, with the aim of increasing the redundancy that can be exploited by the compressor. These filters support one option, start_offset. This specifies the address that should be mapped to the beginning of the input data. The default is 0.

Exemplos

Reading in a compressed file:

import lzma
with lzma.open("file.xz") as f:
    file_content = f.read()

Criando um arquivo comprimido:

import lzma
data = b"Insert Data Here"
with lzma.open("file.xz", "w") as f:
    f.write(data)

Compressing data in memory:

import lzma
data_in = b"Insert Data Here"
data_out = lzma.compress(data_in)

Compressão incremental:

import lzma
lzc = lzma.LZMACompressor()
out1 = lzc.compress(b"Some data\n")
out2 = lzc.compress(b"Another piece of data\n")
out3 = lzc.compress(b"Even more data\n")
out4 = lzc.flush()
# Concatenate all the partial results:
result = b"".join([out1, out2, out3, out4])

Writing compressed data to an already-open file:

import lzma
with open("file.xz", "wb") as f:
    f.write(b"This data will not be compressed\n")
    with lzma.open(f, "w") as lzf:
        lzf.write(b"This *will* be compressed\n")
    f.write(b"Not compressed\n")

Creating a compressed file using a custom filter chain:

import lzma
my_filters = [
    {"id": lzma.FILTER_DELTA, "dist": 5},
    {"id": lzma.FILTER_LZMA2, "preset": 7 | lzma.PRESET_EXTREME},
]
with lzma.open("file.xz", "w", filters=my_filters) as f:
    f.write(b"blah blah blah")

zipfile — Trabalha com arquivos ZIP

Código-fonte: Lib/zipfile/ [https://github.com/python/cpython/tree/3.13/Lib/zipfile/]

O formato de arquivo ZIP é um padrão de compactação e arquivamento. Este módulo fornece ferramentas para criar, ler, escrever, adicionar, e listar um arquivo ZIP. Qualquer uso avançado deste módulo vai exigir um entendimento do formato, como definido nas Notas de Aplicação do PKZIP [https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT].

Esse módulo atualmente não suporta arquivos ZIP multi-disco. Ele pode manipular arquivos ZIP que usam as extensões ZIP64 (ou seja arquivos ZIP com tamanho maior do que 4 Gb). Ele suporta descriptografia de arquivos criptografados dentro do ZIP, mas atualmente não pode criar um arquivo criptografado. A descriptografia é extremamente lenta pois é implementada em Python nativo ao invés de C.

Este módulo define os seguintes itens:

exception zipfile.BadZipFile

Este erro é levantado para arquivos ZIP corrompidos.

Adicionado na versão 3.2.

exception zipfile.BadZipfile

Alias para BadZipFile, para compatibilidade com versões mais antigas de Python.

Obsoleto desde a versão 3.2.

exception zipfile.LargeZipFile

Este erro é levantado quando um arquivo ZIP precisa da funcionalidade ZIP64 que não está habilitada.

class zipfile.ZipFile

A classe para ler e escrever arquivos ZIP. Veja a seção Objetos ZipFile para detalhes do construtor.

class zipfile.Path

Classe que implementa um subconjunto da interface fornecida por pathlib.Path, incluindo a interface completa importlib.resources.abc.Traversable.

Adicionado na versão 3.8.

class zipfile.PyZipFile

Classe para criar arquivos ZIP contendo bibliotecas Python.

class zipfile.ZipInfo(filename='NoName', date_time=(1980, 1, 1, 0, 0, 0))

Classe usada para representar informação sobre um membro de um archive. Instâncias desta classe são retornadas pelos métodos getinfo() e infolist() de objetos da classe ZipFile. A maioria dos usuários do módulo zipfile não vai precisar criar, mas apenas usar objetos criados pelo módulo. filename deveria ser o caminho completo do membro do arquivo, e date_time deveria ser uma tupla contendo seis campos que descrevem o momento da última modificação no arquivo; os campos são descritos na seção Objetos ZipInfo.

Alterado na versão 3.13: Um atributo público compress_level foi adicionado para expor o _compresslevel anteriormente protegido. O nome protegido mais antigo continua a funcionar como uma propriedade para compatibilidade com versões anteriores.

zipfile.is_zipfile(filename)

Retorna True se filename é um arquivo ZIP válido baseado no seu “magic number”, caso contrário retorna False. filename pode ser um arquivo ou um objeto arquivo ou similar também.

Alterado na versão 3.1: Suporte para arquivo e objetos arquivo ou similares.

zipfile.ZIP_STORED

Código numérico para um membro de um arquivo descompactado

zipfile.ZIP_DEFLATED

Código numérico para o método de compactação usual. Requer o módulo zlib .

zipfile.ZIP_BZIP2

Código numérico para o método de compactação BZIP2. Requer o módulo bz2.

Adicionado na versão 3.3.

zipfile.ZIP_LZMA

Código numérico para o método de compactação LZMA. Requer o módulo lzma.

Adicionado na versão 3.3.

Nota

A especificação do formato ZIP incluiu suporte para compactação bzip2 desde 2001, e para compactação LZMA desde 2006. Porém, algumas ferramentas (incluindo versões mais antigas de Python) não suportam esses métodos de compactação, e podem recusar processar o arquivo ZIP como um todo, ou falhar em extrair arquivos individuais.

Ver também

Notas da Aplicação do PKZIP [https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT]

Documentação do formato de arquivo ZIP feita por Phil Katz, criador do formato e dos algoritmos usados.

Site do Info-ZIP [https://infozip.sourceforge.net/]

Informações sobre o programas de arquivamento e desenvolvimento de bibliotecas do projeto Info-ZIP.

Objetos ZipFile

class zipfile.ZipFile(file, mode='r', compression=ZIP_STORED, allowZip64=True, compresslevel=None, *, strict_timestamps=True, metadata_encoding=None)

Abre um arquivo ZIP, onde file pode ser um caminho para um arquivo (uma string), um objeto arquivo ou similar, ou um objeto caminho ou similar.

O parâmetro mode deve ser 'r' para ler um arquivo existente, 'w' para truncar e gravar um novo arquivo, 'a' para adicionar a um arquivo existente, ou 'x' exclusivamente para criar e gravar um novo arquivo. Se o mode é 'x' e file se refere a um arquivo existente, um FileExistsError vai ser levantado. Se o mode é 'a' e file se refere a um arquivo ZIP existente, então arquivos adicionais são adicionados ao mesmo. Se file não se refere a um arquivo ZIP, então um novo arquivo ZIP é adicionado ao arquivo. Isso diz respeito a adicionar um arquivo ZIP a um outro arquivo (como por exemplo python.exe). Se o mode é 'a' e o arquivo não existe, ele será criado. Se o mode é 'r' ou 'a', o arquivo deve ser percorrível.

compression é o método de compactação ZIP para usar ao escrever o arquivo, e deve ser ZIP_STORED, ZIP_DEFLATED, ZIP_BZIP2 ou ZIP_LZMA; valores desconhecidos devem causar o levantamento de NotImplementedError. Se ZIP_DEFLATED, ZIP_BZIP2 ou ZIP_LZMA for especificado mas o módulo correspondente (zlib, bz2 ou lzma) não estiver disponível, é levado um RuntimeError. O valor padrão é ZIP_STORED.

Se allowZip64 é True (valor padrão), então zipfile vai criar arquivos ZIP que usem as extensões ZIP64 quando o arquivo ZIP é maior do que 4 GiB. Se é false, zipfile levanta uma exceção quando o arquivo ZIP precisaria das extensões ZIP64.

O parâmetro compresslevel controla o nível de compactação para usar ao gravar no arquivo ZIP. Quando usado ZIP_STORED ou ZIP_LZMA não tem efeito. Quando usado ZIP_DEFLATED inteiros de 0 a 9 são aceitos (veja zlib para mais informações). Quando usado ZIP_BZIP2 inteiros de 1 a 9 são aceitos (veja bz2 para mais informações).

O argumento strict_timestamps, quando definido como False, permite compactar arquivos anteriores a 1980-01-01 com o custo de definir o carimbo de data/hora para 1980-01-01. Comportamento semelhante ocorre com arquivos mais recentes que 2107-12-31, o carimbo de data/hora também é definido como o limite.

Quando o modo é 'r', metadata_encoding pode ser definido como o nome de um codec, que será usado para decodificar metadados, como os nomes dos membros e comentários ZIP.

Se o arquivo é criado com modo 'w', 'x' ou 'a' e então closed() sem adicionar nada ao arquivo, a estrutura própria para um arquivo vazio será escrita no arquivo.

ZipFile também é um gerenciador de contexto e portanto suporta a instrução with. Neste exemplo, myzip é fechado ao final da execução da instrução with – mesmo que ocorra uma exceção:

with ZipFile('spam.zip', 'w') as myzip:
    myzip.write('eggs.txt')

Nota

metadata_encoding é uma configuração em toda a instância para o ZipFile. Atualmente, não é possível definir isso em uma base por membro.

Este atributo é uma solução alternativa para implementações legadas que produzem arquivos com nomes na codificação da localidade atual ou página de código (principalmente no Windows). De acordo com o padrão .ZIP, a codificação dos metadados pode ser especificada como página de código IBM (padrão) ou UTF-8 por meio de um sinalizador no cabeçalho do arquivo. Esse sinalizador tem precedência sobre metadata_encoding, que é uma extensão específica do Python.

Alterado na versão 3.2: Adicionado o uso de ZipFile como um gerenciador de contexto.

Alterado na versão 3.3: Adicionado suporte para compactação bzip2 e lzma.

Alterado na versão 3.4: Extensões ZIP64 são habilitadas por padrão.

Alterado na versão 3.5: Adicionado suporte para escrever em streams não percorríveis. Adicionado suporte ao modo 'x'.

Alterado na versão 3.6: Anteriormente, um simples RuntimeError era levantado para valores de compactação desconhecidos.

Alterado na versão 3.6.2: O parâmetro file aceita um objeto caminho ou similar.

Alterado na versão 3.7: Adicionado o parâmetro compresslevel.

Alterado na versão 3.8: O parâmetro somente-nomeado strict_timestamps.

Alterado na versão 3.11: Adicionado suporte para especificar a codificação do nome do membro ao ler metadados no diretório e cabeçalhos de arquivo do arquivo zip.

ZipFile.close()

Fecha o arquivo. Você deve chamar close() antes de sair do seu programa ou registros essenciais não serão gravados.

ZipFile.getinfo(name)

Retorna um objeto ZipInfo com informações sobre o name do membro do arquivo. Chamar getinfo() para um nome não encontrado no arquivo levanta um KeyError.

ZipFile.infolist()

Retorna uma lista contendo um objeto ZipInfo para cada membro do arquivo. Os objetos estão na mesma ordem das entradas no arquivo ZIP em disco se um arquivo existente foi aberto.

ZipFile.namelist()

Retorna uma lista de membros do arquivo por nome.

ZipFile.open(name, mode='r', pwd=None, *, force_zip64=False)

Acessa um membro do arquivo como um objeto binário arquivo ou similar. name pode ser o nome de um arquivo membro ou um objeto ZipInfo. O parâmetro mode, se informado, deve ser 'r' (valor padrão) or 'w'. pwd é a senha usada para descriptografar arquivos ZIP criptografados como um objeto bytes.

open() também é um gerenciador de contexto e, portanto, suporta a instrução with:

with ZipFile('spam.zip') as myzip:
    with myzip.open('eggs.txt') as myfile:
        print(myfile.read())

Com mode 'r' o objeto arquivo ou similar (ZipExtFile) é somente leitura e fornece os seguintes métodos: read(), readline(), readlines(), seek(), tell(), __iter__(), __next__(). Esses objetos podem operar independentemente do ZipFile.

Com mode='w', é retornado um manipulador de arquivo, que suporta o método write(). Quando um manipulador de arquivo modificável é aberto, tentativas de ler ou gravar outros arquivos no arquivo ZIP levanta um ValueError.

Em ambos os casos o objeto arquivo ou similar também possui atributos name, que é equivalente ao nome de um arquivo dentro do arquivo, e mode, que é 'rb' ou 'wb' dependendo do modo de entrada.

Ao gravar um arquivo, se o tamanho do arquivo não é conhecido mas pode exceder 2 GiB, passe force_zip64=True para assegurar que o formato do header é capaz de suportar arquivos grandes. Se o tamanho do arquivo é conhecido, construa um objeto ZipInfo com file_size informado, então use-o como parâmetro name.

Nota

Os métodos open(), read() e extract() podem receber um nome de arquivo ou um objeto ZipInfo. Você vai gostar disso quando tentar ler um arquivo ZIP que contém membros com nomes duplicados.

Alterado na versão 3.6: Removido suporte ao mode='U'. Uso de io.TextIOWrapper para leitura de arquivos texto compactados em modo de novas linhas universais.

Alterado na versão 3.6: ZipFile.open() agora pode ser usado para escrever arquivos no aquivo compactado com a opção mode='w'.

Alterado na versão 3.6: Chama open() em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado.

Alterado na versão 3.13: Adicionados atributos name e mode para o objeto arquivo ou similar gravável. O valor do atributo mode para o objeto arquivo ou similar legível foi alterado de 'r' para 'rb'.

ZipFile.extract(member, path=None, pwd=None)

Extrai um membro do arquivo para o diretório atual; member deve ser o nome completo ou um objeto ZipInfo. A informação do arquivo é extraída com maior precisão possível. path especifica um outro diretório em que deve ser gravado. member pode ser um nome de arquivo ou um objeto ZipInfo. pwd é a senha usada para criptografar arquivos como um objeto bytes.

Retorna o caminho normalizado criado (um diretório ou novo arquivo).

Nota

Se um nome de arquivo membro é um caminho absoluto, o drive/UNC e (contra)barras no início serão removidos, por exemplo: ///foo/bar se torna foo/bar no Unix, e C:\foo\bar vira foo\bar no Windows. E todos os componentes ".." no nome de um arquivo membro serão removidos, por exemplo: ../../foo../../ba..r vira foo../ba..r. No Windows caracteres ilegais (:, <, >, |, ", ?, and *) são substituídos por underscore (_).

Alterado na versão 3.6: Chama extract() em um ZipFile fechado levanto um ValueError. Anteriormente, um RuntimeError era levantado.

Alterado na versão 3.6.2: O parâmetro path aceita um objeto caminho ou similar.

ZipFile.extractall(path=None, members=None, pwd=None)

Extrai todos os membros de um arquivo para o diretório atual. path especifica um diretório diferente para gravar os arquivos extraídos. members é opcional e deve ser um sub-conjunto da lista retornada por namelist(). pwd é uma senha usada para criptografar arquivos como um objeto bytes.

Aviso

Nunca extrai arquivos de fontes não confiáveis sem inspeção prévia. É possível que os arquivos sejam criados fora do path, por exemplo membros que tem nomes absolutos de arquivos começando com "/" ou nomes com dois pontos "..". Este módulo tenta prevenir isto. Veja nota em extract().

Alterado na versão 3.6: Chama extractall() em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado.

Alterado na versão 3.6.2: O parâmetro path aceita um objeto caminho ou similar.

ZipFile.printdir()

Imprime a tabela de conteúdos de um arquivo para sys.stdout.

ZipFile.setpassword(pwd)

Define pwd (um objeto bytes) como senha padrão para extrair arquivos criptografados.

ZipFile.read(name, pwd=None)

Retorna os bytes do arquivo name no arquivo compactado. name é o nome do arquivo no arquivo compactado, ou um objeto ZipInfo. O arquivo compactado deve estar aberto para leitura ou acréscimo. pwd é a senha usada para arquivos criptografados como um objeto bytes e, se especificada, vai sobrepor a senha padrão configurada com setpassword(). Chamar read() em um ZipFile que use um método de compactação diferente de ZIP_STORED, ZIP_DEFLATED, ZIP_BZIP2 ou ZIP_LZMA levanta um NotImplementedError. Um erro também é levantado se o módulo de compactação correspondente não está disponível.

Alterado na versão 3.6: Chama read() em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado.

ZipFile.testzip()

Lê todos os arquivos no arquivo compactado e verifica seus CRC’s e cabeçalhos de arquivo. Retorna o nome do primeiro arquivo corrompido, or então retorna None.

Alterado na versão 3.6: Chama testzip() em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado.

ZipFile.write(filename, arcname=None, compress_type=None, compresslevel=None)

Grava o arquivo chamado filename no arquivo compactado, dando ao arquivo compactado o nome arcname (por padrão, este é o mesmo de filename, mas sem a letra do drive e com separadores removidos do início do nome). Se informado, compress_type sobrescreve o valor dado ao parâmetro compression do construtor para a nova entrada. Da mesma forma, compresslevel vai sobrescrever o construtor se informado. O arquivo compactado deve ser aberto em modo 'w', 'x' ou 'a'.

Nota

O padrão de arquivo ZIP historicamente não especificava uma codificação de metadados, mas recomendava fortemente o CP437 (a codificação original do PC da IBM) para interoperabilidade. Versões recentes permitem o uso de (somente) UTF-8. Neste módulo, o UTF-8 será automaticamente usado para escrever os nomes dos membros se eles contiverem caracteres não ASCII. Não é possível escrever nomes de membros em qualquer codificação que não seja ASCII ou UTF-8.

Nota

Nomes de arquivo compactado devem ser relativos a raiz do mesmo, isto é, não devem começar com um separador de caminho.

Nota

Se arcname (ou filename, se arcname não for informado) contém um byte nulo, o nome do arquivo no arquivo compactado será truncado no byte nulo.

Nota

Uma barra inicial no nome do arquivo pode fazer com que o arquivo seja impossível de abrir em alguns programas zip em sistemas Windows.

Alterado na versão 3.6: Chama write() em um ZipFile criado com modo 'r' ou em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado

ZipFile.writestr(zinfo_or_arcname, data, compress_type=None, compresslevel=None)

Grava um arquivo no arquivo compactado. O conteúdo é data, que pode ser uma instância de str ou de bytes; Se é uma str, ela é encodada como UTF-8 primeiro. zinfo_or_arcname é o nome que será dado ao arquivo no arquivo compactado, ou uma instância de ZipInfo. Se é uma instância, pelo menos o nome do arquivo, a data, e a hora devem ser informados. Se é um nome, a data e hora recebem a data e hora atual. O arquivo compactado deve ser aberto em modo 'w', 'x' ou 'a'.

Se informado, compress_type sobrescreve o valor do parâmetro compression do construtor para a nova entrada, ou no zinfo_or_arcname (se é uma instância de ZipInfo). Da mesma forma, compresslevel vai sobrescrever o construtor se informado.

Nota

Quando é passada uma instância de ZipInfo ou o parâmetro zinfo_or_arcname, o método de compactação usado será aquele especificado no compress_type da instância de ZipInfo. Por padrão, o construtor da classe ZipInfo seta este membro para ZIP_STORED.

Alterado na versão 3.2: O argumento compress_type.

Alterado na versão 3.6: Chama writestr() em um ZipFile criado com modo 'r' ou em um ZipFile fechado levanta um ValueError. Anteriormente, um RuntimeError era levantado.

ZipFile.mkdir(zinfo_or_directory, mode=511)

Cria um diretório dentro do arquivo. Se zinfo_or_directory for uma string, um diretório é criado dentro do arquivo com o modo especificado no argumento mode. No entanto, se zinfo_or_directory for uma instância ZipInfo, o argumento mode é ignorado.

O arquivo deve ser aberto com o modo 'w', 'x' ou 'a'.

Adicionado na versão 3.11.

Os seguintes atributos de dados também estão disponíveis:

ZipFile.filename

Nome do arquivo ZIP.

ZipFile.debug

O nível de saída de debug para usar. Pode ser setado de 0 (valor padrão, sem nenhuma saída) a 3 (com mais saída). A informação de debug é escrita em sys.stdout.

ZipFile.comment

O comentário associado ao arquivo ZIP como um objeto bytes. Se atribuir um comentário a uma instância ZipFile criada com o modo 'w', 'x' ou 'a', não deve ser maior que 65535 bytes. Comentários mais longos do que isso serão truncados.

Objetos Path

class zipfile.Path(root, at='')

Construir um objeto Path a partir de um arquivo zip root (que pode ser uma instância ZipFile ou file adequado para passar para o construtor ZipFile).

at especifica a localização deste caminho dentro do arquivo zip, por exemplo, “dir/arquivo.txt”, “dir/” ou “”. O padrão é a string vazia, indicando a raiz.

Objetos Path expõem os seguintes recursos de objetos pathlib.Path:

Objetos Path podem ser percorridos usando o operador / ou joinpath.

Path.name

O componente final do caminho.

Path.open(mode='r', *, pwd, **)

Invoca ZipFile.open() no caminho atual. Permite a abertura para leitura ou escrita, texto ou binário através dos modos suportados: “r”, “w”, “rb”, “wb”. Argumentos posicionais e argumentos nomeados são passados para io.TextIOWrapper quando abertos como texto e ignorados caso contrário. pwd é o parâmetro pwd para ZipFile.open().

Alterado na versão 3.9: Adicionado suporte para modos de texto e binários para aberto. O modo padrão agora é texto.

Alterado na versão 3.11.2: O parâmetro encoding pode ser fornecido como um argumento posicional sem causar um TypeError. Como poderia em 3.9. O código que precisa ser compatível com as versões 3.10 e 3.11 não corrigidas deve passar todos os argumentos de io.TextIOWrapper, incluindo encoding, como palavras reservadas.

Path.iterdir()

Enumera os filhos do diretório atual.

Path.is_dir()

Retorna True se o contexto atual fizer referência a um diretório.

Path.is_file()

Retorna True se o contexto atual fizer referência a um arquivo.

Path.is_symlink()

Retorna True se o contexto atual fizer referência a um link simbólico.

Adicionado na versão 3.12.

Alterado na versão 3.13: Anteriormente, is_symlink retornava False incondicionalmente.

Path.exists()

Retorna True se o contexto atual fizer referência a um arquivo ou diretório no arquivo zip.

Path.suffix

A última parte separada por pontos do componente final, se houver. Isso é comumente chamado de extensão de arquivo.

Adicionado na versão 3.11: Adicionada a propriedade Path.suffix.

Path.stem

O componente final do caminho, sem seu sufixo.

Adicionado na versão 3.11: Adicionada a propriedade Path.stem.

Path.suffixes

Uma lista dos sufixos do caminho, comumente chamados de extensões de arquivo.

Adicionado na versão 3.11: Adicionada a propriedade Path.suffixes.

Path.read_text(*, **)

Leia o arquivo atual como texto Unicode. Argumentos posicionais e argumentos nomeados são passados para io.TextIOWrapper (exceto buffer, que está implícito no contexto).

Alterado na versão 3.11.2: O parâmetro encoding pode ser fornecido como um argumento posicional sem causar um TypeError. Como poderia em 3.9. O código que precisa ser compatível com as versões 3.10 e 3.11 não corrigidas deve passar todos os argumentos de io.TextIOWrapper, incluindo encoding, como palavras reservadas.

Path.read_bytes()

Lê o arquivo atual como bytes.

Path.joinpath(*other)

Retorna um novo objeto Path com cada um dos outros argumentos unidos. Os seguintes são equivalentes:

>>> Path(...).joinpath('child').joinpath('grandchild')
>>> Path(...).joinpath('child', 'grandchild')
>>> Path(...) / 'child' / 'grandchild'

Alterado na versão 3.10: Antes de 3.10, joinpath não estava documentado e aceitava exatamente um parâmetro.

O projeto zipp [https://pypi.org/project/zipp/] fornece backports da funcionalidade mais recente de objeto caminho para versões mais antigas do Pythons. Use zipp.Path internamente de zipfile.Path para acesso antecipado às alterações.

Objetos PyZipFile

O construtor PyZipFile usa os mesmos parâmetros que o construtor ZipFile, e um parâmetro adicional, otimize.

class zipfile.PyZipFile(file, mode='r', compression=ZIP_STORED, allowZip64=True, optimize=-1)

Alterado na versão 3.2: Adicionado o parâmetro optimize.

Alterado na versão 3.4: Extensões ZIP64 são habilitadas por padrão.

As instâncias têm um método além daqueles dos objetos ZipFile:

writepy(pathname, basename='', filterfunc=None)

Pesquisa por arquivos *.py e adiciona o arquivo correspondente ao arquivo.

Se o parâmetro optimize para PyZipFile não foi fornecido ou -1, o arquivo correspondente é um arquivo *.pyc, compilando se necessário.

Se o parâmetro Optimize para PyZipFile era 0, 1 ou 2, apenas arquivos com esse nível de otimização (ver compile()) são adicionados ao o arquivo, compilando se necessário.

Se pathname for um arquivo, o nome do arquivo deverá terminar com .py, e apenas o arquivo (*.pyc correspondente) será adicionado no nível superior (sem informações do caminho). Se pathname for um arquivo que não termine com .py, um RuntimeError será levantado. Se for um diretório, e o diretório não for um diretório de pacotes, todos os arquivos *.pyc serão adicionados no nível superior. Se o diretório for um diretório de pacotes, todos *.pyc serão adicionados sob o nome do pacote como um caminho de arquivo e, se algum subdiretório for um diretório de pacotes, todos serão adicionados recursivamente na ordem de classificação.

basename destina-se apenas a uso interno.

filterfunc, se fornecido, deve ser uma função que recebe um único argumento de string. Cada caminho será passado (incluindo cada caminho de arquivo completo individual) antes de ser adicionado ao arquivo. Se filterfunc retornar um valor falso, o caminho não será adicionado e, se for um diretório, seu conteúdo será ignorado. Por exemplo, se nossos arquivos de teste estão todos nos diretórios test ou começam com a string test_, podemos usar um filterfunc para excluí-los:

>>> zf = PyZipFile('myprog.zip')
>>> def notests(s):
...     fn = os.path.basename(s)
...     return (not (fn == 'test' or fn.startswith('test_')))
...
>>> zf.writepy('myprog', filterfunc=notests)

O método writepy() faz arquivos com nomes de arquivo como este:

string.pyc                   # Top level name
test/__init__.pyc            # Package directory
test/testall.pyc             # Module test.testall
test/bogus/__init__.pyc      # Subpackage directory
test/bogus/myfile.pyc        # Submodule test.bogus.myfile

Alterado na versão 3.4: Adicionado o parâmetro filterfunc.

Alterado na versão 3.6.2: O parâmetro pathname aceita um objeto caminho ou similar.

Alterado na versão 3.7: A recursão classifica as entradas de diretório.

Objetos ZipInfo

Instâncias da classe ZipInfo são retornadas pelos métodos getinfo() e infolist() dos objetos ZipFile. Cada objeto armazena informações sobre um único membro do arquivo ZIP.

Existe um método de classe para fazer uma instância ZipInfo para um arquivo de sistema de arquivos:

classmethod ZipInfo.from_file(filename, arcname=None, *, strict_timestamps=True)

Constrói uma instância ZipInfo para um arquivo no sistema de arquivos, em preparação para adicioná-lo a um arquivo zip.

filename deve ser o caminho para um arquivo ou diretório no sistema de arquivos.

Se arcname for especificado, ele será usado como o nome dentro do arquivo. Se arcname não for especificado, o nome será igual a filename, mas com qualquer letra de unidade e separadores de caminho removidos.

O argumento strict_timestamps, quando definido como False, permite compactar arquivos anteriores a 1980-01-01 com o custo de definir o carimbo de data/hora para 1980-01-01. Comportamento semelhante ocorre com arquivos mais recentes que 2107-12-31, o carimbo de data/hora também é definido como o limite.

Adicionado na versão 3.6.

Alterado na versão 3.6.2: O parâmetro filename aceita um objeto caminho ou similar.

Alterado na versão 3.8: Adicionado o parâmetro somente-nomeado strict_timestamps.

As instâncias têm os seguintes métodos e atributos:

ZipInfo.is_dir()

Retorna True se este membro do arquivo for um diretório.

Isso usa o nome da entrada: os diretórios devem sempre terminar com /.

Adicionado na versão 3.6.

ZipInfo.filename

Nome do arquivo no pacote.

ZipInfo.date_time

A hora e a data da última modificação do membro do arquivo. Esta é uma tupla de seis valores:

Índice

Valor

0

Ano (>= 1980)

1

Mês (iniciado em 1)

2

Dia do mês (iniciado em 1)

3

Horas (iniciado em 0)

4

Minutos (base zero)

5

Segundos (iniciado em 0)

Nota

O formato de arquivo ZIP não oferece suporte a carimbos de data/hora anteriores a 1980.

ZipInfo.compress_type

Tipo de compressão do membro do pacote.

ZipInfo.comment

Comentário para o membro individual do pacote como um objeto bytes.

ZipInfo.extra

Dados do campo de expansão. O PKZIP Application Note [https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT] contém alguns comentários sobre a estrutura interna dos dados contidos neste objeto bytes.

ZipInfo.create_system

O sistema que criou o pacote ZIP.

ZipInfo.create_version

A versão do PKZIP que criou o pacote ZIP.

ZipInfo.extract_version

A versão do PKZIP necessária para extrair o pacote.

ZipInfo.reserved

Deve ser zero

ZipInfo.flag_bits

Bits de sinalizador do ZIP.

ZipInfo.volume

Número de volume do cabeçalho do arquivo.

ZipInfo.internal_attr

Atributos internos.

ZipInfo.external_attr

Atributos de arquivo externo.

ZipInfo.header_offset

Deslocamento de byte para o cabeçalho do arquivo.

ZipInfo.CRC

CRC-32 do arquivo não comprimido.

ZipInfo.compress_size

Tamanho dos dados comprimidos.

ZipInfo.file_size

Tamanho do arquivo não comprimido.

Interface de Linha de Comando

O módulo zipfile fornece uma interface de linha de comando simples para interagir com arquivos ZIP.

Se você deseja criar um novo arquivo ZIP, especifique seu nome após a opção -c e, em seguida, liste os nomes dos arquivos que devem ser incluídos:

$ python -m zipfile -c monty.zip spam.txt eggs.txt

Passar um diretório também é aceitável:

$ python -m zipfile -c monty.zip life-of-brian_1979/

Se você deseja extrair um arquivo ZIP para o diretório especificado, use a opção -e:

$ python -m zipfile -e monty.zip target-dir/

Para obter uma lista dos arquivos em um arquivo ZIP, use a opção -l:

$ python -m zipfile -l monty.zip

Opções de linha de comando

-l <zipfile>

--list <zipfile>

Lista arquivos em um arquivo zip.

-c <zipfile> <source1> ... <sourceN>

--create <zipfile> <source1> ... <sourceN>

Cria um arquivo zip a partir dos arquivos fonte.

-e <zipfile> <output_dir>

--extract <zipfile> <output_dir>

Extrai um arquivo zip para um diretório de destino.

-t <zipfile>

--test <zipfile>

Testa se o arquivo zip é válido ou não.

--metadata-encoding <encoding>

Especifica a codificação dos nomes dos membros para -l, -e e -t.

Adicionado na versão 3.11.

Armadilhas de descompressão

A extração no módulo zipfile pode falhar devido a algumas armadilhas listadas abaixo.

Do próprio arquivo

A descompactação pode falhar devido a senha / soma de verificação CRC / formato ZIP incorretos ou método de compactação / descriptografia não compatível.

Limitações do sistema de arquivos

Exceder as limitações em sistemas de arquivos diferentes pode causar falha na descompactação. Como caracteres permitidos nas entradas do diretório, comprimento do nome do arquivo, comprimento do caminho, tamanho de um único arquivo e número de arquivos, etc.

Limitações de recursos

A falta de memória ou volume de disco levaria a uma falha de descompactação. Por exemplo, bombas de descompressão (também conhecidas como ZIP bomb [https://en.wikipedia.org/wiki/Zip_bomb]) aplicam-se à biblioteca de arquivos zip que podem causar o esgotamento do volume do disco.

Interrupção

A interrupção durante a descompressão, como pressionar Control-C ou interromper o processo de descompressão pode resultar na descompressão incompleta do arquivo.

Comportamentos padrão da extração

Não saber os comportamentos de extração padrão pode causar resultados de descompressão inesperados. Por exemplo, ao extrair o mesmo arquivo duas vezes, ele sobrescreve os arquivos sem perguntar.

tarfile — Ler e gravar arquivos do tipo tar

Código-fonte: Lib/tarfile.py [https://github.com/python/cpython/tree/3.13/Lib/tarfile.py]

The tarfile module makes it possible to read and write tar archives, including those using gzip, bz2 and lzma compression. Use the zipfile module to read or write .zip files, or the higher-level functions in shutil.

Some facts and figures:

reads and writes gzip, bz2 and lzma compressed archives if the respective modules are available.

read/write support for the POSIX.1-1988 (ustar) format.

read/write support for the GNU tar format including longname and longlink extensions, read-only support for all variants of the sparse extension including restoration of sparse files.

read/write support for the POSIX.1-2001 (pax) format.

handles directories, regular files, hardlinks, symbolic links, fifos, character devices and block devices and is able to acquire and restore file information like timestamp, access permissions and owner.

Alterado na versão 3.3: Adiciona suporte para compressão lzma.

Alterado na versão 3.12: Archives are extracted using a filter, which makes it possible to either limit surprising/dangerous features, or to acknowledge that they are expected and the archive is fully trusted. By default, archives are fully trusted, but this default is deprecated and slated to change in Python 3.14.

tarfile.open(name=None, mode='r', fileobj=None, bufsize=10240, **kwargs)

Return a TarFile object for the pathname name. For detailed information on TarFile objects and the keyword arguments that are allowed, see TarFile Objects.

mode has to be a string of the form 'filemode[:compression]', it defaults to 'r'. Here is a full list of mode combinations:

modo

ação

'r' or 'r:*'

Open for reading with transparent compression (recommended).

'r:'

Open for reading exclusively without compression.

'r:gz'

Aberto para leitura com compactação gzip.

'r:bz2'

Aberto para leitura com compactação bzip2.

'r:xz'

Aberto para leitura com compactação lzma.

'x' ou 'x:'

Create a tarfile exclusively without compression. Raise a FileExistsError exception if it already exists.

'x:gz'

Create a tarfile with gzip compression. Raise a FileExistsError exception if it already exists.

'x:bz2'

Create a tarfile with bzip2 compression. Raise a FileExistsError exception if it already exists.

'x:xz'

Create a tarfile with lzma compression. Raise a FileExistsError exception if it already exists.

'a' or 'a:'

Open for appending with no compression. The file is created if it does not exist.

'w' or 'w:'

Aberto para gravação não compactada.

'w:gz'

Aberto para gravação compactada com gzip.

'w:bz2'

Aberto para gravação compactada com bzip2.

'w:xz'

Aberto para gravação compactada com lzma.

Note that 'a:gz', 'a:bz2' or 'a:xz' is not possible. If mode is not suitable to open a certain (compressed) file for reading, ReadError is raised. Use mode 'r' to avoid this. If a compression method is not supported, CompressionError is raised.

If fileobj is specified, it is used as an alternative to a file object opened in binary mode for name. It is supposed to be at position 0.

For modes 'w:gz', 'x:gz', 'w|gz', 'w:bz2', 'x:bz2', 'w|bz2', tarfile.open() accepts the keyword argument compresslevel (default 9) to specify the compression level of the file.

For modes 'w:xz' and 'x:xz', tarfile.open() accepts the keyword argument preset to specify the compression level of the file.

For special purposes, there is a second format for mode: 'filemode|[compression]'. tarfile.open() will return a TarFile object that processes its data as a stream of blocks. No random seeking will be done on the file. If given, fileobj may be any object that has a read() or write() method (depending on the mode) that works with bytes. bufsize specifies the blocksize and defaults to 20 * 512 bytes. Use this variant in combination with e.g. sys.stdin.buffer, a socket file object or a tape device. However, such a TarFile object is limited in that it does not allow random access, see Exemplos. The currently possible modes:

Modo

Ação

'r|*'

Abre um stream de blocos tar para leitura com compactação transparente.

'r|'

Abre um stream de blocos tar não compactados para leitura.

'r|gz'

Abre um stream compactado com gzip para leitura.

'r|bz2'

Abre um stream compactado com bzip2 para leitura.

'r|xz'

Abre um stream compactado com lzma para leitura.

'w|'

Abre um stream descompactado para gravação.

'w|gz'

Abre um stream compactado com gzip para gravação.

'w|bz2'

Abre um stream compactado com bzip2 para gravação.

'w|xz'

Abre um stream compactado com lzma para gravação.

Alterado na versão 3.5: O modo 'x' (criação exclusiva) foi adicionado.

Alterado na versão 3.6: The name parameter accepts a path-like object.

Alterado na versão 3.12: The compresslevel keyword argument also works for streams.

class tarfile.TarFile

Class for reading and writing tar archives. Do not use this class directly: use tarfile.open() instead. See TarFile Objects.

tarfile.is_tarfile(name)

Return True if name is a tar archive file, that the tarfile module can read. name may be a str, file, or file-like object.

Alterado na versão 3.9: Suporte para arquivo e objetos arquivo ou similares.

The tarfile module defines the following exceptions:

exception tarfile.TarError

Classe base para todas as exceções de tarfile.

exception tarfile.ReadError

Is raised when a tar archive is opened, that either cannot be handled by the tarfile module or is somehow invalid.

exception tarfile.CompressionError

Is raised when a compression method is not supported or when the data cannot be decoded properly.

exception tarfile.StreamError

Is raised for the limitations that are typical for stream-like TarFile objects.

exception tarfile.ExtractError

Is raised for non-fatal errors when using TarFile.extract(), but only if TarFile.errorlevel== 2.

exception tarfile.HeaderError

Is raised by TarInfo.frombuf() if the buffer it gets is invalid.

exception tarfile.FilterError

Base class for members refused by filters.

tarinfo

Information about the member that the filter refused to extract, as TarInfo.

exception tarfile.AbsolutePathError

Raised to refuse extracting a member with an absolute path.

exception tarfile.OutsideDestinationError

Raised to refuse extracting a member outside the destination directory.

exception tarfile.SpecialFileError

Raised to refuse extracting a special file (e.g. a device or pipe).

exception tarfile.AbsoluteLinkError

Raised to refuse extracting a symbolic link with an absolute path.

exception tarfile.LinkOutsideDestinationError

Raised to refuse extracting a symbolic link pointing outside the destination directory.

The following constants are available at the module level:

tarfile.ENCODING

The default character encoding: 'utf-8' on Windows, the value returned by sys.getfilesystemencoding() otherwise.

tarfile.REGTYPE

tarfile.AREGTYPE

Um arquivo normal type.

tarfile.LNKTYPE

A link (inside tarfile) type.

tarfile.SYMTYPE

A symbolic link type.

tarfile.CHRTYPE

A character special device type.

tarfile.BLKTYPE

A block special device type.

tarfile.DIRTYPE

A directory type.

tarfile.FIFOTYPE

A FIFO special device type.

tarfile.CONTTYPE

A contiguous file type.

tarfile.GNUTYPE_LONGNAME

A GNU tar longname type.

tarfile.GNUTYPE_LONGLINK

A GNU tar longlink type.

tarfile.GNUTYPE_SPARSE

A GNU tar sparse file type.

Each of the following constants defines a tar archive format that the tarfile module is able to create. See section Formatos tar suportados for details.

tarfile.USTAR_FORMAT

formato POSIX.1-1988 (ustar).

tarfile.GNU_FORMAT

Formato tar GNU

tarfile.PAX_FORMAT

formato POSIX.1-2001 (pax).

tarfile.DEFAULT_FORMAT

The default format for creating archives. This is currently PAX_FORMAT.

Alterado na versão 3.8: The default format for new archives was changed to PAX_FORMAT from GNU_FORMAT.

Ver também

Módulo zipfile

Documentation of the zipfile standard module.

Operações de arquivamento

Documentation of the higher-level archiving facilities provided by the standard shutil module.

GNU tar manual, Basic Tar Format [https://www.gnu.org/software/tar/manual/html_node/Standard.html]

Documentation for tar archive files, including GNU tar extensions.

TarFile Objects

The TarFile object provides an interface to a tar archive. A tar archive is a sequence of blocks. An archive member (a stored file) is made up of a header block followed by data blocks. It is possible to store a file in a tar archive several times. Each archive member is represented by a TarInfo object, see Objetos TarInfo for details.

A TarFile object can be used as a context manager in a with statement. It will automatically be closed when the block is completed. Please note that in the event of an exception an archive opened for writing will not be finalized; only the internally used file object will be closed. See the Exemplos section for a use case.

Adicionado na versão 3.2: Added support for the context management protocol.

class tarfile.TarFile(name=None, mode='r', fileobj=None, format=DEFAULT_FORMAT, tarinfo=TarInfo, dereference=False, ignore_zeros=False, encoding=ENCODING, errors='surrogateescape', pax_headers=None, debug=0, errorlevel=1, stream=False)

All following arguments are optional and can be accessed as instance attributes as well.

name is the pathname of the archive. name may be a path-like object. It can be omitted if fileobj is given. In this case, the file object’s name attribute is used if it exists.

mode is either 'r' to read from an existing archive, 'a' to append data to an existing file, 'w' to create a new file overwriting an existing one, or 'x' to create a new file only if it does not already exist.

If fileobj is given, it is used for reading or writing data. If it can be determined, mode is overridden by fileobj’s mode. fileobj will be used from position 0.

Nota

fileobj is not closed, when TarFile is closed.

format controls the archive format for writing. It must be one of the constants USTAR_FORMAT, GNU_FORMAT or PAX_FORMAT that are defined at module level. When reading, format will be automatically detected, even if different formats are present in a single archive.

The tarinfo argument can be used to replace the default TarInfo class with a different one.

If dereference is False, add symbolic and hard links to the archive. If it is True, add the content of the target files to the archive. This has no effect on systems that do not support symbolic links.

If ignore_zeros is False, treat an empty block as the end of the archive. If it is True, skip empty (and invalid) blocks and try to get as many members as possible. This is only useful for reading concatenated or damaged archives.

debug can be set from 0 (no debug messages) up to 3 (all debug messages). The messages are written to sys.stderr.

errorlevel controls how extraction errors are handled, see the corresponding attribute.

The encoding and errors arguments define the character encoding to be used for reading or writing the archive and how conversion errors are going to be handled. The default settings will work for most users. See section Problemas de Unicode for in-depth information.

The pax_headers argument is an optional dictionary of strings which will be added as a pax global header if format is PAX_FORMAT.

If stream is set to True then while reading the archive info about files in the archive are not cached, saving memory.

Alterado na versão 3.2: Use 'surrogateescape' as the default for the errors argument.

Alterado na versão 3.5: O modo 'x' (criação exclusiva) foi adicionado.

Alterado na versão 3.6: The name parameter accepts a path-like object.

Alterado na versão 3.13: Add the stream parameter.

classmethod TarFile.open(...)

Alternative constructor. The tarfile.open() function is actually a shortcut to this classmethod.

TarFile.getmember(name)

Return a TarInfo object for member name. If name can not be found in the archive, KeyError is raised.

Nota

If a member occurs more than once in the archive, its last occurrence is assumed to be the most up-to-date version.

TarFile.getmembers()

Retorna os membros do arquivo como uma lista de objetos TarInfo. A lista tem a mesma ordem que os membros no arquivo.

TarFile.getnames()

Return the members as a list of their names. It has the same order as the list returned by getmembers().

TarFile.list(verbose=True, *, members=None)

Print a table of contents to sys.stdout. If verbose is False, only the names of the members are printed. If it is True, output similar to that of ls -l is produced. If optional members is given, it must be a subset of the list returned by getmembers().

Alterado na versão 3.5: Added the members parameter.

TarFile.next()

Return the next member of the archive as a TarInfo object, when TarFile is opened for reading. Return None if there is no more available.

TarFile.extractall(path='.', members=None, *, numeric_owner=False, filter=None)

Extract all members from the archive to the current working directory or directory path. If optional members is given, it must be a subset of the list returned by getmembers(). Directory information like owner, modification time and permissions are set after all members have been extracted. This is done to work around two problems: A directory’s modification time is reset each time a file is created in it. And, if a directory’s permissions do not allow writing, extracting files to it will fail.

If numeric_owner is True, the uid and gid numbers from the tarfile are used to set the owner/group for the extracted files. Otherwise, the named values from the tarfile are used.

The filter argument specifies how members are modified or rejected before extraction. See Filtros de extração for details. It is recommended to set this explicitly depending on which tar features you need to support.

Aviso

Never extract archives from untrusted sources without prior inspection. It is possible that files are created outside of path, e.g. members that have absolute filenames starting with "/" or filenames with two dots "..".

Set filter='data' to prevent the most dangerous security issues, and read the Filtros de extração section for details.

Alterado na versão 3.5: Adicionado o parâmetro numeric_owner.

Alterado na versão 3.6: O parâmetro path aceita um objeto caminho ou similar.

Alterado na versão 3.12: Adicionado o parâmetro filter.

TarFile.extract(member, path='', set_attrs=True, *, numeric_owner=False, filter=None)

Extract a member from the archive to the current working directory, using its full name. Its file information is extracted as accurately as possible. member may be a filename or a TarInfo object. You can specify a different directory using path. path may be a path-like object. File attributes (owner, mtime, mode) are set unless set_attrs is false.

The numeric_owner and filter arguments are the same as for extractall().

Nota

The extract() method does not take care of several extraction issues. In most cases you should consider using the extractall() method.

Aviso

See the warning for extractall().

Set filter='data' to prevent the most dangerous security issues, and read the Filtros de extração section for details.

Alterado na versão 3.2: Added the set_attrs parameter.

Alterado na versão 3.5: Adicionado o parâmetro numeric_owner.

Alterado na versão 3.6: O parâmetro path aceita um objeto caminho ou similar.

Alterado na versão 3.12: Adicionado o parâmetro filter.

TarFile.extractfile(member)

Extract a member from the archive as a file object. member may be a filename or a TarInfo object. If member is a regular file or a link, an io.BufferedReader object is returned. For all other existing members, None is returned. If member does not appear in the archive, KeyError is raised.

Alterado na versão 3.3: Return an io.BufferedReader object.

Alterado na versão 3.13: The returned io.BufferedReader object has the mode attribute which is always equal to 'rb'.

TarFile.errorlevel: int

If errorlevel is 0, errors are ignored when using TarFile.extract() and TarFile.extractall(). Nevertheless, they appear as error messages in the debug output when debug is greater than 0. If 1 (the default), all fatal errors are raised as OSError or FilterError exceptions. If 2, all non-fatal errors are raised as TarError exceptions as well.

Some exceptions, e.g. ones caused by wrong argument types or data corruption, are always raised.

Custom extraction filters should raise FilterError for fatal errors and ExtractError for non-fatal ones.

Note that when an exception is raised, the archive may be partially extracted. It is the user’s responsibility to clean up.

TarFile.extraction_filter

Adicionado na versão 3.12.

The extraction filter used as a default for the filter argument of extract() and extractall().

The attribute may be None or a callable. String names are not allowed for this attribute, unlike the filter argument to extract().

If extraction_filter is None (the default), calling an extraction method without a filter argument will raise a DeprecationWarning, and fall back to the fully_trusted filter, whose dangerous behavior matches previous versions of Python.

In Python 3.14+, leaving extraction_filter=None will cause extraction methods to use the data filter by default.

The attribute may be set on instances or overridden in subclasses. It also is possible to set it on the TarFile class itself to set a global default, although, since it affects all uses of tarfile, it is best practice to only do so in top-level applications or site configuration. To set a global default this way, a filter function needs to be wrapped in staticmethod() to prevent injection of a self argument.

TarFile.add(name, arcname=None, recursive=True, *, filter=None)

Add the file name to the archive. name may be any type of file (directory, fifo, symbolic link, etc.). If given, arcname specifies an alternative name for the file in the archive. Directories are added recursively by default. This can be avoided by setting recursive to False. Recursion adds entries in sorted order. If filter is given, it should be a function that takes a TarInfo object argument and returns the changed TarInfo object. If it instead returns None the TarInfo object will be excluded from the archive. See Exemplos for an example.

Alterado na versão 3.2: Adicionado o parâmetro filter.

Alterado na versão 3.7: Recursion adds entries in sorted order.

TarFile.addfile(tarinfo, fileobj=None)

Add the TarInfo object tarinfo to the archive. If tarinfo represents a non zero-size regular file, the fileobj argument should be a binary file, and tarinfo.size bytes are read from it and added to the archive. You can create TarInfo objects directly, or by using gettarinfo().

Alterado na versão 3.13: fileobj must be given for non-zero-sized regular files.

TarFile.gettarinfo(name=None, arcname=None, fileobj=None)

Create a TarInfo object from the result of os.stat() or equivalent on an existing file. The file is either named by name, or specified as a file object fileobj with a file descriptor. name may be a path-like object. If given, arcname specifies an alternative name for the file in the archive, otherwise, the name is taken from fileobj’s name attribute, or the name argument. The name should be a text string.

You can modify some of the TarInfo’s attributes before you add it using addfile(). If the file object is not an ordinary file object positioned at the beginning of the file, attributes such as size may need modifying. This is the case for objects such as GzipFile. The name may also be modified, in which case arcname could be a dummy string.

Alterado na versão 3.6: The name parameter accepts a path-like object.

TarFile.close()

Close the TarFile. In write mode, two finishing zero blocks are appended to the archive.

TarFile.pax_headers: dict

Um dicionário contendo pares de chave-valor de cabeçalhos globais pax.

Objetos TarInfo

A TarInfo object represents one member in a TarFile. Aside from storing all required attributes of a file (like file type, size, time, permissions, owner etc.), it provides some useful methods to determine its type. It does not contain the file’s data itself.

TarInfo objects are returned by TarFile’s methods getmember(), getmembers() and gettarinfo().

Modifying the objects returned by getmember() or getmembers() will affect all subsequent operations on the archive. For cases where this is unwanted, you can use copy.copy() or call the replace() method to create a modified copy in one step.

Several attributes can be set to None to indicate that a piece of metadata is unused or unknown. Different TarInfo methods handle None differently:

The extract() or extractall() methods will ignore the corresponding metadata, leaving it set to a default.

addfile() falhará.

list() imprimirá uma string como um espaço reservado.

class tarfile.TarInfo(name='')

Cria um objeto TarInfo.

classmethod TarInfo.frombuf(buf, encoding, errors)

Cria e retorna um objeto TarInfo a partir do buffer de string do parâmetro buf.

Levanta HeaderError se o buffer for inválido.

classmethod TarInfo.fromtarfile(tarfile)

Read the next member from the TarFile object tarfile and return it as a TarInfo object.

TarInfo.tobuf(format=DEFAULT_FORMAT, encoding=ENCODING, errors='surrogateescape')

Create a string buffer from a TarInfo object. For information on the arguments see the constructor of the TarFile class.

Alterado na versão 3.2: Use 'surrogateescape' as the default for the errors argument.

A TarInfo object has the following public data attributes:

TarInfo.name: str

Nome do arquivo.

TarInfo.size: int

Tamanho em bytes.

TarInfo.mtime: int | float

Time of last modification in seconds since the epoch, as in os.stat_result.st_mtime.

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.mode: int

Permission bits, as for os.chmod().

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.type

File type. type is usually one of these constants: REGTYPE, AREGTYPE, LNKTYPE, SYMTYPE, DIRTYPE, FIFOTYPE, CONTTYPE, CHRTYPE, BLKTYPE, GNUTYPE_SPARSE. To determine the type of a TarInfo object more conveniently, use the is*() methods below.

TarInfo.linkname: str

Name of the target file name, which is only present in TarInfo objects of type LNKTYPE and SYMTYPE.

For symbolic links (SYMTYPE), the linkname is relative to the directory that contains the link. For hard links (LNKTYPE), the linkname is relative to the root of the archive.

TarInfo.uid: int

ID do usuário do usuário que originalmente armazenou este membro.

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.gid: int

ID do grupo do usuário que originalmente armazenou este membro.

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.uname: str

Nome do usuário.

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.gname: str

Nome do grupo.

Alterado na versão 3.12: Can be set to None for extract() and extractall(), causing extraction to skip applying this attribute.

TarInfo.chksum: int

Cabeçalho de soma de verificação.

TarInfo.devmajor: int

Número principal do dispositivo.

TarInfo.devminor: int

Número menor do dispositivo.

TarInfo.offset: int

O cabeçalho do tar começa aqui.

TarInfo.offset_data: int

Os dados do arquivo começam aqui.

TarInfo.sparse

Sparse member information.

TarInfo.pax_headers: dict

A dictionary containing key-value pairs of an associated pax extended header.

TarInfo.replace(name=..., mtime=..., mode=..., linkname=..., uid=..., gid=..., uname=..., gname=..., deep=True)

Adicionado na versão 3.12.

Return a new copy of the TarInfo object with the given attributes changed. For example, to return a TarInfo with the group name set to 'staff', use:

new_tarinfo = old_tarinfo.replace(gname='staff')

By default, a deep copy is made. If deep is false, the copy is shallow, i.e. pax_headers and any custom attributes are shared with the original TarInfo object.

A TarInfo object also provides some convenient query methods:

TarInfo.isfile()

Return True if the TarInfo object is a regular file.

TarInfo.isreg()

Igual a isfile().

TarInfo.isdir()

Retorna True se for um diretório.

TarInfo.issym()

Retorna True se for um link simbólico.

TarInfo.islnk()

Retorna True se for um link físico.

TarInfo.ischr()

Retorna True se for um caractere.

TarInfo.isblk()

Return True if it is a block device.

TarInfo.isfifo()

Retorna True se for um FIFO.

TarInfo.isdev()

Return True if it is one of character device, block device or FIFO.

Filtros de extração

Adicionado na versão 3.12.

The tar format is designed to capture all details of a UNIX-like filesystem, which makes it very powerful. Unfortunately, the features make it easy to create tar files that have unintended – and possibly malicious – effects when extracted. For example, extracting a tar file can overwrite arbitrary files in various ways (e.g. by using absolute paths, .. path components, or symlinks that affect later members).

In most cases, the full functionality is not needed. Therefore, tarfile supports extraction filters: a mechanism to limit functionality, and thus mitigate some of the security issues.

Ver também

PEP 706 [https://peps.python.org/pep-0706/]

Contém a motivação e lógica escolhida para este design.

The filter argument to TarFile.extract() or extractall() can be:

the string 'fully_trusted': Honor all metadata as specified in the archive. Should be used if the user trusts the archive completely, or implements their own complex verification.

the string 'tar': Honor most tar-specific features (i.e. features of UNIX-like filesystems), but block features that are very likely to be surprising or malicious. See tar_filter() for details.

the string 'data': Ignore or block most features specific to UNIX-like filesystems. Intended for extracting cross-platform data archives. See data_filter() for details.

None (default): Use TarFile.extraction_filter.

If that is also None (the default), raise a DeprecationWarning, and fall back to the 'fully_trusted' filter, whose dangerous behavior matches previous versions of Python.

In Python 3.14, the 'data' filter will become the default instead. It’s possible to switch earlier; see TarFile.extraction_filter.

A callable which will be called for each extracted member with a TarInfo describing the member and the destination path to where the archive is extracted (i.e. the same path is used for all members):

filter(member: TarInfo, path: str, /) -> TarInfo | None

The callable is called just before each member is extracted, so it can take the current state of the disk into account. It can:

return a TarInfo object which will be used instead of the metadata in the archive, or

return None, in which case the member will be skipped, or

raise an exception to abort the operation or skip the member, depending on errorlevel. Note that when extraction is aborted, extractall() may leave the archive partially extracted. It does not attempt to clean up.

Default named filters

The pre-defined, named filters are available as functions, so they can be reused in custom filters:

tarfile.fully_trusted_filter(member, path)

Retorna member inalterado.

This implements the 'fully_trusted' filter.

tarfile.tar_filter(member, path)

Implements the 'tar' filter.

Strip leading slashes (/ and os.sep) from filenames.

Refuse to extract files with absolute paths (in case the name is absolute even after stripping slashes, e.g. C:/foo on Windows). This raises AbsolutePathError.

Refuse to extract files whose absolute path (after following symlinks) would end up outside the destination. This raises OutsideDestinationError.

Clear high mode bits (setuid, setgid, sticky) and group/other write bits (S_IWGRP | S_IWOTH).

Return the modified TarInfo member.

tarfile.data_filter(member, path)

Implements the 'data' filter. In addition to what tar_filter does:

Refuse to extract links (hard or soft) that link to absolute paths, or ones that link outside the destination.

This raises AbsoluteLinkError or LinkOutsideDestinationError.

Note that such files are refused even on platforms that do not support symbolic links.

Refuse to extract device files (including pipes). This raises SpecialFileError.

Para arquivos comuns, incluindo links físicos:

Set the owner read and write permissions (S_IRUSR | S_IWUSR).

Remove the group & other executable permission (S_IXGRP | S_IXOTH) if the owner doesn’t have it (S_IXUSR).

For other files (directories), set mode to None, so that extraction methods skip applying permission bits.

Set user and group info (uid, gid, uname, gname) to None, so that extraction methods skip setting it.

Return the modified TarInfo member.

Filter errors

When a filter refuses to extract a file, it will raise an appropriate exception, a subclass of FilterError. This will abort the extraction if TarFile.errorlevel is 1 or more. With errorlevel=0 the error will be logged and the member will be skipped, but extraction will continue.

Dicas para verificação adicional

Even with filter='data', tarfile is not suited for extracting untrusted files without prior inspection. Among other issues, the pre-defined filters do not prevent denial-of-service attacks. Users should do additional checks.

Aqui está uma lista incompleta de itens a serem considerados:

Extract to a new temporary directory to prevent e.g. exploiting pre-existing links, and to make it easier to clean up after a failed extraction.

When working with untrusted data, use external (e.g. OS-level) limits on disk, memory and CPU usage.

Check filenames against an allow-list of characters (to filter out control characters, confusables, foreign path separators, etc.).

Check that filenames have expected extensions (discouraging files that execute when you “click on them”, or extension-less files like Windows special device names).

Limit the number of extracted files, total size of extracted data, filename length (including symlink length), and size of individual files.

Check for files that would be shadowed on case-insensitive filesystems.

Observe também que:

Tar files may contain multiple versions of the same file. Later ones are expected to overwrite any earlier ones. This feature is crucial to allow updating tape archives, but can be abused maliciously.

tarfile does not protect against issues with “live” data, e.g. an attacker tinkering with the destination (or source) directory while extraction (or archiving) is in progress.

Suporte a versões mais antigas do Python

Extraction filters were added to Python 3.12, but may be backported to older versions as security updates. To check whether the feature is available, use e.g. hasattr(tarfile, 'data_filter') rather than checking the Python version.

The following examples show how to support Python versions with and without the feature. Note that setting extraction_filter will affect any subsequent operations.

Fully trusted archive:

my_tarfile.extraction_filter = (lambda member, path: member)
my_tarfile.extractall()

Use the 'data' filter if available, but revert to Python 3.11 behavior ('fully_trusted') if this feature is not available:

my_tarfile.extraction_filter = getattr(tarfile, 'data_filter',
                                       (lambda member, path: member))
my_tarfile.extractall()

Use o filtro 'data'; fail se ele não estiver disponível:

my_tarfile.extractall(filter=tarfile.data_filter)

ou:

my_tarfile.extraction_filter = tarfile.data_filter
my_tarfile.extractall()

Use o filtro 'data'; warn se ele não estiver disponível:

if hasattr(tarfile, 'data_filter'):
    my_tarfile.extractall(filter='data')
else:
    # remove this when no longer needed
    warn_the_user('Extracting may be unsafe; consider updating Python')
    my_tarfile.extractall()

Stateful extraction filter example

While tarfile’s extraction methods take a simple filter callable, custom filters may be more complex objects with an internal state. It may be useful to write these as context managers, to be used like this:

with StatefulFilter() as filter_func:
    tar.extractall(path, filter=filter_func)

Such a filter can be written as, for example:

class StatefulFilter:
    def __init__(self):
        self.file_count = 0

    def __enter__(self):
        return self

    def __call__(self, member, path):
        self.file_count += 1
        return member

    def __exit__(self, *exc_info):
        print(f'{self.file_count} files extracted')

Interface de Linha de Comando

Adicionado na versão 3.4.

The tarfile module provides a simple command-line interface to interact with tar archives.

If you want to create a new tar archive, specify its name after the -c option and then list the filename(s) that should be included:

$ python -m tarfile -c monty.tar  spam.txt eggs.txt

Passar um diretório também é aceito:

$ python -m tarfile -c monty.tar life-of-brian_1979/

If you want to extract a tar archive into the current directory, use the -e option:

$ python -m tarfile -e monty.tar

You can also extract a tar archive into a different directory by passing the directory’s name:

$ python -m tarfile -e monty.tar  other-dir/

For a list of the files in a tar archive, use the -l option:

$ python -m tarfile -l monty.tar

Opções de linha de comando

-l <tarfile>

--list <tarfile>

Lista os arquivos em um arquivo tar.

-c <tarfile> <source1> ... <sourceN>

--create <tarfile> <source1> ... <sourceN>

Cria um arquivo tar a partir dos arquivos de origem.

-e <tarfile> [<output_dir>]

--extract <tarfile> [<output_dir>]

Extract tarfile into the current directory if output_dir is not specified.

-t <tarfile>

--test <tarfile>

Test whether the tarfile is valid or not.

-v, --verbose

Saída detalhada.

--filter <filtername>

Specifies the filter for --extract. See Filtros de extração for details. Only string names are accepted (that is, fully_trusted, tar, and data).

Exemplos

How to extract an entire tar archive to the current working directory:

import tarfile
tar = tarfile.open("sample.tar.gz")
tar.extractall(filter='data')
tar.close()

How to extract a subset of a tar archive with TarFile.extractall() using a generator function instead of a list:

import os
import tarfile

def py_files(members):
    for tarinfo in members:
        if os.path.splitext(tarinfo.name)[1] == ".py":
            yield tarinfo

tar = tarfile.open("sample.tar.gz")
tar.extractall(members=py_files(tar))
tar.close()

How to create an uncompressed tar archive from a list of filenames:

import tarfile
tar = tarfile.open("sample.tar", "w")
for name in ["foo", "bar", "quux"]:
    tar.add(name)
tar.close()

The same example using the with statement:

import tarfile
with tarfile.open("sample.tar", "w") as tar:
    for name in ["foo", "bar", "quux"]:
        tar.add(name)

How to read a gzip compressed tar archive and display some member information:

import tarfile
tar = tarfile.open("sample.tar.gz", "r:gz")
for tarinfo in tar:
    print(tarinfo.name, "is", tarinfo.size, "bytes in size and is ", end="")
    if tarinfo.isreg():
        print("a regular file.")
    elif tarinfo.isdir():
        print("a directory.")
    else:
        print("something else.")
tar.close()

How to create an archive and reset the user information using the filter parameter in TarFile.add():

import tarfile
def reset(tarinfo):
    tarinfo.uid = tarinfo.gid = 0
    tarinfo.uname = tarinfo.gname = "root"
    return tarinfo
tar = tarfile.open("sample.tar.gz", "w:gz")
tar.add("foo", filter=reset)
tar.close()

Formatos tar suportados

There are three tar formats that can be created with the tarfile module:

The POSIX.1-1988 ustar format (USTAR_FORMAT). It supports filenames up to a length of at best 256 characters and linknames up to 100 characters. The maximum file size is 8 GiB. This is an old and limited but widely supported format.

The GNU tar format (GNU_FORMAT). It supports long filenames and linknames, files bigger than 8 GiB and sparse files. It is the de facto standard on GNU/Linux systems. tarfile fully supports the GNU tar extensions for long names, sparse file support is read-only.

The POSIX.1-2001 pax format (PAX_FORMAT). It is the most flexible format with virtually no limits. It supports long filenames and linknames, large files and stores pathnames in a portable way. Modern tar implementations, including GNU tar, bsdtar/libarchive and star, fully support extended pax features; some old or unmaintained libraries may not, but should treat pax archives as if they were in the universally supported ustar format. It is the current default format for new archives.

It extends the existing ustar format with extra headers for information that cannot be stored otherwise. There are two flavours of pax headers: Extended headers only affect the subsequent file header, global headers are valid for the complete archive and affect all following files. All the data in a pax header is encoded in UTF-8 for portability reasons.

There are some more variants of the tar format which can be read, but not created:

The ancient V7 format. This is the first tar format from Unix Seventh Edition, storing only regular files and directories. Names must not be longer than 100 characters, there is no user/group name information. Some archives have miscalculated header checksums in case of fields with non-ASCII characters.

The SunOS tar extended format. This format is a variant of the POSIX.1-2001 pax format, but is not compatible.

Problemas de Unicode

The tar format was originally conceived to make backups on tape drives with the main focus on preserving file system information. Nowadays tar archives are commonly used for file distribution and exchanging archives over networks. One problem of the original format (which is the basis of all other formats) is that there is no concept of supporting different character encodings. For example, an ordinary tar archive created on a UTF-8 system cannot be read correctly on a Latin-1 system if it contains non-ASCII characters. Textual metadata (like filenames, linknames, user/group names) will appear damaged. Unfortunately, there is no way to autodetect the encoding of an archive. The pax format was designed to solve this problem. It stores non-ASCII metadata using the universal character encoding UTF-8.

The details of character conversion in tarfile are controlled by the encoding and errors keyword arguments of the TarFile class.

encoding defines the character encoding to use for the metadata in the archive. The default value is sys.getfilesystemencoding() or 'ascii' as a fallback. Depending on whether the archive is read or written, the metadata must be either decoded or encoded. If encoding is not set appropriately, this conversion may fail.

The errors argument defines how characters are treated that cannot be converted. Possible values are listed in section Error Handlers. The default scheme is 'surrogateescape' which Python also uses for its file system calls, see Nomes de arquivos, argumentos de linha de comando e variáveis de ambiente.

For PAX_FORMAT archives (the default), encoding is generally not needed because all the metadata is stored using UTF-8. encoding is only used in the rare cases when binary pax headers are decoded or when strings with surrogate characters are stored.

Formatos de Arquivo

Os módulos descritos neste capítulo analisam vários formatos de arquivo diversos que não são linguagens de marcação e não estão relacionados ao e-mail.

csv — Leitura e escrita de arquivos CSV

Conteúdo do módulo

reader()

writer()

register_dialect()

unregister_dialect()

get_dialect()

list_dialects()

field_size_limit()

DictReader

DictWriter

Dialect

excel

excel_tab

unix_dialect

Sniffer

sniff()

has_header()

QUOTE_ALL

QUOTE_MINIMAL

QUOTE_NONNUMERIC

QUOTE_NONE

QUOTE_NOTNULL

QUOTE_STRINGS

Error

Dialetos e parâmetros de formatação

delimiter

doublequote

escapechar

lineterminator

quotechar

quoting

skipinitialspace

strict

Objetos Reader

__next__()

dialect

line_num

fieldnames

Objetos Writer

writerow()

writerows()

dialect

writeheader()

Exemplos

configparser — Analisador sintático de arquivo de configuração

Início rápido

Tipos de dados suportados

Valores reservas

Estrutura dos arquivos INI

Seções não nomeadas

Interpolação de valores

BasicInterpolation

ExtendedInterpolation

Acesso através do protocolo de mapeamento

Personalizando o comportamento do analisador sintático

BOOLEAN_STATES

SECTCRE

Exemplos de APIs legadas

Objetos ConfigParser

ConfigParser

defaults()

sections()

add_section()

has_section()

options()

has_option()

read()

read_file()

read_string()

read_dict()

get()

getint()

getfloat()

getboolean()

items()

set()

write()

remove_option()

remove_section()

optionxform()

UNNAMED_SECTION

MAX_INTERPOLATION_DEPTH

Objetos RawConfigParser

RawConfigParser

add_section()

set()

Exceções

Error

NoSectionError

DuplicateSectionError

DuplicateOptionError

NoOptionError

InterpolationError

InterpolationDepthError

InterpolationMissingOptionError

InterpolationSyntaxError

MissingSectionHeaderError

ParsingError

MultilineContinuationError

tomllib — Analisa arquivos TOML

load()

loads()

TOMLDecodeError

Exemplos

Tabela de conversão

netrc — Arquivo de processamento netrc

netrc

NetrcParseError

msg

filename

lineno

Objetos netrc

authenticators()

__repr__()

hosts

macros

plistlib — Gera e analisa arquivos Apple .plist

load()

loads()

dump()

dumps()

UID

FMT_XML

FMT_BINARY

Exemplos

csv — Leitura e escrita de arquivos CSV

Código-fonte: Lib/csv.py [https://github.com/python/cpython/tree/3.13/Lib/csv.py]

O chamado formato CSV (Comma Separated Values) é o formato mais comum de importação e exportação de planilhas e bancos de dados. O formato CSV foi usado por muitos anos antes das tentativas de descrever o formato de maneira padronizada em RFC 4180 [https://datatracker.ietf.org/doc/html/rfc4180.html]. A falta de um padrão bem definido significa que existem diferenças sutis nos dados produzidos e consumidos por diferentes aplicativos. Essas diferenças podem tornar irritante o processamento de arquivos CSV de várias fontes. Ainda assim, enquanto os delimitadores e os caracteres de citação variam, o formato geral é semelhante o suficiente para que seja possível escrever um único módulo que possa manipular eficientemente esses dados, ocultando os detalhes da leitura e gravação dos dados do programador.

O módulo csv implementa classes para ler e gravar dados tabulares no formato CSV. Ele permite que os programadores digam “escreva esses dados no formato preferido pelo Excel” ou “leia os dados desse arquivo gerado pelo Excel”, sem conhecer os detalhes precisos do formato CSV usado pelo Excel. Os programadores também podem descrever os formatos CSV entendidos por outros aplicativos ou definir seus próprios formatos CSV para fins especiais.

Os objetos de reader e writer do módulo csv leem e escrevem sequências. Os programadores também podem ler e gravar dados no formato de dicionário usando as classes DictReader e DictWriter.

Ver também

PEP 305 [https://peps.python.org/pep-0305/] - API de arquivo CSV

A proposta de melhoria do Python que propôs essa adição ao Python.

Conteúdo do módulo

O módulo csv define as seguintes funções:

csv.reader(csvfile, dialect='excel', **fmtparams)

Retorna um objeto leitor que irá iterar sobre as linhas no csvfile fornecido. Um csvfile deve ser um iterável de strings, cada uma no formato csv definido pelo leitor. Um csvfile é muito comumente um objeto similar a arquivo ou uma lista. Se csvfile for um objeto de arquivo, ele deverá ser aberto com newline=''. [1] Pode ser fornecido um parâmetro opcional dialect, usado para definir um conjunto de parâmetros específicos para um dialeto CSV específico. Pode ser uma instância de uma subclasse da classe Dialect ou uma das strings retornadas pela função list_dialects(). Os outros argumentos nomeados opcionais fmtparams podem ser dados para substituir parâmetros de formatação individuais no dialeto atual. Para detalhes completos sobre os parâmetros de dialeto e formatação, consulte a seção Dialetos e parâmetros de formatação.

Cada linha lida no arquivo csv é retornada como uma lista de cadeias. Nenhuma conversão automática de tipo de dados é executada, a menos que a opção de formato QUOTE_NONNUMERIC seja especificada (nesse caso, os campos não citados são transformados em pontos flutuantes).

Um pequeno exemplo de uso:

>>> import csv
>>> with open('eggs.csv', newline='') as csvfile:
...     spamreader = csv.reader(csvfile, delimiter=' ', quotechar='|')
...     for row in spamreader:
...         print(', '.join(row))
Spam, Spam, Spam, Spam, Spam, Baked Beans
Spam, Lovely Spam, Wonderful Spam

csv.writer(csvfile, dialect='excel', **fmtparams)

Retorna um objeto de escrita responsável por converter os dados de usuário em strings delimitadas no objeto arquivo ou similar. csvfile pode ser qualquer objeto com um método write(). Se csvfile for um objeto arquivo, ele deverá ser aberto com newline='' [1]. Pode ser fornecido um parâmetro opcional dialect, usado para definir um conjunto de parâmetros específicos para um dialeto CSV específico. Pode ser uma instância de uma subclasse da classe Dialect ou uma das strings retornadas pela função list_dialects(). Os outros argumentos nomeados opcionais fmtparams podem ser dados para substituir parâmetros de formatação individuais no dialeto atual. Para detalhes completos sobre os parâmetros de dialeto e formatação, consulte a seção Dialetos e parâmetros de formatação. Para tornar o mais fácil possível a interface com os módulos que implementam a API do DB, o valor None é escrito como uma string vazia. Embora isso não seja uma transformação reversível, torna mais fácil despejar valores de dados SQL NULL em arquivos CSV sem preprocessar os dados retornados de uma chamada cursor.fetch*. Todos os outros dados que não são de strings são codificados com str() antes de serem escritos.

Um pequeno exemplo de uso:

import csv
with open('eggs.csv', 'w', newline='') as csvfile:
    spamwriter = csv.writer(csvfile, delimiter=' ',
                            quotechar='|', quoting=csv.QUOTE_MINIMAL)
    spamwriter.writerow(['Spam'] * 5 + ['Baked Beans'])
    spamwriter.writerow(['Spam', 'Lovely Spam', 'Wonderful Spam'])

csv.register_dialect(name[, dialect[, **fmtparams]])

Associa dialect a name. name deve ser uma string. O dialeto pode ser especificado passando uma subclasse de Dialect ou por fmtparams argumentos nomeados, ou ambos, com argumentos nomeados substituindo os parâmetros do dialeto. Para detalhes completos sobre os parâmetros de dialeto e formatação, consulte a seção Dialetos e parâmetros de formatação.

csv.unregister_dialect(name)

Exclui o dialeto associado ao name do registro do dialeto. Um Error é levantado se name não for um nome de dialeto registrado.

csv.get_dialect(name)

Retorna o dialeto associado a name. Um Error é levantado se name não for um nome de dialeto registrado. Esta função retorna uma classe Dialect imutável.

csv.list_dialects()

Retorna os nomes de todos os dialetos registrados

csv.field_size_limit([new_limit])

Retorna o tamanho máximo atual do campo permitido pelo analisador sintático. Se new_limit for fornecido, este se tornará o novo limite.

O módulo csv define as seguintes classes:

class csv.DictReader(f, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds)

Cria um objeto que funcione como um leitor comum, mas mapeia as informações em cada linha para dict cujas chaves são fornecidas pelo parâmetro opcional fieldnames.

O parâmetro fieldnames é uma sequência. Se fieldnames for omitido, os valores na primeira linha do arquivo f serão usados como nomes de campo e serão omitidos dos resultados. Se fieldnames for fornecido, eles serão usados e a primeira linha será incluída nos resultados. Independentemente de como os nomes de campo são determinados, o dicionário preserva sua ordem original.

Se uma linha tiver mais campos que nomes de campo, os dados restantes serão colocados em uma lista e armazenados com o nome do campo especificado por restkey (o padrão é None). Se uma linha que não estiver em branco tiver menos campos que nomes de campo, os valores ausentes serão preenchidos com o valor restval (o padrão é None).

Todos os outros argumentos nomeados ou opcionais são passados para a instância subjacente de reader.

Se o argumento passado para fieldnames for um iterador, ele será convertido para uma list.

Alterado na versão 3.6: Linhas retornadas agora são do tipo OrderedDict.

Alterado na versão 3.8: As linhas retornadas agora são do tipo dict.

Um pequeno exemplo de uso:

>>> import csv
>>> with open('names.csv', newline='') as csvfile:
...     reader = csv.DictReader(csvfile)
...     for row in reader:
...         print(row['first_name'], row['last_name'])
...
Eric Idle
John Cleese

>>> print(row)
{'first_name': 'John', 'last_name': 'Cleese'}

class csv.DictWriter(f, fieldnames, restval='', extrasaction='raise', dialect='excel', *args, **kwds)

Cria um objeto que funcione como um de escrita comum, mas mapeia dicionários nas linhas de saída. O parâmetro fieldnames é uma sequência de chaves que identificam a ordem na qual os valores no dicionário transmitidos para o método writerow() são escritos no arquivo f. O parâmetro opcional restval especifica o valor a ser escrito se o dicionário estiver com falta de uma chave em fieldnames. Se o dicionário transmitido para o método writerow() contiver uma chave não encontrada em fieldnames, o parâmetro opcional extrasaction indica qual ação executar. Se estiver definido como 'raise', o valor padrão, a ValueError é levantada. Se estiver definido como 'ignore', valores extras no dicionário serão ignorados. Quaisquer outros argumentos nomeados ou opcionais são passados para a instância subjacente de writer.

Observe que, diferentemente da classe DictReader, o parâmetro fieldnames da classe DictWriter não é opcional.

Se o argumento passado para fieldnames for um iterador, ele será convertido para uma list.

Um pequeno exemplo de uso:

import csv

with open('names.csv', 'w', newline='') as csvfile:
    fieldnames = ['first_name', 'last_name']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    writer.writeheader()
    writer.writerow({'first_name': 'Baked', 'last_name': 'Beans'})
    writer.writerow({'first_name': 'Lovely', 'last_name': 'Spam'})
    writer.writerow({'first_name': 'Wonderful', 'last_name': 'Spam'})

class csv.Dialect

A classe Dialect é uma classe de contêiner cujos atributos contêm informações sobre como lidar com aspas duplas, espaços em branco, delimitadores, etc. Devido à falta de uma especificação CSV estrita, diferentes aplicativos produzem dados CSV sutilmente diferentes. As instâncias de Dialect definem como as instâncias reader e writer se comportam.

Todos os nomes de Dialect disponíveis são retornados por list_dialects(), e eles podem ser registrados com classes reader e writer específicas através de suas funções inicializadoras (__init__) como esta:

import csv

with open('students.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile, dialect='unix')

class csv.excel

A classe excel define as propriedades usuais de um arquivo CSV gerado pelo Excel. Ele é registrado com o nome do dialeto 'excel'.

class csv.excel_tab

A classe excel_tab define as propriedades usuais de um arquivo delimitado por TAB gerado pelo Excel. Ela é registrado com o nome do dialeto 'excel-tab'.

class csv.unix_dialect

A classe unix_dialect define as propriedades usuais de um arquivo CSV gerado em sistemas UNIX, ou seja, usando '\n' como terminador de linha e citando todos os campos. É registrado com o nome do dialeto 'unix'.

Adicionado na versão 3.2.

class csv.Sniffer

A classe Sniffer é usada para deduzir o formato de um arquivo CSV.

A classe Sniffer fornece dois métodos:

sniff(sample, delimiters=None)

Analisa a sample fornecida e retorna uma subclasse Dialect, refletindo os parâmetros encontrados. Se o parâmetro opcional delimiters for fornecido, ele será interpretado como uma string contendo possíveis caracteres válidos de delimitador.

has_header(sample)

Analisa o texto de amostra (presume-se que esteja no formato CSV) e retorne True se a primeira linha parecer uma série de cabeçalhos de coluna. Inspecionando cada coluna, um dos dois critérios principais será considerado para estimar se a amostra contém um cabeçalho:

da segunda até a enésima linha contém valores numéricos

da segunda até a enésima linha contém strings em que pelo menos o comprimento de um valor difere daquele do cabeçalho putativo dessa coluna.

Vinte linhas após a primeira linha são amostradas; se mais da metade das colunas + linhas atenderem aos critérios, True será retornado.

Nota

Este método é uma heurística aproximada e pode produzir falsos positivos e negativos.

Um exemplo para uso de Sniffer:

with open('example.csv', newline='') as csvfile:
    dialect = csv.Sniffer().sniff(csvfile.read(1024))
    csvfile.seek(0)
    reader = csv.reader(csvfile, dialect)
    # ... process CSV file contents here ...

O módulo csv define as seguintes constantes:

csv.QUOTE_ALL

Instrui objetos writer a colocar aspas em todos os campos.

csv.QUOTE_MINIMAL

Instrui objetos writer a colocar aspas apenas nos campos que contêm caracteres especiais como delimiters, quotechar ou qualquer um dos caracteres em lineterminator.

csv.QUOTE_NONNUMERIC

Instrui objetos writer a colocar aspas em todos os campos não numéricos.

Instrui objetos reader a converter todos os campos não envoltos por aspas no tipo float.

csv.QUOTE_NONE

Instrui objetos writer a nunca colocar aspas nos campos. Quando o delimiter atual ocorre nos dados de saída, é precedido pelo caractere escapechar atual. Se escapeechar não estiver definido, o escritor levantará Error se algum caractere que exija escape for encontrado.

Instrui objetos reader a não executar nenhum processamento especial de caracteres de aspas.

csv.QUOTE_NOTNULL

Instrui objetos writer a coloca entre aspas os campos que não são None. Isso é semelhante a QUOTE_ALL, exceto que se o valor de um campo for None, uma string vazia (sem aspas) é escrita.

Instrui objetos reader a interpretar um campo vazio (sem aspas) como None e a se comportar de outra forma como QUOTE_ALL.

Adicionado na versão 3.12.

csv.QUOTE_STRINGS

Instrui objetos writer a sempre coloca aspas em volta dos campos que são strings. Isso é semelhante a QUOTE_NONNUMERIC, exceto que se o valor de um campo for None, uma string vazia (sem aspas) é escrita.

Instrui objetos reader a interpretar uma string vazia (sem aspas) como None e a se comportar de outra forma como QUOTE_NONNUMERIC.

Adicionado na versão 3.12.

O módulo csv define a seguinte exceção:

exception csv.Error

Levantada por qualquer uma das funções quando um erro é detectado.

Dialetos e parâmetros de formatação

Para facilitar a especificação do formato dos registros de entrada e saída, parâmetros específicos de formatação são agrupados em dialetos. Um dialeto é uma subclasse da classe Dialect contendo vários atributos descrevendo o formato do arquivo CSV. Ao criar objetos reader ou writer, o programador pode especificar uma string ou uma subclasse da classe Dialect como parâmetro de dialeto. Além do parâmetro dialect, ou em vez do parâmetro dialect, o programador também pode especificar parâmetros de formatação individuais, com os mesmos nomes dos atributos definidos abaixo para a classe Dialect.

Os dialetos possuem suporte aos seguintes atributos:

Dialect.delimiter

Uma string de um caractere usada para separar campos. O padrão é ','.

Dialect.doublequote

Controla como as instâncias de quotechar que aparecem dentro de um campo devem estar entre aspas. Quando True, o caractere é dobrado. Quando False, o escapechar é usado como um prefixo para o quotechar. O padrão é True.

Na saída, se doublequote for False e não escapeechar for definido, Error é levantada se um quotechar é encontrado em um campo.

Dialect.escapechar

Uma string usada pelo escritor para escapar do delimiter se quoting estiver definida como QUOTE_NONE e o quotechar se doublequote for False. Na leitura, o escapechar remove qualquer significado especial do caractere seguinte. O padrão é None, que desativa o escape.

Alterado na versão 3.11: Um escapechar vazio não é permitido.

Dialect.lineterminator

A string usada para terminar as linhas produzidas pelo writer. O padrão é '\r\n'.

Nota

A reader é codificada para reconhecer '\r' ou '\n' como fim de linha e ignora lineterminator. Esse comportamento pode mudar no futuro.

Dialect.quotechar

Uma string de um caractere usada para citar campos contendo caracteres especiais, como delimiter ou quotechar, ou que contêm caracteres de nova linha. O padrão é '"'.

Alterado na versão 3.11: Um quotechar vazio não é permitido.

Dialect.quoting

Controla quando as aspas devem ser geradas pelo escritor e reconhecidas pelo leitor. Ele pode assumir qualquer uma das constantes QUOTE_* constants e o padrão é QUOTE_MINIMAL.

Dialect.skipinitialspace

Quando True, os espaços em branco imediatamente após o delimiter são ignorados. O padrão é False.

Dialect.strict

Quando True, levanta a exceção Error em uma entrada CSV ruim. O padrão é False.

Objetos Reader

Os objetos Reader (instâncias DictReader e objetos retornados pela função reader()) têm os seguintes métodos públicos:

csvreader.__next__()

Retorna a próxima linha do objeto iterável do leitor como uma lista (se o objeto foi retornado de leitor()) ou um dict (se for uma instância de DictReader), analisado de acordo com a Dialect atual. Normalmente, você deve chamar isso de next(reader).

Os objetos Reader possuem os seguintes atributos públicos:

csvreader.dialect

Uma descrição somente leitura do dialeto em uso pelo analisador sintático.

csvreader.line_num

O número de linhas lidas no iterador de origem. Não é o mesmo que o número de registros retornados, pois os registros podem abranger várias linhas.

Os objetos DictReader têm o seguinte atributo público:

DictReader.fieldnames

Se não for passado como parâmetro ao criar o objeto, esse atributo será inicializado no primeiro acesso ou quando o primeiro registro for lido no arquivo.

Objetos Writer

Objetos writer (instâncias e objetos DictWriter retornados pela função writer()) possuem os seguintes métodos públicos. Uma row deve ser iterável de strings ou números para objetos writer e um dicionário mapeando nomes de campos para strings ou números (passando-os por str() primeiro) para DictWriter. Observe que números complexos são escritos cercados por parênteses. Isso pode causar alguns problemas para outros programas que leem arquivos CSV (supondo que eles aceitem números complexos).

csvwriter.writerow(row)

Escreve o parâmetro row no objeto arquivo do escritor, formatado de acordo com a Dialect atual. Retorna o valor de retorno da chamada ao método write do objeto arquivo subjacente.

Alterado na versão 3.5: Adicionado suporte a iteráveis arbitrários.

csvwriter.writerows(rows)

Escreve todos os elementos em rows (um iterável de objetos row, conforme descrito acima) no objeto arquivo do escritor, formatado de acordo com o dialeto atual.

Os objetos Writer têm o seguinte atributo público:

csvwriter.dialect

Uma descrição somente leitura do dialeto em uso pelo escritor.

Os objetos DictWriter têm o seguinte método público:

DictWriter.writeheader()

Escreve uma linha com os nomes dos campos (conforme especificado no construtor) no objeto arquivo do escritor, formatado de acordo com o dialeto atual. Retorna o valor de retorno da chamada csvwriter.writerow() usada internamente.

Adicionado na versão 3.2.

Alterado na versão 3.8: writeheader() agora também retorna o valor retornado pelo método csvwriter.writerow() que ele usa internamente.

Exemplos

O exemplo mais simples de leitura de um arquivo CSV:

import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Lendo um arquivo com um formato alternativo:

import csv
with open('passwd', newline='') as f:
    reader = csv.reader(f, delimiter=':', quoting=csv.QUOTE_NONE)
    for row in reader:
        print(row)

O exemplo de escrita possível mais simples possível é:

import csv
with open('some.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(someiterable)

Como open() é usado para abrir um arquivo CSV para leitura, o arquivo será decodificado por padrão em unicode usando a codificação padrão do sistema (consulte locale.getencoding()). Para decodificar um arquivo usando uma codificação diferente, use o argumento encoding do open:

import csv
with open('some.csv', newline='', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

O mesmo se aplica à escrita em algo diferente da codificação padrão do sistema: especifique o argumento de codificação ao abrir o arquivo de saída.

Registrando um novo dialeto:

import csv
csv.register_dialect('unixpwd', delimiter=':', quoting=csv.QUOTE_NONE)
with open('passwd', newline='') as f:
    reader = csv.reader(f, 'unixpwd')

Um uso um pouco mais avançado do leitor — capturando e relatando erros:

import csv, sys
filename = 'some.csv'
with open(filename, newline='') as f:
    reader = csv.reader(f)
    try:
        for row in reader:
            print(row)
    except csv.Error as e:
        sys.exit('file {}, line {}: {}'.format(filename, reader.line_num, e))

E embora o módulo não tenha suporte diretamente à análise sintática de strings, isso pode ser feito facilmente:

import csv
for row in csv.reader(['one,two,three']):
    print(row)

Notas de rodapé

[1] (1,2)

Se newline='' não for especificado, as novas linhas incorporadas nos campos entre aspas não serão interpretadas corretamente, e nas plataformas que usam fim de linha \r\n na escrita, um \r extra será adicionado. Sempre deve ser seguro especificar newline='', já que o módulo csv faz seu próprio tratamento de nova linha (universal).

configparser — Analisador sintático de arquivo de configuração

Código-fonte: Lib/configparser.py [https://github.com/python/cpython/tree/3.13/Lib/configparser.py]

Este módulo fornece a classe ConfigParser que implementa uma linguagem de configuração básica que fornece uma estrutura semelhante à encontrada nos arquivos INI do Microsoft Windows. Você pode usar isso para escrever programas Python que podem ser facilmente personalizados pelos usuários finais.

Nota

Esta biblioteca não interpreta ou escreve os prefixos de tipo de valor usados ​​na versão estendida do Registro do Windows da sintaxe INI.

Ver também

Módulo tomllib

TOML é um formato bem especificado para arquivos de configuração de aplicações. Ele foi projetado especificamente para ser uma versão melhorada do INI.

Módulo shlex

Suporte para criação de minilinguagens semelhantes a shell Unix que também podem ser usadas para arquivos de configuração de aplicações.

Módulo json

O módulo json implementa um subconjunto de sintaxe JavaScript que às vezes é usado para configuração, mas não suporta comentários.

Início rápido

Vamos pegar um arquivo de configuração bem básico parecido com este:

[DEFAULT]
ServerAliveInterval = 45
Compression = yes
CompressionLevel = 9
ForwardX11 = yes

[forge.example]
User = hg

[topsecret.server.example]
Port = 50022
ForwardX11 = no

A estrutura dos arquivos INI é descrita na seção seguinte. Essencialmente, o arquivo consiste em seções, cada uma contendo chaves com valores. As classes configparser podem ler e escrever tais arquivos. Vamos começar criando o arquivo de configuração acima programaticamente.

>>> import configparser
>>> config = configparser.ConfigParser()
>>> config['DEFAULT'] = {'ServerAliveInterval': '45',
...                      'Compression': 'yes',
...                      'CompressionLevel': '9'}
>>> config['forge.example'] = {}
>>> config['forge.example']['User'] = 'hg'
>>> config['topsecret.server.example'] = {}
>>> topsecret = config['topsecret.server.example']
>>> topsecret['Port'] = '50022'     # mutates the parser
>>> topsecret['ForwardX11'] = 'no'  # same here
>>> config['DEFAULT']['ForwardX11'] = 'yes'
>>> with open('example.ini', 'w') as configfile:
...   config.write(configfile)
...

Como você pode ver, podemos tratar um analisador sintático de configuração como um dicionário. Existem diferenças, descritas posteriormente, mas o comportamento é muito próximo do que você esperaria de um dicionário.

Agora que criamos e salvamos um arquivo de configuração, vamos lê-lo e explorar os dados que ele contém.

>>> config = configparser.ConfigParser()
>>> config.sections()
[]
>>> config.read('example.ini')
['example.ini']
>>> config.sections()
['forge.example', 'topsecret.server.example']
>>> 'forge.example' in config
True
>>> 'python.org' in config
False
>>> config['forge.example']['User']
'hg'
>>> config['DEFAULT']['Compression']
'yes'
>>> topsecret = config['topsecret.server.example']
>>> topsecret['ForwardX11']
'no'
>>> topsecret['Port']
'50022'
>>> for key in config['forge.example']:
...     print(key)
user
compressionlevel
serveraliveinterval
compression
forwardx11
>>> config['forge.example']['ForwardX11']
'yes'

Como podemos ver acima, a API é bastante simples. A única mágica envolve a seção DEFAULT que fornece valores padrão para todas as outras seções [1]. Observe também que as chaves nas seções não diferenciam maiúsculas de minúsculas e são armazenadas em letras minúsculas [1].

É possível ler diversas configurações para um único ConfigParser, onde a configuração adicionada mais recentemente terá a maior prioridade. Para quaisquer chaves repetidas serão usados os valores da configuração mais recente, enquanto os valores das chaves anteriores serão ignorados. O exemplo a seguir lê um arquivo chamado override.ini, que irá substituir chaves repetidas do arquivo example.ini.

[DEFAULT]
ServerAliveInterval = -1

>>> config_override = configparser.ConfigParser()
>>> config_override['DEFAULT'] = {'ServerAliveInterval': '-1'}
>>> with open('override.ini', 'w') as configfile:
...     config_override.write(configfile)
...
>>> config_override = configparser.ConfigParser()
>>> config_override.read(['example.ini', 'override.ini'])
['example.ini', 'override.ini']
>>> print(config_override.get('DEFAULT', 'ServerAliveInterval'))
-1

Este comportamento é equivalente a uma chamada ConfigParser.read() com vários arquivos passados ​​para o parâmetro filenames.

Tipos de dados suportados

Os analisadores sintáticos de configuração não adivinham os tipos de dados dos valores nos arquivos de configuração, sempre os armazenando internamente como strings. Isso significa que se você precisar de outros tipos de dados, deverá converter por conta própria:

>>> int(topsecret['Port'])
50022
>>> float(topsecret['CompressionLevel'])
9.0

Como essa tarefa é tão comum, os analisadores sintáticos de configuração fornecem uma variedade de métodos getter úteis para manipular com números inteiros, pontos flutuantes e booleanos. O último é o mais interessante porque simplesmente passar o valor para bool() não adiantaria nada já que bool('False') ainda é True. É por isso que os analisadores sintáticos de configuração também fornecem getboolean(). Este método não diferencia maiúsculas de minúsculas e reconhece valores booleanos de 'yes'/'no', 'on'/'off', 'true' /'false' e '1'/'0' [1]. Por exemplo:

>>> topsecret.getboolean('ForwardX11')
False
>>> config['forge.example'].getboolean('ForwardX11')
True
>>> config.getboolean('forge.example', 'Compression')
True

Além de getboolean(), os analisadores sintáticos de configuração também fornecem métodos getint() e getfloat() equivalentes. Você pode registrar seus próprios conversores e personalizar os fornecidos. [1]

Valores reservas

Assim como acontece com um dicionário, você pode usar o método get() de uma seção para fornecer valores reservas (fallback):

>>> topsecret.get('Port')
'50022'
>>> topsecret.get('CompressionLevel')
'9'
>>> topsecret.get('Cipher')
>>> topsecret.get('Cipher', '3des-cbc')
'3des-cbc'

Observe que os valores padrão têm precedência sobre os valores substitutos. Por exemplo, em nosso exemplo a chave 'CompressionLevel' foi especificada apenas na seção 'DEFAULT'. Se tentarmos obtê-lo na seção 'topsecret.server.example', sempre obteremos o padrão, mesmo se especificarmos um substituto:

>>> topsecret.get('CompressionLevel', '3')
'9'

Mais uma coisa a ter em conta é que o método get() no nível do analisador fornece uma interface personalizada e mais complexa, mantida para compatibilidade com versões anteriores. Ao usar este método, um valor substituto pode ser fornecido através do argumento somente-nomeado fallback:

>>> config.get('forge.example', 'monster',
...            fallback='No such things as monsters')
'No such things as monsters'

O mesmo argumento fallback pode ser usado com os métodos getint(), getfloat() e getboolean(), por exemplo:

>>> 'BatchMode' in topsecret
False
>>> topsecret.getboolean('BatchMode', fallback=True)
True
>>> config['DEFAULT']['BatchMode'] = 'no'
>>> topsecret.getboolean('BatchMode', fallback=True)
False

Estrutura dos arquivos INI

Um arquivo de configuração consiste em seções, cada uma liderada por um cabeçalho [section], seguido por entradas de chave/valor separadas por uma string específica (= ou : por padrão [1]) . Por padrão, os nomes das seções diferenciam maiúsculas de minúsculas, mas as chaves não [1]. Os espaços em branco à esquerda e à direita são removidos das chaves e dos valores. Os valores podem ser omitidos se o analisador sintático estiver configurado para permitir [1], caso em que o delimitador chave/valor também pode ser omitido. Os valores também podem abranger várias linhas, desde que sejam indentados de forma mais profunda que a primeira linha do valor. Dependendo do modo do analisador sintático, as linhas em branco podem ser tratadas como partes de valores multilinhas ou ignoradas.

Por padrão, um nome de seção válido pode ser qualquer string que não contenha ‘\n’. Para alterar isso, consulte ConfigParser.SECTCRE.

O nome da primeira seção pode ser omitido se o analisador sintático estiver configurado para permitir uma seção de nível superior sem nome com allow_unnamed_section=True. Neste caso, as chaves/valores podem ser recuperadas por UNNAMED_SECTION como em config[UNNAMED_SECTION].

Os arquivos de configuração podem incluir comentários, prefixados por caracteres específicos (# e ; por padrão [1]). Os comentários podem aparecer sozinhos em uma linha vazia, possivelmente identados. [1]

Por exemplo:

[Simple Values]
key=value
spaces in keys=allowed
spaces in values=allowed as well
spaces around the delimiter = obviously
you can also use : to delimit keys from values

[All Values Are Strings]
values like this: 1000000
or this: 3.14159265359
are they treated as numbers? : no
integers, floats and booleans are held as: strings
can use the API to get converted values directly: true

[Multiline Values]
chorus: I'm a lumberjack, and I'm okay
    I sleep all night and I work all day

[No Values]
key_without_value
empty string value here =

[You can use comments]
# like this
; or this

# By default only in an empty line.
# Inline comments can be harmful because they prevent users
# from using the delimiting characters as parts of values.
# That being said, this can be customized.

    [Sections Can Be Indented]
        can_values_be_as_well = True
        does_that_mean_anything_special = False
        purpose = formatting for readability
        multiline_values = are
            handled just fine as
            long as they are indented
            deeper than the first line
            of a value
        # Did I mention we can indent comments, too?

Seções não nomeadas

O nome da primeira seção (ou único) pode ser omitido e os valores recuperados pelo atributo UNNAMED_SECTION.

>>> config = """
... option = value
...
... [  Section 2  ]
... another = val
... """
>>> unnamed = configparser.ConfigParser(allow_unnamed_section=True)
>>> unnamed.read_string(config)
>>> unnamed.get(configparser.UNNAMED_SECTION, 'option')
'value'

Interpolação de valores

Além da funcionalidade principal, ConfigParser oferece suporte a interpolação. Isso significa que os valores podem ser pré-processados ​​antes de retorná-los das chamadas get().

class configparser.BasicInterpolation

A implementação padrão usada por ConfigParser. Ele permite que os valores contenham strings de formato que se referem a outros valores na mesma seção ou valores na seção padrão especial [1]. Valores padrão adicionais podem ser fornecidos na inicialização.

Por exemplo:

[Paths]
home_dir: /Users
my_dir: %(home_dir)s/lumberjack
my_pictures: %(my_dir)s/Pictures

[Escape]
# use a %% to escape the % sign (% is the only character that needs to be escaped):
gain: 80%%

No exemplo acima, ConfigParser com interpolation definido como BasicInterpolation() resolveria %(home_dir)s para o valor de home_dir (/Users neste caso). %(my_dir)s na verdade resolveria para /Users/lumberjack. Todas as interpolações são feitas sob demanda, portanto as chaves usadas na cadeia de referências não precisam ser especificadas em nenhuma ordem específica no arquivo de configuração.

Com interpolation definido como None, o analisador sintático simplesmente retornaria %(my_dir)s/Pictures como o valor de my_pictures e %(home_dir)s/lumberjack como o valor de my_dir.

class configparser.ExtendedInterpolation

Um manipulador alternativo para interpolação que implementa uma sintaxe mais avançada, usada, por exemplo, em zc.buildout. A interpolação estendida usa ${section:option} para denotar um valor de uma seção estrangeira. A interpolação pode abranger vários níveis. Por conveniência, se a parte section: for omitida, a interpolação será padronizada para a seção atual (e possivelmente para os valores padrão da seção especial).

Por exemplo, a configuração especificada acima com interpolação básica ficaria assim com interpolação estendida:

[Paths]
home_dir: /Users
my_dir: ${home_dir}/lumberjack
my_pictures: ${my_dir}/Pictures

[Escape]
# use a $$ to escape the $ sign ($ is the only character that needs to be escaped):
cost: $$80

Valores de outras seções também podem ser obtidos:

[Common]
home_dir: /Users
library_dir: /Library
system_dir: /System
macports_dir: /opt/local

[Frameworks]
Python: 3.2
path: ${Common:system_dir}/Library/Frameworks/

[Arthur]
nickname: Two Sheds
last_name: Jackson
my_dir: ${Common:home_dir}/twosheds
my_pictures: ${my_dir}/Pictures
python_dir: ${Frameworks:path}/Python/Versions/${Frameworks:Python}

Acesso através do protocolo de mapeamento

Adicionado na versão 3.2.

Acesso através do protocolo de mapeamento é um nome genérico para funcionalidade que permite usar objetos personalizados como se fossem dicionários. No caso de configparser, a implementação da interface de mapeamento está usando a notação parser['section']['option'].

parser['section'] em particular retorna um intermediário para os dados da seção no analisador sintático. Isso significa que os valores não são copiados, mas obtidos do analisador sintático original sob demanda. O que é ainda mais importante é que quando os valores são alterados em um intermediário de seção, eles são, na verdade, modificados no analisador sintático original.

Os objetos configparser se comportam o mais próximo possível dos dicionários reais. A interface de mapeamento é completa e segue a ABC MutableMapping. No entanto, existem algumas diferenças que devem ser levadas em consideração:

Por padrão, todas as chaves nas seções são acessíveis sem distinção entre maiúsculas e minúsculas [1]. Por exemplo. for option in parser["section"] produz apenas nomes de chaves de opção optionxformada. Isso significa chaves em letras minúsculas por padrão. Ao mesmo tempo, para uma seção que contém a chave 'a', ambas as expressões retornam True:

"a" in parser["section"]
"A" in parser["section"]

Todas as seções também incluem valores DEFAULTSECT, o que significa que .clear() em uma seção não pode deixá-la visivelmente vazia. Isso ocorre porque os valores padrão não podem ser excluídos da seção (porque tecnicamente eles não estão lá). Se eles forem substituídos na seção, a exclusão fará com que o valor padrão fique visível novamente. Tentar excluir um valor padrão causa um KeyError.

DEFAULTSECT não pode ser removido do analisador sintático:

tentar excluí-lo levanta ValueError,

parser.clear() deixa-o intacto,

parser.popitem() nunca o retorna.

parser.get(section, option, **kwargs) - o segundo argumento não é um valor substituto. Observe, entretanto, que os métodos get() em nível de seção são compatíveis tanto com o protocolo de mapeamento quanto com a API clássica do configparser.

parser.items() é compatível com o protocolo de mapeamento (retorna uma lista de pares section_name, section_proxy incluindo o DEFAULTSECT). Entretanto, este método também pode ser invocado com argumentos: parser.items(section, raw, vars). A última chamada retorna uma lista de pares option, value para uma section especificada, com todas as interpolações expandidas (a menos que raw=True seja fornecido).

O protocolo de mapeamento é implementado sobre a API legada existente para que as subclasses que substituem a interface original ainda tenham mapeamentos funcionando conforme o esperado.

Personalizando o comportamento do analisador sintático

Existem quase tantas variantes de formato INI quanto aplicações que o utilizam. configparser percorre um longo caminho para fornecer suporte para o maior conjunto sensato de estilos INI disponíveis. A funcionalidade padrão é determinada principalmente pelo histórico e é muito provável que você queira personalizar alguns dos recursos.

A maneira mais comum de alterar a forma como um analisador sintático de configuração específico funciona é usar as opções __init__():

defaults, valor padrão: None

Esta opção aceita um dicionário de pares chave-valor que será inicialmente colocado na seção DEFAULT. Isso é uma maneira elegante de oferecer suporte a arquivos de configuração concisos que não especificam valores iguais ao padrão documentado.

Dica: se você deseja especificar valores padrão para uma seção específica, use read_dict() antes de ler o arquivo real.

dict_type, valor padrão: dict

Esta opção tem um grande impacto no comportamento do protocolo de mapeamento e na aparência dos arquivos de configuração gravados. Com o dicionário padrão, cada seção é armazenada na ordem em que foram adicionadas ao analisador sintático. O mesmo vale para opções dentro das seções.

Um tipo de dicionário alternativo pode ser usado, por exemplo, para ordenar as seções e opções ao fazer write-back.

Observação: existem maneiras de adicionar um conjunto de pares de valores-chave em uma única operação. Quando você usa um dicionário regular nessas operações, a classificação das chaves será ordenada. Por exemplo:

>>> parser = configparser.ConfigParser()
>>> parser.read_dict({'section1': {'key1': 'value1',
...                                'key2': 'value2',
...                                'key3': 'value3'},
...                   'section2': {'keyA': 'valueA',
...                                'keyB': 'valueB',
...                                'keyC': 'valueC'},
...                   'section3': {'foo': 'x',
...                                'bar': 'y',
...                                'baz': 'z'}
... })
>>> parser.sections()
['section1', 'section2', 'section3']
>>> [option for option in parser['section3']]
['foo', 'bar', 'baz']

allow_no_value, valor padrão: False

Alguns arquivos de configuração são conhecidos por incluir configurações sem valores, mas que de outra forma estão em conformidade com a sintaxe suportada por configparser. O parâmetro allow_no_value para o construtor pode ser usado para indicar que tais valores devem ser aceitos:

>>> import configparser

>>> sample_config = """
... [mysqld]
...   user = mysql
...   pid-file = /var/run/mysqld/mysqld.pid
...   skip-external-locking
...   old_passwords = 1
...   skip-bdb
...   # we don't need ACID today
...   skip-innodb
... """
>>> config = configparser.ConfigParser(allow_no_value=True)
>>> config.read_string(sample_config)

>>> # Settings with values are treated as before:
>>> config["mysqld"]["user"]
'mysql'

>>> # Settings without values provide None:
>>> config["mysqld"]["skip-bdb"]

>>> # Settings which aren't specified still raise an error:
>>> config["mysqld"]["does-not-exist"]
Traceback (most recent call last):
  ...
KeyError: 'does-not-exist'

delimiters, valor padrão: ('=', ':')

Delimitadores são substrings que delimitam chaves de valores dentro de uma seção. A primeira ocorrência de uma substring delimitadora em uma linha é considerada um delimitador. Isso significa que os valores (mas não as chaves) podem conter os delimitadores.

Veja também o argumento space_around_delimiters para ConfigParser.write().

comment_prefixes, valor padrão: ('#', ';')

inline_comment_prefixes, valor padrão: None

Prefixos de comentários são strings que indicam o início de um comentário válido em um arquivo de configuração. comment_prefixes são usados ​​apenas em linhas vazias (opcionalmente indentadas), enquanto inline_comment_prefixes pode ser usado após cada valor válido (por exemplo, nomes de seções, opções e linhas vazias também). Por padrão, os comentários embutidos estão desabilitados e '#' e ';' são usados ​​como prefixos para comentários de linha inteira.

Alterado na versão 3.2: Nas versões anteriores do configparser, o comportamento correspondia a comment_prefixes=('#',';') e inline_comment_prefixes=(';',).

Observe que os analisadores sintáticos de configuração não oferecem suporte a escape de prefixos de comentários, portanto, usar inline_comment_prefixes pode impedir que os usuários especifiquem valores de opção com caracteres usados ​​como prefixos de comentários. Em caso de dúvida, evite definir inline_comment_prefixes. Em qualquer circunstância, a única maneira de armazenar caracteres de prefixo de comentário no início de uma linha em valores multilinha é interpolar o prefixo, por exemplo:

>>> from configparser import ConfigParser, ExtendedInterpolation
>>> parser = ConfigParser(interpolation=ExtendedInterpolation())
>>> # the default BasicInterpolation could be used as well
>>> parser.read_string("""
... [DEFAULT]
... hash = #
...
... [hashes]
... shebang =
...   ${hash}!/usr/bin/env python
...   ${hash} -*- coding: utf-8 -*-
...
... extensions =
...   enabled_extension
...   another_extension
...   #disabled_by_comment
...   yet_another_extension
...
... interpolation not necessary = if # is not at line start
... even in multiline values = line #1
...   line #2
...   line #3
... """)
>>> print(parser['hashes']['shebang'])

#!/usr/bin/env python
# -*- coding: utf-8 -*-
>>> print(parser['hashes']['extensions'])

enabled_extension
another_extension
yet_another_extension
>>> print(parser['hashes']['interpolation not necessary'])
if # is not at line start
>>> print(parser['hashes']['even in multiline values'])
line #1
line #2
line #3

strict, valor padrão: True

Ao definir como True, o analisador sintático não permitirá nenhuma seção ou opção duplicada durante a leitura de uma única fonte (usando read_file(), read_string() ou read_dict()). Recomenda-se usar analisadores sintáticos estritos em novas aplicações.

Alterado na versão 3.2: Nas versões anteriores do configparser, o comportamento correspondia a strict=False.

empty_lines_in_values, valor padrão: True

Em analisadores sintáticos de configuração, os valores podem abranger várias linhas, desde que sejam mais indentados do que a chave que os contém. Por padrão, os analisadores sintáticos também permitem que linhas vazias façam parte de valores. Ao mesmo tempo, as chaves podem ser indentados arbitrariamente para melhorar a legibilidade. Consequentemente, quando os arquivos de configuração ficam grandes e complexos, é fácil para o usuário perder o controle da estrutura do arquivo. Tomemos por exemplo:

[Section]
key = multiline
  value with a gotcha

 this = is still a part of the multiline value of 'key'

Isso pode ser especialmente problemático para o usuário ver se está usando uma fonte proporcional para editar o arquivo. É por isso que quando sua aplicação não precisa de valores com linhas vazias, você deve considerar proibi-los. Isso fará com que as linhas vazias dividam as chaves sempre. No exemplo acima, seriam produzidas duas chaves, key e this.

default_section, valor padrão: configparser.DEFAULTSECT (isto é: "DEFAULT")

A convenção de permitir uma seção especial de valores padrão para outras seções ou fins de interpolação é um conceito poderoso desta biblioteca, permitindo aos usuários criar configurações declarativas complexas. Esta seção normalmente é chamada de "DEFAULT", mas pode ser personalizada para apontar para qualquer outro nome de seção válido. Alguns valores típicos incluem: "general" ou "common". O nome fornecido é usado para reconhecer seções padrão ao ler de qualquer fonte e é usado ao gravar a configuração em um arquivo. Seu valor atual pode ser recuperado usando o atributo parser_instance.default_section e pode ser modificado em tempo de execução (ou seja, para converter arquivos de um formato para outro).

interpolation, valor padrão: configparser.BasicInterpolation

O comportamento de interpolação pode ser personalizado fornecendo um manipulador personalizado por meio do argumento interpolation. None pode ser usado para desligar completamente a interpolação, ExtendedInterpolation() fornece uma variante mais avançada inspirada em zc.buildout. Mais sobre o assunto na seção de documentação dedicada. RawConfigParser tem um valor padrão de None.

converters, valor padrão: não definido

Os analisadores sintáticos de configuração fornecem getters de valor de opção que realizam conversão de tipo. Por padrão, getint(), getfloat() e getboolean() são implementados. Caso outros getters sejam desejáveis, os usuários podem defini-los em uma subclasse ou passar um dicionário onde cada chave é um nome do conversor e cada valor é um chamável que implementa a referida conversão. Por exemplo, passar {'decimal': decimal.Decimal} adicionaria getdecimal() no objeto analisador sintático e em todos os proxies de seção. Em outras palavras, será possível escrever parser_instance.getdecimal('section', 'key', fallback=0) e parser_instance['section'].getdecimal('key', 0).

Se o conversor precisar acessar o estado do analisador sintático, ele poderá ser implementado como um método em uma subclasse do analisador sintático de configuração. Se o nome deste método começar com get, ele estará disponível em todos os intermediários de seção, na forma compatível com dict (veja o exemplo getdecimal() acima).

Uma personalização mais avançada pode ser obtida substituindo os valores padrão desses atributos do analisador sintático. Os padrões são definidos nas classes, portanto podem ser substituídos por subclasses ou por atribuição de atributos.

ConfigParser.BOOLEAN_STATES

Por padrão, ao usar getboolean(), os analisadores sintáticos de configuração consideram os seguintes valores True: '1', 'yes', 'true', 'on' e os seguintes valores False: '0', 'no', 'false', 'off'. Você pode substituir isso especificando um dicionário personalizado de strings e seus resultados booleanos. Por exemplo:

>>> custom = configparser.ConfigParser()
>>> custom['section1'] = {'funky': 'nope'}
>>> custom['section1'].getboolean('funky')
Traceback (most recent call last):
...
ValueError: Not a boolean: nope
>>> custom.BOOLEAN_STATES = {'sure': True, 'nope': False}
>>> custom['section1'].getboolean('funky')
False

Outros pares booleanos típicos incluem accept/reject ou enabled/disabled.

ConfigParser.optionxform(option)

Este método transforma nomes de opções em cada operação de leitura, obtenção ou definição. O padrão converte o nome em letras minúsculas. Isso também significa que quando um arquivo de configuração for gravado, todas as chaves estarão em letras minúsculas. Substitua esse método se for inadequado. Por exemplo:

>>> config = """
... [Section1]
... Key = Value
...
... [Section2]
... AnotherKey = Value
... """
>>> typical = configparser.ConfigParser()
>>> typical.read_string(config)
>>> list(typical['Section1'].keys())
['key']
>>> list(typical['Section2'].keys())
['anotherkey']
>>> custom = configparser.RawConfigParser()
>>> custom.optionxform = lambda option: option
>>> custom.read_string(config)
>>> list(custom['Section1'].keys())
['Key']
>>> list(custom['Section2'].keys())
['AnotherKey']

Nota

A função optionxform transforma nomes de opções em um formato canônico. Esta deve ser uma função idempotente: se o nome já estiver na forma canônica, deverá ser retornado inalterado.

ConfigParser.SECTCRE

Uma expressão regular compilada usada para analisar cabeçalhos de seção. O padrão corresponde a [section] para o nome "section". O espaço em branco é considerado parte do nome da seção, portanto [  larch  ] será lido como uma seção de nome "  larch  ". Substitua esse atributo se for inadequado. Por exemplo:

>>> import re
>>> config = """
... [Section 1]
... option = value
...
... [  Section 2  ]
... another = val
... """
>>> typical = configparser.ConfigParser()
>>> typical.read_string(config)
>>> typical.sections()
['Section 1', '  Section 2  ']
>>> custom = configparser.ConfigParser()
>>> custom.SECTCRE = re.compile(r"\[ *(?P<header>[^]]+?) *\]")
>>> custom.read_string(config)
>>> custom.sections()
['Section 1', 'Section 2']

Nota

Embora os objetos ConfigParser também usem um atributo OPTCRE para reconhecer linhas de opção, não é recomendado substituí-lo porque isso interferiria nas opções do construtor allow_no_value e delimiters.

Exemplos de APIs legadas

Principalmente por questões de compatibilidade com versões anteriores, configparser fornece também uma API legada com métodos get/set explícitos. Embora existam casos de uso válidos para os métodos descritos abaixo, o acesso ao protocolo de mapeamento é preferido para novos projetos. A API legada é às vezes mais avançada, de baixo nível e totalmente contraintuitiva.

Um exemplo de escrita em um arquivo de configuração:

import configparser

config = configparser.RawConfigParser()

# Please note that using RawConfigParser's set functions, you can assign
# non-string values to keys internally, but will receive an error when
# attempting to write to a file or when you get it in non-raw mode. Setting
# values using the mapping protocol or ConfigParser's set() does not allow
# such assignments to take place.
config.add_section('Section1')
config.set('Section1', 'an_int', '15')
config.set('Section1', 'a_bool', 'true')
config.set('Section1', 'a_float', '3.1415')
config.set('Section1', 'baz', 'fun')
config.set('Section1', 'bar', 'Python')
config.set('Section1', 'foo', '%(bar)s is %(baz)s!')

# Writing our configuration file to 'example.cfg'
with open('example.cfg', 'w') as configfile:
    config.write(configfile)

Um exemplo de leitura do arquivo de configuração novamente:

import configparser

config = configparser.RawConfigParser()
config.read('example.cfg')

# getfloat() raises an exception if the value is not a float
# getint() and getboolean() also do this for their respective types
a_float = config.getfloat('Section1', 'a_float')
an_int = config.getint('Section1', 'an_int')
print(a_float + an_int)

# Notice that the next output does not interpolate '%(bar)s' or '%(baz)s'.
# This is because we are using a RawConfigParser().
if config.getboolean('Section1', 'a_bool'):
    print(config.get('Section1', 'foo'))

Para obter interpolação, use ConfigParser:

import configparser

cfg = configparser.ConfigParser()
cfg.read('example.cfg')

# Set the optional *raw* argument of get() to True if you wish to disable
# interpolation in a single get operation.
print(cfg.get('Section1', 'foo', raw=False))  # -> "Python is fun!"
print(cfg.get('Section1', 'foo', raw=True))   # -> "%(bar)s is %(baz)s!"

# The optional *vars* argument is a dict with members that will take
# precedence in interpolation.
print(cfg.get('Section1', 'foo', vars={'bar': 'Documentation',
                                       'baz': 'evil'}))

# The optional *fallback* argument can be used to provide a fallback value
print(cfg.get('Section1', 'foo'))
      # -> "Python is fun!"

print(cfg.get('Section1', 'foo', fallback='Monty is not.'))
      # -> "Python is fun!"

print(cfg.get('Section1', 'monster', fallback='No such things as monsters.'))
      # -> "No such things as monsters."

# A bare print(cfg.get('Section1', 'monster')) would raise NoOptionError
# but we can also use:

print(cfg.get('Section1', 'monster', fallback=None))
      # -> None

Os valores padrão estão disponíveis em ambos os tipos de ConfigParsers. Eles são usados ​​em interpolação se uma opção usada não estiver definida em outro lugar.

import configparser

# New instance with 'bar' and 'baz' defaulting to 'Life' and 'hard' each
config = configparser.ConfigParser({'bar': 'Life', 'baz': 'hard'})
config.read('example.cfg')

print(config.get('Section1', 'foo'))     # -> "Python is fun!"
config.remove_option('Section1', 'bar')
config.remove_option('Section1', 'baz')
print(config.get('Section1', 'foo'))     # -> "Life is hard!"

Objetos ConfigParser

class configparser.ConfigParser(defaults=None, dict_type=dict, allow_no_value=False, delimiters=('=', ':'), comment_prefixes=('#', ';'), inline_comment_prefixes=None, strict=True, empty_lines_in_values=True, default_section=configparser.DEFAULTSECT, interpolation=BasicInterpolation(), converters={})

O principal analisador sintático de configuração. Quando defaults é fornecido, ele é inicializado no dicionário de padrões intrínsecos. Quando dict_type for fornecido, ele será usado para criar os objetos dicionário para a lista de seções, para as opções dentro de uma seção e para os valores padrão.

Quando delimitadores são fornecidos, eles são usados ​​como o conjunto de substrings que dividem chaves de valores. Quando comment_prefixes for fornecido, ele será usado como o conjunto de substrings que prefixam comentários em linhas vazias. Os comentários podem ser indentados. Quando inline_comment_prefixes for fornecido, ele será usado como o conjunto de substrings que prefixam comentários em linhas não vazias.

Quando strict for True (o padrão), o analisador sintático não permitirá nenhuma seção ou opção duplicada durante a leitura de uma única fonte (arquivo, string ou dicionário), levantando DuplicateSectionError ou DuplicateOptionError. Quando empty_lines_in_values é False (padrão: True), cada linha vazia marca o fim de uma opção. Caso contrário, as linhas vazias internas de uma opção multilinha serão mantidas como parte do valor. Quando allow_no_value for True (padrão: False), opções sem valores serão aceitas; o valor mantido para estes é None e eles são serializados sem o delimitador final.

Quando default_section é fornecido, ele especifica o nome da seção especial que contém valores padrão para outras seções e propósitos de interpolação (normalmente chamada de "DEFAULT"). Este valor pode ser recuperado e alterado em tempo de execução usando o atributo de instância default_section. Isso não reavaliará um arquivo de configuração já analisado, mas será usado ao escrever configurações analisadas em um novo arquivo de configuração.

O comportamento de interpolação pode ser personalizado fornecendo um manipulador personalizado por meio do argumento interpolation. None pode ser usado para desligar completamente a interpolação, ExtendedInterpolation() fornece uma variante mais avançada inspirada em zc.buildout. Mais sobre o assunto na seção de documentação dedicada.

Todos os nomes de opções usados ​​na interpolação serão passados ​​através do método optionxform() assim como qualquer outra referência de nome de opção. Por exemplo, usando a implementação padrão de optionxform() (que converte nomes de opções para letras minúsculas), os valores foo %(bar)s e foo %(BAR)s são equivalentes.

When converters is given, it should be a dictionary where each key represents the name of a type converter and each value is a callable implementing the conversion from string to the desired datatype. Every converter gets its own corresponding get*() method on the parser object and section proxies.

É possível ler diversas configurações para um único ConfigParser, onde a configuração adicionada mais recentemente terá a maior prioridade. Para quaisquer chaves repetidas serão usados os valores da configuração mais recente, enquanto os valores das chaves anteriores serão ignorados. O exemplo a seguir lê um arquivo chamado override.ini, que irá substituir chaves repetidas do arquivo example.ini.

[DEFAULT]
ServerAliveInterval = -1

>>> config_override = configparser.ConfigParser()
>>> config_override['DEFAULT'] = {'ServerAliveInterval': '-1'}
>>> with open('override.ini', 'w') as configfile:
...     config_override.write(configfile)
...
>>> config_override = configparser.ConfigParser()
>>> config_override.read(['example.ini', 'override.ini'])
['example.ini', 'override.ini']
>>> print(config_override.get('DEFAULT', 'ServerAliveInterval'))
-1

Alterado na versão 3.1: O padrão dict_type é collections.OrderedDict.

Alterado na versão 3.2: allow_no_value, delimiters, comment_prefixes, strict, empty_lines_in_values, default_section e interpolation foram adicionados.

Alterado na versão 3.5: O argumento converters foi adicionado.

Alterado na versão 3.7: The defaults argument is read with read_dict(), providing consistent behavior across the parser: non-string keys and values are implicitly converted to strings.

Alterado na versão 3.8: O dict_type padrão é dict, pois agora preserva a ordem de inserção.

Alterado na versão 3.13: Levanta MultilineContinuationError quando allow_no_value for True, e uma chave sem valor continua com uma linha indentada.

defaults()

Retorna um dicionário contendo os padrões de toda a instância.

sections()

Retorna uma lista das seções disponíveis; a seção padrão não está incluída na lista.

add_section(section)

Adiciona uma seção de nome section à instância. Se já existir uma seção com o nome fornecido, DuplicateSectionError será levantada. Se o nome da seção padrão for passado, ValueError será levantada. O nome da seção deve ser uma string; caso contrário, TypeError será levantada.

Alterado na versão 3.2: Nomes de seções sem string levantam TypeError.

has_section(section)

Indica se a section nomeada está presente na configuração. A seção padrão não é reconhecida.

options(section)

Retorna uma lista de opções disponíveis na section especificada.

has_option(section, option)

Se a section fornecida existir e contiver a option fornecida, retorna True; caso contrário, retorna False. Se a section especificada for None ou uma string vazia, DEFAULT será presumido.

read(filenames, encoding=None)

Tenta ler e analisar um iterável de nomes de arquivos, retornando uma lista de nomes de arquivos que foram analisados ​​com sucesso.

Se filenames for uma string, um objeto bytes ou um objeto caminho ou similar, este parâmetro será tratado como um único nome de arquivo. Se um arquivo nomeado em filenames não puder ser aberto, esse arquivo será ignorado. Isso foi projetado para que você possa especificar um iterável de possíveis locais de arquivo de configuração (por exemplo, o diretório atual, o diretório inicial do usuário e algum diretório de todo o sistema) e todos os arquivos de configuração existentes no iterável serão lidos.

Se nenhum dos arquivos nomeados existir, a instância ConfigParser conterá um conjunto de dados vazio. Uma aplicação que requer que valores iniciais sejam carregados de um arquivo deve carregar o arquivo ou arquivos necessários usando read_file() antes de chamar read() para quaisquer arquivos opcionais:

import configparser, os

config = configparser.ConfigParser()
config.read_file(open('defaults.cfg'))
config.read(['site.cfg', os.path.expanduser('~/.myapp.cfg')],
            encoding='cp1250')

Alterado na versão 3.2: Adicionado o parâmetro encoding. Anteriormente, todos os arquivos eram lidos usando a codificação padrão para open().

Alterado na versão 3.6.1: O parâmetro filenames aceita um objeto caminho ou similar.

Alterado na versão 3.7: O parâmetro filenames aceita um objeto bytes.

read_file(f, source=None)

Lê e analisa dados de configuração de f que devem ser iteráveis, produzindo strings Unicode (por exemplo, arquivos abertos em modo texto).

O argumento opcional source especifica o nome do arquivo que está sendo lido. Se não for fornecido e f tiver um atributo name, que é usado para source; o padrão é '<???>'.

Adicionado na versão 3.2: Substitui readfp().

read_string(string, source='<string>')

Analisa dados de configuração de uma string.

O argumento opcional source especifica um nome específico do contexto da string passada. Se não for fornecido, '<string>' será usado. Geralmente deve ser um caminho do sistema de arquivos ou uma URL.

Adicionado na versão 3.2.

read_dict(dictionary, source='<dict>')

Carrega a configuração de qualquer objeto que forneça um método items() dict ou similar. Chaves são nomes de seções, valores são dicionários com chaves e valores que devem estar presentes na seção. Se o tipo de dicionário usado preservar a ordem, as seções e suas chaves serão adicionadas em ordem. Os valores são convertidos automaticamente em strings.

O argumento opcional source especifica um nome específico do contexto do dicionário passado. Se não for fornecido, <dict> será usado.

Este método pode ser usado para copiar o estado entre analisadores sintáticos.

Adicionado na versão 3.2.

get(section, option, *, raw=False, vars=None[, fallback])

Obtém um valor de option para a section nomeada. Se vars for fornecido, deverá ser um dicionário. A option é pesquisada em vars (se fornecido), section e em DEFAULTSECT nesta ordem. Se a chave não for encontrada e fallback for fornecido, ele será usado como um valor alternativo. None pode ser fornecido como um valor fallback.

Todas as interpolações '%' são expandidas nos valores de retorno, a menos que o argumento raw seja verdadeiro. Os valores das chaves de interpolação são consultados da mesma maneira que a opção.

Alterado na versão 3.2: Os argumentos raw, vars e fallback são palavras somente-nomeadas para proteger os usuários de tentarem usar o terceiro argumento como substituto fallback (especialmente ao usar o protocolo de mapeamento).

getint(section, option, *, raw=False, vars=None[, fallback])

Um método de conveniência que força a option na section especificada ser um número inteiro. Veja get() para explicação de raw, vars e fallback.

getfloat(section, option, *, raw=False, vars=None[, fallback])

Um método de conveniência que força a option na section especificada ser um número de ponto flutuante. Veja get() para explicação de raw, vars e fallback.

getboolean(section, option, *, raw=False, vars=None[, fallback])

Um método de conveniência que força a option na section especificada a um valor booleano. Observe que os valores aceitos para a opção são '1', 'yes', 'true', e 'on', o que fazem com que este método retorne True, e '0', 'no', 'false', e 'off', o que fazem com que ele retorne False. Esses valores de string são verificados sem distinção entre maiúsculas e minúsculas. Qualquer outro valor fará com que ele levante ValueError. Veja get() para explicação de raw, vars e fallback.

items(raw=False, vars=None)

items(section, raw=False, vars=None)

Quando section não é fornecido, retorna uma lista de pares section_name, section_proxy, incluindo DEFAULTSECT.

Caso contrário, retorna uma lista de pares name, value para as opções na section fornecida. Argumentos opcionais têm o mesmo significado do método get().

Alterado na versão 3.8: Os itens presentes em vars não aparecem mais no resultado. O comportamento anterior misturava opções reais do analisador sintático com variáveis ​​fornecidas para interpolação.

set(section, option, value)

Se a seção fornecida existir, defina a opção fornecida com o valor especificado; caso contrário, levanta NoSectionError. option e value devem ser strings; caso contrário, TypeError será levantada.

write(fileobject, space_around_delimiters=True)

Escreve uma representação da configuração no objeto arquivo especificado, que deve ser aberto em modo texto (aceitando strings). Esta representação pode ser analisada por uma futura chamada read(). Se space_around_delimiters for verdadeiro, os delimitadores entre chaves e valores serão envoltos por espaços.

Nota

Os comentários no arquivo de configuração original não são preservados ao escrever a configuração. O que é considerado um comentário depende dos valores fornecidos para comment_prefix e inline_comment_prefix.

remove_option(section, option)

Remove a option especificada da section especificada. Se a seção não existir, levanta NoSectionError. Se existisse a opção de ser removida, retorna True; caso contrário, retorna False.

remove_section(section)

Remove a section especificada da configuração. Se a seção de fato existiu, retorna True. Caso contrário, retorna False.

optionxform(option)

Transforma o nome da opção option conforme encontrado em um arquivo de entrada ou conforme passado pelo código do cliente no formato que deve ser usado nas estruturas internas. A implementação padrão retorna uma versão em minúsculas de option; subclasses podem substituir isso ou o código do cliente pode definir um atributo com esse nome nas instâncias para afetar esse comportamento.

Você não precisa criar uma subclasse do analisador sintático para usar esse método; você também pode configurá-lo em uma instância, para uma função que recebe um argumento de string e retorna uma string. Definir como str, por exemplo, faria com que sejam diferenciadas as letras maiúsculas das minúsculas nos nomes das opções:

cfgparser = ConfigParser()
cfgparser.optionxform = str

Observe que ao ler arquivos de configuração, os espaços em branco ao redor dos nomes das opções são removidos antes de optionxform() ser chamado.

configparser.UNNAMED_SECTION

Um objeto especial que representa um nome de seção usado para referenciar a seção sem nome (veja Seções não nomeadas).

configparser.MAX_INTERPOLATION_DEPTH

A profundidade máxima para interpolação recursiva para get() quando o parâmetro raw é falso. Isso é relevante apenas quando a interpolation padrão é usada.

Objetos RawConfigParser

class configparser.RawConfigParser(defaults=None, dict_type=dict, allow_no_value=False, *, delimiters=('=', ':'), comment_prefixes=('#', ';'), inline_comment_prefixes=None, strict=True, empty_lines_in_values=True, default_section=configparser.DEFAULTSECT[, interpolation])

Variante legada do ConfigParser. Ela tem a interpolação desabilitada por padrão e permite nomes de seções não-string, nomes de opções e valores através de seus métodos inseguros add_section e set, bem como o tratamento de argumentos nomeados legados defaults= .

Alterado na versão 3.8: O dict_type padrão é dict, pois agora preserva a ordem de inserção.

Nota

Considere usar ConfigParser, que verifica os tipos de valores a serem armazenados internamente. Se você não quiser interpolação, você pode usar ConfigParser(interpolation=None).

add_section(section)

Adiciona uma seção chamada section à instância. Se já existir uma seção com o nome fornecido, DuplicateSectionError será levantada. Se o nome da seção padrão for passado, ValueError será levantada.

O tipo da section não está marcado, o que permite aos usuários criar seções nomeadas sem string. Este comportamento não é compatível e pode causar erros internos.

set(section, option, value)

Se a seção fornecida existir, defina a opção fornecida com o valor especificado; caso contrário, levanta NoSectionError. Embora seja possível usar RawConfigParser (ou ConfigParser com parâmetros raw definidos como verdadeiro) para armazenamento interno de valores não-string, funcionalidade completa (incluindo interpolação e saída para arquivos) só pode ser alcançado usando valores de string.

Este método permite que os usuários atribuam valores não-string às chaves internamente. Este comportamento não é suportado e causará erros ao tentar escrever em um arquivo ou obtê-lo no modo não bruto. Use a API do protocolo de mapeamento que não permite que tais atribuições ocorram.

Exceções

exception configparser.Error

Classe base para todas as outras exceções do configparser.

exception configparser.NoSectionError

Exceção levantada quando uma seção especificada não é encontrada.

exception configparser.DuplicateSectionError

Exceção levantada se add_section() for chamado com o nome de uma seção que já está presente ou em analisadores sintáticos estritos quando uma seção for encontrada mais de uma vez em um único arquivo de entrada, string ou dicionário.

Alterado na versão 3.2: Adicionados os atributos e parâmetros opcionais source e lineno a __init__().

exception configparser.DuplicateOptionError

Exceção levantada por analisadores sintáticos estritos se uma única opção aparecer duas vezes durante a leitura de um único arquivo, string ou dicionário. Isso detecta erros ortográficos e erros relacionados a diferenciação de letras maiúsculas e minúsculas como, p. ex., um dicionário pode ter duas chaves representando a mesma chave de configuração que não diferencia maiúsculas de minúsculas.

exception configparser.NoOptionError

Exceção levantada quando uma opção especificada não é encontrada na seção especificada.

exception configparser.InterpolationError

Classe base para exceções levantadas quando ocorrem problemas ao executar a interpolação de strings.

exception configparser.InterpolationDepthError

Exceção levantada quando a interpolação de string não pode ser concluída porque o número de iterações excede MAX_INTERPOLATION_DEPTH. Subclasse de InterpolationError.

exception configparser.InterpolationMissingOptionError

Exceção levantada quando uma opção referenciada a partir de um valor não existe. Subclasse de InterpolationError.

exception configparser.InterpolationSyntaxError

Exceção levantada quando o texto fonte no qual são feitas as substituições não está em conformidade com a sintaxe exigida. Subclasse de InterpolationError.

exception configparser.MissingSectionHeaderError

Exceção levantada ao tentar analisar um arquivo que não possui cabeçalhos de seção.

exception configparser.ParsingError

Exceção levantada quando ocorrem erros ao tentar analisar um arquivo.

Alterado na versão 3.12: O atributo filename e o argumento do construtor __init__() foram removidos. Eles estiveram disponíveis usando o nome source desde 3.2.

exception configparser.MultilineContinuationError

Exceção levantada quando uma chave sem valor correspondente continua com uma linha indentada.

Adicionado na versão 3.13.

Notas de rodapé

[1] (1,2,3,4,5,6,7,8,9,10,11)

Os analisadores sintáticos de configuração permitem muita personalização. Caso você tenha interesse em alterar o comportamento descrito na referência da nota de rodapé, consulte a seção Personalizando o comportamento do analisador sintático.

tomllib — Analisa arquivos TOML

Adicionado na versão 3.11.

Código-fonte: Lib/tomllib [https://github.com/python/cpython/tree/3.13/Lib/tomllib]

Este módulo fornece uma interface para analisar TOML 1.0.0 (Tom’s Obvious Minimal Language, https://toml.io [https://toml.io/pt/]). Este módulo não oferece suporte para escrever TOML.

Ver também

O pacote Tomli-W [https://pypi.org/project/tomli-w/] é um editor de TOML que pode ser usado em conjunto com este módulo, fornecendo uma API de escrita familiar aos usuários da biblioteca padrão: módulos marshal e pickle.

Ver também

O pacote TOML Kit [https://pypi.org/project/tomlkit/] é uma biblioteca TOML de preservação de estilo com capacidade de leitura e escrita. É uma substituição recomendada para este módulo para edição de arquivos TOML já existentes.

Este módulo define as seguintes funções:

tomllib.load(fp, /, *, parse_float=float)

Lê um arquivo TOML. O primeiro argumento deve ser um objeto arquivo binário e legível. Retorna um dict. Converte tipos TOML para Python usando esta tabela de conversão.

parse_float será chamado com a string de cada ponto flutuante (float) do TOML a ser decodificado. Por padrão, isso é equivalente a float(num_str). Isso pode ser usado para usar outro tipo de dados ou analisador sintático para pontos flutuantes do TOML (por exemplo, decimal.Decimal). O chamável não deve retornar um dict ou um list, senão uma exceção ValueError é levantada.

Uma exceção TOMLDecodeError será levantada no caso de um documento TOML inválido.

tomllib.loads(s, /, *, parse_float=float)

Carrega TOML de um objeto str. Retorna um dict. Converte tipos TOML para Python usando esta tabela de conversão. O argumento parse_float tem o mesmo significado que em load().

Uma exceção TOMLDecodeError será levantada no caso de um documento TOML inválido.

As seguintes exceções estão disponíveis:

exception tomllib.TOMLDecodeError

Subclasse de ValueError.

Exemplos

Analisando um arquivo TOML:

import tomllib

with open("pyproject.toml", "rb") as f:
    data = tomllib.load(f)

Analisando uma string TOML:

import tomllib

toml_str = """
python-version = "3.11.0"
python-implementation = "CPython"
"""

data = tomllib.loads(toml_str)

Tabela de conversão

TOML

Python

documento TOML

dict

string

str

inteiro

int

ponto flutuante

ponto flutuante (configurável com parse_float)

booleano

bool

deslocamento de data-hora

datetime.datetime (atributo de tzinfo definido com uma instância de datetime.timezone)

data-hora local

datetime.datetime (atributo de tzinfo definido com None)

data local

datetime.date

hora local

datetime.time

array

lista

tabela

dict

tabela inline

dict

array de tabelas

lista de dicionários

netrc — Arquivo de processamento netrc

Código-fonte: Lib/netrc.py [https://github.com/python/cpython/tree/3.13/Lib/netrc.py]

A classe netrc analisa e encapsula o formato do arquivo netrc usado pelo programa Unix ftp e outros clientes FTP.

class netrc.netrc([file])

Uma instância ou instância de subclasse de netrc encapsula dados de um arquivo netrc. O argumento de inicialização, se presente, especifica o arquivo a ser analisado. Se nenhum argumento for fornecido, o arquivo .netrc no diretório inicial do usuário – conforme determinado por os.path.expanduser() – será lido. Caso contrário, uma exceção FileNotFoundError será levantada. Os erros de análise levantam NetrcParseError com informações de diagnóstico, incluindo o nome do arquivo, o número da linha e o token final. Se nenhum argumento for especificado em um sistema POSIX, a presença de senhas no arquivo .netrc levantará um NetrcParseError se a propriedade ou as permissões do arquivo forem inseguras (pertencentes a um usuário que não seja o usuário executando o processo ou acessível para leitura ou gravação por qualquer outro usuário). Isso implementa um comportamento de segurança equivalente ao do ftp e de outros programas que usam .netrc.

Alterado na versão 3.4: Adicionada a verificação de permissão POSIX.

Alterado na versão 3.7: os.path.expanduser() é usado para encontrar a localização do arquivo .netrc quando file não é passado como argumento.

Alterado na versão 3.10: netrc tenta a codificação UTF-8 antes de usar a codificação específica da localidade. A entrada no arquivo netrc não precisa mais conter todos os tokens. O valor padrão dos tokens ausentes é uma string vazia. Todos os tokens e seus valores agora podem conter caracteres arbitrários, como espaços em branco e caracteres não ASCII. Se o nome de login for anônimo, ele não acionará a verificação de segurança.

exception netrc.NetrcParseError

Exceção levantada pela classe netrc quando erros sintáticos são encontrados no texto fonte. As instâncias desta exceção fornecem três atributos interessantes:

msg

Explicação textual do erro.

filename

O nome do arquivo de origem.

lineno

O número da linha em que o erro foi encontrado.

Objetos netrc

Uma instância da classe netrc tem os seguintes métodos:

netrc.authenticators(host)

Retorna uma tupla de 3 elementos (login, conta, senha) dos autenticadores do host. Se o arquivo netrc não contém uma entrada para o host dado, retorna a tupla associada com a entrada padrão. Se não houver nenhum host correspondente nem uma entrada padrão estiver disponível, retorna None.

netrc.__repr__()

Despeja os dados da classe como uma string no formato de um arquivo netrc. (Isso descarta os comentários e pode reordenar as entradas.)

Instâncias de netrc possuem variáveis de instância públicas:

netrc.hosts

Dicionário mapeando nomes de host para tuplas (login, conta, senha). A entrada default, se houver, é representada como um pseudo-host por esse nome.

netrc.macros

Dicionário mapeando nomes de macros para listas de strings.

plistlib — Gera e analisa arquivos Apple .plist

Código-fonte: Lib/plistlib.py [https://github.com/python/cpython/tree/3.13/Lib/plistlib.py]

Este módulo fornece uma interface para ler e escrever os arquivos “property listas (lista de propriedades) usados ​​pela Apple, principalmente no macOS e iOS. Este módulo tem suporte a arquivos plist binários e XML.

O formato de arquivo de lista de propriedades (.plist) é uma serialização simples que oferece suporte a tipos básicos de objetos, como dicionários, listas, números e strings. Normalmente, o objeto de nível superior é um dicionário.

Para escrever e analisar um arquivo plist, use as funções dump() e load().

Para trabalhar com dados plist em objetos bytes ou string, use dumps() e loads().

Os valores podem ser strings, inteiros, floats, booleanos, tuplas, listas, dicionários (mas somente com chaves de string), objetos bytes, bytearray ou datetime.datetime.

Alterado na versão 3.4: Nova API, API antiga descontinuada. Suporte para plists de formato binário adicionado.

Alterado na versão 3.8: Adicionado suporte para leitura e escrita de tokens UID em plists binários, conforme usado por NSKeyedArchiver e NSKeyedUnarchiver.

Alterado na versão 3.9: API antiga removida.

Ver também

Pagina de manual de PList [https://developer.apple.com/library/archive/documentation/Cocoa/Conceptual/PropertyLists/]

Documentação da Apple sobre o formato de arquivo.

Este módulo define as seguintes funções:

plistlib.load(fp, *, fmt=None, dict_type=dict, aware_datetime=False)

Lê um arquivo plist. fp deve ser um objeto arquivo binário e legível. Retorna o objeto raiz desempacotado (que geralmente é um dicionário).

fmt é o formato do arquivo e os seguintes valores são válidos:

None: Detecta automaticamente o formato do arquivo

FMT_XML: Formato de arquivo XML

FMT_BINARY: Formato binário plist

O dict_type é o tipo usado para dicionários que são lidos do arquivo plist.

Quando aware_datetime for verdadeiro, campos com o tipo datetime.datetime serão criados como objeto conscientes, com tzinfo como datetime.UTC.

Dados XML para o formato FMT_XML são analisados ​​usando o analisador sintático Expat de xml.parsers.expat – veja sua documentação para possíveis exceções em XML malformado. Elementos desconhecidos serão simplesmente ignorados pelo analisador de plist.

O analisador sintático para o formato binário levanta InvalidFileException quando o arquivo não pode ser analisado.

Adicionado na versão 3.4.

Alterado na versão 3.13: O parâmetro somente-nomeado aware_datetime foi adicionado.

plistlib.loads(data, *, fmt=None, dict_type=dict, aware_datetime=False)

Carrega um plist de um objeto bytes ou string. Veja load() para uma explicação dos argumentos nomeados.

Adicionado na versão 3.4.

Alterado na versão 3.13: data pode ser uma string quando fmt é igual a FMT_XML.

plistlib.dump(value, fp, *, fmt=FMT_XML, sort_keys=True, skipkeys=False, aware_datetime=False)

Escreve value em um arquivo plist. Fp deve ser um objeto arquivo binário gravável.

O argumento fmt especifica o formato do arquivo plist e pode ser um dos seguintes valores:

FMT_XML: Arquivo plist formatado em XML

FMT_BINARY: Arquivo plist formatado em binário

Quando sort_keys é verdadeiro (o padrão), as chaves dos dicionários serão escritas ordenadas no plist, caso contrário, elas serão escritas na ordem de iteração do dicionário.

Quando skipkeys é falso (o padrão), a função levanta TypeError quando uma chave de um dicionário não é uma string, caso contrário, tais chaves são ignoradas.

Quando aware_datetime é verdadeiro e qualquer campo com o tipo datetime.datetime é definido como um objeto consciente, ele será convertido para o fuso horário UTC antes de escrevê-lo.

Uma TypeError será levantada se o objeto for de um tipo não suportado ou um contêiner que contém objetos de tipos não suportados.

Uma OverflowError será levantada para valores inteiros que não podem ser representados em arquivos plist (binários).

Adicionado na versão 3.4.

Alterado na versão 3.13: O parâmetro somente-nomeado aware_datetime foi adicionado.

plistlib.dumps(value, *, fmt=FMT_XML, sort_keys=True, skipkeys=False, aware_datetime=False)

Retorna value como um objeto bytes formatado em plist. Veja a documentação para dump() para uma explicação dos argumentos nomeados desta função.

Adicionado na versão 3.4.

As seguintes classes estão disponíveis:

class plistlib.UID(data)

Envolve um int. Isso é usado ao ler ou escrever dados codificados NSKeyedArchiver, que contém UID (veja o manual de PList).

Tem um atributo, data, que pode ser usado para recuperar o valor int do UID. data deve estar no intervalo 0 <= data < 2**64.

Adicionado na versão 3.8.

As seguintes constantes estão disponíveis:

plistlib.FMT_XML

O formato XML para arquivos plist.

Adicionado na versão 3.4.

plistlib.FMT_BINARY

O formato binário para arquivos plist

Adicionado na versão 3.4.

Exemplos

Gerando um plist:

import datetime
import plistlib

pl = dict(
    aString = "Doodah",
    aList = ["A", "B", 12, 32.1, [1, 2, 3]],
    aFloat = 0.1,
    anInt = 728,
    aDict = dict(
        anotherString = "<hello & hi there!>",
        aThirdString = "M\xe4ssig, Ma\xdf",
        aTrueValue = True,
        aFalseValue = False,
    ),
    someData = b"<binary gunk>",
    someMoreData = b"<lots of binary gunk>" * 10,
    aDate = datetime.datetime.now()
)
print(plistlib.dumps(pl).decode())

Analisando um plist:

import plistlib

plist = b"""<plist version="1.0">
<dict>
    <key>foo</key>
    <string>bar</string>
</dict>
</plist>"""
pl = plistlib.loads(plist)
print(pl["foo"])

Serviços Criptográficos

Os módulos descritos neste capítulo implementam vários algoritmos de uma natureza criptográfica. Eles estão disponíveis a critério da instalação. Aqui está uma visão geral:

hashlib — Secure hashes and message digests

Hash algorithms

Uso

Constructors

new()

md5()

sha1()

sha224()

sha256()

sha384()

sha512()

sha3_224()

sha3_256()

sha3_384()

sha3_512()

Attributes

algorithms_guaranteed

algorithms_available

Hash Objects

digest_size

block_size

name

update()

digest()

hexdigest()

copy()

SHAKE variable length digests

shake_128()

shake_256()

digest()

hexdigest()

File hashing

file_digest()

Key derivation

pbkdf2_hmac()

scrypt()

BLAKE2

Creating hash objects

blake2b()

blake2s()

Constantes

SALT_SIZE

SALT_SIZE

PERSON_SIZE

PERSON_SIZE

MAX_KEY_SIZE

MAX_KEY_SIZE

MAX_DIGEST_SIZE

MAX_DIGEST_SIZE

Exemplos

Simple hashing

Using different digest sizes

Keyed hashing

Randomized hashing

Personalization

Modo árvore

Credits

hmac — Keyed-Hashing for Message Authentication

new()

digest()

update()

digest()

hexdigest()

copy()

digest_size

block_size

name

compare_digest()

secrets — Gera números aleatórios seguros para gerenciar segredos

Números aleatórios

SystemRandom

choice()

randbelow()

randbits()

Gerando tokens

token_bytes()

token_hex()

token_urlsafe()

Quantos bytes os tokens devem usar?

Outras funções

compare_digest()

Receitas e melhores práticas

hashlib — Secure hashes and message digests

Código-fonte: Lib/hashlib.py [https://github.com/python/cpython/tree/3.13/Lib/hashlib.py]

This module implements a common interface to many different secure hash and message digest algorithms. Included are the FIPS secure hash algorithms SHA1, SHA224, SHA256, SHA384, SHA512, (defined in the FIPS 180-4 standard [https://csrc.nist.gov/pubs/fips/180-4/upd1/final]), the SHA-3 series (defined in the FIPS 202 standard [https://csrc.nist.gov/pubs/fips/202/final]) as well as RSA’s MD5 algorithm (defined in internet RFC 1321 [https://datatracker.ietf.org/doc/html/rfc1321.html]). The terms “secure hash” and “message digest” are interchangeable. Older algorithms were called message digests. The modern term is secure hash.

Nota

If you want the adler32 or crc32 hash functions, they are available in the zlib module.

Hash algorithms

There is one constructor method named for each type of hash. All return a hash object with the same simple interface. For example: use sha256() to create a SHA-256 hash object. You can now feed this object with bytes-like objects (normally bytes) using the update method. At any point you can ask it for the digest of the concatenation of the data fed to it so far using the digest() or hexdigest() methods.

To allow multithreading, the Python GIL is released while computing a hash supplied more than 2047 bytes of data at once in its constructor or .update method.

Constructors for hash algorithms that are always present in this module are sha1(), sha224(), sha256(), sha384(), sha512(), sha3_224(), sha3_256(), sha3_384(), sha3_512(), shake_128(), shake_256(), blake2b(), and blake2s(). md5() is normally available as well, though it may be missing or blocked if you are using a rare “FIPS compliant” build of Python. These correspond to algorithms_guaranteed.

Additional algorithms may also be available if your Python distribution’s hashlib was linked against a build of OpenSSL that provides others. Others are not guaranteed available on all installations and will only be accessible by name via new(). See algorithms_available.

Aviso

Some algorithms have known hash collision weaknesses (including MD5 and SHA1). Refer to Attacks on cryptographic hash algorithms [https://en.wikipedia.org/wiki/Cryptographic_hash_function#Attacks_on_cryptographic_hash_algorithms] and the hashlib-seealso section at the end of this document.

Adicionado na versão 3.6: SHA3 (Keccak) and SHAKE constructors sha3_224(), sha3_256(), sha3_384(), sha3_512(), shake_128(), shake_256() were added. blake2b() and blake2s() were added.

Alterado na versão 3.9: All hashlib constructors take a keyword-only argument usedforsecurity with default value True. A false value allows the use of insecure and blocked hashing algorithms in restricted environments. False indicates that the hashing algorithm is not used in a security context, e.g. as a non-cryptographic one-way compression function.

Alterado na versão 3.9: Hashlib now uses SHA3 and SHAKE from OpenSSL if it provides it.

Alterado na versão 3.12: For any of the MD5, SHA1, SHA2, or SHA3 algorithms that the linked OpenSSL does not provide we fall back to a verified implementation from the HACL* project [https://github.com/hacl-star/hacl-star].

Uso

To obtain the digest of the byte string b"Nobody inspects the spammish repetition":

>>> import hashlib
>>> m = hashlib.sha256()
>>> m.update(b"Nobody inspects")
>>> m.update(b" the spammish repetition")
>>> m.digest()
b'\x03\x1e\xdd}Ae\x15\x93\xc5\xfe\\\x00o\xa5u+7\xfd\xdf\xf7\xbcN\x84:\xa6\xaf\x0c\x95\x0fK\x94\x06'
>>> m.hexdigest()
'031edd7d41651593c5fe5c006fa5752b37fddff7bc4e843aa6af0c950f4b9406'

More condensed:

>>> hashlib.sha256(b"Nobody inspects the spammish repetition").hexdigest()
'031edd7d41651593c5fe5c006fa5752b37fddff7bc4e843aa6af0c950f4b9406'

Constructors

hashlib.new(name, [data, ]*, usedforsecurity=True)

Is a generic constructor that takes the string name of the desired algorithm as its first parameter. It also exists to allow access to the above listed hashes as well as any other algorithms that your OpenSSL library may offer.

Using new() with an algorithm name:

>>> h = hashlib.new('sha256')
>>> h.update(b"Nobody inspects the spammish repetition")
>>> h.hexdigest()
'031edd7d41651593c5fe5c006fa5752b37fddff7bc4e843aa6af0c950f4b9406'

hashlib.md5([data, ]*, usedforsecurity=True)

hashlib.sha1([data, ]*, usedforsecurity=True)

hashlib.sha224([data, ]*, usedforsecurity=True)

hashlib.sha256([data, ]*, usedforsecurity=True)

hashlib.sha384([data, ]*, usedforsecurity=True)

hashlib.sha512([data, ]*, usedforsecurity=True)

hashlib.sha3_224([data, ]*, usedforsecurity=True)

hashlib.sha3_256([data, ]*, usedforsecurity=True)

hashlib.sha3_384([data, ]*, usedforsecurity=True)

hashlib.sha3_512([data, ]*, usedforsecurity=True)

Named constructors such as these are faster than passing an algorithm name to new().

Attributes

Hashlib provides the following constant module attributes:

hashlib.algorithms_guaranteed

A set containing the names of the hash algorithms guaranteed to be supported by this module on all platforms. Note that ‘md5’ is in this list despite some upstream vendors offering an odd “FIPS compliant” Python build that excludes it.

Adicionado na versão 3.2.

hashlib.algorithms_available

A set containing the names of the hash algorithms that are available in the running Python interpreter. These names will be recognized when passed to new(). algorithms_guaranteed will always be a subset. The same algorithm may appear multiple times in this set under different names (thanks to OpenSSL).

Adicionado na versão 3.2.

Hash Objects

The following values are provided as constant attributes of the hash objects returned by the constructors:

hash.digest_size

The size of the resulting hash in bytes.

hash.block_size

The internal block size of the hash algorithm in bytes.

A hash object has the following attributes:

hash.name

The canonical name of this hash, always lowercase and always suitable as a parameter to new() to create another hash of this type.

Alterado na versão 3.4: The name attribute has been present in CPython since its inception, but until Python 3.4 was not formally specified, so may not exist on some platforms.

A hash object has the following methods:

hash.update(data)

Update the hash object with the bytes-like object. Repeated calls are equivalent to a single call with the concatenation of all the arguments: m.update(a); m.update(b) is equivalent to m.update(a+b).

hash.digest()

Return the digest of the data passed to the update() method so far. This is a bytes object of size digest_size which may contain bytes in the whole range from 0 to 255.

hash.hexdigest()

Like digest() except the digest is returned as a string object of double length, containing only hexadecimal digits. This may be used to exchange the value safely in email or other non-binary environments.

hash.copy()

Return a copy (“clone”) of the hash object. This can be used to efficiently compute the digests of data sharing a common initial substring.

SHAKE variable length digests

hashlib.shake_128([data, ]*, usedforsecurity=True)

hashlib.shake_256([data, ]*, usedforsecurity=True)

The shake_128() and shake_256() algorithms provide variable length digests with length_in_bits//2 up to 128 or 256 bits of security. As such, their digest methods require a length. Maximum length is not limited by the SHAKE algorithm.

shake.digest(length)

Return the digest of the data passed to the update() method so far. This is a bytes object of size length which may contain bytes in the whole range from 0 to 255.

shake.hexdigest(length)

Like digest() except the digest is returned as a string object of double length, containing only hexadecimal digits. This may be used to exchange the value in email or other non-binary environments.

Example use:

>>> h = hashlib.shake_256(b'Nobody inspects the spammish repetition')
>>> h.hexdigest(20)
'44709d6fcb83d92a76dcb0b668c98e1b1d3dafe7'

File hashing

The hashlib module provides a helper function for efficient hashing of a file or file-like object.

hashlib.file_digest(fileobj, digest, /)

Return a digest object that has been updated with contents of file object.

fileobj must be a file-like object opened for reading in binary mode. It accepts file objects from builtin open(), BytesIO instances, SocketIO objects from socket.socket.makefile(), and similar. The function may bypass Python’s I/O and use the file descriptor from fileno() directly. fileobj must be assumed to be in an unknown state after this function returns or raises. It is up to the caller to close fileobj.

digest must either be a hash algorithm name as a str, a hash constructor, or a callable that returns a hash object.

Exemplo:

>>> import io, hashlib, hmac
>>> with open(hashlib.__file__, "rb") as f:
...     digest = hashlib.file_digest(f, "sha256")
...
>>> digest.hexdigest()
'...'

>>> buf = io.BytesIO(b"somedata")
>>> mac1 = hmac.HMAC(b"key", digestmod=hashlib.sha512)
>>> digest = hashlib.file_digest(buf, lambda: mac1)

>>> digest is mac1
True
>>> mac2 = hmac.HMAC(b"key", b"somedata", digestmod=hashlib.sha512)
>>> mac1.digest() == mac2.digest()
True

Adicionado na versão 3.11.

Key derivation

Key derivation and key stretching algorithms are designed for secure password hashing. Naive algorithms such as sha1(password) are not resistant against brute-force attacks. A good password hashing function must be tunable, slow, and include a salt [https://en.wikipedia.org/wiki/Salt_%28cryptography%29].

hashlib.pbkdf2_hmac(hash_name, password, salt, iterations, dklen=None)

The function provides PKCS#5 password-based key derivation function 2. It uses HMAC as pseudorandom function.

The string hash_name is the desired name of the hash digest algorithm for HMAC, e.g. ‘sha1’ or ‘sha256’. password and salt are interpreted as buffers of bytes. Applications and libraries should limit password to a sensible length (e.g. 1024). salt should be about 16 or more bytes from a proper source, e.g. os.urandom().

The number of iterations should be chosen based on the hash algorithm and computing power. As of 2022, hundreds of thousands of iterations of SHA-256 are suggested. For rationale as to why and how to choose what is best for your application, read Appendix A.2.2 of NIST-SP-800-132 [https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-132.pdf]. The answers on the stackexchange pbkdf2 iterations question [https://security.stackexchange.com/questions/3959/recommended-of-iterations-when-using-pbkdf2-sha256/] explain in detail.

dklen is the length of the derived key in bytes. If dklen is None then the digest size of the hash algorithm hash_name is used, e.g. 64 for SHA-512.

>>> from hashlib import pbkdf2_hmac
>>> our_app_iters = 500_000  # Application specific, read above.
>>> dk = pbkdf2_hmac('sha256', b'password', b'bad salt' * 2, our_app_iters)
>>> dk.hex()
'15530bba69924174860db778f2c6f8104d3aaf9d26241840c8c4a641c8d000a9'

Function only available when Python is compiled with OpenSSL.

Adicionado na versão 3.4.

Alterado na versão 3.12: Function now only available when Python is built with OpenSSL. The slow pure Python implementation has been removed.

hashlib.scrypt(password, *, salt, n, r, p, maxmem=0, dklen=64)

The function provides scrypt password-based key derivation function as defined in RFC 7914 [https://datatracker.ietf.org/doc/html/rfc7914.html].

password and salt must be bytes-like objects. Applications and libraries should limit password to a sensible length (e.g. 1024). salt should be about 16 or more bytes from a proper source, e.g. os.urandom().

n is the CPU/Memory cost factor, r the block size, p parallelization factor and maxmem limits memory (OpenSSL 1.1.0 defaults to 32 MiB). dklen is the length of the derived key in bytes.

Adicionado na versão 3.6.

BLAKE2

BLAKE2 [https://www.blake2.net] is a cryptographic hash function defined in RFC 7693 [https://datatracker.ietf.org/doc/html/rfc7693.html] that comes in two flavors:

BLAKE2b, optimized for 64-bit platforms and produces digests of any size between 1 and 64 bytes,

BLAKE2s, optimized for 8- to 32-bit platforms and produces digests of any size between 1 and 32 bytes.

BLAKE2 supports keyed mode (a faster and simpler replacement for HMAC [https://en.wikipedia.org/wiki/Hash-based_message_authentication_code]), salted hashing, personalization, and tree hashing.

Hash objects from this module follow the API of standard library’s hashlib objects.

Creating hash objects

New hash objects are created by calling constructor functions:

hashlib.blake2b(data=b'', *, digest_size=64, key=b'', salt=b'', person=b'', fanout=1, depth=1, leaf_size=0, node_offset=0, node_depth=0, inner_size=0, last_node=False, usedforsecurity=True)

hashlib.blake2s(data=b'', *, digest_size=32, key=b'', salt=b'', person=b'', fanout=1, depth=1, leaf_size=0, node_offset=0, node_depth=0, inner_size=0, last_node=False, usedforsecurity=True)

These functions return the corresponding hash objects for calculating BLAKE2b or BLAKE2s. They optionally take these general parameters:

data: initial chunk of data to hash, which must be bytes-like object. It can be passed only as positional argument.

digest_size: size of output digest in bytes.

key: key for keyed hashing (up to 64 bytes for BLAKE2b, up to 32 bytes for BLAKE2s).

salt: salt for randomized hashing (up to 16 bytes for BLAKE2b, up to 8 bytes for BLAKE2s).

person: personalization string (up to 16 bytes for BLAKE2b, up to 8 bytes for BLAKE2s).

The following table shows limits for general parameters (in bytes):

Hash

digest_size

len(key)

len(salt)

len(person)

BLAKE2b

64

64

16

16

BLAKE2s

32

32

8

8

Nota

BLAKE2 specification defines constant lengths for salt and personalization parameters, however, for convenience, this implementation accepts byte strings of any size up to the specified length. If the length of the parameter is less than specified, it is padded with zeros, thus, for example, b'salt' and b'salt\x00' is the same value. (This is not the case for key.)

These sizes are available as module constants described below.

Constructor functions also accept the following tree hashing parameters:

fanout: fanout (0 to 255, 0 if unlimited, 1 in sequential mode).

depth: maximal depth of tree (1 to 255, 255 if unlimited, 1 in sequential mode).

leaf_size: maximal byte length of leaf (0 to 2**32-1, 0 if unlimited or in sequential mode).

node_offset: node offset (0 to 2**64-1 for BLAKE2b, 0 to 2**48-1 for BLAKE2s, 0 for the first, leftmost, leaf, or in sequential mode).

node_depth: node depth (0 to 255, 0 for leaves, or in sequential mode).

inner_size: inner digest size (0 to 64 for BLAKE2b, 0 to 32 for BLAKE2s, 0 in sequential mode).

last_node: boolean indicating whether the processed node is the last one (False for sequential mode).

See section 2.10 in BLAKE2 specification [https://www.blake2.net/blake2_20130129.pdf] for comprehensive review of tree hashing.

Constantes

blake2b.SALT_SIZE

blake2s.SALT_SIZE

Salt length (maximum length accepted by constructors).

blake2b.PERSON_SIZE

blake2s.PERSON_SIZE

Personalization string length (maximum length accepted by constructors).

blake2b.MAX_KEY_SIZE

blake2s.MAX_KEY_SIZE

Maximum key size.

blake2b.MAX_DIGEST_SIZE

blake2s.MAX_DIGEST_SIZE

Maximum digest size that the hash function can output.

Exemplos

Simple hashing

To calculate hash of some data, you should first construct a hash object by calling the appropriate constructor function (blake2b() or blake2s()), then update it with the data by calling update() on the object, and, finally, get the digest out of the object by calling digest() (or hexdigest() for hex-encoded string).

>>> from hashlib import blake2b
>>> h = blake2b()
>>> h.update(b'Hello world')
>>> h.hexdigest()
'6ff843ba685842aa82031d3f53c48b66326df7639a63d128974c5c14f31a0f33343a8c65551134ed1ae0f2b0dd2bb495dc81039e3eeb0aa1bb0388bbeac29183'

As a shortcut, you can pass the first chunk of data to update directly to the constructor as the positional argument:

>>> from hashlib import blake2b
>>> blake2b(b'Hello world').hexdigest()
'6ff843ba685842aa82031d3f53c48b66326df7639a63d128974c5c14f31a0f33343a8c65551134ed1ae0f2b0dd2bb495dc81039e3eeb0aa1bb0388bbeac29183'

You can call hash.update() as many times as you need to iteratively update the hash:

>>> from hashlib import blake2b
>>> items = [b'Hello', b' ', b'world']
>>> h = blake2b()
>>> for item in items:
...     h.update(item)
...
>>> h.hexdigest()
'6ff843ba685842aa82031d3f53c48b66326df7639a63d128974c5c14f31a0f33343a8c65551134ed1ae0f2b0dd2bb495dc81039e3eeb0aa1bb0388bbeac29183'

Using different digest sizes

BLAKE2 has configurable size of digests up to 64 bytes for BLAKE2b and up to 32 bytes for BLAKE2s. For example, to replace SHA-1 with BLAKE2b without changing the size of output, we can tell BLAKE2b to produce 20-byte digests:

>>> from hashlib import blake2b
>>> h = blake2b(digest_size=20)
>>> h.update(b'Replacing SHA1 with the more secure function')
>>> h.hexdigest()
'd24f26cf8de66472d58d4e1b1774b4c9158b1f4c'
>>> h.digest_size
20
>>> len(h.digest())
20

Hash objects with different digest sizes have completely different outputs (shorter hashes are not prefixes of longer hashes); BLAKE2b and BLAKE2s produce different outputs even if the output length is the same:

>>> from hashlib import blake2b, blake2s
>>> blake2b(digest_size=10).hexdigest()
'6fa1d8fcfd719046d762'
>>> blake2b(digest_size=11).hexdigest()
'eb6ec15daf9546254f0809'
>>> blake2s(digest_size=10).hexdigest()
'1bf21a98c78a1c376ae9'
>>> blake2s(digest_size=11).hexdigest()
'567004bf96e4a25773ebf4'

Keyed hashing

Keyed hashing can be used for authentication as a faster and simpler replacement for Hash-based message authentication code [https://en.wikipedia.org/wiki/HMAC] (HMAC). BLAKE2 can be securely used in prefix-MAC mode thanks to the indifferentiability property inherited from BLAKE.

This example shows how to get a (hex-encoded) 128-bit authentication code for message b'message data' with key b'pseudorandom key':

>>> from hashlib import blake2b
>>> h = blake2b(key=b'pseudorandom key', digest_size=16)
>>> h.update(b'message data')
>>> h.hexdigest()
'3d363ff7401e02026f4a4687d4863ced'

As a practical example, a web application can symmetrically sign cookies sent to users and later verify them to make sure they weren’t tampered with:

>>> from hashlib import blake2b
>>> from hmac import compare_digest
>>>
>>> SECRET_KEY = b'pseudorandomly generated server secret key'
>>> AUTH_SIZE = 16
>>>
>>> def sign(cookie):
...     h = blake2b(digest_size=AUTH_SIZE, key=SECRET_KEY)
...     h.update(cookie)
...     return h.hexdigest().encode('utf-8')
>>>
>>> def verify(cookie, sig):
...     good_sig = sign(cookie)
...     return compare_digest(good_sig, sig)
>>>
>>> cookie = b'user-alice'
>>> sig = sign(cookie)
>>> print("{0},{1}".format(cookie.decode('utf-8'), sig))
user-alice,b'43b3c982cf697e0c5ab22172d1ca7421'
>>> verify(cookie, sig)
True
>>> verify(b'user-bob', sig)
False
>>> verify(cookie, b'0102030405060708090a0b0c0d0e0f00')
False

Even though there’s a native keyed hashing mode, BLAKE2 can, of course, be used in HMAC construction with hmac module:

>>> import hmac, hashlib
>>> m = hmac.new(b'secret key', digestmod=hashlib.blake2s)
>>> m.update(b'message')
>>> m.hexdigest()
'e3c8102868d28b5ff85fc35dda07329970d1a01e273c37481326fe0c861c8142'

Randomized hashing

By setting salt parameter users can introduce randomization to the hash function. Randomized hashing is useful for protecting against collision attacks on the hash function used in digital signatures.

Randomized hashing is designed for situations where one party, the message preparer, generates all or part of a message to be signed by a second party, the message signer. If the message preparer is able to find cryptographic hash function collisions (i.e., two messages producing the same hash value), then they might prepare meaningful versions of the message that would produce the same hash value and digital signature, but with different results (e.g., transferring $1,000,000 to an account, rather than $10). Cryptographic hash functions have been designed with collision resistance as a major goal, but the current concentration on attacking cryptographic hash functions may result in a given cryptographic hash function providing less collision resistance than expected. Randomized hashing offers the signer additional protection by reducing the likelihood that a preparer can generate two or more messages that ultimately yield the same hash value during the digital signature generation process — even if it is practical to find collisions for the hash function. However, the use of randomized hashing may reduce the amount of security provided by a digital signature when all portions of the message are prepared by the signer.

(NIST SP-800-106 “Randomized Hashing for Digital Signatures” [https://csrc.nist.gov/pubs/sp/800/106/final])

In BLAKE2 the salt is processed as a one-time input to the hash function during initialization, rather than as an input to each compression function.

Aviso

Salted hashing (or just hashing) with BLAKE2 or any other general-purpose cryptographic hash function, such as SHA-256, is not suitable for hashing passwords. See BLAKE2 FAQ [https://www.blake2.net/#qa] for more information.

>>> import os
>>> from hashlib import blake2b
>>> msg = b'some message'
>>> # Calculate the first hash with a random salt.
>>> salt1 = os.urandom(blake2b.SALT_SIZE)
>>> h1 = blake2b(salt=salt1)
>>> h1.update(msg)
>>> # Calculate the second hash with a different random salt.
>>> salt2 = os.urandom(blake2b.SALT_SIZE)
>>> h2 = blake2b(salt=salt2)
>>> h2.update(msg)
>>> # The digests are different.
>>> h1.digest() != h2.digest()
True

Personalization

Sometimes it is useful to force hash function to produce different digests for the same input for different purposes. Quoting the authors of the Skein hash function:

We recommend that all application designers seriously consider doing this; we have seen many protocols where a hash that is computed in one part of the protocol can be used in an entirely different part because two hash computations were done on similar or related data, and the attacker can force the application to make the hash inputs the same. Personalizing each hash function used in the protocol summarily stops this type of attack.

(The Skein Hash Function Family [https://www.schneier.com/wp-content/uploads/2016/02/skein.pdf], p. 21)

BLAKE2 can be personalized by passing bytes to the person argument:

>>> from hashlib import blake2b
>>> FILES_HASH_PERSON = b'MyApp Files Hash'
>>> BLOCK_HASH_PERSON = b'MyApp Block Hash'
>>> h = blake2b(digest_size=32, person=FILES_HASH_PERSON)
>>> h.update(b'the same content')
>>> h.hexdigest()
'20d9cd024d4fb086aae819a1432dd2466de12947831b75c5a30cf2676095d3b4'
>>> h = blake2b(digest_size=32, person=BLOCK_HASH_PERSON)
>>> h.update(b'the same content')
>>> h.hexdigest()
'cf68fb5761b9c44e7878bfb2c4c9aea52264a80b75005e65619778de59f383a3'

Personalization together with the keyed mode can also be used to derive different keys from a single one.

>>> from hashlib import blake2s
>>> from base64 import b64decode, b64encode
>>> orig_key = b64decode(b'Rm5EPJai72qcK3RGBpW3vPNfZy5OZothY+kHY6h21KM=')
>>> enc_key = blake2s(key=orig_key, person=b'kEncrypt').digest()
>>> mac_key = blake2s(key=orig_key, person=b'kMAC').digest()
>>> print(b64encode(enc_key).decode('utf-8'))
rbPb15S/Z9t+agffno5wuhB77VbRi6F9Iv2qIxU7WHw=
>>> print(b64encode(mac_key).decode('utf-8'))
G9GtHFE1YluXY1zWPlYk1e/nWfu0WSEb0KRcjhDeP/o=

Modo árvore

Here’s an example of hashing a minimal tree with two leaf nodes:

  10
 /  \
00  01

This example uses 64-byte internal digests, and returns the 32-byte final digest:

>>> from hashlib import blake2b
>>>
>>> FANOUT = 2
>>> DEPTH = 2
>>> LEAF_SIZE = 4096
>>> INNER_SIZE = 64
>>>
>>> buf = bytearray(6000)
>>>
>>> # Left leaf
... h00 = blake2b(buf[0:LEAF_SIZE], fanout=FANOUT, depth=DEPTH,
...               leaf_size=LEAF_SIZE, inner_size=INNER_SIZE,
...               node_offset=0, node_depth=0, last_node=False)
>>> # Right leaf
... h01 = blake2b(buf[LEAF_SIZE:], fanout=FANOUT, depth=DEPTH,
...               leaf_size=LEAF_SIZE, inner_size=INNER_SIZE,
...               node_offset=1, node_depth=0, last_node=True)
>>> # Root node
... h10 = blake2b(digest_size=32, fanout=FANOUT, depth=DEPTH,
...               leaf_size=LEAF_SIZE, inner_size=INNER_SIZE,
...               node_offset=0, node_depth=1, last_node=True)
>>> h10.update(h00.digest())
>>> h10.update(h01.digest())
>>> h10.hexdigest()
'3ad2a9b37c6070e374c7a8c508fe20ca86b6ed54e286e93a0318e95e881db5aa'

Credits

BLAKE2 [https://www.blake2.net] was designed by Jean-Philippe Aumasson, Samuel Neves, Zooko Wilcox-O’Hearn, and Christian Winnerlein based on SHA-3 [https://en.wikipedia.org/wiki/Secure_Hash_Algorithms] finalist BLAKE [https://web.archive.org/web/20200918190133/https://131002.net/blake/] created by Jean-Philippe Aumasson, Luca Henzen, Willi Meier, and Raphael C.-W. Phan.

It uses core algorithm from ChaCha [https://cr.yp.to/chacha.html] cipher designed by Daniel J. Bernstein.

The stdlib implementation is based on pyblake2 [https://pythonhosted.org/pyblake2/] module. It was written by Dmitry Chestnykh based on C implementation written by Samuel Neves. The documentation was copied from pyblake2 [https://pythonhosted.org/pyblake2/] and written by Dmitry Chestnykh.

The C code was partly rewritten for Python by Christian Heimes.

The following public domain dedication applies for both C hash function implementation, extension code, and this documentation:

To the extent possible under law, the author(s) have dedicated all copyright and related and neighboring rights to this software to the public domain worldwide. This software is distributed without any warranty.

You should have received a copy of the CC0 Public Domain Dedication along with this software. If not, see https://creativecommons.org/publicdomain/zero/1.0/.

The following people have helped with development or contributed their changes to the project and the public domain according to the Creative Commons Public Domain Dedication 1.0 Universal:

Alexandr Sokolovskiy

Ver também

Module hmac

A module to generate message authentication codes using hashes.

Módulo base64

Another way to encode binary hashes for non-binary environments.

https://nvlpubs.nist.gov/nistpubs/fips/nist.fips.180-4.pdf

The FIPS 180-4 publication on Secure Hash Algorithms.

https://csrc.nist.gov/pubs/fips/202/final

The FIPS 202 publication on the SHA-3 Standard.

https://www.blake2.net/

Official BLAKE2 website.

https://en.wikipedia.org/wiki/Cryptographic_hash_function

Wikipedia article with information on which algorithms have known issues and what that means regarding their use.

https://www.ietf.org/rfc/rfc8018.txt

PKCS #5: Password-Based Cryptography Specification Version 2.1

https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-132.pdf

NIST Recommendation for Password-Based Key Derivation.

hmac — Keyed-Hashing for Message Authentication

Código-fonte: Lib/hmac.py [https://github.com/python/cpython/tree/3.13/Lib/hmac.py]

This module implements the HMAC algorithm as described by RFC 2104 [https://datatracker.ietf.org/doc/html/rfc2104.html].

hmac.new(key, msg=None, digestmod)

Return a new hmac object. key is a bytes or bytearray object giving the secret key. If msg is present, the method call update(msg) is made. digestmod is the digest name, digest constructor or module for the HMAC object to use. It may be any name suitable to hashlib.new(). Despite its argument position, it is required.

Alterado na versão 3.4: Parameter key can be a bytes or bytearray object. Parameter msg can be of any type supported by hashlib. Parameter digestmod can be the name of a hash algorithm.

Alterado na versão 3.8: The digestmod argument is now required. Pass it as a keyword argument to avoid awkwardness when you do not have an initial msg.

hmac.digest(key, msg, digest)

Return digest of msg for given secret key and digest. The function is equivalent to HMAC(key, msg, digest).digest(), but uses an optimized C or inline implementation, which is faster for messages that fit into memory. The parameters key, msg, and digest have the same meaning as in new().

CPython implementation detail, the optimized C implementation is only used when digest is a string and name of a digest algorithm, which is supported by OpenSSL.

Adicionado na versão 3.7.

An HMAC object has the following methods:

HMAC.update(msg)

Update the hmac object with msg. Repeated calls are equivalent to a single call with the concatenation of all the arguments: m.update(a); m.update(b) is equivalent to m.update(a + b).

Alterado na versão 3.4: Parameter msg can be of any type supported by hashlib.

HMAC.digest()

Return the digest of the bytes passed to the update() method so far. This bytes object will be the same length as the digest_size of the digest given to the constructor. It may contain non-ASCII bytes, including NUL bytes.

Aviso

When comparing the output of digest() to an externally supplied digest during a verification routine, it is recommended to use the compare_digest() function instead of the == operator to reduce the vulnerability to timing attacks.

HMAC.hexdigest()

Like digest() except the digest is returned as a string twice the length containing only hexadecimal digits. This may be used to exchange the value safely in email or other non-binary environments.

Aviso

When comparing the output of hexdigest() to an externally supplied digest during a verification routine, it is recommended to use the compare_digest() function instead of the == operator to reduce the vulnerability to timing attacks.

HMAC.copy()

Return a copy (“clone”) of the hmac object. This can be used to efficiently compute the digests of strings that share a common initial substring.

A hash object has the following attributes:

HMAC.digest_size

The size of the resulting HMAC digest in bytes.

HMAC.block_size

The internal block size of the hash algorithm in bytes.

Adicionado na versão 3.4.

HMAC.name

The canonical name of this HMAC, always lowercase, e.g. hmac-md5.

Adicionado na versão 3.4.

Alterado na versão 3.10: Removed the undocumented attributes HMAC.digest_cons, HMAC.inner, and HMAC.outer.

Este módulo também fornece a seguinte função auxiliar:

hmac.compare_digest(a, b)

Return a == b. This function uses an approach designed to prevent timing analysis by avoiding content-based short circuiting behaviour, making it appropriate for cryptography. a and b must both be of the same type: either str (ASCII only, as e.g. returned by HMAC.hexdigest()), or a bytes-like object.

Nota

If a and b are of different lengths, or if an error occurs, a timing attack could theoretically reveal information about the types and lengths of a and b—but not their values.

Adicionado na versão 3.3.

Alterado na versão 3.10: The function uses OpenSSL’s CRYPTO_memcmp() internally when available.

Ver também

Módulo hashlib

The Python module providing secure hash functions.

secrets — Gera números aleatórios seguros para gerenciar segredos

Adicionado na versão 3.6.

Código-fonte: Lib/secrets.py [https://github.com/python/cpython/tree/3.13/Lib/secrets.py]

O módulo secrets é usado para gerar números aleatórios criptograficamente fortes, adequados para o gerenciamento de dados, como senhas, autenticação de conta, tokens de segurança e segredos relacionados.

Em particular, secrets deve ser usado em preferência ao gerador de números pseudoaleatórios padrão no módulo random, que é projetado para modelagem e simulação, não segurança ou criptografia.

Ver também

PEP 506 [https://peps.python.org/pep-0506/]

Números aleatórios

O módulo secrets fornece acesso à fonte mais segura de aleatoriedade que seu sistema operacional fornece.

class secrets.SystemRandom

Uma classe para gerar números aleatórios usando as fontes da mais alta qualidade fornecidas pelo sistema operacional. Veja random.SystemRandom para detalhes adicionais.

secrets.choice(seq)

Retorna um elemento escolhido aleatoriamente de uma sequência não vazia.

secrets.randbelow(exclusive_upper_bound)

Retorna um int aleatório no intervalo [0, exclusive_upper_bound).

secrets.randbits(k)

Return a non-negative int with k random bits.

Gerando tokens

O módulo secrets fornece funções para gerar tokens seguros, adequados para aplicativos como redefinições de senha, URLs difíceis de adivinhar e semelhantes.

secrets.token_bytes([nbytes=None])

Retorna uma string de byte aleatória contendo nbytes número de bytes. Se nbytes for None ou não fornecido, um padrão razoável é usado.

>>> token_bytes(16)
b'\xebr\x17D*t\xae\xd4\xe3S\xb6\xe2\xebP1\x8b'

secrets.token_hex([nbytes=None])

Retorna uma string de texto aleatória, em hexadecimal. A string tem nbytes bytes aleatórios, cada byte convertido em dois dígitos hexadecimais. Se nbytes for None ou não fornecido, um padrão razoável é usado.

>>> token_hex(16)
'f9bf78b9a18ce6d46a0cd2b0b86df9da'

secrets.token_urlsafe([nbytes=None])

Retorna uma string de texto segura para URL aleatória, contendo nbytes bytes aleatórios. O texto é codificado em Base64, portanto, em média, cada byte resulta em aproximadamente 1,3 caracteres. Se nbytes for None ou não fornecido, um padrão razoável é usado.

>>> token_urlsafe(16)
'Drmhze6EPcv0fN_81Bj-nA'

Quantos bytes os tokens devem usar?

Para estar seguro contra ataques de força bruta [https://pt.wikipedia.org/wiki/Ataque_de_força_bruta], os tokens precisam ter aleatoriedade suficiente. Infelizmente, o que é considerado suficiente necessariamente aumentará à medida que os computadores ficarem mais poderosos e capazes de fazer mais suposições em um período mais curto. A partir de 2015, acredita-se que 32 bytes (256 bits) de aleatoriedade são suficientes para o caso de uso típico esperado para o módulo secrets.

Para aqueles que desejam gerenciar seu próprio comprimento de token, você pode especificar explicitamente quanta aleatoriedade é usada para tokens, fornecendo um argumento int para as várias funções token_*. Esse argumento é considerado o número de bytes de aleatoriedade a serem usados.

Caso contrário, se nenhum argumento for fornecido, ou se o argumento for None, as funções token_* usarão um padrão razoável.

Nota

Esse padrão está sujeito a alterações a qualquer momento, inclusive durante as versões de manutenção.

Outras funções

secrets.compare_digest(a, b)

Retorna True se as strings ou objetos tipo arquivo a e b forem iguais, caso contrário, False, usando uma “comparação de tempo constante” para reduzir o risco de ataques de temporização [https://codahale.com/a-lesson-in-timing-attacks/]. Veja hmac.compare_digest() para detalhes adicionais.

Receitas e melhores práticas

Esta seção mostra as receitas e melhores práticas para usar secrets para gerenciar um nível básico de segurança.

Gerar uma senha alfanumérica de oito caracteres:

import string
import secrets
alphabet = string.ascii_letters + string.digits
password = ''.join(secrets.choice(alphabet) for i in range(8))

Nota

As aplicações não devem armazenar senhas em um formato recuperável [https://cwe.mitre.org/data/definitions/257.html], seja em texto simples ou criptografado. Elas devem ser salgadas e transformadas em hash usando uma função hash de sentido único criptograficamente forte (irreversível).

Gerar uma senha alfanumérica de dez caracteres com pelo menos um caractere minúsculo, pelo menos um caractere maiúsculo e pelo menos três dígitos:

import string
import secrets
alphabet = string.ascii_letters + string.digits
while True:
    password = ''.join(secrets.choice(alphabet) for i in range(10))
    if (any(c.islower() for c in password)
            and any(c.isupper() for c in password)
            and sum(c.isdigit() for c in password) >= 3):
        break

Gerar uma senha longa do estilo XKCD [https://xkcd.com/936/]:

import secrets
# On standard Linux systems, use a convenient dictionary file.
# Other platforms may need to provide their own word-list.
with open('/usr/share/dict/words') as f:
    words = [word.strip() for word in f]
    password = ' '.join(secrets.choice(words) for i in range(4))

Gerar uma URL temporária difícil de adivinhação contendo um token de segurança adequado para aplicativos de recuperação de senha:

import secrets
url = 'https://example.com/reset=' + secrets.token_urlsafe()

Serviços Genéricos do Sistema Operacional

Os módulos descritos neste capítulo fornecem interfaces aos recursos do sistema operacional e que estão disponíveis em (quase) todos os sistemas operacionais, como arquivos e um relógio. As interfaces geralmente são modeladas após as interfaces Unix ou C, mas elas também estão disponíveis na maioria dos outros sistemas. Aqui temos uma visão geral:

os — Diversas interfaces de sistema operacional

error

name

Nomes de arquivos, argumentos de linha de comando e variáveis de ambiente

Modo UTF-8 do Python

Parâmetros de processo

ctermid()

environ

environb

fsencode()

fsdecode()

fspath()

PathLike

__fspath__()

getenv()

getenvb()

get_exec_path()

getegid()

geteuid()

getgid()

getgrouplist()

getgroups()

getlogin()

getpgid()

getpgrp()

getpid()

getppid()

getpriority()

PRIO_PROCESS

PRIO_PGRP

PRIO_USER

PRIO_DARWIN_THREAD

PRIO_DARWIN_PROCESS

PRIO_DARWIN_BG

PRIO_DARWIN_NONUI

getresuid()

getresgid()

getuid()

initgroups()

putenv()

setegid()

seteuid()

setgid()

setgroups()

setns()

setpgrp()

setpgid()

setpriority()

setregid()

setresgid()

setresuid()

setreuid()

getsid()

setsid()

setuid()

strerror()

supports_bytes_environ

umask()

uname()

unsetenv()

unshare()

CLONE_FILES

CLONE_FS

CLONE_NEWCGROUP

CLONE_NEWIPC

CLONE_NEWNET

CLONE_NEWNS

CLONE_NEWPID

CLONE_NEWTIME

CLONE_NEWUSER

CLONE_NEWUTS

CLONE_SIGHAND

CLONE_SYSVSEM

CLONE_THREAD

CLONE_VM

Criação de objetos arquivos

fdopen()

Operações dos descritores de arquivos

close()

closerange()

copy_file_range()

device_encoding()

dup()

dup2()

fchmod()

fchown()

fdatasync()

fpathconf()

fstat()

fstatvfs()

fsync()

ftruncate()

get_blocking()

grantpt()

isatty()

lockf()

F_LOCK

F_TLOCK

F_ULOCK

F_TEST

login_tty()

lseek()

SEEK_SET

SEEK_CUR

SEEK_END

SEEK_HOLE

SEEK_DATA

open()

O_RDONLY

O_WRONLY

O_RDWR

O_APPEND

O_CREAT

O_EXCL

O_TRUNC

O_DSYNC

O_RSYNC

O_SYNC

O_NDELAY

O_NONBLOCK

O_NOCTTY

O_CLOEXEC

O_BINARY

O_NOINHERIT

O_SHORT_LIVED

O_TEMPORARY

O_RANDOM

O_SEQUENTIAL

O_TEXT

O_EVTONLY

O_FSYNC

O_SYMLINK

O_NOFOLLOW_ANY

O_ASYNC

O_DIRECT

O_DIRECTORY

O_NOFOLLOW

O_NOATIME

O_PATH

O_TMPFILE

O_SHLOCK

O_EXLOCK

openpty()

pipe()

pipe2()

posix_fallocate()

posix_fadvise()

POSIX_FADV_NORMAL

POSIX_FADV_SEQUENTIAL

POSIX_FADV_RANDOM

POSIX_FADV_NOREUSE

POSIX_FADV_WILLNEED

POSIX_FADV_DONTNEED

pread()

posix_openpt()

preadv()

RWF_NOWAIT

RWF_HIPRI

ptsname()

pwrite()

pwritev()

RWF_DSYNC

RWF_SYNC

RWF_APPEND

read()

sendfile()

SF_NODISKIO

SF_MNOWAIT

SF_SYNC

SF_NOCACHE

set_blocking()

splice()

SPLICE_F_MOVE

SPLICE_F_NONBLOCK

SPLICE_F_MORE

readv()

tcgetpgrp()

tcsetpgrp()

ttyname()

unlockpt()

write()

writev()

Consultando o tamanho de um terminal

get_terminal_size()

terminal_size

columns

lines

Herança de descritores de arquivos

get_inheritable()

set_inheritable()

get_handle_inheritable()

set_handle_inheritable()

Arquivos e diretórios

access()

F_OK

R_OK

W_OK

X_OK

chdir()

chflags()

chmod()

chown()

chroot()

fchdir()

getcwd()

getcwdb()

lchflags()

lchmod()

lchown()

link()

listdir()

listdrives()

listmounts()

listvolumes()

lstat()

mkdir()

makedirs()

mkfifo()

mknod()

major()

minor()

makedev()

pathconf()

pathconf_names

readlink()

remove()

removedirs()

rename()

renames()

replace()

rmdir()

scandir()

close()

DirEntry

name

path

inode()

is_dir()

is_file()

is_symlink()

is_junction()

stat()

stat()

stat_result

st_mode

st_ino

st_dev

st_nlink

st_uid

st_gid

st_size

st_atime

st_mtime

st_ctime

st_atime_ns

st_mtime_ns

st_ctime_ns

st_birthtime

st_birthtime_ns

st_blocks

st_blksize

st_rdev

st_flags

st_gen

st_fstype

st_rsize

st_creator

st_type

st_file_attributes

st_reparse_tag

statvfs()

supports_dir_fd

supports_effective_ids

supports_fd

supports_follow_symlinks

symlink()

sync()

truncate()

unlink()

utime()

walk()

fwalk()

memfd_create()

MFD_CLOEXEC

MFD_ALLOW_SEALING

MFD_HUGETLB

MFD_HUGE_SHIFT

MFD_HUGE_MASK

MFD_HUGE_64KB

MFD_HUGE_512KB

MFD_HUGE_1MB

MFD_HUGE_2MB

MFD_HUGE_8MB

MFD_HUGE_16MB

MFD_HUGE_32MB

MFD_HUGE_256MB

MFD_HUGE_512MB

MFD_HUGE_1GB

MFD_HUGE_2GB

MFD_HUGE_16GB

eventfd()

eventfd_read()

eventfd_write()

EFD_CLOEXEC

EFD_NONBLOCK

EFD_SEMAPHORE

Descritores de arquivo de temporizador

timerfd_create()

timerfd_settime()

timerfd_settime_ns()

timerfd_gettime()

timerfd_gettime_ns()

TFD_NONBLOCK

TFD_CLOEXEC

TFD_TIMER_ABSTIME

TFD_TIMER_CANCEL_ON_SET

Atributos estendidos do Linux

getxattr()

listxattr()

removexattr()

setxattr()

XATTR_SIZE_MAX

XATTR_CREATE

XATTR_REPLACE

Gerenciamento de processo

abort()

add_dll_directory()

execl()

execle()

execlp()

execlpe()

execv()

execve()

execvp()

execvpe()

_exit()

EX_OK

EX_USAGE

EX_DATAERR

EX_NOINPUT

EX_NOUSER

EX_NOHOST

EX_UNAVAILABLE

EX_SOFTWARE

EX_OSERR

EX_OSFILE

EX_CANTCREAT

EX_IOERR

EX_TEMPFAIL

EX_PROTOCOL

EX_NOPERM

EX_CONFIG

EX_NOTFOUND

fork()

forkpty()

kill()

killpg()

nice()

pidfd_open()

PIDFD_NONBLOCK

plock()

popen()

posix_spawn()

POSIX_SPAWN_OPEN

POSIX_SPAWN_CLOSE

POSIX_SPAWN_DUP2

POSIX_SPAWN_CLOSEFROM

posix_spawnp()

register_at_fork()

spawnl()

spawnle()

spawnlp()

spawnlpe()

spawnv()

spawnve()

spawnvp()

spawnvpe()

P_NOWAIT

P_NOWAITO

P_WAIT

P_DETACH

P_OVERLAY

startfile()

system()

times()

wait()

waitid()

waitpid()

wait3()

wait4()

P_PID

P_PGID

P_ALL

P_PIDFD

WCONTINUED

WEXITED

WSTOPPED

WUNTRACED

WNOHANG

WNOWAIT

CLD_EXITED

CLD_KILLED

CLD_DUMPED

CLD_TRAPPED

CLD_STOPPED

CLD_CONTINUED

waitstatus_to_exitcode()

WCOREDUMP()

WIFCONTINUED()

WIFSTOPPED()

WIFSIGNALED()

WIFEXITED()

WEXITSTATUS()

WSTOPSIG()

WTERMSIG()

Interface do agendador

SCHED_OTHER

SCHED_BATCH

SCHED_IDLE

SCHED_SPORADIC

SCHED_FIFO

SCHED_RR

SCHED_RESET_ON_FORK

sched_param

sched_priority

sched_get_priority_min()

sched_get_priority_max()

sched_setscheduler()

sched_getscheduler()

sched_setparam()

sched_getparam()

sched_rr_get_interval()

sched_yield()

sched_setaffinity()

sched_getaffinity()

Diversas informações de sistema

confstr()

confstr_names

cpu_count()

getloadavg()

process_cpu_count()

sysconf()

sysconf_names

curdir

pardir

sep

altsep

extsep

pathsep

defpath

linesep

devnull

RTLD_LAZY

RTLD_NOW

RTLD_GLOBAL

RTLD_LOCAL

RTLD_NODELETE

RTLD_NOLOAD

RTLD_DEEPBIND

Números aleatórios

getrandom()

urandom()

GRND_NONBLOCK

GRND_RANDOM

io — Core tools for working with streams

Visão Geral

Text I/O

Binary I/O

Raw I/O

Text Encoding

Opt-in EncodingWarning

High-level Module Interface

DEFAULT_BUFFER_SIZE

open()

open_code()

text_encoding()

BlockingIOError

UnsupportedOperation

hierarquia de classe

I/O Base Classes

IOBase

close()

closed

fileno()

flush()

isatty()

readable()

readline()

readlines()

seek()

seekable()

tell()

truncate()

writable()

writelines()

__del__()

RawIOBase

read()

readall()

readinto()

write()

BufferedIOBase

raw

detach()

read()

read1()

readinto()

readinto1()

write()

Raw File I/O

FileIO

mode

name

Buffered Streams

BytesIO

getbuffer()

getvalue()

read1()

readinto1()

BufferedReader

peek()

read()

read1()

BufferedWriter

flush()

write()

BufferedRandom

BufferedRWPair

Text I/O

TextIOBase

encoding

errors

newlines

buffer

detach()

read()

readline()

seek()

tell()

write()

TextIOWrapper

line_buffering

write_through

reconfigure()

seek()

tell()

StringIO

getvalue()

IncrementalNewlineDecoder

Desempenho

Binary I/O

Text I/O

Multi-threading

Reentrancy

time — Acesso ao horário e conversões

Funções

asctime()

pthread_getcpuclockid()

clock_getres()

clock_gettime()

clock_gettime_ns()

clock_settime()

clock_settime_ns()

ctime()

get_clock_info()

gmtime()

localtime()

mktime()

monotonic()

monotonic_ns()

perf_counter()

perf_counter_ns()

process_time()

process_time_ns()

sleep()

strftime()

strptime()

struct_time

tm_year

tm_mon

tm_mday

tm_hour

tm_min

tm_sec

tm_wday

tm_yday

tm_isdst

tm_zone

tm_gmtoff

time()

time_ns()

thread_time()

thread_time_ns()

tzset()

Constantes de ID de Relógio

CLOCK_BOOTTIME

CLOCK_HIGHRES

CLOCK_MONOTONIC

CLOCK_MONOTONIC_RAW

CLOCK_MONOTONIC_RAW_APPROX

CLOCK_PROCESS_CPUTIME_ID

CLOCK_PROF

CLOCK_TAI

CLOCK_THREAD_CPUTIME_ID

CLOCK_UPTIME

CLOCK_UPTIME_RAW

CLOCK_UPTIME_RAW_APPROX

CLOCK_REALTIME

Constantes de Fuso Horário

altzone

daylight

timezone

tzname

argparse — Analisador sintático para opções de linha de comando, argumentos e subcomandos

Objetos ArgumentParser

ArgumentParser

prog

usage

description

epilog

parents

formatter_class

RawDescriptionHelpFormatter

RawTextHelpFormatter

ArgumentDefaultsHelpFormatter

MetavarTypeHelpFormatter

prefix_chars

fromfile_prefix_chars

argument_default

allow_abbrev

conflict_handler

add_help

exit_on_error

O método add_argument()

add_argument()

name ou flags

action

nargs

const

default

type

choices

required

help

metavar

dest

deprecated

Classes de ação

Action

O método parse_args()

parse_args()

Sintaxe de valores da opção

Argumentos inválidos

Argumentos contendo -

Abreviações de argumento (correspondência de prefixo)

Além do sys.argv

O objeto Namespace

Namespace

Outros utilitários

Subcomandos

add_subparsers()

Objetos FileType

FileType

Grupos de argumentos

add_argument_group()

Exclusão mútua

add_mutually_exclusive_group()

Padrões do analisador sintático

set_defaults()

get_default()

Imprimindo a ajuda

print_usage()

print_help()

format_usage()

format_help()

Análise parcial

parse_known_args()

Personalizando a análise de arquivos

convert_arg_line_to_args()

Métodos de saída

exit()

error()

Análise misturada

parse_intermixed_args()

parse_known_intermixed_args()

Exceções

ArgumentError

ArgumentTypeError

Tutorial de Argparse

Conceitos

O básico

Apresentando os argumentos posicionais

Apresentando os argumentos opcionais

Opções curtas

Combinando argumentos posicionais e opcionais

Avançando um pouco mais

Especificando argumentos ambíguos

Opções conflitantes

Como traduzir a saída do argparse

Conversores de tipo personalizados

Conclusão

Atualizando código optparse

logging — Recurso de utilização do Logging para Python

Objetos Logger

Logger

name

level

parent

propagate

handlers

disabled

setLevel()

isEnabledFor()

getEffectiveLevel()

getChild()

getChildren()

debug()

info()

warning()

error()

critical()

log()

exception()

addFilter()

removeFilter()

filter()

addHandler()

removeHandler()

findCaller()

handle()

makeRecord()

hasHandlers()

Logging Levels

NOTSET

DEBUG

INFO

WARNING

ERROR

CRITICAL

Manipulação de Objetos

Handler

__init__()

createLock()

acquire()

release()

setLevel()

setFormatter()

addFilter()

removeFilter()

filter()

flush()

close()

handle()

handleError()

format()

emit()

Formatter Objects

Formatter

format()

formatTime()

formatException()

formatStack()

BufferingFormatter

formatHeader()

formatFooter()

format()

Filter Objects

Filter

filter()

LogRecord Objects

LogRecord

getMessage()

Atributos LogRecord

LoggerAdapter Objects

LoggerAdapter

process()

manager

_log

Thread Safety

Funções de Nível de Módulo

getLogger()

getLoggerClass()

getLogRecordFactory()

debug()

info()

warning()

error()

critical()

exception()

log()

disable()

addLevelName()

getLevelNamesMapping()

getLevelName()

getHandlerByName()

getHandlerNames()

makeLogRecord()

basicConfig()

shutdown()

setLoggerClass()

setLogRecordFactory()

Module-Level Attributes

lastResort

raiseExceptions

Integration with the warnings module

captureWarnings()

logging.config — Logging configuration

Configuration functions

dictConfig()

fileConfig()

listen()

stopListening()

Considerações de segurança

Configuration dictionary schema

Dictionary Schema Details

Incremental Configuration

Object connections

User-defined objects

Handler configuration order

Access to external objects

Access to internal objects

Import resolution and custom importers

Configuring QueueHandler and QueueListener

Formato do arquivo de configuração

logging.handlers — Logging handlers

StreamHandler

StreamHandler

emit()

flush()

setStream()

terminator

FileHandler

FileHandler

close()

emit()

NullHandler

NullHandler

emit()

handle()

createLock()

WatchedFileHandler

WatchedFileHandler

reopenIfNeeded()

emit()

BaseRotatingHandler

BaseRotatingHandler

namer

rotator

rotation_filename()

rotate()

RotatingFileHandler

RotatingFileHandler

doRollover()

emit()

TimedRotatingFileHandler

TimedRotatingFileHandler

doRollover()

emit()

getFilesToDelete()

SocketHandler

SocketHandler

close()

emit()

handleError()

makeSocket()

makePickle()

send()

createSocket()

DatagramHandler

DatagramHandler

emit()

makeSocket()

send()

SysLogHandler

SysLogHandler

close()

createSocket()

emit()

encodePriority()

mapPriority()

NTEventLogHandler

NTEventLogHandler

close()

emit()

getEventCategory()

getEventType()

getMessageID()

SMTPHandler

SMTPHandler

emit()

getSubject()

MemoryHandler

BufferingHandler

emit()

flush()

shouldFlush()

MemoryHandler

close()

flush()

setTarget()

shouldFlush()

HTTPHandler

HTTPHandler

mapLogRecord()

emit()

QueueHandler

QueueHandler

emit()

prepare()

enqueue()

listener

QueueListener

QueueListener

dequeue()

prepare()

handle()

start()

stop()

enqueue_sentinel()

getpass — Entrada de senha portátil

getpass()

GetPassWarning

getuser()

curses — Gerenciador de terminal para visualizadores de células de caracteres.

Funções

error

baudrate()

beep()

can_change_color()

cbreak()

color_content()

color_pair()

curs_set()

def_prog_mode()

def_shell_mode()

delay_output()

doupdate()

echo()

endwin()

erasechar()

filter()

flash()

flushinp()

getmouse()

getsyx()

getwin()

has_colors()

has_extended_color_support()

has_ic()

has_il()

has_key()

halfdelay()

init_color()

init_pair()

initscr()

is_term_resized()

isendwin()

keyname()

killchar()

longname()

meta()

mouseinterval()

mousemask()

napms()

newpad()

newwin()

nl()

nocbreak()

noecho()

nonl()

noqiflush()

noraw()

pair_content()

pair_number()

putp()

qiflush()

raw()

reset_prog_mode()

reset_shell_mode()

resetty()

resize_term()

resizeterm()

savetty()

get_escdelay()

set_escdelay()

get_tabsize()

set_tabsize()

setsyx()

setupterm()

start_color()

termattrs()

termname()

tigetflag()

tigetnum()

tigetstr()

tparm()

typeahead()

unctrl()

ungetch()

update_lines_cols()

unget_wch()

ungetmouse()

use_env()

use_default_colors()

wrapper()

Window Objects

addch()

addnstr()

addstr()

attroff()

attron()

attrset()

bkgd()

bkgdset()

border()

box()

chgat()

clear()

clearok()

clrtobot()

clrtoeol()

cursyncup()

delch()

deleteln()

derwin()

echochar()

enclose()

encoding

erase()

getbegyx()

getbkgd()

getch()

get_wch()

getkey()

getmaxyx()

getparyx()

getstr()

getyx()

hline()

idcok()

idlok()

immedok()

inch()

insch()

insdelln()

insertln()

insnstr()

insstr()

instr()

is_linetouched()

is_wintouched()

keypad()

leaveok()

move()

mvderwin()

mvwin()

nodelay()

notimeout()

noutrefresh()

overlay()

overwrite()

putwin()

redrawln()

redrawwin()

refresh()

resize()

scroll()

scrollok()

setscrreg()

standend()

standout()

subpad()

subwin()

syncdown()

syncok()

syncup()

timeout()

touchline()

touchwin()

untouchwin()

vline()

Constantes

ERR

OK

version

__version__

ncurses_version

COLORS

COLOR_PAIRS

COLS

LINES

A_ALTCHARSET

A_BLINK

A_BOLD

A_DIM

A_INVIS

A_ITALIC

A_NORMAL

A_PROTECT

A_REVERSE

A_STANDOUT

A_UNDERLINE

A_HORIZONTAL

A_LEFT

A_LOW

A_RIGHT

A_TOP

A_VERTICAL

A_ATTRIBUTES

A_CHARTEXT

A_COLOR

KEY_MIN

KEY_BREAK

KEY_DOWN

KEY_UP

KEY_LEFT

KEY_RIGHT

KEY_HOME

KEY_BACKSPACE

KEY_F0

KEY_Fn

KEY_DL

KEY_IL

KEY_DC

KEY_IC

KEY_EIC

KEY_CLEAR

KEY_EOS

KEY_EOL

KEY_SF

KEY_SR

KEY_NPAGE

KEY_PPAGE

KEY_STAB

KEY_CTAB

KEY_CATAB

KEY_ENTER

KEY_SRESET

KEY_RESET

KEY_PRINT

KEY_LL

KEY_A1

KEY_A3

KEY_B2

KEY_C1

KEY_C3

KEY_BTAB

KEY_BEG

KEY_CANCEL

KEY_CLOSE

KEY_COMMAND

KEY_COPY

KEY_CREATE

KEY_END

KEY_EXIT

KEY_FIND

KEY_HELP

KEY_MARK

KEY_MESSAGE

KEY_MOVE

KEY_NEXT

KEY_OPEN

KEY_OPTIONS

KEY_PREVIOUS

KEY_REDO

KEY_REFERENCE

KEY_REFRESH

KEY_REPLACE

KEY_RESTART

KEY_RESUME

KEY_SAVE

KEY_SBEG

KEY_SCANCEL

KEY_SCOMMAND

KEY_SCOPY

KEY_SCREATE

KEY_SDC

KEY_SDL

KEY_SELECT

KEY_SEND

KEY_SEOL

KEY_SEXIT

KEY_SFIND

KEY_SHELP

KEY_SHOME

KEY_SIC

KEY_SLEFT

KEY_SMESSAGE

KEY_SMOVE

KEY_SNEXT

KEY_SOPTIONS

KEY_SPREVIOUS

KEY_SPRINT

KEY_SREDO

KEY_SREPLACE

KEY_SRIGHT

KEY_SRSUME

KEY_SSAVE

KEY_SSUSPEND

KEY_SUNDO

KEY_SUSPEND

KEY_UNDO

KEY_MOUSE

KEY_RESIZE

KEY_MAX

ACS_BBSS

ACS_BLOCK

ACS_BOARD

ACS_BSBS

ACS_BSSB

ACS_BSSS

ACS_BTEE

ACS_BULLET

ACS_CKBOARD

ACS_DARROW

ACS_DEGREE

ACS_DIAMOND

ACS_GEQUAL

ACS_HLINE

ACS_LANTERN

ACS_LARROW

ACS_LEQUAL

ACS_LLCORNER

ACS_LRCORNER

ACS_LTEE

ACS_NEQUAL

ACS_PI

ACS_PLMINUS

ACS_PLUS

ACS_RARROW

ACS_RTEE

ACS_S1

ACS_S3

ACS_S7

ACS_S9

ACS_SBBS

ACS_SBSB

ACS_SBSS

ACS_SSBB

ACS_SSBS

ACS_SSSB

ACS_SSSS

ACS_STERLING

ACS_TTEE

ACS_UARROW

ACS_ULCORNER

ACS_URCORNER

ACS_VLINE

BUTTONn_PRESSED

BUTTONn_RELEASED

BUTTONn_CLICKED

BUTTONn_DOUBLE_CLICKED

BUTTONn_TRIPLE_CLICKED

BUTTON_SHIFT

BUTTON_CTRL

BUTTON_ALT

COLOR_BLACK

COLOR_BLUE

COLOR_CYAN

COLOR_GREEN

COLOR_MAGENTA

COLOR_RED

COLOR_WHITE

COLOR_YELLOW

curses.textpad — Text input widget for curses programs

rectangle()

Textbox objects

Textbox

edit()

do_command()

gather()

stripspaces

curses.ascii — Utilities for ASCII characters

NUL

SOH

STX

ETX

EOT

ENQ

ACK

BEL

BS

TAB

HT

LF

NL

VT

FF

CR

SO

SI

DLE

DC1

DC2

DC3

DC4

NAK

SYN

ETB

CAN

EM

SUB

ESC

FS

GS

RS

US

SP

DEL

isalnum()

isalpha()

isascii()

isblank()

iscntrl()

isdigit()

isgraph()

islower()

isprint()

ispunct()

isspace()

isupper()

isxdigit()

isctrl()

ismeta()

ascii()

ctrl()

alt()

unctrl()

controlnames

curses.panel — A panel stack extension for curses

Funções

bottom_panel()

new_panel()

top_panel()

update_panels()

Objetos Panel

above()

below()

bottom()

hidden()

hide()

move()

replace()

set_userptr()

show()

top()

userptr()

window()

platform — Access to underlying platform’s identifying data

Cross Platform

architecture()

machine()

node()

platform()

processor()

python_build()

python_compiler()

python_branch()

python_implementation()

python_revision()

python_version()

python_version_tuple()

release()

system()

system_alias()

version()

uname()

Java Platform

java_ver()

Windows Platform

win32_ver()

win32_edition()

win32_is_iot()

macOS Platform

mac_ver()

iOS Platform

ios_ver()

Plataformas Unix

libc_ver()

Linux Platforms

freedesktop_os_release()

Android Platform

android_ver()

errno — Standard errno system symbols

errorcode

EPERM

ENOENT

ESRCH

EINTR

EIO

ENXIO

E2BIG

ENOEXEC

EBADF

ECHILD

EAGAIN

ENOMEM

EACCES

EFAULT

ENOTBLK

EBUSY

EEXIST

EXDEV

ENODEV

ENOTDIR

EISDIR

EINVAL

ENFILE

EMFILE

ENOTTY

ETXTBSY

EFBIG

ENOSPC

ESPIPE

EROFS

EMLINK

EPIPE

EDOM

ERANGE

EDEADLK

ENAMETOOLONG

ENOLCK

ENOSYS

ENOTEMPTY

ELOOP

EWOULDBLOCK

ENOMSG

EIDRM

ECHRNG

EL2NSYNC

EL3HLT

EL3RST

ELNRNG

EUNATCH

ENOCSI

EL2HLT

EBADE

EBADR

EXFULL

ENOANO

EBADRQC

EBADSLT

EDEADLOCK

EBFONT

ENOSTR

ENODATA

ETIME

ENOSR

ENONET

ENOPKG

EREMOTE

ENOLINK

EADV

ESRMNT

ECOMM

EPROTO

EMULTIHOP

EDOTDOT

EBADMSG

EOVERFLOW

ENOTUNIQ

EBADFD

EREMCHG

ELIBACC

ELIBBAD

ELIBSCN

ELIBMAX

ELIBEXEC

EILSEQ

ERESTART

ESTRPIPE

EUSERS

ENOTSOCK

EDESTADDRREQ

EMSGSIZE

EPROTOTYPE

ENOPROTOOPT

EPROTONOSUPPORT

ESOCKTNOSUPPORT

EOPNOTSUPP

ENOTSUP

EPFNOSUPPORT

EAFNOSUPPORT

EADDRINUSE

EADDRNOTAVAIL

ENETDOWN

ENETUNREACH

ENETRESET

ECONNABORTED

ECONNRESET

ENOBUFS

EISCONN

ENOTCONN

ESHUTDOWN

ETOOMANYREFS

ETIMEDOUT

ECONNREFUSED

EHOSTDOWN

EHOSTUNREACH

EALREADY

EINPROGRESS

ESTALE

EUCLEAN

ENOTNAM

ENAVAIL

EISNAM

EREMOTEIO

EDQUOT

EQFULL

ENOTCAPABLE

ECANCELED

EOWNERDEAD

ENOTRECOVERABLE

ctypes — Uma biblioteca de funções externas para Python

Tutorial ctypes

Loading dynamic link libraries

Accessing functions from loaded dlls

Calling functions

Tipos de dados fundamentais

Invocação de Funções, continuação

Calling variadic functions

Calling functions with your own custom data types

Specifying the required argument types (function prototypes)

Tipos de Retorno

Passing pointers (or: passing parameters by reference)

Structures and unions

Structure/union alignment and byte order

Bit fields in structures and unions

Arrays

Ponteiros

Conversão de Tipos

Tipos Incompletos

Funções Callbacks

Accessing values exported from dlls

Surprises

Variable-sized data types

Referência ctypes

Finding shared libraries

Loading shared libraries

CDLL

OleDLL

WinDLL

PyDLL

_handle

_name

LibraryLoader

LoadLibrary()

Foreign functions

_CFuncPtr

restype

argtypes

errcheck

ArgumentError

Function prototypes

CFUNCTYPE()

WINFUNCTYPE()

PYFUNCTYPE()

Funções utilitárias

addressof()

alignment()

byref()

cast()

create_string_buffer()

create_unicode_buffer()

DllCanUnloadNow()

DllGetClassObject()

find_library()

find_msvcrt()

FormatError()

GetLastError()

get_errno()

get_last_error()

memmove()

memset()

POINTER()

pointer()

resize()

set_errno()

set_last_error()

sizeof()

string_at()

WinError()

wstring_at()

Data types

_CData

from_buffer()

from_buffer_copy()

from_address()

from_param()

in_dll()

_b_base_

_b_needsfree_

_objects

Tipos de dados fundamentais

_SimpleCData

value

c_byte

c_char

c_char_p

c_double

c_longdouble

c_float

c_int

c_int8

c_int16

c_int32

c_int64

c_long

c_longlong

c_short

c_size_t

c_ssize_t

c_time_t

c_ubyte

c_uint

c_uint8

c_uint16

c_uint32

c_uint64

c_ulong

c_ulonglong

c_ushort

c_void_p

c_wchar

c_wchar_p

c_bool

HRESULT

py_object

Structured data types

Union

BigEndianUnion

LittleEndianUnion

BigEndianStructure

LittleEndianStructure

Structure

_fields_

_pack_

_align_

_anonymous_

Arrays and pointers

Array

_length_

_type_

ARRAY()

_Pointer

_type_

contents

os — Diversas interfaces de sistema operacional

Código-fonte: Lib/os.py [https://github.com/python/cpython/tree/3.13/Lib/os.py]

Este módulo fornece uma maneira simples de usar funcionalidades que são dependentes de sistema operacional. Se você quiser ler ou escrever um arquivo, veja open(); se o que quer é manipular estruturas de diretórios, veja o módulo os.path; e se quiser ler todas as linhas, de todos os arquivos na linha de comando, veja o módulo fileinput. Para criar arquivos e diretórios temporários, veja o módulo tempfile; e, para manipulação em alto nível de arquivos e diretórios, veja o módulo shutil.

Notas sobre a disponibilidade dessas funções:

O modelo dos módulos embutidos dependentes do sistema operacional no Python é tal que, desde que a mesma funcionalidade esteja disponível, a mesma interface é usada; por exemplo, a função os.stat(path) retorna informações estatísticas sobre path no mesmo formato (que é originado com a interface POSIX).

Extensões específicas a um sistema operacional também estão disponíveis através do módulo os, mas usá-las é, naturalmente, uma ameaça à portabilidade.

Todas as funções que aceitam nomes de caminhos ou arquivos, aceitam objetos bytes e string, e resultam em um objeto do mesmo tipo, se um caminho ou nome de arquivo for retornado.

Em VxWorks, os.popen, os.fork, os.execv e os.spawn*p* não são suportados.

Nas plataformas WebAssembly, Android e iOS, grandes partes do módulo os não estão disponíveis ou se comportam de maneira diferente. APIs relacionadas a processos (por exemplo, fork(), execve()) e recursos (por exemplo, nice()) não estão disponíveis. Outros como getuid() e getpid() são emulados ou stubs. As plataformas WebAssembly também não possuem suporte para sinais (por exemplo, kill(), wait()).

Nota

Todas as funções neste módulo levantam OSError (ou suas subclasses) no caso de nomes e caminhos de arquivos inválidos ou inacessíveis, ou outros argumentos que possuem o tipo correto, mas não são aceitos pelo sistema operacional.

exception os.error

Um apelido para a exceção embutida OSError.

os.name

O nome do módulo importado, dependente do sistema operacional. Atualmente, os seguintes nomes foram registrados: 'posix', 'nt', 'java'.

Ver também

sys.platform tem uma granularidade mais fina. os.uname() fornece informações de versão específicas do sistema.

O módulo platform fornece verificações detalhadas sobre a identificação do sistema.

Nomes de arquivos, argumentos de linha de comando e variáveis de ambiente

No Python, nomes de arquivos, argumentos da linha de comando, e variáveis de ambiente são representadas usando o tipo string. Em alguns sistemas, decodificar essas strings de e para bytes é necessário antes de passá-las para o sistema operacional. Python usa o tratador de erros e codificação do sistema de arquivos para realizar essa conversão (veja sys.getfilesystemencoding()).

O tratador de erros e codificação do sistema de arquivos são configurados na inicialização do Python pela função PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors do PyConfig.

Alterado na versão 3.1: Em alguns sistemas a conversão, usando a codificação do sistema de arquivos, pode falhar. Neste caso, Python usa o manipulador de erro de codificação surrogateescape, o que significa que bytes não decodificados são substituídos por um caractere Unicode U+DCxx na decodificação, e estes são novamente traduzidos para o byte original na codificação.

A codificação de sistema de arquivos precisa garantir que todos os bytes abaixo de 128 serão decodificados com sucesso. Se a codificação do sistemas de arquivos falhar em garantir isso, funções de API podem levantar UnicodeError.

Veja também a codificação da localidade.

Modo UTF-8 do Python

Adicionado na versão 3.7: Veja PEP 540 [https://peps.python.org/pep-0540/] para mais detalhes.

O Modo UTF-8 do Python ignora a codificação da localidade e força o uso da codificação UTF-8:

Usa UTF-8 como a codificação do sistema de arquivos.

sys.getfilesystemencoding() retorna 'utf-8'.

locale.getpreferredencoding() retorna 'utf-8' (o argumento do_setlocale não causa efeito).

sys.stdin, sys.stdout e sys.stderr usam UTF-8 como codificação de texto, com o tratador de erros surrogateescape sendo habilitado para sys.stdin e sys.stdout (sys.stderr continua a usar backslashreplace como faz no modo padrão com reconhecimento de localidade)

No Unix, os.device_encoding() retorna 'utf-8' invés da codificação do dispositivo.

Observe que as configurações de fluxo padrão no modo UTF-8 podem ser substituídas por PYTHONIOENCODING (assim como podem estar no modo com reconhecimento de localidade padrão).

Como consequência das mudanças nessas APIs de baixo nível, outras APIs de alto nível também exibem comportamentos padrões diferentes:

Argumentos de linha de comando, variáveis de ambiente e nomes de arquivos são decodificados em texto usando a codificação UTF-8.

os.fsdecode() e os.fsencode() usam a codificação UTF-8.

open(), io.open() e codecs.open() usam a codificação UTF-8 por padrão. No entanto, elas ainda usam o tratador de erros estrito por padrão, de modo que a tentativa de abrir um arquivo binário no modo de texto provavelmente levantará uma exceção em vez de produzir dados sem sentido.

O Modo UTF-8 do Python está habilitado se a localidade LC_CTYPE for C ou POSIX na inicialização do Python (veja a função PyConfig_Read()).

Ele pode ser habilitado ou desabilitado utilizando a opção -X utf8 da linha de comando e a variável de ambiente PYTHONUTF8.

Se a variável de ambiente PYTHONUTF8 não está com valor definido, então o interpretador usa por padrão a configuração de localidade atual, a menos que a localidade atual esteja identificada como uma localidade legada baseada em ASCII (como descrita para PYTHONCOERCECLOCALE), e a coerção de localidade estiver desabilitada ou falhar. Nessas localidades legadas, o interpretador irá habilitar por padrão o modo UTF-8 a menos que seja explicitamente instruído para não fazer isso.

O Modo UTF-8 do Python só pode ser ativado na inicialização do Python. Seu valor pode ser lido de sys.flags.utf8_mode.

Veja também o modo UTF-8 no Windows e o tratador de erros e codificação do sistema de arquivos.

Ver também

PEP 686 [https://peps.python.org/pep-0686/]

Python 3.15 utilizará Modo UTF-8 do Python por padrão.

Parâmetros de processo

Essas funções e itens de dados fornecem informações e operam no processo e usuário atuais.

os.ctermid()

Retorna o nome do arquivo correspondente ao terminal de controle do processo.

Disponibilidade

os.environ

Um objeto mapeamento onde as chaves e valores são strings que representam o ambiente do processo. Por exemplo, environ['HOME'] é o nome do caminho do seu diretório pessoal (em algumas plataformas), e é equivalente a getenv("HOME") em C.

Este mapeamento é capturado na primeira vez que o módulo os é importado, normalmente durante a inicialização do Python, como parte do processamento do arquivo site.py. Mudanças no ambiente feitas após esse momento não são refletidas em os.environ, exceto pelas mudanças feitas modificando os.environ diretamente.

Este mapeamento pode ser usado para modificar o ambiente, além de consultá-lo. putenv() será chamado automaticamente quando o mapeamento for modificado.

No Unix, chaves e valores usam sys.getfilesystemencoding() e o tratador de erros 'surrogateescape'. Use environb se quiser usar uma codificação diferente.

No Windows, as chaves são convertidas em maiúsculas. Isso também se aplica ao obter, definir ou excluir um item. Por exemplo, environ['monty'] = 'python' mapeia a chave 'MONTY' para o valor 'python'.

Nota

Chamar a função putenv() diretamente não muda os.environ, por isso é melhor modificar os.environ.

Nota

Em algumas plataformas, incluindo FreeBSD e Mac OS X, a modificação de environ pode causar vazamentos de memória. Consulte a documentação do sistema para putenv().

Você pode excluir itens neste mapeamento para remover definição de variáveis de ambiente. unsetenv() será chamado automaticamente quando um item é excluído de os.environ, e quando um dos métodos pop() ou clear() é chamado.

Alterado na versão 3.9: Atualizado para ter suporte os operadores de mesclagem (|) e de atualização (|=) da PEP 584 [https://peps.python.org/pep-0584/].

os.environb

Versão bytes de environ: um objeto de mapeamento onde as chaves e valores são objetos bytes representando o ambiente do processo. environ e environb são sincronizados (modificar environb atualiza environ, e vice versa).

environb está disponível somente se supports_bytes_environ for True.

Adicionado na versão 3.2.

Alterado na versão 3.9: Atualizado para ter suporte os operadores de mesclagem (|) e de atualização (|=) da PEP 584 [https://peps.python.org/pep-0584/].

os.chdir(path)

os.fchdir(fd)

os.getcwd()

Essas funções são descritas em: Arquivos e diretórios.

os.fsencode(filename)

Codifica o objeto caminho ou similar filename para tratador de erros e codificação do sistema de arquivos; retorna bytes inalterados.

fsdecode() é a função inversa.

Adicionado na versão 3.2.

Alterado na versão 3.6: Adicionado suporte para aceitar objetos que implementam a interface os.PathLike.

os.fsdecode(filename)

Decodifica o objeto caminho ou similar filename do tratador de erros e codificação do sistema de arquivos; retorna str inalterada.

fsencode() é a função inversa.

Adicionado na versão 3.2.

Alterado na versão 3.6: Adicionado suporte para aceitar objetos que implementam a interface os.PathLike.

os.fspath(path)

Retorna a representação do sistema de arquivos do caminho (argumento path).

Se um objeto str ou bytes é passado, é retornado inalterado. Caso contrário, o método __fspath__() é chamado, e seu valor é retornado, desde que seja um objeto str ou bytes. Em todos os outros casos, TypeError é levantada.

Adicionado na versão 3.6.

class os.PathLike

Uma classe base abstrata para objetos representando um caminho do sistema de arquivos, como, por exemplo, pathlib.PurePath.

Adicionado na versão 3.6.

abstractmethod __fspath__()

Retorna a representação do caminho do sistema de arquivos do objeto.

O método deverá retornar somente objetos str ou bytes, preferencialmente str.

os.getenv(key, default=None)

Retorna o valor da variável de ambiente key como uma string se existir, ou default se não existir. key é uma string. Note que uma vez que getenv() utiliza os.environ, o mapeamento de getenv() é também similarmente capturado na importação, e a função pode não refletir futuras mudanças no ambiente.

No Unix, chaves e valores são decodificados com a função sys.getfilesystemencoding() e o o manipulador de erros 'surrogateescape'. Use os.getenvb() se quiser usar uma codificação diferente.

Disponibilidade

os.getenvb(key, default=None)

Retorna o valor da variável de ambiente key como bytes se existir, ou default se não existir. key deve ser bytes. Note que uma vez que getenvb() utiliza os.environb, o mapeamento de getenvb() é também similarmente capturado na importação, e a função pode não refletir futuras mudanças no ambiente.

getenvb() está disponível somente se supports_bytes_environ for True.

Disponibilidade

Adicionado na versão 3.2.

os.get_exec_path(env=None)

Retorna a lista de diretórios que serão buscados por um executável nomeado, semelhante a um shell, ao iniciar um processo. env, quando especificado, deve ser um dicionário de variáveis de ambiente para procurar o PATH. Por padrão, quando env é None, environ é usado.

Adicionado na versão 3.2.

os.getegid()

Retorna o ID do grupo efetivo do processo atual. Isso corresponde ao bit “set id” no arquivo que está sendo executado no processo atual.

Disponibilidade

os.geteuid()

Retorna o ID de usuário efetivo do processo atual.

Disponibilidade

os.getgid()

Retorna o ID do grupo real do processo atual.

Disponibilidade

A função é uma simulação em WASI, veja Plataformas WebAssembly para mais informações.

os.getgrouplist(user, group, /)

Retorna a lista de IDs de grupo aos quais user pertence. Se group não estiver na lista, ele será incluído; normalmente, group é especificado como o campo de ID de grupo do registro de senha para user, porque esse ID de grupo será potencialmente omitido.

Disponibilidade

Adicionado na versão 3.3.

os.getgroups()

Retorna a lista de IDs de grupos suplementares associados ao processo atual.

Disponibilidade

Nota

No Mac OS, o comportamento da função getgroups() difere um pouco de outras plataformas Unix. Se o interpretador Python foi compilado para distribuição na versão 10.5, ou anterior, getgroups() retorna a lista de IDs de grupos efetivos, associados ao processo do usuário atual; esta lista é limitada a um número de entradas definido pelo sistema, tipicamente 16, e pode ser modificada por chamadas para setgroups() se tiver o privilégio adequado. Se foi compilado para distribuição na versão maior que 10.5, getgroups() retorna a lista de acesso de grupo atual para o usuário associado ao ID de usuário efetivo do processo; a lista de acesso de grupo pode mudar durante a vida útil do processo, e ela não é afetada por chamadas para setgroups(), e seu comprimento não é limitado a 16. O valor da constante MACOSX_DEPLOYMENT_TARGET, pode ser obtido com sysconfig.get_config_var().

os.getlogin()

Retorna o nome do usuário conectado no terminal de controle do processo. Para a maioria dos propósitos, é mais útil usar getpass.getuser(), já que esse último verifica as variáveis de ambiente LOGNAME ou USERNAME para descobrir quem é o usuário, e retorna para pwd.getpwuid(os.getuid())[0] para obter o nome de login do ID do usuário real atual.

Disponibilidade

os.getpgid(pid)

Retorna o ID do grupo de processo com pid. Se pid for 0, o ID do grupo do processos do processo atual é retornado.

Disponibilidade

os.getpgrp()

Retorna o ID do grupo do processo atual.

Disponibilidade

os.getpid()

Retorna o ID do processo atual.

A função é uma simulação em WASI, veja Plataformas WebAssembly para mais informações.

os.getppid()

Retorna o ID do processo pai. Quando o processo pai é encerrado, no Unix, o ID retornado é o do processo init (1); no Windows, ainda é o mesmo ID, que pode já estar sendo reutilizado por outro processo.

Disponibilidade

Alterado na versão 3.2: Adicionado suporte para Windows.

os.getpriority(which, who)

Obtém prioridade de agendamento de programa. O valor which é um entre PRIO_PROCESS, PRIO_PGRP ou PRIO_USER, e who é interpretado em relação a which (um identificador de processo para PRIO_PROCESS, identificador do grupo de processos para PRIO_PGRP e um ID de usuário para PRIO_USER). Um valor zero para who indica (respectivamente) o processo de chamada, o grupo de processos do processo de chamada ou o ID do usuário real do processo de chamada.

Disponibilidade

Adicionado na versão 3.3.

os.PRIO_PROCESS

os.PRIO_PGRP

os.PRIO_USER

Parâmetros para as funções getpriority() e setpriority().

Disponibilidade

Adicionado na versão 3.3.

os.PRIO_DARWIN_THREAD

os.PRIO_DARWIN_PROCESS

os.PRIO_DARWIN_BG

os.PRIO_DARWIN_NONUI

Parâmetros para as funções getpriority() e setpriority().

Disponibilidade

Adicionado na versão 3.12.

os.getresuid()

Retorna uma tupla (ruid, euid, suid) indicando os IDs de usuário real, efetivo e salvo do processo atual.

Disponibilidade

Adicionado na versão 3.2.

os.getresgid()

Retorna uma tupla (rgid, egid, sgid) indicando os IDs de grupos real, efetivo e salvo do processo atual.

Disponibilidade

Adicionado na versão 3.2.

os.getuid()

Retorna o ID de usuário real do processo atual.

Disponibilidade

A função é uma simulação em WASI, veja Plataformas WebAssembly para mais informações.

os.initgroups(username, gid, /)

Chama o initgroups() do sistema para inicializar a lista de acesso ao grupo com todos os grupos dos quais o nome de usuário especificado é membro, mais o ID do grupo especificado.

Disponibilidade

Adicionado na versão 3.2.

os.putenv(key, value, /)

Define a variável de ambiente denominada key como a string value. Tais mudanças no ambiente afetam os subprocessos iniciados com os.system(), popen() ou fork() e execv().

Atribuições a itens em os.environ são automaticamente traduzidas em chamadas correspondentes para putenv(); entretanto, chamadas para putenv() não atualizam os.environ, então é preferível atribuir itens de os.environ. Isso também se aplica a getenv() e getenvb(), que usam respectivamente os.environ e os.environb em suas implementações.

Nota

Em algumas plataformas, incluindo FreeBSD e Mac OS X, a modificação de environ pode causar vazamentos de memória. Consulte a documentação do sistema para putenv().

Levanta um evento de auditoria os.putenv com os argumentos key, value.

Alterado na versão 3.9: A função está agora sempre disponível.

os.setegid(egid, /)

Define o ID do grupo efetivo do processo atual.

Disponibilidade

os.seteuid(euid, /)

Define o ID do usuário efetivo do processo atual.

Disponibilidade

os.setgid(gid, /)

Define o ID do grupo do processo atual.

Disponibilidade

os.setgroups(groups, /)

Define a lista de IDs de grupo suplementares associados ao processo atual como groups. groups deve ser uma sequência e cada elemento deve ser um número inteiro identificando um grupo. Esta operação normalmente está disponível apenas para o superusuário.

Disponibilidade

Nota

No Mac OS X, o comprimento de groups não pode exceder o número máximo definido pelo sistema de IDs de grupo efetivos, normalmente 16. Consulte a documentação de getgroups() para casos em que ele pode não retornar o mesmo grupo de listas definido chamando setgroups().

os.setns(fd, nstype=0)

Reassocia a thread atual com um espaço de nomes do Linux. Veja as páginas man setns(2) [https://manpages.debian.org/setns(2)] e namespaces(7) [https://manpages.debian.org/namespaces(7)] para mais detalhes.

Se fd se refere a um link /proc/pid/ns/, setns() reassocia a thread de chamada com o espaço de nomes associado a esse link, e nstype pode ser definido como uma das constantes CLONE_NEW* para impor restrições na operação (0 significa sem restrições).

Desde o Linux 5.8, fd pode se referir a um descritor de arquivo PID obtido de pidfd_open(). Neste caso, setns() reassocia a thread chamadora em um ou mais dos mesmos espaços de nomes que o thread referenciado por fd. Isso está sujeito a quaisquer restrições impostas por nstype, que é uma máscara de bits que combina uma ou mais das constantes CLONE_NEW*, por exemplo setns(fd, os.CLONE_NEWUTS | os.CLONE_NEWPID). As associações do chamador em espaços de nomes não especificados permanecem inalteradas.

fd pode ser qualquer objeto com um método fileno() ou um descritor de arquivo bruto.

Este exemplo reassocia a thread com o espaço de nomes de rede do processo init:

fd = os.open("/proc/1/ns/net", os.O_RDONLY)
os.setns(fd, os.CLONE_NEWNET)
os.close(fd)

Disponibilidade

Adicionado na versão 3.12.

Ver também

A função unshare().

os.setpgrp()

Executa a chamada de sistema setpgrp() ou setpgrp(0, 0) dependendo da versão implementada (se houver). Veja o manual do Unix para a semântica.

Disponibilidade

os.setpgid(pid, pgrp, /)

Executa a chamada de sistema setpgid() para definir o ID do grupo do processo com pid para o grupo de processos com o id pgrp. Veja o manual do Unix para a semântica.

Disponibilidade

os.setpriority(which, who, priority)

Define a prioridade de agendamento de programa. O valor which é um entre PRIO_PROCESS, PRIO_PGRP ou PRIO_USER, e who é interpretado em relação a which (um identificador de processo para PRIO_PROCESS, identificador do grupo de processos para PRIO_PGRP e um ID de usuário para PRIO_USER). Um valor zero para who indica (respectivamente) o processo de chamada, o grupo de processos do processo de chamada ou o ID do usuário real do processo de chamada. priority é um valor na faixa de -20 a 19. A prioridade padrão é 0; prioridades menores resultam em um agendamento mais favorável.

Disponibilidade

Adicionado na versão 3.3.

os.setregid(rgid, egid, /)

Define os IDs de grupo real e efetivo do processo atual.

Disponibilidade

os.setresgid(rgid, egid, sgid, /)

Define os IDs de grupo real, efetivo e salvo do processo atual.

Disponibilidade

Adicionado na versão 3.2.

os.setresuid(ruid, euid, suid, /)

Define os IDs de usuário real, efetivo e salvo do processo atual.

Disponibilidade

Adicionado na versão 3.2.

os.setreuid(ruid, euid, /)

Define os IDs de usuário real e efetivo do processo atual.

Disponibilidade

os.getsid(pid, /)

Executa a chamada de sistema getsid(). Veja o manual do Unix para semântica.

Disponibilidade

os.setsid()

Executa a chamada de sistema setsid(). Veja o manual do Unix para semântica.

Disponibilidade

os.setuid(uid, /)

Define o ID de usuário do processo atual.

Disponibilidade

os.strerror(code, /)

Retorna a mensagem de erro correspondente ao código de erro em code. Nas plataformas em que strerror() retorna NULL quando recebe um número de erro desconhecido, ValueError é levantada.

os.supports_bytes_environ

True se o tipo de sistema operacional nativo do ambiente estiver em bytes (por exemplo, False no Windows).

Adicionado na versão 3.2.

os.umask(mask, /)

Define o umask numérico atual e retorna o umask anterior.

A função é uma simulação em WASI, veja Plataformas WebAssembly para mais informações.

os.uname()

Retorna informações identificando o sistema operacional atual. O valor retornado é um objeto com cinco atributos:

sysname - nome do sistema operacional

nodename - nome da máquina na rede (definido pela implementação)

release - lançamento do sistema operacional

version - versão do sistema operacional

machine - identificador de hardware

Para compatibilidade com versões anteriores, esse objeto também é iterável, comportando-se como uma tupla de 5 elementos contendo sysname, nodename, release, version e machine nessa ordem.

Alguns sistemas truncam nodename para 8 caracteres ou para o componente principal; uma maneira melhor de obter o nome do host é socket.gethostname() ou até mesmo socket.gethostbyaddr(socket.gethostname()).

No macOS, iOS e Android, retorna o nome e a versão do kernel (ou seja, 'Darwin' no macOS e iOS; 'Linux' no Android). platform.uname() pode ser usada para obter o nome e a versão do sistema operacional voltado para o usuário no iOS e Android.

Disponibilidade

Alterado na versão 3.3: Tipo de retorno foi alterado de uma tupla para um objeto tupla ou similar com atributos nomeados.

os.unsetenv(key, /)

Cancela (exclui) a variável de ambiente denominada key. Tais mudanças no ambiente afetam subprocessos iniciados com os.system(), popen() ou fork() e execv().

A exclusão de itens em os.environ é automaticamente traduzida para uma chamada correspondente a unsetenv(); no entanto, chamadas a unsetenv() não atualizam os.environ, por isso, na verdade é preferível excluir itens de os.environ.

Levanta um evento de auditoria os.unsetenv com o argumento key.

Alterado na versão 3.9: A função está agora sempre disponível e também está disponível no Windows.

os.unshare(flags)

Desassocia partes do contexto de execução do processo e move-as para um espaço de nomes recém-criado. Veja a página man unshare(2) [https://manpages.debian.org/unshare(2)] para mais detalhes. O argumento flags é uma máscara de bits, combinando zero ou mais constantes CLONE_*, que especifica quais partes do contexto de execução devem ser descompartilhadas de suas associações existentes e movidas para um novo espaço de nomes. Se o argumento flags for 0, nenhuma alteração será feita no contexto de execução do processo de chamada.

Disponibilidade

Adicionado na versão 3.12.

Ver também

A função setns().

Sinalizações para a função unshare(), se a implementação oferecer suporte. Veja unshare(2) [https://manpages.debian.org/unshare(2)] no manual do Linux para seu exato efeito e disponibilidade.

os.CLONE_FILES

os.CLONE_FS

os.CLONE_NEWCGROUP

os.CLONE_NEWIPC

os.CLONE_NEWNET

os.CLONE_NEWNS

os.CLONE_NEWPID

os.CLONE_NEWTIME

os.CLONE_NEWUSER

os.CLONE_NEWUTS

os.CLONE_SIGHAND

os.CLONE_SYSVSEM

os.CLONE_THREAD

os.CLONE_VM

Criação de objetos arquivos

Estas funções criam novos objetos arquivos. (Veja também open() para abrir os descritores de arquivos.)

os.fdopen(fd, *args, **kwargs)

Retorna um objeto arquivo aberto conectado ao descritor de arquivo fd. Este é um apelido para a função embutida open() e aceita os mesmos argumentos. A única diferença é que o primeiro argumento de fdopen() deve ser sempre um inteiro.

Operações dos descritores de arquivos

Estas funções operam em fluxos de E/S referenciados usando descritores de arquivos.

Descritores de arquivos são pequenos números inteiros correspondentes a um arquivo que foi aberto pelo processo atual. Por exemplo, a entrada padrão geralmente é o descritor de arquivo 0, a saída padrão 1 e erro padrão 2. Outros arquivos abertos por um processo serão então atribuídos 3, 4, 5, e assim por diante. O nome “descritor de arquivo” é um pouco enganoso; em plataformas UNIX, sockets e pipes também são referenciados como descritores de arquivos.

O método fileno() pode ser usado para obter o descritor de arquivo associado a um objeto arquivo quando solicitado. Note-se que usar o descritor de arquivo diretamente ignorará os métodos do objeto arquivo, ignorando aspectos como buffer interno de dados.

os.close(fd)

Fecha o descritor de arquivo fd.

Nota

Esta função destina-se a E/S de baixo nível e deve ser aplicada a um descritor de arquivo retornado por os.open() ou pipe(). Para fechar um “objeto arquivo” retornado pela função embutida open() ou por popen() ou fdopen(), use seu método close().

os.closerange(fd_low, fd_high, /)

Fecha todos os descritores de arquivos de fd_low (inclusivo) a fd_high (exclusivo), ignorando erros. Equivalente a (mas muito mais rápido do que):

for fd in range(fd_low, fd_high):
    try:
        os.close(fd)
    except OSError:
        pass

os.copy_file_range(src, dst, count, offset_src=None, offset_dst=None)

Copia count bytes do descritor de arquivo src, começando no deslocamento offset_src, para o descritor de arquivo dst, começando no deslocamento offset_dst. Se offset_src for None, src será lido a partir da posição atual; respectivamente para offset_dst.

No kernel Linux anterior a 5.3, os arquivos apontados por src e dst devem residir no mesmo sistema de arquivos, caso contrário, uma exceção OSError é levantada com errno definido como errno.EXDEV.

Essa cópia é feita sem o custo adicional de transferência de dados do kernel para o espaço do usuário e depois de volta para o kernel. Além disso, alguns sistemas de arquivos podem implementar otimizações extras, como o uso de reflinks (ou seja, dois ou mais nós-i que compartilham ponteiros para os mesmos blocos de disco copy-on-write; os sistemas de arquivos suportados incluem btrfs e XFS) e cópia do lado do servidor (no caso de NFS).

A função copia bytes entre dois descritores de arquivo. As opções de texto, como a codificação e o final da linha, são ignoradas.

O valor de retorno é a quantidade de bytes copiados. Ele pode ser inferior à quantidade solicitada.

Nota

No Linux, os.copy_file_range() não deve ser usada para copiar um intervalo de um pseudo arquivo de um sistema de arquivos especial como procfs e sysfs. Ele nunca copiará byte algum e retornará 0 como se o arquivo estivesse vazio devido a um problema conhecido do kernel do Linux.

Disponibilidade

Adicionado na versão 3.8.

os.device_encoding(fd)

Retorna uma string descrevendo a codificação do dispositivo associado a fd se estiver conectado a um terminal; senão retorna None.

No Unix, se o Modo UTF-8 do Python estiver habilitado, retorna 'UTF-8' ao invés da codificação do dispositivo.

Alterado na versão 3.10: No Unix, a função agora implementa o Modo UTF-8 do Python.

os.dup(fd, /)

Retorna uma cópia do descritor de arquivo fd. O novo descritor de arquivo é não-herdável.

No Windows, ao duplicar um fluxo padrão (0: stdin, 1: stdout, 2: stderr), o novo descritor de arquivo é herdável.

Disponibilidade

Alterado na versão 3.4: O novo descritor de arquivo agora é não-herdável.

os.dup2(fd, fd2, inheritable=True)

Duplica o descritor de arquivo fd como fd2, fechando o último antes disso, se necessário. Retorna fd2. O novo descritor de arquivo é herdável por padrão ou não-herdável se inheritable for False.

Disponibilidade

Alterado na versão 3.4: Adicionado o parâmetro opcional inheritable.

Alterado na versão 3.7: Retorna fd2 em caso de sucesso. Anteriormente, retornava sempre None.

os.fchmod(fd, mode)

Altera o modo do arquivo dado por fd ao mode numérico. Veja a documentação de chmod() para valores possíveis de mode. A partir do Python 3.3, isto é equivalente a os.chmod(fd, mode).

Levanta um evento de auditoria os.chmod com os argumentos path, mode, dir_fd.

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

Alterado na versão 3.13: Adicionado suporte no Windows.

os.fchown(fd, uid, gid)

Altera o ID do proprietário e do grupo do arquivo dado por fd para o uid e gid numérico. Para deixar um dos IDs inalteradas, defina-o como -1. Veja chown(). A partir do Python 3.3, isto é equivalente a os.chown(fd, uid, gid).

Levanta um evento de auditoria os.chown com os argumentos path, uid, gid, dir_fd.

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

os.fdatasync(fd)

Força a gravação do arquivo com descritor de arquivo fd no disco. Não força a atualização de metadados.

Disponibilidade

Nota

Esta função não está disponível no MacOS.

os.fpathconf(fd, name, /)

Retorna informações de configuração de sistema relevantes para um arquivo aberto. name especifica o valor de configuração para recuperar; pode ser uma string que é o nome de um valor do sistema definido; estes nomes são especificados em uma série de padrões (POSIX.1, Unix 95, Unix 98 e outros). Algumas plataformas definem nomes adicionais também. Os nomes conhecidos do sistema operacional hospedeiro são dadas no dicionário pathconf_names. Para variáveis ​​de configuração não incluídas neste mapeamento, também é aceito passar um número inteiro para name.

Se name for uma string e não for conhecida, uma exceção ValueError é levantada. Se um valor específico para name não for compatível com o sistema hospedeiro, mesmo que seja incluído no pathconf_names, uma exceção OSError é levantada com errno.EINVAL como número do erro.

A partir do Python 3.3, é equivalente a os.pathconf(fd, name).

Disponibilidade

os.fstat(fd)

Captura o estado do descritor de arquivo fd. Retorna um objeto stat_result.

A partir do Python 3.3, é equivalente a os.stat(fd).

Ver também

A função stat().

os.fstatvfs(fd, /)

Retorna informações sobre o sistema de arquivos que contém o arquivo associado com descritor de arquivo fd, como statvfs(). A partir do Python 3.3, isso equivale a os.statvfs(fd).

Disponibilidade

os.fsync(fd)

Força a gravação no disco de arquivo com descritor de arquivo fd. No Unix, isto chama a função nativa fsync(); no Windows, a função de MS _commit().

Se você estiver começando com um objeto arquivo f em buffer do Python, primeiro use f.flush(), e depois use os.fsync(f.fileno()), para garantir que todos os buffers internos associados com f sejam gravados no disco.

Disponibilidade

os.ftruncate(fd, length, /)

Trunca o arquivo correspondente ao descritor de arquivo fd, de modo que tenha no máximo length bytes de tamanho. A partir do Python 3.3, isto é equivalente a os.truncate(fd, length).

Levanta evento de auditoria os.truncate com os argumentos fd, length.

Disponibilidade

Alterado na versão 3.5: Adicionado suporte para o Windows.

os.get_blocking(fd, /)

Obtém o modo de bloqueio do descritor de arquivo: False se o sinalizador O_NONBLOCK estiver marcado, True se o sinalizador estiver desmarcado.

Veja também set_blocking() e socket.socket.setblocking().

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

No Windows, esta função é limitada a encadeamentos.

Adicionado na versão 3.5.

Alterado na versão 3.12: Adicionado suporte a encadeamentos no Windows.

os.grantpt(fd, /)

Concede acesso ao dispositivo pseudoterminal secundário associado ao dispositivo pseudoterminal principal ao qual o descritor de arquivo fd se refere. O descritor de arquivo fd não é fechado em caso de falha.

Chama a função grantpt() da biblioteca padrão C.

Disponibilidade

Adicionado na versão 3.13.

os.isatty(fd, /)

Retorna True se o descritor de arquivo fd estiver aberto e conectado a um dispositivo do tipo tty, senão False.

os.lockf(fd, cmd, len, /)

Aplica, testa ou remove uma trava POSIX em um descritor de arquivo aberto. fd é um descritor de arquivo aberto. cmd especifica o comando a ser usado - um dentre F_LOCK, F_TLOCK, F_ULOCK ou F_TEST. len especifica a seção do arquivo para travar.

Levanta um evento de auditoria os.lockf com os argumentos fd, cmd, len.

Disponibilidade

Adicionado na versão 3.3.

os.F_LOCK

os.F_TLOCK

os.F_ULOCK

os.F_TEST

Sinalizadores que especificam qual ação lockf() vai executar.

Disponibilidade

Adicionado na versão 3.3.

os.login_tty(fd, /)

Prepara o tty do qual fd é um descritor de arquivo para uma nova sessão de login. Faz do processo de chamada um líder de sessão; torna o tty o tty de controle, o stdin, o stdout e o stderr do processo de chamada; fecha o fd.

Disponibilidade

Adicionado na versão 3.11.

os.lseek(fd, pos, whence, /)

Define a posição atual do descritor de arquivo fd para a posição pos, modificada por whence, e retorna a nova posição em bytes relativa ao início do arquivo. Os valores válidos de whence são:

SEEK_SET ou 0 – define pos em relação ao início do arquivo

SEEK_CUR ou 1 – define pos em relação à posição atual do arquivo

SEEK_END ou 2 – define pos em relação ao final do arquivo

SEEK_HOLE – define pos para o próximo local de dados, em relação a pos

SEEK_DATA – define pos para o próximo buraco de dados, em relação a pos

Alterado na versão 3.3: Adicionado suporte para SEEK_HOLE e SEEK_DATA.

os.SEEK_SET

os.SEEK_CUR

os.SEEK_END

Parâmetros para a função lseek() e o método seek() em objetos arquivo ou similar, para onde ajustar o indicador de posição do arquivo.

SEEK_SET

Ajusta a posição do arquivo em relação ao início do arquivo.

SEEK_CUR

Ajusta a posição do arquivo em relação a sua posição atual.

SEEK_END

Ajusta a posição do arquivo em relação ao fim do arquivo.

Seus valores são 0, 1 e 2, respectivamente.

os.SEEK_HOLE

os.SEEK_DATA

Parâmetros para a função lseek() e o método seek() em objetos arquivo ou similar, para para buscar dados de arquivos e buracos em arquivos alocados de forma esparsa.

SEEK_DATA

Ajusta o deslocamento do arquivo para o próximo local contendo dados, em relação à posição de busca.

SEEK_HOLE

Ajusta o deslocamento do arquivo para o próximo local contendo um buraco, em relação à posição de busca. Um buraco é definido como uma sequência de zeros.

Nota

Essas operações só fazem sentido para sistemas de arquivos que as suportam.

Disponibilidade

Adicionado na versão 3.3.

os.open(path, flags, mode=0o777, *, dir_fd=None)

Abre o arquivo path e define vários sinalizadores de acordo com flags e, possivelmente, seu modo, de acordo com mode. Ao computar mode, o valor atual de umask é primeiro mascarado. Retorna o descritor de arquivo para o arquivo recém-aberto. O novo descritor de arquivo é não-herdável.

Para ler uma descrição dos valores de sinalizadores e modos, veja a documentação de C; constantes de sinalizador (como O_RDONLY e O_WRONLY) são definidas no módulo os. Em particular, no Windows é necessário adicionar O_BINARY para abrir arquivos em modo binário.

Esta função oferece suporte para caminhos relativos aos descritores de diretório com o parâmetro dir_fd.

Levanta um evento de auditoria open com os argumentos path, mode, flags.

Alterado na versão 3.4: O novo descritor de arquivo agora é não-herdável.

Nota

Esta função é destinada a E/S de baixo nível. Para uso normal, use a função embutida open(), que retorna um objeto arquivo com os métodos read() e write() (e muitos mais). Para envolver um descritor de arquivo em um objeto arquivo, use fdopen().

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.5: Se a chamada de sistema é interrompida e o tratador de sinal não levanta uma exceção, a função agora tenta novamente a chamada de sistema em vez de levantar uma exceção InterruptedError (consulte PEP 475 [https://peps.python.org/pep-0475/] para entender a justificativa).

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

As seguintes constantes são opções para o parâmetro flags da função open(). Elas podem ser combinadas usando o operador bit a bit OU |. Algumas delas não estão disponíveis em todas as plataformas. Para obter descrições de sua disponibilidade e uso, consulte a página de manual open(2) [https://manpages.debian.org/open(2)] para Unix ou o MSDN [https://msdn.microsoft.com/en-us/library/z0kc8e3z.aspx] para Windows.

os.O_RDONLY

os.O_WRONLY

os.O_RDWR

os.O_APPEND

os.O_CREAT

os.O_EXCL

os.O_TRUNC

As constantes acima estão disponíveis no Unix e Windows.

os.O_DSYNC

os.O_RSYNC

os.O_SYNC

os.O_NDELAY

os.O_NONBLOCK

os.O_NOCTTY

os.O_CLOEXEC

As constantes acima estão disponíveis apenas no Unix.

Alterado na versão 3.3: Adicionada a constante O_CLOEXEC.

os.O_BINARY

os.O_NOINHERIT

os.O_SHORT_LIVED

os.O_TEMPORARY

os.O_RANDOM

os.O_SEQUENTIAL

os.O_TEXT

As constantes acima estão disponíveis apenas no Windows.

os.O_EVTONLY

os.O_FSYNC

os.O_SYMLINK

os.O_NOFOLLOW_ANY

As constantes acima estão disponíveis apenas no macOS.

Alterado na versão 3.10: Adicionadas as constantes O_EVTONLY, O_FSYNC, O_SYMLINK e O_NOFOLLOW_ANY.

os.O_ASYNC

os.O_DIRECT

os.O_DIRECTORY

os.O_NOFOLLOW

os.O_NOATIME

os.O_PATH

os.O_TMPFILE

os.O_SHLOCK

os.O_EXLOCK

As constantes acima são extensões e não estarão presentes, se não forem definidos pela biblioteca C.

Alterado na versão 3.4: Adicionada O_PATH em sistemas que oferecem suporte. Adicionada O_TMPFILE, somente disponível no kernel Linux 3.11 ou mais recente.

os.openpty()

Abre um novo par de pseudo-terminal. Retorna um par de descritores de arquivos (master, slave) para o pty e o tty, respectivamente. Os novos descritores de arquivos são não-herdáveis. Para uma abordagem (ligeiramente) mais portável, use o módulo pty.

Disponibilidade

Alterado na versão 3.4: Os novos descritores de arquivos agora são não-herdáveis.

os.pipe()

Cria um encadeamento (pipe). Retorna um par de descritores de arquivos (r, w) usáveis para leitura e escrita, respectivamente. O novo descritor de arquivo é não-herdável.

Disponibilidade

Alterado na versão 3.4: Os novos descritores de arquivos agora são não-herdáveis.

os.pipe2(flags, /)

Cria um encadeamento (pipe) com flags definidos atomicamente. flags podem ser construídos por aplicação de OU junto a um ou mais destes valores: O_NONBLOCK, O_CLOEXEC. Retorna um par de descritores de arquivos (r, w) utilizáveis para leitura e gravação, respectivamente.

Disponibilidade

Adicionado na versão 3.3.

os.posix_fallocate(fd, offset, len, /)

Garante que um espaço em disco suficiente seja alocado para o arquivo especificado por fd iniciando em offset e continuando por len bytes.

Disponibilidade

Adicionado na versão 3.3.

os.posix_fadvise(fd, offset, len, advice, /)

Anuncia a intenção de acessar dados em um padrão específico, permitindo assim que o kernel faça otimizações. O conteúdo em advice se aplica à região do arquivo especificado por fd, iniciando em offset e continuando por len bytes. advice é um entre POSIX_FADV_NORMAL, POSIX_FADV_SEQUENTIAL, POSIX_FADV_RANDOM, POSIX_FADV_NOREUSE, POSIX_FADV_WILLNEED ou POSIX_FADV_DONTNEED.

Disponibilidade

Adicionado na versão 3.3.

os.POSIX_FADV_NORMAL

os.POSIX_FADV_SEQUENTIAL

os.POSIX_FADV_RANDOM

os.POSIX_FADV_NOREUSE

os.POSIX_FADV_WILLNEED

os.POSIX_FADV_DONTNEED

Sinalizadores que podem ser usados em advice em posix_fadvise() que especificam o padrão de acesso que provavelmente será usado.

Disponibilidade

Adicionado na versão 3.3.

os.pread(fd, n, offset, /)

Lê no máximo n bytes do descritor de arquivo fd na posição offset, mantendo o deslocamento do arquivo inalterado.

Retorna uma bytestring contendo os bytes lidos. Se o final do arquivo referido por fd for atingido, um objeto de bytes vazio será retornado.

Disponibilidade

Adicionado na versão 3.3.

os.posix_openpt(oflag, /)

Abre e retorna um descritor de arquivo para um dispositivo pseudoterminal mestre.

Chama a função posix_openpt() da biblioteca padrão C. O argumento oflag é usado para definir sinalizadores de status de arquivo e modos de acesso a arquivos conforme especificado na página de manual da posix_openpt() do seu sistema.

O descritor de arquivo retornado é não herdável. Se o valor O_CLOEXEC estiver disponível no sistema, ele é adicionado a oflag.

Disponibilidade

Adicionado na versão 3.13.

os.preadv(fd, buffers, offset, flags=0, /)

Lê de um descritor de arquivo fd na posição de offset em buffers mutáveis de objetos byte ou similar, deixando o deslocamento do arquivo inalterado. Transfere os dados para cada buffer até ficar cheio e depois passa para o próximo buffer na sequência para armazenar o restante dos dados.

O argumento flags contém um OR bit a bit de zero ou mais dos seguintes sinalizadores:

RWF_HIPRI

RWF_NOWAIT

Retorna o número total de bytes realmente lidos, que pode ser menor que a capacidade total de todos os objetos.

O sistema operacional pode definir um limite (sysconf() valor 'SC_IOV_MAX') no número de buffers que podem ser usados.

Combina a funcionalidade de os.readv() e os.pread().

Disponibilidade

O uso de sinalizadores requer Linux >= 4.6.

Adicionado na versão 3.7.

os.RWF_NOWAIT

Não aguarda por dados que não estão disponíveis imediatamente. Se esse sinalizador for especificado, a chamada do sistema retorna instantaneamente se for necessário ler dados do armazenamento de backup ou aguardar uma trava.

Se alguns dados foram lidos com sucesso, ele retorna o número de bytes lidos. Se nenhum bytes foi lido, ele retornará -1 e definirá errno como errno.EAGAIN.

Disponibilidade

Adicionado na versão 3.7.

os.RWF_HIPRI

Alta prioridade de leitura/gravação. Permite sistemas de arquivos baseados em blocos para usar a consulta do dispositivo, que fornece latência inferior, mas pode usar recursos adicionais.

Atualmente, no Linux, esse recurso é usável apenas em um descritor de arquivo aberto usando o sinalizador O_DIRECT.

Disponibilidade

Adicionado na versão 3.7.

os.ptsname(fd, /)

Retorna o nome do dispositivo pseudoterminal secundário associado ao dispositivo pseudoterminal principal ao qual o descritor de arquivo fd se refere. O descritor de arquivo fd não é fechado em caso de falha.

Chama a função reentrante ptsname_r() da biblioteca padrão C se estiver disponível; caso contrário, a função ptsname() da biblioteca padrão C, que não é garantida como sendo segura para thread, é chamada.

Disponibilidade

Adicionado na versão 3.13.

os.pwrite(fd, str, offset, /)

Escreve a bytestring in str no descritor de arquivo fd na posição offset, mantendo o deslocamento do arquivo inalterado.

Retorna o número de bytes realmente escritos.

Disponibilidade

Adicionado na versão 3.3.

os.pwritev(fd, buffers, offset, flags=0, /)

Escreve o conteúdo de buffers no descritor de arquivo fd com um deslocamento offset, deixando o deslocamento do arquivo inalterado. buffers deve ser uma sequência de objetos byte ou similar. Os buffers são processados em ordem de vetor. Todo o conteúdo do primeiro buffer é gravado antes de prosseguir para o segundo, e assim por diante.

O argumento flags contém um OR bit a bit de zero ou mais dos seguintes sinalizadores:

RWF_DSYNC

RWF_SYNC

RWF_APPEND

Retorna o número total de bytes realmente escritos.

O sistema operacional pode definir um limite (sysconf() valor 'SC_IOV_MAX') no número de buffers que podem ser usados.

Combina a funcionalidade de os.writev() e os.pwrite().

Disponibilidade

O uso de sinalizadores requer Linux >= 4.6.

Adicionado na versão 3.7.

os.RWF_DSYNC

Fornece um equivalente para gravação do sinalizador O_DSYNC da função os.open(). Este efeito de sinalizador se aplica apenas ao intervalo de dados escrito pela chamada de sistema.

Disponibilidade

Adicionado na versão 3.7.

os.RWF_SYNC

Fornece um equivalente para gravação do sinalizador O_SYNC da função os.open(). Este efeito de sinalizador se aplica apenas ao intervalo de dados escrito pela chamada de sistema.

Disponibilidade

Adicionado na versão 3.7.

os.RWF_APPEND

Fornece um equivalente para gravação do sinalizador O_APPEND da função os.open(). Esse sinalizador é significante apenas para os.pwritev(), e seu efeito se aplica apenas ao intervalo de dados escrito pela chamada de sistema. O argumento offset não afeta a operação de escrita; o dado é sempre adicionado ao fim do arquivo. Contudo, se o argumento offset for -1, o offset do arquivo atual é atualizado.

Disponibilidade

Adicionado na versão 3.10.

os.read(fd, n, /)

Lê no máximo n bytes do descritor de arquivos fd.

Retorna uma bytestring contendo os bytes lidos. Se o final do arquivo referido por fd for atingido, um objeto de bytes vazio será retornado.

Nota

Esta função destina-se a E/S de baixo nível e deve ser aplicada a um descritor de arquivo retornado por os.open() ou pipe(). Para ler um “objeto arquivo” retornado pela função embutida open() ou por popen() ou fdopen(), ou sys.stdin, use seus métodos read() ou readline().

Alterado na versão 3.5: Se a chamada de sistema é interrompida e o tratador de sinal não levanta uma exceção, a função agora tenta novamente a chamada de sistema em vez de levantar uma exceção InterruptedError (consulte PEP 475 [https://peps.python.org/pep-0475/] para entender a justificativa).

os.sendfile(out_fd, in_fd, offset, count)

os.sendfile(out_fd, in_fd, offset, count, headers=(), trailers=(), flags=0)

Copia count bytes do descritor de arquivo in_fd para o descritor de arquivo out_fd começando em offset. Retorna o número de bytes enviados. Quando o EOF é alcançado, retorna 0.

A primeira notação da função está disponível por todas as plataformas que definem sendfile().

No Linux, se offset for fornecido como None, os bytes são lidos da posição atual de in_fd e a posição de in_fd é atualizada.

O segundo caso pode ser usado no macOS e FreeBSD onde headers e trailers são sequências arbitrárias de buffers que são escritos antes e depois dos dados de in_fd ser escrito. Retorna o mesmo que no primeiro caso.

No macOS e FreeBSD, um valor de 0 para count especifica enviar até o fim de in_fd ser alcançado.

Todas as plataformas tem suporte a soquetes como descritor de arquivo out_fd, e algumas plataformas permitem outros tipos (por exemplo, arquivo regular, encadeamento) também.

Aplicativos de plataforma cruzada não devem usar os argumentos headers, trailers e flags.

Disponibilidade

Nota

Para um invólucro de nível mais alto de sendfile(), consulte socket.socket.sendfile().

Adicionado na versão 3.3.

Alterado na versão 3.9: Os parâmetros out e in foram renomeados para out_fd e in_fd.

os.SF_NODISKIO

os.SF_MNOWAIT

os.SF_SYNC

Parâmetros para a função sendfile(), se a implementação tiver suporte a eles.

Disponibilidade

Adicionado na versão 3.3.

os.SF_NOCACHE

Parâmetro para a função sendfile(), se a implementação tiver suporte a isso. Os dados não serão armazenados em cache na memória virtual e serão liberados posteriormente.

Disponibilidade

Adicionado na versão 3.11.

os.set_blocking(fd, blocking, /)

Define o modo de bloqueio do descritor de arquivo especificado. Define o sinalizador O_NONBLOCK se blocking for False; do contrário, limpa o sinalizador.

Veja também get_blocking() e socket.socket.setblocking().

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

No Windows, esta função é limitada a encadeamentos.

Adicionado na versão 3.5.

Alterado na versão 3.12: Adicionado suporte a encadeamentos no Windows.

os.splice(src, dst, count, offset_src=None, offset_dst=None)

Transfere count bytes do descritor de arquivo src, começando do offset_src, para o descritor de arquivo dst, começando do offset_dst. Pelo menos um dos descritores de arquivo deve se referir a um encadeamento. Se offset_src é None, então src é lido a partir da posição atual; o mesmo para offset_dst. O deslocamento associado a um descritor de arquivo que se refere a um encadeamento deve ser None. Os arquivos apontados por src e dst devem residir no mesmo sistema de arquivos, de outra forma uma OSError é levantada com errno definido para errno.EXDEV.

Essa cópia é feita sem o custo adicional de transferência de dados do kernel para o espaço do usuário e, em seguida, volta para o kernel. Além disso, alguns sistemas de arquivos poderiam implementar otimizações extras. A cópia é feita como se ambos os arquivos estivessem abertos como binários.

Após a conclusão bem-sucedida, retorna o número de bytes unidos ao encadeamento ou a partir dele. Um valor de retorno de 0 significa o fim da entrada. Se src se refere a um encadeamento, isso significa que não havia dados para transferir, e não faria sentido bloquear porque não há escritores conectados ao fim da escrita do encadeamento.

Disponibilidade

Adicionado na versão 3.10.

os.SPLICE_F_MOVE

os.SPLICE_F_NONBLOCK

os.SPLICE_F_MORE

Adicionado na versão 3.10.

os.readv(fd, buffers, /)

Lê de um descritor de arquivo fd em um número de buffers objetos byte ou similar mutáveis. Transfere os dados para cada buffer até que esteja cheio e, a seguir, vai para o próximo buffer na sequência para armazenar o restante dos dados.

Retorna o número total de bytes realmente lidos, que pode ser menor que a capacidade total de todos os objetos.

O sistema operacional pode definir um limite (sysconf() valor 'SC_IOV_MAX') no número de buffers que podem ser usados.

Disponibilidade

Adicionado na versão 3.3.

os.tcgetpgrp(fd, /)

Retorna o grupo de processos associado ao terminal fornecido por fd (um descritor de arquivo aberto retornado por os.open()).

Disponibilidade

os.tcsetpgrp(fd, pg, /)

Define o grupo de processos associado ao terminal fornecido por fd (um descritor de arquivo aberto retornado por os.open()) para pg.

Disponibilidade

os.ttyname(fd, /)

Retorna uma string que especifica o dispositivo de terminal associado ao descritor de arquivo fd. Se fd não estiver associado a um dispositivo de terminal, uma exceção é levantada.

Disponibilidade

os.unlockpt(fd, /)

Destrava o dispositivo pseudoterminal secundário associado ao dispositivo pseudoterminal principal ao qual o descritor de arquivo fd se refere. O descritor de arquivo fd não é fechado em caso de falha.

Chama a função unlockpt() da biblioteca padrão C.

Disponibilidade

Adicionado na versão 3.13.

os.write(fd, str, /)

Escreve a string de bytes em str no descritor de arquivo fd.

Retorna o número de bytes realmente escritos.

Nota

Esta função destina-se a E/S de baixo nível e deve ser aplicada a um descritor de arquivo retornado por os.open() ou pipe(). Para escrever um “objeto arquivo” retornado pela função embutida open() ou por popen() ou fdopen(), ou sys.stdout ou sys.stderr, use seu método write().

Alterado na versão 3.5: Se a chamada de sistema é interrompida e o tratador de sinal não levanta uma exceção, a função agora tenta novamente a chamada de sistema em vez de levantar uma exceção InterruptedError (consulte PEP 475 [https://peps.python.org/pep-0475/] para entender a justificativa).

os.writev(fd, buffers, /)

Escreve o conteúdo de buffers no descritor de arquivo fd. buffers deve ser uma sequência de objetos byte ou similar. Os buffers são processados na ordem em que estão. Todo o conteúdo do primeiro buffer é gravado antes de prosseguir para o segundo, e assim por diante.

Retorna o número total de bytes realmente escritos.

O sistema operacional pode definir um limite (sysconf() valor 'SC_IOV_MAX') no número de buffers que podem ser usados.

Disponibilidade

Adicionado na versão 3.3.

Consultando o tamanho de um terminal

Adicionado na versão 3.3.

os.get_terminal_size(fd=STDOUT_FILENO, /)

Retorna o tamanho da janela do terminal como (columns, lines), tupla do tipo terminal_size.

O argumento opcional fd (padrão STDOUT_FILENO, ou saída padrão) especifica qual descritor de arquivo deve ser consultado.

Se o descritor de arquivo não estiver conectado a um terminal, uma exceção OSError é levantada.

shutil.get_terminal_size() é a função de alto nível que normalmente deve ser usada, os.get_terminal_size é a implementação de baixo nível.

Disponibilidade

class os.terminal_size

Uma subclasse de tupla, contendo (columns, lines) do tamanho da janela do terminal.

columns

Largura da janela do terminal em caracteres.

lines

Altura da janela do terminal em caracteres.

Herança de descritores de arquivos

Adicionado na versão 3.4.

Um descritor de arquivo tem um sinalizador “herdável” que indica se o descritor de arquivo pode ser herdado por processos filho. A partir do Python 3.4, os descritores de arquivo criados pelo Python não são herdáveis por padrão.

No UNIX, os descritores de arquivo não herdáveis são fechados em processos filho na execução de um novo programa, outros descritores de arquivo são herdados.

No Windows, identificadores não herdáveis e descritores de arquivo são fechados em processos filho, exceto para fluxos padrão (descritores de arquivo 0, 1 e 2: stdin, stdout e stderr), que são sempre herdados. Usando as funções spawn*, todos os identificadores herdáveis e todos os descritores de arquivo herdáveis são herdados. Usando o módulo subprocess, todos os descritores de arquivo, exceto fluxos padrão, são fechados, e os manipuladores herdáveis são herdados apenas se o parâmetro close_fds for False.

Nas plataformas WebAssembly, o descritor de arquivo não pode ser modificado.

os.get_inheritable(fd, /)

Obtém o sinalizador “herdável” do descritor de arquivo especificado (um booleano).

os.set_inheritable(fd, inheritable, /)

Define o sinalizador “herdável” do descritor de arquivo especificado.

os.get_handle_inheritable(handle, /)

Obtém o sinalizador “herdável” do manipulador especificado (um booleano).

Disponibilidade

os.set_handle_inheritable(handle, inheritable, /)

Define o sinalizador “herdável” do manipulador especificado.

Disponibilidade

Arquivos e diretórios

Em algumas plataformas Unix, muitas dessas funções oferecem suporte para um ou mais destes recursos:

especificar um descritor de arquivo: normalmente o argumento path fornecido para funções no módulo os deve ser uma string especificando um caminho de arquivo. No entanto, algumas funções agora aceitam alternativamente um descritor de arquivo aberto para seu argumento path. A função então operará no arquivo referido pelo descritor. (Para sistemas POSIX, Python irá chamar a variante da função prefixada com f (por exemplo, chamar fchdir em vez de chdir).)

Você pode verificar se path pode ser especificado ou não como um descritor de arquivo para uma função particular em sua plataforma usando os.supports_fd. Se esta funcionalidade não estiver disponível, usá-la levantará uma NotImplementedError.

Se a função também oferecer suporte para os argumentos dir_fd ou follow_symlinks, é um erro especificar um deles ao fornecer path como um descritor de arquivo.

caminhos relativos aos descritores de diretório: se dir_fd não for None, deve ser um descritor de arquivo referindo-se a um diretório, e o caminho para operar deve ser relativo; o caminho será relativo a esse diretório. Se o caminho for absoluto, dir_fd será ignorado. (Para sistemas POSIX, Python irá chamar a variante da função com um sufixo at e possivelmente prefixado com f (por exemplo, chamar faccessat ao invés de access).

Você pode verificar se há ou não suporte para dir_fd em uma função particular em sua plataforma usando os.supports_dir_fd. Se não estiver disponível, usá-lo levantará uma NotImplementedError.

não seguir links simbólicos: se follow_symlinks for False, e o último elemento do caminho para operar for um link simbólico, a função irá operar no próprio link simbólico ao invés do arquivo apontado pelo link. (Para sistemas POSIX, Python irá chamar a variante l... da função.)

Você pode verificar se há ou não suporte para follow_symlinks em uma função particular em sua plataforma usando os.supports_follow_symlinks. Se não estiver disponível, usá-lo levantará uma NotImplementedError.

os.access(path, mode, *, dir_fd=None, effective_ids=False, follow_symlinks=True)

Usa o uid/gid real para testar o acesso ao path. Observe que a maioria das operações usará o uid/gid efetivo, portanto, essa rotina pode ser usada em um ambiente suid/sgid para testar se o usuário da chamada tem o acesso especificado ao path. mode deve ser F_OK para testar a existência de path, ou pode ser o OU inclusivo de um ou mais dos R_OK, W_OK, e X_OK para testar as permissões. Retorna True se o acesso for permitido, False se não for. Veja a página man do Unix access(2) [https://manpages.debian.org/access(2)] para mais informações.

Esta função pode oferecer suporte a especificação de caminhos relativos aos descritores de diretório e não seguir os links simbólicos.

Se effective_ids for True, access() irá realizar suas verificações de acesso usando o uid/gid efetivo ao invés do uid/gid real. effective_ids pode não ser compatível com sua plataforma; você pode verificar se está ou não disponível usando os.supports_effective_ids. Se não estiver disponível, usá-lo levantará uma NotImplementedError.

Nota

Usar access() para verificar se um usuário está autorizado a, por exemplo, abrir um arquivo antes de realmente fazer isso usando open() cria uma brecha de segurança, porque o usuário pode explorar o curto intervalo de tempo entre a verificação e a abertura do arquivo para manipulá-lo. É preferível usar as técnicas EAFP. Por exemplo:

if os.access("meuarquivo", os.R_OK):
    with open("meuarquivo") as fp:
        return fp.read()
return "algum dado padrão"

é melhor escrito como:

try:
    fp = open("meuarquivo")
except PermissionError:
    return "algum dado padrão"
else:
    with fp:
        return fp.read()

Nota

As operações de E/S podem falhar mesmo quando access() indica que elas teriam sucesso, particularmente para operações em sistemas de arquivos de rede que podem ter semântica de permissões além do modelo de bits de permissão POSIX usual.

Alterado na versão 3.3: Adicionados os parâmetros dir_fd, effective_ids e follow_symlinks.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.F_OK

os.R_OK

os.W_OK

os.X_OK

Valores a serem passados como o parâmetro mode de access() para testar a existência, legibilidade, capacidade de escrita e executabilidade de path, respectivamente.

os.chdir(path)

Altera o diretório de trabalho atual para path.

Esta função pode oferecer suporte a especificar um descritor de arquivo. O descritor deve fazer referência a um diretório aberto, não a um arquivo aberto.

Esta função pode levantar OSError e subclasses como FileNotFoundError, PermissionError e NotADirectoryError.

Levanta um evento de auditoria os.chdir com o argumento path.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo em algumas plataformas.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.chflags(path, flags, *, follow_symlinks=True)

Define os sinalizadores de path para os flags numéricos. flags podem assumir uma combinação (OU bit a bit) dos seguintes valores (conforme definido no módulo stat):

stat.UF_NODUMP

stat.UF_IMMUTABLE

stat.UF_APPEND

stat.UF_OPAQUE

stat.UF_NOUNLINK

stat.UF_COMPRESSED

stat.UF_HIDDEN

stat.SF_ARCHIVED

stat.SF_IMMUTABLE

stat.SF_APPEND

stat.SF_NOUNLINK

stat.SF_SNAPSHOT

Esta função pode oferecer suporte a não seguir links simbólicos.

Levanta um evento de auditoria os.chflags com os argumentos path, flags.

Disponibilidade

Alterado na versão 3.3: Adicionado o parâmetro follow_symlinks.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.chmod(path, mode, *, dir_fd=None, follow_symlinks=True)

Altera o modo de path para o mode numérico. mode pode assumir um dos seguintes valores (conforme definido no módulo stat) ou combinações de OU bit a bit deles:

stat.S_ISUID

stat.S_ISGID

stat.S_ENFMT

stat.S_ISVTX

stat.S_IREAD

stat.S_IWRITE

stat.S_IEXEC

stat.S_IRWXU

stat.S_IRUSR

stat.S_IWUSR

stat.S_IXUSR

stat.S_IRWXG

stat.S_IRGRP

stat.S_IWGRP

stat.S_IXGRP

stat.S_IRWXO

stat.S_IROTH

stat.S_IWOTH

stat.S_IXOTH

Esta função pode oferecer suporte a especificar um descritor de arquivo, caminhos relativos aos descritores de diretório e não seguir os links simbólicos.

Nota

Embora o Windows ofereça suporte ao chmod(), você só pode definir o sinalizador de somente leitura do arquivo (através das constantes stat.S_IWRITE e stat.S_IREAD ou um valor inteiro correspondente). Todos os outros bits são ignorados. O valor padrão de follow_symlinks é False no Windows.

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

Levanta um evento de auditoria os.chmod com os argumentos path, mode, dir_fd.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto e os argumentos dir_fd e follow_symlinks.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.13: Adicionado suporte para um descritor de arquivo e o argumento follow_symlinks no Windows.

os.chown(path, uid, gid, *, dir_fd=None, follow_symlinks=True)

Altera o proprietário e o id de grupo de path para uid e gid numéricos. Para deixar um dos ids inalterado, defina-o como -1.

Esta função pode oferecer suporte a especificar um descritor de arquivo, caminhos relativos aos descritores de diretório e não seguir os links simbólicos.

Consulte shutil.chown() para uma função de alto nível que aceita nomes além de ids numéricos.

Levanta um evento de auditoria os.chown com os argumentos path, uid, gid, dir_fd.

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto e os argumentos dir_fd e follow_symlinks.

Alterado na versão 3.6: Oferece suporte para um objeto caminho ou similar.

os.chroot(path)

Altera o diretório raiz do processo atual para path

Disponibilidade

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.fchdir(fd)

Altera o diretório de trabalho atual para o diretório representado pelo descritor de arquivo fd. O descritor deve se referir a um diretório aberto, não a um arquivo aberto. No Python 3.3, isso é equivalente a os.chdir(fd).

Levanta um evento de auditoria os.chdir com o argumento path.

Disponibilidade

os.getcwd()

Retorna uma string representando o diretório de trabalho atual.

os.getcwdb()

Retorna uma bytestring representando o diretório de trabalho atual.

Alterado na versão 3.8: A função agora usa a codificação UTF-8 no Windows, em vez da página de código ANSI: consulte a PEP 529 [https://peps.python.org/pep-0529/] para a justificativa. A função não está mais descontinuada no Windows.

os.lchflags(path, flags)

Define os sinalizadores de path para os flags numéricos, como chflags(), mas não segue links simbólicos. No Python 3.3, isso é equivalente a os.chflags(path, flags, follow_symlinks=False).

Levanta um evento de auditoria os.chflags com os argumentos path, flags.

Disponibilidade

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.lchmod(path, mode)

Altera o modo de path para o mode numérico. Se o caminho for um link simbólico, isso afetará o link simbólico em vez do destino. Veja a documentação de chmod() para valores possíveis de mode. No Python 3.3, isso é equivalente a os.chmod(path, mode, follow_symlinks=False).

lchmod() não faz parte do POSIX, mas as implementações Unix podem tê-lo se houver suporte para alterar o modo de links simbólicos.

Levanta um evento de auditoria os.chmod com os argumentos path, mode, dir_fd.

Disponibilidade

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.13: Adicionado suporte no Windows.

os.lchown(path, uid, gid)

Altera o proprietário e o id de grupo de path para uid e gid numéricos. Esta função não seguirá links simbólicos. No Python 3.3, isso é equivalente a os.chown(path, uid, gid, follow_symlinks=False).

Levanta um evento de auditoria os.chown com os argumentos path, uid, gid, dir_fd.

Disponibilidade

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.link(src, dst, *, src_dir_fd=None, dst_dir_fd=None, follow_symlinks=True)

Cria um link físico apontando para src chamado dst.

Esta função pode permitir a especificação de src_dir_fd e/ou dst_dir_fd para fornecer caminhos relativos a descritores de diretório e não seguir links simbólicos.

Levanta um evento de auditoria os.link com os argumentos src, dst, src_dir_fd, dst_dir_fd.

Disponibilidade

Alterado na versão 3.2: Adicionado suporte ao Windows.

Alterado na versão 3.3: Adicionados os parâmetros src_dir_fd, dst_dir_fd e follow_symlinks.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para src e dst.

os.listdir(path='.')

Retorna uma lista contendo os nomes das entradas no diretório fornecido por path. A lista está em ordem arbitrária e não inclui as entradas especiais '.' e '..' mesmo se estiverem presentes no diretório. Se um arquivo for removido ou adicionado ao diretório durante a chamada desta função, não é especificado se um nome para esse arquivo deve ser incluído.

path pode ser um objeto caminho ou similar. Se path for do tipo bytes (direta ou indiretamente por meio da interface PathLike), os nomes de arquivo retornados também serão do tipo bytes; em todas as outras circunstâncias, eles serão do tipo str.

Esta função também pode ter suporte a especificar um descritor de arquivo; o descritor de arquivo deve fazer referência a um diretório.

Levanta um evento de auditoria os.listdir com o argumento path.

Nota

Para codificar nomes de arquivos str para bytes, use fsencode().

Ver também

A função scandir() retorna entradas de diretório junto com informações de atributo de arquivo, dando melhor desempenho para muitos casos de uso comuns.

Alterado na versão 3.2: O parâmetro path tornou-se opcional.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.listdrives()

Retorna uma lista contendo os nomes das unidades em um sistema Windows.

Um nome de unidade geralmente se parece com 'C:\\'. Nem todo nome de unidade estará associado a um volume e alguns podem estar inacessíveis por vários motivos, incluindo permissões, conectividade de rede ou mídia ausente. Esta função não testa o acesso.

Pode levantar OSError se ocorrer um erro ao coletar os nomes das unidades.

Levanta um evento de auditoria os.listdrives sem argumentos.

Disponibilidade

Adicionado na versão 3.12.

os.listmounts(volume)

Retorna uma lista contendo os pontos de montagem para um volume em um sistema Windows.

volume deve ser representado como um caminho GUID, como aqueles retornados por os.listvolumes(). Os volumes podem ser montados em vários locais ou não. No último caso, a lista estará vazia. Os pontos de montagem que não estão associados a um volume não serão retornados por esta função.

Os pontos de montagem retornados por esta função serão caminhos absolutos e podem ser mais longos que o nome da unidade.

Levanta OSError se o volume não for reconhecido ou se ocorrer um erro ao coletar os caminhos.

Levanta um evento de auditoria os.listmounts com o argumento volume.

Disponibilidade

Adicionado na versão 3.12.

os.listvolumes()

Retorna uma lista contendo os volumes no sistema.

Volumes são normalmente representados como um caminho GUID que se parece com \\?\Volume{xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx}\. Os arquivos geralmente podem ser acessados por meio de um caminho GUID, permitindo permissões. No entanto, os usuários geralmente não estão familiarizados com eles e, portanto, o uso recomendado desta função é recuperar pontos de montagem usando os.listmounts().

Pode levantar OSError se ocorrer um erro ao coletar os volumes.

Levanta um evento de auditoria os.listvolumes sem argumentos.

Disponibilidade

Adicionado na versão 3.12.

os.lstat(path, *, dir_fd=None)

Executa o equivalente a uma chamada de sistema lstat() no caminho fornecido. Semelhante a stat(), mas não segue links simbólicos. Retorna um objeto stat_result.

Em plataformas que não têm suporte a links simbólicos, este é um apelido para stat().

No Python 3.3, isso é equivalente a os.stat(path, dir_fd=dir_fd, follow_symlinks=False).

Esta função também pode ter suporte a caminhos relativos a descritores de diretório.

Ver também

A função stat().

Alterado na versão 3.2: Adicionado suporte para links simbólicos do Windows 6.0 (Vista).

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.8: No Windows, agora abre pontos de nova análise que representam outro caminho (substitutos de nome), incluindo links simbólicos e junções de diretório. Outros tipos de pontos de nova análise são resolvidos pelo sistema operacional como para stat().

os.mkdir(path, mode=0o777, *, dir_fd=None)

Cria um diretório chamado path com o modo numérico mode.

Se o diretório já existe, uma exceção FileExistsError é levantada. Se um diretório pai no caminho não existir, uma exceção FileNotFoundError será levantada.

Em alguns sistemas, mode é ignorado. Onde ele é usado, o valor atual do umask é primeiro mascarado. Se bits diferentes dos últimos 9 (ou seja, os últimos 3 dígitos da representação octal do mode) são definidos, seu significado depende da plataforma. Em algumas plataformas, eles são ignorados e você deve chamar chmod() explicitamente para defini-los.

No Windows, um modo mode de 0o700 é tratado especificamente para aplicar controle de acesso ao novo diretório de forma que apenas o usuário atual e os administradores tenham acesso. Outros valores de mode são ignorados.

Esta função também pode ter suporte a caminhos relativos a descritores de diretório.

Também é possível criar diretórios temporários; veja a função tempfile.mkdtemp() do módulo tempfile.

Levanta um evento de auditoria os.mkdir com os argumentos path, mode, dir_fd.

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.13: O Windows agora lida com um mode de 0o700.

os.makedirs(name, mode=0o777, exist_ok=False)

Função de criação recursiva de diretório. Como mkdir(), mas cria todos os diretórios de nível intermediário necessários para conter o diretório folha.

O parâmetro mode é passado para mkdir() para criar o diretório folha; veja a descrição do mkdir() para como é interpretado. Para definir os bits de permissão de arquivo de qualquer diretório pai recém-criado, você pode definir o umask antes de invocar makedirs(). Os bits de permissão de arquivo dos diretórios pais existentes não são alterados.

Se exist_ok for False (o padrão), uma FileExistsError é levantada se o diretório alvo já existir.

Nota

makedirs() ficará confuso se os elementos do caminho a serem criados incluírem pardir (por exemplo, “..” em sistemas UNIX).

Esta função trata os caminhos UNC corretamente.

Levanta um evento de auditoria os.mkdir com os argumentos path, mode, dir_fd.

Alterado na versão 3.2: Adicionado o parâmetro exist_ok.

Alterado na versão 3.4.1: Antes do Python 3.4.1, se exist_ok fosse True e o diretório existisse, makedirs() ainda levantaria um erro se mode não correspondesse ao modo do diretório existente. Como esse comportamento era impossível de implementar com segurança, ele foi removido no Python 3.4.1. Consulte bpo-21082 [https://bugs.python.org/issue?@action=redirect&bpo=21082].

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.7: O argumento mode não afeta mais os bits de permissão de arquivo de diretórios de nível intermediário recém-criados.

os.mkfifo(path, mode=0o666, *, dir_fd=None)

Cria um FIFO (um encadeamento nomeado) chamado path com o modo numérico mode. O valor atual de umask é primeiro mascarado do modo.

Esta função também pode ter suporte a caminhos relativos a descritores de diretório.

FIFOs são canais que podem ser acessados como arquivos regulares. FIFOs existem até que sejam excluídos (por exemplo, com os.unlink()). Geralmente, os FIFOs são usados como ponto de encontro entre os processos do tipo “cliente” e “servidor”: o servidor abre o FIFO para leitura e o cliente para escrita. Observe que mkfifo() não abre o FIFO – apenas cria o ponto de encontro.

Disponibilidade

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.mknod(path, mode=0o600, device=0, *, dir_fd=None)

Cria um nó de sistema de arquivos (arquivo, arquivo especial de dispositivo ou canal nomeado) chamado path. mode especifica as permissões de uso e o tipo de nó a ser criado, sendo combinado (OU bit a bit) com um de stat.S_IFREG, stat.S_IFCHR, stat.S_IFBLK , e stat.S_IFIFO (essas constantes estão disponíveis em stat). Para stat.S_IFCHR e stat.S_IFBLK, device define o arquivo especial do dispositivo recém-criado (provavelmente usando os.makedev()), caso contrário, ele será ignorado.

Esta função também pode ter suporte a caminhos relativos a descritores de diretório.

Disponibilidade

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.major(device, /)

Extrai o número principal de dispositivo de um número bruto de dispositivo (normalmente o campo st_dev ou st_rdev de stat).

os.minor(device, /)

Extrai o número menor de dispositivo de um número bruto de dispositivo (normalmente o campo st_dev ou st_rdev de stat).

os.makedev(major, minor, /)

Compõe um número de dispositivo bruto a partir dos números de dispositivo principais e secundários.

os.pathconf(path, name)

Retorna informações de configuração do sistema relevantes para um arquivo nomeado. name especifica o valor de configuração a ser recuperado; pode ser uma string que é o nome de um valor de sistema definido; esses nomes são especificados em vários padrões (POSIX.1, Unix 95, Unix 98 e outros). Algumas plataformas também definem nomes adicionais. Os nomes conhecidos do sistema operacional do host são fornecidos no dicionário pathconf_names. Para variáveis de configuração não incluídas nesse mapeamento, passar um número inteiro para name também é aceito.

Se name for uma string e não for conhecida, uma exceção ValueError é levantada. Se um valor específico para name não for compatível com o sistema hospedeiro, mesmo que seja incluído no pathconf_names, uma exceção OSError é levantada com errno.EINVAL como número do erro.

Esta função tem suporte a especificar um descritor de arquivo.

Disponibilidade

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.pathconf_names

Nomes de mapeamento de dicionário aceitos por pathconf() e fpathconf() para os valores inteiros definidos para esses nomes pelo sistema operacional do host. Isso pode ser usado para determinar o conjunto de nomes conhecidos pelo sistema.

Disponibilidade

os.readlink(path, *, dir_fd=None)

Retorna uma string representando o caminho para o qual o link simbólico aponta. O resultado pode ser um nome de caminho absoluto ou relativo; se for relativo, pode ser convertido para um caminho absoluto usando os.path.join(os.path.dirname(path), result).

Se o path for um objeto string (direta ou indiretamente por meio de uma interface PathLike), o resultado também será um objeto string e a chamada pode levantar um UnicodeDecodeError. Se o path for um objeto de bytes (direto ou indireto), o resultado será um objeto de bytes.

Esta função também pode ter suporte a caminhos relativos a descritores de diretório.

Ao tentar resolver um caminho que pode conter links, use realpath() para lidar corretamente com a recursão e as diferenças de plataforma.

Disponibilidade

Alterado na versão 3.2: Adicionado suporte para links simbólicos do Windows 6.0 (Vista).

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar no Unix.

Alterado na versão 3.8: Aceita um objeto caminho ou similar e um objeto bytes no Windows.

Adicionado suporte para junções de diretório e alterado para retornar o caminho de substituição (que normalmente inclui o prefixo \\?\) ao invés do campo opcional “print name” que era retornado anteriormente.

os.remove(path, *, dir_fd=None)

Remove (exclui) o arquivo path. Se path for um diretório, uma OSError é levantada. Use rmdir() para remover diretórios. Se o arquivo não existir, uma FileNotFoundError é levantada.

Esta função tem suporte a caminhos relativos para descritores de diretório.

No Windows, a tentativa de remover um arquivo que está em uso causa o surgimento de uma exceção; no Unix, a entrada do diretório é removida, mas o armazenamento alocado para o arquivo não é disponibilizado até que o arquivo original não esteja mais em uso.

Esta função é semanticamente idêntica a unlink().

Levanta um evento de auditoria os.remove com os argumentos path, dir_fd.

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.removedirs(name)

Remove os diretórios recursivamente. Funciona como rmdir(), exceto que, se o diretório folha for removido com sucesso, removedirs() tenta remover sucessivamente todos os diretórios pai mencionados em path até que um erro seja levantado (que é ignorado, porque geralmente significa que um diretório pai não está vazio). Por exemplo, os.removedirs('foo/bar/baz') primeiro removerá o diretório 'foo/bar/baz', e então removerá 'foo/bar' e 'foo' se estiverem vazios. Levanta OSError se o diretório folha não pôde ser removido com sucesso.

Levanta um evento de auditoria os.remove com os argumentos path, dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.rename(src, dst, *, src_dir_fd=None, dst_dir_fd=None)

Renomeia o arquivo ou diretório src para dst. Se dst existir, a operação falhará com uma subclasse de OSError em vários casos:

No Windows, se dst existe então uma exceção FileExistsError será levantada. A operação pode falar se src e dst são de sistemas de arquivos diferentes. Use shutil.move() para mover arquivos entre sistemas de arquivos diferentes.

No Unix, se src é um arquivo e dst é um diretório ou vice-versa, uma IsADirectoryError ou uma NotADirectoryError será levantada respectivamente. Se ambos forem diretórios e dst estiver vazio, dst será substituído silenciosamente. Se dst for um diretório não vazio, uma OSError é levantada. Se ambos forem arquivos, dst será substituído silenciosamente se o usuário tiver permissão. A operação pode falhar em alguns tipos de Unix se src e dst estiverem em sistemas de arquivos diferentes. Se for bem-sucedido, a renomeação será uma operação atômica (este é um requisito POSIX).

Esta função permite especificar src_dir_fd e/ou dst_dir_fd para fornecer caminhos relativos a descritores de diretório.

Se você quiser sobrescrita multiplataforma do destino, use replace().

Levanta um evento de auditoria os.rename com os argumentos src, dst, src_dir_fd, dst_dir_fd.

Alterado na versão 3.3: Adicionados os parâmetros src_dir_fd e dst_dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para src e dst.

os.renames(old, new)

Função de renomeação de arquivo ou diretório recursiva. Funciona como rename(), exceto que a criação de qualquer diretório intermediário necessário para tornar o novo nome de caminho possível é tentada primeiro. Após a renomeação, os diretórios correspondentes aos segmentos de caminho mais à direita do nome antigo serão removidos usando removedirs().

Nota

Esta função pode falhar com a nova estrutura de diretório criada se você não tiver as permissões necessárias para remover o arquivo ou diretório folha.

Levanta um evento de auditoria os.rename com os argumentos src, dst, src_dir_fd, dst_dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para old e new.

os.replace(src, dst, *, src_dir_fd=None, dst_dir_fd=None)

Renomeia o arquivo ou diretório src para dst. Se dst for um diretório não vazio, OSError será levantada. Se dst existir e for um arquivo, ele será substituído silenciosamente se o usuário tiver permissão. A operação pode falhar se src e dst estiverem em sistemas de arquivos diferentes. Se for bem-sucedido, a renomeação será uma operação atômica (este é um requisito POSIX).

Esta função permite especificar src_dir_fd e/ou dst_dir_fd para fornecer caminhos relativos a descritores de diretório.

Levanta um evento de auditoria os.rename com os argumentos src, dst, src_dir_fd, dst_dir_fd.

Adicionado na versão 3.3.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para src e dst.

os.rmdir(path, *, dir_fd=None)

Remove (exclui) o diretório path. Se o diretório não existe ou não está vazio, uma FileNotFoundError ou uma OSError é levantada respectivamente. Para remover árvores de diretório inteiras, pode ser usada shutil.rmtree().

Esta função tem suporte a caminhos relativos para descritores de diretório.

Levanta um evento de auditoria os.rmdir com os argumentos path, dir_fd.

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.scandir(path='.')

Retorna um iterador de objetos os.DirEntry correspondentes às entradas no diretório fornecido por path. As entradas são produzidas em ordem arbitrária, e as entradas especiais '.' e '..' não são incluídas. Se um arquivo for removido ou adicionado ao diretório após a criação do iterador, não é especificado se uma entrada para esse arquivo deve ser incluída.

Usar scandir() em vez de listdir() pode aumentar significativamente o desempenho do código que também precisa de tipo de arquivo ou informações de atributo de arquivo, porque os objetos os.DirEntry expõem essas informações se o sistema operacional fornecer ao percorrer um diretório. Todos os métodos de os.DirEntry podem realizar uma chamada de sistema, mas is_dir() e is_file() normalmente requerem apenas uma chamada de sistema para links simbólicos; os.DirEntry.stat() sempre requer uma chamada de sistema no Unix, mas requer uma apenas para links simbólicos no Windows.

path pode ser um objeto caminho ou similar. Se path for do tipo bytes (direta ou indiretamente por meio da interface PathLike), o tipo do atributo name e path de cada os.DirEntry serão bytes; em todas as outras circunstâncias, eles serão do tipo str.

Esta função também pode ter suporte a especificar um descritor de arquivo; o descritor de arquivo deve fazer referência a um diretório.

Levanta um evento de auditoria os.scandir com o argumento path.

O iterador scandir() implementa o protocolo gerenciador de contexto e tem o seguinte método:

scandir.close()

Fecha o iterador e libera os recursos alocados.

Isso é chamado automaticamente quando o iterador se esgota ou é coletado como lixo, ou quando ocorre um erro durante a iteração. No entanto, é aconselhável chamá-lo explicitamente ou usar a instrução with.

Adicionado na versão 3.6.

O exemplo a seguir mostra um uso simples de scandir() para exibir todos os arquivos (excluindo diretórios) no path fornecido que não começa com '.'. A chamada entrada.is_file() geralmente não fará uma chamada de sistema adicional:

with os.scandir(caminho) as coisa:
    for entrada in coisa:
        if not entrada.name.startswith('.') and entrada.is_file():
            print(entrada.name)

Nota

Em sistemas baseados no Unix, scandir() usa o sistema opendir() [https://pubs.opengroup.org/onlinepubs/009695399/functions/opendir.html] e as funções readdir() [https://pubs.opengroup.org/onlinepubs/009695399/functions/readdir_r.html]. No Windows, ela usa os funções FindFirstFileW [https://msdn.microsoft.com/en-us/library/windows/desktop/aa364418(v=vs.85).aspx] e FindNextFileW [https://msdn.microsoft.com/en-us/library/windows/desktop/aa364428(v=vs.85).aspx] do Win32.

Adicionado na versão 3.5.

Alterado na versão 3.6: Adicionado suporte para o protocolo de gerenciador de contexto e o método close(). Se um iterador scandir() não estiver esgotado nem explicitamente fechado, uma ResourceWarning será emitida em seu destrutor.

A função aceita um objeto caminho ou similar.

Alterado na versão 3.7: Adicionado suporte para descritores de arquivo no Unix.

class os.DirEntry

Objeto produzido por scandir() para expor o caminho do arquivo e outros atributos de arquivo de uma entrada de diretório.

scandir() fornecerá o máximo possível dessas informações sem fazer chamadas de sistema adicionais. Quando uma chamada de sistema stat() ou lstat() é feita, o objeto os.DirEntry irá armazenar o resultado em cache.

As instâncias de os.DirEntry não devem ser armazenadas em estruturas de dados de longa duração; se você sabe que os metadados do arquivo foram alterados ou se passou muito tempo desde a chamada de scandir(), chame os.stat(entry.path) para obter informações atualizadas.

Como os métodos os.DirEntry podem fazer chamadas ao sistema operacional, eles também podem levantar OSError. Se você precisa de um controle muito refinado sobre os erros, você pode pegar OSError ao chamar um dos métodos os.DirEntry e manipular conforme apropriado.

Para ser diretamente utilizável como um objeto caminho ou similar, os.DirEntry implementa a interface PathLike.

Atributos e métodos em uma instância de os.DirEntry são os seguintes:

name

O nome do arquivo base da entrada, relativo ao argumento path de scandir().

O atributo name será bytes se o argumento path de scandir() for do tipo bytes e, caso contrário, str. Usa fsdecode() para decodificar nomes de arquivos de bytes.

path

O nome do caminho completo da entrada: equivalente a os.path.join(scandir_path, entry.name) onde scandir_path é o argumento path de scandir(). O caminho só é absoluto se o argumento path de scandir() for absoluto. Se o argumento path de scandir() era um descritor de arquivo, o atributo path é o mesmo que o atributo name.

O atributo path será bytes se o argumento path de scandir() for do tipo bytes e, caso contrário, str. Usa fsdecode() para decodificar nomes de arquivos de bytes.

inode()

Retorna o número de nó-i da entrada.

O resultado é armazenado em cache no objeto os.DirEntry. Use os.stat(entry.path, follow_symlinks=False).st_ino para obter informações atualizadas.

Na primeira chamada sem cache, uma chamada de sistema é necessária no Windows, mas não no Unix.

is_dir(*, follow_symlinks=True)

Retorna True se esta entrada for um diretório ou um link simbólico apontando para um diretório; retorna False se a entrada é ou aponta para qualquer outro tipo de arquivo, ou se ele não existe mais.

Se follow_symlinks for False, retorna True apenas se esta entrada for um diretório (sem seguir os links simbólicos); retorna False se a entrada for qualquer outro tipo de arquivo ou se ele não existe mais.

O resultado é armazenado em cache no objeto os.DirEntry, com um cache separado para follow_symlinks True e False. Chama os.stat() junto com stat.S_ISDIR() para buscar informações atualizadas.

Na primeira chamada sem cache, nenhuma chamada do sistema é necessária na maioria dos casos. Especificamente, para links não simbólicos, nem o Windows nem o Unix requerem uma chamada de sistema, exceto em certos sistemas de arquivos Unix, como sistemas de arquivos de rede, que retornam dirent.d_type == DT_UNKNOWN. Se a entrada for um link simbólico, uma chamada de sistema será necessária para seguir o link simbólico, a menos que follow_symlinks seja False.

Este método pode levantar OSError, tal como PermissionError, mas FileNotFoundError é capturada e não levantada.

is_file(*, follow_symlinks=True)

Retorna True se esta entrada for um arquivo ou um link simbólico apontando para um arquivo; retorna False se a entrada é ou aponta para um diretório ou outra entrada que não seja de arquivo, ou se ela não existe mais.

Se follow_symlinks for False, retorna True apenas se esta entrada for um arquivo (sem seguir os links simbólicos); retorna False se a entrada for um diretório ou outra entrada que não seja um arquivo, ou se ela não existir mais.

O resultado é armazenado em cache no objeto os.DirEntry. Chamadas de sistema em cache feitas e exceções levantadas são conforme is_dir().

is_symlink()

Retorna True se esta entrada for um link simbólico (mesmo se quebrado); retorna False se a entrada apontar para um diretório ou qualquer tipo de arquivo, ou se ele não existir mais.

O resultado é armazenado em cache no objeto os.DirEntry. Chama os.path.islink() para buscar informações atualizadas.

Na primeira chamada sem cache, nenhuma chamada do sistema é necessária na maioria dos casos. Especificamente, nem o Windows nem o Unix exigem uma chamada de sistema, exceto em certos sistemas de arquivos Unix, como sistemas de arquivos de rede, que retornam dirent.d_type == DT_UNKNOWN.

Este método pode levantar OSError, tal como PermissionError, mas FileNotFoundError é capturada e não levantada.

is_junction()

Retorna True se esta entrada for uma junção (mesmo se quebrado); retorna False se a entrada apontar para um diretório regular, ou qualquer tipo de arquivo, um link simbólico ou se ele não existir mais.

O resultado é armazenado em cache no objeto os.DirEntry. Chama os.path.isjunction() para buscar informações atualizadas.

Adicionado na versão 3.12.

stat(*, follow_symlinks=True)

Retorna um objeto stat_result para esta entrada. Este método segue links simbólicos por padrão; para estabelecer um link simbólico, adicione o argumento follow_symlinks=False.

No Unix, esse método sempre requer uma chamada de sistema. No Windows, ele só requer uma chamada de sistema se follow_symlinks for True e a entrada for um ponto de nova análise (por exemplo, um link simbólico ou junção de diretório).

No Windows, os atributos st_ino, st_dev e st_nlink da stat_result são sempre definidos como zero. Chame os.stat() para obter esses atributos.

O resultado é armazenado em cache no objeto os.DirEntry, com um cache separado para follow_symlinks True e False. Chame os.stat() para buscar informações atualizadas.

Note que há uma boa correspondência entre vários atributos e métodos de os.DirEntry e de pathlib.Path. Em particular, o atributo name tem o mesmo significado, assim como os métodos is_dir(), is_file(), is_symlink(), is_junction() e stat().

Adicionado na versão 3.5.

Alterado na versão 3.6: Adicionado suporte para a interface PathLike. Adicionado suporte para caminhos bytes no Windows.

Alterado na versão 3.12: O atributo st_ctime do resultado de stat foi descontinuado no Windows. A hora de criação do arquivo está devidamente disponível como st_birthtime, e no futuro st_ctime pode ser alterada para retornar zero ou a hora de alteração dos metadados, se disponível.

os.stat(path, *, dir_fd=None, follow_symlinks=True)

Obtém o status de um arquivo ou um descritor de arquivo. Executa o equivalente a uma chamada de sistema stat() no caminho fornecido. path pode ser especificado como uma string ou bytes – direta ou indiretamente através da interface PathLike – ou como um descritor de arquivo aberto. Retorna um objeto stat_result.

Esta função normalmente segue links simbólicos; para obter o status do link simbólico, adicione o argumento follow_symlinks=False, ou use lstat().

Esta função tem suporte a especificar um descritor de arquivo e não seguir links simbólicos.

No Windows, ao definir follow_symlinks=False é desativado o recurso de seguir todos os pontos de nova análise, que incluem links simbólicos e junções de diretório. Outros tipos de pontos de nova análise que não se parecem com links ou que o sistema operacional não pode seguir serão abertos diretamente. Ao seguir uma cadeia de vários links, isso pode resultar no retorno do link original em vez do não-link que impediu o percurso completo. Para obter resultados de stat para o caminho final neste caso, use a função os.path.realpath() para resolver o nome do caminho tanto quanto possível e chame lstat() no resultado. Isso não se aplica a links simbólicos pendentes ou pontos de junção, que levantam as exceções usuais.

Exemplo:

>>> import os
>>> statinfo = os.stat('algumarquivo.txt')
>>> statinfo
os.stat_result(st_mode=33188, st_ino=7876932, st_dev=234881026,
st_nlink=1, st_uid=501, st_gid=501, st_size=264, st_atime=1297230295,
st_mtime=1297230027, st_ctime=1297230027)
>>> statinfo.st_size
264

Ver também

As funções fstat() e lstat().

Alterado na versão 3.3: Adicionados os parâmetros dir_fd e follow_symlinks, especificando um descritor de arquivo em vez de um caminho.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.8: No Windows, todos os pontos de nova análise que podem ser resolvidos pelo sistema operacional agora são seguidos, e passar follow_symlinks=False desativa seguir todos os pontos de nova análise substitutos de nome. Se o sistema operacional atingir um ponto de nova análise que não é capaz de seguir, stat agora retorna as informações do caminho original como se follow_symlinks=False tivesse sido especificado em vez de levantar um erro.

class os.stat_result

Objeto cujos atributos correspondem aproximadamente aos membros da estrutura stat. É usado para o resultado de os.stat(), os.fstat() e os.lstat().

Atributos:

st_mode

Modo de arquivo: tipo de arquivo e bits de modo de arquivo (permissões).

st_ino

Dependente da plataforma, mas se diferente de zero, identifica exclusivamente o arquivo para um determinado valor de st_dev. Tipicamente:

o número do nó-i no Unix,

o índice de arquivo [https://msdn.microsoft.com/en-us/library/aa363788] no Windows

st_dev

Identificador do dispositivo no qual este arquivo reside.

st_nlink

Número de links físicos.

st_uid

Identificador de usuário do proprietário do arquivo.

st_gid

Identificador de grupo do proprietário do arquivo.

st_size

Tamanho do arquivo em bytes, se for um arquivo normal ou um link simbólico. O tamanho de um link simbólico é o comprimento do nome do caminho que ele contém, sem um byte nulo final.

Registros de data e hora:

st_atime

Hora do acesso mais recente expressa em segundos.

st_mtime

Hora da modificação de conteúdo mais recente expressa em segundos.

st_ctime

Hora da alteração de metadados mais recente expressa em segundos.

Alterado na versão 3.12: st_ctime foi descontinuado no Windows. Use st_birthtime para o tempo de criação do arquivo. No futuro, st_ctime conterá a hora da alteração de metadados mais recente, como em outras plataformas.

st_atime_ns

Hora do acesso mais recente expresso em nanossegundos como um número inteiro.

Adicionado na versão 3.3.

st_mtime_ns

Hora da modificação de conteúdo mais recente expressa em nanossegundos como um número inteiro.

Adicionado na versão 3.3.

st_ctime_ns

Hora do alteração de metadados mais recente expresso em nanossegundos como um número inteiro.

Adicionado na versão 3.3.

Alterado na versão 3.12: st_ctime_ns foi descontinuado no Windows. Use st_birthtime_ns para o tempo de criação do arquivo. No futuro, st_ctime conterá a hora da alteração de metadados mais recente, como em outras plataformas.

st_birthtime

Hora de criação do arquivo expressa em segundos. Este atributo nem sempre está disponível e pode levantar AttributeError.

Alterado na versão 3.12: st_birthtime está agora disponível no Windows.

st_birthtime_ns

Hora de criação do arquivo expressa em nanossegundos em um inteiro. Este atributo nem sempre está disponível e pode levantar AttributeError.

Adicionado na versão 3.12.

Nota

O significado e resolução exatos dos atributos st_atime, st_mtime, st_ctime e st_birthtime dependem do sistema operacional e do sistema de arquivos. Por exemplo, em sistemas Windows que usam os sistemas de arquivos FAT32, st_mtime tem resolução de 2 segundos, e st_atime tem resolução de apenas 1 dia. Consulte a documentação do sistema operacional para obter detalhes.

Da mesma forma, embora st_atime_ns, st_mtime_ns, st_ctime_ns e st_birthtime_ns sejam sempre expressos em nanossegundos, muitos sistemas não fornecem precisão de nanossegundos. Em sistemas que fornecem precisão de nanossegundos, o objeto de ponto flutuante usado para armazenar st_atime, st_mtime, st_ctime e st_birthtime não pode preservar tudo, e como tal será ligeiramente inexato. Se você precisa dos carimbos de data/hora exatos, sempre deve usar st_atime_ns, st_mtime_ns, st_ctime_ns e st_birthtime_ns.

Em alguns sistemas Unix (como Linux), os seguintes atributos também podem estar disponíveis:

st_blocks

Número de blocos de 512 bytes alocados para o arquivo. Isso pode ser menor que st_size/512 quando o arquivo possuir lacunas.

st_blksize

Tamanho de bloco “preferido” para E/S eficiente do sistema de arquivos. Gravar em um arquivo em partes menores pode causar uma leitura-modificação-reescrita ineficiente.

st_rdev

Tipo de dispositivo, se for um dispositivo nó-i.

st_flags

Sinalizadores definidos pelo usuário para o arquivo.

Em outros sistemas Unix (como o FreeBSD), os seguintes atributos podem estar disponíveis (mas só podem ser preenchidos se o root tentar usá-los):

st_gen

Número de geração do arquivo.

No Solaris e derivados, os seguintes atributos também podem estar disponíveis:

st_fstype

String que identifica exclusivamente o tipo de sistema de arquivos que contém o arquivo.

Em sistemas macOS, os seguintes atributos também podem estar disponíveis:

st_rsize

Tamanho real do arquivo.

st_creator

Criador do arquivo.

st_type

Tipo de arquivo.

Em sistemas Windows, os seguintes atributos também estão disponíveis:

st_file_attributes

Atributos de arquivos no Windows: membro dwFileAttributes da estrutura BY_HANDLE_FILE_INFORMATION retornada por GetFileInformationByHandle(). Veja as constantes FILE_ATTRIBUTE_* <stat.FILE_ATTRIBUTE_ARCHIVE> no módulo stat.

Adicionado na versão 3.5.

st_reparse_tag

Quando st_file_attributes tem FILE_ATTRIBUTE_REPARSE_POINT definido, este campo contém uma tag identificando o tipo do ponto de nova análise. Veja as constantes IO_REPARSE_TAG_* no módulo stat.

O módulo padrão stat define funções e constantes que são úteis para extrair informações de uma estrutura stat. (No Windows, alguns itens são preenchidos com valores fictícios.)

Para compatibilidade com versões anteriores, uma instância de stat_result também é acessível como uma tupla de pelo menos 10 inteiros, fornecendo os membros mais importantes (e portáveis) da estrutura stat, na ordem st_mode, st_ino, st_dev, st_nlink, st_uid, st_gid, st_size, st_atime, st_mtime, st_ctime. Mais itens podem ser adicionados no final por algumas implementações. Para compatibilidade com versões mais antigas do Python, acessar stat_result como uma tupla sempre retorna inteiros.

Alterado na versão 3.5: Windows agora retorna o arquivo de índice como st_ino quando disponível.

Alterado na versão 3.7: Adicionado o membro st_fstype ao Solaris/derivados.

Alterado na versão 3.8: Adicionado o membro st_reparse_tag no Windows.

Alterado na versão 3.8: No Windows, o membro st_mode agora identifica arquivos especiais como S_IFCHR, S_IFIFO ou S_IFBLK conforme apropriado.

Alterado na versão 3.12: No Windows, st_ctime foi descontinuado. Eventualmente, ele conterá a hora da última alteração de metadados, para fins de consistência com outras plataformas, mas por enquanto ainda contém a hora de criação. Use st_birthtime para a hora de criação.

No Windows, o st_ino agora pode ter até 128 bits, dependendo do sistema de arquivos. Anteriormente, não era possível ter mais de 64 bits, e identificadores de arquivo maiores seriam compactados arbitrariamente.

No Windows, st_rdev não retorna mais um valor. Anteriormente, ele continha o mesmo que st_dev, o que era incorreto.

Adicionado o membro st_birthtime no Windows.

os.statvfs(path)

Executa uma chamada de sistema statvfs() no caminho fornecido. O valor de retorno é um objeto cujos atributos descrevem o sistema de arquivos no caminho fornecido e correspondem aos membros da estrutura statvfs, a saber: f_bsize, f_frsize, f_blocks, f_bfree, f_bavail, f_files, f_ffree, f_favail, f_flag, f_namemax, f_fsid.

Duas constantes em nível de módulo são definidas para os sinalizadores de bit do atributo f_flag: se ST_RDONLY estiver definido, o sistema de arquivos é montado somente leitura, e se ST_NOSUID estiver definido, a semântica dos bits setuid/setgid é desabilitada ou não é implementada.

Constantes de nível de módulo adicionais são definidas para sistemas baseados em GNU/glibc. São elas ST_NODEV (impede o acesso aos arquivos especiais do dispositivo), ST_NOEXEC (não permite a execução do programa), ST_SYNCHRONOUS (as escritas são sincronizadas de uma vez), ST_MANDLOCK (permitir travas obrigatórias em um sistema de arquivos), ST_WRITE (escrever no arquivo/diretório/link simbólico), ST_APPEND (arquivo somente anexado), ST_IMMUTABLE (arquivo imutável), ST_NOATIME (não atualiza os tempos de acesso), ST_NODIRATIME (não atualiza os tempos de acesso ao diretório), ST_RELATIME (atualiza o atime relativo ao mtime/ctime).

Esta função tem suporte a especificar um descritor de arquivo.

Disponibilidade

Alterado na versão 3.2: As constantes ST_RDONLY e ST_NOSUID foram adicionadas.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto.

Alterado na versão 3.4: As constantes ST_NODEV, ST_NOEXEC, ST_SYNCHRONOUS, ST_MANDLOCK, ST_WRITE, ST_APPEND, ST_IMMUTABLE, ST_NOATIME, ST_NODIRATIME e ST_RELATIME foram adicionadas.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.7: Adicionado o atributo f_fsid.

os.supports_dir_fd

Um objeto set indicando quais funções no módulo os aceitam um descritor de arquivo aberto para seu parâmetro dir_fd. Plataformas diferentes fornecem recursos diferentes, e a funcionalidade subjacente que o Python usa para implementar o parâmetro dir_fd não está disponível em todas as plataformas que o Python provê suporte. Para fins de consistência, as funções que podem implementar dir_fd sempre permitem especificar o parâmetro, mas lançarão uma exceção se a funcionalidade for usada quando não estiver disponível localmente. (Especificar None para dir_fd é sempre válido em todas as plataformas.)

Para verificar se uma função particular aceita um descritor de arquivo aberto para seu parâmetro dir_fd, use o operador in em supports_dir_fd. Como exemplo, esta expressão é avaliada como True se os.stat() aceita descritores de arquivo abertos para dir_fd na plataforma local:

os.stat in os.supports_dir_fd

Atualmente os parâmetros dir_fd funcionam apenas em plataformas Unix; nenhum deles funciona no Windows.

Adicionado na versão 3.3.

os.supports_effective_ids

Um objeto set que indica se os.access() permite especificar True para seu parâmetro effective_ids na plataforma local. (Especificar False para effective_ids é sempre válido em todas as plataformas.) Se a plataforma local oferecer suporte, a coleção conterá os.access(); caso contrário, ficará vazio.

Esta expressão é avaliada como True se os.access() oferecer suporte a effective_ids=True na plataforma local:

os.access in os.supports_effective_ids

Atualmente, effective_ids funciona apenas em plataformas Unix; não funciona no Windows.

Adicionado na versão 3.3.

os.supports_fd

Um objeto set que indica quais funções no módulo os permitem especificar seu parâmetro path como um descritor de arquivo aberto na plataforma local. Plataformas diferentes fornecem recursos diferentes, e a funcionalidade subjacente que o Python usa para aceitar descritores de arquivos abertos como argumentos path não está disponível em todas as plataformas que o Python provê suporte.

Para determinar se uma função particular permite especificar um descritor de arquivo aberto para seu parâmetro path, use o operador in em supports_fd. Como exemplo, esta expressão é avaliada como True se os.chdir() aceita descritores de arquivo abertos para path em sua plataforma local:

os.chdir in os.supports_fd

Adicionado na versão 3.3.

os.supports_follow_symlinks

Um objeto set que indica quais funções no módulo os aceitam False para seu parâmetro follow_symlinks na plataforma local. Plataformas diferentes fornecem recursos diferentes, e a funcionalidade subjacente que o Python usa para implementar follow_symlinks não está disponível em todas as plataformas às quais o Python tem suporte. Para fins de consistência, as funções que podem ter suporte a follow_symlinks sempre permitem especificar o parâmetro, mas irão lançar uma exceção se a funcionalidade for usada quando não estiver disponível localmente. (Especificar True para follow_symlinks é sempre aceito em todas as plataformas.)

Para verificar se uma função em particular aceita False para seu parâmetro follow_symlinks, use o operador in em supports_follow_symlinks. Como exemplo, esta expressão é avaliada como True se você pode especificar follow_symlinks=False ao chamar os.stat() na plataforma local:

os.stat in os.supports_follow_symlinks

Adicionado na versão 3.3.

os.symlink(src, dst, target_is_directory=False, *, dir_fd=None)

Cria um link simbólico apontando para src chamado dst.

No Windows, um link simbólico representa um arquivo ou um diretório e não se transforma no destino dinamicamente. Se o alvo estiver presente, será criado um link simbólico de mesmo tipo. Caso contrário, o link simbólico será criado como um diretório se target_is_directory for True ou um link simbólico de arquivo (o padrão) caso contrário. Em plataformas não Windows, target_is_directory é ignorado.

Esta função tem suporte a caminhos relativos para descritores de diretório.

Nota

Em versões mais recentes do Windows 10, contas sem privilégios podem criar links simbólicos se o Modo de Desenvolvedor estiver habilitado. Quando o modo de desenvolvedor não está disponível/ativado, o privilégio SeCreateSymbolicLinkPrivilege é necessário ou o processo deve ser executado como um administrador.

A exceção OSError é levantada quando a função é chamada por um usuário sem privilégios.

Levanta um evento de auditoria os.symlink com os argumentos src, dst e dir_fd.

Disponibilidade

A função é limitada em WASI, veja Plataformas WebAssembly para mais informações.

Alterado na versão 3.2: Adicionado suporte para links simbólicos do Windows 6.0 (Vista).

Alterado na versão 3.3: Adicionado o parâmetro dir_fd, e agora permite target_is_directory em plataformas não Windows.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para src e dst.

Alterado na versão 3.8: Adicionado suporte para links simbólicos não elevados no Windows com Modo de Desenvolvedor.

os.sync()

Força a escrita de tudo para o disco.

Disponibilidade

Adicionado na versão 3.3.

os.truncate(path, length)

Trunca o arquivo correspondente ao path, de modo que tenha no máximo length bytes.

Esta função tem suporte a especificar um descritor de arquivo.

Levanta um evento de auditoria os.truncate com os argumentos path e length.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.5: Adicionado suporte para o Windows.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.unlink(path, *, dir_fd=None)

Remove (exclui) o arquivo path. Esta função é semanticamente idêntica à remove(); o nome unlink é seu nome Unix tradicional. Por favor, veja a documentação de remove() para mais informações.

Levanta um evento de auditoria os.remove com os argumentos path, dir_fd.

Alterado na versão 3.3: Adicionado o parâmetro dir_fd.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.utime(path, times=None, *, [ns, ]dir_fd=None, follow_symlinks=True)

Define os tempos de acesso e modificação do arquivo especificado por path.

utime() aceita dois parâmetros opcionais, times e ns. Eles especificam os horários definidos no path e são usados da seguinte forma:

Se ns for especificado, deve ser uma tupla de 2 elementos na forma (atime_ns, mtime_ns) onde cada membro é um inteiro expressando nanossegundos.

Se times não for None, deve ser uma tupla de 2 elementos na forma (atime, mtime) onde cada membro é um inteiro ou ponto flutuante expressando segundos.

Se times for None e ns não for especificado, isso é equivalente a especificar ns=(atime_ns, mtime_ns) onde ambos os tempos são a hora atual.

É um erro especificar tuplas para ambos times e ns.

Observe que os tempos exatos que você definiu aqui podem não ser retornados por uma chamada subsequente de stat(), dependendo da resolução com a qual seu sistema operacional registra os tempos de acesso e modificação; veja stat(). A melhor maneira de preservar os tempos exatos é usar os campos st_atime_ns e st_mtime_ns do objeto de resultado os.stat() com o parâmetro ns para utime().

Esta função pode oferecer suporte a especificar um descritor de arquivo, caminhos relativos aos descritores de diretório e não seguir os links simbólicos.

Levanta um evento de auditoria os.utime com os argumentos path, times, ns e dir_fd.

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto e os parâmetros dir_fd, follow_symlinks e ns.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.walk(top, topdown=True, onerror=None, followlinks=False)

Gera os nomes dos arquivos em uma árvore de diretório percorrendo a árvore de cima para baixo ou de baixo para cima. Para cada diretório na árvore com raiz no diretório top (incluindo o próprio top), ele produz uma tupla de 3 elementos (dirpath, dirnames, filenames).

dirpath é uma string, o caminho para o diretório. dirnames é uma lista dos nomes dos subdiretórios em dirpath (incluindo links simbólicos para diretórios e excluindo '.' e '..'). filenames é uma lista dos nomes dos arquivos não pertencentes ao diretório em dirpath. Observe que os nomes nas listas não contêm componentes de caminho. Para obter um caminho completo (que começa com top) para um arquivo ou diretório em dirpath, execute os.path.join(dirpath, name). Se as listas são ou não ordenadas depende do sistema de arquivos. Se um arquivo for removido ou adicionado ao diretório dirpath durante a geração das listas, não é especificado se um nome para esse arquivo deve ser incluído.

Se o argumento opcional topdown for True ou não especificado, o triplo para um diretório é gerado antes dos triplos para qualquer um de seus subdiretórios (os diretórios são gerados de cima para baixo). Se topdown for False, o triplo para um diretório é gerado após os triplos para todos os seus subdiretórios (os diretórios são gerados de baixo para cima). Não importa o valor de topdown, a lista de subdiretórios é recuperada antes que as tuplas para o diretório e seus subdiretórios sejam geradas.

Quando topdown é True, o chamador pode modificar a lista de dirnames internamente (talvez usando del ou atribuição de fatia), e walk() só recursará nos subdiretórios cujos nomes permanecem em dirnames; isso pode ser usado para podar a busca, impor uma ordem específica de visita, ou mesmo informar à função walk() sobre os diretórios que o chamador cria ou renomeia antes de retomar walk() novamente. Modificar dirnames quando topdown for False não tem efeito no comportamento da caminhada, porque no modo de baixo para cima os diretórios em dirnames são gerados antes do próprio dirpath ser gerado.

Por padrão, os erros da chamada de scandir() são ignorados. Se o argumento opcional onerror for especificado, deve ser uma função; ela será chamado com um argumento, uma instância da exceção OSError. Ele pode relatar o erro para continuar com a caminhada ou levantar a exceção para abortar a caminhada. Observe que o nome do arquivo está disponível como o atributo filename do objeto de exceção.

Por padrão, a função walk() não vai seguir links simbólicos que resolvem para diretórios. Defina followlinks como True para visitar diretórios apontados por links simbólicos, em sistemas que oferecem suporte a eles.

Nota

Esteja ciente de que definir followlinks para True pode levar a recursão infinita se um link apontar para um diretório pai de si mesmo. walk() não mantém registro dos diretórios que já visitou.

Nota

Se você passar um nome de caminho relativo, não mude o diretório de trabalho atual entre as continuações de walk(). walk() nunca muda o diretório atual, e presume que seu chamador também não.

Este exemplo exibe o número total de bytes dos arquivos não-diretório em cada diretório no diretório inicial, exceto que ele não olha em nenhum subdiretório chamado CVS:

import os
from os.path import join, getsize
for root, dirs, files in os.walk('python/Lib/email'):
    print(root, "consome", end=" ")
    print(sum(getsize(join(root, name)) for name in files), end=" ")
    print("bytes em", len(files), "arquivos que não são diretórios")
    if 'CVS' in dirs:
        dirs.remove('CVS')  # não visita diretórios de CVS

No próximo exemplo (implementação simples de shutil.rmtree()), andar na árvore de baixo para cima é essencial, rmdir() não permite excluir um diretório antes que o diretório esteja vazio:

# Exclui tudo que for acessível do diretório nomeado em "top",
# presumindo que não há links simbólicos.
# CUIDADO: Isso é perigoso! Por exemplo, se top == '/',
# ele pode excluir todos os seus arquivos de disco.
import os
for root, dirs, files in os.walk(top, topdown=False):
    for name in files:
        os.remove(os.path.join(root, name))
    for name in dirs:
        os.rmdir(os.path.join(root, name))

Levanta um evento de auditoria os.walk com os argumentos top, topdown, onerror e followlinks.

Alterado na versão 3.5: Esta função agora chama os.scandir() em vez de os.listdir(), tornando-a mais rápida reduzindo o número de chamadas a os.stat().

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.fwalk(top='.', topdown=True, onerror=None, *, follow_symlinks=False, dir_fd=None)

Se comporta exatamente como walk(), exceto que produz um tupla de 4 elementos (dirpath, dirnames, filenames, dirfd), e tem suporte a dir_fd.

dirpath, dirnames e filenames são idênticos à saída de walk() e dirfd é um descritor de arquivo que faz referência ao diretório dirpath.

Esta função sempre tem suporte a caminhos relativos aos descritores de diretório e não seguir links simbólicos. Observe, entretanto, que, ao contrário de outras funções, o valor padrão fwalk() para follow_symlinks é False.

Nota

Uma vez que fwalk() produz descritores de arquivo, eles só são válidos até a próxima etapa de iteração, então você deve duplicá-los (por exemplo, com dup()) se quiser mantê-los por mais tempo.

Este exemplo exibe o número total de bytes dos arquivos não-diretório em cada diretório no diretório inicial, exceto que ele não olha em nenhum subdiretório chamado CVS:

import os
for root, dirs, files, rootfd in os.fwalk('python/Lib/email'):
    print(root, "consome", end="")
    print(sum([os.stat(name, dir_fd=rootfd).st_size for name in files]),
          end="")
    print("bytes em", len(files), "arquivos que não são diretórios")
    if 'CVS' in dirs:
        dirs.remove('CVS')  # não visita diretórios de CVS

No próximo exemplo, percorrer a árvore de baixo para cima é essencial: rmdir() não permite excluir um diretório antes que o diretório esteja vazio:

# Exclui tudo que for acessível do diretório nomeado em "top",
# presumindo que não há links simbólicos.
# CUIDADO: Isso é perigoso! Por exemplo, se top == '/',
# ele pode excluir todos os seus arquivos de disco.
import os
for root, dirs, files, rootfd in os.fwalk(top, topdown=False):
    for name in files:
        os.unlink(name, dir_fd=rootfd)
    for name in dirs:
        os.rmdir(name, dir_fd=rootfd)

Levanta um evento de auditoria os.fwalk com os argumentos top, topdown, onerror, follow_symlinks e dir_fd.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.7: Adicionado suporte para caminhos em bytes.

os.memfd_create(name[, flags=os.MFD_CLOEXEC])

Cria um arquivo anônimo e retorna um descritor de arquivo que faça referência a ele. flags deve ser uma das constantes os.MFD_* disponíveis no sistema (ou uma combinação de OU bit a bit delas). Por padrão, o novo descritor de arquivo é não herdável.

O nome fornecido em name é usado como um nome de arquivo e será exibido como o destino do link simbólico correspondente no diretório /proc/self/fd/. O nome exibido é sempre prefixado com memfd: e serve apenas para fins de depuração. Os nomes não afetam o comportamento do descritor de arquivo e, como tal, vários arquivos podem ter o mesmo nome sem quaisquer efeitos colaterais.

Disponibilidade

Adicionado na versão 3.8.

os.MFD_CLOEXEC

os.MFD_ALLOW_SEALING

os.MFD_HUGETLB

os.MFD_HUGE_SHIFT

os.MFD_HUGE_MASK

os.MFD_HUGE_64KB

os.MFD_HUGE_512KB

os.MFD_HUGE_1MB

os.MFD_HUGE_2MB

os.MFD_HUGE_8MB

os.MFD_HUGE_16MB

os.MFD_HUGE_32MB

os.MFD_HUGE_256MB

os.MFD_HUGE_512MB

os.MFD_HUGE_1GB

os.MFD_HUGE_2GB

os.MFD_HUGE_16GB

Esses sinalizadores podem ser passados para memfd_create().

Disponibilidade

Os sinalizadores MFD_HUGE* estão disponíveis somente a partir do Linux 4.14.

Adicionado na versão 3.8.

os.eventfd(initval[, flags=os.EFD_CLOEXEC])

Cria e retorna um descritor de arquivo de evento. Os descritores de arquivo implementam read() e write() brutos com um tamanho de buffer de 8, select(), poll() e similares. Veja a página man eventfd(2) [https://manpages.debian.org/eventfd(2)] para mais informações. Por padrão, o novo descritor de arquivo é não herdável.

initval é o valor inicial do contador de evento. O valor inicial deve ser um inteiro sem sinal de 32 bits. Observe que o valor inicial é limitado a um inteiro sem sinal de 32 bits ainda que o contador de evento seja um inteiro de 64 bits com um valor máximo de 2⁶⁴-2.

flags podem ser construídas a partir de EFD_CLOEXEC, EFD_NONBLOCK e EFD_SEMAPHORE.

Se EFD_SEMAPHORE for especificado e o contador de evento for diferente de zero, eventfd_read() retorna 1 e decrementa o contador em um.

Se EFD_SEMAPHORE não for especificado e o contador de evento for diferente de zero, eventfd_read() retorna o valor atual do contador de evento e zera o contador.

Se o contador de evento for zero e EFD_NONBLOCK não for especificado, eventfd_read() bloqueia.

eventfd_write() incrementa o contador de evento. A escrita bloqueia se a operação de escrita incrementar o contador para um valor maior que 2⁶⁴-2.

Exemplo:

import os

# semáforo com valor inicial '1'
fd = os.eventfd(1, os.EFD_SEMAPHORE | os.EFC_CLOEXEC)
try:
    # adquire o semário
    v = os.eventfd_read(fd)
    try:
        faz_o_trabalho()
    finally:
        # libera o semáforo
        os.eventfd_write(fd, v)
finally:
    os.close(fd)

Disponibilidade

Adicionado na versão 3.10.

os.eventfd_read(fd)

Lê um valor de um descritor de arquivo eventfd() e retorna um inteiro sem sinal de 64 bits. A função não verifica se fd é um eventfd().

Disponibilidade

Adicionado na versão 3.10.

os.eventfd_write(fd, value)

Adiciona value a um descritor de arquivo eventfd(). value deve ser um inteiro sem sinal de 64 bits. A função não verifica se fd é um eventfd().

Disponibilidade

Adicionado na versão 3.10.

os.EFD_CLOEXEC

Define sinalizador close-on-exec para o novo descritor de arquivo eventfd().

Disponibilidade

Adicionado na versão 3.10.

os.EFD_NONBLOCK

Define sinalizador de status O_NONBLOCK para um novo descritor de arquivo eventfd().

Disponibilidade

Adicionado na versão 3.10.

os.EFD_SEMAPHORE

Fornece semântica de semáforo ou similar para leitura de um descritor de arquivo eventfd(). Na leitura o contador interno é decrementado em um.

Disponibilidade

Adicionado na versão 3.10.

Descritores de arquivo de temporizador

Adicionado na versão 3.13.

Essas funções fornecem suporte para a API de descritores de arquivo de temporizador.

os.timerfd_create(clockid, /, *, flags=0)

Cria e retorna um descritor de arquivo de temporizador (timerfd).

O descritor de arquivo retornado por timerfd_create() implementa:

read()

select()

poll()

O método read() do descritor de arquivo pode ser chamado com um buffer de tamanho 8. Se o temporizador já expirou uma ou mais vezes, read() retorna o número de vezes que o descritor expirou com a ordem dos bytes no formato do hospedeiro, que pode ser convertido para um int com int.from_bytes(x, byteorder=sys.byteorder).

select() e poll() pode ser usado para esperar até que o temporizador expire e o descritor de arquivo possa ser lido.

clockid deve ser um ID de relógio válido, conforme definido no módulo time:

time.CLOCK_REALTIME

time.CLOCK_MONOTONIC

time.CLOCK_BOOTTIME (A partir de Linux 3.15 para timerfd_create)

Se clockid é time.CLOCK_REALTIME, é usado um relógio em tempo real definido em todo o sistema. Se o relógio do sistema muda, a configuração do temporizador precisa ser atualizado. Para cancelar o temporizador quando o relógio do sistema é alterado, veja TFD_TIMER_CANCEL_ON_SET.

Se clockid é time.CLOCK_MONOTONIC, é usado um relógio monotonicamente não estável. Mesmo se o relógio do sistema é alterado, a configuração do temporizador não será afetada.

Se clockid é time.CLOCK_BOOTTIME, é idêntica a time.CLOCK_MONOTONIC exceto por incluir qualquer tempo que o sistema está suspenso.

O comportamento do descritor de arquivo pode ser modificado especificando um valor para flags. Qualquer um dos seguintes valores pode ser usado, combinadas usando OU (OR) bit a bit (o operador |):

TFD_NONBLOCK

TFD_CLOEXEC

Se TFD_NONBLOCK não está definido como um sinalizador, read() bloqueia até o temporizador expirar. Se está definido como um sinalizador, read() não bloqueia, mas se não expirou desde a última chamada, read() levanta OSError com errno definido como errno.EAGAIN.

TFD_CLOEXEC é sempre definido pelo Python automaticamente.

O descritor de arquivo deve ser fechado com os.close() quando não é mais necessário, caso contrário o descritor de arquivo será vazado.

Ver também

A página man timerfd_create(2) [https://manpages.debian.org/timerfd_create(2)].

Disponibilidade

Adicionado na versão 3.13.

os.timerfd_settime(fd, /, *, flags=flags, initial=0.0, interval=0.0)

Altera um temporizador interno do descritor de arquivo de temporizador. Essa função opera no mesmo intervalo do temporizador definido com timerfd_settime_ns().

fd deve ser um descritor de arquivo de temporizador válido.

O comportamento do temporizador pode ser modificado especificando um valor para flags. Qualquer um dos seguintes valores pode ser usado, combinados usando OU (OR) bit a bit (o operador |):

TFD_TIMER_ABSTIME

TFD_TIMER_CANCEL_ON_SET

O temporizador é desabilitado definindo initial para zero (0). Se initial é igual ou maior que zero, o temporizador é habilitado. Se initial é menor que zero, uma exceção OSError é levantada com errno definido como errno.EINVAL.

Por padrão, o temporizador vai disparar quando passarem initial segundos. (Se initial é zero, o temporizador dispara imediatamente.)

Contudo, se o sinalizador TFD_TIMER_ABSTIME está definido, o temporizador dispara quando o relógio do temporizador (definido por clockid em timerfd_create()) atingir initial segundos.

O intervalor do temporizador é definido pelo float interval. Se interval é zero, o temporizador irá disparar apenas uma vez, no disparo inicial. Se interval é maior que zero, o temporizador vai disparar a cada interval segundos a partir do disparo anterior. Se interval é menor que zero, uma exceção OSError será levantada com errno definido como errno.EINVAL.

Se o sinalizador TFD_TIMER_CANCEL_ON_SET é definido com TFD_TIMER_ABSTIME e o relógio para o temporizador é time.CLOCK_REALTIME, o temporizador é marcado como cancelável se o relógio em tempo real é alterado descontinuadamente. Leitura do descritor é abortada com o erro ECANCELED.

Linux gerencia relógio do sistema como UTC. A transição do horário de verão é feita apenas pela alteração da compensação de horário e não causa alteração descontínua do relógio do sistema.

A alteração descontínua do relógio do sistema será causada pelos seguintes eventos:

settimeofday

clock_settime

definir hora e data do sistema com o comando date

Retorna uma tupla com dois elementos (next_expiration, interval) do estado anterior do temporizador, antes da execução dessa função.

Ver também

timerfd_create(2) [https://manpages.debian.org/timerfd_create(2)], timerfd_settime(2) [https://manpages.debian.org/timerfd_settime(2)], settimeofday(2) [https://manpages.debian.org/settimeofday(2)], clock_settime(2) [https://manpages.debian.org/clock_settime(2)], e date(1) [https://manpages.debian.org/date(1)].

Disponibilidade

Adicionado na versão 3.13.

os.timerfd_settime_ns(fd, /, *, flags=0, initial=0, interval=0)

Similar a timerfd_settime(), mas usa nanossegundos. Essa função opera no mesmo intervalo do temporizador definido com timerfd_settime().

Disponibilidade

Adicionado na versão 3.13.

os.timerfd_gettime(fd, /)

Retorna uma tupla de ponto flutuante com dois elementos (next_expiration, interval).

next_expiration indica o tempo relativo até o próximo disparo do cronômetro, independentemente do sinalizador TFD_TIMER_ABSTIME estar definido.

interval indica o intervalo do cronômetro. Se for zero, o cronômetro será acionado apenas uma vez, após terem passados next_expiration segundos.

Ver também

timerfd_gettime(2) [https://manpages.debian.org/timerfd_gettime(2)]

Disponibilidade

Adicionado na versão 3.13.

os.timerfd_gettime_ns(fd, /)

Similar a timerfd_gettime(), mas retorna o tempo em nanossegundos.

Disponibilidade

Adicionado na versão 3.13.

os.TFD_NONBLOCK

Um sinalizador para a função timerfd_create(), que define o estado do sinalizador O_NONBLOCK para o novo descritor de arquivo de temporizador. Se TFD_NONBLOCK não for definido como sinalizador, read() bloqueia.

Disponibilidade

Adicionado na versão 3.13.

os.TFD_CLOEXEC

Um sinalizador para a função timerfd_create(). Se TFD_CLOEXEC for definido como um sinalizador, define o sinalizador close-on-exec para o novo descritor de arquivo.

Disponibilidade

Adicionado na versão 3.13.

os.TFD_TIMER_ABSTIME

Um sinalizador para as funções timerfd_settime() e timerfd_settime_ns(). Se esse sinalizador for definido, initial será intepretador como um valor absoluto no relógio do temporizador (em segundos UTC ou nanossegundos da Era Unix).

Disponibilidade

Adicionado na versão 3.13.

os.TFD_TIMER_CANCEL_ON_SET

Um sinalizador para as funções timerfd_settime() e timerfd_settime_ns() juntamente com TFD_TIMER_ABSTIME. O cronônometro é cancelado quando a hora do relógio subjacente muda de forma descontínua.

Disponibilidade

Adicionado na versão 3.13.

Atributos estendidos do Linux

Adicionado na versão 3.3.

Estas funções estão todas disponíveis apenas no Linux.

os.getxattr(path, attribute, *, follow_symlinks=True)

Retorna o valor do atributo estendido do sistema de arquivos attribute para path. attribute pode ser bytes ou str (direta ou indiretamente por meio da interface PathLike). Se for str, ele é codificado com a codificação do sistema de arquivos.

Esta função tem suporte a especificar um descritor de arquivo e não seguir links simbólicos.

Levanta um evento de auditoria os.getxattr com os argumentos path e attribute.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para path e attribute.

os.listxattr(path=None, *, follow_symlinks=True)

Retorna uma lista dos atributos estendidos do sistema de arquivos em path. Os atributos na lista são representados como strings decodificadas com a codificação do sistema de arquivos. Se path for None, listxattr() irá examinar o diretório atual.

Esta função tem suporte a especificar um descritor de arquivo e não seguir links simbólicos.

Levanta um evento de auditoria os.listxattr com o argumento path.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.removexattr(path, attribute, *, follow_symlinks=True)

Remove o atributo attribute do sistema de arquivos estendido do path. attribute deve ser bytes ou str (direta ou indiretamente através da interface PathLike). Se for uma string, é codificada com o tratador de erros e codificação do sistema de arquivos

Esta função tem suporte a especificar um descritor de arquivo e não seguir links simbólicos.

Levanta um evento de auditoria os.removexattr com os argumentos path e attribute.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para path e attribute.

os.setxattr(path, attribute, value, flags=0, *, follow_symlinks=True)

Define o atributo de sistema de arquivos estendido attribute em path como value. attribute deve ser um bytes ou str sem NULs embutidos (direta ou indiretamente por meio da interface PathLike). Se for um str, ele é codificado com tratador de erros e codificação do sistema de arquivos. flags podem ser XATTR_REPLACE ou XATTR_CREATE. Se XATTR_REPLACE for fornecido e o atributo não existe, ENODATA será levantada. Se XATTR_CREATE for fornecido e o atributo já existir, o atributo não será criado e EEXISTS será levantada.

Esta função tem suporte a especificar um descritor de arquivo e não seguir links simbólicos.

Nota

Um bug nas versões do kernel Linux inferiores a 2.6.39 fez com que o argumento flags fosse ignorado em alguns sistemas de arquivos.

Levanta um evento de auditoria os.setxattr com os argumentos path, attribute, value e flags.

Alterado na versão 3.6: Aceita um objeto caminho ou similar para path e attribute.

os.XATTR_SIZE_MAX

O tamanho máximo que o valor de um atributo estendido pode ter. Atualmente, são 64 KiB no Linux.

os.XATTR_CREATE

Este é um valor possível para o argumento flags em setxattr(). Indica que a operação deve criar um atributo.

os.XATTR_REPLACE

Este é um valor possível para o argumento flags em setxattr(). Indica que a operação deve substituir um atributo existente.

Gerenciamento de processo

Estas funções podem ser usadas para criar e gerenciar processos.

As várias funções exec* recebem uma lista de argumentos para o novo programa carregado no processo. Em cada caso, o primeiro desses argumentos é passado para o novo programa como seu próprio nome, e não como um argumento que um usuário pode ter digitado em uma linha de comando. Para o programador C, este é o argv[0] passado para um programa main(). Por exemplo, os.execv('/bin/echo', ['foo', 'bar']) exibirá apenas bar na saída padrão; foo parecerá ser ignorado.

os.abort()

Gera um sinal SIGABRT para o processo atual. No Unix, o comportamento padrão é produzir um despejo de memória; no Windows, o processo retorna imediatamente um código de saída 3. Esteja ciente de que chamar esta função não chamará o manipulador de sinal Python registrado para SIGABRT com signal.signal().

os.add_dll_directory(path)

Adiciona um caminho ao caminho de pesquisa de DLL.

Este caminho de pesquisa é usado ao resolver dependências para módulos de extensão importados (o próprio módulo é resolvido por meio de sys.path), e também por ctypes.

Remove o diretório chamando close() no objeto retornado ou usando-o em uma instrução with.

Consulte a documentação da Microsoft [https://msdn.microsoft.com/44228cf2-6306-466c-8f16-f513cd3ba8b5] para obter mais informações sobre como as DLLs são carregadas.

Levanta um evento de auditoria os.add_dll_directory com o argumento path.

Disponibilidade

Adicionado na versão 3.8: As versões anteriores do CPython resolveriam DLLs usando o comportamento padrão para o processo atual. Isso levou a inconsistências, como apenas às vezes pesquisar PATH ou o diretório de trabalho atual, e funções do sistema operacional como AddDllDirectory sem efeito.

No 3.8, as duas maneiras principais de carregar as DLLs agora substituem explicitamente o comportamento de todo o processo para garantir a consistência. Veja as notas de portabilidade para informações sobre atualização de bibliotecas.

os.execl(path, arg0, arg1, ...)

os.execle(path, arg0, arg1, ..., env)

os.execlp(file, arg0, arg1, ...)

os.execlpe(file, arg0, arg1, ..., env)

os.execv(path, args)

os.execve(path, args, env)

os.execvp(file, args)

os.execvpe(file, args, env)

Todas essas funções executam um novo programa, substituindo o processo atual; elas não retornam. No Unix, o novo executável é carregado no processo atual e terá a mesma identificação de processo do chamador. Os erros serão relatados como exceções de OSError.

O processo atual é substituído imediatamente. Objetos de arquivos abertos e descritores não são descarregados, então se houver dados em buffer nesses arquivos abertos, você deve descarregá-los usando sys.stdout.flush() ou os.fsync() antes de chamar uma função exec*.

As variantes “l” e “v” das funções exec* diferem em como os argumentos da linha de comando são passados. As variantes “l” são talvez as mais fáceis de trabalhar se o número de parâmetros for fixo quando o código for escrito; os parâmetros individuais simplesmente se tornam parâmetros adicionais para as funções execl*(). As variantes “v” são boas quando o número de parâmetros é variável, com os argumentos sendo passados em uma lista ou tupla como o parâmetro args. Em qualquer caso, os argumentos para o processo filho devem começar com o nome do comando que está sendo executado, mas isso não é obrigatório.

As variantes que incluem um “p” próximo ao final (execlp(), execlpe(), execvp() e execvpe()) usarão a variável de ambiente PATH para localizar o programa file. Quando o ambiente está sendo substituído (usando uma das variantes exec*e, discutidas no próximo parágrafo), o novo ambiente é usado como fonte da variável PATH. As outras variantes, execl(), execle(), execv() e execve(), não usarão a variável PATH para localizar o executável; path deve conter um caminho absoluto ou relativo apropriado. Caminhos relativos devem incluir pelo menos uma barra, mesmo no Windows, pois nomes simples não serão resolvidos.

Para execle(), execlpe(), execve() e execvpe() (observe que todos eles terminam em “e”), o parâmetro env deve ser um mapeamento que é usado para definir as variáveis de ambiente para o novo processo (elas são usadas no lugar do ambiente do processo atual); as funções execl(), execlp(), execv() e execvp() fazem com que o novo processo herde o ambiente do processo atual.

Para execve() em algumas plataformas, path também pode ser especificado como um descritor de arquivo aberto. Esta funcionalidade pode não ser compatível com sua plataforma; você pode verificar se está ou não disponível usando os.supports_fd. Se não estiver disponível, usá-lo vai levantar uma NotImplementedError.

Levanta um evento de auditoria os.exec com os argumentos path, args e env.

Disponibilidade

Alterado na versão 3.3: Adicionado suporte para especificar path como um descritor de arquivo aberto para execve().

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os._exit(n)

Sai do processo com status n, sem chamar manipuladores de limpeza, liberando buffers de entrada e saída padrões etc.

Nota

A forma padrão de sair é sys.exit(n). _exit() normalmente só deve ser usado no processo filho após uma função fork().

Os seguintes códigos de saída são definidos e podem ser usados com _exit(), embora não sejam obrigatórios. Eles são normalmente usados para programas de sistema escritos em Python, como um programa de entrega de comando externo de servidor de e-mail.

Nota

Alguns deles podem não estar disponíveis em todas as plataformas Unix, pois há algumas variações. Essas constantes estão definidas onde elas são definidas pela plataforma subjacente.

os.EX_OK

Código de saída que significa que não ocorreu nenhum erro. Pode ser obtido do valor definido de EXIT_SUCCESS em algumas plataformas. Geralmente tem um valor de zero.

Disponibilidade

os.EX_USAGE

Código de saída que significa que o comando foi usado incorretamente, como quando o número errado de argumentos é fornecido.

Disponibilidade

os.EX_DATAERR

Código de saída que significa que os dados inseridos estavam incorretos.

Disponibilidade

os.EX_NOINPUT

Código de saída que significa que um arquivo de entrada não existe ou não pôde ser lido.

Disponibilidade

os.EX_NOUSER

Código de saída que significa que um usuário especificado não existe.

Disponibilidade

os.EX_NOHOST

Código de saída que significa que um host especificado não existe.

Disponibilidade

os.EX_UNAVAILABLE

Código de saída que significa que um serviço necessário está indisponível.

Disponibilidade

os.EX_SOFTWARE

Código de saída que significa que um erro interno do software foi detectado.

Disponibilidade

os.EX_OSERR

Código de saída que significa que um erro do sistema operacional foi detectado, como a incapacidade de criar um fork ou um encadeamento.

Disponibilidade

os.EX_OSFILE

Código de saída que significa que algum arquivo do sistema não existia, não pôde ser aberto ou teve algum outro tipo de erro.

Disponibilidade

os.EX_CANTCREAT

Código de saída que significa que um arquivo de saída especificado pelo usuário não pôde ser criado.

Disponibilidade

os.EX_IOERR

Código de saída que significa que ocorreu um erro ao fazer E/S em algum arquivo.

Disponibilidade

os.EX_TEMPFAIL

Código de saída que significa que ocorreu uma falha temporária. Isso indica algo que pode não ser realmente um erro, como uma conexão de rede que não pôde ser feita durante uma operação de nova tentativa.

Disponibilidade

os.EX_PROTOCOL

Código de saída que significa que uma troca de protocolo foi ilegal, inválida ou não compreendida.

Disponibilidade

os.EX_NOPERM

Código de saída que significa que não havia permissões suficientes para executar a operação (mas sem intenção de causar problemas do sistema de arquivos).

Disponibilidade

os.EX_CONFIG

Código de saída que significa que ocorreu algum tipo de erro de configuração.

Disponibilidade

os.EX_NOTFOUND

Código de saída que significa algo como “uma entrada não foi encontrada”.

Disponibilidade

os.fork()

Cria um processo filho. Retorna 0 no filho e o ID de processo do filho no pai. Se ocorrer um erro, uma exceção OSError é levantada.

Note que algumas plataformas incluindo FreeBSD <= 6.3 e Cygwin têm problemas conhecidos ao usar fork() a partir de um thread.

Levanta um evento de auditoria os.fork sem argumentos.

Aviso

Se você usa soquetes TLS em um aplicação chamando fork(), consulte alerta na documentação do módulo ssl.

Aviso

No macOS, o uso desta função é inseguro quando combinado com o uso de APIs de sistema de nível superior, e isso inclui o uso de urllib.request.

Alterado na versão 3.8: Chamar fork() em um subinterpretador não é mais possível (RuntimeError é levantada).

Alterado na versão 3.12: Se o Python for capaz de detectar que o seu processar tem várias threads, o os.fork() agora levanta uma exceção DeprecationWarning.

Optamos por apresentar isso como um alerta, quando detectável, para informar melhor aos desenvolvedores sobre um problema de design que a plataforma POSIX indica especificamente como sem suporte. Mesmo em códigos que aparentem funcionar, nunca foi seguro misturar threading com os.fork() em plataformas POSIX. O próprio ambiente de execução do CPython sempre fez chamadas à API que não são seguras para uso no processo filho quando existiam threads no pai (como malloc e free).

Os usuários do macOS ou usuários de implementações de libc ou malloc diferentes daquelas normalmente encontradas no glibc até o momento estão entre os que já têm maior probabilidade de sofrer com impasses (deadlocks) ao executar esse código.

Consulte esta discussão sobre fork ser incompatível com threads [https://discuss.python.org/t/33555] para obter detalhes técnicos sobre o motivo pelo qual estamos revelando aos desenvolvedores esse problema de longa data de compatibilidade da plataforma.

Disponibilidade

os.forkpty()

Cria um processo filho, usando um novo pseudoterminal como o terminal de controle do filho. Retorna um par de (pid, fd), onde pid é 0 no filho, o novo ID de processo do filho no pai e fd é o descritor de arquivo do lado mestre do pseudoterminal. Para uma abordagem mais portátil, use o módulo pty. Se ocorrer um erro, OSError é levantada.

Levanta um evento de auditoria os.forkpty sem argumentos.

Aviso

No macOS, o uso desta função é inseguro quando combinado com o uso de APIs de sistema de nível superior, e isso inclui o uso de urllib.request.

Alterado na versão 3.8: Chamar forkpty() em um subinterpretador não é mais permitido (RuntimeError é levantada).

Alterado na versão 3.12: Se o Python for capaz de detectar que o seu processo tem vários threads, isso agora levanta uma exceção DeprecationWarning. Veja a explicação mais longa em os.fork().

Disponibilidade

os.kill(pid, sig, /)

Envia o sinal sig para o processo pid. Constantes dos sinais específicos disponíveis na plataforma host são definidas no módulo signal.

Windows: os sinais signal.CTRL_C_EVENT e signal.CTRL_BREAK_EVENT são sinais especiais que só podem ser enviados para processos de console que compartilham uma janela de console comum, por exemplo, alguns subprocessos. Qualquer outro valor para sig fará com que o processo seja encerrado incondicionalmente pela API TerminateProcess e o código de saída será definido como sig. A versão Windows de kill() também recebe os identificadores de processo a serem eliminados.

Veja também signal.pthread_kill().

Levanta um evento de auditoria os.kill com os argumentos pid e sig.

Disponibilidade

Alterado na versão 3.2: Adicionado suporte ao Windows.

os.killpg(pgid, sig, /)

Envia o sinal sig para o grupo de processos pgid.

Levanta um evento de auditoria os.killpg com os argumentos pgid e sig.

Disponibilidade

os.nice(increment, /)

Adiciona increment ao nível de “nice” do processo. Retorna um novo nível de “nice”.

Disponibilidade

os.pidfd_open(pid, flags=0)

Retorna um descritor de arquivo referente ao processo pid com as flags definidas. Este descritor pode ser usado para gerenciar o processo sem corridas e sinais.

Veja a página man pidfd_open(2) [https://manpages.debian.org/pidfd_open(2)] para mais detalhes.

Disponibilidade

Adicionado na versão 3.9.

os.PIDFD_NONBLOCK

Este sinalizador indica que o descritor de arquivo será não-bloqueante. Se o processo referenciado pelo descritor de arquivo ainda não tiver terminado, então uma tentativa de aguardar no descritor de arquivo usando waitid(2) [https://manpages.debian.org/waitid(2)] retornará imediatamente o erro EAGAIN em vez de bloquear.

Disponibilidade

Adicionado na versão 3.12.

os.plock(op, /)

Trava os segmentos do programa na memória. O valor de op (definido em <sys/lock.h>) determina quais segmentos são travados.

Disponibilidade

os.popen(cmd, mode='r', buffering=-1)

Abre um encadeamento, também conhecido como “pipe”, de ou para o comando cmd. O valor de retorno é um objeto arquivo aberto conectado ao encadeamento, que pode ser lido ou escrito dependendo se mode é 'r' (padrão) ou 'w'. O argumento buffering tem o mesmo significado que o argumento correspondente para a função embutida open(). O objeto arquivo retornado lê ou escreve strings de texto em vez de bytes.

O método close retorna None se o subprocesso foi encerrado com sucesso, ou o código de retorno do subprocesso se houve um erro. Em sistemas POSIX, se o código de retorno for positivo, ele representa o valor de retorno do processo deslocado para a esquerda em um byte. Se o código de retorno for negativo, o processo foi encerrado pelo sinal dado pelo valor negado do código de retorno. (Por exemplo, o valor de retorno pode ser - signal.SIGKILL se o subprocesso foi eliminado.) Em sistemas Windows, o valor de retorno contém o código de retorno inteiro com sinal do processo filho.

No Unix, waitstatus_to_exitcode() pode ser usado para converter o resultado do método close (status de saída) em um código de saída se não for None. No Windows, o resultado do método close é diretamente o código de saída (ou None).

Isso é implementado usando subprocess.Popen; consulte a documentação desta classe para maneiras mais poderosas de gerenciar e se comunicar com subprocessos.

Disponibilidade

Nota

O Modo UTF-8 do Python afeta as codificações usadas para cmd e conteúdo de encadeamento.

popen() é um wrapper simples em torno de subprocess.Popen. Use subprocess.Popen ou subprocess.run() para controlar opções como codificações.

os.posix_spawn(path, argv, env, *, file_actions=None, setpgroup=None, resetids=False, setsid=False, setsigmask=(), setsigdef=(), scheduler=None)

Envolve a API da biblioteca C posix_spawn() para uso em Python.

A maioria dos usuários deveria usar subprocess.run() em vez de posix_spawn().

Os argumentos somente-posicional path, args, e env são similares a execve(). env pode ser None, caso em que o ambiente do processo atual é usado.

O parâmetro path é o caminho para o arquivo executável. O path deve conter um diretório. Use posix_spawnp() para passar um arquivo executável sem diretório.

O argumento file_actions pode ser uma sequência de tuplas descrevendo ações a serem tomadas em descritores de arquivo específicos no processo filho entre as etapas fork() e exec() de implementação da biblioteca C. O primeiro item em cada tupla deve ser um dos três indicadores de tipo listados abaixo, descrevendo os elementos restantes da tupla:

os.POSIX_SPAWN_OPEN

(os.POSIX_SPAWN_OPEN, fd, path, flags, mode)

Efetua os.dup2(os.open(path, flags, mode), fd).

os.POSIX_SPAWN_CLOSE

(os.POSIX_SPAWN_CLOSE, fd)

Efetua os.close(fd).

os.POSIX_SPAWN_DUP2

(os.POSIX_SPAWN_DUP2, fd, new_fd)

Efetua os.dup2(fd, new_fd).

os.POSIX_SPAWN_CLOSEFROM

(os.POSIX_SPAWN_CLOSEFROM, fd)

Efetua os.closerange(fd, INF).

Estas tuplas correspondem a chamadas de API da biblioteca C de posix_spawn_file_actions_addopen(), posix_spawn_file_actions_addclose(), posix_spawn_file_actions_adddup2() e posix_spawn_file_actions_addclosefrom_np() usadas para preparar para a chamada de posix_spawn() em si.

O argumento setpgroup definirá o grupo de processos do filho para o valor especificado. Se o valor especificado for 0, o ID do grupo de processo filho será igual ao ID do processo. Se o valor de setpgroup não for definido, o filho herdará o ID do grupo de processos do pai. Este argumento corresponde ao sinalizador POSIX_SPAWN_SETPGROUP da biblioteca C.

Se o argumento resetids for True, ele irá reconfigurar o UID e GID efetivos do filho para o UID e GID reais do processo pai. Se o argumento for False, então o filho retém o UID e GID efetivos do pai. Em ambos os casos, se os bits de permissão set-user-ID e set-group-ID estiverem habilitados no arquivo executável, seu efeito vai substituir a configuração do UID e GID efetivos. Este argumento corresponde ao sinalizador POSIX_SPAWN_RESETIDS da biblioteca C.

Se o argumento setsid for True, ele criará um novo ID de sessão para posix_spawn. setsid requer POSIX_SPAWN_SETSID ou POSIX_SPAWN_SETSID_NP. Caso contrário, NotImplementedError é levantada.

O argumento setsigmask definirá a máscara de sinal para o conjunto de sinais especificado. Se o parâmetro não for usado, o filho herda a máscara de sinal do pai. Este argumento corresponde ao sinalizador POSIX_SPAWN_SETSIGMASK da biblioteca C.

O argumento sigdef redefinirá a disposição de todos os sinais no conjunto especificado. Este argumento corresponde ao sinalizador POSIX_SPAWN_SETSIGDEF da biblioteca C.

O argumento scheduler deve ser uma tupla contendo a política do agendador (opcional) e uma instância de sched_param com os parâmetros do agendador. Um valor None no lugar da política do agendador indica que a política não está sendo fornecido. Este argumento é uma combinação dos sinalizadores POSIX_SPAWN_SETSCHEDPARAM e POSIX_SPAWN_SETSCHEDULER da biblioteca C.

Levanta um evento de auditoria os.posix_spawn com os argumentos path, argv e env.

Adicionado na versão 3.8.

Alterado na versão 3.13: o parâmetro env pode ser None. os.POSIX_SPAWN_CLOSEFROM está disponível nas plataformas onde posix_spawn_file_actions_addclosefrom_np() existe.

Disponibilidade

os.posix_spawnp(path, argv, env, *, file_actions=None, setpgroup=None, resetids=False, setsid=False, setsigmask=(), setsigdef=(), scheduler=None)

Envolve a API da biblioteca C posix_spawnp() para uso em Python.

Semelhante a posix_spawn() exceto que o sistema procura o arquivo executable na lista de diretórios especificados pela variável de ambiente PATH (da mesma forma que para execvp(3)).

Levanta um evento de auditoria os.posix_spawn com os argumentos path, argv e env.

Adicionado na versão 3.8.

Disponibilidade

Veja a documentação de posix_spawn().

os.register_at_fork(*, before=None, after_in_parent=None, after_in_child=None)

Registra chamáveis a serem executados quando um novo processo filho é criado usando os.fork() ou APIs de clonagem de processos semelhantes. Os parâmetros são opcionais e somente-nomeados. Cada um especifica um ponto de chamada diferente.

before é uma função chamada antes de criar um processo filho.

after_in_parent é uma função chamada a partir do processo pai após criar um processo filho.

after_in_child é uma função chamada a partir do processo filho.

Essas chamadas são feitas apenas se o controle deve retornar ao interpretador Python. Um lançamento típico de subprocess não irá acioná-los, pois o filho não entrará novamente no interpretador.

As funções registradas para execução antes de criar um processo filho são chamadas na ordem de registro reversa. As funções registradas para execução após o processo filho ser criado (no pai ou no filho) são chamadas na ordem de registro.

Note que chamadas a fork() feitas por código C de terceiros podem não chamar estas funções, a menos que ele explicitamente chamem PyOS_BeforeFork(), PyOS_AfterFork_Parent() e PyOS_AfterFork_Child().

Não há uma forma de desfazer o registro de uma função.

Disponibilidade

Adicionado na versão 3.7.

os.spawnl(mode, path, ...)

os.spawnle(mode, path, ..., env)

os.spawnlp(mode, file, ...)

os.spawnlpe(mode, file, ..., env)

os.spawnv(mode, path, args)

os.spawnve(mode, path, args, env)

os.spawnvp(mode, file, args)

os.spawnvpe(mode, file, args, env)

Executa o programa path em um novo processo.

(Observe que o módulo subprocess fornece recursos mais poderosos para gerar novos processos e recuperar seus resultados; usar esse módulo é preferível a usar essas funções. Verifique especialmente a seção Replacing Older Functions with the subprocess Module.)

Se mode for P_NOWAIT, esta função retorna o id do processo do novo processo; se mode for P_WAIT, retorna o código de saída do processo se ele sair normalmente, ou -signal, onde signal é o sinal que matou o processo. No Windows, o id do processo será na verdade o manipulador do processo, portanto, pode ser usado com a função waitpid().

Nota sobre VxWorks: esta função não retorna -signal se o novo processo é interrompido. Em vez disso, ele levanta a exceção OSError.

As variantes “l” e “v” das funções spawn* diferem em como os argumentos de linha de comando são passados. As variantes “l” são talvez as mais fáceis de trabalhar se o número de parâmetros for fixo quando o código for escrito; os parâmetros individuais simplesmente se tornam parâmetros adicionais para as funções spawnl*(). As variantes “v” são boas quando o número de parâmetros é variável, com os argumentos sendo passados em uma lista ou tupla como o parâmetro args. Em ambos os casos, os argumentos para o processo filho devem começar com o nome do comando que está sendo executado.

As variantes que incluem um segundo “p” próximo ao final (spawnlp(), spawnlpe(), spawnvp() e spawnvpe()) usarão a variável de ambiente PATH para localizar o programa file. Quando o ambiente está sendo substituído (usando uma das variantes spawn*e, discutidas no próximo parágrafo), o novo ambiente é usado como fonte da variável PATH. As outras variantes, spawnl(), spawnle(), spawnv() e spawnve(), não usarão a variável PATH para localizar o executável; path deve conter um caminho absoluto ou relativo apropriado.

Para spawnle(), spawnlpe(), spawnve() e spawnvpe() (observe que todos eles terminam em “e”), o parâmetro env deve ser um mapeamento que é usado para definir as variáveis de ambiente para o novo processo (elas são usadas no lugar do ambiente do processo atual); as funções spawnl(), spawnlp(), spawnv() e spawnvp() fazem com que o novo processo herde o ambiente do processo atual. Note que as chaves e os valores no dicionário env devem ser strings; chaves ou valores inválidos farão com que a função falhe, com um valor de retorno de 127.

Como exemplo, as seguintes chamadas a spawnlp() e spawnvpe() são equivalentes:

import os
os.spawnlp(os.P_WAIT, 'cp', 'cp', 'index.html', '/dev/null')

L = ['cp', 'index.html', '/dev/null']
os.spawnvpe(os.P_WAIT, 'cp', L, os.environ)

Levanta um evento de auditoria os.spawn com os argumentos mode, path, args e env.

Disponibilidade

spawnlp(), spawnlpe(), spawnvp() e spawnvpe() não estão disponíveis no Windows. spawnle() e spawnve() não são seguros para thread no Windows; recomendamos que você use o módulo subprocess.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

os.P_NOWAIT

os.P_NOWAITO

Valores possíveis para o parâmetro mode para a família de funções spawn*. Se qualquer um desses valores for fornecido, as funções spawn* retornarão assim que o novo processo for criado, com o id do processo como o valor de retorno.

Disponibilidade

os.P_WAIT

Valor possível para o parâmetro mode para a família de funções spawn*. Se for fornecido como mode, as funções spawn* não retornarão até que o novo processo seja executado até a conclusão e retornará o código de saída do processo em que a execução foi bem-sucedida, ou -signal se um sinal interromper o processo.

Disponibilidade

os.P_DETACH

os.P_OVERLAY

Valores possíveis para o parâmetro mode para a família de funções spawn*. Eles são menos portáveis do que os listados acima. P_DETACH é semelhante a P_NOWAIT, mas o novo processo é separado do console do processo de chamada. Se P_OVERLAY for usado, o processo atual será substituído; a função spawn* não retornará.

Disponibilidade

os.startfile(path[, operation][, arguments][, cwd][, show_cmd])

Inicia um arquivo com sua aplicação associada.

Quando operation não é especificado, isso atua como um clique duplo no arquivo no Windows Explorer, ou como fornecer o nome do arquivo como um argumento para o comando start do console interativo de comandos: o arquivo é aberto com qualquer aplicação (se houver) com a extensão associada.

Quando outra operation é fornecida, ela deve ser um “verbo de comando” que especifica o que deve ser feito com o arquivo. Verbos comuns documentados pela Microsoft são 'open', 'print' e 'edit' (para serem usados em arquivos), bem como 'explore' e 'find' (para serem usados em diretórios).

Ao iniciar uma aplicação, especifique arguments a serem passados como uma única string. Este argumento pode não ter efeito quando esta função é usada para iniciar um documento.

O diretório de trabalho padrão é herdado, mas pode ser substituído pelo argumento cwd. Este deve ser um caminho absoluto. Um path relativo será resolvido levando em consideração este argumento.

Use show_cmd para substituir o estilo de janela padrão. Se isso terá algum efeito irá depender da aplicação sendo iniciada. Os valores são inteiros conforme implementado pela função Win32 ShellExecute().

startfile() retorna assim que a aplicação associada é iniciada. Não há opção de aguardar o fechamento da aplicação, e nenhuma maneira de recuperar o status de saída da aplicação. O parâmetro path é relativo ao diretório atual ou ao cwd. Se você quiser usar um caminho absoluto, certifique-se que o primeiro caractere não seja uma barra ('/'). Use pathlib ou a função os.path.normpath() para garantir que os caminhos sejam codificados corretamente para Win32.

Para reduzir a sobrecarga de inicialização do interpretador, a função Win32 ShellExecute() não é resolvida até que esta função seja chamada pela primeira vez. Se a função não puder ser resolvida, uma exceção NotImplementedError será levantada.

Levanta um evento de auditoria os.startfile com os argumentos path e operation.

Levanta um evento de auditoria os.startfile/2 com os argumentos path, operation, arguments, cwd e show_cmd.

Disponibilidade

Alterado na versão 3.10: Adicionados os argumentos arguments, cwd e show_cmd, e o evento de auditoria os.startfile/2.

os.system(command)

Executa o comando (uma string) em um subshell. Isso é implementado chamando a função C padrão system(), e tem as mesmas limitações. Alterações em sys.stdin etc. não são refletidas no ambiente do comando executado. Se command gerar qualquer saída, ela será enviada ao fluxo de saída padrão do interpretador. O padrão C não especifica o significado do valor de retorno da função C, então o valor de retorno da função Python depende do sistema.

No Unix, o valor de retorno é o status de saída do processo codificado no formato especificado para wait().

No Windows, o valor de retorno é aquele retornado pelo shell do sistema após a execução de command. O shell é fornecido pela variável de ambiente Windows COMSPEC: normalmente é cmd.exe, que retorna o status de saída da execução do comando; em sistemas que usam um shell não nativo, consulte a documentação do shell.

O módulo subprocess fornece recursos mais poderosos para gerar novos processos e recuperar seus resultados; usar esse módulo é preferível a usar esta função. Veja a seção Replacing Older Functions with the subprocess Module na documentação do subprocess para algumas receitas úteis.

No Unix, waitstatus_to_exitcode() pode ser usada para converter o resultado (status de saída) em um código de saída. No Windows, o resultado é diretamente o código de saída.

Levanta um evento de auditoria os.system com o argumento command.

Disponibilidade

os.times()

Retorna os tempos do processo global atual. O valor de retorno é um objeto com cinco atributos:

user - tempo do usuário

system - tempo do sistema

children_user - tempo do usuário de todos os processos filhos

children_system - tempo do sistema de todos os processos filhos

elapsed - tempo real decorrido desde um ponto fixo no passado

Para compatibilidade com versões anteriores, esse objeto também se comporta como uma tupla de 5 elementos contendo user, system, children_user, children_system e elapsed nessa ordem.

Consulte as páginas de manual times(2) [https://manpages.debian.org/times(2)] e times(3) [https://man.freebsd.org/cgi/man.cgi?time(3)] no Unix ou o GetProcessTimes MSDN [https://docs.microsoft.com/windows/win32/api/processthreadsapi/nf-processthreadsapi-getprocesstimes] no Windows. No Windows, apenas user e system são conhecidos; os outros atributos são zero.

Disponibilidade

Alterado na versão 3.3: Tipo de retorno foi alterado de uma tupla para um objeto tupla ou similar com atributos nomeados.

os.wait()

Aguarda a conclusão de um processo filho e retorna uma tupla contendo seu pid e indicação de status de saída: um número de 16 bits, cujo byte baixo é o número do sinal que interrompeu o processo e cujo byte alto é o status de saída (se o número do sinal é zero); o bit alto do byte baixo é definido se um arquivo principal foi produzido.

Se não houver filhos que possam ser aguardados, uma exceção ChildProcessError é levantada.

waitstatus_to_exitcode() pode ser usado para converter o status de saída em um código de saída.

Disponibilidade

Ver também

As outras funções wait*() documentadas abaixo podem ser usadas para aguardar a conclusão de um processo filho específico e ter mais opções. waitpid() é o único também disponível no Windows.

os.waitid(idtype, id, options, /)

Aguarda a conclusão de um processo filho.

idtype pode ser P_PID, P_PGID, P_ALL ou (no Linux) P_PIDFD. A interpretação de id depende disso; veja suas descrições individuais.

options é uma combinação OU de sinalizadores. Pelo menos um entre WEXITED, WSTOPPED ou WCONTINUED é obrigatório; WNOHANG e WNOWAIT são sinalizadores opcionais adicionais.

O valor de retorno é um objeto que representa os dados contidos na estrutura siginfo_t com os seguintes atributos:

si_pid (ID do processo)

si_uid (ID de usuário real do filho)

si_signo (sempre SIGCHLD)

si_status (o status de saída ou número do sinal, dependendo de si_code)

si_code (veja CLD_EXITED para possíveis valores)

Se WNOHANG for especificado e não houver filhos correspondentes no estado solicitado, None será retornado. Caso contrário, se não houver filhos correspondentes que possam ser esperados, ChildProcessError será levantada.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.13: Esta função agora também está disponível no MacOS.

os.waitpid(pid, options, /)

Os detalhes desta função diferem no Unix e no Windows.

No Unix: aguarda a conclusão de um processo filho dado pelo id de processo pid e retorna uma tupla contendo seu id de processo e indicação de status de saída (codificado como para wait()). A semântica da chamada é afetada pelo valor do inteiro options, que deve ser 0 para operação normal.

Se pid for maior que 0, waitpid() solicita informações de status para aquele processo específico. Se pid for 0, a solicitação é para o status de qualquer filho no grupo de processos do processo atual. Se pid for -1, a solicitação pertence a qualquer filho do processo atual. Se pid for menor que -1, o status é solicitado para qualquer processo no grupo de processos -pid (o valor absoluto de pid).

options é uma combinação OU de sinalizadores. Se contiver WNOHANG e não houver filhos correspondentes no estado solicitado, (0, 0) será retornado. Caso contrário, se não houver filhos correspondentes que possam ser esperados, ChildProcessError será levantada. Outras opções que podem ser usadas são WUNTRACED e WCONTINUED.

No Windows: aguarda a conclusão de um processo fornecido pelo identificador de processo pid e retorna uma tupla contendo pid, e seu status de saída deslocado 8 bits para a esquerda (o deslocamento torna o uso da função em várias plataformas mais fácil). Um pid menor ou igual a 0 não tem nenhum significado especial no Windows e levanta uma exceção. O valor de inteiros options não tem efeito. pid pode se referir a qualquer processo cujo id é conhecido, não necessariamente um processo filho. As funções spawn* chamadas com P_NOWAIT retornam manipuladores de processo adequados.

waitstatus_to_exitcode() pode ser usado para converter o status de saída em um código de saída.

Disponibilidade

Alterado na versão 3.5: Se a chamada de sistema é interrompida e o tratador de sinal não levanta uma exceção, a função agora tenta novamente a chamada de sistema em vez de levantar uma exceção InterruptedError (consulte PEP 475 [https://peps.python.org/pep-0475/] para entender a justificativa).

os.wait3(options)

Semelhante a waitpid(), exceto que nenhum argumento de id de processo é fornecido e uma tupla de 3 elementos contendo o id do processo filho, indicação de status de saída e informações de uso de recursos é retornada. Consulte resource.getrusage() para obter detalhes sobre as informações de uso de recursos. O argumento option é o mesmo fornecido para waitpid() e wait4().

waitstatus_to_exitcode() pode ser usado para converter o status de saída em um código de saída.

Disponibilidade

os.wait4(pid, options)

Semelhante a waitpid(), exceto uma tupla de 3 elementos, contendo o id do processo filho, indicação de status de saída e informações de uso de recursos é retornada. Consulte resource.getrusage() para obter detalhes sobre as informações de uso de recursos. Os argumentos para wait4() são os mesmos que aqueles fornecidos a waitpid().

waitstatus_to_exitcode() pode ser usado para converter o status de saída em um código de saída.

Disponibilidade

os.P_PID

os.P_PGID

os.P_ALL

os.P_PIDFD

Estes são os valores possíveis para idtype em waitid(). Eles afetam como id é interpretado:

P_PID - espera pelo filho cujo PID é id.

P_PGID - espera por qualquer filho cujo ID do grupo de progresso seja id.

P_ALL - espera por qualquer filho; id é ignorado.

P_PIDFD - espera pelo filho identificado pelo descritor de arquivo id (um descritor de arquivo de processo criado com pidfd_open()).

Disponibilidade

Nota

P_PIDFD só está disponível no Linux >= 5.4.

Adicionado na versão 3.3.

Adicionado na versão 3.9: A constante P_PIDFD.

os.WCONTINUED

Este sinalizador options para waitpid(), wait3(), wait4() e waitid() faz com que os processos filhos sejam reportados se eles tiverem continuado de uma parada de controle de trabalho desde que foram reportados pela última vez.

Disponibilidade

os.WEXITED

Este sinalizador options para waitid() faz com que os processos filhos que terminaram sejam reportados.

As outras funções wait* sempre reportam filhos que terminaram, então esta opção não está disponível para eles.

Disponibilidade

Adicionado na versão 3.3.

os.WSTOPPED

Este sinalizador options para waitid() faz com que os processos filhos que foram parados pela entrega de um sinal sejam reportados.

Esta opção não está disponível para as outras funções wait*.

Disponibilidade

Adicionado na versão 3.3.

os.WUNTRACED

Este sinalizador de options para waitpid(), wait3() e wait4() faz com que os processos filho também sejam reportados se eles foram interrompidos, mas seu estado atual não foi reportado desde que foram parados.

Esta opção não está disponível para waitid().

Disponibilidade

os.WNOHANG

Este sinalizador options faz com que waitpid(), wait3(), wait4() e waitid() retornem imediatamente se nenhum status de processo filho estiver disponível imediatamente.

Disponibilidade

os.WNOWAIT

Este sinalizador options faz com que waitid() deixe o filho em um estado de espera, para que uma chamada wait*() posterior possa ser usada para recuperar as informações de status do filho novamente.

Esta opção não está disponível para as outras funções wait*.

Disponibilidade

os.CLD_EXITED

os.CLD_KILLED

os.CLD_DUMPED

os.CLD_TRAPPED

os.CLD_STOPPED

os.CLD_CONTINUED

Estes são os valores possíveis para si_code no resultado retornado por waitid().

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.9: Adicionados os valores CLD_KILLED e CLD_STOPPED.

os.waitstatus_to_exitcode(status)

Converte um status de espera em um código de saída.

No Unix:

Se o processo saiu normalmente (se WIFEXITED(status) for verdadeiro), retorna o status de saída do processo (retorna WEXITSTATUS(status)): resultado maior ou igual a 0.

Se o processo foi encerrado por um sinal (se WIFSIGNALED(status) for verdadeiro), retorna -signum onde signum é o número do sinal que causou o encerramento do processo (retorna -WTERMSIG(status)): resultado menor que 0.

Do contrário, levanta uma exceção ValueError.

No Windows, retorna status deslocado para a direita em 8 bits.

No Unix, se o processo está sendo rastreado ou se waitpid() foi chamado com a opção WUNTRACED, o chamador deve primeiro verificar se WIFSTOPPED(status) é verdadeiro. Esta função não deve ser chamada se WIFSTOPPED(status) for verdadeiro.

Ver também

As funções WIFEXITED(), WEXITSTATUS(), WIFSIGNALED(), WTERMSIG(), WIFSTOPPED(), WSTOPSIG().

Disponibilidade

Adicionado na versão 3.9.

As funções a seguir recebem um código de status do processo conforme retornado por system(), wait() ou waitpid() como parâmetro. Eles podem ser usados ​​para determinar a disposição de um processo.

os.WCOREDUMP(status, /)

Retorna True se um despejo de memória (core dump) foi gerado para o processo; caso contrário, retorna False.

Esta função deve ser empregada apenas se WIFSIGNALED() for verdadeira.

Disponibilidade

os.WIFCONTINUED(status)

Retorna True se um filho interrompido foi retomado pela entrega de SIGCONT (se o processo foi continuado de uma parada de controle de trabalho); caso contrário, retorna False.

Veja a opção WCONTINUED.

Disponibilidade

os.WIFSTOPPED(status)

Retorna True se o processo foi interrompido pela entrega de um sinal; caso contrário, retorna False.

WIFSTOPPED() só retorna True se a chamada de waitpid() foi feita usando a opção WUNTRACED ou quando o processo está sendo rastreado (veja ptrace(2) [https://manpages.debian.org/ptrace(2)]).

Disponibilidade

os.WIFSIGNALED(status)

Retorna True se o processo foi encerrado por um sinal; caso contrário, retorna False.

Disponibilidade

os.WIFEXITED(status)

Retorna True se o processo foi encerrado normalmente, isto é, chamando exit() ou _exit(), ou retornando de main(); caso contrário, retorna False.

Disponibilidade

os.WEXITSTATUS(status)

Retorna o status de saída do processo.

Esta função deve ser empregada apenas se WIFEXITED() for verdadeira.

Disponibilidade

os.WSTOPSIG(status)

Retorna o sinal que causou a interrupção do processo.

Esta função deve ser empregada apenas se WIFSTOPPED() for verdadeira.

Disponibilidade

os.WTERMSIG(status)

Retorna o número do sinal que causou o encerramento do processo.

Esta função deve ser empregada apenas se WIFSIGNALED() for verdadeira.

Disponibilidade

Interface do agendador

Essas funções controlam como o tempo de CPU de um processo é alocado pelo sistema operacional. Eles estão disponíveis apenas em algumas plataformas Unix. Para informações mais detalhadas, consulte suas páginas man do Unix.

Adicionado na versão 3.3.

As políticas de agendamento a seguir serão expostas se houver suporte pelo sistema operacional.

os.SCHED_OTHER

A política de agendamento padrão.

os.SCHED_BATCH

Política de agendamento para processos com uso intensivo de CPU que tenta preservar a interatividade no resto do computador.

os.SCHED_IDLE

Política de agendamento para tarefas em segundo plano de prioridade extremamente baixa.

os.SCHED_SPORADIC

Política de agendamento para programas de servidor esporádicos.

os.SCHED_FIFO

Uma política de agendamento Primeiro a Entrar, Primeiro a Sair (First In First Out - FIFO).

os.SCHED_RR

Uma política de agendamento round-robin.

os.SCHED_RESET_ON_FORK

Este sinalizador pode ser operado em OU com qualquer outra política de agendamento. Quando um processo com este sinalizador definido bifurca, a política de agendamento e a prioridade de seu filho são redefinidas para o padrão.

class os.sched_param(sched_priority)

Esta classe representa parâmetros de agendamento ajustáveis ​​usados ​​em sched_setparam(), sched_setscheduler() e sched_getparam(). É imutável.

Neste momento, há somente um único parâmetro possível:

sched_priority

A prioridade de agendamento para uma política de agendamento.

os.sched_get_priority_min(policy)

Obtém o valor mínimo de prioridade para policy. policy é uma das constantes de política de agendamento acima.

os.sched_get_priority_max(policy)

Obtém o valor máximo de prioridade para policy. policy é uma das constantes de política de agendamento acima.

os.sched_setscheduler(pid, policy, param, /)

Define a política de agendamento para o processo com PID pid. Um pid de 0 significa o processo de chamada. policy é uma das constantes de política de agendamento acima. param é uma instância de sched_param.

os.sched_getscheduler(pid, /)

Retorna a política de agendamento para o processo com PID pid. Um pid de 0 significa o processo de chamada. O resultado é uma das constantes de política de agendamento acima.

os.sched_setparam(pid, param, /)

Define os parâmetros de agendamento para o processo com PID pid. Um pid de 0 significa o processo de chamada. param é uma instância de sched_param.

os.sched_getparam(pid, /)

Retorna os parâmetros de agendamento como uma instância de sched_param para o processo com PID pid. Um pid de 0 significa o processo de chamada.

os.sched_rr_get_interval(pid, /)

Retorna o quantum round-robin em segundos para o processo com PID pid. Um pid de 0 significa o processo de chamada.

os.sched_yield()

Libera a CPU voluntariamente.

os.sched_setaffinity(pid, mask, /)

Restringe o processo com PID pid (ou o processo atual se zero) para um conjunto de CPUs. mask é um iterável de inteiros que representam o conjunto de CPUs às quais o processo deve ser restrito.

os.sched_getaffinity(pid, /)

Retorna o conjunto de CPUs ao qual o processo com PID pid está restrito.

Se pid for zero, retorna o conjunto de CPUs às quais a thread chamadora do processo atual está restrita.

Veja também a função process_cpu_count().

Diversas informações de sistema

os.confstr(name, /)

Retorna valores de configuração do sistema com valor de string. name especifica o valor de configuração a ser recuperado; pode ser uma string que é o nome de um valor de sistema definido; esses nomes são especificados em vários padrões (POSIX, Unix 95, Unix 98 e outros). Algumas plataformas também definem nomes adicionais. Os nomes conhecidos pelo sistema operacional são fornecidos como as chaves do dicionário confstr_names. Para variáveis ​​de configuração não incluídas nesse mapeamento, passar um número inteiro para name também é aceito.

Se o valor de configuração especificado por name não for definido, retorna None.

Se name for uma string e não for conhecida, ValueError é levantada. Se um valor específico para name não for compatível com o sistema operacional do computador, mesmo que seja incluído em confstr_names, uma OSError é levantada com errno.EINVAL como número do erro.

Disponibilidade

os.confstr_names

Nomes de mapeamento de dicionário aceitos por confstr() para os valores inteiros definidos para esses nomes pelo sistema operacional do computador. Isso pode ser usado para determinar o conjunto de nomes conhecidos pelo sistema.

Disponibilidade

os.cpu_count()

Retorna o número de CPUs lógicas do sistema. Retorna None se não determinado.

A função process_cpu_count() pode ser usada para obter o número de CPUs lógicas utilizáveis ​​pela thread de chamada do processo atual.

Adicionado na versão 3.4.

Alterado na versão 3.13: Se -X cpu_count for fornecido ou PYTHON_CPU_COUNT for definido, cpu_count() retornará o valor substituído n.

os.getloadavg()

Retorna o número de processos na fila de execução do sistema em média nos últimos 1, 5 e 15 minutos ou levanta OSError se a média de carga não foi obtida.

Disponibilidade

os.process_cpu_count()

Obtém o número de CPUs lógicas utilizáveis ​​pelo thread de chamada do processo atual. Retorna None se indeterminado. Pode ser menor que cpu_count() dependendo da afinidade da CPU.

A função cpu_count() pode ser usada para obter o número de CPUs lógicas no sistema.

Se -X cpu_count for fornecido ou PYTHON_CPU_COUNT for definido, process_cpu_count() retornará o valor substituído n.

Veja também a função sched_getaffinity().

Adicionado na versão 3.13.

os.sysconf(name, /)

Retorna valores de configuração do sistema com valor inteiro. Se o valor de configuração especificado por name não estiver definido, -1 é retornado. Os comentários sobre o parâmetro name para confstr() se aplicam aqui também; o dicionário que fornece informações sobre os nomes conhecidos é fornecido por sysconf_names.

Disponibilidade

os.sysconf_names

Nomes de mapeamento de dicionário aceitos por sysconf() para os valores inteiros definidos para esses nomes pelo sistema operacional. Isso pode ser usado para determinar o conjunto de nomes conhecidos pelo sistema.

Disponibilidade

Alterado na versão 3.11: Adiciona o nome 'SC_MINSIGSTKSZ'.

Os dados a seguir são usados para operações de manipulação de caminhos de arquivos e diretórios. Estão definidos e disponíveis para todas as plataformas.

Operações de nível mais alto em nomes de caminho são definidos no módulo os.path.

os.curdir

A string constante usada pelo sistema operacional para se referir ao diretório atual. Isso é '.' para Windows e POSIX. Também disponível via os.path.

os.pardir

A string constante usada pelo sistema operacional para se referir ao diretório pai. Isso é '..' para Windows e POSIX. Também disponível via os.path.

os.sep

O caractere usado pelo sistema operacional para separar os componentes do nome do caminho. Este é '/' para POSIX e '\\' para Windows. Observe que saber disso não é suficiente para ser capaz de analisar ou concatenar nomes de caminho – use os.path.split() e os.path.join() – mas ocasionalmente é útil. Também disponível via os.path.

os.altsep

Um caractere alternativo usado pelo sistema operacional para separar os componentes do nome de caminho, ou None se apenas um caractere separador existir. Isso é definido como '/' em sistemas Windows onde sep é uma contrabarra. Também disponível via os.path.

os.extsep

O caractere que separa o nome do arquivo base da extensão; por exemplo, o '.' em os.py. Também disponível via os.path.

os.pathsep

O caractere convencionalmente usado pelo sistema operacional para separar os componentes do caminho de pesquisa (como em PATH), como ':' para POSIX ou ';' para Windows. Também disponível via os.path.

os.defpath

O caminho de pesquisa padrão usado por exec*p* e spawn*p* se o ambiente não tiver uma chave 'PATH'. Também disponível via os.path.

os.linesep

A string usada para separar (ou melhor, encerrar) linhas na plataforma atual. Pode ser um único caractere, como '\n' para POSIX, ou múltiplos caracteres, por exemplo, '\r\n' para Windows. Não use os.linesep como terminador de linha ao escrever arquivos abertos em modo de texto (o padrão); use um único '\n' ao invés, em todas as plataformas.

os.devnull

O caminho do arquivo do dispositivo nulo. Por exemplo: '/dev/null' para POSIX, 'nul' para Windows. Também disponível via os.path.

os.RTLD_LAZY

os.RTLD_NOW

os.RTLD_GLOBAL

os.RTLD_LOCAL

os.RTLD_NODELETE

os.RTLD_NOLOAD

os.RTLD_DEEPBIND

Sinalizadores para uso com as funções setdlopenflags() e getdlopenflags(). Veja a página man do Unix dlopen(3) [https://manpages.debian.org/dlopen(3)] para saber o que significam os diferentes sinalizadores.

Adicionado na versão 3.3.

Números aleatórios

os.getrandom(size, flags=0)

Obtém até size bytes aleatórios. Esta função pode retornar menos bytes que a quantia requisitada.

Esses bytes podem ser usados ​​para propagar geradores de número aleatório no espaço do usuário ou para fins criptográficos.

getrandom() depende da entropia obtida de drivers de dispositivos e outras fontes de ruído ambiental. A leitura desnecessária de grandes quantidades de dados terá um impacto negativo sobre outros usuários dos dispositivos /dev/random e /dev/urandom.

O argumento flags é uma máscara de bits que pode conter zero ou mais dos seguintes valores operados com OU: os.GRND_RANDOM e GRND_NONBLOCK.

Veja também a página de manual do getrandom() [https://man7.org/linux/man-pages/man2/getrandom.2.html] do Linux.

Disponibilidade

Adicionado na versão 3.6.

os.urandom(size, /)

Retorna uma sequência de bytes de tamanho size aleatórios próprios para uso criptográfico.

Esta função retorna bytes aleatórios de uma fonte de aleatoriedade específica do sistema operacional. Os dados retornados devem ser imprevisíveis o suficiente para aplicações criptográficos, embora sua qualidade exata dependa da implementação do sistema operacional.

No Linux, se a chamada de sistema getrandom() estiver disponível, ela é usada no modo bloqueante: bloqueia até que o pool de entropia urandom do sistema seja inicializado (128 bits de entropia são coletados pelo kernel). Veja a PEP 524 [https://peps.python.org/pep-0524/] para a justificativa. No Linux, a função getrandom() pode ser usada para obter bytes aleatórios no modo não bloqueante (usando a sinalização GRND_NONBLOCK) ou para pesquisar até que o pool de entropia urandom do sistema seja inicializado.

Em um sistema semelhante ao Unix, bytes aleatórios são lidos do dispositivo /dev/urandom. Se o dispositivo /dev/urandom não estiver disponível ou não for legível, a exceção NotImplementedError é levantada.

No Windows, ainda vai usar BCryptGenRandom().

Ver também

O módulo secrets fornece funções de nível mais alto. Para uma interface fácil de usar para o gerador de números aleatórios fornecido por sua plataforma, consulte random.SystemRandom.

Alterado na versão 3.5: No Linux 3.17 e mais recente, a chamada de sistema getrandom() agora é usada quando disponível. No OpenBSD 5.6 e mais recentes, a função C getentropy() agora é usada. Essas funções evitam o uso de um descritor de arquivo interno.

Alterado na versão 3.5.2: No Linux, se a chamada de sistema getrandom() bloqueia (o pool de entropia urandom ainda não foi inicializado), recorre à leitura /dev/urandom.

Alterado na versão 3.6: No Linux, getrandom() é usado agora no modo de bloqueio para aumentar a segurança.

Alterado na versão 3.11: No Windows, BCryptGenRandom() é usado em vez de CryptGenRandom(), o qual foi descontinuado.

os.GRND_NONBLOCK

Por padrão, ao ler de /dev/random, getrandom() bloqueia se nenhum byte aleatório estiver disponível, e ao ler de /dev/urandom, ele bloqueia se o pool de entropia ainda não foi inicializado.

Se o sinalizador GRND_NONBLOCK estiver definido, então getrandom() não bloqueia nesses casos, mas, em vez disso, levanta BlockingIOError imediatamente.

Adicionado na versão 3.6.

os.GRND_RANDOM

Se este bit é definido os bytes aleatórios são sorteados a partir de /dev/random ao invés de /dev/urandom.

Adicionado na versão 3.6.

io — Core tools for working with streams

Código-fonte: Lib/io.py [https://github.com/python/cpython/tree/3.13/Lib/io.py]

Visão Geral

The io module provides Python’s main facilities for dealing with various types of I/O. There are three main types of I/O: text I/O, binary I/O and raw I/O. These are generic categories, and various backing stores can be used for each of them. A concrete object belonging to any of these categories is called a file object. Other common terms are stream and file-like object.

Independent of its category, each concrete stream object will also have various capabilities: it can be read-only, write-only, or read-write. It can also allow arbitrary random access (seeking forwards or backwards to any location), or only sequential access (for example in the case of a socket or pipe).

All streams are careful about the type of data you give to them. For example giving a str object to the write() method of a binary stream will raise a TypeError. So will giving a bytes object to the write() method of a text stream.

Alterado na versão 3.3: Operations that used to raise IOError now raise OSError, since IOError is now an alias of OSError.

Text I/O

Text I/O expects and produces str objects. This means that whenever the backing store is natively made of bytes (such as in the case of a file), encoding and decoding of data is made transparently as well as optional translation of platform-specific newline characters.

The easiest way to create a text stream is with open(), optionally specifying an encoding:

f = open("myfile.txt", "r", encoding="utf-8")

In-memory text streams are also available as StringIO objects:

f = io.StringIO("some initial text data")

The text stream API is described in detail in the documentation of TextIOBase.

Binary I/O

Binary I/O (also called buffered I/O) expects bytes-like objects and produces bytes objects. No encoding, decoding, or newline translation is performed. This category of streams can be used for all kinds of non-text data, and also when manual control over the handling of text data is desired.

The easiest way to create a binary stream is with open() with 'b' in the mode string:

f = open("myfile.jpg", "rb")

In-memory binary streams are also available as BytesIO objects:

f = io.BytesIO(b"some initial binary data: \x00\x01")

The binary stream API is described in detail in the docs of BufferedIOBase.

Other library modules may provide additional ways to create text or binary streams. See socket.socket.makefile() for example.

Raw I/O

Raw I/O (also called unbuffered I/O) is generally used as a low-level building-block for binary and text streams; it is rarely useful to directly manipulate a raw stream from user code. Nevertheless, you can create a raw stream by opening a file in binary mode with buffering disabled:

f = open("myfile.jpg", "rb", buffering=0)

The raw stream API is described in detail in the docs of RawIOBase.

Text Encoding

The default encoding of TextIOWrapper and open() is locale-specific (locale.getencoding()).

However, many developers forget to specify the encoding when opening text files encoded in UTF-8 (e.g. JSON, TOML, Markdown, etc…) since most Unix platforms use UTF-8 locale by default. This causes bugs because the locale encoding is not UTF-8 for most Windows users. For example:

# May not work on Windows when non-ASCII characters in the file.
with open("README.md") as f:
    long_description = f.read()

Accordingly, it is highly recommended that you specify the encoding explicitly when opening text files. If you want to use UTF-8, pass encoding="utf-8". To use the current locale encoding, encoding="locale" is supported since Python 3.10.

Ver também

Modo UTF-8 do Python

Python UTF-8 Mode can be used to change the default encoding to UTF-8 from locale-specific encoding.

PEP 686 [https://peps.python.org/pep-0686/]

Python 3.15 utilizará Modo UTF-8 do Python por padrão.

Opt-in EncodingWarning

Adicionado na versão 3.10: See PEP 597 [https://peps.python.org/pep-0597/] for more details.

To find where the default locale encoding is used, you can enable the -X warn_default_encoding command line option or set the PYTHONWARNDEFAULTENCODING environment variable, which will emit an EncodingWarning when the default encoding is used.

If you are providing an API that uses open() or TextIOWrapper and passes encoding=None as a parameter, you can use text_encoding() so that callers of the API will emit an EncodingWarning if they don’t pass an encoding. However, please consider using UTF-8 by default (i.e. encoding="utf-8") for new APIs.

High-level Module Interface

io.DEFAULT_BUFFER_SIZE

An int containing the default buffer size used by the module’s buffered I/O classes. open() uses the file’s blksize (as obtained by os.stat()) if possible.

io.open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

This is an alias for the builtin open() function.

Esta função levanta um evento de auditoria open com os argumentos path, mode e flags. Os argumentos mode e flags podem ter sido modificados ou inferidos da chamada original.

io.open_code(path)

Opens the provided file with mode 'rb'. This function should be used when the intent is to treat the contents as executable code.

path should be a str and an absolute path.

The behavior of this function may be overridden by an earlier call to the PyFile_SetOpenCodeHook(). However, assuming that path is a str and an absolute path, open_code(path) should always behave the same as open(path, 'rb'). Overriding the behavior is intended for additional validation or preprocessing of the file.

Adicionado na versão 3.8.

io.text_encoding(encoding, stacklevel=2, /)

This is a helper function for callables that use open() or TextIOWrapper and have an encoding=None parameter.

This function returns encoding if it is not None. Otherwise, it returns "locale" or "utf-8" depending on UTF-8 Mode.

This function emits an EncodingWarning if sys.flags.warn_default_encoding is true and encoding is None. stacklevel specifies where the warning is emitted. For example:

def read_text(path, encoding=None):
    encoding = io.text_encoding(encoding)  # stacklevel=2
    with open(path, encoding) as f:
        return f.read()

In this example, an EncodingWarning is emitted for the caller of read_text().

Veja Text Encoding para mais informações.

Adicionado na versão 3.10.

Alterado na versão 3.11: text_encoding() returns “utf-8” when UTF-8 mode is enabled and encoding is None.

exception io.BlockingIOError

This is a compatibility alias for the builtin BlockingIOError exception.

exception io.UnsupportedOperation

An exception inheriting OSError and ValueError that is raised when an unsupported operation is called on a stream.

Ver também

sys

contains the standard IO streams: sys.stdin, sys.stdout, and sys.stderr.

hierarquia de classe

The implementation of I/O streams is organized as a hierarchy of classes. First abstract base classes (ABCs), which are used to specify the various categories of streams, then concrete classes providing the standard stream implementations.

Nota

The abstract base classes also provide default implementations of some methods in order to help implementation of concrete stream classes. For example, BufferedIOBase provides unoptimized implementations of readinto() and readline().

At the top of the I/O hierarchy is the abstract base class IOBase. It defines the basic interface to a stream. Note, however, that there is no separation between reading and writing to streams; implementations are allowed to raise UnsupportedOperation if they do not support a given operation.

The RawIOBase ABC extends IOBase. It deals with the reading and writing of bytes to a stream. FileIO subclasses RawIOBase to provide an interface to files in the machine’s file system.

The BufferedIOBase ABC extends IOBase. It deals with buffering on a raw binary stream (RawIOBase). Its subclasses, BufferedWriter, BufferedReader, and BufferedRWPair buffer raw binary streams that are writable, readable, and both readable and writable, respectively. BufferedRandom provides a buffered interface to seekable streams. Another BufferedIOBase subclass, BytesIO, is a stream of in-memory bytes.

The TextIOBase ABC extends IOBase. It deals with streams whose bytes represent text, and handles encoding and decoding to and from strings. TextIOWrapper, which extends TextIOBase, is a buffered text interface to a buffered raw stream (BufferedIOBase). Finally, StringIO is an in-memory stream for text.

Argument names are not part of the specification, and only the arguments of open() are intended to be used as keyword arguments.

The following table summarizes the ABCs provided by the io module:

ABC

Inherits

Stub Methods

Mixin Methods and Properties

IOBase

fileno, seek, and truncate

close, closed, __enter__, __exit__, flush, isatty, __iter__, __next__, readable, readline, readlines, seekable, tell, writable, and writelines

RawIOBase

IOBase

readinto and write

Inherited IOBase methods, read, and readall

BufferedIOBase

IOBase

detach, read, read1, and write

Inherited IOBase methods, readinto, and readinto1

TextIOBase

IOBase

detach, read, readline, and write

Inherited IOBase methods, encoding, errors, and newlines

I/O Base Classes

class io.IOBase

The abstract base class for all I/O classes.

This class provides empty abstract implementations for many methods that derived classes can override selectively; the default implementations represent a file that cannot be read, written or seeked.

Even though IOBase does not declare read() or write() because their signatures will vary, implementations and clients should consider those methods part of the interface. Also, implementations may raise a ValueError (or UnsupportedOperation) when operations they do not support are called.

The basic type used for binary data read from or written to a file is bytes. Other bytes-like objects are accepted as method arguments too. Text I/O classes work with str data.

Note that calling any method (even inquiries) on a closed stream is undefined. Implementations may raise ValueError in this case.

IOBase (and its subclasses) supports the iterator protocol, meaning that an IOBase object can be iterated over yielding the lines in a stream. Lines are defined slightly differently depending on whether the stream is a binary stream (yielding bytes), or a text stream (yielding character strings). See readline() below.

IOBase is also a context manager and therefore supports the with statement. In this example, file is closed after the with statement’s suite is finished—even if an exception occurs:

with open('spam.txt', 'w') as file:
    file.write('Spam and eggs!')

IOBase provides these data attributes and methods:

close()

Flush and close this stream. This method has no effect if the file is already closed. Once the file is closed, any operation on the file (e.g. reading or writing) will raise a ValueError.

As a convenience, it is allowed to call this method more than once; only the first call, however, will have an effect.

closed

True if the stream is closed.

fileno()

Return the underlying file descriptor (an integer) of the stream if it exists. An OSError is raised if the IO object does not use a file descriptor.

flush()

Flush the write buffers of the stream if applicable. This does nothing for read-only and non-blocking streams.

isatty()

Return True if the stream is interactive (i.e., connected to a terminal/tty device).

readable()

Return True if the stream can be read from. If False, read() will raise OSError.

readline(size=-1, /)

Read and return one line from the stream. If size is specified, at most size bytes will be read.

The line terminator is always b'\n' for binary files; for text files, the newline argument to open() can be used to select the line terminator(s) recognized.

readlines(hint=-1, /)

Read and return a list of lines from the stream. hint can be specified to control the number of lines read: no more lines will be read if the total size (in bytes/characters) of all lines so far exceeds hint.

hint values of 0 or less, as well as None, are treated as no hint.

Note that it’s already possible to iterate on file objects using for line in file: ... without calling file.readlines().

seek(offset, whence=os.SEEK_SET, /)

Change the stream position to the given byte offset, interpreted relative to the position indicated by whence, and return the new absolute position. Values for whence are:

os.SEEK_SET or 0 – start of the stream (the default); offset should be zero or positive

os.SEEK_CUR or 1 – current stream position; offset may be negative

os.SEEK_END or 2 – end of the stream; offset is usually negative

Adicionado na versão 3.1: The SEEK_* constants.

Adicionado na versão 3.3: Some operating systems could support additional values, like os.SEEK_HOLE or os.SEEK_DATA. The valid values for a file could depend on it being open in text or binary mode.

seekable()

Return True if the stream supports random access. If False, seek(), tell() and truncate() will raise OSError.

tell()

Return the current stream position.

truncate(size=None, /)

Resize the stream to the given size in bytes (or the current position if size is not specified). The current stream position isn’t changed. This resizing can extend or reduce the current file size. In case of extension, the contents of the new file area depend on the platform (on most systems, additional bytes are zero-filled). The new file size is returned.

Alterado na versão 3.5: Windows will now zero-fill files when extending.

writable()

Return True if the stream supports writing. If False, write() and truncate() will raise OSError.

writelines(lines, /)

Write a list of lines to the stream. Line separators are not added, so it is usual for each of the lines provided to have a line separator at the end.

__del__()

Prepare for object destruction. IOBase provides a default implementation of this method that calls the instance’s close() method.

class io.RawIOBase

Base class for raw binary streams. It inherits from IOBase.

Raw binary streams typically provide low-level access to an underlying OS device or API, and do not try to encapsulate it in high-level primitives (this functionality is done at a higher-level in buffered binary streams and text streams, described later in this page).

RawIOBase provides these methods in addition to those from IOBase:

read(size=-1, /)

Read up to size bytes from the object and return them. As a convenience, if size is unspecified or -1, all bytes until EOF are returned. Otherwise, only one system call is ever made. Fewer than size bytes may be returned if the operating system call returns fewer than size bytes.

If 0 bytes are returned, and size was not 0, this indicates end of file. If the object is in non-blocking mode and no bytes are available, None is returned.

The default implementation defers to readall() and readinto().

readall()

Read and return all the bytes from the stream until EOF, using multiple calls to the stream if necessary.

readinto(b, /)

Read bytes into a pre-allocated, writable bytes-like object b, and return the number of bytes read. For example, b might be a bytearray. If the object is in non-blocking mode and no bytes are available, None is returned.

write(b, /)

Write the given bytes-like object, b, to the underlying raw stream, and return the number of bytes written. This can be less than the length of b in bytes, depending on specifics of the underlying raw stream, and especially if it is in non-blocking mode. None is returned if the raw stream is set not to block and no single byte could be readily written to it. The caller may release or mutate b after this method returns, so the implementation should only access b during the method call.

class io.BufferedIOBase

Base class for binary streams that support some kind of buffering. It inherits from IOBase.

The main difference with RawIOBase is that methods read(), readinto() and write() will try (respectively) to read as much input as requested or to consume all given output, at the expense of making perhaps more than one system call.

In addition, those methods can raise BlockingIOError if the underlying raw stream is in non-blocking mode and cannot take or give enough data; unlike their RawIOBase counterparts, they will never return None.

Besides, the read() method does not have a default implementation that defers to readinto().

A typical BufferedIOBase implementation should not inherit from a RawIOBase implementation, but wrap one, like BufferedWriter and BufferedReader do.

BufferedIOBase provides or overrides these data attributes and methods in addition to those from IOBase:

raw

The underlying raw stream (a RawIOBase instance) that BufferedIOBase deals with. This is not part of the BufferedIOBase API and may not exist on some implementations.

detach()

Separate the underlying raw stream from the buffer and return it.

After the raw stream has been detached, the buffer is in an unusable state.

Some buffers, like BytesIO, do not have the concept of a single raw stream to return from this method. They raise UnsupportedOperation.

Adicionado na versão 3.1.

read(size=-1, /)

Read and return up to size bytes. If the argument is omitted, None, or negative, data is read and returned until EOF is reached. An empty bytes object is returned if the stream is already at EOF.

If the argument is positive, and the underlying raw stream is not interactive, multiple raw reads may be issued to satisfy the byte count (unless EOF is reached first). But for interactive raw streams, at most one raw read will be issued, and a short result does not imply that EOF is imminent.

A BlockingIOError is raised if the underlying raw stream is in non blocking-mode, and has no data available at the moment.

read1(size=-1, /)

Read and return up to size bytes, with at most one call to the underlying raw stream’s read() (or readinto()) method. This can be useful if you are implementing your own buffering on top of a BufferedIOBase object.

If size is -1 (the default), an arbitrary number of bytes are returned (more than zero unless EOF is reached).

readinto(b, /)

Read bytes into a pre-allocated, writable bytes-like object b and return the number of bytes read. For example, b might be a bytearray.

Like read(), multiple reads may be issued to the underlying raw stream, unless the latter is interactive.

A BlockingIOError is raised if the underlying raw stream is in non blocking-mode, and has no data available at the moment.

readinto1(b, /)

Read bytes into a pre-allocated, writable bytes-like object b, using at most one call to the underlying raw stream’s read() (or readinto()) method. Return the number of bytes read.

A BlockingIOError is raised if the underlying raw stream is in non blocking-mode, and has no data available at the moment.

Adicionado na versão 3.5.

write(b, /)

Write the given bytes-like object, b, and return the number of bytes written (always equal to the length of b in bytes, since if the write fails an OSError will be raised). Depending on the actual implementation, these bytes may be readily written to the underlying stream, or held in a buffer for performance and latency reasons.

When in non-blocking mode, a BlockingIOError is raised if the data needed to be written to the raw stream but it couldn’t accept all the data without blocking.

The caller may release or mutate b after this method returns, so the implementation should only access b during the method call.

Raw File I/O

class io.FileIO(name, mode='r', closefd=True, opener=None)

A raw binary stream representing an OS-level file containing bytes data. It inherits from RawIOBase.

The name can be one of two things:

a character string or bytes object representing the path to the file which will be opened. In this case closefd must be True (the default) otherwise an error will be raised.

an integer representing the number of an existing OS-level file descriptor to which the resulting FileIO object will give access. When the FileIO object is closed this fd will be closed as well, unless closefd is set to False.

The mode can be 'r', 'w', 'x' or 'a' for reading (default), writing, exclusive creation or appending. The file will be created if it doesn’t exist when opened for writing or appending; it will be truncated when opened for writing. FileExistsError will be raised if it already exists when opened for creating. Opening a file for creating implies writing, so this mode behaves in a similar way to 'w'. Add a '+' to the mode to allow simultaneous reading and writing.

The read() (when called with a positive argument), readinto() and write() methods on this class will only make one system call.

A custom opener can be used by passing a callable as opener. The underlying file descriptor for the file object is then obtained by calling opener with (name, flags). opener must return an open file descriptor (passing os.open as opener results in functionality similar to passing None).

O arquivo recém-criado é non-inheritable.

See the open() built-in function for examples on using the opener parameter.

Alterado na versão 3.3: The opener parameter was added. The 'x' mode was added.

Alterado na versão 3.4: O arquivo agora é não herdável.

FileIO provides these data attributes in addition to those from RawIOBase and IOBase:

mode

The mode as given in the constructor.

name

The file name. This is the file descriptor of the file when no name is given in the constructor.

Buffered Streams

Buffered I/O streams provide a higher-level interface to an I/O device than raw I/O does.

class io.BytesIO(initial_bytes=b'')

A binary stream using an in-memory bytes buffer. It inherits from BufferedIOBase. The buffer is discarded when the close() method is called.

The optional argument initial_bytes is a bytes-like object that contains initial data.

BytesIO provides or overrides these methods in addition to those from BufferedIOBase and IOBase:

getbuffer()

Return a readable and writable view over the contents of the buffer without copying them. Also, mutating the view will transparently update the contents of the buffer:

>>> b = io.BytesIO(b"abcdef")
>>> view = b.getbuffer()
>>> view[2:4] = b"56"
>>> b.getvalue()
b'ab56ef'

Nota

As long as the view exists, the BytesIO object cannot be resized or closed.

Adicionado na versão 3.2.

getvalue()

Return bytes containing the entire contents of the buffer.

read1(size=-1, /)

In BytesIO, this is the same as read().

Alterado na versão 3.7: The size argument is now optional.

readinto1(b, /)

In BytesIO, this is the same as readinto().

Adicionado na versão 3.5.

class io.BufferedReader(raw, buffer_size=DEFAULT_BUFFER_SIZE)

A buffered binary stream providing higher-level access to a readable, non seekable RawIOBase raw binary stream. It inherits from BufferedIOBase.

When reading data from this object, a larger amount of data may be requested from the underlying raw stream, and kept in an internal buffer. The buffered data can then be returned directly on subsequent reads.

The constructor creates a BufferedReader for the given readable raw stream and buffer_size. If buffer_size is omitted, DEFAULT_BUFFER_SIZE is used.

BufferedReader provides or overrides these methods in addition to those from BufferedIOBase and IOBase:

peek(size=0, /)

Return bytes from the stream without advancing the position. At most one single read on the raw stream is done to satisfy the call. The number of bytes returned may be less or more than requested.

read(size=-1, /)

Read and return size bytes, or if size is not given or negative, until EOF or if the read call would block in non-blocking mode.

read1(size=-1, /)

Read and return up to size bytes with only one call on the raw stream. If at least one byte is buffered, only buffered bytes are returned. Otherwise, one raw stream read call is made.

Alterado na versão 3.7: The size argument is now optional.

class io.BufferedWriter(raw, buffer_size=DEFAULT_BUFFER_SIZE)

A buffered binary stream providing higher-level access to a writeable, non seekable RawIOBase raw binary stream. It inherits from BufferedIOBase.

When writing to this object, data is normally placed into an internal buffer. The buffer will be written out to the underlying RawIOBase object under various conditions, including:

when the buffer gets too small for all pending data;

when flush() is called;

when a seek() is requested (for BufferedRandom objects);

when the BufferedWriter object is closed or destroyed.

The constructor creates a BufferedWriter for the given writeable raw stream. If the buffer_size is not given, it defaults to DEFAULT_BUFFER_SIZE.

BufferedWriter provides or overrides these methods in addition to those from BufferedIOBase and IOBase:

flush()

Force bytes held in the buffer into the raw stream. A BlockingIOError should be raised if the raw stream blocks.

write(b, /)

Write the bytes-like object, b, and return the number of bytes written. When in non-blocking mode, a BlockingIOError is raised if the buffer needs to be written out but the raw stream blocks.

class io.BufferedRandom(raw, buffer_size=DEFAULT_BUFFER_SIZE)

A buffered binary stream providing higher-level access to a seekable RawIOBase raw binary stream. It inherits from BufferedReader and BufferedWriter.

The constructor creates a reader and writer for a seekable raw stream, given in the first argument. If the buffer_size is omitted it defaults to DEFAULT_BUFFER_SIZE.

BufferedRandom is capable of anything BufferedReader or BufferedWriter can do. In addition, seek() and tell() are guaranteed to be implemented.

class io.BufferedRWPair(reader, writer, buffer_size=DEFAULT_BUFFER_SIZE, /)

A buffered binary stream providing higher-level access to two non seekable RawIOBase raw binary streams—one readable, the other writeable. It inherits from BufferedIOBase.

reader and writer are RawIOBase objects that are readable and writeable respectively. If the buffer_size is omitted it defaults to DEFAULT_BUFFER_SIZE.

BufferedRWPair implements all of BufferedIOBase's methods except for detach(), which raises UnsupportedOperation.

Aviso

BufferedRWPair does not attempt to synchronize accesses to its underlying raw streams. You should not pass it the same object as reader and writer; use BufferedRandom instead.

Text I/O

class io.TextIOBase

Base class for text streams. This class provides a character and line based interface to stream I/O. It inherits from IOBase.

TextIOBase provides or overrides these data attributes and methods in addition to those from IOBase:

encoding

The name of the encoding used to decode the stream’s bytes into strings, and to encode strings into bytes.

errors

The error setting of the decoder or encoder.

newlines

A string, a tuple of strings, or None, indicating the newlines translated so far. Depending on the implementation and the initial constructor flags, this may not be available.

buffer

The underlying binary buffer (a BufferedIOBase instance) that TextIOBase deals with. This is not part of the TextIOBase API and may not exist in some implementations.

detach()

Separate the underlying binary buffer from the TextIOBase and return it.

After the underlying buffer has been detached, the TextIOBase is in an unusable state.

Some TextIOBase implementations, like StringIO, may not have the concept of an underlying buffer and calling this method will raise UnsupportedOperation.

Adicionado na versão 3.1.

read(size=-1, /)

Read and return at most size characters from the stream as a single str. If size is negative or None, reads until EOF.

readline(size=-1, /)

Read until newline or EOF and return a single str. If the stream is already at EOF, an empty string is returned.

If size is specified, at most size characters will be read.

seek(offset, whence=SEEK_SET, /)

Change the stream position to the given offset. Behaviour depends on the whence parameter. The default value for whence is SEEK_SET.

SEEK_SET or 0: seek from the start of the stream (the default); offset must either be a number returned by TextIOBase.tell(), or zero. Any other offset value produces undefined behaviour.

SEEK_CUR or 1: “seek” to the current position; offset must be zero, which is a no-operation (all other values are unsupported).

SEEK_END or 2: seek to the end of the stream; offset must be zero (all other values are unsupported).

Return the new absolute position as an opaque number.

Adicionado na versão 3.1: The SEEK_* constants.

tell()

Return the current stream position as an opaque number. The number does not usually represent a number of bytes in the underlying binary storage.

write(s, /)

Write the string s to the stream and return the number of characters written.

class io.TextIOWrapper(buffer, encoding=None, errors=None, newline=None, line_buffering=False, write_through=False)

A buffered text stream providing higher-level access to a BufferedIOBase buffered binary stream. It inherits from TextIOBase.

encoding gives the name of the encoding that the stream will be decoded or encoded with. It defaults to locale.getencoding(). encoding="locale" can be used to specify the current locale’s encoding explicitly. See Text Encoding for more information.

errors is an optional string that specifies how encoding and decoding errors are to be handled. Pass 'strict' to raise a ValueError exception if there is an encoding error (the default of None has the same effect), or pass 'ignore' to ignore errors. (Note that ignoring encoding errors can lead to data loss.) 'replace' causes a replacement marker (such as '?') to be inserted where there is malformed data. 'backslashreplace' causes malformed data to be replaced by a backslashed escape sequence. When writing, 'xmlcharrefreplace' (replace with the appropriate XML character reference) or 'namereplace' (replace with \N{...} escape sequences) can be used. Any other error handling name that has been registered with codecs.register_error() is also valid.

newline controls how line endings are handled. It can be None, '', '\n', '\r', and '\r\n'. It works as follows:

When reading input from the stream, if newline is None, universal newlines mode is enabled. Lines in the input can end in '\n', '\r', or '\r\n', and these are translated into '\n' before being returned to the caller. If newline is '', universal newlines mode is enabled, but line endings are returned to the caller untranslated. If newline has any of the other legal values, input lines are only terminated by the given string, and the line ending is returned to the caller untranslated.

Ao gravar a saída no fluxo, se newline for None, quaisquer caracteres '\n' gravados serão traduzidos para o separador de linhas padrão do sistema, os.linesep. Se newline for '' ou '\n', nenhuma tradução ocorrerá. Se newline for um dos outros valores legais, qualquer caractere '\n' escrito será traduzido para a string especificada.

If line_buffering is True, flush() is implied when a call to write contains a newline character or a carriage return.

If write_through is True, calls to write() are guaranteed not to be buffered: any data written on the TextIOWrapper object is immediately handled to its underlying binary buffer.

Alterado na versão 3.3: The write_through argument has been added.

Alterado na versão 3.3: The default encoding is now locale.getpreferredencoding(False) instead of locale.getpreferredencoding(). Don’t change temporary the locale encoding using locale.setlocale(), use the current locale encoding instead of the user preferred encoding.

Alterado na versão 3.10: The encoding argument now supports the "locale" dummy encoding name.

TextIOWrapper provides these data attributes and methods in addition to those from TextIOBase and IOBase:

line_buffering

Whether line buffering is enabled.

write_through

Whether writes are passed immediately to the underlying binary buffer.

Adicionado na versão 3.7.

reconfigure(*, encoding=None, errors=None, newline=None, line_buffering=None, write_through=None)

Reconfigure this text stream using new settings for encoding, errors, newline, line_buffering and write_through.

Parameters not specified keep current settings, except errors='strict' is used when encoding is specified but errors is not specified.

It is not possible to change the encoding or newline if some data has already been read from the stream. On the other hand, changing encoding after write is possible.

This method does an implicit stream flush before setting the new parameters.

Adicionado na versão 3.7.

Alterado na versão 3.11: The method supports encoding="locale" option.

seek(cookie, whence=os.SEEK_SET, /)

Set the stream position. Return the new stream position as an int.

Four operations are supported, given by the following argument combinations:

seek(0, SEEK_SET): Rewind to the start of the stream.

seek(cookie, SEEK_SET): Restore a previous position; cookie must be a number returned by tell().

seek(0, SEEK_END): Fast-forward to the end of the stream.

seek(0, SEEK_CUR): Leave the current stream position unchanged.

Any other argument combinations are invalid, and may raise exceptions.

Ver também

os.SEEK_SET, os.SEEK_CUR, and os.SEEK_END.

tell()

Return the stream position as an opaque number. The return value of tell() can be given as input to seek(), to restore a previous stream position.

class io.StringIO(initial_value='', newline='\n')

A text stream using an in-memory text buffer. It inherits from TextIOBase.

The text buffer is discarded when the close() method is called.

The initial value of the buffer can be set by providing initial_value. If newline translation is enabled, newlines will be encoded as if by write(). The stream is positioned at the start of the buffer which emulates opening an existing file in a w+ mode, making it ready for an immediate write from the beginning or for a write that would overwrite the initial value. To emulate opening a file in an a+ mode ready for appending, use f.seek(0, io.SEEK_END) to reposition the stream at the end of the buffer.

The newline argument works like that of TextIOWrapper, except that when writing output to the stream, if newline is None, newlines are written as \n on all platforms.

StringIO provides this method in addition to those from TextIOBase and IOBase:

getvalue()

Return a str containing the entire contents of the buffer. Newlines are decoded as if by read(), although the stream position is not changed.

Exemplo de uso:

import io

output = io.StringIO()
output.write('First line.\n')
print('Second line.', file=output)

# Retrieve file contents -- this will be
# 'First line.\nSecond line.\n'
contents = output.getvalue()

# Close object and discard memory buffer --
# .getvalue() will now raise an exception.
output.close()

class io.IncrementalNewlineDecoder

A helper codec that decodes newlines for universal newlines mode. It inherits from codecs.IncrementalDecoder.

Desempenho

This section discusses the performance of the provided concrete I/O implementations.

Binary I/O

By reading and writing only large chunks of data even when the user asks for a single byte, buffered I/O hides any inefficiency in calling and executing the operating system’s unbuffered I/O routines. The gain depends on the OS and the kind of I/O which is performed. For example, on some modern OSes such as Linux, unbuffered disk I/O can be as fast as buffered I/O. The bottom line, however, is that buffered I/O offers predictable performance regardless of the platform and the backing device. Therefore, it is almost always preferable to use buffered I/O rather than unbuffered I/O for binary data.

Text I/O

Text I/O over a binary storage (such as a file) is significantly slower than binary I/O over the same storage, because it requires conversions between unicode and binary data using a character codec. This can become noticeable handling huge amounts of text data like large log files. Also, tell() and seek() are both quite slow due to the reconstruction algorithm used.

StringIO, however, is a native in-memory unicode container and will exhibit similar speed to BytesIO.

Multi-threading

FileIO objects are thread-safe to the extent that the operating system calls (such as read(2) [https://manpages.debian.org/read(2)] under Unix) they wrap are thread-safe too.

Binary buffered objects (instances of BufferedReader, BufferedWriter, BufferedRandom and BufferedRWPair) protect their internal structures using a lock; it is therefore safe to call them from multiple threads at once.

TextIOWrapper objects are not thread-safe.

Reentrancy

Binary buffered objects (instances of BufferedReader, BufferedWriter, BufferedRandom and BufferedRWPair) are not reentrant. While reentrant calls will not happen in normal situations, they can arise from doing I/O in a signal handler. If a thread tries to re-enter a buffered object which it is already accessing, a RuntimeError is raised. Note this doesn’t prohibit a different thread from entering the buffered object.

The above implicitly extends to text files, since the open() function will wrap a buffered object inside a TextIOWrapper. This includes standard streams and therefore affects the built-in print() function as well.

time — Acesso ao horário e conversões

Esse módulo provê várias funções relacionadas à tempo. Para funcionalidades relacionadas veja também os módulos datetime e calendar

Apesar desse módulo sempre estar disponível, nem todas as suas funções estão disponíveis em todas as plataformas. A maioria das funções definidas nesse módulo chamam funções da biblioteca da plataforma de C com mesmo nome. Pode ser útil consultar a documentação da plataforma, pois da semântica dessas funções variam a depender da plataforma.

A seguir, uma explicação de algumas terminologias e convenções.

O epoch é o ponto onde o tempo começa, o valor de retorno de time.gmtime(0). É 1º de janeiro de 1970, 00:00:00 (UTC) em todas as plataformas.

O termo segundos desde a era refere-se ao número total de segundos decorrido desde a era, tipicamente excluindo-se os segundos bissextos [https://en.wikipedia.org/wiki/Leap_second]. Segundos bissextos são excluídos desse total em todas as plataformas compatíveis com POSIX.

As funções desse módulo podem não conseguir tratar de datas e horários antes da era ou muito distantes no futuro. O limite no futuro é determinado pela biblioteca C; para sistemas de 32 bit, geralmente é 2038.

A função strptime() pode analisar anos de 2 dígitos quando é passado o código de formato %y. Quando anos de 2 dígitos são analisados, eles são convertidos de acordo com os padrões POSIX e ISO C: valores 69–99 são mapeados para 1969–1999, e valores 0–68 são mapeados para 2000–2068.

UTC é Coordinated Universal Time (antigamente conhecido como Greenwich Mean Time ou GMT). O acrônimo UTC não é um erro, mas um acordo entre inglês e francês.

DST é Daylight Saving Time (Horário de Verão), um ajuste de fuso horário por (normalmente) uma hora durante parte do ano. As regras de Horário de Verão são mágicas (determinadas por leis locais) e podem mudar de ano a ano. A biblioteca C possui uma tabela contendo as regras locais (normalmente lidas de um arquivo de sistema por flexibilidade) e nesse contexto é a única fonte de Conhecimento Verdadeiro.

A precisão de várias funções em tempo real podem ser menores do que o que pode estar sugerido pelas unidades nas quais seu valor ou argumento estão expressos. Por exemplo, na maioria dos sistemas Unix, o relógio “conta” apenas 50 ou 100 vezes por segundo.

Por outro lado, a precisão de time() e sleep() é melhor do que suas equivalentes Unix: tempos são expressos como números em ponto flutuante, time() retorna o tempo mais preciso disponível (utilizando gettimeofday() do Unix, quando disponível) e sleep() irá aceitar qualquer tempo como uma fração não zero (select() do Unix é utilizada para implementar isto, quando disponível).

O valor de tempo conforme retornado pelas gmtime(), localtime(), e strptime(), e aceito pelas asctime(), mktime() e strftime(), é uma sequência de 9 inteiros. Os valores retornados das gmtime(), localtime(), e strptime() também oferecem nomes de atributo para campos individuais.

Veja struct_time para a descrição desses objetos.

Alterado na versão 3.3: O tipo struct_time foi estendido para prover os atributos tm_gmtoff e tm_zone quando a plataforma suporta os membros struct tm correspondentes

Alterado na versão 3.6: Os atributos tm_gmtoff e tm_zone da classe struct_time estão disponíveis em todas as plataformas agora.

Utilize as seguintes funções para converter entre representações de tempo:

De

Para

Utilize

segundos desde a era

struct_time em UTC

gmtime()

segundos desde a era

struct_time em tempo local

localtime()

struct_time em UTC

segundos desde a era

calendar.timegm()

struct_time em tempo local

segundos desde a era

mktime()

Funções

time.asctime([t])

Converte a tupla ou struct_time representando um tempo como retornado pela gmtime() ou localtime() para uma string com o seguinte formato: 'Sun Jun 20 23:21:05 1993'. O campo dia contém dois caracteres e possui espaçamento se o dia é de apenas um dígito. Por exemplo, 'Wed Jun 9 04:26:40 1993'.

Se t não é fornecido, o tempo atual como retornado por localtime() é utilizado. Informação de localidade não é utilizada por asctime().

Nota

Diferentemente da função em C de mesmo nome, asctime() não adiciona uma nova linha em seguida.

time.pthread_getcpuclockid(thread_id)

Retorna o clk_id do relógio de tempo de CPU específico da thread para a thread_id especificada.

Utilize a threading.get_ident() ou o atributo ident dos objetos threading.Thread para obter um valor adequado para thread_id.

Aviso

Passando um thread_id inválido ou expirado pode resultar em um comportamento indefinido, como, por exemplo, falha de segmentação.

Disponibilidade

Veja a página man para pthread_getcpuclockid(3) [https://manpages.debian.org/pthread_getcpuclockid(3)] para mais informações.

Adicionado na versão 3.7.

time.clock_getres(clk_id)

Retorna a resolução (precisão) do relógio clk_id especificado. Confira Constantes de ID de Relógio para uma lista de valores aceitos para clk_id

Disponibilidade

Adicionado na versão 3.3.

time.clock_gettime(clk_id) → float

Retorna o tempo to relógio clk_id especificado. Confira Constantes de ID de Relógio para uma lista de valores aceitos para clk_id.

Use clock_gettime_ns() para evitar perda de precisão causada pelo tipo float.

Disponibilidade

Adicionado na versão 3.3.

time.clock_gettime_ns(clk_id) → int

Semelhante à clock_gettime(), mas retorna o tempo em nanossegundos.

Disponibilidade

Adicionado na versão 3.7.

time.clock_settime(clk_id, time: float)

Define o tempo do relógio clk_id especificado. Atualmente, CLOCK_REALTIME é o único valor aceito para clk_id.

Use clock_settime_ns() para evitar perda de precisão causada pelo tipo float.

Disponibilidade

Adicionado na versão 3.3.

time.clock_settime_ns(clk_id, time: int)

Semelhante à clock_settime(), mas define o tempo em nanossegundos.

Disponibilidade

Adicionado na versão 3.7.

time.ctime([secs])

Converte um tempo expresso em segundos desde a era para uma string de forma: 'Sun Jun 20 23:21:05 1993' representando tempo local. O campo dia tem comprimento de dois caracteres e é deslocado por um espaço se o dia tem um único dígito. Por exemplo, 'Wed Jun 9 04:26:40 1993'.

Se secs não é fornecido ou None, o tempo atual como retornado por time() é utilizado. ctime(secs) é equivalente a asctime(localtime(secs)). Informação de localidade não é utilizada por ctime().

time.get_clock_info(name)

Obtém informação do relógio específico como um objeto espaço de nomes. Nomes de relógios suportados e as funções correspondentes para ler seus valores são:

'monotonic': time.monotonic()

'perf_counter': time.perf_counter()

'process_time': time.process_time()

'thread_time': time.thread_time()

'time': time.time()

O resultado possui os seguintes atributos:

adjustable: True se o relógio pode ser alterado automaticamente (por exemplo, por um daemon NTP) ou manualmente por um administrador do sistema, False se contrário

implementation: O nome da função C subjacente utilizada para obter o valor do relógio. Confira Constantes de ID de Relógio para valores possíveis.

monotonic: True se o relógio não pode retornar a valores anteriores, backward, False contrário

resolution: A resolução do relógio em segundos (float)

Adicionado na versão 3.3.

time.gmtime([secs])

Converte um tempo expresso em segundos desde a era para uma struct_time em UTC onde o sinalizador de horário de verão é sempre zero. Se secs não é fornecido ou None, o tempo atual como retornado por time() é utilizado. Frações de segundo são ignoradas. Veja acima para uma descrição do objeto struct_time. Veja calendar.timegm() para o inverso desta função.

time.localtime([secs])

Como gmtime(), mas converte para o tempo local. Se secs não é fornecido ou None, o tempo atual como retornado por time() é utilizado. O sinalizador de horário de verão é definido como 1 quando o Horário de verão for aplicável para o tempo fornecido.

localtime() pode levantar OverflowError, se o registro de data e hora estiver fora de valores suportados pelas funções localtime() or gmtime() da plataforma C, e OSError no caso de localtime() ou gmtime() falharem. É comum É comum que isso seja restrito a anos de 1970 a 2038.

time.mktime(t)

Esta é a função inversa de localtime(). Seu argumento é a struct_time ou uma tupla com 9 itens (sendo o sinalizador de horário de verão necessário; utilize -1 como sinalizador de horário de verão quando este for desconhecido) que expressa o tempo em tempo local, não UTC. Retorna um número em ponto flutuante, para ter compatibilidade com time(). Se o valor de entrada não puder ser representado como um tempo válido, ou OverflowError ou ValueError serão levantadas (o que irá depender se o valor inválido é capturado pelo Python ou por bibliotecas C subjacentes). A data mais recente para qual um tempo pode ser gerado é dependente da plataforma.

time.monotonic() → float

Retorna o valor (em frações de segundos) de um relógio monotônico, i.e. um relógio que não pode voltar a valores anteriores. O relógio não é afetado por atualizações do relógio do sistema. O ponto de referência do valor retornado é indefinido, portanto apenas a diferença entre os resultados de duas chamadas é válida.

Relógio:

No Windows, chama QueryPerformanceCounter() e QueryPerformanceFrequency().

No macOS, chama mach_absolute_time() e mach_timebase_info().

No HP-UX, chama gethrtime().

Chama clock_gettime(CLOCK_HIGHRES) se disponível.

Do contrário, chama clock_gettime(CLOCK_MONOTONIC).

Use monotonic_ns() para evitar perda de precisão causada pelo tipo float.

Adicionado na versão 3.3.

Alterado na versão 3.5: A função agora é sempre disponível e sempre de todo o sistema.

Alterado na versão 3.10: No macOS, a função agora é no âmbito do sistema.

time.monotonic_ns() → int

Semelhante à monotonic(), mas retorna tempo em nanossegundos.

Adicionado na versão 3.7.

time.perf_counter() → float

Retorna o valor (em frações de segundo) de um contador de desempenho, i.e. um relógio com a maior resolução disponível para medir uma duração curta. Inclui o tempo decorrido durante a pausa e é de todo o sistema. O ponto de referência é do valor retornado é indefinido, portanto apenas a diferença entre resultados de duas chamadas é válida.

Detalhes da implementação do CPython: On CPython, use the same clock than time.monotonic() and is a monotonic clock, i.e. a clock that cannot go backwards.

Use perf_counter_ns() para evitar perda de precisão causada pelo tipo float.

Adicionado na versão 3.3.

Alterado na versão 3.10: No Windows, a função agora é no âmbito do sistema.

Alterado na versão 3.13: Use the same clock than time.monotonic().

time.perf_counter_ns() → int

Semelhante à perf_counter(), mas retorna o tempo em nanossegundos.

Adicionado na versão 3.7.

time.process_time() → float

Retorna o valor (em frações de segundo) da soma dos tempos do sistema e CPU de usuário do processo atual. Não inclui o tempo decorrido durante a pausa. É de todo o processo por definição. O ponto de referência do valor retornado é indefinido, então apenas a diferença dos resultados de duas chamadas é válida.

Use process_time_ns() para evitar perda de precisão causada pelo tipo float.

Adicionado na versão 3.3.

time.process_time_ns() → int

Semelhante à process_time(), mas retorna o tempo em nanossegundos.

Adicionado na versão 3.7.

time.sleep(secs)

Suspende a execução da thread de chamada por um determinado número de segundos. O argumento pode ser um número de ponto flutuante para indicar um tempo de pausa mais preciso.

Se a pausa for interrompida por um sinal e nenhuma exceção for levantada pelo manipulador de sinal, a pausa será reiniciada com um tempo limite recalculado.

O tempo de suspensão pode ser maior do que o solicitado por um valor arbitrário, devido ao agendamento de outras atividades no sistema.

No Windows, se secs é zero, a thread renuncia ao restante de sua fatia de tempo para qualquer outra thread que esteja pronto para executar. Se nenhuma outra thread estiver pronta pra ser executada, a função retorna imediatamente, e a thread continua a execução. No Windows 8.1 e mais novos a implementação usa um temporizador de alta resolução [https://docs.microsoft.com/pt-br/windows-hardware/drivers/kernel/high-resolution-timers] que provê uma resolução de 100 nanossegundos. Se secs é zero, é usado Sleep(0).

Implementação no Unix:

Usa clock_nanosleep() se disponível (resolução: 1 nanossegundo);

Ou usa nanosleep() se disponível (resolução: 1 nanossegunda);

Ou usa select() (resolução: 1 microssegundo).

Levanta um evento de auditoria time.sleep com o argumento secs.

Alterado na versão 3.5: A função agora pausa por pelo menos secs mesmo se a pausa é interrompido por um sinal, exceto se o tratador de sinal levanta uma exceção (veja PEP 475 [https://peps.python.org/pep-0475/] para a explicação).

Alterado na versão 3.11: No Unix, as funções clock_nanosleep() e nanosleep() são agora usadas se estiverem disponíveis. No Windows, um temporizador aguardável é agora usado.

Alterado na versão 3.13: Levanta um evento de auditoria.

time.strftime(format[, t])

Converte a tupla ou struct_time representando um tempo como retornado por gmtime() ou localtime() para uma string como especificado pelo argumento format. Se t não é fornecido, o tempo atual como retornado pela localtime() é utilizado. format deve ser uma string. A exceção ValueError é levantada se qualquer campo em t está fora do intervalo permitido.

0 é um argumento legal para qualquer posição na tupla de tempo; se é normalmente ilegal, o valor é formado a um valor correto.

As diretivas a seguir podem ser incorporadas na string format. Elas estão mostradas sem os campos de comprimento e especificação de precisão opcionais, e estão substituídos pelos caracteres indicados no resultado da strftime():

Diretiva

Significado

Notas

%a

Nome abreviado do dia da semana da localidade.

%A

Nome completo do dia da semana da localidade.

%b

Nome abreviado do mês da localidade.

%B

Nome completo do mês da localidade.

%c

Representação de data e hora apropriada da localidade.

%d

Dia do mês como um número decimal [01,31].

%f

Microssegundos como um número decimal

[000000,999999].

(1)

%H

Hora (relógio 24 horas) como um número decimal [00,23].

%I

Hora (relógio 12 horas) como um número decimal [01,12].

%j

Dia do ano como um número decimal [001,366].

%m

Mês como um número decimal [01,12].

%M

Minuto como um número decimal [00,59].

%p

Equivalente da localidade a AM ou PM.

(2)

%S

Segundo como um número decimal [00,61].

(3)

%U

Número da semana do ano (domingo como primeiro dia da semana) como um número decimal [00,53]. Todos os dias em um ano novo que precedem o primeiro domingo são considerados como estando na semana 0.

(4)

%u

Day of the week (Monday is 1; Sunday is 7) as a decimal number [1, 7].

%w

Dia da semana como um número decimal [0(Domingo),6]

%W

Número da semana do ano (segunda-feira como o primeiro dia da semana) como um número decimal [00,53]. Todos os dias do ano que precedem o primeiro domingo serão considerados como estando na semana 0.

(4)

%x

Representação de data apropriada de localidade.

%X

Representação de hora apropriada da localidade.

%y

Ano sem século como um número decimal [00,99].

%Y

Ano com século como um número decimal.

%z

Deslocamento de fuso horário indicando uma diferença de tempo positiva ou negativa de UTC/GMT formatado como +HHMM ou -HHMM, onde H representa os dígitos decimais de hora e M representa os dígitos decimais de minuto [-23:59, +23:59]. [1]

%Z

Nome do fuso horário (nenhum caractere se nenhum fuso horário existe). Descontinuado. [1]

%G

ISO 8601 year (similar to %Y but follows the rules for the ISO 8601 calendar year). The year starts with the week that contains the first Thursday of the calendar year.

%V

ISO 8601 week number (as a decimal number [01,53]). The first week of the year is the one that contains the first Thursday of the year. Weeks start on Monday.

%%

Um caractere literal '%'.

Notas:

A diretiva de formatação %f é somente aplicada para strptime(), não para strftime(). Contudo, veja também datetime.datetime.strptime() e datetime.datetime.strftime() onde a diretiva de formatação %f é aplicada para microssegundos.

Quando utilizado com a função strptime(), a diretiva %p apenas afeta a saída do campo se a diretiva %I é utilizada para analisar a hora.

O intervalo é realmente 0 até 61; o valor 60 é válido em registros de data e hora representando segundos bissextos [https://en.wikipedia.org/wiki/Leap_second] e o valor 61 é suportado por razões históricas.

Quando utilizado co a função strptime(), %U e %W são utilizados em cálculos apenas quando o dia da semana e ano são especificados.

Veja este exemplo, um formato para datas compatível com as especificações dos padrões de e-mail RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]. [1]

>>> from time import gmtime, strftime
>>> strftime("%a, %d %b %Y %H:%M:%S +0000", gmtime())
'Thu, 28 Jun 2001 14:17:15 +0000'

Diretivas adicionais podem ser suportadas por algumas plataformas, mas apenas as listadas aqui possuem significado padronizado por ANSI C. Para ver a lista completa de códigos de formato suportados na sua plataforma, consulte a documentação strftime(3) [https://manpages.debian.org/strftime(3)].

Em algumas plataformas, um campo adicional de comprimento e especificação de precisão podem seguir imediatamente após '%' como uma diretiva da seguinte ordem; isto também não é portátil. O campo comprimento normalmente é 2 exceto para %j quando é 3.

time.strptime(string[, format])

Analisa a string representando um tempo de acordo com um formato. O valor retornado é um struct_time como retornado por gmtime() ou localtime().

O parâmetro format utiliza as mesmas diretivas das utilizadas por strftime(); é definido por padrão para "%a %b %d %H:%M:%S %Y" que corresponde com a formatação retornada por ctime(). Se string não puder ser analisada de acordo com format, ou se possui excesso de dados após analisar, ValueError é levantado. Os valores padrão utilizados para preencher quaisquer dados faltantes quando valores mais precisos não puderem ser inferidos são (1900, 1, 1, 0, 0, 0, 0, 1, -1). Ambos string e format devem ser strings.

Por exemplo:

>>> import time
>>> time.strptime("30 Nov 00", "%d %b %y")
time.struct_time(tm_year=2000, tm_mon=11, tm_mday=30, tm_hour=0, tm_min=0,
                 tm_sec=0, tm_wday=3, tm_yday=335, tm_isdst=-1)

Suporte para a diretiva %Z é baseado nos valores contidos em tzname e se daylight é verdade. Por causa disso, é específico de plataforma exceto por reconhecer UTC e GMT, que são sempre conhecidos (e considerados fuso horários sem horários de verão).

Apenas as diretivas especificadas na documentação são suportadas. Como strftime() é implementada por plataforma, esta pode apenas as vezes oferecer mais diretivas do que as listadas aqui. Mas strptime() é independente de quaisquer plataformas e portanto não necessariamente suporta todas as diretivas disponíveis que não estão documentadas como suportadas.

class time.struct_time

O tipo da sequência de valor de tempo retornado por gmtime(), localtime(), e strptime(). É um objeto com uma interface named tuple: os valores podem ser acessados por um índice e por um nome de atributo. Os seguintes valores estão presentes:

Índice

Atributo

Valores

0

tm_year

(por exemplo, 1993)

1

tm_mon

intervalo [1,12]

2

tm_mday

intervalo [1,31]

3

tm_hour

intervalo [0,23]

4

tm_min

intervalo [0,59]

5

tm_sec

intervalo [0, 61]; veja Nota (2) em strftime()

6

tm_wday

intervalo [0, 6]; segunda-feira é 0

7

tm_yday

intervalo [1, 366]

8

tm_isdst

0, 1 ou -1; veja abaixo

N/D

tm_zone

abreviação do nome do fuso horário

N/D

tm_gmtoff

deslocamento a leste de UTC em segundos

Note que diferentemente da estrutura C, o valor do mês é um intervalo [1,12] e não [0,11].

Em chamadas para mktime(), tm_isdst pode ser definido como 1 quando o horário de verão estiver em efeito, e 0 quando não. Um valor de -1 indica que esta informação não é conhecida, e geralmente resultará no preenchimento do estado correto.

Quando uma tupla com comprimento incorreto é passada para uma função que espera por um struct_time, ou por possuir elementos do tipo errado, um TypeError é levantado.

time.time() → float

Retorna o tempo em segundos desde a era [https://en.wikipedia.org/wiki/Leap_second] como um número em ponto flutuante. A manipulação de segundos bissextos é dependente da plataforma. No Windows e na maioria dos sistemas Unix, o segundo bissexto não é contado para o tempo desde a era_. Isso é comumente referido como era Unix [https://en.wikipedia.org/wiki/Unix_time].

Note que mesmo o tempo sendo retornado sempre como um número em ponto flutuante, nem todos os sistemas fornecem o tempo com precisão melhor que 1 segundo. Enquanto esta função normalmente retorna valores não decrescentes, pode retornar valores menores do que os de uma chamada anterior se o relógio do sistema foi redefinido entre duas chamadas.

O número retornado por time() pode ser convertido a um formato de tempo mais comum (i.e. ano, mês, dia, hora etc…) em UTC por passá-lo para a função gmtime() ou em tempo local por passar para a função localtime(). Em ambos os casos, o objeto struct_time é retornado, por onde os componentes de data do calendário podem ser acessados ou atribuídos.

Relógio:

No Windows, chama GetSystemTimeAsFileTime().

Chama clock_gettime(CLOCK_REALTIME) se disponível.

Caso contrário, chama gettimeofday().

Use time_ns() para evitar perda de precisão causada pelo tipo float.

time.time_ns() → int

Semelhante à time(), mas retorna o tempo como um número inteiro de nanossegundos desde a era.

Adicionado na versão 3.7.

time.thread_time() → float

Retorna o valor (em fração de segundos) da soma dos tempos de sistema e CPU de usuário para a thread atual. Não inclui o tempo decorrido durante a pausa. É específico a thread por definição. O ponto de referência do valor retornado é indefinido, então apenas a diferença dos resultados de duas chamadas é válida.

Use thread_time_ns() para evitar perda de precisão causada pelo tipo float.

Disponibilidade

Sistemas Unix possuem suporte para CLOCK_THREAD_CPUTIME_ID.

Adicionado na versão 3.7.

time.thread_time_ns() → int

Semelhante à thread_time(), mas retorna o tempo em nanossegundos.

Adicionado na versão 3.7.

time.tzset()

Redefine as regras de conversão utilizadas pelas rotinas da biblioteca. A variável de ambiente TZ especifica como isto é feito. Também irá redefinir as variáveis tzname (da variável de ambiente TZ), timezone (segundos sem horário de verão a oeste de UTC), altzone (segundos com horário de verão a oeste de UTC) e daylight (para 0 se este fuso horário não possui nenhuma regra de horário de verão, ou diferente de zero se há um tempo, no presente, passado ou futuro quando o horário de verão se aplica).

Disponibilidade

Nota

Embora em vários casos, alterar a variável de sistema TZ pode afetar a saída de funções como localtime() sem chamar tzset(), este comportamento não deve ser confiado.

A variável de sistema TZ não deve conter espaços em branco.

O formato padrão da variável de sistema TZ é (espaços foram adicionados por motivos de clareza):

std offset [dst [offset [,start[/time], end[/time]]]]

Onde os componentes são:

std e dst

Três ou mais alfanuméricos fornecendo a abreviação do fuso horário. Estes serão propagados para time.tzname

offset

O deslocamento tem a forma: ± hh[:mm[:ss]]. Isso indica que o valor adicionado adicionou o horário local para chegar a UTC. Se precedido por um ‘-’, o fuso horário está a leste do Meridiano Primário; do contrário, está a oeste. Se nenhum deslocamento segue o horário de verão, o tempo no verão é presumido como estando uma hora a frente do horário padrão.

start[/time], end[/time]

Indica quando mudar e voltar do Horário de Verão. O formato das datas de início e fim é um dos seguintes:

Jn

I dia juliano n (1 <= n <= 365). Os dias bissextos não são contados, então, em todos os anos, 28 de fevereiro é o dia 59 e 1 de março é o dia 60.

n

O dia juliano baseado em zero (0 <= n <= 365). Dias bissextos são contados, e é possível fazer referência a 29 de fevereiro.

Mm.n.d

O d-ésimo dia (0 <= d <= 6) da semana n do mês m do ano (1 <= n <= 5, 1 <= m <= 12, onde semana 5 significa “o último dia d no mês m” que pode ocorrer tanto na quarta como quinta semana). Semana 1 é a primeira semana na qual o d-ésimo dia ocorre. Dia zero é o domingo.

time tem o mesmo formato que offset, exceto que nenhum sinal no início é permitido (‘-’ ou ‘+’). O padrão, se o tempo não é dado, é 02:00:00.

>>> os.environ['TZ'] = 'EST+05EDT,M4.1.0,M10.5.0'
>>> time.tzset()
>>> time.strftime('%X %x %Z')
'02:07:36 05/08/03 EDT'
>>> os.environ['TZ'] = 'AEST-10AEDT-11,M10.5.0,M3.5.0'
>>> time.tzset()
>>> time.strftime('%X %x %Z')
'16:08:12 05/08/03 AEST'

Em muitos sistemas Unix (incluindo *BSD, Linux, Solaris, e Darwin), é mais conveniente utilizar o banco de dados de informação de fuso do sistema (tzfile(5) [https://manpages.debian.org/tzfile(5)]) para especificar as regras de fuso horário. Para fazer isso, defina a variável de sistema TZ ao path do arquivo de dados requerido de fuso horários, relativo à raiz do banco de dados de fuso horário ‘zoneinfo’ do sistema, geralmente encontrado em /usr/share/zoneinfo. Por exemplo, 'US/Eastern', 'Australia/Melbourne', 'Egypt' ou 'Europe/Amsterdam'.

>>> os.environ['TZ'] = 'US/Eastern'
>>> time.tzset()
>>> time.tzname
('EST', 'EDT')
>>> os.environ['TZ'] = 'Egypt'
>>> time.tzset()
>>> time.tzname
('EET', 'EEST')

Constantes de ID de Relógio

Essas constantes são utilizadas como parâmetros para clock_getres() e clock_gettime().

time.CLOCK_BOOTTIME

Idêntica a CLOCK_MONOTONIC, exceto por também incluir qualquer tempo que o sistema está suspenso.

Isto permite que aplicações recebam um relógio monotônico consciente suspenso sem precisar lidar com as complicações de CLOCK_REALTIME, que pode conter descontinuidades se o tempo é alterado utilizando settimeofday() ou algo semelhante.

Disponibilidade

Adicionado na versão 3.7.

time.CLOCK_HIGHRES

O Solaris OS possui um timer CLOCK_HIGHRES que tenta utilizar recursos otimizados do hardware, e pode fornecer resolução perto de nanossegundos. CLOCK_HIGHRES é o relógio nanoajustável de alta resolução.

Disponibilidade

Adicionado na versão 3.3.

time.CLOCK_MONOTONIC

Relógio que não pode ser definido e representa um tempo monotônico desde um ponto de início não especificado.

Disponibilidade

Adicionado na versão 3.3.

time.CLOCK_MONOTONIC_RAW

Semelhante à CLOCK_MONOTONIC, mas fornece acesso a um tempo bruto baseado em hardware que não está sujeito a ajustes NTP.

Disponibilidade

Adicionado na versão 3.3.

time.CLOCK_MONOTONIC_RAW_APPROX

Semelhante a CLOCK_MONOTONIC_RAW, mas lê um armazenado pelo sistema no gerenciador de contexto e, portanto, tem menor precisão.

Disponibilidade

Adicionado na versão 3.13.

time.CLOCK_PROCESS_CPUTIME_ID

Timer de alta resolução por processo no CPU.

Disponibilidade

Adicionado na versão 3.3.

time.CLOCK_PROF

Timer de alta resolução por processo no CPU.

Disponibilidade

Adicionado na versão 3.7.

time.CLOCK_TAI

Tempo Atômico Internacional [https://www.nist.gov/pml/time-and-frequency-division/nist-time-frequently-asked-questions-faq#tai]

O sistema deve ter uma tabela de segundos bissextos para que possa fornecer a resposta correta. Softwares PTP ou NTP podem manter uma tabela de segundos bissextos.

Disponibilidade

Adicionado na versão 3.9.

time.CLOCK_THREAD_CPUTIME_ID

Relógio de tempo de CPU específico a thread.

Disponibilidade

Adicionado na versão 3.3.

time.CLOCK_UPTIME

Tempo cujo valor absoluto é o tempo que o sistema está sendo executado e não suspenso, fornecendo medidas de tempo de atividade precisas, tanto em valor absoluto quanto intervalo.

Disponibilidade

Adicionado na versão 3.7.

time.CLOCK_UPTIME_RAW

Relógio que incrementa de forma monotônica, contando o tempo desde um ponto arbitrário, não afetado pela frequência ou ajustes de tempo e não incrementado enquanto o sistema está dormindo.

Disponibilidade

Adicionado na versão 3.8.

time.CLOCK_UPTIME_RAW_APPROX

Semelhante a CLOCK_UPTIME_RAW, mas o valor é armazenado pelo sistema no gerenciador de contexto e, portanto, tem menor precisão.

Disponibilidade

Adicionado na versão 3.13.

A constante a seguir é o único parâmetro que pode ser enviado para clock_settime().

time.CLOCK_REALTIME

Relógio em tempo real de todo o sistema. Definições deste relógio requerem privilégios apropriados.

Disponibilidade

Adicionado na versão 3.3.

Constantes de Fuso Horário

time.altzone

O deslocamento do fuso horário DST local, em segundos a oeste de UTC, se algum for fornecido. É negativo se o fuso horário DST local está a leste de UTC (como na Europa Ocidental, incluindo o Reino Unido). Somente utilize se daylight for diferente de zero. Veja a nota abaixo.

time.daylight

Diferente de zero se um fuso horário DST é definido. Veja nota abaixo.

time.timezone

O deslocamento para o fuso horário local (não DST), em segundos a oeste de UTC (negativo na maior parte da Europa Ocidental, positivo nos Estados Unidos e Brasil, zero no Reino Unido). Ver nota abaixo.

time.tzname

A tupla de duas strings: A primeira é o nome do fuso horário local não DST, a segunda é o nome do fuso horário local DST. Se nenhum fuso horário DST for definido, a segunda string é usada. Veja nota abaixo.

Nota

Para as constantes de Fuso Horário acima (altzone, daylight, timezone, e tzname), o valor é determinado pelas regras de fuso horário em efeito no módulo de carregamento de tempo ou a última vez que tzset() é chamada e pode estar incorreto para tempos no passado. É recomendado utilizar os resultados tm_gmtoff e tm_zone da localtime() para obter informação de fuso horário.

Ver também

Módulo datetime

Mais interfaces orientada a objetos para datas e tempos.

Módulo locale

Serviços de internacionalização. A configuração de localidade afeta a interpretação de muitos especificadores de formato em strftime() e strptime().

Módulo calendar

Funções gerais relacionadas a calendários. timegm() é a função inversa de gmtime() deste módulo.

Notas de rodapé

[1] (1,2,3)

A utilização de %Z está descontinuada, mas o escape %z que expande para um deslocamento hora/minuto preferido não é suportado por todas as bibliotecas ANSI C. Além disso, a leitura do padrão original RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] de 1982 mostra que este pede um ano com dois dígitos (%y em vez de %Y), mas a prática consolidou a utilização de anos com 4 dígitos mesmo antes dos anos 2000. Após isso, o RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] tornou-se obsoleto e o ano de 4 dígitos foi primeiro recomendado por RFC 1123 [https://datatracker.ietf.org/doc/html/rfc1123.html] e depois obrigatório por RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html].

argparse — Analisador sintático para opções de linha de comando, argumentos e subcomandos

Adicionado na versão 3.2.

Código-fonte: Lib/argparse.py [https://github.com/python/cpython/tree/3.13/Lib/argparse.py]

Tutorial

Esta página contém informações da API de Referência. Para uma introdução mais prática para o parser de linha de comando Python, acesse o tutorial do argparse.

O módulo argparse torna fácil a escrita de interfaces de linha de comando amigáveis. O programa define quais argumentos são necessários e argparse descobrirá como analisá-lo e interpretá-los a partir do sys.argv. O módulo argparse também gera automaticamente o texto ajuda e mensagens de uso. O módulo também vai emitir erros quando o usuário prover argumentos inválidos para o programa.

O suporte do módulo argparse para interfaces de linha de comando é construído em torno de uma instância de argparse.ArgumentParser. É um contêiner para especificações de argumentos e possui opções que se aplicam ao analisador sintático como um todo:

parser = argparse.ArgumentParser(
                    prog='NomePrograma',
                    description='O que o programa faz',
                    epilog='Texto na parte inferior da memsagem de ajuda')

O método ArgumentParser.add_argument() anexa especificações de argumentos individuais ao analisador. Ele oferece suporte a argumentos posicionais, opções que aceitam valores e sinalizadores liga/desliga:

parser.add_argument('filename')           # argumento posicional
parser.add_argument('-c', '--count')      # a opção recebe um valor
parser.add_argument('-v', '--verbose',
                    action='store_true')  # sinalizador de ligar/desligar

O método ArgumentParser.parse_args() executa o analisador e coloca os dados extraídos em um objeto argparse.Namespace:

args = parser.parse_args()
print(args.filename, args.count, args.verbose)

Nota

Se você estiver procurando um guia sobre como atualizar um código optparse para argparse, veja Atualizando código optparse.

Objetos ArgumentParser

class argparse.ArgumentParser(prog=None, usage=None, description=None, epilog=None, parents=[], formatter_class=argparse.HelpFormatter, prefix_chars='-', fromfile_prefix_chars=None, argument_default=None, conflict_handler='error', add_help=True, allow_abbrev=True, exit_on_error=True)

Cria um novo objeto ArgumentParser. Todos os parâmetros devem ser passados como argumentos nomeados. Cada parâmetro tem sua própria descrição mais detalhada abaixo, mas em resumo eles são:

prog - O nome do programa (padrão: os.path.basename(sys.argv[0]))

usage - A string que descreve o uso do programa (padrão: gerado a partir de argumentos adicionados ao analisador sintático)

description - Texto para exibir antes da ajuda dos argumentos (por padrão, nenhum texto)

epilog - Texto para exibir após da ajuda dos argumentos (por padrão, nenhum texto)

parents - Uma lista de objetos ArgumentParser cujos argumentos também devem ser incluídos

formatter_class - Uma classe para personalizar a saída de ajuda

prefix_chars - O conjunto de caracteres que prefixam argumentos opcionais (padrão: “-“)

fromfile_prefix_chars - O conjunto de caracteres que prefixam os arquivos dos quais os argumentos adicionais devem ser lidos (padrão: None)

argument_default - O valor padrão global para argumentos (padrão: None)

conflict_handler - A estratégia para resolver opcionais conflitantes (geralmente desnecessário)

add_help - Adiciona uma opção -h/--help para o analisador sintático (padrão: True)

allow_abbrev - Permite que opções longas sejam abreviadas se a abreviação não for ambígua. (padrão: True)

exit_on_error - Determina se ArgumentParser sai ou não com informações de erro quando ocorre um erro. (padrão: True)

Alterado na versão 3.5: O parâmetro allow_abbrev foi adicionado.

Alterado na versão 3.8: Em versões anteriores, allow_abbrev também desabilitava o agrupamento de sinalizadores curtos, como -vv para significar -v -v.

Alterado na versão 3.9: O parâmetro exit_on_error foi adicionado.

As seções a seguir descrevem como cada um deles é usado.

prog

Por padrão, ArgumentParser calcula o nome do programa a ser exibido nas mensagens de ajuda dependendo da maneira como o interpretador Python foi executado:

O nome base de sys.argv[0] se um arquivo foi passado como argumento.

O nome do interpretador Python seguido por sys.argv[0] se um diretório ou um arquivo zip foi passado como argumento.

O nome do interpretador Python seguido por -m seguido pelo nome do módulo ou pacote se a opção -m foi usada.

Este padrão é quase sempre desejável porque fará com que as mensagens de ajuda correspondam à string que foi usada para invocar o programa na linha de comando. No entanto, para alterar esse comportamento padrão, outro valor pode ser fornecido usando o argumento prog= para ArgumentParser:

>>> parser = argparse.ArgumentParser(prog='meuprograma')
>>> parser.print_help()
usage: meuprograma [-h]

options:
 -h, --help  show this help message and exit

Observe que o nome do programa, seja determinado a partir de sys.argv[0] ou do argumento prog=, está disponível para mensagens de ajuda usando o especificador de formato %(prog)s.

>>> parser = argparse.ArgumentParser(prog='meuprograma')
>>> parser.add_argument('--foo', help='foo do programa %(prog)s')
>>> parser.print_help()
usage: meuprograma [-h] [--foo FOO]

options:
 -h, --help  show this help message and exit
 --foo FOO   foo do programa meuprograma

usage

Por padrão, ArgumentParser calcula a mensagem de uso a partir dos argumentos que contém. A mensagem padrão pode ser substituída pelo argumento nomeado usage=:

>>> parser = argparse.ArgumentParser(prog='PROG', usage='%(prog)s [options]')
>>> parser.add_argument('--foo', nargs='?', help='foo help')
>>> parser.add_argument('bar', nargs='+', help='bar help')
>>> parser.print_help()
usage: PROG [options]

positional arguments:
 bar          bar help

options:
 -h, --help   show this help message and exit
 --foo [FOO]  foo help

O especificador de formato %(prog)s está disponível para preencher o nome do programa em suas mensagens de uso.

description

A maioria das chamadas para o construtor ArgumentParser usará o argumento nomeado description=. Este argumento fornece uma breve descrição do que o programa faz e como funciona. Nas mensagens de ajuda, a descrição é exibida entre a string de uso da linha de comando e as mensagens de ajuda para os vários argumentos.

Por padrão, a descrição terá sua linha quebrada para que se encaixe no espaço fornecido. Para alterar esse comportamento, consulte o argumento formatter_class.

epilog

Alguns programas gostam de exibir uma descrição adicional do programa após a descrição dos argumentos. Esse texto pode ser especificado usando o argumento epilog= para ArgumentParser:

>>> parser = argparse.ArgumentParser(
...     description='Um foo que faz bars',
...     epilog="E é assim que você faria foo de bar")
>>> parser.print_help()
usage: argparse.py [-h]

Um foo que faz bars

options:
 -h, --help  show this help message and exit

E é assim que você faria foo de bar

Tal como acontece com o argumento description, o texto de epilog= tem sua quebra de linha habilitada por padrão, mas este comportamento pode ser ajustado com o argumento formatter_class para ArgumentParser.

parents

Às vezes, vários analisadores sintáticos compartilham um conjunto comum de argumentos. Ao invés de repetir as definições desses argumentos, um único analisador com todos os argumentos compartilhados e passado para o argumento parents= para ArgumentParser pode ser usado. O argumento parents= pega uma lista de objetos ArgumentParser, coleta todas as ações posicionais e opcionais deles, e adiciona essas ações ao objeto ArgumentParser sendo construído:

>>> parent_parser = argparse.ArgumentParser(add_help=False)
>>> parent_parser.add_argument('--parent', type=int)

>>> foo_parser = argparse.ArgumentParser(parents=[parent_parser])
>>> foo_parser.add_argument('foo')
>>> foo_parser.parse_args(['--parent', '2', 'XXX'])
Namespace(foo='XXX', parent=2)

>>> bar_parser = argparse.ArgumentParser(parents=[parent_parser])
>>> bar_parser.add_argument('--bar')
>>> bar_parser.parse_args(['--bar', 'YYY'])
Namespace(bar='YYY', parent=None)

Observe que a maioria dos analisadores sintáticos pais especificará add_help=False. Caso contrário, o ArgumentParser verá duas opções -h/--help (uma no pai e outra no filho) e levantará um erro.

Nota

Você deve inicializar totalmente os analisadores sintáticos antes de passá-los via parents=. Se você alterar os analisadores pais após o analisador filho, essas mudanças não serão refletidas no filho.

formatter_class

Objetos ArgumentParser permitem que a formação do texto de ajuda seja personalizada por meio da especificação de uma classe de formatação alternativa. Atualmente, há quatro dessas classes:

class argparse.RawDescriptionHelpFormatter

class argparse.RawTextHelpFormatter

class argparse.ArgumentDefaultsHelpFormatter

class argparse.MetavarTypeHelpFormatter

RawDescriptionHelpFormatter e RawTextHelpFormatter dão mais controle sobre como as descrições textuais são exibidas. Por padrão, objetos ArgumentParser quebram em linha os textos description e epilog nas mensagens de ajuda da linha de comando:

>>> parser = argparse.ArgumentParser(
...     prog='PROG',
...     description='''esta descrição
...         foi indentada de forma estranha,
...             mas está tudo bem''',
...     epilog='''
...             da mesma forma para este epílogo, cujos espaços vão
...         ser apagados e cujas palavras serão quebradas
...         em algumas linhas''')
>>> parser.print_help()
usage: PROG [-h]

this description was indented weird but that is okay

options:
 -h, --help  show this help message and exit

da mesma forma para este epílogo, cujos espaços vão ser apagados e
cujas palavras serão quebradas em algumas linhas

Passar RawDescriptionHelpFormatter como formatter_class= indica que description e epilog já estão formatados corretamente e não devem ter suas linhas quebradas:

>>> parser = argparse.ArgumentParser(
...     prog='PROG',
...     formatter_class=argparse.RawDescriptionHelpFormatter,
...     description=textwrap.dedent('''\
...         Por favor, não bagunce este texto!
...         --------------------------------
...             Eu indentei o texto
...             exatamente na forma
...             que quero que fique
...         '''))
>>> parser.print_help()
usage: PROG [-h]

Por favor, não bagunce este texto!
--------------------------------
   Eu indentei o texto
   exatamente na forma
   que quero que fique

options:
 -h, --help  show this help message and exit

RawTextHelpFormatter mantém espaços em branco para todos os tipos de texto de ajuda, incluindo descrições de argumentos. No entanto, várias novas linhas são substituídas por uma. Se você deseja preservar várias linhas em branco, adicione espaços entre as novas linhas.

ArgumentDefaultsHelpFormatter adiciona automaticamente informações sobre os valores padrão para cada uma das mensagens de ajuda do argumento:

>>> parser = argparse.ArgumentParser(
...     prog='PROG',
...     formatter_class=argparse.ArgumentDefaultsHelpFormatter)
>>> parser.add_argument('--foo', type=int, default=42, help='FOO!')
>>> parser.add_argument('bar', nargs='*', default=[1, 2, 3], help='BAR!')
>>> parser.print_help()
usage: PROG [-h] [--foo FOO] [bar ...]

positional arguments:
 bar         BAR! (default: [1, 2, 3])

options:
 -h, --help  show this help message and exit
 --foo FOO   FOO! (default: 42)

MetavarTypeHelpFormatter usa o nome de argumento type para cada argumento como o nome de exibição para seus valores (em vez de usar o dest como o formatador regular faz):

>>> parser = argparse.ArgumentParser(
...     prog='PROG',
...     formatter_class=argparse.MetavarTypeHelpFormatter)
>>> parser.add_argument('--foo', type=int)
>>> parser.add_argument('bar', type=float)
>>> parser.print_help()
usage: PROG [-h] [--foo int] float

positional arguments:
  float

options:
  -h, --help  show this help message and exit
  --foo int

prefix_chars

A maioria das opções de linha de comando usará - como prefixo, por exemplo, -f/--foo. Analisadores sintáticos que precisam ter suporte a caracteres de prefixo diferentes ou adicionais, por exemplo, para opções como +f ou /foo, podem especificá-las usando o argumento prefix_chars= para o construtor ArgumentParser:

>>> parser = argparse.ArgumentParser(prog='PROG', prefix_chars='-+')
>>> parser.add_argument('+f')
>>> parser.add_argument('++bar')
>>> parser.parse_args('+f X ++bar Y'.split())
Namespace(bar='Y', f='X')

O argumento prefix_chars= é padronizado como '-'. Fornecer um conjunto de caracteres que não inclua - fará com que as opções -f/--foo não sejam permitidas.

fromfile_prefix_chars

Às vezes ao lidar com uma lista de argumentos particularmente longa, pode fazer sentido manter a lista de argumentos em um arquivo em vez de digitá-la na linha de comando. Se o argumento fromfile_prefix_chars= for dado ao construtor ArgumentParser, então os argumentos que começam com qualquer um dos caracteres especificados serão tratados como arquivos e serão substituídos pelos argumentos que eles contêm. Por exemplo:

>>> with open('args.txt', 'w', encoding=sys.getfilesystemencoding()) as fp:
...     fp.write('-f\nbar')
...
>>> parser = argparse.ArgumentParser(fromfile_prefix_chars='@')
>>> parser.add_argument('-f')
>>> parser.parse_args(['-f', 'foo', '@args.txt'])
Namespace(f='bar')

Os argumentos lidos de um arquivo devem, por padrão, ser um por linha (mas veja também convert_arg_line_to_args()) e são tratados como se estivessem no mesmo lugar que o argumento de referência do arquivo original na linha de comando. Portanto, no exemplo acima, a expressão ['-f', 'foo', '@args.txt'] é considerada equivalente à expressão ['-f', 'foo', '-f', 'bar'].

ArgumentParser usa tratador de erros e codificação do sistema de arquivos para ler o arquivo que contém argumentos.

O argumento fromfile_prefix_chars= é padronizado como None, significando que os argumentos nunca serão tratados como referências de arquivo.

Alterado na versão 3.12: ArgumentParser alterou a codificação e os erros para ler arquivos de argumentos do padrão (por exemplo, locale.getpreferredencoding(False) e "strict") para tratador de erros e codificação do sistema de arquivos. O arquivo de argumentos deve ser codificado em UTF-8 em vez de página de código ANSI no Windows.

argument_default

Geralmente, os padrões dos argumentos são especificados passando um padrão para add_argument() ou chamando os métodos set_defaults() com um conjunto específico de pares nome-valor. Às vezes, no entanto, pode ser útil especificar um único padrão para todo o analisador para argumentos. Isso pode ser feito passando o argumento nomeado argument_default= para ArgumentParser. Por exemplo, para suprimir globalmente a criação de atributos em chamadas parse_args(), fornecemos argument_default=SUPPRESS:

>>> parser = argparse.ArgumentParser(argument_default=argparse.SUPPRESS)
>>> parser.add_argument('--foo')
>>> parser.add_argument('bar', nargs='?')
>>> parser.parse_args(['--foo', '1', 'BAR'])
Namespace(bar='BAR', foo='1')
>>> parser.parse_args([])
Namespace()

allow_abbrev

Normalmente, quando você passa uma lista de argumentos para o método parse_args() de um ArgumentParser, ele reconhece as abreviações de opções longas.

Este recurso pode ser desabilitado configurando allow_abbrev para False:

>>> parser = argparse.ArgumentParser(prog='PROG', allow_abbrev=False)
>>> parser.add_argument('--foobar', action='store_true')
>>> parser.add_argument('--foonley', action='store_false')
>>> parser.parse_args(['--foon'])
usage: PROG [-h] [--foobar] [--foonley]
PROG: error: unrecognized arguments: --foon

Adicionado na versão 3.5.

conflict_handler

Objetos ArgumentParser não permitem duas ações com a mesma string de opções. Por padrão, objetos ArgumentParser levantam uma exceção se for feita uma tentativa de criar um argumento com uma string de opção que já esteja em uso:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-f', '--foo', help='ajuda antiga de foo')
>>> parser.add_argument('--foo', help='nova ajuda de foo')
Traceback (most recent call last):
 ..
ArgumentError: argument --foo: conflicting option string(s): --foo

Às vezes (por exemplo, ao usar os parents) pode ser útil simplesmente substituir quaisquer argumentos mais antigos com a mesma string de opções. Para obter este comportamento, o valor 'resolve' pode ser fornecido ao argumento conflict_handler= de ArgumentParser:

>>> parser = argparse.ArgumentParser(prog='PROG', conflict_handler='resolve')
>>> parser.add_argument('-f', '--foo', help='ajuda antiga de foo')
>>> parser.add_argument('--foo', help='nova ajuda de foo')
>>> parser.print_help()
usage: PROG [-h] [-f FOO] [--foo FOO]

options:
 -h, --help  show this help message and exit
 -f FOO      ajuda antiga de foo
 --foo FOO   nova ajuda de foo

Observe que os objetos ArgumentParser só removem uma ação se todas as suas strings de opção forem substituídas. Assim, no exemplo acima, a antiga ação -f/--foo é mantida como a ação -f, porque apenas a string de opção --foo foi substituída.

add_help

Por padrão, os objetos ArgumentParser adicionam uma opção que simplesmente exibe a mensagem de ajuda do parser. Se -h ou --help for fornecido na linha de comando, a ajuda do ArgumentParser será exibida.

Às vezes, pode ser útil desabilitar o acréscimo desta opção de ajuda. Isto pode ser feito passando False como o argumento add_help= para a classe ArgumentParser:

>>> parser = argparse.ArgumentParser(prog='PROG', add_help=False)
>>> parser.add_argument('--foo', help='ajuda de foo')
>>> parser.print_help()
usage: PROG [--foo FOO]

options:
 --foo FOO  ajuda de foo

A opção de ajuda é normalmente -h/--help. A exceção a isso é se o prefix_chars= for especificado e não incluir -, neste caso -h e --help não são opções válidas. Neste caso, o primeiro caractere em prefix_chars é usado para prefixar as opções de ajuda:

>>> parser = argparse.ArgumentParser(prog='PROG', prefix_chars='+/')
>>> parser.print_help()
usage: PROG [+h]

options:
  +h, ++help  show this help message and exit

exit_on_error

Normalmente, quando você passa uma lista de argumentos inválidos para o método parse_args() de uma instância de ArgumentParser, ele vai exibir uma message para sys.stderr e vai sair com o código de status de 2.

Se o usuário quiser detectar erros manualmente, o recurso pode ser habilitado configurando exit_on_error para False:

>>> parser = argparse.ArgumentParser(exit_on_error=False)
>>> parser.add_argument('--integers', type=int)
_StoreAction(option_strings=['--integers'], dest='integers', nargs=None, const=None, default=None, type=<class 'int'>, choices=None, help=None, metavar=None)
>>> try:
...     parser.parse_args('--integers a'.split())
... except argparse.ArgumentError:
...     print('Capturando um argumentError')
...
Capturando um argumentError

Adicionado na versão 3.9.

O método add_argument()

ArgumentParser.add_argument(name or flags...[, action][, nargs][, const][, default][, type][, choices][, required][, help][, metavar][, dest][, deprecated])

Define como um único argumento de linha de comando deve ser analisado. Cada parâmetro tem sua própria descrição mais detalhada abaixo, mas resumidamente são eles:

name ou flags - Um nome ou uma lista de strings de opções, por exemplo. foo ou -f, --foo.

action - O tipo básico de ação a ser executada quando esse argumento é encontrado na linha de comando.

nargs - O número de argumentos de linha de comando que devem ser consumidos.

const - Um valor constante exigido por algumas seleções action e nargs.

default - O valor produzido se o argumento estiver ausente da linha de comando e se estiver ausente do objeto espaço de nomes.

type - O tipo para o qual o argumento de linha de comando deve ser convertido.

choices - Uma sequência dos valores permitidos para o argumento.

required - Se a opção de linha de comando pode ou não ser omitida (somente opcionais).

help - Uma breve descrição do que o argumento faz.

metavar - Um nome para o argumento nas mensagens de uso.

dest - O nome do atributo a ser adicionado ao objeto retornado por parse_args().

deprecated - Se o uso do argumento foi descontinuado ou não.

As seções a seguir descrevem como cada um deles é usado.

name ou flags

O método add_argument() deve saber se um argumento opcional, como -f ou --foo, ou um argumento posicional, como uma lista de nomes de arquivos, é esperado. Os primeiros argumentos passados ​​para add_argument() devem, portanto, ser uma série de sinalizadores ou um simples nome de argumento.

Por exemplo, um argumento opcional poderia ser criado como:

>>> parser.add_argument('-f', '--foo')

enquanto um argumento posicional pode ser criado como:

>>> parser.add_argument('bar')

Quando parse_args() é chamado, argumentos opcionais serão identificados pelo prefixo -, e os argumentos restantes serão considerados posicionais:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-f', '--foo')
>>> parser.add_argument('bar')
>>> parser.parse_args(['BAR'])
Namespace(bar='BAR', foo=None)
>>> parser.parse_args(['BAR', '--foo', 'FOO'])
Namespace(bar='BAR', foo='FOO')
>>> parser.parse_args(['--foo', 'FOO'])
usage: PROG [-h] [-f FOO] bar
PROG: error: the following arguments are required: bar

action

Objetos ArgumentParser associam argumentos de linha de comando com ações. Essas ações podem fazer praticamente qualquer coisa com os argumentos de linha de comando associados a elas, embora a maioria das ações simplesmente adicione um atributo ao objeto retornado por parse_args(). O argumento nomeado action especifica como os argumentos da linha de comando devem ser tratados. As ações fornecidas são:

'store' - Isso apenas armazena o valor do argumento. Esta é a ação padrão.

'store_const' - Isso armazena o valor especificado pelo argumento nomeado const; observe que o argumento nomeado const tem como padrão None. A ação 'store_const' é mais comumente usada com argumentos opcionais que especificam algum tipo de sinalizador. Por exemplo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action='store_const', const=42)
>>> parser.parse_args(['--foo'])
Namespace(foo=42)

'store_true' e 'store_false' - Estes são casos especiais de 'store_const' usados para armazenar os valores True e False respectivamente. Além disso, eles criam valores padrão de False e True respectivamente.

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action='store_true')
>>> parser.add_argument('--bar', action='store_false')
>>> parser.add_argument('--baz', action='store_false')
>>> parser.parse_args('--foo --bar'.split())
Namespace(foo=True, bar=False, baz=True)

'append' - Isso armazena uma lista e anexa cada valor de argumento à lista. É útil permitir que uma opção seja especificada várias vezes. Se o valor padrão não estiver vazio, os elementos padrão estarão presentes no valor analisado da opção, com quaisquer valores da linha de comando anexados após esses valores padrão. Exemplo de uso:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action='append')
>>> parser.parse_args('--foo 1 --foo 2'.split())
Namespace(foo=['1', '2'])

'append_const' - Isso armazena uma lista e anexa o valor especificado pelo argumento nomeado const à lista; observe que o argumento nomeado const tem como padrão None. A ação 'append_const' é normalmente útil quando vários argumentos precisam armazenar constantes na mesma lista. Por exemplo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--str', dest='types', action='append_const', const=str)
>>> parser.add_argument('--int', dest='types', action='append_const', const=int)
>>> parser.parse_args('--str --int'.split())
Namespace(types=[<class 'str'>, <class 'int'>])

'extend' - Isso armazena uma lista e anexa cada item da lista de argumentos multivalorada a ela. A ação 'extend' é normalmente usada com o valor do argumento nomeado nargs '+' ou '*'. Observe que quando nargs é None (o padrão) ou '?', cada caractere da string do argumento será anexado à lista. Exemplo de uso:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument("--foo", action="extend", nargs="+", type=str)
>>> parser.parse_args(["--foo", "f1", "--foo", "f2", "f3", "f4"])
Namespace(foo=['f1', 'f2', 'f3', 'f4'])

Adicionado na versão 3.8.

'count' - Isso conta o número de vezes que um argumento nomeado ocorre. Por exemplo, isso é útil para aumentar os níveis de verbosidade:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--verbose', '-v', action='count', default=0)
>>> parser.parse_args(['-vvv'])
Namespace(verbose=3)

Observe que o padrão será None, a menos que seja explicitamente definido como 0.

'help' - Isso imprime uma mensagem de ajuda completa para todas as opções no analisador sintático atual e sai. Por padrão, uma ação de ajuda é adicionada automaticamente ao analisador sintático. Veja ArgumentParser para detalhes de como a saída é criada.

'version' - Isso espera um argumento nomeado version= na chamada add_argument() e imprime informações de versão e sai quando invocado:

>>> import argparse
>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('--version', action='version', version='%(prog)s 2.0')
>>> parser.parse_args(['--version'])
PROG 2.0

Somente ações que consomem argumentos de linha de comando (por exemplo, 'store', 'append' ou 'extend') podem ser usadas com argumentos posicionais.

Você também pode especificar uma ação arbitrária passando uma subclasse Action ou outro objeto que implemente a mesma interface. O BooleanOptionalAction está disponível em argparse e adiciona suporte para ações booleanas como --foo e --no-foo:

>>> import argparse
>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action=argparse.BooleanOptionalAction)
>>> parser.parse_args(['--no-foo'])
Namespace(foo=False)

Adicionado na versão 3.9.

A maneira recomendada de criar uma ação personalizada é estender Action, substituindo o método __call__ e opcionalmente os métodos __init__ e format_usage.

Um exemplo de uma ação personalizada:

>>> class FooAction(argparse.Action):
...     def __init__(self, option_strings, dest, nargs=None, **kwargs):
...         if nargs is not None:
...             raise ValueError("nargs not allowed")
...         super().__init__(option_strings, dest, **kwargs)
...     def __call__(self, parser, namespace, values, option_string=None):
...         print('%r %r %r' % (namespace, values, option_string))
...         setattr(namespace, self.dest, values)
...
>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action=FooAction)
>>> parser.add_argument('bar', action=FooAction)
>>> args = parser.parse_args('1 --foo 2'.split())
Namespace(bar=None, foo=None) '1' None
Namespace(bar='1', foo=None) '2' '--foo'
>>> args
Namespace(bar='1', foo='2')

Para mais detalhes, veja Action.

nargs

Os objetos ArgumentParser geralmente associam um único argumento de linha de comando a uma única ação a ser executada. O argumento nomeado nargs associa um número diferente de argumentos de linha de comando com uma única ação. Veja também Especificando argumentos ambíguos. Os valores suportados são:

N (um inteiro). Os argumentos N da linha de comando serão reunidos em uma lista. Por exemplo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', nargs=2)
>>> parser.add_argument('bar', nargs=1)
>>> parser.parse_args('c --foo a b'.split())
Namespace(bar=['c'], foo=['a', 'b'])

Observe que nargs=1 produz uma lista de um item. Isso é diferente do padrão, em que o item é produzido sozinho.

'?'. Um argumento será consumido da linha de comando, se possível, e produzido como um único item. Se nenhum argumento de linha de comando estiver presente, o valor de default será produzido. Observe que, para argumentos opcionais, há um caso adicional - a string de opções está presente, mas não é seguida por um argumento de linha de comando. Neste caso o valor de const será produzido. Alguns exemplos para ilustrar isso:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', nargs='?', const='c', default='d')
>>> parser.add_argument('bar', nargs='?', default='d')
>>> parser.parse_args(['XX', '--foo', 'YY'])
Namespace(bar='XX', foo='YY')
>>> parser.parse_args(['XX', '--foo'])
Namespace(bar='XX', foo='c')
>>> parser.parse_args([])
Namespace(bar='d', foo='d')

Um dos usos mais comuns de nargs='?' é permitir arquivos de entrada e saída opcionais:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('infile', nargs='?', type=argparse.FileType('r'),
...                     default=sys.stdin)
>>> parser.add_argument('outfile', nargs='?', type=argparse.FileType('w'),
...                     default=sys.stdout)
>>> parser.parse_args(['input.txt', 'output.txt'])
Namespace(infile=<_io.TextIOWrapper name='input.txt' encoding='UTF-8'>,
          outfile=<_io.TextIOWrapper name='output.txt' encoding='UTF-8'>)
>>> parser.parse_args([])
Namespace(infile=<_io.TextIOWrapper name='<stdin>' encoding='UTF-8'>,
          outfile=<_io.TextIOWrapper name='<stdout>' encoding='UTF-8'>)

'*'. Todos os argumentos de linha de comando presentes são reunidos em uma lista. Note que geralmente não faz muito sentido ter mais de um argumento posicional com nargs='*', mas vários argumentos opcionais com nargs='*' são possíveis. Por exemplo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', nargs='*')
>>> parser.add_argument('--bar', nargs='*')
>>> parser.add_argument('baz', nargs='*')
>>> parser.parse_args('a b --foo x y --bar 1 2'.split())
Namespace(bar=['1', '2'], baz=['a', 'b'], foo=['x', 'y'])

'+'. Assim como '*', todos os argumentos de linha de comando presentes são reunidos em uma lista. Além disso, uma mensagem de erro será gerada se não houver pelo menos um argumento de linha de comando presente. Por exemplo:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('foo', nargs='+')
>>> parser.parse_args(['a', 'b'])
Namespace(foo=['a', 'b'])
>>> parser.parse_args([])
usage: PROG [-h] foo [foo ...]
PROG: error: the following arguments are required: foo

Se o argumento nomeado nargs não for fornecido, o número de argumentos consumidos é determinado por action. Geralmente, isso significa que um único argumento de linha de comando será usado e um único item (não uma lista) será produzido. Ações que não fazem uso de argumentos da linha de comando (por exemplo, 'store_const') definem nargs=0.

const

O argumento const de add_argument() é usado para manter valores constantes que não são lidos da linha de comando, mas são necessários para as várias ações ArgumentParser. Os dois usos mais comuns são:

Quando add_argument() é chamado com action='store_const' ou action='append_const'. Essas ações adicionam o valor const a um dos atributos do objeto retornado por parse_args(). Consulte a descrição da action para obter exemplos. Se const não for fornecido add_argument(), será recebido um valor padrão de None.

Quando add_argument() é chamado com strings de opções (como -f ou --foo) e nargs='?'. Isso cria um argumento opcional que pode ser seguido por zero ou um argumento de linha de comando. Ao analisar a linha de comando, se a string de opções for encontrada sem nenhum argumento de linha de comando seguindo, o valor de const será presumido como sendo None. Veja a descrição de nargs para exemplos.

Alterado na versão 3.11: const=None por padrão, incluindo quando action='append_const' ou action='store_const'.

default

Todos os argumentos opcionais e alguns argumentos posicionais podem ser omitidos na linha de comando. O argumento nomeado default de add_argument(), cujo valor padrão é None, especifica qual valor deve ser usado se o argumento de linha de comando não estiver presente. Para argumentos opcionais, o valor default é usado quando a string de opção não estava presente na linha de comando:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', default=42)
>>> parser.parse_args(['--foo', '2'])
Namespace(foo='2')
>>> parser.parse_args([])
Namespace(foo=42)

Se o espaço de nomes de destino já tiver um atributo definido, a ação default não o substituirá:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', default=42)
>>> parser.parse_args([], namespace=argparse.Namespace(foo=101))
Namespace(foo=101)

Se o valor default for uma string, o analisador analisa o valor como se fosse um argumento de linha de comando. Em particular, o analisador aplica qualquer argumento de conversão type, se fornecido, antes de definir o atributo no valor de retorno Namespace. Caso contrário, o analisador usa o valor como está:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--length', default='10', type=int)
>>> parser.add_argument('--width', default=10.5, type=int)
>>> parser.parse_args()
Namespace(length=10, width=10.5)

Para argumentos posicionais com nargs igual a ? ou *, o valor default é usado quando nenhum argumento de linha de comando estava presente:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('foo', nargs='?', default=42)
>>> parser.parse_args(['a'])
Namespace(foo='a')
>>> parser.parse_args([])
Namespace(foo=42)

Para argumentos obrigatórios, isto é, marcados com required, o valor default é ignorado. Por exemplo, isso se aplica a argumentos posicionais com valores de nargs diferentes de ? ou *, ou argumentos opcionais marcados como required=True.

Fornecer default=argparse.SUPPRESS faz com que nenhum atributo seja adicionado se o argumento da linha de comando não estiver presente:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', default=argparse.SUPPRESS)
>>> parser.parse_args([])
Namespace()
>>> parser.parse_args(['--foo', '1'])
Namespace(foo='1')

type

Por padrão, o analisador sintático lê argumentos de linha de comando como strings simples. No entanto, muitas vezes a string da linha de comando deve ser interpretada como outro tipo, como float ou int. O argumento nomeado type para add_argument() permite que qualquer verificação de tipo e conversões de tipo necessárias sejam realizadas.

Se o argumento nomeado type for usado com default, o conversor de tipo só será aplicado se o padrão for uma string.

O argumento para type pode ser qualquer chamável que aceite uma única string. Se a função levantar ArgumentTypeError, TypeError ou ValueError, a exceção será capturada e uma mensagem de erro bem formatada será exibida. Nenhum outro tipo de exceção é tratado.

Tipos e funções embutidas comuns podem ser usados ​​como conversores de tipo:

import argparse
import pathlib

parser = argparse.ArgumentParser()
parser.add_argument('count', type=int)
parser.add_argument('distance', type=float)
parser.add_argument('street', type=ascii)
parser.add_argument('code_point', type=ord)
parser.add_argument('dest_file', type=argparse.FileType('w', encoding='latin-1'))
parser.add_argument('datapath', type=pathlib.Path)

Funções definidas pelo usuário também podem ser usadas:

>>> def hyphenated(string):
...     return '-'.join([word[:4] for word in string.casefold().split()])
...
>>> parser = argparse.ArgumentParser()
>>> _ = parser.add_argument('short_title', type=hyphenated)
>>> parser.parse_args(['"Um conto de duas cidades"'])
Namespace(short_title='"um-cont-de-duas-cida')

A função bool() não é recomendada como conversor de tipo. Tudo o que ele faz é converter strings vazias em False e strings não vazias em True. Geralmente não é isso que se deseja.

Em geral, o argumento nomeado type é uma conveniência que só deve ser usada para conversões simples que só podem gerar uma das três exceções suportadas. Qualquer coisa com tratamento de erros ou gerenciamento de recursos mais interessante deve ser feita posteriormente, após a análise dos argumentos.

Por exemplo, conversões JSON ou YAML têm casos de erros complexos que exigem relatórios melhores do que os fornecidos pelo argumento nomeado type. Um JSONDecodeError não seria bem formatado e uma exceção FileNotFoundError não seria tratada.

Mesmo FileType tem suas limitações para uso com o argumento nomeado type. Se um argumento usar FileType e um argumento subsequente falhar, um erro será relatado, mas o arquivo não será fechado automaticamente. Neste caso, seria melhor esperar até que o analisador tenha sido executado e então usar a instrução with para gerenciar os arquivos.

Para verificadores de tipo que simplesmente verificam um conjunto fixo de valores, considere usar o argumento nomeado choices.

choices

Alguns argumentos de linha de comando devem ser selecionados em um conjunto restrito de valores. Eles podem ser tratados passando um objeto sequência como o argumento nomeado choices para add_argument(). Quando a linha de comando for analisada, os valores dos argumentos serão verificados e uma mensagem de erro será exibida se o argumento não for um dos valores aceitáveis:

>>> parser = argparse.ArgumentParser(prog='game.py')
>>> parser.add_argument('move', choices=['pedra', 'papel', 'tesoura'])
>>> parser.parse_args(['padra'])
Namespace(move='padr')
>>> parser.parse_args(['fogo'])
usage: game.py [-h] {pedra,papel,tesoura}
game.py: error: argument move: invalid choice: 'fogo' (choose from 'pedra',
'papel', 'tesoura')

Observe que a inclusão na sequência choices é verificada após qualquer conversão de type ter sido realizada, portanto o tipo dos objetos na sequência choices deve corresponder ao type especificado.

Qualquer sequência pode ser passada como o valor choices, portanto objetos list, objetos tuple e sequências personalizadas são todos suportados.

O uso de enum.Enum não é recomendado porque é difícil controlar sua aparência no uso, na ajuda e nas mensagens de erro.

As opções formatadas substituem o metavar padrão que normalmente é derivado de dest. Geralmente é isso que você deseja porque o usuário nunca vê o parâmetro dest. Se esta exibição não for desejável (talvez porque haja muitas opções), basta especificar um metavar explícito.

required

Em geral, o módulo argparse presume que sinalizadores como -f e --bar indicam argumentos opcionais, que sempre podem ser omitidos na linha de comando. Para tornar uma opção obrigatória, True pode ser especificado para o argumento nomeado required= para add_argument():

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', required=True)
>>> parser.parse_args(['--foo', 'BAR'])
Namespace(foo='BAR')
>>> parser.parse_args([])
usage: [-h] --foo FOO
: error: the following arguments are required: --foo

Como mostra o exemplo, se uma opção estiver marcada como required, parse_args() reportará um erro se essa opção não estiver presente na linha de comando.

Nota

As opções obrigatórias são geralmente consideradas inadequadas porque os usuários esperam que as opções sejam opcionais e, portanto, devem ser evitadas quando possível.

help

O valor help é uma string contendo uma breve descrição do argumento. Quando um usuário solicita ajuda (geralmente usando -h ou --help na linha de comando), estas descrições de help serão exibidas com cada argumento.

As strings help podem incluir vários especificadores de formato para evitar a repetição de coisas como o nome do programa ou o argumento default. Os especificadores disponíveis incluem o nome do programa, %(prog)s e a maioria dos argumentos nomeados para add_argument(), por exemplo. %(default)s, %(type)s, etc.:

>>> parser = argparse.ArgumentParser(prog='frobble')
>>> parser.add_argument('bar', nargs='?', type=int, default=42,
...                     help='the bar to %(prog)s (default: %(default)s)')
>>> parser.print_help()
usage: frobble [-h] [bar]

positional arguments:
 bar     the bar to frobble (default: 42)

options:
 -h, --help  show this help message and exit

Como a string de ajuda oferece suporte à formatação com %, se você quiser que um literal % apareça na string de ajuda, você deve escapá-lo como %%.

argparse oferece suporte a silenciar a entrada de ajuda para certas opções, definindo o valor help como argparse.SUPPRESS:

>>> parser = argparse.ArgumentParser(prog='frobble')
>>> parser.add_argument('--foo', help=argparse.SUPPRESS)
>>> parser.print_help()
usage: frobble [-h]

options:
  -h, --help  show this help message and exit

metavar

Quando ArgumentParser gera mensagens de ajuda, ele precisa de alguma forma de se referir a cada argumento esperado. Por padrão, os objetos ArgumentParser usam o valor dest como o “nome” de cada objeto. Por padrão, para ações de argumentos posicionais, o valor dest é usado diretamente, e para ações de argumentos opcionais, o valor dest é maiúsculo. Portanto, um único argumento posicional com dest='bar' será referido como bar. Um único argumento opcional --foo que deve ser seguido por um único argumento de linha de comando será referido como FOO. Um exemplo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo')
>>> parser.add_argument('bar')
>>> parser.parse_args('X --foo Y'.split())
Namespace(bar='X', foo='Y')
>>> parser.print_help()
usage:  [-h] [--foo FOO] bar

positional arguments:
 bar

options:
 -h, --help  show this help message and exit
 --foo FOO

Um nome alternativo pode ser especificado com metavar:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', metavar='YYY')
>>> parser.add_argument('bar', metavar='XXX')
>>> parser.parse_args('X --foo Y'.split())
Namespace(bar='X', foo='Y')
>>> parser.print_help()
usage:  [-h] [--foo YYY] XXX

positional arguments:
 XXX

options:
 -h, --help  show this help message and exit
 --foo YYY

Observe que metavar apenas altera o nome exibido - o nome do atributo no objeto parse_args() ainda é determinado pelo valor dest.

Valores diferentes de nargs podem fazer com que o metavar seja usado múltiplas vezes. Fornecer uma tupla para metavar especifica uma exibição diferente para cada um dos argumentos:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-x', nargs=2)
>>> parser.add_argument('--foo', nargs=2, metavar=('bar', 'baz'))
>>> parser.print_help()
usage: PROG [-h] [-x X X] [--foo bar baz]

options:
 -h, --help     show this help message and exit
 -x X X
 --foo bar baz

dest

A maioria das ações ArgumentParser adiciona algum valor como um atributo do objeto retornado por parse_args(). O nome deste atributo é determinado pelo argumento nomeado dest de add_argument(). Para ações de argumento posicional, dest é normalmente fornecido como o primeiro argumento para add_argument():

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('bar')
>>> parser.parse_args(['XXX'])
Namespace(bar='XXX')

Para ações de argumentos opcionais, o valor de dest é normalmente inferido das strings de opções. ArgumentParser gera o valor de dest pegando a primeira string de opção longa e removendo a string inicial --. Se nenhuma string de opção longa for fornecida, dest será derivado da primeira string de opção curta removendo o caractere - inicial. Quaisquer caracteres - internos serão convertidos em caracteres _ para garantir que a string seja um nome de atributo válido. Os exemplos abaixo ilustram esse comportamento:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('-f', '--foo-bar', '--foo')
>>> parser.add_argument('-x', '-y')
>>> parser.parse_args('-f 1 -x 2'.split())
Namespace(foo_bar='1', x='2')
>>> parser.parse_args('--foo 1 -y 2'.split())
Namespace(foo_bar='1', x='2')

dest permite que um nome de atributo personalizado seja fornecido:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', dest='bar')
>>> parser.parse_args('--foo XXX'.split())
Namespace(bar='XXX')

deprecated

Durante a vida de um projeto, alguns argumentos podem precisar ser removidos da linha de comando. Antes de removê-los, você deve informar aos seus usuários que os argumentos estão descontinuados e serão removidos. O argumento nomeado deprecated de add_argument(), cujo padrão é False, especifica se o argumento está descontinuado e será removido no futuro. Para argumentos, se deprecated for True, então um aviso será enviado para sys.stderr (saída de erro) quando o argumento for usado:

>>> import argparse
>>> parser = argparse.ArgumentParser(prog='snake.py')
>>> parser.add_argument('--legs', default=0, type=int, deprecated=True)
>>> parser.parse_args([])
Namespace(legs=0)
>>> parser.parse_args(['--legs', '4'])
snake.py: warning: option '--legs' is deprecated
Namespace(legs=4)

Adicionado na versão 3.13.

Classes de ação

As classes de ação implementam a API de Action, um chamável que retorna um chamável que processa argumentos da linha de comando. Qualquer objeto que siga esta API pode ser passado como parâmetro action para add_argument().

class argparse.Action(option_strings, dest, nargs=None, const=None, default=None, type=None, choices=None, required=False, help=None, metavar=None)

Objetos de ação são usados ​​por um ArgumentParser para representar as informações necessárias para analisar um único argumento de uma ou mais strings da linha de comando. A classe Action deve aceitar os dois argumentos posicionais mais quaisquer argumentos nomeados passados ​​para ArgumentParser.add_argument(), exceto o próprio action.

Instâncias de Action (ou valor de retorno de qualquer callable para o parâmetro action) devem ter atributos “dest”, “option_strings”, “default”, “type”, “required”, “help”, etc. definidos. A maneira mais fácil de garantir que esses atributos sejam definidos é chamar Action.__init__.

As instâncias de Action devem ser chamáveis, portanto, as subclasses devem substituir o método __call__, que deve aceitar quatro parâmetros:

parser - O objeto ArgumentParser que contém esta ação.

namespace - O objeto Namespace que vai ser retornado por

parse_args(). A maioria das ações adicionam um atributo a este objeto usando setattr().

values - Os argumentos de linha de comando associados, com quaisquer conversões de tipo

aplicadas. Conversões de tipo são especificadas com o argumento nomeado type para add_argument().

option_string - A string da opção que foi usada para invocar esta ação.

O argumento option_string é opcional e estará ausente se a ação estiver associada a um argumento opcional.

O método __call__ pode executar ações arbitrárias, mas normalmente definirá atributos em namespace com base em dest e values.

As subclasses de Action podem definir um método format_usage que não recebe argumento e retorna uma string que será usada ao exibir a mensagem de uso do programa. Se tal método não for fornecido, um padrão sensato será usado.

O método parse_args()

ArgumentParser.parse_args(args=None, namespace=None)

Converte strings de argumento em objetos e os atribui como atributos do espaço de nomes. Retorna o espaço de nomes preenchido.

Chamadas anteriores para add_argument() determinam exatamente quais objetos são criados e como eles são atribuídos. Veja a documentação de add_argument() para detalhes.

args - Lista de strings para analisar. O padrão é obtido de sys.argv.

namespace - Um objeto para receber os atributos. O padrão é um novo objeto Namespace vazio.

Sintaxe de valores da opção

O método parse_args() provê várias maneiras de especificar o valor de uma opção (se ele pegar uma). No caso mais simples, a opção e seu valor são passados ​​como dois argumentos separados:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-x')
>>> parser.add_argument('--foo')
>>> parser.parse_args(['-x', 'X'])
Namespace(foo=None, x='X')
>>> parser.parse_args(['--foo', 'FOO'])
Namespace(foo='FOO', x=None)

Para opções longas (opções com nomes maiores que um único caractere), a opção e o valor também podem ser passados ​​como um único argumento de linha de comando, usando = para separá-los:

>>> parser.parse_args(['--foo=FOO'])
Namespace(foo='FOO', x=None)

Para opções curtas (opções com apenas um caractere), a opção e seu valor podem ser concatenados:

>>> parser.parse_args(['-xX'])
Namespace(foo=None, x='X')

Várias opções curtas podem ser unidas, usando apenas um único prefixo -, desde que apenas a última opção (ou nenhuma delas) exija um valor:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-x', action='store_true')
>>> parser.add_argument('-y', action='store_true')
>>> parser.add_argument('-z')
>>> parser.parse_args(['-xyzZ'])
Namespace(x=True, y=True, z='Z')

Argumentos inválidos

Ao analisar a linha de comando, parse_args() verifica uma variedade de erros, incluindo opções ambíguas, tipos inválidos, opções inválidas, número incorreto de argumentos posicionais, etc. Quando encontra tal erro, ele sai e imprime o erro junto com uma mensagem de uso:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('--foo', type=int)
>>> parser.add_argument('bar', nargs='?')

>>> # tipo inválido
>>> parser.parse_args(['--foo', 'spam'])
usage: PROG [-h] [--foo FOO] [bar]
PROG: error: argument --foo: invalid int value: 'spam'

>>> # opção inválida
>>> parser.parse_args(['--bar'])
usage: PROG [-h] [--foo FOO] [bar]
PROG: error: no such option: --bar

>>> # número errado de argumentos
>>> parser.parse_args(['spam', 'badger'])
usage: PROG [-h] [--foo FOO] [bar]
PROG: error: extra arguments found: badger

Argumentos contendo -

O método parse_args() tenta mostrar erros sempre que o usuário claramente cometeu um erro, mas algumas situações são inerentemente ambíguas. Por exemplo, o argumento de linha de comando -1 pode ser uma tentativa de especificar uma opção ou uma tentativa de fornecer um argumento posicional. O método parse_args() é cauteloso aqui: argumentos posicionais só podem começar com - se eles se parecerem com números negativos e não houver opções no analisador sintático que se pareçam com números negativos:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-x')
>>> parser.add_argument('foo', nargs='?')

>>> # nenhuma opção de número negativo, então -1 é um argumento posicional
>>> parser.parse_args(['-x', '-1'])
Namespace(foo=None, x='-1')

>>> # nenhuma opção de número negativo, então -1 e -5 são argumentos posicionais
>>> parser.parse_args(['-x', '-1', '-5'])
Namespace(foo='-5', x='-1')

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-1', dest='one')
>>> parser.add_argument('foo', nargs='?')

>>> # opção de número negativo presente, então -1 é uma opção
>>> parser.parse_args(['-1', 'X'])
Namespace(foo=None, one='X')

>>> # opção de número negativo presente, então -2 é uma opção
>>> parser.parse_args(['-2'])
usage: PROG [-h] [-1 ONE] [foo]
PROG: error: no such option: -2

>>> # opções de número negativo presentes, então ambos -1s são opções
>>> parser.parse_args(['-1', '-1'])
usage: PROG [-h] [-1 ONE] [foo]
PROG: error: argument -1: expected one argument

Se você tiver argumentos posicionais que devem começar com - e não se parecem com números negativos, você pode inserir o pseudoargumento '--' que informa parse_args() que tudo depois disso é um argumento posicional:

>>> parser.parse_args(['--', '-f'])
Namespace(foo='-f', one=None)

Veja também o tutorial do argparse sobre argumentos ambíguos para mais detalhes.

Abreviações de argumento (correspondência de prefixo)

O método parse_args() por padrão permite que opções longas sejam abreviadas para um prefixo, se a abreviação não for ambígua (o prefixo corresponde a uma opção única):

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-bacon')
>>> parser.add_argument('-badger')
>>> parser.parse_args('-bac MMM'.split())
Namespace(bacon='MMM', badger=None)
>>> parser.parse_args('-bad WOOD'.split())
Namespace(bacon=None, badger='WOOD')
>>> parser.parse_args('-ba BA'.split())
usage: PROG [-h] [-bacon BACON] [-badger BADGER]
PROG: error: ambiguous option: -ba could match -badger, -bacon

Um erro é produzido para argumentos que podem produzir mais de uma opção. Este recurso pode ser desabilitado definindo allow_abbrev como False.

Além do sys.argv

Às vezes, pode ser útil ter uma insância de ArgumentParser analisando argumentos diferentes daqueles de sys.argv. Isso pode ser feito passando uma lista de strings para parse_args(). Isso é útil para testar no prompt interativo:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument(
...     'integers', metavar='int', type=int, choices=range(10),
...     nargs='+', help='an integer in the range 0..9')
>>> parser.add_argument(
...     '--sum', dest='accumulate', action='store_const', const=sum,
...     default=max, help='sum the integers (default: find the max)')
>>> parser.parse_args(['1', '2', '3', '4'])
Namespace(accumulate=<built-in function max>, integers=[1, 2, 3, 4])
>>> parser.parse_args(['1', '2', '3', '4', '--sum'])
Namespace(accumulate=<built-in function sum>, integers=[1, 2, 3, 4])

O objeto Namespace

class argparse.Namespace

Classe simples usada por padrão por parse_args() para criar um objeto contendo atributos e retorná-lo.

Esta classe é deliberadamente simples, apenas uma subclasse object com uma representação de string legível. Se você preferir ter uma visão dos atributos do tipo dict, você pode usar o idioma padrão do Python, vars():

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo')
>>> args = parser.parse_args(['--foo', 'BAR'])
>>> vars(args)
{'foo': 'BAR'}

Também pode ser útil ter um ArgumentParser atribuindo atributos a um objeto já existente, em vez de um novo objeto Namespace. Isso pode ser obtido especificando o argumento nomeado namespace=:

>>> class C:
...     pass
...
>>> c = C()
>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo')
>>> parser.parse_args(args=['--foo', 'BAR'], namespace=c)
>>> c.foo
'BAR'

Outros utilitários

Subcomandos

ArgumentParser.add_subparsers([title][, description][, prog][, parser_class][, action][, option_strings][, dest][, required][, help][, metavar])

Muitos programas dividem sua funcionalidade em vários subcomandos, por exemplo, o programa svn pode invocar subcomandos como svn checkout, svn update e svn commit. Dividir a funcionalidade dessa forma pode ser uma ideia particularmente boa quando um programa executa várias funções diferentes que exigem diferentes tipos de argumentos de linha de comando. ArgumentParser oferece suporte à criação de tais subcomandos com o método add_subparsers(). O método add_subparsers() é normalmente chamado sem argumentos e retorna um objeto de ação especial. Este objeto tem um único método, add_parser(), que recebe um nome de comando e quaisquer argumentos do construtor ArgumentParser e retorna um objeto ArgumentParser que pode ser modificado normalmente.

Descrição de parâmetros:

title - título para o grupo de subanalisadores na saída de ajuda; por padrão “subcomandos” se a descrição for fornecida, caso contrário, usa o título para argumentos posicionais

description - descrição para o grupo de subanalisadores na saída de ajuda, por padrão None

prog - informações de uso que serão exibidas com a ajuda do subcomando, por padrão o nome do programa e quaisquer argumentos posicionais antes do argumento do subanalisador

parser_class - classe que será usada para criar instâncias de subanalisadores, por padrão a classe do analisador atual (por exemplo, ArgumentParser)

action - o tipo básico de ação a ser executada quando esse argumento é encontrado na linha de comando

dest - nome do atributo sob o qual o nome do subcomando será armazenado; por padrão None e nenhum valor é armazenado

required - Se um subcomando deve ou não ser fornecido, por padrão False (adicionado em 3.7)

help - ajuda para o grupo de subanalisadores na saída de ajuda, por padrão None

metavar - string que apresenta os subcomandos disponíveis na ajuda; por padrão é None e apresenta os subcomandos no formato {cmd1, cmd2, ..}

Alguns exemplos de uso:

>>> # cria o analisador de nível superior
>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('--foo', action='store_true', help='foo help')
>>> subparsers = parser.add_subparsers(help='subcommand help')
>>>
>>> # cria o analisador para o comando "a"
>>> parser_a = subparsers.add_parser('a', help='a help')
>>> parser_a.add_argument('bar', type=int, help='bar help')
>>>
>>> # cria o analisador para o comando "b"
>>> parser_b = subparsers.add_parser('b', help='b help')
>>> parser_b.add_argument('--baz', choices=('X', 'Y', 'Z'), help='baz help')
>>>
>>> # analisa algumas listas de argumentos
>>> parser.parse_args(['a', '12'])
Namespace(bar=12, foo=False)
>>> parser.parse_args(['--foo', 'b', '--baz', 'Z'])
Namespace(baz='Z', foo=True)

Note que o objeto retornado por parse_args() conterá apenas atributos para o analisador principal e o subanalisador que foi selecionado pela linha de comando (e não quaisquer outros subanalisadores). Então, no exemplo acima, quando o comando a é especificado, apenas os atributos foo e bar estão presentes, e quando o comando b é especificado, apenas os atributos foo e baz estão presentes.

Similarmente, quando uma mensagem de ajuda é solicitada de um subanalisador, somente a ajuda para aquele parser em particular será impressa. A mensagem de ajuda não incluirá mensagens do analisador sintático pai ou do analisador sintático irmão. (Uma mensagem de ajuda para cada comando do subanalisador, entretanto, pode ser dada fornecendo o argumento help= para add_parser() como acima.)

>>> parser.parse_args(['--help'])
usage: PROG [-h] [--foo] {a,b} ...

positional arguments:
  {a,b}   subcommand help
    a     a help
    b     b help

options:
  -h, --help  show this help message and exit
  --foo   foo help

>>> parser.parse_args(['a', '--help'])
usage: PROG a [-h] bar

positional arguments:
  bar     bar help

options:
  -h, --help  show this help message and exit

>>> parser.parse_args(['b', '--help'])
usage: PROG b [-h] [--baz {X,Y,Z}]

options:
  -h, --help     show this help message and exit
  --baz {X,Y,Z}  baz help

O método add_subparsers() também oferece suporte aos argumentos nomeados title e description. Quando qualquer um deles estiver presente, os comandos do subanalisador aparecerão em seu próprio grupo na saída de ajuda. Por exemplo:

>>> parser = argparse.ArgumentParser()
>>> subparsers = parser.add_subparsers(title='subcommands',
...                                    description='valid subcommands',
...                                    help='additional help')
>>> subparsers.add_parser('foo')
>>> subparsers.add_parser('bar')
>>> parser.parse_args(['-h'])
usage:  [-h] {foo,bar} ...

options:
  -h, --help  show this help message and exit

subcommands:
  valid subcommands

  {foo,bar}   additional help

Além disso, add_parser() oferece suporte a um argumento aliases adicional, que permite que múltiplas strings se refiram ao mesmo subanalisador. Este exemplo, como svn, alias co como uma abreviação para checkout:

>>> parser = argparse.ArgumentParser()
>>> subparsers = parser.add_subparsers()
>>> checkout = subparsers.add_parser('checkout', aliases=['co'])
>>> checkout.add_argument('foo')
>>> parser.parse_args(['co', 'bar'])
Namespace(foo='bar')

add_parser() oferece suporte também um argumento adicional deprecated, que permite descontinuar o subanalisador.

>>> import argparse
>>> parser = argparse.ArgumentParser(prog='chicken.py')
>>> subparsers = parser.add_subparsers()
>>> run = subparsers.add_parser('run')
>>> fly = subparsers.add_parser('fly', deprecated=True)
>>> parser.parse_args(['fly'])
chicken.py: warning: command 'fly' is deprecated
Namespace()

Adicionado na versão 3.13.

Uma maneira particularmente eficaz de lidar com subcomandos é combinar o uso do método add_subparsers() com chamadas para set_defaults() para que cada subanalisador saiba qual função Python ele deve executar. Por exemplo:

>>> # funções do subanalisador functions
>>> def foo(args):
...     print(args.x * args.y)
...
>>> def bar(args):
...     print('((%s))' % args.z)
...
>>> # cria o analisador de nível superior
>>> parser = argparse.ArgumentParser()
>>> subparsers = parser.add_subparsers(required=True)
>>>
>>> # cria o analisador do comando "foo"
>>> parser_foo = subparsers.add_parser('foo')
>>> parser_foo.add_argument('-x', type=int, default=1)
>>> parser_foo.add_argument('y', type=float)
>>> parser_foo.set_defaults(func=foo)
>>>
>>> # cria o analisador do comando "foo"
>>> parser_bar = subparsers.add_parser('bar')
>>> parser_bar.add_argument('z')
>>> parser_bar.set_defaults(func=bar)
>>>
>>> # analisa os argumentos e chama a função que for selecionada
>>> args = parser.parse_args('foo 1 -x 2'.split())
>>> args.func(args)
2.0
>>>
>>> # analisa os argumentos e chama a função que foi selecionada
>>> args = parser.parse_args('bar XYZYX'.split())
>>> args.func(args)
((XYZYX))

Dessa forma, você pode deixar parse_args() fazer o trabalho de chamar a função apropriada após a análise sintática do argumento ser concluída. Associar funções com ações como essa é normalmente a maneira mais fácil de lidar com as diferentes ações para cada um dos seus subanalisadores. No entanto, se for necessário verificar o nome do subanalisador que foi invocado, o argumento nomeado dest para a chamada add_subparsers() funcionará:

>>> parser = argparse.ArgumentParser()
>>> subparsers = parser.add_subparsers(dest='subparser_name')
>>> subparser1 = subparsers.add_parser('1')
>>> subparser1.add_argument('-x')
>>> subparser2 = subparsers.add_parser('2')
>>> subparser2.add_argument('y')
>>> parser.parse_args(['2', 'frobble'])
Namespace(subparser_name='2', y='frobble')

Alterado na versão 3.7: Novo argumento nomeado required.

Objetos FileType

class argparse.FileType(mode='r', bufsize=-1, encoding=None, errors=None)

A fábrica FileType cria objetos que podem ser passados ​​para o argumento de tipo de ArgumentParser.add_argument(). Argumentos que têm objetos FileType como seu tipo abrirão argumentos de linha de comando como arquivos com os modos solicitados, tamanhos de buffer, codificações e tratamento de erros (veja a função open() para mais detalhes):

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--raw', type=argparse.FileType('wb', 0))
>>> parser.add_argument('out', type=argparse.FileType('w', encoding='UTF-8'))
>>> parser.parse_args(['--raw', 'raw.dat', 'file.txt'])
Namespace(out=<_io.TextIOWrapper name='file.txt' mode='w' encoding='UTF-8'>, raw=<_io.FileIO name='raw.dat' mode='wb'>)

Objetos FileType entendem o pseudoargumento '-' e o convertem automaticamente em sys.stdin para objetos FileType legíveis e sys.stdout para objetos FileType graváveis:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('infile', type=argparse.FileType('r'))
>>> parser.parse_args(['-'])
Namespace(infile=<_io.TextIOWrapper name='<stdin>' encoding='UTF-8'>)

Alterado na versão 3.4: Adicionados os parâmetros encodings e errors.

Grupos de argumentos

ArgumentParser.add_argument_group(title=None, description=None, *[, argument_default][, conflict_handler])

Por padrão, ArgumentParser agrupa argumentos de linha de comando em “argumentos posicionais” e “opções” ao exibir mensagens de ajuda. Quando há um melhor agrupamento conceitual de argumentos do que este padrão, grupos apropriados podem ser criados usando o método add_argument_group():

>>> parser = argparse.ArgumentParser(prog='PROG', add_help=False)
>>> group = parser.add_argument_group('grupo')
>>> group.add_argument('--foo', help='ajuda de foo')
>>> group.add_argument('bar', help='ajuda de bar')
>>> parser.print_help()
usage: PROG [--foo FOO] bar

grupo:
  bar    ajuda de bar
  --foo FOO  ajuda de foo

O método add_argument_group() retorna um objeto de grupo de argumentos que tem um método add_argument() como um ArgumentParser regular. Quando um argumento é adicionado ao grupo, o analisador o trata como um argumento normal, mas exibe o argumento em um grupo separado para mensagens de ajuda. O método add_argument_group() aceita argumentos title e description que podem ser usados ​​para personalizar esta exibição:

>>> parser = argparse.ArgumentParser(prog='PROG', add_help=False)
>>> group1 = parser.add_argument_group('grupo1', 'descrição do grupo1')
>>> group1.add_argument('foo', help='ajuda de foo')
>>> group2 = parser.add_argument_group('grupo2', 'descrição do grupo2')
>>> group2.add_argument('--bar', help='ajuda de bar')
>>> parser.print_help()
usage: PROG [--bar BAR] foo

grupo1:
  descrição de grupo1

  foo    ajuda de foo

grupo2:
  descrição de grupo2

  --bar BAR  ajuda de bar

Os parâmetros opcionais somente-nomeados argument_default e conflict_handler permitem um controle mais refinado do comportamento do grupo de argumentos. Esses parâmetros têm o mesmo significado que no construtor ArgumentParser, mas se aplicam especificamente ao grupo de argumentos em vez de ao analisador sintático inteiro.

Observe que quaisquer argumentos que não estejam nos grupos definidos pelo usuário retornarão às seções usuais de “argumentos posicionais” e “argumentos opcionais”.

Alterado na versão 3.11: Chamar add_argument_group() em um grupo de argumentos está descontinuado. Esse recurso nunca foi suportado e nem sempre funciona corretamente. A função existe na API por acidente por herança e será removida no futuro.

Exclusão mútua

ArgumentParser.add_mutually_exclusive_group(required=False)

Cria um grupo mutuamente exclusivo. argparse garantirá que apenas um dos argumentos no grupo mutuamente exclusivo esteja presente na linha de comando:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> group = parser.add_mutually_exclusive_group()
>>> group.add_argument('--foo', action='store_true')
>>> group.add_argument('--bar', action='store_false')
>>> parser.parse_args(['--foo'])
Namespace(bar=True, foo=True)
>>> parser.parse_args(['--bar'])
Namespace(bar=False, foo=False)
>>> parser.parse_args(['--foo', '--bar'])
usage: PROG [-h] [--foo | --bar]
PROG: error: argument --bar: not allowed with argument --foo

O método add_mutually_exclusive_group() também aceita um argumento obrigatório, para indicar que pelo menos um dos argumentos mutuamente exclusivos é necessário:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> group = parser.add_mutually_exclusive_group(required=True)
>>> group.add_argument('--foo', action='store_true')
>>> group.add_argument('--bar', action='store_false')
>>> parser.parse_args([])
usage: PROG [-h] (--foo | --bar)
PROG: error: one of the arguments --foo --bar is required

Observe que atualmente grupos de argumentos mutuamente exclusivos não oferecem suporte aos argumentos title e description de add_argument_group(). No entanto, um grupo mutuamente exclusivo pode ser adicionado a um grupo de argumentos que tenha um título e uma descrição. Por exemplo:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> group = parser.add_argument_group('Título do grupo', 'Descrição do grupo')
>>> exclusive_group = group.add_mutually_exclusive_group(required=True)
>>> exclusive_group.add_argument('--foo', help='ajuda de foo')
>>> exclusive_group.add_argument('--bar', help='ajuda de bar')
>>> parser.print_help()
usage: PROG [-h] (--foo FOO | --bar BAR)

options:
  -h, --help  show this help message and exit

Título do grupo:
  Descrição do grupo

  --foo FOO   foo help
  --bar BAR   bar help

Alterado na versão 3.11: Chamar add_argument_group() ou add_mutually_exclusive_group() em um grupo mutuamente exclusivo está descontinuado. Esses recursos nunca foram suportados e nem sempre funcionam corretamente. As funções existem na API por acidente por herança e serão removidas no futuro.

Padrões do analisador sintático

ArgumentParser.set_defaults(**kwargs)

Na maioria das vezes, os atributos do objeto retornado por parse_args() serão totalmente determinados pela inspeção dos argumentos da linha de comando e das ações dos argumentos. set_defaults() permite que alguns atributos adicionais que são determinados sem qualquer inspeção da linha de comando sejam adicionados:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('foo', type=int)
>>> parser.set_defaults(bar=42, baz='badger')
>>> parser.parse_args(['736'])
Namespace(bar=42, baz='badger', foo=736)

Observe que os padrões no nível do analisador sempre substituem os padrões no nível do argumento:

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', default='bar')
>>> parser.set_defaults(foo='spam')
>>> parser.parse_args([])
Namespace(foo='spam')

Padrões de nível de analisador podem ser particularmente úteis ao trabalhar com vários analisadores. Veja o método add_subparsers() para um exemplo desse tipo.

ArgumentParser.get_default(dest)

Obtém o valor padrão para um atributo de espaço de nomes, conforme definido por add_argument() ou por set_defaults():

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', default='badger')
>>> parser.get_default('foo')
'badger'

Imprimindo a ajuda

Na maioria das aplicações típicas, parse_args() cuidará da formatação e da impressão de quaisquer mensagens de uso ou erro. No entanto, vários métodos de formatação estão disponíveis:

ArgumentParser.print_usage(file=None)

Imprime uma breve descrição de como o ArgumentParser deve ser invocado na linha de comando. Se file for None, sys.stdout será presumido.

ArgumentParser.print_help(file=None)

Imprime uma mensagem de ajuda, incluindo o uso do programa e informações sobre os argumentos registrados com o ArgumentParser. Se file for None, sys.stdout será presumido.

Também há variantes desses métodos que simplesmente retornam uma string em vez de imprimi-la:

ArgumentParser.format_usage()

Retorna uma string contendo uma breve descrição de como o ArgumentParser deve ser invocado na linha de comando.

ArgumentParser.format_help()

Retorna uma string contendo uma mensagem de ajuda, incluindo o uso do programa e informações sobre os argumentos registrados com o ArgumentParser.

Análise parcial

ArgumentParser.parse_known_args(args=None, namespace=None)

Às vezes, um script pode analisar apenas alguns dos argumentos da linha de comando, passando os argumentos restantes para outro script ou programa. Nesses casos, o método parse_known_args() pode ser útil. Ele funciona muito como parse_args(), exceto que não produz um erro quando argumentos extras estão presentes. Em vez disso, ele retorna uma tupla de dois itens contendo o espaço de nomes preenchido e a lista de strings de argumentos restantes.

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo', action='store_true')
>>> parser.add_argument('bar')
>>> parser.parse_known_args(['--foo', '--badger', 'BAR', 'spam'])
(Namespace(bar='BAR', foo=True), ['--badger', 'spam'])

Aviso

:ref:As regras de correspondência de prefixo <prefix-matching> se aplicam a parse_known_args(). O analisador pode usar uma opção mesmo que seja apenas um prefixo de uma de suas opções conhecidas, em vez de deixá-la na lista de argumentos restantes.

Personalizando a análise de arquivos

ArgumentParser.convert_arg_line_to_args(arg_line)

Argumentos lidos de um arquivo (veja o argumento nomeado fromfile_prefix_chars para o construtor ArgumentParser) são lidos com um argumento por linha. convert_arg_line_to_args() pode ser substituído para uma leitura mais sofisticada.

Este método recebe um único argumento arg_line que é uma string lida do arquivo de argumentos. Ele retorna uma lista de argumentos analisados ​​dessa string. O método é chamado uma vez por linha lida do arquivo de argumentos, em ordem.

Uma substituição útil desse método é aquela que trata cada palavra separada por espaços como um argumento. O exemplo a seguir demonstra como fazer isso:

class MyArgumentParser(argparse.ArgumentParser):
    def convert_arg_line_to_args(self, arg_line):
        return arg_line.split()

Métodos de saída

ArgumentParser.exit(status=0, message=None)

Este método encerra o programa, saindo com o status especificado e, se fornecido, imprime uma message para sys.stderr antes disso. O usuário pode sobrescrever este método para lidar com essas etapas de forma diferente:

class ErrorCatchingArgumentParser(argparse.ArgumentParser):
    def exit(self, status=0, message=None):
        if status:
            raise Exception(f'Exiting because of an error: {message}')
        exit(status)

ArgumentParser.error(message)

Este método imprime uma mensagem de uso, incluindo a message, em sys.stderr e encerra o programa com um código de status 2.

Análise misturada

ArgumentParser.parse_intermixed_args(args=None, namespace=None)

ArgumentParser.parse_known_intermixed_args(args=None, namespace=None)

Vários comandos Unix permitem que o usuário misture argumentos opcionais com argumentos posicionais. Os métodos parse_intermixed_args() e parse_known_intermixed_args() oferecem suporte a esse estilo de análise.

Esses analisadores não oferecem suporte a todos os recursos do argparse e vão levantar exceções se recursos não suportados forem usados. Em particular, subanalisadores e grupos mutuamente exclusivos que incluem tanto opcionais quanto posicionais não são suportados.

O exemplo a seguir mostra a diferença entre parse_known_args() e parse_intermixed_args(): o primeiro retorna ['2', '3'] como argumentos não analisados, enquanto o último coleta todos os posicionais em rest.

>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('--foo')
>>> parser.add_argument('cmd')
>>> parser.add_argument('rest', nargs='*', type=int)
>>> parser.parse_known_args('doit 1 --foo bar 2 3'.split())
(Namespace(cmd='doit', foo='bar', rest=[1]), ['2', '3'])
>>> parser.parse_intermixed_args('doit 1 --foo bar 2 3'.split())
Namespace(cmd='doit', foo='bar', rest=[1, 2, 3])

parse_known_intermixed_args() retorna uma tupla de dois itens contendo o espaço de nomes preenchido e a lista de strings de argumentos restantes. parse_intermixed_args() levanta um erro se houver strings de argumentos não analisadas restantes.

Adicionado na versão 3.7.

Exceções

exception argparse.ArgumentError

Um erro ao criar ou usar um argumento (opcional ou posicional).

O valor da string dessa exceção é a mensagem, complementada com informações sobre o argumento que a causou.

exception argparse.ArgumentTypeError

Levantada quando algo dá errado ao converter uma string de linha de comando em um tipo.

Guias e tutoriais

Tutorial de Argparse

Atualizando código optparse

Tutorial de Argparse

autor:

Tshepang Mbambo

Este tutorial pretende ser uma introdução gentil ao argparse — o módulo recomendado na biblioteca padrão do Python para fazer a análise de linha de comando.

Nota

Existem outros dois módulos que cumprem esta mesma tarefa, chamados getopt (equivalente ao getopt() da linguagem C) e outro que hoje está descontinuado optparse. Note também que o argparse é baseado no módulo optparse, e, portanto, possui bastante similaridade em termos de uso.

Conceitos

Demonstraremos o tipo de funcionalidade que vamos explorar neste tutorial introdutório fazendo uso do comando ls:

$ ls
cpython  devguide  prog.py  pypy  rm-unused-function.patch
$ ls pypy
ctypes_configure  demo  dotviewer  include  lib_pypy  lib-python ...
$ ls -l
total 20
drwxr-xr-x 19 wena wena 4096 Feb 18 18:51 cpython
drwxr-xr-x  4 wena wena 4096 Feb  8 12:04 devguide
-rwxr-xr-x  1 wena wena  535 Feb 19 00:05 prog.py
drwxr-xr-x 14 wena wena 4096 Feb  7 00:59 pypy
-rw-r--r--  1 wena wena  741 Feb 18 01:01 rm-unused-function.patch
$ ls --help
Uso: ls [OPÇÃO]... [ARQUIVO]...
Lista informações sobre os ARQUIVOs (no diretório atual por padrão).
Lista as entradas em ordem alfabética se não for usada nenhuma opção -cftuvSUX
nem --sort..
...

Alguns conceitos que podemos aprender a partir destes quatro comandos:

O comando ls é útil quando usado sem nenhuma opção. Por padrão, ele mostra o conteúdo do diretório atual.

Se quisermos além do que ele fornece por padrão, contamos um pouco mais. Neste caso, queremos que ele exiba um diretório diferente, pypy. O que fizemos foi especificar o que é conhecido como argumento posicional. Ele é chamado assim porque o programa deve saber o que fazer com o valor, apenas com base em onde ele aparece na linha de comando. Este conceito é mais relevante para um comando como cp, cujo uso mais básico é cp SRC DEST. A primeira posição é o que você deseja copiar e a segunda posição é para onde você deseja copiar.

Agora, digamos que queremos mudar o comportamento do programa. Em nosso exemplo, exibimos mais informações para cada arquivo em vez de apenas mostrar os nomes dos arquivos. O -l nesse caso é conhecido como um argumento opcional.

Esse é um trecho do texto de ajuda. É muito útil que possas encontrar um programa que nunca usastes antes e poder descobrir como o mesmo funciona simplesmente lendo o seu texto de ajuda.

O básico

Comecemos com um exemplo muito simples que irá fazer (quase) nada:

import argparse
parser = argparse.ArgumentParser()
parser.parse_args()

A seguir, temos o resultado da execução do código:

$ python prog.py
$ python prog.py --help
usage: prog.py [-h]

options:
  -h, --help  show this help message and exit
$ python prog.py --verbose
usage: prog.py [-h]
prog.py: error: unrecognized arguments: --verbose
$ python prog.py foo
usage: prog.py [-h]
prog.py: error: unrecognized arguments: foo

Eis aqui o que está acontecendo:

Executar o script sem qualquer opção resultará que nada será exibido em stdout. Isso não é útil.

O segundo começa a exibir as utilidades do módulo argparse. Não fizemos quase nada, mas já recebemos uma boa mensagem de ajuda.

A opção --help, que também pode ser encurtada para -h, é a única opção que obtemos livremente (ou seja, não é necessário determiná-la). Determinar qualquer outra coisa resulta num erro. Mas mesmo assim, recebemos uma mensagem de uso bastante útil, também de graça.

Apresentando os argumentos posicionais

Um exemplo:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("echo")
args = parser.parse_args()
print(args.echo)

E executando o código:

$ python prog.py
usage: prog.py [-h] echo
prog.py: error: the following arguments are required: echo
$ python prog.py --help
usage: prog.py [-h] echo

positional arguments:
  echo

options:
  -h, --help  show this help message and exit
$ python prog.py foo
foo

Aqui está o que acontecerá:

Nós adicionamos o método add_argument(), cujo o mesmo usamos para especificar quais opções de linha de comando o programa está disposto a aceitar. Neste caso, eu o nomeei echo para que ele esteja de acordo com sua função.

Chamar o nosso programa neste momento, requer a especificação de uma opção.

O método parse_args() realmente retorna alguns dados das opções especificadas, neste caso, echo.

A variável é uma forma de “mágica” que argparse executa de brinde (ou seja, não é necessário especificar em qual variável esse valor é armazenado). Você também notará que seu nome corresponde ao argumento string dado ao método, echo.

Observe, no entanto, que, embora a tela de ajuda pareça boa e tudo, atualmente não é tão útil quanto poderia ser. Por exemplo, vemos que temos echo como um argumento posicional, mas não sabemos o que ele faz, além de adivinhar ou ler o código-fonte. Então, vamos torná-lo um pouco mais útil:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("echo", help="echo the string you use here")
args = parser.parse_args()
print(args.echo)

E, iremos obter:

$ python prog.py -h
usage: prog.py [-h] echo

positional arguments:
  echo        echo the string you use here

options:
  -h, --help  show this help message and exit

Agora, que tal fazer algo ainda mais útil:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", help="display a square of a given number")
args = parser.parse_args()
print(args.square**2)

A seguir, temos o resultado da execução do código:

$ python prog.py 4
Traceback (most recent call last):
  File "prog.py", line 5, in <module>
    print(args.square**2)
TypeError: unsupported operand type(s) for ** or pow(): 'str' and 'int'

Isso não correu tão bem. Isso porque argparse trata as opções que damos a ele como strings, a menos que digamos o contrário. Então, vamos dizer ao argparse para tratar essa entrada como um inteiro:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", help="display a square of a given number",
                    type=int)
args = parser.parse_args()
print(args.square**2)

A seguir, temos o resultado da execução do código:

$ python prog.py 4
16
$ python prog.py four
usage: prog.py [-h] square
prog.py: error: argument square: invalid int value: 'four'

Correu bem. O programa agora até fecha com ajuda de entrada ilegal ruim antes de prosseguir.

Apresentando os argumentos opcionais

Até agora, jogamos com argumentos posicionais. Vamos dar uma olhada em como adicionar opcionais:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--verbosity", help="increase output verbosity")
args = parser.parse_args()
if args.verbosity:
    print("verbosity turned on")

E a saída:

$ python prog.py --verbosity 1
verbosity turned on
$ python prog.py
$ python prog.py --help
usage: prog.py [-h] [--verbosity VERBOSITY]

options:
  -h, --help            show this help message and exit
  --verbosity VERBOSITY
                        increase output verbosity
$ python prog.py --verbosity
usage: prog.py [-h] [--verbosity VERBOSITY]
prog.py: error: argument --verbosity: expected one argument

Eis aqui o que está acontecendo:

O programa é escrito de forma a exibir algo quando --verbosity é especificado e não exibir nada quando não for.

Para mostrar que a opção é realmente opcional, não há erro ao executar o programa sem ela. Observe que, por padrão, se um argumento opcional não for usado, a variável relevante, neste caso args.verbosity, recebe None como valor, razão pela qual falha no teste de verdade da instrução if.

A mensagem de ajuda é um pouco diferente.

Ao usar a opção --verbosity, deve-se também especificar algum valor, qualquer valor.

O exemplo acima aceita valores inteiros arbitrários para --verbosity, mas para nosso programa simples, apenas dois valores são realmente úteis, True ou False. Vamos modificar o código de acordo:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--verbose", help="increase output verbosity",
                    action="store_true")
args = parser.parse_args()
if args.verbose:
    print("verbosity turned on")

E a saída:

$ python prog.py --verbose
verbosity turned on
$ python prog.py --verbose 1
usage: prog.py [-h] [--verbose]
prog.py: error: unrecognized arguments: 1
$ python prog.py --help
usage: prog.py [-h] [--verbose]

options:
  -h, --help  show this help message and exit
  --verbose   increase output verbosity

Eis aqui o que está acontecendo:

A opção agora é mais um sinalizador do que algo que requer um valor. Até mudamos o nome da opção para corresponder a essa ideia. Observe que agora especificamos uma nova palavra reservada, action, e damos a ela o valor "store_true". Isso significa que, se a opção for especificada, atribui o valor True para args.verbose. Não especificá-la implica em False.

Ele reclama quando você especifica um valor, no verdadeiro espírito do que os sinalizadores realmente são.

Observe o texto de ajuda diferente.

Opções curtas

Se você estiver familiarizado com o uso da linha de comando, notará que ainda não toquei no tópico das versões curtas das opções. É bem simples:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("-v", "--verbose", help="increase output verbosity",
                    action="store_true")
args = parser.parse_args()
if args.verbose:
    print("verbosity turned on")

E aqui vai:

$ python prog.py -v
verbosity turned on
$ python prog.py --help
usage: prog.py [-h] [-v]

options:
  -h, --help     show this help message and exit
  -v, --verbose  increase output verbosity

Observe que a nova habilidade também é refletida no texto de ajuda.

Combinando argumentos posicionais e opcionais

Nosso programa continua crescendo em complexidade:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbose", action="store_true",
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
if args.verbose:
    print(f"the square of {args.square} equals {answer}")
else:
    print(answer)

E agora a saída:

$ python prog.py
usage: prog.py [-h] [-v] square
prog.py: error: the following arguments are required: square
$ python prog.py 4
16
$ python prog.py 4 --verbose
the square of 4 equals 16
$ python prog.py --verbose 4
the square of 4 equals 16

Trouxemos de volta um argumento posicional, daí a reclamação.

Observe que a ordem não importa.

Que tal devolvermos a este nosso programa a capacidade de ter vários valores de verbosidade e realmente usá-los:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbosity", type=int,
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
if args.verbosity == 2:
    print(f"the square of {args.square} equals {answer}")
elif args.verbosity == 1:
    print(f"{args.square}^2 == {answer}")
else:
    print(answer)

E a saída:

$ python prog.py 4
16
$ python prog.py 4 -v
usage: prog.py [-h] [-v VERBOSITY] square
prog.py: error: argument -v/--verbosity: expected one argument
$ python prog.py 4 -v 1
4^2 == 16
$ python prog.py 4 -v 2
the square of 4 equals 16
$ python prog.py 4 -v 3
16

Todos eles parecem bons, exceto o último, que expõe um bug em nosso programa. Vamos corrigi-lo restringindo os valores que a opção --verbosity pode aceitar:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbosity", type=int, choices=[0, 1, 2],
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
if args.verbosity == 2:
    print(f"the square of {args.square} equals {answer}")
elif args.verbosity == 1:
    print(f"{args.square}^2 == {answer}")
else:
    print(answer)

E a saída:

$ python prog.py 4 -v 3
usage: prog.py [-h] [-v {0,1,2}] square
prog.py: error: argument -v/--verbosity: invalid choice: 3 (choose from 0, 1, 2)
$ python prog.py 4 -h
usage: prog.py [-h] [-v {0,1,2}] square

positional arguments:
  square                display a square of a given number

options:
  -h, --help            show this help message and exit
  -v, --verbosity {0,1,2}
                        increase output verbosity

Observe que a alteração também reflete tanto na mensagem de erro quanto na string de ajuda.

Agora, vamos usar uma abordagem diferente de brincar com a verbosidade, que é bastante comum. Ele também corresponde à maneira como o executável do CPython trata seu próprio argumento de verbosidade (verifique a saída de python --help):

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display the square of a given number")
parser.add_argument("-v", "--verbosity", action="count",
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
if args.verbosity == 2:
    print(f"the square of {args.square} equals {answer}")
elif args.verbosity == 1:
    print(f"{args.square}^2 == {answer}")
else:
    print(answer)

Introduzimos outra ação, “contar”, para contar o número de ocorrências de opções específicas.

$ python prog.py 4
16
$ python prog.py 4 -v
4^2 == 16
$ python prog.py 4 -vv
the square of 4 equals 16
$ python prog.py 4 --verbosity --verbosity
the square of 4 equals 16
$ python prog.py 4 -v 1
usage: prog.py [-h] [-v] square
prog.py: error: unrecognized arguments: 1
$ python prog.py 4 -h
usage: prog.py [-h] [-v] square

positional arguments:
  square           display a square of a given number

options:
  -h, --help       show this help message and exit
  -v, --verbosity  increase output verbosity
$ python prog.py 4 -vvv
16

Sim, agora é mais um sinalizador (semelhante a action="store_true") na versão anterior do nosso script. Isso deve explicar a reclamação.

Ele também se comporta de maneira semelhante à ação “store_true”.

Agora aqui está uma demonstração do que a ação “contar” oferece. Você provavelmente já viu esse tipo de uso antes.

E se você não especificar o sinalizador -v, esse sinalizador será considerado como tendo valor None.

Como deve ser esperado, especificando a forma longa do sinalizador, devemos obter a mesma saída.

Infelizmente, nossa saída de ajuda não é muito informativa sobre a nova habilidade que nosso script adquiriu, mas isso sempre pode ser corrigido melhorando a documentação de nosso script (por exemplo, através do argumento nomeado help).

Essa última saída expõe um bug em nosso programa.

Vamos corrigir:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbosity", action="count",
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2

# bugfix: replace == with >=
if args.verbosity >= 2:
    print(f"the square of {args.square} equals {answer}")
elif args.verbosity >= 1:
    print(f"{args.square}^2 == {answer}")
else:
    print(answer)

E isso aqui é o mesmo retorna:

$ python prog.py 4 -vvv
the square of 4 equals 16
$ python prog.py 4 -vvvv
the square of 4 equals 16
$ python prog.py 4
Traceback (most recent call last):
  File "prog.py", line 11, in <module>
    if args.verbosity >= 2:
TypeError: '>=' not supported between instances of 'NoneType' and 'int'

A primeira saída correu bem e corrige o bug que tínhamos antes. Ou seja, queremos que qualquer valor >= 2 seja o mais detalhado possível.

A terceira saída não está tão boa.

Vamos corrigir esse bug:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbosity", action="count", default=0,
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
if args.verbosity >= 2:
    print(f"the square of {args.square} equals {answer}")
elif args.verbosity >= 1:
    print(f"{args.square}^2 == {answer}")
else:
    print(answer)

Acabamos de introduzir outra palavra reservada, default. Nós o configuramos como 0 para torná-lo comparável aos outros valores int. Lembre-se que por padrão, se um argumento opcional não for especificado, ele obtém o valor None, e isso não pode ser comparado a um valor int (daí a exceção TypeError).

E:

$ python prog.py 4
16

Você pode ir muito longe apenas com o que aprendemos até agora, e nós apenas arranhamos a superfície. O módulo argparse é muito poderoso, e vamos explorar um pouco mais antes de terminar este tutorial.

Avançando um pouco mais

E se quiséssemos expandir nosso pequeno programa, ampliando seu potencial:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("x", type=int, help="the base")
parser.add_argument("y", type=int, help="the exponent")
parser.add_argument("-v", "--verbosity", action="count", default=0)
args = parser.parse_args()
answer = args.x**args.y
if args.verbosity >= 2:
    print(f"{args.x} to the power {args.y} equals {answer}")
elif args.verbosity >= 1:
    print(f"{args.x}^{args.y} == {answer}")
else:
    print(answer)

Saída:

$ python prog.py
usage: prog.py [-h] [-v] x y
prog.py: error: the following arguments are required: x, y
$ python prog.py -h
usage: prog.py [-h] [-v] x y

positional arguments:
  x                the base
  y                the exponent

options:
  -h, --help       show this help message and exit
  -v, --verbosity
$ python prog.py 4 2 -v
4^2 == 16

Observe que até agora estamos usando o nível de verbosidade para alterar o texto que é exibido. O exemplo a seguir usa o nível de verbosidade para exibir mais texto:

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("x", type=int, help="the base")
parser.add_argument("y", type=int, help="the exponent")
parser.add_argument("-v", "--verbosity", action="count", default=0)
args = parser.parse_args()
answer = args.x**args.y
if args.verbosity >= 2:
    print(f"Running '{__file__}'")
if args.verbosity >= 1:
    print(f"{args.x}^{args.y} == ", end="")
print(answer)

Saída:

$ python prog.py 4 2
16
$ python prog.py 4 2 -v
4^2 == 16
$ python prog.py 4 2 -vv
Running 'prog.py'
4^2 == 16

Especificando argumentos ambíguos

Quando há ambiguidade em decidir se um argumento é posicional ou para um argumento, -- pode ser usado para dizer parse_args() que tudo depois disso é um argumento posicional:

>>> parser = argparse.ArgumentParser(prog='PROG')
>>> parser.add_argument('-n', nargs='+')
>>> parser.add_argument('args', nargs='*')

>>> # ambiguous, so parse_args assumes it's an option
>>> parser.parse_args(['-f'])
usage: PROG [-h] [-n N [N ...]] [args ...]
PROG: error: unrecognized arguments: -f

>>> parser.parse_args(['--', '-f'])
Namespace(args=['-f'], n=None)

>>> # ambiguous, so the -n option greedily accepts arguments
>>> parser.parse_args(['-n', '1', '2', '3'])
Namespace(args=[], n=['1', '2', '3'])

>>> parser.parse_args(['-n', '1', '--', '2', '3'])
Namespace(args=['2', '3'], n=['1'])

Opções conflitantes

Até agora, trabalhamos com dois métodos de uma instância argparse.ArgumentParser. Vamos apresentar um terceiro, add_mutually_exclusive_group(). Ele nos permite especificar opções que entram em conflito umas com as outras. Vamos também alterar o resto do programa para que a nova funcionalidade faça mais sentido: vamos introduzir a opção --quiet, que será o oposto da opção --verbose:

import argparse

parser = argparse.ArgumentParser()
group = parser.add_mutually_exclusive_group()
group.add_argument("-v", "--verbose", action="store_true")
group.add_argument("-q", "--quiet", action="store_true")
parser.add_argument("x", type=int, help="the base")
parser.add_argument("y", type=int, help="the exponent")
args = parser.parse_args()
answer = args.x**args.y

if args.quiet:
    print(answer)
elif args.verbose:
    print(f"{args.x} to the power {args.y} equals {answer}")
else:
    print(f"{args.x}^{args.y} == {answer}")

Nosso programa agora está mais simples e perdemos algumas funcionalidades para demonstração. De qualquer forma, aqui está a saída:

$ python prog.py 4 2
4^2 == 16
$ python prog.py 4 2 -q
16
$ python prog.py 4 2 -v
4 to the power 2 equals 16
$ python prog.py 4 2 -vq
usage: prog.py [-h] [-v | -q] x y
prog.py: error: argument -q/--quiet: not allowed with argument -v/--verbose
$ python prog.py 4 2 -v --quiet
usage: prog.py [-h] [-v | -q] x y
prog.py: error: argument -q/--quiet: not allowed with argument -v/--verbose

Isso deve ser fácil de seguir. Eu adicionei essa última saída para que você possa ver o tipo de flexibilidade que obtém, ou seja, misturar opções de formato longo com formatos curtos.

Antes de concluirmos, você provavelmente quer dizer aos seus usuários o propósito principal do seu programa, caso eles não saibam:

import argparse

parser = argparse.ArgumentParser(description="calculate X to the power of Y")
group = parser.add_mutually_exclusive_group()
group.add_argument("-v", "--verbose", action="store_true")
group.add_argument("-q", "--quiet", action="store_true")
parser.add_argument("x", type=int, help="the base")
parser.add_argument("y", type=int, help="the exponent")
args = parser.parse_args()
answer = args.x**args.y

if args.quiet:
    print(answer)
elif args.verbose:
    print(f"{args.x} to the power {args.y} equals {answer}")
else:
    print(f"{args.x}^{args.y} == {answer}")

Observe essa pequena diferença no texto de uso. Observe o [-v | -q], que nos diz que podemos usar -v ou -q, mas não ambos ao mesmo tempo:

$ python prog.py --help
usage: prog.py [-h] [-v | -q] x y

calculate X to the power of Y

positional arguments:
  x              the base
  y              the exponent

options:
  -h, --help     show this help message and exit
  -v, --verbose
  -q, --quiet

Como traduzir a saída do argparse

A saída do módulo argparse, como seu texto de ajuda e mensagens de erro, são todos traduzidos usando o módulo gettext. Isso permite que os aplicativos localizem facilmente as mensagens produzidas por argparse. Veja também Internacionalizando seus programas e módulos.

Por exemplo, nesta saída argparse:

$ python prog.py --help
usage: prog.py [-h] [-v | -q] x y

calculate X to the power of Y

positional arguments:
  x              the base
  y              the exponent

options:
  -h, --help     show this help message and exit
  -v, --verbose
  -q, --quiet

As strings usage:, positional arguments:, options: e show this help message and exit são todos traduzíveis.

Para traduzir essas strings, elas devem primeiro ser extraídas em um arquivo .po. Por exemplo, usando Babel [https://babel.pocoo.org/], execute este comando:

$ pybabel extract -o messages.po /usr/lib/python3.12/argparse.py

Este comando extrairá todas as strings traduzíveis do módulo argparse e as enviará para um arquivo chamado messages.po. Este comando presume que sua instalação do Python está em /usr/lib.

Você pode descobrir a localização do módulo argparse em seu sistema usando este script:

import argparse
print(argparse.__file__)

Uma vez que as mensagens no arquivo .po sejam traduzidas e as traduções instaladas usando gettext, argparse será capaz de exibir as mensagens traduzidas.

Para traduzir suas próprias strings na saída argparse, use gettext.

Conversores de tipo personalizados

O módulo argparse permite que você especifique conversores de tipo personalizados para seus argumentos de linha de comando. Isso permite modificar a entrada de usuário antes de armazená-la na argparse.Namespace. Isso pode ser útil quando você precisa pré-processar a entrada antes dela ser usada em seu programa.

Ao usar um conversor de tipo personalizado, você pode usar qualquer chamável que recebe uma única string como argumento (o valor do argumento) e retorna o valor convertido. Porém, se você precisa tratar de cenários mais complexos, você pode usar uma classe de ação personalizada com o parâmetro action.

Por exemplo, digamos que vcoê deseja tratar de argumentos com diferentes prefixos e processá-los adequadamente:

import argparse

parser = argparse.ArgumentParser(prefix_chars='-+')

parser.add_argument('-a', metavar='<value>', action='append',
                    type=lambda x: ('-', x))
parser.add_argument('+a', metavar='<value>', action='append',
                    type=lambda x: ('+', x))

args = parser.parse_args()
print(args)

Saída:

$ python prog.py -a valor1 +a valor2
Namespace(a=[('-', 'valor1'), ('+', 'valor2')])

Neste exemplos, nós:

Criamos um analisador sintático com caracteres de prefixo personalizado usando parâmetro prefix_chars.

Definimos dois argumentos, -a e +a, que usaram o parâmetro type para criar conversores de tipo personalizados para armazenar o valor em uma tupla com o prefixo.

Sem os conversores de tipo personalizados, os argumentos tratariam -a e +a como o mesmo argumento, o que não era o desejado. Ao usar conversores de tipo personalizados, conseguimos diferenciar entre dois argumentos.

Conclusão

O módulo argparse oferece muito mais do que o mostrado aqui. Sua documentação é bastante detalhada e completo, e cheia de exemplos. Tendo passado por este tutorial, você deve digeri-la facilmente sem se sentir sobrecarregado.

Atualizando código optparse

Originalmente, o módulo argparse tentou manter a compatibilidade com optparse. No entanto, optparse era difícil de estender de forma transparente, particularmente com as mudanças necessárias para prover suporte a especificadores nargs= e melhores mensagens de uso. Quando quase tudo em optparse tinha sido copiado e colado ou corrigido em tempo de execução, não mais parecia prático tentar manter a compatibilidade com versões anteriores.

O módulo argparse melhora em comparação ao módulo optparse em vários aspectos, incluindo:

Tratando argumentos posicionais.

Prover suporte a subcomandos.

Permitir prefixos alternativos de opções como + e /.

Manipular argumentos de estilo “zero ou mais” e “um ou mais”.

Produzir mensagens de uso mais informativas.

Fornecer uma interface muito mais simples para type e action personalizados.

Um caminho de atualização parcial de optparse para argparse:

Substituir todas as chamadas de optparse.OptionParser.add_option() por chamadas de ArgumentParser.add_argument().

Substituir (options, args) = parser.parse_args() por args = parser.parse_args() e adicionar chamadas adicionais a ArgumentParser.add_argument() para os argumentos posicionais. Tenha em mente que o que anteriormente era chamado de options, agora no contexto do argparse é chamado de args.

Substituir optparse.OptionParser.disable_interspersed_args() usando parse_intermixed_args() em vez de parse_args().

Substituir ações de função de retorno e argumentos nomeados callback_* por argumentos type ou action.

Substituir nomes de strings para argumentos nomeados type pelos objetos de tipo correspondentes (por exemplo, int, float, complex, etc).

Substituir optparse.Values por Namespace e optparse.OptionError e optparse.OptionValueError por ArgumentError.

Substituir strings com argumentos implícitos tal como %default ou %prog pela sintaxe padrão do Python para usar dicionários para formatar strings, ou seja, %(default)s e %(prog)s.

Substituir o argumento version do construtor do OptionParser por uma chamada a parser.add_argument('--version', action='version', version='<the version>').

logging — Recurso de utilização do Logging para Python

Código-fonte: Lib/logging/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/logging/__init__.py]

Important

Esta página contêm informação de referência da API. Para informação tutorial e discussão de tópicos mais avançados, consulte

Tutorial básico

Tutorial avançado

Livro de receitas de logging

Este módulo define funções e classes que implementam um registro flexível de eventos de sistema para aplicações e bibliotecas.

O principal benefício de ter a API de registro de eventos a partir de um módulo da biblioteca padrão é que todos os módulos Python podem participar no registro de eventos, de forma que sua aplicação pode incluir suas próprias mensagens, integradas com mensagens de módulos de terceiros.

Aqui está um exemplo simples de uso idiomático:

# myapp.py
import logging
import mylib
logger = logging.getLogger(__name__)

def main():
    logging.basicConfig(filename='myapp.log', level=logging.INFO)
    logger.info('Started')
    mylib.do_something()
    logger.info('Finished')

if __name__ == '__main__':
    main()

# mylib.py
import logging
logger = logging.getLogger(__name__)

def do_something():
    logger.info('Doing something')

Se você executar myapp.py, deverá ver isso em myapp.log:

INFO:__main__:Started
INFO:mylib:Doing something
INFO:__main__:Finished

The key feature of this idiomatic usage is that the majority of code is simply creating a module level logger with getLogger(__name__), and using that logger to do any needed logging. This is concise, while allowing downstream code fine-grained control if needed. Logged messages to the module-level logger get forwarded to handlers of loggers in higher-level modules, all the way up to the highest-level logger known as the root logger; this approach is known as hierarchical logging.

For logging to be useful, it needs to be configured: setting the levels and destinations for each logger, potentially changing how specific modules log, often based on command-line arguments or application configuration. In most cases, like the one above, only the root logger needs to be so configured, since all the lower level loggers at module level eventually forward their messages to its handlers. basicConfig() provides a quick way to configure the root logger that handles many use cases.

O módulo provê várias funcionalidades e flexibilidade. Se você não está familiarizado com logging, a melhor maneira para se ter uma noção sobre é ver os tutoriais (veja os links acima e à direita).

The basic classes defined by the module, together with their attributes and methods, are listed in the sections below.

Loggers expõem a interface que o código da aplicação usa diretamente.

Handlers enviam os registros do evento (criados por loggers) aos destinos apropriados.

Filters fornecem uma facilidade granular para determinar quais registros de eventos enviar à saída.

Formatters especificam o layout dos registros de eventos na saída final.

Objetos Logger

Loggers tem os atributos e métodos a seguir. Observem que Loggers NUNCA devem ser instanciados diretamente, mas sempre através da função logging.getLogger(name). Múltiplas chamadas à função getLogger() com o mesmo nome sempre retornará uma referência para o mesmo objeto Logger.

The name is potentially a period-separated hierarchical value, like foo.bar.baz (though it could also be just plain foo, for example). Loggers that are further down in the hierarchical list are children of loggers higher up in the list. For example, given a logger with a name of foo, loggers with names of foo.bar, foo.bar.baz, and foo.bam are all descendants of foo. In addition, all loggers are descendants of the root logger. The logger name hierarchy is analogous to the Python package hierarchy, and identical to it if you organise your loggers on a per-module basis using the recommended construction logging.getLogger(__name__). That’s because in a module, __name__ is the module’s name in the Python package namespace.

class logging.Logger

name

This is the logger’s name, and is the value that was passed to getLogger() to obtain the logger.

Nota

This attribute should be treated as read-only.

level

The threshold of this logger, as set by the setLevel() method.

Nota

Do not set this attribute directly - always use setLevel(), which has checks for the level passed to it.

parent

The parent logger of this logger. It may change based on later instantiation of loggers which are higher up in the namespace hierarchy.

Nota

This value should be treated as read-only.

propagate

Se este atributo for avaliado como verdadeiro, os registros de eventos para esse logger serão repassados para loggers de níveis superiores (ancestrais), em adição a qualquer destino configurado para esse logger.

Se o valor for falso, as mensagens de registro de eventos não são passadas para loggers ancestrais.

Explicando com um exemplo: se o atributo propagate do logger chamado A.B.C for avaliado como true, qualquer evento registrado em A.B.C pela chamada de métodos como logging.getLogger('A.B.C').error(...) será [sujeito à passagem das configurações de filtro e nível do logger] passada por sua vez para qualquer tratador ligado aos loggers nomeados A.B, A e ao logger raiz, após ser passado para qualquer tratador ligado ao A.B.C. Se qualquer logger na cadeia A.B.C, A.B, A tem o atributo propagate definido como false, então esse será o último logger cujos tratadores terão os eventos oferecidos para serem tratados e a propagação terminará naquele ponto.

O construtor atribui este valor como True.

Nota

Se você configurar um destino para o logger e um ou mais dos ancestrais, pode acontecer que a mesma mensagem seja registrada várias vezes. Em geral, você não precisa configurar saídas para mais que um logger - se você configurar apenas para o logger principal da hierarquia, então todos os eventos dos loggers descendentes serão visualizados ali, fornecido pela configuração de propagação, cujo padrão é True. Um cenário comum é configurar as saídas somente no logger raiz, e deixar a propagação tomar conta do resto.

handlers

The list of handlers directly attached to this logger instance.

Nota

This attribute should be treated as read-only; it is normally changed via the addHandler() and removeHandler() methods, which use locks to ensure thread-safe operation.

disabled

This attribute disables handling of any events. It is set to False in the initializer, and only changed by logging configuration code.

Nota

This attribute should be treated as read-only.

setLevel(level)

Ajuste o limite para este logger para level. Mensagens de registro de eventos que forem menos severas que este level serão ignoradas; mensagens que tenham nível de severidade igual ou maior que level serão emitidas para os destinos de saída configurados para o logger, a menos que o nível da saída tenha sido configurado para uma severidade ainda maior.

Quando um logger é criado, o nível é definido como NOTSET (que faz com que todas as mensagens sejam processadas quando o logger for o logger raiz, ou delegação para o pai quando o logger não for um logger raiz). Observe que o logger raiz é criado com nível WARNING.

O termo “delegação ao pai” significa que o logger possui um nível de NOTSET, e a sua cadeia de loggers ancestrais será percorrida até que um ancestral com o nível diferente de NOTSET seja encontrado ou até a raiz ser alcançada.

Se um ancestral for achado com um nível diferente de NOTSET, então o nível daquele ancestral será tratado como o nível efetivo do logger que começou a busca por ancestrais, e é usado para determinar como um registro de evento será manipulado.

Se a raiz é alcançada e o seu nível é NOTSET, então todas as mensagens serão processadas. Caso contrário, o nível da raiz será usada como o nível efetivo.

Veja Logging Levels para uma lista de níveis.

Alterado na versão 3.2: O parâmetro level agora é aceito como uma string representando o nível tal qual ‘INFO’, como uma alternativa as constantes inteiras tal qual INFO. Note, entretanto, que os níveis são guardados internamente como inteiros e os métodos como, por exemplo, getEffectiveLevel() e isEnabledFor() retornarão/esperarão que sejam passados inteiros.

isEnabledFor(level)

Indica se a mensagem com gravidade level seria processada por esse logger. Esse método checa primeiro o nível à nível de módulo definido por logging.disable(level) e então o nível efetivo do logger como determinado por getEffectiveLevel().

getEffectiveLevel()

Indica o nível efeito para esse logger. Se um valor diferente de NOTSET foi definido usando setLevel(), ele é retornado. Caso contrário, a hierarquia é percorrida em direção a raiz até um valor diferente de NOTSET ser encontrado e então esse valor é retornado. O valor retornado é um inteiro, tipicamento um entre logging.DEBUG, logging.INFO etc

getChild(suffix)

Retorna um logger que é descendente deste logger, como determinado pelo sufixo. Portanto, logging.getLogger('abc').getChild('def.ghi') retornaria o mesmo logger que seria retornado por logging.getLogger('abc.def.ghi'). Esse é um método de conveniência, útil quando o logger pai é nomeado usando, por exemplo __name__ ao invés de uma string literal.

Adicionado na versão 3.2.

getChildren()

Returns a set of loggers which are immediate children of this logger. So for example logging.getLogger().getChildren() might return a set containing loggers named foo and bar, but a logger named foo.bar wouldn’t be included in the set. Likewise, logging.getLogger('foo').getChildren() might return a set including a logger named foo.bar, but it wouldn’t include one named foo.bar.baz.

Adicionado na versão 3.12.

debug(msg, *args, **kwargs)

Logs a message with level DEBUG on this logger. The msg is the message format string, and the args are the arguments which are merged into msg using the string formatting operator. (Note that this means that you can use keywords in the format string, together with a single dictionary argument.) No % formatting operation is performed on msg when no args are supplied.

Existem quatro argumentos nomeados em kwargs que serão inspecionados: exc_info, stack_info, stacklevel e extra.

If exc_info does not evaluate as false, it causes exception information to be added to the logging message. If an exception tuple (in the format returned by sys.exc_info()) or an exception instance is provided, it is used; otherwise, sys.exc_info() is called to get the exception information.

The second optional keyword argument is stack_info, which defaults to False. If true, stack information is added to the logging message, including the actual logging call. Note that this is not the same stack information as that displayed through specifying exc_info: The former is stack frames from the bottom of the stack up to the logging call in the current thread, whereas the latter is information about stack frames which have been unwound, following an exception, while searching for exception handlers.

You can specify stack_info independently of exc_info, e.g. to just show how you got to a certain point in your code, even when no exceptions were raised. The stack frames are printed following a header line which says:

Stack (most recent call last):

Isso imita o Traceback (most recent call last): que é usado ao exibir quadros de exceção.

The third optional keyword argument is stacklevel, which defaults to 1. If greater than 1, the corresponding number of stack frames are skipped when computing the line number and function name set in the LogRecord created for the logging event. This can be used in logging helpers so that the function name, filename and line number recorded are not the information for the helper function/method, but rather its caller. The name of this parameter mirrors the equivalent one in the warnings module.

The fourth keyword argument is extra which can be used to pass a dictionary which is used to populate the __dict__ of the LogRecord created for the logging event with user-defined attributes. These custom attributes can then be used as you like. For example, they could be incorporated into logged messages. For example:

FORMAT = '%(asctime)s %(clientip)-15s %(user)-8s %(message)s'
logging.basicConfig(format=FORMAT)
d = {'clientip': '192.168.0.1', 'user': 'fbloggs'}
logger = logging.getLogger('tcpserver')
logger.warning('Protocol problem: %s', 'connection reset', extra=d)

imprimiria algo como

2006-02-08 22:20:02,165 192.168.0.1 fbloggs  Protocol problem: connection reset

The keys in the dictionary passed in extra should not clash with the keys used by the logging system. (See the section on Atributos LogRecord for more information on which keys are used by the logging system.)

If you choose to use these attributes in logged messages, you need to exercise some care. In the above example, for instance, the Formatter has been set up with a format string which expects ‘clientip’ and ‘user’ in the attribute dictionary of the LogRecord. If these are missing, the message will not be logged because a string formatting exception will occur. So in this case, you always need to pass the extra dictionary with these keys.

While this might be annoying, this feature is intended for use in specialized circumstances, such as multi-threaded servers where the same code executes in many contexts, and interesting conditions which arise are dependent on this context (such as remote client IP address and authenticated user name, in the above example). In such circumstances, it is likely that specialized Formatters would be used with particular Handlers.

Se nenhum tratador esta ligado à este logger (ou nenhum de seus ancestrais, levando em consideração os atributos Logger.propagate relevantes), a mensagem será enviada para o tratador definido em lastResort.

Alterado na versão 3.2: O parâmetro stack_info foi adicionado.

Alterado na versão 3.5: The exc_info parameter can now accept exception instances.

Alterado na versão 3.8: O parâmetro stacklevel foi adicionado.

info(msg, *args, **kwargs)

Logs a message with level INFO on this logger. The arguments are interpreted as for debug().

warning(msg, *args, **kwargs)

Logs a message with level WARNING on this logger. The arguments are interpreted as for debug().

Nota

There is an obsolete method warn which is functionally identical to warning. As warn is deprecated, please do not use it - use warning instead.

error(msg, *args, **kwargs)

Logs a message with level ERROR on this logger. The arguments are interpreted as for debug().

critical(msg, *args, **kwargs)

Logs a message with level CRITICAL on this logger. The arguments are interpreted as for debug().

log(level, msg, *args, **kwargs)

Logs a message with integer level level on this logger. The other arguments are interpreted as for debug().

exception(msg, *args, **kwargs)

Logs a message with level ERROR on this logger. The arguments are interpreted as for debug(). Exception info is added to the logging message. This method should only be called from an exception handler.

addFilter(filter)

Adds the specified filter filter to this logger.

removeFilter(filter)

Removes the specified filter filter from this logger.

filter(record)

Apply this logger’s filters to the record and return True if the record is to be processed. The filters are consulted in turn, until one of them returns a false value. If none of them return a false value, the record will be processed (passed to handlers). If one returns a false value, no further processing of the record occurs.

addHandler(hdlr)

Adiciona o tratador especificado por hdlr deste logger.

removeHandler(hdlr)

Remove o tratador especificado por hdlr deste logger.

findCaller(stack_info=False, stacklevel=1)

Finds the caller’s source filename and line number. Returns the filename, line number, function name and stack information as a 4-element tuple. The stack information is returned as None unless stack_info is True.

The stacklevel parameter is passed from code calling the debug() and other APIs. If greater than 1, the excess is used to skip stack frames before determining the values to be returned. This will generally be useful when calling logging APIs from helper/wrapper code, so that the information in the event log refers not to the helper/wrapper code, but to the code that calls it.

handle(record)

Handles a record by passing it to all handlers associated with this logger and its ancestors (until a false value of propagate is found). This method is used for unpickled records received from a socket, as well as those created locally. Logger-level filtering is applied using filter().

makeRecord(name, level, fn, lno, msg, args, exc_info, func=None, extra=None, sinfo=None)

This is a factory method which can be overridden in subclasses to create specialized LogRecord instances.

hasHandlers()

Checks to see if this logger has any handlers configured. This is done by looking for handlers in this logger and its parents in the logger hierarchy. Returns True if a handler was found, else False. The method stops searching up the hierarchy whenever a logger with the ‘propagate’ attribute set to false is found - that will be the last logger which is checked for the existence of handlers.

Adicionado na versão 3.2.

Alterado na versão 3.7: Loggers can now be pickled and unpickled.

Logging Levels

The numeric values of logging levels are given in the following table. These are primarily of interest if you want to define your own levels, and need them to have specific values relative to the predefined levels. If you define a level with the same numeric value, it overwrites the predefined value; the predefined name is lost.

Nível

Valor numérico

What it means / When to use it

logging.NOTSET

0

When set on a logger, indicates that ancestor loggers are to be consulted to determine the effective level. If that still resolves to NOTSET, then all events are logged. When set on a handler, all events are handled.

logging.DEBUG

10

Detailed information, typically only of interest to a developer trying to diagnose a problem.

logging.INFO

20

Confirmação de que as coisas estão funcionando como esperado.

logging.WARNING

30

An indication that something unexpected happened, or that a problem might occur in the near future (e.g. ‘disk space low’). The software is still working as expected.

logging.ERROR

40

Por conta de um problema mais grave, o software não conseguiu executar alguma função.

logging.CRITICAL

50

Um erro grave, indicando que o programa pode não conseguir continuar rodando.

Manipulação de Objetos

Handlers have the following attributes and methods. Note that Handler is never instantiated directly; this class acts as a base for more useful subclasses. However, the __init__() method in subclasses needs to call Handler.__init__().

class logging.Handler

__init__(level=NOTSET)

Initializes the Handler instance by setting its level, setting the list of filters to the empty list and creating a lock (using createLock()) for serializing access to an I/O mechanism.

createLock()

Initializes a thread lock which can be used to serialize access to underlying I/O functionality which may not be threadsafe.

acquire()

Acquires the thread lock created with createLock().

release()

Releases the thread lock acquired with acquire().

setLevel(level)

Sets the threshold for this handler to level. Logging messages which are less severe than level will be ignored. When a handler is created, the level is set to NOTSET (which causes all messages to be processed).

Veja Logging Levels para uma lista de níveis.

Alterado na versão 3.2: The level parameter now accepts a string representation of the level such as ‘INFO’ as an alternative to the integer constants such as INFO.

setFormatter(fmt)

Sets the Formatter for this handler to fmt.

addFilter(filter)

Adds the specified filter filter to this handler.

removeFilter(filter)

Removes the specified filter filter from this handler.

filter(record)

Apply this handler’s filters to the record and return True if the record is to be processed. The filters are consulted in turn, until one of them returns a false value. If none of them return a false value, the record will be emitted. If one returns a false value, the handler will not emit the record.

flush()

Ensure all logging output has been flushed. This version does nothing and is intended to be implemented by subclasses.

close()

Tidy up any resources used by the handler. This version does no output but removes the handler from an internal list of handlers which is closed when shutdown() is called. Subclasses should ensure that this gets called from overridden close() methods.

handle(record)

Conditionally emits the specified logging record, depending on filters which may have been added to the handler. Wraps the actual emission of the record with acquisition/release of the I/O thread lock.

handleError(record)

This method should be called from handlers when an exception is encountered during an emit() call. If the module-level attribute raiseExceptions is False, exceptions get silently ignored. This is what is mostly wanted for a logging system - most users will not care about errors in the logging system, they are more interested in application errors. You could, however, replace this with a custom handler if you wish. The specified record is the one which was being processed when the exception occurred. (The default value of raiseExceptions is True, as that is more useful during development).

format(record)

Do formatting for a record - if a formatter is set, use it. Otherwise, use the default formatter for the module.

emit(record)

Do whatever it takes to actually log the specified logging record. This version is intended to be implemented by subclasses and so raises a NotImplementedError.

Aviso

This method is called after a handler-level lock is acquired, which is released after this method returns. When you override this method, note that you should be careful when calling anything that invokes other parts of the logging API which might do locking, because that might result in a deadlock. Specifically:

Logging configuration APIs acquire the module-level lock, and then individual handler-level locks as those handlers are configured.

Many logging APIs lock the module-level lock. If such an API is called from this method, it could cause a deadlock if a configuration call is made on another thread, because that thread will try to acquire the module-level lock before the handler-level lock, whereas this thread tries to acquire the module-level lock after the handler-level lock (because in this method, the handler-level lock has already been acquired).

For a list of handlers included as standard, see logging.handlers.

Formatter Objects

class logging.Formatter(fmt=None, datefmt=None, style='%', validate=True, *, defaults=None)

Responsible for converting a LogRecord to an output string to be interpreted by a human or external system.

Parâmetros:

fmt (str) – A format string in the given style for the logged output as a whole. The possible mapping keys are drawn from the LogRecord object’s Atributos LogRecord. If not specified, '%(message)s' is used, which is just the logged message.

datefmt (str) – A format string in the given style for the date/time portion of the logged output. If not specified, the default described in formatTime() is used.

style (str) – Can be one of '%', '{' or '$' and determines how the format string will be merged with its data: using one of Formatação de String no Formato no estilo printf (%), str.format() ({) or string.Template ($). This only applies to fmt and datefmt (e.g. '%(message)s' versus '{message}'), not to the actual log messages passed to the logging methods. However, there are other ways to use {- and $-formatting for log messages.

validate (bool) – If True (the default), incorrect or mismatched fmt and style will raise a ValueError; for example, logging.Formatter('%(asctime)s - %(message)s', style='{').

defaults (dict[str, Any]) – A dictionary with default values to use in custom fields. For example, logging.Formatter('%(ip)s %(message)s', defaults={"ip": None})

Alterado na versão 3.2: Added the style parameter.

Alterado na versão 3.8: Added the validate parameter.

Alterado na versão 3.10: Added the defaults parameter.

format(record)

The record’s attribute dictionary is used as the operand to a string formatting operation. Returns the resulting string. Before formatting the dictionary, a couple of preparatory steps are carried out. The message attribute of the record is computed using msg % args. If the formatting string contains '(asctime)', formatTime() is called to format the event time. If there is exception information, it is formatted using formatException() and appended to the message. Note that the formatted exception information is cached in attribute exc_text. This is useful because the exception information can be pickled and sent across the wire, but you should be careful if you have more than one Formatter subclass which customizes the formatting of exception information. In this case, you will have to clear the cached value (by setting the exc_text attribute to None) after a formatter has done its formatting, so that the next formatter to handle the event doesn’t use the cached value, but recalculates it afresh.

If stack information is available, it’s appended after the exception information, using formatStack() to transform it if necessary.

formatTime(record, datefmt=None)

This method should be called from format() by a formatter which wants to make use of a formatted time. This method can be overridden in formatters to provide for any specific requirement, but the basic behavior is as follows: if datefmt (a string) is specified, it is used with time.strftime() to format the creation time of the record. Otherwise, the format ‘%Y-%m-%d %H:%M:%S,uuu’ is used, where the uuu part is a millisecond value and the other letters are as per the time.strftime() documentation. An example time in this format is 2003-01-23 00:29:50,411. The resulting string is returned.

This function uses a user-configurable function to convert the creation time to a tuple. By default, time.localtime() is used; to change this for a particular formatter instance, set the converter attribute to a function with the same signature as time.localtime() or time.gmtime(). To change it for all formatters, for example if you want all logging times to be shown in GMT, set the converter attribute in the Formatter class.

Alterado na versão 3.3: Previously, the default format was hard-coded as in this example: 2010-09-06 22:38:15,292 where the part before the comma is handled by a strptime format string ('%Y-%m-%d %H:%M:%S'), and the part after the comma is a millisecond value. Because strptime does not have a format placeholder for milliseconds, the millisecond value is appended using another format string, '%s,%03d' — and both of these format strings have been hardcoded into this method. With the change, these strings are defined as class-level attributes which can be overridden at the instance level when desired. The names of the attributes are default_time_format (for the strptime format string) and default_msec_format (for appending the millisecond value).

Alterado na versão 3.9: The default_msec_format can be None.

formatException(exc_info)

Formats the specified exception information (a standard exception tuple as returned by sys.exc_info()) as a string. This default implementation just uses traceback.print_exception(). The resulting string is returned.

formatStack(stack_info)

Formats the specified stack information (a string as returned by traceback.print_stack(), but with the last newline removed) as a string. This default implementation just returns the input value.

class logging.BufferingFormatter(linefmt=None)

A base formatter class suitable for subclassing when you want to format a number of records. You can pass a Formatter instance which you want to use to format each line (that corresponds to a single record). If not specified, the default formatter (which just outputs the event message) is used as the line formatter.

formatHeader(records)

Return a header for a list of records. The base implementation just returns the empty string. You will need to override this method if you want specific behaviour, e.g. to show the count of records, a title or a separator line.

formatFooter(records)

Return a footer for a list of records. The base implementation just returns the empty string. You will need to override this method if you want specific behaviour, e.g. to show the count of records or a separator line.

format(records)

Return formatted text for a list of records. The base implementation just returns the empty string if there are no records; otherwise, it returns the concatenation of the header, each record formatted with the line formatter, and the footer.

Filter Objects

Filters can be used by Handlers and Loggers for more sophisticated filtering than is provided by levels. The base filter class only allows events which are below a certain point in the logger hierarchy. For example, a filter initialized with ‘A.B’ will allow events logged by loggers ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’ etc. but not ‘A.BB’, ‘B.A.B’ etc. If initialized with the empty string, all events are passed.

class logging.Filter(name='')

Returns an instance of the Filter class. If name is specified, it names a logger which, together with its children, will have its events allowed through the filter. If name is the empty string, allows every event.

filter(record)

Is the specified record to be logged? Returns false for no, true for yes. Filters can either modify log records in-place or return a completely different record instance which will replace the original log record in any future processing of the event.

Note that filters attached to handlers are consulted before an event is emitted by the handler, whereas filters attached to loggers are consulted whenever an event is logged (using debug(), info(), etc.), before sending an event to handlers. This means that events which have been generated by descendant loggers will not be filtered by a logger’s filter setting, unless the filter has also been applied to those descendant loggers.

You don’t actually need to subclass Filter: you can pass any instance which has a filter method with the same semantics.

Alterado na versão 3.2: You don’t need to create specialized Filter classes, or use other classes with a filter method: you can use a function (or other callable) as a filter. The filtering logic will check to see if the filter object has a filter attribute: if it does, it’s assumed to be a Filter and its filter() method is called. Otherwise, it’s assumed to be a callable and called with the record as the single parameter. The returned value should conform to that returned by filter().

Alterado na versão 3.12: You can now return a LogRecord instance from filters to replace the log record rather than modifying it in place. This allows filters attached to a Handler to modify the log record before it is emitted, without having side effects on other handlers.

Although filters are used primarily to filter records based on more sophisticated criteria than levels, they get to see every record which is processed by the handler or logger they’re attached to: this can be useful if you want to do things like counting how many records were processed by a particular logger or handler, or adding, changing or removing attributes in the LogRecord being processed. Obviously changing the LogRecord needs to be done with some care, but it does allow the injection of contextual information into logs (see Using Filters to impart contextual information).

LogRecord Objects

LogRecord instances are created automatically by the Logger every time something is logged, and can be created manually via makeLogRecord() (for example, from a pickled event received over the wire).

class logging.LogRecord(name, level, pathname, lineno, msg, args, exc_info, func=None, sinfo=None)

Contains all the information pertinent to the event being logged.

The primary information is passed in msg and args, which are combined using msg % args to create the message attribute of the record.

Parâmetros:

name (str) – The name of the logger used to log the event represented by this LogRecord. Note that the logger name in the LogRecord will always have this value, even though it may be emitted by a handler attached to a different (ancestor) logger.

level (int) – The numeric level of the logging event (such as 10 for DEBUG, 20 for INFO, etc). Note that this is converted to two attributes of the LogRecord: levelno for the numeric value and levelname for the corresponding level name.

pathname (str) – The full string path of the source file where the logging call was made.

lineno (int) – The line number in the source file where the logging call was made.

msg (Any) – The event description message, which can be a %-format string with placeholders for variable data, or an arbitrary object (see Usando objetos arbitrários como mensagens).

args (tuple | dict[str, Any]) – Variable data to merge into the msg argument to obtain the event description.

exc_info (tuple[type[BaseException], BaseException, types.TracebackType] | None) – An exception tuple with the current exception information, as returned by sys.exc_info(), or None if no exception information is available.

func (str | None) – The name of the function or method from which the logging call was invoked.

sinfo (str | None) – A text string representing stack information from the base of the stack in the current thread, up to the logging call.

getMessage()

Returns the message for this LogRecord instance after merging any user-supplied arguments with the message. If the user-supplied message argument to the logging call is not a string, str() is called on it to convert it to a string. This allows use of user-defined classes as messages, whose __str__ method can return the actual format string to be used.

Alterado na versão 3.2: The creation of a LogRecord has been made more configurable by providing a factory which is used to create the record. The factory can be set using getLogRecordFactory() and setLogRecordFactory() (see this for the factory’s signature).

This functionality can be used to inject your own values into a LogRecord at creation time. You can use the following pattern:

old_factory = logging.getLogRecordFactory()

def record_factory(*args, **kwargs):
    record = old_factory(*args, **kwargs)
    record.custom_attribute = 0xdecafbad
    return record

logging.setLogRecordFactory(record_factory)

With this pattern, multiple factories could be chained, and as long as they don’t overwrite each other’s attributes or unintentionally overwrite the standard attributes listed above, there should be no surprises.

Atributos LogRecord

The LogRecord has a number of attributes, most of which are derived from the parameters to the constructor. (Note that the names do not always correspond exactly between the LogRecord constructor parameters and the LogRecord attributes.) These attributes can be used to merge data from the record into the format string. The following table lists (in alphabetical order) the attribute names, their meanings and the corresponding placeholder in a %-style format string.

If you are using {}-formatting (str.format()), you can use {attrname} as the placeholder in the format string. If you are using $-formatting (string.Template), use the form ${attrname}. In both cases, of course, replace attrname with the actual attribute name you want to use.

In the case of {}-formatting, you can specify formatting flags by placing them after the attribute name, separated from it with a colon. For example: a placeholder of {msecs:03.0f} would format a millisecond value of 4 as 004. Refer to the str.format() documentation for full details on the options available to you.

Attribute name

Formatação

Descrição

args

You shouldn’t need to format this yourself.

The tuple of arguments merged into msg to produce message, or a dict whose values are used for the merge (when there is only one argument, and it is a dictionary).

asctime

%(asctime)s

Human-readable time when the LogRecord was created. By default this is of the form ‘2003-07-08 16:49:45,896’ (the numbers after the comma are millisecond portion of the time).

created

%(created)f

Time when the LogRecord was created (as returned by time.time_ns() / 1e9).

exc_info

You shouldn’t need to format this yourself.

Exception tuple (à la sys.exc_info) or, if no exception has occurred, None.

filename

%(filename)s

Filename portion of pathname.

funcName

%(funcName)s

Name of function containing the logging call.

levelname

%(levelname)s

Text logging level for the message ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL').

levelno

%(levelno)s

Numeric logging level for the message (DEBUG, INFO, WARNING, ERROR, CRITICAL).

lineno

%(lineno)d

Source line number where the logging call was issued (if available).

message

%(message)s

The logged message, computed as msg % args. This is set when Formatter.format() is invoked.

módulo

%(module)s

Module (name portion of filename).

msecs

%(msecs)d

Millisecond portion of the time when the LogRecord was created.

msg

You shouldn’t need to format this yourself.

The format string passed in the original logging call. Merged with args to produce message, or an arbitrary object (see Usando objetos arbitrários como mensagens).

nome

%(name)s

Name of the logger used to log the call.

pathname

%(pathname)s

Full pathname of the source file where the logging call was issued (if available).

processo

%(process)d

Process ID (if available).

processName

%(processName)s

Process name (if available).

relativeCreated

%(relativeCreated)d

Time in milliseconds when the LogRecord was created, relative to the time the logging module was loaded.

stack_info

You shouldn’t need to format this yourself.

Stack frame information (where available) from the bottom of the stack in the current thread, up to and including the stack frame of the logging call which resulted in the creation of this record.

thread

%(thread)d

Thread ID (if available).

threadName

%(threadName)s

Thread name (if available).

taskName

%(taskName)s

asyncio.Task name (if available).

Alterado na versão 3.1: processName was added.

Alterado na versão 3.12: taskName was added.

LoggerAdapter Objects

LoggerAdapter instances are used to conveniently pass contextual information into logging calls. For a usage example, see the section on adding contextual information to your logging output.

class logging.LoggerAdapter(logger, extra, merge_extra=False)

Returns an instance of LoggerAdapter initialized with an underlying Logger instance, a dict-like object (extra), and a boolean (merge_extra) indicating whether or not the extra argument of individual log calls should be merged with the LoggerAdapter extra. The default behavior is to ignore the extra argument of individual log calls and only use the one of the LoggerAdapter instance

process(msg, kwargs)

Modifies the message and/or keyword arguments passed to a logging call in order to insert contextual information. This implementation takes the object passed as extra to the constructor and adds it to kwargs using key ‘extra’. The return value is a (msg, kwargs) tuple which has the (possibly modified) versions of the arguments passed in.

manager

Delegates to the underlying manager on logger.

_log

Delegates to the underlying _log() method on logger.

In addition to the above, LoggerAdapter supports the following methods of Logger: debug(), info(), warning(), error(), exception(), critical(), log(), isEnabledFor(), getEffectiveLevel(), setLevel() and hasHandlers(). These methods have the same signatures as their counterparts in Logger, so you can use the two types of instances interchangeably.

Alterado na versão 3.2: The isEnabledFor(), getEffectiveLevel(), setLevel() and hasHandlers() methods were added to LoggerAdapter. These methods delegate to the underlying logger.

Alterado na versão 3.6: Attribute manager and method _log() were added, which delegate to the underlying logger and allow adapters to be nested.

Alterado na versão 3.13: The merge_extra argument was added.

Thread Safety

The logging module is intended to be thread-safe without any special work needing to be done by its clients. It achieves this though using threading locks; there is one lock to serialize access to the module’s shared data, and each handler also creates a lock to serialize access to its underlying I/O.

If you are implementing asynchronous signal handlers using the signal module, you may not be able to use logging from within such handlers. This is because lock implementations in the threading module are not always re-entrant, and so cannot be invoked from such signal handlers.

Funções de Nível de Módulo

In addition to the classes described above, there are a number of module-level functions.

logging.getLogger(name=None)

Return a logger with the specified name or, if name is None, return the root logger of the hierarchy. If specified, the name is typically a dot-separated hierarchical name like ‘a’, ‘a.b’ or ‘a.b.c.d’. Choice of these names is entirely up to the developer who is using logging, though it is recommended that __name__ be used unless you have a specific reason for not doing that, as mentioned in Objetos Logger.

All calls to this function with a given name return the same logger instance. This means that logger instances never need to be passed between different parts of an application.

logging.getLoggerClass()

Return either the standard Logger class, or the last class passed to setLoggerClass(). This function may be called from within a new class definition, to ensure that installing a customized Logger class will not undo customizations already applied by other code. For example:

class MyLogger(logging.getLoggerClass()):
    # ... override behaviour here

logging.getLogRecordFactory()

Return a callable which is used to create a LogRecord.

Adicionado na versão 3.2: This function has been provided, along with setLogRecordFactory(), to allow developers more control over how the LogRecord representing a logging event is constructed.

See setLogRecordFactory() for more information about the how the factory is called.

logging.debug(msg, *args, **kwargs)

This is a convenience function that calls Logger.debug(), on the root logger. The handling of the arguments is in every way identical to what is described in that method.

The only difference is that if the root logger has no handlers, then basicConfig() is called, prior to calling debug on the root logger.

For very short scripts or quick demonstrations of logging facilities, debug and the other module-level functions may be convenient. However, most programs will want to carefully and explicitly control the logging configuration, and should therefore prefer creating a module-level logger and calling Logger.debug() (or other level-specific methods) on it, as described at the beginnning of this documentation.

logging.info(msg, *args, **kwargs)

Logs a message with level INFO on the root logger. The arguments and behavior are otherwise the same as for debug().

logging.warning(msg, *args, **kwargs)

Logs a message with level WARNING on the root logger. The arguments and behavior are otherwise the same as for debug().

Nota

There is an obsolete function warn which is functionally identical to warning. As warn is deprecated, please do not use it - use warning instead.

logging.error(msg, *args, **kwargs)

Logs a message with level ERROR on the root logger. The arguments and behavior are otherwise the same as for debug().

logging.critical(msg, *args, **kwargs)

Logs a message with level CRITICAL on the root logger. The arguments and behavior are otherwise the same as for debug().

logging.exception(msg, *args, **kwargs)

Logs a message with level ERROR on the root logger. The arguments and behavior are otherwise the same as for debug(). Exception info is added to the logging message. This function should only be called from an exception handler.

logging.log(level, msg, *args, **kwargs)

Logs a message with level level on the root logger. The arguments and behavior are otherwise the same as for debug().

logging.disable(level=CRITICAL)

Provides an overriding level level for all loggers which takes precedence over the logger’s own level. When the need arises to temporarily throttle logging output down across the whole application, this function can be useful. Its effect is to disable all logging calls of severity level and below, so that if you call it with a value of INFO, then all INFO and DEBUG events would be discarded, whereas those of severity WARNING and above would be processed according to the logger’s effective level. If logging.disable(logging.NOTSET) is called, it effectively removes this overriding level, so that logging output again depends on the effective levels of individual loggers.

Note that if you have defined any custom logging level higher than CRITICAL (this is not recommended), you won’t be able to rely on the default value for the level parameter, but will have to explicitly supply a suitable value.

Alterado na versão 3.7: The level parameter was defaulted to level CRITICAL. See bpo-28524 [https://bugs.python.org/issue?@action=redirect&bpo=28524] for more information about this change.

logging.addLevelName(level, levelName)

Associates level level with text levelName in an internal dictionary, which is used to map numeric levels to a textual representation, for example when a Formatter formats a message. This function can also be used to define your own levels. The only constraints are that all levels used must be registered using this function, levels should be positive integers and they should increase in increasing order of severity.

Nota

If you are thinking of defining your own levels, please see the section on Custom Levels.

logging.getLevelNamesMapping()

Returns a mapping from level names to their corresponding logging levels. For example, the string “CRITICAL” maps to CRITICAL. The returned mapping is copied from an internal mapping on each call to this function.

Adicionado na versão 3.11.

logging.getLevelName(level)

Returns the textual or numeric representation of logging level level.

If level is one of the predefined levels CRITICAL, ERROR, WARNING, INFO or DEBUG then you get the corresponding string. If you have associated levels with names using addLevelName() then the name you have associated with level is returned. If a numeric value corresponding to one of the defined levels is passed in, the corresponding string representation is returned.

The level parameter also accepts a string representation of the level such as ‘INFO’. In such cases, this functions returns the corresponding numeric value of the level.

If no matching numeric or string value is passed in, the string ‘Level %s’ % level is returned.

Nota

Levels are internally integers (as they need to be compared in the logging logic). This function is used to convert between an integer level and the level name displayed in the formatted log output by means of the %(levelname)s format specifier (see Atributos LogRecord), and vice versa.

Alterado na versão 3.4: In Python versions earlier than 3.4, this function could also be passed a text level, and would return the corresponding numeric value of the level. This undocumented behaviour was considered a mistake, and was removed in Python 3.4, but reinstated in 3.4.2 due to retain backward compatibility.

logging.getHandlerByName(name)

Returns a handler with the specified name, or None if there is no handler with that name.

Adicionado na versão 3.12.

logging.getHandlerNames()

Returns an immutable set of all known handler names.

Adicionado na versão 3.12.

logging.makeLogRecord(attrdict)

Creates and returns a new LogRecord instance whose attributes are defined by attrdict. This function is useful for taking a pickled LogRecord attribute dictionary, sent over a socket, and reconstituting it as a LogRecord instance at the receiving end.

logging.basicConfig(**kwargs)

Does basic configuration for the logging system by creating a StreamHandler with a default Formatter and adding it to the root logger. The functions debug(), info(), warning(), error() and critical() will call basicConfig() automatically if no handlers are defined for the root logger.

This function does nothing if the root logger already has handlers configured, unless the keyword argument force is set to True.

Nota

This function should be called from the main thread before other threads are started. In versions of Python prior to 2.7.1 and 3.2, if this function is called from multiple threads, it is possible (in rare circumstances) that a handler will be added to the root logger more than once, leading to unexpected results such as messages being duplicated in the log.

The following keyword arguments are supported.

Formatação

Descrição

filename

Specifies that a FileHandler be created, using the specified filename, rather than a StreamHandler.

filemode

If filename is specified, open the file in this mode. Defaults to 'a'.

format

Use the specified format string for the handler. Defaults to attributes levelname, name and message separated by colons.

datefmt

Use the specified date/time format, as accepted by time.strftime().

style

If format is specified, use this style for the format string. One of '%', '{' or '$' for printf-style, str.format() or string.Template respectively. Defaults to '%'.

level

Set the root logger level to the specified level.

stream

Use the specified stream to initialize the StreamHandler. Note that this argument is incompatible with filename - if both are present, a ValueError is raised.

handlers

If specified, this should be an iterable of already created handlers to add to the root logger. Any handlers which don’t already have a formatter set will be assigned the default formatter created in this function. Note that this argument is incompatible with filename or stream - if both are present, a ValueError is raised.

force

If this keyword argument is specified as true, any existing handlers attached to the root logger are removed and closed, before carrying out the configuration as specified by the other arguments.

encoding

If this keyword argument is specified along with filename, its value is used when the FileHandler is created, and thus used when opening the output file.

errors

If this keyword argument is specified along with filename, its value is used when the FileHandler is created, and thus used when opening the output file. If not specified, the value ‘backslashreplace’ is used. Note that if None is specified, it will be passed as such to open(), which means that it will be treated the same as passing ‘errors’.

Alterado na versão 3.2: O argumento style foi adicionado.

Alterado na versão 3.3: The handlers argument was added. Additional checks were added to catch situations where incompatible arguments are specified (e.g. handlers together with stream or filename, or stream together with filename).

Alterado na versão 3.8: O argumento force foi adicionado.

Alterado na versão 3.9: Os argumentos encoding e errors foram adicionados.

logging.shutdown()

Informs the logging system to perform an orderly shutdown by flushing and closing all handlers. This should be called at application exit and no further use of the logging system should be made after this call.

When the logging module is imported, it registers this function as an exit handler (see atexit), so normally there’s no need to do that manually.

logging.setLoggerClass(klass)

Tells the logging system to use the class klass when instantiating a logger. The class should define __init__() such that only a name argument is required, and the __init__() should call Logger.__init__(). This function is typically called before any loggers are instantiated by applications which need to use custom logger behavior. After this call, as at any other time, do not instantiate loggers directly using the subclass: continue to use the logging.getLogger() API to get your loggers.

logging.setLogRecordFactory(factory)

Set a callable which is used to create a LogRecord.

Parâmetros:

factory – The factory callable to be used to instantiate a log record.

Adicionado na versão 3.2: This function has been provided, along with getLogRecordFactory(), to allow developers more control over how the LogRecord representing a logging event is constructed.

The factory has the following signature:

factory(name, level, fn, lno, msg, args, exc_info, func=None, sinfo=None, **kwargs)

nome:

The logger name.

level:

The logging level (numeric).

fn:

The full pathname of the file where the logging call was made.

lno:

The line number in the file where the logging call was made.

msg:

The logging message.

args:

The arguments for the logging message.

exc_info:

An exception tuple, or None.

func:

The name of the function or method which invoked the logging call.

sinfo:

A stack traceback such as is provided by traceback.print_stack(), showing the call hierarchy.

kwargs:

Additional keyword arguments.

Module-Level Attributes

logging.lastResort

A “handler of last resort” is available through this attribute. This is a StreamHandler writing to sys.stderr with a level of WARNING, and is used to handle logging events in the absence of any logging configuration. The end result is to just print the message to sys.stderr. This replaces the earlier error message saying that “no handlers could be found for logger XYZ”. If you need the earlier behaviour for some reason, lastResort can be set to None.

Adicionado na versão 3.2.

logging.raiseExceptions

Used to see if exceptions during handling should be propagated.

Default: True.

If raiseExceptions is False, exceptions get silently ignored. This is what is mostly wanted for a logging system - most users will not care about errors in the logging system, they are more interested in application errors.

Integration with the warnings module

The captureWarnings() function can be used to integrate logging with the warnings module.

logging.captureWarnings(capture)

This function is used to turn the capture of warnings by logging on and off.

If capture is True, warnings issued by the warnings module will be redirected to the logging system. Specifically, a warning will be formatted using warnings.formatwarning() and the resulting string logged to a logger named 'py.warnings' with a severity of WARNING.

If capture is False, the redirection of warnings to the logging system will stop, and warnings will be redirected to their original destinations (i.e. those in effect before captureWarnings(True) was called).

Ver também

Módulo logging.config

API de configuração para o módulo logging.

Módulo logging.handlers

Manipuladores úteis incluídos no módulo logging.

PEP 282 [https://peps.python.org/pep-0282/] - A Logging System

The proposal which described this feature for inclusion in the Python standard library.

Original Python logging package [https://old.red-dove.com/python_logging.html]

This is the original source for the logging package. The version of the package available from this site is suitable for use with Python 1.5.2, 2.1.x and 2.2.x, which do not include the logging package in the standard library.

logging.config — Logging configuration

Código-fonte: Lib/logging/config.py [https://github.com/python/cpython/tree/3.13/Lib/logging/config.py]

Important

This page contains only reference information. For tutorials, please see

Tutorial básico

Tutorial avançado

Livro de receitas de logging

This section describes the API for configuring the logging module.

Configuration functions

The following functions configure the logging module. They are located in the logging.config module. Their use is optional — you can configure the logging module using these functions or by making calls to the main API (defined in logging itself) and defining handlers which are declared either in logging or logging.handlers.

logging.config.dictConfig(config)

Takes the logging configuration from a dictionary. The contents of this dictionary are described in Configuration dictionary schema below.

If an error is encountered during configuration, this function will raise a ValueError, TypeError, AttributeError or ImportError with a suitably descriptive message. The following is a (possibly incomplete) list of conditions which will raise an error:

A level which is not a string or which is a string not corresponding to an actual logging level.

A propagate value which is not a boolean.

An id which does not have a corresponding destination.

A non-existent handler id found during an incremental call.

An invalid logger name.

Inability to resolve to an internal or external object.

Parsing is performed by the DictConfigurator class, whose constructor is passed the dictionary used for configuration, and has a configure() method. The logging.config module has a callable attribute dictConfigClass which is initially set to DictConfigurator. You can replace the value of dictConfigClass with a suitable implementation of your own.

dictConfig() calls dictConfigClass passing the specified dictionary, and then calls the configure() method on the returned object to put the configuration into effect:

def dictConfig(config):
    dictConfigClass(config).configure()

For example, a subclass of DictConfigurator could call DictConfigurator.__init__() in its own __init__(), then set up custom prefixes which would be usable in the subsequent configure() call. dictConfigClass would be bound to this new subclass, and then dictConfig() could be called exactly as in the default, uncustomized state.

Adicionado na versão 3.2.

logging.config.fileConfig(fname, defaults=None, disable_existing_loggers=True, encoding=None)

Reads the logging configuration from a configparser-format file. The format of the file should be as described in Formato do arquivo de configuração. This function can be called several times from an application, allowing an end user to select from various pre-canned configurations (if the developer provides a mechanism to present the choices and load the chosen configuration).

It will raise FileNotFoundError if the file doesn’t exist and RuntimeError if the file is invalid or empty.

Parâmetros:

fname – A filename, or a file-like object, or an instance derived from RawConfigParser. If a RawConfigParser-derived instance is passed, it is used as is. Otherwise, a ConfigParser is instantiated, and the configuration read by it from the object passed in fname. If that has a readline() method, it is assumed to be a file-like object and read using read_file(); otherwise, it is assumed to be a filename and passed to read().

defaults – Defaults to be passed to the ConfigParser can be specified in this argument.

disable_existing_loggers – If specified as False, loggers which exist when this call is made are left enabled. The default is True because this enables old behaviour in a backward-compatible way. This behaviour is to disable any existing non-root loggers unless they or their ancestors are explicitly named in the logging configuration.

encoding – The encoding used to open file when fname is filename.

Alterado na versão 3.4: An instance of a subclass of RawConfigParser is now accepted as a value for fname. This facilitates:

Use of a configuration file where logging configuration is just part of the overall application configuration.

Use of a configuration read from a file, and then modified by the using application (e.g. based on command-line parameters or other aspects of the runtime environment) before being passed to fileConfig.

Alterado na versão 3.10: Added the encoding parameter.

Alterado na versão 3.12: An exception will be thrown if the provided file doesn’t exist or is invalid or empty.

logging.config.listen(port=DEFAULT_LOGGING_CONFIG_PORT, verify=None)

Starts up a socket server on the specified port, and listens for new configurations. If no port is specified, the module’s default DEFAULT_LOGGING_CONFIG_PORT is used. Logging configurations will be sent as a file suitable for processing by dictConfig() or fileConfig(). Returns a Thread instance on which you can call start() to start the server, and which you can join() when appropriate. To stop the server, call stopListening().

The verify argument, if specified, should be a callable which should verify whether bytes received across the socket are valid and should be processed. This could be done by encrypting and/or signing what is sent across the socket, such that the verify callable can perform signature verification and/or decryption. The verify callable is called with a single argument - the bytes received across the socket - and should return the bytes to be processed, or None to indicate that the bytes should be discarded. The returned bytes could be the same as the passed in bytes (e.g. when only verification is done), or they could be completely different (perhaps if decryption were performed).

To send a configuration to the socket, read in the configuration file and send it to the socket as a sequence of bytes preceded by a four-byte length string packed in binary using struct.pack('>L', n).

Nota

Because portions of the configuration are passed through eval(), use of this function may open its users to a security risk. While the function only binds to a socket on localhost, and so does not accept connections from remote machines, there are scenarios where untrusted code could be run under the account of the process which calls listen(). Specifically, if the process calling listen() runs on a multi-user machine where users cannot trust each other, then a malicious user could arrange to run essentially arbitrary code in a victim user’s process, simply by connecting to the victim’s listen() socket and sending a configuration which runs whatever code the attacker wants to have executed in the victim’s process. This is especially easy to do if the default port is used, but not hard even if a different port is used. To avoid the risk of this happening, use the verify argument to listen() to prevent unrecognised configurations from being applied.

Alterado na versão 3.4: The verify argument was added.

Nota

If you want to send configurations to the listener which don’t disable existing loggers, you will need to use a JSON format for the configuration, which will use dictConfig() for configuration. This method allows you to specify disable_existing_loggers as False in the configuration you send.

logging.config.stopListening()

Stops the listening server which was created with a call to listen(). This is typically called before calling join() on the return value from listen().

Considerações de segurança

The logging configuration functionality tries to offer convenience, and in part this is done by offering the ability to convert text in configuration files into Python objects used in logging configuration - for example, as described in User-defined objects. However, these same mechanisms (importing callables from user-defined modules and calling them with parameters from the configuration) could be used to invoke any code you like, and for this reason you should treat configuration files from untrusted sources with extreme caution and satisfy yourself that nothing bad can happen if you load them, before actually loading them.

Configuration dictionary schema

Describing a logging configuration requires listing the various objects to create and the connections between them; for example, you may create a handler named ‘console’ and then say that the logger named ‘startup’ will send its messages to the ‘console’ handler. These objects aren’t limited to those provided by the logging module because you might write your own formatter or handler class. The parameters to these classes may also need to include external objects such as sys.stderr. The syntax for describing these objects and connections is defined in Object connections below.

Dictionary Schema Details

The dictionary passed to dictConfig() must contain the following keys:

version - to be set to an integer value representing the schema version. The only valid value at present is 1, but having this key allows the schema to evolve while still preserving backwards compatibility.

All other keys are optional, but if present they will be interpreted as described below. In all cases below where a ‘configuring dict’ is mentioned, it will be checked for the special '()' key to see if a custom instantiation is required. If so, the mechanism described in User-defined objects below is used to create an instance; otherwise, the context is used to determine what to instantiate.

formatters - the corresponding value will be a dict in which each key is a formatter id and each value is a dict describing how to configure the corresponding Formatter instance.

The configuring dict is searched for the following optional keys which correspond to the arguments passed to create a Formatter object:

format

datefmt

style

validate (since version >=3.8)

defaults (since version >=3.12)

An optional class key indicates the name of the formatter’s class (as a dotted module and class name). The instantiation arguments are as for Formatter, thus this key is most useful for instantiating a customised subclass of Formatter. For example, the alternative class might present exception tracebacks in an expanded or condensed format. If your formatter requires different or extra configuration keys, you should use User-defined objects.

filters - the corresponding value will be a dict in which each key is a filter id and each value is a dict describing how to configure the corresponding Filter instance.

The configuring dict is searched for the key name (defaulting to the empty string) and this is used to construct a logging.Filter instance.

handlers - the corresponding value will be a dict in which each key is a handler id and each value is a dict describing how to configure the corresponding Handler instance.

The configuring dict is searched for the following keys:

class (mandatory). This is the fully qualified name of the handler class.

level (optional). The level of the handler.

formatter (optional). The id of the formatter for this handler.

filters (optional). A list of ids of the filters for this handler.

Alterado na versão 3.11: filters can take filter instances in addition to ids.

All other keys are passed through as keyword arguments to the handler’s constructor. For example, given the snippet:

handlers:
  console:
    class : logging.StreamHandler
    formatter: brief
    level   : INFO
    filters: [allow_foo]
    stream  : ext://sys.stdout
  file:
    class : logging.handlers.RotatingFileHandler
    formatter: precise
    filename: logconfig.log
    maxBytes: 1024
    backupCount: 3

the handler with id console is instantiated as a logging.StreamHandler, using sys.stdout as the underlying stream. The handler with id file is instantiated as a logging.handlers.RotatingFileHandler with the keyword arguments filename='logconfig.log', maxBytes=1024, backupCount=3.

loggers - the corresponding value will be a dict in which each key is a logger name and each value is a dict describing how to configure the corresponding Logger instance.

The configuring dict is searched for the following keys:

level (optional). The level of the logger.

propagate (optional). The propagation setting of the logger.

filters (optional). A list of ids of the filters for this logger.

Alterado na versão 3.11: filters can take filter instances in addition to ids.

handlers (optional). A list of ids of the handlers for this logger.

The specified loggers will be configured according to the level, propagation, filters and handlers specified.

root - this will be the configuration for the root logger. Processing of the configuration will be as for any logger, except that the propagate setting will not be applicable.

incremental - whether the configuration is to be interpreted as incremental to the existing configuration. This value defaults to False, which means that the specified configuration replaces the existing configuration with the same semantics as used by the existing fileConfig() API.

If the specified value is True, the configuration is processed as described in the section on Incremental Configuration.

disable_existing_loggers - whether any existing non-root loggers are to be disabled. This setting mirrors the parameter of the same name in fileConfig(). If absent, this parameter defaults to True. This value is ignored if incremental is True.

Incremental Configuration

It is difficult to provide complete flexibility for incremental configuration. For example, because objects such as filters and formatters are anonymous, once a configuration is set up, it is not possible to refer to such anonymous objects when augmenting a configuration.

Furthermore, there is not a compelling case for arbitrarily altering the object graph of loggers, handlers, filters, formatters at run-time, once a configuration is set up; the verbosity of loggers and handlers can be controlled just by setting levels (and, in the case of loggers, propagation flags). Changing the object graph arbitrarily in a safe way is problematic in a multi-threaded environment; while not impossible, the benefits are not worth the complexity it adds to the implementation.

Thus, when the incremental key of a configuration dict is present and is True, the system will completely ignore any formatters and filters entries, and process only the level settings in the handlers entries, and the level and propagate settings in the loggers and root entries.

Using a value in the configuration dict lets configurations to be sent over the wire as pickled dicts to a socket listener. Thus, the logging verbosity of a long-running application can be altered over time with no need to stop and restart the application.

Object connections

The schema describes a set of logging objects - loggers, handlers, formatters, filters - which are connected to each other in an object graph. Thus, the schema needs to represent connections between the objects. For example, say that, once configured, a particular logger has attached to it a particular handler. For the purposes of this discussion, we can say that the logger represents the source, and the handler the destination, of a connection between the two. Of course in the configured objects this is represented by the logger holding a reference to the handler. In the configuration dict, this is done by giving each destination object an id which identifies it unambiguously, and then using the id in the source object’s configuration to indicate that a connection exists between the source and the destination object with that id.

So, for example, consider the following YAML snippet:

formatters:
  brief:
    # configuration for formatter with id 'brief' goes here
  precise:
    # configuration for formatter with id 'precise' goes here
handlers:
  h1: #This is an id
   # configuration of handler with id 'h1' goes here
   formatter: brief
  h2: #This is another id
   # configuration of handler with id 'h2' goes here
   formatter: precise
loggers:
  foo.bar.baz:
    # other configuration for logger 'foo.bar.baz'
    handlers: [h1, h2]

(Note: YAML used here because it’s a little more readable than the equivalent Python source form for the dictionary.)

The ids for loggers are the logger names which would be used programmatically to obtain a reference to those loggers, e.g. foo.bar.baz. The ids for Formatters and Filters can be any string value (such as brief, precise above) and they are transient, in that they are only meaningful for processing the configuration dictionary and used to determine connections between objects, and are not persisted anywhere when the configuration call is complete.

The above snippet indicates that logger named foo.bar.baz should have two handlers attached to it, which are described by the handler ids h1 and h2. The formatter for h1 is that described by id brief, and the formatter for h2 is that described by id precise.

User-defined objects

The schema supports user-defined objects for handlers, filters and formatters. (Loggers do not need to have different types for different instances, so there is no support in this configuration schema for user-defined logger classes.)

Objects to be configured are described by dictionaries which detail their configuration. In some places, the logging system will be able to infer from the context how an object is to be instantiated, but when a user-defined object is to be instantiated, the system will not know how to do this. In order to provide complete flexibility for user-defined object instantiation, the user needs to provide a ‘factory’ - a callable which is called with a configuration dictionary and which returns the instantiated object. This is signalled by an absolute import path to the factory being made available under the special key '()'. Here’s a concrete example:

formatters:
  brief:
    format: '%(message)s'
  default:
    format: '%(asctime)s %(levelname)-8s %(name)-15s %(message)s'
    datefmt: '%Y-%m-%d %H:%M:%S'
  custom:
      (): my.package.customFormatterFactory
      bar: baz
      spam: 99.9
      answer: 42

The above YAML snippet defines three formatters. The first, with id brief, is a standard logging.Formatter instance with the specified format string. The second, with id default, has a longer format and also defines the time format explicitly, and will result in a logging.Formatter initialized with those two format strings. Shown in Python source form, the brief and default formatters have configuration sub-dictionaries:

{
  'format' : '%(message)s'
}

e:

{
  'format' : '%(asctime)s %(levelname)-8s %(name)-15s %(message)s',
  'datefmt' : '%Y-%m-%d %H:%M:%S'
}

respectively, and as these dictionaries do not contain the special key '()', the instantiation is inferred from the context: as a result, standard logging.Formatter instances are created. The configuration sub-dictionary for the third formatter, with id custom, is:

{
  '()' : 'my.package.customFormatterFactory',
  'bar' : 'baz',
  'spam' : 99.9,
  'answer' : 42
}

and this contains the special key '()', which means that user-defined instantiation is wanted. In this case, the specified factory callable will be used. If it is an actual callable it will be used directly - otherwise, if you specify a string (as in the example) the actual callable will be located using normal import mechanisms. The callable will be called with the remaining items in the configuration sub-dictionary as keyword arguments. In the above example, the formatter with id custom will be assumed to be returned by the call:

my.package.customFormatterFactory(bar='baz', spam=99.9, answer=42)

Aviso

The values for keys such as bar, spam and answer in the above example should not be configuration dictionaries or references such as cfg://foo or ext://bar, because they will not be processed by the configuration machinery, but passed to the callable as-is.

The key '()' has been used as the special key because it is not a valid keyword parameter name, and so will not clash with the names of the keyword arguments used in the call. The '()' also serves as a mnemonic that the corresponding value is a callable.

Alterado na versão 3.11: The filters member of handlers and loggers can take filter instances in addition to ids.

You can also specify a special key '.' whose value is a dictionary is a mapping of attribute names to values. If found, the specified attributes will be set on the user-defined object before it is returned. Thus, with the following configuration:

{
  '()' : 'my.package.customFormatterFactory',
  'bar' : 'baz',
  'spam' : 99.9,
  'answer' : 42,
  '.' {
    'foo': 'bar',
    'baz': 'bozz'
  }
}

the returned formatter will have attribute foo set to 'bar' and attribute baz set to 'bozz'.

Aviso

The values for attributes such as foo and baz in the above example should not be configuration dictionaries or references such as cfg://foo or ext://bar, because they will not be processed by the configuration machinery, but set as attribute values as-is.

Handler configuration order

Handlers are configured in alphabetical order of their keys, and a configured handler replaces the configuration dictionary in (a working copy of) the handlers dictionary in the schema. If you use a construct such as cfg://handlers.foo, then initially handlers['foo'] points to the configuration dictionary for the handler named foo, and later (once that handler has been configured) it points to the configured handler instance. Thus, cfg://handlers.foo could resolve to either a dictionary or a handler instance. In general, it is wise to name handlers in a way such that dependent handlers are configured _after_ any handlers they depend on; that allows something like cfg://handlers.foo to be used in configuring a handler that depends on handler foo. If that dependent handler were named bar, problems would result, because the configuration of bar would be attempted before that of foo, and foo would not yet have been configured. However, if the dependent handler were named foobar, it would be configured after foo, with the result that cfg://handlers.foo would resolve to configured handler foo, and not its configuration dictionary.

Access to external objects

There are times where a configuration needs to refer to objects external to the configuration, for example sys.stderr. If the configuration dict is constructed using Python code, this is straightforward, but a problem arises when the configuration is provided via a text file (e.g. JSON, YAML). In a text file, there is no standard way to distinguish sys.stderr from the literal string 'sys.stderr'. To facilitate this distinction, the configuration system looks for certain special prefixes in string values and treat them specially. For example, if the literal string 'ext://sys.stderr' is provided as a value in the configuration, then the ext:// will be stripped off and the remainder of the value processed using normal import mechanisms.

The handling of such prefixes is done in a way analogous to protocol handling: there is a generic mechanism to look for prefixes which match the regular expression ^(?P<prefix>[a-z]+)://(?P<suffix>.*)$ whereby, if the prefix is recognised, the suffix is processed in a prefix-dependent manner and the result of the processing replaces the string value. If the prefix is not recognised, then the string value will be left as-is.

Access to internal objects

As well as external objects, there is sometimes also a need to refer to objects in the configuration. This will be done implicitly by the configuration system for things that it knows about. For example, the string value 'DEBUG' for a level in a logger or handler will automatically be converted to the value logging.DEBUG, and the handlers, filters and formatter entries will take an object id and resolve to the appropriate destination object.

However, a more generic mechanism is needed for user-defined objects which are not known to the logging module. For example, consider logging.handlers.MemoryHandler, which takes a target argument which is another handler to delegate to. Since the system already knows about this class, then in the configuration, the given target just needs to be the object id of the relevant target handler, and the system will resolve to the handler from the id. If, however, a user defines a my.package.MyHandler which has an alternate handler, the configuration system would not know that the alternate referred to a handler. To cater for this, a generic resolution system allows the user to specify:

handlers:
  file:
    # configuration of file handler goes here

  custom:
    (): my.package.MyHandler
    alternate: cfg://handlers.file

The literal string 'cfg://handlers.file' will be resolved in an analogous way to strings with the ext:// prefix, but looking in the configuration itself rather than the import namespace. The mechanism allows access by dot or by index, in a similar way to that provided by str.format. Thus, given the following snippet:

handlers:
  email:
    class: logging.handlers.SMTPHandler
    mailhost: localhost
    fromaddr: my_app@domain.tld
    toaddrs:
      - support_team@domain.tld
      - dev_team@domain.tld
    subject: Houston, we have a problem.

in the configuration, the string 'cfg://handlers' would resolve to the dict with key handlers, the string 'cfg://handlers.email would resolve to the dict with key email in the handlers dict, and so on. The string 'cfg://handlers.email.toaddrs[1] would resolve to 'dev_team@domain.tld' and the string 'cfg://handlers.email.toaddrs[0]' would resolve to the value 'support_team@domain.tld'. The subject value could be accessed using either 'cfg://handlers.email.subject' or, equivalently, 'cfg://handlers.email[subject]'. The latter form only needs to be used if the key contains spaces or non-alphanumeric characters. Please note that the characters [ and ] are not allowed in the keys. If an index value consists only of decimal digits, access will be attempted using the corresponding integer value, falling back to the string value if needed.

Given a string cfg://handlers.myhandler.mykey.123, this will resolve to config_dict['handlers']['myhandler']['mykey']['123']. If the string is specified as cfg://handlers.myhandler.mykey[123], the system will attempt to retrieve the value from config_dict['handlers']['myhandler']['mykey'][123], and fall back to config_dict['handlers']['myhandler']['mykey']['123'] if that fails.

Import resolution and custom importers

Import resolution, by default, uses the builtin __import__() function to do its importing. You may want to replace this with your own importing mechanism: if so, you can replace the importer attribute of the DictConfigurator or its superclass, the BaseConfigurator class. However, you need to be careful because of the way functions are accessed from classes via descriptors. If you are using a Python callable to do your imports, and you want to define it at class level rather than instance level, you need to wrap it with staticmethod(). For example:

from importlib import import_module
from logging.config import BaseConfigurator

BaseConfigurator.importer = staticmethod(import_module)

You don’t need to wrap with staticmethod() if you’re setting the import callable on a configurator instance.

Configuring QueueHandler and QueueListener

If you want to configure a QueueHandler, noting that this is normally used in conjunction with a QueueListener, you can configure both together. After the configuration, the QueueListener instance will be available as the listener attribute of the created handler, and that in turn will be available to you using getHandlerByName() and passing the name you have used for the QueueHandler in your configuration. The dictionary schema for configuring the pair is shown in the example YAML snippet below.

handlers:
  qhand:
    class: logging.handlers.QueueHandler
    queue: my.module.queue_factory
    listener: my.package.CustomListener
    handlers:
      - hand_name_1
      - hand_name_2
      ...

The queue and listener keys are optional.

If the queue key is present, the corresponding value can be one of the following:

An object implementing the Queue.put_nowait and Queue.get public API. For instance, this may be an actual instance of queue.Queue or a subclass thereof, or a proxy obtained by multiprocessing.managers.SyncManager.Queue().

This is of course only possible if you are constructing or modifying the configuration dictionary in code.

A string that resolves to a callable which, when called with no arguments, returns the queue instance to use. That callable could be a queue.Queue subclass or a function which returns a suitable queue instance, such as my.module.queue_factory().

A dict with a '()' key which is constructed in the usual way as discussed in User-defined objects. The result of this construction should be a queue.Queue instance.

If the queue key is absent, a standard unbounded queue.Queue instance is created and used.

If the listener key is present, the corresponding value can be one of the following:

A subclass of logging.handlers.QueueListener. This is of course only possible if you are constructing or modifying the configuration dictionary in code.

A string which resolves to a class which is a subclass of QueueListener, such as 'my.package.CustomListener'.

A dict with a '()' key which is constructed in the usual way as discussed in User-defined objects. The result of this construction should be a callable with the same signature as the QueueListener initializer.

If the listener key is absent, logging.handlers.QueueListener is used.

The values under the handlers key are the names of other handlers in the configuration (not shown in the above snippet) which will be passed to the queue listener.

Any custom queue handler and listener classes will need to be defined with the same initialization signatures as QueueHandler and QueueListener.

Adicionado na versão 3.12.

Formato do arquivo de configuração

The configuration file format understood by fileConfig() is based on configparser functionality. The file must contain sections called [loggers], [handlers] and [formatters] which identify by name the entities of each type which are defined in the file. For each such entity, there is a separate section which identifies how that entity is configured. Thus, for a logger named log01 in the [loggers] section, the relevant configuration details are held in a section [logger_log01]. Similarly, a handler called hand01 in the [handlers] section will have its configuration held in a section called [handler_hand01], while a formatter called form01 in the [formatters] section will have its configuration specified in a section called [formatter_form01]. The root logger configuration must be specified in a section called [logger_root].

Nota

The fileConfig() API is older than the dictConfig() API and does not provide functionality to cover certain aspects of logging. For example, you cannot configure Filter objects, which provide for filtering of messages beyond simple integer levels, using fileConfig(). If you need to have instances of Filter in your logging configuration, you will need to use dictConfig(). Note that future enhancements to configuration functionality will be added to dictConfig(), so it’s worth considering transitioning to this newer API when it’s convenient to do so.

Examples of these sections in the file are given below.

[loggers]
keys=root,log02,log03,log04,log05,log06,log07

[handlers]
keys=hand01,hand02,hand03,hand04,hand05,hand06,hand07,hand08,hand09

[formatters]
keys=form01,form02,form03,form04,form05,form06,form07,form08,form09

The root logger must specify a level and a list of handlers. An example of a root logger section is given below.

[logger_root]
level=NOTSET
handlers=hand01

The level entry can be one of DEBUG, INFO, WARNING, ERROR, CRITICAL or NOTSET. For the root logger only, NOTSET means that all messages will be logged. Level values are evaluated in the context of the logging package’s namespace.

The handlers entry is a comma-separated list of handler names, which must appear in the [handlers] section. These names must appear in the [handlers] section and have corresponding sections in the configuration file.

For loggers other than the root logger, some additional information is required. This is illustrated by the following example.

[logger_parser]
level=DEBUG
handlers=hand01
propagate=1
qualname=compiler.parser

The level and handlers entries are interpreted as for the root logger, except that if a non-root logger’s level is specified as NOTSET, the system consults loggers higher up the hierarchy to determine the effective level of the logger. The propagate entry is set to 1 to indicate that messages must propagate to handlers higher up the logger hierarchy from this logger, or 0 to indicate that messages are not propagated to handlers up the hierarchy. The qualname entry is the hierarchical channel name of the logger, that is to say the name used by the application to get the logger.

Sections which specify handler configuration are exemplified by the following.

[handler_hand01]
class=StreamHandler
level=NOTSET
formatter=form01
args=(sys.stdout,)

The class entry indicates the handler’s class (as determined by eval() in the logging package’s namespace). The level is interpreted as for loggers, and NOTSET is taken to mean ‘log everything’.

The formatter entry indicates the key name of the formatter for this handler. If blank, a default formatter (logging._defaultFormatter) is used. If a name is specified, it must appear in the [formatters] section and have a corresponding section in the configuration file.

The args entry, when evaluated in the context of the logging package’s namespace, is the list of arguments to the constructor for the handler class. Refer to the constructors for the relevant handlers, or to the examples below, to see how typical entries are constructed. If not provided, it defaults to ().

The optional kwargs entry, when evaluated in the context of the logging package’s namespace, is the keyword argument dict to the constructor for the handler class. If not provided, it defaults to {}.

[handler_hand02]
class=FileHandler
level=DEBUG
formatter=form02
args=('python.log', 'w')

[handler_hand03]
class=handlers.SocketHandler
level=INFO
formatter=form03
args=('localhost', handlers.DEFAULT_TCP_LOGGING_PORT)

[handler_hand04]
class=handlers.DatagramHandler
level=WARN
formatter=form04
args=('localhost', handlers.DEFAULT_UDP_LOGGING_PORT)

[handler_hand05]
class=handlers.SysLogHandler
level=ERROR
formatter=form05
args=(('localhost', handlers.SYSLOG_UDP_PORT), handlers.SysLogHandler.LOG_USER)

[handler_hand06]
class=handlers.NTEventLogHandler
level=CRITICAL
formatter=form06
args=('Python Application', '', 'Application')

[handler_hand07]
class=handlers.SMTPHandler
level=WARN
formatter=form07
args=('localhost', 'from@abc', ['user1@abc', 'user2@xyz'], 'Logger Subject')
kwargs={'timeout': 10.0}

[handler_hand08]
class=handlers.MemoryHandler
level=NOTSET
formatter=form08
target=
args=(10, ERROR)

[handler_hand09]
class=handlers.HTTPHandler
level=NOTSET
formatter=form09
args=('localhost:9022', '/log', 'GET')
kwargs={'secure': True}

Sections which specify formatter configuration are typified by the following.

[formatter_form01]
format=F1 %(asctime)s %(levelname)s %(message)s %(customfield)s
datefmt=
style=%
validate=True
defaults={'customfield': 'defaultvalue'}
class=logging.Formatter

The arguments for the formatter configuration are the same as the keys in the dictionary schema formatters section.

The defaults entry, when evaluated in the context of the logging package’s namespace, is a dictionary of default values for custom formatting fields. If not provided, it defaults to None.

Nota

Due to the use of eval() as described above, there are potential security risks which result from using the listen() to send and receive configurations via sockets. The risks are limited to where multiple users with no mutual trust run code on the same machine; see the listen() documentation for more information.

Ver também

Módulo logging

Referência da API para o módulo de logging.

Módulo logging.handlers

Manipuladores úteis incluídos no módulo logging.

logging.handlers — Logging handlers

Código-fonte: Lib/logging/handlers.py [https://github.com/python/cpython/tree/3.13/Lib/logging/handlers.py]

Important

This page contains only reference information. For tutorials, please see

Tutorial básico

Tutorial avançado

Livro de receitas de logging

The following useful handlers are provided in the package. Note that three of the handlers (StreamHandler, FileHandler and NullHandler) are actually defined in the logging module itself, but have been documented here along with the other handlers.

StreamHandler

The StreamHandler class, located in the core logging package, sends logging output to streams such as sys.stdout, sys.stderr or any file-like object (or, more precisely, any object which supports write() and flush() methods).

class logging.StreamHandler(stream=None)

Returns a new instance of the StreamHandler class. If stream is specified, the instance will use it for logging output; otherwise, sys.stderr will be used.

emit(record)

If a formatter is specified, it is used to format the record. The record is then written to the stream followed by terminator. If exception information is present, it is formatted using traceback.print_exception() and appended to the stream.

flush()

Flushes the stream by calling its flush() method. Note that the close() method is inherited from Handler and so does no output, so an explicit flush() call may be needed at times.

setStream(stream)

Sets the instance’s stream to the specified value, if it is different. The old stream is flushed before the new stream is set.

Parâmetros:

stream – The stream that the handler should use.

Retorna:

the old stream, if the stream was changed, or None if it wasn’t.

Adicionado na versão 3.7.

terminator

String used as the terminator when writing a formatted record to a stream. Default value is '\n'.

If you don’t want a newline termination, you can set the handler instance’s terminator attribute to the empty string.

In earlier versions, the terminator was hardcoded as '\n'.

Adicionado na versão 3.2.

FileHandler

The FileHandler class, located in the core logging package, sends logging output to a disk file. It inherits the output functionality from StreamHandler.

class logging.FileHandler(filename, mode='a', encoding=None, delay=False, errors=None)

Returns a new instance of the FileHandler class. The specified file is opened and used as the stream for logging. If mode is not specified, 'a' is used. If encoding is not None, it is used to open the file with that encoding. If delay is true, then file opening is deferred until the first call to emit(). By default, the file grows indefinitely. If errors is specified, it’s used to determine how encoding errors are handled.

Alterado na versão 3.6: As well as string values, Path objects are also accepted for the filename argument.

Alterado na versão 3.9: The errors parameter was added.

close()

Closes the file.

emit(record)

Outputs the record to the file.

Note that if the file was closed due to logging shutdown at exit and the file mode is ‘w’, the record will not be emitted (see bpo-42378 [https://bugs.python.org/issue?@action=redirect&bpo=42378]).

NullHandler

Adicionado na versão 3.1.

The NullHandler class, located in the core logging package, does not do any formatting or output. It is essentially a ‘no-op’ handler for use by library developers.

class logging.NullHandler

Returns a new instance of the NullHandler class.

emit(record)

This method does nothing.

handle(record)

This method does nothing.

createLock()

This method returns None for the lock, since there is no underlying I/O to which access needs to be serialized.

See Configuring Logging for a Library for more information on how to use NullHandler.

WatchedFileHandler

The WatchedFileHandler class, located in the logging.handlers module, is a FileHandler which watches the file it is logging to. If the file changes, it is closed and reopened using the file name.

A file change can happen because of usage of programs such as newsyslog and logrotate which perform log file rotation. This handler, intended for use under Unix/Linux, watches the file to see if it has changed since the last emit. (A file is deemed to have changed if its device or inode have changed.) If the file has changed, the old file stream is closed, and the file opened to get a new stream.

This handler is not appropriate for use under Windows, because under Windows open log files cannot be moved or renamed - logging opens the files with exclusive locks - and so there is no need for such a handler. Furthermore, ST_INO is not supported under Windows; stat() always returns zero for this value.

class logging.handlers.WatchedFileHandler(filename, mode='a', encoding=None, delay=False, errors=None)

Returns a new instance of the WatchedFileHandler class. The specified file is opened and used as the stream for logging. If mode is not specified, 'a' is used. If encoding is not None, it is used to open the file with that encoding. If delay is true, then file opening is deferred until the first call to emit(). By default, the file grows indefinitely. If errors is provided, it determines how encoding errors are handled.

Alterado na versão 3.6: As well as string values, Path objects are also accepted for the filename argument.

Alterado na versão 3.9: The errors parameter was added.

reopenIfNeeded()

Checks to see if the file has changed. If it has, the existing stream is flushed and closed and the file opened again, typically as a precursor to outputting the record to the file.

Adicionado na versão 3.6.

emit(record)

Outputs the record to the file, but first calls reopenIfNeeded() to reopen the file if it has changed.

BaseRotatingHandler

The BaseRotatingHandler class, located in the logging.handlers module, is the base class for the rotating file handlers, RotatingFileHandler and TimedRotatingFileHandler. You should not need to instantiate this class, but it has attributes and methods you may need to override.

class logging.handlers.BaseRotatingHandler(filename, mode, encoding=None, delay=False, errors=None)

The parameters are as for FileHandler. The attributes are:

namer

If this attribute is set to a callable, the rotation_filename() method delegates to this callable. The parameters passed to the callable are those passed to rotation_filename().

Nota

The namer function is called quite a few times during rollover, so it should be as simple and as fast as possible. It should also return the same output every time for a given input, otherwise the rollover behaviour may not work as expected.

It’s also worth noting that care should be taken when using a namer to preserve certain attributes in the filename which are used during rotation. For example, RotatingFileHandler expects to have a set of log files whose names contain successive integers, so that rotation works as expected, and TimedRotatingFileHandler deletes old log files (based on the backupCount parameter passed to the handler’s initializer) by determining the oldest files to delete. For this to happen, the filenames should be sortable using the date/time portion of the filename, and a namer needs to respect this. (If a namer is wanted that doesn’t respect this scheme, it will need to be used in a subclass of TimedRotatingFileHandler which overrides the getFilesToDelete() method to fit in with the custom naming scheme.)

Adicionado na versão 3.3.

rotator

If this attribute is set to a callable, the rotate() method delegates to this callable. The parameters passed to the callable are those passed to rotate().

Adicionado na versão 3.3.

rotation_filename(default_name)

Modify the filename of a log file when rotating.

This is provided so that a custom filename can be provided.

The default implementation calls the ‘namer’ attribute of the handler, if it’s callable, passing the default name to it. If the attribute isn’t callable (the default is None), the name is returned unchanged.

Parâmetros:

default_name – The default name for the log file.

Adicionado na versão 3.3.

rotate(source, dest)

When rotating, rotate the current log.

The default implementation calls the ‘rotator’ attribute of the handler, if it’s callable, passing the source and dest arguments to it. If the attribute isn’t callable (the default is None), the source is simply renamed to the destination.

Parâmetros:

source – The source filename. This is normally the base filename, e.g. ‘test.log’.

dest – The destination filename. This is normally what the source is rotated to, e.g. ‘test.log.1’.

Adicionado na versão 3.3.

The reason the attributes exist is to save you having to subclass - you can use the same callables for instances of RotatingFileHandler and TimedRotatingFileHandler. If either the namer or rotator callable raises an exception, this will be handled in the same way as any other exception during an emit() call, i.e. via the handleError() method of the handler.

If you need to make more significant changes to rotation processing, you can override the methods.

For an example, see Using a rotator and namer to customize log rotation processing.

RotatingFileHandler

The RotatingFileHandler class, located in the logging.handlers module, supports rotation of disk log files.

class logging.handlers.RotatingFileHandler(filename, mode='a', maxBytes=0, backupCount=0, encoding=None, delay=False, errors=None)

Returns a new instance of the RotatingFileHandler class. The specified file is opened and used as the stream for logging. If mode is not specified, 'a' is used. If encoding is not None, it is used to open the file with that encoding. If delay is true, then file opening is deferred until the first call to emit(). By default, the file grows indefinitely. If errors is provided, it determines how encoding errors are handled.

You can use the maxBytes and backupCount values to allow the file to rollover at a predetermined size. When the size is about to be exceeded, the file is closed and a new file is silently opened for output. Rollover occurs whenever the current log file is nearly maxBytes in length; but if either of maxBytes or backupCount is zero, rollover never occurs, so you generally want to set backupCount to at least 1, and have a non-zero maxBytes. When backupCount is non-zero, the system will save old log files by appending the extensions ‘.1’, ‘.2’ etc., to the filename. For example, with a backupCount of 5 and a base file name of app.log, you would get app.log, app.log.1, app.log.2, up to app.log.5. The file being written to is always app.log. When this file is filled, it is closed and renamed to app.log.1, and if files app.log.1, app.log.2, etc. exist, then they are renamed to app.log.2, app.log.3 etc. respectively.

Alterado na versão 3.6: As well as string values, Path objects are also accepted for the filename argument.

Alterado na versão 3.9: The errors parameter was added.

doRollover()

Does a rollover, as described above.

emit(record)

Outputs the record to the file, catering for rollover as described previously.

TimedRotatingFileHandler

The TimedRotatingFileHandler class, located in the logging.handlers module, supports rotation of disk log files at certain timed intervals.

class logging.handlers.TimedRotatingFileHandler(filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None, errors=None)

Returns a new instance of the TimedRotatingFileHandler class. The specified file is opened and used as the stream for logging. On rotating it also sets the filename suffix. Rotating happens based on the product of when and interval.

You can use the when to specify the type of interval. The list of possible values is below. Note that they are not case sensitive.

Valor

Type of interval

If/how atTime is used

'S'

Seconds

Ignored

'M'

Minutes

Ignored

'H'

Horas

Ignored

'D'

Dias

Ignored

'W0'-'W6'

Weekday (0=Monday)

Used to compute initial rollover time

'midnight'

Roll over at midnight, if atTime not specified, else at time atTime

Used to compute initial rollover time

When using weekday-based rotation, specify ‘W0’ for Monday, ‘W1’ for Tuesday, and so on up to ‘W6’ for Sunday. In this case, the value passed for interval isn’t used.

The system will save old log files by appending extensions to the filename. The extensions are date-and-time based, using the strftime format %Y-%m-%d_%H-%M-%S or a leading portion thereof, depending on the rollover interval.

When computing the next rollover time for the first time (when the handler is created), the last modification time of an existing log file, or else the current time, is used to compute when the next rotation will occur.

If the utc argument is true, times in UTC will be used; otherwise local time is used.

If backupCount is nonzero, at most backupCount files will be kept, and if more would be created when rollover occurs, the oldest one is deleted. The deletion logic uses the interval to determine which files to delete, so changing the interval may leave old files lying around.

If delay is true, then file opening is deferred until the first call to emit().

If atTime is not None, it must be a datetime.time instance which specifies the time of day when rollover occurs, for the cases where rollover is set to happen “at midnight” or “on a particular weekday”. Note that in these cases, the atTime value is effectively used to compute the initial rollover, and subsequent rollovers would be calculated via the normal interval calculation.

If errors is specified, it’s used to determine how encoding errors are handled.

Nota

Calculation of the initial rollover time is done when the handler is initialised. Calculation of subsequent rollover times is done only when rollover occurs, and rollover occurs only when emitting output. If this is not kept in mind, it might lead to some confusion. For example, if an interval of “every minute” is set, that does not mean you will always see log files with times (in the filename) separated by a minute; if, during application execution, logging output is generated more frequently than once a minute, then you can expect to see log files with times separated by a minute. If, on the other hand, logging messages are only output once every five minutes (say), then there will be gaps in the file times corresponding to the minutes where no output (and hence no rollover) occurred.

Alterado na versão 3.4: atTime parameter was added.

Alterado na versão 3.6: As well as string values, Path objects are also accepted for the filename argument.

Alterado na versão 3.9: The errors parameter was added.

doRollover()

Does a rollover, as described above.

emit(record)

Outputs the record to the file, catering for rollover as described above.

getFilesToDelete()

Returns a list of filenames which should be deleted as part of rollover. These are the absolute paths of the oldest backup log files written by the handler.

SocketHandler

The SocketHandler class, located in the logging.handlers module, sends logging output to a network socket. The base class uses a TCP socket.

class logging.handlers.SocketHandler(host, port)

Returns a new instance of the SocketHandler class intended to communicate with a remote machine whose address is given by host and port.

Alterado na versão 3.4: If port is specified as None, a Unix domain socket is created using the value in host - otherwise, a TCP socket is created.

close()

Closes the socket.

emit()

Pickles the record’s attribute dictionary and writes it to the socket in binary format. If there is an error with the socket, silently drops the packet. If the connection was previously lost, re-establishes the connection. To unpickle the record at the receiving end into a LogRecord, use the makeLogRecord() function.

handleError()

Handles an error which has occurred during emit(). The most likely cause is a lost connection. Closes the socket so that we can retry on the next event.

makeSocket()

This is a factory method which allows subclasses to define the precise type of socket they want. The default implementation creates a TCP socket (socket.SOCK_STREAM).

makePickle(record)

Pickles the record’s attribute dictionary in binary format with a length prefix, and returns it ready for transmission across the socket. The details of this operation are equivalent to:

data = pickle.dumps(record_attr_dict, 1)
datalen = struct.pack('>L', len(data))
return datalen + data

Note that pickles aren’t completely secure. If you are concerned about security, you may want to override this method to implement a more secure mechanism. For example, you can sign pickles using HMAC and then verify them on the receiving end, or alternatively you can disable unpickling of global objects on the receiving end.

send(packet)

Send a pickled byte-string packet to the socket. The format of the sent byte-string is as described in the documentation for makePickle().

This function allows for partial sends, which can happen when the network is busy.

createSocket()

Tries to create a socket; on failure, uses an exponential back-off algorithm. On initial failure, the handler will drop the message it was trying to send. When subsequent messages are handled by the same instance, it will not try connecting until some time has passed. The default parameters are such that the initial delay is one second, and if after that delay the connection still can’t be made, the handler will double the delay each time up to a maximum of 30 seconds.

This behaviour is controlled by the following handler attributes:

retryStart (initial delay, defaulting to 1.0 seconds).

retryFactor (multiplier, defaulting to 2.0).

retryMax (maximum delay, defaulting to 30.0 seconds).

This means that if the remote listener starts up after the handler has been used, you could lose messages (since the handler won’t even attempt a connection until the delay has elapsed, but just silently drop messages during the delay period).

DatagramHandler

The DatagramHandler class, located in the logging.handlers module, inherits from SocketHandler to support sending logging messages over UDP sockets.

class logging.handlers.DatagramHandler(host, port)

Returns a new instance of the DatagramHandler class intended to communicate with a remote machine whose address is given by host and port.

Nota

As UDP is not a streaming protocol, there is no persistent connection between an instance of this handler and host. For this reason, when using a network socket, a DNS lookup might have to be made each time an event is logged, which can introduce some latency into the system. If this affects you, you can do a lookup yourself and initialize this handler using the looked-up IP address rather than the hostname.

Alterado na versão 3.4: If port is specified as None, a Unix domain socket is created using the value in host - otherwise, a UDP socket is created.

emit()

Pickles the record’s attribute dictionary and writes it to the socket in binary format. If there is an error with the socket, silently drops the packet. To unpickle the record at the receiving end into a LogRecord, use the makeLogRecord() function.

makeSocket()

The factory method of SocketHandler is here overridden to create a UDP socket (socket.SOCK_DGRAM).

send(s)

Send a pickled byte-string to a socket. The format of the sent byte-string is as described in the documentation for SocketHandler.makePickle().

SysLogHandler

The SysLogHandler class, located in the logging.handlers module, supports sending logging messages to a remote or local Unix syslog.

class logging.handlers.SysLogHandler(address=('localhost', SYSLOG_UDP_PORT), facility=LOG_USER, socktype=socket.SOCK_DGRAM)

Returns a new instance of the SysLogHandler class intended to communicate with a remote Unix machine whose address is given by address in the form of a (host, port) tuple. If address is not specified, ('localhost', 514) is used. The address is used to open a socket. An alternative to providing a (host, port) tuple is providing an address as a string, for example ‘/dev/log’. In this case, a Unix domain socket is used to send the message to the syslog. If facility is not specified, LOG_USER is used. The type of socket opened depends on the socktype argument, which defaults to socket.SOCK_DGRAM and thus opens a UDP socket. To open a TCP socket (for use with the newer syslog daemons such as rsyslog), specify a value of socket.SOCK_STREAM.

Note that if your server is not listening on UDP port 514, SysLogHandler may appear not to work. In that case, check what address you should be using for a domain socket - it’s system dependent. For example, on Linux it’s usually ‘/dev/log’ but on OS/X it’s ‘/var/run/syslog’. You’ll need to check your platform and use the appropriate address (you may need to do this check at runtime if your application needs to run on several platforms). On Windows, you pretty much have to use the UDP option.

Nota

On macOS 12.x (Monterey), Apple has changed the behaviour of their syslog daemon - it no longer listens on a domain socket. Therefore, you cannot expect SysLogHandler to work on this system.

See gh-91070 [https://github.com/python/cpython/issues/91070] for more information.

Alterado na versão 3.2: socktype was added.

close()

Closes the socket to the remote host.

createSocket()

Tries to create a socket and, if it’s not a datagram socket, connect it to the other end. This method is called during handler initialization, but it’s not regarded as an error if the other end isn’t listening at this point - the method will be called again when emitting an event, if there is no socket at that point.

Adicionado na versão 3.11.

emit(record)

The record is formatted, and then sent to the syslog server. If exception information is present, it is not sent to the server.

Alterado na versão 3.2.1: (See: bpo-12168 [https://bugs.python.org/issue?@action=redirect&bpo=12168].) In earlier versions, the message sent to the syslog daemons was always terminated with a NUL byte, because early versions of these daemons expected a NUL terminated message - even though it’s not in the relevant specification (RFC 5424 [https://datatracker.ietf.org/doc/html/rfc5424.html]). More recent versions of these daemons don’t expect the NUL byte but strip it off if it’s there, and even more recent daemons (which adhere more closely to RFC 5424) pass the NUL byte on as part of the message.

To enable easier handling of syslog messages in the face of all these differing daemon behaviours, the appending of the NUL byte has been made configurable, through the use of a class-level attribute, append_nul. This defaults to True (preserving the existing behaviour) but can be set to False on a SysLogHandler instance in order for that instance to not append the NUL terminator.

Alterado na versão 3.3: (See: bpo-12419 [https://bugs.python.org/issue?@action=redirect&bpo=12419].) In earlier versions, there was no facility for an “ident” or “tag” prefix to identify the source of the message. This can now be specified using a class-level attribute, defaulting to "" to preserve existing behaviour, but which can be overridden on a SysLogHandler instance in order for that instance to prepend the ident to every message handled. Note that the provided ident must be text, not bytes, and is prepended to the message exactly as is.

encodePriority(facility, priority)

Encodes the facility and priority into an integer. You can pass in strings or integers - if strings are passed, internal mapping dictionaries are used to convert them to integers.

The symbolic LOG_ values are defined in SysLogHandler and mirror the values defined in the sys/syslog.h header file.

Priorities

Name (string)

Symbolic value

alert

LOG_ALERT

crit or critical

LOG_CRIT

debug

LOG_DEBUG

emerg or panic

LOG_EMERG

err ou error

LOG_ERR

info

LOG_INFO

notice

LOG_NOTICE

warn or warning

LOG_WARNING

Facilities

Name (string)

Symbolic value

auth

LOG_AUTH

authpriv

LOG_AUTHPRIV

cron

LOG_CRON

daemon

LOG_DAEMON

ftp

LOG_FTP

kern

LOG_KERN

lpr

LOG_LPR

mail

LOG_MAIL

news

LOG_NEWS

syslog

LOG_SYSLOG

user

LOG_USER

uucp

LOG_UUCP

local0

LOG_LOCAL0

local1

LOG_LOCAL1

local2

LOG_LOCAL2

local3

LOG_LOCAL3

local4

LOG_LOCAL4

local5

LOG_LOCAL5

local6

LOG_LOCAL6

local7

LOG_LOCAL7

mapPriority(levelname)

Maps a logging level name to a syslog priority name. You may need to override this if you are using custom levels, or if the default algorithm is not suitable for your needs. The default algorithm maps DEBUG, INFO, WARNING, ERROR and CRITICAL to the equivalent syslog names, and all other level names to ‘warning’.

NTEventLogHandler

The NTEventLogHandler class, located in the logging.handlers module, supports sending logging messages to a local Windows NT, Windows 2000 or Windows XP event log. Before you can use it, you need Mark Hammond’s Win32 extensions for Python installed.

class logging.handlers.NTEventLogHandler(appname, dllname=None, logtype='Application')

Returns a new instance of the NTEventLogHandler class. The appname is used to define the application name as it appears in the event log. An appropriate registry entry is created using this name. The dllname should give the fully qualified pathname of a .dll or .exe which contains message definitions to hold in the log (if not specified, 'win32service.pyd' is used - this is installed with the Win32 extensions and contains some basic placeholder message definitions. Note that use of these placeholders will make your event logs big, as the entire message source is held in the log. If you want slimmer logs, you have to pass in the name of your own .dll or .exe which contains the message definitions you want to use in the event log). The logtype is one of 'Application', 'System' or 'Security', and defaults to 'Application'.

close()

At this point, you can remove the application name from the registry as a source of event log entries. However, if you do this, you will not be able to see the events as you intended in the Event Log Viewer - it needs to be able to access the registry to get the .dll name. The current version does not do this.

emit(record)

Determines the message ID, event category and event type, and then logs the message in the NT event log.

getEventCategory(record)

Returns the event category for the record. Override this if you want to specify your own categories. This version returns 0.

getEventType(record)

Returns the event type for the record. Override this if you want to specify your own types. This version does a mapping using the handler’s typemap attribute, which is set up in __init__() to a dictionary which contains mappings for DEBUG, INFO, WARNING, ERROR and CRITICAL. If you are using your own levels, you will either need to override this method or place a suitable dictionary in the handler’s typemap attribute.

getMessageID(record)

Returns the message ID for the record. If you are using your own messages, you could do this by having the msg passed to the logger being an ID rather than a format string. Then, in here, you could use a dictionary lookup to get the message ID. This version returns 1, which is the base message ID in win32service.pyd.

SMTPHandler

The SMTPHandler class, located in the logging.handlers module, supports sending logging messages to an email address via SMTP.

class logging.handlers.SMTPHandler(mailhost, fromaddr, toaddrs, subject, credentials=None, secure=None, timeout=1.0)

Returns a new instance of the SMTPHandler class. The instance is initialized with the from and to addresses and subject line of the email. The toaddrs should be a list of strings. To specify a non-standard SMTP port, use the (host, port) tuple format for the mailhost argument. If you use a string, the standard SMTP port is used. If your SMTP server requires authentication, you can specify a (username, password) tuple for the credentials argument.

To specify the use of a secure protocol (TLS), pass in a tuple to the secure argument. This will only be used when authentication credentials are supplied. The tuple should be either an empty tuple, or a single-value tuple with the name of a keyfile, or a 2-value tuple with the names of the keyfile and certificate file. (This tuple is passed to the smtplib.SMTP.starttls() method.)

A timeout can be specified for communication with the SMTP server using the timeout argument.

Alterado na versão 3.3: Added the timeout parameter.

emit(record)

Formats the record and sends it to the specified addressees.

getSubject(record)

If you want to specify a subject line which is record-dependent, override this method.

MemoryHandler

The MemoryHandler class, located in the logging.handlers module, supports buffering of logging records in memory, periodically flushing them to a target handler. Flushing occurs whenever the buffer is full, or when an event of a certain severity or greater is seen.

MemoryHandler is a subclass of the more general BufferingHandler, which is an abstract class. This buffers logging records in memory. Whenever each record is added to the buffer, a check is made by calling shouldFlush() to see if the buffer should be flushed. If it should, then flush() is expected to do the flushing.

class logging.handlers.BufferingHandler(capacity)

Initializes the handler with a buffer of the specified capacity. Here, capacity means the number of logging records buffered.

emit(record)

Append the record to the buffer. If shouldFlush() returns true, call flush() to process the buffer.

flush()

For a BufferingHandler instance, flushing means that it sets the buffer to an empty list. This method can be overwritten to implement more useful flushing behavior.

shouldFlush(record)

Return True if the buffer is up to capacity. This method can be overridden to implement custom flushing strategies.

class logging.handlers.MemoryHandler(capacity, flushLevel=ERROR, target=None, flushOnClose=True)

Returns a new instance of the MemoryHandler class. The instance is initialized with a buffer size of capacity (number of records buffered). If flushLevel is not specified, ERROR is used. If no target is specified, the target will need to be set using setTarget() before this handler does anything useful. If flushOnClose is specified as False, then the buffer is not flushed when the handler is closed. If not specified or specified as True, the previous behaviour of flushing the buffer will occur when the handler is closed.

Alterado na versão 3.6: The flushOnClose parameter was added.

close()

Calls flush(), sets the target to None and clears the buffer.

flush()

For a MemoryHandler instance, flushing means just sending the buffered records to the target, if there is one. The buffer is also cleared when buffered records are sent to the target. Override if you want different behavior.

setTarget(target)

Sets the target handler for this handler.

shouldFlush(record)

Checks for buffer full or a record at the flushLevel or higher.

HTTPHandler

The HTTPHandler class, located in the logging.handlers module, supports sending logging messages to a web server, using either GET or POST semantics.

class logging.handlers.HTTPHandler(host, url, method='GET', secure=False, credentials=None, context=None)

Returns a new instance of the HTTPHandler class. The host can be of the form host:port, should you need to use a specific port number. If no method is specified, GET is used. If secure is true, a HTTPS connection will be used. The context parameter may be set to a ssl.SSLContext instance to configure the SSL settings used for the HTTPS connection. If credentials is specified, it should be a 2-tuple consisting of userid and password, which will be placed in a HTTP ‘Authorization’ header using Basic authentication. If you specify credentials, you should also specify secure=True so that your userid and password are not passed in cleartext across the wire.

Alterado na versão 3.5: The context parameter was added.

mapLogRecord(record)

Provides a dictionary, based on record, which is to be URL-encoded and sent to the web server. The default implementation just returns record.__dict__. This method can be overridden if e.g. only a subset of LogRecord is to be sent to the web server, or if more specific customization of what’s sent to the server is required.

emit(record)

Sends the record to the web server as a URL-encoded dictionary. The mapLogRecord() method is used to convert the record to the dictionary to be sent.

Nota

Since preparing a record for sending it to a web server is not the same as a generic formatting operation, using setFormatter() to specify a Formatter for a HTTPHandler has no effect. Instead of calling format(), this handler calls mapLogRecord() and then urllib.parse.urlencode() to encode the dictionary in a form suitable for sending to a web server.

QueueHandler

Adicionado na versão 3.2.

The QueueHandler class, located in the logging.handlers module, supports sending logging messages to a queue, such as those implemented in the queue or multiprocessing modules.

Along with the QueueListener class, QueueHandler can be used to let handlers do their work on a separate thread from the one which does the logging. This is important in web applications and also other service applications where threads servicing clients need to respond as quickly as possible, while any potentially slow operations (such as sending an email via SMTPHandler) are done on a separate thread.

class logging.handlers.QueueHandler(queue)

Returns a new instance of the QueueHandler class. The instance is initialized with the queue to send messages to. The queue can be any queue-like object; it’s used as-is by the enqueue() method, which needs to know how to send messages to it. The queue is not required to have the task tracking API, which means that you can use SimpleQueue instances for queue.

Nota

If you are using multiprocessing, you should avoid using SimpleQueue and instead use multiprocessing.Queue.

emit(record)

Enqueues the result of preparing the LogRecord. Should an exception occur (e.g. because a bounded queue has filled up), the handleError() method is called to handle the error. This can result in the record silently being dropped (if logging.raiseExceptions is False) or a message printed to sys.stderr (if logging.raiseExceptions is True).

prepare(record)

Prepares a record for queuing. The object returned by this method is enqueued.

The base implementation formats the record to merge the message, arguments, exception and stack information, if present. It also removes unpickleable items from the record in-place. Specifically, it overwrites the record’s msg and message attributes with the merged message (obtained by calling the handler’s format() method), and sets the args, exc_info and exc_text attributes to None.

You might want to override this method if you want to convert the record to a dict or JSON string, or send a modified copy of the record while leaving the original intact.

Nota

The base implementation formats the message with arguments, sets the message and msg attributes to the formatted message and sets the args and exc_text attributes to None to allow pickling and to prevent further attempts at formatting. This means that a handler on the QueueListener side won’t have the information to do custom formatting, e.g. of exceptions. You may wish to subclass QueueHandler and override this method to e.g. avoid setting exc_text to None. Note that the message / msg / args changes are related to ensuring the record is pickleable, and you might or might not be able to avoid doing that depending on whether your args are pickleable. (Note that you may have to consider not only your own code but also code in any libraries that you use.)

enqueue(record)

Enqueues the record on the queue using put_nowait(); you may want to override this if you want to use blocking behaviour, or a timeout, or a customized queue implementation.

listener

When created via configuration using dictConfig(), this attribute will contain a QueueListener instance for use with this handler. Otherwise, it will be None.

Adicionado na versão 3.12.

QueueListener

Adicionado na versão 3.2.

The QueueListener class, located in the logging.handlers module, supports receiving logging messages from a queue, such as those implemented in the queue or multiprocessing modules. The messages are received from a queue in an internal thread and passed, on the same thread, to one or more handlers for processing. While QueueListener is not itself a handler, it is documented here because it works hand-in-hand with QueueHandler.

Along with the QueueHandler class, QueueListener can be used to let handlers do their work on a separate thread from the one which does the logging. This is important in web applications and also other service applications where threads servicing clients need to respond as quickly as possible, while any potentially slow operations (such as sending an email via SMTPHandler) are done on a separate thread.

class logging.handlers.QueueListener(queue, *handlers, respect_handler_level=False)

Returns a new instance of the QueueListener class. The instance is initialized with the queue to send messages to and a list of handlers which will handle entries placed on the queue. The queue can be any queue-like object; it’s passed as-is to the dequeue() method, which needs to know how to get messages from it. The queue is not required to have the task tracking API (though it’s used if available), which means that you can use SimpleQueue instances for queue.

Nota

If you are using multiprocessing, you should avoid using SimpleQueue and instead use multiprocessing.Queue.

If respect_handler_level is True, a handler’s level is respected (compared with the level for the message) when deciding whether to pass messages to that handler; otherwise, the behaviour is as in previous Python versions - to always pass each message to each handler.

Alterado na versão 3.5: The respect_handler_level argument was added.

dequeue(block)

Dequeues a record and return it, optionally blocking.

The base implementation uses get(). You may want to override this method if you want to use timeouts or work with custom queue implementations.

prepare(record)

Prepare a record for handling.

This implementation just returns the passed-in record. You may want to override this method if you need to do any custom marshalling or manipulation of the record before passing it to the handlers.

handle(record)

Handle a record.

This just loops through the handlers offering them the record to handle. The actual object passed to the handlers is that which is returned from prepare().

start()

Starts the listener.

This starts up a background thread to monitor the queue for LogRecords to process.

stop()

Stops the listener.

This asks the thread to terminate, and then waits for it to do so. Note that if you don’t call this before your application exits, there may be some records still left on the queue, which won’t be processed.

enqueue_sentinel()

Writes a sentinel to the queue to tell the listener to quit. This implementation uses put_nowait(). You may want to override this method if you want to use timeouts or work with custom queue implementations.

Adicionado na versão 3.3.

Ver também

Módulo logging

Referência da API para o módulo de logging.

Módulo logging.config

API de configuração para o módulo logging.

getpass — Entrada de senha portátil

Código-fonte: Lib/getpass.py [https://github.com/python/cpython/tree/3.13/Lib/getpass.py]

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

O módulo getpass fornece duas funções:

getpass.getpass(prompt='Password: ', stream=None)

Solicita uma senha do usuário sem emiti-la. O usuário é solicitado usando a string prompt, cujo padrão é 'Password: '. No Unix, o prompt é escrito no objeto arquivo ou similar stream usando o tratador de erros de substituição, se necessário. O stream padrão para o terminal de controle (/dev/tty) ou se não estiver disponível para sys.stderr (este argumento é ignorado no Windows).

Se uma entrada sem exibição em tela não estiver disponível, getpass() recorre a exibir uma mensagem de aviso para stream e lê de sys.stdin e levantar de um GetPassWarning.

Nota

Se você chamar getpass de dentro do IDLE, a entrada pode ser feita no terminal de onde você iniciou o IDLE, e não na própria janela ociosa.

exception getpass.GetPassWarning

A subclasse UserWarning é levantada quando a entrada de senha pode acabar sendo exibida na tela.

getpass.getuser()

Retorna o “nome de login” do usuário.

Esta função verifica as variáveis de ambiente LOGNAME, USER, LNAME e USERNAME, nesta ordem, e retorna o valor da primeiro que estiver definida como uma string não vazia. Se nenhuma estiver definida, o nome de login do banco de dados de senhas é retornado em sistemas que oferecem suporte ao módulo pwd, caso contrário, uma exceção OSError é levantada.

Em geral, esta função deve ter preferência sobre os.getlogin().

Alterado na versão 3.13: Anteriormente, várias exceções além de apenas OSError eram levantadas.

curses — Gerenciador de terminal para visualizadores de células de caracteres.

Código-fonte: Lib/curses [https://github.com/python/cpython/tree/3.13/Lib/curses]

O módulo curses provê uma interface para a livraria curses, o padrão de-facto para manuseio avançado de terminal portável.

While curses is most widely used in the Unix environment, versions are available for Windows, DOS, and possibly other systems as well. This extension module is designed to match the API of ncurses, an open-source curses library hosted on Linux and the BSD variants of Unix.

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Nota

Whenever the documentation mentions a character it can be specified as an integer, a one-character Unicode string or a one-byte byte string.

Whenever the documentation mentions a character string it can be specified as a Unicode string or a byte string.

Ver também

Módulo curses.ascii

Utilidades para trabalhar com caracteres ASCII, independentemente de suas configurações locais.

Módulo curses.panel

Uma extensão de painel stackeada que adiciona profundidade às janelas do curses.

Módulo curses.textpad

Widget de texto editável para suporte ao curses Emacs-like bindings.

Programação em Curses com Python

Tutorial material on using curses with Python, by Andrew Kuchling and Eric Raymond.

Funções

The module curses defines the following exception:

exception curses.error

Exception raised when a curses library function returns an error.

Nota

Whenever x or y arguments to a function or a method are optional, they default to the current cursor location. Whenever attr is optional, it defaults to A_NORMAL.

The module curses defines the following functions:

curses.baudrate()

Return the output speed of the terminal in bits per second. On software terminal emulators it will have a fixed high value. Included for historical reasons; in former times, it was used to write output loops for time delays and occasionally to change interfaces depending on the line speed.

curses.beep()

Emit a short attention sound.

curses.can_change_color()

Return True or False, depending on whether the programmer can change the colors displayed by the terminal.

curses.cbreak()

Enter cbreak mode. In cbreak mode (sometimes called “rare” mode) normal tty line buffering is turned off and characters are available to be read one by one. However, unlike raw mode, special characters (interrupt, quit, suspend, and flow control) retain their effects on the tty driver and calling program. Calling first raw() then cbreak() leaves the terminal in cbreak mode.

curses.color_content(color_number)

Return the intensity of the red, green, and blue (RGB) components in the color color_number, which must be between 0 and COLORS - 1. Return a 3-tuple, containing the R,G,B values for the given color, which will be between 0 (no component) and 1000 (maximum amount of component).

curses.color_pair(pair_number)

Return the attribute value for displaying text in the specified color pair. Only the first 256 color pairs are supported. This attribute value can be combined with A_STANDOUT, A_REVERSE, and the other A_* attributes. pair_number() is the counterpart to this function.

curses.curs_set(visibility)

Set the cursor state. visibility can be set to 0, 1, or 2, for invisible, normal, or very visible. If the terminal supports the visibility requested, return the previous cursor state; otherwise raise an exception. On many terminals, the “visible” mode is an underline cursor and the “very visible” mode is a block cursor.

curses.def_prog_mode()

Save the current terminal mode as the “program” mode, the mode when the running program is using curses. (Its counterpart is the “shell” mode, for when the program is not in curses.) Subsequent calls to reset_prog_mode() will restore this mode.

curses.def_shell_mode()

Save the current terminal mode as the “shell” mode, the mode when the running program is not using curses. (Its counterpart is the “program” mode, when the program is using curses capabilities.) Subsequent calls to reset_shell_mode() will restore this mode.

curses.delay_output(ms)

Insert an ms millisecond pause in output.

curses.doupdate()

Atualiza a tela física. A biblioteca do curses mantém duas estruturas de dados, uma representando o conteúdo da tela física atual e uma tela virtual representando o próximo estado desejado. O doupdate() atualiza a tela física para corresponder à tela virtual.

The virtual screen may be updated by a noutrefresh() call after write operations such as addstr() have been performed on a window. The normal refresh() call is simply noutrefresh() followed by doupdate(); if you have to update multiple windows, you can speed performance and perhaps reduce screen flicker by issuing noutrefresh() calls on all windows, followed by a single doupdate().

curses.echo()

Enter echo mode. In echo mode, each character input is echoed to the screen as it is entered.

curses.endwin()

De-initialize the library, and return terminal to normal status.

curses.erasechar()

Return the user’s current erase character as a one-byte bytes object. Under Unix operating systems this is a property of the controlling tty of the curses program, and is not set by the curses library itself.

curses.filter()

The filter() routine, if used, must be called before initscr() is called. The effect is that, during those calls, LINES is set to 1; the capabilities clear, cup, cud, cud1, cuu1, cuu, vpa are disabled; and the home string is set to the value of cr. The effect is that the cursor is confined to the current line, and so are screen updates. This may be used for enabling character-at-a-time line editing without touching the rest of the screen.

curses.flash()

Flash the screen. That is, change it to reverse-video and then change it back in a short interval. Some people prefer such as ‘visible bell’ to the audible attention signal produced by beep().

curses.flushinp()

Flush all input buffers. This throws away any typeahead that has been typed by the user and has not yet been processed by the program.

curses.getmouse()

After getch() returns KEY_MOUSE to signal a mouse event, this method should be called to retrieve the queued mouse event, represented as a 5-tuple (id, x, y, z, bstate). id is an ID value used to distinguish multiple devices, and x, y, z are the event’s coordinates. (z is currently unused.) bstate is an integer value whose bits will be set to indicate the type of event, and will be the bitwise OR of one or more of the following constants, where n is the button number from 1 to 5: BUTTONn_PRESSED, BUTTONn_RELEASED, BUTTONn_CLICKED, BUTTONn_DOUBLE_CLICKED, BUTTONn_TRIPLE_CLICKED, BUTTON_SHIFT, BUTTON_CTRL, BUTTON_ALT.

Alterado na versão 3.10: The BUTTON5_* constants are now exposed if they are provided by the underlying curses library.

curses.getsyx()

Return the current coordinates of the virtual screen cursor as a tuple (y, x). If leaveok is currently True, then return (-1, -1).

curses.getwin(file)

Read window related data stored in the file by an earlier window.putwin() call. The routine then creates and initializes a new window using that data, returning the new window object.

curses.has_colors()

Return True if the terminal can display colors; otherwise, return False.

curses.has_extended_color_support()

Return True if the module supports extended colors; otherwise, return False. Extended color support allows more than 256 color pairs for terminals that support more than 16 colors (e.g. xterm-256color).

Extended color support requires ncurses version 6.1 or later.

Adicionado na versão 3.10.

curses.has_ic()

Return True if the terminal has insert- and delete-character capabilities. This function is included for historical reasons only, as all modern software terminal emulators have such capabilities.

curses.has_il()

Return True if the terminal has insert- and delete-line capabilities, or can simulate them using scrolling regions. This function is included for historical reasons only, as all modern software terminal emulators have such capabilities.

curses.has_key(ch)

Take a key value ch, and return True if the current terminal type recognizes a key with that value.

curses.halfdelay(tenths)

Used for half-delay mode, which is similar to cbreak mode in that characters typed by the user are immediately available to the program. However, after blocking for tenths tenths of seconds, raise an exception if nothing has been typed. The value of tenths must be a number between 1 and 255. Use nocbreak() to leave half-delay mode.

curses.init_color(color_number, r, g, b)

Change the definition of a color, taking the number of the color to be changed followed by three RGB values (for the amounts of red, green, and blue components). The value of color_number must be between 0 and COLORS - 1. Each of r, g, b, must be a value between 0 and 1000. When init_color() is used, all occurrences of that color on the screen immediately change to the new definition. This function is a no-op on most terminals; it is active only if can_change_color() returns True.

curses.init_pair(pair_number, fg, bg)

Change the definition of a color-pair. It takes three arguments: the number of the color-pair to be changed, the foreground color number, and the background color number. The value of pair_number must be between 1 and COLOR_PAIRS - 1 (the 0 color pair is wired to white on black and cannot be changed). The value of fg and bg arguments must be between 0 and COLORS - 1, or, after calling use_default_colors(), -1. If the color-pair was previously initialized, the screen is refreshed and all occurrences of that color-pair are changed to the new definition.

curses.initscr()

Initialize the library. Return a window object which represents the whole screen.

Nota

If there is an error opening the terminal, the underlying curses library may cause the interpreter to exit.

curses.is_term_resized(nlines, ncols)

Return True if resize_term() would modify the window structure, False otherwise.

curses.isendwin()

Return True if endwin() has been called (that is, the curses library has been deinitialized).

curses.keyname(k)

Return the name of the key numbered k as a bytes object. The name of a key generating printable ASCII character is the key’s character. The name of a control-key combination is a two-byte bytes object consisting of a caret (b'^') followed by the corresponding printable ASCII character. The name of an alt-key combination (128–255) is a bytes object consisting of the prefix b'M-' followed by the name of the corresponding ASCII character.

curses.killchar()

Return the user’s current line kill character as a one-byte bytes object. Under Unix operating systems this is a property of the controlling tty of the curses program, and is not set by the curses library itself.

curses.longname()

Return a bytes object containing the terminfo long name field describing the current terminal. The maximum length of a verbose description is 128 characters. It is defined only after the call to initscr().

curses.meta(flag)

If flag is True, allow 8-bit characters to be input. If flag is False, allow only 7-bit chars.

curses.mouseinterval(interval)

Set the maximum time in milliseconds that can elapse between press and release events in order for them to be recognized as a click, and return the previous interval value. The default value is 200 milliseconds, or one fifth of a second.

curses.mousemask(mousemask)

Set the mouse events to be reported, and return a tuple (availmask, oldmask). availmask indicates which of the specified mouse events can be reported; on complete failure it returns 0. oldmask is the previous value of the given window’s mouse event mask. If this function is never called, no mouse events are ever reported.

curses.napms(ms)

Sleep for ms milliseconds.

curses.newpad(nlines, ncols)

Create and return a pointer to a new pad data structure with the given number of lines and columns. Return a pad as a window object.

A pad is like a window, except that it is not restricted by the screen size, and is not necessarily associated with a particular part of the screen. Pads can be used when a large window is needed, and only a part of the window will be on the screen at one time. Automatic refreshes of pads (such as from scrolling or echoing of input) do not occur. The refresh() and noutrefresh() methods of a pad require 6 arguments to specify the part of the pad to be displayed and the location on the screen to be used for the display. The arguments are pminrow, pmincol, sminrow, smincol, smaxrow, smaxcol; the p arguments refer to the upper left corner of the pad region to be displayed and the s arguments define a clipping box on the screen within which the pad region is to be displayed.

curses.newwin(nlines, ncols)

curses.newwin(nlines, ncols, begin_y, begin_x)

Return a new window, whose left-upper corner is at (begin_y, begin_x), and whose height/width is nlines/ncols.

By default, the window will extend from the specified position to the lower right corner of the screen.

curses.nl()

Enter newline mode. This mode translates the return key into newline on input, and translates newline into return and line-feed on output. Newline mode is initially on.

curses.nocbreak()

Leave cbreak mode. Return to normal “cooked” mode with line buffering.

curses.noecho()

Leave echo mode. Echoing of input characters is turned off.

curses.nonl()

Leave newline mode. Disable translation of return into newline on input, and disable low-level translation of newline into newline/return on output (but this does not change the behavior of addch('\n'), which always does the equivalent of return and line feed on the virtual screen). With translation off, curses can sometimes speed up vertical motion a little; also, it will be able to detect the return key on input.

curses.noqiflush()

When the noqiflush() routine is used, normal flush of input and output queues associated with the INTR, QUIT and SUSP characters will not be done. You may want to call noqiflush() in a signal handler if you want output to continue as though the interrupt had not occurred, after the handler exits.

curses.noraw()

Leave raw mode. Return to normal “cooked” mode with line buffering.

curses.pair_content(pair_number)

Return a tuple (fg, bg) containing the colors for the requested color pair. The value of pair_number must be between 0 and COLOR_PAIRS - 1.

curses.pair_number(attr)

Return the number of the color-pair set by the attribute value attr. color_pair() is the counterpart to this function.

curses.putp(str)

Equivalent to tputs(str, 1, putchar); emit the value of a specified terminfo capability for the current terminal. Note that the output of putp() always goes to standard output.

curses.qiflush([flag])

If flag is False, the effect is the same as calling noqiflush(). If flag is True, or no argument is provided, the queues will be flushed when these control characters are read.

curses.raw()

Enter raw mode. In raw mode, normal line buffering and processing of interrupt, quit, suspend, and flow control keys are turned off; characters are presented to curses input functions one by one.

curses.reset_prog_mode()

Restore the terminal to “program” mode, as previously saved by def_prog_mode().

curses.reset_shell_mode()

Restore the terminal to “shell” mode, as previously saved by def_shell_mode().

curses.resetty()

Restore the state of the terminal modes to what it was at the last call to savetty().

curses.resize_term(nlines, ncols)

Backend function used by resizeterm(), performing most of the work; when resizing the windows, resize_term() blank-fills the areas that are extended. The calling application should fill in these areas with appropriate data. The resize_term() function attempts to resize all windows. However, due to the calling convention of pads, it is not possible to resize these without additional interaction with the application.

curses.resizeterm(nlines, ncols)

Resize the standard and current windows to the specified dimensions, and adjusts other bookkeeping data used by the curses library that record the window dimensions (in particular the SIGWINCH handler).

curses.savetty()

Save the current state of the terminal modes in a buffer, usable by resetty().

curses.get_escdelay()

Retrieves the value set by set_escdelay().

Adicionado na versão 3.9.

curses.set_escdelay(ms)

Sets the number of milliseconds to wait after reading an escape character, to distinguish between an individual escape character entered on the keyboard from escape sequences sent by cursor and function keys.

Adicionado na versão 3.9.

curses.get_tabsize()

Retrieves the value set by set_tabsize().

Adicionado na versão 3.9.

curses.set_tabsize(size)

Sets the number of columns used by the curses library when converting a tab character to spaces as it adds the tab to a window.

Adicionado na versão 3.9.

curses.setsyx(y, x)

Set the virtual screen cursor to y, x. If y and x are both -1, then leaveok is set True.

curses.setupterm(term=None, fd=-1)

Initialize the terminal. term is a string giving the terminal name, or None; if omitted or None, the value of the TERM environment variable will be used. fd is the file descriptor to which any initialization sequences will be sent; if not supplied or -1, the file descriptor for sys.stdout will be used.

curses.start_color()

Must be called if the programmer wants to use colors, and before any other color manipulation routine is called. It is good practice to call this routine right after initscr().

start_color() initializes eight basic colors (black, red, green, yellow, blue, magenta, cyan, and white), and two global variables in the curses module, COLORS and COLOR_PAIRS, containing the maximum number of colors and color-pairs the terminal can support. It also restores the colors on the terminal to the values they had when the terminal was just turned on.

curses.termattrs()

Return a logical OR of all video attributes supported by the terminal. This information is useful when a curses program needs complete control over the appearance of the screen.

curses.termname()

Return the value of the environment variable TERM, as a bytes object, truncated to 14 characters.

curses.tigetflag(capname)

Return the value of the Boolean capability corresponding to the terminfo capability name capname as an integer. Return the value -1 if capname is not a Boolean capability, or 0 if it is canceled or absent from the terminal description.

curses.tigetnum(capname)

Return the value of the numeric capability corresponding to the terminfo capability name capname as an integer. Return the value -2 if capname is not a numeric capability, or -1 if it is canceled or absent from the terminal description.

curses.tigetstr(capname)

Return the value of the string capability corresponding to the terminfo capability name capname as a bytes object. Return None if capname is not a terminfo “string capability”, or is canceled or absent from the terminal description.

curses.tparm(str[, ...])

Instantiate the bytes object str with the supplied parameters, where str should be a parameterized string obtained from the terminfo database. E.g. tparm(tigetstr("cup"), 5, 3) could result in b'\033[6;4H', the exact result depending on terminal type.

curses.typeahead(fd)

Specify that the file descriptor fd be used for typeahead checking. If fd is -1, then no typeahead checking is done.

The curses library does “line-breakout optimization” by looking for typeahead periodically while updating the screen. If input is found, and it is coming from a tty, the current update is postponed until refresh or doupdate is called again, allowing faster response to commands typed in advance. This function allows specifying a different file descriptor for typeahead checking.

curses.unctrl(ch)

Return a bytes object which is a printable representation of the character ch. Control characters are represented as a caret followed by the character, for example as b'^C'. Printing characters are left as they are.

curses.ungetch(ch)

Push ch so the next getch() will return it.

Nota

Only one ch can be pushed before getch() is called.

curses.update_lines_cols()

Update the LINES and COLS module variables. Useful for detecting manual screen resize.

Adicionado na versão 3.5.

curses.unget_wch(ch)

Push ch so the next get_wch() will return it.

Nota

Only one ch can be pushed before get_wch() is called.

Adicionado na versão 3.3.

curses.ungetmouse(id, x, y, z, bstate)

Push a KEY_MOUSE event onto the input queue, associating the given state data with it.

curses.use_env(flag)

If used, this function should be called before initscr() or newterm are called. When flag is False, the values of lines and columns specified in the terminfo database will be used, even if environment variables LINES and COLUMNS (used by default) are set, or if curses is running in a window (in which case default behavior would be to use the window size if LINES and COLUMNS are not set).

curses.use_default_colors()

Allow use of default values for colors on terminals supporting this feature. Use this to support transparency in your application. The default color is assigned to the color number -1. After calling this function, init_pair(x, curses.COLOR_RED, -1) initializes, for instance, color pair x to a red foreground color on the default background.

curses.wrapper(func, /, *args, **kwargs)

Initialize curses and call another callable object, func, which should be the rest of your curses-using application. If the application raises an exception, this function will restore the terminal to a sane state before re-raising the exception and generating a traceback. The callable object func is then passed the main window ‘stdscr’ as its first argument, followed by any other arguments passed to wrapper(). Before calling func, wrapper() turns on cbreak mode, turns off echo, enables the terminal keypad, and initializes colors if the terminal has color support. On exit (whether normally or by exception) it restores cooked mode, turns on echo, and disables the terminal keypad.

Window Objects

Window objects, as returned by initscr() and newwin() above, have the following methods and attributes:

window.addch(ch[, attr])

window.addch(y, x, ch[, attr])

Paint character ch at (y, x) with attributes attr, overwriting any character previously painted at that location. By default, the character position and attributes are the current settings for the window object.

Nota

Writing outside the window, subwindow, or pad raises a curses.error. Attempting to write to the lower right corner of a window, subwindow, or pad will cause an exception to be raised after the character is printed.

window.addnstr(str, n[, attr])

window.addnstr(y, x, str, n[, attr])

Paint at most n characters of the character string str at (y, x) with attributes attr, overwriting anything previously on the display.

window.addstr(str[, attr])

window.addstr(y, x, str[, attr])

Paint the character string str at (y, x) with attributes attr, overwriting anything previously on the display.

Nota

Writing outside the window, subwindow, or pad raises curses.error. Attempting to write to the lower right corner of a window, subwindow, or pad will cause an exception to be raised after the string is printed.

A bug in ncurses [https://bugs.python.org/issue35924], the backend for this Python module, can cause SegFaults when resizing windows. This is fixed in ncurses-6.1-20190511. If you are stuck with an earlier ncurses, you can avoid triggering this if you do not call addstr() with a str that has embedded newlines. Instead, call addstr() separately for each line.

window.attroff(attr)

Remove attribute attr from the “background” set applied to all writes to the current window.

window.attron(attr)

Add attribute attr from the “background” set applied to all writes to the current window.

window.attrset(attr)

Set the “background” set of attributes to attr. This set is initially 0 (no attributes).

window.bkgd(ch[, attr])

Set the background property of the window to the character ch, with attributes attr. The change is then applied to every character position in that window:

The attribute of every character in the window is changed to the new background attribute.

Wherever the former background character appears, it is changed to the new background character.

window.bkgdset(ch[, attr])

Set the window’s background. A window’s background consists of a character and any combination of attributes. The attribute part of the background is combined (OR’ed) with all non-blank characters that are written into the window. Both the character and attribute parts of the background are combined with the blank characters. The background becomes a property of the character and moves with the character through any scrolling and insert/delete line/character operations.

window.border([ls[, rs[, ts[, bs[, tl[, tr[, bl[, br]]]]]]]])

Draw a border around the edges of the window. Each parameter specifies the character to use for a specific part of the border; see the table below for more details.

Nota

A 0 value for any parameter will cause the default character to be used for that parameter. Keyword parameters can not be used. The defaults are listed in this table:

Parameter

Descrição

Valor padrão

ls

Left side

ACS_VLINE

rs

Right side

ACS_VLINE

ts

Top

ACS_HLINE

bs

Bottom

ACS_HLINE

tl

Upper-left corner

ACS_ULCORNER

tr

Upper-right corner

ACS_URCORNER

bl

Bottom-left corner

ACS_LLCORNER

br

Bottom-right corner

ACS_LRCORNER

window.box([vertch, horch])

Similar to border(), but both ls and rs are vertch and both ts and bs are horch. The default corner characters are always used by this function.

window.chgat(attr)

window.chgat(num, attr)

window.chgat(y, x, attr)

window.chgat(y, x, num, attr)

Set the attributes of num characters at the current cursor position, or at position (y, x) if supplied. If num is not given or is -1, the attribute will be set on all the characters to the end of the line. This function moves cursor to position (y, x) if supplied. The changed line will be touched using the touchline() method so that the contents will be redisplayed by the next window refresh.

window.clear()

Like erase(), but also cause the whole window to be repainted upon next call to refresh().

window.clearok(flag)

If flag is True, the next call to refresh() will clear the window completely.

window.clrtobot()

Erase from cursor to the end of the window: all lines below the cursor are deleted, and then the equivalent of clrtoeol() is performed.

window.clrtoeol()

Erase from cursor to the end of the line.

window.cursyncup()

Update the current cursor position of all the ancestors of the window to reflect the current cursor position of the window.

window.delch([y, x])

Delete any character at (y, x).

window.deleteln()

Delete the line under the cursor. All following lines are moved up by one line.

window.derwin(begin_y, begin_x)

window.derwin(nlines, ncols, begin_y, begin_x)

An abbreviation for “derive window”, derwin() is the same as calling subwin(), except that begin_y and begin_x are relative to the origin of the window, rather than relative to the entire screen. Return a window object for the derived window.

window.echochar(ch[, attr])

Add character ch with attribute attr, and immediately call refresh() on the window.

window.enclose(y, x)

Test whether the given pair of screen-relative character-cell coordinates are enclosed by the given window, returning True or False. It is useful for determining what subset of the screen windows enclose the location of a mouse event.

Alterado na versão 3.10: Previously it returned 1 or 0 instead of True or False.

window.encoding

Encoding used to encode method arguments (Unicode strings and characters). The encoding attribute is inherited from the parent window when a subwindow is created, for example with window.subwin(). By default, current locale encoding is used (see locale.getencoding()).

Adicionado na versão 3.3.

window.erase()

Clear the window.

window.getbegyx()

Return a tuple (y, x) of coordinates of upper-left corner.

window.getbkgd()

Return the given window’s current background character/attribute pair.

window.getch([y, x])

Get a character. Note that the integer returned does not have to be in ASCII range: function keys, keypad keys and so on are represented by numbers higher than 255. In no-delay mode, return -1 if there is no input, otherwise wait until a key is pressed.

window.get_wch([y, x])

Get a wide character. Return a character for most keys, or an integer for function keys, keypad keys, and other special keys. In no-delay mode, raise an exception if there is no input.

Adicionado na versão 3.3.

window.getkey([y, x])

Get a character, returning a string instead of an integer, as getch() does. Function keys, keypad keys and other special keys return a multibyte string containing the key name. In no-delay mode, raise an exception if there is no input.

window.getmaxyx()

Return a tuple (y, x) of the height and width of the window.

window.getparyx()

Return the beginning coordinates of this window relative to its parent window as a tuple (y, x). Return (-1, -1) if this window has no parent.

window.getstr()

window.getstr(n)

window.getstr(y, x)

window.getstr(y, x, n)

Read a bytes object from the user, with primitive line editing capacity.

window.getyx()

Return a tuple (y, x) of current cursor position relative to the window’s upper-left corner.

window.hline(ch, n)

window.hline(y, x, ch, n)

Display a horizontal line starting at (y, x) with length n consisting of the character ch.

window.idcok(flag)

If flag is False, curses no longer considers using the hardware insert/delete character feature of the terminal; if flag is True, use of character insertion and deletion is enabled. When curses is first initialized, use of character insert/delete is enabled by default.

window.idlok(flag)

If flag is True, curses will try and use hardware line editing facilities. Otherwise, line insertion/deletion are disabled.

window.immedok(flag)

If flag is True, any change in the window image automatically causes the window to be refreshed; you no longer have to call refresh() yourself. However, it may degrade performance considerably, due to repeated calls to wrefresh. This option is disabled by default.

window.inch([y, x])

Return the character at the given position in the window. The bottom 8 bits are the character proper, and upper bits are the attributes.

window.insch(ch[, attr])

window.insch(y, x, ch[, attr])

Paint character ch at (y, x) with attributes attr, moving the line from position x right by one character.

window.insdelln(nlines)

Insert nlines lines into the specified window above the current line. The nlines bottom lines are lost. For negative nlines, delete nlines lines starting with the one under the cursor, and move the remaining lines up. The bottom nlines lines are cleared. The current cursor position remains the same.

window.insertln()

Insert a blank line under the cursor. All following lines are moved down by one line.

window.insnstr(str, n[, attr])

window.insnstr(y, x, str, n[, attr])

Insert a character string (as many characters as will fit on the line) before the character under the cursor, up to n characters. If n is zero or negative, the entire string is inserted. All characters to the right of the cursor are shifted right, with the rightmost characters on the line being lost. The cursor position does not change (after moving to y, x, if specified).

window.insstr(str[, attr])

window.insstr(y, x, str[, attr])

Insert a character string (as many characters as will fit on the line) before the character under the cursor. All characters to the right of the cursor are shifted right, with the rightmost characters on the line being lost. The cursor position does not change (after moving to y, x, if specified).

window.instr([n])

window.instr(y, x[, n])

Return a bytes object of characters, extracted from the window starting at the current cursor position, or at y, x if specified. Attributes are stripped from the characters. If n is specified, instr() returns a string at most n characters long (exclusive of the trailing NUL).

window.is_linetouched(line)

Return True if the specified line was modified since the last call to refresh(); otherwise return False. Raise a curses.error exception if line is not valid for the given window.

window.is_wintouched()

Return True if the specified window was modified since the last call to refresh(); otherwise return False.

window.keypad(flag)

If flag is True, escape sequences generated by some keys (keypad, function keys) will be interpreted by curses. If flag is False, escape sequences will be left as is in the input stream.

window.leaveok(flag)

If flag is True, cursor is left where it is on update, instead of being at “cursor position.” This reduces cursor movement where possible. If possible the cursor will be made invisible.

If flag is False, cursor will always be at “cursor position” after an update.

window.move(new_y, new_x)

Move cursor to (new_y, new_x).

window.mvderwin(y, x)

Move the window inside its parent window. The screen-relative parameters of the window are not changed. This routine is used to display different parts of the parent window at the same physical position on the screen.

window.mvwin(new_y, new_x)

Move the window so its upper-left corner is at (new_y, new_x).

window.nodelay(flag)

If flag is True, getch() will be non-blocking.

window.notimeout(flag)

If flag is True, escape sequences will not be timed out.

If flag is False, after a few milliseconds, an escape sequence will not be interpreted, and will be left in the input stream as is.

window.noutrefresh()

Mark for refresh but wait. This function updates the data structure representing the desired state of the window, but does not force an update of the physical screen. To accomplish that, call doupdate().

window.overlay(destwin[, sminrow, smincol, dminrow, dmincol, dmaxrow, dmaxcol])

Overlay the window on top of destwin. The windows need not be the same size, only the overlapping region is copied. This copy is non-destructive, which means that the current background character does not overwrite the old contents of destwin.

To get fine-grained control over the copied region, the second form of overlay() can be used. sminrow and smincol are the upper-left coordinates of the source window, and the other variables mark a rectangle in the destination window.

window.overwrite(destwin[, sminrow, smincol, dminrow, dmincol, dmaxrow, dmaxcol])

Overwrite the window on top of destwin. The windows need not be the same size, in which case only the overlapping region is copied. This copy is destructive, which means that the current background character overwrites the old contents of destwin.

To get fine-grained control over the copied region, the second form of overwrite() can be used. sminrow and smincol are the upper-left coordinates of the source window, the other variables mark a rectangle in the destination window.

window.putwin(file)

Write all data associated with the window into the provided file object. This information can be later retrieved using the getwin() function.

window.redrawln(beg, num)

Indicate that the num screen lines, starting at line beg, are corrupted and should be completely redrawn on the next refresh() call.

window.redrawwin()

Touch the entire window, causing it to be completely redrawn on the next refresh() call.

window.refresh([pminrow, pmincol, sminrow, smincol, smaxrow, smaxcol])

Update the display immediately (sync actual screen with previous drawing/deleting methods).

The 6 optional arguments can only be specified when the window is a pad created with newpad(). The additional parameters are needed to indicate what part of the pad and screen are involved. pminrow and pmincol specify the upper left-hand corner of the rectangle to be displayed in the pad. sminrow, smincol, smaxrow, and smaxcol specify the edges of the rectangle to be displayed on the screen. The lower right-hand corner of the rectangle to be displayed in the pad is calculated from the screen coordinates, since the rectangles must be the same size. Both rectangles must be entirely contained within their respective structures. Negative values of pminrow, pmincol, sminrow, or smincol are treated as if they were zero.

window.resize(nlines, ncols)

Reallocate storage for a curses window to adjust its dimensions to the specified values. If either dimension is larger than the current values, the window’s data is filled with blanks that have the current background rendition (as set by bkgdset()) merged into them.

window.scroll([lines=1])

Scroll the screen or scrolling region upward by lines lines.

window.scrollok(flag)

Control what happens when the cursor of a window is moved off the edge of the window or scrolling region, either as a result of a newline action on the bottom line, or typing the last character of the last line. If flag is False, the cursor is left on the bottom line. If flag is True, the window is scrolled up one line. Note that in order to get the physical scrolling effect on the terminal, it is also necessary to call idlok().

window.setscrreg(top, bottom)

Set the scrolling region from line top to line bottom. All scrolling actions will take place in this region.

window.standend()

Turn off the standout attribute. On some terminals this has the side effect of turning off all attributes.

window.standout()

Turn on attribute A_STANDOUT.

window.subpad(begin_y, begin_x)

window.subpad(nlines, ncols, begin_y, begin_x)

Return a sub-window, whose upper-left corner is at (begin_y, begin_x), and whose width/height is ncols/nlines.

window.subwin(begin_y, begin_x)

window.subwin(nlines, ncols, begin_y, begin_x)

Return a sub-window, whose upper-left corner is at (begin_y, begin_x), and whose width/height is ncols/nlines.

By default, the sub-window will extend from the specified position to the lower right corner of the window.

window.syncdown()

Touch each location in the window that has been touched in any of its ancestor windows. This routine is called by refresh(), so it should almost never be necessary to call it manually.

window.syncok(flag)

If flag is True, then syncup() is called automatically whenever there is a change in the window.

window.syncup()

Touch all locations in ancestors of the window that have been changed in the window.

window.timeout(delay)

Set blocking or non-blocking read behavior for the window. If delay is negative, blocking read is used (which will wait indefinitely for input). If delay is zero, then non-blocking read is used, and getch() will return -1 if no input is waiting. If delay is positive, then getch() will block for delay milliseconds, and return -1 if there is still no input at the end of that time.

window.touchline(start, count[, changed])

Pretend count lines have been changed, starting with line start. If changed is supplied, it specifies whether the affected lines are marked as having been changed (changed=True) or unchanged (changed=False).

window.touchwin()

Pretend the whole window has been changed, for purposes of drawing optimizations.

window.untouchwin()

Mark all lines in the window as unchanged since the last call to refresh().

window.vline(ch, n[, attr])

window.vline(y, x, ch, n[, attr])

Display a vertical line starting at (y, x) with length n consisting of the character ch with attributes attr.

Constantes

The curses module defines the following data members:

curses.ERR

Some curses routines that return an integer, such as getch(), return ERR upon failure.

curses.OK

Some curses routines that return an integer, such as napms(), return OK upon success.

curses.version

curses.__version__

A bytes object representing the current version of the module.

curses.ncurses_version

A named tuple containing the three components of the ncurses library version: major, minor, and patch. All values are integers. The components can also be accessed by name, so curses.ncurses_version[0] is equivalent to curses.ncurses_version.major and so on.

Availability: if the ncurses library is used.

Adicionado na versão 3.8.

curses.COLORS

The maximum number of colors the terminal can support. It is defined only after the call to start_color().

curses.COLOR_PAIRS

The maximum number of color pairs the terminal can support. It is defined only after the call to start_color().

curses.COLS

The width of the screen, i.e., the number of columns. It is defined only after the call to initscr(). Updated by update_lines_cols(), resizeterm() and resize_term().

curses.LINES

The height of the screen, i.e., the number of lines. It is defined only after the call to initscr(). Updated by update_lines_cols(), resizeterm() and resize_term().

Some constants are available to specify character cell attributes. The exact constants available are system dependent.

Atributo

Significado

curses.A_ALTCHARSET

Alternate character set mode

curses.A_BLINK

Blink mode

curses.A_BOLD

Bold mode

curses.A_DIM

Dim mode

curses.A_INVIS

Invisible or blank mode

curses.A_ITALIC

Italic mode

curses.A_NORMAL

Normal attribute

curses.A_PROTECT

Protected mode

curses.A_REVERSE

Reverse background and foreground colors

curses.A_STANDOUT

Standout mode

curses.A_UNDERLINE

Underline mode

curses.A_HORIZONTAL

Horizontal highlight

curses.A_LEFT

Left highlight

curses.A_LOW

Low highlight

curses.A_RIGHT

Right highlight

curses.A_TOP

Top highlight

curses.A_VERTICAL

Vertical highlight

Adicionado na versão 3.7: A_ITALIC was added.

Several constants are available to extract corresponding attributes returned by some methods.

Bit-mask

Significado

curses.A_ATTRIBUTES

Bit-mask to extract attributes

curses.A_CHARTEXT

Bit-mask to extract a character

curses.A_COLOR

Bit-mask to extract color-pair field information

Keys are referred to by integer constants with names starting with KEY_. The exact keycaps available are system dependent.

Key constant

Chave

curses.KEY_MIN

Minimum key value

curses.KEY_BREAK

Break key (unreliable)

curses.KEY_DOWN

Down-arrow

curses.KEY_UP

Up-arrow

curses.KEY_LEFT

Left-arrow

curses.KEY_RIGHT

Right-arrow

curses.KEY_HOME

Home key (upward+left arrow)

curses.KEY_BACKSPACE

Backspace (unreliable)

curses.KEY_F0

Function keys. Up to 64 function keys are supported.

curses.KEY_Fn

Value of function key n

curses.KEY_DL

Delete line

curses.KEY_IL

Insert line

curses.KEY_DC

Delete character

curses.KEY_IC

Insert char or enter insert mode

curses.KEY_EIC

Exit insert char mode

curses.KEY_CLEAR

Clear screen

curses.KEY_EOS

Clear to end of screen

curses.KEY_EOL

Clear to end of line

curses.KEY_SF

Scroll 1 line forward

curses.KEY_SR

Scroll 1 line backward (reverse)

curses.KEY_NPAGE

Next page

curses.KEY_PPAGE

Previous page

curses.KEY_STAB

Set tab

curses.KEY_CTAB

Clear tab

curses.KEY_CATAB

Clear all tabs

curses.KEY_ENTER

Enter or send (unreliable)

curses.KEY_SRESET

Soft (partial) reset (unreliable)

curses.KEY_RESET

Reset or hard reset (unreliable)

curses.KEY_PRINT

Print

curses.KEY_LL

Home down or bottom (lower left)

curses.KEY_A1

Upper left of keypad

curses.KEY_A3

Upper right of keypad

curses.KEY_B2

Center of keypad

curses.KEY_C1

Lower left of keypad

curses.KEY_C3

Lower right of keypad

curses.KEY_BTAB

Back tab

curses.KEY_BEG

Beg (beginning)

curses.KEY_CANCEL

Cancel

curses.KEY_CLOSE

Close

curses.KEY_COMMAND

Cmd (command)

curses.KEY_COPY

Copy

curses.KEY_CREATE

Create

curses.KEY_END

End

curses.KEY_EXIT

Exit

curses.KEY_FIND

Find

curses.KEY_HELP

Help

curses.KEY_MARK

Mark

curses.KEY_MESSAGE

Message

curses.KEY_MOVE

Move

curses.KEY_NEXT

Next

curses.KEY_OPEN

Open

curses.KEY_OPTIONS

Opções

curses.KEY_PREVIOUS

Prev (previous)

curses.KEY_REDO

Redo

curses.KEY_REFERENCE

Ref (reference)

curses.KEY_REFRESH

Refresh

curses.KEY_REPLACE

Replace

curses.KEY_RESTART

Restart

curses.KEY_RESUME

Resume

curses.KEY_SAVE

Salvar

curses.KEY_SBEG

Shifted Beg (beginning)

curses.KEY_SCANCEL

Shifted Cancel

curses.KEY_SCOMMAND

Shifted Command

curses.KEY_SCOPY

Shifted Copy

curses.KEY_SCREATE

Shifted Create

curses.KEY_SDC

Shifted Delete char

curses.KEY_SDL

Shifted Delete line

curses.KEY_SELECT

Select

curses.KEY_SEND

Shifted End

curses.KEY_SEOL

Shifted Clear line

curses.KEY_SEXIT

Shifted Exit

curses.KEY_SFIND

Shifted Find

curses.KEY_SHELP

Shifted Help

curses.KEY_SHOME

Shifted Home

curses.KEY_SIC

Shifted Input

curses.KEY_SLEFT

Shifted Left arrow

curses.KEY_SMESSAGE

Shifted Message

curses.KEY_SMOVE

Shifted Move

curses.KEY_SNEXT

Shifted Next

curses.KEY_SOPTIONS

Shifted Options

curses.KEY_SPREVIOUS

Shifted Prev

curses.KEY_SPRINT

Shifted Print

curses.KEY_SREDO

Shifted Redo

curses.KEY_SREPLACE

Shifted Replace

curses.KEY_SRIGHT

Shifted Right arrow

curses.KEY_SRSUME

Resumo alterado

curses.KEY_SSAVE

Shifted Save

curses.KEY_SSUSPEND

Shifted Suspend

curses.KEY_SUNDO

Shifted Undo

curses.KEY_SUSPEND

Suspend

curses.KEY_UNDO

Desfazer

curses.KEY_MOUSE

Mouse event has occurred

curses.KEY_RESIZE

Terminal resize event

curses.KEY_MAX

Maximum key value

On VT100s and their software emulations, such as X terminal emulators, there are normally at least four function keys (KEY_F1, KEY_F2, KEY_F3, KEY_F4) available, and the arrow keys mapped to KEY_UP, KEY_DOWN, KEY_LEFT and KEY_RIGHT in the obvious way. If your machine has a PC keyboard, it is safe to expect arrow keys and twelve function keys (older PC keyboards may have only ten function keys); also, the following keypad mappings are standard:

Keycap

Constante

Insert

KEY_IC

Delete

KEY_DC

Home

KEY_HOME

End

KEY_END

Page Up

KEY_PPAGE

Page Down

KEY_NPAGE

The following table lists characters from the alternate character set. These are inherited from the VT100 terminal, and will generally be available on software emulations such as X terminals. When there is no graphic available, curses falls back on a crude printable ASCII approximation.

Nota

These are available only after initscr() has been called.

Código ACS

Significado

curses.ACS_BBSS

alternate name for upper right corner

curses.ACS_BLOCK

solid square block

curses.ACS_BOARD

board of squares

curses.ACS_BSBS

alternate name for horizontal line

curses.ACS_BSSB

alternate name for upper left corner

curses.ACS_BSSS

alternate name for top tee

curses.ACS_BTEE

bottom tee

curses.ACS_BULLET

bullet

curses.ACS_CKBOARD

checker board (stipple)

curses.ACS_DARROW

arrow pointing down

curses.ACS_DEGREE

degree symbol

curses.ACS_DIAMOND

diamond

curses.ACS_GEQUAL

greater-than-or-equal-to

curses.ACS_HLINE

horizontal line

curses.ACS_LANTERN

lantern symbol

curses.ACS_LARROW

left arrow

curses.ACS_LEQUAL

less-than-or-equal-to

curses.ACS_LLCORNER

lower left-hand corner

curses.ACS_LRCORNER

lower right-hand corner

curses.ACS_LTEE

left tee

curses.ACS_NEQUAL

not-equal sign

curses.ACS_PI

letter pi

curses.ACS_PLMINUS

plus-or-minus sign

curses.ACS_PLUS

big plus sign

curses.ACS_RARROW

right arrow

curses.ACS_RTEE

right tee

curses.ACS_S1

scan line 1

curses.ACS_S3

scan line 3

curses.ACS_S7

scan line 7

curses.ACS_S9

scan line 9

curses.ACS_SBBS

alternate name for lower right corner

curses.ACS_SBSB

alternate name for vertical line

curses.ACS_SBSS

alternate name for right tee

curses.ACS_SSBB

alternate name for lower left corner

curses.ACS_SSBS

alternate name for bottom tee

curses.ACS_SSSB

alternate name for left tee

curses.ACS_SSSS

alternate name for crossover or big plus

curses.ACS_STERLING

pound sterling

curses.ACS_TTEE

top tee

curses.ACS_UARROW

up arrow

curses.ACS_ULCORNER

upper left corner

curses.ACS_URCORNER

upper right corner

curses.ACS_VLINE

vertical line

The following table lists mouse button constants used by getmouse():

Mouse button constant

Significado

curses.BUTTONn_PRESSED

Mouse button n pressed

curses.BUTTONn_RELEASED

Mouse button n released

curses.BUTTONn_CLICKED

Mouse button n clicked

curses.BUTTONn_DOUBLE_CLICKED

Mouse button n double clicked

curses.BUTTONn_TRIPLE_CLICKED

Mouse button n triple clicked

curses.BUTTON_SHIFT

Shift was down during button state change

curses.BUTTON_CTRL

Control was down during button state change

curses.BUTTON_ALT

Control was down during button state change

Alterado na versão 3.10: The BUTTON5_* constants are now exposed if they are provided by the underlying curses library.

The following table lists the predefined colors:

Constante

Color

curses.COLOR_BLACK

Black

curses.COLOR_BLUE

Blue

curses.COLOR_CYAN

Cyan (light greenish blue)

curses.COLOR_GREEN

Green

curses.COLOR_MAGENTA

Magenta (purplish red)

curses.COLOR_RED

Red

curses.COLOR_WHITE

White

curses.COLOR_YELLOW

Yellow

curses.textpad — Text input widget for curses programs

The curses.textpad module provides a Textbox class that handles elementary text editing in a curses window, supporting a set of keybindings resembling those of Emacs (thus, also of Netscape Navigator, BBedit 6.x, FrameMaker, and many other programs). The module also provides a rectangle-drawing function useful for framing text boxes or for other purposes.

The module curses.textpad defines the following function:

curses.textpad.rectangle(win, uly, ulx, lry, lrx)

Draw a rectangle. The first argument must be a window object; the remaining arguments are coordinates relative to that window. The second and third arguments are the y and x coordinates of the upper left hand corner of the rectangle to be drawn; the fourth and fifth arguments are the y and x coordinates of the lower right hand corner. The rectangle will be drawn using VT100/IBM PC forms characters on terminals that make this possible (including xterm and most other software terminal emulators). Otherwise it will be drawn with ASCII dashes, vertical bars, and plus signs.

Textbox objects

You can instantiate a Textbox object as follows:

class curses.textpad.Textbox(win)

Return a textbox widget object. The win argument should be a curses window object in which the textbox is to be contained. The edit cursor of the textbox is initially located at the upper left hand corner of the containing window, with coordinates (0, 0). The instance’s stripspaces flag is initially on.

Textbox objects have the following methods:

edit([validator])

This is the entry point you will normally use. It accepts editing keystrokes until one of the termination keystrokes is entered. If validator is supplied, it must be a function. It will be called for each keystroke entered with the keystroke as a parameter; command dispatch is done on the result. This method returns the window contents as a string; whether blanks in the window are included is affected by the stripspaces attribute.

do_command(ch)

Process a single command keystroke. Here are the supported special keystrokes:

Keystroke

Ação

Control-A

Go to left edge of window.

Control-B

Cursor left, wrapping to previous line if appropriate.

Control-D

Delete character under cursor.

Control-E

Go to right edge (stripspaces off) or end of line (stripspaces on).

Control-F

Cursor right, wrapping to next line when appropriate.

Control-G

Terminate, returning the window contents.

Control-H

Delete character backward.

Control-J

Terminate if the window is 1 line, otherwise insert newline.

Control-K

If line is blank, delete it, otherwise clear to end of line.

Control-L

Refresh screen.

Control-N

Cursor down; move down one line.

Control-O

Insert a blank line at cursor location.

Control-P

Cursor up; move up one line.

Move operations do nothing if the cursor is at an edge where the movement is not possible. The following synonyms are supported where possible:

Constante

Keystroke

KEY_LEFT

Control-B

KEY_RIGHT

Control-F

KEY_UP

Control-P

KEY_DOWN

Control-N

KEY_BACKSPACE

Control-h

All other keystrokes are treated as a command to insert the given character and move right (with line wrapping).

gather()

Return the window contents as a string; whether blanks in the window are included is affected by the stripspaces member.

stripspaces

This attribute is a flag which controls the interpretation of blanks in the window. When it is on, trailing blanks on each line are ignored; any cursor motion that would land the cursor on a trailing blank goes to the end of that line instead, and trailing blanks are stripped when the window contents are gathered.

curses.ascii — Utilities for ASCII characters

Source code: Lib/curses/ascii.py [https://github.com/python/cpython/tree/3.13/Lib/curses/ascii.py]

The curses.ascii module supplies name constants for ASCII characters and functions to test membership in various ASCII character classes. The constants supplied are names for control characters as follows:

Nome

Significado

curses.ascii.NUL

curses.ascii.SOH

Start of heading, console interrupt

curses.ascii.STX

Start of text

curses.ascii.ETX

End of text

curses.ascii.EOT

End of transmission

curses.ascii.ENQ

Enquiry, goes with ACK flow control

curses.ascii.ACK

Acknowledgement

curses.ascii.BEL

Bell

curses.ascii.BS

Backspace

curses.ascii.TAB

Tab

curses.ascii.HT

Alias for TAB: “Horizontal tab”

curses.ascii.LF

Line feed

curses.ascii.NL

Alias for LF: “New line”

curses.ascii.VT

Vertical tab

curses.ascii.FF

Form feed

curses.ascii.CR

Carriage return

curses.ascii.SO

Shift-out, begin alternate character set

curses.ascii.SI

Shift-in, resume default character set

curses.ascii.DLE

Data-link escape

curses.ascii.DC1

XON, for flow control

curses.ascii.DC2

Device control 2, block-mode flow control

curses.ascii.DC3

XOFF, for flow control

curses.ascii.DC4

Device control 4

curses.ascii.NAK

Negative acknowledgement

curses.ascii.SYN

Synchronous idle

curses.ascii.ETB

End transmission block

curses.ascii.CAN

Cancel

curses.ascii.EM

End of medium

curses.ascii.SUB

Substitute

curses.ascii.ESC

Escape

curses.ascii.FS

File separator

curses.ascii.GS

Group separator

curses.ascii.RS

Record separator, block-mode terminator

curses.ascii.US

Separador de Unidade

curses.ascii.SP

Espaço

curses.ascii.DEL

Delete

Note that many of these have little practical significance in modern usage. The mnemonics derive from teleprinter conventions that predate digital computers.

The module supplies the following functions, patterned on those in the standard C library:

curses.ascii.isalnum(c)

Checks for an ASCII alphanumeric character; it is equivalent to isalpha(c) or isdigit(c).

curses.ascii.isalpha(c)

Checks for an ASCII alphabetic character; it is equivalent to isupper(c) or islower(c).

curses.ascii.isascii(c)

Checks for a character value that fits in the 7-bit ASCII set.

curses.ascii.isblank(c)

Checks for an ASCII whitespace character; space or horizontal tab.

curses.ascii.iscntrl(c)

Checks for an ASCII control character (in the range 0x00 to 0x1f or 0x7f).

curses.ascii.isdigit(c)

Checks for an ASCII decimal digit, '0' through '9'. This is equivalent to c in string.digits.

curses.ascii.isgraph(c)

Checks for ASCII any printable character except space.

curses.ascii.islower(c)

Checks for an ASCII lower-case character.

curses.ascii.isprint(c)

Checks for any ASCII printable character including space.

curses.ascii.ispunct(c)

Checks for any printable ASCII character which is not a space or an alphanumeric character.

curses.ascii.isspace(c)

Checks for ASCII white-space characters; space, line feed, carriage return, form feed, horizontal tab, vertical tab.

curses.ascii.isupper(c)

Checks for an ASCII uppercase letter.

curses.ascii.isxdigit(c)

Checks for an ASCII hexadecimal digit. This is equivalent to c in string.hexdigits.

curses.ascii.isctrl(c)

Checks for an ASCII control character (ordinal values 0 to 31).

curses.ascii.ismeta(c)

Checks for a non-ASCII character (ordinal values 0x80 and above).

These functions accept either integers or single-character strings; when the argument is a string, it is first converted using the built-in function ord().

Note that all these functions check ordinal bit values derived from the character of the string you pass in; they do not actually know anything about the host machine’s character encoding.

The following two functions take either a single-character string or integer byte value; they return a value of the same type.

curses.ascii.ascii(c)

Return the ASCII value corresponding to the low 7 bits of c.

curses.ascii.ctrl(c)

Return the control character corresponding to the given character (the character bit value is bitwise-anded with 0x1f).

curses.ascii.alt(c)

Return the 8-bit character corresponding to the given ASCII character (the character bit value is bitwise-ored with 0x80).

The following function takes either a single-character string or integer value; it returns a string.

curses.ascii.unctrl(c)

Return a string representation of the ASCII character c. If c is printable, this string is the character itself. If the character is a control character (0x00–0x1f) the string consists of a caret ('^') followed by the corresponding uppercase letter. If the character is an ASCII delete (0x7f) the string is '^?'. If the character has its meta bit (0x80) set, the meta bit is stripped, the preceding rules applied, and '!' prepended to the result.

curses.ascii.controlnames

A 33-element string array that contains the ASCII mnemonics for the thirty-two ASCII control characters from 0 (NUL) to 0x1f (US), in order, plus the mnemonic SP for the space character.

curses.panel — A panel stack extension for curses

Panels are windows with the added feature of depth, so they can be stacked on top of each other, and only the visible portions of each window will be displayed. Panels can be added, moved up or down in the stack, and removed.

Funções

The module curses.panel defines the following functions:

curses.panel.bottom_panel()

Retorna o painel inferior da pilha de painéis.

curses.panel.new_panel(win)

Returns a panel object, associating it with the given window win. Be aware that you need to keep the returned panel object referenced explicitly. If you don’t, the panel object is garbage collected and removed from the panel stack.

curses.panel.top_panel()

Returns the top panel in the panel stack.

curses.panel.update_panels()

Updates the virtual screen after changes in the panel stack. This does not call curses.doupdate(), so you’ll have to do this yourself.

Objetos Panel

Panel objects, as returned by new_panel() above, are windows with a stacking order. There’s always a window associated with a panel which determines the content, while the panel methods are responsible for the window’s depth in the panel stack.

Objetos Panel possuem os seguintes métodos:

Panel.above()

Returns the panel above the current panel.

Panel.below()

Retorna o painel abaixo do painel atual.

Panel.bottom()

Push the panel to the bottom of the stack.

Panel.hidden()

Returns True if the panel is hidden (not visible), False otherwise.

Panel.hide()

Hide the panel. This does not delete the object, it just makes the window on screen invisible.

Panel.move(y, x)

Move the panel to the screen coordinates (y, x).

Panel.replace(win)

Change the window associated with the panel to the window win.

Panel.set_userptr(obj)

Set the panel’s user pointer to obj. This is used to associate an arbitrary piece of data with the panel, and can be any Python object.

Panel.show()

Display the panel (which might have been hidden).

Panel.top()

Push panel to the top of the stack.

Panel.userptr()

Retorna o ponteiro do usuário para o painel. Pode ser qualquer objeto Python.

Panel.window()

Returns the window object associated with the panel.

platform — Access to underlying platform’s identifying data

Código-fonte: Lib/platform.py [https://github.com/python/cpython/tree/3.13/Lib/platform.py]

Nota

Specific platforms listed alphabetically, with Linux included in the Unix section.

Cross Platform

platform.architecture(executable=sys.executable, bits='', linkage='')

Queries the given executable (defaults to the Python interpreter binary) for various architecture information.

Returns a tuple (bits, linkage) which contain information about the bit architecture and the linkage format used for the executable. Both values are returned as strings.

Values that cannot be determined are returned as given by the parameter presets. If bits is given as '', the sizeof(pointer) (or sizeof(long) on Python version < 1.5.2) is used as indicator for the supported pointer size.

The function relies on the system’s file command to do the actual work. This is available on most if not all Unix platforms and some non-Unix platforms and then only if the executable points to the Python interpreter. Reasonable defaults are used when the above needs are not met.

Nota

On macOS (and perhaps other platforms), executable files may be universal files containing multiple architectures.

To get at the “64-bitness” of the current interpreter, it is more reliable to query the sys.maxsize attribute:

is_64bits = sys.maxsize > 2**32

platform.machine()

Returns the machine type, e.g. 'AMD64'. An empty string is returned if the value cannot be determined.

platform.node()

Returns the computer’s network name (may not be fully qualified!). An empty string is returned if the value cannot be determined.

platform.platform(aliased=False, terse=False)

Returns a single string identifying the underlying platform with as much useful information as possible.

The output is intended to be human readable rather than machine parseable. It may look different on different platforms and this is intended.

If aliased is true, the function will use aliases for various platforms that report system names which differ from their common names, for example SunOS will be reported as Solaris. The system_alias() function is used to implement this.

Setting terse to true causes the function to return only the absolute minimum information needed to identify the platform.

Alterado na versão 3.8: On macOS, the function now uses mac_ver(), if it returns a non-empty release string, to get the macOS version rather than the darwin version.

platform.processor()

Returns the (real) processor name, e.g. 'amdk6'.

An empty string is returned if the value cannot be determined. Note that many platforms do not provide this information or simply return the same value as for machine(). NetBSD does this.

platform.python_build()

Returns a tuple (buildno, builddate) stating the Python build number and date as strings.

platform.python_compiler()

Returns a string identifying the compiler used for compiling Python.

platform.python_branch()

Returns a string identifying the Python implementation SCM branch.

platform.python_implementation()

Returns a string identifying the Python implementation. Possible return values are: ‘CPython’, ‘IronPython’, ‘Jython’, ‘PyPy’.

platform.python_revision()

Returns a string identifying the Python implementation SCM revision.

platform.python_version()

Returns the Python version as string 'major.minor.patchlevel'.

Note that unlike the Python sys.version, the returned value will always include the patchlevel (it defaults to 0).

platform.python_version_tuple()

Returns the Python version as tuple (major, minor, patchlevel) of strings.

Note that unlike the Python sys.version, the returned value will always include the patchlevel (it defaults to '0').

platform.release()

Returns the system’s release, e.g. '2.2.0' or 'NT'. An empty string is returned if the value cannot be determined.

platform.system()

Returns the system/OS name, such as 'Linux', 'Darwin', 'Java', 'Windows'. An empty string is returned if the value cannot be determined.

On iOS and Android, this returns the user-facing OS name (i.e, 'iOS, 'iPadOS' or 'Android'). To obtain the kernel name ('Darwin' or 'Linux'), use os.uname().

platform.system_alias(system, release, version)

Returns (system, release, version) aliased to common marketing names used for some systems. It also does some reordering of the information in some cases where it would otherwise cause confusion.

platform.version()

Returns the system’s release version, e.g. '#3 on degas'. An empty string is returned if the value cannot be determined.

On iOS and Android, this is the user-facing OS version. To obtain the Darwin or Linux kernel version, use os.uname().

platform.uname()

Fairly portable uname interface. Returns a namedtuple() containing six attributes: system, node, release, version, machine, and processor.

processor is resolved late, on demand.

Note: the first two attribute names differ from the names presented by os.uname(), where they are named sysname and nodename.

Entries which cannot be determined are set to ''.

Alterado na versão 3.3: Result changed from a tuple to a namedtuple().

Alterado na versão 3.9: processor is resolved late instead of immediately.

Java Platform

platform.java_ver(release='', vendor='', vminfo=('', '', ''), osinfo=('', '', ''))

Interface de versão para Jython.

Returns a tuple (release, vendor, vminfo, osinfo) with vminfo being a tuple (vm_name, vm_release, vm_vendor) and osinfo being a tuple (os_name, os_version, os_arch). Values which cannot be determined are set to the defaults given as parameters (which all default to '').

Deprecated since version 3.13, will be removed in version 3.15: It was largely untested, had a confusing API, and was only useful for Jython support.

Windows Platform

platform.win32_ver(release='', version='', csd='', ptype='')

Get additional version information from the Windows Registry and return a tuple (release, version, csd, ptype) referring to OS release, version number, CSD level (service pack) and OS type (multi/single processor). Values which cannot be determined are set to the defaults given as parameters (which all default to an empty string).

As a hint: ptype is 'Uniprocessor Free' on single processor NT machines and 'Multiprocessor Free' on multi processor machines. The 'Free' refers to the OS version being free of debugging code. It could also state 'Checked' which means the OS version uses debugging code, i.e. code that checks arguments, ranges, etc.

platform.win32_edition()

Returns a string representing the current Windows edition, or None if the value cannot be determined. Possible values include but are not limited to 'Enterprise', 'IoTUAP', 'ServerStandard', and 'nanoserver'.

Adicionado na versão 3.8.

platform.win32_is_iot()

Return True if the Windows edition returned by win32_edition() is recognized as an IoT edition.

Adicionado na versão 3.8.

macOS Platform

platform.mac_ver(release='', versioninfo=('', '', ''), machine='')

Get macOS version information and return it as tuple (release, versioninfo, machine) with versioninfo being a tuple (version, dev_stage, non_release_version).

Entries which cannot be determined are set to ''. All tuple entries are strings.

iOS Platform

platform.ios_ver(system='', release='', model='', is_simulator=False)

Get iOS version information and return it as a namedtuple() with the following attributes:

system is the OS name; either 'iOS' or 'iPadOS'.

release is the iOS version number as a string (e.g., '17.2').

model is the device model identifier; this will be a string like 'iPhone13,2' for a physical device, or 'iPhone' on a simulator.

is_simulator is a boolean describing if the app is running on a simulator or a physical device.

Entries which cannot be determined are set to the defaults given as parameters.

Plataformas Unix

platform.libc_ver(executable=sys.executable, lib='', version='', chunksize=16384)

Tries to determine the libc version against which the file executable (defaults to the Python interpreter) is linked. Returns a tuple of strings (lib, version) which default to the given parameters in case the lookup fails.

Note that this function has intimate knowledge of how different libc versions add symbols to the executable is probably only usable for executables compiled using gcc.

The file is read and scanned in chunks of chunksize bytes.

Linux Platforms

platform.freedesktop_os_release()

Get operating system identification from os-release file and return it as a dict. The os-release file is a freedesktop.org standard [https://www.freedesktop.org/software/systemd/man/os-release.html] and is available in most Linux distributions. A noticeable exception is Android and Android-based distributions.

Raises OSError or subclass when neither /etc/os-release nor /usr/lib/os-release can be read.

On success, the function returns a dictionary where keys and values are strings. Values have their special characters like " and $ unquoted. The fields NAME, ID, and PRETTY_NAME are always defined according to the standard. All other fields are optional. Vendors may include additional fields.

Note that fields like NAME, VERSION, and VARIANT are strings suitable for presentation to users. Programs should use fields like ID, ID_LIKE, VERSION_ID, or VARIANT_ID to identify Linux distributions.

Exemplo:

def get_like_distro():
    info = platform.freedesktop_os_release()
    ids = [info["ID"]]
    if "ID_LIKE" in info:
        # ids are space separated and ordered by precedence
        ids.extend(info["ID_LIKE"].split())
    return ids

Adicionado na versão 3.10.

Android Platform

platform.android_ver(release='', api_level=0, manufacturer='', model='', device='', is_emulator=False)

Get Android device information. Returns a namedtuple() with the following attributes. Values which cannot be determined are set to the defaults given as parameters.

release - Android version, as a string (e.g. "14").

api_level - API level of the running device, as an integer (e.g. 34 for Android 14). To get the API level which Python was built against, see sys.getandroidapilevel().

manufacturer - Manufacturer name [https://developer.android.com/reference/android/os/Build#MANUFACTURER].

model - Model name [https://developer.android.com/reference/android/os/Build#MODEL] – typically the marketing name or model number.

device - Device name [https://developer.android.com/reference/android/os/Build#DEVICE] – typically the model number or a codename.

is_emulator - True if the device is an emulator; False if it’s a physical device.

Google maintains a list of known model and device names [https://storage.googleapis.com/play_public/supported_devices.html].

Adicionado na versão 3.13.

errno — Standard errno system symbols

This module makes available standard errno system symbols. The value of each symbol is the corresponding integer value. The names and descriptions are borrowed from linux/include/errno.h, which should be all-inclusive.

errno.errorcode

Dictionary providing a mapping from the errno value to the string name in the underlying system. For instance, errno.errorcode[errno.EPERM] maps to 'EPERM'.

To translate a numeric error code to an error message, use os.strerror().

Of the following list, symbols that are not used on the current platform are not defined by the module. The specific list of defined symbols is available as errno.errorcode.keys(). Symbols available can include:

errno.EPERM

Operation not permitted. This error is mapped to the exception PermissionError.

errno.ENOENT

No such file or directory. This error is mapped to the exception FileNotFoundError.

errno.ESRCH

No such process. This error is mapped to the exception ProcessLookupError.

errno.EINTR

Interrupted system call. This error is mapped to the exception InterruptedError.

errno.EIO

I/O error

errno.ENXIO

No such device or address

errno.E2BIG

Arg list too long

errno.ENOEXEC

Exec format error

errno.EBADF

Bad file number

errno.ECHILD

No child processes. This error is mapped to the exception ChildProcessError.

errno.EAGAIN

Try again. This error is mapped to the exception BlockingIOError.

errno.ENOMEM

Out of memory

errno.EACCES

Permission denied. This error is mapped to the exception PermissionError.

errno.EFAULT

Bad address

errno.ENOTBLK

Block device required

errno.EBUSY

Dispositivo ou recurso ocupado

errno.EEXIST

File exists. This error is mapped to the exception FileExistsError.

errno.EXDEV

Cross-device link

errno.ENODEV

No such device

errno.ENOTDIR

Not a directory. This error is mapped to the exception NotADirectoryError.

errno.EISDIR

Is a directory. This error is mapped to the exception IsADirectoryError.

errno.EINVAL

Invalid argument

errno.ENFILE

File table overflow

errno.EMFILE

Too many open files

errno.ENOTTY

Not a typewriter

errno.ETXTBSY

Text file busy

errno.EFBIG

File too large

errno.ENOSPC

No space left on device

errno.ESPIPE

Illegal seek

errno.EROFS

Read-only file system

errno.EMLINK

Too many links

errno.EPIPE

Broken pipe. This error is mapped to the exception BrokenPipeError.

errno.EDOM

Math argument out of domain of func

errno.ERANGE

Math result not representable

errno.EDEADLK

Resource deadlock would occur

errno.ENAMETOOLONG

File name too long

errno.ENOLCK

No record locks available

errno.ENOSYS

Function not implemented

errno.ENOTEMPTY

Directory not empty

errno.ELOOP

Too many symbolic links encountered

errno.EWOULDBLOCK

Operation would block. This error is mapped to the exception BlockingIOError.

errno.ENOMSG

No message of desired type

errno.EIDRM

Identifier removed

errno.ECHRNG

Channel number out of range

errno.EL2NSYNC

Level 2 not synchronized

errno.EL3HLT

Level 3 halted

errno.EL3RST

Level 3 reset

errno.ELNRNG

Link number out of range

errno.EUNATCH

Protocol driver not attached

errno.ENOCSI

No CSI structure available

errno.EL2HLT

Level 2 halted

errno.EBADE

Invalid exchange

errno.EBADR

Invalid request descriptor

errno.EXFULL

Exchange full

errno.ENOANO

No anode

errno.EBADRQC

Invalid request code

errno.EBADSLT

Invalid slot

errno.EDEADLOCK

File locking deadlock error

errno.EBFONT

Bad font file format

errno.ENOSTR

Device not a stream

errno.ENODATA

No data available

errno.ETIME

Timer expired

errno.ENOSR

Out of streams resources

errno.ENONET

Machine is not on the network

errno.ENOPKG

Pacote não instalado

errno.EREMOTE

O objeto é remoto

errno.ENOLINK

Link has been severed

errno.EADV

Advertise error

errno.ESRMNT

Erro Srmount

errno.ECOMM

Communication error on send

errno.EPROTO

Erro de Protocolo

errno.EMULTIHOP

Multihop attempted

errno.EDOTDOT

RFS specific error

errno.EBADMSG

Not a data message

errno.EOVERFLOW

Value too large for defined data type

errno.ENOTUNIQ

Name not unique on network

errno.EBADFD

File descriptor in bad state

errno.EREMCHG

Remote address changed

errno.ELIBACC

Can not access a needed shared library

errno.ELIBBAD

Accessing a corrupted shared library

errno.ELIBSCN

.lib section in a.out corrupted

errno.ELIBMAX

Attempting to link in too many shared libraries

errno.ELIBEXEC

Cannot exec a shared library directly

errno.EILSEQ

Illegal byte sequence

errno.ERESTART

Interrupted system call should be restarted

errno.ESTRPIPE

Streams pipe error

errno.EUSERS

Too many users

errno.ENOTSOCK

Socket operation on non-socket

errno.EDESTADDRREQ

Destination address required

errno.EMSGSIZE

Message too long

errno.EPROTOTYPE

Protocol wrong type for socket

errno.ENOPROTOOPT

Protocol not available

errno.EPROTONOSUPPORT

Protocol not supported

errno.ESOCKTNOSUPPORT

Socket type not supported

errno.EOPNOTSUPP

Operation not supported on transport endpoint

errno.ENOTSUP

Operation not supported

Adicionado na versão 3.2.

errno.EPFNOSUPPORT

Protocol family not supported

errno.EAFNOSUPPORT

Address family not supported by protocol

errno.EADDRINUSE

Address already in use

errno.EADDRNOTAVAIL

Cannot assign requested address

errno.ENETDOWN

Network is down

errno.ENETUNREACH

Network is unreachable

errno.ENETRESET

Network dropped connection because of reset

errno.ECONNABORTED

Software caused connection abort. This error is mapped to the exception ConnectionAbortedError.

errno.ECONNRESET

Connection reset by peer. This error is mapped to the exception ConnectionResetError.

errno.ENOBUFS

No buffer space available

errno.EISCONN

Transport endpoint is already connected

errno.ENOTCONN

Transport endpoint is not connected

errno.ESHUTDOWN

Cannot send after transport endpoint shutdown. This error is mapped to the exception BrokenPipeError.

errno.ETOOMANYREFS

Too many references: cannot splice

errno.ETIMEDOUT

Connection timed out. This error is mapped to the exception TimeoutError.

errno.ECONNREFUSED

Connection refused. This error is mapped to the exception ConnectionRefusedError.

errno.EHOSTDOWN

Host is down

errno.EHOSTUNREACH

No route to host

errno.EALREADY

Operation already in progress. This error is mapped to the exception BlockingIOError.

errno.EINPROGRESS

Operation now in progress. This error is mapped to the exception BlockingIOError.

errno.ESTALE

Stale NFS file handle

errno.EUCLEAN

Structure needs cleaning

errno.ENOTNAM

Not a XENIX named type file

errno.ENAVAIL

No XENIX semaphores available

errno.EISNAM

É um arquivo de tipo nomeado

errno.EREMOTEIO

Erro de E/S remoto

errno.EDQUOT

Quota exceeded

errno.EQFULL

Interface output queue is full

Adicionado na versão 3.11.

errno.ENOTCAPABLE

Capabilities insufficient. This error is mapped to the exception PermissionError.

Disponibilidade

Adicionado na versão 3.11.1.

errno.ECANCELED

Operation canceled

Adicionado na versão 3.2.

errno.EOWNERDEAD

Owner died

Adicionado na versão 3.2.

errno.ENOTRECOVERABLE

State not recoverable

Adicionado na versão 3.2.

ctypes — Uma biblioteca de funções externas para Python

Código-fonte: Lib/ctypes [https://github.com/python/cpython/tree/3.13/Lib/ctypes]

ctypes é uma biblioteca de funções externas para Python. Ela fornece tipos de dados compatíveis com C e permite funções de chamada em DLLs ou bibliotecas compartilhadas. Ela pode ser usada para agrupar essas bibliotecas em Python puro.

Tutorial ctypes

Nota: Os exemplos de código neste tutorial usam doctest para garantir que eles realmente funcionem. Como algumas amostras de código se comportam de maneira diferente no Linux, Windows ou macOS, elas contêm diretrizes de doctest nos comentários.

Note: Some code samples reference the ctypes c_int type. On platforms where sizeof(long) == sizeof(int) it is an alias to c_long. So, you should not be confused if c_long is printed if you would expect c_int — they are actually the same type.

Loading dynamic link libraries

ctypes exports the cdll, and on Windows windll and oledll objects, for loading dynamic link libraries.

You load libraries by accessing them as attributes of these objects. cdll loads libraries which export functions using the standard cdecl calling convention, while windll libraries call functions using the stdcall calling convention. oledll also uses the stdcall calling convention, and assumes the functions return a Windows HRESULT error code. The error code is used to automatically raise an OSError exception when the function call fails.

Alterado na versão 3.3: Windows errors used to raise WindowsError, which is now an alias of OSError.

Here are some examples for Windows. Note that msvcrt is the MS standard C library containing most standard C functions, and uses the cdecl calling convention:

>>> from ctypes import *
>>> print(windll.kernel32)
<WinDLL 'kernel32', handle ... at ...>
>>> print(cdll.msvcrt)
<CDLL 'msvcrt', handle ... at ...>
>>> libc = cdll.msvcrt
>>>

Windows appends the usual .dll file suffix automatically.

Nota

Accessing the standard C library through cdll.msvcrt will use an outdated version of the library that may be incompatible with the one being used by Python. Where possible, use native Python functionality, or else import and use the msvcrt module.

On Linux, it is required to specify the filename including the extension to load a library, so attribute access can not be used to load libraries. Either the LoadLibrary() method of the dll loaders should be used, or you should load the library by creating an instance of CDLL by calling the constructor:

>>> cdll.LoadLibrary("libc.so.6")
<CDLL 'libc.so.6', handle ... at ...>
>>> libc = CDLL("libc.so.6")
>>> libc
<CDLL 'libc.so.6', handle ... at ...>
>>>

Accessing functions from loaded dlls

Funções são acessadas como atributos de objetos dll:

>>> libc.printf
<_FuncPtr object at 0x...>
>>> print(windll.kernel32.GetModuleHandleA)
<_FuncPtr object at 0x...>
>>> print(windll.kernel32.MyOwnFunction)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "ctypes.py", line 239, in __getattr__
    func = _StdcallFuncPtr(name, self)
AttributeError: function 'MyOwnFunction' not found
>>>

Note that win32 system dlls like kernel32 and user32 often export ANSI as well as UNICODE versions of a function. The UNICODE version is exported with a W appended to the name, while the ANSI version is exported with an A appended to the name. The win32 GetModuleHandle function, which returns a module handle for a given module name, has the following C prototype, and a macro is used to expose one of them as GetModuleHandle depending on whether UNICODE is defined or not:

/* ANSI version */
HMODULE GetModuleHandleA(LPCSTR lpModuleName);
/* UNICODE version */
HMODULE GetModuleHandleW(LPCWSTR lpModuleName);

windll does not try to select one of them by magic, you must access the version you need by specifying GetModuleHandleA or GetModuleHandleW explicitly, and then call it with bytes or string objects respectively.

Sometimes, dlls export functions with names which aren’t valid Python identifiers, like "??2@YAPAXI@Z". In this case you have to use getattr() to retrieve the function:

>>> getattr(cdll.msvcrt, "??2@YAPAXI@Z")
<_FuncPtr object at 0x...>
>>>

On Windows, some dlls export functions not by name but by ordinal. These functions can be accessed by indexing the dll object with the ordinal number:

>>> cdll.kernel32[1]
<_FuncPtr object at 0x...>
>>> cdll.kernel32[0]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "ctypes.py", line 310, in __getitem__
    func = _StdcallFuncPtr(name, self)
AttributeError: function ordinal 0 not found
>>>

Calling functions

You can call these functions like any other Python callable. This example uses the rand() function, which takes no arguments and returns a pseudo-random integer:

>>> print(libc.rand())
1804289383

On Windows, you can call the GetModuleHandleA() function, which returns a win32 module handle (passing None as single argument to call it with a NULL pointer):

>>> print(hex(windll.kernel32.GetModuleHandleA(None)))
0x1d000000
>>>

ValueError is raised when you call an stdcall function with the cdecl calling convention, or vice versa:

>>> cdll.kernel32.GetModuleHandleA(None)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: Procedure probably called with not enough arguments (4 bytes missing)
>>>

>>> windll.msvcrt.printf(b"spam")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: Procedure probably called with too many arguments (4 bytes in excess)
>>>

To find out the correct calling convention you have to look into the C header file or the documentation for the function you want to call.

On Windows, ctypes uses win32 structured exception handling to prevent crashes from general protection faults when functions are called with invalid argument values:

>>> windll.kernel32.GetModuleHandleA(32)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OSError: exception: access violation reading 0x00000020
>>>

There are, however, enough ways to crash Python with ctypes, so you should be careful anyway. The faulthandler module can be helpful in debugging crashes (e.g. from segmentation faults produced by erroneous C library calls).

None, integers, bytes objects and (unicode) strings are the only native Python objects that can directly be used as parameters in these function calls. None is passed as a C NULL pointer, bytes objects and strings are passed as pointer to the memory block that contains their data (char* or wchar_t*). Python integers are passed as the platform’s default C int type, their value is masked to fit into the C type.

Before we move on calling functions with other parameter types, we have to learn more about ctypes data types.

Tipos de dados fundamentais

ctypes defines a number of primitive C compatible data types:

Tipo ctypes

Tipo em C

Tipo em Python

c_bool

_Bool

bool (1)

c_char

char

objeto bytes de 1 caractere

c_wchar

wchar_t

string de 1 caractere

c_byte

char

int

c_ubyte

unsigned char

int

c_short

short

int

c_ushort

unsigned short

int

c_int

int

int

c_uint

unsigned int

int

c_long

long

int

c_ulong

unsigned long

int

c_longlong

__int64 ou long long

int

c_ulonglong

unsigned __int64 ou unsigned long long

int

c_size_t

size_t

int

c_ssize_t

ssize_t ou Py_ssize_t

int

c_time_t

time_t

int

c_float

float

float

c_double

double

float

c_longdouble

long double

float

c_char_p

char* (finalizado com NUL)

objeto bytes ou None

c_wchar_p

wchar_t* (finalizado com NUL)

String ou None

c_void_p

void*

int ou None

The constructor accepts any object with a truth value.

All these types can be created by calling them with an optional initializer of the correct type and value:

>>> c_int()
c_long(0)
>>> c_wchar_p("Hello, World")
c_wchar_p(140018365411392)
>>> c_ushort(-3)
c_ushort(65533)
>>>

Since these types are mutable, their value can also be changed afterwards:

>>> i = c_int(42)
>>> print(i)
c_long(42)
>>> print(i.value)
42
>>> i.value = -99
>>> print(i.value)
-99
>>>

Assigning a new value to instances of the pointer types c_char_p, c_wchar_p, and c_void_p changes the memory location they point to, not the contents of the memory block (of course not, because Python bytes objects are immutable):

>>> s = "Hello, World"
>>> c_s = c_wchar_p(s)
>>> print(c_s)
c_wchar_p(139966785747344)
>>> print(c_s.value)
Hello World
>>> c_s.value = "Hi, there"
>>> print(c_s)              # the memory location has changed
c_wchar_p(139966783348904)
>>> print(c_s.value)
Hi, there
>>> print(s)                # first object is unchanged
Hello, World
>>>

You should be careful, however, not to pass them to functions expecting pointers to mutable memory. If you need mutable memory blocks, ctypes has a create_string_buffer() function which creates these in various ways. The current memory block contents can be accessed (or changed) with the raw property; if you want to access it as NUL terminated string, use the value property:

>>> from ctypes import *
>>> p = create_string_buffer(3)            # create a 3 byte buffer, initialized to NUL bytes
>>> print(sizeof(p), repr(p.raw))
3 b'\x00\x00\x00'
>>> p = create_string_buffer(b"Hello")     # create a buffer containing a NUL terminated string
>>> print(sizeof(p), repr(p.raw))
6 b'Hello\x00'
>>> print(repr(p.value))
b'Hello'
>>> p = create_string_buffer(b"Hello", 10) # create a 10 byte buffer
>>> print(sizeof(p), repr(p.raw))
10 b'Hello\x00\x00\x00\x00\x00'
>>> p.value = b"Hi"
>>> print(sizeof(p), repr(p.raw))
10 b'Hi\x00lo\x00\x00\x00\x00\x00'
>>>

The create_string_buffer() function replaces the old c_buffer() function (which is still available as an alias). To create a mutable memory block containing unicode characters of the C type wchar_t, use the create_unicode_buffer() function.

Invocação de Funções, continuação

Note that printf prints to the real standard output channel, not to sys.stdout, so these examples will only work at the console prompt, not from within IDLE or PythonWin:

>>> printf = libc.printf
>>> printf(b"Hello, %s\n", b"World!")
Hello, World!
14
>>> printf(b"Hello, %S\n", "World!")
Hello, World!
14
>>> printf(b"%d bottles of beer\n", 42)
42 bottles of beer
19
>>> printf(b"%f bottles of beer\n", 42.5)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ctypes.ArgumentError: argument 2: TypeError: Don't know how to convert parameter 2
>>>

As has been mentioned before, all Python types except integers, strings, and bytes objects have to be wrapped in their corresponding ctypes type, so that they can be converted to the required C data type:

>>> printf(b"An int %d, a double %f\n", 1234, c_double(3.14))
An int 1234, a double 3.140000
31
>>>

Calling variadic functions

On a lot of platforms calling variadic functions through ctypes is exactly the same as calling functions with a fixed number of parameters. On some platforms, and in particular ARM64 for Apple Platforms, the calling convention for variadic functions is different than that for regular functions.

On those platforms it is required to specify the argtypes attribute for the regular, non-variadic, function arguments:

libc.printf.argtypes = [ctypes.c_char_p]

Because specifying the attribute does not inhibit portability it is advised to always specify argtypes for all variadic functions.

Calling functions with your own custom data types

You can also customize ctypes argument conversion to allow instances of your own classes be used as function arguments. ctypes looks for an _as_parameter_ attribute and uses this as the function argument. The attribute must be an integer, string, bytes, a ctypes instance, or an object with an _as_parameter_ attribute:

>>> class Bottles:
...     def __init__(self, number):
...         self._as_parameter_ = number
...
>>> bottles = Bottles(42)
>>> printf(b"%d bottles of beer\n", bottles)
42 bottles of beer
19
>>>

If you don’t want to store the instance’s data in the _as_parameter_ instance variable, you could define a property which makes the attribute available on request.

Specifying the required argument types (function prototypes)

It is possible to specify the required argument types of functions exported from DLLs by setting the argtypes attribute.

argtypes must be a sequence of C data types (the printf() function is probably not a good example here, because it takes a variable number and different types of parameters depending on the format string, on the other hand this is quite handy to experiment with this feature):

>>> printf.argtypes = [c_char_p, c_char_p, c_int, c_double]
>>> printf(b"String '%s', Int %d, Double %f\n", b"Hi", 10, 2.2)
String 'Hi', Int 10, Double 2.200000
37
>>>

Specifying a format protects against incompatible argument types (just as a prototype for a C function), and tries to convert the arguments to valid types:

>>> printf(b"%d %d %d", 1, 2, 3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ctypes.ArgumentError: argument 2: TypeError: 'int' object cannot be interpreted as ctypes.c_char_p
>>> printf(b"%s %d %f\n", b"X", 2, 3)
X 2 3.000000
13
>>>

If you have defined your own classes which you pass to function calls, you have to implement a from_param() class method for them to be able to use them in the argtypes sequence. The from_param() class method receives the Python object passed to the function call, it should do a typecheck or whatever is needed to make sure this object is acceptable, and then return the object itself, its _as_parameter_ attribute, or whatever you want to pass as the C function argument in this case. Again, the result should be an integer, string, bytes, a ctypes instance, or an object with an _as_parameter_ attribute.

Tipos de Retorno

By default functions are assumed to return the C int type. Other return types can be specified by setting the restype attribute of the function object.

The C prototype of time() is time_t time(time_t *). Because time_t might be of a different type than the default return type int, you should specify the restype attribute:

>>> libc.time.restype = c_time_t

The argument types can be specified using argtypes:

>>> libc.time.argtypes = (POINTER(c_time_t),)

To call the function with a NULL pointer as first argument, use None:

>>> print(libc.time(None))
1150640792

Here is a more advanced example, it uses the strchr() function, which expects a string pointer and a char, and returns a pointer to a string:

>>> strchr = libc.strchr
>>> strchr(b"abcdef", ord("d"))
8059983
>>> strchr.restype = c_char_p    # c_char_p is a pointer to a string
>>> strchr(b"abcdef", ord("d"))
b'def'
>>> print(strchr(b"abcdef", ord("x")))
None
>>>

If you want to avoid the ord("x") calls above, you can set the argtypes attribute, and the second argument will be converted from a single character Python bytes object into a C char:

>>> strchr.restype = c_char_p
>>> strchr.argtypes = [c_char_p, c_char]
>>> strchr(b"abcdef", b"d")
b'def'
>>> strchr(b"abcdef", b"def")
Traceback (most recent call last):
ctypes.ArgumentError: argument 2: TypeError: one character bytes, bytearray or integer expected
>>> print(strchr(b"abcdef", b"x"))
None
>>> strchr(b"abcdef", b"d")
b'def'
>>>

You can also use a callable Python object (a function or a class for example) as the restype attribute, if the foreign function returns an integer. The callable will be called with the integer the C function returns, and the result of this call will be used as the result of your function call. This is useful to check for error return values and automatically raise an exception:

>>> GetModuleHandle = windll.kernel32.GetModuleHandleA
>>> def ValidHandle(value):
...     if value == 0:
...         raise WinError()
...     return value
...
>>>
>>> GetModuleHandle.restype = ValidHandle
>>> GetModuleHandle(None)
486539264
>>> GetModuleHandle("something silly")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 3, in ValidHandle
OSError: [Errno 126] The specified module could not be found.
>>>

WinError is a function which will call Windows FormatMessage() api to get the string representation of an error code, and returns an exception. WinError takes an optional error code parameter, if no one is used, it calls GetLastError() to retrieve it.

Please note that a much more powerful error checking mechanism is available through the errcheck attribute; see the reference manual for details.

Passing pointers (or: passing parameters by reference)

Sometimes a C api function expects a pointer to a data type as parameter, probably to write into the corresponding location, or if the data is too large to be passed by value. This is also known as passing parameters by reference.

ctypes exports the byref() function which is used to pass parameters by reference. The same effect can be achieved with the pointer() function, although pointer() does a lot more work since it constructs a real pointer object, so it is faster to use byref() if you don’t need the pointer object in Python itself:

>>> i = c_int()
>>> f = c_float()
>>> s = create_string_buffer(b'\000' * 32)
>>> print(i.value, f.value, repr(s.value))
0 0.0 b''
>>> libc.sscanf(b"1 3.14 Hello", b"%d %f %s",
...             byref(i), byref(f), s)
3
>>> print(i.value, f.value, repr(s.value))
1 3.1400001049 b'Hello'
>>>

Structures and unions

Structures and unions must derive from the Structure and Union base classes which are defined in the ctypes module. Each subclass must define a _fields_ attribute. _fields_ must be a list of 2-tuples, containing a field name and a field type.

The field type must be a ctypes type like c_int, or any other derived ctypes type: structure, union, array, pointer.

Here is a simple example of a POINT structure, which contains two integers named x and y, and also shows how to initialize a structure in the constructor:

>>> from ctypes import *
>>> class POINT(Structure):
...     _fields_ = [("x", c_int),
...                 ("y", c_int)]
...
>>> point = POINT(10, 20)
>>> print(point.x, point.y)
10 20
>>> point = POINT(y=5)
>>> print(point.x, point.y)
0 5
>>> POINT(1, 2, 3)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: too many initializers
>>>

You can, however, build much more complicated structures. A structure can itself contain other structures by using a structure as a field type.

Here is a RECT structure which contains two POINTs named upperleft and lowerright:

>>> class RECT(Structure):
...     _fields_ = [("upperleft", POINT),
...                 ("lowerright", POINT)]
...
>>> rc = RECT(point)
>>> print(rc.upperleft.x, rc.upperleft.y)
0 5
>>> print(rc.lowerright.x, rc.lowerright.y)
0 0
>>>

Nested structures can also be initialized in the constructor in several ways:

>>> r = RECT(POINT(1, 2), POINT(3, 4))
>>> r = RECT((1, 2), (3, 4))

Field descriptors can be retrieved from the class, they are useful for debugging because they can provide useful information:

>>> print(POINT.x)
<Field type=c_long, ofs=0, size=4>
>>> print(POINT.y)
<Field type=c_long, ofs=4, size=4>
>>>

Aviso

ctypes does not support passing unions or structures with bit-fields to functions by value. While this may work on 32-bit x86, it’s not guaranteed by the library to work in the general case. Unions and structures with bit-fields should always be passed to functions by pointer.

Structure/union alignment and byte order

By default, Structure and Union fields are aligned in the same way the C compiler does it. It is possible to override this behavior by specifying a _pack_ class attribute in the subclass definition. This must be set to a positive integer and specifies the maximum alignment for the fields. This is what #pragma pack(n) also does in MSVC. It is also possible to set a minimum alignment for how the subclass itself is packed in the same way #pragma align(n) works in MSVC. This can be achieved by specifying a :_align_ class attribute in the subclass definition.

ctypes uses the native byte order for Structures and Unions. To build structures with non-native byte order, you can use one of the BigEndianStructure, LittleEndianStructure, BigEndianUnion, and LittleEndianUnion base classes. These classes cannot contain pointer fields.

Bit fields in structures and unions

It is possible to create structures and unions containing bit fields. Bit fields are only possible for integer fields, the bit width is specified as the third item in the _fields_ tuples:

>>> class Int(Structure):
...     _fields_ = [("first_16", c_int, 16),
...                 ("second_16", c_int, 16)]
...
>>> print(Int.first_16)
<Field type=c_long, ofs=0:0, bits=16>
>>> print(Int.second_16)
<Field type=c_long, ofs=0:16, bits=16>
>>>

Arrays

Arrays are sequences, containing a fixed number of instances of the same type.

The recommended way to create array types is by multiplying a data type with a positive integer:

TenPointsArrayType = POINT * 10

Here is an example of a somewhat artificial data type, a structure containing 4 POINTs among other stuff:

>>> from ctypes import *
>>> class POINT(Structure):
...     _fields_ = ("x", c_int), ("y", c_int)
...
>>> class MyStruct(Structure):
...     _fields_ = [("a", c_int),
...                 ("b", c_float),
...                 ("point_array", POINT * 4)]
>>>
>>> print(len(MyStruct().point_array))
4
>>>

Instances are created in the usual way, by calling the class:

arr = TenPointsArrayType()
for pt in arr:
    print(pt.x, pt.y)

The above code print a series of 0 0 lines, because the array contents is initialized to zeros.

Initializers of the correct type can also be specified:

>>> from ctypes import *
>>> TenIntegers = c_int * 10
>>> ii = TenIntegers(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
>>> print(ii)
<c_long_Array_10 object at 0x...>
>>> for i in ii: print(i, end=" ")
...
1 2 3 4 5 6 7 8 9 10
>>>

Ponteiros

Pointer instances are created by calling the pointer() function on a ctypes type:

>>> from ctypes import *
>>> i = c_int(42)
>>> pi = pointer(i)
>>>

Pointer instances have a contents attribute which returns the object to which the pointer points, the i object above:

>>> pi.contents
c_long(42)
>>>

Note that ctypes does not have OOR (original object return), it constructs a new, equivalent object each time you retrieve an attribute:

>>> pi.contents is i
False
>>> pi.contents is pi.contents
False
>>>

Assigning another c_int instance to the pointer’s contents attribute would cause the pointer to point to the memory location where this is stored:

>>> i = c_int(99)
>>> pi.contents = i
>>> pi.contents
c_long(99)
>>>

Pointer instances can also be indexed with integers:

>>> pi[0]
99
>>>

Assigning to an integer index changes the pointed to value:

>>> print(i)
c_long(99)
>>> pi[0] = 22
>>> print(i)
c_long(22)
>>>

It is also possible to use indexes different from 0, but you must know what you’re doing, just as in C: You can access or change arbitrary memory locations. Generally you only use this feature if you receive a pointer from a C function, and you know that the pointer actually points to an array instead of a single item.

Behind the scenes, the pointer() function does more than simply create pointer instances, it has to create pointer types first. This is done with the POINTER() function, which accepts any ctypes type, and returns a new type:

>>> PI = POINTER(c_int)
>>> PI
<class 'ctypes.LP_c_long'>
>>> PI(42)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: expected c_long instead of int
>>> PI(c_int(42))
<ctypes.LP_c_long object at 0x...>
>>>

Calling the pointer type without an argument creates a NULL pointer. NULL pointers have a False boolean value:

>>> null_ptr = POINTER(c_int)()
>>> print(bool(null_ptr))
False
>>>

ctypes checks for NULL when dereferencing pointers (but dereferencing invalid non-NULL pointers would crash Python):

>>> null_ptr[0]
Traceback (most recent call last):
    ....
ValueError: NULL pointer access
>>>

>>> null_ptr[0] = 1234
Traceback (most recent call last):
    ....
ValueError: NULL pointer access
>>>

Conversão de Tipos

Usually, ctypes does strict type checking. This means, if you have POINTER(c_int) in the argtypes list of a function or as the type of a member field in a structure definition, only instances of exactly the same type are accepted. There are some exceptions to this rule, where ctypes accepts other objects. For example, you can pass compatible array instances instead of pointer types. So, for POINTER(c_int), ctypes accepts an array of c_int:

>>> class Bar(Structure):
...     _fields_ = [("count", c_int), ("values", POINTER(c_int))]
...
>>> bar = Bar()
>>> bar.values = (c_int * 3)(1, 2, 3)
>>> bar.count = 3
>>> for i in range(bar.count):
...     print(bar.values[i])
...
1
2
3
>>>

In addition, if a function argument is explicitly declared to be a pointer type (such as POINTER(c_int)) in argtypes, an object of the pointed type (c_int in this case) can be passed to the function. ctypes will apply the required byref() conversion in this case automatically.

To set a POINTER type field to NULL, you can assign None:

>>> bar.values = None
>>>

Sometimes you have instances of incompatible types. In C, you can cast one type into another type. ctypes provides a cast() function which can be used in the same way. The Bar structure defined above accepts POINTER(c_int) pointers or c_int arrays for its values field, but not instances of other types:

>>> bar.values = (c_byte * 4)()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: incompatible types, c_byte_Array_4 instance instead of LP_c_long instance
>>>

For these cases, the cast() function is handy.

The cast() function can be used to cast a ctypes instance into a pointer to a different ctypes data type. cast() takes two parameters, a ctypes object that is or can be converted to a pointer of some kind, and a ctypes pointer type. It returns an instance of the second argument, which references the same memory block as the first argument:

>>> a = (c_byte * 4)()
>>> cast(a, POINTER(c_int))
<ctypes.LP_c_long object at ...>
>>>

So, cast() can be used to assign to the values field of Bar the structure:

>>> bar = Bar()
>>> bar.values = cast((c_byte * 4)(), POINTER(c_int))
>>> print(bar.values[0])
0
>>>

Tipos Incompletos

Incomplete Types are structures, unions or arrays whose members are not yet specified. In C, they are specified by forward declarations, which are defined later:

struct cell; /* forward declaration */

struct cell {
    char *name;
    struct cell *next;
};

The straightforward translation into ctypes code would be this, but it does not work:

>>> class cell(Structure):
...     _fields_ = [("name", c_char_p),
...                 ("next", POINTER(cell))]
...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 2, in cell
NameError: name 'cell' is not defined
>>>

because the new class cell is not available in the class statement itself. In ctypes, we can define the cell class and set the _fields_ attribute later, after the class statement:

>>> from ctypes import *
>>> class cell(Structure):
...     pass
...
>>> cell._fields_ = [("name", c_char_p),
...                  ("next", POINTER(cell))]
>>>

Let’s try it. We create two instances of cell, and let them point to each other, and finally follow the pointer chain a few times:

>>> c1 = cell()
>>> c1.name = b"foo"
>>> c2 = cell()
>>> c2.name = b"bar"
>>> c1.next = pointer(c2)
>>> c2.next = pointer(c1)
>>> p = c1
>>> for i in range(8):
...     print(p.name, end=" ")
...     p = p.next[0]
...
foo bar foo bar foo bar foo bar
>>>

Funções Callbacks

ctypes allows creating C callable function pointers from Python callables. These are sometimes called callback functions.

First, you must create a class for the callback function. The class knows the calling convention, the return type, and the number and types of arguments this function will receive.

The CFUNCTYPE() factory function creates types for callback functions using the cdecl calling convention. On Windows, the WINFUNCTYPE() factory function creates types for callback functions using the stdcall calling convention.

Both of these factory functions are called with the result type as first argument, and the callback functions expected argument types as the remaining arguments.

I will present an example here which uses the standard C library’s qsort() function, that is used to sort items with the help of a callback function. qsort() will be used to sort an array of integers:

>>> IntArray5 = c_int * 5
>>> ia = IntArray5(5, 1, 7, 33, 99)
>>> qsort = libc.qsort
>>> qsort.restype = None
>>>

qsort() must be called with a pointer to the data to sort, the number of items in the data array, the size of one item, and a pointer to the comparison function, the callback. The callback will then be called with two pointers to items, and it must return a negative integer if the first item is smaller than the second, a zero if they are equal, and a positive integer otherwise.

So our callback function receives pointers to integers, and must return an integer. First we create the type for the callback function:

>>> CMPFUNC = CFUNCTYPE(c_int, POINTER(c_int), POINTER(c_int))
>>>

To get started, here is a simple callback that shows the values it gets passed:

>>> def py_cmp_func(a, b):
...     print("py_cmp_func", a[0], b[0])
...     return 0
...
>>> cmp_func = CMPFUNC(py_cmp_func)
>>>

O resultado:

>>> qsort(ia, len(ia), sizeof(c_int), cmp_func)
py_cmp_func 5 1
py_cmp_func 33 99
py_cmp_func 7 33
py_cmp_func 5 7
py_cmp_func 1 7
>>>

Now we can actually compare the two items and return a useful result:

>>> def py_cmp_func(a, b):
...     print("py_cmp_func", a[0], b[0])
...     return a[0] - b[0]
...
>>>
>>> qsort(ia, len(ia), sizeof(c_int), CMPFUNC(py_cmp_func))
py_cmp_func 5 1
py_cmp_func 33 99
py_cmp_func 7 33
py_cmp_func 1 7
py_cmp_func 5 7
>>>

As we can easily check, our array is sorted now:

>>> for i in ia: print(i, end=" ")
...
1 5 7 33 99
>>>

The function factories can be used as decorator factories, so we may as well write:

>>> @CFUNCTYPE(c_int, POINTER(c_int), POINTER(c_int))
... def py_cmp_func(a, b):
...     print("py_cmp_func", a[0], b[0])
...     return a[0] - b[0]
...
>>> qsort(ia, len(ia), sizeof(c_int), py_cmp_func)
py_cmp_func 5 1
py_cmp_func 33 99
py_cmp_func 7 33
py_cmp_func 1 7
py_cmp_func 5 7
>>>

Nota

Make sure you keep references to CFUNCTYPE() objects as long as they are used from C code. ctypes doesn’t, and if you don’t, they may be garbage collected, crashing your program when a callback is made.

Also, note that if the callback function is called in a thread created outside of Python’s control (e.g. by the foreign code that calls the callback), ctypes creates a new dummy Python thread on every invocation. This behavior is correct for most purposes, but it means that values stored with threading.local will not survive across different callbacks, even when those calls are made from the same C thread.

Accessing values exported from dlls

Some shared libraries not only export functions, they also export variables. An example in the Python library itself is the Py_Version, Python runtime version number encoded in a single constant integer.

ctypes can access values like this with the in_dll() class methods of the type. pythonapi is a predefined symbol giving access to the Python C api:

>>> version = ctypes.c_int.in_dll(ctypes.pythonapi, "Py_Version")
>>> print(hex(version.value))
0x30c00a0

An extended example which also demonstrates the use of pointers accesses the PyImport_FrozenModules pointer exported by Python.

Quoting the docs for that value:

Este ponteiro é inicializado para apontar para um vetor de registros de _frozen, terminado por um cujos membros são todos NULL ou zero. Quando um módulo congelado é importado, ele é pesquisado nesta tabela. O código de terceiros pode fazer truques com isso para fornecer uma coleção criada dinamicamente de módulos congelados.

So manipulating this pointer could even prove useful. To restrict the example size, we show only how this table can be read with ctypes:

>>> from ctypes import *
>>>
>>> class struct_frozen(Structure):
...     _fields_ = [("name", c_char_p),
...                 ("code", POINTER(c_ubyte)),
...                 ("size", c_int),
...                 ("get_code", POINTER(c_ubyte)),  # Function pointer
...                ]
...
>>>

We have defined the _frozen data type, so we can get the pointer to the table:

>>> FrozenTable = POINTER(struct_frozen)
>>> table = FrozenTable.in_dll(pythonapi, "_PyImport_FrozenBootstrap")
>>>

Since table is a pointer to the array of struct_frozen records, we can iterate over it, but we just have to make sure that our loop terminates, because pointers have no size. Sooner or later it would probably crash with an access violation or whatever, so it’s better to break out of the loop when we hit the NULL entry:

>>> for item in table:
...     if item.name is None:
...         break
...     print(item.name.decode("ascii"), item.size)
...
_frozen_importlib 31764
_frozen_importlib_external 41499
zipimport 12345
>>>

The fact that standard Python has a frozen module and a frozen package (indicated by the negative size member) is not well known, it is only used for testing. Try it out with import __hello__ for example.

Surprises

There are some edges in ctypes where you might expect something other than what actually happens.

Consider the following example:

>>> from ctypes import *
>>> class POINT(Structure):
...     _fields_ = ("x", c_int), ("y", c_int)
...
>>> class RECT(Structure):
...     _fields_ = ("a", POINT), ("b", POINT)
...
>>> p1 = POINT(1, 2)
>>> p2 = POINT(3, 4)
>>> rc = RECT(p1, p2)
>>> print(rc.a.x, rc.a.y, rc.b.x, rc.b.y)
1 2 3 4
>>> # now swap the two points
>>> rc.a, rc.b = rc.b, rc.a
>>> print(rc.a.x, rc.a.y, rc.b.x, rc.b.y)
3 4 3 4
>>>

Hm. We certainly expected the last statement to print 3 4 1 2. What happened? Here are the steps of the rc.a, rc.b = rc.b, rc.a line above:

>>> temp0, temp1 = rc.b, rc.a
>>> rc.a = temp0
>>> rc.b = temp1
>>>

Note that temp0 and temp1 are objects still using the internal buffer of the rc object above. So executing rc.a = temp0 copies the buffer contents of temp0 into rc ‘s buffer. This, in turn, changes the contents of temp1. So, the last assignment rc.b = temp1, doesn’t have the expected effect.

Keep in mind that retrieving sub-objects from Structure, Unions, and Arrays doesn’t copy the sub-object, instead it retrieves a wrapper object accessing the root-object’s underlying buffer.

Another example that may behave differently from what one would expect is this:

>>> s = c_char_p()
>>> s.value = b"abc def ghi"
>>> s.value
b'abc def ghi'
>>> s.value is s.value
False
>>>

Nota

Objects instantiated from c_char_p can only have their value set to bytes or integers.

Why is it printing False? ctypes instances are objects containing a memory block plus some descriptors accessing the contents of the memory. Storing a Python object in the memory block does not store the object itself, instead the contents of the object is stored. Accessing the contents again constructs a new Python object each time!

Variable-sized data types

ctypes provides some support for variable-sized arrays and structures.

The resize() function can be used to resize the memory buffer of an existing ctypes object. The function takes the object as first argument, and the requested size in bytes as the second argument. The memory block cannot be made smaller than the natural memory block specified by the objects type, a ValueError is raised if this is tried:

>>> short_array = (c_short * 4)()
>>> print(sizeof(short_array))
8
>>> resize(short_array, 4)
Traceback (most recent call last):
    ...
ValueError: minimum size is 8
>>> resize(short_array, 32)
>>> sizeof(short_array)
32
>>> sizeof(type(short_array))
8
>>>

This is nice and fine, but how would one access the additional elements contained in this array? Since the type still only knows about 4 elements, we get errors accessing other elements:

>>> short_array[:]
[0, 0, 0, 0]
>>> short_array[7]
Traceback (most recent call last):
    ...
IndexError: invalid index
>>>

Another way to use variable-sized data types with ctypes is to use the dynamic nature of Python, and (re-)define the data type after the required size is already known, on a case by case basis.

Referência ctypes

Finding shared libraries

When programming in a compiled language, shared libraries are accessed when compiling/linking a program, and when the program is run.

The purpose of the find_library() function is to locate a library in a way similar to what the compiler or runtime loader does (on platforms with several versions of a shared library the most recent should be loaded), while the ctypes library loaders act like when a program is run, and call the runtime loader directly.

The ctypes.util module provides a function which can help to determine the library to load.

ctypes.util.find_library(name)

Try to find a library and return a pathname. name is the library name without any prefix like lib, suffix like .so, .dylib or version number (this is the form used for the posix linker option -l). If no library can be found, returns None.

The exact functionality is system dependent.

On Linux, find_library() tries to run external programs (/sbin/ldconfig, gcc, objdump and ld) to find the library file. It returns the filename of the library file.

Alterado na versão 3.6: On Linux, the value of the environment variable LD_LIBRARY_PATH is used when searching for libraries, if a library cannot be found by any other means.

Veja alguns exemplos:

>>> from ctypes.util import find_library
>>> find_library("m")
'libm.so.6'
>>> find_library("c")
'libc.so.6'
>>> find_library("bz2")
'libbz2.so.1.0'
>>>

On macOS and Android, find_library() uses the system’s standard naming schemes and paths to locate the library, and returns a full pathname if successful:

>>> from ctypes.util import find_library
>>> find_library("c")
'/usr/lib/libc.dylib'
>>> find_library("m")
'/usr/lib/libm.dylib'
>>> find_library("bz2")
'/usr/lib/libbz2.dylib'
>>> find_library("AGL")
'/System/Library/Frameworks/AGL.framework/AGL'
>>>

On Windows, find_library() searches along the system search path, and returns the full pathname, but since there is no predefined naming scheme a call like find_library("c") will fail and return None.

If wrapping a shared library with ctypes, it may be better to determine the shared library name at development time, and hardcode that into the wrapper module instead of using find_library() to locate the library at runtime.

Loading shared libraries

There are several ways to load shared libraries into the Python process. One way is to instantiate one of the following classes:

class ctypes.CDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=None)

Instances of this class represent loaded shared libraries. Functions in these libraries use the standard C calling convention, and are assumed to return int.

On Windows creating a CDLL instance may fail even if the DLL name exists. When a dependent DLL of the loaded DLL is not found, a OSError error is raised with the message “[WinError 126] The specified module could not be found”. This error message does not contain the name of the missing DLL because the Windows API does not return this information making this error hard to diagnose. To resolve this error and determine which DLL is not found, you need to find the list of dependent DLLs and determine which one is not found using Windows debugging and tracing tools.

Alterado na versão 3.12: The name parameter can now be a path-like object.

Ver também

Microsoft DUMPBIN tool [https://docs.microsoft.com/cpp/build/reference/dependents] – A tool to find DLL dependents.

class ctypes.OleDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=None)

Windows only: Instances of this class represent loaded shared libraries, functions in these libraries use the stdcall calling convention, and are assumed to return the windows specific HRESULT code. HRESULT values contain information specifying whether the function call failed or succeeded, together with additional error code. If the return value signals a failure, an OSError is automatically raised.

Alterado na versão 3.3: WindowsError used to be raised, which is now an alias of OSError.

Alterado na versão 3.12: The name parameter can now be a path-like object.

class ctypes.WinDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=None)

Windows only: Instances of this class represent loaded shared libraries, functions in these libraries use the stdcall calling convention, and are assumed to return int by default.

Alterado na versão 3.12: The name parameter can now be a path-like object.

The Python global interpreter lock is released before calling any function exported by these libraries, and reacquired afterwards.

class ctypes.PyDLL(name, mode=DEFAULT_MODE, handle=None)

Instances of this class behave like CDLL instances, except that the Python GIL is not released during the function call, and after the function execution the Python error flag is checked. If the error flag is set, a Python exception is raised.

Thus, this is only useful to call Python C api functions directly.

Alterado na versão 3.12: The name parameter can now be a path-like object.

All these classes can be instantiated by calling them with at least one argument, the pathname of the shared library. If you have an existing handle to an already loaded shared library, it can be passed as the handle named parameter, otherwise the underlying platform’s dlopen() or LoadLibrary() function is used to load the library into the process, and to get a handle to it.

The mode parameter can be used to specify how the library is loaded. For details, consult the dlopen(3) [https://manpages.debian.org/dlopen(3)] manpage. On Windows, mode is ignored. On posix systems, RTLD_NOW is always added, and is not configurable.

The use_errno parameter, when set to true, enables a ctypes mechanism that allows accessing the system errno error number in a safe way. ctypes maintains a thread-local copy of the system’s errno variable; if you call foreign functions created with use_errno=True then the errno value before the function call is swapped with the ctypes private copy, the same happens immediately after the function call.

The function ctypes.get_errno() returns the value of the ctypes private copy, and the function ctypes.set_errno() changes the ctypes private copy to a new value and returns the former value.

The use_last_error parameter, when set to true, enables the same mechanism for the Windows error code which is managed by the GetLastError() and SetLastError() Windows API functions; ctypes.get_last_error() and ctypes.set_last_error() are used to request and change the ctypes private copy of the windows error code.

The winmode parameter is used on Windows to specify how the library is loaded (since mode is ignored). It takes any value that is valid for the Win32 API LoadLibraryEx flags parameter. When omitted, the default is to use the flags that result in the most secure DLL load, which avoids issues such as DLL hijacking. Passing the full path to the DLL is the safest way to ensure the correct library and dependencies are loaded.

Alterado na versão 3.8: Added winmode parameter.

ctypes.RTLD_GLOBAL

Flag to use as mode parameter. On platforms where this flag is not available, it is defined as the integer zero.

ctypes.RTLD_LOCAL

Flag to use as mode parameter. On platforms where this is not available, it is the same as RTLD_GLOBAL.

ctypes.DEFAULT_MODE

The default mode which is used to load shared libraries. On OSX 10.3, this is RTLD_GLOBAL, otherwise it is the same as RTLD_LOCAL.

Instances of these classes have no public methods. Functions exported by the shared library can be accessed as attributes or by index. Please note that accessing the function through an attribute caches the result and therefore accessing it repeatedly returns the same object each time. On the other hand, accessing it through an index returns a new object each time:

>>> from ctypes import CDLL
>>> libc = CDLL("libc.so.6")  # On Linux
>>> libc.time == libc.time
True
>>> libc['time'] == libc['time']
False

The following public attributes are available, their name starts with an underscore to not clash with exported function names:

PyDLL._handle

The system handle used to access the library.

PyDLL._name

The name of the library passed in the constructor.

Shared libraries can also be loaded by using one of the prefabricated objects, which are instances of the LibraryLoader class, either by calling the LoadLibrary() method, or by retrieving the library as attribute of the loader instance.

class ctypes.LibraryLoader(dlltype)

Class which loads shared libraries. dlltype should be one of the CDLL, PyDLL, WinDLL, or OleDLL types.

__getattr__() has special behavior: It allows loading a shared library by accessing it as attribute of a library loader instance. The result is cached, so repeated attribute accesses return the same library each time.

LoadLibrary(name)

Load a shared library into the process and return it. This method always returns a new instance of the library.

These prefabricated library loaders are available:

ctypes.cdll

Creates CDLL instances.

ctypes.windll

Windows only: Creates WinDLL instances.

ctypes.oledll

Windows only: Creates OleDLL instances.

ctypes.pydll

Creates PyDLL instances.

For accessing the C Python api directly, a ready-to-use Python shared library object is available:

ctypes.pythonapi

An instance of PyDLL that exposes Python C API functions as attributes. Note that all these functions are assumed to return C int, which is of course not always the truth, so you have to assign the correct restype attribute to use these functions.

Carregar uma biblioteca através de qualquer um desses objetos levanta um evento de auditoria ctypes.dlopen com o argumento string name, o nome usado para carregar a biblioteca.

Accessing a function on a loaded library raises an auditing event ctypes.dlsym with arguments library (the library object) and name (the symbol’s name as a string or integer).

In cases when only the library handle is available rather than the object, accessing a function raises an auditing event ctypes.dlsym/handle with arguments handle (the raw library handle) and name.

Foreign functions

As explained in the previous section, foreign functions can be accessed as attributes of loaded shared libraries. The function objects created in this way by default accept any number of arguments, accept any ctypes data instances as arguments, and return the default result type specified by the library loader.

They are instances of a private local class _FuncPtr (not exposed in ctypes) which inherits from the private _CFuncPtr class:

>>> import ctypes
>>> lib = ctypes.CDLL(None)
>>> issubclass(lib._FuncPtr, ctypes._CFuncPtr)
True
>>> lib._FuncPtr is ctypes._CFuncPtr
False

class ctypes._CFuncPtr

Base class for C callable foreign functions.

Instances of foreign functions are also C compatible data types; they represent C function pointers.

This behavior can be customized by assigning to special attributes of the foreign function object.

restype

Assign a ctypes type to specify the result type of the foreign function. Use None for void, a function not returning anything.

It is possible to assign a callable Python object that is not a ctypes type, in this case the function is assumed to return a C int, and the callable will be called with this integer, allowing further processing or error checking. Using this is deprecated, for more flexible post processing or error checking use a ctypes data type as restype and assign a callable to the errcheck attribute.

argtypes

Assign a tuple of ctypes types to specify the argument types that the function accepts. Functions using the stdcall calling convention can only be called with the same number of arguments as the length of this tuple; functions using the C calling convention accept additional, unspecified arguments as well.

When a foreign function is called, each actual argument is passed to the from_param() class method of the items in the argtypes tuple, this method allows adapting the actual argument to an object that the foreign function accepts. For example, a c_char_p item in the argtypes tuple will convert a string passed as argument into a bytes object using ctypes conversion rules.

New: It is now possible to put items in argtypes which are not ctypes types, but each item must have a from_param() method which returns a value usable as argument (integer, string, ctypes instance). This allows defining adapters that can adapt custom objects as function parameters.

errcheck

Assign a Python function or another callable to this attribute. The callable will be called with three or more arguments:

callable(result, func, arguments)

result is what the foreign function returns, as specified by the restype attribute.

func is the foreign function object itself, this allows reusing the same callable object to check or post process the results of several functions.

arguments is a tuple containing the parameters originally passed to the function call, this allows specializing the behavior on the arguments used.

The object that this function returns will be returned from the foreign function call, but it can also check the result value and raise an exception if the foreign function call failed.

exception ctypes.ArgumentError

This exception is raised when a foreign function call cannot convert one of the passed arguments.

On Windows, when a foreign function call raises a system exception (for example, due to an access violation), it will be captured and replaced with a suitable Python exception. Further, an auditing event ctypes.set_exception with argument code will be raised, allowing an audit hook to replace the exception with its own.

Some ways to invoke foreign function calls may raise an auditing event ctypes.call_function with arguments function pointer and arguments.

Function prototypes

Foreign functions can also be created by instantiating function prototypes. Function prototypes are similar to function prototypes in C; they describe a function (return type, argument types, calling convention) without defining an implementation. The factory functions must be called with the desired result type and the argument types of the function, and can be used as decorator factories, and as such, be applied to functions through the @wrapper syntax. See Funções Callbacks for examples.

ctypes.CFUNCTYPE(restype, *argtypes, use_errno=False, use_last_error=False)

The returned function prototype creates functions that use the standard C calling convention. The function will release the GIL during the call. If use_errno is set to true, the ctypes private copy of the system errno variable is exchanged with the real errno value before and after the call; use_last_error does the same for the Windows error code.

ctypes.WINFUNCTYPE(restype, *argtypes, use_errno=False, use_last_error=False)

Windows only: The returned function prototype creates functions that use the stdcall calling convention. The function will release the GIL during the call. use_errno and use_last_error have the same meaning as above.

ctypes.PYFUNCTYPE(restype, *argtypes)

The returned function prototype creates functions that use the Python calling convention. The function will not release the GIL during the call.

Function prototypes created by these factory functions can be instantiated in different ways, depending on the type and number of the parameters in the call:

prototype(address)

Returns a foreign function at the specified address which must be an integer.

prototype(callable)

Create a C callable function (a callback function) from a Python callable.

prototype(func_spec[, paramflags])

Returns a foreign function exported by a shared library. func_spec must be a 2-tuple (name_or_ordinal, library). The first item is the name of the exported function as string, or the ordinal of the exported function as small integer. The second item is the shared library instance.

prototype(vtbl_index, name[, paramflags[, iid]])

Returns a foreign function that will call a COM method. vtbl_index is the index into the virtual function table, a small non-negative integer. name is name of the COM method. iid is an optional pointer to the interface identifier which is used in extended error reporting.

COM methods use a special calling convention: They require a pointer to the COM interface as first argument, in addition to those parameters that are specified in the argtypes tuple.

The optional paramflags parameter creates foreign function wrappers with much more functionality than the features described above.

paramflags must be a tuple of the same length as argtypes.

Each item in this tuple contains further information about a parameter, it must be a tuple containing one, two, or three items.

The first item is an integer containing a combination of direction flags for the parameter:

1

Specifies an input parameter to the function.

2

Output parameter. The foreign function fills in a value.

4

Input parameter which defaults to the integer zero.

The optional second item is the parameter name as string. If this is specified, the foreign function can be called with named parameters.

The optional third item is the default value for this parameter.

The following example demonstrates how to wrap the Windows MessageBoxW function so that it supports default parameters and named arguments. The C declaration from the windows header file is this:

WINUSERAPI int WINAPI
MessageBoxW(
    HWND hWnd,
    LPCWSTR lpText,
    LPCWSTR lpCaption,
    UINT uType);

Here is the wrapping with ctypes:

>>> from ctypes import c_int, WINFUNCTYPE, windll
>>> from ctypes.wintypes import HWND, LPCWSTR, UINT
>>> prototype = WINFUNCTYPE(c_int, HWND, LPCWSTR, LPCWSTR, UINT)
>>> paramflags = (1, "hwnd", 0), (1, "text", "Hi"), (1, "caption", "Hello from ctypes"), (1, "flags", 0)
>>> MessageBox = prototype(("MessageBoxW", windll.user32), paramflags)

The MessageBox foreign function can now be called in these ways:

>>> MessageBox()
>>> MessageBox(text="Spam, spam, spam")
>>> MessageBox(flags=2, text="foo bar")

A second example demonstrates output parameters. The win32 GetWindowRect function retrieves the dimensions of a specified window by copying them into RECT structure that the caller has to supply. Here is the C declaration:

WINUSERAPI BOOL WINAPI
GetWindowRect(
     HWND hWnd,
     LPRECT lpRect);

Here is the wrapping with ctypes:

>>> from ctypes import POINTER, WINFUNCTYPE, windll, WinError
>>> from ctypes.wintypes import BOOL, HWND, RECT
>>> prototype = WINFUNCTYPE(BOOL, HWND, POINTER(RECT))
>>> paramflags = (1, "hwnd"), (2, "lprect")
>>> GetWindowRect = prototype(("GetWindowRect", windll.user32), paramflags)
>>>

Functions with output parameters will automatically return the output parameter value if there is a single one, or a tuple containing the output parameter values when there are more than one, so the GetWindowRect function now returns a RECT instance, when called.

Output parameters can be combined with the errcheck protocol to do further output processing and error checking. The win32 GetWindowRect api function returns a BOOL to signal success or failure, so this function could do the error checking, and raises an exception when the api call failed:

>>> def errcheck(result, func, args):
...     if not result:
...         raise WinError()
...     return args
...
>>> GetWindowRect.errcheck = errcheck
>>>

If the errcheck function returns the argument tuple it receives unchanged, ctypes continues the normal processing it does on the output parameters. If you want to return a tuple of window coordinates instead of a RECT instance, you can retrieve the fields in the function and return them instead, the normal processing will no longer take place:

>>> def errcheck(result, func, args):
...     if not result:
...         raise WinError()
...     rc = args[1]
...     return rc.left, rc.top, rc.bottom, rc.right
...
>>> GetWindowRect.errcheck = errcheck
>>>

Funções utilitárias

ctypes.addressof(obj)

Returns the address of the memory buffer as integer. obj must be an instance of a ctypes type.

Levanta um evento de auditoria ctypes.addressof com o argumento obj.

ctypes.alignment(obj_or_type)

Returns the alignment requirements of a ctypes type. obj_or_type must be a ctypes type or instance.

ctypes.byref(obj[, offset])

Returns a light-weight pointer to obj, which must be an instance of a ctypes type. offset defaults to zero, and must be an integer that will be added to the internal pointer value.

byref(obj, offset) corresponds to this C code:

(((char *)&obj) + offset)

The returned object can only be used as a foreign function call parameter. It behaves similar to pointer(obj), but the construction is a lot faster.

ctypes.cast(obj, type)

This function is similar to the cast operator in C. It returns a new instance of type which points to the same memory block as obj. type must be a pointer type, and obj must be an object that can be interpreted as a pointer.

ctypes.create_string_buffer(init_or_size, size=None)

This function creates a mutable character buffer. The returned object is a ctypes array of c_char.

init_or_size must be an integer which specifies the size of the array, or a bytes object which will be used to initialize the array items.

If a bytes object is specified as first argument, the buffer is made one item larger than its length so that the last element in the array is a NUL termination character. An integer can be passed as second argument which allows specifying the size of the array if the length of the bytes should not be used.

Levanta um evento de auditoria ctypes.create_string_buffer com os argumentos init, size.

ctypes.create_unicode_buffer(init_or_size, size=None)

This function creates a mutable unicode character buffer. The returned object is a ctypes array of c_wchar.

init_or_size must be an integer which specifies the size of the array, or a string which will be used to initialize the array items.

If a string is specified as first argument, the buffer is made one item larger than the length of the string so that the last element in the array is a NUL termination character. An integer can be passed as second argument which allows specifying the size of the array if the length of the string should not be used.

Levanta um evento de auditoria ctypes.create_unicode_buffer com os argumentos init, size.

ctypes.DllCanUnloadNow()

Windows only: This function is a hook which allows implementing in-process COM servers with ctypes. It is called from the DllCanUnloadNow function that the _ctypes extension dll exports.

ctypes.DllGetClassObject()

Windows only: This function is a hook which allows implementing in-process COM servers with ctypes. It is called from the DllGetClassObject function that the _ctypes extension dll exports.

ctypes.util.find_library(name)

Try to find a library and return a pathname. name is the library name without any prefix like lib, suffix like .so, .dylib or version number (this is the form used for the posix linker option -l). If no library can be found, returns None.

The exact functionality is system dependent.

ctypes.util.find_msvcrt()

Windows only: return the filename of the VC runtime library used by Python, and by the extension modules. If the name of the library cannot be determined, None is returned.

If you need to free memory, for example, allocated by an extension module with a call to the free(void *), it is important that you use the function in the same library that allocated the memory.

ctypes.FormatError([code])

Windows only: Returns a textual description of the error code code. If no error code is specified, the last error code is used by calling the Windows api function GetLastError.

ctypes.GetLastError()

Windows only: Returns the last error code set by Windows in the calling thread. This function calls the Windows GetLastError() function directly, it does not return the ctypes-private copy of the error code.

ctypes.get_errno()

Returns the current value of the ctypes-private copy of the system errno variable in the calling thread.

Levanta um evento de auditoria ctypes.get_errno sem argumentos.

ctypes.get_last_error()

Windows only: returns the current value of the ctypes-private copy of the system LastError variable in the calling thread.

Levanta um evento de auditoria ctypes.get_last_error sem argumentos.

ctypes.memmove(dst, src, count)

Same as the standard C memmove library function: copies count bytes from src to dst. dst and src must be integers or ctypes instances that can be converted to pointers.

ctypes.memset(dst, c, count)

Same as the standard C memset library function: fills the memory block at address dst with count bytes of value c. dst must be an integer specifying an address, or a ctypes instance.

ctypes.POINTER(type, /)

Create and return a new ctypes pointer type. Pointer types are cached and reused internally, so calling this function repeatedly is cheap. type must be a ctypes type.

ctypes.pointer(obj, /)

Create a new pointer instance, pointing to obj. The returned object is of the type POINTER(type(obj)).

Note: If you just want to pass a pointer to an object to a foreign function call, you should use byref(obj) which is much faster.

ctypes.resize(obj, size)

This function resizes the internal memory buffer of obj, which must be an instance of a ctypes type. It is not possible to make the buffer smaller than the native size of the objects type, as given by sizeof(type(obj)), but it is possible to enlarge the buffer.

ctypes.set_errno(value)

Set the current value of the ctypes-private copy of the system errno variable in the calling thread to value and return the previous value.

Levanta um evento de auditoria ctypes.set_errno com o argumento errno.

ctypes.set_last_error(value)

Windows only: set the current value of the ctypes-private copy of the system LastError variable in the calling thread to value and return the previous value.

Levanta um evento de auditoria ctypes.set_last_error com o argumento error.

ctypes.sizeof(obj_or_type)

Returns the size in bytes of a ctypes type or instance memory buffer. Does the same as the C sizeof operator.

ctypes.string_at(ptr, size=-1)

Return the byte string at void *ptr. If size is specified, it is used as size, otherwise the string is assumed to be zero-terminated.

Levanta um evento de auditoria ctypes.string_at com os argumentos ptr, size.

ctypes.WinError(code=None, descr=None)

Windows only: this function is probably the worst-named thing in ctypes. It creates an instance of OSError. If code is not specified, GetLastError is called to determine the error code. If descr is not specified, FormatError() is called to get a textual description of the error.

Alterado na versão 3.3: An instance of WindowsError used to be created, which is now an alias of OSError.

ctypes.wstring_at(ptr, size=-1)

Return the wide-character string at void *ptr. If size is specified, it is used as the number of characters of the string, otherwise the string is assumed to be zero-terminated.

Levanta um evento de auditoria ctypes.wstring_at com os argumentos ptr, size.

Data types

class ctypes._CData

This non-public class is the common base class of all ctypes data types. Among other things, all ctypes type instances contain a memory block that hold C compatible data; the address of the memory block is returned by the addressof() helper function. Another instance variable is exposed as _objects; this contains other Python objects that need to be kept alive in case the memory block contains pointers.

Common methods of ctypes data types, these are all class methods (to be exact, they are methods of the metaclass):

from_buffer(source[, offset])

This method returns a ctypes instance that shares the buffer of the source object. The source object must support the writeable buffer interface. The optional offset parameter specifies an offset into the source buffer in bytes; the default is zero. If the source buffer is not large enough a ValueError is raised.

Levanta um evento de auditoria ctypes.cdata/buffer com os argumentos pointer, size, offset.

from_buffer_copy(source[, offset])

This method creates a ctypes instance, copying the buffer from the source object buffer which must be readable. The optional offset parameter specifies an offset into the source buffer in bytes; the default is zero. If the source buffer is not large enough a ValueError is raised.

Levanta um evento de auditoria ctypes.cdata/buffer com os argumentos pointer, size, offset.

from_address(address)

This method returns a ctypes type instance using the memory specified by address which must be an integer.

Este método, e outros que indiretamente chamam este método, levantam um evento de auditoria ctypes.cdata com o argumento address.

from_param(obj)

This method adapts obj to a ctypes type. It is called with the actual object used in a foreign function call when the type is present in the foreign function’s argtypes tuple; it must return an object that can be used as a function call parameter.

All ctypes data types have a default implementation of this classmethod that normally returns obj if that is an instance of the type. Some types accept other objects as well.

in_dll(library, name)

This method returns a ctypes type instance exported by a shared library. name is the name of the symbol that exports the data, library is the loaded shared library.

Common instance variables of ctypes data types:

_b_base_

Sometimes ctypes data instances do not own the memory block they contain, instead they share part of the memory block of a base object. The _b_base_ read-only member is the root ctypes object that owns the memory block.

_b_needsfree_

This read-only variable is true when the ctypes data instance has allocated the memory block itself, false otherwise.

_objects

This member is either None or a dictionary containing Python objects that need to be kept alive so that the memory block contents is kept valid. This object is only exposed for debugging; never modify the contents of this dictionary.

Tipos de dados fundamentais

class ctypes._SimpleCData

This non-public class is the base class of all fundamental ctypes data types. It is mentioned here because it contains the common attributes of the fundamental ctypes data types. _SimpleCData is a subclass of _CData, so it inherits their methods and attributes. ctypes data types that are not and do not contain pointers can now be pickled.

Instances have a single attribute:

value

This attribute contains the actual value of the instance. For integer and pointer types, it is an integer, for character types, it is a single character bytes object or string, for character pointer types it is a Python bytes object or string.

When the value attribute is retrieved from a ctypes instance, usually a new object is returned each time. ctypes does not implement original object return, always a new object is constructed. The same is true for all other ctypes object instances.

Fundamental data types, when returned as foreign function call results, or, for example, by retrieving structure field members or array items, are transparently converted to native Python types. In other words, if a foreign function has a restype of c_char_p, you will always receive a Python bytes object, not a c_char_p instance.

Subclasses of fundamental data types do not inherit this behavior. So, if a foreign functions restype is a subclass of c_void_p, you will receive an instance of this subclass from the function call. Of course, you can get the value of the pointer by accessing the value attribute.

These are the fundamental ctypes data types:

class ctypes.c_byte

Represents the C signed char datatype, and interprets the value as small integer. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_char

Represents the C char datatype, and interprets the value as a single character. The constructor accepts an optional string initializer, the length of the string must be exactly one character.

class ctypes.c_char_p

Represents the C char* datatype when it points to a zero-terminated string. For a general character pointer that may also point to binary data, POINTER(c_char) must be used. The constructor accepts an integer address, or a bytes object.

class ctypes.c_double

Represents the C double datatype. The constructor accepts an optional float initializer.

class ctypes.c_longdouble

Represents the C long double datatype. The constructor accepts an optional float initializer. On platforms where sizeof(long double) == sizeof(double) it is an alias to c_double.

class ctypes.c_float

Represents the C float datatype. The constructor accepts an optional float initializer.

class ctypes.c_int

Represents the C signed int datatype. The constructor accepts an optional integer initializer; no overflow checking is done. On platforms where sizeof(int) == sizeof(long) it is an alias to c_long.

class ctypes.c_int8

Represents the C 8-bit signed int datatype. Usually an alias for c_byte.

class ctypes.c_int16

Represents the C 16-bit signed int datatype. Usually an alias for c_short.

class ctypes.c_int32

Represents the C 32-bit signed int datatype. Usually an alias for c_int.

class ctypes.c_int64

Represents the C 64-bit signed int datatype. Usually an alias for c_longlong.

class ctypes.c_long

Represents the C signed long datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_longlong

Represents the C signed long long datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_short

Represents the C signed short datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_size_t

Represents the C size_t datatype.

class ctypes.c_ssize_t

Represents the C ssize_t datatype.

Adicionado na versão 3.2.

class ctypes.c_time_t

Represents the C time_t datatype.

Adicionado na versão 3.12.

class ctypes.c_ubyte

Represents the C unsigned char datatype, it interprets the value as small integer. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_uint

Represents the C unsigned int datatype. The constructor accepts an optional integer initializer; no overflow checking is done. On platforms where sizeof(int) == sizeof(long) it is an alias for c_ulong.

class ctypes.c_uint8

Represents the C 8-bit unsigned int datatype. Usually an alias for c_ubyte.

class ctypes.c_uint16

Represents the C 16-bit unsigned int datatype. Usually an alias for c_ushort.

class ctypes.c_uint32

Represents the C 32-bit unsigned int datatype. Usually an alias for c_uint.

class ctypes.c_uint64

Represents the C 64-bit unsigned int datatype. Usually an alias for c_ulonglong.

class ctypes.c_ulong

Represents the C unsigned long datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_ulonglong

Represents the C unsigned long long datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_ushort

Represents the C unsigned short datatype. The constructor accepts an optional integer initializer; no overflow checking is done.

class ctypes.c_void_p

Represents the C void* type. The value is represented as integer. The constructor accepts an optional integer initializer.

class ctypes.c_wchar

Represents the C wchar_t datatype, and interprets the value as a single character unicode string. The constructor accepts an optional string initializer, the length of the string must be exactly one character.

class ctypes.c_wchar_p

Represents the C wchar_t* datatype, which must be a pointer to a zero-terminated wide character string. The constructor accepts an integer address, or a string.

class ctypes.c_bool

Represent the C bool datatype (more accurately, _Bool from C99). Its value can be True or False, and the constructor accepts any object that has a truth value.

class ctypes.HRESULT

Windows only: Represents a HRESULT value, which contains success or error information for a function or method call.

class ctypes.py_object

Represents the C PyObject* datatype. Calling this without an argument creates a NULL PyObject* pointer.

The ctypes.wintypes module provides quite some other Windows specific data types, for example HWND, WPARAM, or DWORD. Some useful structures like MSG or RECT are also defined.

Structured data types

class ctypes.Union(*args, **kw)

Abstract base class for unions in native byte order.

class ctypes.BigEndianUnion(*args, **kw)

Abstract base class for unions in big endian byte order.

Adicionado na versão 3.11.

class ctypes.LittleEndianUnion(*args, **kw)

Abstract base class for unions in little endian byte order.

Adicionado na versão 3.11.

class ctypes.BigEndianStructure(*args, **kw)

Abstract base class for structures in big endian byte order.

class ctypes.LittleEndianStructure(*args, **kw)

Abstract base class for structures in little endian byte order.

Structures and unions with non-native byte order cannot contain pointer type fields, or any other data types containing pointer type fields.

class ctypes.Structure(*args, **kw)

Abstract base class for structures in native byte order.

Concrete structure and union types must be created by subclassing one of these types, and at least define a _fields_ class variable. ctypes will create descriptors which allow reading and writing the fields by direct attribute accesses. These are the

_fields_

A sequence defining the structure fields. The items must be 2-tuples or 3-tuples. The first item is the name of the field, the second item specifies the type of the field; it can be any ctypes data type.

For integer type fields like c_int, a third optional item can be given. It must be a small positive integer defining the bit width of the field.

Field names must be unique within one structure or union. This is not checked, only one field can be accessed when names are repeated.

It is possible to define the _fields_ class variable after the class statement that defines the Structure subclass, this allows creating data types that directly or indirectly reference themselves:

class List(Structure):
    pass
List._fields_ = [("pnext", POINTER(List)),
                 ...
                ]

The _fields_ class variable must, however, be defined before the type is first used (an instance is created, sizeof() is called on it, and so on). Later assignments to the _fields_ class variable will raise an AttributeError.

It is possible to define sub-subclasses of structure types, they inherit the fields of the base class plus the _fields_ defined in the sub-subclass, if any.

_pack_

An optional small integer that allows overriding the alignment of structure fields in the instance. _pack_ must already be defined when _fields_ is assigned, otherwise it will have no effect. Setting this attribute to 0 is the same as not setting it at all.

_align_

An optional small integer that allows overriding the alignment of the structure when being packed or unpacked to/from memory. Setting this attribute to 0 is the same as not setting it at all.

Adicionado na versão 3.13.

_anonymous_

An optional sequence that lists the names of unnamed (anonymous) fields. _anonymous_ must be already defined when _fields_ is assigned, otherwise it will have no effect.

The fields listed in this variable must be structure or union type fields. ctypes will create descriptors in the structure type that allows accessing the nested fields directly, without the need to create the structure or union field.

Here is an example type (Windows):

class _U(Union):
    _fields_ = [("lptdesc", POINTER(TYPEDESC)),
                ("lpadesc", POINTER(ARRAYDESC)),
                ("hreftype", HREFTYPE)]

class TYPEDESC(Structure):
    _anonymous_ = ("u",)
    _fields_ = [("u", _U),
                ("vt", VARTYPE)]

The TYPEDESC structure describes a COM data type, the vt field specifies which one of the union fields is valid. Since the u field is defined as anonymous field, it is now possible to access the members directly off the TYPEDESC instance. td.lptdesc and td.u.lptdesc are equivalent, but the former is faster since it does not need to create a temporary union instance:

td = TYPEDESC()
td.vt = VT_PTR
td.lptdesc = POINTER(some_type)
td.u.lptdesc = POINTER(some_type)

It is possible to define sub-subclasses of structures, they inherit the fields of the base class. If the subclass definition has a separate _fields_ variable, the fields specified in this are appended to the fields of the base class.

Structure and union constructors accept both positional and keyword arguments. Positional arguments are used to initialize member fields in the same order as they are appear in _fields_. Keyword arguments in the constructor are interpreted as attribute assignments, so they will initialize _fields_ with the same name, or create new attributes for names not present in _fields_.

Arrays and pointers

class ctypes.Array(*args)

Abstract base class for arrays.

The recommended way to create concrete array types is by multiplying any ctypes data type with a non-negative integer. Alternatively, you can subclass this type and define _length_ and _type_ class variables. Array elements can be read and written using standard subscript and slice accesses; for slice reads, the resulting object is not itself an Array.

_length_

A positive integer specifying the number of elements in the array. Out-of-range subscripts result in an IndexError. Will be returned by len().

_type_

Specifies the type of each element in the array.

Array subclass constructors accept positional arguments, used to initialize the elements in order.

ctypes.ARRAY(type, length)

Create an array. Equivalent to type * length, where type is a ctypes data type and length an integer.

This function is soft deprecated in favor of multiplication. There are no plans to remove it.

class ctypes._Pointer

Private, abstract base class for pointers.

Concrete pointer types are created by calling POINTER() with the type that will be pointed to; this is done automatically by pointer().

If a pointer points to an array, its elements can be read and written using standard subscript and slice accesses. Pointer objects have no size, so len() will raise TypeError. Negative subscripts will read from the memory before the pointer (as in C), and out-of-range subscripts will probably crash with an access violation (if you’re lucky).

_type_

Specifies the type pointed to.

contents

Returns the object to which to pointer points. Assigning to this attribute changes the pointer to point to the assigned object.

Execução Concorrente

Os módulos descritos neste capítulo fornecem suporte a execução simultânea de código. A escolha apropriada da ferramenta dependerá da tarefa a ser executada (CPU bound ou IO bound) e do estilo de desenvolvimento preferencial (multitarefa cooperativa orientada a eventos versus multitarefa preemptiva). Eis uma visão geral:

threading — Thread-based parallelism

active_count()

current_thread()

excepthook()

__excepthook__

get_ident()

get_native_id()

enumerate()

main_thread()

settrace()

settrace_all_threads()

gettrace()

setprofile()

setprofile_all_threads()

getprofile()

stack_size()

TIMEOUT_MAX

Thread-Local Data

local

Thread Objects

Thread

start()

run()

join()

name

getName()

setName()

ident

native_id

is_alive()

daemon

isDaemon()

setDaemon()

Lock Objects

Lock

acquire()

release()

locked()

Objetos RLock

RLock

acquire()

release()

Condition Objects

Condition

acquire()

release()

wait()

wait_for()

notify()

notify_all()

Semaphore Objects

Semaphore

acquire()

release()

BoundedSemaphore

Exemplo Semaphore

Event Objects

Event

is_set()

set()

clear()

wait()

Objetos Timer

Timer

cancel()

Barrier Objects

Barrier

wait()

reset()

abort()

parties

n_waiting

broken

BrokenBarrierError

Using locks, conditions, and semaphores in the with statement

multiprocessing — Paralelismo baseado em processo

Introdução

A classe Process

Contextos e métodos de inicialização

Trocando objetos entre processos

Sincronização entre processos

Compartilhando estado entre processos

Using a pool of workers

Referência

Process and exceptions

Process

run()

start()

join()

name

is_alive()

daemon

pid

exitcode

authkey

sentinel

terminate()

kill()

close()

ProcessError

BufferTooShort

AuthenticationError

TimeoutError

Pipes and Queues

Pipe()

Queue

qsize()

empty()

full()

put()

put_nowait()

get()

get_nowait()

close()

join_thread()

cancel_join_thread()

SimpleQueue

close()

empty()

get()

put()

JoinableQueue

task_done()

join()

Diversos

active_children()

cpu_count()

current_process()

parent_process()

freeze_support()

get_all_start_methods()

get_context()

get_start_method()

set_executable()

set_forkserver_preload()

set_start_method()

Connection Objects

Connection

send()

recv()

fileno()

close()

poll()

send_bytes()

recv_bytes()

recv_bytes_into()

Synchronization primitives

Barrier

BoundedSemaphore

Condition

Event

Lock

acquire()

release()

RLock

acquire()

release()

Semaphore

Shared ctypes Objects

Value()

Array()

The multiprocessing.sharedctypes module

RawArray()

RawValue()

Array()

Value()

copy()

synchronized()

Gerenciadores

Manager()

BaseManager

start()

get_server()

connect()

shutdown()

register()

address

SyncManager

Barrier()

BoundedSemaphore()

Condition()

Event()

Lock()

Namespace()

Queue()

RLock()

Semaphore()

Array()

Value()

dict()

list()

Namespace

Customized managers

Using a remote manager

Proxy Objects

BaseProxy

_callmethod()

_getvalue()

__repr__()

__str__()

Cleanup

Process Pools

Pool

apply()

apply_async()

map()

map_async()

imap()

imap_unordered()

starmap()

starmap_async()

close()

terminate()

join()

AsyncResult

get()

wait()

ready()

successful()

Listeners and Clients

deliver_challenge()

answer_challenge()

Client()

Listener

accept()

close()

address

last_accepted

wait()

Formatos de Endereços

Authentication keys

Gerando logs

get_logger()

log_to_stderr()

The multiprocessing.dummy module

ThreadPool

Programming guidelines

All start methods

The spawn and forkserver start methods

Exemplos

multiprocessing.shared_memory — Shared memory for direct access across processes

SharedMemory

close()

unlink()

buf

name

size

SharedMemoryManager

SharedMemory()

ShareableList()

ShareableList

count()

index()

format

shm

O pacote concurrent

concurrent.futures — Launching parallel tasks

Executor Objects

Executor

submit()

map()

shutdown()

ThreadPoolExecutor

ThreadPoolExecutor

Exemplo de ThreadPoolExecutor

`ProcessPoolExecutor`

ProcessPoolExecutor

ProcessPoolExecutor Example

Future Objects

Future

cancel()

cancelled()

running()

done()

result()

exception()

add_done_callback()

set_running_or_notify_cancel()

set_result()

set_exception()

Module Functions

wait()

FIRST_COMPLETED

FIRST_EXCEPTION

ALL_COMPLETED

as_completed()

Exception classes

CancelledError

TimeoutError

BrokenExecutor

InvalidStateError

BrokenThreadPool

BrokenProcessPool

subprocess — Subprocess management

Usando o módulo subprocess

run()

CompletedProcess

args

returncode

stdout

stderr

check_returncode()

DEVNULL

PIPE

STDOUT

SubprocessError

TimeoutExpired

cmd

timeout

output

stdout

stderr

CalledProcessError

returncode

cmd

output

stdout

stderr

Argumentos usados frequentemente

Construtor Popen

Popen

Exceções

Considerações de Segurança

Objetos Popen

poll()

wait()

communicate()

send_signal()

terminate()

kill()

args

stdin

stdout

stderr

pid

returncode

Windows Popen Helpers

STARTUPINFO

dwFlags

hStdInput

hStdOutput

hStdError

wShowWindow

lpAttributeList

Constantes do Windows

STD_INPUT_HANDLE

STD_OUTPUT_HANDLE

STD_ERROR_HANDLE

SW_HIDE

STARTF_USESTDHANDLES

STARTF_USESHOWWINDOW

STARTF_FORCEONFEEDBACK

STARTF_FORCEOFFFEEDBACK

CREATE_NEW_CONSOLE

CREATE_NEW_PROCESS_GROUP

ABOVE_NORMAL_PRIORITY_CLASS

BELOW_NORMAL_PRIORITY_CLASS

HIGH_PRIORITY_CLASS

IDLE_PRIORITY_CLASS

NORMAL_PRIORITY_CLASS

REALTIME_PRIORITY_CLASS

CREATE_NO_WINDOW

DETACHED_PROCESS

CREATE_DEFAULT_ERROR_MODE

CREATE_BREAKAWAY_FROM_JOB

API de alto nível mais antiga

call()

check_call()

check_output()

Replacing Older Functions with the subprocess Module

Replacing /bin/sh shell command substitution

Replacing shell pipeline

Substituindo os.system()

Replacing the os.spawn family

Replacing os.popen(), os.popen2(), os.popen3()

Replacing functions from the popen2 module

Legacy Shell Invocation Functions

getstatusoutput()

getoutput()

Notas

Converter uma sequência de argumentos em uma string no Windows

Disabling use of vfork() or posix_spawn()

sched — Event scheduler

scheduler

Objetos Scheduler

enterabs()

enter()

cancel()

empty()

run()

queue

queue — A synchronized queue class

Queue

LifoQueue

PriorityQueue

SimpleQueue

Empty

Full

ShutDown

Objetos Queue

qsize()

empty()

full()

put()

put_nowait()

get()

get_nowait()

task_done()

join()

Terminating queues

shutdown()

Objetos SimpleQueue

qsize()

empty()

put()

put_nowait()

get()

get_nowait()

contextvars — Variáveis de contexto

Variáveis de contexto

ContextVar

name

get()

set()

reset()

Token

var

old_value

MISSING

Gerenciamento de contexto manual

copy_context()

Context

run()

copy()

get()

keys()

values()

items()

Suporte a asyncio

A seguir, os módulos de suporte para alguns dos serviços acima:

_thread— API de segmentação de baixo nível

error

LockType

start_new_thread()

interrupt_main()

exit()

allocate_lock()

get_ident()

get_native_id()

stack_size()

TIMEOUT_MAX

acquire()

release()

locked()

threading — Thread-based parallelism

Código-fonte: Lib/threading.py [https://github.com/python/cpython/tree/3.13/Lib/threading.py]

This module constructs higher-level threading interfaces on top of the lower level _thread module.

Alterado na versão 3.7: Este módulo costumava ser opcional, agora está sempre disponível.

Ver também

concurrent.futures.ThreadPoolExecutor offers a higher level interface to push tasks to a background thread without blocking execution of the calling thread, while still being able to retrieve their results when needed.

queue provides a thread-safe interface for exchanging data between running threads.

asyncio offers an alternative approach to achieving task level concurrency without requiring the use of multiple operating system threads.

Nota

In the Python 2.x series, this module contained camelCase names for some methods and functions. These are deprecated as of Python 3.10, but they are still supported for compatibility with Python 2.5 and lower.

Detalhes da implementação do CPython: In CPython, due to the Global Interpreter Lock, only one thread can execute Python code at once (even though certain performance-oriented libraries might overcome this limitation). If you want your application to make better use of the computational resources of multi-core machines, you are advised to use multiprocessing or concurrent.futures.ProcessPoolExecutor. However, threading is still an appropriate model if you want to run multiple I/O-bound tasks simultaneously.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Este módulo define as seguintes funções:

threading.active_count()

Retorna o número de objetos Thread atualmente ativos. A quantidade retornada é igual ao tamanho da lista retornada por enumerate().

The function activeCount is a deprecated alias for this function.

threading.current_thread()

Retorna o objeto Thread atual, correspondendo ao controle do chamador da thread. Se o controle do chamador da thread não foi criado através do módulo threading, um objeto thread vazio, com funcionalidade limitada, é retornado.

The function currentThread is a deprecated alias for this function.

threading.excepthook(args, /)

Handle uncaught exception raised by Thread.run().

O argumento args tem os seguintes atributos:

exc_type: Tipo de exceção..

exc_value: Valor da exceção, pode ser None.

exc_traceback: Pilha de execução da exceção, pode ser None.

thread: Thread que levantou a exceção, pode ser None.

Se exc_type é SystemExit, a exceção é silenciosamente ignorada. Caso contrário, a exceção é exibida em sys.stderr.

Se esta função levantar uma exceção, sys.excepthook() é chamada para tratá-la.

threading.excepthook() pode ser substituída para controlar como exceções não capturadas levantadas por Thread.run() são tratadas.

Storing exc_value using a custom hook can create a reference cycle. It should be cleared explicitly to break the reference cycle when the exception is no longer needed.

Storing thread using a custom hook can resurrect it if it is set to an object which is being finalized. Avoid storing thread after the custom hook completes to avoid resurrecting objects.

Ver também

sys.excepthook() trata exceções não capturadas.

Adicionado na versão 3.8.

threading.__excepthook__

Holds the original value of threading.excepthook(). It is saved so that the original value can be restored in case they happen to get replaced with broken or alternative objects.

Adicionado na versão 3.10.

threading.get_ident()

Retorna o ‘identificador de thread’ do thread atual. Este é um número inteiro diferente de zero. Seu valor não tem significado direto; pretende-se que seja um cookie mágico para ser usado, por exemplo, para indexar um dicionário de dados específicos do thread. identificadores de thread podem ser reciclados quando um thread sai e outro é criado.

Adicionado na versão 3.3.

threading.get_native_id()

Retorna a ID de thread integral nativa da thread atual atribuída pelo kernel. Este é um número inteiro não negativo. Seu valor pode ser usado para identificar exclusivamente essa thread específica em todo o sistema (até que a thread termine, após o que o valor poderá ser reciclado pelo sistema operacional).

Disponibilidade

Adicionado na versão 3.8.

Alterado na versão 3.13: Adicionado suporte a GNU/kFreeBSD.

threading.enumerate()

Return a list of all Thread objects currently active. The list includes daemonic threads and dummy thread objects created by current_thread(). It excludes terminated threads and threads that have not yet been started. However, the main thread is always part of the result, even when terminated.

threading.main_thread()

Return the main Thread object. In normal conditions, the main thread is the thread from which the Python interpreter was started.

Adicionado na versão 3.4.

threading.settrace(func)

Set a trace function for all threads started from the threading module. The func will be passed to sys.settrace() for each thread, before its run() method is called.

threading.settrace_all_threads(func)

Set a trace function for all threads started from the threading module and all Python threads that are currently executing.

The func will be passed to sys.settrace() for each thread, before its run() method is called.

Adicionado na versão 3.12.

threading.gettrace()

Obtém a função trace conforme definido por settrace().

Adicionado na versão 3.10.

threading.setprofile(func)

Set a profile function for all threads started from the threading module. The func will be passed to sys.setprofile() for each thread, before its run() method is called.

threading.setprofile_all_threads(func)

Set a profile function for all threads started from the threading module and all Python threads that are currently executing.

The func will be passed to sys.setprofile() for each thread, before its run() method is called.

Adicionado na versão 3.12.

threading.getprofile()

Obtém a função do criador de perfil conforme definido por setprofile().

Adicionado na versão 3.10.

threading.stack_size([size])

Retorna o tamanho da pilha de threads usado ao criar novos threads. O argumento opcional size especifica o tamanho da pilha a ser usado para threads criados posteriormente e deve ser 0 (usar plataforma ou padrão configurado) ou um valor inteiro positivo de pelo menos 32.768 (32 KiB). Se size não for especificado, 0 será usado. Se a alteração do tamanho da pilha de threads não for suportada, uma RuntimeError será levantada. Se o tamanho da pilha especificado for inválido, uma ValueError será levantada e o tamanho da pilha não será modificado. Atualmente, 0 KiB é o valor mínimo de tamanho de pilha suportado para garantir espaço suficiente para o próprio interpretador. Observe que algumas plataformas podem ter restrições específicas sobre valores para o tamanho da pilha, como exigir um tamanho mínimo de pilha > 32 KiB ou exigir alocação em múltiplos do tamanho da página de memória do sistema – a documentação da plataforma deve ser consultada para obter mais informações (4 páginas KiB são comuns; usar múltiplos de 4096 para o tamanho da pilha é a abordagem sugerida na ausência de informações mais específicas).

Disponibilidade

Plataformas Unix com suporte a threads POSIX.

This module also defines the following constant:

threading.TIMEOUT_MAX

The maximum value allowed for the timeout parameter of blocking functions (Lock.acquire(), RLock.acquire(), Condition.wait(), etc.). Specifying a timeout greater than this value will raise an OverflowError.

Adicionado na versão 3.2.

This module defines a number of classes, which are detailed in the sections below.

The design of this module is loosely based on Java’s threading model. However, where Java makes locks and condition variables basic behavior of every object, they are separate objects in Python. Python’s Thread class supports a subset of the behavior of Java’s Thread class; currently, there are no priorities, no thread groups, and threads cannot be destroyed, stopped, suspended, resumed, or interrupted. The static methods of Java’s Thread class, when implemented, are mapped to module-level functions.

All of the methods described below are executed atomically.

Thread-Local Data

Thread-local data is data whose values are thread specific. To manage thread-local data, just create an instance of local (or a subclass) and store attributes on it:

mydata = threading.local()
mydata.x = 1

The instance’s values will be different for separate threads.

class threading.local

A class that represents thread-local data.

For more details and extensive examples, see the documentation string of the _threading_local module: Lib/_threading_local.py [https://github.com/python/cpython/tree/3.13/Lib/_threading_local.py].

Thread Objects

The Thread class represents an activity that is run in a separate thread of control. There are two ways to specify the activity: by passing a callable object to the constructor, or by overriding the run() method in a subclass. No other methods (except for the constructor) should be overridden in a subclass. In other words, only override the __init__() and run() methods of this class.

Once a thread object is created, its activity must be started by calling the thread’s start() method. This invokes the run() method in a separate thread of control.

Once the thread’s activity is started, the thread is considered ‘alive’. It stops being alive when its run() method terminates – either normally, or by raising an unhandled exception. The is_alive() method tests whether the thread is alive.

Other threads can call a thread’s join() method. This blocks the calling thread until the thread whose join() method is called is terminated.

A thread has a name. The name can be passed to the constructor, and read or changed through the name attribute.

If the run() method raises an exception, threading.excepthook() is called to handle it. By default, threading.excepthook() ignores silently SystemExit.

A thread can be flagged as a “daemon thread”. The significance of this flag is that the entire Python program exits when only daemon threads are left. The initial value is inherited from the creating thread. The flag can be set through the daemon property or the daemon constructor argument.

Nota

Daemon threads are abruptly stopped at shutdown. Their resources (such as open files, database transactions, etc.) may not be released properly. If you want your threads to stop gracefully, make them non-daemonic and use a suitable signalling mechanism such as an Event.

There is a “main thread” object; this corresponds to the initial thread of control in the Python program. It is not a daemon thread.

There is the possibility that “dummy thread objects” are created. These are thread objects corresponding to “alien threads”, which are threads of control started outside the threading module, such as directly from C code. Dummy thread objects have limited functionality; they are always considered alive and daemonic, and cannot be joined. They are never deleted, since it is impossible to detect the termination of alien threads.

class threading.Thread(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)

This constructor should always be called with keyword arguments. Arguments are:

group should be None; reserved for future extension when a ThreadGroup class is implemented.

target is the callable object to be invoked by the run() method. Defaults to None, meaning nothing is called.

name is the thread name. By default, a unique name is constructed of the form “Thread-N” where N is a small decimal number, or “Thread-N (target)” where “target” is target.__name__ if the target argument is specified.

args is a list or tuple of arguments for the target invocation. Defaults to ().

kwargs is a dictionary of keyword arguments for the target invocation. Defaults to {}.

If not None, daemon explicitly sets whether the thread is daemonic. If None (the default), the daemonic property is inherited from the current thread.

If the subclass overrides the constructor, it must make sure to invoke the base class constructor (Thread.__init__()) before doing anything else to the thread.

Alterado na versão 3.3: Added the daemon parameter.

Alterado na versão 3.10: Use the target name if name argument is omitted.

start()

Start the thread’s activity.

It must be called at most once per thread object. It arranges for the object’s run() method to be invoked in a separate thread of control.

This method will raise a RuntimeError if called more than once on the same thread object.

run()

Method representing the thread’s activity.

You may override this method in a subclass. The standard run() method invokes the callable object passed to the object’s constructor as the target argument, if any, with positional and keyword arguments taken from the args and kwargs arguments, respectively.

Using list or tuple as the args argument which passed to the Thread could achieve the same effect.

Exemplo:

>>> from threading import Thread
>>> t = Thread(target=print, args=[1])
>>> t.run()
1
>>> t = Thread(target=print, args=(1,))
>>> t.run()
1

join(timeout=None)

Wait until the thread terminates. This blocks the calling thread until the thread whose join() method is called terminates – either normally or through an unhandled exception – or until the optional timeout occurs.

When the timeout argument is present and not None, it should be a floating-point number specifying a timeout for the operation in seconds (or fractions thereof). As join() always returns None, you must call is_alive() after join() to decide whether a timeout happened – if the thread is still alive, the join() call timed out.

When the timeout argument is not present or None, the operation will block until the thread terminates.

A thread can be joined many times.

join() raises a RuntimeError if an attempt is made to join the current thread as that would cause a deadlock. It is also an error to join() a thread before it has been started and attempts to do so raise the same exception.

name

A string used for identification purposes only. It has no semantics. Multiple threads may be given the same name. The initial name is set by the constructor.

getName()

setName()

Deprecated getter/setter API for name; use it directly as a property instead.

Obsoleto desde a versão 3.10.

ident

The ‘thread identifier’ of this thread or None if the thread has not been started. This is a nonzero integer. See the get_ident() function. Thread identifiers may be recycled when a thread exits and another thread is created. The identifier is available even after the thread has exited.

native_id

The Thread ID (TID) of this thread, as assigned by the OS (kernel). This is a non-negative integer, or None if the thread has not been started. See the get_native_id() function. This value may be used to uniquely identify this particular thread system-wide (until the thread terminates, after which the value may be recycled by the OS).

Nota

Similar to Process IDs, Thread IDs are only valid (guaranteed unique system-wide) from the time the thread is created until the thread has been terminated.

Disponibilidade

Adicionado na versão 3.8.

is_alive()

Return whether the thread is alive.

This method returns True just before the run() method starts until just after the run() method terminates. The module function enumerate() returns a list of all alive threads.

daemon

A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

The entire Python program exits when no alive non-daemon threads are left.

isDaemon()

setDaemon()

Deprecated getter/setter API for daemon; use it directly as a property instead.

Obsoleto desde a versão 3.10.

Lock Objects

A primitive lock is a synchronization primitive that is not owned by a particular thread when locked. In Python, it is currently the lowest level synchronization primitive available, implemented directly by the _thread extension module.

A primitive lock is in one of two states, “locked” or “unlocked”. It is created in the unlocked state. It has two basic methods, acquire() and release(). When the state is unlocked, acquire() changes the state to locked and returns immediately. When the state is locked, acquire() blocks until a call to release() in another thread changes it to unlocked, then the acquire() call resets it to locked and returns. The release() method should only be called in the locked state; it changes the state to unlocked and returns immediately. If an attempt is made to release an unlocked lock, a RuntimeError will be raised.

Locks also support the context management protocol.

When more than one thread is blocked in acquire() waiting for the state to turn to unlocked, only one thread proceeds when a release() call resets the state to unlocked; which one of the waiting threads proceeds is not defined, and may vary across implementations.

All methods are executed atomically.

class threading.Lock

The class implementing primitive lock objects. Once a thread has acquired a lock, subsequent attempts to acquire it block, until it is released; any thread may release it.

Alterado na versão 3.13: Lock is now a class. In earlier Pythons, Lock was a factory function which returned an instance of the underlying private lock type.

acquire(blocking=True, timeout=-1)

Acquire a lock, blocking or non-blocking.

When invoked with the blocking argument set to True (the default), block until the lock is unlocked, then set it to locked and return True.

When invoked with the blocking argument set to False, do not block. If a call with blocking set to True would block, return False immediately; otherwise, set the lock to locked and return True.

When invoked with the floating-point timeout argument set to a positive value, block for at most the number of seconds specified by timeout and as long as the lock cannot be acquired. A timeout argument of -1 specifies an unbounded wait. It is forbidden to specify a timeout when blocking is False.

The return value is True if the lock is acquired successfully, False if not (for example if the timeout expired).

Alterado na versão 3.2: O parâmetro timeout é novo.

Alterado na versão 3.2: Lock acquisition can now be interrupted by signals on POSIX if the underlying threading implementation supports it.

release()

Release a lock. This can be called from any thread, not only the thread which has acquired the lock.

When the lock is locked, reset it to unlocked, and return. If any other threads are blocked waiting for the lock to become unlocked, allow exactly one of them to proceed.

When invoked on an unlocked lock, a RuntimeError is raised.

There is no return value.

locked()

Return True if the lock is acquired.

Objetos RLock

A reentrant lock is a synchronization primitive that may be acquired multiple times by the same thread. Internally, it uses the concepts of “owning thread” and “recursion level” in addition to the locked/unlocked state used by primitive locks. In the locked state, some thread owns the lock; in the unlocked state, no thread owns it.

Threads call a lock’s acquire() method to lock it, and its release() method to unlock it.

Nota

Reentrant locks support the context management protocol, so it is recommended to use with instead of manually calling acquire() and release() to handle acquiring and releasing the lock for a block of code.

RLock’s acquire()/release() call pairs may be nested, unlike Lock’s acquire()/release(). Only the final release() (the release() of the outermost pair) resets the lock to an unlocked state and allows another thread blocked in acquire() to proceed.

acquire()/release() must be used in pairs: each acquire must have a release in the thread that has acquired the lock. Failing to call release as many times the lock has been acquired can lead to deadlock.

class threading.RLock

This class implements reentrant lock objects. A reentrant lock must be released by the thread that acquired it. Once a thread has acquired a reentrant lock, the same thread may acquire it again without blocking; the thread must release it once for each time it has acquired it.

Note that RLock is actually a factory function which returns an instance of the most efficient version of the concrete RLock class that is supported by the platform.

acquire(blocking=True, timeout=-1)

Acquire a lock, blocking or non-blocking.

Ver também

Using RLock as a context manager

Recommended over manual acquire() and release() calls whenever practical.

When invoked with the blocking argument set to True (the default):

If no thread owns the lock, acquire the lock and return immediately.

If another thread owns the lock, block until we are able to acquire lock, or timeout, if set to a positive float value.

If the same thread owns the lock, acquire the lock again, and return immediately. This is the difference between Lock and RLock; Lock handles this case the same as the previous, blocking until the lock can be acquired.

When invoked with the blocking argument set to False:

If no thread owns the lock, acquire the lock and return immediately.

If another thread owns the lock, return immediately.

If the same thread owns the lock, acquire the lock again and return immediately.

In all cases, if the thread was able to acquire the lock, return True. If the thread was unable to acquire the lock (i.e. if not blocking or the timeout was reached) return False.

If called multiple times, failing to call release() as many times may lead to deadlock. Consider using RLock as a context manager rather than calling acquire/release directly.

Alterado na versão 3.2: O parâmetro timeout é novo.

release()

Release a lock, decrementing the recursion level. If after the decrement it is zero, reset the lock to unlocked (not owned by any thread), and if any other threads are blocked waiting for the lock to become unlocked, allow exactly one of them to proceed. If after the decrement the recursion level is still nonzero, the lock remains locked and owned by the calling thread.

Only call this method when the calling thread owns the lock. A RuntimeError is raised if this method is called when the lock is not acquired.

There is no return value.

Condition Objects

A condition variable is always associated with some kind of lock; this can be passed in or one will be created by default. Passing one in is useful when several condition variables must share the same lock. The lock is part of the condition object: you don’t have to track it separately.

A condition variable obeys the context management protocol: using the with statement acquires the associated lock for the duration of the enclosed block. The acquire() and release() methods also call the corresponding methods of the associated lock.

Other methods must be called with the associated lock held. The wait() method releases the lock, and then blocks until another thread awakens it by calling notify() or notify_all(). Once awakened, wait() re-acquires the lock and returns. It is also possible to specify a timeout.

The notify() method wakes up one of the threads waiting for the condition variable, if any are waiting. The notify_all() method wakes up all threads waiting for the condition variable.

Note: the notify() and notify_all() methods don’t release the lock; this means that the thread or threads awakened will not return from their wait() call immediately, but only when the thread that called notify() or notify_all() finally relinquishes ownership of the lock.

The typical programming style using condition variables uses the lock to synchronize access to some shared state; threads that are interested in a particular change of state call wait() repeatedly until they see the desired state, while threads that modify the state call notify() or notify_all() when they change the state in such a way that it could possibly be a desired state for one of the waiters. For example, the following code is a generic producer-consumer situation with unlimited buffer capacity:

# Consume one item
with cv:
    while not an_item_is_available():
        cv.wait()
    get_an_available_item()

# Produce one item
with cv:
    make_an_item_available()
    cv.notify()

The while loop checking for the application’s condition is necessary because wait() can return after an arbitrary long time, and the condition which prompted the notify() call may no longer hold true. This is inherent to multi-threaded programming. The wait_for() method can be used to automate the condition checking, and eases the computation of timeouts:

# Consume an item
with cv:
    cv.wait_for(an_item_is_available)
    get_an_available_item()

To choose between notify() and notify_all(), consider whether one state change can be interesting for only one or several waiting threads. E.g. in a typical producer-consumer situation, adding one item to the buffer only needs to wake up one consumer thread.

class threading.Condition(lock=None)

This class implements condition variable objects. A condition variable allows one or more threads to wait until they are notified by another thread.

If the lock argument is given and not None, it must be a Lock or RLock object, and it is used as the underlying lock. Otherwise, a new RLock object is created and used as the underlying lock.

Alterado na versão 3.3: changed from a factory function to a class.

acquire(*args)

Acquire the underlying lock. This method calls the corresponding method on the underlying lock; the return value is whatever that method returns.

release()

Release the underlying lock. This method calls the corresponding method on the underlying lock; there is no return value.

wait(timeout=None)

Wait until notified or until a timeout occurs. If the calling thread has not acquired the lock when this method is called, a RuntimeError is raised.

This method releases the underlying lock, and then blocks until it is awakened by a notify() or notify_all() call for the same condition variable in another thread, or until the optional timeout occurs. Once awakened or timed out, it re-acquires the lock and returns.

When the timeout argument is present and not None, it should be a floating-point number specifying a timeout for the operation in seconds (or fractions thereof).

When the underlying lock is an RLock, it is not released using its release() method, since this may not actually unlock the lock when it was acquired multiple times recursively. Instead, an internal interface of the RLock class is used, which really unlocks it even when it has been recursively acquired several times. Another internal interface is then used to restore the recursion level when the lock is reacquired.

The return value is True unless a given timeout expired, in which case it is False.

Alterado na versão 3.2: Previously, the method always returned None.

wait_for(predicate, timeout=None)

Wait until a condition evaluates to true. predicate should be a callable which result will be interpreted as a boolean value. A timeout may be provided giving the maximum time to wait.

This utility method may call wait() repeatedly until the predicate is satisfied, or until a timeout occurs. The return value is the last return value of the predicate and will evaluate to False if the method timed out.

Ignoring the timeout feature, calling this method is roughly equivalent to writing:

while not predicate():
    cv.wait()

Therefore, the same rules apply as with wait(): The lock must be held when called and is re-acquired on return. The predicate is evaluated with the lock held.

Adicionado na versão 3.2.

notify(n=1)

By default, wake up one thread waiting on this condition, if any. If the calling thread has not acquired the lock when this method is called, a RuntimeError is raised.

This method wakes up at most n of the threads waiting for the condition variable; it is a no-op if no threads are waiting.

The current implementation wakes up exactly n threads, if at least n threads are waiting. However, it’s not safe to rely on this behavior. A future, optimized implementation may occasionally wake up more than n threads.

Note: an awakened thread does not actually return from its wait() call until it can reacquire the lock. Since notify() does not release the lock, its caller should.

notify_all()

Wake up all threads waiting on this condition. This method acts like notify(), but wakes up all waiting threads instead of one. If the calling thread has not acquired the lock when this method is called, a RuntimeError is raised.

The method notifyAll is a deprecated alias for this method.

Semaphore Objects

This is one of the oldest synchronization primitives in the history of computer science, invented by the early Dutch computer scientist Edsger W. Dijkstra (he used the names P() and V() instead of acquire() and release()).

A semaphore manages an internal counter which is decremented by each acquire() call and incremented by each release() call. The counter can never go below zero; when acquire() finds that it is zero, it blocks, waiting until some other thread calls release().

Semaphores also support the context management protocol.

class threading.Semaphore(value=1)

This class implements semaphore objects. A semaphore manages an atomic counter representing the number of release() calls minus the number of acquire() calls, plus an initial value. The acquire() method blocks if necessary until it can return without making the counter negative. If not given, value defaults to 1.

The optional argument gives the initial value for the internal counter; it defaults to 1. If the value given is less than 0, ValueError is raised.

Alterado na versão 3.3: changed from a factory function to a class.

acquire(blocking=True, timeout=None)

Acquire a semaphore.

When invoked without arguments:

If the internal counter is larger than zero on entry, decrement it by one and return True immediately.

If the internal counter is zero on entry, block until awoken by a call to release(). Once awoken (and the counter is greater than 0), decrement the counter by 1 and return True. Exactly one thread will be awoken by each call to release(). The order in which threads are awoken should not be relied on.

When invoked with blocking set to False, do not block. If a call without an argument would block, return False immediately; otherwise, do the same thing as when called without arguments, and return True.

When invoked with a timeout other than None, it will block for at most timeout seconds. If acquire does not complete successfully in that interval, return False. Return True otherwise.

Alterado na versão 3.2: O parâmetro timeout é novo.

release(n=1)

Release a semaphore, incrementing the internal counter by n. When it was zero on entry and other threads are waiting for it to become larger than zero again, wake up n of those threads.

Alterado na versão 3.9: Added the n parameter to release multiple waiting threads at once.

class threading.BoundedSemaphore(value=1)

Class implementing bounded semaphore objects. A bounded semaphore checks to make sure its current value doesn’t exceed its initial value. If it does, ValueError is raised. In most situations semaphores are used to guard resources with limited capacity. If the semaphore is released too many times it’s a sign of a bug. If not given, value defaults to 1.

Alterado na versão 3.3: changed from a factory function to a class.

Exemplo Semaphore

Semaphores are often used to guard resources with limited capacity, for example, a database server. In any situation where the size of the resource is fixed, you should use a bounded semaphore. Before spawning any worker threads, your main thread would initialize the semaphore:

maxconnections = 5
# ...
pool_sema = BoundedSemaphore(value=maxconnections)

Once spawned, worker threads call the semaphore’s acquire and release methods when they need to connect to the server:

with pool_sema:
    conn = connectdb()
    try:
        # ... use connection ...
    finally:
        conn.close()

The use of a bounded semaphore reduces the chance that a programming error which causes the semaphore to be released more than it’s acquired will go undetected.

Event Objects

This is one of the simplest mechanisms for communication between threads: one thread signals an event and other threads wait for it.

An event object manages an internal flag that can be set to true with the set() method and reset to false with the clear() method. The wait() method blocks until the flag is true.

class threading.Event

Class implementing event objects. An event manages a flag that can be set to true with the set() method and reset to false with the clear() method. The wait() method blocks until the flag is true. The flag is initially false.

Alterado na versão 3.3: changed from a factory function to a class.

is_set()

Return True if and only if the internal flag is true.

The method isSet is a deprecated alias for this method.

set()

Set the internal flag to true. All threads waiting for it to become true are awakened. Threads that call wait() once the flag is true will not block at all.

clear()

Reset the internal flag to false. Subsequently, threads calling wait() will block until set() is called to set the internal flag to true again.

wait(timeout=None)

Block as long as the internal flag is false and the timeout, if given, has not expired. The return value represents the reason that this blocking method returned; True if returning because the internal flag is set to true, or False if a timeout is given and the internal flag did not become true within the given wait time.

When the timeout argument is present and not None, it should be a floating-point number specifying a timeout for the operation in seconds, or fractions thereof.

Alterado na versão 3.1: Previously, the method always returned None.

Objetos Timer

This class represents an action that should be run only after a certain amount of time has passed — a timer. Timer is a subclass of Thread and as such also functions as an example of creating custom threads.

Timers are started, as with threads, by calling their Timer.start method. The timer can be stopped (before its action has begun) by calling the cancel() method. The interval the timer will wait before executing its action may not be exactly the same as the interval specified by the user.

Por exemplo:

def hello():
    print("hello, world")

t = Timer(30.0, hello)
t.start()  # after 30 seconds, "hello, world" will be printed

class threading.Timer(interval, function, args=None, kwargs=None)

Create a timer that will run function with arguments args and keyword arguments kwargs, after interval seconds have passed. If args is None (the default) then an empty list will be used. If kwargs is None (the default) then an empty dict will be used.

Alterado na versão 3.3: changed from a factory function to a class.

cancel()

Stop the timer, and cancel the execution of the timer’s action. This will only work if the timer is still in its waiting stage.

Barrier Objects

Adicionado na versão 3.2.

This class provides a simple synchronization primitive for use by a fixed number of threads that need to wait for each other. Each of the threads tries to pass the barrier by calling the wait() method and will block until all of the threads have made their wait() calls. At this point, the threads are released simultaneously.

The barrier can be reused any number of times for the same number of threads.

As an example, here is a simple way to synchronize a client and server thread:

b = Barrier(2, timeout=5)

def server():
    start_server()
    b.wait()
    while True:
        connection = accept_connection()
        process_server_connection(connection)

def client():
    b.wait()
    while True:
        connection = make_connection()
        process_client_connection(connection)

class threading.Barrier(parties, action=None, timeout=None)

Create a barrier object for parties number of threads. An action, when provided, is a callable to be called by one of the threads when they are released. timeout is the default timeout value if none is specified for the wait() method.

wait(timeout=None)

Pass the barrier. When all the threads party to the barrier have called this function, they are all released simultaneously. If a timeout is provided, it is used in preference to any that was supplied to the class constructor.

The return value is an integer in the range 0 to parties – 1, different for each thread. This can be used to select a thread to do some special housekeeping, e.g.:

i = barrier.wait()
if i == 0:
    # Only one thread needs to print this
    print("passed the barrier")

If an action was provided to the constructor, one of the threads will have called it prior to being released. Should this call raise an error, the barrier is put into the broken state.

If the call times out, the barrier is put into the broken state.

This method may raise a BrokenBarrierError exception if the barrier is broken or reset while a thread is waiting.

reset()

Return the barrier to the default, empty state. Any threads waiting on it will receive the BrokenBarrierError exception.

Note that using this function may require some external synchronization if there are other threads whose state is unknown. If a barrier is broken it may be better to just leave it and create a new one.

abort()

Put the barrier into a broken state. This causes any active or future calls to wait() to fail with the BrokenBarrierError. Use this for example if one of the threads needs to abort, to avoid deadlocking the application.

It may be preferable to simply create the barrier with a sensible timeout value to automatically guard against one of the threads going awry.

parties

The number of threads required to pass the barrier.

n_waiting

The number of threads currently waiting in the barrier.

broken

A boolean that is True if the barrier is in the broken state.

exception threading.BrokenBarrierError

This exception, a subclass of RuntimeError, is raised when the Barrier object is reset or broken.

Using locks, conditions, and semaphores in the with statement

All of the objects provided by this module that have acquire and release methods can be used as context managers for a with statement. The acquire method will be called when the block is entered, and release will be called when the block is exited. Hence, the following snippet:

with some_lock:
    # do something...

é equivalente a:

some_lock.acquire()
try:
    # do something...
finally:
    some_lock.release()

Currently, Lock, RLock, Condition, Semaphore, and BoundedSemaphore objects may be used as with statement context managers.

multiprocessing — Paralelismo baseado em processo

Código-fonte: Lib/multiprocessing/ [https://github.com/python/cpython/tree/3.13/Lib/multiprocessing/]

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Introdução

multiprocessing é um pacote que oferece suporte à invocação de processos utilizando uma API semelhante ao módulo threading. O pacote multiprocessing oferece simultaneamente concorrência local e remota, efetivamente contornando a trava global do interpretador, ao utilizar subprocessos ao invés de threads. Devido a isso, o módulo multiprocessing permite ao programador aproveitar totalmente os múltiplos processadores de uma máquina. Ele funciona tanto em POSIX como em Windows.

The multiprocessing module also introduces APIs which do not have analogs in the threading module. A prime example of this is the Pool object which offers a convenient means of parallelizing the execution of a function across multiple input values, distributing the input data across processes (data parallelism). The following example demonstrates the common practice of defining such functions in a module so that child processes can successfully import that module. This basic example of data parallelism using Pool,

from multiprocessing import Pool

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

irá exibir na saída padrão

[1, 4, 9]

Ver também

concurrent.futures.ProcessPoolExecutor offers a higher level interface to push tasks to a background process without blocking execution of the calling process. Compared to using the Pool interface directly, the concurrent.futures API more readily allows the submission of work to the underlying process pool to be separated from waiting for the results.

A classe Process

In multiprocessing, processes are spawned by creating a Process object and then calling its start() method. Process follows the API of threading.Thread. A trivial example of a multiprocess program is

from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

Para mostrar os IDs de processo individuais envolvidos, aqui está um exemplo expandido:

from multiprocessing import Process
import os

def info(title):
    print(title)
    print('module name:', __name__)
    print('parent process:', os.getppid())
    print('process id:', os.getpid())

def f(name):
    info('function f')
    print('hello', name)

if __name__ == '__main__':
    info('main line')
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

Para uma explicação do porquê a parte if __name__ == '__main__' é necessária, veja Programming guidelines.

Contextos e métodos de inicialização

Dependendo da plataforma, multiprocessing suporta três maneiras de iniciar um processo. Estes métodos de início são

spawn

The parent process starts a fresh Python interpreter process. The child process will only inherit those resources necessary to run the process object’s run() method. In particular, unnecessary file descriptors and handles from the parent process will not be inherited. Starting a process using this method is rather slow compared to using fork or forkserver.

Available on POSIX and Windows platforms. The default on Windows and macOS.

fork

The parent process uses os.fork() to fork the Python interpreter. The child process, when it begins, is effectively identical to the parent process. All resources of the parent are inherited by the child process. Note that safely forking a multithreaded process is problematic.

Available on POSIX systems. Currently the default on POSIX except macOS.

Nota

The default start method will change away from fork in Python 3.14. Code that requires fork should explicitly specify that via get_context() or set_start_method().

Alterado na versão 3.12: If Python is able to detect that your process has multiple threads, the os.fork() function that this start method calls internally will raise a DeprecationWarning. Use a different start method. See the os.fork() documentation for further explanation.

forkserver

When the program starts and selects the forkserver start method, a server process is spawned. From then on, whenever a new process is needed, the parent process connects to the server and requests that it fork a new process. The fork server process is single threaded unless system libraries or preloaded imports spawn threads as a side-effect so it is generally safe for it to use os.fork(). No unnecessary resources are inherited.

Available on POSIX platforms which support passing file descriptors over Unix pipes such as Linux.

Alterado na versão 3.4: spawn added on all POSIX platforms, and forkserver added for some POSIX platforms. Child processes no longer inherit all of the parents inheritable handles on Windows.

Alterado na versão 3.8: On macOS, the spawn start method is now the default. The fork start method should be considered unsafe as it can lead to crashes of the subprocess as macOS system libraries may start threads. See bpo-33725 [https://bugs.python.org/issue?@action=redirect&bpo=33725].

On POSIX using the spawn or forkserver start methods will also start a resource tracker process which tracks the unlinked named system resources (such as named semaphores or SharedMemory objects) created by processes of the program. When all processes have exited the resource tracker unlinks any remaining tracked object. Usually there should be none, but if a process was killed by a signal there may be some “leaked” resources. (Neither leaked semaphores nor shared memory segments will be automatically unlinked until the next reboot. This is problematic for both objects because the system allows only a limited number of named semaphores, and shared memory segments occupy some space in the main memory.)

To select a start method you use the set_start_method() in the if __name__ == '__main__' clause of the main module. For example:

import multiprocessing as mp

def foo(q):
    q.put('hello')

if __name__ == '__main__':
    mp.set_start_method('spawn')
    q = mp.Queue()
    p = mp.Process(target=foo, args=(q,))
    p.start()
    print(q.get())
    p.join()

set_start_method() should not be used more than once in the program.

Alternatively, you can use get_context() to obtain a context object. Context objects have the same API as the multiprocessing module, and allow one to use multiple start methods in the same program.

import multiprocessing as mp

def foo(q):
    q.put('hello')

if __name__ == '__main__':
    ctx = mp.get_context('spawn')
    q = ctx.Queue()
    p = ctx.Process(target=foo, args=(q,))
    p.start()
    print(q.get())
    p.join()

Note that objects related to one context may not be compatible with processes for a different context. In particular, locks created using the fork context cannot be passed to processes started using the spawn or forkserver start methods.

Uma biblioteca que deseja utilizar um método de início específico provavelmente deve utilizar get_context() para evitar interferir na escolha do usuário.

Aviso

The 'spawn' and 'forkserver' start methods generally cannot be used with “frozen” executables (i.e., binaries produced by packages like PyInstaller and cx_Freeze) on POSIX systems. The 'fork' start method may work if code does not use threads.

Trocando objetos entre processos

multiprocessing supports two types of communication channel between processes:

Filas

A classe Queue é quase um clone de queue.Queue. Por exemplo:

from multiprocessing import Process, Queue

def f(q):
    q.put([42, None, 'hello'])

if __name__ == '__main__':
    q = Queue()
    p = Process(target=f, args=(q,))
    p.start()
    print(q.get())    # prints "[42, None, 'hello']"
    p.join()

Queues are thread and process safe. Any object put into a multiprocessing queue will be serialized.

Pipes

The Pipe() function returns a pair of connection objects connected by a pipe which by default is duplex (two-way). For example:

from multiprocessing import Process, Pipe

def f(conn):
    conn.send([42, None, 'hello'])
    conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    p = Process(target=f, args=(child_conn,))
    p.start()
    print(parent_conn.recv())   # prints "[42, None, 'hello']"
    p.join()

The two connection objects returned by Pipe() represent the two ends of the pipe. Each connection object has send() and recv() methods (among others). Note that data in a pipe may become corrupted if two processes (or threads) try to read from or write to the same end of the pipe at the same time. Of course there is no risk of corruption from processes using different ends of the pipe at the same time.

The send() method serializes the the object and recv() re-creates the object.

Sincronização entre processos

multiprocessing contains equivalents of all the synchronization primitives from threading. For instance one can use a lock to ensure that only one process prints to standard output at a time:

from multiprocessing import Process, Lock

def f(l, i):
    l.acquire()
    try:
        print('hello world', i)
    finally:
        l.release()

if __name__ == '__main__':
    lock = Lock()

    for num in range(10):
        Process(target=f, args=(lock, num)).start()

Sem utilizar a saída da trava dos diferentes processos, é possível que tudo fique confuso.

Compartilhando estado entre processos

Conforme mencionado acima, ao fazer programação concorrente, geralmente é melhor evitar o uso de estado compartilhado, tanto quanto possível. Isso é particularmente verdadeiro ao utilizar múltiplos processos.

No entanto, se você realmente precisa utilizar algum compartilhamento de dados, então multiprocessing fornece algumas maneiras de se fazer isso.

Shared memory

Os dados podem ser armazenados em um mapa de memória compartilhado utilizando Value ou Array. Por exemplo, o código a seguir

from multiprocessing import Process, Value, Array

def f(n, a):
    n.value = 3.1415927
    for i in range(len(a)):
        a[i] = -a[i]

if __name__ == '__main__':
    num = Value('d', 0.0)
    arr = Array('i', range(10))

    p = Process(target=f, args=(num, arr))
    p.start()
    p.join()

    print(num.value)
    print(arr[:])

será impresso:

3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]

The 'd' and 'i' arguments used when creating num and arr are typecodes of the kind used by the array module: 'd' indicates a double precision float and 'i' indicates a signed integer. These shared objects will be process and thread-safe.

Para mais flexibilidade no uso de memória compartilhada, pode-se utilizar o módulo multiprocessing.sharedctypes, que suporta a criação de objetos ctypes arbritários alocados da memória compartilhada.

Processo do Servidor

A manager object returned by Manager() controls a server process which holds Python objects and allows other processes to manipulate them using proxies.

A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array. For example,

from multiprocessing import Process, Manager

def f(d, l):
    d[1] = '1'
    d['2'] = 2
    d[0.25] = None
    l.reverse()

if __name__ == '__main__':
    with Manager() as manager:
        d = manager.dict()
        l = manager.list(range(10))

        p = Process(target=f, args=(d, l))
        p.start()
        p.join()

        print(d)
        print(l)

será impresso:

{0.25: None, 1: '1', '2': 2}
[9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

Server process managers are more flexible than using shared memory objects because they can be made to support arbitrary object types. Also, a single manager can be shared by processes on different computers over a network. They are, however, slower than using shared memory.

Using a pool of workers

The Pool class represents a pool of worker processes. It has methods which allows tasks to be offloaded to the worker processes in a few different ways.

Por exemplo:

from multiprocessing import Pool, TimeoutError
import time
import os

def f(x):
    return x*x

if __name__ == '__main__':
    # start 4 worker processes
    with Pool(processes=4) as pool:

        # print "[0, 1, 4,..., 81]"
        print(pool.map(f, range(10)))

        # print same numbers in arbitrary order
        for i in pool.imap_unordered(f, range(10)):
            print(i)

        # evaluate "f(20)" asynchronously
        res = pool.apply_async(f, (20,))      # runs in *only* one process
        print(res.get(timeout=1))             # prints "400"

        # evaluate "os.getpid()" asynchronously
        res = pool.apply_async(os.getpid, ()) # runs in *only* one process
        print(res.get(timeout=1))             # prints the PID of that process

        # launching multiple evaluations asynchronously *may* use more processes
        multiple_results = [pool.apply_async(os.getpid, ()) for i in range(4)]
        print([res.get(timeout=1) for res in multiple_results])

        # make a single worker sleep for 10 seconds
        res = pool.apply_async(time.sleep, (10,))
        try:
            print(res.get(timeout=1))
        except TimeoutError:
            print("We lacked patience and got a multiprocessing.TimeoutError")

        print("For the moment, the pool remains available for more work")

    # exiting the 'with'-block has stopped the pool
    print("Now the pool is closed and no longer available")

Note that the methods of a pool should only ever be used by the process which created it.

Nota

Functionality within this package requires that the __main__ module be importable by the children. This is covered in Programming guidelines however it is worth pointing out here. This means that some examples, such as the multiprocessing.pool.Pool examples will not work in the interactive interpreter. For example:

>>> from multiprocessing import Pool
>>> p = Pool(5)
>>> def f(x):
...     return x*x
...
>>> with p:
...     p.map(f, [1,2,3])
Process PoolWorker-1:
Process PoolWorker-2:
Process PoolWorker-3:
Traceback (most recent call last):
Traceback (most recent call last):
Traceback (most recent call last):
AttributeError: Can't get attribute 'f' on <module '__main__' (<class '_frozen_importlib.BuiltinImporter'>)>
AttributeError: Can't get attribute 'f' on <module '__main__' (<class '_frozen_importlib.BuiltinImporter'>)>
AttributeError: Can't get attribute 'f' on <module '__main__' (<class '_frozen_importlib.BuiltinImporter'>)>

(If you try this it will actually output three full tracebacks interleaved in a semi-random fashion, and then you may have to stop the parent process somehow.)

Referência

The multiprocessing package mostly replicates the API of the threading module.

Process and exceptions

class multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)

Objetos processo representam atividades que são executadas em um processo separado. A classe Process possui equivalentes de todos os métodos de threading.Thread.

The constructor should always be called with keyword arguments. group should always be None; it exists solely for compatibility with threading.Thread. target is the callable object to be invoked by the run() method. It defaults to None, meaning nothing is called. name is the process name (see name for more details). args is the argument tuple for the target invocation. kwargs is a dictionary of keyword arguments for the target invocation. If provided, the keyword-only daemon argument sets the process daemon flag to True or False. If None (the default), this flag will be inherited from the creating process.

By default, no arguments are passed to target. The args argument, which defaults to (), can be used to specify a list or tuple of the arguments to pass to target.

If a subclass overrides the constructor, it must make sure it invokes the base class constructor (Process.__init__()) before doing anything else to the process.

Alterado na versão 3.3: Added the daemon parameter.

run()

Método que representa a atividade do processo.

You may override this method in a subclass. The standard run() method invokes the callable object passed to the object’s constructor as the target argument, if any, with sequential and keyword arguments taken from the args and kwargs arguments, respectively.

Using a list or tuple as the args argument passed to Process achieves the same effect.

Exemplo:

>>> from multiprocessing import Process
>>> p = Process(target=print, args=[1])
>>> p.run()
1
>>> p = Process(target=print, args=(1,))
>>> p.run()
1

start()

Inicia a atividade do processo.

This must be called at most once per process object. It arranges for the object’s run() method to be invoked in a separate process.

join([timeout])

If the optional argument timeout is None (the default), the method blocks until the process whose join() method is called terminates. If timeout is a positive number, it blocks at most timeout seconds. Note that the method returns None if its process terminates or if the method times out. Check the process’s exitcode to determine if it terminated.

A process can be joined many times.

A process cannot join itself because this would cause a deadlock. It is an error to attempt to join a process before it has been started.

name

The process’s name. The name is a string used for identification purposes only. It has no semantics. Multiple processes may be given the same name.

The initial name is set by the constructor. If no explicit name is provided to the constructor, a name of the form ‘Process-N₁:N₂:…:Nk’ is constructed, where each Nk is the N-th child of its parent.

is_alive()

Retorna se o processo está ativo.

Roughly, a process object is alive from the moment the start() method returns until the child process terminates.

daemon

The process’s daemon flag, a Boolean value. This must be set before start() is called.

The initial value is inherited from the creating process.

When a process exits, it attempts to terminate all of its daemonic child processes.

Note that a daemonic process is not allowed to create child processes. Otherwise a daemonic process would leave its children orphaned if it gets terminated when its parent process exits. Additionally, these are not Unix daemons or services, they are normal processes that will be terminated (and not joined) if non-daemonic processes have exited.

In addition to the threading.Thread API, Process objects also support the following attributes and methods:

pid

Return the process ID. Before the process is spawned, this will be None.

exitcode

The child’s exit code. This will be None if the process has not yet terminated.

If the child’s run() method returned normally, the exit code will be 0. If it terminated via sys.exit() with an integer argument N, the exit code will be N.

If the child terminated due to an exception not caught within run(), the exit code will be 1. If it was terminated by signal N, the exit code will be the negative value -N.

authkey

The process’s authentication key (a byte string).

When multiprocessing is initialized the main process is assigned a random string using os.urandom().

When a Process object is created, it will inherit the authentication key of its parent process, although this may be changed by setting authkey to another byte string.

See Authentication keys.

sentinel

A numeric handle of a system object which will become “ready” when the process ends.

You can use this value if you want to wait on several events at once using multiprocessing.connection.wait(). Otherwise calling join() is simpler.

On Windows, this is an OS handle usable with the WaitForSingleObject and WaitForMultipleObjects family of API calls. On POSIX, this is a file descriptor usable with primitives from the select module.

Adicionado na versão 3.3.

terminate()

Terminate the process. On POSIX this is done using the SIGTERM signal; on Windows TerminateProcess() is used. Note that exit handlers and finally clauses, etc., will not be executed.

Note that descendant processes of the process will not be terminated – they will simply become orphaned.

Aviso

If this method is used when the associated process is using a pipe or queue then the pipe or queue is liable to become corrupted and may become unusable by other process. Similarly, if the process has acquired a lock or semaphore etc. then terminating it is liable to cause other processes to deadlock.

kill()

Same as terminate() but using the SIGKILL signal on POSIX.

Adicionado na versão 3.7.

close()

Close the Process object, releasing all resources associated with it. ValueError is raised if the underlying process is still running. Once close() returns successfully, most other methods and attributes of the Process object will raise ValueError.

Adicionado na versão 3.7.

Note that the start(), join(), is_alive(), terminate() and exitcode methods should only be called by the process that created the process object.

Example usage of some of the methods of Process:

>>> import multiprocessing, time, signal
>>> mp_context = multiprocessing.get_context('spawn')
>>> p = mp_context.Process(target=time.sleep, args=(1000,))
>>> print(p, p.is_alive())
<...Process ... initial> False
>>> p.start()
>>> print(p, p.is_alive())
<...Process ... started> True
>>> p.terminate()
>>> time.sleep(0.1)
>>> print(p, p.is_alive())
<...Process ... stopped exitcode=-SIGTERM> False
>>> p.exitcode == -signal.SIGTERM
True

exception multiprocessing.ProcessError

The base class of all multiprocessing exceptions.

exception multiprocessing.BufferTooShort

Exception raised by Connection.recv_bytes_into() when the supplied buffer object is too small for the message read.

If e is an instance of BufferTooShort then e.args[0] will give the message as a byte string.

exception multiprocessing.AuthenticationError

Raised when there is an authentication error.

exception multiprocessing.TimeoutError

Raised by methods with a timeout when the timeout expires.

Pipes and Queues

When using multiple processes, one generally uses message passing for communication between processes and avoids having to use any synchronization primitives like locks.

For passing messages one can use Pipe() (for a connection between two processes) or a queue (which allows multiple producers and consumers).

The Queue, SimpleQueue and JoinableQueue types are multi-producer, multi-consumer FIFO queues modelled on the queue.Queue class in the standard library. They differ in that Queue lacks the task_done() and join() methods introduced into Python 2.5’s queue.Queue class.

If you use JoinableQueue then you must call JoinableQueue.task_done() for each task removed from the queue or else the semaphore used to count the number of unfinished tasks may eventually overflow, raising an exception.

One difference from other Python queue implementations, is that multiprocessing queues serializes all objects that are put into them using pickle. The object return by the get method is a re-created object that does not share memory with the original object.

Note that one can also create a shared queue by using a manager object – see Gerenciadores.

Nota

multiprocessing uses the usual queue.Empty and queue.Full exceptions to signal a timeout. They are not available in the multiprocessing namespace so you need to import them from queue.

Nota

When an object is put on a queue, the object is pickled and a background thread later flushes the pickled data to an underlying pipe. This has some consequences which are a little surprising, but should not cause any practical difficulties – if they really bother you then you can instead use a queue created with a manager.

After putting an object on an empty queue there may be an infinitesimal delay before the queue’s empty() method returns False and get_nowait() can return without raising queue.Empty.

If multiple processes are enqueuing objects, it is possible for the objects to be received at the other end out-of-order. However, objects enqueued by the same process will always be in the expected order with respect to each other.

Aviso

If a process is killed using Process.terminate() or os.kill() while it is trying to use a Queue, then the data in the queue is likely to become corrupted. This may cause any other process to get an exception when it tries to use the queue later on.

Aviso

As mentioned above, if a child process has put items on a queue (and it has not used JoinableQueue.cancel_join_thread), then that process will not terminate until all buffered items have been flushed to the pipe.

This means that if you try joining that process you may get a deadlock unless you are sure that all items which have been put on the queue have been consumed. Similarly, if the child process is non-daemonic then the parent process may hang on exit when it tries to join all its non-daemonic children.

Note that a queue created using a manager does not have this issue. See Programming guidelines.

For an example of the usage of queues for interprocess communication see Exemplos.

multiprocessing.Pipe([duplex])

Returns a pair (conn1, conn2) of Connection objects representing the ends of a pipe.

If duplex is True (the default) then the pipe is bidirectional. If duplex is False then the pipe is unidirectional: conn1 can only be used for receiving messages and conn2 can only be used for sending messages.

The send() method serializes the the object using pickle and the recv() re-creates the object.

class multiprocessing.Queue([maxsize])

Returns a process shared queue implemented using a pipe and a few locks/semaphores. When a process first puts an item on the queue a feeder thread is started which transfers objects from a buffer into the pipe.

The usual queue.Empty and queue.Full exceptions from the standard library’s queue module are raised to signal timeouts.

Queue implements all the methods of queue.Queue except for task_done() and join().

qsize()

Return the approximate size of the queue. Because of multithreading/multiprocessing semantics, this number is not reliable.

Note that this may raise NotImplementedError on platforms like macOS where sem_getvalue() is not implemented.

empty()

Return True if the queue is empty, False otherwise. Because of multithreading/multiprocessing semantics, this is not reliable.

May raise an OSError on closed queues. (not guaranteed)

full()

Return True if the queue is full, False otherwise. Because of multithreading/multiprocessing semantics, this is not reliable.

put(obj[, block[, timeout]])

Put obj into the queue. If the optional argument block is True (the default) and timeout is None (the default), block if necessary until a free slot is available. If timeout is a positive number, it blocks at most timeout seconds and raises the queue.Full exception if no free slot was available within that time. Otherwise (block is False), put an item on the queue if a free slot is immediately available, else raise the queue.Full exception (timeout is ignored in that case).

Alterado na versão 3.8: If the queue is closed, ValueError is raised instead of AssertionError.

put_nowait(obj)

Equivalent to put(obj, False).

get([block[, timeout]])

Remove and return an item from the queue. If optional args block is True (the default) and timeout is None (the default), block if necessary until an item is available. If timeout is a positive number, it blocks at most timeout seconds and raises the queue.Empty exception if no item was available within that time. Otherwise (block is False), return an item if one is immediately available, else raise the queue.Empty exception (timeout is ignored in that case).

Alterado na versão 3.8: If the queue is closed, ValueError is raised instead of OSError.

get_nowait()

Equivalente a get(False).

multiprocessing.Queue has a few additional methods not found in queue.Queue. These methods are usually unnecessary for most code:

close()

Indicate that no more data will be put on this queue by the current process. The background thread will quit once it has flushed all buffered data to the pipe. This is called automatically when the queue is garbage collected.

join_thread()

Join the background thread. This can only be used after close() has been called. It blocks until the background thread exits, ensuring that all data in the buffer has been flushed to the pipe.

By default if a process is not the creator of the queue then on exit it will attempt to join the queue’s background thread. The process can call cancel_join_thread() to make join_thread() do nothing.

cancel_join_thread()

Prevent join_thread() from blocking. In particular, this prevents the background thread from being joined automatically when the process exits – see join_thread().

A better name for this method might be allow_exit_without_flush(). It is likely to cause enqueued data to be lost, and you almost certainly will not need to use it. It is really only there if you need the current process to exit immediately without waiting to flush enqueued data to the underlying pipe, and you don’t care about lost data.

Nota

This class’s functionality requires a functioning shared semaphore implementation on the host operating system. Without one, the functionality in this class will be disabled, and attempts to instantiate a Queue will result in an ImportError. See bpo-3770 [https://bugs.python.org/issue?@action=redirect&bpo=3770] for additional information. The same holds true for any of the specialized queue types listed below.

class multiprocessing.SimpleQueue

It is a simplified Queue type, very close to a locked Pipe.

close()

Close the queue: release internal resources.

A queue must not be used anymore after it is closed. For example, get(), put() and empty() methods must no longer be called.

Adicionado na versão 3.9.

empty()

Retorna True se a fila estiver vazia, False caso contrário.

Always raises an OSError if the SimpleQueue is closed.

get()

Remove and return an item from the queue.

put(item)

Put item into the queue.

class multiprocessing.JoinableQueue([maxsize])

JoinableQueue, a Queue subclass, is a queue which additionally has task_done() and join() methods.

task_done()

Indicate that a formerly enqueued task is complete. Used by queue consumers. For each get() used to fetch a task, a subsequent call to task_done() tells the queue that the processing on the task is complete.

If a join() is currently blocking, it will resume when all items have been processed (meaning that a task_done() call was received for every item that had been put() into the queue).

Raises a ValueError if called more times than there were items placed in the queue.

join()

Block until all items in the queue have been gotten and processed.

The count of unfinished tasks goes up whenever an item is added to the queue. The count goes down whenever a consumer calls task_done() to indicate that the item was retrieved and all work on it is complete. When the count of unfinished tasks drops to zero, join() unblocks.

Diversos

multiprocessing.active_children()

Return list of all live children of the current process.

Calling this has the side effect of “joining” any processes which have already finished.

multiprocessing.cpu_count()

Return the number of CPUs in the system.

This number is not equivalent to the number of CPUs the current process can use. The number of usable CPUs can be obtained with os.process_cpu_count() (or len(os.sched_getaffinity(0))).

When the number of CPUs cannot be determined a NotImplementedError is raised.

Ver também

os.cpu_count() os.process_cpu_count()

Alterado na versão 3.13: The return value can also be overridden using the -X cpu_count flag or PYTHON_CPU_COUNT as this is merely a wrapper around the os cpu count APIs.

multiprocessing.current_process()

Return the Process object corresponding to the current process.

An analogue of threading.current_thread().

multiprocessing.parent_process()

Return the Process object corresponding to the parent process of the current_process(). For the main process, parent_process will be None.

Adicionado na versão 3.8.

multiprocessing.freeze_support()

Add support for when a program which uses multiprocessing has been frozen to produce a Windows executable. (Has been tested with py2exe, PyInstaller and cx_Freeze.)

One needs to call this function straight after the if __name__ == '__main__' line of the main module. For example:

from multiprocessing import Process, freeze_support

def f():
    print('hello world!')

if __name__ == '__main__':
    freeze_support()
    Process(target=f).start()

If the freeze_support() line is omitted then trying to run the frozen executable will raise RuntimeError.

Calling freeze_support() has no effect when invoked on any operating system other than Windows. In addition, if the module is being run normally by the Python interpreter on Windows (the program has not been frozen), then freeze_support() has no effect.

multiprocessing.get_all_start_methods()

Returns a list of the supported start methods, the first of which is the default. The possible start methods are 'fork', 'spawn' and 'forkserver'. Not all platforms support all methods. See Contextos e métodos de inicialização.

Adicionado na versão 3.4.

multiprocessing.get_context(method=None)

Return a context object which has the same attributes as the multiprocessing module.

If method is None then the default context is returned. Otherwise method should be 'fork', 'spawn', 'forkserver'. ValueError is raised if the specified start method is not available. See Contextos e métodos de inicialização.

Adicionado na versão 3.4.

multiprocessing.get_start_method(allow_none=False)

Return the name of start method used for starting processes.

If the start method has not been fixed and allow_none is false, then the start method is fixed to the default and the name is returned. If the start method has not been fixed and allow_none is true then None is returned.

The return value can be 'fork', 'spawn', 'forkserver' or None. See Contextos e métodos de inicialização.

Adicionado na versão 3.4.

Alterado na versão 3.8: On macOS, the spawn start method is now the default. The fork start method should be considered unsafe as it can lead to crashes of the subprocess. See bpo-33725 [https://bugs.python.org/issue?@action=redirect&bpo=33725].

multiprocessing.set_executable(executable)

Set the path of the Python interpreter to use when starting a child process. (By default sys.executable is used). Embedders will probably need to do some thing like

set_executable(os.path.join(sys.exec_prefix, 'pythonw.exe'))

before they can create child processes.

Alterado na versão 3.4: Now supported on POSIX when the 'spawn' start method is used.

Alterado na versão 3.11: Aceita um objeto caminho ou similar.

multiprocessing.set_forkserver_preload(module_names)

Set a list of module names for the forkserver main process to attempt to import so that their already imported state is inherited by forked processes. Any ImportError when doing so is silently ignored. This can be used as a performance enhancement to avoid repeated work in every process.

For this to work, it must be called before the forkserver process has been launched (before creating a Pool or starting a Process).

Only meaningful when using the 'forkserver' start method. See Contextos e métodos de inicialização.

Adicionado na versão 3.4.

multiprocessing.set_start_method(method, force=False)

Set the method which should be used to start child processes. The method argument can be 'fork', 'spawn' or 'forkserver'. Raises RuntimeError if the start method has already been set and force is not True. If method is None and force is True then the start method is set to None. If method is None and force is False then the context is set to the default context.

Note that this should be called at most once, and it should be protected inside the if __name__ == '__main__' clause of the main module.

See Contextos e métodos de inicialização.

Adicionado na versão 3.4.

Nota

multiprocessing contains no analogues of threading.active_count(), threading.enumerate(), threading.settrace(), threading.setprofile(), threading.Timer, or threading.local.

Connection Objects

Connection objects allow the sending and receiving of picklable objects or strings. They can be thought of as message oriented connected sockets.

Connection objects are usually created using Pipe – see also Listeners and Clients.

class multiprocessing.connection.Connection

send(obj)

Send an object to the other end of the connection which should be read using recv().

The object must be picklable. Very large pickles (approximately 32 MiB+, though it depends on the OS) may raise a ValueError exception.

recv()

Return an object sent from the other end of the connection using send(). Blocks until there is something to receive. Raises EOFError if there is nothing left to receive and the other end was closed.

fileno()

Return the file descriptor or handle used by the connection.

close()

Close the connection.

This is called automatically when the connection is garbage collected.

poll([timeout])

Return whether there is any data available to be read.

If timeout is not specified then it will return immediately. If timeout is a number then this specifies the maximum time in seconds to block. If timeout is None then an infinite timeout is used.

Note that multiple connection objects may be polled at once by using multiprocessing.connection.wait().

send_bytes(buffer[, offset[, size]])

Send byte data from a bytes-like object as a complete message.

If offset is given then data is read from that position in buffer. If size is given then that many bytes will be read from buffer. Very large buffers (approximately 32 MiB+, though it depends on the OS) may raise a ValueError exception

recv_bytes([maxlength])

Return a complete message of byte data sent from the other end of the connection as a string. Blocks until there is something to receive. Raises EOFError if there is nothing left to receive and the other end has closed.

If maxlength is specified and the message is longer than maxlength then OSError is raised and the connection will no longer be readable.

Alterado na versão 3.3: This function used to raise IOError, which is now an alias of OSError.

recv_bytes_into(buffer[, offset])

Read into buffer a complete message of byte data sent from the other end of the connection and return the number of bytes in the message. Blocks until there is something to receive. Raises EOFError if there is nothing left to receive and the other end was closed.

buffer must be a writable bytes-like object. If offset is given then the message will be written into the buffer from that position. Offset must be a non-negative integer less than the length of buffer (in bytes).

If the buffer is too short then a BufferTooShort exception is raised and the complete message is available as e.args[0] where e is the exception instance.

Alterado na versão 3.3: Connection objects themselves can now be transferred between processes using Connection.send() and Connection.recv().

Connection objects also now support the context management protocol – see Tipos de Gerenciador de Contexto. __enter__() returns the connection object, and __exit__() calls close().

Por exemplo:

>>> from multiprocessing import Pipe
>>> a, b = Pipe()
>>> a.send([1, 'hello', None])
>>> b.recv()
[1, 'hello', None]
>>> b.send_bytes(b'thank you')
>>> a.recv_bytes()
b'thank you'
>>> import array
>>> arr1 = array.array('i', range(5))
>>> arr2 = array.array('i', [0] * 10)
>>> a.send_bytes(arr1)
>>> count = b.recv_bytes_into(arr2)
>>> assert count == len(arr1) * arr1.itemsize
>>> arr2
array('i', [0, 1, 2, 3, 4, 0, 0, 0, 0, 0])

Aviso

The Connection.recv() method automatically unpickles the data it receives, which can be a security risk unless you can trust the process which sent the message.

Therefore, unless the connection object was produced using Pipe() you should only use the recv() and send() methods after performing some sort of authentication. See Authentication keys.

Aviso

If a process is killed while it is trying to read or write to a pipe then the data in the pipe is likely to become corrupted, because it may become impossible to be sure where the message boundaries lie.

Synchronization primitives

Generally synchronization primitives are not as necessary in a multiprocess program as they are in a multithreaded program. See the documentation for threading module.

Note that one can also create synchronization primitives by using a manager object – see Gerenciadores.

class multiprocessing.Barrier(parties[, action[, timeout]])

A barrier object: a clone of threading.Barrier.

Adicionado na versão 3.3.

class multiprocessing.BoundedSemaphore([value])

A bounded semaphore object: a close analog of threading.BoundedSemaphore.

A solitary difference from its close analog exists: its acquire method’s first argument is named block, as is consistent with Lock.acquire().

Nota

On macOS, this is indistinguishable from Semaphore because sem_getvalue() is not implemented on that platform.

class multiprocessing.Condition([lock])

A condition variable: an alias for threading.Condition.

If lock is specified then it should be a Lock or RLock object from multiprocessing.

Alterado na versão 3.3: The wait_for() method was added.

class multiprocessing.Event

A clone of threading.Event.

class multiprocessing.Lock

A non-recursive lock object: a close analog of threading.Lock. Once a process or thread has acquired a lock, subsequent attempts to acquire it from any process or thread will block until it is released; any process or thread may release it. The concepts and behaviors of threading.Lock as it applies to threads are replicated here in multiprocessing.Lock as it applies to either processes or threads, except as noted.

Note that Lock is actually a factory function which returns an instance of multiprocessing.synchronize.Lock initialized with a default context.

Lock supports the context manager protocol and thus may be used in with statements.

acquire(block=True, timeout=None)

Acquire a lock, blocking or non-blocking.

With the block argument set to True (the default), the method call will block until the lock is in an unlocked state, then set it to locked and return True. Note that the name of this first argument differs from that in threading.Lock.acquire().

With the block argument set to False, the method call does not block. If the lock is currently in a locked state, return False; otherwise set the lock to a locked state and return True.

When invoked with a positive, floating-point value for timeout, block for at most the number of seconds specified by timeout as long as the lock can not be acquired. Invocations with a negative value for timeout are equivalent to a timeout of zero. Invocations with a timeout value of None (the default) set the timeout period to infinite. Note that the treatment of negative or None values for timeout differs from the implemented behavior in threading.Lock.acquire(). The timeout argument has no practical implications if the block argument is set to False and is thus ignored. Returns True if the lock has been acquired or False if the timeout period has elapsed.

release()

Release a lock. This can be called from any process or thread, not only the process or thread which originally acquired the lock.

Behavior is the same as in threading.Lock.release() except that when invoked on an unlocked lock, a ValueError is raised.

class multiprocessing.RLock

A recursive lock object: a close analog of threading.RLock. A recursive lock must be released by the process or thread that acquired it. Once a process or thread has acquired a recursive lock, the same process or thread may acquire it again without blocking; that process or thread must release it once for each time it has been acquired.

Note that RLock is actually a factory function which returns an instance of multiprocessing.synchronize.RLock initialized with a default context.

RLock supports the context manager protocol and thus may be used in with statements.

acquire(block=True, timeout=None)

Acquire a lock, blocking or non-blocking.

When invoked with the block argument set to True, block until the lock is in an unlocked state (not owned by any process or thread) unless the lock is already owned by the current process or thread. The current process or thread then takes ownership of the lock (if it does not already have ownership) and the recursion level inside the lock increments by one, resulting in a return value of True. Note that there are several differences in this first argument’s behavior compared to the implementation of threading.RLock.acquire(), starting with the name of the argument itself.

When invoked with the block argument set to False, do not block. If the lock has already been acquired (and thus is owned) by another process or thread, the current process or thread does not take ownership and the recursion level within the lock is not changed, resulting in a return value of False. If the lock is in an unlocked state, the current process or thread takes ownership and the recursion level is incremented, resulting in a return value of True.

Use and behaviors of the timeout argument are the same as in Lock.acquire(). Note that some of these behaviors of timeout differ from the implemented behaviors in threading.RLock.acquire().

release()

Release a lock, decrementing the recursion level. If after the decrement the recursion level is zero, reset the lock to unlocked (not owned by any process or thread) and if any other processes or threads are blocked waiting for the lock to become unlocked, allow exactly one of them to proceed. If after the decrement the recursion level is still nonzero, the lock remains locked and owned by the calling process or thread.

Only call this method when the calling process or thread owns the lock. An AssertionError is raised if this method is called by a process or thread other than the owner or if the lock is in an unlocked (unowned) state. Note that the type of exception raised in this situation differs from the implemented behavior in threading.RLock.release().

class multiprocessing.Semaphore([value])

A semaphore object: a close analog of threading.Semaphore.

A solitary difference from its close analog exists: its acquire method’s first argument is named block, as is consistent with Lock.acquire().

Nota

On macOS, sem_timedwait is unsupported, so calling acquire() with a timeout will emulate that function’s behavior using a sleeping loop.

Nota

Some of this package’s functionality requires a functioning shared semaphore implementation on the host operating system. Without one, the multiprocessing.synchronize module will be disabled, and attempts to import it will result in an ImportError. See bpo-3770 [https://bugs.python.org/issue?@action=redirect&bpo=3770] for additional information.

Shared ctypes Objects

It is possible to create shared objects using shared memory which can be inherited by child processes.

multiprocessing.Value(typecode_or_type, *args, lock=True)

Return a ctypes object allocated from shared memory. By default the return value is actually a synchronized wrapper for the object. The object itself can be accessed via the value attribute of a Value.

typecode_or_type determines the type of the returned object: it is either a ctypes type or a one character typecode of the kind used by the array module. *args is passed on to the constructor for the type.

If lock is True (the default) then a new recursive lock object is created to synchronize access to the value. If lock is a Lock or RLock object then that will be used to synchronize access to the value. If lock is False then access to the returned object will not be automatically protected by a lock, so it will not necessarily be “process-safe”.

Operations like += which involve a read and write are not atomic. So if, for instance, you want to atomically increment a shared value it is insufficient to just do

counter.value += 1

Assuming the associated lock is recursive (which it is by default) you can instead do

with counter.get_lock():
    counter.value += 1

Note that lock is a keyword-only argument.

multiprocessing.Array(typecode_or_type, size_or_initializer, *, lock=True)

Return a ctypes array allocated from shared memory. By default the return value is actually a synchronized wrapper for the array.

typecode_or_type determines the type of the elements of the returned array: it is either a ctypes type or a one character typecode of the kind used by the array module. If size_or_initializer is an integer, then it determines the length of the array, and the array will be initially zeroed. Otherwise, size_or_initializer is a sequence which is used to initialize the array and whose length determines the length of the array.

If lock is True (the default) then a new lock object is created to synchronize access to the value. If lock is a Lock or RLock object then that will be used to synchronize access to the value. If lock is False then access to the returned object will not be automatically protected by a lock, so it will not necessarily be “process-safe”.

Note that lock is a keyword only argument.

Note that an array of ctypes.c_char has value and raw attributes which allow one to use it to store and retrieve strings.

The multiprocessing.sharedctypes module

The multiprocessing.sharedctypes module provides functions for allocating ctypes objects from shared memory which can be inherited by child processes.

Nota

Although it is possible to store a pointer in shared memory remember that this will refer to a location in the address space of a specific process. However, the pointer is quite likely to be invalid in the context of a second process and trying to dereference the pointer from the second process may cause a crash.

multiprocessing.sharedctypes.RawArray(typecode_or_type, size_or_initializer)

Return a ctypes array allocated from shared memory.

typecode_or_type determines the type of the elements of the returned array: it is either a ctypes type or a one character typecode of the kind used by the array module. If size_or_initializer is an integer then it determines the length of the array, and the array will be initially zeroed. Otherwise size_or_initializer is a sequence which is used to initialize the array and whose length determines the length of the array.

Note that setting and getting an element is potentially non-atomic – use Array() instead to make sure that access is automatically synchronized using a lock.

multiprocessing.sharedctypes.RawValue(typecode_or_type, *args)

Return a ctypes object allocated from shared memory.

typecode_or_type determines the type of the returned object: it is either a ctypes type or a one character typecode of the kind used by the array module. *args is passed on to the constructor for the type.

Note that setting and getting the value is potentially non-atomic – use Value() instead to make sure that access is automatically synchronized using a lock.

Note that an array of ctypes.c_char has value and raw attributes which allow one to use it to store and retrieve strings – see documentation for ctypes.

multiprocessing.sharedctypes.Array(typecode_or_type, size_or_initializer, *, lock=True)

The same as RawArray() except that depending on the value of lock a process-safe synchronization wrapper may be returned instead of a raw ctypes array.

If lock is True (the default) then a new lock object is created to synchronize access to the value. If lock is a Lock or RLock object then that will be used to synchronize access to the value. If lock is False then access to the returned object will not be automatically protected by a lock, so it will not necessarily be “process-safe”.

Note that lock is a keyword-only argument.

multiprocessing.sharedctypes.Value(typecode_or_type, *args, lock=True)

The same as RawValue() except that depending on the value of lock a process-safe synchronization wrapper may be returned instead of a raw ctypes object.

If lock is True (the default) then a new lock object is created to synchronize access to the value. If lock is a Lock or RLock object then that will be used to synchronize access to the value. If lock is False then access to the returned object will not be automatically protected by a lock, so it will not necessarily be “process-safe”.

Note that lock is a keyword-only argument.

multiprocessing.sharedctypes.copy(obj)

Return a ctypes object allocated from shared memory which is a copy of the ctypes object obj.

multiprocessing.sharedctypes.synchronized(obj[, lock])

Return a process-safe wrapper object for a ctypes object which uses lock to synchronize access. If lock is None (the default) then a multiprocessing.RLock object is created automatically.

A synchronized wrapper will have two methods in addition to those of the object it wraps: get_obj() returns the wrapped object and get_lock() returns the lock object used for synchronization.

Note that accessing the ctypes object through the wrapper can be a lot slower than accessing the raw ctypes object.

Alterado na versão 3.5: Synchronized objects support the context manager protocol.

The table below compares the syntax for creating shared ctypes objects from shared memory with the normal ctypes syntax. (In the table MyStruct is some subclass of ctypes.Structure.)

ctypes

sharedctypes using type

sharedctypes using typecode

c_double(2.4)

RawValue(c_double, 2.4)

RawValue(‘d’, 2.4)

MyStruct(4, 6)

RawValue(MyStruct, 4, 6)

(c_short * 7)()

RawArray(c_short, 7)

RawArray(‘h’, 7)

(c_int * 3)(9, 2, 8)

RawArray(c_int, (9, 2, 8))

RawArray(‘i’, (9, 2, 8))

Below is an example where a number of ctypes objects are modified by a child process:

from multiprocessing import Process, Lock
from multiprocessing.sharedctypes import Value, Array
from ctypes import Structure, c_double

class Point(Structure):
    _fields_ = [('x', c_double), ('y', c_double)]

def modify(n, x, s, A):
    n.value **= 2
    x.value **= 2
    s.value = s.value.upper()
    for a in A:
        a.x **= 2
        a.y **= 2

if __name__ == '__main__':
    lock = Lock()

    n = Value('i', 7)
    x = Value(c_double, 1.0/3.0, lock=False)
    s = Array('c', b'hello world', lock=lock)
    A = Array(Point, [(1.875,-6.25), (-5.75,2.0), (2.375,9.5)], lock=lock)

    p = Process(target=modify, args=(n, x, s, A))
    p.start()
    p.join()

    print(n.value)
    print(x.value)
    print(s.value)
    print([(a.x, a.y) for a in A])

The results printed are

49
0.1111111111111111
HELLO WORLD
[(3.515625, 39.0625), (33.0625, 4.0), (5.640625, 90.25)]

Gerenciadores

Managers provide a way to create data which can be shared between different processes, including sharing over a network between processes running on different machines. A manager object controls a server process which manages shared objects. Other processes can access the shared objects by using proxies.

multiprocessing.Manager()

Returns a started SyncManager object which can be used for sharing objects between processes. The returned manager object corresponds to a spawned child process and has methods which will create shared objects and return corresponding proxies.

Manager processes will be shutdown as soon as they are garbage collected or their parent process exits. The manager classes are defined in the multiprocessing.managers module:

class multiprocessing.managers.BaseManager(address=None, authkey=None, serializer='pickle', ctx=None, *, shutdown_timeout=1.0)

Criando um objeto BaseManager.

Once created one should call start() or get_server().serve_forever() to ensure that the manager object refers to a started manager process.

address is the address on which the manager process listens for new connections. If address is None then an arbitrary one is chosen.

authkey is the authentication key which will be used to check the validity of incoming connections to the server process. If authkey is None then current_process().authkey is used. Otherwise authkey is used and it must be a byte string.

serializer must be 'pickle' (use pickle serialization) or 'xmlrpclib' (use xmlrpc.client serialization).

ctx is a context object, or None (use the current context). See the get_context() function.

shutdown_timeout is a timeout in seconds used to wait until the process used by the manager completes in the shutdown() method. If the shutdown times out, the process is terminated. If terminating the process also times out, the process is killed.

Alterado na versão 3.11: Added the shutdown_timeout parameter.

start([initializer[, initargs]])

Start a subprocess to start the manager. If initializer is not None then the subprocess will call initializer(*initargs) when it starts.

get_server()

Returns a Server object which represents the actual server under the control of the Manager. The Server object supports the serve_forever() method:

>>> from multiprocessing.managers import BaseManager
>>> manager = BaseManager(address=('', 50000), authkey=b'abc')
>>> server = manager.get_server()
>>> server.serve_forever()

Server additionally has an address attribute.

connect()

Connect a local manager object to a remote manager process:

>>> from multiprocessing.managers import BaseManager
>>> m = BaseManager(address=('127.0.0.1', 50000), authkey=b'abc')
>>> m.connect()

shutdown()

Stop the process used by the manager. This is only available if start() has been used to start the server process.

This can be called multiple times.

register(typeid[, callable[, proxytype[, exposed[, method_to_typeid[, create_method]]]]])

A classmethod which can be used for registering a type or callable with the manager class.

typeid is a “type identifier” which is used to identify a particular type of shared object. This must be a string.

callable is a callable used for creating objects for this type identifier. If a manager instance will be connected to the server using the connect() method, or if the create_method argument is False then this can be left as None.

proxytype is a subclass of BaseProxy which is used to create proxies for shared objects with this typeid. If None then a proxy class is created automatically.

exposed is used to specify a sequence of method names which proxies for this typeid should be allowed to access using BaseProxy._callmethod(). (If exposed is None then proxytype._exposed_ is used instead if it exists.) In the case where no exposed list is specified, all “public methods” of the shared object will be accessible. (Here a “public method” means any attribute which has a __call__() method and whose name does not begin with '_'.)

method_to_typeid is a mapping used to specify the return type of those exposed methods which should return a proxy. It maps method names to typeid strings. (If method_to_typeid is None then proxytype._method_to_typeid_ is used instead if it exists.) If a method’s name is not a key of this mapping or if the mapping is None then the object returned by the method will be copied by value.

create_method determines whether a method should be created with name typeid which can be used to tell the server process to create a new shared object and return a proxy for it. By default it is True.

BaseManager instances also have one read-only property:

address

The address used by the manager.

Alterado na versão 3.3: Manager objects support the context management protocol – see Tipos de Gerenciador de Contexto. __enter__() starts the server process (if it has not already started) and then returns the manager object. __exit__() calls shutdown().

In previous versions __enter__() did not start the manager’s server process if it was not already started.

class multiprocessing.managers.SyncManager

A subclass of BaseManager which can be used for the synchronization of processes. Objects of this type are returned by multiprocessing.Manager().

Its methods create and return Proxy Objects for a number of commonly used data types to be synchronized across processes. This notably includes shared lists and dictionaries.

Barrier(parties[, action[, timeout]])

Create a shared threading.Barrier object and return a proxy for it.

Adicionado na versão 3.3.

BoundedSemaphore([value])

Create a shared threading.BoundedSemaphore object and return a proxy for it.

Condition([lock])

Create a shared threading.Condition object and return a proxy for it.

If lock is supplied then it should be a proxy for a threading.Lock or threading.RLock object.

Alterado na versão 3.3: The wait_for() method was added.

Event()

Create a shared threading.Event object and return a proxy for it.

Lock()

Create a shared threading.Lock object and return a proxy for it.

Namespace()

Create a shared Namespace object and return a proxy for it.

Queue([maxsize])

Create a shared queue.Queue object and return a proxy for it.

RLock()

Create a shared threading.RLock object and return a proxy for it.

Semaphore([value])

Create a shared threading.Semaphore object and return a proxy for it.

Array(typecode, sequence)

Create an array and return a proxy for it.

Value(typecode, value)

Create an object with a writable value attribute and return a proxy for it.

dict()

dict(mapping)

dict(sequence)

Create a shared dict object and return a proxy for it.

list()

list(sequence)

Create a shared list object and return a proxy for it.

Alterado na versão 3.6: Shared objects are capable of being nested. For example, a shared container object such as a shared list can contain other shared objects which will all be managed and synchronized by the SyncManager.

class multiprocessing.managers.Namespace

A type that can register with SyncManager.

A namespace object has no public methods, but does have writable attributes. Its representation shows the values of its attributes.

However, when using a proxy for a namespace object, an attribute beginning with '_' will be an attribute of the proxy and not an attribute of the referent:

>>> mp_context = multiprocessing.get_context('spawn')
>>> manager = mp_context.Manager()
>>> Global = manager.Namespace()
>>> Global.x = 10
>>> Global.y = 'hello'
>>> Global._z = 12.3    # this is an attribute of the proxy
>>> print(Global)
Namespace(x=10, y='hello')

Customized managers

To create one’s own manager, one creates a subclass of BaseManager and uses the register() classmethod to register new types or callables with the manager class. For example:

from multiprocessing.managers import BaseManager

class MathsClass:
    def add(self, x, y):
        return x + y
    def mul(self, x, y):
        return x * y

class MyManager(BaseManager):
    pass

MyManager.register('Maths', MathsClass)

if __name__ == '__main__':
    with MyManager() as manager:
        maths = manager.Maths()
        print(maths.add(4, 3))         # prints 7
        print(maths.mul(7, 8))         # prints 56

Using a remote manager

It is possible to run a manager server on one machine and have clients use it from other machines (assuming that the firewalls involved allow it).

Running the following commands creates a server for a single shared queue which remote clients can access:

>>> from multiprocessing.managers import BaseManager
>>> from queue import Queue
>>> queue = Queue()
>>> class QueueManager(BaseManager): pass
>>> QueueManager.register('get_queue', callable=lambda:queue)
>>> m = QueueManager(address=('', 50000), authkey=b'abracadabra')
>>> s = m.get_server()
>>> s.serve_forever()

One client can access the server as follows:

>>> from multiprocessing.managers import BaseManager
>>> class QueueManager(BaseManager): pass
>>> QueueManager.register('get_queue')
>>> m = QueueManager(address=('foo.bar.org', 50000), authkey=b'abracadabra')
>>> m.connect()
>>> queue = m.get_queue()
>>> queue.put('hello')

Another client can also use it:

>>> from multiprocessing.managers import BaseManager
>>> class QueueManager(BaseManager): pass
>>> QueueManager.register('get_queue')
>>> m = QueueManager(address=('foo.bar.org', 50000), authkey=b'abracadabra')
>>> m.connect()
>>> queue = m.get_queue()
>>> queue.get()
'hello'

Local processes can also access that queue, using the code from above on the client to access it remotely:

>>> from multiprocessing import Process, Queue
>>> from multiprocessing.managers import BaseManager
>>> class Worker(Process):
...     def __init__(self, q):
...         self.q = q
...         super().__init__()
...     def run(self):
...         self.q.put('local hello')
...
>>> queue = Queue()
>>> w = Worker(queue)
>>> w.start()
>>> class QueueManager(BaseManager): pass
...
>>> QueueManager.register('get_queue', callable=lambda: queue)
>>> m = QueueManager(address=('', 50000), authkey=b'abracadabra')
>>> s = m.get_server()
>>> s.serve_forever()

Proxy Objects

A proxy is an object which refers to a shared object which lives (presumably) in a different process. The shared object is said to be the referent of the proxy. Multiple proxy objects may have the same referent.

A proxy object has methods which invoke corresponding methods of its referent (although not every method of the referent will necessarily be available through the proxy). In this way, a proxy can be used just like its referent can:

>>> mp_context = multiprocessing.get_context('spawn')
>>> manager = mp_context.Manager()
>>> l = manager.list([i*i for i in range(10)])
>>> print(l)
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>> print(repr(l))
<ListProxy object, typeid 'list' at 0x...>
>>> l[4]
16
>>> l[2:5]
[4, 9, 16]

Notice that applying str() to a proxy will return the representation of the referent, whereas applying repr() will return the representation of the proxy.

An important feature of proxy objects is that they are picklable so they can be passed between processes. As such, a referent can contain Proxy Objects. This permits nesting of these managed lists, dicts, and other Proxy Objects:

>>> a = manager.list()
>>> b = manager.list()
>>> a.append(b)         # referent of a now contains referent of b
>>> print(a, b)
[<ListProxy object, typeid 'list' at ...>] []
>>> b.append('hello')
>>> print(a[0], b)
['hello'] ['hello']

Similarly, dict and list proxies may be nested inside one another:

>>> l_outer = manager.list([ manager.dict() for i in range(2) ])
>>> d_first_inner = l_outer[0]
>>> d_first_inner['a'] = 1
>>> d_first_inner['b'] = 2
>>> l_outer[1]['c'] = 3
>>> l_outer[1]['z'] = 26
>>> print(l_outer[0])
{'a': 1, 'b': 2}
>>> print(l_outer[1])
{'c': 3, 'z': 26}

If standard (non-proxy) list or dict objects are contained in a referent, modifications to those mutable values will not be propagated through the manager because the proxy has no way of knowing when the values contained within are modified. However, storing a value in a container proxy (which triggers a __setitem__ on the proxy object) does propagate through the manager and so to effectively modify such an item, one could re-assign the modified value to the container proxy:

# create a list proxy and append a mutable object (a dictionary)
lproxy = manager.list()
lproxy.append({})
# now mutate the dictionary
d = lproxy[0]
d['a'] = 1
d['b'] = 2
# at this point, the changes to d are not yet synced, but by
# updating the dictionary, the proxy is notified of the change
lproxy[0] = d

This approach is perhaps less convenient than employing nested Proxy Objects for most use cases but also demonstrates a level of control over the synchronization.

Nota

The proxy types in multiprocessing do nothing to support comparisons by value. So, for instance, we have:

>>> manager.list([1,2,3]) == [1,2,3]
False

One should just use a copy of the referent instead when making comparisons.

class multiprocessing.managers.BaseProxy

Proxy objects are instances of subclasses of BaseProxy.

_callmethod(methodname[, args[, kwds]])

Call and return the result of a method of the proxy’s referent.

If proxy is a proxy whose referent is obj then the expression

proxy._callmethod(methodname, args, kwds)

will evaluate the expression

getattr(obj, methodname)(*args, **kwds)

in the manager’s process.

The returned value will be a copy of the result of the call or a proxy to a new shared object – see documentation for the method_to_typeid argument of BaseManager.register().

If an exception is raised by the call, then is re-raised by _callmethod(). If some other exception is raised in the manager’s process then this is converted into a RemoteError exception and is raised by _callmethod().

Note in particular that an exception will be raised if methodname has not been exposed.

An example of the usage of _callmethod():

>>> l = manager.list(range(10))
>>> l._callmethod('__len__')
10
>>> l._callmethod('__getitem__', (slice(2, 7),)) # equivalent to l[2:7]
[2, 3, 4, 5, 6]
>>> l._callmethod('__getitem__', (20,))          # equivalent to l[20]
Traceback (most recent call last):
...
IndexError: list index out of range

_getvalue()

Return a copy of the referent.

If the referent is unpicklable then this will raise an exception.

__repr__()

Return a representation of the proxy object.

__str__()

Return the representation of the referent.

Cleanup

A proxy object uses a weakref callback so that when it gets garbage collected it deregisters itself from the manager which owns its referent.

A shared object gets deleted from the manager process when there are no longer any proxies referring to it.

Process Pools

One can create a pool of processes which will carry out tasks submitted to it with the Pool class.

class multiprocessing.pool.Pool([processes[, initializer[, initargs[, maxtasksperchild[, context]]]]])

A process pool object which controls a pool of worker processes to which jobs can be submitted. It supports asynchronous results with timeouts and callbacks and has a parallel map implementation.

processes is the number of worker processes to use. If processes is None then the number returned by os.process_cpu_count() is used.

If initializer is not None then each worker process will call initializer(*initargs) when it starts.

maxtasksperchild is the number of tasks a worker process can complete before it will exit and be replaced with a fresh worker process, to enable unused resources to be freed. The default maxtasksperchild is None, which means worker processes will live as long as the pool.

context can be used to specify the context used for starting the worker processes. Usually a pool is created using the function multiprocessing.Pool() or the Pool() method of a context object. In both cases context is set appropriately.

Note that the methods of the pool object should only be called by the process which created the pool.

Aviso

multiprocessing.pool objects have internal resources that need to be properly managed (like any other resource) by using the pool as a context manager or by calling close() and terminate() manually. Failure to do this can lead to the process hanging on finalization.

Note that it is not correct to rely on the garbage collector to destroy the pool as CPython does not assure that the finalizer of the pool will be called (see object.__del__() for more information).

Alterado na versão 3.2: Added the maxtasksperchild parameter.

Alterado na versão 3.4: Adicionado o parâmetro context.

Alterado na versão 3.13: processes uses os.process_cpu_count() by default, instead of os.cpu_count().

Nota

Worker processes within a Pool typically live for the complete duration of the Pool’s work queue. A frequent pattern found in other systems (such as Apache, mod_wsgi, etc) to free resources held by workers is to allow a worker within a pool to complete only a set amount of work before being exiting, being cleaned up and a new process spawned to replace the old one. The maxtasksperchild argument to the Pool exposes this ability to the end user.

apply(func[, args[, kwds]])

Call func with arguments args and keyword arguments kwds. It blocks until the result is ready. Given this blocks, apply_async() is better suited for performing work in parallel. Additionally, func is only executed in one of the workers of the pool.

apply_async(func[, args[, kwds[, callback[, error_callback]]]])

A variant of the apply() method which returns a AsyncResult object.

If callback is specified then it should be a callable which accepts a single argument. When the result becomes ready callback is applied to it, that is unless the call failed, in which case the error_callback is applied instead.

If error_callback is specified then it should be a callable which accepts a single argument. If the target function fails, then the error_callback is called with the exception instance.

Callbacks should complete immediately since otherwise the thread which handles the results will get blocked.

map(func, iterable[, chunksize])

A parallel equivalent of the map() built-in function (it supports only one iterable argument though, for multiple iterables see starmap()). It blocks until the result is ready.

This method chops the iterable into a number of chunks which it submits to the process pool as separate tasks. The (approximate) size of these chunks can be specified by setting chunksize to a positive integer.

Note that it may cause high memory usage for very long iterables. Consider using imap() or imap_unordered() with explicit chunksize option for better efficiency.

map_async(func, iterable[, chunksize[, callback[, error_callback]]])

A variant of the map() method which returns a AsyncResult object.

If callback is specified then it should be a callable which accepts a single argument. When the result becomes ready callback is applied to it, that is unless the call failed, in which case the error_callback is applied instead.

If error_callback is specified then it should be a callable which accepts a single argument. If the target function fails, then the error_callback is called with the exception instance.

Callbacks should complete immediately since otherwise the thread which handles the results will get blocked.

imap(func, iterable[, chunksize])

A lazier version of map().

The chunksize argument is the same as the one used by the map() method. For very long iterables using a large value for chunksize can make the job complete much faster than using the default value of 1.

Also if chunksize is 1 then the next() method of the iterator returned by the imap() method has an optional timeout parameter: next(timeout) will raise multiprocessing.TimeoutError if the result cannot be returned within timeout seconds.

imap_unordered(func, iterable[, chunksize])

The same as imap() except that the ordering of the results from the returned iterator should be considered arbitrary. (Only when there is only one worker process is the order guaranteed to be “correct”.)

starmap(func, iterable[, chunksize])

Like map() except that the elements of the iterable are expected to be iterables that are unpacked as arguments.

Hence an iterable of [(1,2), (3, 4)] results in [func(1,2), func(3,4)].

Adicionado na versão 3.3.

starmap_async(func, iterable[, chunksize[, callback[, error_callback]]])

A combination of starmap() and map_async() that iterates over iterable of iterables and calls func with the iterables unpacked. Returns a result object.

Adicionado na versão 3.3.

close()

Prevents any more tasks from being submitted to the pool. Once all the tasks have been completed the worker processes will exit.

terminate()

Stops the worker processes immediately without completing outstanding work. When the pool object is garbage collected terminate() will be called immediately.

join()

Wait for the worker processes to exit. One must call close() or terminate() before using join().

Alterado na versão 3.3: Pool objects now support the context management protocol – see Tipos de Gerenciador de Contexto. __enter__() returns the pool object, and __exit__() calls terminate().

class multiprocessing.pool.AsyncResult

The class of the result returned by Pool.apply_async() and Pool.map_async().

get([timeout])

Return the result when it arrives. If timeout is not None and the result does not arrive within timeout seconds then multiprocessing.TimeoutError is raised. If the remote call raised an exception then that exception will be reraised by get().

wait([timeout])

Wait until the result is available or until timeout seconds pass.

ready()

Return whether the call has completed.

successful()

Return whether the call completed without raising an exception. Will raise ValueError if the result is not ready.

Alterado na versão 3.7: If the result is not ready, ValueError is raised instead of AssertionError.

The following example demonstrates the use of a pool:

from multiprocessing import Pool
import time

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(processes=4) as pool:         # start 4 worker processes
        result = pool.apply_async(f, (10,)) # evaluate "f(10)" asynchronously in a single process
        print(result.get(timeout=1))        # prints "100" unless your computer is *very* slow

        print(pool.map(f, range(10)))       # prints "[0, 1, 4,..., 81]"

        it = pool.imap(f, range(10))
        print(next(it))                     # prints "0"
        print(next(it))                     # prints "1"
        print(it.next(timeout=1))           # prints "4" unless your computer is *very* slow

        result = pool.apply_async(time.sleep, (10,))
        print(result.get(timeout=1))        # raises multiprocessing.TimeoutError

Listeners and Clients

Usually message passing between processes is done using queues or by using Connection objects returned by Pipe().

However, the multiprocessing.connection module allows some extra flexibility. It basically gives a high level message oriented API for dealing with sockets or Windows named pipes. It also has support for digest authentication using the hmac module, and for polling multiple connections at the same time.

multiprocessing.connection.deliver_challenge(connection, authkey)

Send a randomly generated message to the other end of the connection and wait for a reply.

If the reply matches the digest of the message using authkey as the key then a welcome message is sent to the other end of the connection. Otherwise AuthenticationError is raised.

multiprocessing.connection.answer_challenge(connection, authkey)

Receive a message, calculate the digest of the message using authkey as the key, and then send the digest back.

If a welcome message is not received, then AuthenticationError is raised.

multiprocessing.connection.Client(address[, family[, authkey]])

Attempt to set up a connection to the listener which is using address address, returning a Connection.

The type of the connection is determined by family argument, but this can generally be omitted since it can usually be inferred from the format of address. (See Formatos de Endereços)

If authkey is given and not None, it should be a byte string and will be used as the secret key for an HMAC-based authentication challenge. No authentication is done if authkey is None. AuthenticationError is raised if authentication fails. See Authentication keys.

class multiprocessing.connection.Listener([address[, family[, backlog[, authkey]]]])

A wrapper for a bound socket or Windows named pipe which is ‘listening’ for connections.

address is the address to be used by the bound socket or named pipe of the listener object.

Nota

If an address of ‘0.0.0.0’ is used, the address will not be a connectable end point on Windows. If you require a connectable end-point, you should use ‘127.0.0.1’.

family is the type of socket (or named pipe) to use. This can be one of the strings 'AF_INET' (for a TCP socket), 'AF_UNIX' (for a Unix domain socket) or 'AF_PIPE' (for a Windows named pipe). Of these only the first is guaranteed to be available. If family is None then the family is inferred from the format of address. If address is also None then a default is chosen. This default is the family which is assumed to be the fastest available. See Formatos de Endereços. Note that if family is 'AF_UNIX' and address is None then the socket will be created in a private temporary directory created using tempfile.mkstemp().

If the listener object uses a socket then backlog (1 by default) is passed to the listen() method of the socket once it has been bound.

If authkey is given and not None, it should be a byte string and will be used as the secret key for an HMAC-based authentication challenge. No authentication is done if authkey is None. AuthenticationError is raised if authentication fails. See Authentication keys.

accept()

Accept a connection on the bound socket or named pipe of the listener object and return a Connection object. If authentication is attempted and fails, then AuthenticationError is raised.

close()

Close the bound socket or named pipe of the listener object. This is called automatically when the listener is garbage collected. However it is advisable to call it explicitly.

Listener objects have the following read-only properties:

address

The address which is being used by the Listener object.

last_accepted

The address from which the last accepted connection came. If this is unavailable then it is None.

Alterado na versão 3.3: Listener objects now support the context management protocol – see Tipos de Gerenciador de Contexto. __enter__() returns the listener object, and __exit__() calls close().

multiprocessing.connection.wait(object_list, timeout=None)

Wait till an object in object_list is ready. Returns the list of those objects in object_list which are ready. If timeout is a float then the call blocks for at most that many seconds. If timeout is None then it will block for an unlimited period. A negative timeout is equivalent to a zero timeout.

For both POSIX and Windows, an object can appear in object_list if it is

a readable Connection object;

a connected and readable socket.socket object; or

the sentinel attribute of a Process object.

A connection or socket object is ready when there is data available to be read from it, or the other end has been closed.

POSIX: wait(object_list, timeout) almost equivalent select.select(object_list, [], [], timeout). The difference is that, if select.select() is interrupted by a signal, it can raise OSError with an error number of EINTR, whereas wait() will not.

Windows: An item in object_list must either be an integer handle which is waitable (according to the definition used by the documentation of the Win32 function WaitForMultipleObjects()) or it can be an object with a fileno() method which returns a socket handle or pipe handle. (Note that pipe handles and socket handles are not waitable handles.)

Adicionado na versão 3.3.

Examples

The following server code creates a listener which uses 'secret password' as an authentication key. It then waits for a connection and sends some data to the client:

from multiprocessing.connection import Listener
from array import array

address = ('localhost', 6000)     # family is deduced to be 'AF_INET'

with Listener(address, authkey=b'secret password') as listener:
    with listener.accept() as conn:
        print('connection accepted from', listener.last_accepted)

        conn.send([2.25, None, 'junk', float])

        conn.send_bytes(b'hello')

        conn.send_bytes(array('i', [42, 1729]))

The following code connects to the server and receives some data from the server:

from multiprocessing.connection import Client
from array import array

address = ('localhost', 6000)

with Client(address, authkey=b'secret password') as conn:
    print(conn.recv())                  # => [2.25, None, 'junk', float]

    print(conn.recv_bytes())            # => 'hello'

    arr = array('i', [0, 0, 0, 0, 0])
    print(conn.recv_bytes_into(arr))    # => 8
    print(arr)                          # => array('i', [42, 1729, 0, 0, 0])

The following code uses wait() to wait for messages from multiple processes at once:

from multiprocessing import Process, Pipe, current_process
from multiprocessing.connection import wait

def foo(w):
    for i in range(10):
        w.send((i, current_process().name))
    w.close()

if __name__ == '__main__':
    readers = []

    for i in range(4):
        r, w = Pipe(duplex=False)
        readers.append(r)
        p = Process(target=foo, args=(w,))
        p.start()
        # We close the writable end of the pipe now to be sure that
        # p is the only process which owns a handle for it.  This
        # ensures that when p closes its handle for the writable end,
        # wait() will promptly report the readable end as being ready.
        w.close()

    while readers:
        for r in wait(readers):
            try:
                msg = r.recv()
            except EOFError:
                readers.remove(r)
            else:
                print(msg)

Formatos de Endereços

Um endereço 'AF_INET' é uma tupla na forma de (hostname, port) sendo hostname uma string e port um inteiro.

An 'AF_UNIX' address is a string representing a filename on the filesystem.

An 'AF_PIPE' address is a string of the form r'\\.\pipe\PipeName'. To use Client() to connect to a named pipe on a remote computer called ServerName one should use an address of the form r'\\ServerName\pipe\PipeName' instead.

Note that any string beginning with two backslashes is assumed by default to be an 'AF_PIPE' address rather than an 'AF_UNIX' address.

Authentication keys

When one uses Connection.recv, the data received is automatically unpickled. Unfortunately unpickling data from an untrusted source is a security risk. Therefore Listener and Client() use the hmac module to provide digest authentication.

An authentication key is a byte string which can be thought of as a password: once a connection is established both ends will demand proof that the other knows the authentication key. (Demonstrating that both ends are using the same key does not involve sending the key over the connection.)

If authentication is requested but no authentication key is specified then the return value of current_process().authkey is used (see Process). This value will be automatically inherited by any Process object that the current process creates. This means that (by default) all processes of a multi-process program will share a single authentication key which can be used when setting up connections between themselves.

Suitable authentication keys can also be generated by using os.urandom().

Gerando logs

Some support for logging is available. Note, however, that the logging package does not use process shared locks so it is possible (depending on the handler type) for messages from different processes to get mixed up.

multiprocessing.get_logger()

Returns the logger used by multiprocessing. If necessary, a new one will be created.

When first created the logger has level logging.NOTSET and no default handler. Messages sent to this logger will not by default propagate to the root logger.

Note that on Windows child processes will only inherit the level of the parent process’s logger – any other customization of the logger will not be inherited.

multiprocessing.log_to_stderr(level=None)

This function performs a call to get_logger() but in addition to returning the logger created by get_logger, it adds a handler which sends output to sys.stderr using format '[%(levelname)s/%(processName)s] %(message)s'. You can modify levelname of the logger by passing a level argument.

Below is an example session with logging turned on:

>>> import multiprocessing, logging
>>> logger = multiprocessing.log_to_stderr()
>>> logger.setLevel(logging.INFO)
>>> logger.warning('doomed')
[WARNING/MainProcess] doomed
>>> m = multiprocessing.Manager()
[INFO/SyncManager-...] child process calling self.run()
[INFO/SyncManager-...] created temp directory /.../pymp-...
[INFO/SyncManager-...] manager serving at '/.../listener-...'
>>> del m
[INFO/MainProcess] sending shutdown message to manager
[INFO/SyncManager-...] manager exiting with exitcode 0

For a full table of logging levels, see the logging module.

The multiprocessing.dummy module

multiprocessing.dummy replicates the API of multiprocessing but is no more than a wrapper around the threading module.

In particular, the Pool function provided by multiprocessing.dummy returns an instance of ThreadPool, which is a subclass of Pool that supports all the same method calls but uses a pool of worker threads rather than worker processes.

class multiprocessing.pool.ThreadPool([processes[, initializer[, initargs]]])

A thread pool object which controls a pool of worker threads to which jobs can be submitted. ThreadPool instances are fully interface compatible with Pool instances, and their resources must also be properly managed, either by using the pool as a context manager or by calling close() and terminate() manually.

processes is the number of worker threads to use. If processes is None then the number returned by os.process_cpu_count() is used.

If initializer is not None then each worker process will call initializer(*initargs) when it starts.

Unlike Pool, maxtasksperchild and context cannot be provided.

Nota

A ThreadPool shares the same interface as Pool, which is designed around a pool of processes and predates the introduction of the concurrent.futures module. As such, it inherits some operations that don’t make sense for a pool backed by threads, and it has its own type for representing the status of asynchronous jobs, AsyncResult, that is not understood by any other libraries.

Users should generally prefer to use concurrent.futures.ThreadPoolExecutor, which has a simpler interface that was designed around threads from the start, and which returns concurrent.futures.Future instances that are compatible with many other libraries, including asyncio.

Programming guidelines

There are certain guidelines and idioms which should be adhered to when using multiprocessing.

All start methods

The following applies to all start methods.

Avoid shared state

As far as possible one should try to avoid shifting large amounts of data between processes.

It is probably best to stick to using queues or pipes for communication between processes rather than using the lower level synchronization primitives.

Picklability

Ensure that the arguments to the methods of proxies are picklable.

Thread safety of proxies

Do not use a proxy object from more than one thread unless you protect it with a lock.

(There is never a problem with different processes using the same proxy.)

Joining zombie processes

On POSIX when a process finishes but has not been joined it becomes a zombie. There should never be very many because each time a new process starts (or active_children() is called) all completed processes which have not yet been joined will be joined. Also calling a finished process’s Process.is_alive will join the process. Even so it is probably good practice to explicitly join all the processes that you start.

Better to inherit than pickle/unpickle

When using the spawn or forkserver start methods many types from multiprocessing need to be picklable so that child processes can use them. However, one should generally avoid sending shared objects to other processes using pipes or queues. Instead you should arrange the program so that a process which needs access to a shared resource created elsewhere can inherit it from an ancestor process.

Avoid terminating processes

Using the Process.terminate method to stop a process is liable to cause any shared resources (such as locks, semaphores, pipes and queues) currently being used by the process to become broken or unavailable to other processes.

Therefore it is probably best to only consider using Process.terminate on processes which never use any shared resources.

Joining processes that use queues

Bear in mind that a process that has put items in a queue will wait before terminating until all the buffered items are fed by the “feeder” thread to the underlying pipe. (The child process can call the Queue.cancel_join_thread method of the queue to avoid this behaviour.)

This means that whenever you use a queue you need to make sure that all items which have been put on the queue will eventually be removed before the process is joined. Otherwise you cannot be sure that processes which have put items on the queue will terminate. Remember also that non-daemonic processes will be joined automatically.

An example which will deadlock is the following:

from multiprocessing import Process, Queue

def f(q):
    q.put('X' * 1000000)

if __name__ == '__main__':
    queue = Queue()
    p = Process(target=f, args=(queue,))
    p.start()
    p.join()                    # this deadlocks
    obj = queue.get()

A fix here would be to swap the last two lines (or simply remove the p.join() line).

Explicitly pass resources to child processes

On POSIX using the fork start method, a child process can make use of a shared resource created in a parent process using a global resource. However, it is better to pass the object as an argument to the constructor for the child process.

Apart from making the code (potentially) compatible with Windows and the other start methods this also ensures that as long as the child process is still alive the object will not be garbage collected in the parent process. This might be important if some resource is freed when the object is garbage collected in the parent process.

So for instance

from multiprocessing import Process, Lock

def f():
    ... do something using "lock" ...

if __name__ == '__main__':
    lock = Lock()
    for i in range(10):
        Process(target=f).start()

should be rewritten as

from multiprocessing import Process, Lock

def f(l):
    ... do something using "l" ...

if __name__ == '__main__':
    lock = Lock()
    for i in range(10):
        Process(target=f, args=(lock,)).start()

Beware of replacing sys.stdin with a “file like object”

multiprocessing originally unconditionally called:

os.close(sys.stdin.fileno())

in the multiprocessing.Process._bootstrap() method — this resulted in issues with processes-in-processes. This has been changed to:

sys.stdin.close()
sys.stdin = open(os.open(os.devnull, os.O_RDONLY), closefd=False)

Which solves the fundamental issue of processes colliding with each other resulting in a bad file descriptor error, but introduces a potential danger to applications which replace sys.stdin() with a “file-like object” with output buffering. This danger is that if multiple processes call close() on this file-like object, it could result in the same data being flushed to the object multiple times, resulting in corruption.

If you write a file-like object and implement your own caching, you can make it fork-safe by storing the pid whenever you append to the cache, and discarding the cache when the pid changes. For example:

@property
def cache(self):
    pid = os.getpid()
    if pid != self._pid:
        self._pid = pid
        self._cache = []
    return self._cache

For more information, see bpo-5155 [https://bugs.python.org/issue?@action=redirect&bpo=5155], bpo-5313 [https://bugs.python.org/issue?@action=redirect&bpo=5313] and bpo-5331 [https://bugs.python.org/issue?@action=redirect&bpo=5331]

The spawn and forkserver start methods

There are a few extra restrictions which don’t apply to the fork start method.

More picklability

Ensure that all arguments to Process.__init__() are picklable. Also, if you subclass Process then make sure that instances will be picklable when the Process.start method is called.

Global variables

Bear in mind that if code run in a child process tries to access a global variable, then the value it sees (if any) may not be the same as the value in the parent process at the time that Process.start was called.

However, global variables which are just module level constants cause no problems.

Safe importing of main module

Make sure that the main module can be safely imported by a new Python interpreter without causing unintended side effects (such as starting a new process).

For example, using the spawn or forkserver start method running the following module would fail with a RuntimeError:

from multiprocessing import Process

def foo():
    print('hello')

p = Process(target=foo)
p.start()

Instead one should protect the “entry point” of the program by using if __name__ == '__main__': as follows:

from multiprocessing import Process, freeze_support, set_start_method

def foo():
    print('hello')

if __name__ == '__main__':
    freeze_support()
    set_start_method('spawn')
    p = Process(target=foo)
    p.start()

(The freeze_support() line can be omitted if the program will be run normally instead of frozen.)

This allows the newly spawned Python interpreter to safely import the module and then run the module’s foo() function.

Similar restrictions apply if a pool or manager is created in the main module.

Exemplos

Demonstration of how to create and use customized managers and proxies:

from multiprocessing import freeze_support
from multiprocessing.managers import BaseManager, BaseProxy
import operator

##

class Foo:
    def f(self):
        print('you called Foo.f()')
    def g(self):
        print('you called Foo.g()')
    def _h(self):
        print('you called Foo._h()')

# A simple generator function
def baz():
    for i in range(10):
        yield i*i

# Proxy type for generator objects
class GeneratorProxy(BaseProxy):
    _exposed_ = ['__next__']
    def __iter__(self):
        return self
    def __next__(self):
        return self._callmethod('__next__')

# Function to return the operator module
def get_operator_module():
    return operator

##

class MyManager(BaseManager):
    pass

# register the Foo class; make `f()` and `g()` accessible via proxy
MyManager.register('Foo1', Foo)

# register the Foo class; make `g()` and `_h()` accessible via proxy
MyManager.register('Foo2', Foo, exposed=('g', '_h'))

# register the generator function baz; use `GeneratorProxy` to make proxies
MyManager.register('baz', baz, proxytype=GeneratorProxy)

# register get_operator_module(); make public functions accessible via proxy
MyManager.register('operator', get_operator_module)

##

def test():
    manager = MyManager()
    manager.start()

    print('-' * 20)

    f1 = manager.Foo1()
    f1.f()
    f1.g()
    assert not hasattr(f1, '_h')
    assert sorted(f1._exposed_) == sorted(['f', 'g'])

    print('-' * 20)

    f2 = manager.Foo2()
    f2.g()
    f2._h()
    assert not hasattr(f2, 'f')
    assert sorted(f2._exposed_) == sorted(['g', '_h'])

    print('-' * 20)

    it = manager.baz()
    for i in it:
        print('<%d>' % i, end=' ')
    print()

    print('-' * 20)

    op = manager.operator()
    print('op.add(23, 45) =', op.add(23, 45))
    print('op.pow(2, 94) =', op.pow(2, 94))
    print('op._exposed_ =', op._exposed_)

##

if __name__ == '__main__':
    freeze_support()
    test()

Using Pool:

import multiprocessing
import time
import random
import sys

#
# Functions used by test code
#

def calculate(func, args):
    result = func(*args)
    return '%s says that %s%s = %s' % (
        multiprocessing.current_process().name,
        func.__name__, args, result
        )

def calculatestar(args):
    return calculate(*args)

def mul(a, b):
    time.sleep(0.5 * random.random())
    return a * b

def plus(a, b):
    time.sleep(0.5 * random.random())
    return a + b

def f(x):
    return 1.0 / (x - 5.0)

def pow3(x):
    return x ** 3

def noop(x):
    pass

#
# Test code
#

def test():
    PROCESSES = 4
    print('Creating pool with %d processes\n' % PROCESSES)

    with multiprocessing.Pool(PROCESSES) as pool:
        #
        # Tests
        #

        TASKS = [(mul, (i, 7)) for i in range(10)] + \
                [(plus, (i, 8)) for i in range(10)]

        results = [pool.apply_async(calculate, t) for t in TASKS]
        imap_it = pool.imap(calculatestar, TASKS)
        imap_unordered_it = pool.imap_unordered(calculatestar, TASKS)

        print('Ordered results using pool.apply_async():')
        for r in results:
            print('\t', r.get())
        print()

        print('Ordered results using pool.imap():')
        for x in imap_it:
            print('\t', x)
        print()

        print('Unordered results using pool.imap_unordered():')
        for x in imap_unordered_it:
            print('\t', x)
        print()

        print('Ordered results using pool.map() --- will block till complete:')
        for x in pool.map(calculatestar, TASKS):
            print('\t', x)
        print()

        #
        # Test error handling
        #

        print('Testing error handling:')

        try:
            print(pool.apply(f, (5,)))
        except ZeroDivisionError:
            print('\tGot ZeroDivisionError as expected from pool.apply()')
        else:
            raise AssertionError('expected ZeroDivisionError')

        try:
            print(pool.map(f, list(range(10))))
        except ZeroDivisionError:
            print('\tGot ZeroDivisionError as expected from pool.map()')
        else:
            raise AssertionError('expected ZeroDivisionError')

        try:
            print(list(pool.imap(f, list(range(10)))))
        except ZeroDivisionError:
            print('\tGot ZeroDivisionError as expected from list(pool.imap())')
        else:
            raise AssertionError('expected ZeroDivisionError')

        it = pool.imap(f, list(range(10)))
        for i in range(10):
            try:
                x = next(it)
            except ZeroDivisionError:
                if i == 5:
                    pass
            except StopIteration:
                break
            else:
                if i == 5:
                    raise AssertionError('expected ZeroDivisionError')

        assert i == 9
        print('\tGot ZeroDivisionError as expected from IMapIterator.next()')
        print()

        #
        # Testing timeouts
        #

        print('Testing ApplyResult.get() with timeout:', end=' ')
        res = pool.apply_async(calculate, TASKS[0])
        while 1:
            sys.stdout.flush()
            try:
                sys.stdout.write('\n\t%s' % res.get(0.02))
                break
            except multiprocessing.TimeoutError:
                sys.stdout.write('.')
        print()
        print()

        print('Testing IMapIterator.next() with timeout:', end=' ')
        it = pool.imap(calculatestar, TASKS)
        while 1:
            sys.stdout.flush()
            try:
                sys.stdout.write('\n\t%s' % it.next(0.02))
            except StopIteration:
                break
            except multiprocessing.TimeoutError:
                sys.stdout.write('.')
        print()
        print()

if __name__ == '__main__':
    multiprocessing.freeze_support()
    test()

An example showing how to use queues to feed tasks to a collection of worker processes and collect the results:

import time
import random

from multiprocessing import Process, Queue, current_process, freeze_support

#
# Function run by worker processes
#

def worker(input, output):
    for func, args in iter(input.get, 'STOP'):
        result = calculate(func, args)
        output.put(result)

#
# Function used to calculate result
#

def calculate(func, args):
    result = func(*args)
    return '%s says that %s%s = %s' % \
        (current_process().name, func.__name__, args, result)

#
# Functions referenced by tasks
#

def mul(a, b):
    time.sleep(0.5*random.random())
    return a * b

def plus(a, b):
    time.sleep(0.5*random.random())
    return a + b

#
#
#

def test():
    NUMBER_OF_PROCESSES = 4
    TASKS1 = [(mul, (i, 7)) for i in range(20)]
    TASKS2 = [(plus, (i, 8)) for i in range(10)]

    # Create queues
    task_queue = Queue()
    done_queue = Queue()

    # Submit tasks
    for task in TASKS1:
        task_queue.put(task)

    # Start worker processes
    for i in range(NUMBER_OF_PROCESSES):
        Process(target=worker, args=(task_queue, done_queue)).start()

    # Get and print results
    print('Unordered results:')
    for i in range(len(TASKS1)):
        print('\t', done_queue.get())

    # Add more tasks using `put()`
    for task in TASKS2:
        task_queue.put(task)

    # Get and print some more results
    for i in range(len(TASKS2)):
        print('\t', done_queue.get())

    # Tell child processes to stop
    for i in range(NUMBER_OF_PROCESSES):
        task_queue.put('STOP')

if __name__ == '__main__':
    freeze_support()
    test()

multiprocessing.shared_memory — Shared memory for direct access across processes

Código-fonte: Lib/multiprocessing/shared_memory.py [https://github.com/python/cpython/tree/3.13/Lib/multiprocessing/shared_memory.py]

Adicionado na versão 3.8.

This module provides a class, SharedMemory, for the allocation and management of shared memory to be accessed by one or more processes on a multicore or symmetric multiprocessor (SMP) machine. To assist with the life-cycle management of shared memory especially across distinct processes, a BaseManager subclass, SharedMemoryManager, is also provided in the multiprocessing.managers module.

In this module, shared memory refers to “POSIX style” shared memory blocks (though is not necessarily implemented explicitly as such) and does not refer to “distributed shared memory”. This style of shared memory permits distinct processes to potentially read and write to a common (or shared) region of volatile memory. Processes are conventionally limited to only have access to their own process memory space but shared memory permits the sharing of data between processes, avoiding the need to instead send messages between processes containing that data. Sharing data directly via memory can provide significant performance benefits compared to sharing data via disk or socket or other communications requiring the serialization/deserialization and copying of data.

class multiprocessing.shared_memory.SharedMemory(name=None, create=False, size=0, *, track=True)

Create an instance of the SharedMemory class for either creating a new shared memory block or attaching to an existing shared memory block. Each shared memory block is assigned a unique name. In this way, one process can create a shared memory block with a particular name and a different process can attach to that same shared memory block using that same name.

As a resource for sharing data across processes, shared memory blocks may outlive the original process that created them. When one process no longer needs access to a shared memory block that might still be needed by other processes, the close() method should be called. When a shared memory block is no longer needed by any process, the unlink() method should be called to ensure proper cleanup.

Parâmetros:

name (str | None) – The unique name for the requested shared memory, specified as a string. When creating a new shared memory block, if None (the default) is supplied for the name, a novel name will be generated.

create (bool) – Control whether a new shared memory block is created (True) or an existing shared memory block is attached (False).

size (int) – The requested number of bytes when creating a new shared memory block. Because some platforms choose to allocate chunks of memory based upon that platform’s memory page size, the exact size of the shared memory block may be larger or equal to the size requested. When attaching to an existing shared memory block, the size parameter is ignored.

track (bool) – When True, register the shared memory block with a resource tracker process on platforms where the OS does not do this automatically. The resource tracker ensures proper cleanup of the shared memory even if all other processes with access to the memory exit without doing so. Python processes created from a common ancestor using multiprocessing facilities share a single resource tracker process, and the lifetime of shared memory segments is handled automatically among these processes. Python processes created in any other way will receive their own resource tracker when accessing shared memory with track enabled. This will cause the shared memory to be deleted by the resource tracker of the first process that terminates. To avoid this issue, users of subprocess or standalone Python processes should set track to False when there is already another process in place that does the bookkeeping. track is ignored on Windows, which has its own tracking and automatically deletes shared memory when all handles to it have been closed.

Alterado na versão 3.13: Added the track parameter.

close()

Close the file descriptor/handle to the shared memory from this instance. close() should be called once access to the shared memory block from this instance is no longer needed. Depending on operating system, the underlying memory may or may not be freed even if all handles to it have been closed. To ensure proper cleanup, use the unlink() method.

unlink()

Delete the underlying shared memory block. This should be called only once per shared memory block regardless of the number of handles to it, even in other processes. unlink() and close() can be called in any order, but trying to access data inside a shared memory block after unlink() may result in memory access errors, depending on platform.

This method has no effect on Windows, where the only way to delete a shared memory block is to close all handles.

buf

Uma visualização de memória do conteúdo do bloco de memória compartilhada.

name

Acesso somente leitura ao nome único do bloco de memória compartilhada.

size

Acesso somente leitura ao tamanho em bytes do bloco de memória compartilhada.

O exemplo a seguir demonstra um uso baixo nível de instâncias de SharedMemory :

>>> from multiprocessing import shared_memory
>>> shm_a = shared_memory.SharedMemory(create=True, size=10)
>>> type(shm_a.buf)
<class 'memoryview'>
>>> buffer = shm_a.buf
>>> len(buffer)
10
>>> buffer[:4] = bytearray([22, 33, 44, 55])  # Modify multiple at once
>>> buffer[4] = 100                           # Modify single byte at a time
>>> # Attach to an existing shared memory block
>>> shm_b = shared_memory.SharedMemory(shm_a.name)
>>> import array
>>> array.array('b', shm_b.buf[:5])  # Copy the data into a new array.array
array('b', [22, 33, 44, 55, 100])
>>> shm_b.buf[:5] = b'howdy'  # Modify via shm_b using bytes
>>> bytes(shm_a.buf[:5])      # Access via shm_a
b'howdy'
>>> shm_b.close()   # Close each SharedMemory instance
>>> shm_a.close()
>>> shm_a.unlink()  # Call unlink only once to release the shared memory

The following example demonstrates a practical use of the SharedMemory class with NumPy arrays [https://numpy.org/], accessing the same numpy.ndarray from two distinct Python shells:

>>> # In the first Python interactive shell
>>> import numpy as np
>>> a = np.array([1, 1, 2, 3, 5, 8])  # Start with an existing NumPy array
>>> from multiprocessing import shared_memory
>>> shm = shared_memory.SharedMemory(create=True, size=a.nbytes)
>>> # Now create a NumPy array backed by shared memory
>>> b = np.ndarray(a.shape, dtype=a.dtype, buffer=shm.buf)
>>> b[:] = a[:]  # Copy the original data into shared memory
>>> b
array([1, 1, 2, 3, 5, 8])
>>> type(b)
<class 'numpy.ndarray'>
>>> type(a)
<class 'numpy.ndarray'>
>>> shm.name  # We did not specify a name so one was chosen for us
'psm_21467_46075'

>>> # In either the same shell or a new Python shell on the same machine
>>> import numpy as np
>>> from multiprocessing import shared_memory
>>> # Attach to the existing shared memory block
>>> existing_shm = shared_memory.SharedMemory(name='psm_21467_46075')
>>> # Note that a.shape is (6,) and a.dtype is np.int64 in this example
>>> c = np.ndarray((6,), dtype=np.int64, buffer=existing_shm.buf)
>>> c
array([1, 1, 2, 3, 5, 8])
>>> c[-1] = 888
>>> c
array([  1,   1,   2,   3,   5, 888])

>>> # Back in the first Python interactive shell, b reflects this change
>>> b
array([  1,   1,   2,   3,   5, 888])

>>> # Clean up from within the second Python shell
>>> del c  # Unnecessary; merely emphasizing the array is no longer used
>>> existing_shm.close()

>>> # Clean up from within the first Python shell
>>> del b  # Unnecessary; merely emphasizing the array is no longer used
>>> shm.close()
>>> shm.unlink()  # Free and release the shared memory block at the very end

class multiprocessing.managers.SharedMemoryManager([address[, authkey]])

A subclass of multiprocessing.managers.BaseManager which can be used for the management of shared memory blocks across processes.

A call to start() on a SharedMemoryManager instance causes a new process to be started. This new process’s sole purpose is to manage the life cycle of all shared memory blocks created through it. To trigger the release of all shared memory blocks managed by that process, call shutdown() on the instance. This triggers a unlink() call on all of the SharedMemory objects managed by that process and then stops the process itself. By creating SharedMemory instances through a SharedMemoryManager, we avoid the need to manually track and trigger the freeing of shared memory resources.

Esta classe fornece métodos para criar e retornar instâncias de SharedMemory e para criar um objeto lista ou similar (ShareableList) apoiado por memória compartilhada.

Refer to BaseManager for a description of the inherited address and authkey optional input arguments and how they may be used to connect to an existing SharedMemoryManager service from other processes.

SharedMemory(size)

Create and return a new SharedMemory object with the specified size in bytes.

ShareableList(sequence)

Create and return a new ShareableList object, initialized by the values from the input sequence.

The following example demonstrates the basic mechanisms of a SharedMemoryManager:

>>> from multiprocessing.managers import SharedMemoryManager
>>> smm = SharedMemoryManager()
>>> smm.start()  # Start the process that manages the shared memory blocks
>>> sl = smm.ShareableList(range(4))
>>> sl
ShareableList([0, 1, 2, 3], name='psm_6572_7512')
>>> raw_shm = smm.SharedMemory(size=128)
>>> another_sl = smm.ShareableList('alpha')
>>> another_sl
ShareableList(['a', 'l', 'p', 'h', 'a'], name='psm_6572_12221')
>>> smm.shutdown()  # Calls unlink() on sl, raw_shm, and another_sl

The following example depicts a potentially more convenient pattern for using SharedMemoryManager objects via the with statement to ensure that all shared memory blocks are released after they are no longer needed:

>>> with SharedMemoryManager() as smm:
...     sl = smm.ShareableList(range(2000))
...     # Divide the work among two processes, storing partial results in sl
...     p1 = Process(target=do_work, args=(sl, 0, 1000))
...     p2 = Process(target=do_work, args=(sl, 1000, 2000))
...     p1.start()
...     p2.start()  # A multiprocessing.Pool might be more efficient
...     p1.join()
...     p2.join()   # Wait for all work to complete in both processes
...     total_result = sum(sl)  # Consolidate the partial results now in sl

When using a SharedMemoryManager in a with statement, the shared memory blocks created using that manager are all released when the with statement’s code block finishes execution.

class multiprocessing.shared_memory.ShareableList(sequence=None, *, name=None)

Provide a mutable list-like object where all values stored within are stored in a shared memory block. This constrains storable values to the following built-in data types:

int (signed 64-bit)

float

bool

str (less than 10M bytes each when encoded as UTF-8)

bytes (less than 10M bytes each)

None

It also notably differs from the built-in list type in that these lists can not change their overall length (i.e. no append(), insert(), etc.) and do not support the dynamic creation of new ShareableList instances via slicing.

sequence is used in populating a new ShareableList full of values. Set to None to instead attach to an already existing ShareableList by its unique shared memory name.

name is the unique name for the requested shared memory, as described in the definition for SharedMemory. When attaching to an existing ShareableList, specify its shared memory block’s unique name while leaving sequence set to None.

Nota

A known issue exists for bytes and str values. If they end with \x00 nul bytes or characters, those may be silently stripped when fetching them by index from the ShareableList. This .rstrip(b'\x00') behavior is considered a bug and may go away in the future. See gh-106939 [https://github.com/python/cpython/issues/106939].

For applications where rstripping of trailing nulls is a problem, work around it by always unconditionally appending an extra non-0 byte to the end of such values when storing and unconditionally removing it when fetching:

>>> from multiprocessing import shared_memory
>>> nul_bug_demo = shared_memory.ShareableList(['?\x00', b'\x03\x02\x01\x00\x00\x00'])
>>> nul_bug_demo[0]
'?'
>>> nul_bug_demo[1]
b'\x03\x02\x01'
>>> nul_bug_demo.shm.unlink()
>>> padded = shared_memory.ShareableList(['?\x00\x07', b'\x03\x02\x01\x00\x00\x00\x07'])
>>> padded[0][:-1]
'?\x00'
>>> padded[1][:-1]
b'\x03\x02\x01\x00\x00\x00'
>>> padded.shm.unlink()

count(value)

Return the number of occurrences of value.

index(value)

Return first index position of value. Raise ValueError if value is not present.

format

Atributo somente leitura contendo o formato de empacotamento struct usado por todos os valores armazenados atualmente.

shm

A instância de SharedMemory onde os valores são armazenados.

O exemplo a seguir demonstra o uso básico de uma instância de ShareableList:

>>> from multiprocessing import shared_memory
>>> a = shared_memory.ShareableList(['howdy', b'HoWdY', -273.154, 100, None, True, 42])
>>> [ type(entry) for entry in a ]
[<class 'str'>, <class 'bytes'>, <class 'float'>, <class 'int'>, <class 'NoneType'>, <class 'bool'>, <class 'int'>]
>>> a[2]
-273.154
>>> a[2] = -78.5
>>> a[2]
-78.5
>>> a[2] = 'dry ice'  # Changing data types is supported as well
>>> a[2]
'dry ice'
>>> a[2] = 'larger than previously allocated storage space'
Traceback (most recent call last):
  ...
ValueError: exceeds available storage for existing str
>>> a[2]
'dry ice'
>>> len(a)
7
>>> a.index(42)
6
>>> a.count(b'howdy')
0
>>> a.count(b'HoWdY')
1
>>> a.shm.close()
>>> a.shm.unlink()
>>> del a  # Use of a ShareableList after call to unlink() is unsupported

O exemplo a seguir retrata como um, dois ou mais processos podem acessar a mesma ShareableList fornecendo o nome do bloco de memória compartilhada por trás dela:

>>> b = shared_memory.ShareableList(range(5))         # In a first process
>>> c = shared_memory.ShareableList(name=b.shm.name)  # In a second process
>>> c
ShareableList([0, 1, 2, 3, 4], name='...')
>>> c[-1] = -999
>>> b[-1]
-999
>>> b.shm.close()
>>> c.shm.close()
>>> c.shm.unlink()

The following examples demonstrates that ShareableList (and underlying SharedMemory) objects can be pickled and unpickled if needed. Note, that it will still be the same shared object. This happens, because the deserialized object has the same unique name and is just attached to an existing object with the same name (if the object is still alive):

>>> import pickle
>>> from multiprocessing import shared_memory
>>> sl = shared_memory.ShareableList(range(10))
>>> list(sl)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

>>> deserialized_sl = pickle.loads(pickle.dumps(sl))
>>> list(deserialized_sl)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

>>> sl[0] = -1
>>> deserialized_sl[1] = -2
>>> list(sl)
[-1, -2, 2, 3, 4, 5, 6, 7, 8, 9]
>>> list(deserialized_sl)
[-1, -2, 2, 3, 4, 5, 6, 7, 8, 9]

>>> sl.shm.close()
>>> sl.shm.unlink()

O pacote concurrent

Atualmente, há apenas um módulo neste pacote:

concurrent.futures – Iniciando tarefas em paralelo

concurrent.futures — Launching parallel tasks

Adicionado na versão 3.2.

Código-fonte: Lib/concurrent/futures/thread.py [https://github.com/python/cpython/tree/3.13/Lib/concurrent/futures/thread.py] e Lib/concurrent/futures/process.py [https://github.com/python/cpython/tree/3.13/Lib/concurrent/futures/process.py]

The concurrent.futures module provides a high-level interface for asynchronously executing callables.

The asynchronous execution can be performed with threads, using ThreadPoolExecutor, or separate processes, using ProcessPoolExecutor. Both implement the same interface, which is defined by the abstract Executor class.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Executor Objects

class concurrent.futures.Executor

An abstract class that provides methods to execute calls asynchronously. It should not be used directly, but through its concrete subclasses.

submit(fn, /, *args, **kwargs)

Schedules the callable, fn, to be executed as fn(*args, **kwargs) and returns a Future object representing the execution of the callable.

with ThreadPoolExecutor(max_workers=1) as executor:
    future = executor.submit(pow, 323, 1235)
    print(future.result())

map(fn, *iterables, timeout=None, chunksize=1)

Similar to map(fn, *iterables) except:

the iterables are collected immediately rather than lazily;

fn is executed asynchronously and several calls to fn may be made concurrently.

The returned iterator raises a TimeoutError if __next__() is called and the result isn’t available after timeout seconds from the original call to Executor.map(). timeout can be an int or a float. If timeout is not specified or None, there is no limit to the wait time.

If a fn call raises an exception, then that exception will be raised when its value is retrieved from the iterator.

When using ProcessPoolExecutor, this method chops iterables into a number of chunks which it submits to the pool as separate tasks. The (approximate) size of these chunks can be specified by setting chunksize to a positive integer. For very long iterables, using a large value for chunksize can significantly improve performance compared to the default size of 1. With ThreadPoolExecutor, chunksize has no effect.

Alterado na versão 3.5: Adicionado o argumento chunksize.

shutdown(wait=True, *, cancel_futures=False)

Signal the executor that it should free any resources that it is using when the currently pending futures are done executing. Calls to Executor.submit() and Executor.map() made after shutdown will raise RuntimeError.

If wait is True then this method will not return until all the pending futures are done executing and the resources associated with the executor have been freed. If wait is False then this method will return immediately and the resources associated with the executor will be freed when all pending futures are done executing. Regardless of the value of wait, the entire Python program will not exit until all pending futures are done executing.

If cancel_futures is True, this method will cancel all pending futures that the executor has not started running. Any futures that are completed or running won’t be cancelled, regardless of the value of cancel_futures.

If both cancel_futures and wait are True, all futures that the executor has started running will be completed prior to this method returning. The remaining futures are cancelled.

You can avoid having to call this method explicitly if you use the with statement, which will shutdown the Executor (waiting as if Executor.shutdown() were called with wait set to True):

import shutil
with ThreadPoolExecutor(max_workers=4) as e:
    e.submit(shutil.copy, 'src1.txt', 'dest1.txt')
    e.submit(shutil.copy, 'src2.txt', 'dest2.txt')
    e.submit(shutil.copy, 'src3.txt', 'dest3.txt')
    e.submit(shutil.copy, 'src4.txt', 'dest4.txt')

Alterado na versão 3.9: Adicionado cancel_futures.

ThreadPoolExecutor

ThreadPoolExecutor is an Executor subclass that uses a pool of threads to execute calls asynchronously.

Deadlocks can occur when the callable associated with a Future waits on the results of another Future. For example:

import time
def wait_on_b():
    time.sleep(5)
    print(b.result())  # b will never complete because it is waiting on a.
    return 5

def wait_on_a():
    time.sleep(5)
    print(a.result())  # a will never complete because it is waiting on b.
    return 6

executor = ThreadPoolExecutor(max_workers=2)
a = executor.submit(wait_on_b)
b = executor.submit(wait_on_a)

And:

def wait_on_future():
    f = executor.submit(pow, 5, 2)
    # This will never complete because there is only one worker thread and
    # it is executing this function.
    print(f.result())

executor = ThreadPoolExecutor(max_workers=1)
executor.submit(wait_on_future)

class concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='', initializer=None, initargs=())

An Executor subclass that uses a pool of at most max_workers threads to execute calls asynchronously.

All threads enqueued to ThreadPoolExecutor will be joined before the interpreter can exit. Note that the exit handler which does this is executed before any exit handlers added using atexit. This means exceptions in the main thread must be caught and handled in order to signal threads to exit gracefully. For this reason, it is recommended that ThreadPoolExecutor not be used for long-running tasks.

initializer is an optional callable that is called at the start of each worker thread; initargs is a tuple of arguments passed to the initializer. Should initializer raise an exception, all currently pending jobs will raise a BrokenThreadPool, as well as any attempt to submit more jobs to the pool.

Alterado na versão 3.5: If max_workers is None or not given, it will default to the number of processors on the machine, multiplied by 5, assuming that ThreadPoolExecutor is often used to overlap I/O instead of CPU work and the number of workers should be higher than the number of workers for ProcessPoolExecutor.

Alterado na versão 3.6: Added the thread_name_prefix parameter to allow users to control the threading.Thread names for worker threads created by the pool for easier debugging.

Alterado na versão 3.7: Added the initializer and initargs arguments.

Alterado na versão 3.8: Default value of max_workers is changed to min(32, os.cpu_count() + 4). This default value preserves at least 5 workers for I/O bound tasks. It utilizes at most 32 CPU cores for CPU bound tasks which release the GIL. And it avoids using very large resources implicitly on many-core machines.

ThreadPoolExecutor now reuses idle worker threads before starting max_workers worker threads too.

Alterado na versão 3.13: Default value of max_workers is changed to min(32, (os.process_cpu_count() or 1) + 4).

Exemplo de ThreadPoolExecutor

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://nonexistent-subdomain.python.org/']

# Retrieve a single page and report the URL and contents
def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

`ProcessPoolExecutor`

The ProcessPoolExecutor class is an Executor subclass that uses a pool of processes to execute calls asynchronously. ProcessPoolExecutor uses the multiprocessing module, which allows it to side-step the Global Interpreter Lock but also means that only picklable objects can be executed and returned.

The __main__ module must be importable by worker subprocesses. This means that ProcessPoolExecutor will not work in the interactive interpreter.

Calling Executor or Future methods from a callable submitted to a ProcessPoolExecutor will result in deadlock.

class concurrent.futures.ProcessPoolExecutor(max_workers=None, mp_context=None, initializer=None, initargs=(), max_tasks_per_child=None)

An Executor subclass that executes calls asynchronously using a pool of at most max_workers processes. If max_workers is None or not given, it will default to os.process_cpu_count(). If max_workers is less than or equal to 0, then a ValueError will be raised. On Windows, max_workers must be less than or equal to 61. If it is not then ValueError will be raised. If max_workers is None, then the default chosen will be at most 61, even if more processors are available. mp_context can be a multiprocessing context or None. It will be used to launch the workers. If mp_context is None or not given, the default multiprocessing context is used. See Contextos e métodos de inicialização.

initializer is an optional callable that is called at the start of each worker process; initargs is a tuple of arguments passed to the initializer. Should initializer raise an exception, all currently pending jobs will raise a BrokenProcessPool, as well as any attempt to submit more jobs to the pool.

max_tasks_per_child is an optional argument that specifies the maximum number of tasks a single process can execute before it will exit and be replaced with a fresh worker process. By default max_tasks_per_child is None which means worker processes will live as long as the pool. When a max is specified, the “spawn” multiprocessing start method will be used by default in absence of a mp_context parameter. This feature is incompatible with the “fork” start method.

Alterado na versão 3.3: When one of the worker processes terminates abruptly, a BrokenProcessPool error is now raised. Previously, behaviour was undefined but operations on the executor or its futures would often freeze or deadlock.

Alterado na versão 3.7: The mp_context argument was added to allow users to control the start_method for worker processes created by the pool.

Added the initializer and initargs arguments.

Nota

The default multiprocessing start method (see Contextos e métodos de inicialização) will change away from fork in Python 3.14. Code that requires fork be used for their ProcessPoolExecutor should explicitly specify that by passing a mp_context=multiprocessing.get_context("fork") parameter.

Alterado na versão 3.11: The max_tasks_per_child argument was added to allow users to control the lifetime of workers in the pool.

Alterado na versão 3.12: On POSIX systems, if your application has multiple threads and the multiprocessing context uses the "fork" start method: The os.fork() function called internally to spawn workers may raise a DeprecationWarning. Pass a mp_context configured to use a different start method. See the os.fork() documentation for further explanation.

Alterado na versão 3.13: max_workers uses os.process_cpu_count() by default, instead of os.cpu_count().

ProcessPoolExecutor Example

import concurrent.futures
import math

PRIMES = [
    112272535095293,
    112582705942171,
    112272535095293,
    115280095190773,
    115797848077099,
    1099726899285419]

def is_prime(n):
    if n < 2:
        return False
    if n == 2:
        return True
    if n % 2 == 0:
        return False

    sqrt_n = int(math.floor(math.sqrt(n)))
    for i in range(3, sqrt_n + 1, 2):
        if n % i == 0:
            return False
    return True

def main():
    with concurrent.futures.ProcessPoolExecutor() as executor:
        for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):
            print('%d is prime: %s' % (number, prime))

if __name__ == '__main__':
    main()

Future Objects

The Future class encapsulates the asynchronous execution of a callable. Future instances are created by Executor.submit().

class concurrent.futures.Future

Encapsulates the asynchronous execution of a callable. Future instances are created by Executor.submit() and should not be created directly except for testing.

cancel()

Attempt to cancel the call. If the call is currently being executed or finished running and cannot be cancelled then the method will return False, otherwise the call will be cancelled and the method will return True.

cancelled()

Return True if the call was successfully cancelled.

running()

Return True if the call is currently being executed and cannot be cancelled.

done()

Return True if the call was successfully cancelled or finished running.

result(timeout=None)

Return the value returned by the call. If the call hasn’t yet completed then this method will wait up to timeout seconds. If the call hasn’t completed in timeout seconds, then a TimeoutError will be raised. timeout can be an int or float. If timeout is not specified or None, there is no limit to the wait time.

If the future is cancelled before completing then CancelledError will be raised.

If the call raised an exception, this method will raise the same exception.

exception(timeout=None)

Return the exception raised by the call. If the call hasn’t yet completed then this method will wait up to timeout seconds. If the call hasn’t completed in timeout seconds, then a TimeoutError will be raised. timeout can be an int or float. If timeout is not specified or None, there is no limit to the wait time.

If the future is cancelled before completing then CancelledError will be raised.

If the call completed without raising, None is returned.

add_done_callback(fn)

Attaches the callable fn to the future. fn will be called, with the future as its only argument, when the future is cancelled or finishes running.

Added callables are called in the order that they were added and are always called in a thread belonging to the process that added them. If the callable raises an Exception subclass, it will be logged and ignored. If the callable raises a BaseException subclass, the behavior is undefined.

If the future has already completed or been cancelled, fn will be called immediately.

The following Future methods are meant for use in unit tests and Executor implementations.

set_running_or_notify_cancel()

This method should only be called by Executor implementations before executing the work associated with the Future and by unit tests.

If the method returns False then the Future was cancelled, i.e. Future.cancel() was called and returned True. Any threads waiting on the Future completing (i.e. through as_completed() or wait()) will be woken up.

If the method returns True then the Future was not cancelled and has been put in the running state, i.e. calls to Future.running() will return True.

This method can only be called once and cannot be called after Future.set_result() or Future.set_exception() have been called.

set_result(result)

Sets the result of the work associated with the Future to result.

This method should only be used by Executor implementations and unit tests.

Alterado na versão 3.8: This method raises concurrent.futures.InvalidStateError if the Future is already done.

set_exception(exception)

Sets the result of the work associated with the Future to the Exception exception.

This method should only be used by Executor implementations and unit tests.

Alterado na versão 3.8: This method raises concurrent.futures.InvalidStateError if the Future is already done.

Module Functions

concurrent.futures.wait(fs, timeout=None, return_when=ALL_COMPLETED)

Wait for the Future instances (possibly created by different Executor instances) given by fs to complete. Duplicate futures given to fs are removed and will be returned only once. Returns a named 2-tuple of sets. The first set, named done, contains the futures that completed (finished or cancelled futures) before the wait completed. The second set, named not_done, contains the futures that did not complete (pending or running futures).

timeout can be used to control the maximum number of seconds to wait before returning. timeout can be an int or float. If timeout is not specified or None, there is no limit to the wait time.

return_when indica quando esta função deve retornar. Ele deve ser uma das seguintes constantes:

Constante

Descrição

concurrent.futures.FIRST_COMPLETED

A função irá retornar quando qualquer futuro terminar ou for cancelado.

concurrent.futures.FIRST_EXCEPTION

The function will return when any future finishes by raising an exception. If no future raises an exception then it is equivalent to ALL_COMPLETED.

concurrent.futures.ALL_COMPLETED

A função irá retornar quando todos os futuros encerrarem ou forem cancelados.

concurrent.futures.as_completed(fs, timeout=None)

Returns an iterator over the Future instances (possibly created by different Executor instances) given by fs that yields futures as they complete (finished or cancelled futures). Any futures given by fs that are duplicated will be returned once. Any futures that completed before as_completed() is called will be yielded first. The returned iterator raises a TimeoutError if __next__() is called and the result isn’t available after timeout seconds from the original call to as_completed(). timeout can be an int or float. If timeout is not specified or None, there is no limit to the wait time.

Ver também

PEP 3148 [https://peps.python.org/pep-3148/] – futures - execute computations asynchronously

The proposal which described this feature for inclusion in the Python standard library.

Exception classes

exception concurrent.futures.CancelledError

Raised when a future is cancelled.

exception concurrent.futures.TimeoutError

A deprecated alias of TimeoutError, raised when a future operation exceeds the given timeout.

Alterado na versão 3.11: Esta classe foi feita como um apelido de TimeoutError.

exception concurrent.futures.BrokenExecutor

Derived from RuntimeError, this exception class is raised when an executor is broken for some reason, and cannot be used to submit or execute new tasks.

Adicionado na versão 3.7.

exception concurrent.futures.InvalidStateError

Raised when an operation is performed on a future that is not allowed in the current state.

Adicionado na versão 3.8.

exception concurrent.futures.thread.BrokenThreadPool

Derived from BrokenExecutor, this exception class is raised when one of the workers of a ThreadPoolExecutor has failed initializing.

Adicionado na versão 3.7.

exception concurrent.futures.process.BrokenProcessPool

Derived from BrokenExecutor (formerly RuntimeError), this exception class is raised when one of the workers of a ProcessPoolExecutor has terminated in a non-clean fashion (for example, if it was killed from the outside).

Adicionado na versão 3.3.

subprocess — Subprocess management

Código-fonte: Lib/subprocess.py [https://github.com/python/cpython/tree/3.13/Lib/subprocess.py]

O módulo subprocess permite que você crie novos processos, conecte-se aos seus canais de entrada/saída/erro e obtenha seus códigos de retorno. Este módulo pretende substituir vários módulos e funções mais antigos:

os.system
os.spawn*

Informações sobre como o módulo subprocess pode ser usado para substituir esses módulos e funções podem ser encontradas nas seções a seguir.

Ver também

PEP 324 [https://peps.python.org/pep-0324/] – PEP propondo o módulo subprocess

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Usando o módulo subprocess

A abordagem recomendada para invocar subprocessos é usar a função run() para todos os casos de uso que ela pode manipular. Para casos de uso mais avançados, a interface subjacente Popen pode ser usada diretamente.

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None, **other_popen_kwargs)

Executa o comando descrito por args. Aguarda a conclusão do comando e retorna uma instância de CompletedProcess.

Os argumentos mostrados acima são meramente os mais comuns, descritos abaixo em Argumentos usados frequentemente (daí o uso de notação somente-nomeado na assinatura abreviada). A assinatura da função completa é basicamente a mesma do construtor Popen - a maioria dos argumentos para esta função são passados para aquela interface. (timeout, input, check e capture_output não são.)

Se capture_output for verdadeiro, stdout e stderr serão capturados. Quando usado, o objeto interno Popen é automaticamente criado com stdout and stderr definidos como PIPE. Os argumentos stdout * e *stderr não podem ser fornecidos ao mesmo tempo que capture_output. Se você deseja capturar e combinar ambos os fluxos em um, defina stdout para PIPE e stderr para STDOUT, ao invés de usar capture_output.

Um timeout pode ser especificado em segundos, ele é passado internamente para Popen.communicate(). Se o tempo limite expirar, o processo filho será eliminado e aguardado. A exceção TimeoutExpired será levantada novamente após o término do processo filho. A criação inicial do processo em si não pode ser interrompida em muitas APIs de plataforma, portanto, não há garantia de que você verá uma exceção de tempo limite até, pelo menos, o tempo que a criação do processo demorar.

O argumento input é passado para Popen.communicate() e, portanto, para o stdin do subprocesso. Se usado, deve ser uma sequência de bytes ou uma string se encoding ou errors forem especificados ou text for verdadeiro. Quando usado, o objeto internal Popen é automaticamente criado com PIPE, e o argumento stdin também não pode ser usado.

Se check for verdadeiro, e o processo sair com um código de saída diferente de zero, uma exceção CalledProcessError será levantada. Os atributos dessa exceção contêm os argumentos, o código de saída e stdout e stderr se eles foram capturados.

Se encoding ou errors forem especificados, ou text for verdadeiro, os objetos de arquivo para stdin, stdout e stderr são abertos em modo de texto usando a encoding e errors especificados ou o io.TextIOWrapper padrão. O argumento universal_newlines é equivalente a text e é fornecido para compatibilidade com versões anteriores. Por padrão, os objetos arquivo são abertos no modo binário.

Se env não for None, deve ser um mapeamento que defina as variáveis de ambiente para o novo processo; elas são usadas em vez do comportamento padrão de herdar o ambiente do processo atual. É passado diretamente para Popen. Este mapeamento pode ser str para str em qualquer plataforma ou bytes para bytes em plataformas POSIX como os.environ ou os.environb.

Exemplos:

>>> subprocess.run(["ls", "-l"])  # doesn't capture output
CompletedProcess(args=['ls', '-l'], returncode=0)

>>> subprocess.run("exit 1", shell=True, check=True)
Traceback (most recent call last):
  ...
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

>>> subprocess.run(["ls", "-l", "/dev/null"], capture_output=True)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n', stderr=b'')

Adicionado na versão 3.5.

Alterado na versão 3.6: Adicionados os parâmetros encoding e errors.

Alterado na versão 3.7: Adicionado o parâmetro text, como um apelido mais compreensível que universal_newlines. Adicionado o parâmetro capture_output.

Alterado na versão 3.12: Ordem de pesquisa do shell do Windows alterada para shell=True. O diretório atual e %PATH% são substituídos por %COMSPEC% e %SystemRoot%\System32\cmd.exe. Como resultado, colocar um programa malicioso chamado cmd.exe em um diretório atual não funciona mais.

class subprocess.CompletedProcess

O valor de retorno de run(), representando um processo que foi concluído.

args

Os argumentos usados para iniciar o processo. Pode ser uma lista ou uma string.

returncode

Status de saída do processo filho. Normalmente, um status de saída 0 indica que foi executado com êxito.

Um valor negativo -N indica que o filho foi terminado pelo sinal N (POSIX apenas).

stdout

Stdout capturado do processo filho. Uma sequência de bytes ou uma string se run() foi chamada com uma codificação, erros ou text=True. None se stdout não foi capturado.

Se você executou o processo com stderr=subprocess.STDOUT, stdout e stderr serão combinados neste atributo, e stderr será None.

stderr

Stderr capturado do processo filho. Uma sequência de bytes ou uma string se run() foi chamada com uma codificação, erros ou text=True. None se stderr não foi capturado.

check_returncode()

Se returncode é diferente de zero, levantar um CalledProcessError.

Adicionado na versão 3.5.

subprocess.DEVNULL

Valor especial que pode ser usado como o argumento stdin, stdout ou stderr para Popen e indica que o arquivo especial os.devnull será usado.

Adicionado na versão 3.3.

subprocess.PIPE

Valor especial que pode ser usado como o argumento stdin, stdout ou stderr para Popen e indica que um encadeamento para o fluxo padrão deve ser aberto. Mais útil com Popen.communicate().

subprocess.STDOUT

Valor especial que pode ser usado como o argumento stderr para Popen e indica que o erro padrão deve ir para o mesmo manipulador que a saída padrão.

exception subprocess.SubprocessError

Classe base para todas as outras exceções deste módulo.

Adicionado na versão 3.3.

exception subprocess.TimeoutExpired

Subclasse de SubprocessError, levantada quando um tempo limite expira enquanto espera por um processo filho.

cmd

Comando que foi usado para gerar o processo filho.

timeout

Tempo limite em segundos.

output

Saída do processo filho se ele foi capturado por run() ou check_output(). Caso contrário, None. Isto é sempre bytes quando qualquer saída foi capturada independente da configuração text=True. Pode permanecer None em vez de b'' quando nenhuma saída foi observada.

stdout

Apelido para a saída, para simetria com stderr.

stderr

Saída de stderr do processo filho se ele foi capturado por run(). Caso contrário, None. Isto é sempre bytes quando a saída de stderr foi capturada independente da configuração text=True. Pode permanecer None em vez de b'' quando nenhuma saída de stderr foi observada.

Adicionado na versão 3.3.

Alterado na versão 3.5: Adicionados os atributos stdout e stderr

exception subprocess.CalledProcessError

Subclasse de SubprocessError, levantada quando um processo executado por check_call(), check_output() ou run() (com check=True) retorna um status de saída diferente de zero.

returncode

Status de saída do processo filho. Se o processo foi encerrado devido a um sinal, este será o número do sinal negativo.

cmd

Comando que foi usado para gerar o processo filho.

output

Saída do processo filho se ele foi capturado por run() ou check_output(). Caso contrário, None.

stdout

Apelido para a saída, para simetria com stderr.

stderr

Saída stderr do processo filho se ele foi capturado por run(). Caso contrário, None.

Alterado na versão 3.5: Adicionados os atributos stdout e stderr

Argumentos usados frequentemente

Para suportar uma ampla variedade de casos de uso, o construtor Popen (e as funções de conveniência) aceita muitos argumentos opcionais. Para a maioria dos casos de uso típicos, muitos desses argumentos podem ser seguramente deixados em seus valores padrão. Os argumentos mais comumente necessários são:

args é necessário para todas as chamadas e deve ser uma string ou uma sequência de argumentos do programa. Fornecer uma sequência de argumentos geralmente é preferível, pois permite que o módulo cuide de qualquer escape e aspas em argumentos que forem necessários (por exemplo, para permitir espaços em nomes de arquivo). Se for passada uma única string, shell deve ser True (veja abaixo) ou então a string deve apenas nomear o programa a ser executado sem especificar nenhum argumento.

stdin, stdout e stderr especificam a entrada padrão, a saída padrão e a saída de erro do programa executado, respectivamente. Os valores válidos são None, PIPE, DEVNULL, um descritor de arquivo existente (um número inteiro positivo) e um objeto arquivo existente com um descritor de arquivo válido. Com as configurações padrão de None, nenhum redirecionamento ocorrerá. PIPE indica que um novo canal para o filho deve ser criado. DEVNULL indica que o arquivo especial os.devnull será usado. Além disso, stderr pode ser STDOUT, o que indica que os dados de stderr do processo filho devem ser capturados no mesmo identificador de arquivo que para stdout.

Se encoding ou errors forem especificados, ou text (também conhecido como universal_newlines) for verdadeiro, os objetos de arquivo stdin, stdout e stderr serão abertos em modo de texto usando a encoding e errors especificados na chamada ou os valores padrão para io.TextIOWrapper.

Para stdin, os caracteres de fim de linha '\n' na entrada serão convertidos para o separador de linha padrão os.linesep. Para stdout e stderr, todas as terminações de linha na saída serão convertidas para '\n'. Para obter mais informações, consulte a documentação da classe io.TextIOWrapper quando o argumento newline para seu construtor é None.

Se o modo de texto não for usado, stdin, stdout e stderr serão abertos como fluxos binários. Nenhuma codificação ou conversão de final de linha é executada.

Alterado na versão 3.6: Adicionados os parâmetros encoding e errors.

Alterado na versão 3.7: Adicionado o parâmetro text como um apelido para universal_newlines.

Nota

O atributo newlines dos objetos arquivo Popen.stdin, Popen.stdout e Popen.stderr não são atualizados pelo método Popen.communicate().

Se shell for True, o comando especificado será executado através do shell. Isso pode ser útil se você estiver usando Python principalmente para o fluxo de controle aprimorado que ele oferece sobre a maioria dos shells do sistema e ainda deseja acesso conveniente a outros recursos do shell, como canais de shell, caracteres curinga de nome de arquivo, expansão de variável de ambiente e expansão de ~ para o diretório inicial de um usuário. No entanto, observe que o próprio Python oferece implementações de muitos recursos semelhantes a shell (em particular, glob, fnmatch, os.walk(), os.path.expandvars(), os.path.expanduser() e shutil).

Alterado na versão 3.3: Quando universal_newlines é True, a classe usa a codificação locale.getpreferredencoding(False) em vez de locale.getpreferredencoding(). Veja a classe io.TextIOWrapper para mais informações sobre esta alteração.

Nota

Leia a seção Security Considerations antes de usar shell=True.

Essas opções, junto com todas as outras opções, são descritas em mais detalhes na documentação do construtor Popen.

Construtor Popen

A criação e gerenciamento do processo subjacente neste módulo é manipulado pela classe Popen. Ela oferece muita flexibilidade para que os desenvolvedores sejam capazes de lidar com os casos menos comuns não cobertos pelas funções de conveniência.

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=None, startupinfo=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=(), *, group=None, extra_groups=None, user=None, umask=-1, encoding=None, errors=None, text=None, pipesize=-1, process_group=None)

Executa um programa filho em um novo processo. No POSIX, a classe usa o comportamento de os.execvpe() para executar o programa filho. No Windows, a classe usa a função Windows CreateProcess(). Os argumentos para Popen são os seguintes.

args deve ser uma sequência de argumentos do programa ou então uma única string ou objeto caminho ou similar. Por padrão, o programa a ser executado é o primeiro item em args se args for uma sequência. Se args for uma string, a interpretação depende da plataforma e é descrita abaixo. Consulte os argumentos shell e executable para obter diferenças adicionais em relação ao comportamento padrão. Salvo indicação em contrário, é recomendado passar args como uma sequência.

Aviso

Para confiabilidade máxima, use um caminho totalmente qualificado para o executável. Para procurar um nome não qualificado no PATH, use shutil.which(). Em todas as plataformas, passar sys.executable é a maneira recomendada de relançar o interpretador Python atual, e usar o formato de linha de comando -m para iniciar um módulo instalado.

Resolver o caminho do executável (ou o primeiro item de args) depende da plataforma. Para POSIX, veja os.execvpe(), e note que ao resolver ou procurar o caminho do executável, cwd substitui o diretório de trabalho atual e env pode substituir a variável de ambiente PATH. Para Windows, veja a documentação dos parâmetros lpApplicationName e lpCommandLine do WinAPI CreateProcess, e note que ao resolver ou procurar o caminho do executável com shell=False, cwd não substitui o diretório de trabalho atual e env não pode substituir a variável de ambiente PATH. Usar um caminho completo evita todas essas variações.

Um exemplo de passagem de alguns argumentos para um programa externo como uma sequência é:

Popen(["/usr/bin/git", "commit", "-m", "Fixes a bug."])

No POSIX, se args for uma string, a string é interpretada como o nome ou caminho do programa a ser executado. No entanto, isso só pode ser feito se não forem passados argumentos para o programa.

Nota

Pode não ser óbvio como quebrar um comando shell em uma sequência de argumentos, especialmente em casos complexos. shlex.split() pode ilustrar como determinar a tokenização correta para args:

>>> import shlex, subprocess
>>> command_line = input()
/bin/vikings -input eggs.txt -output "spam spam.txt" -cmd "echo '$MONEY'"
>>> args = shlex.split(command_line)
>>> print(args)
['/bin/vikings', '-input', 'eggs.txt', '-output', 'spam spam.txt', '-cmd', "echo '$MONEY'"]
>>> p = subprocess.Popen(args) # Success!

Observe em particular que as opções (como -input) e argumentos (como eggs.txt) que são separados por espaços em branco no shell vão em elementos de lista separados, enquanto os argumentos que precisam de aspas ou escape de contrabarra quando usados no shell (como nomes de arquivos contendo espaços ou o comando echo mostrado acima) são um único elemento de lista.

No Windows, se args for uma sequência, será convertido em uma string da maneira descrita em Converter uma sequência de argumentos em uma string no Windows. Isso ocorre porque o CreateProcess() subjacente opera em strings.

Alterado na versão 3.6: O parâmetro args aceita um objeto caminho ou similar se shell é False e uma sequência contendo objetos caminho ou similar no POSIX.

Alterado na versão 3.8: O parâmetro args aceita um objeto caminho ou similar se shell for False e uma sequência contendo bytes e objetos caminho ou similar no Windows.

O argumento shell (que por padrão é False) especifica se deve usar o shell como o programa a ser executado. Se shell for True, é recomendado passar args como uma string em vez de uma sequência.

Em POSIX com shell=True, o shell padrão é /bin/sh. Se args for uma string, a string especifica o comando a ser executado através do shell. Isso significa que a string deve ser formatada exatamente como seria ao ser digitada no prompt do shell. Isso inclui, por exemplo, citar ou escapar com contrabarra nomes de arquivos que contenham espaços. Se args for uma sequência, o primeiro item especifica a string do comando, e quaisquer itens adicionais serão tratados como argumentos adicionais para o próprio shell. Ou seja, Popen faz o equivalente a:

Popen(['/bin/sh', '-c', args[0], args[1], ...])

On Windows with shell=True, the COMSPEC environment variable specifies the default shell. The only time you need to specify shell=True on Windows is when the command you wish to execute is built into the shell (e.g. dir or copy). You do not need shell=True to run a batch file or console-based executable.

Nota

Leia a seção Security Considerations antes de usar shell=True.

bufsize will be supplied as the corresponding argument to the open() function when creating the stdin/stdout/stderr pipe file objects:

0 means unbuffered (read and write are one system call and can return short)

1 means line buffered (only usable if text=True or universal_newlines=True)

any other positive value means use a buffer of approximately that size

negative bufsize (the default) means the system default of io.DEFAULT_BUFFER_SIZE will be used.

Alterado na versão 3.3.1: bufsize now defaults to -1 to enable buffering by default to match the behavior that most code expects. In versions prior to Python 3.2.4 and 3.3.1 it incorrectly defaulted to 0 which was unbuffered and allowed short reads. This was unintentional and did not match the behavior of Python 2 as most code expected.

The executable argument specifies a replacement program to execute. It is very seldom needed. When shell=False, executable replaces the program to execute specified by args. However, the original args is still passed to the program. Most programs treat the program specified by args as the command name, which can then be different from the program actually executed. On POSIX, the args name becomes the display name for the executable in utilities such as ps. If shell=True, on POSIX the executable argument specifies a replacement shell for the default /bin/sh.

Alterado na versão 3.6: executable parameter accepts a path-like object on POSIX.

Alterado na versão 3.8: executable parameter accepts a bytes and path-like object on Windows.

Alterado na versão 3.12: Ordem de pesquisa do shell do Windows alterada para shell=True. O diretório atual e %PATH% são substituídos por %COMSPEC% e %SystemRoot%\System32\cmd.exe. Como resultado, colocar um programa malicioso chamado cmd.exe em um diretório atual não funciona mais.

stdin, stdout and stderr specify the executed program’s standard input, standard output and standard error file handles, respectively. Valid values are None, PIPE, DEVNULL, an existing file descriptor (a positive integer), and an existing file object with a valid file descriptor. With the default settings of None, no redirection will occur. PIPE indicates that a new pipe to the child should be created. DEVNULL indicates that the special file os.devnull will be used. Additionally, stderr can be STDOUT, which indicates that the stderr data from the applications should be captured into the same file handle as for stdout.

If preexec_fn is set to a callable object, this object will be called in the child process just before the child is executed. (POSIX only)

Aviso

The preexec_fn parameter is NOT SAFE to use in the presence of threads in your application. The child process could deadlock before exec is called.

Nota

If you need to modify the environment for the child use the env parameter rather than doing it in a preexec_fn. The start_new_session and process_group parameters should take the place of code using preexec_fn to call os.setsid() or os.setpgid() in the child.

Alterado na versão 3.8: The preexec_fn parameter is no longer supported in subinterpreters. The use of the parameter in a subinterpreter raises RuntimeError. The new restriction may affect applications that are deployed in mod_wsgi, uWSGI, and other embedded environments.

If close_fds is true, all file descriptors except 0, 1 and 2 will be closed before the child process is executed. Otherwise when close_fds is false, file descriptors obey their inheritable flag as described in Herança de descritores de arquivos.

On Windows, if close_fds is true then no handles will be inherited by the child process unless explicitly passed in the handle_list element of STARTUPINFO.lpAttributeList, or by standard handle redirection.

Alterado na versão 3.2: The default for close_fds was changed from False to what is described above.

Alterado na versão 3.7: On Windows the default for close_fds was changed from False to True when redirecting the standard handles. It’s now possible to set close_fds to True when redirecting the standard handles.

pass_fds is an optional sequence of file descriptors to keep open between the parent and child. Providing any pass_fds forces close_fds to be True. (POSIX only)

Alterado na versão 3.2: O parâmetro pass_fds foi adicionado.

If cwd is not None, the function changes the working directory to cwd before executing the child. cwd can be a string, bytes or path-like object. On POSIX, the function looks for executable (or for the first item in args) relative to cwd if the executable path is a relative path.

Alterado na versão 3.6: cwd parameter accepts a path-like object on POSIX.

Alterado na versão 3.7: cwd parameter accepts a path-like object on Windows.

Alterado na versão 3.8: cwd parameter accepts a bytes object on Windows.

If restore_signals is true (the default) all signals that Python has set to SIG_IGN are restored to SIG_DFL in the child process before the exec. Currently this includes the SIGPIPE, SIGXFZ and SIGXFSZ signals. (POSIX only)

Alterado na versão 3.2: restore_signals foi adicionado.

If start_new_session is true the setsid() system call will be made in the child process prior to the execution of the subprocess.

Disponibilidade

Alterado na versão 3.2: start_new_session foi adicionado.

If process_group is a non-negative integer, the setpgid(0, value) system call will be made in the child process prior to the execution of the subprocess.

Disponibilidade

Alterado na versão 3.11: process_group was added.

If group is not None, the setregid() system call will be made in the child process prior to the execution of the subprocess. If the provided value is a string, it will be looked up via grp.getgrnam() and the value in gr_gid will be used. If the value is an integer, it will be passed verbatim. (POSIX only)

Disponibilidade

Adicionado na versão 3.9.

If extra_groups is not None, the setgroups() system call will be made in the child process prior to the execution of the subprocess. Strings provided in extra_groups will be looked up via grp.getgrnam() and the values in gr_gid will be used. Integer values will be passed verbatim. (POSIX only)

Disponibilidade

Adicionado na versão 3.9.

If user is not None, the setreuid() system call will be made in the child process prior to the execution of the subprocess. If the provided value is a string, it will be looked up via pwd.getpwnam() and the value in pw_uid will be used. If the value is an integer, it will be passed verbatim. (POSIX only)

Disponibilidade

Adicionado na versão 3.9.

If umask is not negative, the umask() system call will be made in the child process prior to the execution of the subprocess.

Disponibilidade

Adicionado na versão 3.9.

If env is not None, it must be a mapping that defines the environment variables for the new process; these are used instead of the default behavior of inheriting the current process’ environment. This mapping can be str to str on any platform or bytes to bytes on POSIX platforms much like os.environ or os.environb.

Nota

If specified, env must provide any variables required for the program to execute. On Windows, in order to run a side-by-side assembly [https://en.wikipedia.org/wiki/Side-by-Side_Assembly] the specified env must include a valid SystemRoot.

If encoding or errors are specified, or text is true, the file objects stdin, stdout and stderr are opened in text mode with the specified encoding and errors, as described above in Argumentos usados frequentemente. The universal_newlines argument is equivalent to text and is provided for backwards compatibility. By default, file objects are opened in binary mode.

Adicionado na versão 3.6: encoding e errors foram adicionados.

Adicionado na versão 3.7: text foi adicionado como um atalho mais legível para universal_newlines.

If given, startupinfo will be a STARTUPINFO object, which is passed to the underlying CreateProcess function.

If given, creationflags, can be one or more of the following flags:

CREATE_NEW_CONSOLE

CREATE_NEW_PROCESS_GROUP

ABOVE_NORMAL_PRIORITY_CLASS

BELOW_NORMAL_PRIORITY_CLASS

HIGH_PRIORITY_CLASS

IDLE_PRIORITY_CLASS

NORMAL_PRIORITY_CLASS

REALTIME_PRIORITY_CLASS

CREATE_NO_WINDOW

DETACHED_PROCESS

CREATE_DEFAULT_ERROR_MODE

CREATE_BREAKAWAY_FROM_JOB

pipesize can be used to change the size of the pipe when PIPE is used for stdin, stdout or stderr. The size of the pipe is only changed on platforms that support this (only Linux at this time of writing). Other platforms will ignore this parameter.

Alterado na versão 3.10: Added the pipesize parameter.

Popen objects are supported as context managers via the with statement: on exit, standard file descriptors are closed, and the process is waited for.

with Popen(["ifconfig"], stdout=PIPE) as proc:
    log.write(proc.stdout.read())

Popen and the other functions in this module that use it raise an auditing event subprocess.Popen with arguments executable, args, cwd, and env. The value for args may be a single string or a list of strings, depending on platform.

Alterado na versão 3.2: Adicionado suporte a gerenciador de contexto.

Alterado na versão 3.6: O destruidor Popen agora emite um aviso ResourceWarning se o processo filho ainda estiver em execução.

Alterado na versão 3.8: Popen can use os.posix_spawn() in some cases for better performance. On Windows Subsystem for Linux and QEMU User Emulation, Popen constructor using os.posix_spawn() no longer raise an exception on errors like missing program, but the child process fails with a non-zero returncode.

Exceções

Exceções levantadas no processo filho, antes que o novo programa comece a ser executado, serão levantadas novamente no pai.

The most common exception raised is OSError. This occurs, for example, when trying to execute a non-existent file. Applications should prepare for OSError exceptions. Note that, when shell=True, OSError will be raised by the child only if the selected shell itself was not found. To determine if the shell failed to find the requested application, it is necessary to check the return code or output from the subprocess.

A exceção ValueError será levantada se Popen for chamado com argumentos inválidos.

check_call() e check_output() levantarão CalledProcessError se o processo chamado retornar um código de retorno diferente de zero.

All of the functions and methods that accept a timeout parameter, such as run() and Popen.communicate() will raise TimeoutExpired if the timeout expires before the process exits.

Todas as exceções definidas neste módulo herdam de SubprocessError.

Adicionado na versão 3.3: A classe base SubprocessError foi adicionada.

Considerações de Segurança

Unlike some other popen functions, this library will not implicitly choose to call a system shell. This means that all characters, including shell metacharacters, can safely be passed to child processes. If the shell is invoked explicitly, via shell=True, it is the application’s responsibility to ensure that all whitespace and metacharacters are quoted appropriately to avoid shell injection [https://en.wikipedia.org/wiki/Shell_injection#Shell_injection] vulnerabilities. On some platforms, it is possible to use shlex.quote() for this escaping.

On Windows, batch files (*.bat or *.cmd) may be launched by the operating system in a system shell regardless of the arguments passed to this library. This could result in arguments being parsed according to shell rules, but without any escaping added by Python. If you are intentionally launching a batch file with arguments from untrusted sources, consider passing shell=True to allow Python to escape special characters. See gh-114539 [https://github.com/python/cpython/issues/114539] for additional discussion.

Objetos Popen

Instâncias da classe Popen têm os seguintes métodos:

Popen.poll()

Check if child process has terminated. Set and return returncode attribute. Otherwise, returns None.

Popen.wait(timeout=None)

Wait for child process to terminate. Set and return returncode attribute.

If the process does not terminate after timeout seconds, raise a TimeoutExpired exception. It is safe to catch this exception and retry the wait.

Nota

This will deadlock when using stdout=PIPE or stderr=PIPE and the child process generates enough output to a pipe such that it blocks waiting for the OS pipe buffer to accept more data. Use Popen.communicate() when using pipes to avoid that.

Nota

When the timeout parameter is not None, then (on POSIX) the function is implemented using a busy loop (non-blocking call and short sleeps). Use the asyncio module for an asynchronous wait: see asyncio.create_subprocess_exec.

Alterado na versão 3.3: timeout foi adicionado.

Popen.communicate(input=None, timeout=None)

Interact with process: Send data to stdin. Read data from stdout and stderr, until end-of-file is reached. Wait for process to terminate and set the returncode attribute. The optional input argument should be data to be sent to the child process, or None, if no data should be sent to the child. If streams were opened in text mode, input must be a string. Otherwise, it must be bytes.

communicate() returns a tuple (stdout_data, stderr_data). The data will be strings if streams were opened in text mode; otherwise, bytes.

Note that if you want to send data to the process’s stdin, you need to create the Popen object with stdin=PIPE. Similarly, to get anything other than None in the result tuple, you need to give stdout=PIPE and/or stderr=PIPE too.

If the process does not terminate after timeout seconds, a TimeoutExpired exception will be raised. Catching this exception and retrying communication will not lose any output.

The child process is not killed if the timeout expires, so in order to cleanup properly a well-behaved application should kill the child process and finish communication:

proc = subprocess.Popen(...)
try:
    outs, errs = proc.communicate(timeout=15)
except TimeoutExpired:
    proc.kill()
    outs, errs = proc.communicate()

Nota

The data read is buffered in memory, so do not use this method if the data size is large or unlimited.

Alterado na versão 3.3: timeout foi adicionado.

Popen.send_signal(signal)

Envia o sinal signal para o filho.

Não faz nada se o processo for concluído.

Nota

On Windows, SIGTERM is an alias for terminate(). CTRL_C_EVENT and CTRL_BREAK_EVENT can be sent to processes started with a creationflags parameter which includes CREATE_NEW_PROCESS_GROUP.

Popen.terminate()

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess() is called to stop the child.

Popen.kill()

Kills the child. On POSIX OSs the function sends SIGKILL to the child. On Windows kill() is an alias for terminate().

The following attributes are also set by the class for you to access. Reassigning them to new values is unsupported:

Popen.args

O argumento args conforme foi passado para Popen - uma sequência de argumentos do programa ou então uma única string.

Adicionado na versão 3.3.

Popen.stdin

If the stdin argument was PIPE, this attribute is a writeable stream object as returned by open(). If the encoding or errors arguments were specified or the text or universal_newlines argument was True, the stream is a text stream, otherwise it is a byte stream. If the stdin argument was not PIPE, this attribute is None.

Popen.stdout

If the stdout argument was PIPE, this attribute is a readable stream object as returned by open(). Reading from the stream provides output from the child process. If the encoding or errors arguments were specified or the text or universal_newlines argument was True, the stream is a text stream, otherwise it is a byte stream. If the stdout argument was not PIPE, this attribute is None.

Popen.stderr

If the stderr argument was PIPE, this attribute is a readable stream object as returned by open(). Reading from the stream provides error output from the child process. If the encoding or errors arguments were specified or the text or universal_newlines argument was True, the stream is a text stream, otherwise it is a byte stream. If the stderr argument was not PIPE, this attribute is None.

Aviso

Use communicate() rather than .stdin.write, .stdout.read or .stderr.read to avoid deadlocks due to any of the other OS pipe buffers filling up and blocking the child process.

Popen.pid

O ID de processo do processo filho.

Observe que se você definir o argumento shell como True, este é o ID do processo do shell gerado.

Popen.returncode

The child return code. Initially None, returncode is set by a call to the poll(), wait(), or communicate() methods if they detect that the process has terminated.

A None value indicates that the process hadn’t yet terminated at the time of the last method call.

Um valor negativo -N indica que o filho foi terminado pelo sinal N (POSIX apenas).

Windows Popen Helpers

The STARTUPINFO class and following constants are only available on Windows.

class subprocess.STARTUPINFO(*, dwFlags=0, hStdInput=None, hStdOutput=None, hStdError=None, wShowWindow=0, lpAttributeList=None)

Partial support of the Windows STARTUPINFO [https://msdn.microsoft.com/en-us/library/ms686331(v=vs.85).aspx] structure is used for Popen creation. The following attributes can be set by passing them as keyword-only arguments.

Alterado na versão 3.7: Keyword-only argument support was added.

dwFlags

A bit field that determines whether certain STARTUPINFO attributes are used when the process creates a window.

si = subprocess.STARTUPINFO()
si.dwFlags = subprocess.STARTF_USESTDHANDLES | subprocess.STARTF_USESHOWWINDOW

hStdInput

If dwFlags specifies STARTF_USESTDHANDLES, this attribute is the standard input handle for the process. If STARTF_USESTDHANDLES is not specified, the default for standard input is the keyboard buffer.

hStdOutput

If dwFlags specifies STARTF_USESTDHANDLES, this attribute is the standard output handle for the process. Otherwise, this attribute is ignored and the default for standard output is the console window’s buffer.

hStdError

If dwFlags specifies STARTF_USESTDHANDLES, this attribute is the standard error handle for the process. Otherwise, this attribute is ignored and the default for standard error is the console window’s buffer.

wShowWindow

If dwFlags specifies STARTF_USESHOWWINDOW, this attribute can be any of the values that can be specified in the nCmdShow parameter for the ShowWindow [https://msdn.microsoft.com/en-us/library/ms633548(v=vs.85).aspx] function, except for SW_SHOWDEFAULT. Otherwise, this attribute is ignored.

SW_HIDE is provided for this attribute. It is used when Popen is called with shell=True.

lpAttributeList

A dictionary of additional attributes for process creation as given in STARTUPINFOEX, see UpdateProcThreadAttribute [https://msdn.microsoft.com/en-us/library/windows/desktop/ms686880(v=vs.85).aspx].

Atributos suportados:

handle_list

Sequence of handles that will be inherited. close_fds must be true if non-empty.

The handles must be temporarily made inheritable by os.set_handle_inheritable() when passed to the Popen constructor, else OSError will be raised with Windows error ERROR_INVALID_PARAMETER (87).

Aviso

In a multithreaded process, use caution to avoid leaking handles that are marked inheritable when combining this feature with concurrent calls to other process creation functions that inherit all handles such as os.system(). This also applies to standard handle redirection, which temporarily creates inheritable handles.

Adicionado na versão 3.7.

Constantes do Windows

The subprocess module exposes the following constants.

subprocess.STD_INPUT_HANDLE

The standard input device. Initially, this is the console input buffer, CONIN$.

subprocess.STD_OUTPUT_HANDLE

The standard output device. Initially, this is the active console screen buffer, CONOUT$.

subprocess.STD_ERROR_HANDLE

The standard error device. Initially, this is the active console screen buffer, CONOUT$.

subprocess.SW_HIDE

Oculta a janela. Outra janela será ativada.

subprocess.STARTF_USESTDHANDLES

Specifies that the STARTUPINFO.hStdInput, STARTUPINFO.hStdOutput, and STARTUPINFO.hStdError attributes contain additional information.

subprocess.STARTF_USESHOWWINDOW

Specifies that the STARTUPINFO.wShowWindow attribute contains additional information.

subprocess.STARTF_FORCEONFEEDBACK

A STARTUPINFO.dwFlags parameter to specify that the Working in Background mouse cursor will be displayed while a process is launching. This is the default behavior for GUI processes.

Adicionado na versão 3.13.

subprocess.STARTF_FORCEOFFFEEDBACK

A STARTUPINFO.dwFlags parameter to specify that the mouse cursor will not be changed when launching a process.

Adicionado na versão 3.13.

subprocess.CREATE_NEW_CONSOLE

The new process has a new console, instead of inheriting its parent’s console (the default).

subprocess.CREATE_NEW_PROCESS_GROUP

A Popen creationflags parameter to specify that a new process group will be created. This flag is necessary for using os.kill() on the subprocess.

This flag is ignored if CREATE_NEW_CONSOLE is specified.

subprocess.ABOVE_NORMAL_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have an above average priority.

Adicionado na versão 3.7.

subprocess.BELOW_NORMAL_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have a below average priority.

Adicionado na versão 3.7.

subprocess.HIGH_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have a high priority.

Adicionado na versão 3.7.

subprocess.IDLE_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have an idle (lowest) priority.

Adicionado na versão 3.7.

subprocess.NORMAL_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have a normal priority. (default)

Adicionado na versão 3.7.

subprocess.REALTIME_PRIORITY_CLASS

A Popen creationflags parameter to specify that a new process will have realtime priority. You should almost never use REALTIME_PRIORITY_CLASS, because this interrupts system threads that manage mouse input, keyboard input, and background disk flushing. This class can be appropriate for applications that “talk” directly to hardware or that perform brief tasks that should have limited interruptions.

Adicionado na versão 3.7.

subprocess.CREATE_NO_WINDOW

A Popen creationflags parameter to specify that a new process will not create a window.

Adicionado na versão 3.7.

subprocess.DETACHED_PROCESS

A Popen creationflags parameter to specify that a new process will not inherit its parent’s console. This value cannot be used with CREATE_NEW_CONSOLE.

Adicionado na versão 3.7.

subprocess.CREATE_DEFAULT_ERROR_MODE

A Popen creationflags parameter to specify that a new process does not inherit the error mode of the calling process. Instead, the new process gets the default error mode. This feature is particularly useful for multithreaded shell applications that run with hard errors disabled.

Adicionado na versão 3.7.

subprocess.CREATE_BREAKAWAY_FROM_JOB

A Popen creationflags parameter to specify that a new process is not associated with the job.

Adicionado na versão 3.7.

API de alto nível mais antiga

Antes do Python 3.5, essas três funções constituíam a API de alto nível para subprocesso. Agora você pode usar run() em muitos casos, mas muitos códigos existentes chamam essas funções.

subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, cwd=None, timeout=None, **other_popen_kwargs)

Run the command described by args. Wait for command to complete, then return the returncode attribute.

Code needing to capture stdout or stderr should use run() instead:

run(...).returncode

To suppress stdout or stderr, supply a value of DEVNULL.

The arguments shown above are merely some common ones. The full function signature is the same as that of the Popen constructor - this function passes all supplied arguments other than timeout directly through to that interface.

Nota

Do not use stdout=PIPE or stderr=PIPE with this function. The child process will block if it generates enough output to a pipe to fill up the OS pipe buffer as the pipes are not being read from.

Alterado na versão 3.3: timeout foi adicionado.

Alterado na versão 3.12: Ordem de pesquisa do shell do Windows alterada para shell=True. O diretório atual e %PATH% são substituídos por %COMSPEC% e %SystemRoot%\System32\cmd.exe. Como resultado, colocar um programa malicioso chamado cmd.exe em um diretório atual não funciona mais.

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, cwd=None, timeout=None, **other_popen_kwargs)

Run command with arguments. Wait for command to complete. If the return code was zero then return, otherwise raise CalledProcessError. The CalledProcessError object will have the return code in the returncode attribute. If check_call() was unable to start the process it will propagate the exception that was raised.

Code needing to capture stdout or stderr should use run() instead:

run(..., check=True)

To suppress stdout or stderr, supply a value of DEVNULL.

The arguments shown above are merely some common ones. The full function signature is the same as that of the Popen constructor - this function passes all supplied arguments other than timeout directly through to that interface.

Nota

Do not use stdout=PIPE or stderr=PIPE with this function. The child process will block if it generates enough output to a pipe to fill up the OS pipe buffer as the pipes are not being read from.

Alterado na versão 3.3: timeout foi adicionado.

Alterado na versão 3.12: Ordem de pesquisa do shell do Windows alterada para shell=True. O diretório atual e %PATH% são substituídos por %COMSPEC% e %SystemRoot%\System32\cmd.exe. Como resultado, colocar um programa malicioso chamado cmd.exe em um diretório atual não funciona mais.

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, cwd=None, encoding=None, errors=None, universal_newlines=None, timeout=None, text=None, **other_popen_kwargs)

Executa o comando com argumentos e retorna sua saída.

If the return code was non-zero it raises a CalledProcessError. The CalledProcessError object will have the return code in the returncode attribute and any output in the output attribute.

Isso equivale a:

run(..., check=True, stdout=PIPE).stdout

The arguments shown above are merely some common ones. The full function signature is largely the same as that of run() - most arguments are passed directly through to that interface. One API deviation from run() behavior exists: passing input=None will behave the same as input=b'' (or input='', depending on other arguments) rather than using the parent’s standard input file handle.

By default, this function will return the data as encoded bytes. The actual encoding of the output data may depend on the command being invoked, so the decoding to text will often need to be handled at the application level.

This behaviour may be overridden by setting text, encoding, errors, or universal_newlines to True as described in Argumentos usados frequentemente and run().

To also capture standard error in the result, use stderr=subprocess.STDOUT:

>>> subprocess.check_output(
...     "ls non_existent_file; exit 0",
...     stderr=subprocess.STDOUT,
...     shell=True)
'ls: non_existent_file: No such file or directory\n'

Adicionado na versão 3.1.

Alterado na versão 3.3: timeout foi adicionado.

Alterado na versão 3.4: Support for the input keyword argument was added.

Alterado na versão 3.6: encoding and errors were added. See run() for details.

Adicionado na versão 3.7: text foi adicionado como um atalho mais legível para universal_newlines.

Alterado na versão 3.12: Ordem de pesquisa do shell do Windows alterada para shell=True. O diretório atual e %PATH% são substituídos por %COMSPEC% e %SystemRoot%\System32\cmd.exe. Como resultado, colocar um programa malicioso chamado cmd.exe em um diretório atual não funciona mais.

Replacing Older Functions with the subprocess Module

In this section, “a becomes b” means that b can be used as a replacement for a.

Nota

All “a” functions in this section fail (more or less) silently if the executed program cannot be found; the “b” replacements raise OSError instead.

In addition, the replacements using check_output() will fail with a CalledProcessError if the requested operation produces a non-zero return code. The output is still available as the output attribute of the raised exception.

In the following examples, we assume that the relevant functions have already been imported from the subprocess module.

Replacing /bin/sh shell command substitution

output=$(mycmd myarg)

torna-se:

output = check_output(["mycmd", "myarg"])

Replacing shell pipeline

output=$(dmesg | grep hda)

torna-se:

p1 = Popen(["dmesg"], stdout=PIPE)
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE)
p1.stdout.close()  # Allow p1 to receive a SIGPIPE if p2 exits.
output = p2.communicate()[0]

The p1.stdout.close() call after starting the p2 is important in order for p1 to receive a SIGPIPE if p2 exits before p1.

Alternatively, for trusted input, the shell’s own pipeline support may still be used directly:

output=$(dmesg | grep hda)

torna-se:

output = check_output("dmesg | grep hda", shell=True)

Substituindo os.system()

sts = os.system("mycmd" + " myarg")
# becomes
retcode = call("mycmd" + " myarg", shell=True)

Notas:

Calling the program through the shell is usually not required.

The call() return value is encoded differently to that of os.system().

The os.system() function ignores SIGINT and SIGQUIT signals while the command is running, but the caller must do this separately when using the subprocess module.

Um exemplo mais realista ficaria assim:

try:
    retcode = call("mycmd" + " myarg", shell=True)
    if retcode < 0:
        print("Child was terminated by signal", -retcode, file=sys.stderr)
    else:
        print("Child returned", retcode, file=sys.stderr)
except OSError as e:
    print("Execution failed:", e, file=sys.stderr)

Replacing the os.spawn family

Exemplo P_NOWAIT:

pid = os.spawnlp(os.P_NOWAIT, "/bin/mycmd", "mycmd", "myarg")
==>
pid = Popen(["/bin/mycmd", "myarg"]).pid

Exemplo P_WAIT:

retcode = os.spawnlp(os.P_WAIT, "/bin/mycmd", "mycmd", "myarg")
==>
retcode = call(["/bin/mycmd", "myarg"])

Exemplo de vetor:

os.spawnvp(os.P_NOWAIT, path, args)
==>
Popen([path] + args[1:])

Exemplo de ambiente:

os.spawnlpe(os.P_NOWAIT, "/bin/mycmd", "mycmd", "myarg", env)
==>
Popen(["/bin/mycmd", "myarg"], env={"PATH": "/usr/bin"})

Replacing os.popen(), os.popen2(), os.popen3()

(child_stdin, child_stdout) = os.popen2(cmd, mode, bufsize)
==>
p = Popen(cmd, shell=True, bufsize=bufsize,
          stdin=PIPE, stdout=PIPE, close_fds=True)
(child_stdin, child_stdout) = (p.stdin, p.stdout)

(child_stdin,
 child_stdout,
 child_stderr) = os.popen3(cmd, mode, bufsize)
==>
p = Popen(cmd, shell=True, bufsize=bufsize,
          stdin=PIPE, stdout=PIPE, stderr=PIPE, close_fds=True)
(child_stdin,
 child_stdout,
 child_stderr) = (p.stdin, p.stdout, p.stderr)

(child_stdin, child_stdout_and_stderr) = os.popen4(cmd, mode, bufsize)
==>
p = Popen(cmd, shell=True, bufsize=bufsize,
          stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
(child_stdin, child_stdout_and_stderr) = (p.stdin, p.stdout)

Return code handling translates as follows:

pipe = os.popen(cmd, 'w')
...
rc = pipe.close()
if rc is not None and rc >> 8:
    print("There were some errors")
==>
process = Popen(cmd, stdin=PIPE)
...
process.stdin.close()
if process.wait() != 0:
    print("There were some errors")

Replacing functions from the popen2 module

Nota

If the cmd argument to popen2 functions is a string, the command is executed through /bin/sh. If it is a list, the command is directly executed.

(child_stdout, child_stdin) = popen2.popen2("somestring", bufsize, mode)
==>
p = Popen("somestring", shell=True, bufsize=bufsize,
          stdin=PIPE, stdout=PIPE, close_fds=True)
(child_stdout, child_stdin) = (p.stdout, p.stdin)

(child_stdout, child_stdin) = popen2.popen2(["mycmd", "myarg"], bufsize, mode)
==>
p = Popen(["mycmd", "myarg"], bufsize=bufsize,
          stdin=PIPE, stdout=PIPE, close_fds=True)
(child_stdout, child_stdin) = (p.stdout, p.stdin)

popen2.Popen3 and popen2.Popen4 basically work as subprocess.Popen, except that:

Popen raises an exception if the execution fails.

The capturestderr argument is replaced with the stderr argument.

stdin=PIPE and stdout=PIPE must be specified.

popen2 closes all file descriptors by default, but you have to specify close_fds=True with Popen to guarantee this behavior on all platforms or past Python versions.

Legacy Shell Invocation Functions

This module also provides the following legacy functions from the 2.x commands module. These operations implicitly invoke the system shell and none of the guarantees described above regarding security and exception handling consistency are valid for these functions.

subprocess.getstatusoutput(cmd, *, encoding=None, errors=None)

Return (exitcode, output) of executing cmd in a shell.

Execute the string cmd in a shell with Popen.check_output() and return a 2-tuple (exitcode, output). encoding and errors are used to decode output; see the notes on Argumentos usados frequentemente for more details.

A trailing newline is stripped from the output. The exit code for the command can be interpreted as the return code of subprocess. Example:

>>> subprocess.getstatusoutput('ls /bin/ls')
(0, '/bin/ls')
>>> subprocess.getstatusoutput('cat /bin/junk')
(1, 'cat: /bin/junk: No such file or directory')
>>> subprocess.getstatusoutput('/bin/junk')
(127, 'sh: /bin/junk: not found')
>>> subprocess.getstatusoutput('/bin/kill $$')
(-15, '')

Disponibilidade

Alterado na versão 3.3.4: Suporte ao Windows foi adicionado.

The function now returns (exitcode, output) instead of (status, output) as it did in Python 3.3.3 and earlier. exitcode has the same value as returncode.

Alterado na versão 3.11: Adicionados os parâmetros encoding e errors.

subprocess.getoutput(cmd, *, encoding=None, errors=None)

Return output (stdout and stderr) of executing cmd in a shell.

Like getstatusoutput(), except the exit code is ignored and the return value is a string containing the command’s output. Example:

>>> subprocess.getoutput('ls /bin/ls')
'/bin/ls'

Disponibilidade

Alterado na versão 3.3.4: Suporte para Windows adicionado.

Alterado na versão 3.11: Adicionados os parâmetros encoding e errors.

Notas

Converter uma sequência de argumentos em uma string no Windows

On Windows, an args sequence is converted to a string that can be parsed using the following rules (which correspond to the rules used by the MS C runtime):

Arguments are delimited by white space, which is either a space or a tab.

A string surrounded by double quotation marks is interpreted as a single argument, regardless of white space contained within. A quoted string can be embedded in an argument.

A double quotation mark preceded by a backslash is interpreted as a literal double quotation mark.

Backslashes are interpreted literally, unless they immediately precede a double quotation mark.

If backslashes immediately precede a double quotation mark, every pair of backslashes is interpreted as a literal backslash. If the number of backslashes is odd, the last backslash escapes the next double quotation mark as described in rule 3.

Ver também

shlex

Module which provides function to parse and escape command lines.

Disabling use of vfork() or posix_spawn()

On Linux, subprocess defaults to using the vfork() system call internally when it is safe to do so rather than fork(). This greatly improves performance.

If you ever encounter a presumed highly unusual situation where you need to prevent vfork() from being used by Python, you can set the subprocess._USE_VFORK attribute to a false value.

subprocess._USE_VFORK = False  # See CPython issue gh-NNNNNN.

Setting this has no impact on use of posix_spawn() which could use vfork() internally within its libc implementation. There is a similar subprocess._USE_POSIX_SPAWN attribute if you need to prevent use of that.

subprocess._USE_POSIX_SPAWN = False  # See CPython issue gh-NNNNNN.

It is safe to set these to false on any Python version. They will have no effect on older versions when unsupported. Do not assume the attributes are available to read. Despite their names, a true value does not indicate that the corresponding function will be used, only that it may be.

Please file issues any time you have to use these private knobs with a way to reproduce the issue you were seeing. Link to that issue from a comment in your code.

Adicionado na versão 3.8: _USE_POSIX_SPAWN

Adicionado na versão 3.11: _USE_VFORK

sched — Event scheduler

Código-fonte: Lib/sched.py [https://github.com/python/cpython/tree/3.13/Lib/sched.py]

The sched module defines a class which implements a general purpose event scheduler:

class sched.scheduler(timefunc=time.monotonic, delayfunc=time.sleep)

The scheduler class defines a generic interface to scheduling events. It needs two functions to actually deal with the “outside world” — timefunc should be callable without arguments, and return a number (the “time”, in any units whatsoever). The delayfunc function should be callable with one argument, compatible with the output of timefunc, and should delay that many time units. delayfunc will also be called with the argument 0 after each event is run to allow other threads an opportunity to run in multi-threaded applications.

Alterado na versão 3.3: timefunc and delayfunc parameters are optional.

Alterado na versão 3.3: scheduler class can be safely used in multi-threaded environments.

Exemplo:

>>> import sched, time
>>> s = sched.scheduler(time.time, time.sleep)
>>> def print_time(a='default'):
...     print("From print_time", time.time(), a)
...
>>> def print_some_times():
...     print(time.time())
...     s.enter(10, 1, print_time)
...     s.enter(5, 2, print_time, argument=('positional',))
...     # despite having higher priority, 'keyword' runs after 'positional' as enter() is relative
...     s.enter(5, 1, print_time, kwargs={'a': 'keyword'})
...     s.enterabs(1_650_000_000, 10, print_time, argument=("first enterabs",))
...     s.enterabs(1_650_000_000, 5, print_time, argument=("second enterabs",))
...     s.run()
...     print(time.time())
...
>>> print_some_times()
1652342830.3640375
From print_time 1652342830.3642538 second enterabs
From print_time 1652342830.3643398 first enterabs
From print_time 1652342835.3694863 positional
From print_time 1652342835.3696074 keyword
From print_time 1652342840.369612 default
1652342840.3697174

Objetos Scheduler

scheduler instances have the following methods and attributes:

scheduler.enterabs(time, priority, action, argument=(), kwargs={})

Schedule a new event. The time argument should be a numeric type compatible with the return value of the timefunc function passed to the constructor. Events scheduled for the same time will be executed in the order of their priority. A lower number represents a higher priority.

Executing the event means executing action(*argument, **kwargs). argument is a sequence holding the positional arguments for action. kwargs is a dictionary holding the keyword arguments for action.

Return value is an event which may be used for later cancellation of the event (see cancel()).

Alterado na versão 3.3: argument parameter is optional.

Alterado na versão 3.3: o parâmetro kwargs foi adicionado.

scheduler.enter(delay, priority, action, argument=(), kwargs={})

Schedule an event for delay more time units. Other than the relative time, the other arguments, the effect and the return value are the same as those for enterabs().

Alterado na versão 3.3: argument parameter is optional.

Alterado na versão 3.3: o parâmetro kwargs foi adicionado.

scheduler.cancel(event)

Remove the event from the queue. If event is not an event currently in the queue, this method will raise a ValueError.

scheduler.empty()

Return True if the event queue is empty.

scheduler.run(blocking=True)

Run all scheduled events. This method will wait (using the delayfunc function passed to the constructor) for the next event, then execute it and so on until there are no more scheduled events.

If blocking is false executes the scheduled events due to expire soonest (if any) and then return the deadline of the next scheduled call in the scheduler (if any).

Either action or delayfunc can raise an exception. In either case, the scheduler will maintain a consistent state and propagate the exception. If an exception is raised by action, the event will not be attempted in future calls to run().

If a sequence of events takes longer to run than the time available before the next event, the scheduler will simply fall behind. No events will be dropped; the calling code is responsible for canceling events which are no longer pertinent.

Alterado na versão 3.3: blocking parameter was added.

scheduler.queue

Read-only attribute returning a list of upcoming events in the order they will be run. Each event is shown as a named tuple with the following fields: time, priority, action, argument, kwargs.

queue — A synchronized queue class

Código-fonte: Lib/queue.py [https://github.com/python/cpython/tree/3.13/Lib/queue.py]

The queue module implements multi-producer, multi-consumer queues. It is especially useful in threaded programming when information must be exchanged safely between multiple threads. The Queue class in this module implements all the required locking semantics.

The module implements three types of queue, which differ only in the order in which the entries are retrieved. In a FIFO queue, the first tasks added are the first retrieved. In a LIFO queue, the most recently added entry is the first retrieved (operating like a stack). With a priority queue, the entries are kept sorted (using the heapq module) and the lowest valued entry is retrieved first.

Internally, those three types of queues use locks to temporarily block competing threads; however, they are not designed to handle reentrancy within a thread.

In addition, the module implements a “simple” FIFO queue type, SimpleQueue, whose specific implementation provides additional guarantees in exchange for the smaller functionality.

The queue module defines the following classes and exceptions:

class queue.Queue(maxsize=0)

Constructor for a FIFO queue. maxsize is an integer that sets the upperbound limit on the number of items that can be placed in the queue. Insertion will block once this size has been reached, until queue items are consumed. If maxsize is less than or equal to zero, the queue size is infinite.

class queue.LifoQueue(maxsize=0)

Constructor for a LIFO queue. maxsize is an integer that sets the upperbound limit on the number of items that can be placed in the queue. Insertion will block once this size has been reached, until queue items are consumed. If maxsize is less than or equal to zero, the queue size is infinite.

class queue.PriorityQueue(maxsize=0)

Constructor for a priority queue. maxsize is an integer that sets the upperbound limit on the number of items that can be placed in the queue. Insertion will block once this size has been reached, until queue items are consumed. If maxsize is less than or equal to zero, the queue size is infinite.

The lowest valued entries are retrieved first (the lowest valued entry is the one that would be returned by min(entries)). A typical pattern for entries is a tuple in the form: (priority_number, data).

If the data elements are not comparable, the data can be wrapped in a class that ignores the data item and only compares the priority number:

from dataclasses import dataclass, field
from typing import Any

@dataclass(order=True)
class PrioritizedItem:
    priority: int
    item: Any=field(compare=False)

class queue.SimpleQueue

Constructor for an unbounded FIFO queue. Simple queues lack advanced functionality such as task tracking.

Adicionado na versão 3.7.

exception queue.Empty

Exception raised when non-blocking get() (or get_nowait()) is called on a Queue object which is empty.

exception queue.Full

Exception raised when non-blocking put() (or put_nowait()) is called on a Queue object which is full.

exception queue.ShutDown

Exception raised when put() or get() is called on a Queue object which has been shut down.

Adicionado na versão 3.13.

Objetos Queue

Queue objects (Queue, LifoQueue, or PriorityQueue) provide the public methods described below.

Queue.qsize()

Return the approximate size of the queue. Note, qsize() > 0 doesn’t guarantee that a subsequent get() will not block, nor will qsize() < maxsize guarantee that put() will not block.

Queue.empty()

Return True if the queue is empty, False otherwise. If empty() returns True it doesn’t guarantee that a subsequent call to put() will not block. Similarly, if empty() returns False it doesn’t guarantee that a subsequent call to get() will not block.

Queue.full()

Return True if the queue is full, False otherwise. If full() returns True it doesn’t guarantee that a subsequent call to get() will not block. Similarly, if full() returns False it doesn’t guarantee that a subsequent call to put() will not block.

Queue.put(item, block=True, timeout=None)

Put item into the queue. If optional args block is true and timeout is None (the default), block if necessary until a free slot is available. If timeout is a positive number, it blocks at most timeout seconds and raises the Full exception if no free slot was available within that time. Otherwise (block is false), put an item on the queue if a free slot is immediately available, else raise the Full exception (timeout is ignored in that case).

Raises ShutDown if the queue has been shut down.

Queue.put_nowait(item)

Equivalent to put(item, block=False).

Queue.get(block=True, timeout=None)

Remove and return an item from the queue. If optional args block is true and timeout is None (the default), block if necessary until an item is available. If timeout is a positive number, it blocks at most timeout seconds and raises the Empty exception if no item was available within that time. Otherwise (block is false), return an item if one is immediately available, else raise the Empty exception (timeout is ignored in that case).

Prior to 3.0 on POSIX systems, and for all versions on Windows, if block is true and timeout is None, this operation goes into an uninterruptible wait on an underlying lock. This means that no exceptions can occur, and in particular a SIGINT will not trigger a KeyboardInterrupt.

Raises ShutDown if the queue has been shut down and is empty, or if the queue has been shut down immediately.

Queue.get_nowait()

Equivalente a get(False).

Two methods are offered to support tracking whether enqueued tasks have been fully processed by daemon consumer threads.

Queue.task_done()

Indicate that a formerly enqueued task is complete. Used by queue consumer threads. For each get() used to fetch a task, a subsequent call to task_done() tells the queue that the processing on the task is complete.

If a join() is currently blocking, it will resume when all items have been processed (meaning that a task_done() call was received for every item that had been put() into the queue).

shutdown(immediate=True) chama task_done() para cada item restante na fila.

Raises a ValueError if called more times than there were items placed in the queue.

Queue.join()

Blocks until all items in the queue have been gotten and processed.

The count of unfinished tasks goes up whenever an item is added to the queue. The count goes down whenever a consumer thread calls task_done() to indicate that the item was retrieved and all work on it is complete. When the count of unfinished tasks drops to zero, join() unblocks.

Example of how to wait for enqueued tasks to be completed:

import threading
import queue

q = queue.Queue()

def worker():
    while True:
        item = q.get()
        print(f'Working on {item}')
        print(f'Finished {item}')
        q.task_done()

# Turn-on the worker thread.
threading.Thread(target=worker, daemon=True).start()

# Send thirty task requests to the worker.
for item in range(30):
    q.put(item)

# Block until all tasks are done.
q.join()
print('All work completed')

Terminating queues

Queue objects can be made to prevent further interaction by shutting them down.

Queue.shutdown(immediate=False)

Shut down the queue, making get() and put() raise ShutDown.

Por padrão, get() em uma fila de desligamento vai levantar quando a fila estiver vazia. Defina immediate como verdadeiro para fazer get() levantar imediatamente.

Todos os chamadores bloqueados de put() e get() serão desbloqueados. Se immediate for verdadeiro, uma tarefa será marcada como concluída para cada item restante na fila, o que pode desbloquear chamadores de join().

Adicionado na versão 3.13.

Objetos SimpleQueue

SimpleQueue objects provide the public methods described below.

SimpleQueue.qsize()

Return the approximate size of the queue. Note, qsize() > 0 doesn’t guarantee that a subsequent get() will not block.

SimpleQueue.empty()

Return True if the queue is empty, False otherwise. If empty() returns False it doesn’t guarantee that a subsequent call to get() will not block.

SimpleQueue.put(item, block=True, timeout=None)

Put item into the queue. The method never blocks and always succeeds (except for potential low-level errors such as failure to allocate memory). The optional args block and timeout are ignored and only provided for compatibility with Queue.put().

Detalhes da implementação do CPython: This method has a C implementation which is reentrant. That is, a put() or get() call can be interrupted by another put() call in the same thread without deadlocking or corrupting internal state inside the queue. This makes it appropriate for use in destructors such as __del__ methods or weakref callbacks.

SimpleQueue.put_nowait(item)

Equivalent to put(item, block=False), provided for compatibility with Queue.put_nowait().

SimpleQueue.get(block=True, timeout=None)

Remove and return an item from the queue. If optional args block is true and timeout is None (the default), block if necessary until an item is available. If timeout is a positive number, it blocks at most timeout seconds and raises the Empty exception if no item was available within that time. Otherwise (block is false), return an item if one is immediately available, else raise the Empty exception (timeout is ignored in that case).

SimpleQueue.get_nowait()

Equivalente a get(False).

Ver também

Class multiprocessing.Queue

A queue class for use in a multi-processing (rather than multi-threading) context.

collections.deque is an alternative implementation of unbounded queues with fast atomic append() and popleft() operations that do not require locking and also support indexing.

contextvars — Variáveis de contexto

Este módulo fornece APIs para gerenciar, armazenar e acessar o estado local do contexto. A classe ContextVar é usada para declarar e trabalhar com Variáveis de Contexto. A função copy_context() e a classe Context devem ser usadas para gerenciar o contexto atual em frameworks assíncronos.

Context managers that have state should use Context Variables instead of threading.local() to prevent their state from bleeding to other code unexpectedly, when used in concurrent code.

Veja também a PEP 567 [https://peps.python.org/pep-0567/] para detalhes adicionais.

Adicionado na versão 3.7.

Variáveis de contexto

class contextvars.ContextVar(name[, *, default])

Esta classe é usada para declarar uma nova variável de contexto, como, por exemplo:

var: ContextVar[int] = ContextVar('var', default=42)

O parâmetro obrigatório name é usado para fins de introspecção e depuração.

O parâmetro somente-nomeado opcional default é retornado por ContextVar.get() quando nenhum valor para a variável é encontrado no contexto atual.

Importante: Variáveis de Contexto devem ser criadas no nível do módulo superior e nunca em fechamentos. Os objetos Context contêm referências fortes a variáveis de contexto que evitam que as variáveis de contexto sejam coletadas como lixo corretamente.

name

O nome da variável. Esta é uma propriedade somente leitura.

Adicionado na versão 3.7.1.

get([default])

Retorna um valor para a variável de contexto para o contexto atual.

Se não houver valor para a variável no contexto atual, o método vai:

retornar o valor do argumento default do método, se fornecido; ou

retornar o valor padrão para a variável de contexto, se ela foi criada com uma; ou

levantar uma LookupError.

set(value)

Chame para definir um novo valor para a variável de contexto no contexto atual.

O argumento value obrigatório é o novo valor para a variável de contexto.

Retorna um objeto Token que pode ser usado para restaurar a variável ao seu valor anterior através do método ContextVar.reset().

reset(token)

Redefine a variável de contexto para o valor que tinha antes de ContextVar.set(). que criou o token, ser usado.

Por exemplo:

var = ContextVar('var')

token = var.set('new value')
# code that uses 'var'; var.get() returns 'new value'.
var.reset(token)

# After the reset call the var has no value again, so
# var.get() would raise a LookupError.

class contextvars.Token

Objetos token são retornados pelo método ContextVar.set(). Eles podem ser passados para o método ContextVar.reset() para reverter o valor da variável para o que era antes do set correspondente.

var

Uma propriedade somente leitura. Aponta para o objeto ContextVar que criou o token.

old_value

Uma propriedade somente leitura. Defina como o valor que a variável tinha antes da chamada do método ContextVar.set() que criou o token. Aponta para Token.MISSING se a variável não foi definida antes da chamada.

MISSING

Um objeto marcador usado por Token.old_value.

Gerenciamento de contexto manual

contextvars.copy_context()

Retorna uma cópia do objeto Context atual.

O trecho a seguir obtém uma cópia do contexto atual e imprime todas as variáveis e seus valores que são definidos nele:

ctx: Context = copy_context()
print(list(ctx.items()))

A função tem uma complexidade O(1) , ou seja, funciona igualmente rápida para contextos com algumas variáveis de contexto e para contextos que têm muitas delas.

class contextvars.Context

Um mapeamento de ContextVars para seus valores.

Context() cria um contexto vazio sem valores nele. Para obter uma cópia do contexto atual, use a função copy_context().

Every thread will have a different top-level Context object. This means that a ContextVar object behaves in a similar fashion to threading.local() when values are assigned in different threads.

Context implementa a interface collections.abc.Mapping.

run(callable, *args, **kwargs)

Executa o código callable(*args, **kwargs) no objeto contexto em que o método run é chamado. Retorna o resultado da execução ou propaga uma exceção, se ocorrer.

Quaisquer mudanças em quaisquer variáveis de contexto que callable faça estarão contidas no objeto de contexto:

var = ContextVar('var')
var.set('spam')

def main():
    # 'var' was set to 'spam' before
    # calling 'copy_context()' and 'ctx.run(main)', so:
    # var.get() == ctx[var] == 'spam'

    var.set('ham')

    # Now, after setting 'var' to 'ham':
    # var.get() == ctx[var] == 'ham'

ctx = copy_context()

# Any changes that the 'main' function makes to 'var'
# will be contained in 'ctx'.
ctx.run(main)

# The 'main()' function was run in the 'ctx' context,
# so changes to 'var' are contained in it:
# ctx[var] == 'ham'

# However, outside of 'ctx', 'var' is still set to 'spam':
# var.get() == 'spam'

O método levanta uma RuntimeError quando chamado no mesmo objeto de contexto de mais de uma thread do sistema operacional, ou quando chamado recursivamente.

copy()

Retorna uma cópia rasa do objeto contexto.

var in context

Retorna True se context tem uma variável para var definida; do contrário, retorna False.

context[var]

Retorna o valor da variável ContextVar var. Se a variável não for definida no objeto contexto, uma KeyError é levantada.

get(var[, default])

Retorna o valor para var se var tiver o valor no objeto contexto. Caso contrário, retorna default. Se default não for fornecido, retorna None.

iter(context)

Retorna um iterador sobre as variáveis armazenadas no objeto contexto.

len(proxy)

Retorna o número das variáveis definidas no objeto contexto.

keys()

Retorna uma lista de todas as variáveis no objeto contexto.

values()

Retorna uma lista dos valores de todas as variáveis no objeto contexto.

items()

Retorna uma lista de tuplas de 2 elementos contendo todas as variáveis e seus valores no objeto contexto.

Suporte a asyncio

Variáveis de contexto encontram suporte nativo em asyncio e estão prontas para serem usadas sem qualquer configuração extra. Por exemplo, aqui está um servidor simples de eco, que usa uma variável de contexto para disponibilizar o endereço de um cliente remoto na Task que lida com esse cliente:

import asyncio
import contextvars

client_addr_var = contextvars.ContextVar('client_addr')

def render_goodbye():
    # The address of the currently handled client can be accessed
    # without passing it explicitly to this function.

    client_addr = client_addr_var.get()
    return f'Good bye, client @ {client_addr}\r\n'.encode()

async def handle_request(reader, writer):
    addr = writer.transport.get_extra_info('socket').getpeername()
    client_addr_var.set(addr)

    # In any code that we call is now possible to get
    # client's address by calling 'client_addr_var.get()'.

    while True:
        line = await reader.readline()
        print(line)
        if not line.strip():
            break

    writer.write(b'HTTP/1.1 200 OK\r\n')  # status line
    writer.write(b'\r\n')  # headers
    writer.write(render_goodbye())  # body
    writer.close()

async def main():
    srv = await asyncio.start_server(
        handle_request, '127.0.0.1', 8081)

    async with srv:
        await srv.serve_forever()

asyncio.run(main())

# To test it you can use telnet or curl:
#     telnet 127.0.0.1 8081
#     curl 127.0.0.1:8081

_thread— API de segmentação de baixo nível

Este módulo fornece primitivos de baixo nível para trabalhar com vários threads (também chamados processos leves ou tarefas) — vários threads de controle compartilhando seu espaço de dados global. Para sincronização, travas simples (também chamadas de mutexes, exclusão mútua ou semáforos binários) são fornecidas. O módulo threading fornece uma API de segmentação mais fácil de usar e de nível mais alto, construída sobre este módulo.

Alterado na versão 3.7: Este módulo costumava ser opcional, agora está sempre disponível.

Este módulo define as seguintes constantes e funções:

exception _thread.error

Gerado em erros específicos de segmento.

Alterado na versão 3.3: Este é agora um sinônimo do componente embutido RuntimeError.

_thread.LockType

Este é o tipo de objetos de trava.

_thread.start_new_thread(function, args[, kwargs])

Começa um novo tópico e retorna seu identificador. O tópico executa a função function com a lista de argumentos args (que deve ser uma tupla). O argumento opcional kwargs despecifica um dicionário de argumentos palavras-chave

Quando a função retorna, o tópico fecha silenciosamente.

Quando a função termina com uma exceção não processada, sys.unraisablehook() é chamada para lidar com a exceção. O atributo object do argumento do hook é function. Por padrão, um stack trace (situação da pilha de execução) é impresso e, em seguida, o thread sai (mas outros threads continuam a ser executados).

Quando a função gera uma exceção SystemExit, ela é ignorada.

Levanta um evento de auditoria _thread.start_new_thread com os argumentos function, args, kwargs.

Alterado na versão 3.8: sys.unraisablehook() agora é usada para lidar com exceções não lidadas.

_thread.interrupt_main(signum=signal.SIGINT, /)

Simule o efeito de um sinal chegando na thread principal. Uma thread pode usar esta função para interromper a thread principal, embora não haja garantia de que a interrupção ocorrerá imediatamente.

Se fornecido, signum é o número do sinal a ser simulado. Se signum não for fornecido, signal.SIGINT será simulado.

Se o sinal fornecido não for tratado por Python (foi definido como signal.SIG_DFL ou signal.SIG_IGN), esta função não faz nada.

Alterado na versão 3.10: O argumento signum é adicionado para personalizar o sinal de número.

Nota

Isso não emite o sinal correspondente, mas agenda uma chamada para o tratador associado (se existir). Se você quer realmente emitir o sinal, use signal.raise_signal().

_thread.exit()

Levanta a exceção SystemExit. Quando não for detectada, o thread sairá silenciosamente.

_thread.allocate_lock()

Retorna um novo objeto de trava. Métodos de trava são descritos abaixo. A trava é desativada inicialmente.

_thread.get_ident()

Retorna o ‘identificador de thread’ do thread atual. Este é um número inteiro diferente de zero. Seu valor não tem significado direto; pretende-se que seja um cookie mágico para ser usado, por exemplo, para indexar um dicionário de dados específicos do thread. identificadores de thread podem ser reciclados quando um thread sai e outro é criado.

_thread.get_native_id()

Retorna a ID de thread integral nativa da thread atual atribuída pelo kernel. Este é um número inteiro não negativo. Seu valor pode ser usado para identificar exclusivamente essa thread específica em todo o sistema (até que a thread termine, após o que o valor poderá ser reciclado pelo sistema operacional).

Disponibilidade

Adicionado na versão 3.8.

Alterado na versão 3.13: Adicionado suporte a GNU/kFreeBSD.

_thread.stack_size([size])

Retorna o tamanho da pilha de threads usado ao criar novos threads. O argumento opcional size especifica o tamanho da pilha a ser usado para threads criados posteriormente e deve ser 0 (usar plataforma ou padrão configurado) ou um valor inteiro positivo de pelo menos 32.768 (32 KiB). Se size não for especificado, 0 será usado. Se a alteração do tamanho da pilha de threads não for suportada, uma RuntimeError será levantada. Se o tamanho da pilha especificado for inválido, uma ValueError será levantada e o tamanho da pilha não será modificado. Atualmente, 0 KiB é o valor mínimo de tamanho de pilha suportado para garantir espaço suficiente para o próprio interpretador. Observe que algumas plataformas podem ter restrições específicas sobre valores para o tamanho da pilha, como exigir um tamanho mínimo de pilha > 32 KiB ou exigir alocação em múltiplos do tamanho da página de memória do sistema – a documentação da plataforma deve ser consultada para obter mais informações (4 páginas KiB são comuns; usar múltiplos de 4096 para o tamanho da pilha é a abordagem sugerida na ausência de informações mais específicas).

Disponibilidade

Plataformas Unix com suporte a threads POSIX.

_thread.TIMEOUT_MAX

O valor máximo permitido para o parâmetro timeout de Lock.acquire. A especificação de um tempo limite maior que esse valor vai levantar um OverflowError.

Adicionado na versão 3.2.

Os objetos de trava têm os seguintes métodos:

lock.acquire(blocking=True, timeout=-1)

Sem nenhum argumento opcional, esse método adquire a trava incondicionalmente, se necessário, aguardando até que seja liberada por outro encadeamento (apenas um encadeamento por vez pode adquirir uma trava — esse é o motivo da sua existência).

Se o argumento inteiro blocking estiver presente, a ação dependerá do seu valor: se for falso, a trava será adquirida apenas se puder ser adquirida imediatamente sem aguardar, enquanto se for verdadeiro, a trava será adquirida incondicionalmente, conforme acima.

Se o argumento de ponto flutuante timeout estiver presente e positivo, ele especificará o tempo máximo de espera em segundos antes de retornar. Um argumento negativo timeout especifica uma espera ilimitada. Você não pode especificar um timeout se blocking for falso.

O valor de retorno é True se a trava for adquirida com sucesso, se não False.

Alterado na versão 3.2: O parâmetro timeout é novo.

Alterado na versão 3.2: As aquisições de trava agora podem ser interrompidas por sinais no POSIX.

lock.release()

Libera a trava. A trava deve ter sido adquirido anteriormente, mas não necessariamente pela mesma thread.

lock.locked()

Retorna o status da trava: True se tiver sido adquirida por alguma thread, False se não for o caso.

Além desses métodos, os objetos de trava também podem ser usados através da instrução with, por exemplo:

import _thread

a_lock = _thread.allocate_lock()

with a_lock:
    print("a_lock is locked while this executes")

Ressalvas:

Interrupts always go to the main thread (the KeyboardInterrupt exception will be received by that thread.)

Chamar sys.exit() ou levantar a exceção SystemExit é o equivalente a chamar _thread.exit().

It is platform-dependent whether the acquire() method on a lock can be interrupted (so that the KeyboardInterrupt exception will happen immediately, rather than only after the lock has been acquired or the operation has timed out). It can be interrupted on POSIX, but not on Windows.

Quando a thread principal se encerra, é definido pelo sistema se as outras threads sobrevivem. Na maioria dos sistemas, elas são eliminadas sem executar cláusulas try … finally ou executar destruidores de objetos.

Comunicação em Rede e Interprocesso

Os módulos descritos neste capítulo fornecem mecanismos para a comunicação em rede e entre processos.

Alguns módulos funcionam apenas para dois processos que estão na mesma máquina como, por exemplo, signal e mmap. Outros módulos possuem suporte a protocolos de rede que dois ou mais processos podem usar para se comunicar entre máquinas.

A lista de módulos descritos neste capítulo é:

asyncio — E/S assíncrona

socket — Low-level networking interface

ssl — TLS/SSL wrapper for socket objects

select — Waiting for I/O completion

selectors — High-level I/O multiplexing

signal — Define manipuladores para eventos assíncronos

mmap — Memory-mapped file support

asyncio — E/S assíncrona

Olá Mundo!

import asyncio

async def main():
    print('Olá ...')
    await asyncio.sleep(1)
    print('... Mundo!')

asyncio.run(main())

asyncio é uma biblioteca para escrever código simultâneo usando a sintaxe async/await.

O asyncio é usado como uma base para várias estruturas assíncronas do Python que fornecem rede e servidores web de alto desempenho, bibliotecas de conexão de banco de dados, filas de tarefas distribuídas etc.

asyncio geralmente serve perfeitamente para código de rede estruturado de alto nível e vinculado a E/S.

asyncio fornece um conjunto de APIs de alto nível para:

executar corrotinas do Python simultaneamente e ter controle total sobre sua execução;

realizar IPC e E/S de rede;

controlar subprocessos;

distribuir tarefas por meio de filas;

sincronizar código simultâneo;

Além disso, há APIs de baixo nível para desenvolvedores de biblioteca e framework para:

criar e gerenciar laços de eventos, que fornecem APIs assíncronas para rede, execução de subprocessos, tratamento de sinais de sistemas operacionais etc;

implementar protocolos eficientes usando transportes;

fazer uma ponte sobre bibliotecas baseadas em chamadas e codificar com a sintaxe de async/await.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

REPL de asyncio

Você pode experimentar um contexto concorrente asyncio no REPL:

$ python -m asyncio
asyncio REPL ...
Use "await" directly instead of "asyncio.run()".
Type "help", "copyright", "credits" or "license" for more information.
>>> import asyncio
>>> await asyncio.sleep(10, result='hello')
'hello'

Levanta um evento de auditoria cpython.run_stdin sem argumentos.

Alterado na versão 3.12.5: (também 3.11.10, 3.10.15, 3.9.20 e 3.8.20) Emite eventos de auditoria.

Alterado na versão 3.13: Usa PyrePL, se possível, nesse caso PYTHONSTARTUP também é executado. Emite eventos de auditoria.

Referência

APIs de alto nível

Runners

Corrotinas e Tarefas

Streams

Synchronization Primitives

Subprocessos

Filas

Exceções

APIs de baixo nível

Laço de Eventos

Futuros

Transports and Protocols

Políticas

Suporte a plataformas

Extensão

Guias e tutoriais

Índice da API de alto nível

Índice de APIs de baixo nível

Desenvolvendo com asyncio

Nota

O código-fonte para o asyncio pode ser encontrado em Lib/asyncio/ [https://github.com/python/cpython/tree/3.13/Lib/asyncio/].

Runners

Source code: Lib/asyncio/runners.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/runners.py]

This section outlines high-level asyncio primitives to run asyncio code.

They are built on top of an event loop with the aim to simplify async code usage for common wide-spread scenarios.

Executando um programa asyncio

Runner context manager

Handling Keyboard Interruption

Executando um programa asyncio

asyncio.run(coro, *, debug=None, loop_factory=None)

Executa a corrotina coro e retorna o resultado.

This function runs the passed coroutine, taking care of managing the asyncio event loop, finalizing asynchronous generators, and closing the executor.

Esta função não pode ser chamada quando outro laço de eventos asyncio está executando na mesma thread.

If debug is True, the event loop will be run in debug mode. False disables debug mode explicitly. None is used to respect the global Modo de Depuração settings.

If loop_factory is not None, it is used to create a new event loop; otherwise asyncio.new_event_loop() is used. The loop is closed at the end. This function should be used as a main entry point for asyncio programs, and should ideally only be called once. It is recommended to use loop_factory to configure the event loop instead of policies. Passing asyncio.EventLoop allows running asyncio without the policy system.

The executor is given a timeout duration of 5 minutes to shutdown. If the executor hasn’t finished within that duration, a warning is emitted and the executor is closed.

Exemplo:

async def main():
    await asyncio.sleep(1)
    print('hello')

asyncio.run(main())

Adicionado na versão 3.7.

Alterado na versão 3.9: Atualizado para usar loop.shutdown_default_executor().

Alterado na versão 3.10: debug is None by default to respect the global debug mode settings.

Alterado na versão 3.12: Added loop_factory parameter.

Runner context manager

class asyncio.Runner(*, debug=None, loop_factory=None)

A context manager that simplifies multiple async function calls in the same context.

Sometimes several top-level async functions should be called in the same event loop and contextvars.Context.

If debug is True, the event loop will be run in debug mode. False disables debug mode explicitly. None is used to respect the global Modo de Depuração settings.

loop_factory could be used for overriding the loop creation. It is the responsibility of the loop_factory to set the created loop as the current one. By default asyncio.new_event_loop() is used and set as current event loop with asyncio.set_event_loop() if loop_factory is None.

Basically, asyncio.run() example can be rewritten with the runner usage:

async def main():
    await asyncio.sleep(1)
    print('hello')

with asyncio.Runner() as runner:
    runner.run(main())

Adicionado na versão 3.11.

run(coro, *, context=None)

Run a coroutine coro in the embedded loop.

Return the coroutine’s result or raise its exception.

An optional keyword-only context argument allows specifying a custom contextvars.Context for the coro to run in. The runner’s default context is used if None.

Esta função não pode ser chamada quando outro laço de eventos asyncio está executando na mesma thread.

close()

Close the runner.

Finalize asynchronous generators, shutdown default executor, close the event loop and release embedded contextvars.Context.

get_loop()

Return the event loop associated with the runner instance.

Nota

Runner uses the lazy initialization strategy, its constructor doesn’t initialize underlying low-level structures.

Embedded loop and context are created at the with body entering or the first call of run() or get_loop().

Handling Keyboard Interruption

Adicionado na versão 3.11.

When signal.SIGINT is raised by Ctrl-C, KeyboardInterrupt exception is raised in the main thread by default. However this doesn’t work with asyncio because it can interrupt asyncio internals and can hang the program from exiting.

To mitigate this issue, asyncio handles signal.SIGINT as follows:

asyncio.Runner.run() installs a custom signal.SIGINT handler before any user code is executed and removes it when exiting from the function.

The Runner creates the main task for the passed coroutine for its execution.

When signal.SIGINT is raised by Ctrl-C, the custom signal handler cancels the main task by calling asyncio.Task.cancel() which raises asyncio.CancelledError inside the main task. This causes the Python stack to unwind, try/except and try/finally blocks can be used for resource cleanup. After the main task is cancelled, asyncio.Runner.run() raises KeyboardInterrupt.

A user could write a tight loop which cannot be interrupted by asyncio.Task.cancel(), in which case the second following Ctrl-C immediately raises the KeyboardInterrupt without cancelling the main task.

Corrotinas e Tarefas

Esta seção descreve APIs assíncronas de alto nível para trabalhar com corrotinas e tarefas.

Corrotinas

Aguardáveis

Criando Tarefas

Task Cancellation

Task Groups

Dormindo

Executando tarefas concorrentemente

Eager Task Factory

Protegendo contra cancelamento

Tempo limite

Primitivas de Espera

Executando em Threads

Agendando a partir de outras Threads

Introspecção

Objeto Task

Corrotinas

Source code: Lib/asyncio/coroutines.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/coroutines.py]

Corrotinas declaradas com a sintaxe async/await é a forma preferida de escrever aplicações assíncronas. Por exemplo, o seguinte trecho de código imprime “hello”, espera 1 segundo, e então imprime “world”:

>>> import asyncio

>>> async def main():
...     print('hello')
...     await asyncio.sleep(1)
...     print('world')

>>> asyncio.run(main())
hello
world

Perceba que simplesmente chamar uma corrotina não irá agendá-la para ser executada:

>>> main()
<coroutine object main at 0x1053bb7c8>

To actually run a coroutine, asyncio provides the following mechanisms:

A função asyncio.run() para executar a função “main()” do ponto de entrada no nível mais alto (veja o exemplo acima.)

Aguardando uma corrotina. O seguinte trecho de código exibirá “hello” após esperar por 1 segundo e, em seguida, exibirá “world” após esperar por outros 2 segundos:

import asyncio
import time

async def say_after(delay, what):
    await asyncio.sleep(delay)
    print(what)

async def main():
    print(f"started at {time.strftime('%X')}")

    await say_after(1, 'hello')
    await say_after(2, 'world')

    print(f"finished at {time.strftime('%X')}")

asyncio.run(main())

Resultado esperado:

started at 17:13:52
hello
world
finished at 17:13:55

A função asyncio.create_task() para executar corrotinas concorrentemente como Tasks asyncio.

Vamos modificar o exemplo acima e executar duas corrotinas say_after concorrentemente:

async def main():
    task1 = asyncio.create_task(
        say_after(1, 'hello'))

    task2 = asyncio.create_task(
        say_after(2, 'world'))

    print(f"started at {time.strftime('%X')}")

    # Wait until both tasks are completed (should take
    # around 2 seconds.)
    await task1
    await task2

    print(f"finished at {time.strftime('%X')}")

Perceba que a saída esperada agora mostra que o trecho de código é executado 1 segundo mais rápido do que antes:

started at 17:14:32
hello
world
finished at 17:14:34

The asyncio.TaskGroup class provides a more modern alternative to create_task(). Using this API, the last example becomes:

async def main():
    async with asyncio.TaskGroup() as tg:
        task1 = tg.create_task(
            say_after(1, 'hello'))

        task2 = tg.create_task(
            say_after(2, 'world'))

        print(f"started at {time.strftime('%X')}")

    # The await is implicit when the context manager exits.

    print(f"finished at {time.strftime('%X')}")

The timing and output should be the same as for the previous version.

Adicionado na versão 3.11: asyncio.TaskGroup.

Aguardáveis

Dizemos que um objeto é um objeto aguardável se ele pode ser usado em uma expressão await. Muitas APIs asyncio são projetadas para aceitar aguardáveis.

Existem três tipos principais de objetos aguardáveis: corrotinas, Tarefas, e Futuros.

Corrotinas

Corrotinas Python são aguardáveis e portanto podem ser aguardadas a partir de outras corrotinas:

import asyncio

async def nested():
    return 42

async def main():
    # Nothing happens if we just call "nested()".
    # A coroutine object is created but not awaited,
    # so it *won't run at all*.
    nested()  # will raise a "RuntimeWarning".

    # Let's do it differently now and await it:
    print(await nested())  # will print "42".

asyncio.run(main())

Importante

Nesta documentação, o termo “corrotina” pode ser usado para dois conceitos intimamente relacionados:

uma função de corrotina: uma função async def;

um objeto de corrotina: um objeto retornado ao chamar uma função de corrotina.

Tarefas

Tarefas são usadas para agendar corrotinas concorrentemente.

Quando uma corrotina é envolta em uma tarefa com funções como asyncio.create_task(), a corrotina é automaticamente agendada para executar em breve:

import asyncio

async def nested():
    return 42

async def main():
    # Schedule nested() to run soon concurrently
    # with "main()".
    task = asyncio.create_task(nested())

    # "task" can now be used to cancel "nested()", or
    # can simply be awaited to wait until it is complete:
    await task

asyncio.run(main())

Futuros

Um Future é um objeto aguardável especial de baixo nível que representa um resultado eventual de uma operação assíncrona.

Quando um objeto Future é aguardado isso significa que a corrotina irá esperar até que o Future seja resolvido em algum outro local.

Objetos Future em asyncio são necessários para permitir que código baseado em função de retorno seja utilizado com async/await.

Normalmente não existe necessidade em criar objetos Future no nível de código da aplicação.

Objetos Future, algumas vezes expostos por bibliotecas e algumas APIs asyncio, podem ser aguardados:

async def main():
    await function_that_returns_a_future_object()

    # this is also valid:
    await asyncio.gather(
        function_that_returns_a_future_object(),
        some_python_coroutine()
    )

Um bom exemplo de uma função de baixo nível que retorna um objeto Future é loop.run_in_executor().

Criando Tarefas

Source code: Lib/asyncio/tasks.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/tasks.py]

asyncio.create_task(coro, *, name=None, context=None)

Envolva a corrotina coro em uma Task e agende sua execução. Retorne o objeto Task.

Se name não for None, ele é setado como o nome da tarefa usando Task.set_name().

An optional keyword-only context argument allows specifying a custom contextvars.Context for the coro to run in. The current context copy is created when no context is provided.

A tarefa é executada no laço e retornada por get_running_loop(), RuntimeError é levantado se não existir nenhum loop na thread atual.

Nota

asyncio.TaskGroup.create_task() is a new alternative leveraging structural concurrency; it allows for waiting for a group of related tasks with strong safety guarantees.

Importante

Mantenha uma referência para o resultado dessa função, evitando assim que uma tarefa desapareça durante a execução. O laço de eventos mantém apenas referências fracas para as tarefas. Uma tarefa que não é referenciada por nada mais pode ser removida pelo coletor de lixo a qualquer momento, antes mesmo da função ser finalizada. Para tarefas de segundo plano “atire-e-esqueça”, junte-as em uma coleção:

background_tasks = set()

for i in range(10):
    task = asyncio.create_task(some_coro(param=i))

    # Add task to the set. This creates a strong reference.
    background_tasks.add(task)

    # To prevent keeping references to finished tasks forever,
    # make each task remove its own reference from the set after
    # completion:
    task.add_done_callback(background_tasks.discard)

Adicionado na versão 3.7.

Alterado na versão 3.8: Adicionado o parâmetro name.

Alterado na versão 3.11: Adicionado o parâmetro context.

Task Cancellation

Tasks can easily and safely be cancelled. When a task is cancelled, asyncio.CancelledError will be raised in the task at the next opportunity.

It is recommended that coroutines use try/finally blocks to robustly perform clean-up logic. In case asyncio.CancelledError is explicitly caught, it should generally be propagated when clean-up is complete. asyncio.CancelledError directly subclasses BaseException so most code will not need to be aware of it.

The asyncio components that enable structured concurrency, like asyncio.TaskGroup and asyncio.timeout(), are implemented using cancellation internally and might misbehave if a coroutine swallows asyncio.CancelledError. Similarly, user code should not generally call uncancel. However, in cases when suppressing asyncio.CancelledError is truly desired, it is necessary to also call uncancel() to completely remove the cancellation state.

Task Groups

Task groups combine a task creation API with a convenient and reliable way to wait for all tasks in the group to finish.

class asyncio.TaskGroup

An asynchronous context manager holding a group of tasks. Tasks can be added to the group using create_task(). All tasks are awaited when the context manager exits.

Adicionado na versão 3.11.

create_task(coro, *, name=None, context=None)

Create a task in this task group. The signature matches that of asyncio.create_task(). If the task group is inactive (e.g. not yet entered, already finished, or in the process of shutting down), we will close the given coro.

Alterado na versão 3.13: Close the given coroutine if the task group is not active.

Exemplo:

async def main():
    async with asyncio.TaskGroup() as tg:
        task1 = tg.create_task(some_coro(...))
        task2 = tg.create_task(another_coro(...))
    print(f"Both tasks have completed now: {task1.result()}, {task2.result()}")

The async with statement will wait for all tasks in the group to finish. While waiting, new tasks may still be added to the group (for example, by passing tg into one of the coroutines and calling tg.create_task() in that coroutine). Once the last task has finished and the async with block is exited, no new tasks may be added to the group.

The first time any of the tasks belonging to the group fails with an exception other than asyncio.CancelledError, the remaining tasks in the group are cancelled. No further tasks can then be added to the group. At this point, if the body of the async with statement is still active (i.e., __aexit__() hasn’t been called yet), the task directly containing the async with statement is also cancelled. The resulting asyncio.CancelledError will interrupt an await, but it will not bubble out of the containing async with statement.

Once all tasks have finished, if any tasks have failed with an exception other than asyncio.CancelledError, those exceptions are combined in an ExceptionGroup or BaseExceptionGroup (as appropriate; see their documentation) which is then raised.

Two base exceptions are treated specially: If any task fails with KeyboardInterrupt or SystemExit, the task group still cancels the remaining tasks and waits for them, but then the initial KeyboardInterrupt or SystemExit is re-raised instead of ExceptionGroup or BaseExceptionGroup.

If the body of the async with statement exits with an exception (so __aexit__() is called with an exception set), this is treated the same as if one of the tasks failed: the remaining tasks are cancelled and then waited for, and non-cancellation exceptions are grouped into an exception group and raised. The exception passed into __aexit__(), unless it is asyncio.CancelledError, is also included in the exception group. The same special case is made for KeyboardInterrupt and SystemExit as in the previous paragraph.

Task groups are careful not to mix up the internal cancellation used to “wake up” their __aexit__() with cancellation requests for the task in which they are running made by other parties. In particular, when one task group is syntactically nested in another, and both experience an exception in one of their child tasks simultaneously, the inner task group will process its exceptions, and then the outer task group will receive another cancellation and process its own exceptions.

In the case where a task group is cancelled externally and also must raise an ExceptionGroup, it will call the parent task’s cancel() method. This ensures that a asyncio.CancelledError will be raised at the next await, so the cancellation is not lost.

Task groups preserve the cancellation count reported by asyncio.Task.cancelling().

Alterado na versão 3.13: Improved handling of simultaneous internal and external cancellations and correct preservation of cancellation counts.

Terminating a Task Group

While terminating a task group is not natively supported by the standard library, termination can be achieved by adding an exception-raising task to the task group and ignoring the raised exception:

import asyncio
from asyncio import TaskGroup

class TerminateTaskGroup(Exception):
    """Exception raised to terminate a task group."""

async def force_terminate_task_group():
    """Used to force termination of a task group."""
    raise TerminateTaskGroup()

async def job(task_id, sleep_time):
    print(f'Task {task_id}: start')
    await asyncio.sleep(sleep_time)
    print(f'Task {task_id}: done')

async def main():
    try:
        async with TaskGroup() as group:
            # spawn some tasks
            group.create_task(job(1, 0.5))
            group.create_task(job(2, 1.5))
            # sleep for 1 second
            await asyncio.sleep(1)
            # add an exception-raising task to force the group to terminate
            group.create_task(force_terminate_task_group())
    except* TerminateTaskGroup:
        pass

asyncio.run(main())

Expected output:

Task 1: start
Task 2: start
Task 1: done

Dormindo

coroutine asyncio.sleep(delay, result=None)

Bloqueia por delay segundos.

Se result é fornecido, é retornado para o autor da chamada quando a corrotina termina.

sleep() sempre suspende a tarefa atual, permitindo que outras tarefas sejam executadas.

Configurando o delay para 0 fornece um caminho otimizado para permitir que outras tarefas executem. Isto pode ser usado por funções de longa execução para evitar que bloqueiem o laço de eventos por toda a duração da chamada da função.

Exemplo de uma corrotina exibindo a data atual a cada segundo durante 5 segundos:

import asyncio
import datetime

async def display_date():
    loop = asyncio.get_running_loop()
    end_time = loop.time() + 5.0
    while True:
        print(datetime.datetime.now())
        if (loop.time() + 1.0) >= end_time:
            break
        await asyncio.sleep(1)

asyncio.run(display_date())

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.13: Raises ValueError if delay is nan.

Executando tarefas concorrentemente

awaitable asyncio.gather(*aws, return_exceptions=False)

Executa objetos aguardáveis na sequência aws de forma concorrente.

Se qualquer aguardável em aws é uma corrotina, ele é automaticamente agendado como uma Tarefa.

Se todos os aguardáveis forem concluídos com sucesso, o resultado é uma lista agregada de valores retornados. A ordem dos valores resultantes corresponde a ordem dos aguardáveis em aws.

Se return_exceptions for False (valor padrão), a primeira exceção levantada é imediatamente propagada para a tarefa que espera em gather(). Outros aguardáveis na sequência aws não serão cancelados e irão continuar a executar.

Se return_exceptions for True, exceções são tratadas da mesma forma que resultados com sucesso, e agregadas na lista de resultados.

Se gather() for cancelado, todos os aguardáveis que foram submetidos (que não foram concluídos ainda) também são cancelados.

Se qualquer Tarefa ou Futuro da sequência aws for cancelado, ele é tratado como se tivesse levantado CancelledError – a chamada para gather() não é cancelada neste caso. Isso existe para prevenir que o cancelamento de uma Tarefa/Futuro submetida ocasione outras Tarefas/Futuros a serem cancelados.

Nota

A new alternative to create and run tasks concurrently and wait for their completion is asyncio.TaskGroup. TaskGroup provides stronger safety guarantees than gather for scheduling a nesting of subtasks: if a task (or a subtask, a task scheduled by a task) raises an exception, TaskGroup will, while gather will not, cancel the remaining scheduled tasks).

Exemplo:

import asyncio

async def factorial(name, number):
    f = 1
    for i in range(2, number + 1):
        print(f"Task {name}: Compute factorial({number}), currently i={i}...")
        await asyncio.sleep(1)
        f *= i
    print(f"Task {name}: factorial({number}) = {f}")
    return f

async def main():
    # Schedule three calls *concurrently*:
    L = await asyncio.gather(
        factorial("A", 2),
        factorial("B", 3),
        factorial("C", 4),
    )
    print(L)

asyncio.run(main())

# Expected output:
#
#     Task A: Compute factorial(2), currently i=2...
#     Task B: Compute factorial(3), currently i=2...
#     Task C: Compute factorial(4), currently i=2...
#     Task A: factorial(2) = 2
#     Task B: Compute factorial(3), currently i=3...
#     Task C: Compute factorial(4), currently i=3...
#     Task B: factorial(3) = 6
#     Task C: Compute factorial(4), currently i=4...
#     Task C: factorial(4) = 24
#     [2, 6, 24]

Nota

If return_exceptions is false, cancelling gather() after it has been marked done won’t cancel any submitted awaitables. For instance, gather can be marked done after propagating an exception to the caller, therefore, calling gather.cancel() after catching an exception (raised by one of the awaitables) from gather won’t cancel any other awaitables.

Alterado na versão 3.7: Se gather por si mesmo for cancelado, o cancelamento é propagado independente de return_exceptions.

Alterado na versão 3.10: Removido o parâmetro loop.

Obsoleto desde a versão 3.10: Aviso de descontinuidade é emitido se nenhum argumento posicional for fornecido, ou nem todos os argumentos posicionais são objetos similar a Futuro, e não existe nenhum laço de eventos em execução.

Eager Task Factory

asyncio.eager_task_factory(loop, coro, *, name=None, context=None)

A task factory for eager task execution.

When using this factory (via loop.set_task_factory(asyncio.eager_task_factory)), coroutines begin execution synchronously during Task construction. Tasks are only scheduled on the event loop if they block. This can be a performance improvement as the overhead of loop scheduling is avoided for coroutines that complete synchronously.

A common example where this is beneficial is coroutines which employ caching or memoization to avoid actual I/O when possible.

Nota

Immediate execution of the coroutine is a semantic change. If the coroutine returns or raises, the task is never scheduled to the event loop. If the coroutine execution blocks, the task is scheduled to the event loop. This change may introduce behavior changes to existing applications. For example, the application’s task execution order is likely to change.

Adicionado na versão 3.12.

asyncio.create_eager_task_factory(custom_task_constructor)

Create an eager task factory, similar to eager_task_factory(), using the provided custom_task_constructor when creating a new task instead of the default Task.

custom_task_constructor must be a callable with the signature matching the signature of Task.__init__. The callable must return a asyncio.Task-compatible object.

This function returns a callable intended to be used as a task factory of an event loop via loop.set_task_factory(factory)).

Adicionado na versão 3.12.

Protegendo contra cancelamento

awaitable asyncio.shield(aw)

Protege um objeto aguardável de ser cancelado.

Se aw é uma corrotina, ela é automaticamente agendada como uma Tarefa.

A instrução:

task = asyncio.create_task(something())
res = await shield(task)

é equivalente a:

res = await something()

exceto que se a corrotina contendo-a for cancelada, a Tarefa executando em something() não é cancelada. Do ponto de vista de something(), o cancelamento não aconteceu. Apesar do autor da chamada ainda estar cancelado, então a expressão “await” ainda levanta um CancelledError.

Se something() é cancelada por outros meios (isto é, dentro ou a partir de si mesma) isso também iria cancelar shield().

Se for desejado ignorar completamente os cancelamentos (não recomendado) a função shield() deve ser combinada com uma cláusula try/except, conforme abaixo:

task = asyncio.create_task(something())
try:
    res = await shield(task)
except CancelledError:
    res = None

Importante

Mantenha uma referência para as tarefas passadas para essa função função, evitando assim que uma tarefa desapareça durante a execução. O laço de eventos mantém apenas referências fracas para as tarefas. Uma tarefa que não é referenciada por nada mais pode ser removida pelo coletor de lixo a qualquer momento, antes mesmo da função ser finalizada.

Alterado na versão 3.10: Removido o parâmetro loop.

Obsoleto desde a versão 3.10: Aviso de descontinuidade é emitido se aw não é um objeto similar a Futuro, e não existe nenhum laço de eventos em execução.

Tempo limite

asyncio.timeout(delay)

Return an asynchronous context manager that can be used to limit the amount of time spent waiting on something.

delay can either be None, or a float/int number of seconds to wait. If delay is None, no time limit will be applied; this can be useful if the delay is unknown when the context manager is created.

In either case, the context manager can be rescheduled after creation using Timeout.reschedule().

Exemplo:

async def main():
    async with asyncio.timeout(10):
        await long_running_task()

If long_running_task takes more than 10 seconds to complete, the context manager will cancel the current task and handle the resulting asyncio.CancelledError internally, transforming it into a TimeoutError which can be caught and handled.

Nota

The asyncio.timeout() context manager is what transforms the asyncio.CancelledError into a TimeoutError, which means the TimeoutError can only be caught outside of the context manager.

Example of catching TimeoutError:

async def main():
    try:
        async with asyncio.timeout(10):
            await long_running_task()
    except TimeoutError:
        print("The long operation timed out, but we've handled it.")

    print("This statement will run regardless.")

The context manager produced by asyncio.timeout() can be rescheduled to a different deadline and inspected.

class asyncio.Timeout(when)

An asynchronous context manager for cancelling overdue coroutines.

when should be an absolute time at which the context should time out, as measured by the event loop’s clock:

If when is None, the timeout will never trigger.

If when < loop.time(), the timeout will trigger on the next iteration of the event loop.

when() → float | None

Return the current deadline, or None if the current deadline is not set.

reschedule(when: float | None)

Reschedule the timeout.

expired() → bool

Return whether the context manager has exceeded its deadline (expired).

Exemplo:

async def main():
    try:
        # We do not know the timeout when starting, so we pass ``None``.
        async with asyncio.timeout(None) as cm:
            # We know the timeout now, so we reschedule it.
            new_deadline = get_running_loop().time() + 10
            cm.reschedule(new_deadline)

            await long_running_task()
    except TimeoutError:
        pass

    if cm.expired():
        print("Looks like we haven't finished on time.")

Timeout context managers can be safely nested.

Adicionado na versão 3.11.

asyncio.timeout_at(when)

Similar to asyncio.timeout(), except when is the absolute time to stop waiting, or None.

Exemplo:

async def main():
    loop = get_running_loop()
    deadline = loop.time() + 20
    try:
        async with asyncio.timeout_at(deadline):
            await long_running_task()
    except TimeoutError:
        print("The long operation timed out, but we've handled it.")

    print("This statement will run regardless.")

Adicionado na versão 3.11.

coroutine asyncio.wait_for(aw, timeout)

Espera o aguardável aw concluir sem ultrapassar o tempo limite “timeout”.

Se aw é uma corrotina, ela é automaticamente agendada como uma Tarefa.

timeout pode ser None, ou um ponto flutuante, ou um número inteiro de segundos para aguardar. Se timeout é None, aguarda até o future encerrar.

If a timeout occurs, it cancels the task and raises TimeoutError.

Para evitar o cancelamento da tarefa, envolva-a com shield().

A função irá aguardar até o future ser realmente cancelado, então o tempo total de espera pode exceder o tempo limite timeout. Se uma exceção ocorrer durante o cancelamento, ela será propagada.

Se ele for cancelado, o future aw também é cancelado.

Exemplo:

async def eternity():
    # Sleep for one hour
    await asyncio.sleep(3600)
    print('yay!')

async def main():
    # Wait for at most 1 second
    try:
        await asyncio.wait_for(eternity(), timeout=1.0)
    except TimeoutError:
        print('timeout!')

asyncio.run(main())

# Expected output:
#
#     timeout!

Alterado na versão 3.7: When aw is cancelled due to a timeout, wait_for waits for aw to be cancelled. Previously, it raised TimeoutError immediately.

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Raises TimeoutError instead of asyncio.TimeoutError.

Primitivas de Espera

coroutine asyncio.wait(aws, *, timeout=None, return_when=ALL_COMPLETED)

Run Future and Task instances in the aws iterable concurrently and block until the condition specified by return_when.

O iterável aws não deve ser vazio.

Retorna dois conjuntos de Tarefas/Futuros: (done, pending).

Uso:

done, pending = await asyncio.wait(aws)

timeout (um ponto flutuante ou inteiro), se especificado, pode ser usado para controlar o número máximo de segundos para aguardar antes de retornar.

Note that this function does not raise TimeoutError. Futures or Tasks that aren’t done when the timeout occurs are simply returned in the second set.

return_when indica quando esta função deve retornar. Ele deve ser uma das seguintes constantes:

Constante

Descrição

asyncio.FIRST_COMPLETED

A função irá retornar quando qualquer futuro terminar ou for cancelado.

asyncio.FIRST_EXCEPTION

The function will return when any future finishes by raising an exception. If no future raises an exception then it is equivalent to ALL_COMPLETED.

asyncio.ALL_COMPLETED

A função irá retornar quando todos os futuros encerrarem ou forem cancelados.

Diferente de wait_for(), wait() não cancela os futuros quando um tempo limite é atingido.

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Passing coroutine objects to wait() directly is forbidden.

Alterado na versão 3.12: Added support for generators yielding tasks.

asyncio.as_completed(aws, *, timeout=None)

Run awaitable objects in the aws iterable concurrently. The returned object can be iterated to obtain the results of the awaitables as they finish.

The object returned by as_completed() can be iterated as an asynchronous iterator or a plain iterator. When asynchronous iteration is used, the originally-supplied awaitables are yielded if they are tasks or futures. This makes it easy to correlate previously-scheduled tasks with their results. Example:

ipv4_connect = create_task(open_connection("127.0.0.1", 80))
ipv6_connect = create_task(open_connection("::1", 80))
tasks = [ipv4_connect, ipv6_connect]

async for earliest_connect in as_completed(tasks):
    # earliest_connect is done. The result can be obtained by
    # awaiting it or calling earliest_connect.result()
    reader, writer = await earliest_connect

    if earliest_connect is ipv6_connect:
        print("IPv6 connection established.")
    else:
        print("IPv4 connection established.")

During asynchronous iteration, implicitly-created tasks will be yielded for supplied awaitables that aren’t tasks or futures.

When used as a plain iterator, each iteration yields a new coroutine that returns the result or raises the exception of the next completed awaitable. This pattern is compatible with Python versions older than 3.13:

ipv4_connect = create_task(open_connection("127.0.0.1", 80))
ipv6_connect = create_task(open_connection("::1", 80))
tasks = [ipv4_connect, ipv6_connect]

for next_connect in as_completed(tasks):
    # next_connect is not one of the original task objects. It must be
    # awaited to obtain the result value or raise the exception of the
    # awaitable that finishes next.
    reader, writer = await next_connect

A TimeoutError is raised if the timeout occurs before all awaitables are done. This is raised by the async for loop during asynchronous iteration or by the coroutines yielded during plain iteration.

Alterado na versão 3.10: Removido o parâmetro loop.

Obsoleto desde a versão 3.10: Aviso de descontinuidade é emitido se nem todos os objetos aguardáveis no iterável aws forem objetos similar a Futuro, e não existe nenhum laço de eventos em execução.

Alterado na versão 3.12: Added support for generators yielding tasks.

Alterado na versão 3.13: The result can now be used as either an asynchronous iterator or as a plain iterator (previously it was only a plain iterator).

Executando em Threads

coroutine asyncio.to_thread(func, /, *args, **kwargs)

Executa a função func assincronamente em uma thread separada.

Quaisquer *args e **kwargs fornecidos para esta função são diretamente passados para func. Além disso, o contextvars.Context atual é propagado, permitindo que variáveis de contexto da thread do laço de eventos sejam acessadas na thread separada.

Retorna uma corrotina que pode ser aguardada para obter o resultado eventual de func.

This coroutine function is primarily intended to be used for executing IO-bound functions/methods that would otherwise block the event loop if they were run in the main thread. For example:

def blocking_io():
    print(f"start blocking_io at {time.strftime('%X')}")
    # Note that time.sleep() can be replaced with any blocking
    # IO-bound operation, such as file operations.
    time.sleep(1)
    print(f"blocking_io complete at {time.strftime('%X')}")

async def main():
    print(f"started main at {time.strftime('%X')}")

    await asyncio.gather(
        asyncio.to_thread(blocking_io),
        asyncio.sleep(1))

    print(f"finished main at {time.strftime('%X')}")

asyncio.run(main())

# Expected output:
#
# started main at 19:50:53
# start blocking_io at 19:50:53
# blocking_io complete at 19:50:54
# finished main at 19:50:54

Chamar diretamente blocking_io() em qualquer corrotina iria bloquear o laço de eventos durante a sua duração, resultando em 1 segundo adicional no tempo de execução. Ao invés disso, ao utilizar asyncio.to_thread(), nós podemos executá-la em uma thread separada sem bloquear o laço de eventos.

Nota

Devido à GIL, asyncio.to_thread() pode tipicamente ser usado apenas para fazer funções vinculadas a IO não-bloqueantes. Entretanto, para módulos de extensão que liberam o GIL ou implementações alternativas do Python que não tem um, asyncio.to_thread() também pode ser usado para funções vinculadas à CPU.

Adicionado na versão 3.9.

Agendando a partir de outras Threads

asyncio.run_coroutine_threadsafe(coro, loop)

Envia uma corrotina para o laço de eventos fornecido. Seguro para thread.

Retorna um concurrent.futures.Future para aguardar pelo resultado de outra thread do sistema operacional.

Esta função destina-se a ser chamada partir de uma thread diferente do sistema operacional, da qual o laço de eventos está executando. Exemplo:

# Create a coroutine
coro = asyncio.sleep(1, result=3)

# Submit the coroutine to a given loop
future = asyncio.run_coroutine_threadsafe(coro, loop)

# Wait for the result with an optional timeout argument
assert future.result(timeout) == 3

Se uma exceção for levantada na corrotina, o Futuro retornado será notificado. Isso também pode ser usado para cancelar a tarefa no laço de eventos:

try:
    result = future.result(timeout)
except TimeoutError:
    print('The coroutine took too long, cancelling the task...')
    future.cancel()
except Exception as exc:
    print(f'The coroutine raised an exception: {exc!r}')
else:
    print(f'The coroutine returned: {result!r}')

Veja a seção concorrência e multithreading da documentação.

Ao contrário de outras funções asyncio, esta função requer que o argumento loop seja passado explicitamente.

Adicionado na versão 3.5.1.

Introspecção

asyncio.current_task(loop=None)

Retorna a instância Task atualmente em execução, ou None se nenhuma tarefa estiver executando.

Se loop for None, então get_running_loop() é usado para obter o laço atual.

Adicionado na versão 3.7.

asyncio.all_tasks(loop=None)

Retorna um conjunto de objetos Task ainda não concluídos a serem executados pelo laço.

Se loop for None, então get_running_loop() é usado para obter o laço atual.

Adicionado na versão 3.7.

asyncio.iscoroutine(obj)

Return True if obj is a coroutine object.

Adicionado na versão 3.4.

Objeto Task

class asyncio.Task(coro, *, loop=None, name=None, context=None, eager_start=False)

Um objeto similar a Futuro que executa uma corrotina Python. Não é seguro para thread.

Tarefas são usadas para executar corrotinas em laços de eventos. Se uma corrotina espera por um Futuro, a Tarefa suspende a execução da corrotina e aguarda a conclusão do Futuro. Quando o Futuro é concluído, a execução da corrotina contida é retomada.

Laço de eventos usam agendamento cooperativo: um ciclo de evento executa uma Tarefa de cada vez. Enquanto uma Tarefa aguarda a conclusão de um Futuro, o laço de eventos executa outras Tarefas, funções de retorno, ou executa operações de IO.

Use a função de alto nível asyncio.create_task() para criar Tarefas, ou as funções de baixo nível loop.create_task() ou ensure_future(). Instanciação manual de Tarefas é desencorajado.

Para cancelar uma Tarefa em execução, use o método cancel(). Chamar ele fará com que a Tarefa levante uma exceção CancelledError dentro da corrotina contida. Se a corrotina estiver esperando por um objeto Future durante o cancelamento, o objeto Future será cancelado.

cancelled() pode ser usado para verificar se a Tarefa foi cancelada. O método retorna True se a corrotina envolta não suprimiu a exceção CancelledError e foi na verdade cancelada.

asyncio.Task herda de Future todas as suas APIs exceto Future.set_result() e Future.set_exception().

An optional keyword-only context argument allows specifying a custom contextvars.Context for the coro to run in. If no context is provided, the Task copies the current context and later runs its coroutine in the copied context.

An optional keyword-only eager_start argument allows eagerly starting the execution of the asyncio.Task at task creation time. If set to True and the event loop is running, the task will start executing the coroutine immediately, until the first time the coroutine blocks. If the coroutine returns or raises without blocking, the task will be finished eagerly and will skip scheduling to the event loop.

Alterado na versão 3.7: Adicionado suporte para o módulo contextvars.

Alterado na versão 3.8: Adicionado o parâmetro name.

Obsoleto desde a versão 3.10: Aviso de descontinuidade é emitido se loop não é especificado, e não existe nenhum laço de eventos em execução.

Alterado na versão 3.11: Adicionado o parâmetro context.

Alterado na versão 3.12: Added the eager_start parameter.

done()

Retorna True se a Tarefa estiver concluída.

Uma Tarefa está concluída quando a corrotina contida retornou um valor, ou levantou uma exceção, ou a Tarefa foi cancelada.

result()

Retorna o resultado da Tarefa.

Se a Tarefa estiver concluída, o resultado da corrotina contida é retornado (ou se a corrotina levantou uma exceção, essa exceção é re-levantada.)

Se a Tarefa foi cancelada, este método levanta uma exceção CancelledError.

If the Task’s result isn’t yet available, this method raises an InvalidStateError exception.

exception()

Retorna a exceção de uma Tarefa.

Se a corrotina contida levantou uma exceção, essa exceção é retornada. Se a corrotina contida retornou normalmente, este método retorna None.

Se a Tarefa foi cancelada, este método levanta uma exceção CancelledError.

Se a Tarefa não estiver concluída ainda, este método levanta uma exceção InvalidStateError.

add_done_callback(callback, *, context=None)

Adiciona uma função de retorno para ser executada quando a Tarefa estiver concluída.

Este método deve ser usado apenas em código de baixo nível baseado em funções de retorno.

Veja a documentação para Future.add_done_callback() para mais detalhes.

remove_done_callback(callback)

Remove callback da lista de funções de retorno.

Este método deve ser usado apenas em código de baixo nível baseado em funções de retorno.

Veja a documentação do método Future.remove_done_callback() para mais detalhes.

get_stack(*, limit=None)

Retorna a lista de frames da pilha para esta Tarefa.

Se a corrotina contida não estiver concluída, isto retorna a pilha onde ela foi suspensa. Se a corrotina foi concluída com sucesso ou foi cancelada, isto retorna uma lista vazia. Se a corrotina foi terminada por uma exceção, isto retorna a lista de frames do traceback (situação da pilha de execução).

Os quadros são sempre ordenados dos mais antigos para os mais recentes.

Apenas um frame da pilha é retornado para uma corrotina suspensa.

O argumento opcional limit define o o número de frames máximo para retornar; por padrão todos os frames disponíveis são retornados. O ordenamento da lista retornada é diferente dependendo se uma pilha ou um traceback (situação da pilha de execução) é retornado: os frames mais recentes de uma pilha são retornados, mas os frames mais antigos de um traceback são retornados. (Isso combina com o comportamento do módulo traceback.)

print_stack(*, limit=None, file=None)

Exibe a pilha ou situação da pilha de execução para esta Tarefa.

Isto produz uma saída similar a do módulo traceback para frames recuperados por get_stack().

O argumento limit é passado para get_stack() diretamente.

The file argument is an I/O stream to which the output is written; by default output is written to sys.stdout.

get_coro()

Retorna o objeto corrotina contido pela Task.

Nota

This will return None for Tasks which have already completed eagerly. See the Eager Task Factory.

Adicionado na versão 3.8.

Alterado na versão 3.12: Newly added eager task execution means result may be None.

get_context()

Return the contextvars.Context object associated with the task.

Adicionado na versão 3.12.

get_name()

Retorna o nome da Tarefa.

Se nenhum nome foi explicitamente designado para a Tarefa, a implementação padrão asyncio da classe Task gera um nome padrão durante a instanciação.

Adicionado na versão 3.8.

set_name(value)

Define o nome da Tarefa.

O argumento value pode ser qualquer objeto, o qual é então convertido para uma string.

Na implementação padrão da Tarefa, o nome será visível na repr() de saída de um objeto task.

Adicionado na versão 3.8.

cancel(msg=None)

Solicita o cancelamento da Tarefa.

Isto prepara para uma exceção CancelledError ser lançada na corrotina contida no próximo ciclo do laço de eventos.

The coroutine then has a chance to clean up or even deny the request by suppressing the exception with a try … … except CancelledError … finally block. Therefore, unlike Future.cancel(), Task.cancel() does not guarantee that the Task will be cancelled, although suppressing cancellation completely is not common and is actively discouraged. Should the coroutine nevertheless decide to suppress the cancellation, it needs to call Task.uncancel() in addition to catching the exception.

Alterado na versão 3.9: Adicionado o parâmetro msg.

Alterado na versão 3.11: The msg parameter is propagated from cancelled task to its awaiter.

O seguinte exemplo ilustra como corrotinas podem interceptar o cancelamento de requisições:

async def cancel_me():
    print('cancel_me(): before sleep')

    try:
        # Wait for 1 hour
        await asyncio.sleep(3600)
    except asyncio.CancelledError:
        print('cancel_me(): cancel sleep')
        raise
    finally:
        print('cancel_me(): after sleep')

async def main():
    # Create a "cancel_me" Task
    task = asyncio.create_task(cancel_me())

    # Wait for 1 second
    await asyncio.sleep(1)

    task.cancel()
    try:
        await task
    except asyncio.CancelledError:
        print("main(): cancel_me is cancelled now")

asyncio.run(main())

# Expected output:
#
#     cancel_me(): before sleep
#     cancel_me(): cancel sleep
#     cancel_me(): after sleep
#     main(): cancel_me is cancelled now

cancelled()

Retorna True se a Tarefa for cancelada.

A Tarefa é cancelada quando o cancelamento foi requisitado com cancel() e a corrotina contida propagou a exceção CancelledError gerada nela.

uncancel()

Decrement the count of cancellation requests to this Task.

Returns the remaining number of cancellation requests.

Note that once execution of a cancelled task completed, further calls to uncancel() are ineffective.

Adicionado na versão 3.11.

This method is used by asyncio’s internals and isn’t expected to be used by end-user code. In particular, if a Task gets successfully uncancelled, this allows for elements of structured concurrency like Task Groups and asyncio.timeout() to continue running, isolating cancellation to the respective structured block. For example:

async def make_request_with_timeout():
    try:
        async with asyncio.timeout(1):
            # Structured block affected by the timeout:
            await make_request()
            await make_another_request()
    except TimeoutError:
        log("There was a timeout")
    # Outer code not affected by the timeout:
    await unrelated_code()

While the block with make_request() and make_another_request() might get cancelled due to the timeout, unrelated_code() should continue running even in case of the timeout. This is implemented with uncancel(). TaskGroup context managers use uncancel() in a similar fashion.

If end-user code is, for some reason, suppressing cancellation by catching CancelledError, it needs to call this method to remove the cancellation state.

When this method decrements the cancellation count to zero, the method checks if a previous cancel() call had arranged for CancelledError to be thrown into the task. If it hasn’t been thrown yet, that arrangement will be rescinded (by resetting the internal _must_cancel flag).

Alterado na versão 3.13: Changed to rescind pending cancellation requests upon reaching zero.

cancelling()

Return the number of pending cancellation requests to this Task, i.e., the number of calls to cancel() less the number of uncancel() calls.

Note that if this number is greater than zero but the Task is still executing, cancelled() will still return False. This is because this number can be lowered by calling uncancel(), which can lead to the task not being cancelled after all if the cancellation requests go down to zero.

This method is used by asyncio’s internals and isn’t expected to be used by end-user code. See uncancel() for more details.

Adicionado na versão 3.11.

Streams

Código-fonte: Lib/asyncio/streams.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/streams.py]

Streams são conexões de rede de alto-nível assincronias/espera-pronta. Streams permitem envios e recebimentos de dados sem usar retornos de chamadas ou protocolos de baixo nível.

Aqui está um exemplo de um cliente TCP realizando eco, escrito usando streams asyncio:

import asyncio

async def tcp_echo_client(message):
    reader, writer = await asyncio.open_connection(
        '127.0.0.1', 8888)

    print(f'Send: {message!r}')
    writer.write(message.encode())
    await writer.drain()

    data = await reader.read(100)
    print(f'Received: {data.decode()!r}')

    print('Close the connection')
    writer.close()
    await writer.wait_closed()

asyncio.run(tcp_echo_client('Hello World!'))

Veja também a seção Exemplos abaixo.

Funções Stream

As seguintes funções asyncio de alto nível podem ser usadas para criar e trabalhar com streams:

coroutine asyncio.open_connection(host=None, port=None, *, limit=None, ssl=None, family=0, proto=0, flags=0, sock=None, local_addr=None, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, happy_eyeballs_delay=None, interleave=None)

Estabelece uma conexão de rede e retorna um par de objetos (reader, writer).

Os objetos reader e writer retornados são instâncias das classes StreamReader e StreamWriter.

limit determina o tamanho limite do buffer usado pela instância StreamReader retornada. Por padrão, limit é definido em 64 KiB.

O resto dos argumentos é passado diretamente para loop.create_connection().

Nota

The sock argument transfers ownership of the socket to the StreamWriter created. To close the socket, call its close() method.

Alterado na versão 3.7: Adicionado o parâmetro ssl_handshake_timeout.

Alterado na versão 3.8: Adicionados os parâmetros happy_eyeballs_delay e interleave.

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

coroutine asyncio.start_server(client_connected_cb, host=None, port=None, *, limit=None, family=socket.AF_UNSPEC, flags=socket.AI_PASSIVE, sock=None, backlog=100, ssl=None, reuse_address=None, reuse_port=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, start_serving=True)

Inicia um soquete no servidor.

A função de retorno client_connected_cb é chamada sempre que uma nova conexão de um cliente é estabelecida. Ela recebe um par (reader, writer) como dois argumentos, instâncias das classes StreamReader e StreamWriter.

client_connected_cb pode ser simplesmente algo chamável ou uma função de corrotina; se ele for uma função de corrotina, ele será automaticamente agendado como uma Task.

limit determina o tamanho limite do buffer usado pela instância StreamReader retornada. Por padrão, limit é definido em 64 KiB.

O resto dos argumentos são passados diretamente para loop.create_server().

Nota

The sock argument transfers ownership of the socket to the server created. To close the socket, call the server’s close() method.

Alterado na versão 3.7: Added the ssl_handshake_timeout and start_serving parameters.

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Soquetes Unix

coroutine asyncio.open_unix_connection(path=None, *, limit=None, ssl=None, sock=None, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None)

Estabelece uma conexão de soquete Unix e retorna um par com (reader, writer).

Similar a open_connection(), mas opera em soquetes Unix.

Veja também a documentação do método loop.create_unix_connection().

Nota

The sock argument transfers ownership of the socket to the StreamWriter created. To close the socket, call its close() method.

Disponibilidade

Alterado na versão 3.7: Added the ssl_handshake_timeout parameter. The path parameter can now be a path-like object

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

coroutine asyncio.start_unix_server(client_connected_cb, path=None, *, limit=None, sock=None, backlog=100, ssl=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, start_serving=True)

Inicia um servidor com soquete Unix.

Similar a start_server(), mas funciona com soquetes Unix.

Veja também a documentação do método loop.create_unix_server().

Nota

The sock argument transfers ownership of the socket to the server created. To close the socket, call the server’s close() method.

Disponibilidade

Alterado na versão 3.7: Added the ssl_handshake_timeout and start_serving parameters. The path parameter can now be a path-like object.

Alterado na versão 3.10: Removido o parâmetro loop.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

StreamReader

class asyncio.StreamReader

Represents a reader object that provides APIs to read data from the IO stream. As an asynchronous iterable, the object supports the async for statement.

Não é recomendado instanciar objetos StreamReader diretamente; use open_connection() e start_server() ao invés disso.

feed_eof()

Acknowledge the EOF.

coroutine read(n=-1)

Read up to n bytes from the stream.

If n is not provided or set to -1, read until EOF, then return all read bytes. If EOF was received and the internal buffer is empty, return an empty bytes object.

If n is 0, return an empty bytes object immediately.

If n is positive, return at most n available bytes as soon as at least 1 byte is available in the internal buffer. If EOF is received before any byte is read, return an empty bytes object.

coroutine readline()

Lê uma linha, onde “line” é uma sequência de bytes encerrando com \n.

Se EOF é recebido e \n não foi encontrado, o método retorna os dados parcialmente lidos.

Se EOF for recebido e o buffer interno estiver vazio, retorna um objeto bytes vazio.

coroutine readexactly(n)

Lê exatamente n bytes.

Levanta um IncompleteReadError se EOF é atingido antes que n sejam lidos. Use o atributo IncompleteReadError.partial para obter os dados parcialmente lidos.

coroutine readuntil(separator=b'\n')

Lê dados a partir do stream até que separator seja encontrado.

Ao ter sucesso, os dados e o separador serão removidos do buffer interno (consumido). Dados retornados irão incluir o separador no final.

Se a quantidade de dados lidos excede o limite configurado para o stream, uma exceção LimitOverrunError é levantada, e os dados são deixados no buffer interno e podem ser lidos novamente.

Se EOF for atingido antes que o separador completo seja encontrado, uma exceção IncompleteReadError é levantada, e o buffer interno é resetado. O atributo IncompleteReadError.partial pode conter uma parte do separador.

The separator may also be a tuple of separators. In this case the return value will be the shortest possible that has any separator as the suffix. For the purposes of LimitOverrunError, the shortest possible separator is considered to be the one that matched.

Adicionado na versão 3.5.2.

Alterado na versão 3.13: The separator parameter may now be a tuple of separators.

at_eof()

Retorna True se o buffer estiver vazio e feed_eof() foi chamado.

StreamWriter

class asyncio.StreamWriter

Representa um objeto de escrita que fornece APIs para escrever dados para o stream de IO.

Não é recomendado instanciar objetos StreamWriter diretamente; use open_connection() e start_server() ao invés.

write(data)

O método tenta escrever data para o soquete subjacente imediatamente. Se isso falhar, data é enfileirado em um buffer interno de escrita, até que possa ser enviado.

O método deve ser usado juntamente com o método drain():

stream.write(data)
await stream.drain()

writelines(data)

O método escreve imediatamente a lista (ou qualquer iterável) de bytes para o soquete subjacente. Se isso falhar, os dados são enfileirados em um buffer de escrita interno até que possam ser enviados.

O método deve ser usado juntamente com o método drain():

stream.writelines(lines)
await stream.drain()

close()

O método fecha o stream e o soquete subjacente.

The method should be used, though not mandatory, along with the wait_closed() method:

stream.close()
await stream.wait_closed()

can_write_eof()

Retorna True se o transporte subjacente suporta o método write_eof(), False caso contrário.

write_eof()

Fecha o extremo de escrita do stream após os dados no buffer de escrita terem sido descarregados.

transport

Retorna o transporte asyncio subjacente.

get_extra_info(name, default=None)

Acessa informações de transporte opcionais; veja BaseTransport.get_extra_info() para detalhes.

coroutine drain()

Aguarda até que seja apropriado continuar escrevendo no stream. Exemplo:

writer.write(data)
await writer.drain()

Este é um método de controle de fluxo que interage com o buffer de entrada e saída de escrita subjacente. Quando o tamanho do buffer atinge a marca d’agua alta, drain() bloqueia até que o tamanho do buffer seja drenado para a marca d’água baixa, e a escrita possa continuar. Quando não existe nada que cause uma espera, o método drain() retorna imediatamente.

coroutine start_tls(sslcontext, *, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None)

Upgrade an existing stream-based connection to TLS.

Parâmetros:

sslcontext: uma instância configurada de SSLContext.

server_hostname: define ou substitui o nome do host no qual o servidor alvo do certificado será comparado.

ssl_handshake_timeout is the time in seconds to wait for the TLS handshake to complete before aborting the connection. 60.0 seconds if None (default).

ssl_shutdown_timeout is the time in seconds to wait for the SSL shutdown to complete before aborting the connection. 30.0 seconds if None (default).

Adicionado na versão 3.11.

Alterado na versão 3.12: Added the ssl_shutdown_timeout parameter.

is_closing()

Retorna True se o stream estiver fechado ou em processo de ser fechado.

Adicionado na versão 3.7.

coroutine wait_closed()

Aguarda até que o stream seja fechado.

Should be called after close() to wait until the underlying connection is closed, ensuring that all data has been flushed before e.g. exiting the program.

Adicionado na versão 3.7.

Exemplos

Cliente para eco TCP usando streams

Cliente de eco TCP usando a função asyncio.open_connection():

import asyncio

async def tcp_echo_client(message):
    reader, writer = await asyncio.open_connection(
        '127.0.0.1', 8888)

    print(f'Send: {message!r}')
    writer.write(message.encode())
    await writer.drain()

    data = await reader.read(100)
    print(f'Received: {data.decode()!r}')

    print('Close the connection')
    writer.close()
    await writer.wait_closed()

asyncio.run(tcp_echo_client('Hello World!'))

Ver também

O exemplo de protocolo do cliente para eco TCP usa o método de baixo nível loop.create_connection().

Servidor eco TCP usando streams

Servidor eco TCP usando a função asyncio.start_server():

import asyncio

async def handle_echo(reader, writer):
    data = await reader.read(100)
    message = data.decode()
    addr = writer.get_extra_info('peername')

    print(f"Received {message!r} from {addr!r}")

    print(f"Send: {message!r}")
    writer.write(data)
    await writer.drain()

    print("Close the connection")
    writer.close()
    await writer.wait_closed()

async def main():
    server = await asyncio.start_server(
        handle_echo, '127.0.0.1', 8888)

    addrs = ', '.join(str(sock.getsockname()) for sock in server.sockets)
    print(f'Serving on {addrs}')

    async with server:
        await server.serve_forever()

asyncio.run(main())

Ver também

O exemplo de protocolo eco de servidor TCP utiliza o método loop.create_server().

Obtém headers HTTP

Exemplo simples consultando cabeçalhos HTTP da URL passada na linha de comando:

import asyncio
import urllib.parse
import sys

async def print_http_headers(url):
    url = urllib.parse.urlsplit(url)
    if url.scheme == 'https':
        reader, writer = await asyncio.open_connection(
            url.hostname, 443, ssl=True)
    else:
        reader, writer = await asyncio.open_connection(
            url.hostname, 80)

    query = (
        f"HEAD {url.path or '/'} HTTP/1.0\r\n"
        f"Host: {url.hostname}\r\n"
        f"\r\n"
    )

    writer.write(query.encode('latin-1'))
    while True:
        line = await reader.readline()
        if not line:
            break

        line = line.decode('latin1').rstrip()
        if line:
            print(f'HTTP header> {line}')

    # Ignore the body, close the socket
    writer.close()
    await writer.wait_closed()

url = sys.argv[1]
asyncio.run(print_http_headers(url))

Uso:

python example.py http://example.com/path/page.html

ou com HTTPS:

python example.py https://example.com/path/page.html

Registra um soquete aberto para aguardar por dados usando streams

Corrotina aguardando até que um soquete receba dados usando a função open_connection():

import asyncio
import socket

async def wait_for_data():
    # Get a reference to the current event loop because
    # we want to access low-level APIs.
    loop = asyncio.get_running_loop()

    # Create a pair of connected sockets.
    rsock, wsock = socket.socketpair()

    # Register the open socket to wait for data.
    reader, writer = await asyncio.open_connection(sock=rsock)

    # Simulate the reception of data from the network
    loop.call_soon(wsock.send, 'abc'.encode())

    # Wait for data
    data = await reader.read(100)

    # Got data, we are done: close the socket
    print("Received:", data.decode())
    writer.close()
    await writer.wait_closed()

    # Close the second socket
    wsock.close()

asyncio.run(wait_for_data())

Ver também

O exemplo de registro de um soquete aberto para aguardar por dados usando um protocolo utiliza um protocolo de baixo nível e o método loop.create_connection().

O exemplo para monitorar um descritor de arquivo para leitura de eventos utiliza o método de baixo nível loop.add_reader() para monitorar um descritor de arquivo.

Synchronization Primitives

Código-fonte: Lib/asyncio/locks.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/locks.py]

asyncio synchronization primitives are designed to be similar to those of the threading module with two important caveats:

asyncio primitives are not thread-safe, therefore they should not be used for OS thread synchronization (use threading for that);

methods of these synchronization primitives do not accept the timeout argument; use the asyncio.wait_for() function to perform operations with timeouts.

asyncio has the following basic synchronization primitives:

Lock

Event

Condition

Semaphore

BoundedSemaphore

Barrier

Lock

class asyncio.Lock

Implements a mutex lock for asyncio tasks. Not thread-safe.

An asyncio lock can be used to guarantee exclusive access to a shared resource.

The preferred way to use a Lock is an async with statement:

lock = asyncio.Lock()

# ... later
async with lock:
    # access shared state

which is equivalent to:

lock = asyncio.Lock()

# ... later
await lock.acquire()
try:
    # access shared state
finally:
    lock.release()

Alterado na versão 3.10: Removido o parâmetro loop.

coroutine acquire()

Acquire the lock.

This method waits until the lock is unlocked, sets it to locked and returns True.

When more than one coroutine is blocked in acquire() waiting for the lock to be unlocked, only one coroutine eventually proceeds.

Acquiring a lock is fair: the coroutine that proceeds will be the first coroutine that started waiting on the lock.

release()

Release the lock.

When the lock is locked, reset it to unlocked and return.

If the lock is unlocked, a RuntimeError is raised.

locked()

Return True if the lock is locked.

Evento

class asyncio.Event

An event object. Not thread-safe.

An asyncio event can be used to notify multiple asyncio tasks that some event has happened.

An Event object manages an internal flag that can be set to true with the set() method and reset to false with the clear() method. The wait() method blocks until the flag is set to true. The flag is set to false initially.

Alterado na versão 3.10: Removido o parâmetro loop.

Exemplo:

async def waiter(event):
    print('waiting for it ...')
    await event.wait()
    print('... got it!')

async def main():
    # Create an Event object.
    event = asyncio.Event()

    # Spawn a Task to wait until 'event' is set.
    waiter_task = asyncio.create_task(waiter(event))

    # Sleep for 1 second and set the event.
    await asyncio.sleep(1)
    event.set()

    # Wait until the waiter task is finished.
    await waiter_task

asyncio.run(main())

coroutine wait()

Wait until the event is set.

If the event is set, return True immediately. Otherwise block until another task calls set().

set()

Set the event.

All tasks waiting for event to be set will be immediately awakened.

clear()

Clear (unset) the event.

Tasks awaiting on wait() will now block until the set() method is called again.

is_set()

Return True if the event is set.

Condição

class asyncio.Condition(lock=None)

A Condition object. Not thread-safe.

An asyncio condition primitive can be used by a task to wait for some event to happen and then get exclusive access to a shared resource.

In essence, a Condition object combines the functionality of an Event and a Lock. It is possible to have multiple Condition objects share one Lock, which allows coordinating exclusive access to a shared resource between different tasks interested in particular states of that shared resource.

The optional lock argument must be a Lock object or None. In the latter case a new Lock object is created automatically.

Alterado na versão 3.10: Removido o parâmetro loop.

The preferred way to use a Condition is an async with statement:

cond = asyncio.Condition()

# ... later
async with cond:
    await cond.wait()

which is equivalent to:

cond = asyncio.Condition()

# ... later
await cond.acquire()
try:
    await cond.wait()
finally:
    cond.release()

coroutine acquire()

Acquire the underlying lock.

This method waits until the underlying lock is unlocked, sets it to locked and returns True.

notify(n=1)

Wake up n tasks (1 by default) waiting on this condition. If fewer than n tasks are waiting they are all awakened.

The lock must be acquired before this method is called and released shortly after. If called with an unlocked lock a RuntimeError error is raised.

locked()

Return True if the underlying lock is acquired.

notify_all()

Wake up all tasks waiting on this condition.

This method acts like notify(), but wakes up all waiting tasks.

The lock must be acquired before this method is called and released shortly after. If called with an unlocked lock a RuntimeError error is raised.

release()

Release the underlying lock.

When invoked on an unlocked lock, a RuntimeError is raised.

coroutine wait()

Wait until notified.

If the calling task has not acquired the lock when this method is called, a RuntimeError is raised.

This method releases the underlying lock, and then blocks until it is awakened by a notify() or notify_all() call. Once awakened, the Condition re-acquires its lock and this method returns True.

Note that a task may return from this call spuriously, which is why the caller should always re-check the state and be prepared to wait() again. For this reason, you may prefer to use wait_for() instead.

coroutine wait_for(predicate)

Wait until a predicate becomes true.

The predicate must be a callable which result will be interpreted as a boolean value. The method will repeatedly wait() until the predicate evaluates to true. The final value is the return value.

Semaphore

class asyncio.Semaphore(value=1)

A Semaphore object. Not thread-safe.

A semaphore manages an internal counter which is decremented by each acquire() call and incremented by each release() call. The counter can never go below zero; when acquire() finds that it is zero, it blocks, waiting until some task calls release().

The optional value argument gives the initial value for the internal counter (1 by default). If the given value is less than 0 a ValueError is raised.

Alterado na versão 3.10: Removido o parâmetro loop.

The preferred way to use a Semaphore is an async with statement:

sem = asyncio.Semaphore(10)

# ... later
async with sem:
    # work with shared resource

which is equivalent to:

sem = asyncio.Semaphore(10)

# ... later
await sem.acquire()
try:
    # work with shared resource
finally:
    sem.release()

coroutine acquire()

Acquire a semaphore.

If the internal counter is greater than zero, decrement it by one and return True immediately. If it is zero, wait until a release() is called and return True.

locked()

Returns True if semaphore can not be acquired immediately.

release()

Release a semaphore, incrementing the internal counter by one. Can wake up a task waiting to acquire the semaphore.

Unlike BoundedSemaphore, Semaphore allows making more release() calls than acquire() calls.

BoundedSemaphore

class asyncio.BoundedSemaphore(value=1)

A bounded semaphore object. Not thread-safe.

Bounded Semaphore is a version of Semaphore that raises a ValueError in release() if it increases the internal counter above the initial value.

Alterado na versão 3.10: Removido o parâmetro loop.

Barrier

class asyncio.Barrier(parties)

A barrier object. Not thread-safe.

A barrier is a simple synchronization primitive that allows to block until parties number of tasks are waiting on it. Tasks can wait on the wait() method and would be blocked until the specified number of tasks end up waiting on wait(). At that point all of the waiting tasks would unblock simultaneously.

async with can be used as an alternative to awaiting on wait().

The barrier can be reused any number of times.

Exemplo:

async def example_barrier():
   # barrier with 3 parties
   b = asyncio.Barrier(3)

   # create 2 new waiting tasks
   asyncio.create_task(b.wait())
   asyncio.create_task(b.wait())

   await asyncio.sleep(0)
   print(b)

   # The third .wait() call passes the barrier
   await b.wait()
   print(b)
   print("barrier passed")

   await asyncio.sleep(0)
   print(b)

asyncio.run(example_barrier())

Result of this example is:

<asyncio.locks.Barrier object at 0x... [filling, waiters:2/3]>
<asyncio.locks.Barrier object at 0x... [draining, waiters:0/3]>
barrier passed
<asyncio.locks.Barrier object at 0x... [filling, waiters:0/3]>

Adicionado na versão 3.11.

coroutine wait()

Pass the barrier. When all the tasks party to the barrier have called this function, they are all unblocked simultaneously.

When a waiting or blocked task in the barrier is cancelled, this task exits the barrier which stays in the same state. If the state of the barrier is “filling”, the number of waiting task decreases by 1.

The return value is an integer in the range of 0 to parties-1, different for each task. This can be used to select a task to do some special housekeeping, e.g.:

...
async with barrier as position:
   if position == 0:
      # Only one task prints this
      print('End of *draining phase*')

This method may raise a BrokenBarrierError exception if the barrier is broken or reset while a task is waiting. It could raise a CancelledError if a task is cancelled.

coroutine reset()

Return the barrier to the default, empty state. Any tasks waiting on it will receive the BrokenBarrierError exception.

If a barrier is broken it may be better to just leave it and create a new one.

coroutine abort()

Put the barrier into a broken state. This causes any active or future calls to wait() to fail with the BrokenBarrierError. Use this for example if one of the tasks needs to abort, to avoid infinite waiting tasks.

parties

The number of tasks required to pass the barrier.

n_waiting

The number of tasks currently waiting in the barrier while filling.

broken

A boolean that is True if the barrier is in the broken state.

exception asyncio.BrokenBarrierError

This exception, a subclass of RuntimeError, is raised when the Barrier object is reset or broken.

Alterado na versão 3.9: Acquiring a lock using await lock or yield from lock and/or with statement (with await lock, with (yield from lock)) was removed. Use async with lock instead.

Subprocessos

Código-fonte: Lib/asyncio/subprocess.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/subprocess.py], Lib/asyncio/base_subprocess.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/base_subprocess.py]

Esta seção descreve APIs async/await asyncio de alto nível para criar e gerenciar subprocessos.

Aqui está um exemplo de como asyncio pode executar um comando shell e obter o seu resultado:

import asyncio

async def run(cmd):
    proc = await asyncio.create_subprocess_shell(
        cmd,
        stdout=asyncio.subprocess.PIPE,
        stderr=asyncio.subprocess.PIPE)

    stdout, stderr = await proc.communicate()

    print(f'[{cmd!r} exited with {proc.returncode}]')
    if stdout:
        print(f'[stdout]\n{stdout.decode()}')
    if stderr:
        print(f'[stderr]\n{stderr.decode()}')

asyncio.run(run('ls /zzz'))

irá exibir:

['ls /zzz' exited with 1]
[stderr]
ls: /zzz: No such file or directory

Devido ao fato que todas as funções de subprocessos asyncio são assíncronas e asyncio fornece muitas ferramentas para trabalhar com tais funções, é fácil executar e monitorar múltiplos subprocessos em paralelo. É na verdade trivial modificar o exemplo acima para executar diversos comandos simultaneamente:

async def main():
    await asyncio.gather(
        run('ls /zzz'),
        run('sleep 1; echo "hello"'))

asyncio.run(main())

Veja também a subseção Exemplos.

Criando subprocessos

coroutine asyncio.create_subprocess_exec(program, *args, stdin=None, stdout=None, stderr=None, limit=None, **kwds)

Cria um subprocesso.

O argumento limit define o limite do buffer para os invólucros StreamReader para Process.stdout e Process.stderr (se subprocess.PIPE for passado para os argumentos stdout e stderr).

Retorna uma instância de Process.

Veja a documentação de loop.subprocess_exec() para outros parâmetros.

Alterado na versão 3.10: Removido o parâmetro loop.

coroutine asyncio.create_subprocess_shell(cmd, stdin=None, stdout=None, stderr=None, limit=None, **kwds)

Executa o comando cmd no shell.

O argumento limit define o limite do buffer para os invólucros StreamReader para Process.stdout e Process.stderr (se subprocess.PIPE for passado para os argumentos stdout e stderr).

Retorna uma instância de Process.

Veja a documentação de loop.subprocess_shell() para outros parâmetros.

Importante

É responsabilidade da aplicação garantir que todos os espaços em branco e caracteres especiais tenham aspas apropriadamente para evitar vulnerabilidades de injeção de shell [https://en.wikipedia.org/wiki/Shell_injection#Shell_injection]. A função shlex.quote() pode ser usada para escapar espaços em branco e caracteres especiais de shell apropriadamente em strings que serão usadas para construir comandos shell.

Alterado na versão 3.10: Removido o parâmetro loop.

Nota

Subprocessos estão disponíveis para Windows se uma ProactorEventLoop for usada. Veja Suporte para subprocesso para Windows para detalhes.

Ver também

asyncio também tem as seguintes APIs de baixo nível para trabalhar com subprocessos: loop.subprocess_exec(), loop.subprocess_shell(), loop.connect_read_pipe(), loop.connect_write_pipe(), assim como os Transportes de Subprocesso e Protocolos de Subprocesso.

Constantes

asyncio.subprocess.PIPE

Pode ser passado para os parâmetros stdin, stdout ou stderr.

Se PIPE for passado para o argumento stdin, o atributo Process.stdin irá apontar para uma instância StreamWriter.

Se PIPE for passado para os argumentos stdout ou stderr, os atributos Process.stdout e Process.stderr irão apontar para instâncias StreamReader.

asyncio.subprocess.STDOUT

Valor especial que pode ser usado como o argumento stderr e indica que a saída de erro padrão deve ser redirecionada para a saída padrão.

asyncio.subprocess.DEVNULL

Valor especial que pode ser usado como argumento stdin, stdout ou stderr para funções de criação de processos. Ele indica que o arquivo especial os.devnull será usado para o fluxo de subprocesso correspondente.

Interagindo com subprocessos

Ambas as funções create_subprocess_exec() e create_subprocess_shell() retornam instâncias da classe Process. Process é um invólucro de alto nível que permite a comunicação com subprocessos e observar eles serem completados.

class asyncio.subprocess.Process

Um objeto que envolve processos do sistema operacional criados pelas funções create_subprocess_exec() e create_subprocess_shell().

Esta classe é projetada para ter uma API similar a classe subprocess.Popen, mas existem algumas diferenças notáveis:

ao contrário de Popen, instâncias de Process não têm um equivalente ao método poll();

os métodos communicate() e wait() não têm um parâmetro timeout: utilize a função wait_for();

o método Process.wait() é assíncrono, enquanto que o método subprocess.Popen.wait() é implementado como um laço bloqueante para indicar que está ocupado;

o parâmetro universal_newlines não é suportado.

Esta classe não é segura para thread.

Veja também a seção Subprocesso e Threads.

coroutine wait()

Aguarda o processo filho encerrar.

Define e retorna o atributo returncode.

Nota

Este método pode entrar em deadlock ao usar stdout=PIPE ou stderr=PIPE e o processo filho gera tantas saídas que ele bloqueia a espera pelo encadeamento de buffer do sistema operacional para aceitar mais dados. Use o método communicate() ao usar encadeamentos para evitar essa condição.

coroutine communicate(input=None)

Interage com processo:

envia dados para stdin (se input for diferente de None);

fecha stdin;

lê dados a partir de stdout e stderr, até que EOF (fim do arquivo) seja atingido;

aguarda o processo encerrar.

O argumento opcional input é a informação (objeto bytes) que será enviada para o processo filho.

Retorna uma tupla (stdout_data, stderr_data).

Se qualquer exceção BrokenPipeError ou ConnectionResetError for levantada ao escrever input em stdin, a exceção é ignorada. Esta condição ocorre quando o processo encerra antes de todos os dados serem escritos em stdin.

Se for desejado enviar dados para o stdin do processo, o mesmo precisa ser criado com stdin=PIPE. De forma similar, para obter qualquer coisa além de None na tupla resultante, o processo precisa ser criado com os argumentos stdout=PIPE e/ou stderr=PIPE.

Perceba que, os dados lidos são armazenados em um buffer na memória, então não use este método se o tamanho dos dados é grande ou ilimitado.

Alterado na versão 3.12: stdin é fechado quando input=None é também.

send_signal(signal)

Envia o sinal signal para o processo filho.

Nota

No Windows, SIGTERM é um apelido para terminate(). CTRL_C_EVENT e CTRL_BREAK_EVENT podem ser enviados para processos iniciados com um parâmetro creationflags, o qual inclui CREATE_NEW_PROCESS_GROUP.

terminate()

Interrompe o processo filho.

Em sistemas POSIX este método envia SIGTERM para o processo filho.

No Windows a função TerminateProcess() da API Win32 é chamada para interromper o processo filho.

kill()

Mata o processo filho.

Em sistemas POSIX este método envia SIGKILL para o processo filho.

No Windows, este método é um atalho para terminate().

stdin

Fluxo de entrada padrão (StreamWriter) ou None se o processo foi criado com stdin=None.

stdout

Fluxo de saída padrão (StreamReader) ou None se o processo foi criado com stdout=None.

stderr

Erro de fluxo padrão (StreamReader) ou None se o processo foi criado com stderr=None.

Aviso

Use o método communicate() ao invés de process.stdin.write(), await process.stdout.read() ou await process.stderr.read(). Isso evita deadlocks devido a fluxos pausando a leitura ou escrita, e bloqueando o processo filho.

pid

Número de identificação do processo (PID).

Perceba que para processos criados pela função create_subprocess_shell(), este atributo é o PID do console gerado.

returncode

Retorna o código do processo quando o mesmo terminar.

Um valor None indica que o processo ainda não terminou.

Um valor negativo -N indica que o filho foi terminado pelo sinal N (POSIX apenas).

Subprocesso e Threads

Laço de eventos padrão do asyncio suporta a execução de subprocessos a partir de diferentes threads por padrão.

No Windows, subprocessos são fornecidos pela classe ProactorEventLoop apenas (por padrão), a classe SelectorEventLoop não tem suporte a subprocesso.

Em sistemas UNIX, monitores de filhos são usados para aguardar o encerramento de subprocesso, veja Monitores de processos para mais informações.

Alterado na versão 3.8: UNIX mudou para usar ThreadedChildWatcher para gerar subprocessos a partir de diferentes threads sem qualquer limitação.

Gerar um subprocesso com um monitor inativo para o filho atual, levanta RuntimeError.

Perceba que implementações alternativas do laço de eventos podem ter limitações próprias; por favor, verifique a sua documentação.

Ver também

A seção Concorrência e multithreading em asyncio.

Exemplos

Um exemplo de uso da classe Process para controlar um subprocesso e a classe StreamReader para ler a partir da sua saída padrão.

O subprocesso é criado pela função create_subprocess_exec():

import asyncio
import sys

async def get_date():
    code = 'import datetime; print(datetime.datetime.now())'

    # Create the subprocess; redirect the standard output
    # into a pipe.
    proc = await asyncio.create_subprocess_exec(
        sys.executable, '-c', code,
        stdout=asyncio.subprocess.PIPE)

    # Read one line of output.
    data = await proc.stdout.readline()
    line = data.decode('ascii').rstrip()

    # Wait for the subprocess exit.
    await proc.wait()
    return line

date = asyncio.run(get_date())
print(f"Current date: {date}")

Veja também o mesmo exemplo escrito usando APIs de baixo nível.

Filas

Código-fonte: Lib/asyncio/queues.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/queues.py]

Filas asyncio são projetadas para serem similar a classes do módulo queue. Apesar de filas asyncio não serem seguras para thread, elas são projetadas para serem usadas especificamente em código async/await.

Perceba que métodos de filas asyncio não possuem um parâmetro timeout; use a função asyncio.wait_for() para realizar operações de fila com um tempo limite timeout.

Veja também a seção Exemplos abaixo.

Queue

class asyncio.Queue(maxsize=0)

Uma fila onde o primeiro a entrar, é o primeiro a sair (FIFO - First In First Out).

Se maxsize for menor que ou igual a zero, o tamanho da fila é infinito. Se ele for um inteiro maior que 0, então await put() bloqueia quando a fila atingir maxsize até que um item seja removido por get().

Ao contrário da biblioteca padrão de threading queue, o tamanho da fila é sempre conhecido e pode ser obtido através da chamada do método qsize().

Alterado na versão 3.10: Removido o parâmetro loop.

Esta classe não é segura para thread.

maxsize

Número de itens permitidos na fila.

empty()

Retorna True se a fila estiver vazia, False caso contrário.

full()

Retorna True se existem maxsize itens na fila.

If the queue was initialized with maxsize=0 (the default), then full() never returns True.

coroutine get()

Remove e retorna um item da fila. Se a fila estiver vazia, aguarda até que um item esteja disponível.

Levanta QueueShutDown se a fila foi encerrada e está vazia, ou se a fila foi encerrada imediatamente.

get_nowait()

Retorna um item se houver um imediatamente disponível, caso contrário levanta QueueEmpty.

coroutine join()

Bloqueia até que todos os itens na fila tenham sido recebidos e processados.

A contagem de tarefas inacabadas aumenta sempre que um item é adicionado à fila. A contagem diminui sempre que uma corrotina consumidora chama task_done() para indicar que o item foi recuperado e todo o trabalho nele foi concluído. Quando a contagem de tarefas inacabadas chega a zero, join() desbloqueia.

coroutine put(item)

Coloca um item na fila. Se a fila estiver cheia, aguarda até que uma posição livre esteja disponível antes de adicionar o item.

Levanta QueueShutDown se a fila foi encerrada.

put_nowait(item)

Coloca um item na fila sem bloqueá-la.

Se nenhuma posição livre estiver imediatamente disponível, levanta QueueFull.

qsize()

Retorna o número de itens na fila.

shutdown(immediate=False)

Desliga a fila, fazendo com que get() e put() levantem QueueShutDown.

Por padrão, get() em uma fila de desligamento vai levantar quando a fila estiver vazia. Defina immediate como verdadeiro para fazer get() levantar imediatamente.

Todos os chamadores bloqueados de put() e get() serão desbloqueados. Se immediate for verdadeiro, uma tarefa será marcada como concluída para cada item restante na fila, o que pode desbloquear chamadores de join().

Adicionado na versão 3.13.

task_done()

Indica que a tarefa anteriormente enfileirada está concluída.

Usada por consumidores de fila. Para cada get() usado para buscar uma tarefa, uma chamada subsequente para task_done() avisa à fila, que o processamento na tarefa está concluído.

Se um join() estiver sendo bloqueado no momento, ele irá continuar quando todos os itens tiverem sido processados (significando que uma chamada task_done() foi recebida para cada item que foi chamado o método put() para colocar na fila).

shutdown(immediate=True) chama task_done() para cada item restante na fila.

Levanta ValueError se chamada mais vezes do que a quantidade de itens existentes na fila.

Fila de prioridade

class asyncio.PriorityQueue

Uma variante de Queue; recupera entradas em ordem de prioridade (mais baixas primeiro).

Entradas são tipicamente tuplas no formato (priority_number, data).

Filas LIFO (último a entrar, primeiro a sair)

class asyncio.LifoQueue

Uma variante de Queue que recupera as entradas adicionadas mais recentemente primeiro (último a entrar, primeiro a sair).

Exceções

exception asyncio.QueueEmpty

Esta exceção é levantada quando o método get_nowait() é chamado em uma fila vazia.

exception asyncio.QueueFull

Exceção levantada quando o método put_nowait() é chamado em uma fila que atingiu seu maxsize.

exception asyncio.QueueShutDown

Exceção levantada quando put() ou get() é chamado em uma fila que foi desligada.

Adicionado na versão 3.13.

Exemplos

Filas podem ser usadas para distribuir cargas de trabalho entre diversas tarefas concorrentes:

import asyncio
import random
import time

async def worker(name, queue):
    while True:
        # Get a "work item" out of the queue.
        sleep_for = await queue.get()

        # Sleep for the "sleep_for" seconds.
        await asyncio.sleep(sleep_for)

        # Notify the queue that the "work item" has been processed.
        queue.task_done()

        print(f'{name} has slept for {sleep_for:.2f} seconds')

async def main():
    # Create a queue that we will use to store our "workload".
    queue = asyncio.Queue()

    # Generate random timings and put them into the queue.
    total_sleep_time = 0
    for _ in range(20):
        sleep_for = random.uniform(0.05, 1.0)
        total_sleep_time += sleep_for
        queue.put_nowait(sleep_for)

    # Create three worker tasks to process the queue concurrently.
    tasks = []
    for i in range(3):
        task = asyncio.create_task(worker(f'worker-{i}', queue))
        tasks.append(task)

    # Wait until the queue is fully processed.
    started_at = time.monotonic()
    await queue.join()
    total_slept_for = time.monotonic() - started_at

    # Cancel our worker tasks.
    for task in tasks:
        task.cancel()
    # Wait until all worker tasks are cancelled.
    await asyncio.gather(*tasks, return_exceptions=True)

    print('====')
    print(f'3 workers slept in parallel for {total_slept_for:.2f} seconds')
    print(f'total expected sleep time: {total_sleep_time:.2f} seconds')

asyncio.run(main())

Exceções

Código-fonte: Lib/asyncio/exceptions.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/exceptions.py]

exception asyncio.TimeoutError

Um apelido descontinuado de TimeoutError, levantado quando a operação excedeu o prazo determinado.

Alterado na versão 3.11: Esta classe foi feita como um apelido de TimeoutError.

exception asyncio.CancelledError

A operação foi cancelada.

Esta exceção pode ser capturada para executar operações personalizadas quando as tarefas assíncronas são canceladas. Em quase todas as situações, a exceção deve ser levantada novamente.

Alterado na versão 3.8: CancelledError é agora uma subclasse de BaseException em vez de Exception.

exception asyncio.InvalidStateError

Estado interno inválido de Task ou Future.

Pode ser levantada em situações como definir um valor de resultado para um objeto Future que já tem um valor de resultado definido.

exception asyncio.SendfileNotAvailableError

A syscall “sendfile” não está disponível para o soquete ou tipo de arquivo fornecido.

Uma subclasse de RuntimeError.

exception asyncio.IncompleteReadError

A operação de leitura solicitada não foi totalmente concluída.

Levantada pelas APIs de fluxo de asyncio.

Esta exceção é uma subclasse de EOFError.

expected

O número total (int) de bytes esperados.

partial

Uma string de bytes lida antes do final do fluxo ser alcançado.

exception asyncio.LimitOverrunError

Atingiu o limite de tamanho do buffer ao procurar um separador.

Levantada pelas APIs de fluxo de asyncio.

consumed

O número total de bytes a serem consumidos.

Laço de Eventos

Código-fonte: Lib/asyncio/events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/events.py], Lib/asyncio/base_events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/base_events.py]

Prefácio

O laço de eventos é o núcleo de toda aplicação asyncio. Laços de eventos executam tarefas e funções de retorno assíncronas, realizam operações de entrada e saída e executam subprocessos.

Os desenvolvedores de aplicação normalmente devem usar as funções asyncio de alto nível, como asyncio.run(), e devem raramente precisar fazer referência ao objeto de loop ou chamar seus métodos. Esta seção destina-se principalmente a autores de código de baixo nível, bibliotecas e frameworks, que precisam de um controle mais preciso sobre o comportamento do laço de evento.

Obtendo o laço de eventos

As seguintes funções baixo nível podem ser usadas para obter, definir, ou criar um laço de eventos:

asyncio.get_running_loop()

Retorna o laço de eventos em execução na thread atual do sistema operacional.

Levanta uma RuntimeError se não houver nenhum laço de eventos em execução.

Esta função só pode ser chamada a partir de uma corrotina ou de um retorno de chamada.

Adicionado na versão 3.7.

asyncio.get_event_loop()

Obtém o laço de eventos atual.

Quando chamada de uma corrotina ou função de retorno (por exemplo, agendada com call_soon ou API semelhante), esta função sempre retornará o laço de eventos em execução.

Se não houver nenhum laço de eventos em execução definido, a função retornará o resultado da chamada get_event_loop_policy().get_event_loop().

Devido ao fato desta função ter um comportamento particularmente complexo (especialmente quando políticas de laço de eventos customizadas estão sendo usadas), usar a função get_running_loop() é preferido ao invés de get_event_loop() em corrotinas e funções de retorno.

Como observado acima, considere usar também a função de alto nível asyncio.run() ao invés de usar funções de baixo nível para manualmente criar e fechar um laço de eventos.

Obsoleto desde a versão 3.12: Um aviso de descontinuação é emitido se não houver nenhum laço de eventos atual. Em alguma versão futura do Python, isso se tornará um erro.

asyncio.set_event_loop(loop)

Define loop como o laço de eventos atual para a thread atual do sistema operacional.

asyncio.new_event_loop()

Cria e retorna um novo objeto de laço de eventos.

Perceba que o comportamento das funções get_event_loop(), set_event_loop(), e new_event_loop() podem ser alteradas definindo uma política de laço de eventos customizada.

Conteúdo

Esta página de documentação contém as seguintes seções:

A seção Métodos do laço de eventos é a documentação de referência das APIs de laço de eventos;

A seção Tratadores de função de retorno documenta as instâncias das classes Handle e TimerHandle, que são retornadas por métodos de agendamento tais como loop.call_soon() e loop.call_later();

A seção Objetos Server documenta tipos retornados a partir de métodos de laço de eventos, como loop.create_server();

A seção Implementações do Laço de Eventos documenta as classes SelectorEventLoop e ProactorEventLoop;

A seção Exemplos demonstra como trabalhar com algumas APIs do laço de eventos APIs.

Métodos do laço de eventos

Laços de eventos possuem APIs de baixo nível para as seguintes situações:

Executar e interromper o laço

Agendando funções de retorno

Agendando funções de retorno atrasadas

Criando Futures e Tasks

Abrindo conexões de rede

Criando servidores de rede

Transferindo arquivos

Atualizando TLS

Observando descritores de arquivo

Trabalhando com objetos soquete diretamente

DNS

Trabalhando com encadeamentos

Sinais Unix

Executando código em conjuntos de threads ou processos

Tratando erros da API

Habilitando o modo de debug

Executando Subprocessos

Executar e interromper o laço

loop.run_until_complete(future)

Executar até que o future (uma instância da classe Future) seja completada.

Se o argumento é um objeto corrotina, ele é implicitamente agendado para executar como uma asyncio.Task.

Retorna o resultado do Future ou levanta sua exceção.

loop.run_forever()

Executa o laço de eventos até que stop() seja chamado.

If stop() is called before run_forever() is called, the loop will poll the I/O selector once with a timeout of zero, run all callbacks scheduled in response to I/O events (and those that were already scheduled), and then exit.

Se stop() for chamado enquanto run_forever() estiver executando, o laço irá executar o lote atual de funções de retorno e então sair. Perceba que novas funções de retorno agendadas por funções de retorno não serão executadas neste caso; ao invés disso, elas serão executadas na próxima vez que run_forever() ou run_until_complete() forem chamadas.

loop.stop()

Para o laço de eventos.

loop.is_running()

Retorna True se o laço de eventos estiver em execução.

loop.is_closed()

Retorna True se o laço de eventos foi fechado.

loop.close()

Fecha o laço de eventos.

O laço não deve estar em execução quando esta função for chamada. Qualquer função de retorno pendente será descartada.

Este método limpa todas as filas e desliga o executor, mas não aguarda pelo encerramento do executor.

Este método é idempotente e irreversível. Nenhum outro método deve ser chamado depois que o laço de eventos esteja fechado.

coroutine loop.shutdown_asyncgens()

Schedule all currently open asynchronous generator objects to close with an aclose() call. After calling this method, the event loop will issue a warning if a new asynchronous generator is iterated. This should be used to reliably finalize all scheduled asynchronous generators.

Perceba que não é necessário chamar esta função quando asyncio.run() for usado.

Exemplo:

try:
    loop.run_forever()
finally:
    loop.run_until_complete(loop.shutdown_asyncgens())
    loop.close()

Adicionado na versão 3.6.

coroutine loop.shutdown_default_executor(timeout=None)

Agenda o encerramento do executor padrão e aguarda ele se juntar a todas as threads no ThreadPoolExecutor. Uma vez que este método tenha sido chamado, usar o executor padrão com loop.run_in_executor() levantará um RuntimeError.

O parâmetro timeout especifica a quantidade de tempo (em float segundos) que o executor terá para terminar a junção. Com o padrão None, o executor tem permissão para um período de tempo ilimitado.

Se o timeout for atingido, uma exceção RuntimeWarning será emitida e o executor padrão será finalizado sem esperar que suas threads terminem a junção.

Nota

Do not call this method when using asyncio.run(), as the latter handles default executor shutdown automatically.

Adicionado na versão 3.9.

Alterado na versão 3.12: Added the timeout parameter.

Agendando funções de retorno

loop.call_soon(callback, *args, context=None)

Agenda a função de retorno callback para ser chamada com argumentos args na próxima iteração do laço de eventos.

Return an instance of asyncio.Handle, which can be used later to cancel the callback.

Funções de retorno são chamadas na ordem em que elas foram registradas. Cada função de retorno será chamada exatamente uma vez.

The optional keyword-only context argument specifies a custom contextvars.Context for the callback to run in. Callbacks use the current context when no context is provided.

Unlike call_soon_threadsafe(), this method is not thread-safe.

loop.call_soon_threadsafe(callback, *args, context=None)

A thread-safe variant of call_soon(). When scheduling callbacks from another thread, this function must be used, since call_soon() is not thread-safe.

Levanta RuntimeError se chamado em um laço que já foi fechado. Isto pode acontecer em uma thread secundária quando a aplicação principal estiver desligando.

Veja a seção concorrência e multithreading da documentação.

Alterado na versão 3.7: O parâmetro somente-nomeado context foi adicionado. Veja PEP 567 [https://peps.python.org/pep-0567/] para mais detalhes.

Nota

Maior parte das funções de agendamento asyncio não permite passar argumentos nomeados. Para fazer isso, use functools.partial():

# will schedule "print("Hello", flush=True)"
loop.call_soon(
    functools.partial(print, "Hello", flush=True))

Usar objetos parciais é usualmente mais conveniente que usar lambdas, pois asyncio pode renderizar objetos parciais melhor durante debug e mensagens de erro.

Agendando funções de retorno atrasadas

Laço de eventos fornece mecanismos para agendar funções de retorno para serem chamadas em algum ponto no futuro. Laço de eventos usa relógios monotônico para acompanhar o tempo.

loop.call_later(delay, callback, *args, context=None)

Agenda callback para ser chamada após o delay número de segundos fornecido (pode ser um inteiro ou um ponto flutuante).

Uma instância de asyncio.TimerHandle é retornada, a qual pode ser usada para cancelar a função de retorno.

callback será chamada exatamente uma vez. Se duas funções de retorno são agendadas para exatamente o mesmo tempo, a ordem na qual elas são chamadas é indefinida.

O args posicional opcional será passado para a função de retorno quando ela for chamada. Se você quiser que a função de retorno seja chamada com argumentos nomeados, use functools.partial().

Um argumento opcional somente-nomeado context permite especificar um contextvars.Context customizado para executar na função de retorno. O contexto atual é usado quando nenhum context é fornecido.

Alterado na versão 3.7: O parâmetro somente-nomeado context foi adicionado. Veja PEP 567 [https://peps.python.org/pep-0567/] para mais detalhes.

Alterado na versão 3.8: No Python 3.7 e anterior, com a implementação padrão do laço de eventos, o delay não poderia exceder um dia. Isto foi ajustado no Python 3.8.

loop.call_at(when, callback, *args, context=None)

Agenda callback para ser chamada no timestamp absoluto fornecido when (um inteiro ou um ponto flutuante), usando o mesmo horário de referência que loop.time().

O comportamento deste método é o mesmo que call_later().

Uma instância de asyncio.TimerHandle é retornada, a qual pode ser usada para cancelar a função de retorno.

Alterado na versão 3.7: O parâmetro somente-nomeado context foi adicionado. Veja PEP 567 [https://peps.python.org/pep-0567/] para mais detalhes.

Alterado na versão 3.8: No Python 3.7 e anterior, com a implementação padrão do laço de eventos, a diferença entre when e o horário atual não poderia exceder um dia. Isto foi ajustado no Python 3.8.

loop.time()

Retorna o horário atual, como um valor float, de acordo com o relógio monotônico interno do laço de eventos.

Nota

Alterado na versão 3.8: No Python 3.7 e anterior, tempos limites (delay relativo ou when absoluto) não poderiam exceder um dia. Isto foi ajustado no Python 3.8.

Ver também

A função asyncio.sleep().

Criando Futures e Tasks

loop.create_future()

Cria um objeto asyncio.Future atachado ao laço de eventos.

Este é o modo preferido para criar Futures em asyncio. Isto permite que laços de eventos de terceiros forneçam implementações alternativas do objeto Future (com melhor desempenho ou instrumentação).

Adicionado na versão 3.5.2.

loop.create_task(coro, *, name=None, context=None)

Schedule the execution of coroutine coro. Return a Task object.

Laços de eventos de terceiros podem usar suas próprias subclasses de Task para interoperabilidade. Neste caso, o tipo do resultado é uma subclasse de Task.

Se o argumento name for fornecido e não é None, ele é definido como o nome da tarefa, usando Task.set_name().

An optional keyword-only context argument allows specifying a custom contextvars.Context for the coro to run in. The current context copy is created when no context is provided.

Alterado na versão 3.8: Adicionado o parâmetro name.

Alterado na versão 3.11: Adicionado o parâmetro context.

loop.set_task_factory(factory)

Define a factory da tarefa que será usada por loop.create_task().

If factory is None the default task factory will be set. Otherwise, factory must be a callable with the signature matching (loop, coro, context=None), where loop is a reference to the active event loop, and coro is a coroutine object. The callable must return a asyncio.Future-compatible object.

loop.get_task_factory()

Retorna uma factory de tarefa ou None se a factory padrão estiver em uso.

Abrindo conexões de rede

coroutine loop.create_connection(protocol_factory, host=None, port=None, *, ssl=None, family=0, proto=0, flags=0, sock=None, local_addr=None, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, happy_eyeballs_delay=None, interleave=None, all_errors=False)

Abre uma conexão de transporte para streaming, para um endereço fornecido, especificado por host e port.

The socket family can be either AF_INET or AF_INET6 depending on host (or the family argument, if provided).

The socket type will be SOCK_STREAM.

protocol_factory deve ser um chamável que retorne uma implementação do protocolo asyncio.

Este método tentará estabelecer a conexão em segundo plano. Quando tiver sucesso, ele retorna um par (transport, protocol).

A sinopse cronológica da operação subjacente é conforme abaixo:

A conexão é estabelecida e um transporte é criado para ela.

protocol_factory é chamada sem argumentos e é esperada que retorne uma instância de protocolo.

A instância de protocolo é acoplada com o transporte, através da chamada do seu método connection_made().

Uma tupla (transport, protocol) é retornada ao ter sucesso.

O transporte criado é um stream bi-direcional dependente de implementação.

Outros argumentos:

ssl: se fornecido e não for falso, um transporte SSL/TLS é criado (por padrão um transporte TCP simples é criado). Se ssl for um objeto ssl.SSLContext, este contexto é usado para criar o transporte; se ssl for True, um contexto padrão retornado de ssl.create_default_context() é usado.

Ver também

Considerações de segurança sobre SSL/TLS

server_hostname define ou substitui o hostname que o certificado do servidor de destino será pareado contra. Deve ser passado apenas se ssl não for None. Por padrão o valor do argumento host é usado. Se host for vazio, não existe valor padrão e você deve passar um valor para server_hostname. Se server_hostname for uma string vazia, o pareamento de hostname é desabilitado (o que é um risco de segurança sério, permitindo ataques potenciais man-in-the-middle).

family, proto, flags são os endereços familiares, protocolos e sinalizadores opcionais a serem passados por getaddrinfo() para resolução do host. Se fornecidos, eles devem ser todos inteiros e constantes correspondentes do módulo socket.

happy_eyeballs_delay, se fornecido, habilita Happy Eyeballs para esta conexão. Ele deve ser um número de ponto flutuante representando o tempo em segundos para aguardar uma tentativa de conexão encerrar, antes de começar a próxima tentativa em paralelo. Este é o “Atraso na tentativa de conexão” conforme definido na RFC 8305 [https://datatracker.ietf.org/doc/html/rfc8305.html]. Um valor padrão sensível recomendado pela RFC é 0.25 (250 millisegundos).

interleave controla o reordenamento de endereços quando um nome de servidor resolve para múltiplos endereços IP. Se 0 ou não especificado, nenhum reordenamento é feito, e endereços são tentados na ordem retornada por getaddrinfo(). Se um inteiro positivo for especificado, os endereços são intercalados por um endereço familiar, e o inteiro fornecido é interpretado como “Contagem da família do primeiro endereço” conforme definido na RFC 8305 [https://datatracker.ietf.org/doc/html/rfc8305.html]. O padrão é 0 se happy_eyeballs_delay não for especificado, e 1 se ele for.

sock, se fornecido, deve ser um objeto socket.socket já existente, já conectado, para ser usado por transporte. Se sock é fornecido, host, port, family, proto, flags, happy_eyeballs_delay, interleave e local_addr não devem ser especificados.

Nota

The sock argument transfers ownership of the socket to the transport created. To close the socket, call the transport’s close() method.

local_addr, se fornecido, é uma tupla de (local_host, local_port) usada para se ligar ao soquete localmente. O local_host e a local_port são procurados usando getaddrinfo(), de forma similar para host e port.

ssl_handshake_timeout é (para uma conexão TLS) o tempo em segundos para aguardar pelo encerramento do aperto de mão TLS, antes de abortar a conexão. 60.0 segundos se for None (valor padrão).

ssl_shutdown_timeout is the time in seconds to wait for the SSL shutdown to complete before aborting the connection. 30.0 seconds if None (default).

all_errors determines what exceptions are raised when a connection cannot be created. By default, only a single Exception is raised: the first exception if there is only one or all errors have same message, or a single OSError with the error messages combined. When all_errors is True, an ExceptionGroup will be raised containing all exceptions (even if there is only one).

Alterado na versão 3.5: Adicionado suporte para SSL/TLS na ProactorEventLoop.

Alterado na versão 3.6: The socket option socket.TCP_NODELAY is set by default for all TCP connections.

Alterado na versão 3.7: Adicionado o parâmetro ssl_handshake_timeout.

Alterado na versão 3.8: Adicionados os parâmetros happy_eyeballs_delay e interleave.

Happy Eyeballs Algorithm: Success with Dual-Stack Hosts. When a server’s IPv4 path and protocol are working, but the server’s IPv6 path and protocol are not working, a dual-stack client application experiences significant connection delay compared to an IPv4-only client. This is undesirable because it causes the dual-stack client to have a worse user experience. This document specifies requirements for algorithms that reduce this user-visible delay and provides an algorithm.

For more information: https://datatracker.ietf.org/doc/html/rfc6555

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Alterado na versão 3.12: all_errors was added.

Ver também

A função open_connection() é uma API alternativa de alto nível. Ela retorna um par de (StreamReader, StreamWriter) que pode ser usado diretamente em código async/await.

coroutine loop.create_datagram_endpoint(protocol_factory, local_addr=None, remote_addr=None, *, family=0, proto=0, flags=0, reuse_port=None, allow_broadcast=None, sock=None)

Cria uma conexão de datagrama.

The socket family can be either AF_INET, AF_INET6, or AF_UNIX, depending on host (or the family argument, if provided).

The socket type will be SOCK_DGRAM.

protocol_factory deve ser algo chamável, retornando uma implementação de protocolo.

Uma tupla de (transport, protocol) é retornada em caso de sucesso.

Outros argumentos:

local_addr, se fornecido, é uma tupla de (local_host, local_port) usada para ligar o soquete localmente. O local_host e a local_port são procurados usando getaddrinfo().

remote_addr, se fornecido, é uma tupla de (remote_host, remote_port) usada para conectar o soquete a um endereço remoto. O remote_host e a remote_port são procurados usando getaddrinfo().

family, proto, flags são os endereços familiares, protocolo e flags opcionais a serem passados para getaddrinfo() para resolução do host. Se fornecido, esses devem ser todos inteiros do módulo de constantes socket correspondente.

reuse_port tells the kernel to allow this endpoint to be bound to the same port as other existing endpoints are bound to, so long as they all set this flag when being created. This option is not supported on Windows and some Unixes. If the socket.SO_REUSEPORT constant is not defined then this capability is unsupported.

allow_broadcast avisa o kernel para permitir que este endpoint envie mensagens para o endereço de broadcast.

sock pode opcionalmente ser especificado em ordem para usar um objeto socket.socket pre-existente, já conectado, para ser usado pelo transporte. Se especificado, local_addr e remote_addr devem ser omitidos (devem ser None).

Nota

The sock argument transfers ownership of the socket to the transport created. To close the socket, call the transport’s close() method.

Veja protocolo UDP eco cliente e protocolo UDP eco servidor para exemplos.

Alterado na versão 3.4.4: The family, proto, flags, reuse_address, reuse_port, allow_broadcast, and sock parameters were added.

Alterado na versão 3.8: Adicionado suporte para Windows.

Alterado na versão 3.8.1: The reuse_address parameter is no longer supported, as using socket.SO_REUSEADDR poses a significant security concern for UDP. Explicitly passing reuse_address=True will raise an exception.

Quando múltiplos processos com diferentes UIDs atribuem soquetes para um endereço de soquete UDP idêntico com SO_REUSEADDR, pacotes recebidos podem ser distribuídos aleatoriamente entre os soquetes.

For supported platforms, reuse_port can be used as a replacement for similar functionality. With reuse_port, socket.SO_REUSEPORT is used instead, which specifically prevents processes with differing UIDs from assigning sockets to the same socket address.

Alterado na versão 3.11: The reuse_address parameter, disabled since Python 3.8.1, 3.7.6 and 3.6.10, has been entirely removed.

coroutine loop.create_unix_connection(protocol_factory, path=None, *, ssl=None, sock=None, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None)

Cria uma conexão Unix.

The socket family will be AF_UNIX; socket type will be SOCK_STREAM.

Uma tupla de (transport, protocol) é retornada em caso de sucesso.

path é o nome de um soquete de domínio Unix e é obrigatório, a não ser que um parâmetro sock seja esecificado. Soquetes Unix abstratos, str, bytes, e caminhos Path são suportados.

Veja a documentação do método loop.create_connection() para informações a respeito de argumentos para este método.

Disponibilidade

Alterado na versão 3.7: Adicionado o parâmetro ssl_handshake_timeout. O parâmetro path agora pode ser um path-like object.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Criando servidores de rede

coroutine loop.create_server(protocol_factory, host=None, port=None, *, family=socket.AF_UNSPEC, flags=socket.AI_PASSIVE, sock=None, backlog=100, ssl=None, reuse_address=None, reuse_port=None, keep_alive=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, start_serving=True)

Create a TCP server (socket type SOCK_STREAM) listening on port of the host address.

Retorna um objeto Server.

Argumentos:

protocol_factory deve ser algo chamável, retornando uma implementação de protocolo.

O parâmetro host pode ser definido para diversos tipos, o qual determina onde o servidor deve escutar:

Se host for uma string, o servidor TCP está vinculado a apenas uma interface de rede, especificada por host.

Se host é uma sequência de strings, o servidor TCP está vinculado a todas as interfaces de rede especificadas pela sequência.

Se host é uma string vazia ou None, todas as interfaces são presumidas e uma lista de múltiplos soquetes será retornada (muito provavelmente um para IPv4 e outro para IPv6).

O parâmetro port pode ser definido para especificar qual porta o servidor deve escutar. Se 0 ou None (o padrão), uma porta aleatória disponível será selecionada (note que se host resolve para múltiplas interfaces de rede, uma porta aleatória diferente será selecionada para cada interface).

family can be set to either socket.AF_INET or AF_INET6 to force the socket to use IPv4 or IPv6. If not set, the family will be determined from host name (defaults to AF_UNSPEC).

flags é uma máscara de bits para getaddrinfo().

sock pode opcionalmente ser especificado para usar um objeto soquete pré-existente. Se especificado, host e port não devem ser especificados.

Nota

The sock argument transfers ownership of the socket to the server created. To close the socket, call the server’s close() method.

backlog é o número máximo de conexões enfileiradas pasadas para listen() (padrão é 100).

ssl pode ser definido para uma instância de SSLContext para habilitar TLS sobre as conexões aceitas.

reuse_address diz ao kernel para reusar um soquete local em estado TIME_WAIT, serm aguardar pela expiração natural do seu tempo limite. Se não especificado, será automaticamente definida como True no Unix.

reuse_port diz ao kernel para permitir que este endpoint seja vinculado a mesma porta que outros endpoints existentes estão vinculados, contanto que todos eles definam este sinalizador quando forem criados. Esta opção não é suportada no Windows.

keep_alive set to True keeps connections active by enabling the periodic transmission of messages.

Alterado na versão 3.13: Added the keep_alive parameter.

ssl_handshake_timeout é (para um servidor TLS) o tempo em segundos para aguardar pelo aperto de mão TLS ser concluído, antes de abortar a conexão. 60.0 segundos se None (valor padrão).

ssl_shutdown_timeout is the time in seconds to wait for the SSL shutdown to complete before aborting the connection. 30.0 seconds if None (default).

Definir start_serving para True (o valor padrão) faz o servidor criado começar a aceitar conexões imediatamente. Quando definido para False, o usuário deve aguardar com Server.start_serving() ou Server.serve_forever() para fazer o servidor começar a aceitar conexões.

Alterado na versão 3.5: Adicionado suporte para SSL/TLS na ProactorEventLoop.

Alterado na versão 3.5.1: O parâmetro host pode ser uma sequência de strings.

Alterado na versão 3.6: Added ssl_handshake_timeout and start_serving parameters. The socket option socket.TCP_NODELAY is set by default for all TCP connections.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Ver também

A função start_server() é uma API alternativa de alto nível que retorna um par de StreamReader e StreamWriter que pode ser usado em um código async/await.

coroutine loop.create_unix_server(protocol_factory, path=None, *, sock=None, backlog=100, ssl=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None, start_serving=True, cleanup_socket=True)

Similar to loop.create_server() but works with the AF_UNIX socket family.

path é o nome de um soquete de domínio Unix, e é obrigatório, a não ser que um argumento sock seja fornecido. Soquetes Unix abstratos, str, bytes, e caminhos Path são suportados.

If cleanup_socket is true then the Unix socket will automatically be removed from the filesystem when the server is closed, unless the socket has been replaced after the server has been created.

Veja a documentação do método loop.create_server() para informações sobre argumentos para este método.

Disponibilidade

Alterado na versão 3.7: Adicionados os parâmetros ssl_handshake_timeout estart_serving*. O parâmetros path agora pode ser um objeto da classe Path.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Alterado na versão 3.13: Added the cleanup_socket parameter.

coroutine loop.connect_accepted_socket(protocol_factory, sock, *, ssl=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None)

Envolve uma conexão já aceita em um par transporte/protocolo.

Este método pode ser usado por servidores que aceitam conexões fora do asyncio, mas que usam asyncio para manipulá-las.

Parâmetros:

protocol_factory deve ser algo chamável, retornando uma implementação de protocolo.

sock é um objeto soquete pré-existente retornado a partir de socket.accept.

Nota

The sock argument transfers ownership of the socket to the transport created. To close the socket, call the transport’s close() method.

ssl pode ser definido para um SSLContext para habilitar SSL sobre as conexões aceitas.

ssl_handshake_timeout é (para uma conexão SSL) o tempo em segundos para aguardar pelo aperto de mão SSL ser concluído, antes de abortar a conexão. 60.0 segundos se None (valor padrão).

ssl_shutdown_timeout is the time in seconds to wait for the SSL shutdown to complete before aborting the connection. 30.0 seconds if None (default).

Retorna um par (transport, protocol).

Adicionado na versão 3.5.3.

Alterado na versão 3.7: Adicionado o parâmetro ssl_handshake_timeout.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Transferindo arquivos

coroutine loop.sendfile(transport, file, offset=0, count=None, *, fallback=True)

Envia um file sobre um transport. Retorna o número total de bytes enviados.

O método usa os.sendfile() de alto desempenho, se disponível.

file deve ser um objeto arquivo regular aberto em modo binário.

offset indica a partir de onde deve iniciar a leitura do arquivo. Se especificado, count é o número total de bytes para transmitir, ao contrário de transmitir o arquivo até que EOF seja atingido. A posição do arquivo é sempre atualizada, mesmo quando este método levanta um erro, e file.tell() pode ser usado para obter o número atual de bytes enviados.

fallback definido para True faz o asyncio manualmente ler e enviar o arquivo quando a plataforma não suporta a chamada de sistema sendfile (por exemplo Windows ou soquete SSL no Unix).

Levanta SendfileNotAvailableError se o sistema não suporta a chamada de sistema sendfile e fallback é False.

Adicionado na versão 3.7.

Atualizando TLS

coroutine loop.start_tls(transport, protocol, sslcontext, *, server_side=False, server_hostname=None, ssl_handshake_timeout=None, ssl_shutdown_timeout=None)

Atualiza um conexão baseada em transporte existente para TLS.

Create a TLS coder/decoder instance and insert it between the transport and the protocol. The coder/decoder implements both transport-facing protocol and protocol-facing transport.

Return the created two-interface instance. After await, the protocol must stop using the original transport and communicate with the returned object only because the coder caches protocol-side data and sporadically exchanges extra TLS session packets with transport.

In some situations (e.g. when the passed transport is already closing) this may return None.

Parâmetros:

instâncias de transport e protocol, que métodos como create_server() e create_connection() retornam.

sslcontext: uma instância configurada de SSLContext.

server_side informe True quando uma conexão no lado do servidor estiver sendo atualizada (como a que é criada por create_server()).

server_hostname: define ou substitui o nome do host no qual o servidor alvo do certificado será comparado.

ssl_handshake_timeout é (para uma conexão TLS) o tempo em segundos para aguardar pelo encerramento do aperto de mão TLS, antes de abortar a conexão. 60.0 segundos se for None (valor padrão).

ssl_shutdown_timeout is the time in seconds to wait for the SSL shutdown to complete before aborting the connection. 30.0 seconds if None (default).

Adicionado na versão 3.7.

Alterado na versão 3.11: Added the ssl_shutdown_timeout parameter.

Observando descritores de arquivo

loop.add_reader(fd, callback, *args)

Começa a monitorar o descritor de arquivo fd para disponibilidade de leitura e invoca a callback com os argumentos especificados assim que fd esteja disponível para leitura.

loop.remove_reader(fd)

Stop monitoring the fd file descriptor for read availability. Returns True if fd was previously being monitored for reads.

loop.add_writer(fd, callback, *args)

Começa a monitorar o descritor de arquivo fd para disponibilidade de escrita e invoca a callback com os argumentos especificados assim que fd esteja disponível para escrita.

Use functools.partial() para passar argumentos nomeados para a callback.

loop.remove_writer(fd)

Stop monitoring the fd file descriptor for write availability. Returns True if fd was previously being monitored for writes.

Veja também a seção de Suporte a Plataformas para algumas limitações desses métodos.

Trabalhando com objetos soquete diretamente

Em geral, implementações de protocolo que usam APIs baseadas em transporte, tais como loop.create_connection() e loop.create_server() são mais rápidas que implementações que trabalham com soquetes diretamente. Entretanto, existem alguns casos de uso quando o desempenho não é crítica, e trabalhar com objetos socket diretamente é mais conveniente.

coroutine loop.sock_recv(sock, nbytes)

Recebe até nbytes do sock. Versão assíncrona de socket.recv().

Retorna os dados recebidos como um objeto de bytes.

sock deve ser um soquete não bloqueante.

Alterado na versão 3.7: Apesar deste método sempre ter sido documentado como um método de corrotina, versões anteriores ao Python 3.7 retornavam um Future. Desde o Python 3.7 este é um método async def.

coroutine loop.sock_recv_into(sock, buf)

Dados recebidos do sock no buffer buf. Modelado baseado no método bloqueante socket.recv_into().

Retorna o número de bytes escritos no buffer.

sock deve ser um soquete não bloqueante.

Adicionado na versão 3.7.

coroutine loop.sock_recvfrom(sock, bufsize)

Receive a datagram of up to bufsize from sock. Asynchronous version of socket.recvfrom().

Return a tuple of (received data, remote address).

sock deve ser um soquete não bloqueante.

Adicionado na versão 3.11.

coroutine loop.sock_recvfrom_into(sock, buf, nbytes=0)

Receive a datagram of up to nbytes from sock into buf. Asynchronous version of socket.recvfrom_into().

Return a tuple of (number of bytes received, remote address).

sock deve ser um soquete não bloqueante.

Adicionado na versão 3.11.

coroutine loop.sock_sendall(sock, data)

Envia data para o soquete sock. Versão assíncrona de socket.sendall().

Este método continua a enviar para o soquete até que todos os dados em data tenham sido enviados ou um erro ocorra. None é retornado em caso de sucesso. Ao ocorrer um erro, uma exceção é levantada. Adicionalmente, não existe nenhuma forma de determinar quantos dados, se algum, foram processados com sucesso pelo destinatário na conexão.

sock deve ser um soquete não bloqueante.

Alterado na versão 3.7: Apesar deste método sempre ter sido documentado como um método de corrotina, antes do Python 3.7 ele retornava um Future. Desde o Python 3.7, este é um método async def.

coroutine loop.sock_sendto(sock, data, address)

Send a datagram from sock to address. Asynchronous version of socket.sendto().

Return the number of bytes sent.

sock deve ser um soquete não bloqueante.

Adicionado na versão 3.11.

coroutine loop.sock_connect(sock, address)

Conecta o sock em um endereço address remoto.

Versão assíncrona de socket.connect().

sock deve ser um soquete não bloqueante.

Alterado na versão 3.5.2: address não precisa mais ser resolvido. sock_connect irá tentar verificar se address já está resolvido chamando socket.inet_pton(). Se não estiver, loop.getaddrinfo() será usado para resolver address.

Ver também

loop.create_connection() e asyncio.open_connection().

coroutine loop.sock_accept(sock)

Aceita uma conexão. Modelado baseado no método bloqueante socket.accept().

O soquete deve estar vinculado a um endereço e escutando por conexões. O valor de retorno é um par (conn, address) onde conn é um novo objeto de soquete usável para enviar e receber dados na conexão, e address é o endereço vinculado ao soquete no outro extremo da conexão.

sock deve ser um soquete não bloqueante.

Alterado na versão 3.7: Apesar deste método sempre ter sido documentado como um método de corrotina, antes do Python 3.7 ele retornava um Future. Desde o Python 3.7, este é um método async def.

Ver também

loop.create_server() e start_server().

coroutine loop.sock_sendfile(sock, file, offset=0, count=None, *, fallback=True)

Envia um arquivo usando os.sendfile de alto desempenho se possível. Retorna o número total de bytes enviados.

Versão assíncrona de socket.sendfile().

sock deve ser um socket socket.SOCK_STREAM não bloqueante.

file deve ser um objeto arquivo regular aberto em modo binário.

offset indica a partir de onde deve iniciar a leitura do arquivo. Se especificado, count é o número total de bytes para transmitir, ao contrário de transmitir o arquivo até que EOF seja atingido. A posição do arquivo é sempre atualizada, mesmo quando este método levanta um erro, e file.tell() pode ser usado para obter o número atual de bytes enviados.

fallback, quando definido para True, faz asyncio ler e enviar manualmente o arquivo, quando a plataforma não suporta a chamada de sistema sendfile (por exemplo Windows ou soquete SSL no Unix).

Levanta SendfileNotAvailableError se o sistema não suporta chamadas de sistema sendfile e fallback é False.

sock deve ser um soquete não bloqueante.

Adicionado na versão 3.7.

DNS

coroutine loop.getaddrinfo(host, port, *, family=0, type=0, proto=0, flags=0)

Versão assíncrona de socket.getaddrinfo().

coroutine loop.getnameinfo(sockaddr, flags=0)

Versão assíncrona de socket.getnameinfo().

Nota

Both getaddrinfo and getnameinfo internally utilize their synchronous versions through the loop’s default thread pool executor. When this executor is saturated, these methods may experience delays, which higher-level networking libraries may report as increased timeouts. To mitigate this, consider using a custom executor for other user tasks, or setting a default executor with a larger number of workers.

Alterado na versão 3.7: Ambos os métodos getaddrinfo e getnameinfo sempre foram documentados para retornar uma corrotina, mas antes do Python 3.7 eles estavam, na verdade, retornando objetos asyncio.Future. A partir do Python 3.7, ambos os métodos são corrotinas.

Trabalhando com encadeamentos

coroutine loop.connect_read_pipe(protocol_factory, pipe)

Registra o extremo da leitura de um pipe no laço de eventos.

protocol_factory deve ser um chamável que retorne uma implementação do protocolo asyncio.

pipe é um objeto arquivo ou similar.

Retorna um par (transport, protocol), onde transport suporta a interface ReadTransport e protocol é um objeto instanciado pelo protocol_factory.

Com o SelectorEventLoop do laço de eventos, o pipe é definido para modo não bloqueante.

coroutine loop.connect_write_pipe(protocol_factory, pipe)

Registra o extremo de escrita do pipe no laço de eventos.

protocol_factory deve ser um chamável que retorne uma implementação do protocolo asyncio.

pipe é um objeto arquivo ou similar.

Retorna um part (transport, protocol), onde transport suporta a interface WriteTransport e protocol é um objeto instanciado pelo protocol_factory.

Com o SelectorEventLoop do laço de eventos, o pipe é definido para modo não bloqueante.

Nota

SelectorEventLoop não suporta os métodos acima no Windows. Use ProactorEventLoop ao invés para Windows.

Ver também

Os métodos loop.subprocess_exec() e loop.subprocess_shell().

Sinais Unix

loop.add_signal_handler(signum, callback, *args)

Define callback como o tratador para o sinal signum.

A função de retorno será invocada pelo loop, juntamente com outras funções de retorno enfileiradas e corrotinas executáveis daquele laço de eventos. Ao contrário de tratadores de sinal registrados usando signal.signal(), uma função de retorno registrada com esta função tem autorização para interagir com o laço de eventos.

Levanta ValueError se o número do sinal é inválido ou impossível de capturar. Levanta RuntimeError se existe um problema definindo o tratador.

Use functools.partial() para passar argumentos nomeados para a callback.

Assim como signal.signal(), esta função deve ser invocada na thread principal.

loop.remove_signal_handler(sig)

Remove o tratador para o sinal sig.

Retorna True se o tratador de sinal foi removido, ou False se nenhum tratador foi definido para o sinal fornecido.

Disponibilidade

Ver também

O módulo signal.

Executando código em conjuntos de threads ou processos

awaitable loop.run_in_executor(executor, func, *args)

Providencia para a func ser chamada no executor especificado.

The executor argument should be an concurrent.futures.Executor instance. The default executor is used if executor is None. The default executor can be set by loop.set_default_executor(), otherwise, a concurrent.futures.ThreadPoolExecutor will be lazy-initialized and used by run_in_executor() if needed.

Exemplo:

import asyncio
import concurrent.futures

def blocking_io():
    # File operations (such as logging) can block the
    # event loop: run them in a thread pool.
    with open('/dev/urandom', 'rb') as f:
        return f.read(100)

def cpu_bound():
    # CPU-bound operations will block the event loop:
    # in general it is preferable to run them in a
    # process pool.
    return sum(i * i for i in range(10 ** 7))

async def main():
    loop = asyncio.get_running_loop()

    ## Options:

    # 1. Run in the default loop's executor:
    result = await loop.run_in_executor(
        None, blocking_io)
    print('default thread pool', result)

    # 2. Run in a custom thread pool:
    with concurrent.futures.ThreadPoolExecutor() as pool:
        result = await loop.run_in_executor(
            pool, blocking_io)
        print('custom thread pool', result)

    # 3. Run in a custom process pool:
    with concurrent.futures.ProcessPoolExecutor() as pool:
        result = await loop.run_in_executor(
            pool, cpu_bound)
        print('custom process pool', result)

if __name__ == '__main__':
    asyncio.run(main())

Note that the entry point guard (if __name__ == '__main__') is required for option 3 due to the peculiarities of multiprocessing, which is used by ProcessPoolExecutor. See Safe importing of main module.

Este método retorna um objeto asyncio.Future.

Use functools.partial() para passar argumentos nomeados para func.

Alterado na versão 3.5.3: loop.run_in_executor() não configura mais o atributo max_workers do executor do conjunto de thread que ele cria, ao invés disso ele deixa para o executor do conjunto de thread (ThreadPoolExecutor) para setar o valor padrão.

loop.set_default_executor(executor)

Set executor as the default executor used by run_in_executor(). executor must be an instance of ThreadPoolExecutor.

Alterado na versão 3.11: executor must be an instance of ThreadPoolExecutor.

Tratando erros da API

Permite customizar como exceções são tratadas no laço de eventos.

loop.set_exception_handler(handler)

Define handler como o novo tratador de exceções do laço de eventos.

Se handler for None, o tratador de exceções padrão será definido. Caso contrário, handler deve ser um chamável com a assinatura combinando (loop, context), onde loop é a referência para o laço de eventos ativo, e context é um objeto dict contendo os detalhes da exceção (veja a documentação call_exception_handler() para detalhes a respeito do contexto).

If the handler is called on behalf of a Task or Handle, it is run in the contextvars.Context of that task or callback handle.

Alterado na versão 3.12: The handler may be called in the Context of the task or handle where the exception originated.

loop.get_exception_handler()

Retorna o tratador de exceção atual, ou None se nenhum tratador de exceção customizado foi definido.

Adicionado na versão 3.5.2.

loop.default_exception_handler(context)

Tratador de exceção padrão.

Isso é chamado quando uma exceção ocorre e nenhum tratador de exceção foi definido. Isso pode ser chamado por um tratador de exceção customizado que quer passar adiante para o comportamento do tratador padrão.

parâmetro context tem o mesmo significado que em call_exception_handler().

loop.call_exception_handler(context)

Chama o tratador de exceção do laço de eventos atual.

context é um objeto dict contendo as seguintes chaves (novas chaves podem ser introduzidas em versões futuras do Python):

‘message’: Mensagem de erro;

‘exception’ (opcional): Objeto Exception;

‘future’ (opcional): instância de asyncio.Future;

‘task’ (opcional): instância de asyncio.Task;

‘handle’ (opcional): instância de asyncio.Handle;

‘protocol’ (opcional): instância de Protocol;

‘transport’ (opcional): instância de Transport;

‘socket’ (opcional): instância de socket.socket;

‘asyncgen’ (opcional): Gerador assíncrono que causou

a exceção.

Nota

This method should not be overloaded in subclassed event loops. For custom exception handling, use the set_exception_handler() method.

Habilitando o modo de debug

loop.get_debug()

Obtém o modo de debug (bool) do laço de eventos.

O valor padrão é True se a variável de ambiente PYTHONASYNCIODEBUG estiver definida para uma string não vazia, False caso contrário.

loop.set_debug(enabled: bool)

Define o modo de debug do laço de eventos.

Alterado na versão 3.7: O novo Modo de Desenvolvimento do Python agora também pode ser usado para habilitar o modo de debug.

loop.slow_callback_duration

This attribute can be used to set the minimum execution duration in seconds that is considered “slow”. When debug mode is enabled, “slow” callbacks are logged.

Default value is 100 milliseconds.

Ver também

O modo de debug de asyncio.

Executando Subprocessos

Métodos descritos nestas sub-seções são de baixo nível. Em código async/await regular, considere usar as funções convenientes de alto nível asyncio.create_subprocess_shell() e asyncio.create_subprocess_exec() ao invés.

Nota

No Windows, o laço de eventos padrão ProactorEventLoop oferece suporte pra subprocessos, enquanto SelectorEventLoop, não. Veja Suporte para subprocessos no Windows para detalhes.

coroutine loop.subprocess_exec(protocol_factory, *args, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, **kwargs)

Cria um subprocesso a partir de um ou mais argumentos de string especificados por args.

args deve ser uma lista de strings representada por:

str;

ou bytes, encodados na codificação do sistema de arquivos.

A primeira string especifica o programa executável, e as strings remanescentes especificam os argumentos. Juntas, argumentos em string formam o argv do programa.

Isto é similar a classe subprocess.Popen da biblioteca padrão ser chamada com shell=False e a lista de strings ser passada como o primeiro argumento; entretanto, onde Popen recebe apenas um argumento no qual é uma lista de strings, subprocess_exec recebe múltiplos argumentos string.

O protocol_factory deve ser um chamável que retorne uma subclasse da classe asyncio.SubprocessProtocol.

Outros parâmetros:

stdin pode ser qualquer um destes:

a file-like object

an existing file descriptor (a positive integer), for example those created with os.pipe()

a constante subprocess.PIPE (padrão), a qual criará um novo encadeamento e conectar a ele,

o valor None, o qual fará o subprocesso herdar o descritor de arquivo deste processo

a constante subprocess.DEVNULL, a qual indica que o arquivo especial os.devnull será usado

stdout pode ser qualquer um destes:

a file-like object

a constante subprocess.PIPE (padrão), a qual criará um novo encadeamento e conectar a ele,

o valor None, o qual fará o subprocesso herdar o descritor de arquivo deste processo

a constante subprocess.DEVNULL, a qual indica que o arquivo especial os.devnull será usado

stderr pode ser qualquer um destes:

a file-like object

a constante subprocess.PIPE (padrão), a qual criará um novo encadeamento e conectar a ele,

o valor None, o qual fará o subprocesso herdar o descritor de arquivo deste processo

a constante subprocess.DEVNULL, a qual indica que o arquivo especial os.devnull será usado

a constante subprocess.STDOUT, a qual irá conectar o stream de erro padrão ao stream de saída padrão do processo

Todos os outros argumentos nomeados são passados para subprocess.Popen sem interpretação, exceto bufsize, universal_newlines, shell, text, encoding e errors, os quais não devem ser especificados de forma alguma.

A API de subprocesso asyncio não suporta decodificar os streams como texto. bytes.decode() pode ser usado para converter os bytes retornados do stream para texto.

If a file-like object passed as stdin, stdout or stderr represents a pipe, then the other side of this pipe should be registered with connect_write_pipe() or connect_read_pipe() for use with the event loop.

Veja o construtor da classe subprocess.Popen para documentação sobre outros argumentos.

Retorna um par (transport, protocol), onde transport conforma com a classe base asyncio.SubprocessTransport e protocol é um objeto instanciado pelo protocol_factory.

coroutine loop.subprocess_shell(protocol_factory, cmd, *, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, **kwargs)

Cria um subprocesso a partir do cmd, o qual pode ser um str ou uma string de bytes codificada na codificação do sistema de arquivos, usando a sintaxe “shell” da plataforma.

Isto é similar a classe subprocess.Popen da biblioteca padrão sendo chanada com shell=True.

O argumento protocol_factory deve ser um chamável que retorna uma subclasse da classe SubprocessProtocol.

Veja subprocess_exec() para mais detalhes sobre os argumentos remanescentes.

Retorna um par (transport, protocol), onde transport conforma com a classe base SubprocessTransport e protocol é um objeto instanciado pelo protocol_factory.

Nota

É responsabilidade da aplicação garantir que todos os espaços em branco e caracteres especiais sejam tratados apropriadamente para evitar vulnerabilidades de injeção shell [https://en.wikipedia.org/wiki/Shell_injection#Shell_injection] . A função shlex.quote() pode ser usada para escapar espaços em branco e caracteres especiais apropriadamente em strings que serão usadas para construir comandos shell.

Tratadores de função de retorno

class asyncio.Handle

Um objeto invólucro de função de retorno retornado por loop.call_soon(), loop.call_soon_threadsafe().

get_context()

Return the contextvars.Context object associated with the handle.

Adicionado na versão 3.12.

cancel()

Cancela a função de retorno. Se a função de retorno já tiver sido cancelada ou executada, este método não tem efeito.

cancelled()

Retorna True se a função de retorno foi cancelada.

Adicionado na versão 3.7.

class asyncio.TimerHandle

Um objeto invólucro de função de retorno retornado por loop.call_later(), e loop.call_at().

Esta classe é uma subclasse de Handle.

when()

Retorna o tempo de uma função de retorno agendada como float segundos.

O tempo é um timestamp absoluto, usando a mesma referência de tempo que loop.time().

Adicionado na versão 3.7.

Objetos Server

Objetos Server são criados pelas funções loop.create_server(), loop.create_unix_server(), start_server(), e start_unix_server().

Do not instantiate the Server class directly.

class asyncio.Server

Objetos Server são gerenciadores de contexto assíncronos. Quando usados em uma instrução async with, é garantido que o objeto Server está fechado e não está aceitando novas conexões quando a instrução async with estiver completa:

srv = await loop.create_server(...)

async with srv:
    # some code

# At this point, srv is closed and no longer accepts new connections.

Alterado na versão 3.7: Objeto Server é um gerenciador de contexto assíncrono desde o Python 3.7.

Alterado na versão 3.11: This class was exposed publicly as asyncio.Server in Python 3.9.11, 3.10.3 and 3.11.

close()

Para de servir: fecha soquetes que estavam ouvindo e define o atributo sockets para None.

Os soquetes que representam conexões de clientes existentes que estão chegando são deixados em aberto.

The server is closed asynchronously; use the wait_closed() coroutine to wait until the server is closed (and no more connections are active).

close_clients()

Close all existing incoming client connections.

Calls close() on all associated transports.

close() should be called before close_clients() when closing the server to avoid races with new clients connecting.

Adicionado na versão 3.13.

abort_clients()

Close all existing incoming client connections immediately, without waiting for pending operations to complete.

Calls abort() on all associated transports.

close() should be called before abort_clients() when closing the server to avoid races with new clients connecting.

Adicionado na versão 3.13.

get_loop()

Retorna o laço de eventos associado com o objeto server.

Adicionado na versão 3.7.

coroutine start_serving()

Começa a aceitar conexões.

This method is idempotent, so it can be called when the server is already serving.

O parâmetro somente-nomeado start_serving para loop.create_server() e asyncio.start_server() permite criar um objeto Server que não está aceitando conexões inicialmente. Neste caso Server.start_serving(), ou Server.serve_forever() podem ser usados para fazer o Server começar a aceitar conexões.

Adicionado na versão 3.7.

coroutine serve_forever()

Começa a aceitar conexões até que a corrotina seja cancelada. Cancelamento da task serve_forever causa o fechamento do servidor.

Este método pode ser chamado se o servidor já estiver aceitando conexões. Apenas uma task serve_forever pode existir para cada objeto Server.

Exemplo:

async def client_connected(reader, writer):
    # Communicate with the client with
    # reader/writer streams.  For example:
    await reader.readline()

async def main(host, port):
    srv = await asyncio.start_server(
        client_connected, host, port)
    await srv.serve_forever()

asyncio.run(main('127.0.0.1', 0))

Adicionado na versão 3.7.

is_serving()

Retorna True se o servidor estiver aceitando novas conexões.

Adicionado na versão 3.7.

coroutine wait_closed()

Wait until the close() method completes and all active connections have finished.

sockets

List of socket-like objects, asyncio.trsock.TransportSocket, which the server is listening on.

Alterado na versão 3.7: Antes do Python 3.7 Server.sockets era usado para retornar uma lista interna de soquetes do server diretamente. No uma cópia dessa lista é retornada.

Implementações do Laço de Eventos

asyncio vem com duas implementações de laço de eventos diferente: SelectorEventLoop e ProactorEventLoop.

By default asyncio is configured to use EventLoop.

class asyncio.SelectorEventLoop

A subclass of AbstractEventLoop based on the selectors module.

Usa o seletor mais eficiente disponível para a plataforma fornecida. Também é possível configurar manualmente a implementação exata do seletor a ser utilizada:

import asyncio
import selectors

class MyPolicy(asyncio.DefaultEventLoopPolicy):
   def new_event_loop(self):
      selector = selectors.SelectSelector()
      return asyncio.SelectorEventLoop(selector)

asyncio.set_event_loop_policy(MyPolicy())

Disponibilidade

class asyncio.ProactorEventLoop

A subclass of AbstractEventLoop for Windows that uses “I/O Completion Ports” (IOCP).

Disponibilidade

Ver também

Documentação da MSDN sobre conclusão de portas I/O [https://docs.microsoft.com/en-ca/windows/desktop/FileIO/i-o-completion-ports].

class asyncio.EventLoop

An alias to the most efficient available subclass of AbstractEventLoop for the given platform.

It is an alias to SelectorEventLoop on Unix and ProactorEventLoop on Windows.

Adicionado na versão 3.13.

class asyncio.AbstractEventLoop

Classe base abstrata para laços de eventos compatíveis com asyncio.

The Métodos do laço de eventos section lists all methods that an alternative implementation of AbstractEventLoop should have defined.

Exemplos

Perceba que todos os exemplos nesta seção propositalmente mostram como usar as APIs de baixo nível do laço de eventos, tais como loop.run_forever() e loop.call_soon(). Aplicações asyncio modernas raramente precisam ser escritas desta forma; considere usar as funções de alto nível como asyncio.run().

Hello World com call_soon()

Um exemplo usando o método loop.call_soon() para agendar uma função de retorno. A função de retorno exibe "Hello World" e então para o laço de eventos:

import asyncio

def hello_world(loop):
    """A callback to print 'Hello World' and stop the event loop"""
    print('Hello World')
    loop.stop()

loop = asyncio.new_event_loop()

# Schedule a call to hello_world()
loop.call_soon(hello_world, loop)

# Blocking call interrupted by loop.stop()
try:
    loop.run_forever()
finally:
    loop.close()

Ver também

Um exemplo similar a Hello World criado com uma corrotina e a função run().

Exibe a data atual com call_later()

Um exemplo de uma função de retorno mostrando a data atual a cada segundo. A função de retorno usa o método loop.call_later() para reagendar a si mesma depois de 5 segundos, e então para o laço de eventos:

import asyncio
import datetime

def display_date(end_time, loop):
    print(datetime.datetime.now())
    if (loop.time() + 1.0) < end_time:
        loop.call_later(1, display_date, end_time, loop)
    else:
        loop.stop()

loop = asyncio.new_event_loop()

# Schedule the first call to display_date()
end_time = loop.time() + 5.0
loop.call_soon(display_date, end_time, loop)

# Blocking call interrupted by loop.stop()
try:
    loop.run_forever()
finally:
    loop.close()

Ver também

Um exemplo similar a data atual criado com uma corrotina e a função run().

Observa um descritor de arquivo por eventos de leitura

Aguarda até que um descritor de arquivo tenha recebido alguns dados usando o método loop.add_reader() e então fecha o laço de eventos:

import asyncio
from socket import socketpair

# Create a pair of connected file descriptors
rsock, wsock = socketpair()

loop = asyncio.new_event_loop()

def reader():
    data = rsock.recv(100)
    print("Received:", data.decode())

    # We are done: unregister the file descriptor
    loop.remove_reader(rsock)

    # Stop the event loop
    loop.stop()

# Register the file descriptor for read event
loop.add_reader(rsock, reader)

# Simulate the reception of data from the network
loop.call_soon(wsock.send, 'abc'.encode())

try:
    # Run the event loop
    loop.run_forever()
finally:
    # We are done. Close sockets and the event loop.
    rsock.close()
    wsock.close()
    loop.close()

Ver também

Um exemplo similar usando transportes, protocolos, e o método loop.create_connection().

Outro exemplo similar usando a função de alto nível asyncio.open_connection() e streams.

Define tratadores de sinais para SIGINT e SIGTERM

(Este exemplo de signals apenas funciona no Unix.)

Register handlers for signals SIGINT and SIGTERM using the loop.add_signal_handler() method:

import asyncio
import functools
import os
import signal

def ask_exit(signame, loop):
    print("got signal %s: exit" % signame)
    loop.stop()

async def main():
    loop = asyncio.get_running_loop()

    for signame in {'SIGINT', 'SIGTERM'}:
        loop.add_signal_handler(
            getattr(signal, signame),
            functools.partial(ask_exit, signame, loop))

    await asyncio.sleep(3600)

print("Event loop running for 1 hour, press Ctrl+C to interrupt.")
print(f"pid {os.getpid()}: send SIGINT or SIGTERM to exit.")

asyncio.run(main())

Futuros

Source code: Lib/asyncio/futures.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/futures.py], Lib/asyncio/base_futures.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/base_futures.py]

Future objects are used to bridge low-level callback-based code with high-level async/await code.

Future Functions

asyncio.isfuture(obj)

Return True if obj is either of:

an instance of asyncio.Future,

an instance of asyncio.Task,

a Future-like object with a _asyncio_future_blocking attribute.

Adicionado na versão 3.5.

asyncio.ensure_future(obj, *, loop=None)

Retorna:

obj argument as is, if obj is a Future, a Task, or a Future-like object (isfuture() is used for the test.)

a Task object wrapping obj, if obj is a coroutine (iscoroutine() is used for the test); in this case the coroutine will be scheduled by ensure_future().

a Task object that would await on obj, if obj is an awaitable (inspect.isawaitable() is used for the test.)

If obj is neither of the above a TypeError is raised.

Importante

See also the create_task() function which is the preferred way for creating new Tasks.

Save a reference to the result of this function, to avoid a task disappearing mid-execution.

Alterado na versão 3.5.1: The function accepts any awaitable object.

Obsoleto desde a versão 3.10: Deprecation warning is emitted if obj is not a Future-like object and loop is not specified and there is no running event loop.

asyncio.wrap_future(future, *, loop=None)

Wrap a concurrent.futures.Future object in a asyncio.Future object.

Obsoleto desde a versão 3.10: Deprecation warning is emitted if future is not a Future-like object and loop is not specified and there is no running event loop.

Future Object

class asyncio.Future(*, loop=None)

A Future represents an eventual result of an asynchronous operation. Not thread-safe.

Future is an awaitable object. Coroutines can await on Future objects until they either have a result or an exception set, or until they are cancelled. A Future can be awaited multiple times and the result is same.

Typically Futures are used to enable low-level callback-based code (e.g. in protocols implemented using asyncio transports) to interoperate with high-level async/await code.

The rule of thumb is to never expose Future objects in user-facing APIs, and the recommended way to create a Future object is to call loop.create_future(). This way alternative event loop implementations can inject their own optimized implementations of a Future object.

Alterado na versão 3.7: Adicionado suporte para o módulo contextvars.

Obsoleto desde a versão 3.10: Aviso de descontinuidade é emitido se loop não é especificado, e não existe nenhum laço de eventos em execução.

result()

Return the result of the Future.

If the Future is done and has a result set by the set_result() method, the result value is returned.

If the Future is done and has an exception set by the set_exception() method, this method raises the exception.

Se o futuro foi cancelled, este método levanta uma exceção CancelledError.

If the Future’s result isn’t yet available, this method raises an InvalidStateError exception.

set_result(result)

Mark the Future as done and set its result.

Raises an InvalidStateError error if the Future is already done.

set_exception(exception)

Mark the Future as done and set an exception.

Raises an InvalidStateError error if the Future is already done.

done()

Return True if the Future is done.

A Future is done if it was cancelled or if it has a result or an exception set with set_result() or set_exception() calls.

cancelled()

Return True if the Future was cancelled.

The method is usually used to check if a Future is not cancelled before setting a result or an exception for it:

if not fut.cancelled():
    fut.set_result(42)

add_done_callback(callback, *, context=None)

Add a callback to be run when the Future is done.

The callback is called with the Future object as its only argument.

If the Future is already done when this method is called, the callback is scheduled with loop.call_soon().

Um argumento opcional somente-nomeado context permite especificar um contextvars.Context customizado para executar na função de retorno. O contexto atual é usado quando nenhum context é fornecido.

functools.partial() can be used to pass parameters to the callback, e.g.:

# Call 'print("Future:", fut)' when "fut" is done.
fut.add_done_callback(
    functools.partial(print, "Future:"))

Alterado na versão 3.7: O parâmetro somente-nomeado context foi adicionado. Veja PEP 567 [https://peps.python.org/pep-0567/] para mais detalhes.

remove_done_callback(callback)

Remove callback da lista de funções de retorno.

Returns the number of callbacks removed, which is typically 1, unless a callback was added more than once.

cancel(msg=None)

Cancel the Future and schedule callbacks.

If the Future is already done or cancelled, return False. Otherwise, change the Future’s state to cancelled, schedule the callbacks, and return True.

Alterado na versão 3.9: Adicionado o parâmetro msg.

exception()

Return the exception that was set on this Future.

The exception (or None if no exception was set) is returned only if the Future is done.

Se o futuro foi cancelled, este método levanta uma exceção CancelledError.

If the Future isn’t done yet, this method raises an InvalidStateError exception.

get_loop()

Return the event loop the Future object is bound to.

Adicionado na versão 3.7.

This example creates a Future object, creates and schedules an asynchronous Task to set result for the Future, and waits until the Future has a result:

async def set_after(fut, delay, value):
    # Sleep for *delay* seconds.
    await asyncio.sleep(delay)

    # Set *value* as a result of *fut* Future.
    fut.set_result(value)

async def main():
    # Get the current event loop.
    loop = asyncio.get_running_loop()

    # Create a new Future object.
    fut = loop.create_future()

    # Run "set_after()" coroutine in a parallel Task.
    # We are using the low-level "loop.create_task()" API here because
    # we already have a reference to the event loop at hand.
    # Otherwise we could have just used "asyncio.create_task()".
    loop.create_task(
        set_after(fut, 1, '... world'))

    print('hello ...')

    # Wait until *fut* has a result (1 second) and print it.
    print(await fut)

asyncio.run(main())

Importante

The Future object was designed to mimic concurrent.futures.Future. Key differences include:

unlike asyncio Futures, concurrent.futures.Future instances cannot be awaited.

asyncio.Future.result() and asyncio.Future.exception() do not accept the timeout argument.

asyncio.Future.result() and asyncio.Future.exception() raise an InvalidStateError exception when the Future is not done.

Callbacks registered with asyncio.Future.add_done_callback() are not called immediately. They are scheduled with loop.call_soon() instead.

asyncio Future is not compatible with the concurrent.futures.wait() and concurrent.futures.as_completed() functions.

asyncio.Future.cancel() accepts an optional msg argument, but concurrent.futures.Future.cancel() does not.

Transports and Protocols

Prefácio

Transports and Protocols are used by the low-level event loop APIs such as loop.create_connection(). They use callback-based programming style and enable high-performance implementations of network or IPC protocols (e.g. HTTP).

Essentially, transports and protocols should only be used in libraries and frameworks and never in high-level asyncio applications.

This documentation page covers both Transports and Protocols.

Introdução

At the highest level, the transport is concerned with how bytes are transmitted, while the protocol determines which bytes to transmit (and to some extent when).

A different way of saying the same thing: a transport is an abstraction for a socket (or similar I/O endpoint) while a protocol is an abstraction for an application, from the transport’s point of view.

Yet another view is the transport and protocol interfaces together define an abstract interface for using network I/O and interprocess I/O.

There is always a 1:1 relationship between transport and protocol objects: the protocol calls transport methods to send data, while the transport calls protocol methods to pass it data that has been received.

Most of connection oriented event loop methods (such as loop.create_connection()) usually accept a protocol_factory argument used to create a Protocol object for an accepted connection, represented by a Transport object. Such methods usually return a tuple of (transport, protocol).

Conteúdo

Esta página de documentação contém as seguintes seções:

The Transports section documents asyncio BaseTransport, ReadTransport, WriteTransport, Transport, DatagramTransport, and SubprocessTransport classes.

The Protocols section documents asyncio BaseProtocol, Protocol, BufferedProtocol, DatagramProtocol, and SubprocessProtocol classes.

The Examples section showcases how to work with transports, protocols, and low-level event loop APIs.

Transportes

Source code: Lib/asyncio/transports.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/transports.py]

Transports are classes provided by asyncio in order to abstract various kinds of communication channels.

Transport objects are always instantiated by an asyncio event loop.

asyncio implements transports for TCP, UDP, SSL, and subprocess pipes. The methods available on a transport depend on the transport’s kind.

The transport classes are not thread safe.

Transports Hierarchy

class asyncio.BaseTransport

Base class for all transports. Contains methods that all asyncio transports share.

class asyncio.WriteTransport(BaseTransport)

A base transport for write-only connections.

Instances of the WriteTransport class are returned from the loop.connect_write_pipe() event loop method and are also used by subprocess-related methods like loop.subprocess_exec().

class asyncio.ReadTransport(BaseTransport)

A base transport for read-only connections.

Instances of the ReadTransport class are returned from the loop.connect_read_pipe() event loop method and are also used by subprocess-related methods like loop.subprocess_exec().

class asyncio.Transport(WriteTransport, ReadTransport)

Interface representing a bidirectional transport, such as a TCP connection.

The user does not instantiate a transport directly; they call a utility function, passing it a protocol factory and other information necessary to create the transport and protocol.

Instances of the Transport class are returned from or used by event loop methods like loop.create_connection(), loop.create_unix_connection(), loop.create_server(), loop.sendfile(), etc.

class asyncio.DatagramTransport(BaseTransport)

A transport for datagram (UDP) connections.

Instances of the DatagramTransport class are returned from the loop.create_datagram_endpoint() event loop method.

class asyncio.SubprocessTransport(BaseTransport)

An abstraction to represent a connection between a parent and its child OS process.

Instances of the SubprocessTransport class are returned from event loop methods loop.subprocess_shell() and loop.subprocess_exec().

Base Transport

BaseTransport.close()

Fecha o transporte.

If the transport has a buffer for outgoing data, buffered data will be flushed asynchronously. No more data will be received. After all buffered data is flushed, the protocol’s protocol.connection_lost() method will be called with None as its argument. The transport should not be used once it is closed.

BaseTransport.is_closing()

Retorna True se o transporte estiver fechando ou estiver fechado.

BaseTransport.get_extra_info(name, default=None)

Return information about the transport or underlying resources it uses.

name is a string representing the piece of transport-specific information to get.

default is the value to return if the information is not available, or if the transport does not support querying it with the given third-party event loop implementation or on the current platform.

For example, the following code attempts to get the underlying socket object of the transport:

sock = transport.get_extra_info('socket')
if sock is not None:
    print(sock.getsockopt(...))

Categories of information that can be queried on some transports:

socket:

'peername': the remote address to which the socket is connected, result of socket.socket.getpeername() (None on error)

'socket': socket.socket instance

'sockname': the socket’s own address, result of socket.socket.getsockname()

SSL socket:

'compression': the compression algorithm being used as a string, or None if the connection isn’t compressed; result of ssl.SSLSocket.compression()

'cipher': a three-value tuple containing the name of the cipher being used, the version of the SSL protocol that defines its use, and the number of secret bits being used; result of ssl.SSLSocket.cipher()

'peercert': peer certificate; result of ssl.SSLSocket.getpeercert()

'sslcontext': ssl.SSLContext instance

'ssl_object': ssl.SSLObject or ssl.SSLSocket instance

pipe:

'pipe': pipe object

subprocess:

'subprocess': subprocess.Popen instance

BaseTransport.set_protocol(protocol)

Define um novo protocolo.

Switching protocol should only be done when both protocols are documented to support the switch.

BaseTransport.get_protocol()

Retorna o protocolo atual.

Read-only Transports

ReadTransport.is_reading()

Return True if the transport is receiving new data.

Adicionado na versão 3.7.

ReadTransport.pause_reading()

Pause the receiving end of the transport. No data will be passed to the protocol’s protocol.data_received() method until resume_reading() is called.

Alterado na versão 3.7: The method is idempotent, i.e. it can be called when the transport is already paused or closed.

ReadTransport.resume_reading()

Resume the receiving end. The protocol’s protocol.data_received() method will be called once again if some data is available for reading.

Alterado na versão 3.7: The method is idempotent, i.e. it can be called when the transport is already reading.

Write-only Transports

WriteTransport.abort()

Close the transport immediately, without waiting for pending operations to complete. Buffered data will be lost. No more data will be received. The protocol’s protocol.connection_lost() method will eventually be called with None as its argument.

WriteTransport.can_write_eof()

Return True if the transport supports write_eof(), False if not.

WriteTransport.get_write_buffer_size()

Return the current size of the output buffer used by the transport.

WriteTransport.get_write_buffer_limits()

Get the high and low watermarks for write flow control. Return a tuple (low, high) where low and high are positive number of bytes.

Use set_write_buffer_limits() to set the limits.

Adicionado na versão 3.4.2.

WriteTransport.set_write_buffer_limits(high=None, low=None)

Set the high and low watermarks for write flow control.

These two values (measured in number of bytes) control when the protocol’s protocol.pause_writing() and protocol.resume_writing() methods are called. If specified, the low watermark must be less than or equal to the high watermark. Neither high nor low can be negative.

pause_writing() is called when the buffer size becomes greater than or equal to the high value. If writing has been paused, resume_writing() is called when the buffer size becomes less than or equal to the low value.

The defaults are implementation-specific. If only the high watermark is given, the low watermark defaults to an implementation-specific value less than or equal to the high watermark. Setting high to zero forces low to zero as well, and causes pause_writing() to be called whenever the buffer becomes non-empty. Setting low to zero causes resume_writing() to be called only once the buffer is empty. Use of zero for either limit is generally sub-optimal as it reduces opportunities for doing I/O and computation concurrently.

Use get_write_buffer_limits() to get the limits.

WriteTransport.write(data)

Write some data bytes to the transport.

This method does not block; it buffers the data and arranges for it to be sent out asynchronously.

WriteTransport.writelines(list_of_data)

Write a list (or any iterable) of data bytes to the transport. This is functionally equivalent to calling write() on each element yielded by the iterable, but may be implemented more efficiently.

WriteTransport.write_eof()

Close the write end of the transport after flushing all buffered data. Data may still be received.

This method can raise NotImplementedError if the transport (e.g. SSL) doesn’t support half-closed connections.

Transportes de datagrama

DatagramTransport.sendto(data, addr=None)

Send the data bytes to the remote peer given by addr (a transport-dependent target address). If addr is None, the data is sent to the target address given on transport creation.

This method does not block; it buffers the data and arranges for it to be sent out asynchronously.

Alterado na versão 3.13: This method can be called with an empty bytes object to send a zero-length datagram. The buffer size calculation used for flow control is also updated to account for the datagram header.

DatagramTransport.abort()

Close the transport immediately, without waiting for pending operations to complete. Buffered data will be lost. No more data will be received. The protocol’s protocol.connection_lost() method will eventually be called with None as its argument.

Transportes de Subprocesso

SubprocessTransport.get_pid()

Return the subprocess process id as an integer.

SubprocessTransport.get_pipe_transport(fd)

Return the transport for the communication pipe corresponding to the integer file descriptor fd:

0: readable streaming transport of the standard input (stdin), or None if the subprocess was not created with stdin=PIPE

1: writable streaming transport of the standard output (stdout), or None if the subprocess was not created with stdout=PIPE

2: writable streaming transport of the standard error (stderr), or None if the subprocess was not created with stderr=PIPE

other fd: None

SubprocessTransport.get_returncode()

Return the subprocess return code as an integer or None if it hasn’t returned, which is similar to the subprocess.Popen.returncode attribute.

SubprocessTransport.kill()

Mata o subprocesso.

On POSIX systems, the function sends SIGKILL to the subprocess. On Windows, this method is an alias for terminate().

See also subprocess.Popen.kill().

SubprocessTransport.send_signal(signal)

Send the signal number to the subprocess, as in subprocess.Popen.send_signal().

SubprocessTransport.terminate()

Interrompe o subprocesso.

On POSIX systems, this method sends SIGTERM to the subprocess. On Windows, the Windows API function TerminateProcess() is called to stop the subprocess.

See also subprocess.Popen.terminate().

SubprocessTransport.close()

Kill the subprocess by calling the kill() method.

If the subprocess hasn’t returned yet, and close transports of stdin, stdout, and stderr pipes.

Protocolos

Source code: Lib/asyncio/protocols.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/protocols.py]

asyncio provides a set of abstract base classes that should be used to implement network protocols. Those classes are meant to be used together with transports.

Subclasses of abstract base protocol classes may implement some or all methods. All these methods are callbacks: they are called by transports on certain events, for example when some data is received. A base protocol method should be called by the corresponding transport.

Protocolos de Base

class asyncio.BaseProtocol

Base protocol with methods that all protocols share.

class asyncio.Protocol(BaseProtocol)

The base class for implementing streaming protocols (TCP, Unix sockets, etc).

class asyncio.BufferedProtocol(BaseProtocol)

A base class for implementing streaming protocols with manual control of the receive buffer.

class asyncio.DatagramProtocol(BaseProtocol)

The base class for implementing datagram (UDP) protocols.

class asyncio.SubprocessProtocol(BaseProtocol)

The base class for implementing protocols communicating with child processes (unidirectional pipes).

Base Protocol

All asyncio protocols can implement Base Protocol callbacks.

Connection Callbacks

Connection callbacks are called on all protocols, exactly once per a successful connection. All other protocol callbacks can only be called between those two methods.

BaseProtocol.connection_made(transport)

Chamado quando uma conexão é estabelecida.

The transport argument is the transport representing the connection. The protocol is responsible for storing the reference to its transport.

BaseProtocol.connection_lost(exc)

Chamado quanto a conexão é perdida ou fechada.

The argument is either an exception object or None. The latter means a regular EOF is received, or the connection was aborted or closed by this side of the connection.

Flow Control Callbacks

Flow control callbacks can be called by transports to pause or resume writing performed by the protocol.

See the documentation of the set_write_buffer_limits() method for more details.

BaseProtocol.pause_writing()

Called when the transport’s buffer goes over the high watermark.

BaseProtocol.resume_writing()

Called when the transport’s buffer drains below the low watermark.

If the buffer size equals the high watermark, pause_writing() is not called: the buffer size must go strictly over.

Conversely, resume_writing() is called when the buffer size is equal or lower than the low watermark. These end conditions are important to ensure that things go as expected when either mark is zero.

Streaming Protocols

Event methods, such as loop.create_server(), loop.create_unix_server(), loop.create_connection(), loop.create_unix_connection(), loop.connect_accepted_socket(), loop.connect_read_pipe(), and loop.connect_write_pipe() accept factories that return streaming protocols.

Protocol.data_received(data)

Called when some data is received. data is a non-empty bytes object containing the incoming data.

Whether the data is buffered, chunked or reassembled depends on the transport. In general, you shouldn’t rely on specific semantics and instead make your parsing generic and flexible. However, data is always received in the correct order.

The method can be called an arbitrary number of times while a connection is open.

However, protocol.eof_received() is called at most once. Once eof_received() is called, data_received() is not called anymore.

Protocol.eof_received()

Called when the other end signals it won’t send any more data (for example by calling transport.write_eof(), if the other end also uses asyncio).

This method may return a false value (including None), in which case the transport will close itself. Conversely, if this method returns a true value, the protocol used determines whether to close the transport. Since the default implementation returns None, it implicitly closes the connection.

Some transports, including SSL, don’t support half-closed connections, in which case returning true from this method will result in the connection being closed.

State machine:

start -> connection_made
    [-> data_received]*
    [-> eof_received]?
-> connection_lost -> end

Protocolos de Streaming Bufferizados

Adicionado na versão 3.7.

Buffered Protocols can be used with any event loop method that supports Streaming Protocols.

BufferedProtocol implementations allow explicit manual allocation and control of the receive buffer. Event loops can then use the buffer provided by the protocol to avoid unnecessary data copies. This can result in noticeable performance improvement for protocols that receive big amounts of data. Sophisticated protocol implementations can significantly reduce the number of buffer allocations.

The following callbacks are called on BufferedProtocol instances:

BufferedProtocol.get_buffer(sizehint)

Chamada para alocar um novo buffer para recebimento.

sizehint is the recommended minimum size for the returned buffer. It is acceptable to return smaller or larger buffers than what sizehint suggests. When set to -1, the buffer size can be arbitrary. It is an error to return a buffer with a zero size.

get_buffer() must return an object implementing the buffer protocol.

BufferedProtocol.buffer_updated(nbytes)

Chamado quando o buffer foi atualizado com os dados recebidos.

nbytes is the total number of bytes that were written to the buffer.

BufferedProtocol.eof_received()

See the documentation of the protocol.eof_received() method.

get_buffer() can be called an arbitrary number of times during a connection. However, protocol.eof_received() is called at most once and, if called, get_buffer() and buffer_updated() won’t be called after it.

State machine:

start -> connection_made
    [-> get_buffer
        [-> buffer_updated]?
    ]*
    [-> eof_received]?
-> connection_lost -> end

Protocolos de Datagramas

Datagram Protocol instances should be constructed by protocol factories passed to the loop.create_datagram_endpoint() method.

DatagramProtocol.datagram_received(data, addr)

Called when a datagram is received. data is a bytes object containing the incoming data. addr is the address of the peer sending the data; the exact format depends on the transport.

DatagramProtocol.error_received(exc)

Called when a previous send or receive operation raises an OSError. exc is the OSError instance.

This method is called in rare conditions, when the transport (e.g. UDP) detects that a datagram could not be delivered to its recipient. In many conditions though, undeliverable datagrams will be silently dropped.

Nota

On BSD systems (macOS, FreeBSD, etc.) flow control is not supported for datagram protocols, because there is no reliable way to detect send failures caused by writing too many packets.

The socket always appears ‘ready’ and excess packets are dropped. An OSError with errno set to errno.ENOBUFS may or may not be raised; if it is raised, it will be reported to DatagramProtocol.error_received() but otherwise ignored.

Protocolos de Subprocesso

Subprocess Protocol instances should be constructed by protocol factories passed to the loop.subprocess_exec() and loop.subprocess_shell() methods.

SubprocessProtocol.pipe_data_received(fd, data)

Called when the child process writes data into its stdout or stderr pipe.

fd is the integer file descriptor of the pipe.

data is a non-empty bytes object containing the received data.

SubprocessProtocol.pipe_connection_lost(fd, exc)

Chamado quando um dos encadeamentos comunicando com o processo filho é fechado.

fd is the integer file descriptor that was closed.

SubprocessProtocol.process_exited()

Chamado quando o processo filho encerrou.

It can be called before pipe_data_received() and pipe_connection_lost() methods.

Exemplos

TCP Echo Server

Create a TCP echo server using the loop.create_server() method, send back received data, and close the connection:

import asyncio

class EchoServerProtocol(asyncio.Protocol):
    def connection_made(self, transport):
        peername = transport.get_extra_info('peername')
        print('Connection from {}'.format(peername))
        self.transport = transport

    def data_received(self, data):
        message = data.decode()
        print('Data received: {!r}'.format(message))

        print('Send: {!r}'.format(message))
        self.transport.write(data)

        print('Close the client socket')
        self.transport.close()

async def main():
    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()

    server = await loop.create_server(
        EchoServerProtocol,
        '127.0.0.1', 8888)

    async with server:
        await server.serve_forever()

asyncio.run(main())

Ver também

The TCP echo server using streams example uses the high-level asyncio.start_server() function.

TCP Echo Client

A TCP echo client using the loop.create_connection() method, sends data, and waits until the connection is closed:

import asyncio

class EchoClientProtocol(asyncio.Protocol):
    def __init__(self, message, on_con_lost):
        self.message = message
        self.on_con_lost = on_con_lost

    def connection_made(self, transport):
        transport.write(self.message.encode())
        print('Data sent: {!r}'.format(self.message))

    def data_received(self, data):
        print('Data received: {!r}'.format(data.decode()))

    def connection_lost(self, exc):
        print('The server closed the connection')
        self.on_con_lost.set_result(True)

async def main():
    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()

    on_con_lost = loop.create_future()
    message = 'Hello World!'

    transport, protocol = await loop.create_connection(
        lambda: EchoClientProtocol(message, on_con_lost),
        '127.0.0.1', 8888)

    # Wait until the protocol signals that the connection
    # is lost and close the transport.
    try:
        await on_con_lost
    finally:
        transport.close()

asyncio.run(main())

Ver também

The TCP echo client using streams example uses the high-level asyncio.open_connection() function.

UDP Echo Server

A UDP echo server, using the loop.create_datagram_endpoint() method, sends back received data:

import asyncio

class EchoServerProtocol:
    def connection_made(self, transport):
        self.transport = transport

    def datagram_received(self, data, addr):
        message = data.decode()
        print('Received %r from %s' % (message, addr))
        print('Send %r to %s' % (message, addr))
        self.transport.sendto(data, addr)

async def main():
    print("Starting UDP server")

    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()

    # One protocol instance will be created to serve all
    # client requests.
    transport, protocol = await loop.create_datagram_endpoint(
        EchoServerProtocol,
        local_addr=('127.0.0.1', 9999))

    try:
        await asyncio.sleep(3600)  # Serve for 1 hour.
    finally:
        transport.close()

asyncio.run(main())

UDP Echo Client

A UDP echo client, using the loop.create_datagram_endpoint() method, sends data and closes the transport when it receives the answer:

import asyncio

class EchoClientProtocol:
    def __init__(self, message, on_con_lost):
        self.message = message
        self.on_con_lost = on_con_lost
        self.transport = None

    def connection_made(self, transport):
        self.transport = transport
        print('Send:', self.message)
        self.transport.sendto(self.message.encode())

    def datagram_received(self, data, addr):
        print("Received:", data.decode())

        print("Close the socket")
        self.transport.close()

    def error_received(self, exc):
        print('Error received:', exc)

    def connection_lost(self, exc):
        print("Connection closed")
        self.on_con_lost.set_result(True)

async def main():
    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()

    on_con_lost = loop.create_future()
    message = "Hello World!"

    transport, protocol = await loop.create_datagram_endpoint(
        lambda: EchoClientProtocol(message, on_con_lost),
        remote_addr=('127.0.0.1', 9999))

    try:
        await on_con_lost
    finally:
        transport.close()

asyncio.run(main())

Connecting Existing Sockets

Wait until a socket receives data using the loop.create_connection() method with a protocol:

import asyncio
import socket

class MyProtocol(asyncio.Protocol):

    def __init__(self, on_con_lost):
        self.transport = None
        self.on_con_lost = on_con_lost

    def connection_made(self, transport):
        self.transport = transport

    def data_received(self, data):
        print("Received:", data.decode())

        # We are done: close the transport;
        # connection_lost() will be called automatically.
        self.transport.close()

    def connection_lost(self, exc):
        # The socket has been closed
        self.on_con_lost.set_result(True)

async def main():
    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()
    on_con_lost = loop.create_future()

    # Create a pair of connected sockets
    rsock, wsock = socket.socketpair()

    # Register the socket to wait for data.
    transport, protocol = await loop.create_connection(
        lambda: MyProtocol(on_con_lost), sock=rsock)

    # Simulate the reception of data from the network.
    loop.call_soon(wsock.send, 'abc'.encode())

    try:
        await protocol.on_con_lost
    finally:
        transport.close()
        wsock.close()

asyncio.run(main())

Ver também

The watch a file descriptor for read events example uses the low-level loop.add_reader() method to register an FD.

The register an open socket to wait for data using streams example uses high-level streams created by the open_connection() function in a coroutine.

loop.subprocess_exec() and SubprocessProtocol

An example of a subprocess protocol used to get the output of a subprocess and to wait for the subprocess exit.

The subprocess is created by the loop.subprocess_exec() method:

import asyncio
import sys

class DateProtocol(asyncio.SubprocessProtocol):
    def __init__(self, exit_future):
        self.exit_future = exit_future
        self.output = bytearray()
        self.pipe_closed = False
        self.exited = False

    def pipe_connection_lost(self, fd, exc):
        self.pipe_closed = True
        self.check_for_exit()

    def pipe_data_received(self, fd, data):
        self.output.extend(data)

    def process_exited(self):
        self.exited = True
        # process_exited() method can be called before
        # pipe_connection_lost() method: wait until both methods are
        # called.
        self.check_for_exit()

    def check_for_exit(self):
        if self.pipe_closed and self.exited:
            self.exit_future.set_result(True)

async def get_date():
    # Get a reference to the event loop as we plan to use
    # low-level APIs.
    loop = asyncio.get_running_loop()

    code = 'import datetime; print(datetime.datetime.now())'
    exit_future = asyncio.Future(loop=loop)

    # Create the subprocess controlled by DateProtocol;
    # redirect the standard output into a pipe.
    transport, protocol = await loop.subprocess_exec(
        lambda: DateProtocol(exit_future),
        sys.executable, '-c', code,
        stdin=None, stderr=None)

    # Wait for the subprocess exit using the process_exited()
    # method of the protocol.
    await exit_future

    # Close the stdout pipe.
    transport.close()

    # Read the output which was collected by the
    # pipe_data_received() method of the protocol.
    data = bytes(protocol.output)
    return data.decode('ascii').rstrip()

date = asyncio.run(get_date())
print(f"Current date: {date}")

See also the same example written using high-level APIs.

Políticas

An event loop policy is a global object used to get and set the current event loop, as well as create new event loops. The default policy can be replaced with built-in alternatives to use different event loop implementations, or substituted by a custom policy that can override these behaviors.

The policy object gets and sets a separate event loop per context. This is per-thread by default, though custom policies could define context differently.

Custom event loop policies can control the behavior of get_event_loop(), set_event_loop(), and new_event_loop().

Policy objects should implement the APIs defined in the AbstractEventLoopPolicy abstract base class.

Getting and Setting the Policy

The following functions can be used to get and set the policy for the current process:

asyncio.get_event_loop_policy()

Retorna a política de todo o processo atual.

asyncio.set_event_loop_policy(policy)

Set the current process-wide policy to policy.

If policy is set to None, the default policy is restored.

Policy Objects

The abstract event loop policy base class is defined as follows:

class asyncio.AbstractEventLoopPolicy

An abstract base class for asyncio policies.

get_event_loop()

Obtém o laço de eventos para o contexto atual.

Return an event loop object implementing the AbstractEventLoop interface.

This method should never return None.

Alterado na versão 3.6.

set_event_loop(loop)

Define o laço de eventos do contexto atual como loop.

new_event_loop()

Cria e retorna um novo objeto de laço de eventos.

This method should never return None.

get_child_watcher()

Get a child process watcher object.

Return a watcher object implementing the AbstractChildWatcher interface.

This function is Unix specific.

Obsoleto desde a versão 3.12.

set_child_watcher(watcher)

Set the current child process watcher to watcher.

This function is Unix specific.

Obsoleto desde a versão 3.12.

asyncio ships with the following built-in policies:

class asyncio.DefaultEventLoopPolicy

The default asyncio policy. Uses SelectorEventLoop on Unix and ProactorEventLoop on Windows.

There is no need to install the default policy manually. asyncio is configured to use the default policy automatically.

Alterado na versão 3.8: On Windows, ProactorEventLoop is now used by default.

Obsoleto desde a versão 3.12: The get_event_loop() method of the default asyncio policy now emits a DeprecationWarning if there is no current event loop set and it decides to create one. In some future Python release this will become an error.

class asyncio.WindowsSelectorEventLoopPolicy

An alternative event loop policy that uses the SelectorEventLoop event loop implementation.

Disponibilidade

class asyncio.WindowsProactorEventLoopPolicy

An alternative event loop policy that uses the ProactorEventLoop event loop implementation.

Disponibilidade

Monitores de processos

A process watcher allows customization of how an event loop monitors child processes on Unix. Specifically, the event loop needs to know when a child process has exited.

In asyncio, child processes are created with create_subprocess_exec() and loop.subprocess_exec() functions.

asyncio defines the AbstractChildWatcher abstract base class, which child watchers should implement, and has four different implementations: ThreadedChildWatcher (configured to be used by default), MultiLoopChildWatcher, SafeChildWatcher, and FastChildWatcher.

Veja também a seção Subprocesso e Threads.

The following two functions can be used to customize the child process watcher implementation used by the asyncio event loop:

asyncio.get_child_watcher()

Return the current child watcher for the current policy.

Obsoleto desde a versão 3.12.

asyncio.set_child_watcher(watcher)

Set the current child watcher to watcher for the current policy. watcher must implement methods defined in the AbstractChildWatcher base class.

Obsoleto desde a versão 3.12.

Nota

Third-party event loops implementations might not support custom child watchers. For such event loops, using set_child_watcher() might be prohibited or have no effect.

class asyncio.AbstractChildWatcher

add_child_handler(pid, callback, *args)

Register a new child handler.

Arrange for callback(pid, returncode, *args) to be called when a process with PID equal to pid terminates. Specifying another callback for the same process replaces the previous handler.

The callback callable must be thread-safe.

remove_child_handler(pid)

Remove o manipulador para processo com PID igual a pid.

The function returns True if the handler was successfully removed, False if there was nothing to remove.

attach_loop(loop)

Attach the watcher to an event loop.

If the watcher was previously attached to an event loop, then it is first detached before attaching to the new loop.

Note: loop may be None.

is_active()

Return True if the watcher is ready to use.

Gerar um subprocesso com um monitor inativo para o filho atual, levanta RuntimeError.

Adicionado na versão 3.8.

close()

Close the watcher.

This method has to be called to ensure that underlying resources are cleaned-up.

Obsoleto desde a versão 3.12.

class asyncio.ThreadedChildWatcher

This implementation starts a new waiting thread for every subprocess spawn.

It works reliably even when the asyncio event loop is run in a non-main OS thread.

There is no noticeable overhead when handling a big number of children (O(1) each time a child terminates), but starting a thread per process requires extra memory.

This watcher is used by default.

Adicionado na versão 3.8.

class asyncio.MultiLoopChildWatcher

This implementation registers a SIGCHLD signal handler on instantiation. That can break third-party code that installs a custom handler for SIGCHLD signal.

The watcher avoids disrupting other code spawning processes by polling every process explicitly on a SIGCHLD signal.

There is no limitation for running subprocesses from different threads once the watcher is installed.

The solution is safe but it has a significant overhead when handling a big number of processes (O(n) each time a SIGCHLD is received).

Adicionado na versão 3.8.

Obsoleto desde a versão 3.12.

class asyncio.SafeChildWatcher

This implementation uses active event loop from the main thread to handle SIGCHLD signal. If the main thread has no running event loop another thread cannot spawn a subprocess (RuntimeError is raised).

The watcher avoids disrupting other code spawning processes by polling every process explicitly on a SIGCHLD signal.

This solution is as safe as MultiLoopChildWatcher and has the same O(n) complexity but requires a running event loop in the main thread to work.

Obsoleto desde a versão 3.12.

class asyncio.FastChildWatcher

This implementation reaps every terminated processes by calling os.waitpid(-1) directly, possibly breaking other code spawning processes and waiting for their termination.

There is no noticeable overhead when handling a big number of children (O(1) each time a child terminates).

This solution requires a running event loop in the main thread to work, as SafeChildWatcher.

Obsoleto desde a versão 3.12.

class asyncio.PidfdChildWatcher

This implementation polls process file descriptors (pidfds) to await child process termination. In some respects, PidfdChildWatcher is a “Goldilocks” child watcher implementation. It doesn’t require signals or threads, doesn’t interfere with any processes launched outside the event loop, and scales linearly with the number of subprocesses launched by the event loop. The main disadvantage is that pidfds are specific to Linux, and only work on recent (5.3+) kernels.

Adicionado na versão 3.9.

Custom Policies

To implement a new event loop policy, it is recommended to subclass DefaultEventLoopPolicy and override the methods for which custom behavior is wanted, e.g.:

class MyEventLoopPolicy(asyncio.DefaultEventLoopPolicy):

    def get_event_loop(self):
        """Get the event loop.

        This may be None or an instance of EventLoop.
        """
        loop = super().get_event_loop()
        # Do something with loop ...
        return loop

asyncio.set_event_loop_policy(MyEventLoopPolicy())

Suporte a plataformas

The asyncio module is designed to be portable, but some platforms have subtle differences and limitations due to the platforms’ underlying architecture and capabilities.

Todas as plataformas

loop.add_reader() and loop.add_writer() cannot be used to monitor file I/O.

Windows

Source code: Lib/asyncio/proactor_events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/proactor_events.py], Lib/asyncio/windows_events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/windows_events.py], Lib/asyncio/windows_utils.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/windows_utils.py]

Alterado na versão 3.8: On Windows, ProactorEventLoop is now the default event loop.

All event loops on Windows do not support the following methods:

loop.create_unix_connection() and loop.create_unix_server() are not supported. The socket.AF_UNIX socket family is specific to Unix.

loop.add_signal_handler() and loop.remove_signal_handler() are not supported.

SelectorEventLoop has the following limitations:

SelectSelector is used to wait on socket events: it supports sockets and is limited to 512 sockets.

loop.add_reader() and loop.add_writer() only accept socket handles (e.g. pipe file descriptors are not supported).

Pipes are not supported, so the loop.connect_read_pipe() and loop.connect_write_pipe() methods are not implemented.

Subprocesses are not supported, i.e. loop.subprocess_exec() and loop.subprocess_shell() methods are not implemented.

ProactorEventLoop has the following limitations:

The loop.add_reader() and loop.add_writer() methods are not supported.

The resolution of the monotonic clock on Windows is usually around 15.6 milliseconds. The best resolution is 0.5 milliseconds. The resolution depends on the hardware (availability of HPET [https://en.wikipedia.org/wiki/High_Precision_Event_Timer]) and on the Windows configuration.

Suporte para subprocesso no Windows

On Windows, the default event loop ProactorEventLoop supports subprocesses, whereas SelectorEventLoop does not.

The policy.set_child_watcher() function is also not supported, as ProactorEventLoop has a different mechanism to watch child processes.

macOS

Modern macOS versions are fully supported.

macOS <= 10.8

On macOS 10.6, 10.7 and 10.8, the default event loop uses selectors.KqueueSelector, which does not support character devices on these versions. The SelectorEventLoop can be manually configured to use SelectSelector or PollSelector to support character devices on these older versions of macOS. Example:

import asyncio
import selectors

selector = selectors.SelectSelector()
loop = asyncio.SelectorEventLoop(selector)
asyncio.set_event_loop(loop)

Extensão

A direção principal para estender o módulo asyncio é escrever classes de laços de eventos personalizados. O Asyncio tem funções auxiliares que podem ser usadas para simplificar essa tarefa.

Nota

Terceiros devem reutilizar o código assíncrono existente com cuidado. Uma versão nova de Python pode quebrar a compatibilidade com versões anteriores da parte interna da API.

Escrevendo um laço de eventos personalizado

asyncio.AbstractEventLoop declara muitos métodos. Implementar todos eles do zero é um trabalho tedioso.

Um laço de eventos pode herdar várias implementações de métodos da classe asyncio.BaseEventLoop.

Por sua vez, o sucessor deve implementar um conjunto de métodos privados declarados, porém não implementados, em asyncio.BaseEventLoop.

Por exemplo, loop.create_connection()``verifica os argumentos, resolve endereços DNS, e chama a função ``loop._make_socket_transport(), que deve ser implementada pela classe herdada. O método``_make_socket_transport()`` não está documentado, e é considerado parte de uma API interna.

Construtores privados de Future e Task

As classes asyncio.Future e asyncio.Task nunca deverão ser criadas diretamente. Por favor, as substitua pelas factories correspondentes: loop.create_future() e loop.create_task() ou asyncio.create_task().

Porém, laços de eventos de terceiros podem reutilizar as implementações embutidas de Future e Task, obtendo um código complexo e altamente otimizado.

Por isso, segue a listagem de construtores privados:

Future.__init__(*, loop=None)

Cria uma instância de Future embutida.

loop é uma instância opcional do laço de eventos.

Task.__init__(coro, *, loop=None, name=None, context=None)

Cria uma instância embutida de Task.

loop é uma instância opcional do laço de eventos. Os outros argumentos estão descritos em loop.create_task().

Alterado na versão 3.11: o argumento context foi adicionado

Suporte ao ciclo de vida de tarefas

Implementações de Task de terceiros devem chamar as seguintes funções para manter uma tarefa visível para asyncio.all_tasks() e asyncio.current_task():

asyncio._register_task(task)

Registra uma nova task como gerenciada pelo asyncio.

Chame esta função no construtor de uma tarefa.

asyncio._unregister_task(task)

Cancela o registro de task nas estruturas internas do asyncio.

Chame esta função quando a tarefa estiver terminando.

asyncio._enter_task(loop, task)

Troca a tarefa atual para o argumento task.

Chame esta função logo antes de executar uma porção da corrotina embutida (coroutine.send() ou coroutine.throw()).

asyncio._leave_task(loop, task)

Troca a tarefa atual de task para None.

Chame esta função logo após executar coroutine.send() ou coroutine.throw().

Índice da API de alto nível

Esta página lista todas as APIs asyncio de alto nível habilitadas por async/await.

Tarefas

Utilitários para executar programas asyncio, criar Tarefas, e esperar por múltiplas coisas com tempos limites.

run()

Cria um laço de eventos, roda uma corrotina, fecha o laço.

Runner

Um gerenciador de contexto que simplifica várias chamadas assíncronas de funções.

Task

Objeto Task.

TaskGroup

Um gerenciador de contexto que mantém um grupo de tarefas. Oferece uma maneira conveniente e confiável de aguardar a conclusão de todas as tarefas do grupo.

create_task()

Inicia uma Task asyncio e a retorna.

current_task()

Retorna para a Tarefa atual.

all_tasks()

Retorna todas as tarefas que ainda não foram concluídas em um laço de eventos.

await sleep()

Dorme for um número de segundos.

await gather()

Agenda e espera por coisas concorrentemente.

await wait_for()

Executa com um tempo limite.

await shield()

Protege contra cancelamento.

await wait()

Monitora para conclusão.

timeout()

Executa com um tempo limite. Útil nos casos em que o wait_for não é adequado.

to_thread()

Executa uma função assincronamente em uma thread separada.

run_coroutine_threadsafe()

Agenda uma corrotina a partir de outra thread do sistema operacional.

for in as_completed()

Monitora a conclusão com um loop for.

Exemplos

Usando asyncio.gather() para executar coisas em paralelo.

Usando asyncio.wait_for() para forçar um tempo limite de execução.

Cancelamento.

Usando asyncio.sleep().

Veja também a página principal de documentação sobre Tarefas.

Filas

Filas devem ser usadas para distribuir trabalho entre múltiplas Tarefas asyncio, implementar pools de conexão, e padrões pub/sub.

Queue

Uma fila FIFO - Primeiro que entra, é o primeiro que sai.

PriorityQueue

Uma fila de prioridade.

LifoQueue

Uma fila LIFO - Último que entra, é o primeiro que sai.

Exemplos

Usando asyncio.Queue para distribuir cargas de trabalho entre diversas Tasks.

Veja também a Página de documentação da classe Queue.

Subprocessos

Utilitários para iniciar subprocessos e executar comandos no console.

await create_subprocess_exec()

Cria um subprocesso.

await create_subprocess_shell()

Executa um comando no console.

Exemplos

Executando um comando no console.

Veja também a documentação de subprocessos de APIs.

Streams

APIs de alto nível para trabalhar com entrada e saída de rede.

await open_connection()

Estabelece uma conexão TCP.

await open_unix_connection()

Estabelece uma conexão com soquete Unix.

await start_server()

Inicia um servidor TCP.

await start_unix_server()

Inicia um servidor com soquete Unix.

StreamReader

Objeto async/await de alto nível para receber dados de rede.

StreamWriter

Objeto async/await de alto nível para enviar dados pela rede.

Exemplos

Exemplo de cliente TCP.

Veja também a documentação das APIs de streams.

Sincronização

Primitivas de sincronização similares a threads, que podem ser usadas em tarefas.

Lock

Uma trava mutex.

Event

Um objeto de evento.

Condition

Um objeto de condição.

Semaphore

Um semáforo.

BoundedSemaphore

Um semáforo limitado.

Barrier

Um objeto barreira.

Exemplos

Usando asyncio.Event.

Usando asyncio.Barrier.

Veja também a documentação das primitivas de sincronização de asyncio.

Exceções

asyncio.CancelledError

Levantado quanto a Tarefa é cancelada. Veja também Task.cancel().

asyncio.BrokenBarrierError

Levantado quando um Barreira é quebrada. veja também Barrier.wait() .

Exemplos

Manipulando CancelledError para executar código no cancelamento de uma requisição.

Veja também a lista completa de exceções específicas de asyncio.

Índice de APIs de baixo nível

Esta página lista todas as APIs de baixo nível do asyncio.

Obtendo o laço de eventos

asyncio.get_running_loop()

A função preferida para obter o laço de eventos em execução.

asyncio.get_event_loop()

Obtém uma instância do laço de eventos (em execução ou atual por meio da política atual).

asyncio.set_event_loop()

Define o laço de eventos como atual através da política atual.

asyncio.new_event_loop()

Cria um novo laço de eventos.

Exemplos

Usando asyncio.get_running_loop().

Métodos do laço de eventos

Veja também a seção principal da documentação sobre os Métodos do laço de eventos.

Ciclo de vida

loop.run_until_complete()

Executa um Future/Task/aguardável até que esteja completo.

loop.run_forever()

Executa o laço de eventos para sempre.

loop.stop()

Para o laço de eventos.

loop.close()

Fecha o laço de eventos.

loop.is_running()

Retorna True se o laço de eventos estiver rodando.

loop.is_closed()

Retorna True se o laço de eventos estiver fechado.

await loop.shutdown_asyncgens()

Fecha geradores assíncronos.

Depuração

loop.set_debug()

Habilita ou desabilita o modo de debug.

loop.get_debug()

Obtém o modo de debug atual.

Agendando funções de retorno (callbacks)

loop.call_soon()

Invoca uma função de retorno brevemente.

loop.call_soon_threadsafe()

Uma variante segura para thread de loop.call_soon().

loop.call_later()

Invoca uma função de retorno após o tempo especificado.

loop.call_at()

Invoca uma função de retorno no instante especificado.

Grupo de Thread/Processo

await loop.run_in_executor()

Executa uma função vinculada à CPU ou outra que seja bloqueante em um executor concurrent.futures.

loop.set_default_executor()

Define o executor padrão para loop.run_in_executor().

Tasks e Futures

loop.create_future()

Cria um objeto Future.

loop.create_task()

Agenda corrotina como uma Task.

loop.set_task_factory()

Define uma factory usada por loop.create_task() para criar Tasks.

loop.get_task_factory()

Obtém o factory loop.create_task() usado para criar Tasks.

DNS

await loop.getaddrinfo()

Versão assíncrona de socket.getaddrinfo().

await loop.getnameinfo()

Versão assíncrona de socket.getnameinfo().

Rede e IPC

await loop.create_connection()

Abre uma conexão TCP.

await loop.create_server()

Cria um servidor TCP.

await loop.create_unix_connection()

Abre uma conexão soquete Unix.

await loop.create_unix_server()

Cria um servidor soquete Unix.

await loop.connect_accepted_socket()

Envolve um socket em um par (transport, protocol).

await loop.create_datagram_endpoint()

Abre uma conexão por datagrama (UDP).

await loop.sendfile()

Envia um arquivo por meio de um transporte.

await loop.start_tls()

Atualiza uma conexão existente para TLS.

await loop.connect_read_pipe()

Envolve a leitura final de um encadeamento em um par (transport, protocol).

await loop.connect_write_pipe()

Envolve a escrita final de um encadeamento em um par (transport, protocol).

Soquetes

await loop.sock_recv()

Recebe dados do socket.

await loop.sock_recv_into()

Recebe dados do socket em um buffer.

await loop.sock_recvfrom()

Recebe um datagrama do socket.

await loop.sock_recvfrom_into()

Recebe um datagrama do socket em um buffer.

await loop.sock_sendall()

Envia dados para o socket.

await loop.sock_sendto()

Envia um datagrama por meio de socket para o endereço dado.

await loop.sock_connect()

Conecta ao socket.

await loop.sock_accept()

Aceita uma conexão do socket.

await loop.sock_sendfile()

Envia um arquivo usando o socket.

loop.add_reader()

Começa a observar um descritor de arquivo, aguardando por disponibilidade de leitura.

loop.remove_reader()

Interrompe o monitoramento de um descritor de arquivo, que aguarda disponibilidade de leitura.

loop.add_writer()

Começa a observar um descritor de arquivo, aguardando por disponibilidade para escrita.

loop.remove_writer()

Interrompe o monitoramento de um descritor de arquivo, que aguarda disponibilidade para escrita.

Sinais Unix

loop.add_signal_handler()

Adiciona um tratador para um signal.

loop.remove_signal_handler()

Remove um tratador para um signal.

Subprocessos

loop.subprocess_exec()

Inicia um subprocesso.

loop.subprocess_shell()

Inicia um subprocesso a partir de um comando shell.

Tratamento de erros

loop.call_exception_handler()

Chama o tratamento de exceção.

loop.set_exception_handler()

Define um novo tratador de exceção.

loop.get_exception_handler()

Obtém o tratador de exceção atual.

loop.default_exception_handler()

A implementação padrão do tratador de exceção.

Exemplos

Usando asyncio.new_event_loop() e loop.run_forever().

Usando loop.call_later().

Usando loop.create_connection() para implementar um cliente-eco.

Usando loop.create_connection() para conectar a um soquete.

Usando add_reader() para monitorar um descritor de arquivo para eventos de leitura.

Usando loop.add_signal_handler().

Usando loop.subprocess_exec().

Transportes

Todos os transportes implementam os seguintes métodos:

transport.close()

Fecha o transporte.

transport.is_closing()

Retorna True se o transporte estiver fechando ou estiver fechado.

transport.get_extra_info()

Solicita informação a respeito do transporte.

transport.set_protocol()

Define um novo protocolo.

transport.get_protocol()

Retorna o protocolo atual.

Transportes que podem receber dados (TCP e conexões Unix, encadeamentos, etc). Retornado a partir de métodos como loop.create_connection(), loop.create_unix_connection(), loop.connect_read_pipe(), etc:

Realiza leitura de Transportes

transport.is_reading()

Retorna True se o transporte estiver recebendo.

transport.pause_reading()

Pausa o recebimento.

transport.resume_reading()

Continua o recebimento.

Transportes que podem enviar dados (TCP e conexões Unix, encadeamentos, etc). Retornado a partir de métodos como loop.create_connection(), loop.create_unix_connection(), loop.connect_write_pipe(), etc:

Realiza escrita de Transportes

transport.write()

Escreve dados para o transporte.

transport.writelines()

Escreve buffers para o transporte.

transport.can_write_eof()

Retorna True se o transporte suporta o envio de EOF.

transport.write_eof()

Fecha e envia EOF após descarregar dados que estavam no buffer.

transport.abort()

Fecha o transporte imediatamente.

transport.get_write_buffer_size()

Retorna o tamanho atual do buffer de saída.

transport.get_write_buffer_limits()

Retorna marcas d’agua alta e baixa para controle do fluxo de escrita.

transport.set_write_buffer_limits()

Define novas marcas d’agua alta e baixa para controle do fluxo de escrita.

Transporte retornado por loop.create_datagram_endpoint():

Transportes de datagrama

transport.sendto()

Envia dados para o par remoto.

transport.abort()

Fecha o transporte imediatamente.

Abstração de transporte de baixo nível sobre subprocessos. Retornado por loop.subprocess_exec() e loop.subprocess_shell():

Transportes de Subprocesso

transport.get_pid()

Retorna o process id do subprocesso.

transport.get_pipe_transport()

Retorna o transporte para o encadeamento de comunicação requisitada (stdin, stdout, ou stderr).

transport.get_returncode()

Retorna o código de retorno do subprocesso.

transport.kill()

Mata o subprocesso.

transport.send_signal()

Envia um sinal para o subprocesso.

transport.terminate()

Interrompe o subprocesso.

transport.close()

Mata o subprocesso e fecha todos os encadeamentos.

Protocolos

Classes de protocolos podem implementar os seguintes métodos de função de retorno:

callback connection_made()

Chamado quando uma conexão é estabelecida.

callback connection_lost()

Chamado quanto a conexão é perdida ou fechada.

callback pause_writing()

Chamado quando o buffer de transporte ultrapassa a marca de nível alto d’agua.

callback resume_writing()

Chamado quando o buffer de transporte drena abaixo da marca de nível baixo d’agua.

Protocolos de Streaming (TCP, Soquetes Unix, Encadeamentos)

callback data_received()

Chamado quando algum dado é recebido.

callback eof_received()

Chamado quando um EOF é recebido.

Protocolos de Streaming Bufferizados

callback get_buffer()

Chamada para alocar um novo buffer para recebimento.

callback buffer_updated()

Chamado quando o buffer foi atualizado com os dados recebidos.

callback eof_received()

Chamado quando um EOF é recebido.

Protocolos de Datagramas

callback datagram_received()

Chamado quando um datagrama é recebido.

callback error_received()

Chamado quando uma operação de envio ou recebimento anterior levanta um OSError.

Protocolos de Subprocesso

callback pipe_data_received()

Chamado quando o processo filho escreve dados no seu encadeamento stdout ou stderr.

callback pipe_connection_lost()

Chamado quando um dos encadeamentos comunicando com o processo filho é fechado.

callback process_exited()

Chamado quando o processo filho sai. Isso pode ser chamado antes dos métodos pipe_data_received() e pipe_connection_lost().

Políticas de laço de eventos

Política é um mecanismo de baixo nível para alterar o comportamento de funções, similar a asyncio.get_event_loop(). Veja também a seção principal de políticas para mais detalhes.

Acessando Políticas

asyncio.get_event_loop_policy()

Retorna a política de todo o processo atual.

asyncio.set_event_loop_policy()

Define uma nova política para todo o processo.

AbstractEventLoopPolicy

Classe base para objetos de política.

Desenvolvendo com asyncio

Asynchronous programming is different from classic “sequential” programming.

This page lists common mistakes and traps and explains how to avoid them.

Modo de Depuração

By default asyncio runs in production mode. In order to ease the development asyncio has a debug mode.

There are several ways to enable asyncio debug mode:

Setting the PYTHONASYNCIODEBUG environment variable to 1.

Usando o Modo de Desenvolvimento do Python.

Passando debug=True para asyncio.run().

Chamando loop.set_debug().

Além de habilitar o modo de depuração, considere também:

setting the log level of the asyncio logger to logging.DEBUG, for example the following snippet of code can be run at startup of the application:

logging.basicConfig(level=logging.DEBUG)

configuring the warnings module to display ResourceWarning warnings. One way of doing that is by using the -W default command line option.

Quando o modo de depuração está habilitado:

asyncio checks for coroutines that were not awaited and logs them; this mitigates the “forgotten await” pitfall.

Many non-threadsafe asyncio APIs (such as loop.call_soon() and loop.call_at() methods) raise an exception if they are called from a wrong thread.

O tempo de execução de um seletor de E/S é registrado se demorar muito para executar a operação E/S.

Funções de retorno demorando mais do que 100 milissegundos são registradas. O atributo loop.slow_callback_duration pode ser usado para definir a duração de execução mínima em segundos para se considerada “devagar”.

Concorrência e Múltiplas Threads

An event loop runs in a thread (typically the main thread) and executes all callbacks and Tasks in its thread. While a Task is running in the event loop, no other Tasks can run in the same thread. When a Task executes an await expression, the running Task gets suspended, and the event loop executes the next Task.

Para agendar uma callback de outra thread do SO, o método loop.call_soon_threadsafe() deve ser usado. Exemplo:

loop.call_soon_threadsafe(callback, *args)

Almost all asyncio objects are not thread safe, which is typically not a problem unless there is code that works with them from outside of a Task or a callback. If there’s a need for such code to call a low-level asyncio API, the loop.call_soon_threadsafe() method should be used, e.g.:

loop.call_soon_threadsafe(fut.cancel)

To schedule a coroutine object from a different OS thread, the run_coroutine_threadsafe() function should be used. It returns a concurrent.futures.Future to access the result:

async def coro_func():
     return await asyncio.sleep(1, 42)

# Later in another OS thread:

future = asyncio.run_coroutine_threadsafe(coro_func(), loop)
# Wait for the result:
result = future.result()

To handle signals the event loop must be run in the main thread.

The loop.run_in_executor() method can be used with a concurrent.futures.ThreadPoolExecutor to execute blocking code in a different OS thread without blocking the OS thread that the event loop runs in.

There is currently no way to schedule coroutines or callbacks directly from a different process (such as one started with multiprocessing). The Métodos do laço de eventos section lists APIs that can read from pipes and watch file descriptors without blocking the event loop. In addition, asyncio’s Subprocess APIs provide a way to start a process and communicate with it from the event loop. Lastly, the aforementioned loop.run_in_executor() method can also be used with a concurrent.futures.ProcessPoolExecutor to execute code in a different process.

Executando código bloqueante

Blocking (CPU-bound) code should not be called directly. For example, if a function performs a CPU-intensive calculation for 1 second, all concurrent asyncio Tasks and IO operations would be delayed by 1 second.

An executor can be used to run a task in a different thread or even in a different process to avoid blocking the OS thread with the event loop. See the loop.run_in_executor() method for more details.

Gerando logs

asyncio usa o módulo logging e todo registro é feito via o registrador "asyncio".

The default log level is logging.INFO, which can be easily adjusted:

logging.getLogger("asyncio").setLevel(logging.WARNING)

Network logging can block the event loop. It is recommended to use a separate thread for handling logs or use non-blocking IO. For example, see Dealing with handlers that block.

Detect never-awaited coroutines

When a coroutine function is called, but not awaited (e.g. coro() instead of await coro()) or the coroutine is not scheduled with asyncio.create_task(), asyncio will emit a RuntimeWarning:

import asyncio

async def test():
    print("never scheduled")

async def main():
    test()

asyncio.run(main())

Saída:

test.py:7: RuntimeWarning: coroutine 'test' was never awaited
  test()

Output in debug mode:

test.py:7: RuntimeWarning: coroutine 'test' was never awaited
Coroutine created at (most recent call last)
  File "../t.py", line 9, in <module>
    asyncio.run(main(), debug=True)

  < .. >

  File "../t.py", line 7, in main
    test()
  test()

The usual fix is to either await the coroutine or call the asyncio.create_task() function:

async def main():
    await test()

Detect never-retrieved exceptions

If a Future.set_exception() is called but the Future object is never awaited on, the exception would never be propagated to the user code. In this case, asyncio would emit a log message when the Future object is garbage collected.

Exemplo de uma exceção não tratada:

import asyncio

async def bug():
    raise Exception("not consumed")

async def main():
    asyncio.create_task(bug())

asyncio.run(main())

Saída:

Task exception was never retrieved
future: <Task finished coro=<bug() done, defined at test.py:3>
  exception=Exception('not consumed')>

Traceback (most recent call last):
  File "test.py", line 4, in bug
    raise Exception("not consumed")
Exception: not consumed

Enable the debug mode to get the traceback where the task was created:

asyncio.run(main(), debug=True)

Output in debug mode:

Task exception was never retrieved
future: <Task finished coro=<bug() done, defined at test.py:3>
    exception=Exception('not consumed') created at asyncio/tasks.py:321>

source_traceback: Object created at (most recent call last):
  File "../t.py", line 9, in <module>
    asyncio.run(main(), debug=True)

< .. >

Traceback (most recent call last):
  File "../t.py", line 4, in bug
    raise Exception("not consumed")
Exception: not consumed

socket — Low-level networking interface

Código-fonte: Lib/socket.py [https://github.com/python/cpython/tree/3.13/Lib/socket.py]

Este módulo provê acesso à interface de soquete do BSD. Está disponível em todos os sistemas modernos Unix, Windows, MacOS e provavelmente outras plataformas.

Nota

Algum comportamento pode depender da plataforma, pois as chamadas são feitas para as APIs de soquete do sistema operacional.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

The Python interface is a straightforward transliteration of the Unix system call and library interface for sockets to Python’s object-oriented style: the socket() function returns a socket object whose methods implement the various socket system calls. Parameter types are somewhat higher-level than in the C interface: as with read() and write() operations on Python files, buffer allocation on receive operations is automatic, and buffer length is implicit on send operations.

Ver também

Módulo socketserver

Classes that simplify writing network servers.

Module ssl

A TLS/SSL wrapper for socket objects.

Famílias de soquete

Dependendo do sistema e das opções de construção, várias famílias de soquetes são suportadas por este módulo.

The address format required by a particular socket object is automatically selected based on the address family specified when the socket object was created. Socket addresses are represented as follows:

The address of an AF_UNIX socket bound to a file system node is represented as a string, using the file system encoding and the 'surrogateescape' error handler (see PEP 383 [https://peps.python.org/pep-0383/]). An address in Linux’s abstract namespace is returned as a bytes-like object with an initial null byte; note that sockets in this namespace can communicate with normal file system sockets, so programs intended to run on Linux may need to deal with both types of address. A string or bytes-like object can be used for either type of address when passing it as an argument.

Alterado na versão 3.3: Previously, AF_UNIX socket paths were assumed to use UTF-8 encoding.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

A pair (host, port) is used for the AF_INET address family, where host is a string representing either a hostname in internet domain notation like 'daring.cwi.nl' or an IPv4 address like '100.50.200.5', and port is an integer.

For IPv4 addresses, two special forms are accepted instead of a host address: '' represents INADDR_ANY, which is used to bind to all interfaces, and the string '<broadcast>' represents INADDR_BROADCAST. This behavior is not compatible with IPv6, therefore, you may want to avoid these if you intend to support IPv6 with your Python programs.

For AF_INET6 address family, a four-tuple (host, port, flowinfo, scope_id) is used, where flowinfo and scope_id represent the sin6_flowinfo and sin6_scope_id members in struct sockaddr_in6 in C. For socket module methods, flowinfo and scope_id can be omitted just for backward compatibility. Note, however, omission of scope_id can cause problems in manipulating scoped IPv6 addresses.

Alterado na versão 3.7: For multicast addresses (with scope_id meaningful) address may not contain %scope_id (or zone id) part. This information is superfluous and may be safely omitted (recommended).

AF_NETLINK sockets are represented as pairs (pid, groups).

Linux-only support for TIPC is available using the AF_TIPC address family. TIPC is an open, non-IP based networked protocol designed for use in clustered computer environments. Addresses are represented by a tuple, and the fields depend on the address type. The general tuple form is (addr_type, v1, v2, v3 [, scope]), where:

addr_type is one of TIPC_ADDR_NAMESEQ, TIPC_ADDR_NAME, or TIPC_ADDR_ID.

scope is one of TIPC_ZONE_SCOPE, TIPC_CLUSTER_SCOPE, and TIPC_NODE_SCOPE.

If addr_type is TIPC_ADDR_NAME, then v1 is the server type, v2 is the port identifier, and v3 should be 0.

If addr_type is TIPC_ADDR_NAMESEQ, then v1 is the server type, v2 is the lower port number, and v3 is the upper port number.

If addr_type is TIPC_ADDR_ID, then v1 is the node, v2 is the reference, and v3 should be set to 0.

A tuple (interface, ) is used for the AF_CAN address family, where interface is a string representing a network interface name like 'can0'. The network interface name '' can be used to receive packets from all network interfaces of this family.

CAN_ISOTP protocol require a tuple (interface, rx_addr, tx_addr) where both additional parameters are unsigned long integer that represent a CAN identifier (standard or extended).

CAN_J1939 protocol require a tuple (interface, name, pgn, addr) where additional parameters are 64-bit unsigned integer representing the ECU name, a 32-bit unsigned integer representing the Parameter Group Number (PGN), and an 8-bit integer representing the address.

A string or a tuple (id, unit) is used for the SYSPROTO_CONTROL protocol of the PF_SYSTEM family. The string is the name of a kernel control using a dynamically assigned ID. The tuple can be used if ID and unit number of the kernel control are known or if a registered ID is used.

Adicionado na versão 3.3.

AF_BLUETOOTH supports the following protocols and address formats:

BTPROTO_L2CAP accepts (bdaddr, psm) where bdaddr is the Bluetooth address as a string and psm is an integer.

BTPROTO_RFCOMM accepts (bdaddr, channel) where bdaddr is the Bluetooth address as a string and channel is an integer.

BTPROTO_HCI accepts (device_id,) where device_id is either an integer or a string with the Bluetooth address of the interface. (This depends on your OS; NetBSD and DragonFlyBSD expect a Bluetooth address while everything else expects an integer.)

Alterado na versão 3.2: NetBSD and DragonFlyBSD support added.

BTPROTO_SCO accepts bdaddr where bdaddr is a bytes object containing the Bluetooth address in a string format. (ex. b'12:23:34:45:56:67') This protocol is not supported under FreeBSD.

AF_ALG is a Linux-only socket based interface to Kernel cryptography. An algorithm socket is configured with a tuple of two to four elements (type, name [, feat [, mask]]), where:

type is the algorithm type as string, e.g. aead, hash, skcipher or rng.

name is the algorithm name and operation mode as string, e.g. sha256, hmac(sha256), cbc(aes) or drbg_nopr_ctr_aes256.

feat and mask are unsigned 32bit integers.

Disponibilidade

Some algorithm types require more recent Kernels.

Adicionado na versão 3.6.

AF_VSOCK allows communication between virtual machines and their hosts. The sockets are represented as a (CID, port) tuple where the context ID or CID and port are integers.

Disponibilidade

See vsock(7) [https://manpages.debian.org/vsock(7)]

Adicionado na versão 3.7.

AF_PACKET is a low-level interface directly to network devices. The addresses are represented by the tuple (ifname, proto[, pkttype[, hatype[, addr]]]) where:

ifname - String specifying the device name.

proto - The Ethernet protocol number. May be ETH_P_ALL to capture all protocols, one of the ETHERTYPE_* constants or any other Ethernet protocol number.

pkttype - Optional integer specifying the packet type:

PACKET_HOST (the default) - Packet addressed to the local host.

PACKET_BROADCAST - Physical-layer broadcast packet.

PACKET_MULTICAST - Packet sent to a physical-layer multicast address.

PACKET_OTHERHOST - Packet to some other host that has been caught by a device driver in promiscuous mode.

PACKET_OUTGOING - Packet originating from the local host that is looped back to a packet socket.

hatype - Optional integer specifying the ARP hardware address type.

addr - Optional bytes-like object specifying the hardware physical address, whose interpretation depends on the device.

Disponibilidade

AF_QIPCRTR is a Linux-only socket based interface for communicating with services running on co-processors in Qualcomm platforms. The address family is represented as a (node, port) tuple where the node and port are non-negative integers.

Disponibilidade

Adicionado na versão 3.8.

IPPROTO_UDPLITE is a variant of UDP which allows you to specify what portion of a packet is covered with the checksum. It adds two socket options that you can change. self.setsockopt(IPPROTO_UDPLITE, UDPLITE_SEND_CSCOV, length) will change what portion of outgoing packets are covered by the checksum and self.setsockopt(IPPROTO_UDPLITE, UDPLITE_RECV_CSCOV, length) will filter out packets which cover too little of their data. In both cases length should be in range(8, 2**16, 8).

Such a socket should be constructed with socket(AF_INET, SOCK_DGRAM, IPPROTO_UDPLITE) for IPv4 or socket(AF_INET6, SOCK_DGRAM, IPPROTO_UDPLITE) for IPv6.

Disponibilidade

Adicionado na versão 3.9.

AF_HYPERV is a Windows-only socket based interface for communicating with Hyper-V hosts and guests. The address family is represented as a (vm_id, service_id) tuple where the vm_id and service_id are UUID strings.

The vm_id is the virtual machine identifier or a set of known VMID values if the target is not a specific virtual machine. Known VMID constants defined on socket are:

HV_GUID_ZERO

HV_GUID_BROADCAST

HV_GUID_WILDCARD - Used to bind on itself and accept connections from all partitions.

HV_GUID_CHILDREN - Used to bind on itself and accept connection from child partitions.

HV_GUID_LOOPBACK - Used as a target to itself.

HV_GUID_PARENT - When used as a bind accepts connection from the parent partition. When used as an address target it will connect to the parent partition.

The service_id is the service identifier of the registered service.

Adicionado na versão 3.12.

If you use a hostname in the host portion of IPv4/v6 socket address, the program may show a nondeterministic behavior, as Python uses the first address returned from the DNS resolution. The socket address will be resolved differently into an actual IPv4/v6 address, depending on the results from DNS resolution and/or the host configuration. For deterministic behavior use a numeric address in host portion.

All errors raise exceptions. The normal exceptions for invalid argument types and out-of-memory conditions can be raised. Errors related to socket or address semantics raise OSError or one of its subclasses.

Non-blocking mode is supported through setblocking(). A generalization of this based on timeouts is supported through settimeout().

Conteúdo do módulo

The module socket exports the following elements.

Exceções

exception socket.error

Um apelido descontinuado de OSError.

Alterado na versão 3.3: Seguindo a PEP 3151 [https://peps.python.org/pep-3151/], esta classe foi transformada em um apelido de OSError.

exception socket.herror

A subclass of OSError, this exception is raised for address-related errors, i.e. for functions that use h_errno in the POSIX C API, including gethostbyname_ex() and gethostbyaddr(). The accompanying value is a pair (h_errno, string) representing an error returned by a library call. h_errno is a numeric value, while string represents the description of h_errno, as returned by the hstrerror() C function.

Alterado na versão 3.3: This class was made a subclass of OSError.

exception socket.gaierror

A subclass of OSError, this exception is raised for address-related errors by getaddrinfo() and getnameinfo(). The accompanying value is a pair (error, string) representing an error returned by a library call. string represents the description of error, as returned by the gai_strerror() C function. The numeric error value will match one of the EAI_* constants defined in this module.

Alterado na versão 3.3: This class was made a subclass of OSError.

exception socket.timeout

A deprecated alias of TimeoutError.

A subclass of OSError, this exception is raised when a timeout occurs on a socket which has had timeouts enabled via a prior call to settimeout() (or implicitly through setdefaulttimeout()). The accompanying value is a string whose value is currently always “timed out”.

Alterado na versão 3.3: This class was made a subclass of OSError.

Alterado na versão 3.10: Esta classe foi feita como um apelido de TimeoutError.

Constantes

The AF_* and SOCK_* constants are now AddressFamily and SocketKind IntEnum collections.

Adicionado na versão 3.4.

socket.AF_UNIX

socket.AF_INET

socket.AF_INET6

These constants represent the address (and protocol) families, used for the first argument to socket(). If the AF_UNIX constant is not defined then this protocol is unsupported. More constants may be available depending on the system.

socket.AF_UNSPEC

AF_UNSPEC means that getaddrinfo() should return socket addresses for any address family (either IPv4, IPv6, or any other) that can be used.

socket.SOCK_STREAM

socket.SOCK_DGRAM

socket.SOCK_RAW

socket.SOCK_RDM

socket.SOCK_SEQPACKET

These constants represent the socket types, used for the second argument to socket(). More constants may be available depending on the system. (Only SOCK_STREAM and SOCK_DGRAM appear to be generally useful.)

socket.SOCK_CLOEXEC

socket.SOCK_NONBLOCK

These two constants, if defined, can be combined with the socket types and allow you to set some flags atomically (thus avoiding possible race conditions and the need for separate calls).

Ver também

Secure File Descriptor Handling [https://udrepper.livejournal.com/20407.html] for a more thorough explanation.

Disponibilidade

Adicionado na versão 3.2.

SO_*

socket.SOMAXCONN

MSG_*

SOL_*

SCM_*

IPPROTO_*

IPPORT_*

INADDR_*

IP_*

IPV6_*

EAI_*

AI_*

NI_*

TCP_*

Many constants of these forms, documented in the Unix documentation on sockets and/or the IP protocol, are also defined in the socket module. They are generally used in arguments to the setsockopt() and getsockopt() methods of socket objects. In most cases, only those symbols that are defined in the Unix header files are defined; for a few symbols, default values are provided.

Alterado na versão 3.6: SO_DOMAIN, SO_PROTOCOL, SO_PEERSEC, SO_PASSSEC, TCP_USER_TIMEOUT, TCP_CONGESTION were added.

Alterado na versão 3.6.5: On Windows, TCP_FASTOPEN, TCP_KEEPCNT appear if run-time Windows supports.

Alterado na versão 3.7: TCP_NOTSENT_LOWAT was added.

On Windows, TCP_KEEPIDLE, TCP_KEEPINTVL appear if run-time Windows supports.

Alterado na versão 3.10: IP_RECVTOS was added. Added TCP_KEEPALIVE. On MacOS this constant can be used in the same way that TCP_KEEPIDLE is used on Linux.

Alterado na versão 3.11: Added TCP_CONNECTION_INFO. On MacOS this constant can be used in the same way that TCP_INFO is used on Linux and BSD.

Alterado na versão 3.12: Added SO_RTABLE and SO_USER_COOKIE. On OpenBSD and FreeBSD respectively those constants can be used in the same way that SO_MARK is used on Linux. Also added missing TCP socket options from Linux: TCP_MD5SIG, TCP_THIN_LINEAR_TIMEOUTS, TCP_THIN_DUPACK, TCP_REPAIR, TCP_REPAIR_QUEUE, TCP_QUEUE_SEQ, TCP_REPAIR_OPTIONS, TCP_TIMESTAMP, TCP_CC_INFO, TCP_SAVE_SYN, TCP_SAVED_SYN, TCP_REPAIR_WINDOW, TCP_FASTOPEN_CONNECT, TCP_ULP, TCP_MD5SIG_EXT, TCP_FASTOPEN_KEY, TCP_FASTOPEN_NO_COOKIE, TCP_ZEROCOPY_RECEIVE, TCP_INQ, TCP_TX_DELAY. Added IP_PKTINFO, IP_UNBLOCK_SOURCE, IP_BLOCK_SOURCE, IP_ADD_SOURCE_MEMBERSHIP, IP_DROP_SOURCE_MEMBERSHIP.

Alterado na versão 3.13: Added SO_BINDTOIFINDEX. On Linux this constant can be used in the same way that SO_BINDTODEVICE is used, but with the index of a network interface instead of its name.

socket.AF_CAN

socket.PF_CAN

SOL_CAN_*

CAN_*

Many constants of these forms, documented in the Linux documentation, are also defined in the socket module.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.11: NetBSD support was added.

socket.CAN_BCM

CAN_BCM_*

CAN_BCM, in the CAN protocol family, is the broadcast manager (BCM) protocol. Broadcast manager constants, documented in the Linux documentation, are also defined in the socket module.

Disponibilidade

Nota

The CAN_BCM_CAN_FD_FRAME flag is only available on Linux >= 4.8.

Adicionado na versão 3.4.

socket.CAN_RAW_FD_FRAMES

Enables CAN FD support in a CAN_RAW socket. This is disabled by default. This allows your application to send both CAN and CAN FD frames; however, you must accept both CAN and CAN FD frames when reading from the socket.

This constant is documented in the Linux documentation.

Disponibilidade

Adicionado na versão 3.5.

socket.CAN_RAW_JOIN_FILTERS

Joins the applied CAN filters such that only CAN frames that match all given CAN filters are passed to user space.

This constant is documented in the Linux documentation.

Disponibilidade

Adicionado na versão 3.9.

socket.CAN_ISOTP

CAN_ISOTP, in the CAN protocol family, is the ISO-TP (ISO 15765-2) protocol. ISO-TP constants, documented in the Linux documentation.

Disponibilidade

Adicionado na versão 3.7.

socket.CAN_J1939

CAN_J1939, in the CAN protocol family, is the SAE J1939 protocol. J1939 constants, documented in the Linux documentation.

Disponibilidade

Adicionado na versão 3.9.

socket.AF_DIVERT

socket.PF_DIVERT

These two constants, documented in the FreeBSD divert(4) manual page, are also defined in the socket module.

Disponibilidade

Adicionado na versão 3.12.

socket.AF_PACKET

socket.PF_PACKET

PACKET_*

Many constants of these forms, documented in the Linux documentation, are also defined in the socket module.

Disponibilidade

socket.ETH_P_ALL

ETH_P_ALL can be used in the socket constructor as proto for the AF_PACKET family in order to capture every packet, regardless of protocol.

For more information, see the packet(7) [https://manpages.debian.org/packet(7)] manpage.

Disponibilidade

Adicionado na versão 3.12.

socket.AF_RDS

socket.PF_RDS

socket.SOL_RDS

RDS_*

Many constants of these forms, documented in the Linux documentation, are also defined in the socket module.

Disponibilidade

Adicionado na versão 3.3.

socket.SIO_RCVALL

socket.SIO_KEEPALIVE_VALS

socket.SIO_LOOPBACK_FAST_PATH

RCVALL_*

Constants for Windows’ WSAIoctl(). The constants are used as arguments to the ioctl() method of socket objects.

Alterado na versão 3.6: SIO_LOOPBACK_FAST_PATH was added.

TIPC_*

TIPC related constants, matching the ones exported by the C socket API. See the TIPC documentation for more information.

socket.AF_ALG

socket.SOL_ALG

ALG_*

Constants for Linux Kernel cryptography.

Disponibilidade

Adicionado na versão 3.6.

socket.AF_VSOCK

socket.IOCTL_VM_SOCKETS_GET_LOCAL_CID

VMADDR*

SO_VM*

Constants for Linux host/guest communication.

Disponibilidade

Adicionado na versão 3.7.

socket.AF_LINK

Disponibilidade

Adicionado na versão 3.4.

socket.has_ipv6

This constant contains a boolean value which indicates if IPv6 is supported on this platform.

socket.BDADDR_ANY

socket.BDADDR_LOCAL

These are string constants containing Bluetooth addresses with special meanings. For example, BDADDR_ANY can be used to indicate any address when specifying the binding socket with BTPROTO_RFCOMM.

socket.HCI_FILTER

socket.HCI_TIME_STAMP

socket.HCI_DATA_DIR

For use with BTPROTO_HCI. HCI_FILTER is not available for NetBSD or DragonFlyBSD. HCI_TIME_STAMP and HCI_DATA_DIR are not available for FreeBSD, NetBSD, or DragonFlyBSD.

socket.AF_QIPCRTR

Constant for Qualcomm’s IPC router protocol, used to communicate with service providing remote processors.

Disponibilidade

socket.SCM_CREDS2

socket.LOCAL_CREDS

socket.LOCAL_CREDS_PERSISTENT

LOCAL_CREDS and LOCAL_CREDS_PERSISTENT can be used with SOCK_DGRAM, SOCK_STREAM sockets, equivalent to Linux/DragonFlyBSD SO_PASSCRED, while LOCAL_CREDS sends the credentials at first read, LOCAL_CREDS_PERSISTENT sends for each read, SCM_CREDS2 must be then used for the latter for the message type.

Adicionado na versão 3.11.

Disponibilidade

socket.SO_INCOMING_CPU

Constant to optimize CPU locality, to be used in conjunction with SO_REUSEPORT.

Adicionado na versão 3.11.

Disponibilidade

socket.AF_HYPERV

socket.HV_PROTOCOL_RAW

socket.HVSOCKET_CONNECT_TIMEOUT

socket.HVSOCKET_CONNECT_TIMEOUT_MAX

socket.HVSOCKET_CONNECTED_SUSPEND

socket.HVSOCKET_ADDRESS_FLAG_PASSTHRU

socket.HV_GUID_ZERO

socket.HV_GUID_WILDCARD

socket.HV_GUID_BROADCAST

socket.HV_GUID_CHILDREN

socket.HV_GUID_LOOPBACK

socket.HV_GUID_PARENT

Constants for Windows Hyper-V sockets for host/guest communications.

Disponibilidade

Adicionado na versão 3.12.

socket.ETHERTYPE_ARP

socket.ETHERTYPE_IP

socket.ETHERTYPE_IPV6

socket.ETHERTYPE_VLAN

IEEE 802.3 protocol number [https://www.iana.org/assignments/ieee-802-numbers/ieee-802-numbers.txt]. constants.

Disponibilidade

Adicionado na versão 3.12.

socket.SHUT_RD

socket.SHUT_WR

socket.SHUT_RDWR

These constants are used by the shutdown() method of socket objects.

Disponibilidade

Funções

Criação de sockets

The following functions all create socket objects.

class socket.socket(family=AF_INET, type=SOCK_STREAM, proto=0, fileno=None)

Create a new socket using the given address family, socket type and protocol number. The address family should be AF_INET (the default), AF_INET6, AF_UNIX, AF_CAN, AF_PACKET, or AF_RDS. The socket type should be SOCK_STREAM (the default), SOCK_DGRAM, SOCK_RAW or perhaps one of the other SOCK_ constants. The protocol number is usually zero and may be omitted or in the case where the address family is AF_CAN the protocol should be one of CAN_RAW, CAN_BCM, CAN_ISOTP or CAN_J1939.

If fileno is specified, the values for family, type, and proto are auto-detected from the specified file descriptor. Auto-detection can be overruled by calling the function with explicit family, type, or proto arguments. This only affects how Python represents e.g. the return value of socket.getpeername() but not the actual OS resource. Unlike socket.fromfd(), fileno will return the same socket and not a duplicate. This may help close a detached socket using socket.close().

The newly created socket is non-inheritable.

Levanta um evento de auditoria socket.__new__ com os argumentos self, family, type, protocol.

Alterado na versão 3.3: The AF_CAN family was added. The AF_RDS family was added.

Alterado na versão 3.4: The CAN_BCM protocol was added.

Alterado na versão 3.4: The returned socket is now non-inheritable.

Alterado na versão 3.7: The CAN_ISOTP protocol was added.

Alterado na versão 3.7: When SOCK_NONBLOCK or SOCK_CLOEXEC bit flags are applied to type they are cleared, and socket.type will not reflect them. They are still passed to the underlying system socket() call. Therefore,

sock = socket.socket(
    socket.AF_INET,
    socket.SOCK_STREAM | socket.SOCK_NONBLOCK)

will still create a non-blocking socket on OSes that support SOCK_NONBLOCK, but sock.type will be set to socket.SOCK_STREAM.

Alterado na versão 3.9: The CAN_J1939 protocol was added.

Alterado na versão 3.10: The IPPROTO_MPTCP protocol was added.

socket.socketpair([family[, type[, proto]]])

Build a pair of connected socket objects using the given address family, socket type, and protocol number. Address family, socket type, and protocol number are as for the socket() function above. The default family is AF_UNIX if defined on the platform; otherwise, the default is AF_INET.

The newly created sockets are non-inheritable.

Alterado na versão 3.2: The returned socket objects now support the whole socket API, rather than a subset.

Alterado na versão 3.4: The returned sockets are now non-inheritable.

Alterado na versão 3.5: Windows support added.

socket.create_connection(address, timeout=GLOBAL_DEFAULT, source_address=None, *, all_errors=False)

Connect to a TCP service listening on the internet address (a 2-tuple (host, port)), and return the socket object. This is a higher-level function than socket.connect(): if host is a non-numeric hostname, it will try to resolve it for both AF_INET and AF_INET6, and then try to connect to all possible addresses in turn until a connection succeeds. This makes it easy to write clients that are compatible to both IPv4 and IPv6.

Passing the optional timeout parameter will set the timeout on the socket instance before attempting to connect. If no timeout is supplied, the global default timeout setting returned by getdefaulttimeout() is used.

If supplied, source_address must be a 2-tuple (host, port) for the socket to bind to as its source address before connecting. If host or port are ‘’ or 0 respectively the OS default behavior will be used.

When a connection cannot be created, an exception is raised. By default, it is the exception from the last address in the list. If all_errors is True, it is an ExceptionGroup containing the errors of all attempts.

Alterado na versão 3.2: source_address foi adicionado.

Alterado na versão 3.11: all_errors was added.

socket.create_server(address, *, family=AF_INET, backlog=None, reuse_port=False, dualstack_ipv6=False)

Convenience function which creates a TCP socket bound to address (a 2-tuple (host, port)) and returns the socket object.

family should be either AF_INET or AF_INET6. backlog is the queue size passed to socket.listen(); if not specified , a default reasonable value is chosen. reuse_port dictates whether to set the SO_REUSEPORT socket option.

If dualstack_ipv6 is true and the platform supports it the socket will be able to accept both IPv4 and IPv6 connections, else it will raise ValueError. Most POSIX platforms and Windows are supposed to support this functionality. When this functionality is enabled the address returned by socket.getpeername() when an IPv4 connection occurs will be an IPv6 address represented as an IPv4-mapped IPv6 address. If dualstack_ipv6 is false it will explicitly disable this functionality on platforms that enable it by default (e.g. Linux). This parameter can be used in conjunction with has_dualstack_ipv6():

import socket

addr = ("", 8080)  # all interfaces, port 8080
if socket.has_dualstack_ipv6():
    s = socket.create_server(addr, family=socket.AF_INET6, dualstack_ipv6=True)
else:
    s = socket.create_server(addr)

Nota

On POSIX platforms the SO_REUSEADDR socket option is set in order to immediately reuse previous sockets which were bound on the same address and remained in TIME_WAIT state.

Adicionado na versão 3.8.

socket.has_dualstack_ipv6()

Return True if the platform supports creating a TCP socket which can handle both IPv4 and IPv6 connections.

Adicionado na versão 3.8.

socket.fromfd(fd, family, type, proto=0)

Duplicate the file descriptor fd (an integer as returned by a file object’s fileno() method) and build a socket object from the result. Address family, socket type and protocol number are as for the socket() function above. The file descriptor should refer to a socket, but this is not checked — subsequent operations on the object may fail if the file descriptor is invalid. This function is rarely needed, but can be used to get or set socket options on a socket passed to a program as standard input or output (such as a server started by the Unix inet daemon). The socket is assumed to be in blocking mode.

The newly created socket is non-inheritable.

Alterado na versão 3.4: The returned socket is now non-inheritable.

socket.fromshare(data)

Instantiate a socket from data obtained from the socket.share() method. The socket is assumed to be in blocking mode.

Disponibilidade

Adicionado na versão 3.3.

socket.SocketType

This is a Python type object that represents the socket object type. It is the same as type(socket(...)).

Outras funções

The socket module also offers various network-related services:

socket.close(fd)

Close a socket file descriptor. This is like os.close(), but for sockets. On some platforms (most noticeable Windows) os.close() does not work for socket file descriptors.

Adicionado na versão 3.7.

socket.getaddrinfo(host, port, family=0, type=0, proto=0, flags=0)

Translate the host/port argument into a sequence of 5-tuples that contain all the necessary arguments for creating a socket connected to that service. host is a domain name, a string representation of an IPv4/v6 address or None. port is a string service name such as 'http', a numeric port number or None. By passing None as the value of host and port, you can pass NULL to the underlying C API.

The family, type and proto arguments can be optionally specified in order to narrow the list of addresses returned. Passing zero as a value for each of these arguments selects the full range of results. The flags argument can be one or several of the AI_* constants, and will influence how results are computed and returned. For example, AI_NUMERICHOST will disable domain name resolution and will raise an error if host is a domain name.

The function returns a list of 5-tuples with the following structure:

(family, type, proto, canonname, sockaddr)

In these tuples, family, type, proto are all integers and are meant to be passed to the socket() function. canonname will be a string representing the canonical name of the host if AI_CANONNAME is part of the flags argument; else canonname will be empty. sockaddr is a tuple describing a socket address, whose format depends on the returned family (a (address, port) 2-tuple for AF_INET, a (address, port, flowinfo, scope_id) 4-tuple for AF_INET6), and is meant to be passed to the socket.connect() method.

Levanta um evento de auditoria socket.getaddrinfo com os argumentos host, port, family, type, protocol.

The following example fetches address information for a hypothetical TCP connection to example.org on port 80 (results may differ on your system if IPv6 isn’t enabled):

>>> socket.getaddrinfo("example.org", 80, proto=socket.IPPROTO_TCP)
[(socket.AF_INET6, socket.SOCK_STREAM,
 6, '', ('2606:2800:220:1:248:1893:25c8:1946', 80, 0, 0)),
 (socket.AF_INET, socket.SOCK_STREAM,
 6, '', ('93.184.216.34', 80))]

Alterado na versão 3.2: parameters can now be passed using keyword arguments.

Alterado na versão 3.7: for IPv6 multicast addresses, string representing an address will not contain %scope_id part.

socket.getfqdn([name])

Return a fully qualified domain name for name. If name is omitted or empty, it is interpreted as the local host. To find the fully qualified name, the hostname returned by gethostbyaddr() is checked, followed by aliases for the host, if available. The first name which includes a period is selected. In case no fully qualified domain name is available and name was provided, it is returned unchanged. If name was empty or equal to '0.0.0.0', the hostname from gethostname() is returned.

socket.gethostbyname(hostname)

Translate a host name to IPv4 address format. The IPv4 address is returned as a string, such as '100.50.200.5'. If the host name is an IPv4 address itself it is returned unchanged. See gethostbyname_ex() for a more complete interface. gethostbyname() does not support IPv6 name resolution, and getaddrinfo() should be used instead for IPv4/v6 dual stack support.

Levanta um evento de auditoria socket.gethostbyname com o argumento hostname.

Disponibilidade

socket.gethostbyname_ex(hostname)

Translate a host name to IPv4 address format, extended interface. Return a 3-tuple (hostname, aliaslist, ipaddrlist) where hostname is the host’s primary host name, aliaslist is a (possibly empty) list of alternative host names for the same address, and ipaddrlist is a list of IPv4 addresses for the same interface on the same host (often but not always a single address). gethostbyname_ex() does not support IPv6 name resolution, and getaddrinfo() should be used instead for IPv4/v6 dual stack support.

Levanta um evento de auditoria socket.gethostbyname com o argumento hostname.

Disponibilidade

socket.gethostname()

Return a string containing the hostname of the machine where the Python interpreter is currently executing.

Levanta um evento de auditoria socket.gethostname sem argumentos.

Note: gethostname() doesn’t always return the fully qualified domain name; use getfqdn() for that.

Disponibilidade

socket.gethostbyaddr(ip_address)

Return a 3-tuple (hostname, aliaslist, ipaddrlist) where hostname is the primary host name responding to the given ip_address, aliaslist is a (possibly empty) list of alternative host names for the same address, and ipaddrlist is a list of IPv4/v6 addresses for the same interface on the same host (most likely containing only a single address). To find the fully qualified domain name, use the function getfqdn(). gethostbyaddr() supports both IPv4 and IPv6.

Levanta um evento de auditoria socket.gethostbyaddr com o argumento ip_address.

Disponibilidade

socket.getnameinfo(sockaddr, flags)

Translate a socket address sockaddr into a 2-tuple (host, port). Depending on the settings of flags, the result can contain a fully qualified domain name or numeric address representation in host. Similarly, port can contain a string port name or a numeric port number.

For IPv6 addresses, %scope_id is appended to the host part if sockaddr contains meaningful scope_id. Usually this happens for multicast addresses.

For more information about flags you can consult getnameinfo(3) [https://manpages.debian.org/getnameinfo(3)].

Levanta um evento de auditoria socket.getnameinfo com o argumento sockaddr.

Disponibilidade

socket.getprotobyname(protocolname)

Translate an internet protocol name (for example, 'icmp') to a constant suitable for passing as the (optional) third argument to the socket() function. This is usually only needed for sockets opened in “raw” mode (SOCK_RAW); for the normal socket modes, the correct protocol is chosen automatically if the protocol is omitted or zero.

Disponibilidade

socket.getservbyname(servicename[, protocolname])

Translate an internet service name and protocol name to a port number for that service. The optional protocol name, if given, should be 'tcp' or 'udp', otherwise any protocol will match.

Levanta um evento de auditoria socket.getservbyname com os argumentos servicename, protocolname.

Disponibilidade

socket.getservbyport(port[, protocolname])

Translate an internet port number and protocol name to a service name for that service. The optional protocol name, if given, should be 'tcp' or 'udp', otherwise any protocol will match.

Levanta um evento de auditoria socket.getservbyport com os argumentos port e protocolname.

Disponibilidade

socket.ntohl(x)

Convert 32-bit positive integers from network to host byte order. On machines where the host byte order is the same as network byte order, this is a no-op; otherwise, it performs a 4-byte swap operation.

socket.ntohs(x)

Convert 16-bit positive integers from network to host byte order. On machines where the host byte order is the same as network byte order, this is a no-op; otherwise, it performs a 2-byte swap operation.

Alterado na versão 3.10: Raises OverflowError if x does not fit in a 16-bit unsigned integer.

socket.htonl(x)

Convert 32-bit positive integers from host to network byte order. On machines where the host byte order is the same as network byte order, this is a no-op; otherwise, it performs a 4-byte swap operation.

socket.htons(x)

Convert 16-bit positive integers from host to network byte order. On machines where the host byte order is the same as network byte order, this is a no-op; otherwise, it performs a 2-byte swap operation.

Alterado na versão 3.10: Raises OverflowError if x does not fit in a 16-bit unsigned integer.

socket.inet_aton(ip_string)

Convert an IPv4 address from dotted-quad string format (for example, ‘123.45.67.89’) to 32-bit packed binary format, as a bytes object four characters in length. This is useful when conversing with a program that uses the standard C library and needs objects of type in_addr, which is the C type for the 32-bit packed binary this function returns.

inet_aton() also accepts strings with less than three dots; see the Unix manual page inet(3) [https://manpages.debian.org/inet(3)] for details.

If the IPv4 address string passed to this function is invalid, OSError will be raised. Note that exactly what is valid depends on the underlying C implementation of inet_aton().

inet_aton() does not support IPv6, and inet_pton() should be used instead for IPv4/v6 dual stack support.

socket.inet_ntoa(packed_ip)

Convert a 32-bit packed IPv4 address (a bytes-like object four bytes in length) to its standard dotted-quad string representation (for example, ‘123.45.67.89’). This is useful when conversing with a program that uses the standard C library and needs objects of type in_addr, which is the C type for the 32-bit packed binary data this function takes as an argument.

If the byte sequence passed to this function is not exactly 4 bytes in length, OSError will be raised. inet_ntoa() does not support IPv6, and inet_ntop() should be used instead for IPv4/v6 dual stack support.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

socket.inet_pton(address_family, ip_string)

Convert an IP address from its family-specific string format to a packed, binary format. inet_pton() is useful when a library or network protocol calls for an object of type in_addr (similar to inet_aton()) or in6_addr.

Supported values for address_family are currently AF_INET and AF_INET6. If the IP address string ip_string is invalid, OSError will be raised. Note that exactly what is valid depends on both the value of address_family and the underlying implementation of inet_pton().

Disponibilidade

Alterado na versão 3.4: Suporte para Windows adicionado.

socket.inet_ntop(address_family, packed_ip)

Convert a packed IP address (a bytes-like object of some number of bytes) to its standard, family-specific string representation (for example, '7.10.0.5' or '5aef:2b::8'). inet_ntop() is useful when a library or network protocol returns an object of type in_addr (similar to inet_ntoa()) or in6_addr.

Supported values for address_family are currently AF_INET and AF_INET6. If the bytes object packed_ip is not the correct length for the specified address family, ValueError will be raised. OSError is raised for errors from the call to inet_ntop().

Disponibilidade

Alterado na versão 3.4: Suporte para Windows adicionado.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

socket.CMSG_LEN(length)

Return the total length, without trailing padding, of an ancillary data item with associated data of the given length. This value can often be used as the buffer size for recvmsg() to receive a single item of ancillary data, but RFC 3542 [https://datatracker.ietf.org/doc/html/rfc3542.html] requires portable applications to use CMSG_SPACE() and thus include space for padding, even when the item will be the last in the buffer. Raises OverflowError if length is outside the permissible range of values.

Disponibilidade

Most Unix platforms.

Adicionado na versão 3.3.

socket.CMSG_SPACE(length)

Return the buffer size needed for recvmsg() to receive an ancillary data item with associated data of the given length, along with any trailing padding. The buffer space needed to receive multiple items is the sum of the CMSG_SPACE() values for their associated data lengths. Raises OverflowError if length is outside the permissible range of values.

Note that some systems might support ancillary data without providing this function. Also note that setting the buffer size using the results of this function may not precisely limit the amount of ancillary data that can be received, since additional data may be able to fit into the padding area.

Disponibilidade

most Unix platforms.

Adicionado na versão 3.3.

socket.getdefaulttimeout()

Return the default timeout in seconds (float) for new socket objects. A value of None indicates that new socket objects have no timeout. When the socket module is first imported, the default is None.

socket.setdefaulttimeout(timeout)

Set the default timeout in seconds (float) for new socket objects. When the socket module is first imported, the default is None. See settimeout() for possible values and their respective meanings.

socket.sethostname(name)

Set the machine’s hostname to name. This will raise an OSError if you don’t have enough rights.

Levanta um evento de auditoria socket.sethostname com o argumento name.

Disponibilidade

Adicionado na versão 3.3.

socket.if_nameindex()

Return a list of network interface information (index int, name string) tuples. OSError if the system call fails.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.8: Suporte ao Windows foi adicionado.

Nota

On Windows network interfaces have different names in different contexts (all names are examples):

UUID: {FB605B73-AAC2-49A6-9A2F-25416AEA0573}

name: ethernet_32770

friendly name: vEthernet (nat)

description: Hyper-V Virtual Ethernet Adapter

This function returns names of the second form from the list, ethernet_32770 in this example case.

socket.if_nametoindex(if_name)

Return a network interface index number corresponding to an interface name. OSError if no interface with the given name exists.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.8: Suporte ao Windows foi adicionado.

Ver também

“Interface name” is a name as documented in if_nameindex().

socket.if_indextoname(if_index)

Return a network interface name corresponding to an interface index number. OSError if no interface with the given index exists.

Disponibilidade

Adicionado na versão 3.3.

Alterado na versão 3.8: Suporte ao Windows foi adicionado.

Ver também

“Interface name” is a name as documented in if_nameindex().

socket.send_fds(sock, buffers, fds[, flags[, address]])

Send the list of file descriptors fds over an AF_UNIX socket sock. The fds parameter is a sequence of file descriptors. Consult sendmsg() for the documentation of these parameters.

Disponibilidade

Unix platforms supporting sendmsg() and SCM_RIGHTS mechanism.

Adicionado na versão 3.9.

socket.recv_fds(sock, bufsize, maxfds[, flags])

Receive up to maxfds file descriptors from an AF_UNIX socket sock. Return (msg, list(fds), flags, addr). Consult recvmsg() for the documentation of these parameters.

Disponibilidade

Unix platforms supporting sendmsg() and SCM_RIGHTS mechanism.

Adicionado na versão 3.9.

Nota

Any truncated integers at the end of the list of file descriptors.

Socket Objects

Socket objects have the following methods. Except for makefile(), these correspond to Unix system calls applicable to sockets.

Alterado na versão 3.2: Support for the context manager protocol was added. Exiting the context manager is equivalent to calling close().

socket.accept()

Accept a connection. The socket must be bound to an address and listening for connections. The return value is a pair (conn, address) where conn is a new socket object usable to send and receive data on the connection, and address is the address bound to the socket on the other end of the connection.

The newly created socket is non-inheritable.

Alterado na versão 3.4: The socket is now non-inheritable.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.bind(address)

Bind the socket to address. The socket must not already be bound. (The format of address depends on the address family — see above.)

Levanta um evento de auditoria socket.bind com os argumentos self, address.

Disponibilidade

socket.close()

Mark the socket closed. The underlying system resource (e.g. a file descriptor) is also closed when all file objects from makefile() are closed. Once that happens, all future operations on the socket object will fail. The remote end will receive no more data (after queued data is flushed).

Sockets are automatically closed when they are garbage-collected, but it is recommended to close() them explicitly, or to use a with statement around them.

Alterado na versão 3.6: OSError is now raised if an error occurs when the underlying close() call is made.

Nota

close() releases the resource associated with a connection but does not necessarily close the connection immediately. If you want to close the connection in a timely fashion, call shutdown() before close().

socket.connect(address)

Connect to a remote socket at address. (The format of address depends on the address family — see above.)

If the connection is interrupted by a signal, the method waits until the connection completes, or raise a TimeoutError on timeout, if the signal handler doesn’t raise an exception and the socket is blocking or has a timeout. For non-blocking sockets, the method raises an InterruptedError exception if the connection is interrupted by a signal (or the exception raised by the signal handler).

Levanta um evento de auditoria socket.connect com os argumentos self, address.

Alterado na versão 3.5: The method now waits until the connection completes instead of raising an InterruptedError exception if the connection is interrupted by a signal, the signal handler doesn’t raise an exception and the socket is blocking or has a timeout (see the PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

Disponibilidade

socket.connect_ex(address)

Like connect(address), but return an error indicator instead of raising an exception for errors returned by the C-level connect() call (other problems, such as “host not found,” can still raise exceptions). The error indicator is 0 if the operation succeeded, otherwise the value of the errno variable. This is useful to support, for example, asynchronous connects.

Levanta um evento de auditoria socket.connect com os argumentos self, address.

Disponibilidade

socket.detach()

Put the socket object into closed state without actually closing the underlying file descriptor. The file descriptor is returned, and can be reused for other purposes.

Adicionado na versão 3.2.

socket.dup()

Duplicate the socket.

The newly created socket is non-inheritable.

Alterado na versão 3.4: The socket is now non-inheritable.

Disponibilidade

socket.fileno()

Return the socket’s file descriptor (a small integer), or -1 on failure. This is useful with select.select().

Under Windows the small integer returned by this method cannot be used where a file descriptor can be used (such as os.fdopen()). Unix does not have this limitation.

socket.get_inheritable()

Get the inheritable flag of the socket’s file descriptor or socket’s handle: True if the socket can be inherited in child processes, False if it cannot.

Adicionado na versão 3.4.

socket.getpeername()

Return the remote address to which the socket is connected. This is useful to find out the port number of a remote IPv4/v6 socket, for instance. (The format of the address returned depends on the address family — see above.) On some systems this function is not supported.

socket.getsockname()

Return the socket’s own address. This is useful to find out the port number of an IPv4/v6 socket, for instance. (The format of the address returned depends on the address family — see above.)

socket.getsockopt(level, optname[, buflen])

Return the value of the given socket option (see the Unix man page getsockopt(2) [https://manpages.debian.org/getsockopt(2)]). The needed symbolic constants (SO_* etc.) are defined in this module. If buflen is absent, an integer option is assumed and its integer value is returned by the function. If buflen is present, it specifies the maximum length of the buffer used to receive the option in, and this buffer is returned as a bytes object. It is up to the caller to decode the contents of the buffer (see the optional built-in module struct for a way to decode C structures encoded as byte strings).

Disponibilidade

socket.getblocking()

Return True if socket is in blocking mode, False if in non-blocking.

This is equivalent to checking socket.gettimeout() != 0.

Adicionado na versão 3.7.

socket.gettimeout()

Return the timeout in seconds (float) associated with socket operations, or None if no timeout is set. This reflects the last call to setblocking() or settimeout().

socket.ioctl(control, option)

Platform:

Windows

The ioctl() method is a limited interface to the WSAIoctl system interface. Please refer to the Win32 documentation [https://msdn.microsoft.com/en-us/library/ms741621%28VS.85%29.aspx] for more information.

On other platforms, the generic fcntl.fcntl() and fcntl.ioctl() functions may be used; they accept a socket object as their first argument.

Currently only the following control codes are supported: SIO_RCVALL, SIO_KEEPALIVE_VALS, and SIO_LOOPBACK_FAST_PATH.

Alterado na versão 3.6: SIO_LOOPBACK_FAST_PATH was added.

socket.listen([backlog])

Enable a server to accept connections. If backlog is specified, it must be at least 0 (if it is lower, it is set to 0); it specifies the number of unaccepted connections that the system will allow before refusing new connections. If not specified, a default reasonable value is chosen.

Disponibilidade

Alterado na versão 3.5: The backlog parameter is now optional.

socket.makefile(mode='r', buffering=None, *, encoding=None, errors=None, newline=None)

Return a file object associated with the socket. The exact returned type depends on the arguments given to makefile(). These arguments are interpreted the same way as by the built-in open() function, except the only supported mode values are 'r' (default), 'w', 'b', or a combination of those.

The socket must be in blocking mode; it can have a timeout, but the file object’s internal buffer may end up in an inconsistent state if a timeout occurs.

Closing the file object returned by makefile() won’t close the original socket unless all other file objects have been closed and socket.close() has been called on the socket object.

Nota

On Windows, the file-like object created by makefile() cannot be used where a file object with a file descriptor is expected, such as the stream arguments of subprocess.Popen().

socket.recv(bufsize[, flags])

Receive data from the socket. The return value is a bytes object representing the data received. The maximum amount of data to be received at once is specified by bufsize. A returned empty bytes object indicates that the client has disconnected. See the Unix manual page recv(2) [https://manpages.debian.org/recv(2)] for the meaning of the optional argument flags; it defaults to zero.

Nota

For best match with hardware and network realities, the value of bufsize should be a relatively small power of 2, for example, 4096.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.recvfrom(bufsize[, flags])

Receive data from the socket. The return value is a pair (bytes, address) where bytes is a bytes object representing the data received and address is the address of the socket sending the data. See the Unix manual page recv(2) [https://manpages.debian.org/recv(2)] for the meaning of the optional argument flags; it defaults to zero. (The format of address depends on the address family — see above.)

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

Alterado na versão 3.7: For multicast IPv6 address, first item of address does not contain %scope_id part anymore. In order to get full IPv6 address use getnameinfo().

socket.recvmsg(bufsize[, ancbufsize[, flags]])

Receive normal data (up to bufsize bytes) and ancillary data from the socket. The ancbufsize argument sets the size in bytes of the internal buffer used to receive the ancillary data; it defaults to 0, meaning that no ancillary data will be received. Appropriate buffer sizes for ancillary data can be calculated using CMSG_SPACE() or CMSG_LEN(), and items which do not fit into the buffer might be truncated or discarded. The flags argument defaults to 0 and has the same meaning as for recv().

The return value is a 4-tuple: (data, ancdata, msg_flags, address). The data item is a bytes object holding the non-ancillary data received. The ancdata item is a list of zero or more tuples (cmsg_level, cmsg_type, cmsg_data) representing the ancillary data (control messages) received: cmsg_level and cmsg_type are integers specifying the protocol level and protocol-specific type respectively, and cmsg_data is a bytes object holding the associated data. The msg_flags item is the bitwise OR of various flags indicating conditions on the received message; see your system documentation for details. If the receiving socket is unconnected, address is the address of the sending socket, if available; otherwise, its value is unspecified.

On some systems, sendmsg() and recvmsg() can be used to pass file descriptors between processes over an AF_UNIX socket. When this facility is used (it is often restricted to SOCK_STREAM sockets), recvmsg() will return, in its ancillary data, items of the form (socket.SOL_SOCKET, socket.SCM_RIGHTS, fds), where fds is a bytes object representing the new file descriptors as a binary array of the native C int type. If recvmsg() raises an exception after the system call returns, it will first attempt to close any file descriptors received via this mechanism.

Some systems do not indicate the truncated length of ancillary data items which have been only partially received. If an item appears to extend beyond the end of the buffer, recvmsg() will issue a RuntimeWarning, and will return the part of it which is inside the buffer provided it has not been truncated before the start of its associated data.

On systems which support the SCM_RIGHTS mechanism, the following function will receive up to maxfds file descriptors, returning the message data and a list containing the descriptors (while ignoring unexpected conditions such as unrelated control messages being received). See also sendmsg().

import socket, array

def recv_fds(sock, msglen, maxfds):
    fds = array.array("i")   # Array of ints
    msg, ancdata, flags, addr = sock.recvmsg(msglen, socket.CMSG_LEN(maxfds * fds.itemsize))
    for cmsg_level, cmsg_type, cmsg_data in ancdata:
        if cmsg_level == socket.SOL_SOCKET and cmsg_type == socket.SCM_RIGHTS:
            # Append data, ignoring any truncated integers at the end.
            fds.frombytes(cmsg_data[:len(cmsg_data) - (len(cmsg_data) % fds.itemsize)])
    return msg, list(fds)

Disponibilidade

Most Unix platforms.

Adicionado na versão 3.3.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.recvmsg_into(buffers[, ancbufsize[, flags]])

Receive normal data and ancillary data from the socket, behaving as recvmsg() would, but scatter the non-ancillary data into a series of buffers instead of returning a new bytes object. The buffers argument must be an iterable of objects that export writable buffers (e.g. bytearray objects); these will be filled with successive chunks of the non-ancillary data until it has all been written or there are no more buffers. The operating system may set a limit (sysconf() value SC_IOV_MAX) on the number of buffers that can be used. The ancbufsize and flags arguments have the same meaning as for recvmsg().

The return value is a 4-tuple: (nbytes, ancdata, msg_flags, address), where nbytes is the total number of bytes of non-ancillary data written into the buffers, and ancdata, msg_flags and address are the same as for recvmsg().

Exemplo:

>>> import socket
>>> s1, s2 = socket.socketpair()
>>> b1 = bytearray(b'----')
>>> b2 = bytearray(b'0123456789')
>>> b3 = bytearray(b'--------------')
>>> s1.send(b'Mary had a little lamb')
22
>>> s2.recvmsg_into([b1, memoryview(b2)[2:9], b3])
(22, [], 0, None)
>>> [b1, b2, b3]
[bytearray(b'Mary'), bytearray(b'01 had a 9'), bytearray(b'little lamb---')]

Disponibilidade

Most Unix platforms.

Adicionado na versão 3.3.

socket.recvfrom_into(buffer[, nbytes[, flags]])

Receive data from the socket, writing it into buffer instead of creating a new bytestring. The return value is a pair (nbytes, address) where nbytes is the number of bytes received and address is the address of the socket sending the data. See the Unix manual page recv(2) [https://manpages.debian.org/recv(2)] for the meaning of the optional argument flags; it defaults to zero. (The format of address depends on the address family — see above.)

socket.recv_into(buffer[, nbytes[, flags]])

Receive up to nbytes bytes from the socket, storing the data into a buffer rather than creating a new bytestring. If nbytes is not specified (or 0), receive up to the size available in the given buffer. Returns the number of bytes received. See the Unix manual page recv(2) [https://manpages.debian.org/recv(2)] for the meaning of the optional argument flags; it defaults to zero.

socket.send(bytes[, flags])

Send data to the socket. The socket must be connected to a remote socket. The optional flags argument has the same meaning as for recv() above. Returns the number of bytes sent. Applications are responsible for checking that all data has been sent; if only some of the data was transmitted, the application needs to attempt delivery of the remaining data. For further information on this topic, consult the Programação de Soquetes.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.sendall(bytes[, flags])

Send data to the socket. The socket must be connected to a remote socket. The optional flags argument has the same meaning as for recv() above. Unlike send(), this method continues to send data from bytes until either all data has been sent or an error occurs. None is returned on success. On error, an exception is raised, and there is no way to determine how much data, if any, was successfully sent.

Alterado na versão 3.5: The socket timeout is no longer reset each time data is sent successfully. The socket timeout is now the maximum total duration to send all data.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.sendto(bytes, address)

socket.sendto(bytes, flags, address)

Send data to the socket. The socket should not be connected to a remote socket, since the destination socket is specified by address. The optional flags argument has the same meaning as for recv() above. Return the number of bytes sent. (The format of address depends on the address family — see above.)

Levanta um evento de auditoria socket.sendto com os argumentos self, address.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.sendmsg(buffers[, ancdata[, flags[, address]]])

Send normal and ancillary data to the socket, gathering the non-ancillary data from a series of buffers and concatenating it into a single message. The buffers argument specifies the non-ancillary data as an iterable of bytes-like objects (e.g. bytes objects); the operating system may set a limit (sysconf() value SC_IOV_MAX) on the number of buffers that can be used. The ancdata argument specifies the ancillary data (control messages) as an iterable of zero or more tuples (cmsg_level, cmsg_type, cmsg_data), where cmsg_level and cmsg_type are integers specifying the protocol level and protocol-specific type respectively, and cmsg_data is a bytes-like object holding the associated data. Note that some systems (in particular, systems without CMSG_SPACE()) might support sending only one control message per call. The flags argument defaults to 0 and has the same meaning as for send(). If address is supplied and not None, it sets a destination address for the message. The return value is the number of bytes of non-ancillary data sent.

The following function sends the list of file descriptors fds over an AF_UNIX socket, on systems which support the SCM_RIGHTS mechanism. See also recvmsg().

import socket, array

def send_fds(sock, msg, fds):
    return sock.sendmsg([msg], [(socket.SOL_SOCKET, socket.SCM_RIGHTS, array.array("i", fds))])

Disponibilidade

Most Unix platforms.

Levanta um evento de auditoria socket.sendmsg com os argumentos self, address.

Adicionado na versão 3.3.

Alterado na versão 3.5: If the system call is interrupted and the signal handler does not raise an exception, the method now retries the system call instead of raising an InterruptedError exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

socket.sendmsg_afalg([msg, ]*, op[, iv[, assoclen[, flags]]])

Specialized version of sendmsg() for AF_ALG socket. Set mode, IV, AEAD associated data length and flags for AF_ALG socket.

Disponibilidade

Adicionado na versão 3.6.

socket.sendfile(file, offset=0, count=None)

Send a file until EOF is reached by using high-performance os.sendfile and return the total number of bytes which were sent. file must be a regular file object opened in binary mode. If os.sendfile is not available (e.g. Windows) or file is not a regular file send() will be used instead. offset tells from where to start reading the file. If specified, count is the total number of bytes to transmit as opposed to sending the file until EOF is reached. File position is updated on return or also in case of error in which case file.tell() can be used to figure out the number of bytes which were sent. The socket must be of SOCK_STREAM type. Non-blocking sockets are not supported.

Adicionado na versão 3.5.

socket.set_inheritable(inheritable)

Set the inheritable flag of the socket’s file descriptor or socket’s handle.

Adicionado na versão 3.4.

socket.setblocking(flag)

Set blocking or non-blocking mode of the socket: if flag is false, the socket is set to non-blocking, else to blocking mode.

This method is a shorthand for certain settimeout() calls:

sock.setblocking(True) is equivalent to sock.settimeout(None)

sock.setblocking(False) is equivalent to sock.settimeout(0.0)

Alterado na versão 3.7: The method no longer applies SOCK_NONBLOCK flag on socket.type.

socket.settimeout(value)

Set a timeout on blocking socket operations. The value argument can be a nonnegative floating-point number expressing seconds, or None. If a non-zero value is given, subsequent socket operations will raise a timeout exception if the timeout period value has elapsed before the operation has completed. If zero is given, the socket is put in non-blocking mode. If None is given, the socket is put in blocking mode.

For further information, please consult the notes on socket timeouts.

Alterado na versão 3.7: The method no longer toggles SOCK_NONBLOCK flag on socket.type.

socket.setsockopt(level, optname, value: int)

socket.setsockopt(level, optname, value: buffer)

socket.setsockopt(level, optname, None, optlen: int)

Set the value of the given socket option (see the Unix manual page setsockopt(2) [https://manpages.debian.org/setsockopt(2)]). The needed symbolic constants are defined in this module (SO_* etc. <socket-unix-constants>). The value can be an integer, None or a bytes-like object representing a buffer. In the later case it is up to the caller to ensure that the bytestring contains the proper bits (see the optional built-in module struct for a way to encode C structures as bytestrings). When value is set to None, optlen argument is required. It’s equivalent to call setsockopt() C function with optval=NULL and optlen=optlen.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

Alterado na versão 3.6: setsockopt(level, optname, None, optlen: int) form added.

Disponibilidade

socket.shutdown(how)

Shut down one or both halves of the connection. If how is SHUT_RD, further receives are disallowed. If how is SHUT_WR, further sends are disallowed. If how is SHUT_RDWR, further sends and receives are disallowed.

Disponibilidade

socket.share(process_id)

Duplicate a socket and prepare it for sharing with a target process. The target process must be provided with process_id. The resulting bytes object can then be passed to the target process using some form of interprocess communication and the socket can be recreated there using fromshare(). Once this method has been called, it is safe to close the socket since the operating system has already duplicated it for the target process.

Disponibilidade

Adicionado na versão 3.3.

Note that there are no methods read() or write(); use recv() and send() without flags argument instead.

Socket objects also have these (read-only) attributes that correspond to the values given to the socket constructor.

socket.family

The socket family.

socket.type

The socket type.

socket.proto

The socket protocol.

Notas sobre tempo limite de soquete

Um objeto soquete pode estar em um dos três modos: bloqueio, não-bloqueio ou tempo limite. Por padrão, os soquetes sempre são criados no modo de bloqueio, mas isso pode ser alterado chamando setdefaulttimeout().

In blocking mode, operations block until complete or the system returns an error (such as connection timed out).

In non-blocking mode, operations fail (with an error that is unfortunately system-dependent) if they cannot be completed immediately: functions from the select module can be used to know when and whether a socket is available for reading or writing.

In timeout mode, operations fail if they cannot be completed within the timeout specified for the socket (they raise a timeout exception) or if the system returns an error.

Nota

At the operating system level, sockets in timeout mode are internally set in non-blocking mode. Also, the blocking and timeout modes are shared between file descriptors and socket objects that refer to the same network endpoint. This implementation detail can have visible consequences if e.g. you decide to use the fileno() of a socket.

Timeouts and the connect method

The connect() operation is also subject to the timeout setting, and in general it is recommended to call settimeout() before calling connect() or pass a timeout parameter to create_connection(). However, the system network stack may also return a connection timeout error of its own regardless of any Python socket timeout setting.

Timeouts and the accept method

If getdefaulttimeout() is not None, sockets returned by the accept() method inherit that timeout. Otherwise, the behaviour depends on settings of the listening socket:

if the listening socket is in blocking mode or in timeout mode, the socket returned by accept() is in blocking mode;

if the listening socket is in non-blocking mode, whether the socket returned by accept() is in blocking or non-blocking mode is operating system-dependent. If you want to ensure cross-platform behaviour, it is recommended you manually override this setting.

Exemplo

Here are four minimal example programs using the TCP/IP protocol: a server that echoes all data that it receives back (servicing only one client), and a client using it. Note that a server must perform the sequence socket(), bind(), listen(), accept() (possibly repeating the accept() to service more than one client), while a client only needs the sequence socket(), connect(). Also note that the server does not sendall()/recv() on the socket it is listening on but on the new socket returned by accept().

The first two examples support IPv4 only.

# Echo server program
import socket

HOST = ''                 # Symbolic name meaning all available interfaces
PORT = 50007              # Arbitrary non-privileged port
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.bind((HOST, PORT))
    s.listen(1)
    conn, addr = s.accept()
    with conn:
        print('Connected by', addr)
        while True:
            data = conn.recv(1024)
            if not data: break
            conn.sendall(data)

# Echo client program
import socket

HOST = 'daring.cwi.nl'    # The remote host
PORT = 50007              # The same port as used by the server
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect((HOST, PORT))
    s.sendall(b'Hello, world')
    data = s.recv(1024)
print('Received', repr(data))

The next two examples are identical to the above two, but support both IPv4 and IPv6. The server side will listen to the first address family available (it should listen to both instead). On most of IPv6-ready systems, IPv6 will take precedence and the server may not accept IPv4 traffic. The client side will try to connect to all the addresses returned as a result of the name resolution, and sends traffic to the first one connected successfully.

# Echo server program
import socket
import sys

HOST = None               # Symbolic name meaning all available interfaces
PORT = 50007              # Arbitrary non-privileged port
s = None
for res in socket.getaddrinfo(HOST, PORT, socket.AF_UNSPEC,
                              socket.SOCK_STREAM, 0, socket.AI_PASSIVE):
    af, socktype, proto, canonname, sa = res
    try:
        s = socket.socket(af, socktype, proto)
    except OSError as msg:
        s = None
        continue
    try:
        s.bind(sa)
        s.listen(1)
    except OSError as msg:
        s.close()
        s = None
        continue
    break
if s is None:
    print('could not open socket')
    sys.exit(1)
conn, addr = s.accept()
with conn:
    print('Connected by', addr)
    while True:
        data = conn.recv(1024)
        if not data: break
        conn.send(data)

# Echo client program
import socket
import sys

HOST = 'daring.cwi.nl'    # The remote host
PORT = 50007              # The same port as used by the server
s = None
for res in socket.getaddrinfo(HOST, PORT, socket.AF_UNSPEC, socket.SOCK_STREAM):
    af, socktype, proto, canonname, sa = res
    try:
        s = socket.socket(af, socktype, proto)
    except OSError as msg:
        s = None
        continue
    try:
        s.connect(sa)
    except OSError as msg:
        s.close()
        s = None
        continue
    break
if s is None:
    print('could not open socket')
    sys.exit(1)
with s:
    s.sendall(b'Hello, world')
    data = s.recv(1024)
print('Received', repr(data))

The next example shows how to write a very simple network sniffer with raw sockets on Windows. The example requires administrator privileges to modify the interface:

import socket

# the public network interface
HOST = socket.gethostbyname(socket.gethostname())

# create a raw socket and bind it to the public interface
s = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_IP)
s.bind((HOST, 0))

# Include IP headers
s.setsockopt(socket.IPPROTO_IP, socket.IP_HDRINCL, 1)

# receive all packets
s.ioctl(socket.SIO_RCVALL, socket.RCVALL_ON)

# receive a packet
print(s.recvfrom(65565))

# disabled promiscuous mode
s.ioctl(socket.SIO_RCVALL, socket.RCVALL_OFF)

The next example shows how to use the socket interface to communicate to a CAN network using the raw socket protocol. To use CAN with the broadcast manager protocol instead, open a socket with:

socket.socket(socket.AF_CAN, socket.SOCK_DGRAM, socket.CAN_BCM)

After binding (CAN_RAW) or connecting (CAN_BCM) the socket, you can use the socket.send() and socket.recv() operations (and their counterparts) on the socket object as usual.

This last example might require special privileges:

import socket
import struct

# CAN frame packing/unpacking (see 'struct can_frame' in <linux/can.h>)

can_frame_fmt = "=IB3x8s"
can_frame_size = struct.calcsize(can_frame_fmt)

def build_can_frame(can_id, data):
    can_dlc = len(data)
    data = data.ljust(8, b'\x00')
    return struct.pack(can_frame_fmt, can_id, can_dlc, data)

def dissect_can_frame(frame):
    can_id, can_dlc, data = struct.unpack(can_frame_fmt, frame)
    return (can_id, can_dlc, data[:can_dlc])

# create a raw socket and bind it to the 'vcan0' interface
s = socket.socket(socket.AF_CAN, socket.SOCK_RAW, socket.CAN_RAW)
s.bind(('vcan0',))

while True:
    cf, addr = s.recvfrom(can_frame_size)

    print('Received: can_id=%x, can_dlc=%x, data=%s' % dissect_can_frame(cf))

    try:
        s.send(cf)
    except OSError:
        print('Error sending CAN frame')

    try:
        s.send(build_can_frame(0x01, b'\x01\x02\x03'))
    except OSError:
        print('Error sending CAN frame')

Running an example several times with too small delay between executions, could lead to this error:

OSError: [Errno 98] Address already in use

This is because the previous execution has left the socket in a TIME_WAIT state, and can’t be immediately reused.

There is a socket flag to set, in order to prevent this, socket.SO_REUSEADDR:

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind((HOST, PORT))

the SO_REUSEADDR flag tells the kernel to reuse a local socket in TIME_WAIT state, without waiting for its natural timeout to expire.

Ver também

Para uma introdução à programação de socket (em C), veja os seguintes artigos:

An Introductory 4.3BSD Interprocess Communication Tutorial, by Stuart Sechrest

An Advanced 4.3BSD Interprocess Communication Tutorial, by Samuel J. Leffler et al,

both in the UNIX Programmer’s Manual, Supplementary Documents 1 (sections PS1:7 and PS1:8). The platform-specific reference material for the various socket-related system calls are also a valuable source of information on the details of socket semantics. For Unix, refer to the manual pages; for Windows, see the WinSock (or Winsock 2) specification. For IPv6-ready APIs, readers may want to refer to RFC 3493 [https://datatracker.ietf.org/doc/html/rfc3493.html] titled Basic Socket Interface Extensions for IPv6.

ssl — TLS/SSL wrapper for socket objects

Código-fonte: Lib/ssl.py [https://github.com/python/cpython/tree/3.13/Lib/ssl.py]

This module provides access to Transport Layer Security (often known as “Secure Sockets Layer”) encryption and peer authentication facilities for network sockets, both client-side and server-side. This module uses the OpenSSL library. It is available on all modern Unix systems, Windows, macOS, and probably additional platforms, as long as OpenSSL is installed on that platform.

Nota

Some behavior may be platform dependent, since calls are made to the operating system socket APIs. The installed version of OpenSSL may also cause variations in behavior. For example, TLSv1.3 comes with OpenSSL version 1.1.1.

Aviso

Don’t use this module without reading the Considerações de segurança. Doing so may lead to a false sense of security, as the default settings of the ssl module are not necessarily appropriate for your application.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

This section documents the objects and functions in the ssl module; for more general information about TLS, SSL, and certificates, the reader is referred to the documents in the “See Also” section at the bottom.

This module provides a class, ssl.SSLSocket, which is derived from the socket.socket type, and provides a socket-like wrapper that also encrypts and decrypts the data going over the socket with SSL. It supports additional methods such as getpeercert(), which retrieves the certificate of the other side of the connection, cipher(), which retrieves the cipher being used for the secure connection or get_verified_chain(), get_unverified_chain() which retrieves certificate chain.

For more sophisticated applications, the ssl.SSLContext class helps manage settings and certificates, which can then be inherited by SSL sockets created through the SSLContext.wrap_socket() method.

Alterado na versão 3.5.3: Updated to support linking with OpenSSL 1.1.0

Alterado na versão 3.6: OpenSSL 0.9.8, 1.0.0 and 1.0.1 are deprecated and no longer supported. In the future the ssl module will require at least OpenSSL 1.0.2 or 1.1.0.

Alterado na versão 3.10: PEP 644 [https://peps.python.org/pep-0644/] has been implemented. The ssl module requires OpenSSL 1.1.1 or newer.

Use of deprecated constants and functions result in deprecation warnings.

Functions, Constants, and Exceptions

Socket creation

Instances of SSLSocket must be created using the SSLContext.wrap_socket() method. The helper function create_default_context() returns a new context with secure default settings.

Client socket example with default context and IPv4/IPv6 dual stack:

import socket
import ssl

hostname = 'www.python.org'
context = ssl.create_default_context()

with socket.create_connection((hostname, 443)) as sock:
    with context.wrap_socket(sock, server_hostname=hostname) as ssock:
        print(ssock.version())

Client socket example with custom context and IPv4:

hostname = 'www.python.org'
# PROTOCOL_TLS_CLIENT requires valid cert chain and hostname
context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
context.load_verify_locations('path/to/cabundle.pem')

with socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0) as sock:
    with context.wrap_socket(sock, server_hostname=hostname) as ssock:
        print(ssock.version())

Server socket example listening on localhost IPv4:

context = ssl.SSLContext(ssl.PROTOCOL_TLS_SERVER)
context.load_cert_chain('/path/to/certchain.pem', '/path/to/private.key')

with socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0) as sock:
    sock.bind(('127.0.0.1', 8443))
    sock.listen(5)
    with context.wrap_socket(sock, server_side=True) as ssock:
        conn, addr = ssock.accept()
        ...

Context creation

A convenience function helps create SSLContext objects for common purposes.

ssl.create_default_context(purpose=Purpose.SERVER_AUTH, cafile=None, capath=None, cadata=None)

Return a new SSLContext object with default settings for the given purpose. The settings are chosen by the ssl module, and usually represent a higher security level than when calling the SSLContext constructor directly.

cafile, capath, cadata represent optional CA certificates to trust for certificate verification, as in SSLContext.load_verify_locations(). If all three are None, this function can choose to trust the system’s default CA certificates instead.

The settings are: PROTOCOL_TLS_CLIENT or PROTOCOL_TLS_SERVER, OP_NO_SSLv2, and OP_NO_SSLv3 with high encryption cipher suites without RC4 and without unauthenticated cipher suites. Passing SERVER_AUTH as purpose sets verify_mode to CERT_REQUIRED and either loads CA certificates (when at least one of cafile, capath or cadata is given) or uses SSLContext.load_default_certs() to load default CA certificates.

When keylog_filename is supported and the environment variable SSLKEYLOGFILE is set, create_default_context() enables key logging.

The default settings for this context include VERIFY_X509_PARTIAL_CHAIN and VERIFY_X509_STRICT. These make the underlying OpenSSL implementation behave more like a conforming implementation of RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html], in exchange for a small amount of incompatibility with older X.509 certificates.

Nota

The protocol, options, cipher and other settings may change to more restrictive values anytime without prior deprecation. The values represent a fair balance between compatibility and security.

If your application needs specific settings, you should create a SSLContext and apply the settings yourself.

Nota

If you find that when certain older clients or servers attempt to connect with a SSLContext created by this function that they get an error stating “Protocol or cipher suite mismatch”, it may be that they only support SSL3.0 which this function excludes using the OP_NO_SSLv3. SSL3.0 is widely considered to be completely broken [https://en.wikipedia.org/wiki/POODLE]. If you still wish to continue to use this function but still allow SSL 3.0 connections you can re-enable them using:

ctx = ssl.create_default_context(Purpose.CLIENT_AUTH)
ctx.options &= ~ssl.OP_NO_SSLv3

Nota

This context enables VERIFY_X509_STRICT by default, which may reject pre-RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html] or malformed certificates that the underlying OpenSSL implementation otherwise would accept. While disabling this is not recommended, you can do so using:

ctx = ssl.create_default_context()
ctx.verify_flags &= ~ssl.VERIFY_X509_STRICT

Adicionado na versão 3.4.

Alterado na versão 3.4.4: RC4 was dropped from the default cipher string.

Alterado na versão 3.6: ChaCha20/Poly1305 was added to the default cipher string.

3DES was dropped from the default cipher string.

Alterado na versão 3.8: Support for key logging to SSLKEYLOGFILE was added.

Alterado na versão 3.10: The context now uses PROTOCOL_TLS_CLIENT or PROTOCOL_TLS_SERVER protocol instead of generic PROTOCOL_TLS.

Alterado na versão 3.13: The context now uses VERIFY_X509_PARTIAL_CHAIN and VERIFY_X509_STRICT in its default verify flags.

Exceções

exception ssl.SSLError

Raised to signal an error from the underlying SSL implementation (currently provided by the OpenSSL library). This signifies some problem in the higher-level encryption and authentication layer that’s superimposed on the underlying network connection. This error is a subtype of OSError. The error code and message of SSLError instances are provided by the OpenSSL library.

Alterado na versão 3.3: SSLError used to be a subtype of socket.error.

library

A string mnemonic designating the OpenSSL submodule in which the error occurred, such as SSL, PEM or X509. The range of possible values depends on the OpenSSL version.

Adicionado na versão 3.3.

reason

A string mnemonic designating the reason this error occurred, for example CERTIFICATE_VERIFY_FAILED. The range of possible values depends on the OpenSSL version.

Adicionado na versão 3.3.

exception ssl.SSLZeroReturnError

A subclass of SSLError raised when trying to read or write and the SSL connection has been closed cleanly. Note that this doesn’t mean that the underlying transport (read TCP) has been closed.

Adicionado na versão 3.3.

exception ssl.SSLWantReadError

A subclass of SSLError raised by a non-blocking SSL socket when trying to read or write data, but more data needs to be received on the underlying TCP transport before the request can be fulfilled.

Adicionado na versão 3.3.

exception ssl.SSLWantWriteError

A subclass of SSLError raised by a non-blocking SSL socket when trying to read or write data, but more data needs to be sent on the underlying TCP transport before the request can be fulfilled.

Adicionado na versão 3.3.

exception ssl.SSLSyscallError

A subclass of SSLError raised when a system error was encountered while trying to fulfill an operation on a SSL socket. Unfortunately, there is no easy way to inspect the original errno number.

Adicionado na versão 3.3.

exception ssl.SSLEOFError

A subclass of SSLError raised when the SSL connection has been terminated abruptly. Generally, you shouldn’t try to reuse the underlying transport when this error is encountered.

Adicionado na versão 3.3.

exception ssl.SSLCertVerificationError

A subclass of SSLError raised when certificate validation has failed.

Adicionado na versão 3.7.

verify_code

A numeric error number that denotes the verification error.

verify_message

A human readable string of the verification error.

exception ssl.CertificateError

An alias for SSLCertVerificationError.

Alterado na versão 3.7: The exception is now an alias for SSLCertVerificationError.

Random generation

ssl.RAND_bytes(num)

Return num cryptographically strong pseudo-random bytes. Raises an SSLError if the PRNG has not been seeded with enough data or if the operation is not supported by the current RAND method. RAND_status() can be used to check the status of the PRNG and RAND_add() can be used to seed the PRNG.

For almost all applications os.urandom() is preferable.

Read the Wikipedia article, Cryptographically secure pseudorandom number generator (CSPRNG) [https://en.wikipedia.org/wiki/Cryptographically_secure_pseudorandom_number_generator], to get the requirements of a cryptographically strong generator.

Adicionado na versão 3.3.

ssl.RAND_status()

Return True if the SSL pseudo-random number generator has been seeded with ‘enough’ randomness, and False otherwise. You can use ssl.RAND_egd() and ssl.RAND_add() to increase the randomness of the pseudo-random number generator.

ssl.RAND_add(bytes, entropy)

Mix the given bytes into the SSL pseudo-random number generator. The parameter entropy (a float) is a lower bound on the entropy contained in string (so you can always use 0.0). See RFC 1750 [https://datatracker.ietf.org/doc/html/rfc1750.html] for more information on sources of entropy.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

Manipulação de certificados

ssl.cert_time_to_seconds(cert_time)

Return the time in seconds since the Epoch, given the cert_time string representing the “notBefore” or “notAfter” date from a certificate in "%b %d %H:%M:%S %Y %Z" strptime format (C locale).

Here’s an example:

>>> import ssl
>>> timestamp = ssl.cert_time_to_seconds("Jan  5 09:34:43 2018 GMT")
>>> timestamp
1515144883
>>> from datetime import datetime
>>> print(datetime.utcfromtimestamp(timestamp))
2018-01-05 09:34:43

“notBefore” or “notAfter” dates must use GMT (RFC 5280 [https://datatracker.ietf.org/doc/html/rfc5280.html]).

Alterado na versão 3.5: Interpret the input time as a time in UTC as specified by ‘GMT’ timezone in the input string. Local timezone was used previously. Return an integer (no fractions of a second in the input format)

ssl.get_server_certificate(addr, ssl_version=PROTOCOL_TLS_CLIENT, ca_certs=None[, timeout])

Given the address addr of an SSL-protected server, as a (hostname, port-number) pair, fetches the server’s certificate, and returns it as a PEM-encoded string. If ssl_version is specified, uses that version of the SSL protocol to attempt to connect to the server. If ca_certs is specified, it should be a file containing a list of root certificates, the same format as used for the cafile parameter in SSLContext.load_verify_locations(). The call will attempt to validate the server certificate against that set of root certificates, and will fail if the validation attempt fails. A timeout can be specified with the timeout parameter.

Alterado na versão 3.3: This function is now IPv6-compatible.

Alterado na versão 3.5: The default ssl_version is changed from PROTOCOL_SSLv3 to PROTOCOL_TLS for maximum compatibility with modern servers.

Alterado na versão 3.10: The timeout parameter was added.

ssl.DER_cert_to_PEM_cert(DER_cert_bytes)

Given a certificate as a DER-encoded blob of bytes, returns a PEM-encoded string version of the same certificate.

ssl.PEM_cert_to_DER_cert(PEM_cert_string)

Given a certificate as an ASCII PEM string, returns a DER-encoded sequence of bytes for that same certificate.

ssl.get_default_verify_paths()

Returns a named tuple with paths to OpenSSL’s default cafile and capath. The paths are the same as used by SSLContext.set_default_verify_paths(). The return value is a named tuple DefaultVerifyPaths:

cafile - resolved path to cafile or None if the file doesn’t exist,

capath - resolved path to capath or None if the directory doesn’t exist,

openssl_cafile_env - OpenSSL’s environment key that points to a cafile,

openssl_cafile - hard coded path to a cafile,

openssl_capath_env - OpenSSL’s environment key that points to a capath,

openssl_capath - hard coded path to a capath directory

Adicionado na versão 3.4.

ssl.enum_certificates(store_name)

Retrieve certificates from Windows’ system cert store. store_name may be one of CA, ROOT or MY. Windows may provide additional cert stores, too.

The function returns a list of (cert_bytes, encoding_type, trust) tuples. The encoding_type specifies the encoding of cert_bytes. It is either x509_asn for X.509 ASN.1 data or pkcs_7_asn for PKCS#7 ASN.1 data. Trust specifies the purpose of the certificate as a set of OIDS or exactly True if the certificate is trustworthy for all purposes.

Exemplo:

>>> ssl.enum_certificates("CA")
[(b'data...', 'x509_asn', {'1.3.6.1.5.5.7.3.1', '1.3.6.1.5.5.7.3.2'}),
 (b'data...', 'x509_asn', True)]

Disponibilidade

Adicionado na versão 3.4.

ssl.enum_crls(store_name)

Retrieve CRLs from Windows’ system cert store. store_name may be one of CA, ROOT or MY. Windows may provide additional cert stores, too.

The function returns a list of (cert_bytes, encoding_type, trust) tuples. The encoding_type specifies the encoding of cert_bytes. It is either x509_asn for X.509 ASN.1 data or pkcs_7_asn for PKCS#7 ASN.1 data.

Disponibilidade

Adicionado na versão 3.4.

Constantes

All constants are now enum.IntEnum or enum.IntFlag collections.

Adicionado na versão 3.6.

ssl.CERT_NONE

Possible value for SSLContext.verify_mode. Except for PROTOCOL_TLS_CLIENT, it is the default mode. With client-side sockets, just about any cert is accepted. Validation errors, such as untrusted or expired cert, are ignored and do not abort the TLS/SSL handshake.

In server mode, no certificate is requested from the client, so the client does not send any for client cert authentication.

See the discussion of Considerações de segurança below.

ssl.CERT_OPTIONAL

Possible value for SSLContext.verify_mode. In client mode, CERT_OPTIONAL has the same meaning as CERT_REQUIRED. It is recommended to use CERT_REQUIRED for client-side sockets instead.

In server mode, a client certificate request is sent to the client. The client may either ignore the request or send a certificate in order perform TLS client cert authentication. If the client chooses to send a certificate, it is verified. Any verification error immediately aborts the TLS handshake.

Use of this setting requires a valid set of CA certificates to be passed to SSLContext.load_verify_locations().

ssl.CERT_REQUIRED

Possible value for SSLContext.verify_mode. In this mode, certificates are required from the other side of the socket connection; an SSLError will be raised if no certificate is provided, or if its validation fails. This mode is not sufficient to verify a certificate in client mode as it does not match hostnames. check_hostname must be enabled as well to verify the authenticity of a cert. PROTOCOL_TLS_CLIENT uses CERT_REQUIRED and enables check_hostname by default.

With server socket, this mode provides mandatory TLS client cert authentication. A client certificate request is sent to the client and the client must provide a valid and trusted certificate.

Use of this setting requires a valid set of CA certificates to be passed to SSLContext.load_verify_locations().

class ssl.VerifyMode

enum.IntEnum collection of CERT_* constants.

Adicionado na versão 3.6.

ssl.VERIFY_DEFAULT

Possible value for SSLContext.verify_flags. In this mode, certificate revocation lists (CRLs) are not checked. By default OpenSSL does neither require nor verify CRLs.

Adicionado na versão 3.4.

ssl.VERIFY_CRL_CHECK_LEAF

Possible value for SSLContext.verify_flags. In this mode, only the peer cert is checked but none of the intermediate CA certificates. The mode requires a valid CRL that is signed by the peer cert’s issuer (its direct ancestor CA). If no proper CRL has been loaded with SSLContext.load_verify_locations, validation will fail.

Adicionado na versão 3.4.

ssl.VERIFY_CRL_CHECK_CHAIN

Possible value for SSLContext.verify_flags. In this mode, CRLs of all certificates in the peer cert chain are checked.

Adicionado na versão 3.4.

ssl.VERIFY_X509_STRICT

Possible value for SSLContext.verify_flags to disable workarounds for broken X.509 certificates.

Adicionado na versão 3.4.

ssl.VERIFY_ALLOW_PROXY_CERTS

Possible value for SSLContext.verify_flags to enables proxy certificate verification.

Adicionado na versão 3.10.

ssl.VERIFY_X509_TRUSTED_FIRST

Possible value for SSLContext.verify_flags. It instructs OpenSSL to prefer trusted certificates when building the trust chain to validate a certificate. This flag is enabled by default.

Adicionado na versão 3.4.4.

ssl.VERIFY_X509_PARTIAL_CHAIN

Possible value for SSLContext.verify_flags. It instructs OpenSSL to accept intermediate CAs in the trust store to be treated as trust-anchors, in the same way as the self-signed root CA certificates. This makes it possible to trust certificates issued by an intermediate CA without having to trust its ancestor root CA.

Adicionado na versão 3.10.

class ssl.VerifyFlags

enum.IntFlag collection of VERIFY_* constants.

Adicionado na versão 3.6.

ssl.PROTOCOL_TLS

Selects the highest protocol version that both the client and server support. Despite the name, this option can select both “SSL” and “TLS” protocols.

Adicionado na versão 3.6.

Obsoleto desde a versão 3.10: TLS clients and servers require different default settings for secure communication. The generic TLS protocol constant is deprecated in favor of PROTOCOL_TLS_CLIENT and PROTOCOL_TLS_SERVER.

ssl.PROTOCOL_TLS_CLIENT

Auto-negotiate the highest protocol version that both the client and server support, and configure the context client-side connections. The protocol enables CERT_REQUIRED and check_hostname by default.

Adicionado na versão 3.6.

ssl.PROTOCOL_TLS_SERVER

Auto-negotiate the highest protocol version that both the client and server support, and configure the context server-side connections.

Adicionado na versão 3.6.

ssl.PROTOCOL_SSLv23

Alias for PROTOCOL_TLS.

Obsoleto desde a versão 3.6: Use PROTOCOL_TLS instead.

ssl.PROTOCOL_SSLv3

Selects SSL version 3 as the channel encryption protocol.

This protocol is not available if OpenSSL is compiled with the no-ssl3 option.

Aviso

SSL version 3 is insecure. Its use is highly discouraged.

Obsoleto desde a versão 3.6: OpenSSL has deprecated all version specific protocols. Use the default protocol PROTOCOL_TLS_SERVER or PROTOCOL_TLS_CLIENT with SSLContext.minimum_version and SSLContext.maximum_version instead.

ssl.PROTOCOL_TLSv1

Selects TLS version 1.0 as the channel encryption protocol.

Obsoleto desde a versão 3.6: OpenSSL has deprecated all version specific protocols.

ssl.PROTOCOL_TLSv1_1

Selects TLS version 1.1 as the channel encryption protocol. Available only with openssl version 1.0.1+.

Adicionado na versão 3.4.

Obsoleto desde a versão 3.6: OpenSSL has deprecated all version specific protocols.

ssl.PROTOCOL_TLSv1_2

Selects TLS version 1.2 as the channel encryption protocol. Available only with openssl version 1.0.1+.

Adicionado na versão 3.4.

Obsoleto desde a versão 3.6: OpenSSL has deprecated all version specific protocols.

ssl.OP_ALL

Enables workarounds for various bugs present in other SSL implementations. This option is set by default. It does not necessarily set the same flags as OpenSSL’s SSL_OP_ALL constant.

Adicionado na versão 3.2.

ssl.OP_NO_SSLv2

Prevents an SSLv2 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing SSLv2 as the protocol version.

Adicionado na versão 3.2.

Obsoleto desde a versão 3.6: SSLv2 is deprecated

ssl.OP_NO_SSLv3

Prevents an SSLv3 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing SSLv3 as the protocol version.

Adicionado na versão 3.2.

Obsoleto desde a versão 3.6: SSLv3 is deprecated

ssl.OP_NO_TLSv1

Prevents a TLSv1 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing TLSv1 as the protocol version.

Adicionado na versão 3.2.

Obsoleto desde a versão 3.7: The option is deprecated since OpenSSL 1.1.0, use the new SSLContext.minimum_version and SSLContext.maximum_version instead.

ssl.OP_NO_TLSv1_1

Prevents a TLSv1.1 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing TLSv1.1 as the protocol version. Available only with openssl version 1.0.1+.

Adicionado na versão 3.4.

Obsoleto desde a versão 3.7: The option is deprecated since OpenSSL 1.1.0.

ssl.OP_NO_TLSv1_2

Prevents a TLSv1.2 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing TLSv1.2 as the protocol version. Available only with openssl version 1.0.1+.

Adicionado na versão 3.4.

Obsoleto desde a versão 3.7: The option is deprecated since OpenSSL 1.1.0.

ssl.OP_NO_TLSv1_3

Prevents a TLSv1.3 connection. This option is only applicable in conjunction with PROTOCOL_TLS. It prevents the peers from choosing TLSv1.3 as the protocol version. TLS 1.3 is available with OpenSSL 1.1.1 or later. When Python has been compiled against an older version of OpenSSL, the flag defaults to 0.

Adicionado na versão 3.6.3.

Obsoleto desde a versão 3.7: The option is deprecated since OpenSSL 1.1.0. It was added to 2.7.15 and 3.6.3 for backwards compatibility with OpenSSL 1.0.2.

ssl.OP_NO_RENEGOTIATION

Disable all renegotiation in TLSv1.2 and earlier. Do not send HelloRequest messages, and ignore renegotiation requests via ClientHello.

This option is only available with OpenSSL 1.1.0h and later.

Adicionado na versão 3.7.

ssl.OP_CIPHER_SERVER_PREFERENCE

Use the server’s cipher ordering preference, rather than the client’s. This option has no effect on client sockets and SSLv2 server sockets.

Adicionado na versão 3.3.

ssl.OP_SINGLE_DH_USE

Prevents reuse of the same DH key for distinct SSL sessions. This improves forward secrecy but requires more computational resources. This option only applies to server sockets.

Adicionado na versão 3.3.

ssl.OP_SINGLE_ECDH_USE

Prevents reuse of the same ECDH key for distinct SSL sessions. This improves forward secrecy but requires more computational resources. This option only applies to server sockets.

Adicionado na versão 3.3.

ssl.OP_ENABLE_MIDDLEBOX_COMPAT

Send dummy Change Cipher Spec (CCS) messages in TLS 1.3 handshake to make a TLS 1.3 connection look more like a TLS 1.2 connection.

This option is only available with OpenSSL 1.1.1 and later.

Adicionado na versão 3.8.

ssl.OP_NO_COMPRESSION

Disable compression on the SSL channel. This is useful if the application protocol supports its own compression scheme.

Adicionado na versão 3.3.

class ssl.Options

enum.IntFlag collection of OP_* constants.

ssl.OP_NO_TICKET

Prevent client side from requesting a session ticket.

Adicionado na versão 3.6.

ssl.OP_IGNORE_UNEXPECTED_EOF

Ignore unexpected shutdown of TLS connections.

This option is only available with OpenSSL 3.0.0 and later.

Adicionado na versão 3.10.

ssl.OP_ENABLE_KTLS

Enable the use of the kernel TLS. To benefit from the feature, OpenSSL must have been compiled with support for it, and the negotiated cipher suites and extensions must be supported by it (a list of supported ones may vary by platform and kernel version).

Note that with enabled kernel TLS some cryptographic operations are performed by the kernel directly and not via any available OpenSSL Providers. This might be undesirable if, for example, the application requires all cryptographic operations to be performed by the FIPS provider.

This option is only available with OpenSSL 3.0.0 and later.

Adicionado na versão 3.12.

ssl.OP_LEGACY_SERVER_CONNECT

Allow legacy insecure renegotiation between OpenSSL and unpatched servers only.

Adicionado na versão 3.12.

ssl.HAS_ALPN

Whether the OpenSSL library has built-in support for the Application-Layer Protocol Negotiation TLS extension as described in RFC 7301 [https://datatracker.ietf.org/doc/html/rfc7301.html].

Adicionado na versão 3.5.

ssl.HAS_NEVER_CHECK_COMMON_NAME

Whether the OpenSSL library has built-in support not checking subject common name and SSLContext.hostname_checks_common_name is writeable.

Adicionado na versão 3.7.

ssl.HAS_ECDH

Whether the OpenSSL library has built-in support for the Elliptic Curve-based Diffie-Hellman key exchange. This should be true unless the feature was explicitly disabled by the distributor.

Adicionado na versão 3.3.

ssl.HAS_SNI

Whether the OpenSSL library has built-in support for the Server Name Indication extension (as defined in RFC 6066 [https://datatracker.ietf.org/doc/html/rfc6066.html]).

Adicionado na versão 3.2.

ssl.HAS_NPN

Whether the OpenSSL library has built-in support for the Next Protocol Negotiation as described in the Application Layer Protocol Negotiation [https://en.wikipedia.org/wiki/Application-Layer_Protocol_Negotiation]. When true, you can use the SSLContext.set_npn_protocols() method to advertise which protocols you want to support.

Adicionado na versão 3.3.

ssl.HAS_SSLv2

Whether the OpenSSL library has built-in support for the SSL 2.0 protocol.

Adicionado na versão 3.7.

ssl.HAS_SSLv3

Whether the OpenSSL library has built-in support for the SSL 3.0 protocol.

Adicionado na versão 3.7.

ssl.HAS_TLSv1

Whether the OpenSSL library has built-in support for the TLS 1.0 protocol.

Adicionado na versão 3.7.

ssl.HAS_TLSv1_1

Whether the OpenSSL library has built-in support for the TLS 1.1 protocol.

Adicionado na versão 3.7.

ssl.HAS_TLSv1_2

Whether the OpenSSL library has built-in support for the TLS 1.2 protocol.

Adicionado na versão 3.7.

ssl.HAS_TLSv1_3

Whether the OpenSSL library has built-in support for the TLS 1.3 protocol.

Adicionado na versão 3.7.

ssl.HAS_PSK

Whether the OpenSSL library has built-in support for TLS-PSK.

Adicionado na versão 3.13.

ssl.CHANNEL_BINDING_TYPES

List of supported TLS channel binding types. Strings in this list can be used as arguments to SSLSocket.get_channel_binding().

Adicionado na versão 3.3.

ssl.OPENSSL_VERSION

The version string of the OpenSSL library loaded by the interpreter:

>>> ssl.OPENSSL_VERSION
'OpenSSL 1.0.2k  26 Jan 2017'

Adicionado na versão 3.2.

ssl.OPENSSL_VERSION_INFO

A tuple of five integers representing version information about the OpenSSL library:

>>> ssl.OPENSSL_VERSION_INFO
(1, 0, 2, 11, 15)

Adicionado na versão 3.2.

ssl.OPENSSL_VERSION_NUMBER

The raw version number of the OpenSSL library, as a single integer:

>>> ssl.OPENSSL_VERSION_NUMBER
268443839
>>> hex(ssl.OPENSSL_VERSION_NUMBER)
'0x100020bf'

Adicionado na versão 3.2.

ssl.ALERT_DESCRIPTION_HANDSHAKE_FAILURE

ssl.ALERT_DESCRIPTION_INTERNAL_ERROR

ALERT_DESCRIPTION_*

Alert Descriptions from RFC 5246 [https://datatracker.ietf.org/doc/html/rfc5246.html] and others. The IANA TLS Alert Registry [https://www.iana.org/assignments/tls-parameters/tls-parameters.xml#tls-parameters-6] contains this list and references to the RFCs where their meaning is defined.

Used as the return value of the callback function in SSLContext.set_servername_callback().

Adicionado na versão 3.4.

class ssl.AlertDescription

enum.IntEnum collection of ALERT_DESCRIPTION_* constants.

Adicionado na versão 3.6.

Purpose.SERVER_AUTH

Option for create_default_context() and SSLContext.load_default_certs(). This value indicates that the context may be used to authenticate web servers (therefore, it will be used to create client-side sockets).

Adicionado na versão 3.4.

Purpose.CLIENT_AUTH

Option for create_default_context() and SSLContext.load_default_certs(). This value indicates that the context may be used to authenticate web clients (therefore, it will be used to create server-side sockets).

Adicionado na versão 3.4.

class ssl.SSLErrorNumber

enum.IntEnum collection of SSL_ERROR_* constants.

Adicionado na versão 3.6.

class ssl.TLSVersion

enum.IntEnum collection of SSL and TLS versions for SSLContext.maximum_version and SSLContext.minimum_version.

Adicionado na versão 3.7.

TLSVersion.MINIMUM_SUPPORTED

TLSVersion.MAXIMUM_SUPPORTED

The minimum or maximum supported SSL or TLS version. These are magic constants. Their values don’t reflect the lowest and highest available TLS/SSL versions.

TLSVersion.SSLv3

TLSVersion.TLSv1

TLSVersion.TLSv1_1

TLSVersion.TLSv1_2

TLSVersion.TLSv1_3

SSL 3.0 to TLS 1.3.

Obsoleto desde a versão 3.10: All TLSVersion members except TLSVersion.TLSv1_2 and TLSVersion.TLSv1_3 are deprecated.

SSL Sockets

class ssl.SSLSocket(socket.socket)

SSL sockets provide the following methods of Socket Objects:

accept()

bind()

close()

connect()

detach()

fileno()

getpeername(), getsockname()

getsockopt(), setsockopt()

gettimeout(), settimeout(), setblocking()

listen()

makefile()

recv(), recv_into() (but passing a non-zero flags argument is not allowed)

send(), sendall() (with the same limitation)

sendfile() (but os.sendfile will be used for plain-text sockets only, else send() will be used)

shutdown()

However, since the SSL (and TLS) protocol has its own framing atop of TCP, the SSL sockets abstraction can, in certain respects, diverge from the specification of normal, OS-level sockets. See especially the notes on non-blocking sockets.

Instances of SSLSocket must be created using the SSLContext.wrap_socket() method.

Alterado na versão 3.5: The sendfile() method was added.

Alterado na versão 3.5: The shutdown() does not reset the socket timeout each time bytes are received or sent. The socket timeout is now the maximum total duration of the shutdown.

Obsoleto desde a versão 3.6: It is deprecated to create a SSLSocket instance directly, use SSLContext.wrap_socket() to wrap a socket.

Alterado na versão 3.7: SSLSocket instances must to created with wrap_socket(). In earlier versions, it was possible to create instances directly. This was never documented or officially supported.

Alterado na versão 3.10: Python now uses SSL_read_ex and SSL_write_ex internally. The functions support reading and writing of data larger than 2 GB. Writing zero-length data no longer fails with a protocol violation error.

SSL sockets also have the following additional methods and attributes:

SSLSocket.read(len=1024, buffer=None)

Read up to len bytes of data from the SSL socket and return the result as a bytes instance. If buffer is specified, then read into the buffer instead, and return the number of bytes read.

Raise SSLWantReadError or SSLWantWriteError if the socket is non-blocking and the read would block.

As at any time a re-negotiation is possible, a call to read() can also cause write operations.

Alterado na versão 3.5: The socket timeout is no longer reset each time bytes are received or sent. The socket timeout is now the maximum total duration to read up to len bytes.

Obsoleto desde a versão 3.6: Use recv() instead of read().

SSLSocket.write(buf)

Write buf to the SSL socket and return the number of bytes written. The buf argument must be an object supporting the buffer interface.

Raise SSLWantReadError or SSLWantWriteError if the socket is non-blocking and the write would block.

As at any time a re-negotiation is possible, a call to write() can also cause read operations.

Alterado na versão 3.5: The socket timeout is no longer reset each time bytes are received or sent. The socket timeout is now the maximum total duration to write buf.

Obsoleto desde a versão 3.6: Use send() instead of write().

Nota

The read() and write() methods are the low-level methods that read and write unencrypted, application-level data and decrypt/encrypt it to encrypted, wire-level data. These methods require an active SSL connection, i.e. the handshake was completed and SSLSocket.unwrap() was not called.

Normally you should use the socket API methods like recv() and send() instead of these methods.

SSLSocket.do_handshake()

Perform the SSL setup handshake.

Alterado na versão 3.4: The handshake method also performs match_hostname() when the check_hostname attribute of the socket’s context is true.

Alterado na versão 3.5: The socket timeout is no longer reset each time bytes are received or sent. The socket timeout is now the maximum total duration of the handshake.

Alterado na versão 3.7: Hostname or IP address is matched by OpenSSL during handshake. The function match_hostname() is no longer used. In case OpenSSL refuses a hostname or IP address, the handshake is aborted early and a TLS alert message is sent to the peer.

SSLSocket.getpeercert(binary_form=False)

If there is no certificate for the peer on the other end of the connection, return None. If the SSL handshake hasn’t been done yet, raise ValueError.

If the binary_form parameter is False, and a certificate was received from the peer, this method returns a dict instance. If the certificate was not validated, the dict is empty. If the certificate was validated, it returns a dict with several keys, amongst them subject (the principal for which the certificate was issued) and issuer (the principal issuing the certificate). If a certificate contains an instance of the Subject Alternative Name extension (see RFC 3280 [https://datatracker.ietf.org/doc/html/rfc3280.html]), there will also be a subjectAltName key in the dictionary.

The subject and issuer fields are tuples containing the sequence of relative distinguished names (RDNs) given in the certificate’s data structure for the respective fields, and each RDN is a sequence of name-value pairs. Here is a real-world example:

{'issuer': ((('countryName', 'IL'),),
            (('organizationName', 'StartCom Ltd.'),),
            (('organizationalUnitName',
              'Secure Digital Certificate Signing'),),
            (('commonName',
              'StartCom Class 2 Primary Intermediate Server CA'),)),
 'notAfter': 'Nov 22 08:15:19 2013 GMT',
 'notBefore': 'Nov 21 03:09:52 2011 GMT',
 'serialNumber': '95F0',
 'subject': ((('description', '571208-SLe257oHY9fVQ07Z'),),
             (('countryName', 'US'),),
             (('stateOrProvinceName', 'California'),),
             (('localityName', 'San Francisco'),),
             (('organizationName', 'Electronic Frontier Foundation, Inc.'),),
             (('commonName', '*.eff.org'),),
             (('emailAddress', 'hostmaster@eff.org'),)),
 'subjectAltName': (('DNS', '*.eff.org'), ('DNS', 'eff.org')),
 'version': 3}

If the binary_form parameter is True, and a certificate was provided, this method returns the DER-encoded form of the entire certificate as a sequence of bytes, or None if the peer did not provide a certificate. Whether the peer provides a certificate depends on the SSL socket’s role:

for a client SSL socket, the server will always provide a certificate, regardless of whether validation was required;

for a server SSL socket, the client will only provide a certificate when requested by the server; therefore getpeercert() will return None if you used CERT_NONE (rather than CERT_OPTIONAL or CERT_REQUIRED).

See also SSLContext.check_hostname.

Alterado na versão 3.2: The returned dictionary includes additional items such as issuer and notBefore.

Alterado na versão 3.4: ValueError is raised when the handshake isn’t done. The returned dictionary includes additional X509v3 extension items such as crlDistributionPoints, caIssuers and OCSP URIs.

Alterado na versão 3.9: IPv6 address strings no longer have a trailing new line.

SSLSocket.get_verified_chain()

Returns verified certificate chain provided by the other end of the SSL channel as a list of DER-encoded bytes. If certificate verification was disabled method acts the same as get_unverified_chain().

Adicionado na versão 3.13.

SSLSocket.get_unverified_chain()

Returns raw certificate chain provided by the other end of the SSL channel as a list of DER-encoded bytes.

Adicionado na versão 3.13.

SSLSocket.cipher()

Returns a three-value tuple containing the name of the cipher being used, the version of the SSL protocol that defines its use, and the number of secret bits being used. If no connection has been established, returns None.

SSLSocket.shared_ciphers()

Return the list of ciphers available in both the client and server. Each entry of the returned list is a three-value tuple containing the name of the cipher, the version of the SSL protocol that defines its use, and the number of secret bits the cipher uses. shared_ciphers() returns None if no connection has been established or the socket is a client socket.

Adicionado na versão 3.5.

SSLSocket.compression()

Return the compression algorithm being used as a string, or None if the connection isn’t compressed.

If the higher-level protocol supports its own compression mechanism, you can use OP_NO_COMPRESSION to disable SSL-level compression.

Adicionado na versão 3.3.

SSLSocket.get_channel_binding(cb_type='tls-unique')

Get channel binding data for current connection, as a bytes object. Returns None if not connected or the handshake has not been completed.

The cb_type parameter allow selection of the desired channel binding type. Valid channel binding types are listed in the CHANNEL_BINDING_TYPES list. Currently only the ‘tls-unique’ channel binding, defined by RFC 5929 [https://datatracker.ietf.org/doc/html/rfc5929.html], is supported. ValueError will be raised if an unsupported channel binding type is requested.

Adicionado na versão 3.3.

SSLSocket.selected_alpn_protocol()

Return the protocol that was selected during the TLS handshake. If SSLContext.set_alpn_protocols() was not called, if the other party does not support ALPN, if this socket does not support any of the client’s proposed protocols, or if the handshake has not happened yet, None is returned.

Adicionado na versão 3.5.

SSLSocket.selected_npn_protocol()

Return the higher-level protocol that was selected during the TLS/SSL handshake. If SSLContext.set_npn_protocols() was not called, or if the other party does not support NPN, or if the handshake has not yet happened, this will return None.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.10: NPN has been superseded by ALPN

SSLSocket.unwrap()

Performs the SSL shutdown handshake, which removes the TLS layer from the underlying socket, and returns the underlying socket object. This can be used to go from encrypted operation over a connection to unencrypted. The returned socket should always be used for further communication with the other side of the connection, rather than the original socket.

SSLSocket.verify_client_post_handshake()

Requests post-handshake authentication (PHA) from a TLS 1.3 client. PHA can only be initiated for a TLS 1.3 connection from a server-side socket, after the initial TLS handshake and with PHA enabled on both sides, see SSLContext.post_handshake_auth.

The method does not perform a cert exchange immediately. The server-side sends a CertificateRequest during the next write event and expects the client to respond with a certificate on the next read event.

If any precondition isn’t met (e.g. not TLS 1.3, PHA not enabled), an SSLError is raised.

Nota

Only available with OpenSSL 1.1.1 and TLS 1.3 enabled. Without TLS 1.3 support, the method raises NotImplementedError.

Adicionado na versão 3.8.

SSLSocket.version()

Return the actual SSL protocol version negotiated by the connection as a string, or None if no secure connection is established. As of this writing, possible return values include "SSLv2", "SSLv3", "TLSv1", "TLSv1.1" and "TLSv1.2". Recent OpenSSL versions may define more return values.

Adicionado na versão 3.5.

SSLSocket.pending()

Returns the number of already decrypted bytes available for read, pending on the connection.

SSLSocket.context

The SSLContext object this SSL socket is tied to.

Adicionado na versão 3.2.

SSLSocket.server_side

A boolean which is True for server-side sockets and False for client-side sockets.

Adicionado na versão 3.2.

SSLSocket.server_hostname

Hostname of the server: str type, or None for server-side socket or if the hostname was not specified in the constructor.

Adicionado na versão 3.2.

Alterado na versão 3.7: The attribute is now always ASCII text. When server_hostname is an internationalized domain name (IDN), this attribute now stores the A-label form ("xn--pythn-mua.org"), rather than the U-label form ("pythön.org").

SSLSocket.session

The SSLSession for this SSL connection. The session is available for client and server side sockets after the TLS handshake has been performed. For client sockets the session can be set before do_handshake() has been called to reuse a session.

Adicionado na versão 3.6.

SSLSocket.session_reused

Adicionado na versão 3.6.

SSL Contexts

Adicionado na versão 3.2.

An SSL context holds various data longer-lived than single SSL connections, such as SSL configuration options, certificate(s) and private key(s). It also manages a cache of SSL sessions for server-side sockets, in order to speed up repeated connections from the same clients.

class ssl.SSLContext(protocol=None)

Create a new SSL context. You may pass protocol which must be one of the PROTOCOL_* constants defined in this module. The parameter specifies which version of the SSL protocol to use. Typically, the server chooses a particular protocol version, and the client must adapt to the server’s choice. Most of the versions are not interoperable with the other versions. If not specified, the default is PROTOCOL_TLS; it provides the most compatibility with other versions.

Here’s a table showing which versions in a client (down the side) can connect to which versions in a server (along the top):

client / server

SSLv2

SSLv3

TLS [3]

TLSv1

TLSv1.1

TLSv1.2

SSLv2

sim

não

no [1]

não

não

não

SSLv3

não

sim

no [2]

não

não

não

TLS (SSLv23) [3]

no [1]

no [2]

sim

sim

sim

sim

TLSv1

não

não

sim

sim

não

não

TLSv1.1

não

não

sim

não

sim

não

TLSv1.2

não

não

sim

não

não

sim

Notas de rodapé

[1] (1,2)

SSLContext disables SSLv2 with OP_NO_SSLv2 by default.

[2] (1,2)

SSLContext disables SSLv3 with OP_NO_SSLv3 by default.

[3] (1,2)

TLS 1.3 protocol will be available with PROTOCOL_TLS in OpenSSL >= 1.1.1. There is no dedicated PROTOCOL constant for just TLS 1.3.

Ver também

create_default_context() lets the ssl module choose security settings for a given purpose.

Alterado na versão 3.6: The context is created with secure default values. The options OP_NO_COMPRESSION, OP_CIPHER_SERVER_PREFERENCE, OP_SINGLE_DH_USE, OP_SINGLE_ECDH_USE, OP_NO_SSLv2, and OP_NO_SSLv3 (except for PROTOCOL_SSLv3) are set by default. The initial cipher suite list contains only HIGH ciphers, no NULL ciphers and no MD5 ciphers.

Obsoleto desde a versão 3.10: SSLContext without protocol argument is deprecated. The context class will either require PROTOCOL_TLS_CLIENT or PROTOCOL_TLS_SERVER protocol in the future.

Alterado na versão 3.10: The default cipher suites now include only secure AES and ChaCha20 ciphers with forward secrecy and security level 2. RSA and DH keys with less than 2048 bits and ECC keys with less than 224 bits are prohibited. PROTOCOL_TLS, PROTOCOL_TLS_CLIENT, and PROTOCOL_TLS_SERVER use TLS 1.2 as minimum TLS version.

Nota

SSLContext only supports limited mutation once it has been used by a connection. Adding new certificates to the internal trust store is allowed, but changing ciphers, verification settings, or mTLS certificates may result in surprising behavior.

Nota

SSLContext is designed to be shared and used by multiple connections. Thus, it is thread-safe as long as it is not reconfigured after being used by a connection.

SSLContext objects have the following methods and attributes:

SSLContext.cert_store_stats()

Get statistics about quantities of loaded X.509 certificates, count of X.509 certificates flagged as CA certificates and certificate revocation lists as dictionary.

Example for a context with one CA cert and one other cert:

>>> context.cert_store_stats()
{'crl': 0, 'x509_ca': 1, 'x509': 2}

Adicionado na versão 3.4.

SSLContext.load_cert_chain(certfile, keyfile=None, password=None)

Load a private key and the corresponding certificate. The certfile string must be the path to a single file in PEM format containing the certificate as well as any number of CA certificates needed to establish the certificate’s authenticity. The keyfile string, if present, must point to a file containing the private key. Otherwise the private key will be taken from certfile as well. See the discussion of Certificados for more information on how the certificate is stored in the certfile.

The password argument may be a function to call to get the password for decrypting the private key. It will only be called if the private key is encrypted and a password is necessary. It will be called with no arguments, and it should return a string, bytes, or bytearray. If the return value is a string it will be encoded as UTF-8 before using it to decrypt the key. Alternatively a string, bytes, or bytearray value may be supplied directly as the password argument. It will be ignored if the private key is not encrypted and no password is needed.

If the password argument is not specified and a password is required, OpenSSL’s built-in password prompting mechanism will be used to interactively prompt the user for a password.

An SSLError is raised if the private key doesn’t match with the certificate.

Alterado na versão 3.3: New optional argument password.

SSLContext.load_default_certs(purpose=Purpose.SERVER_AUTH)

Load a set of default “certification authority” (CA) certificates from default locations. On Windows it loads CA certs from the CA and ROOT system stores. On all systems it calls SSLContext.set_default_verify_paths(). In the future the method may load CA certificates from other locations, too.

The purpose flag specifies what kind of CA certificates are loaded. The default settings Purpose.SERVER_AUTH loads certificates, that are flagged and trusted for TLS web server authentication (client side sockets). Purpose.CLIENT_AUTH loads CA certificates for client certificate verification on the server side.

Adicionado na versão 3.4.

SSLContext.load_verify_locations(cafile=None, capath=None, cadata=None)

Load a set of “certification authority” (CA) certificates used to validate other peers’ certificates when verify_mode is other than CERT_NONE. At least one of cafile or capath must be specified.

This method can also load certification revocation lists (CRLs) in PEM or DER format. In order to make use of CRLs, SSLContext.verify_flags must be configured properly.

The cafile string, if present, is the path to a file of concatenated CA certificates in PEM format. See the discussion of Certificados for more information about how to arrange the certificates in this file.

The capath string, if present, is the path to a directory containing several CA certificates in PEM format, following an OpenSSL specific layout [https://docs.openssl.org/master/man3/SSL_CTX_load_verify_locations/].

The cadata object, if present, is either an ASCII string of one or more PEM-encoded certificates or a bytes-like object of DER-encoded certificates. Like with capath extra lines around PEM-encoded certificates are ignored but at least one certificate must be present.

Alterado na versão 3.4: New optional argument cadata

SSLContext.get_ca_certs(binary_form=False)

Get a list of loaded “certification authority” (CA) certificates. If the binary_form parameter is False each list entry is a dict like the output of SSLSocket.getpeercert(). Otherwise the method returns a list of DER-encoded certificates. The returned list does not contain certificates from capath unless a certificate was requested and loaded by a SSL connection.

Nota

Certificates in a capath directory aren’t loaded unless they have been used at least once.

Adicionado na versão 3.4.

SSLContext.get_ciphers()

Get a list of enabled ciphers. The list is in order of cipher priority. See SSLContext.set_ciphers().

Exemplo:

>>> ctx = ssl.SSLContext(ssl.PROTOCOL_SSLv23)
>>> ctx.set_ciphers('ECDHE+AESGCM:!ECDSA')
>>> ctx.get_ciphers()
[{'aead': True,
  'alg_bits': 256,
  'auth': 'auth-rsa',
  'description': 'ECDHE-RSA-AES256-GCM-SHA384 TLSv1.2 Kx=ECDH     Au=RSA  '
                 'Enc=AESGCM(256) Mac=AEAD',
  'digest': None,
  'id': 50380848,
  'kea': 'kx-ecdhe',
  'name': 'ECDHE-RSA-AES256-GCM-SHA384',
  'protocol': 'TLSv1.2',
  'strength_bits': 256,
  'symmetric': 'aes-256-gcm'},
 {'aead': True,
  'alg_bits': 128,
  'auth': 'auth-rsa',
  'description': 'ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 Kx=ECDH     Au=RSA  '
                 'Enc=AESGCM(128) Mac=AEAD',
  'digest': None,
  'id': 50380847,
  'kea': 'kx-ecdhe',
  'name': 'ECDHE-RSA-AES128-GCM-SHA256',
  'protocol': 'TLSv1.2',
  'strength_bits': 128,
  'symmetric': 'aes-128-gcm'}]

Adicionado na versão 3.6.

SSLContext.set_default_verify_paths()

Load a set of default “certification authority” (CA) certificates from a filesystem path defined when building the OpenSSL library. Unfortunately, there’s no easy way to know whether this method succeeds: no error is returned if no certificates are to be found. When the OpenSSL library is provided as part of the operating system, though, it is likely to be configured properly.

SSLContext.set_ciphers(ciphers)

Set the available ciphers for sockets created with this context. It should be a string in the OpenSSL cipher list format [https://docs.openssl.org/master/man1/ciphers/]. If no cipher can be selected (because compile-time options or other configuration forbids use of all the specified ciphers), an SSLError will be raised.

Nota

when connected, the SSLSocket.cipher() method of SSL sockets will give the currently selected cipher.

TLS 1.3 cipher suites cannot be disabled with set_ciphers().

SSLContext.set_alpn_protocols(protocols)

Specify which protocols the socket should advertise during the SSL/TLS handshake. It should be a list of ASCII strings, like ['http/1.1', 'spdy/2'], ordered by preference. The selection of a protocol will happen during the handshake, and will play out according to RFC 7301 [https://datatracker.ietf.org/doc/html/rfc7301.html]. After a successful handshake, the SSLSocket.selected_alpn_protocol() method will return the agreed-upon protocol.

This method will raise NotImplementedError if HAS_ALPN is False.

Adicionado na versão 3.5.

SSLContext.set_npn_protocols(protocols)

Specify which protocols the socket should advertise during the SSL/TLS handshake. It should be a list of strings, like ['http/1.1', 'spdy/2'], ordered by preference. The selection of a protocol will happen during the handshake, and will play out according to the Application Layer Protocol Negotiation [https://en.wikipedia.org/wiki/Application-Layer_Protocol_Negotiation]. After a successful handshake, the SSLSocket.selected_npn_protocol() method will return the agreed-upon protocol.

This method will raise NotImplementedError if HAS_NPN is False.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.10: NPN has been superseded by ALPN

SSLContext.sni_callback

Register a callback function that will be called after the TLS Client Hello handshake message has been received by the SSL/TLS server when the TLS client specifies a server name indication. The server name indication mechanism is specified in RFC 6066 [https://datatracker.ietf.org/doc/html/rfc6066.html] section 3 - Server Name Indication.

Only one callback can be set per SSLContext. If sni_callback is set to None then the callback is disabled. Calling this function a subsequent time will disable the previously registered callback.

The callback function will be called with three arguments; the first being the ssl.SSLSocket, the second is a string that represents the server name that the client is intending to communicate (or None if the TLS Client Hello does not contain a server name) and the third argument is the original SSLContext. The server name argument is text. For internationalized domain name, the server name is an IDN A-label ("xn--pythn-mua.org").

A typical use of this callback is to change the ssl.SSLSocket’s SSLSocket.context attribute to a new object of type SSLContext representing a certificate chain that matches the server name.

Due to the early negotiation phase of the TLS connection, only limited methods and attributes are usable like SSLSocket.selected_alpn_protocol() and SSLSocket.context. The SSLSocket.getpeercert(), SSLSocket.get_verified_chain(), SSLSocket.get_unverified_chain() SSLSocket.cipher() and SSLSocket.compression() methods require that the TLS connection has progressed beyond the TLS Client Hello and therefore will not return meaningful values nor can they be called safely.

The sni_callback function must return None to allow the TLS negotiation to continue. If a TLS failure is required, a constant ALERT_DESCRIPTION_* can be returned. Other return values will result in a TLS fatal error with ALERT_DESCRIPTION_INTERNAL_ERROR.

If an exception is raised from the sni_callback function the TLS connection will terminate with a fatal TLS alert message ALERT_DESCRIPTION_HANDSHAKE_FAILURE.

This method will raise NotImplementedError if the OpenSSL library had OPENSSL_NO_TLSEXT defined when it was built.

Adicionado na versão 3.7.

SSLContext.set_servername_callback(server_name_callback)

This is a legacy API retained for backwards compatibility. When possible, you should use sni_callback instead. The given server_name_callback is similar to sni_callback, except that when the server hostname is an IDN-encoded internationalized domain name, the server_name_callback receives a decoded U-label ("pythön.org").

If there is a decoding error on the server name, the TLS connection will terminate with an ALERT_DESCRIPTION_INTERNAL_ERROR fatal TLS alert message to the client.

Adicionado na versão 3.4.

SSLContext.load_dh_params(dhfile)

Load the key generation parameters for Diffie-Hellman (DH) key exchange. Using DH key exchange improves forward secrecy at the expense of computational resources (both on the server and on the client). The dhfile parameter should be the path to a file containing DH parameters in PEM format.

This setting doesn’t apply to client sockets. You can also use the OP_SINGLE_DH_USE option to further improve security.

Adicionado na versão 3.3.

SSLContext.set_ecdh_curve(curve_name)

Set the curve name for Elliptic Curve-based Diffie-Hellman (ECDH) key exchange. ECDH is significantly faster than regular DH while arguably as secure. The curve_name parameter should be a string describing a well-known elliptic curve, for example prime256v1 for a widely supported curve.

This setting doesn’t apply to client sockets. You can also use the OP_SINGLE_ECDH_USE option to further improve security.

This method is not available if HAS_ECDH is False.

Adicionado na versão 3.3.

Ver também

SSL/TLS & Perfect Forward Secrecy [https://vincent.bernat.ch/en/blog/2011-ssl-perfect-forward-secrecy]

Vincent Bernat.

SSLContext.wrap_socket(sock, server_side=False, do_handshake_on_connect=True, suppress_ragged_eofs=True, server_hostname=None, session=None)

Wrap an existing Python socket sock and return an instance of SSLContext.sslsocket_class (default SSLSocket). The returned SSL socket is tied to the context, its settings and certificates. sock must be a SOCK_STREAM socket; other socket types are unsupported.

The parameter server_side is a boolean which identifies whether server-side or client-side behavior is desired from this socket.

For client-side sockets, the context construction is lazy; if the underlying socket isn’t connected yet, the context construction will be performed after connect() is called on the socket. For server-side sockets, if the socket has no remote peer, it is assumed to be a listening socket, and the server-side SSL wrapping is automatically performed on client connections accepted via the accept() method. The method may raise SSLError.

On client connections, the optional parameter server_hostname specifies the hostname of the service which we are connecting to. This allows a single server to host multiple SSL-based services with distinct certificates, quite similarly to HTTP virtual hosts. Specifying server_hostname will raise a ValueError if server_side is true.

The parameter do_handshake_on_connect specifies whether to do the SSL handshake automatically after doing a socket.connect(), or whether the application program will call it explicitly, by invoking the SSLSocket.do_handshake() method. Calling SSLSocket.do_handshake() explicitly gives the program control over the blocking behavior of the socket I/O involved in the handshake.

The parameter suppress_ragged_eofs specifies how the SSLSocket.recv() method should signal unexpected EOF from the other end of the connection. If specified as True (the default), it returns a normal EOF (an empty bytes object) in response to unexpected EOF errors raised from the underlying socket; if False, it will raise the exceptions back to the caller.

session, see session.

To wrap an SSLSocket in another SSLSocket, use SSLContext.wrap_bio().

Alterado na versão 3.5: Always allow a server_hostname to be passed, even if OpenSSL does not have SNI.

Alterado na versão 3.6: o argumento session foi adicionado.

Alterado na versão 3.7: The method returns an instance of SSLContext.sslsocket_class instead of hard-coded SSLSocket.

SSLContext.sslsocket_class

The return type of SSLContext.wrap_socket(), defaults to SSLSocket. The attribute can be overridden on instance of class in order to return a custom subclass of SSLSocket.

Adicionado na versão 3.7.

SSLContext.wrap_bio(incoming, outgoing, server_side=False, server_hostname=None, session=None)

Wrap the BIO objects incoming and outgoing and return an instance of SSLContext.sslobject_class (default SSLObject). The SSL routines will read input data from the incoming BIO and write data to the outgoing BIO.

The server_side, server_hostname and session parameters have the same meaning as in SSLContext.wrap_socket().

Alterado na versão 3.6: o argumento session foi adicionado.

Alterado na versão 3.7: The method returns an instance of SSLContext.sslobject_class instead of hard-coded SSLObject.

SSLContext.sslobject_class

The return type of SSLContext.wrap_bio(), defaults to SSLObject. The attribute can be overridden on instance of class in order to return a custom subclass of SSLObject.

Adicionado na versão 3.7.

SSLContext.session_stats()

Get statistics about the SSL sessions created or managed by this context. A dictionary is returned which maps the names of each piece of information [https://docs.openssl.org/1.1.1/man3/SSL_CTX_sess_number/] to their numeric values. For example, here is the total number of hits and misses in the session cache since the context was created:

>>> stats = context.session_stats()
>>> stats['hits'], stats['misses']
(0, 0)

SSLContext.check_hostname

Whether to match the peer cert’s hostname in SSLSocket.do_handshake(). The context’s verify_mode must be set to CERT_OPTIONAL or CERT_REQUIRED, and you must pass server_hostname to wrap_socket() in order to match the hostname. Enabling hostname checking automatically sets verify_mode from CERT_NONE to CERT_REQUIRED. It cannot be set back to CERT_NONE as long as hostname checking is enabled. The PROTOCOL_TLS_CLIENT protocol enables hostname checking by default. With other protocols, hostname checking must be enabled explicitly.

Exemplo:

import socket, ssl

context = ssl.SSLContext(ssl.PROTOCOL_TLSv1_2)
context.verify_mode = ssl.CERT_REQUIRED
context.check_hostname = True
context.load_default_certs()

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
ssl_sock = context.wrap_socket(s, server_hostname='www.verisign.com')
ssl_sock.connect(('www.verisign.com', 443))

Adicionado na versão 3.4.

Alterado na versão 3.7: verify_mode is now automatically changed to CERT_REQUIRED when hostname checking is enabled and verify_mode is CERT_NONE. Previously the same operation would have failed with a ValueError.

SSLContext.keylog_filename

Write TLS keys to a keylog file, whenever key material is generated or received. The keylog file is designed for debugging purposes only. The file format is specified by NSS and used by many traffic analyzers such as Wireshark. The log file is opened in append-only mode. Writes are synchronized between threads, but not between processes.

Adicionado na versão 3.8.

SSLContext.maximum_version

A TLSVersion enum member representing the highest supported TLS version. The value defaults to TLSVersion.MAXIMUM_SUPPORTED. The attribute is read-only for protocols other than PROTOCOL_TLS, PROTOCOL_TLS_CLIENT, and PROTOCOL_TLS_SERVER.

The attributes maximum_version, minimum_version and SSLContext.options all affect the supported SSL and TLS versions of the context. The implementation does not prevent invalid combination. For example a context with OP_NO_TLSv1_2 in options and maximum_version set to TLSVersion.TLSv1_2 will not be able to establish a TLS 1.2 connection.

Adicionado na versão 3.7.

SSLContext.minimum_version

Like SSLContext.maximum_version except it is the lowest supported version or TLSVersion.MINIMUM_SUPPORTED.

Adicionado na versão 3.7.

SSLContext.num_tickets

Control the number of TLS 1.3 session tickets of a PROTOCOL_TLS_SERVER context. The setting has no impact on TLS 1.0 to 1.2 connections.

Adicionado na versão 3.8.

SSLContext.options

An integer representing the set of SSL options enabled on this context. The default value is OP_ALL, but you can specify other options such as OP_NO_SSLv2 by ORing them together.

Alterado na versão 3.6: SSLContext.options returns Options flags:

>>> ssl.create_default_context().options
<Options.OP_ALL|OP_NO_SSLv3|OP_NO_SSLv2|OP_NO_COMPRESSION: 2197947391>

Obsoleto desde a versão 3.7: All OP_NO_SSL* and OP_NO_TLS* options have been deprecated since Python 3.7. Use SSLContext.minimum_version and SSLContext.maximum_version instead.

SSLContext.post_handshake_auth

Enable TLS 1.3 post-handshake client authentication. Post-handshake auth is disabled by default and a server can only request a TLS client certificate during the initial handshake. When enabled, a server may request a TLS client certificate at any time after the handshake.

When enabled on client-side sockets, the client signals the server that it supports post-handshake authentication.

When enabled on server-side sockets, SSLContext.verify_mode must be set to CERT_OPTIONAL or CERT_REQUIRED, too. The actual client cert exchange is delayed until SSLSocket.verify_client_post_handshake() is called and some I/O is performed.

Adicionado na versão 3.8.

SSLContext.protocol

The protocol version chosen when constructing the context. This attribute is read-only.

SSLContext.hostname_checks_common_name

Whether check_hostname falls back to verify the cert’s subject common name in the absence of a subject alternative name extension (default: true).

Adicionado na versão 3.7.

Alterado na versão 3.10: The flag had no effect with OpenSSL before version 1.1.1l. Python 3.8.9, 3.9.3, and 3.10 include workarounds for previous versions.

SSLContext.security_level

An integer representing the security level [https://docs.openssl.org/master/man3/SSL_CTX_get_security_level/] for the context. This attribute is read-only.

Adicionado na versão 3.10.

SSLContext.verify_flags

The flags for certificate verification operations. You can set flags like VERIFY_CRL_CHECK_LEAF by ORing them together. By default OpenSSL does neither require nor verify certificate revocation lists (CRLs).

Adicionado na versão 3.4.

Alterado na versão 3.6: SSLContext.verify_flags returns VerifyFlags flags:

>>> ssl.create_default_context().verify_flags
<VerifyFlags.VERIFY_X509_TRUSTED_FIRST: 32768>

SSLContext.verify_mode

Whether to try to verify other peers’ certificates and how to behave if verification fails. This attribute must be one of CERT_NONE, CERT_OPTIONAL or CERT_REQUIRED.

Alterado na versão 3.6: SSLContext.verify_mode returns VerifyMode enum:

>>> ssl.create_default_context().verify_mode
<VerifyMode.CERT_REQUIRED: 2>

SSLContext.set_psk_client_callback(callback)

Enables TLS-PSK (pre-shared key) authentication on a client-side connection.

In general, certificate based authentication should be preferred over this method.

The parameter callback is a callable object with the signature: def callback(hint: str | None) -> tuple[str | None, bytes]. The hint parameter is an optional identity hint sent by the server. The return value is a tuple in the form (client-identity, psk). Client-identity is an optional string which may be used by the server to select a corresponding PSK for the client. The string must be less than or equal to 256 octets when UTF-8 encoded. PSK is a bytes-like object representing the pre-shared key. Return a zero length PSK to reject the connection.

Setting callback to None removes any existing callback.

Nota

When using TLS 1.3:

the hint parameter is always None.

client-identity must be a non-empty string.

Exemplo de uso:

context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
context.check_hostname = False
context.verify_mode = ssl.CERT_NONE
context.maximum_version = ssl.TLSVersion.TLSv1_2
context.set_ciphers('PSK')

# A simple lambda:
psk = bytes.fromhex('c0ffee')
context.set_psk_client_callback(lambda hint: (None, psk))

# A table using the hint from the server:
psk_table = { 'ServerId_1': bytes.fromhex('c0ffee'),
              'ServerId_2': bytes.fromhex('facade')
}
def callback(hint):
    return 'ClientId_1', psk_table.get(hint, b'')
context.set_psk_client_callback(callback)

This method will raise NotImplementedError if HAS_PSK is False.

Adicionado na versão 3.13.

SSLContext.set_psk_server_callback(callback, identity_hint=None)

Enables TLS-PSK (pre-shared key) authentication on a server-side connection.

In general, certificate based authentication should be preferred over this method.

The parameter callback is a callable object with the signature: def callback(identity: str | None) -> bytes. The identity parameter is an optional identity sent by the client which can be used to select a corresponding PSK. The return value is a bytes-like object representing the pre-shared key. Return a zero length PSK to reject the connection.

Setting callback to None removes any existing callback.

The parameter identity_hint is an optional identity hint string sent to the client. The string must be less than or equal to 256 octets when UTF-8 encoded.

Nota

When using TLS 1.3 the identity_hint parameter is not sent to the client.

Exemplo de uso:

context = ssl.SSLContext(ssl.PROTOCOL_TLS_SERVER)
context.maximum_version = ssl.TLSVersion.TLSv1_2
context.set_ciphers('PSK')

# A simple lambda:
psk = bytes.fromhex('c0ffee')
context.set_psk_server_callback(lambda identity: psk)

# A table using the identity of the client:
psk_table = { 'ClientId_1': bytes.fromhex('c0ffee'),
              'ClientId_2': bytes.fromhex('facade')
}
def callback(identity):
    return psk_table.get(identity, b'')
context.set_psk_server_callback(callback, 'ServerId_1')

This method will raise NotImplementedError if HAS_PSK is False.

Adicionado na versão 3.13.

Certificados

Certificates in general are part of a public-key / private-key system. In this system, each principal, (which may be a machine, or a person, or an organization) is assigned a unique two-part encryption key. One part of the key is public, and is called the public key; the other part is kept secret, and is called the private key. The two parts are related, in that if you encrypt a message with one of the parts, you can decrypt it with the other part, and only with the other part.

A certificate contains information about two principals. It contains the name of a subject, and the subject’s public key. It also contains a statement by a second principal, the issuer, that the subject is who they claim to be, and that this is indeed the subject’s public key. The issuer’s statement is signed with the issuer’s private key, which only the issuer knows. However, anyone can verify the issuer’s statement by finding the issuer’s public key, decrypting the statement with it, and comparing it to the other information in the certificate. The certificate also contains information about the time period over which it is valid. This is expressed as two fields, called “notBefore” and “notAfter”.

In the Python use of certificates, a client or server can use a certificate to prove who they are. The other side of a network connection can also be required to produce a certificate, and that certificate can be validated to the satisfaction of the client or server that requires such validation. The connection attempt can be set to raise an exception if the validation fails. Validation is done automatically, by the underlying OpenSSL framework; the application need not concern itself with its mechanics. But the application does usually need to provide sets of certificates to allow this process to take place.

Python uses files to contain certificates. They should be formatted as “PEM” (see RFC 1422 [https://datatracker.ietf.org/doc/html/rfc1422.html]), which is a base-64 encoded form wrapped with a header line and a footer line:

-----BEGIN CERTIFICATE-----
... (certificate in base64 PEM encoding) ...
-----END CERTIFICATE-----

Certificate chains

The Python files which contain certificates can contain a sequence of certificates, sometimes called a certificate chain. This chain should start with the specific certificate for the principal who “is” the client or server, and then the certificate for the issuer of that certificate, and then the certificate for the issuer of that certificate, and so on up the chain till you get to a certificate which is self-signed, that is, a certificate which has the same subject and issuer, sometimes called a root certificate. The certificates should just be concatenated together in the certificate file. For example, suppose we had a three certificate chain, from our server certificate to the certificate of the certification authority that signed our server certificate, to the root certificate of the agency which issued the certification authority’s certificate:

-----BEGIN CERTIFICATE-----
... (certificate for your server)...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
... (the certificate for the CA)...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
... (the root certificate for the CA's issuer)...
-----END CERTIFICATE-----

CA certificates

If you are going to require validation of the other side of the connection’s certificate, you need to provide a “CA certs” file, filled with the certificate chains for each issuer you are willing to trust. Again, this file just contains these chains concatenated together. For validation, Python will use the first chain it finds in the file which matches. The platform’s certificates file can be used by calling SSLContext.load_default_certs(), this is done automatically with create_default_context().

Combined key and certificate

Often the private key is stored in the same file as the certificate; in this case, only the certfile parameter to SSLContext.load_cert_chain() needs to be passed. If the private key is stored with the certificate, it should come before the first certificate in the certificate chain:

-----BEGIN RSA PRIVATE KEY-----
... (private key in base64 encoding) ...
-----END RSA PRIVATE KEY-----
-----BEGIN CERTIFICATE-----
... (certificate in base64 PEM encoding) ...
-----END CERTIFICATE-----

Self-signed certificates

If you are going to create a server that provides SSL-encrypted connection services, you will need to acquire a certificate for that service. There are many ways of acquiring appropriate certificates, such as buying one from a certification authority. Another common practice is to generate a self-signed certificate. The simplest way to do this is with the OpenSSL package, using something like the following:

% openssl req -new -x509 -days 365 -nodes -out cert.pem -keyout cert.pem
Generating a 1024 bit RSA private key
.......++++++
.............................++++++
writing new private key to 'cert.pem'
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:US
State or Province Name (full name) [Some-State]:MyState
Locality Name (eg, city) []:Some City
Organization Name (eg, company) [Internet Widgits Pty Ltd]:My Organization, Inc.
Organizational Unit Name (eg, section) []:My Group
Common Name (eg, YOUR name) []:myserver.mygroup.myorganization.com
Email Address []:ops@myserver.mygroup.myorganization.com
%

The disadvantage of a self-signed certificate is that it is its own root certificate, and no one else will have it in their cache of known (and trusted) root certificates.

Exemplos

Testing for SSL support

To test for the presence of SSL support in a Python installation, user code should use the following idiom:

try:
    import ssl
except ImportError:
    pass
else:
    ...  # do something that requires SSL support

Client-side operation

This example creates a SSL context with the recommended security settings for client sockets, including automatic certificate verification:

>>> context = ssl.create_default_context()

If you prefer to tune security settings yourself, you might create a context from scratch (but beware that you might not get the settings right):

>>> context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
>>> context.load_verify_locations("/etc/ssl/certs/ca-bundle.crt")

(this snippet assumes your operating system places a bundle of all CA certificates in /etc/ssl/certs/ca-bundle.crt; if not, you’ll get an error and have to adjust the location)

The PROTOCOL_TLS_CLIENT protocol configures the context for cert validation and hostname verification. verify_mode is set to CERT_REQUIRED and check_hostname is set to True. All other protocols create SSL contexts with insecure defaults.

When you use the context to connect to a server, CERT_REQUIRED and check_hostname validate the server certificate: it ensures that the server certificate was signed with one of the CA certificates, checks the signature for correctness, and verifies other properties like validity and identity of the hostname:

>>> conn = context.wrap_socket(socket.socket(socket.AF_INET),
...                            server_hostname="www.python.org")
>>> conn.connect(("www.python.org", 443))

You may then fetch the certificate:

>>> cert = conn.getpeercert()

Visual inspection shows that the certificate does identify the desired service (that is, the HTTPS host www.python.org):

>>> pprint.pprint(cert)
{'OCSP': ('http://ocsp.digicert.com',),
 'caIssuers': ('http://cacerts.digicert.com/DigiCertSHA2ExtendedValidationServerCA.crt',),
 'crlDistributionPoints': ('http://crl3.digicert.com/sha2-ev-server-g1.crl',
                           'http://crl4.digicert.com/sha2-ev-server-g1.crl'),
 'issuer': ((('countryName', 'US'),),
            (('organizationName', 'DigiCert Inc'),),
            (('organizationalUnitName', 'www.digicert.com'),),
            (('commonName', 'DigiCert SHA2 Extended Validation Server CA'),)),
 'notAfter': 'Sep  9 12:00:00 2016 GMT',
 'notBefore': 'Sep  5 00:00:00 2014 GMT',
 'serialNumber': '01BB6F00122B177F36CAB49CEA8B6B26',
 'subject': ((('businessCategory', 'Private Organization'),),
             (('1.3.6.1.4.1.311.60.2.1.3', 'US'),),
             (('1.3.6.1.4.1.311.60.2.1.2', 'Delaware'),),
             (('serialNumber', '3359300'),),
             (('streetAddress', '16 Allen Rd'),),
             (('postalCode', '03894-4801'),),
             (('countryName', 'US'),),
             (('stateOrProvinceName', 'NH'),),
             (('localityName', 'Wolfeboro'),),
             (('organizationName', 'Python Software Foundation'),),
             (('commonName', 'www.python.org'),)),
 'subjectAltName': (('DNS', 'www.python.org'),
                    ('DNS', 'python.org'),
                    ('DNS', 'pypi.org'),
                    ('DNS', 'docs.python.org'),
                    ('DNS', 'testpypi.org'),
                    ('DNS', 'bugs.python.org'),
                    ('DNS', 'wiki.python.org'),
                    ('DNS', 'hg.python.org'),
                    ('DNS', 'mail.python.org'),
                    ('DNS', 'packaging.python.org'),
                    ('DNS', 'pythonhosted.org'),
                    ('DNS', 'www.pythonhosted.org'),
                    ('DNS', 'test.pythonhosted.org'),
                    ('DNS', 'us.pycon.org'),
                    ('DNS', 'id.python.org')),
 'version': 3}

Now the SSL channel is established and the certificate verified, you can proceed to talk with the server:

>>> conn.sendall(b"HEAD / HTTP/1.0\r\nHost: linuxfr.org\r\n\r\n")
>>> pprint.pprint(conn.recv(1024).split(b"\r\n"))
[b'HTTP/1.1 200 OK',
 b'Date: Sat, 18 Oct 2014 18:27:20 GMT',
 b'Server: nginx',
 b'Content-Type: text/html; charset=utf-8',
 b'X-Frame-Options: SAMEORIGIN',
 b'Content-Length: 45679',
 b'Accept-Ranges: bytes',
 b'Via: 1.1 varnish',
 b'Age: 2188',
 b'X-Served-By: cache-lcy1134-LCY',
 b'X-Cache: HIT',
 b'X-Cache-Hits: 11',
 b'Vary: Cookie',
 b'Strict-Transport-Security: max-age=63072000; includeSubDomains',
 b'Connection: close',
 b'',
 b'']

See the discussion of Considerações de segurança below.

Server-side operation

For server operation, typically you’ll need to have a server certificate, and private key, each in a file. You’ll first create a context holding the key and the certificate, so that clients can check your authenticity. Then you’ll open a socket, bind it to a port, call listen() on it, and start waiting for clients to connect:

import socket, ssl

context = ssl.create_default_context(ssl.Purpose.CLIENT_AUTH)
context.load_cert_chain(certfile="mycertfile", keyfile="mykeyfile")

bindsocket = socket.socket()
bindsocket.bind(('myaddr.example.com', 10023))
bindsocket.listen(5)

When a client connects, you’ll call accept() on the socket to get the new socket from the other end, and use the context’s SSLContext.wrap_socket() method to create a server-side SSL socket for the connection:

while True:
    newsocket, fromaddr = bindsocket.accept()
    connstream = context.wrap_socket(newsocket, server_side=True)
    try:
        deal_with_client(connstream)
    finally:
        connstream.shutdown(socket.SHUT_RDWR)
        connstream.close()

Then you’ll read data from the connstream and do something with it till you are finished with the client (or the client is finished with you):

def deal_with_client(connstream):
    data = connstream.recv(1024)
    # empty data means the client is finished with us
    while data:
        if not do_something(connstream, data):
            # we'll assume do_something returns False
            # when we're finished with client
            break
        data = connstream.recv(1024)
    # finished with client

And go back to listening for new client connections (of course, a real server would probably handle each client connection in a separate thread, or put the sockets in non-blocking mode and use an event loop).

Notes on non-blocking sockets

SSL sockets behave slightly different than regular sockets in non-blocking mode. When working with non-blocking sockets, there are thus several things you need to be aware of:

Most SSLSocket methods will raise either SSLWantWriteError or SSLWantReadError instead of BlockingIOError if an I/O operation would block. SSLWantReadError will be raised if a read operation on the underlying socket is necessary, and SSLWantWriteError for a write operation on the underlying socket. Note that attempts to write to an SSL socket may require reading from the underlying socket first, and attempts to read from the SSL socket may require a prior write to the underlying socket.

Alterado na versão 3.5: In earlier Python versions, the SSLSocket.send() method returned zero instead of raising SSLWantWriteError or SSLWantReadError.

Calling select() tells you that the OS-level socket can be read from (or written to), but it does not imply that there is sufficient data at the upper SSL layer. For example, only part of an SSL frame might have arrived. Therefore, you must be ready to handle SSLSocket.recv() and SSLSocket.send() failures, and retry after another call to select().

Conversely, since the SSL layer has its own framing, a SSL socket may still have data available for reading without select() being aware of it. Therefore, you should first call SSLSocket.recv() to drain any potentially available data, and then only block on a select() call if still necessary.

(of course, similar provisions apply when using other primitives such as poll(), or those in the selectors module)

The SSL handshake itself will be non-blocking: the SSLSocket.do_handshake() method has to be retried until it returns successfully. Here is a synopsis using select() to wait for the socket’s readiness:

while True:
    try:
        sock.do_handshake()
        break
    except ssl.SSLWantReadError:
        select.select([sock], [], [])
    except ssl.SSLWantWriteError:
        select.select([], [sock], [])

Ver também

The asyncio module supports non-blocking SSL sockets and provides a higher level API. It polls for events using the selectors module and handles SSLWantWriteError, SSLWantReadError and BlockingIOError exceptions. It runs the SSL handshake asynchronously as well.

Memory BIO Support

Adicionado na versão 3.5.

Ever since the SSL module was introduced in Python 2.6, the SSLSocket class has provided two related but distinct areas of functionality:

SSL protocol handling

Network IO

The network IO API is identical to that provided by socket.socket, from which SSLSocket also inherits. This allows an SSL socket to be used as a drop-in replacement for a regular socket, making it very easy to add SSL support to an existing application.

Combining SSL protocol handling and network IO usually works well, but there are some cases where it doesn’t. An example is async IO frameworks that want to use a different IO multiplexing model than the “select/poll on a file descriptor” (readiness based) model that is assumed by socket.socket and by the internal OpenSSL socket IO routines. This is mostly relevant for platforms like Windows where this model is not efficient. For this purpose, a reduced scope variant of SSLSocket called SSLObject is provided.

class ssl.SSLObject

A reduced-scope variant of SSLSocket representing an SSL protocol instance that does not contain any network IO methods. This class is typically used by framework authors that want to implement asynchronous IO for SSL through memory buffers.

This class implements an interface on top of a low-level SSL object as implemented by OpenSSL. This object captures the state of an SSL connection but does not provide any network IO itself. IO needs to be performed through separate “BIO” objects which are OpenSSL’s IO abstraction layer.

This class has no public constructor. An SSLObject instance must be created using the wrap_bio() method. This method will create the SSLObject instance and bind it to a pair of BIOs. The incoming BIO is used to pass data from Python to the SSL protocol instance, while the outgoing BIO is used to pass data the other way around.

The following methods are available:

context

server_side

server_hostname

session

session_reused

read()

write()

getpeercert()

get_verified_chain()

get_unverified_chain()

selected_alpn_protocol()

selected_npn_protocol()

cipher()

shared_ciphers()

compression()

pending()

do_handshake()

verify_client_post_handshake()

unwrap()

get_channel_binding()

version()

When compared to SSLSocket, this object lacks the following features:

Any form of network IO; recv() and send() read and write only to the underlying MemoryBIO buffers.

There is no do_handshake_on_connect machinery. You must always manually call do_handshake() to start the handshake.

There is no handling of suppress_ragged_eofs. All end-of-file conditions that are in violation of the protocol are reported via the SSLEOFError exception.

The method unwrap() call does not return anything, unlike for an SSL socket where it returns the underlying socket.

The server_name_callback callback passed to SSLContext.set_servername_callback() will get an SSLObject instance instead of a SSLSocket instance as its first parameter.

Some notes related to the use of SSLObject:

All IO on an SSLObject is non-blocking. This means that for example read() will raise an SSLWantReadError if it needs more data than the incoming BIO has available.

Alterado na versão 3.7: SSLObject instances must be created with wrap_bio(). In earlier versions, it was possible to create instances directly. This was never documented or officially supported.

An SSLObject communicates with the outside world using memory buffers. The class MemoryBIO provides a memory buffer that can be used for this purpose. It wraps an OpenSSL memory BIO (Basic IO) object:

class ssl.MemoryBIO

A memory buffer that can be used to pass data between Python and an SSL protocol instance.

pending

Return the number of bytes currently in the memory buffer.

eof

A boolean indicating whether the memory BIO is current at the end-of-file position.

read(n=-1)

Read up to n bytes from the memory buffer. If n is not specified or negative, all bytes are returned.

write(buf)

Write the bytes from buf to the memory BIO. The buf argument must be an object supporting the buffer protocol.

The return value is the number of bytes written, which is always equal to the length of buf.

write_eof()

Write an EOF marker to the memory BIO. After this method has been called, it is illegal to call write(). The attribute eof will become true after all data currently in the buffer has been read.

SSL session

Adicionado na versão 3.6.

class ssl.SSLSession

Session object used by session.

id

time

timeout

ticket_lifetime_hint

has_ticket

Considerações de segurança

Best defaults

For client use, if you don’t have any special requirements for your security policy, it is highly recommended that you use the create_default_context() function to create your SSL context. It will load the system’s trusted CA certificates, enable certificate validation and hostname checking, and try to choose reasonably secure protocol and cipher settings.

For example, here is how you would use the smtplib.SMTP class to create a trusted, secure connection to a SMTP server:

>>> import ssl, smtplib
>>> smtp = smtplib.SMTP("mail.python.org", port=587)
>>> context = ssl.create_default_context()
>>> smtp.starttls(context=context)
(220, b'2.0.0 Ready to start TLS')

If a client certificate is needed for the connection, it can be added with SSLContext.load_cert_chain().

By contrast, if you create the SSL context by calling the SSLContext constructor yourself, it will not have certificate validation nor hostname checking enabled by default. If you do so, please read the paragraphs below to achieve a good security level.

Manual settings

Verifying certificates

When calling the SSLContext constructor directly, CERT_NONE is the default. Since it does not authenticate the other peer, it can be insecure, especially in client mode where most of the time you would like to ensure the authenticity of the server you’re talking to. Therefore, when in client mode, it is highly recommended to use CERT_REQUIRED. However, it is in itself not sufficient; you also have to check that the server certificate, which can be obtained by calling SSLSocket.getpeercert(), matches the desired service. For many protocols and applications, the service can be identified by the hostname. This common check is automatically performed when SSLContext.check_hostname is enabled.

Alterado na versão 3.7: Hostname matchings is now performed by OpenSSL. Python no longer uses match_hostname().

In server mode, if you want to authenticate your clients using the SSL layer (rather than using a higher-level authentication mechanism), you’ll also have to specify CERT_REQUIRED and similarly check the client certificate.

Protocol versions

SSL versions 2 and 3 are considered insecure and are therefore dangerous to use. If you want maximum compatibility between clients and servers, it is recommended to use PROTOCOL_TLS_CLIENT or PROTOCOL_TLS_SERVER as the protocol version. SSLv2 and SSLv3 are disabled by default.

>>> client_context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
>>> client_context.minimum_version = ssl.TLSVersion.TLSv1_3
>>> client_context.maximum_version = ssl.TLSVersion.TLSv1_3

The SSL context created above will only allow TLSv1.3 and later (if supported by your system) connections to a server. PROTOCOL_TLS_CLIENT implies certificate validation and hostname checks by default. You have to load certificates into the context.

Cipher selection

If you have advanced security requirements, fine-tuning of the ciphers enabled when negotiating a SSL session is possible through the SSLContext.set_ciphers() method. Starting from Python 3.2.3, the ssl module disables certain weak ciphers by default, but you may want to further restrict the cipher choice. Be sure to read OpenSSL’s documentation about the cipher list format [https://docs.openssl.org/1.1.1/man1/ciphers/#cipher-list-format]. If you want to check which ciphers are enabled by a given cipher list, use SSLContext.get_ciphers() or the openssl ciphers command on your system.

Multi-processing

If using this module as part of a multi-processed application (using, for example the multiprocessing or concurrent.futures modules), be aware that OpenSSL’s internal random number generator does not properly handle forked processes. Applications must change the PRNG state of the parent process if they use any SSL feature with os.fork(). Any successful call of RAND_add() or RAND_bytes() is sufficient.

TLS 1.3

Adicionado na versão 3.7.

The TLS 1.3 protocol behaves slightly differently than previous version of TLS/SSL. Some new TLS 1.3 features are not yet available.

TLS 1.3 uses a disjunct set of cipher suites. All AES-GCM and ChaCha20 cipher suites are enabled by default. The method SSLContext.set_ciphers() cannot enable or disable any TLS 1.3 ciphers yet, but SSLContext.get_ciphers() returns them.

Session tickets are no longer sent as part of the initial handshake and are handled differently. SSLSocket.session and SSLSession are not compatible with TLS 1.3.

Client-side certificates are also no longer verified during the initial handshake. A server can request a certificate at any time. Clients process certificate requests while they send or receive application data from the server.

TLS 1.3 features like early data, deferred TLS client cert request, signature algorithm configuration, and rekeying are not supported yet.

Ver também

Class socket.socket

Documentation of underlying socket class

SSL/TLS Strong Encryption: An Introduction [https://httpd.apache.org/docs/trunk/en/ssl/ssl_intro.html]

Intro from the Apache HTTP Server documentation

RFC 1422: Privacy Enhancement for Internet Electronic Mail: Part II: Certificate-Based Key Management [https://datatracker.ietf.org/doc/html/rfc1422.html]

Steve Kent

RFC 4086: Randomness Requirements for Security [https://datatracker.ietf.org/doc/html/rfc4086.html]

Donald E., Jeffrey I. Schiller

RFC 5280: Internet X.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile [https://datatracker.ietf.org/doc/html/rfc5280.html]

D. Cooper

RFC 5246: The Transport Layer Security (TLS) Protocol Version 1.2 [https://datatracker.ietf.org/doc/html/rfc5246.html]

T. Dierks et. al.

RFC 6066: Transport Layer Security (TLS) Extensions [https://datatracker.ietf.org/doc/html/rfc6066.html]

D. Eastlake

IANA TLS: Transport Layer Security (TLS) Parameters [https://www.iana.org/assignments/tls-parameters/tls-parameters.xml]

IANA

RFC 7525: Recommendations for Secure Use of Transport Layer Security (TLS) and Datagram Transport Layer Security (DTLS) [https://datatracker.ietf.org/doc/html/rfc7525.html]

IETF

Mozilla’s Server Side TLS recommendations [https://wiki.mozilla.org/Security/Server_Side_TLS]

Mozilla

select — Waiting for I/O completion

Este módulo fornece acesso às funções select() e poll() disponíveis na maioria dos sistemas operacionais, devpoll() disponível no Solaris e derivados, epoll() disponível no Linux 2.5+ e kqueue() disponível na maioria dos BSD. Observe que no Windows, ele funciona apenas para sockets; em outros sistemas operacionais, ele também funciona para outros tipos de arquivo (em particular, no Unix, ele funciona em pipes). Ele não pode ser usado em arquivos regulares para determinar se um arquivo cresceu desde a última leitura.

Nota

O módulo selectors permite multiplexação de E/S de alto nível e eficiente, construída sobre as primitivas do módulo select. Os usuários são encorajados a usar o módulo selectors em vez disso, a menos que queiram controle preciso sobre as primitivas de nível de SO usadas.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

O módulo define o seguinte:

exception select.error

Um apelido descontinuado de OSError.

Alterado na versão 3.3: Seguindo a PEP 3151 [https://peps.python.org/pep-3151/], esta classe foi transformada em um apelido de OSError.

select.devpoll()

(Suportado somente no Solaris e derivados.) Retorna um objeto de pesquisa /dev/poll; consulte a seção /dev/poll Polling Objects abaixo para os métodos suportados pelos objetos devpoll.

Objetos devpoll() são vinculados ao número de descritores de arquivo permitidos no momento da instanciação. Se seu programa reduzir esse valor, devpoll() falhará. Se seu programa aumentar esse valor, devpoll() pode retornar uma lista incompleta de descritores de arquivo ativos.

O novo descritor de arquivo é não herdável.

Adicionado na versão 3.3.

Alterado na versão 3.4: O novo descritor de arquivo agora é não-hereditário.

select.epoll(sizehint=-1, flags=0)

(Only supported on Linux 2.5.44 and newer.) Return an edge polling object, which can be used as Edge or Level Triggered interface for I/O events.

sizehint informs epoll about the expected number of events to be registered. It must be positive, or -1 to use the default. It is only used on older systems where epoll_create1() is not available; otherwise it has no effect (though its value is still checked).

flags is deprecated and completely ignored. However, when supplied, its value must be 0 or select.EPOLL_CLOEXEC, otherwise OSError is raised.

See the Edge and Level Trigger Polling (epoll) Objects section below for the methods supported by epolling objects.

epoll objects support the context management protocol: when used in a with statement, the new file descriptor is automatically closed at the end of the block.

O novo descritor de arquivo é não herdável.

Alterado na versão 3.3: Added the flags parameter.

Alterado na versão 3.4: Support for the with statement was added. The new file descriptor is now non-inheritable.

Obsoleto desde a versão 3.4: The flags parameter. select.EPOLL_CLOEXEC is used by default now. Use os.set_inheritable() to make the file descriptor inheritable.

select.poll()

(Not supported by all operating systems.) Returns a polling object, which supports registering and unregistering file descriptors, and then polling them for I/O events; see section Polling Objects below for the methods supported by polling objects.

select.kqueue()

(Only supported on BSD.) Returns a kernel queue object; see section Kqueue Objects below for the methods supported by kqueue objects.

O novo descritor de arquivo é não herdável.

Alterado na versão 3.4: O novo descritor de arquivo agora é não-hereditário.

select.kevent(ident, filter=KQ_FILTER_READ, flags=KQ_EV_ADD, fflags=0, data=0, udata=0)

(Only supported on BSD.) Returns a kernel event object; see section Kevent Objects below for the methods supported by kevent objects.

select.select(rlist, wlist, xlist[, timeout])

This is a straightforward interface to the Unix select() system call. The first three arguments are iterables of ‘waitable objects’: either integers representing file descriptors or objects with a parameterless method named fileno() returning such an integer:

rlist: wait until ready for reading

wlist: wait until ready for writing

xlist: wait for an “exceptional condition” (see the manual page for what your system considers such a condition)

Empty iterables are allowed, but acceptance of three empty iterables is platform-dependent. (It is known to work on Unix but not on Windows.) The optional timeout argument specifies a time-out as a floating-point number in seconds. When the timeout argument is omitted the function blocks until at least one file descriptor is ready. A time-out value of zero specifies a poll and never blocks.

The return value is a triple of lists of objects that are ready: subsets of the first three arguments. When the time-out is reached without a file descriptor becoming ready, three empty lists are returned.

Among the acceptable object types in the iterables are Python file objects (e.g. sys.stdin, or objects returned by open() or os.popen()), socket objects returned by socket.socket(). You may also define a wrapper class yourself, as long as it has an appropriate fileno() method (that really returns a file descriptor, not just a random integer).

Nota

File objects on Windows are not acceptable, but sockets are. On Windows, the underlying select() function is provided by the WinSock library, and does not handle file descriptors that don’t originate from WinSock.

Alterado na versão 3.5: The function is now retried with a recomputed timeout when interrupted by a signal, except if the signal handler raises an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of raising InterruptedError.

select.PIPE_BUF

The minimum number of bytes which can be written without blocking to a pipe when the pipe has been reported as ready for writing by select(), poll() or another interface in this module. This doesn’t apply to other kind of file-like objects such as sockets.

This value is guaranteed by POSIX to be at least 512.

Disponibilidade

Adicionado na versão 3.2.

/dev/poll Polling Objects

Solaris and derivatives have /dev/poll. While select() is O(highest file descriptor) and poll() is O(number of file descriptors), /dev/poll is O(active file descriptors).

/dev/poll behaviour is very close to the standard poll() object.

devpoll.close()

Close the file descriptor of the polling object.

Adicionado na versão 3.4.

devpoll.closed

True if the polling object is closed.

Adicionado na versão 3.4.

devpoll.fileno()

Return the file descriptor number of the polling object.

Adicionado na versão 3.4.

devpoll.register(fd[, eventmask])

Register a file descriptor with the polling object. Future calls to the poll() method will then check whether the file descriptor has any pending I/O events. fd can be either an integer, or an object with a fileno() method that returns an integer. File objects implement fileno(), so they can also be used as the argument.

eventmask is an optional bitmask describing the type of events you want to check for. The constants are the same that with poll() object. The default value is a combination of the constants POLLIN, POLLPRI, and POLLOUT.

Aviso

Registering a file descriptor that’s already registered is not an error, but the result is undefined. The appropriate action is to unregister or modify it first. This is an important difference compared with poll().

devpoll.modify(fd[, eventmask])

This method does an unregister() followed by a register(). It is (a bit) more efficient that doing the same explicitly.

devpoll.unregister(fd)

Remove a file descriptor being tracked by a polling object. Just like the register() method, fd can be an integer or an object with a fileno() method that returns an integer.

Attempting to remove a file descriptor that was never registered is safely ignored.

devpoll.poll([timeout])

Polls the set of registered file descriptors, and returns a possibly empty list containing (fd, event) 2-tuples for the descriptors that have events or errors to report. fd is the file descriptor, and event is a bitmask with bits set for the reported events for that descriptor — POLLIN for waiting input, POLLOUT to indicate that the descriptor can be written to, and so forth. An empty list indicates that the call timed out and no file descriptors had any events to report. If timeout is given, it specifies the length of time in milliseconds which the system will wait for events before returning. If timeout is omitted, -1, or None, the call will block until there is an event for this poll object.

Alterado na versão 3.5: The function is now retried with a recomputed timeout when interrupted by a signal, except if the signal handler raises an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of raising InterruptedError.

Edge and Level Trigger Polling (epoll) Objects

https://linux.die.net/man/4/epoll

eventmask

Constante

Significado

EPOLLIN

Disponível para leitura

EPOLLOUT

Disponível para escrita

EPOLLPRI

Urgent data for read

EPOLLERR

Error condition happened on the assoc. fd

EPOLLHUP

Hang up happened on the assoc. fd

EPOLLET

Set Edge Trigger behavior, the default is Level Trigger behavior

EPOLLONESHOT

Set one-shot behavior. After one event is pulled out, the fd is internally disabled

EPOLLEXCLUSIVE

Wake only one epoll object when the associated fd has an event. The default (if this flag is not set) is to wake all epoll objects polling on a fd.

EPOLLRDHUP

Stream socket peer closed connection or shut down writing half of connection.

EPOLLRDNORM

Equivalent to EPOLLIN

EPOLLRDBAND

Priority data band can be read.

EPOLLWRNORM

Equivalente a EPOLLOUT

EPOLLWRBAND

Priority data may be written.

EPOLLMSG

Ignorado.

Adicionado na versão 3.6: EPOLLEXCLUSIVE was added. It’s only supported by Linux Kernel 4.5 or later.

epoll.close()

Close the control file descriptor of the epoll object.

epoll.closed

True if the epoll object is closed.

epoll.fileno()

Return the file descriptor number of the control fd.

epoll.fromfd(fd)

Create an epoll object from a given file descriptor.

epoll.register(fd[, eventmask])

Register a fd descriptor with the epoll object.

epoll.modify(fd, eventmask)

Modify a registered file descriptor.

epoll.unregister(fd)

Remove a registered file descriptor from the epoll object.

Alterado na versão 3.9: The method no longer ignores the EBADF error.

epoll.poll(timeout=None, maxevents=-1)

Wait for events. timeout in seconds (float)

Alterado na versão 3.5: The function is now retried with a recomputed timeout when interrupted by a signal, except if the signal handler raises an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of raising InterruptedError.

Polling Objects

The poll() system call, supported on most Unix systems, provides better scalability for network servers that service many, many clients at the same time. poll() scales better because the system call only requires listing the file descriptors of interest, while select() builds a bitmap, turns on bits for the fds of interest, and then afterward the whole bitmap has to be linearly scanned again. select() is O(highest file descriptor), while poll() is O(number of file descriptors).

poll.register(fd[, eventmask])

Register a file descriptor with the polling object. Future calls to the poll() method will then check whether the file descriptor has any pending I/O events. fd can be either an integer, or an object with a fileno() method that returns an integer. File objects implement fileno(), so they can also be used as the argument.

eventmask is an optional bitmask describing the type of events you want to check for, and can be a combination of the constants POLLIN, POLLPRI, and POLLOUT, described in the table below. If not specified, the default value used will check for all 3 types of events.

Constante

Significado

POLLIN

There is data to read

POLLPRI

There is urgent data to read

POLLOUT

Ready for output: writing will not block

POLLERR

Error condition of some sort

POLLHUP

Hung up

POLLRDHUP

Stream socket peer closed connection, or shut down writing half of connection

POLLNVAL

Invalid request: descriptor not open

Registering a file descriptor that’s already registered is not an error, and has the same effect as registering the descriptor exactly once.

poll.modify(fd, eventmask)

Modifies an already registered fd. This has the same effect as register(fd, eventmask). Attempting to modify a file descriptor that was never registered causes an OSError exception with errno ENOENT to be raised.

poll.unregister(fd)

Remove a file descriptor being tracked by a polling object. Just like the register() method, fd can be an integer or an object with a fileno() method that returns an integer.

Attempting to remove a file descriptor that was never registered causes a KeyError exception to be raised.

poll.poll([timeout])

Polls the set of registered file descriptors, and returns a possibly empty list containing (fd, event) 2-tuples for the descriptors that have events or errors to report. fd is the file descriptor, and event is a bitmask with bits set for the reported events for that descriptor — POLLIN for waiting input, POLLOUT to indicate that the descriptor can be written to, and so forth. An empty list indicates that the call timed out and no file descriptors had any events to report. If timeout is given, it specifies the length of time in milliseconds which the system will wait for events before returning. If timeout is omitted, negative, or None, the call will block until there is an event for this poll object.

Alterado na versão 3.5: The function is now retried with a recomputed timeout when interrupted by a signal, except if the signal handler raises an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of raising InterruptedError.

Kqueue Objects

kqueue.close()

Close the control file descriptor of the kqueue object.

kqueue.closed

True if the kqueue object is closed.

kqueue.fileno()

Return the file descriptor number of the control fd.

kqueue.fromfd(fd)

Create a kqueue object from a given file descriptor.

kqueue.control(changelist, max_events[, timeout]) → eventlist

Low level interface to kevent

changelist must be an iterable of kevent objects or None

max_events must be 0 or a positive integer

timeout in seconds (floats possible); the default is None, to wait forever

Alterado na versão 3.5: The function is now retried with a recomputed timeout when interrupted by a signal, except if the signal handler raises an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of raising InterruptedError.

Kevent Objects

https://man.freebsd.org/cgi/man.cgi?query=kqueue&sektion=2

kevent.ident

Value used to identify the event. The interpretation depends on the filter but it’s usually the file descriptor. In the constructor ident can either be an int or an object with a fileno() method. kevent stores the integer internally.

kevent.filter

Name of the kernel filter.

Constante

Significado

KQ_FILTER_READ

Takes a descriptor and returns whenever there is data available to read

KQ_FILTER_WRITE

Takes a descriptor and returns whenever there is data available to write

KQ_FILTER_AIO

AIO requests

KQ_FILTER_VNODE

Returns when one or more of the requested events watched in fflag occurs

KQ_FILTER_PROC

Watch for events on a process id

KQ_FILTER_NETDEV

Watch for events on a network device [not available on macOS]

KQ_FILTER_SIGNAL

Returns whenever the watched signal is delivered to the process

KQ_FILTER_TIMER

Establishes an arbitrary timer

kevent.flags

Filter action.

Constante

Significado

KQ_EV_ADD

Adds or modifies an event

KQ_EV_DELETE

Removes an event from the queue

KQ_EV_ENABLE

Permitscontrol() to returns the event

KQ_EV_DISABLE

Disablesevent

KQ_EV_ONESHOT

Removes event after first occurrence

KQ_EV_CLEAR

Reset the state after an event is retrieved

KQ_EV_SYSFLAGS

internal event

KQ_EV_FLAG1

internal event

KQ_EV_EOF

Filter specific EOF condition

KQ_EV_ERROR

See return values

kevent.fflags

Filter specific flags.

KQ_FILTER_READ and KQ_FILTER_WRITE filter flags:

Constante

Significado

KQ_NOTE_LOWAT

low water mark of a socket buffer

KQ_FILTER_VNODE filter flags:

Constante

Significado

KQ_NOTE_DELETE

unlink() was called

KQ_NOTE_WRITE

a write occurred

KQ_NOTE_EXTEND

the file was extended

KQ_NOTE_ATTRIB

an attribute was changed

KQ_NOTE_LINK

the link count has changed

KQ_NOTE_RENAME

the file was renamed

KQ_NOTE_REVOKE

access to the file was revoked

KQ_FILTER_PROC filter flags:

Constante

Significado

KQ_NOTE_EXIT

the process has exited

KQ_NOTE_FORK

the process has called fork()

KQ_NOTE_EXEC

the process has executed a new process

KQ_NOTE_PCTRLMASK

internal filter flag

KQ_NOTE_PDATAMASK

internal filter flag

KQ_NOTE_TRACK

follow a process across fork()

KQ_NOTE_CHILD

returned on the child process for NOTE_TRACK

KQ_NOTE_TRACKERR

unable to attach to a child

KQ_FILTER_NETDEV filter flags (not available on macOS):

Constante

Significado

KQ_NOTE_LINKUP

link is up

KQ_NOTE_LINKDOWN

link is down

KQ_NOTE_LINKINV

estado do link é inválido

kevent.data

Filter specific data.

kevent.udata

User defined value.

selectors — High-level I/O multiplexing

Adicionado na versão 3.4.

Código-fonte: Lib/selectors.py [https://github.com/python/cpython/tree/3.13/Lib/selectors.py]

Introdução

This module allows high-level and efficient I/O multiplexing, built upon the select module primitives. Users are encouraged to use this module instead, unless they want precise control over the OS-level primitives used.

It defines a BaseSelector abstract base class, along with several concrete implementations (KqueueSelector, EpollSelector…), that can be used to wait for I/O readiness notification on multiple file objects. In the following, “file object” refers to any object with a fileno() method, or a raw file descriptor. See file object.

DefaultSelector is an alias to the most efficient implementation available on the current platform: this should be the default choice for most users.

Nota

The type of file objects supported depends on the platform: on Windows, sockets are supported, but not pipes, whereas on Unix, both are supported (some other types may be supported as well, such as fifos or special file devices).

Ver também

select

Low-level I/O multiplexing module.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Classes

Classes hierarchy:

BaseSelector
+-- SelectSelector
+-- PollSelector
+-- EpollSelector
+-- DevpollSelector
+-- KqueueSelector

In the following, events is a bitwise mask indicating which I/O events should be waited for on a given file object. It can be a combination of the modules constants below:

Constante

Significado

selectors.EVENT_READ

Disponível para leitura

selectors.EVENT_WRITE

Disponível para escrita

class selectors.SelectorKey

A SelectorKey is a namedtuple used to associate a file object to its underlying file descriptor, selected event mask and attached data. It is returned by several BaseSelector methods.

fileobj

File object registered.

fd

O descritor de arquivo subjacente.

events

Events that must be waited for on this file object.

data

Optional opaque data associated to this file object: for example, this could be used to store a per-client session ID.

class selectors.BaseSelector

A BaseSelector is used to wait for I/O event readiness on multiple file objects. It supports file stream registration, unregistration, and a method to wait for I/O events on those streams, with an optional timeout. It’s an abstract base class, so cannot be instantiated. Use DefaultSelector instead, or one of SelectSelector, KqueueSelector etc. if you want to specifically use an implementation, and your platform supports it. BaseSelector and its concrete implementations support the context manager protocol.

abstractmethod register(fileobj, events, data=None)

Registra um objeto arquivo para seleção, monitorando-o para eventos de I/O

fileobj is the file object to monitor. It may either be an integer file descriptor or an object with a fileno() method. events is a bitwise mask of events to monitor. data is an opaque object.

This returns a new SelectorKey instance, or raises a ValueError in case of invalid event mask or file descriptor, or KeyError if the file object is already registered.

abstractmethod unregister(fileobj)

Unregister a file object from selection, removing it from monitoring. A file object shall be unregistered prior to being closed.

fileobj must be a file object previously registered.

This returns the associated SelectorKey instance, or raises a KeyError if fileobj is not registered. It will raise ValueError if fileobj is invalid (e.g. it has no fileno() method or its fileno() method has an invalid return value).

modify(fileobj, events, data=None)

Change a registered file object’s monitored events or attached data.

This is equivalent to BaseSelector.unregister(fileobj) followed by BaseSelector.register(fileobj, events, data), except that it can be implemented more efficiently.

This returns a new SelectorKey instance, or raises a ValueError in case of invalid event mask or file descriptor, or KeyError if the file object is not registered.

abstractmethod select(timeout=None)

Wait until some registered file objects become ready, or the timeout expires.

If timeout > 0, this specifies the maximum wait time, in seconds. If timeout <= 0, the call won’t block, and will report the currently ready file objects. If timeout is None, the call will block until a monitored file object becomes ready.

This returns a list of (key, events) tuples, one for each ready file object.

key is the SelectorKey instance corresponding to a ready file object. events is a bitmask of events ready on this file object.

Nota

This method can return before any file object becomes ready or the timeout has elapsed if the current process receives a signal: in this case, an empty list will be returned.

Alterado na versão 3.5: The selector is now retried with a recomputed timeout when interrupted by a signal if the signal handler did not raise an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale), instead of returning an empty list of events before the timeout.

close()

Close the selector.

This must be called to make sure that any underlying resource is freed. The selector shall not be used once it has been closed.

get_key(fileobj)

Return the key associated with a registered file object.

This returns the SelectorKey instance associated to this file object, or raises KeyError if the file object is not registered.

abstractmethod get_map()

Return a mapping of file objects to selector keys.

This returns a Mapping instance mapping registered file objects to their associated SelectorKey instance.

class selectors.DefaultSelector

The default selector class, using the most efficient implementation available on the current platform. This should be the default choice for most users.

class selectors.SelectSelector

select.select()-based selector.

class selectors.PollSelector

select.poll()-based selector.

class selectors.EpollSelector

select.epoll()-based selector.

fileno()

This returns the file descriptor used by the underlying select.epoll() object.

class selectors.DevpollSelector

select.devpoll()-based selector.

fileno()

This returns the file descriptor used by the underlying select.devpoll() object.

Adicionado na versão 3.5.

class selectors.KqueueSelector

select.kqueue()-based selector.

fileno()

This returns the file descriptor used by the underlying select.kqueue() object.

Exemplos

Here is a simple echo server implementation:

import selectors
import socket

sel = selectors.DefaultSelector()

def accept(sock, mask):
    conn, addr = sock.accept()  # Should be ready
    print('accepted', conn, 'from', addr)
    conn.setblocking(False)
    sel.register(conn, selectors.EVENT_READ, read)

def read(conn, mask):
    data = conn.recv(1000)  # Should be ready
    if data:
        print('echoing', repr(data), 'to', conn)
        conn.send(data)  # Hope it won't block
    else:
        print('closing', conn)
        sel.unregister(conn)
        conn.close()

sock = socket.socket()
sock.bind(('localhost', 1234))
sock.listen(100)
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept)

while True:
    events = sel.select()
    for key, mask in events:
        callback = key.data
        callback(key.fileobj, mask)

signal — Define manipuladores para eventos assíncronos

Código-fonte: Lib/signal.py [https://github.com/python/cpython/tree/3.13/Lib/signal.py]

Este módulo fornece mecanismos para usar signal handlers em Python

Regras gerais

The signal.signal() function allows defining custom handlers to be executed when a signal is received. A small number of default handlers are installed: SIGPIPE is ignored (so write errors on pipes and sockets can be reported as ordinary Python exceptions) and SIGINT is translated into a KeyboardInterrupt exception if the parent process has not changed it.

A handler for a particular signal, once set, remains installed until it is explicitly reset (Python emulates the BSD style interface regardless of the underlying implementation), with the exception of the handler for SIGCHLD, which follows the underlying implementation.

On WebAssembly platforms, signals are emulated and therefore behave differently. Several functions and signals are not available on these platforms.

Execution of Python signal handlers

A Python signal handler does not get executed inside the low-level (C) signal handler. Instead, the low-level signal handler sets a flag which tells the virtual machine to execute the corresponding Python signal handler at a later point(for example at the next bytecode instruction). This has consequences:

It makes little sense to catch synchronous errors like SIGFPE or SIGSEGV that are caused by an invalid operation in C code. Python will return from the signal handler to the C code, which is likely to raise the same signal again, causing Python to apparently hang. From Python 3.3 onwards, you can use the faulthandler module to report on synchronous errors.

A long-running calculation implemented purely in C (such as regular expression matching on a large body of text) may run uninterrupted for an arbitrary amount of time, regardless of any signals received. The Python signal handlers will be called when the calculation finishes.

If the handler raises an exception, it will be raised “out of thin air” in the main thread. See the note below for a discussion.

Signals and threads

Python signal handlers are always executed in the main Python thread of the main interpreter, even if the signal was received in another thread. This means that signals can’t be used as a means of inter-thread communication. You can use the synchronization primitives from the threading module instead.

Besides, only the main thread of the main interpreter is allowed to set a new signal handler.

Conteúdo do módulo

Alterado na versão 3.5: signal (SIG*), handler (SIG_DFL, SIG_IGN) and sigmask (SIG_BLOCK, SIG_UNBLOCK, SIG_SETMASK) related constants listed below were turned into enums (Signals, Handlers and Sigmasks respectively). getsignal(), pthread_sigmask(), sigpending() and sigwait() functions return human-readable enums as Signals objects.

The signal module defines three enums:

class signal.Signals

enum.IntEnum collection of SIG* constants and the CTRL_* constants.

Adicionado na versão 3.5.

class signal.Handlers

enum.IntEnum collection the constants SIG_DFL and SIG_IGN.

Adicionado na versão 3.5.

class signal.Sigmasks

enum.IntEnum collection the constants SIG_BLOCK, SIG_UNBLOCK and SIG_SETMASK.

Disponibilidade

See the man page sigprocmask(2) [https://manpages.debian.org/sigprocmask(2)] and pthread_sigmask(3) [https://manpages.debian.org/pthread_sigmask(3)] for further information.

Adicionado na versão 3.5.

The variables defined in the signal module are:

signal.SIG_DFL

This is one of two standard signal handling options; it will simply perform the default function for the signal. For example, on most systems the default action for SIGQUIT is to dump core and exit, while the default action for SIGCHLD is to simply ignore it.

signal.SIG_IGN

This is another standard signal handler, which will simply ignore the given signal.

signal.SIGABRT

Abort signal from abort(3) [https://manpages.debian.org/abort(3)].

signal.SIGALRM

Timer signal from alarm(2) [https://manpages.debian.org/alarm(2)].

Disponibilidade

signal.SIGBREAK

Interrupt from keyboard (CTRL + BREAK).

Disponibilidade

signal.SIGBUS

Bus error (bad memory access).

Disponibilidade

signal.SIGCHLD

Child process stopped or terminated.

Disponibilidade

signal.SIGCLD

Alias to SIGCHLD.

Disponibilidade

signal.SIGCONT

Continue the process if it is currently stopped

Disponibilidade

signal.SIGFPE

Floating-point exception. For example, division by zero.

Ver também

ZeroDivisionError is raised when the second argument of a division or modulo operation is zero.

signal.SIGHUP

Hangup detected on controlling terminal or death of controlling process.

Disponibilidade

signal.SIGILL

Instrução ilegal.

signal.SIGINT

Interrupt from keyboard (CTRL + C).

Default action is to raise KeyboardInterrupt.

signal.SIGKILL

Kill signal.

It cannot be caught, blocked, or ignored.

Disponibilidade

signal.SIGPIPE

Broken pipe: write to pipe with no readers.

Default action is to ignore the signal.

Disponibilidade

signal.SIGSEGV

Segmentation fault: invalid memory reference.

signal.SIGSTKFLT

Stack fault on coprocessor. The Linux kernel does not raise this signal: it can only be raised in user space.

Disponibilidade

On architectures where the signal is available. See the man page signal(7) [https://manpages.debian.org/signal(7)] for further information.

Adicionado na versão 3.11.

signal.SIGTERM

Termination signal.

signal.SIGUSR1

User-defined signal 1.

Disponibilidade

signal.SIGUSR2

User-defined signal 2.

Disponibilidade

signal.SIGWINCH

Window resize signal.

Disponibilidade

SIG*

All the signal numbers are defined symbolically. For example, the hangup signal is defined as signal.SIGHUP; the variable names are identical to the names used in C programs, as found in <signal.h>. The Unix man page for ‘signal()’ lists the existing signals (on some systems this is signal(2) [https://manpages.debian.org/signal(2)], on others the list is in signal(7) [https://manpages.debian.org/signal(7)]). Note that not all systems define the same set of signal names; only those names defined by the system are defined by this module.

signal.CTRL_C_EVENT

The signal corresponding to the Ctrl+C keystroke event. This signal can only be used with os.kill().

Disponibilidade

Adicionado na versão 3.2.

signal.CTRL_BREAK_EVENT

The signal corresponding to the Ctrl+Break keystroke event. This signal can only be used with os.kill().

Disponibilidade

Adicionado na versão 3.2.

signal.NSIG

One more than the number of the highest signal number. Use valid_signals() to get valid signal numbers.

signal.ITIMER_REAL

Decrements interval timer in real time, and delivers SIGALRM upon expiration.

signal.ITIMER_VIRTUAL

Decrements interval timer only when the process is executing, and delivers SIGVTALRM upon expiration.

signal.ITIMER_PROF

Decrements interval timer both when the process executes and when the system is executing on behalf of the process. Coupled with ITIMER_VIRTUAL, this timer is usually used to profile the time spent by the application in user and kernel space. SIGPROF is delivered upon expiration.

signal.SIG_BLOCK

A possible value for the how parameter to pthread_sigmask() indicating that signals are to be blocked.

Adicionado na versão 3.3.

signal.SIG_UNBLOCK

A possible value for the how parameter to pthread_sigmask() indicating that signals are to be unblocked.

Adicionado na versão 3.3.

signal.SIG_SETMASK

A possible value for the how parameter to pthread_sigmask() indicating that the signal mask is to be replaced.

Adicionado na versão 3.3.

The signal module defines one exception:

exception signal.ItimerError

Raised to signal an error from the underlying setitimer() or getitimer() implementation. Expect this error if an invalid interval timer or a negative time is passed to setitimer(). This error is a subtype of OSError.

Adicionado na versão 3.3: This error used to be a subtype of IOError, which is now an alias of OSError.

The signal module defines the following functions:

signal.alarm(time)

If time is non-zero, this function requests that a SIGALRM signal be sent to the process in time seconds. Any previously scheduled alarm is canceled (only one alarm can be scheduled at any time). The returned value is then the number of seconds before any previously set alarm was to have been delivered. If time is zero, no alarm is scheduled, and any scheduled alarm is canceled. If the return value is zero, no alarm is currently scheduled.

Disponibilidade

See the man page alarm(2) [https://manpages.debian.org/alarm(2)] for further information.

signal.getsignal(signalnum)

Return the current signal handler for the signal signalnum. The returned value may be a callable Python object, or one of the special values signal.SIG_IGN, signal.SIG_DFL or None. Here, signal.SIG_IGN means that the signal was previously ignored, signal.SIG_DFL means that the default way of handling the signal was previously in use, and None means that the previous signal handler was not installed from Python.

signal.strsignal(signalnum)

Returns the description of signal signalnum, such as “Interrupt” for SIGINT. Returns None if signalnum has no description. Raises ValueError if signalnum is invalid.

Adicionado na versão 3.8.

signal.valid_signals()

Return the set of valid signal numbers on this platform. This can be less than range(1, NSIG) if some signals are reserved by the system for internal use.

Adicionado na versão 3.8.

signal.pause()

Cause the process to sleep until a signal is received; the appropriate handler will then be called. Returns nothing.

Disponibilidade

See the man page signal(2) [https://manpages.debian.org/signal(2)] for further information.

See also sigwait(), sigwaitinfo(), sigtimedwait() and sigpending().

signal.raise_signal(signum)

Sends a signal to the calling process. Returns nothing.

Adicionado na versão 3.8.

signal.pidfd_send_signal(pidfd, sig, siginfo=None, flags=0)

Send signal sig to the process referred to by file descriptor pidfd. Python does not currently support the siginfo parameter; it must be None. The flags argument is provided for future extensions; no flag values are currently defined.

See the pidfd_send_signal(2) [https://manpages.debian.org/pidfd_send_signal(2)] man page for more information.

Disponibilidade

Adicionado na versão 3.9.

signal.pthread_kill(thread_id, signalnum)

Send the signal signalnum to the thread thread_id, another thread in the same process as the caller. The target thread can be executing any code (Python or not). However, if the target thread is executing the Python interpreter, the Python signal handlers will be executed by the main thread of the main interpreter. Therefore, the only point of sending a signal to a particular Python thread would be to force a running system call to fail with InterruptedError.

Utilize a threading.get_ident() ou o atributo ident dos objetos threading.Thread para obter um valor adequado para thread_id.

If signalnum is 0, then no signal is sent, but error checking is still performed; this can be used to check if the target thread is still running.

Levanta um evento de auditoria signal.pthread_kill com os argumentos thread_id, signalnum.

Disponibilidade

See the man page pthread_kill(3) [https://manpages.debian.org/pthread_kill(3)] for further information.

See also os.kill().

Adicionado na versão 3.3.

signal.pthread_sigmask(how, mask)

Fetch and/or change the signal mask of the calling thread. The signal mask is the set of signals whose delivery is currently blocked for the caller. Return the old signal mask as a set of signals.

The behavior of the call is dependent on the value of how, as follows.

SIG_BLOCK: The set of blocked signals is the union of the current set and the mask argument.

SIG_UNBLOCK: The signals in mask are removed from the current set of blocked signals. It is permissible to attempt to unblock a signal which is not blocked.

SIG_SETMASK: The set of blocked signals is set to the mask argument.

mask is a set of signal numbers (e.g. {signal.SIGINT, signal.SIGTERM}). Use valid_signals() for a full mask including all signals.

For example, signal.pthread_sigmask(signal.SIG_BLOCK, []) reads the signal mask of the calling thread.

SIGKILL and SIGSTOP cannot be blocked.

Disponibilidade

See the man page sigprocmask(2) [https://manpages.debian.org/sigprocmask(2)] and pthread_sigmask(3) [https://manpages.debian.org/pthread_sigmask(3)] for further information.

Veja também pause(), sigpending() e sigwait().

Adicionado na versão 3.3.

signal.setitimer(which, seconds, interval=0.0)

Sets given interval timer (one of signal.ITIMER_REAL, signal.ITIMER_VIRTUAL or signal.ITIMER_PROF) specified by which to fire after seconds (float is accepted, different from alarm()) and after that every interval seconds (if interval is non-zero). The interval timer specified by which can be cleared by setting seconds to zero.

When an interval timer fires, a signal is sent to the process. The signal sent is dependent on the timer being used; signal.ITIMER_REAL will deliver SIGALRM, signal.ITIMER_VIRTUAL sends SIGVTALRM, and signal.ITIMER_PROF will deliver SIGPROF.

The old values are returned as a tuple: (delay, interval).

Attempting to pass an invalid interval timer will cause an ItimerError.

Disponibilidade

signal.getitimer(which)

Returns current value of a given interval timer specified by which.

Disponibilidade

signal.set_wakeup_fd(fd, *, warn_on_full_buffer=True)

Set the wakeup file descriptor to fd. When a signal is received, the signal number is written as a single byte into the fd. This can be used by a library to wakeup a poll or select call, allowing the signal to be fully processed.

The old wakeup fd is returned (or -1 if file descriptor wakeup was not enabled). If fd is -1, file descriptor wakeup is disabled. If not -1, fd must be non-blocking. It is up to the library to remove any bytes from fd before calling poll or select again.

When threads are enabled, this function can only be called from the main thread of the main interpreter; attempting to call it from other threads will cause a ValueError exception to be raised.

There are two common ways to use this function. In both approaches, you use the fd to wake up when a signal arrives, but then they differ in how they determine which signal or signals have arrived.

In the first approach, we read the data out of the fd’s buffer, and the byte values give you the signal numbers. This is simple, but in rare cases it can run into a problem: generally the fd will have a limited amount of buffer space, and if too many signals arrive too quickly, then the buffer may become full, and some signals may be lost. If you use this approach, then you should set warn_on_full_buffer=True, which will at least cause a warning to be printed to stderr when signals are lost.

In the second approach, we use the wakeup fd only for wakeups, and ignore the actual byte values. In this case, all we care about is whether the fd’s buffer is empty or non-empty; a full buffer doesn’t indicate a problem at all. If you use this approach, then you should set warn_on_full_buffer=False, so that your users are not confused by spurious warning messages.

Alterado na versão 3.5: No Windows, a função agora também suporta manipuladores de socket.

Alterado na versão 3.7: Added warn_on_full_buffer parameter.

signal.siginterrupt(signalnum, flag)

Change system call restart behaviour: if flag is False, system calls will be restarted when interrupted by signal signalnum, otherwise system calls will be interrupted. Returns nothing.

Disponibilidade

See the man page siginterrupt(3) [https://manpages.debian.org/siginterrupt(3)] for further information.

Note that installing a signal handler with signal() will reset the restart behaviour to interruptible by implicitly calling siginterrupt() with a true flag value for the given signal.

signal.signal(signalnum, handler)

Set the handler for signal signalnum to the function handler. handler can be a callable Python object taking two arguments (see below), or one of the special values signal.SIG_IGN or signal.SIG_DFL. The previous signal handler will be returned (see the description of getsignal() above). (See the Unix man page signal(2) [https://manpages.debian.org/signal(2)] for further information.)

When threads are enabled, this function can only be called from the main thread of the main interpreter; attempting to call it from other threads will cause a ValueError exception to be raised.

The handler is called with two arguments: the signal number and the current stack frame (None or a frame object; for a description of frame objects, see the description in the type hierarchy or see the attribute descriptions in the inspect module).

On Windows, signal() can only be called with SIGABRT, SIGFPE, SIGILL, SIGINT, SIGSEGV, SIGTERM, or SIGBREAK. A ValueError will be raised in any other case. Note that not all systems define the same set of signal names; an AttributeError will be raised if a signal name is not defined as SIG* module level constant.

signal.sigpending()

Examine the set of signals that are pending for delivery to the calling thread (i.e., the signals which have been raised while blocked). Return the set of the pending signals.

Disponibilidade

See the man page sigpending(2) [https://manpages.debian.org/sigpending(2)] for further information.

Veja também pause(), pthread_sigmask() e sigwait().

Adicionado na versão 3.3.

signal.sigwait(sigset)

Suspend execution of the calling thread until the delivery of one of the signals specified in the signal set sigset. The function accepts the signal (removes it from the pending list of signals), and returns the signal number.

Disponibilidade

See the man page sigwait(3) [https://manpages.debian.org/sigwait(3)] for further information.

See also pause(), pthread_sigmask(), sigpending(), sigwaitinfo() and sigtimedwait().

Adicionado na versão 3.3.

signal.sigwaitinfo(sigset)

Suspend execution of the calling thread until the delivery of one of the signals specified in the signal set sigset. The function accepts the signal and removes it from the pending list of signals. If one of the signals in sigset is already pending for the calling thread, the function will return immediately with information about that signal. The signal handler is not called for the delivered signal. The function raises an InterruptedError if it is interrupted by a signal that is not in sigset.

The return value is an object representing the data contained in the siginfo_t structure, namely: si_signo, si_code, si_errno, si_pid, si_uid, si_status, si_band.

Disponibilidade

See the man page sigwaitinfo(2) [https://manpages.debian.org/sigwaitinfo(2)] for further information.

See also pause(), sigwait() and sigtimedwait().

Adicionado na versão 3.3.

Alterado na versão 3.5: The function is now retried if interrupted by a signal not in sigset and the signal handler does not raise an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

signal.sigtimedwait(sigset, timeout)

Like sigwaitinfo(), but takes an additional timeout argument specifying a timeout. If timeout is specified as 0, a poll is performed. Returns None if a timeout occurs.

Disponibilidade

See the man page sigtimedwait(2) [https://manpages.debian.org/sigtimedwait(2)] for further information.

See also pause(), sigwait() and sigwaitinfo().

Adicionado na versão 3.3.

Alterado na versão 3.5: The function is now retried with the recomputed timeout if interrupted by a signal not in sigset and the signal handler does not raise an exception (see PEP 475 [https://peps.python.org/pep-0475/] for the rationale).

Exemplos

Here is a minimal example program. It uses the alarm() function to limit the time spent waiting to open a file; this is useful if the file is for a serial device that may not be turned on, which would normally cause the os.open() to hang indefinitely. The solution is to set a 5-second alarm before opening the file; if the operation takes too long, the alarm signal will be sent, and the handler raises an exception.

import signal, os

def handler(signum, frame):
    signame = signal.Signals(signum).name
    print(f'Signal handler called with signal {signame} ({signum})')
    raise OSError("Couldn't open device!")

# Set the signal handler and a 5-second alarm
signal.signal(signal.SIGALRM, handler)
signal.alarm(5)

# This open() may hang indefinitely
fd = os.open('/dev/ttyS0', os.O_RDWR)

signal.alarm(0)          # Disable the alarm

Note on SIGPIPE

Piping output of your program to tools like head(1) [https://manpages.debian.org/head(1)] will cause a SIGPIPE signal to be sent to your process when the receiver of its standard output closes early. This results in an exception like BrokenPipeError: [Errno 32] Broken pipe. To handle this case, wrap your entry point to catch this exception as follows:

import os
import sys

def main():
    try:
        # simulate large output (your code replaces this loop)
        for x in range(10000):
            print("y")
        # flush output here to force SIGPIPE to be triggered
        # while inside this try block.
        sys.stdout.flush()
    except BrokenPipeError:
        # Python flushes standard streams on exit; redirect remaining output
        # to devnull to avoid another BrokenPipeError at shutdown
        devnull = os.open(os.devnull, os.O_WRONLY)
        os.dup2(devnull, sys.stdout.fileno())
        sys.exit(1)  # Python exits with error code 1 on EPIPE

if __name__ == '__main__':
    main()

Do not set SIGPIPE’s disposition to SIG_DFL in order to avoid BrokenPipeError. Doing that would cause your program to exit unexpectedly whenever any socket connection is interrupted while your program is still writing to it.

Note on Signal Handlers and Exceptions

If a signal handler raises an exception, the exception will be propagated to the main thread and may be raised after any bytecode instruction. Most notably, a KeyboardInterrupt may appear at any point during execution. Most Python code, including the standard library, cannot be made robust against this, and so a KeyboardInterrupt (or any other exception resulting from a signal handler) may on rare occasions put the program in an unexpected state.

To illustrate this issue, consider the following code:

class SpamContext:
    def __init__(self):
        self.lock = threading.Lock()

    def __enter__(self):
        # If KeyboardInterrupt occurs here, everything is fine
        self.lock.acquire()
        # If KeyboardInterrupt occurs here, __exit__ will not be called
        ...
        # KeyboardInterrupt could occur just before the function returns

    def __exit__(self, exc_type, exc_val, exc_tb):
        ...
        self.lock.release()

For many programs, especially those that merely want to exit on KeyboardInterrupt, this is not a problem, but applications that are complex or require high reliability should avoid raising exceptions from signal handlers. They should also avoid catching KeyboardInterrupt as a means of gracefully shutting down. Instead, they should install their own SIGINT handler. Below is an example of an HTTP server that avoids KeyboardInterrupt:

import signal
import socket
from selectors import DefaultSelector, EVENT_READ
from http.server import HTTPServer, SimpleHTTPRequestHandler

interrupt_read, interrupt_write = socket.socketpair()

def handler(signum, frame):
    print('Signal handler called with signal', signum)
    interrupt_write.send(b'\0')
signal.signal(signal.SIGINT, handler)

def serve_forever(httpd):
    sel = DefaultSelector()
    sel.register(interrupt_read, EVENT_READ)
    sel.register(httpd, EVENT_READ)

    while True:
        for key, _ in sel.select():
            if key.fileobj == interrupt_read:
                interrupt_read.recv(1)
                return
            if key.fileobj == httpd:
                httpd.handle_request()

print("Serving on port 8000")
httpd = HTTPServer(('', 8000), SimpleHTTPRequestHandler)
serve_forever(httpd)
print("Shutdown...")

mmap — Memory-mapped file support

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Objetos arquivo mapeados na memória se comportam como bytearray e como objetos arquivo. Você pode usar objetos mmap na maioria dos lugares onde bytearray é esperado; por exemplo, você pode usar o módulo re para pesquisar um arquivo mapeado na memória. Você também pode alterar um único byte executando obj[index] = 97 ou alterar uma subsequência atribuindo a uma fatia: obj[i1:i2] = b'...'. Você também pode ler e gravar dados começando na posição atual do arquivo e seek() através do arquivo para diferentes posições.

A memory-mapped file is created by the mmap constructor, which is different on Unix and on Windows. In either case you must provide a file descriptor for a file opened for update. If you wish to map an existing Python file object, use its fileno() method to obtain the correct value for the fileno parameter. Otherwise, you can open the file using the os.open() function, which returns a file descriptor directly (the file still needs to be closed when done).

Nota

Se você deseja criar um mapeamento de memória para um arquivo gravável e armazenado em buffer, deve usar flush() no arquivo primeiro. Isso é necessário para garantir que as modificações locais nos buffers estejam realmente disponíveis para o mapeamento.

Para as versões Unix e Windows do construtor, access pode ser especificado como um parâmetro opcional de palavra-chave. access aceita um dos quatro valores: ACCESS_READ, ACCESS_WRITE ou ACCESS_COPY para especificar memória somente leitura, gravação ou cópia na gravação, respectivamente ACCESS_DEFAULT para adiar para prot. access pode ser usado no Unix e no Windows. Se access não for especificado, o mmap do Windows retornará um mapeamento de gravação. Os valores iniciais da memória para todos os três tipos de acesso são obtidos do arquivo especificado. A atribuição a um mapa de memória ACCESS_READ gera uma exceção TypeError. A atribuição a um mapa de memória ACCESS_WRITE afeta a memória e o arquivo subjacente. A atribuição a um mapa de memória ACCESS_COPY afeta a memória, mas não atualiza o arquivo subjacente.

Alterado na versão 3.7: Adicionada a constante ACCESS_DEFAULT.

Para mapear a memória anônima, -1 deve ser passado como o fileno junto com o comprimento.

class mmap.mmap(fileno, length, tagname=None, access=ACCESS_DEFAULT, offset=0)

(Versão Windows) Mapeia length bytes do arquivo especificado pelo identificador de arquivo fileno e cria um objeto mmap. Se length for maior que o tamanho atual do arquivo, o arquivo será estendido para conter length bytes. Se length for 0, o tamanho máximo do mapa será o tamanho atual do arquivo, exceto que, se o arquivo estiver vazio, o Windows levantará uma exceção (você não poderá criar um mapeamento vazio no Windows).

tagname, if specified and not None, is a string giving a tag name for the mapping. Windows allows you to have many different mappings against the same file. If you specify the name of an existing tag, that tag is opened, otherwise a new tag of this name is created. If this parameter is omitted or None, the mapping is created without a name. Avoiding the use of the tagname parameter will assist in keeping your code portable between Unix and Windows.

offset may be specified as a non-negative integer offset. mmap references will be relative to the offset from the beginning of the file. offset defaults to 0. offset must be a multiple of the ALLOCATIONGRANULARITY.

Levanta um evento de auditoria mmap.__new__ com os argumentos fileno, length, access, offset.

class mmap.mmap(fileno, length, flags=MAP_SHARED, prot=PROT_WRITE | PROT_READ, access=ACCESS_DEFAULT, offset=0, *, trackfd=True)

(Unix version) Maps length bytes from the file specified by the file descriptor fileno, and returns a mmap object. If length is 0, the maximum length of the map will be the current size of the file when mmap is called.

flags specifies the nature of the mapping. MAP_PRIVATE creates a private copy-on-write mapping, so changes to the contents of the mmap object will be private to this process, and MAP_SHARED creates a mapping that’s shared with all other processes mapping the same areas of the file. The default value is MAP_SHARED. Some systems have additional possible flags with the full list specified in MAP_* constants.

prot, if specified, gives the desired memory protection; the two most useful values are PROT_READ and PROT_WRITE, to specify that the pages may be read or written. prot defaults to PROT_READ | PROT_WRITE.

access may be specified in lieu of flags and prot as an optional keyword parameter. It is an error to specify both flags, prot and access. See the description of access above for information on how to use this parameter.

offset may be specified as a non-negative integer offset. mmap references will be relative to the offset from the beginning of the file. offset defaults to 0. offset must be a multiple of ALLOCATIONGRANULARITY which is equal to PAGESIZE on Unix systems.

If trackfd is False, the file descriptor specified by fileno will not be duplicated, and the resulting mmap object will not be associated with the map’s underlying file. This means that the size() and resize() methods will fail. This mode is useful to limit the number of open file descriptors.

To ensure validity of the created memory mapping the file specified by the descriptor fileno is internally automatically synchronized with the physical backing store on macOS.

Alterado na versão 3.13: The trackfd parameter was added.

This example shows a simple way of using mmap:

import mmap

# write a simple example file
with open("hello.txt", "wb") as f:
    f.write(b"Hello Python!\n")

with open("hello.txt", "r+b") as f:
    # memory-map the file, size 0 means whole file
    mm = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print(mm.readline())  # prints b"Hello Python!\n"
    # read content via slice notation
    print(mm[:5])  # prints b"Hello"
    # update content using slice notation;
    # note that new content must have same size
    mm[6:] = b" world!\n"
    # ... and read again using standard file methods
    mm.seek(0)
    print(mm.readline())  # prints b"Hello  world!\n"
    # close the map
    mm.close()

mmap can also be used as a context manager in a with statement:

import mmap

with mmap.mmap(-1, 13) as mm:
    mm.write(b"Hello world!")

Adicionado na versão 3.2: Suporte a gerenciador de contexto.

The next example demonstrates how to create an anonymous map and exchange data between the parent and child processes:

import mmap
import os

mm = mmap.mmap(-1, 13)
mm.write(b"Hello world!")

pid = os.fork()

if pid == 0:  # In a child process
    mm.seek(0)
    print(mm.readline())

    mm.close()

Levanta um evento de auditoria mmap.__new__ com os argumentos fileno, length, access, offset.

Memory-mapped file objects support the following methods:

close()

Closes the mmap. Subsequent calls to other methods of the object will result in a ValueError exception being raised. This will not close the open file.

closed

True if the file is closed.

Adicionado na versão 3.2.

find(sub[, start[, end]])

Returns the lowest index in the object where the subsequence sub is found, such that sub is contained in the range [start, end]. Optional arguments start and end are interpreted as in slice notation. Returns -1 on failure.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

flush([offset[, size]])

Flushes changes made to the in-memory copy of a file back to disk. Without use of this call there is no guarantee that changes are written back before the object is destroyed. If offset and size are specified, only changes to the given range of bytes will be flushed to disk; otherwise, the whole extent of the mapping is flushed. offset must be a multiple of the PAGESIZE or ALLOCATIONGRANULARITY.

None is returned to indicate success. An exception is raised when the call failed.

Alterado na versão 3.8: Previously, a nonzero value was returned on success; zero was returned on error under Windows. A zero value was returned on success; an exception was raised on error under Unix.

madvise(option[, start[, length]])

Send advice option to the kernel about the memory region beginning at start and extending length bytes. option must be one of the MADV_* constants available on the system. If start and length are omitted, the entire mapping is spanned. On some systems (including Linux), start must be a multiple of the PAGESIZE.

Availability: Systems with the madvise() system call.

Adicionado na versão 3.8.

move(dest, src, count)

Copy the count bytes starting at offset src to the destination index dest. If the mmap was created with ACCESS_READ, then calls to move will raise a TypeError exception.

read([n])

Return a bytes containing up to n bytes starting from the current file position. If the argument is omitted, None or negative, return all bytes from the current file position to the end of the mapping. The file position is updated to point after the bytes that were returned.

Alterado na versão 3.3: Argument can be omitted or None.

read_byte()

Returns a byte at the current file position as an integer, and advances the file position by 1.

readline()

Returns a single line, starting at the current file position and up to the next newline. The file position is updated to point after the bytes that were returned.

resize(newsize)

Resizes the map and the underlying file, if any.

Resizing a map created with access of ACCESS_READ or ACCESS_COPY, will raise a TypeError exception. Resizing a map created with with trackfd set to False, will raise a ValueError exception.

On Windows: Resizing the map will raise an OSError if there are other maps against the same named file. Resizing an anonymous map (ie against the pagefile) will silently create a new map with the original data copied over up to the length of the new size.

Alterado na versão 3.11: Correctly fails if attempting to resize when another map is held Allows resize against an anonymous map on Windows

rfind(sub[, start[, end]])

Returns the highest index in the object where the subsequence sub is found, such that sub is contained in the range [start, end]. Optional arguments start and end are interpreted as in slice notation. Returns -1 on failure.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

seek(pos[, whence])

Set the file’s current position. whence argument is optional and defaults to os.SEEK_SET or 0 (absolute file positioning); other values are os.SEEK_CUR or 1 (seek relative to the current position) and os.SEEK_END or 2 (seek relative to the file’s end).

Alterado na versão 3.13: Return the new absolute position instead of None.

seekable()

Return whether the file supports seeking, and the return value is always True.

Adicionado na versão 3.13.

size()

Return the length of the file, which can be larger than the size of the memory-mapped area.

tell()

Returns the current position of the file pointer.

write(bytes)

Write the bytes in bytes into memory at the current position of the file pointer and return the number of bytes written (never less than len(bytes), since if the write fails, a ValueError will be raised). The file position is updated to point after the bytes that were written. If the mmap was created with ACCESS_READ, then writing to it will raise a TypeError exception.

Alterado na versão 3.5: Writable bytes-like object is now accepted.

Alterado na versão 3.6: The number of bytes written is now returned.

write_byte(byte)

Write the integer byte into memory at the current position of the file pointer; the file position is advanced by 1. If the mmap was created with ACCESS_READ, then writing to it will raise a TypeError exception.

Constantes MADV_*

mmap.MADV_NORMAL

mmap.MADV_RANDOM

mmap.MADV_SEQUENTIAL

mmap.MADV_WILLNEED

mmap.MADV_DONTNEED

mmap.MADV_REMOVE

mmap.MADV_DONTFORK

mmap.MADV_DOFORK

mmap.MADV_HWPOISON

mmap.MADV_MERGEABLE

mmap.MADV_UNMERGEABLE

mmap.MADV_SOFT_OFFLINE

mmap.MADV_HUGEPAGE

mmap.MADV_NOHUGEPAGE

mmap.MADV_DONTDUMP

mmap.MADV_DODUMP

mmap.MADV_FREE

mmap.MADV_NOSYNC

mmap.MADV_AUTOSYNC

mmap.MADV_NOCORE

mmap.MADV_CORE

mmap.MADV_PROTECT

mmap.MADV_FREE_REUSABLE

mmap.MADV_FREE_REUSE

These options can be passed to mmap.madvise(). Not every option will be present on every system.

Availability: Systems with the madvise() system call.

Adicionado na versão 3.8.

Constantes MAP_*

mmap.MAP_SHARED

mmap.MAP_PRIVATE

mmap.MAP_32BIT

mmap.MAP_ALIGNED_SUPER

mmap.MAP_ANON

mmap.MAP_ANONYMOUS

mmap.MAP_CONCEAL

mmap.MAP_DENYWRITE

mmap.MAP_EXECUTABLE

mmap.MAP_HASSEMAPHORE

mmap.MAP_JIT

mmap.MAP_NOCACHE

mmap.MAP_NOEXTEND

mmap.MAP_NORESERVE

mmap.MAP_POPULATE

mmap.MAP_RESILIENT_CODESIGN

mmap.MAP_RESILIENT_MEDIA

mmap.MAP_STACK

mmap.MAP_TPRO

mmap.MAP_TRANSLATED_ALLOW_EXECUTE

mmap.MAP_UNIX03

These are the various flags that can be passed to mmap.mmap(). MAP_ALIGNED_SUPER is only available at FreeBSD and MAP_CONCEAL is only available at OpenBSD. Note that some options might not be present on some systems.

Alterado na versão 3.10: Added MAP_POPULATE constant.

Adicionado na versão 3.11: Added MAP_STACK constant.

Adicionado na versão 3.12: Added MAP_ALIGNED_SUPER and MAP_CONCEAL constants.

Adicionado na versão 3.13: Added MAP_32BIT, MAP_HASSEMAPHORE, MAP_JIT, MAP_NOCACHE, MAP_NOEXTEND, MAP_NORESERVE, MAP_RESILIENT_CODESIGN, MAP_RESILIENT_MEDIA, MAP_TPRO, MAP_TRANSLATED_ALLOW_EXECUTE, and MAP_UNIX03 constants.

Manuseio de Dados na Internet

Este capítulo descreve módulos que suportam a manipulação de formatos de dados comumente usados na Internet.

email — Um e-mail e um pacote MIME manipulável

email.message: Representing an email message

EmailMessage

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

set_param()

del_param()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

is_attachment()

get_content_disposition()

walk()

get_body()

iter_attachments()

iter_parts()

get_content()

set_content()

make_related()

make_alternative()

make_mixed()

add_related()

add_alternative()

add_attachment()

clear()

clear_content()

preamble

epilogue

defects

MIMEPart

email.parser: Parsing email messages

API do FeedParser

BytesFeedParser

feed()

close()

FeedParser

Parser API

BytesParser

parse()

parsebytes()

BytesHeaderParser

Parser

parse()

parsestr()

HeaderParser

message_from_bytes()

message_from_binary_file()

message_from_string()

message_from_file()

Additional notes

email.generator: Generating MIME documents

BytesGenerator

flatten()

clone()

write()

Generator

flatten()

clone()

write()

DecodedGenerator

email.policy: Policy Objects

Policy

max_line_length

linesep

cte_type

raise_on_defect

mangle_from_

message_factory

verify_generated_headers

clone()

handle_defect()

register_defect()

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

EmailPolicy

utf8

refold_source

header_factory

content_manager

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

default

SMTP

SMTPUTF8

HTTP

strict

Compat32

mangle_from_

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

compat32

email.errors: Exception and Defect classes

MessageError

MessageParseError

HeaderParseError

BoundaryError

MultipartConversionError

HeaderWriteError

MessageDefect

HeaderDefect

email.headerregistry: Custom Header Objects

BaseHeader

name

defects

max_count

fold()

UnstructuredHeader

DateHeader

datetime

AddressHeader

groups

addresses

SingleAddressHeader

address

MIMEVersionHeader

version

major

minor

ParameterizedMIMEHeader

params

ContentTypeHeader

content_type

maintype

subtype

ContentDispositionHeader

content_disposition

ContentTransferEncoding

cte

HeaderRegistry

map_to_type()

__getitem__()

__call__()

Address

display_name

username

domain

addr_spec

__str__()

Group

display_name

addresses

__str__()

email.contentmanager: Managing MIME Content

ContentManager

get_content()

set_content()

add_get_handler()

add_set_handler()

Content Manager Instances

raw_data_manager

get_content()

set_content()

email: Exemplos

email.message.Message: Representing an email message using the compat32 API

Message

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

attach()

get_payload()

set_payload()

set_charset()

get_charset()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

get_params()

get_param()

set_param()

del_param()

set_type()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

get_content_disposition()

walk()

preamble

epilogue

defects

email.mime: Creating email and MIME objects from scratch

MIMEBase

MIMENonMultipart

MIMEMultipart

MIMEApplication

MIMEAudio

MIMEImage

MIMEMessage

MIMEText

email.header: Internationalized headers

Header

append()

encode()

__str__()

__eq__()

__ne__()

decode_header()

make_header()

email.charset: Representing character sets

Charset

input_charset

header_encoding

body_encoding

output_charset

input_codec

output_codec

get_body_encoding()

get_output_charset()

header_encode()

header_encode_lines()

body_encode()

__str__()

__eq__()

__ne__()

add_charset()

add_alias()

add_codec()

email.encoders: Encoders

encode_quopri()

encode_base64()

encode_7or8bit()

encode_noop()

email.utils: Utilitários diversos

localtime()

make_msgid()

quote()

unquote()

parseaddr()

formataddr()

getaddresses()

parsedate()

parsedate_tz()

parsedate_to_datetime()

mktime_tz()

formatdate()

format_datetime()

decode_rfc2231()

encode_rfc2231()

collapse_rfc2231_value()

decode_params()

email.iterators: Iteradores

body_line_iterator()

typed_subpart_iterator()

_structure()

json — Codificador e decodificador JSON

Uso básico

dump()

dumps()

load()

loads()

Codificadores e decodificadores

JSONDecoder

decode()

raw_decode()

JSONEncoder

default()

encode()

iterencode()

Exceções

JSONDecodeError

msg

doc

pos

lineno

colno

Conformidade e interoperabilidade entre padrões

Codificações de caracteres

Valores numéricos infinitos e NaN

Nomes repetidos dentro de um objeto

Valores não objeto e não vetor de nível superior

Limitações de implementação

Interface de linha de comando

Opções da linha de comando

mailbox — Manipulate mailboxes in various formats

Mailbox objects

Mailbox

add()

remove()

__delitem__()

discard()

__setitem__()

iterkeys()

keys()

itervalues()

__iter__()

values()

iteritems()

items()

get()

__getitem__()

get_message()

get_bytes()

get_string()

get_file()

__contains__()

__len__()

clear()

pop()

popitem()

update()

flush()

lock()

unlock()

close()

Maildir objects

Maildir

colon

list_folders()

get_folder()

add_folder()

remove_folder()

clean()

get_flags()

set_flags()

add_flag()

remove_flag()

get_info()

set_info()

add()

__setitem__()

update()

flush()

lock()

unlock()

close()

get_file()

mbox objects

mbox

get_file()

lock()

unlock()

MH objects

MH

list_folders()

get_folder()

add_folder()

remove_folder()

get_sequences()

set_sequences()

pack()

remove()

__delitem__()

discard()

lock()

unlock()

get_file()

flush()

close()

Babyl objects

Babyl

get_labels()

get_file()

lock()

unlock()

MMDF objects

MMDF

get_file()

lock()

unlock()

Message objects

Message

MaildirMessage objects

MaildirMessage

get_subdir()

set_subdir()

get_flags()

set_flags()

add_flag()

remove_flag()

get_date()

set_date()

get_info()

set_info()

mboxMessage objects

mboxMessage

get_from()

set_from()

get_flags()

set_flags()

add_flag()

remove_flag()

MHMessage objects

MHMessage

get_sequences()

set_sequences()

add_sequence()

remove_sequence()

BabylMessage objects

BabylMessage

get_labels()

set_labels()

add_label()

remove_label()

get_visible()

set_visible()

update_visible()

MMDFMessage objects

MMDFMessage

get_from()

set_from()

get_flags()

set_flags()

add_flag()

remove_flag()

Exceções

Error

NoSuchMailboxError

NotEmptyError

ExternalClashError

FormatError

Exemplos

mimetypes — Mapeia nomes de arquivos para tipos MIME

guess_type()

guess_file_type()

guess_all_extensions()

guess_extension()

init()

read_mime_types()

add_type()

inited

knownfiles

suffix_map

encodings_map

types_map

common_types

Objetos MimeTypes

MimeTypes

suffix_map

encodings_map

types_map

types_map_inv

guess_extension()

guess_type()

guess_file_type()

guess_all_extensions()

read()

readfp()

read_windows_registry()

add_type()

base64 — Base16, Base32, Base64, Base85 Data Encodings

b64encode()

b64decode()

standard_b64encode()

standard_b64decode()

urlsafe_b64encode()

urlsafe_b64decode()

b32encode()

b32decode()

b32hexencode()

b32hexdecode()

b16encode()

b16decode()

a85encode()

a85decode()

b85encode()

b85decode()

z85encode()

z85decode()

decode()

decodebytes()

encode()

encodebytes()

Considerações de Segurança

binascii — Convert between binary and ASCII

a2b_uu()

b2a_uu()

a2b_base64()

b2a_base64()

a2b_qp()

b2a_qp()

crc_hqx()

crc32()

b2a_hex()

hexlify()

a2b_hex()

unhexlify()

Error

Incomplete

quopri — Codifica e decodifica dados MIME imprimidos entre aspas

decode()

encode()

decodestring()

encodestring()

email — Um e-mail e um pacote MIME manipulável

Código-fonte: Lib/email/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/email/__init__.py]

O pacote email é uma biblioteca para gerenciar mensagens de e-mail. Ela foi especificamente não projetada para enviar mensagens de e-mail para SMTP (RFC 2821 [https://datatracker.ietf.org/doc/html/rfc2821.html]), NNTP ou outros servidores; essas são funções de módulos como smtplib. O pacote email tenta ser o mais compatível possível com RFC, suportando RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] e RFC 6532 [https://datatracker.ietf.org/doc/html/rfc6532.html], bem como os RFCs relacionados ao MIME como RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html], RFC 2046 [https://datatracker.ietf.org/doc/html/rfc2046.html], RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html], RFC 2183 [https://datatracker.ietf.org/doc/html/rfc2183.html] e RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html].

No geral a estrutura do pacote de e-mail pode ser dividida em três componentes principais, mais um quarto componente que controla o comportamento dos outros componentes.

O componente central do pacote é um “modelo de objeto” que representa mensagens de e-mail. Uma aplicação interage com o pacote principalmente através da interface do modelo de objeto definida no submódulo message. A aplicação pode usar essa API para fazer perguntas sobre um e-mail existente, construir um novo e-mail ou adicionar ou remover subcomponentes de e-mail que usam a mesma interface de modelo de objeto. Ou seja, seguindo a natureza das mensagens de e-mail e seus subcomponentes MIME, o modelo de objeto de e-mail é uma estrutura em árvore de objetos que fornecem a API EmailMessage.

Os outros dois componentes principais do pacote são parser e generator. O analisador sintático pega a versão serializada de uma mensagem de e-mail (um fluxo de bytes) e a converte em uma árvore de objetos EmailMessage. O gerador pega um EmailMessage e o transforma novamente em um fluxo de bytes serializado. (O analisador sintático e o gerador também lidam com fluxos de caracteres de texto, mas esse uso é desencorajado, pois é muito fácil terminar com mensagens que não são válidas de uma maneira ou de outra.)

O componente de controle é o módulo policy. Cada EmailMessage, cada generator e cada parser tem um objeto associado policy que controla seu comportamento. Normalmente, uma aplicação precisa especificar a política apenas quando uma EmailMessage é criada, instanciando diretamente uma EmailMessage para criar um novo e-mail ou analisando um fluxo de entrada usando um parser. Mas a política pode ser alterada quando a mensagem é serializada usando um generator. Isso permite, por exemplo, analisar uma mensagem de e-mail genérica do disco, mas serializá-la usando as configurações SMTP padrão ao enviá-la para um servidor de e-mail.

O pacote de e-mail faz o possível para ocultar os detalhes das várias RFCs em vigor da aplicação. Conceitualmente, a aplicação deve tratar a mensagem de e-mail como uma árvore estruturada de texto unicode e anexos binários, sem ter que se preocupar com a forma como eles são representados quando serializados. Na prática, no entanto, muitas vezes é necessário estar ciente de pelo menos algumas das regras que regem as mensagens MIME e sua estrutura, especificamente os nomes e a natureza dos “tipos de conteúdo” MIME e como eles identificam documentos com várias partes. Na maioria das vezes, esse conhecimento só deve ser necessário para aplicações mais complexos e, mesmo assim, deve ser apenas a estrutura de alto nível em questão, e não os detalhes de como essas estruturas são representadas. Como os tipos de conteúdo MIME são amplamente utilizados no software moderno da Internet (não apenas no e-mail), este será um conceito familiar para muitos programadores.

As seções a seguir descrevem a funcionalidade do pacote email. Começamos com o modelo de objeto message, que é a interface principal que uma aplicação usará, e seguimos com os componentes de parser e generator. Em seguida, abordamos os controles policy, que concluem o tratamento dos principais componentes da biblioteca.

As próximas três seções cobrem as exceções que o pacote pode apresentar e os defeitos (não conformidade com as RFCs) que o parser pode detectar. A seguir, abordamos os subcomponentes headerregistry e os subcomponentes contentmanager, que fornecem ferramentas para manipulação mais detalhada de cabeçalhos e cargas úteis, respectivamente. Ambos os componentes contêm recursos relevantes para consumir e produzir mensagens não triviais, mas também documentam suas APIs de extensibilidade, que serão de interesse para aplicações avançadas.

A seguir, é apresentado um conjunto de exemplos de uso das partes fundamentais das APIs abordadas nas seções anteriores.

O exposto acima representa a API moderna (compatível com unicode) do pacote de e-mail. As seções restantes, começando com a classe Message, cobrem a API legada compat32 que lida muito mais diretamente com os detalhes de como as mensagens de e-mail são representadas. A API compat32 não oculta os detalhes dos RFCs da aplicação, mas para aplicações que precisam operar nesse nível, eles podem ser ferramentas úteis. Esta documentação também é relevante para aplicações que ainda estão usando a API compat32 por motivos de compatibilidade com versões anteriores.

Alterado na versão 3.6: Documentos reorganizados e reescritos para promover a nova API EmailMessage/EmailPolicy.

Conteúdos da documentação do pacote email:

email.message: Representing an email message

EmailMessage

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

set_param()

del_param()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

is_attachment()

get_content_disposition()

walk()

get_body()

iter_attachments()

iter_parts()

get_content()

set_content()

make_related()

make_alternative()

make_mixed()

add_related()

add_alternative()

add_attachment()

clear()

clear_content()

preamble

epilogue

defects

MIMEPart

email.parser: Parsing email messages

API do FeedParser

BytesFeedParser

feed()

close()

FeedParser

Parser API

BytesParser

parse()

parsebytes()

BytesHeaderParser

Parser

parse()

parsestr()

HeaderParser

message_from_bytes()

message_from_binary_file()

message_from_string()

message_from_file()

Additional notes

email.generator: Generating MIME documents

BytesGenerator

flatten()

clone()

write()

Generator

flatten()

clone()

write()

DecodedGenerator

email.policy: Policy Objects

Policy

max_line_length

linesep

cte_type

raise_on_defect

mangle_from_

message_factory

verify_generated_headers

clone()

handle_defect()

register_defect()

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

EmailPolicy

utf8

refold_source

header_factory

content_manager

header_max_count()

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

default

SMTP

SMTPUTF8

HTTP

strict

Compat32

mangle_from_

header_source_parse()

header_store_parse()

header_fetch_parse()

fold()

fold_binary()

compat32

email.errors: Exception and Defect classes

MessageError

MessageParseError

HeaderParseError

BoundaryError

MultipartConversionError

HeaderWriteError

MessageDefect

HeaderDefect

email.headerregistry: Custom Header Objects

BaseHeader

name

defects

max_count

fold()

UnstructuredHeader

DateHeader

datetime

AddressHeader

groups

addresses

SingleAddressHeader

address

MIMEVersionHeader

version

major

minor

ParameterizedMIMEHeader

params

ContentTypeHeader

content_type

maintype

subtype

ContentDispositionHeader

content_disposition

ContentTransferEncoding

cte

HeaderRegistry

map_to_type()

__getitem__()

__call__()

Address

display_name

username

domain

addr_spec

__str__()

Group

display_name

addresses

__str__()

email.contentmanager: Managing MIME Content

ContentManager

get_content()

set_content()

add_get_handler()

add_set_handler()

Content Manager Instances

raw_data_manager

get_content()

set_content()

email: Exemplos

API legada

email.message.Message: Representing an email message using the compat32 API

Message

as_string()

__str__()

as_bytes()

__bytes__()

is_multipart()

set_unixfrom()

get_unixfrom()

attach()

get_payload()

set_payload()

set_charset()

get_charset()

__len__()

__contains__()

__getitem__()

__setitem__()

__delitem__()

keys()

values()

items()

get()

get_all()

add_header()

replace_header()

get_content_type()

get_content_maintype()

get_content_subtype()

get_default_type()

set_default_type()

get_params()

get_param()

set_param()

del_param()

set_type()

get_filename()

get_boundary()

set_boundary()

get_content_charset()

get_charsets()

get_content_disposition()

walk()

preamble

epilogue

defects

email.mime: Creating email and MIME objects from scratch

MIMEBase

MIMENonMultipart

MIMEMultipart

MIMEApplication

MIMEAudio

MIMEImage

MIMEMessage

MIMEText

email.header: Internationalized headers

Header

append()

encode()

__str__()

__eq__()

__ne__()

decode_header()

make_header()

email.charset: Representing character sets

Charset

input_charset

header_encoding

body_encoding

output_charset

input_codec

output_codec

get_body_encoding()

get_output_charset()

header_encode()

header_encode_lines()

body_encode()

__str__()

__eq__()

__ne__()

add_charset()

add_alias()

add_codec()

email.encoders: Encoders

encode_quopri()

encode_base64()

encode_7or8bit()

encode_noop()

email.utils: Utilitários diversos

localtime()

make_msgid()

quote()

unquote()

parseaddr()

formataddr()

getaddresses()

parsedate()

parsedate_tz()

parsedate_to_datetime()

mktime_tz()

formatdate()

format_datetime()

decode_rfc2231()

encode_rfc2231()

collapse_rfc2231_value()

decode_params()

email.iterators: Iteradores

body_line_iterator()

typed_subpart_iterator()

_structure()

Ver também

Módulo smtplib

Cliente SMTP (Protocolo Simples de Envio de E-mail)

Módulo poplib

Cliente POP (Post Office Protocol)

Módulo imaplib

Cliente IMAP (Internet Message Access Protocol)

Módulo mailbox

Ferramentas para criar, ler, e gerenciar coleções de mensagem em disco usando vários formatos padrão.

email.message: Representing an email message

Código-fonte: Lib/email/message.py [https://github.com/python/cpython/tree/3.13/Lib/email/message.py]

Adicionado na versão 3.6: [1]

The central class in the email package is the EmailMessage class, imported from the email.message module. It is the base class for the email object model. EmailMessage provides the core functionality for setting and querying header fields, for accessing message bodies, and for creating or modifying structured messages.

An email message consists of headers and a payload (which is also referred to as the content). Headers are RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] or RFC 6532 [https://datatracker.ietf.org/doc/html/rfc6532.html] style field names and values, where the field name and value are separated by a colon. The colon is not part of either the field name or the field value. The payload may be a simple text message, or a binary object, or a structured sequence of sub-messages each with their own set of headers and their own payload. The latter type of payload is indicated by the message having a MIME type such as multipart/* or message/rfc822.

The conceptual model provided by an EmailMessage object is that of an ordered dictionary of headers coupled with a payload that represents the RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] body of the message, which might be a list of sub-EmailMessage objects. In addition to the normal dictionary methods for accessing the header names and values, there are methods for accessing specialized information from the headers (for example the MIME content type), for operating on the payload, for generating a serialized version of the message, and for recursively walking over the object tree.

The EmailMessage dictionary-like interface is indexed by the header names, which must be ASCII values. The values of the dictionary are strings with some extra methods. Headers are stored and returned in case-preserving form, but field names are matched case-insensitively. The keys are ordered, but unlike a real dict, there can be duplicates. Additional methods are provided for working with headers that have duplicate keys.

The payload is either a string or bytes object, in the case of simple message objects, or a list of EmailMessage objects, for MIME container documents such as multipart/* and message/rfc822 message objects.

class email.message.EmailMessage(policy=default)

If policy is specified use the rules it specifies to update and serialize the representation of the message. If policy is not set, use the default policy, which follows the rules of the email RFCs except for line endings (instead of the RFC mandated \r\n, it uses the Python standard \n line endings). For more information see the policy documentation.

as_string(unixfrom=False, maxheaderlen=None, policy=None)

Return the entire message flattened as a string. When optional unixfrom is true, the envelope header is included in the returned string. unixfrom defaults to False. For backward compatibility with the base Message class maxheaderlen is accepted, but defaults to None, which means that by default the line length is controlled by the max_line_length of the policy. The policy argument may be used to override the default policy obtained from the message instance. This can be used to control some of the formatting produced by the method, since the specified policy will be passed to the Generator.

Flattening the message may trigger changes to the EmailMessage if defaults need to be filled in to complete the transformation to a string (for example, MIME boundaries may be generated or modified).

Note that this method is provided as a convenience and may not be the most useful way to serialize messages in your application, especially if you are dealing with multiple messages. See email.generator.Generator for a more flexible API for serializing messages. Note also that this method is restricted to producing messages serialized as “7 bit clean” when utf8 is False, which is the default.

Alterado na versão 3.6: the default behavior when maxheaderlen is not specified was changed from defaulting to 0 to defaulting to the value of max_line_length from the policy.

__str__()

Equivalent to as_string(policy=self.policy.clone(utf8=True)). Allows str(msg) to produce a string containing the serialized message in a readable format.

Alterado na versão 3.4: the method was changed to use utf8=True, thus producing an RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html]-like message representation, instead of being a direct alias for as_string().

as_bytes(unixfrom=False, policy=None)

Return the entire message flattened as a bytes object. When optional unixfrom is true, the envelope header is included in the returned string. unixfrom defaults to False. The policy argument may be used to override the default policy obtained from the message instance. This can be used to control some of the formatting produced by the method, since the specified policy will be passed to the BytesGenerator.

Flattening the message may trigger changes to the EmailMessage if defaults need to be filled in to complete the transformation to a string (for example, MIME boundaries may be generated or modified).

Note that this method is provided as a convenience and may not be the most useful way to serialize messages in your application, especially if you are dealing with multiple messages. See email.generator.BytesGenerator for a more flexible API for serializing messages.

__bytes__()

Equivalent to as_bytes(). Allows bytes(msg) to produce a bytes object containing the serialized message.

is_multipart()

Return True if the message’s payload is a list of sub-EmailMessage objects, otherwise return False. When is_multipart() returns False, the payload should be a string object (which might be a CTE encoded binary payload). Note that is_multipart() returning True does not necessarily mean that “msg.get_content_maintype() == ‘multipart’” will return the True. For example, is_multipart will return True when the EmailMessage is of type message/rfc822.

set_unixfrom(unixfrom)

Set the message’s envelope header to unixfrom, which should be a string. (See mboxMessage for a brief description of this header.)

get_unixfrom()

Return the message’s envelope header. Defaults to None if the envelope header was never set.

The following methods implement the mapping-like interface for accessing the message’s headers. Note that there are some semantic differences between these methods and a normal mapping (i.e. dictionary) interface. For example, in a dictionary there are no duplicate keys, but here there may be duplicate message headers. Also, in dictionaries there is no guaranteed order to the keys returned by keys(), but in an EmailMessage object, headers are always returned in the order they appeared in the original message, or in which they were added to the message later. Any header deleted and then re-added is always appended to the end of the header list.

These semantic differences are intentional and are biased toward convenience in the most common use cases.

Note that in all cases, any envelope header present in the message is not included in the mapping interface.

__len__()

Return the total number of headers, including duplicates.

__contains__(name)

Return True if the message object has a field named name. Matching is done without regard to case and name does not include the trailing colon. Used for the in operator. For example:

if 'message-id' in myMessage:
   print('Message-ID:', myMessage['message-id'])

__getitem__(name)

Return the value of the named header field. name does not include the colon field separator. If the header is missing, None is returned; a KeyError is never raised.

Note that if the named field appears more than once in the message’s headers, exactly which of those field values will be returned is undefined. Use the get_all() method to get the values of all the extant headers named name.

Using the standard (non-compat32) policies, the returned value is an instance of a subclass of email.headerregistry.BaseHeader.

__setitem__(name, val)

Add a header to the message with field name name and value val. The field is appended to the end of the message’s existing headers.

Note that this does not overwrite or delete any existing header with the same name. If you want to ensure that the new header is the only one present in the message with field name name, delete the field first, e.g.:

del msg['subject']
msg['subject'] = 'Python roolz!'

If the policy defines certain headers to be unique (as the standard policies do), this method may raise a ValueError when an attempt is made to assign a value to such a header when one already exists. This behavior is intentional for consistency’s sake, but do not depend on it as we may choose to make such assignments do an automatic deletion of the existing header in the future.

__delitem__(name)

Delete all occurrences of the field with name name from the message’s headers. No exception is raised if the named field isn’t present in the headers.

keys()

Return a list of all the message’s header field names.

values()

Return a list of all the message’s field values.

items()

Return a list of 2-tuples containing all the message’s field headers and values.

get(name, failobj=None)

Return the value of the named header field. This is identical to __getitem__() except that optional failobj is returned if the named header is missing (failobj defaults to None).

Here are some additional useful header related methods:

get_all(name, failobj=None)

Return a list of all the values for the field named name. If there are no such named headers in the message, failobj is returned (defaults to None).

add_header(_name, _value, **_params)

Extended header setting. This method is similar to __setitem__() except that additional header parameters can be provided as keyword arguments. _name is the header field to add and _value is the primary value for the header.

For each item in the keyword argument dictionary _params, the key is taken as the parameter name, with underscores converted to dashes (since dashes are illegal in Python identifiers). Normally, the parameter will be added as key="value" unless the value is None, in which case only the key will be added.

If the value contains non-ASCII characters, the charset and language may be explicitly controlled by specifying the value as a three tuple in the format (CHARSET, LANGUAGE, VALUE), where CHARSET is a string naming the charset to be used to encode the value, LANGUAGE can usually be set to None or the empty string (see RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] for other possibilities), and VALUE is the string value containing non-ASCII code points. If a three tuple is not passed and the value contains non-ASCII characters, it is automatically encoded in RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] format using a CHARSET of utf-8 and a LANGUAGE of None.

Aqui está um exemplo:

msg.add_header('Content-Disposition', 'attachment', filename='bud.gif')

This will add a header that looks like

Content-Disposition: attachment; filename="bud.gif"

An example of the extended interface with non-ASCII characters:

msg.add_header('Content-Disposition', 'attachment',
               filename=('iso-8859-1', '', 'Fußballer.ppt'))

replace_header(_name, _value)

Replace a header. Replace the first header found in the message that matches _name, retaining header order and field name case of the original header. If no matching header is found, raise a KeyError.

get_content_type()

Return the message’s content type, coerced to lower case of the form maintype/subtype. If there is no Content-Type header in the message return the value returned by get_default_type(). If the Content-Type header is invalid, return text/plain.

(According to RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html], messages always have a default type, get_content_type() will always return a value. RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] defines a message’s default type to be text/plain unless it appears inside a multipart/digest container, in which case it would be message/rfc822. If the Content-Type header has an invalid type specification, RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] mandates that the default type be text/plain.)

get_content_maintype()

Return the message’s main content type. This is the maintype part of the string returned by get_content_type().

get_content_subtype()

Return the message’s sub-content type. This is the subtype part of the string returned by get_content_type().

get_default_type()

Return the default content type. Most messages have a default content type of text/plain, except for messages that are subparts of multipart/digest containers. Such subparts have a default content type of message/rfc822.

set_default_type(ctype)

Set the default content type. ctype should either be text/plain or message/rfc822, although this is not enforced. The default content type is not stored in the Content-Type header, so it only affects the return value of the get_content_type methods when no Content-Type header is present in the message.

set_param(param, value, header='Content-Type', requote=True, charset=None, language='', replace=False)

Set a parameter in the Content-Type header. If the parameter already exists in the header, replace its value with value. When header is Content-Type (the default) and the header does not yet exist in the message, add it, set its value to text/plain, and append the new parameter value. Optional header specifies an alternative header to Content-Type.

If the value contains non-ASCII characters, the charset and language may be explicitly specified using the optional charset and language parameters. Optional language specifies the RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] language, defaulting to the empty string. Both charset and language should be strings. The default is to use the utf8 charset and None for the language.

If replace is False (the default) the header is moved to the end of the list of headers. If replace is True, the header will be updated in place.

Uso do parâmetro requote com objetos EmailMessage está descontinuado.

Note that existing parameter values of headers may be accessed through the params attribute of the header value (for example, msg['Content-Type'].params['charset']).

Alterado na versão 3.4: Palavra-chave replace foi adicionada.

del_param(param, header='content-type', requote=True)

Remove the given parameter completely from the Content-Type header. The header will be re-written in place without the parameter or its value. Optional header specifies an alternative to Content-Type.

Uso do parâmetro requote com objetos EmailMessage está descontinuado.

get_filename(failobj=None)

Return the value of the filename parameter of the Content-Disposition header of the message. If the header does not have a filename parameter, this method falls back to looking for the name parameter on the Content-Type header. If neither is found, or the header is missing, then failobj is returned. The returned string will always be unquoted as per email.utils.unquote().

get_boundary(failobj=None)

Return the value of the boundary parameter of the Content-Type header of the message, or failobj if either the header is missing, or has no boundary parameter. The returned string will always be unquoted as per email.utils.unquote().

set_boundary(boundary)

Set the boundary parameter of the Content-Type header to boundary. set_boundary() will always quote boundary if necessary. A HeaderParseError is raised if the message object has no Content-Type header.

Note that using this method is subtly different from deleting the old Content-Type header and adding a new one with the new boundary via add_header(), because set_boundary() preserves the order of the Content-Type header in the list of headers.

get_content_charset(failobj=None)

Return the charset parameter of the Content-Type header, coerced to lower case. If there is no Content-Type header, or if that header has no charset parameter, failobj is returned.

get_charsets(failobj=None)

Return a list containing the character set names in the message. If the message is a multipart, then the list will contain one element for each subpart in the payload, otherwise, it will be a list of length 1.

Each item in the list will be a string which is the value of the charset parameter in the Content-Type header for the represented subpart. If the subpart has no Content-Type header, no charset parameter, or is not of the text main MIME type, then that item in the returned list will be failobj.

is_attachment()

Return True if there is a Content-Disposition header and its (case insensitive) value is attachment, False otherwise.

Alterado na versão 3.4.2: is_attachment is now a method instead of a property, for consistency with is_multipart().

get_content_disposition()

Return the lowercased value (without parameters) of the message’s Content-Disposition header if it has one, or None. The possible values for this method are inline, attachment or None if the message follows RFC 2183 [https://datatracker.ietf.org/doc/html/rfc2183.html].

Adicionado na versão 3.5.

The following methods relate to interrogating and manipulating the content (payload) of the message.

walk()

The walk() method is an all-purpose generator which can be used to iterate over all the parts and subparts of a message object tree, in depth-first traversal order. You will typically use walk() as the iterator in a for loop; each iteration returns the next subpart.

Here’s an example that prints the MIME type of every part of a multipart message structure:

>>> for part in msg.walk():
...     print(part.get_content_type())
multipart/report
text/plain
message/delivery-status
text/plain
text/plain
message/rfc822
text/plain

walk iterates over the subparts of any part where is_multipart() returns True, even though msg.get_content_maintype() == 'multipart' may return False. We can see this in our example by making use of the _structure debug helper function:

>>> from email.iterators import _structure
>>> for part in msg.walk():
...     print(part.get_content_maintype() == 'multipart',
...           part.is_multipart())
True True
False False
False True
False False
False False
False True
False False
>>> _structure(msg)
multipart/report
    text/plain
    message/delivery-status
        text/plain
        text/plain
    message/rfc822
        text/plain

Here the message parts are not multiparts, but they do contain subparts. is_multipart() returns True and walk descends into the subparts.

get_body(preferencelist=('related', 'html', 'plain'))

Return the MIME part that is the best candidate to be the “body” of the message.

preferencelist must be a sequence of strings from the set related, html, and plain, and indicates the order of preference for the content type of the part returned.

Start looking for candidate matches with the object on which the get_body method is called.

If related is not included in preferencelist, consider the root part (or subpart of the root part) of any related encountered as a candidate if the (sub-)part matches a preference.

When encountering a multipart/related, check the start parameter and if a part with a matching Content-ID is found, consider only it when looking for candidate matches. Otherwise consider only the first (default root) part of the multipart/related.

If a part has a Content-Disposition header, only consider the part a candidate match if the value of the header is inline.

If none of the candidates matches any of the preferences in preferencelist, return None.

Notes: (1) For most applications the only preferencelist combinations that really make sense are ('plain',), ('html', 'plain'), and the default ('related', 'html', 'plain'). (2) Because matching starts with the object on which get_body is called, calling get_body on a multipart/related will return the object itself unless preferencelist has a non-default value. (3) Messages (or message parts) that do not specify a Content-Type or whose Content-Type header is invalid will be treated as if they are of type text/plain, which may occasionally cause get_body to return unexpected results.

iter_attachments()

Return an iterator over all of the immediate sub-parts of the message that are not candidate “body” parts. That is, skip the first occurrence of each of text/plain, text/html, multipart/related, or multipart/alternative (unless they are explicitly marked as attachments via Content-Disposition: attachment), and return all remaining parts. When applied directly to a multipart/related, return an iterator over the all the related parts except the root part (ie: the part pointed to by the start parameter, or the first part if there is no start parameter or the start parameter doesn’t match the Content-ID of any of the parts). When applied directly to a multipart/alternative or a non-multipart, return an empty iterator.

iter_parts()

Return an iterator over all of the immediate sub-parts of the message, which will be empty for a non-multipart. (See also walk().)

get_content(*args, content_manager=None, **kw)

Call the get_content() method of the content_manager, passing self as the message object, and passing along any other arguments or keywords as additional arguments. If content_manager is not specified, use the content_manager specified by the current policy.

set_content(*args, content_manager=None, **kw)

Call the set_content() method of the content_manager, passing self as the message object, and passing along any other arguments or keywords as additional arguments. If content_manager is not specified, use the content_manager specified by the current policy.

make_related(boundary=None)

Convert a non-multipart message into a multipart/related message, moving any existing Content- headers and payload into a (new) first part of the multipart. If boundary is specified, use it as the boundary string in the multipart, otherwise leave the boundary to be automatically created when it is needed (for example, when the message is serialized).

make_alternative(boundary=None)

Convert a non-multipart or a multipart/related into a multipart/alternative, moving any existing Content- headers and payload into a (new) first part of the multipart. If boundary is specified, use it as the boundary string in the multipart, otherwise leave the boundary to be automatically created when it is needed (for example, when the message is serialized).

make_mixed(boundary=None)

Convert a non-multipart, a multipart/related, or a multipart-alternative into a multipart/mixed, moving any existing Content- headers and payload into a (new) first part of the multipart. If boundary is specified, use it as the boundary string in the multipart, otherwise leave the boundary to be automatically created when it is needed (for example, when the message is serialized).

add_related(*args, content_manager=None, **kw)

If the message is a multipart/related, create a new message object, pass all of the arguments to its set_content() method, and attach() it to the multipart. If the message is a non-multipart, call make_related() and then proceed as above. If the message is any other type of multipart, raise a TypeError. If content_manager is not specified, use the content_manager specified by the current policy. If the added part has no Content-Disposition header, add one with the value inline.

add_alternative(*args, content_manager=None, **kw)

If the message is a multipart/alternative, create a new message object, pass all of the arguments to its set_content() method, and attach() it to the multipart. If the message is a non-multipart or multipart/related, call make_alternative() and then proceed as above. If the message is any other type of multipart, raise a TypeError. If content_manager is not specified, use the content_manager specified by the current policy.

add_attachment(*args, content_manager=None, **kw)

If the message is a multipart/mixed, create a new message object, pass all of the arguments to its set_content() method, and attach() it to the multipart. If the message is a non-multipart, multipart/related, or multipart/alternative, call make_mixed() and then proceed as above. If content_manager is not specified, use the content_manager specified by the current policy. If the added part has no Content-Disposition header, add one with the value attachment. This method can be used both for explicit attachments (Content-Disposition: attachment) and inline attachments (Content-Disposition: inline), by passing appropriate options to the content_manager.

clear()

Remove the payload and all of the headers.

clear_content()

Remove the payload and all of the !Content- headers, leaving all other headers intact and in their original order.

EmailMessage objects have the following instance attributes:

preamble

The format of a MIME document allows for some text between the blank line following the headers, and the first multipart boundary string. Normally, this text is never visible in a MIME-aware mail reader because it falls outside the standard MIME armor. However, when viewing the raw text of the message, or when viewing the message in a non-MIME aware reader, this text can become visible.

The preamble attribute contains this leading extra-armor text for MIME documents. When the Parser discovers some text after the headers but before the first boundary string, it assigns this text to the message’s preamble attribute. When the Generator is writing out the plain text representation of a MIME message, and it finds the message has a preamble attribute, it will write this text in the area between the headers and the first boundary. See email.parser and email.generator for details.

Note that if the message object has no preamble, the preamble attribute will be None.

epilogue

The epilogue attribute acts the same way as the preamble attribute, except that it contains text that appears between the last boundary and the end of the message. As with the preamble, if there is no epilog text this attribute will be None.

defects

The defects attribute contains a list of all the problems found when parsing this message. See email.errors for a detailed description of the possible parsing defects.

class email.message.MIMEPart(policy=default)

This class represents a subpart of a MIME message. It is identical to EmailMessage, except that no MIME-Version headers are added when set_content() is called, since sub-parts do not need their own MIME-Version headers.

Notas de rodapé

[1]

Originally added in 3.4 as a provisional module. Docs for legacy message class moved to email.message.Message: Representing an email message using the compat32 API.

email.parser: Parsing email messages

Código-fonte: Lib/email/parser.py [https://github.com/python/cpython/tree/3.13/Lib/email/parser.py]

Message object structures can be created in one of two ways: they can be created from whole cloth by creating an EmailMessage object, adding headers using the dictionary interface, and adding payload(s) using set_content() and related methods, or they can be created by parsing a serialized representation of the email message.

The email package provides a standard parser that understands most email document structures, including MIME documents. You can pass the parser a bytes, string or file object, and the parser will return to you the root EmailMessage instance of the object structure. For simple, non-MIME messages the payload of this root object will likely be a string containing the text of the message. For MIME messages, the root object will return True from its is_multipart() method, and the subparts can be accessed via the payload manipulation methods, such as get_body(), iter_parts(), and walk().

There are actually two parser interfaces available for use, the Parser API and the incremental FeedParser API. The Parser API is most useful if you have the entire text of the message in memory, or if the entire message lives in a file on the file system. FeedParser is more appropriate when you are reading the message from a stream which might block waiting for more input (such as reading an email message from a socket). The FeedParser can consume and parse the message incrementally, and only returns the root object when you close the parser.

Note that the parser can be extended in limited ways, and of course you can implement your own parser completely from scratch. All of the logic that connects the email package’s bundled parser and the EmailMessage class is embodied in the Policy class, so a custom parser can create message object trees any way it finds necessary by implementing custom versions of the appropriate Policy methods.

API do FeedParser

The BytesFeedParser, imported from the email.feedparser module, provides an API that is conducive to incremental parsing of email messages, such as would be necessary when reading the text of an email message from a source that can block (such as a socket). The BytesFeedParser can of course be used to parse an email message fully contained in a bytes-like object, string, or file, but the BytesParser API may be more convenient for such use cases. The semantics and results of the two parser APIs are identical.

The BytesFeedParser’s API is simple; you create an instance, feed it a bunch of bytes until there’s no more to feed it, then close the parser to retrieve the root message object. The BytesFeedParser is extremely accurate when parsing standards-compliant messages, and it does a very good job of parsing non-compliant messages, providing information about how a message was deemed broken. It will populate a message object’s defects attribute with a list of any problems it found in a message. See the email.errors module for the list of defects that it can find.

Here is the API for the BytesFeedParser:

class email.parser.BytesFeedParser(_factory=None, *, policy=policy.compat32)

Create a BytesFeedParser instance. Optional _factory is a no-argument callable; if not specified use the message_factory from the policy. Call _factory whenever a new message object is needed.

If policy is specified use the rules it specifies to update the representation of the message. If policy is not set, use the compat32 policy, which maintains backward compatibility with the Python 3.2 version of the email package and provides Message as the default factory. All other policies provide EmailMessage as the default _factory. For more information on what else policy controls, see the policy documentation.

Note: The policy keyword should always be specified; The default will change to email.policy.default in a future version of Python.

Adicionado na versão 3.2.

Alterado na versão 3.3: Added the policy keyword.

Alterado na versão 3.6: _factory defaults to the policy message_factory.

feed(data)

Feed the parser some more data. data should be a bytes-like object containing one or more lines. The lines can be partial and the parser will stitch such partial lines together properly. The lines can have any of the three common line endings: carriage return, newline, or carriage return and newline (they can even be mixed).

close()

Complete the parsing of all previously fed data and return the root message object. It is undefined what happens if feed() is called after this method has been called.

class email.parser.FeedParser(_factory=None, *, policy=policy.compat32)

Works like BytesFeedParser except that the input to the feed() method must be a string. This is of limited utility, since the only way for such a message to be valid is for it to contain only ASCII text or, if utf8 is True, no binary attachments.

Alterado na versão 3.3: Added the policy keyword.

Parser API

The BytesParser class, imported from the email.parser module, provides an API that can be used to parse a message when the complete contents of the message are available in a bytes-like object or file. The email.parser module also provides Parser for parsing strings, and header-only parsers, BytesHeaderParser and HeaderParser, which can be used if you’re only interested in the headers of the message. BytesHeaderParser and HeaderParser can be much faster in these situations, since they do not attempt to parse the message body, instead setting the payload to the raw body.

class email.parser.BytesParser(_class=None, *, policy=policy.compat32)

Create a BytesParser instance. The _class and policy arguments have the same meaning and semantics as the _factory and policy arguments of BytesFeedParser.

Note: The policy keyword should always be specified; The default will change to email.policy.default in a future version of Python.

Alterado na versão 3.3: Removed the strict argument that was deprecated in 2.4. Added the policy keyword.

Alterado na versão 3.6: _class defaults to the policy message_factory.

parse(fp, headersonly=False)

Read all the data from the binary file-like object fp, parse the resulting bytes, and return the message object. fp must support both the readline() and the read() methods.

The bytes contained in fp must be formatted as a block of RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] (or, if utf8 is True, RFC 6532 [https://datatracker.ietf.org/doc/html/rfc6532.html]) style headers and header continuation lines, optionally preceded by an envelope header. The header block is terminated either by the end of the data or by a blank line. Following the header block is the body of the message (which may contain MIME-encoded subparts, including subparts with a Content-Transfer-Encoding of 8bit).

Optional headersonly is a flag specifying whether to stop parsing after reading the headers or not. The default is False, meaning it parses the entire contents of the file.

parsebytes(bytes, headersonly=False)

Similar to the parse() method, except it takes a bytes-like object instead of a file-like object. Calling this method on a bytes-like object is equivalent to wrapping bytes in a BytesIO instance first and calling parse().

Optional headersonly is as with the parse() method.

Adicionado na versão 3.2.

class email.parser.BytesHeaderParser(_class=None, *, policy=policy.compat32)

Exactly like BytesParser, except that headersonly defaults to True.

Adicionado na versão 3.3.

class email.parser.Parser(_class=None, *, policy=policy.compat32)

This class is parallel to BytesParser, but handles string input.

Alterado na versão 3.3: Removed the strict argument. Added the policy keyword.

Alterado na versão 3.6: _class defaults to the policy message_factory.

parse(fp, headersonly=False)

Read all the data from the text-mode file-like object fp, parse the resulting text, and return the root message object. fp must support both the readline() and the read() methods on file-like objects.

Other than the text mode requirement, this method operates like BytesParser.parse().

parsestr(text, headersonly=False)

Similar to the parse() method, except it takes a string object instead of a file-like object. Calling this method on a string is equivalent to wrapping text in a StringIO instance first and calling parse().

Optional headersonly is as with the parse() method.

class email.parser.HeaderParser(_class=None, *, policy=policy.compat32)

Exactly like Parser, except that headersonly defaults to True.

Since creating a message object structure from a string or a file object is such a common task, four functions are provided as a convenience. They are available in the top-level email package namespace.

email.message_from_bytes(s, _class=None, *, policy=policy.compat32)

Return a message object structure from a bytes-like object. This is equivalent to BytesParser().parsebytes(s). Optional _class and policy are interpreted as with the BytesParser class constructor.

Adicionado na versão 3.2.

Alterado na versão 3.3: Removed the strict argument. Added the policy keyword.

email.message_from_binary_file(fp, _class=None, *, policy=policy.compat32)

Return a message object structure tree from an open binary file object. This is equivalent to BytesParser().parse(fp). _class and policy are interpreted as with the BytesParser class constructor.

Adicionado na versão 3.2.

Alterado na versão 3.3: Removed the strict argument. Added the policy keyword.

email.message_from_string(s, _class=None, *, policy=policy.compat32)

Return a message object structure from a string. This is equivalent to Parser().parsestr(s). _class and policy are interpreted as with the Parser class constructor.

Alterado na versão 3.3: Removed the strict argument. Added the policy keyword.

email.message_from_file(fp, _class=None, *, policy=policy.compat32)

Return a message object structure tree from an open file object. This is equivalent to Parser().parse(fp). _class and policy are interpreted as with the Parser class constructor.

Alterado na versão 3.3: Removed the strict argument. Added the policy keyword.

Alterado na versão 3.6: _class defaults to the policy message_factory.

Here’s an example of how you might use message_from_bytes() at an interactive Python prompt:

>>> import email
>>> msg = email.message_from_bytes(myBytes)

Additional notes

Here are some notes on the parsing semantics:

Most non-multipart type messages are parsed as a single message object with a string payload. These objects will return False for is_multipart(), and iter_parts() will yield an empty list.

All multipart type messages will be parsed as a container message object with a list of sub-message objects for their payload. The outer container message will return True for is_multipart(), and iter_parts() will yield a list of subparts.

Most messages with a content type of message/* (such as message/delivery-status and message/rfc822) will also be parsed as container object containing a list payload of length 1. Their is_multipart() method will return True. The single element yielded by iter_parts() will be a sub-message object.

Some non-standards-compliant messages may not be internally consistent about their multipart-edness. Such messages may have a Content-Type header of type multipart, but their is_multipart() method may return False. If such messages were parsed with the FeedParser, they will have an instance of the MultipartInvariantViolationDefect class in their defects attribute list. See email.errors for details.

email.generator: Generating MIME documents

Código-fonte: Lib/email/generator.py [https://github.com/python/cpython/tree/3.13/Lib/email/generator.py]

One of the most common tasks is to generate the flat (serialized) version of the email message represented by a message object structure. You will need to do this if you want to send your message via smtplib.SMTP.sendmail(), or print the message on the console. Taking a message object structure and producing a serialized representation is the job of the generator classes.

As with the email.parser module, you aren’t limited to the functionality of the bundled generator; you could write one from scratch yourself. However the bundled generator knows how to generate most email in a standards-compliant way, should handle MIME and non-MIME email messages just fine, and is designed so that the bytes-oriented parsing and generation operations are inverses, assuming the same non-transforming policy is used for both. That is, parsing the serialized byte stream via the BytesParser class and then regenerating the serialized byte stream using BytesGenerator should produce output identical to the input [1]. (On the other hand, using the generator on an EmailMessage constructed by program may result in changes to the EmailMessage object as defaults are filled in.)

The Generator class can be used to flatten a message into a text (as opposed to binary) serialized representation, but since Unicode cannot represent binary data directly, the message is of necessity transformed into something that contains only ASCII characters, using the standard email RFC Content Transfer Encoding techniques for encoding email messages for transport over channels that are not “8 bit clean”.

To accommodate reproducible processing of SMIME-signed messages Generator disables header folding for message parts of type multipart/signed and all subparts.

class email.generator.BytesGenerator(outfp, mangle_from_=None, maxheaderlen=None, *, policy=None)

Return a BytesGenerator object that will write any message provided to the flatten() method, or any surrogateescape encoded text provided to the write() method, to the file-like object outfp. outfp must support a write method that accepts binary data.

If optional mangle_from_ is True, put a > character in front of any line in the body that starts with the exact string "From ", that is From followed by a space at the beginning of a line. mangle_from_ defaults to the value of the mangle_from_ setting of the policy (which is True for the compat32 policy and False for all others). mangle_from_ is intended for use when messages are stored in Unix mbox format (see mailbox and WHY THE CONTENT-LENGTH FORMAT IS BAD [https://www.jwz.org/doc/content-length.html]).

If maxheaderlen is not None, refold any header lines that are longer than maxheaderlen, or if 0, do not rewrap any headers. If manheaderlen is None (the default), wrap headers and other message lines according to the policy settings.

If policy is specified, use that policy to control message generation. If policy is None (the default), use the policy associated with the Message or EmailMessage object passed to flatten to control the message generation. See email.policy for details on what policy controls.

Adicionado na versão 3.2.

Alterado na versão 3.3: Added the policy keyword.

Alterado na versão 3.6: The default behavior of the mangle_from_ and maxheaderlen parameters is to follow the policy.

flatten(msg, unixfrom=False, linesep=None)

Print the textual representation of the message object structure rooted at msg to the output file specified when the BytesGenerator instance was created.

If the policy option cte_type is 8bit (the default), copy any headers in the original parsed message that have not been modified to the output with any bytes with the high bit set reproduced as in the original, and preserve the non-ASCII Content-Transfer-Encoding of any body parts that have them. If cte_type is 7bit, convert the bytes with the high bit set as needed using an ASCII-compatible Content-Transfer-Encoding. That is, transform parts with non-ASCII Content-Transfer-Encoding (Content-Transfer-Encoding: 8bit) to an ASCII compatible Content-Transfer-Encoding, and encode RFC-invalid non-ASCII bytes in headers using the MIME unknown-8bit character set, thus rendering them RFC-compliant.

If unixfrom is True, print the envelope header delimiter used by the Unix mailbox format (see mailbox) before the first of the RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] headers of the root message object. If the root object has no envelope header, craft a standard one. The default is False. Note that for subparts, no envelope header is ever printed.

If linesep is not None, use it as the separator character between all the lines of the flattened message. If linesep is None (the default), use the value specified in the policy.

clone(fp)

Return an independent clone of this BytesGenerator instance with the exact same option settings, and fp as the new outfp.

write(s)

Encode s using the ASCII codec and the surrogateescape error handler, and pass it to the write method of the outfp passed to the BytesGenerator’s constructor.

As a convenience, EmailMessage provides the methods as_bytes() and bytes(aMessage) (a.k.a. __bytes__()), which simplify the generation of a serialized binary representation of a message object. For more detail, see email.message.

Because strings cannot represent binary data, the Generator class must convert any binary data in any message it flattens to an ASCII compatible format, by converting them to an ASCII compatible Content-Transfer_Encoding. Using the terminology of the email RFCs, you can think of this as Generator serializing to an I/O stream that is not “8 bit clean”. In other words, most applications will want to be using BytesGenerator, and not Generator.

class email.generator.Generator(outfp, mangle_from_=None, maxheaderlen=None, *, policy=None)

Return a Generator object that will write any message provided to the flatten() method, or any text provided to the write() method, to the file-like object outfp. outfp must support a write method that accepts string data.

If optional mangle_from_ is True, put a > character in front of any line in the body that starts with the exact string "From ", that is From followed by a space at the beginning of a line. mangle_from_ defaults to the value of the mangle_from_ setting of the policy (which is True for the compat32 policy and False for all others). mangle_from_ is intended for use when messages are stored in Unix mbox format (see mailbox and WHY THE CONTENT-LENGTH FORMAT IS BAD [https://www.jwz.org/doc/content-length.html]).

If maxheaderlen is not None, refold any header lines that are longer than maxheaderlen, or if 0, do not rewrap any headers. If manheaderlen is None (the default), wrap headers and other message lines according to the policy settings.

If policy is specified, use that policy to control message generation. If policy is None (the default), use the policy associated with the Message or EmailMessage object passed to flatten to control the message generation. See email.policy for details on what policy controls.

Alterado na versão 3.3: Added the policy keyword.

Alterado na versão 3.6: The default behavior of the mangle_from_ and maxheaderlen parameters is to follow the policy.

flatten(msg, unixfrom=False, linesep=None)

Print the textual representation of the message object structure rooted at msg to the output file specified when the Generator instance was created.

If the policy option cte_type is 8bit, generate the message as if the option were set to 7bit. (This is required because strings cannot represent non-ASCII bytes.) Convert any bytes with the high bit set as needed using an ASCII-compatible Content-Transfer-Encoding. That is, transform parts with non-ASCII Content-Transfer-Encoding (Content-Transfer-Encoding: 8bit) to an ASCII compatible Content-Transfer-Encoding, and encode RFC-invalid non-ASCII bytes in headers using the MIME unknown-8bit character set, thus rendering them RFC-compliant.

If unixfrom is True, print the envelope header delimiter used by the Unix mailbox format (see mailbox) before the first of the RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] headers of the root message object. If the root object has no envelope header, craft a standard one. The default is False. Note that for subparts, no envelope header is ever printed.

If linesep is not None, use it as the separator character between all the lines of the flattened message. If linesep is None (the default), use the value specified in the policy.

Alterado na versão 3.2: Added support for re-encoding 8bit message bodies, and the linesep argument.

clone(fp)

Return an independent clone of this Generator instance with the exact same options, and fp as the new outfp.

write(s)

Write s to the write method of the outfp passed to the Generator’s constructor. This provides just enough file-like API for Generator instances to be used in the print() function.

As a convenience, EmailMessage provides the methods as_string() and str(aMessage) (a.k.a. __str__()), which simplify the generation of a formatted string representation of a message object. For more detail, see email.message.

The email.generator module also provides a derived class, DecodedGenerator, which is like the Generator base class, except that non-text parts are not serialized, but are instead represented in the output stream by a string derived from a template filled in with information about the part.

class email.generator.DecodedGenerator(outfp, mangle_from_=None, maxheaderlen=None, fmt=None, *, policy=None)

Act like Generator, except that for any subpart of the message passed to Generator.flatten(), if the subpart is of main type text, print the decoded payload of the subpart, and if the main type is not text, instead of printing it fill in the string fmt using information from the part and print the resulting filled-in string.

To fill in fmt, execute fmt % part_info, where part_info is a dictionary composed of the following keys and values:

type – Full MIME type of the non-text part

maintype – Main MIME type of the non-text part

subtype – Sub-MIME type of the non-text part

filename – Filename of the non-text part

description – Description associated with the non-text part

encoding – Content transfer encoding of the non-text part

If fmt is None, use the following default fmt:

“[Non-text (%(type)s) part of message omitted, filename %(filename)s]”

Optional _mangle_from_ and maxheaderlen are as with the Generator base class.

Notas de rodapé

[1]

This statement assumes that you use the appropriate setting for unixfrom, and that there are no email.policy settings calling for automatic adjustments (for example, refold_source must be none, which is not the default). It is also not 100% true, since if the message does not conform to the RFC standards occasionally information about the exact original text is lost during parsing error recovery. It is a goal to fix these latter edge cases when possible.

email.policy: Policy Objects

Adicionado na versão 3.3.

Código-fonte: Lib/email/policy.py [https://github.com/python/cpython/tree/3.13/Lib/email/policy.py]

The email package’s prime focus is the handling of email messages as described by the various email and MIME RFCs. However, the general format of email messages (a block of header fields each consisting of a name followed by a colon followed by a value, the whole block followed by a blank line and an arbitrary ‘body’), is a format that has found utility outside of the realm of email. Some of these uses conform fairly closely to the main email RFCs, some do not. Even when working with email, there are times when it is desirable to break strict compliance with the RFCs, such as generating emails that interoperate with email servers that do not themselves follow the standards, or that implement extensions you want to use in ways that violate the standards.

Policy objects give the email package the flexibility to handle all these disparate use cases.

A Policy object encapsulates a set of attributes and methods that control the behavior of various components of the email package during use. Policy instances can be passed to various classes and methods in the email package to alter the default behavior. The settable values and their defaults are described below.

There is a default policy used by all classes in the email package. For all of the parser classes and the related convenience functions, and for the Message class, this is the Compat32 policy, via its corresponding pre-defined instance compat32. This policy provides for complete backward compatibility (in some cases, including bug compatibility) with the pre-Python3.3 version of the email package.

This default value for the policy keyword to EmailMessage is the EmailPolicy policy, via its pre-defined instance default.

When a Message or EmailMessage object is created, it acquires a policy. If the message is created by a parser, a policy passed to the parser will be the policy used by the message it creates. If the message is created by the program, then the policy can be specified when it is created. When a message is passed to a generator, the generator uses the policy from the message by default, but you can also pass a specific policy to the generator that will override the one stored on the message object.

The default value for the policy keyword for the email.parser classes and the parser convenience functions will be changing in a future version of Python. Therefore you should always specify explicitly which policy you want to use when calling any of the classes and functions described in the parser module.

The first part of this documentation covers the features of Policy, an abstract base class that defines the features that are common to all policy objects, including compat32. This includes certain hook methods that are called internally by the email package, which a custom policy could override to obtain different behavior. The second part describes the concrete classes EmailPolicy and Compat32, which implement the hooks that provide the standard behavior and the backward compatible behavior and features, respectively.

Policy instances are immutable, but they can be cloned, accepting the same keyword arguments as the class constructor and returning a new Policy instance that is a copy of the original but with the specified attributes values changed.

As an example, the following code could be used to read an email message from a file on disk and pass it to the system sendmail program on a Unix system:

>>> from email import message_from_binary_file
>>> from email.generator import BytesGenerator
>>> from email import policy
>>> from subprocess import Popen, PIPE
>>> with open('mymsg.txt', 'rb') as f:
...     msg = message_from_binary_file(f, policy=policy.default)
...
>>> p = Popen(['sendmail', msg['To'].addresses[0]], stdin=PIPE)
>>> g = BytesGenerator(p.stdin, policy=msg.policy.clone(linesep='\r\n'))
>>> g.flatten(msg)
>>> p.stdin.close()
>>> rc = p.wait()

Here we are telling BytesGenerator to use the RFC correct line separator characters when creating the binary string to feed into sendmail's stdin, where the default policy would use \n line separators.

Some email package methods accept a policy keyword argument, allowing the policy to be overridden for that method. For example, the following code uses the as_bytes() method of the msg object from the previous example and writes the message to a file using the native line separators for the platform on which it is running:

>>> import os
>>> with open('converted.txt', 'wb') as f:
...     f.write(msg.as_bytes(policy=msg.policy.clone(linesep=os.linesep)))
17

Policy objects can also be combined using the addition operator, producing a policy object whose settings are a combination of the non-default values of the summed objects:

>>> compat_SMTP = policy.compat32.clone(linesep='\r\n')
>>> compat_strict = policy.compat32.clone(raise_on_defect=True)
>>> compat_strict_SMTP = compat_SMTP + compat_strict

This operation is not commutative; that is, the order in which the objects are added matters. To illustrate:

>>> policy100 = policy.compat32.clone(max_line_length=100)
>>> policy80 = policy.compat32.clone(max_line_length=80)
>>> apolicy = policy100 + policy80
>>> apolicy.max_line_length
80
>>> apolicy = policy80 + policy100
>>> apolicy.max_line_length
100

class email.policy.Policy(**kw)

This is the abstract base class for all policy classes. It provides default implementations for a couple of trivial methods, as well as the implementation of the immutability property, the clone() method, and the constructor semantics.

The constructor of a policy class can be passed various keyword arguments. The arguments that may be specified are any non-method properties on this class, plus any additional non-method properties on the concrete class. A value specified in the constructor will override the default value for the corresponding attribute.

This class defines the following properties, and thus values for the following may be passed in the constructor of any policy class:

max_line_length

The maximum length of any line in the serialized output, not counting the end of line character(s). Default is 78, per RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html]. A value of 0 or None indicates that no line wrapping should be done at all.

linesep

The string to be used to terminate lines in serialized output. The default is \n because that’s the internal end-of-line discipline used by Python, though \r\n is required by the RFCs.

cte_type

Controls the type of Content Transfer Encodings that may be or are required to be used. The possible values are:

7bit

all data must be “7 bit clean” (ASCII-only). This means that where necessary data will be encoded using either quoted-printable or base64 encoding.

8bit

data is not constrained to be 7 bit clean. Data in headers is still required to be ASCII-only and so will be encoded (see fold_binary() and utf8 below for exceptions), but body parts may use the 8bit CTE.

A cte_type value of 8bit only works with BytesGenerator, not Generator, because strings cannot contain binary data. If a Generator is operating under a policy that specifies cte_type=8bit, it will act as if cte_type is 7bit.

raise_on_defect

If True, any defects encountered will be raised as errors. If False (the default), defects will be passed to the register_defect() method.

mangle_from_

If True, lines starting with “From “ in the body are escaped by putting a > in front of them. This parameter is used when the message is being serialized by a generator. Default: False.

Adicionado na versão 3.5.

message_factory

A factory function for constructing a new empty message object. Used by the parser when building messages. Defaults to None, in which case Message is used.

Adicionado na versão 3.6.

verify_generated_headers

If True (the default), the generator will raise HeaderWriteError instead of writing a header that is improperly folded or delimited, such that it would be parsed as multiple headers or joined with adjacent data. Such headers can be generated by custom header classes or bugs in the email module.

As it’s a security feature, this defaults to True even in the Compat32 policy. For backwards compatible, but unsafe, behavior, it must be set to False explicitly.

Adicionado na versão 3.13.

The following Policy method is intended to be called by code using the email library to create policy instances with custom settings:

clone(**kw)

Return a new Policy instance whose attributes have the same values as the current instance, except where those attributes are given new values by the keyword arguments.

The remaining Policy methods are called by the email package code, and are not intended to be called by an application using the email package. A custom policy must implement all of these methods.

handle_defect(obj, defect)

Handle a defect found on obj. When the email package calls this method, defect will always be a subclass of Defect.

The default implementation checks the raise_on_defect flag. If it is True, defect is raised as an exception. If it is False (the default), obj and defect are passed to register_defect().

register_defect(obj, defect)

Register a defect on obj. In the email package, defect will always be a subclass of Defect.

The default implementation calls the append method of the defects attribute of obj. When the email package calls handle_defect, obj will normally have a defects attribute that has an append method. Custom object types used with the email package (for example, custom Message objects) should also provide such an attribute, otherwise defects in parsed messages will raise unexpected errors.

header_max_count(name)

Return the maximum allowed number of headers named name.

Called when a header is added to an EmailMessage or Message object. If the returned value is not 0 or None, and there are already a number of headers with the name name greater than or equal to the value returned, a ValueError is raised.

Because the default behavior of Message.__setitem__ is to append the value to the list of headers, it is easy to create duplicate headers without realizing it. This method allows certain headers to be limited in the number of instances of that header that may be added to a Message programmatically. (The limit is not observed by the parser, which will faithfully produce as many headers as exist in the message being parsed.)

The default implementation returns None for all header names.

header_source_parse(sourcelines)

The email package calls this method with a list of strings, each string ending with the line separation characters found in the source being parsed. The first line includes the field header name and separator. All whitespace in the source is preserved. The method should return the (name, value) tuple that is to be stored in the Message to represent the parsed header.

If an implementation wishes to retain compatibility with the existing email package policies, name should be the case preserved name (all characters up to the ‘:’ separator), while value should be the unfolded value (all line separator characters removed, but whitespace kept intact), stripped of leading whitespace.

sourcelines may contain surrogateescaped binary data.

There is no default implementation

header_store_parse(name, value)

The email package calls this method with the name and value provided by the application program when the application program is modifying a Message programmatically (as opposed to a Message created by a parser). The method should return the (name, value) tuple that is to be stored in the Message to represent the header.

If an implementation wishes to retain compatibility with the existing email package policies, the name and value should be strings or string subclasses that do not change the content of the passed in arguments.

There is no default implementation

header_fetch_parse(name, value)

The email package calls this method with the name and value currently stored in the Message when that header is requested by the application program, and whatever the method returns is what is passed back to the application as the value of the header being retrieved. Note that there may be more than one header with the same name stored in the Message; the method is passed the specific name and value of the header destined to be returned to the application.

value may contain surrogateescaped binary data. There should be no surrogateescaped binary data in the value returned by the method.

There is no default implementation

fold(name, value)

The email package calls this method with the name and value currently stored in the Message for a given header. The method should return a string that represents that header “folded” correctly (according to the policy settings) by composing the name with the value and inserting linesep characters at the appropriate places. See RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] for a discussion of the rules for folding email headers.

value may contain surrogateescaped binary data. There should be no surrogateescaped binary data in the string returned by the method.

fold_binary(name, value)

The same as fold(), except that the returned value should be a bytes object rather than a string.

value may contain surrogateescaped binary data. These could be converted back into binary data in the returned bytes object.

class email.policy.EmailPolicy(**kw)

This concrete Policy provides behavior that is intended to be fully compliant with the current email RFCs. These include (but are not limited to) RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html], RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html], and the current MIME RFCs.

This policy adds new header parsing and folding algorithms. Instead of simple strings, headers are str subclasses with attributes that depend on the type of the field. The parsing and folding algorithm fully implement RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] and RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html].

The default value for the message_factory attribute is EmailMessage.

In addition to the settable attributes listed above that apply to all policies, this policy adds the following additional attributes:

Adicionado na versão 3.6: [1]

utf8

If False, follow RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html], supporting non-ASCII characters in headers by encoding them as “encoded words”. If True, follow RFC 6532 [https://datatracker.ietf.org/doc/html/rfc6532.html] and use utf-8 encoding for headers. Messages formatted in this way may be passed to SMTP servers that support the SMTPUTF8 extension (RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html]).

refold_source

If the value for a header in the Message object originated from a parser (as opposed to being set by a program), this attribute indicates whether or not a generator should refold that value when transforming the message back into serialized form. The possible values are:

none

all source values use original folding

long

source values that have any line that is longer than max_line_length will be refolded

all

todos os valores são redobrados.

O padrão é long.

header_factory

A callable that takes two arguments, name and value, where name is a header field name and value is an unfolded header field value, and returns a string subclass that represents that header. A default header_factory (see headerregistry) is provided that supports custom parsing for the various address and date RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] header field types, and the major MIME header field stypes. Support for additional custom parsing will be added in the future.

content_manager

An object with at least two methods: get_content and set_content. When the get_content() or set_content() method of an EmailMessage object is called, it calls the corresponding method of this object, passing it the message object as its first argument, and any arguments or keywords that were passed to it as additional arguments. By default content_manager is set to raw_data_manager.

Adicionado na versão 3.4.

The class provides the following concrete implementations of the abstract methods of Policy:

header_max_count(name)

Returns the value of the max_count attribute of the specialized class used to represent the header with the given name.

header_source_parse(sourcelines)

The name is parsed as everything up to the ‘:’ and returned unmodified. The value is determined by stripping leading whitespace off the remainder of the first line, joining all subsequent lines together, and stripping any trailing carriage return or linefeed characters.

header_store_parse(name, value)

The name is returned unchanged. If the input value has a name attribute and it matches name ignoring case, the value is returned unchanged. Otherwise the name and value are passed to header_factory, and the resulting header object is returned as the value. In this case a ValueError is raised if the input value contains CR or LF characters.

header_fetch_parse(name, value)

If the value has a name attribute, it is returned to unmodified. Otherwise the name, and the value with any CR or LF characters removed, are passed to the header_factory, and the resulting header object is returned. Any surrogateescaped bytes get turned into the unicode unknown-character glyph.

fold(name, value)

Header folding is controlled by the refold_source policy setting. A value is considered to be a ‘source value’ if and only if it does not have a name attribute (having a name attribute means it is a header object of some sort). If a source value needs to be refolded according to the policy, it is converted into a header object by passing the name and the value with any CR and LF characters removed to the header_factory. Folding of a header object is done by calling its fold method with the current policy.

Source values are split into lines using splitlines(). If the value is not to be refolded, the lines are rejoined using the linesep from the policy and returned. The exception is lines containing non-ascii binary data. In that case the value is refolded regardless of the refold_source setting, which causes the binary data to be CTE encoded using the unknown-8bit charset.

fold_binary(name, value)

The same as fold() if cte_type is 7bit, except that the returned value is bytes.

If cte_type is 8bit, non-ASCII binary data is converted back into bytes. Headers with binary data are not refolded, regardless of the refold_header setting, since there is no way to know whether the binary data consists of single byte characters or multibyte characters.

The following instances of EmailPolicy provide defaults suitable for specific application domains. Note that in the future the behavior of these instances (in particular the HTTP instance) may be adjusted to conform even more closely to the RFCs relevant to their domains.

email.policy.default

An instance of EmailPolicy with all defaults unchanged. This policy uses the standard Python \n line endings rather than the RFC-correct \r\n.

email.policy.SMTP

Suitable for serializing messages in conformance with the email RFCs. Like default, but with linesep set to \r\n, which is RFC compliant.

email.policy.SMTPUTF8

The same as SMTP except that utf8 is True. Useful for serializing messages to a message store without using encoded words in the headers. Should only be used for SMTP transmission if the sender or recipient addresses have non-ASCII characters (the smtplib.SMTP.send_message() method handles this automatically).

email.policy.HTTP

Suitable for serializing headers with for use in HTTP traffic. Like SMTP except that max_line_length is set to None (unlimited).

email.policy.strict

Convenience instance. The same as default except that raise_on_defect is set to True. This allows any policy to be made strict by writing:

somepolicy + policy.strict

With all of these EmailPolicies, the effective API of the email package is changed from the Python 3.2 API in the following ways:

Setting a header on a Message results in that header being parsed and a header object created.

Fetching a header value from a Message results in that header being parsed and a header object created and returned.

Any header object, or any header that is refolded due to the policy settings, is folded using an algorithm that fully implements the RFC folding algorithms, including knowing where encoded words are required and allowed.

From the application view, this means that any header obtained through the EmailMessage is a header object with extra attributes, whose string value is the fully decoded unicode value of the header. Likewise, a header may be assigned a new value, or a new header created, using a unicode string, and the policy will take care of converting the unicode string into the correct RFC encoded form.

The header objects and their attributes are described in headerregistry.

class email.policy.Compat32(**kw)

This concrete Policy is the backward compatibility policy. It replicates the behavior of the email package in Python 3.2. The policy module also defines an instance of this class, compat32, that is used as the default policy. Thus the default behavior of the email package is to maintain compatibility with Python 3.2.

The following attributes have values that are different from the Policy default:

mangle_from_

O padrão é True.

The class provides the following concrete implementations of the abstract methods of Policy:

header_source_parse(sourcelines)

The name is parsed as everything up to the ‘:’ and returned unmodified. The value is determined by stripping leading whitespace off the remainder of the first line, joining all subsequent lines together, and stripping any trailing carriage return or linefeed characters.

header_store_parse(name, value)

The name and value are returned unmodified.

header_fetch_parse(name, value)

If the value contains binary data, it is converted into a Header object using the unknown-8bit charset. Otherwise it is returned unmodified.

fold(name, value)

Headers are folded using the Header folding algorithm, which preserves existing line breaks in the value, and wraps each resulting line to the max_line_length. Non-ASCII binary data are CTE encoded using the unknown-8bit charset.

fold_binary(name, value)

Headers are folded using the Header folding algorithm, which preserves existing line breaks in the value, and wraps each resulting line to the max_line_length. If cte_type is 7bit, non-ascii binary data is CTE encoded using the unknown-8bit charset. Otherwise the original source header is used, with its existing line breaks and any (RFC invalid) binary data it may contain.

email.policy.compat32

An instance of Compat32, providing backward compatibility with the behavior of the email package in Python 3.2.

Notas de rodapé

[1]

Originally added in 3.3 as a provisional feature.

email.errors: Exception and Defect classes

Código-fonte: Lib/email/errors.py [https://github.com/python/cpython/tree/3.13/Lib/email/errors.py]

A seguinte classe de exceção é definida no modulo email.errors.

exception email.errors.MessageError

Essa é a classe base para todas as exceções que o pacote email pode levantar. Ela é derivada da classe padrão Exception e não define métodos adicionais.

exception email.errors.MessageParseError

Essa é a classe base para exceções levantadas pela classe Parser. Ela é derivada do MessageError. Essa classe pode ser usada internamente pelo analisador sintático usado pelo headerregistry.

exception email.errors.HeaderParseError

Raised under some error conditions when parsing the RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] headers of a message, this class is derived from MessageParseError. The set_boundary() method will raise this error if the content type is unknown when the method is called. Header may raise this error for certain base64 decoding errors, and when an attempt is made to create a header that appears to contain an embedded header (that is, there is what is supposed to be a continuation line that has no leading whitespace and looks like a header).

exception email.errors.BoundaryError

Descontinuado e não mais usado.

exception email.errors.MultipartConversionError

Raised when a payload is added to a Message object using add_payload(), but the payload is already a scalar and the message’s Content-Type main type is not either multipart or missing. MultipartConversionError multiply inherits from MessageError and the built-in TypeError.

Since Message.add_payload() is deprecated, this exception is rarely raised in practice. However the exception may also be raised if the attach() method is called on an instance of a class derived from MIMENonMultipart (e.g. MIMEImage).

exception email.errors.HeaderWriteError

Raised when an error occurs when the generator outputs headers.

exception email.errors.MessageDefect

This is the base class for all defects found when parsing email messages. It is derived from ValueError.

exception email.errors.HeaderDefect

This is the base class for all defects found when parsing email headers. It is derived from MessageDefect.

Here is the list of the defects that the FeedParser can find while parsing messages. Note that the defects are added to the message where the problem was found, so for example, if a message nested inside a multipart/alternative had a malformed header, that nested message object would have a defect, but the containing messages would not.

All defect classes are subclassed from email.errors.MessageDefect.

NoBoundaryInMultipartDefect – A message claimed to be a multipart, but had no boundary parameter.

StartBoundaryNotFoundDefect – The start boundary claimed in the Content-Type header was never found.

CloseBoundaryNotFoundDefect – A start boundary was found, but no corresponding close boundary was ever found.

Adicionado na versão 3.3.

FirstHeaderLineIsContinuationDefect – The message had a continuation line as its first header line.

MisplacedEnvelopeHeaderDefect - A “Unix From” header was found in the middle of a header block.

MissingHeaderBodySeparatorDefect - A line was found while parsing headers that had no leading white space but contained no ‘:’. Parsing continues assuming that the line represents the first line of the body.

Adicionado na versão 3.3.

MalformedHeaderDefect – A header was found that was missing a colon, or was otherwise malformed.

Obsoleto desde a versão 3.3: This defect has not been used for several Python versions.

MultipartInvariantViolationDefect – A message claimed to be a multipart, but no subparts were found. Note that when a message has this defect, its is_multipart() method may return False even though its content type claims to be multipart.

InvalidBase64PaddingDefect – When decoding a block of base64 encoded bytes, the padding was not correct. Enough padding is added to perform the decode, but the resulting decoded bytes may be invalid.

InvalidBase64CharactersDefect – When decoding a block of base64 encoded bytes, characters outside the base64 alphabet were encountered. The characters are ignored, but the resulting decoded bytes may be invalid.

InvalidBase64LengthDefect – When decoding a block of base64 encoded bytes, the number of non-padding base64 characters was invalid (1 more than a multiple of 4). The encoded block was kept as-is.

InvalidDateDefect – When decoding an invalid or unparsable date field. The original value is kept as-is.

email.headerregistry: Custom Header Objects

Código-fonte: Lib/email/headerregistry.py [https://github.com/python/cpython/tree/3.13/Lib/email/headerregistry.py]

Adicionado na versão 3.6: [1]

Headers are represented by customized subclasses of str. The particular class used to represent a given header is determined by the header_factory of the policy in effect when the headers are created. This section documents the particular header_factory implemented by the email package for handling RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] compliant email messages, which not only provides customized header objects for various header types, but also provides an extension mechanism for applications to add their own custom header types.

When using any of the policy objects derived from EmailPolicy, all headers are produced by HeaderRegistry and have BaseHeader as their last base class. Each header class has an additional base class that is determined by the type of the header. For example, many headers have the class UnstructuredHeader as their other base class. The specialized second class for a header is determined by the name of the header, using a lookup table stored in the HeaderRegistry. All of this is managed transparently for the typical application program, but interfaces are provided for modifying the default behavior for use by more complex applications.

The sections below first document the header base classes and their attributes, followed by the API for modifying the behavior of HeaderRegistry, and finally the support classes used to represent the data parsed from structured headers.

class email.headerregistry.BaseHeader(name, value)

name and value are passed to BaseHeader from the header_factory call. The string value of any header object is the value fully decoded to unicode.

This base class defines the following read-only properties:

name

The name of the header (the portion of the field before the ‘:’). This is exactly the value passed in the header_factory call for name; that is, case is preserved.

defects

A tuple of HeaderDefect instances reporting any RFC compliance problems found during parsing. The email package tries to be complete about detecting compliance issues. See the errors module for a discussion of the types of defects that may be reported.

max_count

The maximum number of headers of this type that can have the same name. A value of None means unlimited. The BaseHeader value for this attribute is None; it is expected that specialized header classes will override this value as needed.

BaseHeader also provides the following method, which is called by the email library code and should not in general be called by application programs:

fold(*, policy)

Return a string containing linesep characters as required to correctly fold the header according to policy. A cte_type of 8bit will be treated as if it were 7bit, since headers may not contain arbitrary binary data. If utf8 is False, non-ASCII data will be RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] encoded.

BaseHeader by itself cannot be used to create a header object. It defines a protocol that each specialized header cooperates with in order to produce the header object. Specifically, BaseHeader requires that the specialized class provide a classmethod() named parse. This method is called as follows:

parse(string, kwds)

kwds is a dictionary containing one pre-initialized key, defects. defects is an empty list. The parse method should append any detected defects to this list. On return, the kwds dictionary must contain values for at least the keys decoded and defects. decoded should be the string value for the header (that is, the header value fully decoded to unicode). The parse method should assume that string may contain content-transfer-encoded parts, but should correctly handle all valid unicode characters as well so that it can parse un-encoded header values.

BaseHeader’s __new__ then creates the header instance, and calls its init method. The specialized class only needs to provide an init method if it wishes to set additional attributes beyond those provided by BaseHeader itself. Such an init method should look like this:

def init(self, /, *args, **kw):
    self._myattr = kw.pop('myattr')
    super().init(*args, **kw)

That is, anything extra that the specialized class puts in to the kwds dictionary should be removed and handled, and the remaining contents of kw (and args) passed to the BaseHeader init method.

class email.headerregistry.UnstructuredHeader

An “unstructured” header is the default type of header in RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html]. Any header that does not have a specified syntax is treated as unstructured. The classic example of an unstructured header is the Subject header.

In RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html], an unstructured header is a run of arbitrary text in the ASCII character set. RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html], however, has an RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] compatible mechanism for encoding non-ASCII text as ASCII characters within a header value. When a value containing encoded words is passed to the constructor, the UnstructuredHeader parser converts such encoded words into unicode, following the RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] rules for unstructured text. The parser uses heuristics to attempt to decode certain non-compliant encoded words. Defects are registered in such cases, as well as defects for issues such as invalid characters within the encoded words or the non-encoded text.

This header type provides no additional attributes.

class email.headerregistry.DateHeader

RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] specifies a very specific format for dates within email headers. The DateHeader parser recognizes that date format, as well as recognizing a number of variant forms that are sometimes found “in the wild”.

This header type provides the following additional attributes:

datetime

If the header value can be recognized as a valid date of one form or another, this attribute will contain a datetime instance representing that date. If the timezone of the input date is specified as -0000 (indicating it is in UTC but contains no information about the source timezone), then datetime will be a naive datetime. If a specific timezone offset is found (including +0000), then datetime will contain an aware datetime that uses datetime.timezone to record the timezone offset.

The decoded value of the header is determined by formatting the datetime according to the RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] rules; that is, it is set to:

email.utils.format_datetime(self.datetime)

When creating a DateHeader, value may be datetime instance. This means, for example, that the following code is valid and does what one would expect:

msg['Date'] = datetime(2011, 7, 15, 21)

Because this is a naive datetime it will be interpreted as a UTC timestamp, and the resulting value will have a timezone of -0000. Much more useful is to use the localtime() function from the utils module:

msg['Date'] = utils.localtime()

This example sets the date header to the current time and date using the current timezone offset.

class email.headerregistry.AddressHeader

Address headers are one of the most complex structured header types. The AddressHeader class provides a generic interface to any address header.

This header type provides the following additional attributes:

groups

A tuple of Group objects encoding the addresses and groups found in the header value. Addresses that are not part of a group are represented in this list as single-address Groups whose display_name is None.

addresses

A tuple of Address objects encoding all of the individual addresses from the header value. If the header value contains any groups, the individual addresses from the group are included in the list at the point where the group occurs in the value (that is, the list of addresses is “flattened” into a one dimensional list).

The decoded value of the header will have all encoded words decoded to unicode. idna encoded domain names are also decoded to unicode. The decoded value is set by joining the str value of the elements of the groups attribute with ', '.

A list of Address and Group objects in any combination may be used to set the value of an address header. Group objects whose display_name is None will be interpreted as single addresses, which allows an address list to be copied with groups intact by using the list obtained from the groups attribute of the source header.

class email.headerregistry.SingleAddressHeader

Uma subclasse de AddressHeader que adiciona um atributo adicional:

address

The single address encoded by the header value. If the header value actually contains more than one address (which would be a violation of the RFC under the default policy), accessing this attribute will result in a ValueError.

Many of the above classes also have a Unique variant (for example, UniqueUnstructuredHeader). The only difference is that in the Unique variant, max_count is set to 1.

class email.headerregistry.MIMEVersionHeader

There is really only one valid value for the MIME-Version header, and that is 1.0. For future proofing, this header class supports other valid version numbers. If a version number has a valid value per RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html], then the header object will have non-None values for the following attributes:

version

The version number as a string, with any whitespace and/or comments removed.

major

The major version number as an integer

minor

The minor version number as an integer

class email.headerregistry.ParameterizedMIMEHeader

MIME headers all start with the prefix ‘Content-’. Each specific header has a certain value, described under the class for that header. Some can also take a list of supplemental parameters, which have a common format. This class serves as a base for all the MIME headers that take parameters.

params

A dictionary mapping parameter names to parameter values.

class email.headerregistry.ContentTypeHeader

A ParameterizedMIMEHeader class that handles the Content-Type header.

content_type

The content type string, in the form maintype/subtype.

maintype

subtype

class email.headerregistry.ContentDispositionHeader

Uma classe ParameterizedMIMEHeader que lida com o cabeçalho Content-Disposition.

content_disposition

inline and attachment are the only valid values in common use.

class email.headerregistry.ContentTransferEncoding

Handles the Content-Transfer-Encoding header.

cte

Valid values are 7bit, 8bit, base64, and quoted-printable. See RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] for more information.

class email.headerregistry.HeaderRegistry(base_class=BaseHeader, default_class=UnstructuredHeader, use_default_map=True)

This is the factory used by EmailPolicy by default. HeaderRegistry builds the class used to create a header instance dynamically, using base_class and a specialized class retrieved from a registry that it holds. When a given header name does not appear in the registry, the class specified by default_class is used as the specialized class. When use_default_map is True (the default), the standard mapping of header names to classes is copied in to the registry during initialization. base_class is always the last class in the generated class’s __bases__ list.

The default mappings are:

subject:

UniqueUnstructuredHeader

date:

UniqueDateHeader

resent-date:

DateHeader

orig-date:

UniqueDateHeader

sender:

UniqueSingleAddressHeader

resent-sender:

SingleAddressHeader

to:

UniqueAddressHeader

resent-to:

AddressHeader

cc:

UniqueAddressHeader

resent-cc:

AddressHeader

bcc:

UniqueAddressHeader

resent-bcc:

AddressHeader

from:

UniqueAddressHeader

resent-from:

AddressHeader

reply-to:

UniqueAddressHeader

mime-version:

MIMEVersionHeader

content-type:

ContentTypeHeader

content-disposition:

ContentDispositionHeader

content-transfer-encoding:

ContentTransferEncodingHeader

message-id:

MessageIDHeader

HeaderRegistry has the following methods:

map_to_type(self, name, cls)

name is the name of the header to be mapped. It will be converted to lower case in the registry. cls is the specialized class to be used, along with base_class, to create the class used to instantiate headers that match name.

__getitem__(name)

Construct and return a class to handle creating a name header.

__call__(name, value)

Retrieves the specialized header associated with name from the registry (using default_class if name does not appear in the registry) and composes it with base_class to produce a class, calls the constructed class’s constructor, passing it the same argument list, and finally returns the class instance created thereby.

The following classes are the classes used to represent data parsed from structured headers and can, in general, be used by an application program to construct structured values to assign to specific headers.

class email.headerregistry.Address(display_name='', username='', domain='', addr_spec=None)

The class used to represent an email address. The general form of an address is:

[display_name] <username@domain>

ou:

username@domain

where each part must conform to specific syntax rules spelled out in RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html].

As a convenience addr_spec can be specified instead of username and domain, in which case username and domain will be parsed from the addr_spec. An addr_spec must be a properly RFC quoted string; if it is not Address will raise an error. Unicode characters are allowed and will be property encoded when serialized. However, per the RFCs, unicode is not allowed in the username portion of the address.

display_name

The display name portion of the address, if any, with all quoting removed. If the address does not have a display name, this attribute will be an empty string.

username

The username portion of the address, with all quoting removed.

domain

The domain portion of the address.

addr_spec

The username@domain portion of the address, correctly quoted for use as a bare address (the second form shown above). This attribute is not mutable.

__str__()

The str value of the object is the address quoted according to RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] rules, but with no Content Transfer Encoding of any non-ASCII characters.

To support SMTP (RFC 5321 [https://datatracker.ietf.org/doc/html/rfc5321.html]), Address handles one special case: if username and domain are both the empty string (or None), then the string value of the Address is <>.

class email.headerregistry.Group(display_name=None, addresses=None)

The class used to represent an address group. The general form of an address group is:

display_name: [address-list];

As a convenience for processing lists of addresses that consist of a mixture of groups and single addresses, a Group may also be used to represent single addresses that are not part of a group by setting display_name to None and providing a list of the single address as addresses.

display_name

The display_name of the group. If it is None and there is exactly one Address in addresses, then the Group represents a single address that is not in a group.

addresses

A possibly empty tuple of Address objects representing the addresses in the group.

__str__()

The str value of a Group is formatted according to RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html], but with no Content Transfer Encoding of any non-ASCII characters. If display_name is none and there is a single Address in the addresses list, the str value will be the same as the str of that single Address.

Notas de rodapé

[1]

Originally added in 3.3 as a provisional module

email.contentmanager: Managing MIME Content

Código-fonte: Lib/email/contentmanager.py [https://github.com/python/cpython/tree/3.13/Lib/email/contentmanager.py]

Adicionado na versão 3.6: [1]

class email.contentmanager.ContentManager

Base class for content managers. Provides the standard registry mechanisms to register converters between MIME content and other representations, as well as the get_content and set_content dispatch methods.

get_content(msg, *args, **kw)

Look up a handler function based on the mimetype of msg (see next paragraph), call it, passing through all arguments, and return the result of the call. The expectation is that the handler will extract the payload from msg and return an object that encodes information about the extracted data.

To find the handler, look for the following keys in the registry, stopping with the first one found:

the string representing the full MIME type (maintype/subtype)

the string representing the maintype

the empty string

If none of these keys produce a handler, raise a KeyError for the full MIME type.

set_content(msg, obj, *args, **kw)

If the maintype is multipart, raise a TypeError; otherwise look up a handler function based on the type of obj (see next paragraph), call clear_content() on the msg, and call the handler function, passing through all arguments. The expectation is that the handler will transform and store obj into msg, possibly making other changes to msg as well, such as adding various MIME headers to encode information needed to interpret the stored data.

To find the handler, obtain the type of obj (typ = type(obj)), and look for the following keys in the registry, stopping with the first one found:

the type itself (typ)

the type’s fully qualified name (typ.__module__ + '.' + typ.__qualname__).

the type’s qualname (typ.__qualname__)

the type’s name (typ.__name__).

If none of the above match, repeat all of the checks above for each of the types in the MRO (typ.__mro__). Finally, if no other key yields a handler, check for a handler for the key None. If there is no handler for None, raise a KeyError for the fully qualified name of the type.

Also add a MIME-Version header if one is not present (see also MIMEPart).

add_get_handler(key, handler)

Record the function handler as the handler for key. For the possible values of key, see get_content().

add_set_handler(typekey, handler)

Record handler as the function to call when an object of a type matching typekey is passed to set_content(). For the possible values of typekey, see set_content().

Content Manager Instances

Currently the email package provides only one concrete content manager, raw_data_manager, although more may be added in the future. raw_data_manager is the content_manager provided by EmailPolicy and its derivatives.

email.contentmanager.raw_data_manager

This content manager provides only a minimum interface beyond that provided by Message itself: it deals only with text, raw byte strings, and Message objects. Nevertheless, it provides significant advantages compared to the base API: get_content on a text part will return a unicode string without the application needing to manually decode it, set_content provides a rich set of options for controlling the headers added to a part and controlling the content transfer encoding, and it enables the use of the various add_ methods, thereby simplifying the creation of multipart messages.

email.contentmanager.get_content(msg, errors='replace')

Return the payload of the part as either a string (for text parts), an EmailMessage object (for message/rfc822 parts), or a bytes object (for all other non-multipart types). Raise a KeyError if called on a multipart. If the part is a text part and errors is specified, use it as the error handler when decoding the payload to unicode. The default error handler is replace.

email.contentmanager.set_content(msg, <'str'>, subtype="plain", charset='utf-8', cte=None, disposition=None, filename=None, cid=None, params=None, headers=None)

email.contentmanager.set_content(msg, <'bytes'>, maintype, subtype, cte="base64", disposition=None, filename=None, cid=None, params=None, headers=None)

email.contentmanager.set_content(msg, <'EmailMessage'>, cte=None, disposition=None, filename=None, cid=None, params=None, headers=None)

Adicione headers e payload à msg:

Add a Content-Type header with a maintype/subtype value.

For str, set the MIME maintype to text, and set the subtype to subtype if it is specified, or plain if it is not.

For bytes, use the specified maintype and subtype, or raise a TypeError if they are not specified.

For EmailMessage objects, set the maintype to message, and set the subtype to subtype if it is specified or rfc822 if it is not. If subtype is partial, raise an error (bytes objects must be used to construct message/partial parts).

If charset is provided (which is valid only for str), encode the string to bytes using the specified character set. The default is utf-8. If the specified charset is a known alias for a standard MIME charset name, use the standard charset instead.

If cte is set, encode the payload using the specified content transfer encoding, and set the Content-Transfer-Encoding header to that value. Possible values for cte are quoted-printable, base64, 7bit, 8bit, and binary. If the input cannot be encoded in the specified encoding (for example, specifying a cte of 7bit for an input that contains non-ASCII values), raise a ValueError.

For str objects, if cte is not set use heuristics to determine the most compact encoding.

For EmailMessage, per RFC 2046 [https://datatracker.ietf.org/doc/html/rfc2046.html], raise an error if a cte of quoted-printable or base64 is requested for subtype rfc822, and for any cte other than 7bit for subtype external-body. For message/rfc822, use 8bit if cte is not specified. For all other values of subtype, use 7bit.

Nota

A cte of binary does not actually work correctly yet. The EmailMessage object as modified by set_content is correct, but BytesGenerator does not serialize it correctly.

If disposition is set, use it as the value of the Content-Disposition header. If not specified, and filename is specified, add the header with the value attachment. If disposition is not specified and filename is also not specified, do not add the header. The only valid values for disposition are attachment and inline.

If filename is specified, use it as the value of the filename parameter of the Content-Disposition header.

If cid is specified, add a Content-ID header with cid as its value.

If params is specified, iterate its items method and use the resulting (key, value) pairs to set additional parameters on the Content-Type header.

If headers is specified and is a list of strings of the form headername: headervalue or a list of header objects (distinguished from strings by having a name attribute), add the headers to msg.

Notas de rodapé

[1]

Originally added in 3.4 as a provisional module

email: Exemplos

Aqui estão alguns exemplos de como usar o pacote email para ler, escrever e enviar mensagens de e-mail simples, bem como mensagens MIME mais complexas.

Primeiro, vamos ver como criar e enviar uma mensagem de texto simples (tanto o conteúdo do texto quanto os endereços podem conter caracteres Unicode):

# Import smtplib for the actual sending function
import smtplib

# Import the email modules we'll need
from email.message import EmailMessage

# Open the plain text file whose name is in textfile for reading.
with open(textfile) as fp:
    # Create a text/plain message
    msg = EmailMessage()
    msg.set_content(fp.read())

# me == the sender's email address
# you == the recipient's email address
msg['Subject'] = f'The contents of {textfile}'
msg['From'] = me
msg['To'] = you

# Send the message via our own SMTP server.
s = smtplib.SMTP('localhost')
s.send_message(msg)
s.quit()

A análise dos cabeçalhos RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] pode ser feita facilmente usando as classes do módulo parser:

# Import the email modules we'll need
#from email.parser import BytesParser
from email.parser import Parser
from email.policy import default

# If the e-mail headers are in a file, uncomment these two lines:
# with open(messagefile, 'rb') as fp:
#     headers = BytesParser(policy=default).parse(fp)

#  Or for parsing headers in a string (this is an uncommon operation), use:
headers = Parser(policy=default).parsestr(
        'From: Foo Bar <user@example.com>\n'
        'To: <someone_else@example.com>\n'
        'Subject: Test message\n'
        '\n'
        'Body would go here\n')

#  Now the header items can be accessed as a dictionary:
print('To: {}'.format(headers['to']))
print('From: {}'.format(headers['from']))
print('Subject: {}'.format(headers['subject']))

# You can also access the parts of the addresses:
print('Recipient username: {}'.format(headers['to'].addresses[0].username))
print('Sender name: {}'.format(headers['from'].addresses[0].display_name))

Aqui está um exemplo de como enviar uma mensagem MIME contendo várias fotos de família que podem estar em um diretório:

# Import smtplib for the actual sending function.
import smtplib

# Here are the email package modules we'll need.
from email.message import EmailMessage

# Create the container email message.
msg = EmailMessage()
msg['Subject'] = 'Our family reunion'
# me == the sender's email address
# family = the list of all recipients' email addresses
msg['From'] = me
msg['To'] = ', '.join(family)
msg.preamble = 'You will not see this in a MIME-aware mail reader.\n'

# Open the files in binary mode.  You can also omit the subtype
# if you want MIMEImage to guess it.
for file in pngfiles:
    with open(file, 'rb') as fp:
        img_data = fp.read()
    msg.add_attachment(img_data, maintype='image',
                                 subtype='png')

# Send the email via our own SMTP server.
with smtplib.SMTP('localhost') as s:
    s.send_message(msg)

Aqui está um exemplo de como enviar todo o conteúdo de um diretório como uma mensagem de e-mail: [1]

#!/usr/bin/env python3

"""Send the contents of a directory as a MIME message."""

import os
import smtplib
# For guessing MIME type based on file name extension
import mimetypes

from argparse import ArgumentParser

from email.message import EmailMessage
from email.policy import SMTP

def main():
    parser = ArgumentParser(description="""\
Send the contents of a directory as a MIME message.
Unless the -o option is given, the email is sent by forwarding to your local
SMTP server, which then does the normal delivery process.  Your local machine
must be running an SMTP server.
""")
    parser.add_argument('-d', '--directory',
                        help="""Mail the contents of the specified directory,
                        otherwise use the current directory.  Only the regular
                        files in the directory are sent, and we don't recurse to
                        subdirectories.""")
    parser.add_argument('-o', '--output',
                        metavar='FILE',
                        help="""Print the composed message to FILE instead of
                        sending the message to the SMTP server.""")
    parser.add_argument('-s', '--sender', required=True,
                        help='The value of the From: header (required)')
    parser.add_argument('-r', '--recipient', required=True,
                        action='append', metavar='RECIPIENT',
                        default=[], dest='recipients',
                        help='A To: header value (at least one required)')
    args = parser.parse_args()
    directory = args.directory
    if not directory:
        directory = '.'
    # Create the message
    msg = EmailMessage()
    msg['Subject'] = f'Contents of directory {os.path.abspath(directory)}'
    msg['To'] = ', '.join(args.recipients)
    msg['From'] = args.sender
    msg.preamble = 'You will not see this in a MIME-aware mail reader.\n'

    for filename in os.listdir(directory):
        path = os.path.join(directory, filename)
        if not os.path.isfile(path):
            continue
        # Guess the content type based on the file's extension.  Encoding
        # will be ignored, although we should check for simple things like
        # gzip'd or compressed files.
        ctype, encoding = mimetypes.guess_file_type(path)
        if ctype is None or encoding is not None:
            # No guess could be made, or the file is encoded (compressed), so
            # use a generic bag-of-bits type.
            ctype = 'application/octet-stream'
        maintype, subtype = ctype.split('/', 1)
        with open(path, 'rb') as fp:
            msg.add_attachment(fp.read(),
                               maintype=maintype,
                               subtype=subtype,
                               filename=filename)
    # Now send or store the message
    if args.output:
        with open(args.output, 'wb') as fp:
            fp.write(msg.as_bytes(policy=SMTP))
    else:
        with smtplib.SMTP('localhost') as s:
            s.send_message(msg)

if __name__ == '__main__':
    main()

Aqui está um exemplo de como desempacotar uma mensagem MIME, como a acima, para um diretório de arquivos:

#!/usr/bin/env python3

"""Unpack a MIME message into a directory of files."""

import os
import email
import mimetypes

from email.policy import default

from argparse import ArgumentParser

def main():
    parser = ArgumentParser(description="""\
Unpack a MIME message into a directory of files.
""")
    parser.add_argument('-d', '--directory', required=True,
                        help="""Unpack the MIME message into the named
                        directory, which will be created if it doesn't already
                        exist.""")
    parser.add_argument('msgfile')
    args = parser.parse_args()

    with open(args.msgfile, 'rb') as fp:
        msg = email.message_from_binary_file(fp, policy=default)

    try:
        os.mkdir(args.directory)
    except FileExistsError:
        pass

    counter = 1
    for part in msg.walk():
        # multipart/* are just containers
        if part.get_content_maintype() == 'multipart':
            continue
        # Applications should really sanitize the given filename so that an
        # email message can't be used to overwrite important files
        filename = part.get_filename()
        if not filename:
            ext = mimetypes.guess_extension(part.get_content_type())
            if not ext:
                # Use a generic bag-of-bits extension
                ext = '.bin'
            filename = f'part-{counter:03d}{ext}'
        counter += 1
        with open(os.path.join(args.directory, filename), 'wb') as fp:
            fp.write(part.get_payload(decode=True))

if __name__ == '__main__':
    main()

Aqui está um exemplo de como criar uma mensagem HTML com uma versão alternativa em texto simples. Para tornar as coisas um pouco mais interessantes, incluímos uma imagem relacionada na parte html e salvamos uma cópia do que vamos enviar para o disco, assim como enviamos.

#!/usr/bin/env python3

import smtplib

from email.message import EmailMessage
from email.headerregistry import Address
from email.utils import make_msgid

# Create the base text message.
msg = EmailMessage()
msg['Subject'] = "Pourquoi pas des asperges pour ce midi ?"
msg['From'] = Address("Pepé Le Pew", "pepe", "example.com")
msg['To'] = (Address("Penelope Pussycat", "penelope", "example.com"),
             Address("Fabrette Pussycat", "fabrette", "example.com"))
msg.set_content("""\
Salut!

Cette recette [1] sera sûrement un très bon repas.

[1] http://www.yummly.com/recipe/Roasted-Asparagus-Epicurious-203718

--Pepé
""")

# Add the html version.  This converts the message into a multipart/alternative
# container, with the original text message as the first part and the new html
# message as the second part.
asparagus_cid = make_msgid()
msg.add_alternative("""\
<html>
  <head></head>
  <body>
    <p>Salut!</p>
    <p>Cette
        <a href="http://www.yummly.com/recipe/Roasted-Asparagus-Epicurious-203718">
            recette
        </a> sera sûrement un très bon repas.
    </p>
    <img src="cid:{asparagus_cid}" />
  </body>
</html>
""".format(asparagus_cid=asparagus_cid[1:-1]), subtype='html')
# note that we needed to peel the <> off the msgid for use in the html.

# Now add the related image to the html part.
with open("roasted-asparagus.jpg", 'rb') as img:
    msg.get_payload()[1].add_related(img.read(), 'image', 'jpeg',
                                     cid=asparagus_cid)

# Make a local copy of what we are going to send.
with open('outgoing.msg', 'wb') as f:
    f.write(bytes(msg))

# Send the message via local SMTP server.
with smtplib.SMTP('localhost') as s:
    s.send_message(msg)

Se nos fosse enviada a mensagem do último exemplo, aqui está uma maneira de processá-la:

import os
import sys
import tempfile
import mimetypes
import webbrowser

# Import the email modules we'll need
from email import policy
from email.parser import BytesParser

def magic_html_parser(html_text, partfiles):
    """Return safety-sanitized html linked to partfiles.

    Rewrite the href="cid:...." attributes to point to the filenames in partfiles.
    Though not trivial, this should be possible using html.parser.
    """
    raise NotImplementedError("Add the magic needed")

# In a real program you'd get the filename from the arguments.
with open('outgoing.msg', 'rb') as fp:
    msg = BytesParser(policy=policy.default).parse(fp)

# Now the header items can be accessed as a dictionary, and any non-ASCII will
# be converted to unicode:
print('To:', msg['to'])
print('From:', msg['from'])
print('Subject:', msg['subject'])

# If we want to print a preview of the message content, we can extract whatever
# the least formatted payload is and print the first three lines.  Of course,
# if the message has no plain text part printing the first three lines of html
# is probably useless, but this is just a conceptual example.
simplest = msg.get_body(preferencelist=('plain', 'html'))
print()
print(''.join(simplest.get_content().splitlines(keepends=True)[:3]))

ans = input("View full message?")
if ans.lower()[0] == 'n':
    sys.exit()

# We can extract the richest alternative in order to display it:
richest = msg.get_body()
partfiles = {}
if richest['content-type'].maintype == 'text':
    if richest['content-type'].subtype == 'plain':
        for line in richest.get_content().splitlines():
            print(line)
        sys.exit()
    elif richest['content-type'].subtype == 'html':
        body = richest
    else:
        print("Don't know how to display {}".format(richest.get_content_type()))
        sys.exit()
elif richest['content-type'].content_type == 'multipart/related':
    body = richest.get_body(preferencelist=('html'))
    for part in richest.iter_attachments():
        fn = part.get_filename()
        if fn:
            extension = os.path.splitext(part.get_filename())[1]
        else:
            extension = mimetypes.guess_extension(part.get_content_type())
        with tempfile.NamedTemporaryFile(suffix=extension, delete=False) as f:
            f.write(part.get_content())
            # again strip the <> to go from email form of cid to html form.
            partfiles[part['content-id'][1:-1]] = f.name
else:
    print("Don't know how to display {}".format(richest.get_content_type()))
    sys.exit()
with tempfile.NamedTemporaryFile(mode='w', delete=False) as f:
    f.write(magic_html_parser(body.get_content(), partfiles))
webbrowser.open(f.name)
os.remove(f.name)
for fn in partfiles.values():
    os.remove(fn)

# Of course, there are lots of email messages that could break this simple
# minded program, but it will handle the most common ones.

Até o prompt, a saída do comando acima é:

To: Penelope Pussycat <penelope@example.com>, Fabrette Pussycat <fabrette@example.com>
From: Pepé Le Pew <pepe@example.com>
Subject: Pourquoi pas des asperges pour ce midi ?

Salut!

Cette recette [1] sera sûrement un très bon repas.

Notas de rodapé

[1]

Obrigado a Matthew Dixon Cowles pela inspiração original e pelos exemplos.

email.message.Message: Representing an email message using the compat32 API

The Message class is very similar to the EmailMessage class, without the methods added by that class, and with the default behavior of certain other methods being slightly different. We also document here some methods that, while supported by the EmailMessage class, are not recommended unless you are dealing with legacy code.

The philosophy and structure of the two classes is otherwise the same.

This document describes the behavior under the default (for Message) policy Compat32. If you are going to use another policy, you should be using the EmailMessage class instead.

An email message consists of headers and a payload. Headers must be RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html] style names and values, where the field name and value are separated by a colon. The colon is not part of either the field name or the field value. The payload may be a simple text message, or a binary object, or a structured sequence of sub-messages each with their own set of headers and their own payload. The latter type of payload is indicated by the message having a MIME type such as multipart/* or message/rfc822.

The conceptual model provided by a Message object is that of an ordered dictionary of headers with additional methods for accessing both specialized information from the headers, for accessing the payload, for generating a serialized version of the message, and for recursively walking over the object tree. Note that duplicate headers are supported but special methods must be used to access them.

The Message pseudo-dictionary is indexed by the header names, which must be ASCII values. The values of the dictionary are strings that are supposed to contain only ASCII characters; there is some special handling for non-ASCII input, but it doesn’t always produce the correct results. Headers are stored and returned in case-preserving form, but field names are matched case-insensitively. There may also be a single envelope header, also known as the Unix-From header or the From_ header. The payload is either a string or bytes, in the case of simple message objects, or a list of Message objects, for MIME container documents (e.g. multipart/* and message/rfc822).

Here are the methods of the Message class:

class email.message.Message(policy=compat32)

If policy is specified (it must be an instance of a policy class) use the rules it specifies to update and serialize the representation of the message. If policy is not set, use the compat32 policy, which maintains backward compatibility with the Python 3.2 version of the email package. For more information see the policy documentation.

Alterado na versão 3.3: The policy keyword argument was added.

as_string(unixfrom=False, maxheaderlen=0, policy=None)

Return the entire message flattened as a string. When optional unixfrom is true, the envelope header is included in the returned string. unixfrom defaults to False. For backward compatibility reasons, maxheaderlen defaults to 0, so if you want a different value you must override it explicitly (the value specified for max_line_length in the policy will be ignored by this method). The policy argument may be used to override the default policy obtained from the message instance. This can be used to control some of the formatting produced by the method, since the specified policy will be passed to the Generator.

Flattening the message may trigger changes to the Message if defaults need to be filled in to complete the transformation to a string (for example, MIME boundaries may be generated or modified).

Note that this method is provided as a convenience and may not always format the message the way you want. For example, by default it does not do the mangling of lines that begin with From that is required by the Unix mbox format. For more flexibility, instantiate a Generator instance and use its flatten() method directly. For example:

from io import StringIO
from email.generator import Generator
fp = StringIO()
g = Generator(fp, mangle_from_=True, maxheaderlen=60)
g.flatten(msg)
text = fp.getvalue()

If the message object contains binary data that is not encoded according to RFC standards, the non-compliant data will be replaced by unicode “unknown character” code points. (See also as_bytes() and BytesGenerator.)

Alterado na versão 3.4: the policy keyword argument was added.

__str__()

Equivalent to as_string(). Allows str(msg) to produce a string containing the formatted message.

as_bytes(unixfrom=False, policy=None)

Return the entire message flattened as a bytes object. When optional unixfrom is true, the envelope header is included in the returned string. unixfrom defaults to False. The policy argument may be used to override the default policy obtained from the message instance. This can be used to control some of the formatting produced by the method, since the specified policy will be passed to the BytesGenerator.

Flattening the message may trigger changes to the Message if defaults need to be filled in to complete the transformation to a string (for example, MIME boundaries may be generated or modified).

Note that this method is provided as a convenience and may not always format the message the way you want. For example, by default it does not do the mangling of lines that begin with From that is required by the Unix mbox format. For more flexibility, instantiate a BytesGenerator instance and use its flatten() method directly. For example:

from io import BytesIO
from email.generator import BytesGenerator
fp = BytesIO()
g = BytesGenerator(fp, mangle_from_=True, maxheaderlen=60)
g.flatten(msg)
text = fp.getvalue()

Adicionado na versão 3.4.

__bytes__()

Equivalent to as_bytes(). Allows bytes(msg) to produce a bytes object containing the formatted message.

Adicionado na versão 3.4.

is_multipart()

Return True if the message’s payload is a list of sub-Message objects, otherwise return False. When is_multipart() returns False, the payload should be a string object (which might be a CTE encoded binary payload). (Note that is_multipart() returning True does not necessarily mean that “msg.get_content_maintype() == ‘multipart’” will return the True. For example, is_multipart will return True when the Message is of type message/rfc822.)

set_unixfrom(unixfrom)

Set the message’s envelope header to unixfrom, which should be a string.

get_unixfrom()

Return the message’s envelope header. Defaults to None if the envelope header was never set.

attach(payload)

Add the given payload to the current payload, which must be None or a list of Message objects before the call. After the call, the payload will always be a list of Message objects. If you want to set the payload to a scalar object (e.g. a string), use set_payload() instead.

This is a legacy method. On the EmailMessage class its functionality is replaced by set_content() and the related make and add methods.

get_payload(i=None, decode=False)

Return the current payload, which will be a list of Message objects when is_multipart() is True, or a string when is_multipart() is False. If the payload is a list and you mutate the list object, you modify the message’s payload in place.

With optional argument i, get_payload() will return the i-th element of the payload, counting from zero, if is_multipart() is True. An IndexError will be raised if i is less than 0 or greater than or equal to the number of items in the payload. If the payload is a string (i.e. is_multipart() is False) and i is given, a TypeError is raised.

Optional decode is a flag indicating whether the payload should be decoded or not, according to the Content-Transfer-Encoding header. When True and the message is not a multipart, the payload will be decoded if this header’s value is quoted-printable or base64. If some other encoding is used, or Content-Transfer-Encoding header is missing, the payload is returned as-is (undecoded). In all cases the returned value is binary data. If the message is a multipart and the decode flag is True, then None is returned. If the payload is base64 and it was not perfectly formed (missing padding, characters outside the base64 alphabet), then an appropriate defect will be added to the message’s defect property (InvalidBase64PaddingDefect or InvalidBase64CharactersDefect, respectively).

When decode is False (the default) the body is returned as a string without decoding the Content-Transfer-Encoding. However, for a Content-Transfer-Encoding of 8bit, an attempt is made to decode the original bytes using the charset specified by the Content-Type header, using the replace error handler. If no charset is specified, or if the charset given is not recognized by the email package, the body is decoded using the default ASCII charset.

Esse é um método legado. Na classe EmailMessage sua funcionalidade é substituída por get_content() e iter_parts().

set_payload(payload, charset=None)

Set the entire message object’s payload to payload. It is the client’s responsibility to ensure the payload invariants. Optional charset sets the message’s default character set; see set_charset() for details.

This is a legacy method. On the EmailMessage class its functionality is replaced by set_content().

set_charset(charset)

Set the character set of the payload to charset, which can either be a Charset instance (see email.charset), a string naming a character set, or None. If it is a string, it will be converted to a Charset instance. If charset is None, the charset parameter will be removed from the Content-Type header (the message will not be otherwise modified). Anything else will generate a TypeError.

If there is no existing MIME-Version header one will be added. If there is no existing Content-Type header, one will be added with a value of text/plain. Whether the Content-Type header already exists or not, its charset parameter will be set to charset.output_charset. If charset.input_charset and charset.output_charset differ, the payload will be re-encoded to the output_charset. If there is no existing Content-Transfer-Encoding header, then the payload will be transfer-encoded, if needed, using the specified Charset, and a header with the appropriate value will be added. If a Content-Transfer-Encoding header already exists, the payload is assumed to already be correctly encoded using that Content-Transfer-Encoding and is not modified.

This is a legacy method. On the EmailMessage class its functionality is replaced by the charset parameter of the email.emailmessage.EmailMessage.set_content() method.

get_charset()

Return the Charset instance associated with the message’s payload.

This is a legacy method. On the EmailMessage class it always returns None.

The following methods implement a mapping-like interface for accessing the message’s RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html] headers. Note that there are some semantic differences between these methods and a normal mapping (i.e. dictionary) interface. For example, in a dictionary there are no duplicate keys, but here there may be duplicate message headers. Also, in dictionaries there is no guaranteed order to the keys returned by keys(), but in a Message object, headers are always returned in the order they appeared in the original message, or were added to the message later. Any header deleted and then re-added are always appended to the end of the header list.

These semantic differences are intentional and are biased toward maximal convenience.

Note that in all cases, any envelope header present in the message is not included in the mapping interface.

In a model generated from bytes, any header values that (in contravention of the RFCs) contain non-ASCII bytes will, when retrieved through this interface, be represented as Header objects with a charset of unknown-8bit.

__len__()

Return the total number of headers, including duplicates.

__contains__(name)

Return True if the message object has a field named name. Matching is done case-insensitively and name should not include the trailing colon. Used for the in operator, e.g.:

if 'message-id' in myMessage:
   print('Message-ID:', myMessage['message-id'])

__getitem__(name)

Return the value of the named header field. name should not include the colon field separator. If the header is missing, None is returned; a KeyError is never raised.

Note that if the named field appears more than once in the message’s headers, exactly which of those field values will be returned is undefined. Use the get_all() method to get the values of all the extant named headers.

__setitem__(name, val)

Add a header to the message with field name name and value val. The field is appended to the end of the message’s existing fields.

Note that this does not overwrite or delete any existing header with the same name. If you want to ensure that the new header is the only one present in the message with field name name, delete the field first, e.g.:

del msg['subject']
msg['subject'] = 'Python roolz!'

__delitem__(name)

Delete all occurrences of the field with name name from the message’s headers. No exception is raised if the named field isn’t present in the headers.

keys()

Return a list of all the message’s header field names.

values()

Return a list of all the message’s field values.

items()

Return a list of 2-tuples containing all the message’s field headers and values.

get(name, failobj=None)

Return the value of the named header field. This is identical to __getitem__() except that optional failobj is returned if the named header is missing (defaults to None).

Here are some additional useful methods:

get_all(name, failobj=None)

Return a list of all the values for the field named name. If there are no such named headers in the message, failobj is returned (defaults to None).

add_header(_name, _value, **_params)

Extended header setting. This method is similar to __setitem__() except that additional header parameters can be provided as keyword arguments. _name is the header field to add and _value is the primary value for the header.

For each item in the keyword argument dictionary _params, the key is taken as the parameter name, with underscores converted to dashes (since dashes are illegal in Python identifiers). Normally, the parameter will be added as key="value" unless the value is None, in which case only the key will be added. If the value contains non-ASCII characters, it can be specified as a three tuple in the format (CHARSET, LANGUAGE, VALUE), where CHARSET is a string naming the charset to be used to encode the value, LANGUAGE can usually be set to None or the empty string (see RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] for other possibilities), and VALUE is the string value containing non-ASCII code points. If a three tuple is not passed and the value contains non-ASCII characters, it is automatically encoded in RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] format using a CHARSET of utf-8 and a LANGUAGE of None.

Aqui está um exemplo:

msg.add_header('Content-Disposition', 'attachment', filename='bud.gif')

This will add a header that looks like

Content-Disposition: attachment; filename="bud.gif"

Um exemplo com caracteres não-ASCII:

msg.add_header('Content-Disposition', 'attachment',
               filename=('iso-8859-1', '', 'Fußballer.ppt'))

Que produz

Content-Disposition: attachment; filename*="iso-8859-1''Fu%DFballer.ppt"

replace_header(_name, _value)

Replace a header. Replace the first header found in the message that matches _name, retaining header order and field name case. If no matching header was found, a KeyError is raised.

get_content_type()

Return the message’s content type. The returned string is coerced to lower case of the form maintype/subtype. If there was no Content-Type header in the message the default type as given by get_default_type() will be returned. Since according to RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html], messages always have a default type, get_content_type() will always return a value.

RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] defines a message’s default type to be text/plain unless it appears inside a multipart/digest container, in which case it would be message/rfc822. If the Content-Type header has an invalid type specification, RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] mandates that the default type be text/plain.

get_content_maintype()

Return the message’s main content type. This is the maintype part of the string returned by get_content_type().

get_content_subtype()

Return the message’s sub-content type. This is the subtype part of the string returned by get_content_type().

get_default_type()

Return the default content type. Most messages have a default content type of text/plain, except for messages that are subparts of multipart/digest containers. Such subparts have a default content type of message/rfc822.

set_default_type(ctype)

Set the default content type. ctype should either be text/plain or message/rfc822, although this is not enforced. The default content type is not stored in the Content-Type header.

get_params(failobj=None, header='content-type', unquote=True)

Return the message’s Content-Type parameters, as a list. The elements of the returned list are 2-tuples of key/value pairs, as split on the '=' sign. The left hand side of the '=' is the key, while the right hand side is the value. If there is no '=' sign in the parameter the value is the empty string, otherwise the value is as described in get_param() and is unquoted if optional unquote is True (the default).

Optional failobj is the object to return if there is no Content-Type header. Optional header is the header to search instead of Content-Type.

This is a legacy method. On the EmailMessage class its functionality is replaced by the params property of the individual header objects returned by the header access methods.

get_param(param, failobj=None, header='content-type', unquote=True)

Return the value of the Content-Type header’s parameter param as a string. If the message has no Content-Type header or if there is no such parameter, then failobj is returned (defaults to None).

Optional header if given, specifies the message header to use instead of Content-Type.

Parameter keys are always compared case insensitively. The return value can either be a string, or a 3-tuple if the parameter was RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] encoded. When it’s a 3-tuple, the elements of the value are of the form (CHARSET, LANGUAGE, VALUE). Note that both CHARSET and LANGUAGE can be None, in which case you should consider VALUE to be encoded in the us-ascii charset. You can usually ignore LANGUAGE.

If your application doesn’t care whether the parameter was encoded as in RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html], you can collapse the parameter value by calling email.utils.collapse_rfc2231_value(), passing in the return value from get_param(). This will return a suitably decoded Unicode string when the value is a tuple, or the original string unquoted if it isn’t. For example:

rawparam = msg.get_param('foo')
param = email.utils.collapse_rfc2231_value(rawparam)

In any case, the parameter value (either the returned string, or the VALUE item in the 3-tuple) is always unquoted, unless unquote is set to False.

This is a legacy method. On the EmailMessage class its functionality is replaced by the params property of the individual header objects returned by the header access methods.

set_param(param, value, header='Content-Type', requote=True, charset=None, language='', replace=False)

Set a parameter in the Content-Type header. If the parameter already exists in the header, its value will be replaced with value. If the Content-Type header as not yet been defined for this message, it will be set to text/plain and the new parameter value will be appended as per RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html].

Optional header specifies an alternative header to Content-Type, and all parameters will be quoted as necessary unless optional requote is False (the default is True).

If optional charset is specified, the parameter will be encoded according to RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html]. Optional language specifies the RFC 2231 language, defaulting to the empty string. Both charset and language should be strings.

If replace is False (the default) the header is moved to the end of the list of headers. If replace is True, the header will be updated in place.

Alterado na versão 3.4: Palavra-chave replace foi adicionada.

del_param(param, header='content-type', requote=True)

Remove the given parameter completely from the Content-Type header. The header will be re-written in place without the parameter or its value. All values will be quoted as necessary unless requote is False (the default is True). Optional header specifies an alternative to Content-Type.

set_type(type, header='Content-Type', requote=True)

Set the main type and subtype for the Content-Type header. type must be a string in the form maintype/subtype, otherwise a ValueError is raised.

This method replaces the Content-Type header, keeping all the parameters in place. If requote is False, this leaves the existing header’s quoting as is, otherwise the parameters will be quoted (the default).

An alternative header can be specified in the header argument. When the Content-Type header is set a MIME-Version header is also added.

This is a legacy method. On the EmailMessage class its functionality is replaced by the make_ and add_ methods.

get_filename(failobj=None)

Return the value of the filename parameter of the Content-Disposition header of the message. If the header does not have a filename parameter, this method falls back to looking for the name parameter on the Content-Type header. If neither is found, or the header is missing, then failobj is returned. The returned string will always be unquoted as per email.utils.unquote().

get_boundary(failobj=None)

Return the value of the boundary parameter of the Content-Type header of the message, or failobj if either the header is missing, or has no boundary parameter. The returned string will always be unquoted as per email.utils.unquote().

set_boundary(boundary)

Set the boundary parameter of the Content-Type header to boundary. set_boundary() will always quote boundary if necessary. A HeaderParseError is raised if the message object has no Content-Type header.

Note that using this method is subtly different than deleting the old Content-Type header and adding a new one with the new boundary via add_header(), because set_boundary() preserves the order of the Content-Type header in the list of headers. However, it does not preserve any continuation lines which may have been present in the original Content-Type header.

get_content_charset(failobj=None)

Return the charset parameter of the Content-Type header, coerced to lower case. If there is no Content-Type header, or if that header has no charset parameter, failobj is returned.

Note that this method differs from get_charset() which returns the Charset instance for the default encoding of the message body.

get_charsets(failobj=None)

Return a list containing the character set names in the message. If the message is a multipart, then the list will contain one element for each subpart in the payload, otherwise, it will be a list of length 1.

Each item in the list will be a string which is the value of the charset parameter in the Content-Type header for the represented subpart. However, if the subpart has no Content-Type header, no charset parameter, or is not of the text main MIME type, then that item in the returned list will be failobj.

get_content_disposition()

Return the lowercased value (without parameters) of the message’s Content-Disposition header if it has one, or None. The possible values for this method are inline, attachment or None if the message follows RFC 2183 [https://datatracker.ietf.org/doc/html/rfc2183.html].

Adicionado na versão 3.5.

walk()

The walk() method is an all-purpose generator which can be used to iterate over all the parts and subparts of a message object tree, in depth-first traversal order. You will typically use walk() as the iterator in a for loop; each iteration returns the next subpart.

Here’s an example that prints the MIME type of every part of a multipart message structure:

>>> for part in msg.walk():
...     print(part.get_content_type())
multipart/report
text/plain
message/delivery-status
text/plain
text/plain
message/rfc822
text/plain

walk iterates over the subparts of any part where is_multipart() returns True, even though msg.get_content_maintype() == 'multipart' may return False. We can see this in our example by making use of the _structure debug helper function:

>>> for part in msg.walk():
...     print(part.get_content_maintype() == 'multipart',
...           part.is_multipart())
True True
False False
False True
False False
False False
False True
False False
>>> _structure(msg)
multipart/report
    text/plain
    message/delivery-status
        text/plain
        text/plain
    message/rfc822
        text/plain

Here the message parts are not multiparts, but they do contain subparts. is_multipart() returns True and walk descends into the subparts.

Message objects can also optionally contain two instance attributes, which can be used when generating the plain text of a MIME message.

preamble

The format of a MIME document allows for some text between the blank line following the headers, and the first multipart boundary string. Normally, this text is never visible in a MIME-aware mail reader because it falls outside the standard MIME armor. However, when viewing the raw text of the message, or when viewing the message in a non-MIME aware reader, this text can become visible.

The preamble attribute contains this leading extra-armor text for MIME documents. When the Parser discovers some text after the headers but before the first boundary string, it assigns this text to the message’s preamble attribute. When the Generator is writing out the plain text representation of a MIME message, and it finds the message has a preamble attribute, it will write this text in the area between the headers and the first boundary. See email.parser and email.generator for details.

Note that if the message object has no preamble, the preamble attribute will be None.

epilogue

The epilogue attribute acts the same way as the preamble attribute, except that it contains text that appears between the last boundary and the end of the message.

You do not need to set the epilogue to the empty string in order for the Generator to print a newline at the end of the file.

defects

The defects attribute contains a list of all the problems found when parsing this message. See email.errors for a detailed description of the possible parsing defects.

email.mime: Creating email and MIME objects from scratch

Código-fonte: Lib/email/mime/ [https://github.com/python/cpython/tree/3.13/Lib/email/mime/]

Este módulo faz parte da API de e-mail legada (Compat32). Sua funcionalidade é parcialmente substituída por contentmanager na nova API, mas em certos aplicativos essas classes ainda podem ser úteis, mesmo em código não legado.

Normalmente, você obtém uma estrutura de objeto de mensagem passando um arquivo ou algum texto para um analisador, que analisa o texto e retorna o objeto de mensagem raiz. No entanto, você também pode criar uma estrutura de mensagem completa do zero, ou até objetos individuais de Message manualmente. De fato, você também pode pegar uma estrutura existente e adicionar novos objetos Message, movê-los, etc. Isso cria uma interface muito conveniente para fatiar e cortar dados de mensagens MIME.

Você pode criar uma nova estrutura de objeto criando instâncias de Message, adicionando anexos e todos os cabeçalhos apropriados manualmente. Porém, para mensagens MIME, o pacote email fornece algumas subclasses convenientes para facilitar as coisas.

Arquivo estão as classes:

class email.mime.base.MIMEBase(_maintype, _subtype, *, policy=compat32, **_params)

Módulo: email.mime.base

Esta é a classe base para todas as subclasses específicas de MIME de Message. Normalmente você não criará instâncias especificamente de MIMEBase, embora possa. A MIMEBase é fornecida principalmente como uma classe base conveniente para subclasses mais específicas para MIME.

_maintype é o tipo principal de Content-Type (ex., text ou image) e _subtype é o tipo principal de Content-Type (ex., plain ou gif). _params é um dicionário de parâmetros chave/valor e é passado diretamente para Message.add_header.

Se policy for especificado, (o padrão é a política compat32) será passado para Message.

A classe MIMEBase sempre adiciona um cabeçalho Content-Type (com base em _maintype, _subtype e _params) e um cabeçalho MIME-Version (sempre definido como 1.0).

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.nonmultipart.MIMENonMultipart

Módulo: email.mime.nonmultipart

Uma subclasse de MIMEBase, esta é uma classe base intermediária para mensagens MIME que não são multipart. O principal objetivo desta classe é impedir o uso do método attach(), que só faz sentido para mensagens multipart. Se attach() for chamado, uma exceção MultipartConversionError será levantada.

class email.mime.multipart.MIMEMultipart(_subtype='mixed', boundary=None, _subparts=None, *, policy=compat32, **_params)

Módulo: email.mime.multipart

Uma subclasse de MIMEBase, esta é uma classe base intermediária para mensagens MIME que são multipart. O _subtype opcional é padronizado como mixed, mas pode ser usado para especificar o subtipo da mensagem. Um cabeçalho Content-Type de multipart/_subtype será adicionado ao objeto da mensagem. Um cabeçalho MIME-Version também será adicionado.

O boundary opcional é a string de limites de várias partes. Quando None (o padrão), o limite é calculado quando necessário (por exemplo, quando a mensagem é serializada).

_subparts é uma sequência de subpartes iniciais para a carga. Deve ser possível converter essa sequência em uma lista. Você sempre pode anexar novas subpartes à mensagem usando o método Message.attach.

O argumento opcional policy tem como padrão compat32.

Additional parameters for the Content-Type header are taken from the keyword arguments, or passed into the _params argument, which is a keyword dictionary.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.application.MIMEApplication(_data, _subtype='octet-stream', _encoder=email.encoders.encode_base64, *, policy=compat32, **_params)

Módulo: email.mime.application

A subclass of MIMENonMultipart, the MIMEApplication class is used to represent MIME message objects of major type application. _data contains the bytes for the raw application data. Optional _subtype specifies the MIME subtype and defaults to octet-stream.

O _encoder opcional é um chamável (isto é, função) que executará a codificação real dos dados para transporte. Esse chamável requer um argumento, que é a instância MIMEApplication. Ele deve usar get_payload() e set_payload() para alterar a carga útil para o formulário codificado. Também deve adicionar Content-Transfer-Encoding ou outros cabeçalhos ao objeto de mensagem, conforme necessário. A codificação padrão é base64. Veja o módulo email.encoders para obter uma lista dos codificadores embutidos.

O argumento opcional policy tem como padrão compat32.

_params são passados diretamente para o construtor da classe base.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.audio.MIMEAudio(_audiodata, _subtype=None, _encoder=email.encoders.encode_base64, *, policy=compat32, **_params)

Módulo: email.mime.audio

A subclass of MIMENonMultipart, the MIMEAudio class is used to create MIME message objects of major type audio. _audiodata contains the bytes for the raw audio data. If this data can be decoded as au, wav, aiff, or aifc, then the subtype will be automatically included in the Content-Type header. Otherwise you can explicitly specify the audio subtype via the _subtype argument. If the minor type could not be guessed and _subtype was not given, then TypeError is raised.

O _encoder opcional é um chamável (ou seja, função) que executará a codificação real dos dados de áudio para transporte. Esse chamável requer um argumento, que é a instância MIMEAudio. Ele deve usar get_payload() e set_payload() para alterar a carga útil para a forma codificada. Também deve adicionar Content-Transfer-Encoding ou outros cabeçalhos ao objeto de mensagem, conforme necessário. A codificação padrão é base64. Veja o módulo email.encoders para obter uma lista dos codificadores embutidos.

O argumento opcional policy tem como padrão compat32.

_params são passados diretamente para o construtor da classe base.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.image.MIMEImage(_imagedata, _subtype=None, _encoder=email.encoders.encode_base64, *, policy=compat32, **_params)

Módulo: email.mime.image

A subclass of MIMENonMultipart, the MIMEImage class is used to create MIME message objects of major type image. _imagedata contains the bytes for the raw image data. If this data type can be detected (jpeg, png, gif, tiff, rgb, pbm, pgm, ppm, rast, xbm, bmp, webp, and exr attempted), then the subtype will be automatically included in the Content-Type header. Otherwise you can explicitly specify the image subtype via the _subtype argument. If the minor type could not be guessed and _subtype was not given, then TypeError is raised.

Optional _encoder is a callable (i.e. function) which will perform the actual encoding of the image data for transport. This callable takes one argument, which is the MIMEImage instance. It should use get_payload() and set_payload() to change the payload to encoded form. It should also add any Content-Transfer-Encoding or other headers to the message object as necessary. The default encoding is base64. See the email.encoders module for a list of the built-in encoders.

O argumento opcional policy tem como padrão compat32.

_params are passed straight through to the MIMEBase constructor.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.message.MIMEMessage(_msg, _subtype='rfc822', *, policy=compat32)

Module: email.mime.message

A subclass of MIMENonMultipart, the MIMEMessage class is used to create MIME objects of main type message. _msg is used as the payload, and must be an instance of class Message (or a subclass thereof), otherwise a TypeError is raised.

Optional _subtype sets the subtype of the message; it defaults to rfc822.

O argumento opcional policy tem como padrão compat32.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

class email.mime.text.MIMEText(_text, _subtype='plain', _charset=None, *, policy=compat32)

Módulo: email.mime.text

A subclass of MIMENonMultipart, the MIMEText class is used to create MIME objects of major type text. _text is the string for the payload. _subtype is the minor type and defaults to plain. _charset is the character set of the text and is passed as an argument to the MIMENonMultipart constructor; it defaults to us-ascii if the string contains only ascii code points, and utf-8 otherwise. The _charset parameter accepts either a string or a Charset instance.

Unless the _charset argument is explicitly set to None, the MIMEText object created will have both a Content-Type header with a charset parameter, and a Content-Transfer-Encoding header. This means that a subsequent set_payload call will not result in an encoded payload, even if a charset is passed in the set_payload command. You can “reset” this behavior by deleting the Content-Transfer-Encoding header, after which a set_payload call will automatically encode the new payload (and add a new Content-Transfer-Encoding header).

O argumento opcional policy tem como padrão compat32.

Alterado na versão 3.5: _charset also accepts Charset instances.

Alterado na versão 3.6: Adicionado o parâmetro somente-nomeado policy.

email.header: Internationalized headers

Código-fonte: Lib/email/header.py [https://github.com/python/cpython/tree/3.13/Lib/email/header.py]

This module is part of the legacy (Compat32) email API. In the current API encoding and decoding of headers is handled transparently by the dictionary-like API of the EmailMessage class. In addition to uses in legacy code, this module can be useful in applications that need to completely control the character sets used when encoding headers.

The remaining text in this section is the original documentation of the module.

RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html] is the base standard that describes the format of email messages. It derives from the older RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] standard which came into widespread use at a time when most email was composed of ASCII characters only. RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html] is a specification written assuming email contains only 7-bit ASCII characters.

Of course, as email has been deployed worldwide, it has become internationalized, such that language specific character sets can now be used in email messages. The base standard still requires email messages to be transferred using only 7-bit ASCII characters, so a slew of RFCs have been written describing how to encode email containing non-ASCII characters into RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]-compliant format. These RFCs include RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html], RFC 2046 [https://datatracker.ietf.org/doc/html/rfc2046.html], RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html], and RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html]. The email package supports these standards in its email.header and email.charset modules.

If you want to include non-ASCII characters in your email headers, say in the Subject or To fields, you should use the Header class and assign the field in the Message object to an instance of Header instead of using a string for the header value. Import the Header class from the email.header module. For example:

>>> from email.message import Message
>>> from email.header import Header
>>> msg = Message()
>>> h = Header('p\xf6stal', 'iso-8859-1')
>>> msg['Subject'] = h
>>> msg.as_string()
'Subject: =?iso-8859-1?q?p=F6stal?=\n\n'

Notice here how we wanted the Subject field to contain a non-ASCII character? We did this by creating a Header instance and passing in the character set that the byte string was encoded in. When the subsequent Message instance was flattened, the Subject field was properly RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] encoded. MIME-aware mail readers would show this header using the embedded ISO-8859-1 character.

Here is the Header class description:

class email.header.Header(s=None, charset=None, maxlinelen=None, header_name=None, continuation_ws=' ', errors='strict')

Create a MIME-compliant header that can contain strings in different character sets.

Optional s is the initial header value. If None (the default), the initial header value is not set. You can later append to the header with append() method calls. s may be an instance of bytes or str, but see the append() documentation for semantics.

Optional charset serves two purposes: it has the same meaning as the charset argument to the append() method. It also sets the default character set for all subsequent append() calls that omit the charset argument. If charset is not provided in the constructor (the default), the us-ascii character set is used both as s’s initial charset and as the default for subsequent append() calls.

The maximum line length can be specified explicitly via maxlinelen. For splitting the first line to a shorter value (to account for the field header which isn’t included in s, e.g. Subject) pass in the name of the field in header_name. The default maxlinelen is 78, and the default value for header_name is None, meaning it is not taken into account for the first line of a long, split header.

Optional continuation_ws must be RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]-compliant folding whitespace, and is usually either a space or a hard tab character. This character will be prepended to continuation lines. continuation_ws defaults to a single space character.

Optional errors is passed straight through to the append() method.

append(s, charset=None, errors='strict')

Append the string s to the MIME header.

Optional charset, if given, should be a Charset instance (see email.charset) or the name of a character set, which will be converted to a Charset instance. A value of None (the default) means that the charset given in the constructor is used.

s may be an instance of bytes or str. If it is an instance of bytes, then charset is the encoding of that byte string, and a UnicodeError will be raised if the string cannot be decoded with that character set.

If s is an instance of str, then charset is a hint specifying the character set of the characters in the string.

In either case, when producing an RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]-compliant header using RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] rules, the string will be encoded using the output codec of the charset. If the string cannot be encoded using the output codec, a UnicodeError will be raised.

Optional errors is passed as the errors argument to the decode call if s is a byte string.

encode(splitchars=';, \t', maxlinelen=None, linesep='\n')

Encode a message header into an RFC-compliant format, possibly wrapping long lines and encapsulating non-ASCII parts in base64 or quoted-printable encodings.

Optional splitchars is a string containing characters which should be given extra weight by the splitting algorithm during normal header wrapping. This is in very rough support of RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]'s ‘higher level syntactic breaks’: split points preceded by a splitchar are preferred during line splitting, with the characters preferred in the order in which they appear in the string. Space and tab may be included in the string to indicate whether preference should be given to one over the other as a split point when other split chars do not appear in the line being split. Splitchars does not affect RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] encoded lines.

maxlinelen, if given, overrides the instance’s value for the maximum line length.

linesep specifies the characters used to separate the lines of the folded header. It defaults to the most useful value for Python application code (\n), but \r\n can be specified in order to produce headers with RFC-compliant line separators.

Alterado na versão 3.2: Adicionado o argumento linesep.

The Header class also provides a number of methods to support standard operators and built-in functions.

__str__()

Returns an approximation of the Header as a string, using an unlimited line length. All pieces are converted to unicode using the specified encoding and joined together appropriately. Any pieces with a charset of 'unknown-8bit' are decoded as ASCII using the 'replace' error handler.

Alterado na versão 3.2: Added handling for the 'unknown-8bit' charset.

__eq__(other)

This method allows you to compare two Header instances for equality.

__ne__(other)

This method allows you to compare two Header instances for inequality.

The email.header module also provides the following convenient functions.

email.header.decode_header(header)

Decode a message header value without converting the character set. The header value is in header.

This function returns a list of (decoded_string, charset) pairs containing each of the decoded parts of the header. charset is None for non-encoded parts of the header, otherwise a lower case string containing the name of the character set specified in the encoded string.

Aqui está um exemplo:

>>> from email.header import decode_header
>>> decode_header('=?iso-8859-1?q?p=F6stal?=')
[(b'p\xf6stal', 'iso-8859-1')]

email.header.make_header(decoded_seq, maxlinelen=None, header_name=None, continuation_ws=' ')

Create a Header instance from a sequence of pairs as returned by decode_header().

decode_header() takes a header value string and returns a sequence of pairs of the format (decoded_string, charset) where charset is the name of the character set.

This function takes one of those sequence of pairs and returns a Header instance. Optional maxlinelen, header_name, and continuation_ws are as in the Header constructor.

email.charset: Representing character sets

Código-fonte: Lib/email/charset.py [https://github.com/python/cpython/tree/3.13/Lib/email/charset.py]

This module is part of the legacy (Compat32) email API. In the new API only the aliases table is used.

The remaining text in this section is the original documentation of the module.

This module provides a class Charset for representing character sets and character set conversions in email messages, as well as a character set registry and several convenience methods for manipulating this registry. Instances of Charset are used in several other modules within the email package.

Import this class from the email.charset module.

class email.charset.Charset(input_charset=DEFAULT_CHARSET)

Map character sets to their email properties.

This class provides information about the requirements imposed on email for a specific character set. It also provides convenience routines for converting between character sets, given the availability of the applicable codecs. Given a character set, it will do its best to provide information on how to use that character set in an email message in an RFC-compliant way.

Certain character sets must be encoded with quoted-printable or base64 when used in email headers or bodies. Certain character sets must be converted outright, and are not allowed in email.

Optional input_charset is as described below; it is always coerced to lower case. After being alias normalized it is also used as a lookup into the registry of character sets to find out the header encoding, body encoding, and output conversion codec to be used for the character set. For example, if input_charset is iso-8859-1, then headers and bodies will be encoded using quoted-printable and no output conversion codec is necessary. If input_charset is euc-jp, then headers will be encoded with base64, bodies will not be encoded, but output text will be converted from the euc-jp character set to the iso-2022-jp character set.

Charset instances have the following data attributes:

input_charset

The initial character set specified. Common aliases are converted to their official email names (e.g. latin_1 is converted to iso-8859-1). Defaults to 7-bit us-ascii.

header_encoding

If the character set must be encoded before it can be used in an email header, this attribute will be set to charset.QP (for quoted-printable), charset.BASE64 (for base64 encoding), or charset.SHORTEST for the shortest of QP or BASE64 encoding. Otherwise, it will be None.

body_encoding

Same as header_encoding, but describes the encoding for the mail message’s body, which indeed may be different than the header encoding. charset.SHORTEST is not allowed for body_encoding.

output_charset

Some character sets must be converted before they can be used in email headers or bodies. If the input_charset is one of them, this attribute will contain the name of the character set output will be converted to. Otherwise, it will be None.

input_codec

The name of the Python codec used to convert the input_charset to Unicode. If no conversion codec is necessary, this attribute will be None.

output_codec

The name of the Python codec used to convert Unicode to the output_charset. If no conversion codec is necessary, this attribute will have the same value as the input_codec.

Charset instances also have the following methods:

get_body_encoding()

Return the content transfer encoding used for body encoding.

This is either the string quoted-printable or base64 depending on the encoding used, or it is a function, in which case you should call the function with a single argument, the Message object being encoded. The function should then set the Content-Transfer-Encoding header itself to whatever is appropriate.

Returns the string quoted-printable if body_encoding is QP, returns the string base64 if body_encoding is BASE64, and returns the string 7bit otherwise.

get_output_charset()

Return the output character set.

This is the output_charset attribute if that is not None, otherwise it is input_charset.

header_encode(string)

Header-encode the string string.

The type of encoding (base64 or quoted-printable) will be based on the header_encoding attribute.

header_encode_lines(string, maxlengths)

Header-encode a string by converting it first to bytes.

This is similar to header_encode() except that the string is fit into maximum line lengths as given by the argument maxlengths, which must be an iterator: each element returned from this iterator will provide the next maximum line length.

body_encode(string)

Body-encode the string string.

The type of encoding (base64 or quoted-printable) will be based on the body_encoding attribute.

The Charset class also provides a number of methods to support standard operations and built-in functions.

__str__()

Returns input_charset as a string coerced to lower case. __repr__() is an alias for __str__().

__eq__(other)

This method allows you to compare two Charset instances for equality.

__ne__(other)

This method allows you to compare two Charset instances for inequality.

The email.charset module also provides the following functions for adding new entries to the global character set, alias, and codec registries:

email.charset.add_charset(charset, header_enc=None, body_enc=None, output_charset=None)

Add character properties to the global registry.

charset is the input character set, and must be the canonical name of a character set.

Optional header_enc and body_enc is either charset.QP for quoted-printable, charset.BASE64 for base64 encoding, charset.SHORTEST for the shortest of quoted-printable or base64 encoding, or None for no encoding. SHORTEST is only valid for header_enc. The default is None for no encoding.

Optional output_charset is the character set that the output should be in. Conversions will proceed from input charset, to Unicode, to the output charset when the method Charset.convert() is called. The default is to output in the same character set as the input.

Both input_charset and output_charset must have Unicode codec entries in the module’s character set-to-codec mapping; use add_codec() to add codecs the module does not know about. See the codecs module’s documentation for more information.

The global character set registry is kept in the module global dictionary CHARSETS.

email.charset.add_alias(alias, canonical)

Add a character set alias. alias is the alias name, e.g. latin-1. canonical is the character set’s canonical name, e.g. iso-8859-1.

The global charset alias registry is kept in the module global dictionary ALIASES.

email.charset.add_codec(charset, codecname)

Add a codec that map characters in the given character set to and from Unicode.

charset is the canonical name of a character set. codecname is the name of a Python codec, as appropriate for the second argument to the str’s encode() method.

email.encoders: Encoders

Código-fonte: Lib/email/encoders.py [https://github.com/python/cpython/tree/3.13/Lib/email/encoders.py]

This module is part of the legacy (Compat32) email API. In the new API the functionality is provided by the cte parameter of the set_content() method.

This module is deprecated in Python 3. The functions provided here should not be called explicitly since the MIMEText class sets the content type and CTE header using the _subtype and _charset values passed during the instantiation of that class.

The remaining text in this section is the original documentation of the module.

When creating Message objects from scratch, you often need to encode the payloads for transport through compliant mail servers. This is especially true for image/* and text/* type messages containing binary data.

The email package provides some convenient encoders in its encoders module. These encoders are actually used by the MIMEAudio and MIMEImage class constructors to provide default encodings. All encoder functions take exactly one argument, the message object to encode. They usually extract the payload, encode it, and reset the payload to this newly encoded value. They should also set the Content-Transfer-Encoding header as appropriate.

Note that these functions are not meaningful for a multipart message. They must be applied to individual subparts instead, and will raise a TypeError if passed a message whose type is multipart.

Here are the encoding functions provided:

email.encoders.encode_quopri(msg)

Encodes the payload into quoted-printable form and sets the Content-Transfer-Encoding header to quoted-printable [1]. This is a good encoding to use when most of your payload is normal printable data, but contains a few unprintable characters.

email.encoders.encode_base64(msg)

Encodes the payload into base64 form and sets the Content-Transfer-Encoding header to base64. This is a good encoding to use when most of your payload is unprintable data since it is a more compact form than quoted-printable. The drawback of base64 encoding is that it renders the text non-human readable.

email.encoders.encode_7or8bit(msg)

This doesn’t actually modify the message’s payload, but it does set the Content-Transfer-Encoding header to either 7bit or 8bit as appropriate, based on the payload data.

email.encoders.encode_noop(msg)

This does nothing; it doesn’t even set the Content-Transfer-Encoding header.

Notas de rodapé

[1]

Note that encoding with encode_quopri() also encodes all tabs and space characters in the data.

email.utils: Utilitários diversos

Código-fonte: Lib/email/utils.py [https://github.com/python/cpython/tree/3.13/Lib/email/utils.py]

Existem alguns utilitários úteis fornecidos no email.utils module:

email.utils.localtime(dt=None)

Retorna a hora local como um objeto datetime consciente. Se chamado sem argumentos, retorna a hora atual. Caso contrário, o argumento dt deve ser uma instância datetime e é convertido para o fuso horário local de acordo com o banco de dados de fuso horário do sistema. Se dt for ingênuo (ou seja, dt.tzinfo for None), será presumido como estando no horário local. O parâmetro isdst é ignorado.

Adicionado na versão 3.3.

Deprecated since version 3.12, will be removed in version 3.14: O parâmetro isdst.

email.utils.make_msgid(idstring=None, domain=None)

Retorna uma string adequada para um cabeçalho Message-ID compatível com RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]. O idstring opcional, se fornecido, é uma string usada para fortalecer a exclusividade do ID da mensagem. O domain Opcional, se dado, fornece a porção do msgid após o ‘@’. O padrão é o nome do host local. Normalmente, não é necessário substituir esse padrão, mas pode ser útil em alguns casos, como um sistema distribuído de construção que usa um nome de domínio consistente em vários hosts.

Alterado na versão 3.2: Adicionada a palavra-chave domain.

As funções restantes fazem parte da API de e-mail herdada (Compat32). Não há necessidade de usá-las diretamente com a nova API, pois a análise e a formatação fornecidas são feitas automaticamente pelo mecanismo de análise de cabeçalhos da nova API.

email.utils.quote(str)

Devolve uma nova string com barras invertidas em str substituídas por duas barras invertidas e aspas duplas substituídas por aspas duplas invertidas.

email.utils.unquote(str)

Retorna uma nova string que é uma versão sem aspas de str. Se str terminar e começar com aspas duplas, elas serão removidas. Da mesma forma, se str termina e começa com colchetes angulares, eles são removidos.

email.utils.parseaddr(address, *, strict=True)

Analisa o endereço – que deve ser o valor de algum campo contendo endereço, como To ou Cc – em suas partes constituinte realname e email address. Retorna uma tupla daquela informação, a menos que a análise falhe, caso em que uma tupla de 2 de ('', '') é retornada.

Se strict for verdadeiro, usa um analisador sintático estrito que rejeite entradas malformadas.

Alterado na versão 3.13: Adiciona o parâmetro opcional strict e rejeita entradas malformadas por padrão.

email.utils.formataddr(pair, charset='utf-8')

O inverso de parseaddr(), isto leva uma tupla de 2 do forma (realname, email_address) e retorna o valor de string adequado para um cabeçalho To ou Cc . Se o primeiro elemento de pair for falso, o segundo elemento será retornado sem modificações.

O charset opcional é o conjunto de caracteres que será usado na codificação RFC 2047 [https://datatracker.ietf.org/doc/html/rfc2047.html] do realname se o realname contiver caracteres não-ASCII. Pode ser uma instância de str ou a Charset. O padrão é utf-8.

Alterado na versão 3.3: Adicionada a opção charset.

email.utils.getaddresses(fieldvalues, *, strict=True)

Este método retorna uma lista de tuplas 2 do formulário retornado por parseaddr(). fieldvalues é uma sequência de valores do campo de cabeçalho que pode ser retornada por Message.get_all.

Se strict for verdadeiro, usa um analisador sintático estrito que rejeite entradas malformadas.

Aqui está um exemplo simples que recebe todos os destinatários de uma mensagem:

from email.utils import getaddresses

tos = msg.get_all('to', [])
ccs = msg.get_all('cc', [])
resent_tos = msg.get_all('resent-to', [])
resent_ccs = msg.get_all('resent-cc', [])
all_recipients = getaddresses(tos + ccs + resent_tos + resent_ccs)

Alterado na versão 3.13: Adiciona o parâmetro opcional strict e rejeita entradas malformadas por padrão.

email.utils.parsedate(date)

Tenta analisar uma data de acordo com as regras em RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]. no entanto, alguns mailers não seguem esse formato conforme especificado, portanto parsedate() tenta adivinhar corretamente em tais casos. date é uma string contendo uma data RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html], como "Mon, 20 Nov 1995 19:12:08 -0500". Se conseguir analisar a data, parsedate() retorna uma 9-tupla que pode ser passada diretamente para time.mktime(); caso contrário, None será retornado. Observe que os índices 6, 7 e 8 da tupla de resultados não são utilizáveis.

email.utils.parsedate_tz(date)

Executa a mesma função que parsedate(), mas retorna None ou uma tupla de 10; os primeiros 9 elementos formam uma tupla que pode ser passada diretamente para time.mktime(), e o décimo é o deslocamento do fuso horário da data do UTC (que é o termo oficial para o horário de Greenwich) [1]. Se a string de entrada não tem fuso horário, o último elemento da tupla retornado é 0, que representa UTC. Observe que os índices 6, 7 e 8 da tupla de resultado não podem ser usados.

email.utils.parsedate_to_datetime(date)

O inverso de format_datetime(). Desempenha a mesma função que parsedate(), mas em caso de sucesso retorna um datetime; caso contrário, ValueError é levantada se date contiver um valor inválido, como uma hora maior que 23 ou uma diferença de fuso horário não entre -24 e 24 horas. Se a data de entrada tem um fuso horário de -0000, o datetime será um datetime ingênuo, e se a data estiver em conformidade com os RFCs representará um horário em UTC, mas sem indicação do fuso horário de origem real da mensagem de onde vem a data. Se a data de entrada tiver qualquer outro deslocamento de fuso horário válido, o datetime será um datetime consciente com o correspondente a timezone tzinfo.

Adicionado na versão 3.3.

email.utils.mktime_tz(tuple)

Transforma uma tupla de 10 conforme retornado por parsedate_tz() em um timestamp UTC (segundos desde a Era Unix). Se o item de fuso horário na tupla for None, considera a hora local.

email.utils.formatdate(timeval=None, localtime=False, usegmt=False)

Retorna uma string de data conforme RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]. Por exemplo:

Fri, 09 Nov 2001 01:08:47 -0000

O timeval opcional, se fornecido, é um valor de tempo de ponto flutuante, conforme aceito por time.gmtime() e time.localtime(), caso contrário, o tempo atual é usado.

Há um sinalizador opcional localtime, que, quando é True, interpreta timeval e retorna uma data relativa ao fuso horário local em vez do UTC, levando em consideração o horário de verão. O padrão é False, o que significa que o UTC é usado.

O usegmt opcional é um sinalizador que quando True, produz uma string de data com o fuso horário como uma string ascii GMT, ao invés de um numérico -0000. Isso é necessário para alguns protocolos (como HTTP). Isso se aplica apenas quando localtime for False. O padrão é False.

email.utils.format_datetime(dt, usegmt=False)

Como formatdate, mas a entrada é uma instância de datetime. Se for uma data e hora ingênua, será considerado “UTC sem informações sobre o fuso horário de origem” e o convencional -0000 será usado para o fuso horário. Se for um datetime ciente, então o deslocamento de fuso horário numérico é usado. Se for um fuso horário ciente com deslocamento zero, então usegmt pode ser definido como True, caso em que a string GMT é usada em vez do deslocamento numérico do fuso horário. Isso fornece uma maneira de gerar cabeçalhos de data HTTP em conformidade com os padrões.

Adicionado na versão 3.3.

email.utils.decode_rfc2231(s)

Decodifica a string s de acordo com RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html].

email.utils.encode_rfc2231(s, charset=None, language=None)

Codifica a string s de acordo com RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html]. charset e language opcionais, se fornecido, são o nome do conjunto de caracteres e o nome do idioma a ser usado. Se nenhum deles for fornecido, s é retornado como está. Se charset for fornecido, mas language não, a string será codificada usando a string vazia para language.

email.utils.collapse_rfc2231_value(value, errors='replace', fallback_charset='us-ascii')

Quando um parâmetro de cabeçalho é codificado no formato RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html], Message.get_param pode retornar uma tupla de 3 contendo o conjunto de caracteres, idioma e valor. collapse_rfc2231_value() transforma isso em uma string Unicode. errors opcionais são passados para o argumento errors do método encode() de str; o padrão é 'replace'. fallback_charset opcional especifica o conjunto de caracteres a ser usado se aquele no cabeçalho RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html] não for conhecido pelo Python; o padrão é 'us-ascii'.

Por conveniência, se value passado para collapse_rfc2231_value() não for uma tupla, deve ser uma string e é retornado sem aspas.

email.utils.decode_params(params)

Decodifica a lista de parâmetros de acordo com RFC 2231 [https://datatracker.ietf.org/doc/html/rfc2231.html]. params é uma sequência de 2 tuplas contendo elementos do formulário (content-type, string-value).

Notas de rodapé

[1]

Observa que o sinal do deslocamento de fuso horário é o oposto do sinal da variável time.timezone para o mesmo fuso horário; a última variável segue o padrão POSIX enquanto este módulo segue RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html].

email.iterators: Iteradores

Código-fonte: Lib/email/iterators.py [https://github.com/python/cpython/tree/3.13/Lib/email/iterators.py]

A iteração sobre uma árvore de objetos de mensagem é bastante fácil com o método Message.walk. O módulo email.iterators fornece algumas iterações úteis de nível superior sobre as árvores de objetos de mensagens.

email.iterators.body_line_iterator(msg, decode=False)

Isso itera sobre todas as cargas úteis em todas as subpartes de msg, retornando as cargas úteis das strings de linhas por linha. Ele pula todos os cabeçalhos da subparte e pula qualquer subparte com uma carga útil que não seja uma string Python. Isso é um pouco equivalente à leitura da representação de texto simples da mensagem de um arquivo usando readline(), pulando todos os cabeçalhos intermediários.

decode opcional é passado por meio do Message.get_payload.

email.iterators.typed_subpart_iterator(msg, maintype='text', subtype=None)

Isso itera sobre todas as subpartes de msg, retornando apenas as subpartes que correspondem ao tipo MIME especificado por maintype e subtype.

Observe que subtipo é opcional; se omitido, a correspondência de tipo MIME da subparte é feita apenas com o tipo principal. maintype também é opcional; o padrão é text.

Assim, por padrão typed_subpart_iterator() retorna cada subparte que possui um tipo MIME de text/*.

A seguinte função foi adicionada como uma ferramenta de depuração útil. Não deve ser considerado parte da interface pública suportada para o pacote.

email.iterators._structure(msg, fp=None, level=0, include_default=False)

Imprime uma representação recuada dos tipos de conteúdo da estrutura do objeto de mensagem. Por exemplo:

>>> msg = email.message_from_file(algum_arquivo)
>>> _structure(msg)
multipart/mixed
    text/plain
    text/plain
    multipart/digest
        message/rfc822
            text/plain
        message/rfc822
            text/plain
        message/rfc822
            text/plain
        message/rfc822
            text/plain
        message/rfc822
            text/plain
    text/plain

O fp opcional é um objeto arquivo ou similar para o qual deve-se imprimir a saída. Deve ser adequado para a função Python print(). level usado internamente. include_default, se verdadeiro, também imprime o tipo padrão.

json — Codificador e decodificador JSON

Código-fonte: Lib/json/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/json/__init__.py]

JSON (JavaScript Object Notation) [https://json.org], specified by RFC 7159 [https://datatracker.ietf.org/doc/html/rfc7159.html] (which obsoletes RFC 4627 [https://datatracker.ietf.org/doc/html/rfc4627.html]) and by ECMA-404 [https://ecma-international.org/publications-and-standards/standards/ecma-404/], is a lightweight data interchange format inspired by JavaScript [https://en.wikipedia.org/wiki/JavaScript] object literal syntax (although it is not a strict subset of JavaScript [1] ).

Aviso

Tenha cuidado quando estiver analisando dados JSON de fontes não-confiáveis. Uma string JSON maliciosa pode fazer o decodificador consumir recursos consideráveis de CPU e memória. É recomendado limitar o tamanho do dado a ser analisado.

json expõe uma API familiar para pessoas usuárias dos módulos marshal e pickle da biblioteca padrão.

Codificação de hierarquias básicas de objetos Python:

>>> import json
>>> json.dumps(['foo', {'bar': ('baz', None, 1.0, 2)}])
'["foo", {"bar": ["baz", null, 1.0, 2]}]'
>>> print(json.dumps("\"foo\bar"))
"\"foo\bar"
>>> print(json.dumps('\u1234'))
"\u1234"
>>> print(json.dumps('\\'))
"\\"
>>> print(json.dumps({"c": 0, "b": 0, "a": 0}, sort_keys=True))
{"a": 0, "b": 0, "c": 0}
>>> from io import StringIO
>>> io = StringIO()
>>> json.dump(['streaming API'], io)
>>> io.getvalue()
'["streaming API"]'

Codificação compacta:

>>> import json
>>> json.dumps([1, 2, 3, {'4': 5, '6': 7}], separators=(',', ':'))
'[1,2,3,{"4":5,"6":7}]'

Saída bonita:

>>> import json
>>> print(json.dumps({'6': 7, '4': 5}, sort_keys=True, indent=4))
{
    "4": 5,
    "6": 7
}

Especialização em codificação de objeto JSON:

>>> import json
>>> def custom_json(obj):
...     if isinstance(obj, complex):
...         return {'__complex__': True, 'real': obj.real, 'imag': obj.imag}
...     raise TypeError(f'Cannot serialize object of {type(obj)}')
...
>>> json.dumps(1 + 2j, default=custom_json)
'{"__complex__": true, "real": 1.0, "imag": 2.0}'

Decodificando JSON:

>>> import json
>>> json.loads('["foo", {"bar":["baz", null, 1.0, 2]}]')
['foo', {'bar': ['baz', None, 1.0, 2]}]
>>> json.loads('"\\"foo\\bar"')
'"foo\x08ar'
>>> from io import StringIO
>>> io = StringIO('["streaming API"]')
>>> json.load(io)
['streaming API']

Especialização em decodificação de objeto JSON:

>>> import json
>>> def as_complex(dct):
...     if '__complex__' in dct:
...         return complex(dct['real'], dct['imag'])
...     return dct
...
>>> json.loads('{"__complex__": true, "real": 1, "imag": 2}',
...     object_hook=as_complex)
(1+2j)
>>> import decimal
>>> json.loads('1.1', parse_float=decimal.Decimal)
Decimal('1.1')

Estendendo JSONEncoder:

>>> import json
>>> class ComplexEncoder(json.JSONEncoder):
...     def default(self, obj):
...         if isinstance(obj, complex):
...             return [obj.real, obj.imag]
...         # Let the base class default method raise the TypeError
...         return super().default(obj)
...
>>> json.dumps(2 + 1j, cls=ComplexEncoder)
'[2.0, 1.0]'
>>> ComplexEncoder().encode(2 + 1j)
'[2.0, 1.0]'
>>> list(ComplexEncoder().iterencode(2 + 1j))
['[2.0', ', 1.0', ']']

Usando json.tool para validar a partir do console e exibir formatado:

$ echo '{"json":"obj"}' | python -m json.tool
{
    "json": "obj"
}
$ echo '{1.2:3.4}' | python -m json.tool
Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

Veja Interface de linha de comando para a documentação detalhada.

Nota

JSON é um subconjunto do YAML [https://yaml.org/] 1.2. O JSON gerado pelas definições padrões desse módulo (particularmente, o valor padrão dos separadores) é também um subconjunto do YAML 1.0 e 1.1. Esse módulo pode, portanto, também ser usado como serializador YAML.

Nota

O codificador e o decodificador do módulo preservam a ordem de entrada e saída por padrão. A ordem só é perdida se os contêineres subjacentes estão desordenados.

Uso básico

json.dump(obj, fp, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)

Serializa um obj como um stream JSON formatado para fp (um objeto arquivo ou similar com suporte a .write()) usando essa tabela de conversão.

Se skipkeys for verdadeiro (padrão: False), as chaves de dicionário que não forem de um tipo básico (str, int, float, bool, None) serão ignoradas ao invés de levantar uma exceção TypeError.

O módulo json sempre produz objetos str, e não objetos bytes. Dessa forma, fp.write() precisa ter suporte para entradas str.

Se ensure_ascii for verdadeiro (o padrão), será garantido que a saída terá todos os caracteres não ASCII que chegam escapados. Se ensure_ascii for falso, a saída desses caracteres ficará como está.

Se check_circular for falso (padrão: True), então a checagem de referência circular para tipos contêiner será ignorada e uma referência circular resultará em uma exceção RecursionError (ou pior).

Se allow_nan for falso (padrão: True), serializar valores float fora do intervalo (nan, inf, -inf) em estrita conformidade com a especificação JSON levantará uma exceção ValueError. Se allow_nan for verdadeiro, seus equivalentes JavaScript (NaN, Infinity, -Infinity) serão usados.

Se indent for um inteiro não negativo ou uma string, então elementos de um vetor JSON e membros de objetos terão uma saída formatada com este nível de indentação. Um nível de indentação 0, negativo ou "" apenas colocará novas linhas. None (o padrão) seleciona a representação mais compacta. Usando um inteiro positivo a indentação terá alguns espaços por nível. Se indent for uma string (como "\t"), essa string será usada para indentar cada nível.

Alterado na versão 3.2: Permite strings para indent, além de inteiros.

Se especificado, separators deve ser uma tupla (item_separator, key_separator). O padrão é (', ', ': ') se indent for None e (',', ': ') caso contrário. Para pegar representação JSON mais compacta, você deve especificar (',', ':') para eliminar espaços em branco.

Alterado na versão 3.4: Usa (',', ': ') como padrão se indent não for None.

Se especificado, default deve ser uma função para ser chamada para objetos que não podem ser serializados de outra forma. Deve retornar uma versão codificável JSON do objeto ou levantar uma exceção TypeError. Se não for especificada, TypeError é levantada.

Se sort_keys for verdadeiro (padrão: False), então os dicionários da saída serão ordenados pela chave.

Para usar uma subclasse de JSONEncoder personalizada (por exemplo, uma que substitui o método default() para serializar tipos adicionais), especifique isso com argumento cls; caso contrário é usado JSONEncoder.

Alterado na versão 3.6: Todos os parâmetros opcionais agora são somente-nomeados.

Nota

Diferente de pickle e marshal, JSON não é um protocolo com datagrama, assim tentar serializar múltiplos objetos com chamadas repetidas para dump() usando o mesmo fp resultará em um arquivo JSON inválido.

json.dumps(obj, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)

Serializa obj para uma str com formato JSON usando essa tabela de conversão. Os argumentos têm o mesmo significado que na função dump().

Nota

Chaves nos pares chave/valor de JSON são sempre do tipo str. Quando um dicionário é convertido para JSON, todas as chaves são convertidas para strings. Como resultado disso, se um dicionário é convertido para JSON e depois de volta para um dicionário, o dicionário pode não ser igual ao original. Isto é, loads(dumps(x)) != x se x tem chaves não strings.

json.load(fp, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

Desserializa fp (um arquivo texto ou arquivo binário com suporte a .read() contendo um documento JSON) para um objeto Python usando essa tabela de conversão.

object_hook é uma função opcional que será chamada com o resultado de qualquer objeto literal decodificado (um dict). O valor de retorno de object_hook será usado no lugar de dict. Esse recurso pode ser usado para implementar decodificadores personalizados (por exemplo, para oferecer suporte a dicas de classe JSON-RPC [https://www.jsonrpc.org]).

object_pairs_hook is an optional function that will be called with the result of any object literal decoded with an ordered list of pairs. The return value of object_pairs_hook will be used instead of the dict. This feature can be used to implement custom decoders. If object_hook is also defined, the object_pairs_hook takes priority.

Alterado na versão 3.1: Adicionado suporte para object_pairs_hook.

parse_float is an optional function that will be called with the string of every JSON float to be decoded. By default, this is equivalent to float(num_str). This can be used to use another datatype or parser for JSON floats (e.g. decimal.Decimal).

parse_int is an optional function that will be called with the string of every JSON int to be decoded. By default, this is equivalent to int(num_str). This can be used to use another datatype or parser for JSON integers (e.g. float).

Alterado na versão 3.11: O parse_int padrão para int() agora limita o tamanho máximo da string de inteiro via limitação de comprimento de string na conversão para inteiro do interpretador para ajudar a evitar ataques por negação de serviço.

parse_constant is an optional function that will be called with one of the following strings: '-Infinity', 'Infinity', 'NaN'. This can be used to raise an exception if invalid JSON numbers are encountered.

Alterado na versão 3.1: parse_constant não é mais chamada para ‘null’, ‘true’, ‘false’.

Para usar uma subclasse de JSONDecoder personalizada, especifique isto com o argumento kwarg cls; caso contrário será usada JSONDecoder. Argumentos nomeados adicionais poderão ser passados para o construtor da classe.

Se os dados a serem desserializados não forem um documento JSON válido, será levantada uma exceção JSONDecodeError.

Alterado na versão 3.6: Todos os parâmetros opcionais agora são somente-nomeados.

Alterado na versão 3.6: fp agora pode ser um arquivo binário. A entrada deve estar codificada como UTF-8, UTF-16 ou UTF-32.

json.loads(s, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

Desserializa s (uma instancia de str, bytes ou bytearray contendo um documento JSON) para um objeto Python essa tabela de conversão.

Os outros argumentos têm o mesmo significado que os da função load().

Se os dados a serem desserializados não forem um documento JSON válido, será levantada uma exceção JSONDecodeError.

Alterado na versão 3.6: s agora pode ser um do tipo bytes ou bytearray. A entrada deve estar codificado como UTF-8, UTF-16 ou UTF-32.

Alterado na versão 3.9: O argumento nomeado encoding foi removido.

Codificadores e decodificadores

class json.JSONDecoder(*, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, strict=True, object_pairs_hook=None)

Decodificador JSON simples.

Executa as seguintes traduções na decodificação por padrão:

JSON

Python

objeto

dicionário

array

lista

string

str

número (inteiro)

int

número (real)

float

verdadeiro

True

falso

False

nulo

None

Ele também entende NaN, Infinity e -Infinity como seus valores float correspondentes, que estão fora da especificação JSON.

object_hook is an optional function that will be called with the result of every JSON object decoded and its return value will be used in place of the given dict. This can be used to provide custom deserializations (e.g. to support JSON-RPC [https://www.jsonrpc.org] class hinting).

object_pairs_hook is an optional function that will be called with the result of every JSON object decoded with an ordered list of pairs. The return value of object_pairs_hook will be used instead of the dict. This feature can be used to implement custom decoders. If object_hook is also defined, the object_pairs_hook takes priority.

Alterado na versão 3.1: Adicionado suporte para object_pairs_hook.

parse_float is an optional function that will be called with the string of every JSON float to be decoded. By default, this is equivalent to float(num_str). This can be used to use another datatype or parser for JSON floats (e.g. decimal.Decimal).

parse_int is an optional function that will be called with the string of every JSON int to be decoded. By default, this is equivalent to int(num_str). This can be used to use another datatype or parser for JSON integers (e.g. float).

parse_constant is an optional function that will be called with one of the following strings: '-Infinity', 'Infinity', 'NaN'. This can be used to raise an exception if invalid JSON numbers are encountered.

Se strict for falso (True é o padrão), os caracteres de controle serão permitidos dentro das strings. Os caracteres de controle neste contexto são aqueles com códigos de caracteres no intervalo 0–31, incluindo '\t' (tab), '\n', '\r' e '\0'.

Se os dados a serem desserializados não forem um documento JSON válido, será levantada uma exceção JSONDecodeError.

Alterado na versão 3.6: Todos os parâmetros agora são somente-nomeado.

decode(s)

Retorna a representação Python de s (uma instância str contendo um documento JSON).

Uma exceção JSONDecodeError será levantada se o documento JSON fornecido não for válido.

raw_decode(s)

Decodifica um documento JSON a partir de s (uma str iniciando com um documento JSON) e retornando uma tupla de 2 elementos, a representação Python e o índice em s onde o documento finaliza.

Isso pode ser usado para decodificar um documento JSON a partir de uma string que possa ter dados extras ao final.

class json.JSONEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)

Codificador JSON extensível para estruturas de dados Python.

Por padrão, possui suporte para os seguintes objetos e tipos:

Python

JSON

dicionário

objeto

list, tuple

array

str

string

int, float e Enums derivados de int e float

number

True

verdadeiro

False

falso

None

nulo

Alterado na versão 3.4: Adicionado suporte para classes Enum derivadas de int e float.

Para estender isso para reconhecer outros objetos, crie uma subclasse e implemente o método default() com outro método que retorne um objeto serializável para o se possível, caso contrário deveria chamar a implementação da superclasse (para levantar TypeError).

Se skipkeys é falso (o padrão), então sluma TypeError será levantada ao tentar codificar as chaves que não são str, int, float ou None. Se skipkeys é verdadeiro, esses itens são simplesmente pulados.

Se ensure_ascii for verdadeiro (o padrão), será garantido que a saída terá todos os caracteres não ASCII que chegam escapados. Se ensure_ascii for falso, a saída desses caracteres ficará como está.

Se check_circular é verdadeiro (o padrão), então listas, dicionários e objetos codificados personalizados serão verificados por referências circulares durante a codificação para prevenir uma recursão infinita (que iria causar uma RecursionError). Caso contrário, nenhuma verificação será feita.

Se allow_nan for verdadeiro (o padrão), então NaN, Infinity, e -Infinity serão codificados como tal. Esse comportamento não é compatível com a especificação do JSON, mas é consistente com a maioria dos codificadores e decodificadores baseados em JavaScript. Caso contrário, será levantada uma ValueError para tais pontos flutuantes.

Se sort_keys for verdadeiro (padrão: False), então a saída dos dicionários serão ordenados pela chave; isto é útil para testes de regressão para certificar-se que as serializações de JSON possam ser comparadas com uma base no dia a dia.

Se indent for um inteiro não negativo ou uma string, então elementos de um vetor JSON e membros de objetos terão uma saída formatada com este nível de indentação. Um nível de indentação 0, negativo ou "" apenas colocará novas linhas. None (o padrão) seleciona a representação mais compacta. Usando um inteiro positivo a indentação terá alguns espaços por nível. Se indent for uma string (como "\t"), essa string será usada para indentar cada nível.

Alterado na versão 3.2: Permite strings para indent, além de inteiros.

Se especificado, separators deve ser uma tupla (item_separator, key_separator). O padrão é (', ', ': ') se indent for None e (',', ': ') caso contrário. Para pegar representação JSON mais compacta, você deve especificar (',', ':') para eliminar espaços em branco.

Alterado na versão 3.4: Usa (',', ': ') como padrão se indent não for None.

Se especificado, default deve ser uma função para ser chamada para objetos que não podem ser serializados de outra forma. Deve retornar uma versão codificável JSON do objeto ou levantar uma exceção TypeError. Se não for especificada, TypeError é levantada.

Alterado na versão 3.6: Todos os parâmetros agora são somente-nomeado.

default(o)

Implemente este método em uma subclasse que retorna um objeto serializável para o ou que chame a implementação base (para levantar uma TypeError).

Por exemplo, para suporte a iteradores arbitrários, você poderia implementar default() dessa forma:

def default(self, o):
   try:
       iterable = iter(o)
   except TypeError:
       pass
   else:
       return list(iterable)
   # Let the base class default method raise the TypeError
   return super().default(o)

encode(o)

Retorna uma string representando um JSON a partir da estrutura de dados Python, o. Por exemplo:

>>> json.JSONEncoder().encode({"foo": ["bar", "baz"]})
'{"foo": ["bar", "baz"]}'

iterencode(o)

Codifica o objeto dado, o, e produz cada representação em string assim que disponível. Por exemplo:

for chunk in json.JSONEncoder().iterencode(bigobject):
    mysocket.write(chunk)

Exceções

exception json.JSONDecodeError(msg, doc, pos)

Subclasse de ValueError com os seguintes atributos adicionais:

msg

A mensagem de erro não formatada.

doc

O documento JSON sendo analisado.

pos

O índice inicial de doc em que a análise falhou.

lineno

A linha correspondente a pos.

colno

A coluna correspondente a pos.

Adicionado na versão 3.5.

Conformidade e interoperabilidade entre padrões

The JSON format is specified by RFC 7159 [https://datatracker.ietf.org/doc/html/rfc7159.html] and by ECMA-404 [https://ecma-international.org/publications-and-standards/standards/ecma-404/]. This section details this module’s level of compliance with the RFC. For simplicity, JSONEncoder and JSONDecoder subclasses, and parameters other than those explicitly mentioned, are not considered.

Este módulo não está em conformidade com a RFC de forma estrita, implementando algumas extensões que são JavaScript válidas, mas não JSON válido. Em particular:

Os valores de números infinitos e NaN são aceitos e produzidos;

Nomes repetidos em um objeto são aceitos e apenas o valor do último par nome-valor é usado.

Uma vez que a RFC permite que os analisadores compatíveis com a RFC aceitem textos de entrada que não sejam compatíveis com a RFC, o desserializador deste módulo é tecnicamente compatível com a RFC nas configurações padrão.

Codificações de caracteres

A RFC requer que JSON seja representado usando UTF-8, UTF-16 ou UTF-32, com UTF-8 sendo o padrão recomendado para interoperabilidade máxima.

Conforme permitido, embora não exigido, pela RFC, o serializador deste módulo define ensure_ascii=True por padrão, escapando a saída para que as strings resultantes contenham apenas caracteres ASCII.

Além do parâmetro ensure_ascii, este módulo é definido estritamente em termos de conversão entre objetos Python e strings Unicode e, portanto, não aborda diretamente o problema de codificação de caracteres.

A RFC proíbe adicionar uma marca de ordem de byte (do inglês byte order mark - BOM) ao início de um texto JSON, e o serializador deste módulo não adiciona um BOM à sua saída. A RFC permite, mas não exige, que os desserializadores JSON ignorem um BOM inicial em sua entrada. O desserializador deste módulo levanta uma ValueError quando um BOM inicial está presente.

A RFC não proíbe explicitamente as strings JSON que contêm sequências de bytes que não correspondem a caracteres Unicode válidos (por exemplo, substitutos UTF-16 não emparelhados), mas observa que podem causar problemas de interoperabilidade. Por padrão, este módulo aceita e produz (quando presente no original str) pontos de código para tais sequências.

Valores numéricos infinitos e NaN

A RFC não permite a representação de valores infinitos ou numéricos NaN. Apesar disso, por padrão, este módulo aceita e produz Infinity, -Infinity e NaN como se fossem valores literais de número JSON válidos:

>>> # Neither of these calls raises an exception, but the results are not valid JSON
>>> json.dumps(float('-inf'))
'-Infinity'
>>> json.dumps(float('nan'))
'NaN'
>>> # Same when deserializing
>>> json.loads('-Infinity')
-inf
>>> json.loads('NaN')
nan

No serializador, o parâmetro allow_nan pode ser usado para alterar esse comportamento. No desserializador, o parâmetro parse_constant pode ser usado para alterar esse comportamento.

Nomes repetidos dentro de um objeto

A RFC especifica que os nomes em um objeto JSON devem ser exclusivos, mas não determina como os nomes repetidos em objetos JSON devem ser tratados. Por padrão, este módulo não levanta uma exceção; em vez disso, ele ignora tudo, exceto o último par nome-valor para um determinado nome:

>>> weird_json = '{"x": 1, "x": 2, "x": 3}'
>>> json.loads(weird_json)
{'x': 3}

O parâmetro object_pairs_hook pode ser usado para alterar este comportamento.

Valores não objeto e não vetor de nível superior

A versão antiga de JSON especificada pela obsoleta RFC 4627 [https://datatracker.ietf.org/doc/html/rfc4627.html] exige que o valor de nível superior do texto JSON deve ser do tipo object ou array (dict ou list Python), e não poderia ser dos tipos null, boolean, number ou string. RFC 7159 [https://datatracker.ietf.org/doc/html/rfc7159.html] removeu essa restrição, e esse módulo não tem nenhuma implementação que faça essa restrição, seja em seus serializadores, sejam nos desserializadores.

Independentemente, para máxima interoperabilidade, você pode querer aderir voluntariamente à restrição.

Limitações de implementação

Algumas implementações de desserializadores JSON podem definir limites em:

o tamanho de textos JSON aceitos

o nível máximo de aninhamento de objetos e vetores JSON

o intervalo e a precisão de números JSON

o conteúdo e o tamanho máximo de strings JSON

Esse módulo não impõe nenhum limite além daqueles já colocados pelas estruturas de dados Python ou pelo interpretador Python em si.

Quando serializando para JSON, tenha cuidado com qualquer limitação nas aplicações que irão consumir seu JSON. Em particular, é comum para números JSON serem desserializados com números de precisão dupla definida em IEEE 754 e, portanto, sujeito a limitações de precisão e de intervalo da representação. Isso é especialmente relevante quando serializando valores Python int de magnitude extremamente grande, ou quando serializando instâncias de tipos numéricos “exóticos” como decimal.Decimal.

Interface de linha de comando

Código-fonte: Lib/json/tool.py [https://github.com/python/cpython/tree/3.13/Lib/json/tool.py]

O módulo json.tool fornece uma interface de linha de comando simples para validação e embelezamento de saída para objetos JSON.

Se os argumentos opcionais infile e outfile não forem especificados, sys.stdin e sys.stdout serão usados respectivamente:

$ echo '{"json": "obj"}' | python -m json.tool
{
    "json": "obj"
}
$ echo '{1.2:3.4}' | python -m json.tool
Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

Alterado na versão 3.5: A saída agora está na mesma ordem da entrada. Use a opção --sort-keys para ordenar a saída de dicionários alfabeticamente pela chave.

Opções da linha de comando

infile

O arquivo JSON para ser validado ou saída embelezada:

$ python -m json.tool mp_films.json
[
    {
        "title": "And Now for Something Completely Different",
        "year": 1971
    },
    {
        "title": "Monty Python and the Holy Grail",
        "year": 1975
    }
]

Se infile não é especificado, lê de sys.stdin.

outfile

Escreve a saída de infile para o outfile dado. Caso contrário, escreve em sys.stdout.

--sort-keys

Ordena a saída de dicionários alfabeticamente pela chave.

Adicionado na versão 3.5.

--no-ensure-ascii

Desabilita escape de caracteres não-ascii, veja json.dumps() para mais informações.

Adicionado na versão 3.9.

--json-lines

Analisa cada linha da entrada como um objeto JSON separado.

Adicionado na versão 3.8.

--indent, --tab, --no-indent, --compact

Opções mutualmente exclusivas para controle de espaços em branco.

Adicionado na versão 3.9.

-h, --help

Exibe a mensagem de ajuda.

Notas de rodapé

[1]

Como apresentado na errata para RFC 7159 [https://www.rfc-editor.org/errata_search.php?rfc=7159], JSON permite os caracteres literais U+2028 (SEPARADOR DE LINHA) e U+2029 (SEPARADOR DE PARÁGRAFO) em strings, enquanto que JavaScript (ECMAScript Edition 5.1) não.

mailbox — Manipulate mailboxes in various formats

Código-fonte: Lib/mailbox.py [https://github.com/python/cpython/tree/3.13/Lib/mailbox.py]

This module defines two classes, Mailbox and Message, for accessing and manipulating on-disk mailboxes and the messages they contain. Mailbox offers a dictionary-like mapping from keys to messages. Message extends the email.message module’s Message class with format-specific state and behavior. Supported mailbox formats are Maildir, mbox, MH, Babyl, and MMDF.

Ver também

Module email

Represent and manipulate messages.

Mailbox objects

class mailbox.Mailbox

A mailbox, which may be inspected and modified.

The Mailbox class defines an interface and is not intended to be instantiated. Instead, format-specific subclasses should inherit from Mailbox and your code should instantiate a particular subclass.

The Mailbox interface is dictionary-like, with small keys corresponding to messages. Keys are issued by the Mailbox instance with which they will be used and are only meaningful to that Mailbox instance. A key continues to identify a message even if the corresponding message is modified, such as by replacing it with another message.

Messages may be added to a Mailbox instance using the set-like method add() and removed using a del statement or the set-like methods remove() and discard().

Mailbox interface semantics differ from dictionary semantics in some noteworthy ways. Each time a message is requested, a new representation (typically a Message instance) is generated based upon the current state of the mailbox. Similarly, when a message is added to a Mailbox instance, the provided message representation’s contents are copied. In neither case is a reference to the message representation kept by the Mailbox instance.

The default Mailbox iterator iterates over message representations, not keys as the default dictionary iterator does. Moreover, modification of a mailbox during iteration is safe and well-defined. Messages added to the mailbox after an iterator is created will not be seen by the iterator. Messages removed from the mailbox before the iterator yields them will be silently skipped, though using a key from an iterator may result in a KeyError exception if the corresponding message is subsequently removed.

Aviso

Be very cautious when modifying mailboxes that might be simultaneously changed by some other process. The safest mailbox format to use for such tasks is Maildir; try to avoid using single-file formats such as mbox for concurrent writing. If you’re modifying a mailbox, you must lock it by calling the lock() and unlock() methods before reading any messages in the file or making any changes by adding or deleting a message. Failing to lock the mailbox runs the risk of losing messages or corrupting the entire mailbox.

Mailbox instances have the following methods:

add(message)

Add message to the mailbox and return the key that has been assigned to it.

Parameter message may be a Message instance, an email.message.Message instance, a string, a byte string, or a file-like object (which should be open in binary mode). If message is an instance of the appropriate format-specific Message subclass (e.g., if it’s an mboxMessage instance and this is an mbox instance), its format-specific information is used. Otherwise, reasonable defaults for format-specific information are used.

Alterado na versão 3.2: Support for binary input was added.

remove(key)

__delitem__(key)

discard(key)

Delete the message corresponding to key from the mailbox.

If no such message exists, a KeyError exception is raised if the method was called as remove() or __delitem__() but no exception is raised if the method was called as discard(). The behavior of discard() may be preferred if the underlying mailbox format supports concurrent modification by other processes.

__setitem__(key, message)

Replace the message corresponding to key with message. Raise a KeyError exception if no message already corresponds to key.

As with add(), parameter message may be a Message instance, an email.message.Message instance, a string, a byte string, or a file-like object (which should be open in binary mode). If message is an instance of the appropriate format-specific Message subclass (e.g., if it’s an mboxMessage instance and this is an mbox instance), its format-specific information is used. Otherwise, the format-specific information of the message that currently corresponds to key is left unchanged.

iterkeys()

Return an iterator over all keys

keys()

The same as iterkeys(), except that a list is returned rather than an iterator

itervalues()

__iter__()

Return an iterator over representations of all messages. The messages are represented as instances of the appropriate format-specific Message subclass unless a custom message factory was specified when the Mailbox instance was initialized.

Nota

The behavior of __iter__() is unlike that of dictionaries, which iterate over keys.

values()

The same as itervalues(), except that a list is returned rather than an iterator

iteritems()

Return an iterator over (key, message) pairs, where key is a key and message is a message representation. The messages are represented as instances of the appropriate format-specific Message subclass unless a custom message factory was specified when the Mailbox instance was initialized.

items()

The same as iteritems(), except that a list of pairs is returned rather than an iterator of pairs.

get(key, default=None)

__getitem__(key)

Return a representation of the message corresponding to key. If no such message exists, default is returned if the method was called as get() and a KeyError exception is raised if the method was called as __getitem__(). The message is represented as an instance of the appropriate format-specific Message subclass unless a custom message factory was specified when the Mailbox instance was initialized.

get_message(key)

Return a representation of the message corresponding to key as an instance of the appropriate format-specific Message subclass, or raise a KeyError exception if no such message exists.

get_bytes(key)

Return a byte representation of the message corresponding to key, or raise a KeyError exception if no such message exists.

Adicionado na versão 3.2.

get_string(key)

Return a string representation of the message corresponding to key, or raise a KeyError exception if no such message exists. The message is processed through email.message.Message to convert it to a 7bit clean representation.

get_file(key)

Return a file-like representation of the message corresponding to key, or raise a KeyError exception if no such message exists. The file-like object behaves as if open in binary mode. This file should be closed once it is no longer needed.

Alterado na versão 3.2: The file object really is a binary file; previously it was incorrectly returned in text mode. Also, the file-like object now supports the context manager protocol: you can use a with statement to automatically close it.

Nota

Unlike other representations of messages, file-like representations are not necessarily independent of the Mailbox instance that created them or of the underlying mailbox. More specific documentation is provided by each subclass.

__contains__(key)

Return True if key corresponds to a message, False otherwise.

__len__()

Return a count of messages in the mailbox.

clear()

Delete all messages from the mailbox.

pop(key, default=None)

Return a representation of the message corresponding to key and delete the message. If no such message exists, return default. The message is represented as an instance of the appropriate format-specific Message subclass unless a custom message factory was specified when the Mailbox instance was initialized.

popitem()

Return an arbitrary (key, message) pair, where key is a key and message is a message representation, and delete the corresponding message. If the mailbox is empty, raise a KeyError exception. The message is represented as an instance of the appropriate format-specific Message subclass unless a custom message factory was specified when the Mailbox instance was initialized.

update(arg)

Parameter arg should be a key-to-message mapping or an iterable of (key, message) pairs. Updates the mailbox so that, for each given key and message, the message corresponding to key is set to message as if by using __setitem__(). As with __setitem__(), each key must already correspond to a message in the mailbox or else a KeyError exception will be raised, so in general it is incorrect for arg to be a Mailbox instance.

Nota

Unlike with dictionaries, keyword arguments are not supported.

flush()

Write any pending changes to the filesystem. For some Mailbox subclasses, changes are always written immediately and flush() does nothing, but you should still make a habit of calling this method.

lock()

Acquire an exclusive advisory lock on the mailbox so that other processes know not to modify it. An ExternalClashError is raised if the lock is not available. The particular locking mechanisms used depend upon the mailbox format. You should always lock the mailbox before making any modifications to its contents.

unlock()

Release the lock on the mailbox, if any.

close()

Flush the mailbox, unlock it if necessary, and close any open files. For some Mailbox subclasses, this method does nothing.

Maildir objects

class mailbox.Maildir(dirname, factory=None, create=True)

A subclass of Mailbox for mailboxes in Maildir format. Parameter factory is a callable object that accepts a file-like message representation (which behaves as if opened in binary mode) and returns a custom representation. If factory is None, MaildirMessage is used as the default message representation. If create is True, the mailbox is created if it does not exist.

If create is True and the dirname path exists, it will be treated as an existing maildir without attempting to verify its directory layout.

It is for historical reasons that dirname is named as such rather than path.

Maildir is a directory-based mailbox format invented for the qmail mail transfer agent and now widely supported by other programs. Messages in a Maildir mailbox are stored in separate files within a common directory structure. This design allows Maildir mailboxes to be accessed and modified by multiple unrelated programs without data corruption, so file locking is unnecessary.

Maildir mailboxes contain three subdirectories, namely: tmp, new, and cur. Messages are created momentarily in the tmp subdirectory and then moved to the new subdirectory to finalize delivery. A mail user agent may subsequently move the message to the cur subdirectory and store information about the state of the message in a special “info” section appended to its file name.

Folders of the style introduced by the Courier mail transfer agent are also supported. Any subdirectory of the main mailbox is considered a folder if '.' is the first character in its name. Folder names are represented by Maildir without the leading '.'. Each folder is itself a Maildir mailbox but should not contain other folders. Instead, a logical nesting is indicated using '.' to delimit levels, e.g., “Archived.2005.07”.

colon

The Maildir specification requires the use of a colon (':') in certain message file names. However, some operating systems do not permit this character in file names, If you wish to use a Maildir-like format on such an operating system, you should specify another character to use instead. The exclamation point ('!') is a popular choice. For example:

import mailbox
mailbox.Maildir.colon = '!'

The colon attribute may also be set on a per-instance basis.

Alterado na versão 3.13: Maildir now ignores files with a leading dot.

Maildir instances have all of the methods of Mailbox in addition to the following:

list_folders()

Return a list of the names of all folders.

get_folder(folder)

Return a Maildir instance representing the folder whose name is folder. A NoSuchMailboxError exception is raised if the folder does not exist.

add_folder(folder)

Create a folder whose name is folder and return a Maildir instance representing it.

remove_folder(folder)

Delete the folder whose name is folder. If the folder contains any messages, a NotEmptyError exception will be raised and the folder will not be deleted.

clean()

Delete temporary files from the mailbox that have not been accessed in the last 36 hours. The Maildir specification says that mail-reading programs should do this occasionally.

get_flags(key)

Return as a string the flags that are set on the message corresponding to key. This is the same as get_message(key).get_flags() but much faster, because it does not open the message file. Use this method when iterating over the keys to determine which messages are interesting to get.

If you do have a MaildirMessage object, use its get_flags() method instead, because changes made by the message’s set_flags(), add_flag() and remove_flag() methods are not reflected here until the mailbox’s __setitem__() method is called.

Adicionado na versão 3.13.

set_flags(key, flags)

On the message corresponding to key, set the flags specified by flags and unset all others. Calling some_mailbox.set_flags(key, flags) is similar to

one_message = some_mailbox.get_message(key)
one_message.set_flags(flags)
some_mailbox[key] = one_message

but faster, because it does not open the message file.

If you do have a MaildirMessage object, use its set_flags() method instead, because changes made with this mailbox method will not be visible to the message object’s method, get_flags().

Adicionado na versão 3.13.

add_flag(key, flag)

On the message corresponding to key, set the flags specified by flag without changing other flags. To add more than one flag at a time, flag may be a string of more than one character.

Considerations for using this method versus the message object’s add_flag() method are similar to those for set_flags(); see the discussion there.

Adicionado na versão 3.13.

remove_flag(key, flag)

On the message corresponding to key, unset the flags specified by flag without changing other flags. To remove more than one flag at a time, flag may be a string of more than one character.

Considerations for using this method versus the message object’s remove_flag() method are similar to those for set_flags(); see the discussion there.

Adicionado na versão 3.13.

get_info(key)

Return a string containing the info for the message corresponding to key. This is the same as get_message(key).get_info() but much faster, because it does not open the message file. Use this method when iterating over the keys to determine which messages are interesting to get.

If you do have a MaildirMessage object, use its get_info() method instead, because changes made by the message’s set_info() method are not reflected here until the mailbox’s __setitem__() method is called.

Adicionado na versão 3.13.

set_info(key, info)

Set the info of the message corresponding to key to info. Calling some_mailbox.set_info(key, flags) is similar to

one_message = some_mailbox.get_message(key)
one_message.set_info(info)
some_mailbox[key] = one_message

but faster, because it does not open the message file.

If you do have a MaildirMessage object, use its set_info() method instead, because changes made with this mailbox method will not be visible to the message object’s method, get_info().

Adicionado na versão 3.13.

Some Mailbox methods implemented by Maildir deserve special remarks:

add(message)

__setitem__(key, message)

update(arg)

Aviso

These methods generate unique file names based upon the current process ID. When using multiple threads, undetected name clashes may occur and cause corruption of the mailbox unless threads are coordinated to avoid using these methods to manipulate the same mailbox simultaneously.

flush()

All changes to Maildir mailboxes are immediately applied, so this method does nothing.

lock()

unlock()

Maildir mailboxes do not support (or require) locking, so these methods do nothing.

close()

Maildir instances do not keep any open files and the underlying mailboxes do not support locking, so this method does nothing.

get_file(key)

Depending upon the host platform, it may not be possible to modify or remove the underlying message while the returned file remains open.

Ver também

maildir man page from Courier [https://www.courier-mta.org/maildir.html]

A specification of the format. Describes a common extension for supporting folders.

Using maildir format [https://cr.yp.to/proto/maildir.html]

Notes on Maildir by its inventor. Includes an updated name-creation scheme and details on “info” semantics.

mbox objects

class mailbox.mbox(path, factory=None, create=True)

A subclass of Mailbox for mailboxes in mbox format. Parameter factory is a callable object that accepts a file-like message representation (which behaves as if opened in binary mode) and returns a custom representation. If factory is None, mboxMessage is used as the default message representation. If create is True, the mailbox is created if it does not exist.

The mbox format is the classic format for storing mail on Unix systems. All messages in an mbox mailbox are stored in a single file with the beginning of each message indicated by a line whose first five characters are “From “.

Several variations of the mbox format exist to address perceived shortcomings in the original. In the interest of compatibility, mbox implements the original format, which is sometimes referred to as mboxo. This means that the Content-Length header, if present, is ignored and that any occurrences of “From “ at the beginning of a line in a message body are transformed to “>From “ when storing the message, although occurrences of “>From “ are not transformed to “From “ when reading the message.

Some Mailbox methods implemented by mbox deserve special remarks:

get_file(key)

Using the file after calling flush() or close() on the mbox instance may yield unpredictable results or raise an exception.

lock()

unlock()

Three locking mechanisms are used—dot locking and, if available, the flock() and lockf() system calls.

Ver também

mbox man page from tin [http://www.tin.org/bin/man.cgi?section=5&topic=mbox]

A specification of the format, with details on locking.

Configuring Netscape Mail on Unix: Why The Content-Length Format is Bad [https://www.jwz.org/doc/content-length.html]

An argument for using the original mbox format rather than a variation.

“mbox” is a family of several mutually incompatible mailbox formats [https://www.loc.gov/preservation/digital/formats/fdd/fdd000383.shtml]

A history of mbox variations.

MH objects

class mailbox.MH(path, factory=None, create=True)

A subclass of Mailbox for mailboxes in MH format. Parameter factory is a callable object that accepts a file-like message representation (which behaves as if opened in binary mode) and returns a custom representation. If factory is None, MHMessage is used as the default message representation. If create is True, the mailbox is created if it does not exist.

MH is a directory-based mailbox format invented for the MH Message Handling System, a mail user agent. Each message in an MH mailbox resides in its own file. An MH mailbox may contain other MH mailboxes (called folders) in addition to messages. Folders may be nested indefinitely. MH mailboxes also support sequences, which are named lists used to logically group messages without moving them to sub-folders. Sequences are defined in a file called .mh_sequences in each folder.

The MH class manipulates MH mailboxes, but it does not attempt to emulate all of mh’s behaviors. In particular, it does not modify and is not affected by the context or .mh_profile files that are used by mh to store its state and configuration.

MH instances have all of the methods of Mailbox in addition to the following:

Alterado na versão 3.13: Supported folders that don’t contain a .mh_sequences file.

list_folders()

Return a list of the names of all folders.

get_folder(folder)

Return an MH instance representing the folder whose name is folder. A NoSuchMailboxError exception is raised if the folder does not exist.

add_folder(folder)

Create a folder whose name is folder and return an MH instance representing it.

remove_folder(folder)

Delete the folder whose name is folder. If the folder contains any messages, a NotEmptyError exception will be raised and the folder will not be deleted.

get_sequences()

Return a dictionary of sequence names mapped to key lists. If there are no sequences, the empty dictionary is returned.

set_sequences(sequences)

Re-define the sequences that exist in the mailbox based upon sequences, a dictionary of names mapped to key lists, like returned by get_sequences().

pack()

Rename messages in the mailbox as necessary to eliminate gaps in numbering. Entries in the sequences list are updated correspondingly.

Nota

Already-issued keys are invalidated by this operation and should not be subsequently used.

Some Mailbox methods implemented by MH deserve special remarks:

remove(key)

__delitem__(key)

discard(key)

These methods immediately delete the message. The MH convention of marking a message for deletion by prepending a comma to its name is not used.

lock()

unlock()

Three locking mechanisms are used—dot locking and, if available, the flock() and lockf() system calls. For MH mailboxes, locking the mailbox means locking the .mh_sequences file and, only for the duration of any operations that affect them, locking individual message files.

get_file(key)

Depending upon the host platform, it may not be possible to remove the underlying message while the returned file remains open.

flush()

All changes to MH mailboxes are immediately applied, so this method does nothing.

close()

MH instances do not keep any open files, so this method is equivalent to unlock().

Ver também

nmh - Message Handling System [https://www.nongnu.org/nmh/]

Home page of nmh, an updated version of the original mh.

MH & nmh: Email for Users & Programmers [https://rand-mh.sourceforge.io/book/]

A GPL-licensed book on mh and nmh, with some information on the mailbox format.

Babyl objects

class mailbox.Babyl(path, factory=None, create=True)

A subclass of Mailbox for mailboxes in Babyl format. Parameter factory is a callable object that accepts a file-like message representation (which behaves as if opened in binary mode) and returns a custom representation. If factory is None, BabylMessage is used as the default message representation. If create is True, the mailbox is created if it does not exist.

Babyl is a single-file mailbox format used by the Rmail mail user agent included with Emacs. The beginning of a message is indicated by a line containing the two characters Control-Underscore ('\037') and Control-L ('\014'). The end of a message is indicated by the start of the next message or, in the case of the last message, a line containing a Control-Underscore ('\037') character.

Messages in a Babyl mailbox have two sets of headers, original headers and so-called visible headers. Visible headers are typically a subset of the original headers that have been reformatted or abridged to be more attractive. Each message in a Babyl mailbox also has an accompanying list of labels, or short strings that record extra information about the message, and a list of all user-defined labels found in the mailbox is kept in the Babyl options section.

Babyl instances have all of the methods of Mailbox in addition to the following:

get_labels()

Return a list of the names of all user-defined labels used in the mailbox.

Nota

The actual messages are inspected to determine which labels exist in the mailbox rather than consulting the list of labels in the Babyl options section, but the Babyl section is updated whenever the mailbox is modified.

Some Mailbox methods implemented by Babyl deserve special remarks:

get_file(key)

In Babyl mailboxes, the headers of a message are not stored contiguously with the body of the message. To generate a file-like representation, the headers and body are copied together into an io.BytesIO instance, which has an API identical to that of a file. As a result, the file-like object is truly independent of the underlying mailbox but does not save memory compared to a string representation.

lock()

unlock()

Three locking mechanisms are used—dot locking and, if available, the flock() and lockf() system calls.

Ver também

Format of Version 5 Babyl Files [https://quimby.gnus.org/notes/BABYL]

A specification of the Babyl format.

Reading Mail with Rmail [https://www.gnu.org/software/emacs/manual/html_node/emacs/Rmail.html]

The Rmail manual, with some information on Babyl semantics.

MMDF objects

class mailbox.MMDF(path, factory=None, create=True)

A subclass of Mailbox for mailboxes in MMDF format. Parameter factory is a callable object that accepts a file-like message representation (which behaves as if opened in binary mode) and returns a custom representation. If factory is None, MMDFMessage is used as the default message representation. If create is True, the mailbox is created if it does not exist.

MMDF is a single-file mailbox format invented for the Multichannel Memorandum Distribution Facility, a mail transfer agent. Each message is in the same form as an mbox message but is bracketed before and after by lines containing four Control-A ('\001') characters. As with the mbox format, the beginning of each message is indicated by a line whose first five characters are “From “, but additional occurrences of “From “ are not transformed to “>From “ when storing messages because the extra message separator lines prevent mistaking such occurrences for the starts of subsequent messages.

Some Mailbox methods implemented by MMDF deserve special remarks:

get_file(key)

Using the file after calling flush() or close() on the MMDF instance may yield unpredictable results or raise an exception.

lock()

unlock()

Three locking mechanisms are used—dot locking and, if available, the flock() and lockf() system calls.

Ver também

mmdf man page from tin [http://www.tin.org/bin/man.cgi?section=5&topic=mmdf]

A specification of MMDF format from the documentation of tin, a newsreader.

MMDF [https://en.wikipedia.org/wiki/MMDF]

A Wikipedia article describing the Multichannel Memorandum Distribution Facility.

Message objects

class mailbox.Message(message=None)

A subclass of the email.message module’s Message. Subclasses of mailbox.Message add mailbox-format-specific state and behavior.

If message is omitted, the new instance is created in a default, empty state. If message is an email.message.Message instance, its contents are copied; furthermore, any format-specific information is converted insofar as possible if message is a Message instance. If message is a string, a byte string, or a file, it should contain an RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html]-compliant message, which is read and parsed. Files should be open in binary mode, but text mode files are accepted for backward compatibility.

The format-specific state and behaviors offered by subclasses vary, but in general it is only the properties that are not specific to a particular mailbox that are supported (although presumably the properties are specific to a particular mailbox format). For example, file offsets for single-file mailbox formats and file names for directory-based mailbox formats are not retained, because they are only applicable to the original mailbox. But state such as whether a message has been read by the user or marked as important is retained, because it applies to the message itself.

There is no requirement that Message instances be used to represent messages retrieved using Mailbox instances. In some situations, the time and memory required to generate Message representations might not be acceptable. For such situations, Mailbox instances also offer string and file-like representations, and a custom message factory may be specified when a Mailbox instance is initialized.

MaildirMessage objects

class mailbox.MaildirMessage(message=None)

A message with Maildir-specific behaviors. Parameter message has the same meaning as with the Message constructor.

Typically, a mail user agent application moves all of the messages in the new subdirectory to the cur subdirectory after the first time the user opens and closes the mailbox, recording that the messages are old whether or not they’ve actually been read. Each message in cur has an “info” section added to its file name to store information about its state. (Some mail readers may also add an “info” section to messages in new.) The “info” section may take one of two forms: it may contain “2,” followed by a list of standardized flags (e.g., “2,FR”) or it may contain “1,” followed by so-called experimental information. Standard flags for Maildir messages are as follows:

Sinalizador

Significado

Explicação

D

Draft

Under composition

F

Flagged

Marked as important

P

Passed

Forwarded, resent, or bounced

R

Replied

Replied to

S

Seen

Read

T

Trashed

Marked for subsequent deletion

MaildirMessage instances offer the following methods:

get_subdir()

Return either “new” (if the message should be stored in the new subdirectory) or “cur” (if the message should be stored in the cur subdirectory).

Nota

A message is typically moved from new to cur after its mailbox has been accessed, whether or not the message has been read. A message msg has been read if "S" in msg.get_flags() is True.

set_subdir(subdir)

Set the subdirectory the message should be stored in. Parameter subdir must be either “new” or “cur”.

get_flags()

Return a string specifying the flags that are currently set. If the message complies with the standard Maildir format, the result is the concatenation in alphabetical order of zero or one occurrence of each of 'D', 'F', 'P', 'R', 'S', and 'T'. The empty string is returned if no flags are set or if “info” contains experimental semantics.

set_flags(flags)

Set the flags specified by flags and unset all others.

add_flag(flag)

Set the flag(s) specified by flag without changing other flags. To add more than one flag at a time, flag may be a string of more than one character. The current “info” is overwritten whether or not it contains experimental information rather than flags.

remove_flag(flag)

Unset the flag(s) specified by flag without changing other flags. To remove more than one flag at a time, flag maybe a string of more than one character. If “info” contains experimental information rather than flags, the current “info” is not modified.

get_date()

Return the delivery date of the message as a floating-point number representing seconds since the epoch.

set_date(date)

Set the delivery date of the message to date, a floating-point number representing seconds since the epoch.

get_info()

Return a string containing the “info” for a message. This is useful for accessing and modifying “info” that is experimental (i.e., not a list of flags).

set_info(info)

Set “info” to info, which should be a string.

When a MaildirMessage instance is created based upon an mboxMessage or MMDFMessage instance, the Status and X-Status headers are omitted and the following conversions take place:

Resulting state

mboxMessage or MMDFMessage state

“cur” subdirectory

O flag

F flag

F flag

R flag

A flag

S flag

R flag

T flag

D flag

When a MaildirMessage instance is created based upon an MHMessage instance, the following conversions take place:

Resulting state

MHMessage state

“cur” subdirectory

“unseen” sequence

“cur” subdirectory and S flag

no “unseen” sequence

F flag

“flagged” sequence

R flag

“replied” sequence

When a MaildirMessage instance is created based upon a BabylMessage instance, the following conversions take place:

Resulting state

BabylMessage state

“cur” subdirectory

“unseen” label

“cur” subdirectory and S flag

no “unseen” label

P flag

“forwarded” or “resent” label

R flag

“answered” label

T flag

“deleted” label

mboxMessage objects

class mailbox.mboxMessage(message=None)

A message with mbox-specific behaviors. Parameter message has the same meaning as with the Message constructor.

Messages in an mbox mailbox are stored together in a single file. The sender’s envelope address and the time of delivery are typically stored in a line beginning with “From “ that is used to indicate the start of a message, though there is considerable variation in the exact format of this data among mbox implementations. Flags that indicate the state of the message, such as whether it has been read or marked as important, are typically stored in Status and X-Status headers.

Conventional flags for mbox messages are as follows:

Sinalizador

Significado

Explicação

R

Read

Read

O

Old

Previously detected by MUA

D

Deleted

Marked for subsequent deletion

F

Flagged

Marked as important

A

Answered

Replied to

The “R” and “O” flags are stored in the Status header, and the “D”, “F”, and “A” flags are stored in the X-Status header. The flags and headers typically appear in the order mentioned.

mboxMessage instances offer the following methods:

get_from()

Return a string representing the “From “ line that marks the start of the message in an mbox mailbox. The leading “From “ and the trailing newline are excluded.

set_from(from_, time_=None)

Set the “From “ line to from_, which should be specified without a leading “From “ or trailing newline. For convenience, time_ may be specified and will be formatted appropriately and appended to from_. If time_ is specified, it should be a time.struct_time instance, a tuple suitable for passing to time.strftime(), or True (to use time.gmtime()).

get_flags()

Return a string specifying the flags that are currently set. If the message complies with the conventional format, the result is the concatenation in the following order of zero or one occurrence of each of 'R', 'O', 'D', 'F', and 'A'.

set_flags(flags)

Set the flags specified by flags and unset all others. Parameter flags should be the concatenation in any order of zero or more occurrences of each of 'R', 'O', 'D', 'F', and 'A'.

add_flag(flag)

Set the flag(s) specified by flag without changing other flags. To add more than one flag at a time, flag may be a string of more than one character.

remove_flag(flag)

Unset the flag(s) specified by flag without changing other flags. To remove more than one flag at a time, flag maybe a string of more than one character.

When an mboxMessage instance is created based upon a MaildirMessage instance, a “From “ line is generated based upon the MaildirMessage instance’s delivery date, and the following conversions take place:

Resulting state

MaildirMessage state

R flag

S flag

O flag

“cur” subdirectory

D flag

T flag

F flag

F flag

A flag

R flag

When an mboxMessage instance is created based upon an MHMessage instance, the following conversions take place:

Resulting state

MHMessage state

R flag and O flag

no “unseen” sequence

O flag

“unseen” sequence

F flag

“flagged” sequence

A flag

“replied” sequence

When an mboxMessage instance is created based upon a BabylMessage instance, the following conversions take place:

Resulting state

BabylMessage state

R flag and O flag

no “unseen” label

O flag

“unseen” label

D flag

“deleted” label

A flag

“answered” label

When a mboxMessage instance is created based upon an MMDFMessage instance, the “From “ line is copied and all flags directly correspond:

Resulting state

MMDFMessage state

R flag

R flag

O flag

O flag

D flag

D flag

F flag

F flag

A flag

A flag

MHMessage objects

class mailbox.MHMessage(message=None)

A message with MH-specific behaviors. Parameter message has the same meaning as with the Message constructor.

MH messages do not support marks or flags in the traditional sense, but they do support sequences, which are logical groupings of arbitrary messages. Some mail reading programs (although not the standard mh and nmh) use sequences in much the same way flags are used with other formats, as follows:

Sequence

Explicação

unseen

Not read, but previously detected by MUA

replied

Replied to

flagged

Marked as important

MHMessage instances offer the following methods:

get_sequences()

Return a list of the names of sequences that include this message.

set_sequences(sequences)

Set the list of sequences that include this message.

add_sequence(sequence)

Add sequence to the list of sequences that include this message.

remove_sequence(sequence)

Remove sequence from the list of sequences that include this message.

When an MHMessage instance is created based upon a MaildirMessage instance, the following conversions take place:

Resulting state

MaildirMessage state

“unseen” sequence

no S flag

“replied” sequence

R flag

“flagged” sequence

F flag

When an MHMessage instance is created based upon an mboxMessage or MMDFMessage instance, the Status and X-Status headers are omitted and the following conversions take place:

Resulting state

mboxMessage or MMDFMessage state

“unseen” sequence

no R flag

“replied” sequence

A flag

“flagged” sequence

F flag

When an MHMessage instance is created based upon a BabylMessage instance, the following conversions take place:

Resulting state

BabylMessage state

“unseen” sequence

“unseen” label

“replied” sequence

“answered” label

BabylMessage objects

class mailbox.BabylMessage(message=None)

A message with Babyl-specific behaviors. Parameter message has the same meaning as with the Message constructor.

Certain message labels, called attributes, are defined by convention to have special meanings. The attributes are as follows:

Label

Explicação

unseen

Not read, but previously detected by MUA

deleted

Marked for subsequent deletion

filed

Copied to another file or mailbox

answered

Replied to

forwarded

Forwarded

edited

Modified by the user

resent

Resent

By default, Rmail displays only visible headers. The BabylMessage class, though, uses the original headers because they are more complete. Visible headers may be accessed explicitly if desired.

BabylMessage instances offer the following methods:

get_labels()

Return a list of labels on the message.

set_labels(labels)

Set the list of labels on the message to labels.

add_label(label)

Add label to the list of labels on the message.

remove_label(label)

Remove label from the list of labels on the message.

get_visible()

Return a Message instance whose headers are the message’s visible headers and whose body is empty.

set_visible(visible)

Set the message’s visible headers to be the same as the headers in message. Parameter visible should be a Message instance, an email.message.Message instance, a string, or a file-like object (which should be open in text mode).

update_visible()

When a BabylMessage instance’s original headers are modified, the visible headers are not automatically modified to correspond. This method updates the visible headers as follows: each visible header with a corresponding original header is set to the value of the original header, each visible header without a corresponding original header is removed, and any of Date, From, Reply-To, To, CC, and Subject that are present in the original headers but not the visible headers are added to the visible headers.

When a BabylMessage instance is created based upon a MaildirMessage instance, the following conversions take place:

Resulting state

MaildirMessage state

“unseen” label

no S flag

“deleted” label

T flag

“answered” label

R flag

“forwarded” label

P flag

When a BabylMessage instance is created based upon an mboxMessage or MMDFMessage instance, the Status and X-Status headers are omitted and the following conversions take place:

Resulting state

mboxMessage or MMDFMessage state

“unseen” label

no R flag

“deleted” label

D flag

“answered” label

A flag

When a BabylMessage instance is created based upon an MHMessage instance, the following conversions take place:

Resulting state

MHMessage state

“unseen” label

“unseen” sequence

“answered” label

“replied” sequence

MMDFMessage objects

class mailbox.MMDFMessage(message=None)

A message with MMDF-specific behaviors. Parameter message has the same meaning as with the Message constructor.

As with message in an mbox mailbox, MMDF messages are stored with the sender’s address and the delivery date in an initial line beginning with “From “. Likewise, flags that indicate the state of the message are typically stored in Status and X-Status headers.

Conventional flags for MMDF messages are identical to those of mbox message and are as follows:

Sinalizador

Significado

Explicação

R

Read

Read

O

Old

Previously detected by MUA

D

Deleted

Marked for subsequent deletion

F

Flagged

Marked as important

A

Answered

Replied to

The “R” and “O” flags are stored in the Status header, and the “D”, “F”, and “A” flags are stored in the X-Status header. The flags and headers typically appear in the order mentioned.

MMDFMessage instances offer the following methods, which are identical to those offered by mboxMessage:

get_from()

Return a string representing the “From “ line that marks the start of the message in an mbox mailbox. The leading “From “ and the trailing newline are excluded.

set_from(from_, time_=None)

Set the “From “ line to from_, which should be specified without a leading “From “ or trailing newline. For convenience, time_ may be specified and will be formatted appropriately and appended to from_. If time_ is specified, it should be a time.struct_time instance, a tuple suitable for passing to time.strftime(), or True (to use time.gmtime()).

get_flags()

Return a string specifying the flags that are currently set. If the message complies with the conventional format, the result is the concatenation in the following order of zero or one occurrence of each of 'R', 'O', 'D', 'F', and 'A'.

set_flags(flags)

Set the flags specified by flags and unset all others. Parameter flags should be the concatenation in any order of zero or more occurrences of each of 'R', 'O', 'D', 'F', and 'A'.

add_flag(flag)

Set the flag(s) specified by flag without changing other flags. To add more than one flag at a time, flag may be a string of more than one character.

remove_flag(flag)

Unset the flag(s) specified by flag without changing other flags. To remove more than one flag at a time, flag maybe a string of more than one character.

When an MMDFMessage instance is created based upon a MaildirMessage instance, a “From “ line is generated based upon the MaildirMessage instance’s delivery date, and the following conversions take place:

Resulting state

MaildirMessage state

R flag

S flag

O flag

“cur” subdirectory

D flag

T flag

F flag

F flag

A flag

R flag

When an MMDFMessage instance is created based upon an MHMessage instance, the following conversions take place:

Resulting state

MHMessage state

R flag and O flag

no “unseen” sequence

O flag

“unseen” sequence

F flag

“flagged” sequence

A flag

“replied” sequence

When an MMDFMessage instance is created based upon a BabylMessage instance, the following conversions take place:

Resulting state

BabylMessage state

R flag and O flag

no “unseen” label

O flag

“unseen” label

D flag

“deleted” label

A flag

“answered” label

When an MMDFMessage instance is created based upon an mboxMessage instance, the “From “ line is copied and all flags directly correspond:

Resulting state

mboxMessage state

R flag

R flag

O flag

O flag

D flag

D flag

F flag

F flag

A flag

A flag

Exceções

The following exception classes are defined in the mailbox module:

exception mailbox.Error

The based class for all other module-specific exceptions.

exception mailbox.NoSuchMailboxError

Raised when a mailbox is expected but is not found, such as when instantiating a Mailbox subclass with a path that does not exist (and with the create parameter set to False), or when opening a folder that does not exist.

exception mailbox.NotEmptyError

Raised when a mailbox is not empty but is expected to be, such as when deleting a folder that contains messages.

exception mailbox.ExternalClashError

Raised when some mailbox-related condition beyond the control of the program causes it to be unable to proceed, such as when failing to acquire a lock that another program already holds a lock, or when a uniquely generated file name already exists.

exception mailbox.FormatError

Raised when the data in a file cannot be parsed, such as when an MH instance attempts to read a corrupted .mh_sequences file.

Exemplos

A simple example of printing the subjects of all messages in a mailbox that seem interesting:

import mailbox
for message in mailbox.mbox('~/mbox'):
    subject = message['subject']       # Could possibly be None.
    if subject and 'python' in subject.lower():
        print(subject)

To copy all mail from a Babyl mailbox to an MH mailbox, converting all of the format-specific information that can be converted:

import mailbox
destination = mailbox.MH('~/Mail')
destination.lock()
for message in mailbox.Babyl('~/RMAIL'):
    destination.add(mailbox.MHMessage(message))
destination.flush()
destination.unlock()

This example sorts mail from several mailing lists into different mailboxes, being careful to avoid mail corruption due to concurrent modification by other programs, mail loss due to interruption of the program, or premature termination due to malformed messages in the mailbox:

import mailbox
import email.errors

list_names = ('python-list', 'python-dev', 'python-bugs')

boxes = {name: mailbox.mbox('~/email/%s' % name) for name in list_names}
inbox = mailbox.Maildir('~/Maildir', factory=None)

for key in inbox.iterkeys():
    try:
        message = inbox[key]
    except email.errors.MessageParseError:
        continue                # The message is malformed. Just leave it.

    for name in list_names:
        list_id = message['list-id']
        if list_id and name in list_id:
            # Get mailbox to use
            box = boxes[name]

            # Write copy to disk before removing original.
            # If there's a crash, you might duplicate a message, but
            # that's better than losing a message completely.
            box.lock()
            box.add(message)
            box.flush()
            box.unlock()

            # Remove original message
            inbox.lock()
            inbox.discard(key)
            inbox.flush()
            inbox.unlock()
            break               # Found destination, so stop looking.

for box in boxes.itervalues():
    box.close()

mimetypes — Mapeia nomes de arquivos para tipos MIME

Código-fonte: Lib/mimetypes.py [https://github.com/python/cpython/tree/3.13/Lib/mimetypes.py]

O módulo mimetypes converte entre um nome de arquivo ou URL e o tipo MIME associado à extensão do arquivo. As conversões são fornecidas do nome do arquivo para o tipo MIME e da extensão do tipo MIME para o nome do arquivo; codificações não são suportadas para a última conversão.

O módulo fornece uma classe e várias funções convenientes. As funções são a interface normal para este módulo, mas algumas aplicações também podem estar interessadas na classe.

As funções descritas abaixo fornecem a interface principal para este módulo. Se o módulo não foi inicializado, eles chamarão init() se confiarem nas informações init() configuradas.

mimetypes.guess_type(url, strict=True)

Adivinha o tipo de arquivo com base em seu nome de arquivo, caminho ou URL, fornecido por url. A URL pode ser uma string ou um objeto caminho ou similar.

O valor de retorno é uma tupla (type, encoding) onde o tipo é None se o tipo não puder ser ser adivinhado (sufixo ausente ou desconhecido) ou uma string no formato 'type/subtype', utilizável para um cabeçalho MIME content-type.

encoding é None para nenhuma codificação ou o nome do programa usado para codificar (por exemplo compress ou gzip). A codificação é adequada para uso como cabeçalho Content-Encoding , não como cabeçalho Content-Transfer-Encoding. Os mapeamentos são orientados por tabela. Os sufixos de codificação diferenciam maiúsculas de minúsculas; os sufixos de tipo são testados primeiro com maiúsculas e minúsculas e depois sem maiúsculas.

O argumento opcional strict é um sinalizador que especifica se a lista de tipos MIME conhecidos é limitada apenas aos tipos oficiais registrados na IANA [https://www.iana.org/assignments/media-types/media-types.xhtml]. Quando strict é True (o padrão), apenas os tipos IANA são suportados; quando strict é False, alguns tipos MIME adicionais não padronizados, mas geralmente usados, também são reconhecidos.

Alterado na versão 3.8: Adicionado suporte para que a url seja um objeto caminho ou similar.

Obsoleto desde a versão 3.13: Passar um caminho de arquivo em vez de URL está suavemente descontinuado. Use guess_file_type() para isso.

mimetypes.guess_file_type(path, *, strict=True)

Adivinha o tipo de um arquivo com base em seu caminho, dado por path. Semelhante à função guess_type(), mas aceita um caminho em vez de URL. O caminho pode ser uma string, um objeto bytes ou um objeto caminho ou similar.

Adicionado na versão 3.13.

mimetypes.guess_all_extensions(type, strict=True)

Adivinhe as extensões para um arquivo com base em seu tipo MIME, fornecido pelo tipo. O valor de retorno é uma lista de strings que fornecem todas as extensões possíveis de nome de arquivo, incluindo o ponto ('.'). Não é garantido que as extensões tenham sido associadas a qualquer fluxo de dados específico, mas seriam mapeadas para o tipo MIME tipo por guess_type() e guess_file_type().

O argumento opcional strict tem o mesmo significado que com a função guess_type().

mimetypes.guess_extension(type, strict=True)

Guess the extension for a file based on its MIME type, given by type. The return value is a string giving a filename extension, including the leading dot ('.'). The extension is not guaranteed to have been associated with any particular data stream, but would be mapped to the MIME type type by guess_type() and guess_file_type(). If no extension can be guessed for type, None is returned.

O argumento opcional strict tem o mesmo significado que com a função guess_type().

Some additional functions and data items are available for controlling the behavior of the module.

mimetypes.init(files=None)

Initialize the internal data structures. If given, files must be a sequence of file names which should be used to augment the default type map. If omitted, the file names to use are taken from knownfiles; on Windows, the current registry settings are loaded. Each file named in files or knownfiles takes precedence over those named before it. Calling init() repeatedly is allowed.

Specifying an empty list for files will prevent the system defaults from being applied: only the well-known values will be present from a built-in list.

If files is None the internal data structure is completely rebuilt to its initial default value. This is a stable operation and will produce the same results when called multiple times.

Alterado na versão 3.2: Previously, Windows registry settings were ignored.

mimetypes.read_mime_types(filename)

Load the type map given in the file filename, if it exists. The type map is returned as a dictionary mapping filename extensions, including the leading dot ('.'), to strings of the form 'type/subtype'. If the file filename does not exist or cannot be read, None is returned.

mimetypes.add_type(type, ext, strict=True)

Add a mapping from the MIME type type to the extension ext. When the extension is already known, the new type will replace the old one. When the type is already known the extension will be added to the list of known extensions.

When strict is True (the default), the mapping will be added to the official MIME types, otherwise to the non-standard ones.

mimetypes.inited

Flag indicating whether or not the global data structures have been initialized. This is set to True by init().

mimetypes.knownfiles

List of type map file names commonly installed. These files are typically named mime.types and are installed in different locations by different packages.

mimetypes.suffix_map

Dictionary mapping suffixes to suffixes. This is used to allow recognition of encoded files for which the encoding and the type are indicated by the same extension. For example, the .tgz extension is mapped to .tar.gz to allow the encoding and type to be recognized separately.

mimetypes.encodings_map

Dictionary mapping filename extensions to encoding types.

mimetypes.types_map

Dictionary mapping filename extensions to MIME types.

mimetypes.common_types

Dictionary mapping filename extensions to non-standard, but commonly found MIME types.

An example usage of the module:

>>> import mimetypes
>>> mimetypes.init()
>>> mimetypes.knownfiles
['/etc/mime.types', '/etc/httpd/mime.types', ... ]
>>> mimetypes.suffix_map['.tgz']
'.tar.gz'
>>> mimetypes.encodings_map['.gz']
'gzip'
>>> mimetypes.types_map['.tgz']
'application/x-tar-gz'

Objetos MimeTypes

The MimeTypes class may be useful for applications which may want more than one MIME-type database; it provides an interface similar to the one of the mimetypes module.

class mimetypes.MimeTypes(filenames=(), strict=True)

This class represents a MIME-types database. By default, it provides access to the same database as the rest of this module. The initial database is a copy of that provided by the module, and may be extended by loading additional mime.types-style files into the database using the read() or readfp() methods. The mapping dictionaries may also be cleared before loading additional data if the default data is not desired.

The optional filenames parameter can be used to cause additional files to be loaded “on top” of the default database.

suffix_map

Dictionary mapping suffixes to suffixes. This is used to allow recognition of encoded files for which the encoding and the type are indicated by the same extension. For example, the .tgz extension is mapped to .tar.gz to allow the encoding and type to be recognized separately. This is initially a copy of the global suffix_map defined in the module.

encodings_map

Dictionary mapping filename extensions to encoding types. This is initially a copy of the global encodings_map defined in the module.

types_map

Tuple containing two dictionaries, mapping filename extensions to MIME types: the first dictionary is for the non-standards types and the second one is for the standard types. They are initialized by common_types and types_map.

types_map_inv

Tuple containing two dictionaries, mapping MIME types to a list of filename extensions: the first dictionary is for the non-standards types and the second one is for the standard types. They are initialized by common_types and types_map.

guess_extension(type, strict=True)

Similar to the guess_extension() function, using the tables stored as part of the object.

guess_type(url, strict=True)

Similar to the guess_type() function, using the tables stored as part of the object.

guess_file_type(path, *, strict=True)

Similar to the guess_file_type() function, using the tables stored as part of the object.

Adicionado na versão 3.13.

guess_all_extensions(type, strict=True)

Similar to the guess_all_extensions() function, using the tables stored as part of the object.

read(filename, strict=True)

Load MIME information from a file named filename. This uses readfp() to parse the file.

If strict is True, information will be added to list of standard types, else to the list of non-standard types.

readfp(fp, strict=True)

Carrega informações do tipo MIME de um arquivo aberto fp. O arquivo precisa estar no formato padrão dos arquivos mime.types.

If strict is True, information will be added to the list of standard types, else to the list of non-standard types.

read_windows_registry(strict=True)

Carrega informações do tipo MIME a partir do registro do Windows.

Disponibilidade

If strict is True, information will be added to the list of standard types, else to the list of non-standard types.

Adicionado na versão 3.2.

add_type(type, ext, strict=True)

Add a mapping from the MIME type type to the extension ext. When the extension is already known, the new type will replace the old one. When the type is already known the extension will be added to the list of known extensions.

When strict is True (the default), the mapping will be added to the official MIME types, otherwise to the non-standard ones.

base64 — Base16, Base32, Base64, Base85 Data Encodings

Código-fonte: Lib/base64.py [https://github.com/python/cpython/tree/3.13/Lib/base64.py]

Este módulo fornece funções para codificar dados binários em caracteres ASCII imprimíveis e decodificar essas codificações de volta para dados binários. Ele fornece funções de codificação e decodificação para as codificações especificadas em RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html], que define os algoritmos Base16, Base32 e Base64, e para as codificações padrão de fato Ascii85 e Base85.

As codificações RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html] são adequadas para codificar dados binários para que possam ser enviados com segurança por e-mail, usados como parte de URLs ou incluídos como parte de uma solicitação HTTP POST. O algoritmo de codificação não é o mesmo do programa uuencode.

Existem duas interfaces fornecidas por este módulo. A interface moderna oferece suporte a codificar objetos bytes ou similares para bytes ASCII, e decodificar objetos bytes ou similares ou strings contendo ASCII para bytes. Ambos os alfabetos de base 64 definidos em RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html] (normal e seguro para URL e sistema de arquivos) são suportados.

A interface legada não oferece suporte a decodificação de strings, mas fornece funções para codificação e decodificação de e para objetos arquivo. Ele oferece suporte a apenas o alfabeto padrão Base64 e adiciona novas linhas a cada 76 caracteres conforme RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html]. Note que se você estiver procurando por suporte para RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] você provavelmente vai querer conferir o pacote email.

Alterado na versão 3.3: Strings Unicode exclusivamente ASCII agora são aceitas pelas funções de decodificação da interface moderna.

Alterado na versão 3.4: Quaisquer objetos bytes ou similares agora são aceitos por todas as funções de codificação e decodificação neste módulo. Adicionado suporte a ASCII85/Base85.

A interface moderna oferece:

base64.b64encode(s, altchars=None)

Codifica o objeto bytes ou similar s usando Base64 e retorna o bytes codificado.

Optional altchars must be a bytes-like object of length 2 which specifies an alternative alphabet for the + and / characters. This allows an application to e.g. generate URL or filesystem safe Base64 strings. The default is None, for which the standard Base64 alphabet is used.

May assert or raise a ValueError if the length of altchars is not 2. Raises a TypeError if altchars is not a bytes-like object.

base64.b64decode(s, altchars=None, validate=False)

Decodifica o objeto bytes ou similar ou string ASCII s codificada em Base64 e retorna o bytes decodificado.

Optional altchars must be a bytes-like object or ASCII string of length 2 which specifies the alternative alphabet used instead of the + and / characters.

A binascii.Error exception is raised if s is incorrectly padded.

If validate is False (the default), characters that are neither in the normal base-64 alphabet nor the alternative alphabet are discarded prior to the padding check. If validate is True, these non-alphabet characters in the input result in a binascii.Error.

For more information about the strict base64 check, see binascii.a2b_base64()

May assert or raise a ValueError if the length of altchars is not 2.

base64.standard_b64encode(s)

Encode bytes-like object s using the standard Base64 alphabet and return the encoded bytes.

base64.standard_b64decode(s)

Decode bytes-like object or ASCII string s using the standard Base64 alphabet and return the decoded bytes.

base64.urlsafe_b64encode(s)

Encode bytes-like object s using the URL- and filesystem-safe alphabet, which substitutes - instead of + and _ instead of / in the standard Base64 alphabet, and return the encoded bytes. The result can still contain =.

base64.urlsafe_b64decode(s)

Decode bytes-like object or ASCII string s using the URL- and filesystem-safe alphabet, which substitutes - instead of + and _ instead of / in the standard Base64 alphabet, and return the decoded bytes.

base64.b32encode(s)

Encode the bytes-like object s using Base32 and return the encoded bytes.

base64.b32decode(s, casefold=False, map01=None)

Decode the Base32 encoded bytes-like object or ASCII string s and return the decoded bytes.

casefold opcional é uma flag especificando se um alfabeto minúsculo é aceitável como entrada. Por razões de segurança, o padrão é False.

RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html] allows for optional mapping of the digit 0 (zero) to the letter O (oh), and for optional mapping of the digit 1 (one) to either the letter I (eye) or letter L (el). The optional argument map01 when not None, specifies which letter the digit 1 should be mapped to (when map01 is not None, the digit 0 is always mapped to the letter O). For security purposes the default is None, so that 0 and 1 are not allowed in the input.

A binascii.Error is raised if s is incorrectly padded or if there are non-alphabet characters present in the input.

base64.b32hexencode(s)

Similar to b32encode() but uses the Extended Hex Alphabet, as defined in RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html].

Adicionado na versão 3.10.

base64.b32hexdecode(s, casefold=False)

Similar to b32decode() but uses the Extended Hex Alphabet, as defined in RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html].

This version does not allow the digit 0 (zero) to the letter O (oh) and digit 1 (one) to either the letter I (eye) or letter L (el) mappings, all these characters are included in the Extended Hex Alphabet and are not interchangeable.

Adicionado na versão 3.10.

base64.b16encode(s)

Encode the bytes-like object s using Base16 and return the encoded bytes.

base64.b16decode(s, casefold=False)

Decode the Base16 encoded bytes-like object or ASCII string s and return the decoded bytes.

casefold opcional é uma flag especificando se um alfabeto minúsculo é aceitável como entrada. Por razões de segurança, o padrão é False.

A binascii.Error is raised if s is incorrectly padded or if there are non-alphabet characters present in the input.

base64.a85encode(b, *, foldspaces=False, wrapcol=0, pad=False, adobe=False)

Encode the bytes-like object b using Ascii85 and return the encoded bytes.

foldspaces is an optional flag that uses the special short sequence ‘y’ instead of 4 consecutive spaces (ASCII 0x20) as supported by ‘btoa’. This feature is not supported by the “standard” Ascii85 encoding.

wrapcol controls whether the output should have newline (b'\n') characters added to it. If this is non-zero, each output line will be at most this many characters long, excluding the trailing newline.

pad controls whether the input is padded to a multiple of 4 before encoding. Note that the btoa implementation always pads.

adobe controls whether the encoded byte sequence is framed with <~ and ~>, which is used by the Adobe implementation.

Adicionado na versão 3.4.

base64.a85decode(b, *, foldspaces=False, adobe=False, ignorechars=b' \t\n\r\x0b')

Decode the Ascii85 encoded bytes-like object or ASCII string b and return the decoded bytes.

foldspaces is a flag that specifies whether the ‘y’ short sequence should be accepted as shorthand for 4 consecutive spaces (ASCII 0x20). This feature is not supported by the “standard” Ascii85 encoding.

adobe controla se a entrada está no formato Adobe Ascii85 (ou seja, cercada por <~ e ~>).

ignorechars should be a bytes-like object or ASCII string containing characters to ignore from the input. This should only contain whitespace characters, and by default contains all whitespace characters in ASCII.

Adicionado na versão 3.4.

base64.b85encode(b, pad=False)

Encode the bytes-like object b using base85 (as used in e.g. git-style binary diffs) and return the encoded bytes.

If pad is true, the input is padded with b'\0' so its length is a multiple of 4 bytes before encoding.

Adicionado na versão 3.4.

base64.b85decode(b)

Decode the base85-encoded bytes-like object or ASCII string b and return the decoded bytes. Padding is implicitly removed, if necessary.

Adicionado na versão 3.4.

base64.z85encode(s)

Encode the bytes-like object s using Z85 (as used in ZeroMQ) and return the encoded bytes. See Z85 specification [https://rfc.zeromq.org/spec/32/] for more information.

Adicionado na versão 3.13.

base64.z85decode(s)

Decode the Z85-encoded bytes-like object or ASCII string s and return the decoded bytes. See Z85 specification [https://rfc.zeromq.org/spec/32/] for more information.

Adicionado na versão 3.13.

A interface legada:

base64.decode(input, output)

Decode the contents of the binary input file and write the resulting binary data to the output file. input and output must be file objects. input will be read until input.readline() returns an empty bytes object.

base64.decodebytes(s)

Decode the bytes-like object s, which must contain one or more lines of base64 encoded data, and return the decoded bytes.

Adicionado na versão 3.1.

base64.encode(input, output)

Encode the contents of the binary input file and write the resulting base64 encoded data to the output file. input and output must be file objects. input will be read until input.read() returns an empty bytes object. encode() inserts a newline character (b'\n') after every 76 bytes of the output, as well as ensuring that the output always ends with a newline, as per RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] (MIME).

base64.encodebytes(s)

Encode the bytes-like object s, which can contain arbitrary binary data, and return bytes containing the base64-encoded data, with newlines (b'\n') inserted after every 76 bytes of output, and ensuring that there is a trailing newline, as per RFC 2045 [https://datatracker.ietf.org/doc/html/rfc2045.html] (MIME).

Adicionado na versão 3.1.

Um exemplo de uso do módulo:

>>> import base64
>>> encoded = base64.b64encode(b'data to be encoded')
>>> encoded
b'ZGF0YSB0byBiZSBlbmNvZGVk'
>>> data = base64.b64decode(encoded)
>>> data
b'data to be encoded'

Considerações de Segurança

A new security considerations section was added to RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html] (section 12); it’s recommended to review the security section for any code deployed to production.

Ver também

Módulo binascii

Módulo de suporte contendo conversões ASCII para binário e binário para ASCII.

RFC 1521 [https://datatracker.ietf.org/doc/html/rfc1521.html] - MIME (Multipurpose Internet Mail Extensions) Part One: Mechanisms for Specifying and Describing the Format of Internet Message Bodies

Section 5.2, “Base64 Content-Transfer-Encoding,” provides the definition of the base64 encoding.

binascii — Convert between binary and ASCII

The binascii module contains a number of methods to convert between binary and various ASCII-encoded binary representations. Normally, you will not use these functions directly but use wrapper modules like base64 instead. The binascii module contains low-level functions written in C for greater speed that are used by the higher-level modules.

Nota

a2b_* functions accept Unicode strings containing only ASCII characters. Other functions only accept bytes-like objects (such as bytes, bytearray and other objects that support the buffer protocol).

Alterado na versão 3.3: ASCII-only unicode strings are now accepted by the a2b_* functions.

The binascii module defines the following functions:

binascii.a2b_uu(string)

Convert a single line of uuencoded data back to binary and return the binary data. Lines normally contain 45 (binary) bytes, except for the last line. Line data may be followed by whitespace.

binascii.b2a_uu(data, *, backtick=False)

Convert binary data to a line of ASCII characters, the return value is the converted line, including a newline char. The length of data should be at most 45. If backtick is true, zeros are represented by '`' instead of spaces.

Alterado na versão 3.7: Adicionado o parâmetro backtick.

binascii.a2b_base64(string, /, *, strict_mode=False)

Convert a block of base64 data back to binary and return the binary data. More than one line may be passed at a time.

If strict_mode is true, only valid base64 data will be converted. Invalid base64 data will raise binascii.Error.

Valid base64:

Em conformidade com RFC 3548 [https://datatracker.ietf.org/doc/html/rfc3548.html].

Contains only characters from the base64 alphabet.

Contains no excess data after padding (including excess padding, newlines, etc.).

Does not start with a padding.

Alterado na versão 3.11: Added the strict_mode parameter.

binascii.b2a_base64(data, *, newline=True)

Convert binary data to a line of ASCII characters in base64 coding. The return value is the converted line, including a newline char if newline is true. The output of this function conforms to RFC 3548 [https://datatracker.ietf.org/doc/html/rfc3548.html].

Alterado na versão 3.6: Adicionado o parâmetro newline.

binascii.a2b_qp(data, header=False)

Convert a block of quoted-printable data back to binary and return the binary data. More than one line may be passed at a time. If the optional argument header is present and true, underscores will be decoded as spaces.

binascii.b2a_qp(data, quotetabs=False, istext=True, header=False)

Convert binary data to a line(s) of ASCII characters in quoted-printable encoding. The return value is the converted line(s). If the optional argument quotetabs is present and true, all tabs and spaces will be encoded. If the optional argument istext is present and true, newlines are not encoded but trailing whitespace will be encoded. If the optional argument header is present and true, spaces will be encoded as underscores per RFC 1522 [https://datatracker.ietf.org/doc/html/rfc1522.html]. If the optional argument header is present and false, newline characters will be encoded as well; otherwise linefeed conversion might corrupt the binary data stream.

binascii.crc_hqx(data, value)

Compute a 16-bit CRC value of data, starting with value as the initial CRC, and return the result. This uses the CRC-CCITT polynomial x¹⁶ + x¹² + x⁵ + 1, often represented as 0x1021. This CRC is used in the binhex4 format.

binascii.crc32(data[, value])

Compute CRC-32, the unsigned 32-bit checksum of data, starting with an initial CRC of value. The default initial CRC is zero. The algorithm is consistent with the ZIP file checksum. Since the algorithm is designed for use as a checksum algorithm, it is not suitable for use as a general hash algorithm. Use as follows:

print(binascii.crc32(b"hello world"))
# Or, in two pieces:
crc = binascii.crc32(b"hello")
crc = binascii.crc32(b" world", crc)
print('crc32 = {:#010x}'.format(crc))

Alterado na versão 3.0: O resultado é sempre sem sinal.

binascii.b2a_hex(data[, sep[, bytes_per_sep=1]])

binascii.hexlify(data[, sep[, bytes_per_sep=1]])

Return the hexadecimal representation of the binary data. Every byte of data is converted into the corresponding 2-digit hex representation. The returned bytes object is therefore twice as long as the length of data.

Similar functionality (but returning a text string) is also conveniently accessible using the bytes.hex() method.

If sep is specified, it must be a single character str or bytes object. It will be inserted in the output after every bytes_per_sep input bytes. Separator placement is counted from the right end of the output by default, if you wish to count from the left, supply a negative bytes_per_sep value.

>>> import binascii
>>> binascii.b2a_hex(b'\xb9\x01\xef')
b'b901ef'
>>> binascii.hexlify(b'\xb9\x01\xef', '-')
b'b9-01-ef'
>>> binascii.b2a_hex(b'\xb9\x01\xef', b'_', 2)
b'b9_01ef'
>>> binascii.b2a_hex(b'\xb9\x01\xef', b' ', -2)
b'b901 ef'

Alterado na versão 3.8: The sep and bytes_per_sep parameters were added.

binascii.a2b_hex(hexstr)

binascii.unhexlify(hexstr)

Return the binary data represented by the hexadecimal string hexstr. This function is the inverse of b2a_hex(). hexstr must contain an even number of hexadecimal digits (which can be upper or lower case), otherwise an Error exception is raised.

Similar functionality (accepting only text string arguments, but more liberal towards whitespace) is also accessible using the bytes.fromhex() class method.

exception binascii.Error

Exception raised on errors. These are usually programming errors.

exception binascii.Incomplete

Exception raised on incomplete data. These are usually not programming errors, but may be handled by reading a little more data and trying again.

Ver também

Módulo base64

Support for RFC compliant base64-style encoding in base 16, 32, 64, and 85.

Módulo quopri

Support for quoted-printable encoding used in MIME email messages.

quopri — Codifica e decodifica dados MIME imprimidos entre aspas

Código-fonte: Lib/quopri.py [https://github.com/python/cpython/tree/3.13/Lib/quopri.py]

Este módulo realiza codificação e decodificação de transporte imprimida entre aspas, como definido em RFC 1521 [https://datatracker.ietf.org/doc/html/rfc1521.html]: “MIME (Multipurpose Internet Mail Extensions) Part One: Mechanisms for Specifying and Describing the Format of Internet Message Bodies”. A codificação imprimida entre aspas é projetada para dados em que há relativamente poucos caracteres não imprimíveis; o esquema de codificação base64 disponível através do módulo base64 é mais compacto se existirem muitos desses caracteres, como no envio de um arquivo gráfico.

quopri.decode(input, output, header=False)

Decodifica o conteúdo do arquivo input e escreve os dados binários decodificados resultantes no arquivo output. input e output devem ser objetos arquivos binários. Se o argumento opcional header estiver presente e for true, o sublinhado será decodificado como espaço. Isso é usado para decodificar cabeçalhos codificados em “Q”, conforme descrito em RFC 1522 [https://datatracker.ietf.org/doc/html/rfc1522.html]: “MIME (Multipurpose Internet Mail Extensions) Part Two: Message Header Extensions for Non-ASCII Text”.

quopri.encode(input, output, quotetabs, header=False)

Codifica o conteúdo do arquivo input e grava os dados imprimíveis entre aspas resultantes no arquivo output. input e output devem ser objetos arquivos binários. quotetabs, um sinalizador não opcional que controla a codificação de espaços e tabulações incorporados; quando true, codifica esses espaços em branco incorporados e, quando false, os deixa sem codificação. Observe que os espaços e tabulações que aparecem no final das linhas são sempre codificados, conforme RFC 1521 [https://datatracker.ietf.org/doc/html/rfc1521.html]. header é um sinalizador que controla se os espaços são codificados como sublinhados, conforme RFC 1522 [https://datatracker.ietf.org/doc/html/rfc1522.html].

quopri.decodestring(s, header=False)

Como decode(), exceto pelo fato de aceitar uma fonte bytes e retornar o correspondente decodificado bytes.

quopri.encodestring(s, quotetabs=False, header=False)

Como encode(), exceto pelo fato de aceitar uma fonte bytes e retornar o bytes codificado correspondente. Por padrão, envia um valor False para o parâmetro quotetabs da função encode().

Ver também

Módulo base64

Codifica e decodifica dados de base64 MIME

Ferramentas de Processamento de Markup Estruturado

O Python suporta uma variedade de módulos para trabalhar com vários formatos de marcação de dados estruturados. Isso inclui módulos para trabalhar com o Standard Generalized Markup Language (SGML) e o Hypertext Markup Language (HTML) e várias interfaces para trabalhar com o XML (Extensible Markup Language).

html — Suporte HTML (HyperText Markup Language)

escape()

unescape()

html.parser — Simple HTML and XHTML parser

HTMLParser

Example HTML Parser Application

HTMLParser Methods

feed()

close()

reset()

getpos()

get_starttag_text()

handle_starttag()

handle_endtag()

handle_startendtag()

handle_data()

handle_entityref()

handle_charref()

handle_comment()

handle_decl()

handle_pi()

unknown_decl()

Exemplos

html.entities — Definições de entidades gerais de HTML

html5

entitydefs

name2codepoint

codepoint2name

Módulos de Processamento de XML

Vulnerabilidades em XML

O Pacote defusedxml

xml.etree.ElementTree — A API XML ElementTree

Tutorial

Árvore e elementos XML

Analisando XML

A API de pull para análise sem bloqueio

Encontrando elementos interessantes

Modificando um arquivo XML

Construindo documentos XML

Analisando XML com espaços de nomes

Suporte a XPath

Exemplo

Supported XPath syntax

Referência

Funções

canonicalize()

Comment()

dump()

fromstring()

fromstringlist()

indent()

iselement()

iterparse()

parse()

ProcessingInstruction()

register_namespace()

SubElement()

tostring()

tostringlist()

XML()

XMLID()

XInclude support

Exemplo

Referência

Funções

default_loader()

include()

Element Objects

Element

tag

text

tail

attrib

clear()

get()

items()

keys()

set()

append()

extend()

find()

findall()

findtext()

insert()

iter()

iterfind()

itertext()

makeelement()

remove()

ElementTree Objects

ElementTree

_setroot()

find()

findall()

findtext()

getroot()

iter()

iterfind()

parse()

write()

QName Objects

QName

TreeBuilder Objects

TreeBuilder

close()

data()

end()

start()

comment()

pi()

doctype()

start_ns()

end_ns()

C14NWriterTarget

Objetos XMLParser

XMLParser

close()

feed()

flush()

XMLPullParser Objects

XMLPullParser

feed()

flush()

close()

read_events()

Exceções

ParseError

code

position

xml.dom — The Document Object Model API

Conteúdo do módulo

registerDOMImplementation()

getDOMImplementation()

EMPTY_NAMESPACE

XML_NAMESPACE

XMLNS_NAMESPACE

XHTML_NAMESPACE

Objects in the DOM

DOMImplementation Objects

hasFeature()

createDocument()

createDocumentType()

Objetos Node

nodeType

parentNode

attributes

previousSibling

nextSibling

childNodes

firstChild

lastChild

localName

prefix

namespaceURI

nodeName

nodeValue

hasAttributes()

hasChildNodes()

isSameNode()

appendChild()

insertBefore()

removeChild()

replaceChild()

normalize()

cloneNode()

Objetos NodeList

item()

length

DocumentType Objects

publicId

systemId

internalSubset

name

entities

notations

Document Objects

documentElement

createElement()

createElementNS()

createTextNode()

createComment()

createProcessingInstruction()

createAttribute()

createAttributeNS()

getElementsByTagName()

getElementsByTagNameNS()

Element Objects

tagName

getElementsByTagName()

getElementsByTagNameNS()

hasAttribute()

hasAttributeNS()

getAttribute()

getAttributeNode()

getAttributeNS()

getAttributeNodeNS()

removeAttribute()

removeAttributeNode()

removeAttributeNS()

setAttribute()

setAttributeNode()

setAttributeNodeNS()

setAttributeNS()

Attr Objects

name

localName

prefix

value

NamedNodeMap Objects

length

item()

Comment Objects

data

Text and CDATASection Objects

data

Objetos ProcessingInstruction

target

data

Exceções

DOMException

DomstringSizeErr

HierarchyRequestErr

IndexSizeErr

InuseAttributeErr

InvalidAccessErr

InvalidCharacterErr

InvalidModificationErr

InvalidStateErr

NamespaceErr

NotFoundErr

NotSupportedErr

NoDataAllowedErr

NoModificationAllowedErr

SyntaxErr

WrongDocumentErr

Conformance

Type Mapping

Accessor Methods

xml.dom.minidom — Minimal DOM implementation

parse()

parseString()

Objetos DOM

unlink()

writexml()

toxml()

toprettyxml()

DOM Example

minidom e o padrão DOM

xml.dom.pulldom — Support for building partial DOM trees

PullDom

SAX2DOM

parse()

parseString()

default_bufsize

Objetos DOMEventStream

DOMEventStream

getEvent()

expandNode()

reset()

xml.sax — Support for SAX2 parsers

make_parser()

parse()

parseString()

SAXException

SAXParseException

SAXNotRecognizedException

SAXNotSupportedException

SAXException Objects

getMessage()

getException()

xml.sax.handler — Base classes for SAX handlers

ContentHandler

DTDHandler

EntityResolver

ErrorHandler

LexicalHandler

feature_namespaces

feature_namespace_prefixes

feature_string_interning

feature_validation

feature_external_ges

feature_external_pes

all_features

property_lexical_handler

property_declaration_handler

property_dom_node

property_xml_string

all_properties

ContentHandler Objects

setDocumentLocator()

startDocument()

endDocument()

startPrefixMapping()

endPrefixMapping()

startElement()

endElement()

startElementNS()

endElementNS()

characters()

ignorableWhitespace()

processingInstruction()

skippedEntity()

DTDHandler Objects

notationDecl()

unparsedEntityDecl()

EntityResolver Objects

resolveEntity()

ErrorHandler Objects

error()

fatalError()

warning()

LexicalHandler Objects

comment()

startDTD()

endDTD()

startCDATA()

endCDATA()

xml.sax.saxutils — SAX Utilities

escape()

unescape()

quoteattr()

XMLGenerator

XMLFilterBase

prepare_input_source()

xml.sax.xmlreader — Interface for XML parsers

XMLReader

IncrementalParser

Locator

InputSource

AttributesImpl

AttributesNSImpl

XMLReader Objects

parse()

getContentHandler()

setContentHandler()

getDTDHandler()

setDTDHandler()

getEntityResolver()

setEntityResolver()

getErrorHandler()

setErrorHandler()

setLocale()

getFeature()

setFeature()

getProperty()

setProperty()

IncrementalParser Objects

feed()

close()

reset()

Locator Objects

getColumnNumber()

getLineNumber()

getPublicId()

getSystemId()

InputSource Objects

setPublicId()

getPublicId()

setSystemId()

getSystemId()

setEncoding()

getEncoding()

setByteStream()

getByteStream()

setCharacterStream()

getCharacterStream()

The Attributes Interface

getLength()

getNames()

getType()

getValue()

The AttributesNS Interface

getValueByQName()

getNameByQName()

getQNameByName()

getQNames()

xml.parsers.expat — Fast XML parsing using Expat

ExpatError

error

XMLParserType

ErrorString()

ParserCreate()

Objetos XMLParser

Parse()

ParseFile()

SetBase()

GetBase()

GetInputContext()

ExternalEntityParserCreate()

SetParamEntityParsing()

UseForeignDTD()

SetReparseDeferralEnabled()

GetReparseDeferralEnabled()

buffer_size

buffer_text

buffer_used

ordered_attributes

specified_attributes

ErrorByteIndex

ErrorCode

ErrorColumnNumber

ErrorLineNumber

CurrentByteIndex

CurrentColumnNumber

CurrentLineNumber

XmlDeclHandler()

StartDoctypeDeclHandler()

EndDoctypeDeclHandler()

ElementDeclHandler()

AttlistDeclHandler()

StartElementHandler()

EndElementHandler()

ProcessingInstructionHandler()

CharacterDataHandler()

UnparsedEntityDeclHandler()

EntityDeclHandler()

NotationDeclHandler()

StartNamespaceDeclHandler()

EndNamespaceDeclHandler()

CommentHandler()

StartCdataSectionHandler()

EndCdataSectionHandler()

DefaultHandler()

DefaultHandlerExpand()

NotStandaloneHandler()

ExternalEntityRefHandler()

Exceções ExpatError

code

lineno

offset

Exemplo

Content Model Descriptions

Expat error constants

codes

messages

XML_ERROR_ASYNC_ENTITY

XML_ERROR_ATTRIBUTE_EXTERNAL_ENTITY_REF

XML_ERROR_BAD_CHAR_REF

XML_ERROR_BINARY_ENTITY_REF

XML_ERROR_DUPLICATE_ATTRIBUTE

XML_ERROR_INCORRECT_ENCODING

XML_ERROR_INVALID_TOKEN

XML_ERROR_JUNK_AFTER_DOC_ELEMENT

XML_ERROR_MISPLACED_XML_PI

XML_ERROR_NO_ELEMENTS

XML_ERROR_NO_MEMORY

XML_ERROR_PARAM_ENTITY_REF

XML_ERROR_PARTIAL_CHAR

XML_ERROR_RECURSIVE_ENTITY_REF

XML_ERROR_SYNTAX

XML_ERROR_TAG_MISMATCH

XML_ERROR_UNCLOSED_TOKEN

XML_ERROR_UNDEFINED_ENTITY

XML_ERROR_UNKNOWN_ENCODING

XML_ERROR_UNCLOSED_CDATA_SECTION

XML_ERROR_EXTERNAL_ENTITY_HANDLING

XML_ERROR_NOT_STANDALONE

XML_ERROR_UNEXPECTED_STATE

XML_ERROR_ENTITY_DECLARED_IN_PE

XML_ERROR_FEATURE_REQUIRES_XML_DTD

XML_ERROR_CANT_CHANGE_FEATURE_ONCE_PARSING

XML_ERROR_UNBOUND_PREFIX

XML_ERROR_UNDECLARING_PREFIX

XML_ERROR_INCOMPLETE_PE

XML_ERROR_XML_DECL

XML_ERROR_TEXT_DECL

XML_ERROR_PUBLICID

XML_ERROR_SUSPENDED

XML_ERROR_NOT_SUSPENDED

XML_ERROR_ABORTED

XML_ERROR_FINISHED

XML_ERROR_SUSPEND_PE

XML_ERROR_RESERVED_PREFIX_XML

XML_ERROR_RESERVED_PREFIX_XMLNS

XML_ERROR_RESERVED_NAMESPACE_URI

XML_ERROR_INVALID_ARGUMENT

XML_ERROR_NO_BUFFER

XML_ERROR_AMPLIFICATION_LIMIT_BREACH

html — Suporte HTML (HyperText Markup Language)

Código-fonte: Lib/html/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/html/__init__.py]

Este módulo define utilitários para manipular HTML.

html.escape(s, quote=True)

Converte os caracteres &, < e > na string s para sequências seguras em HTML. Use se necessitar mostrar texto que possa conter estes caracteres no HTML. Se o flag opcional quote é true, os caracteres (") e (') também são convertidos; isso auxilia na inclusão de valores delimitados por aspas num atributo HTML, como em <a href="...">.

Adicionado na versão 3.2.

html.unescape(s)

Converte todas as referências de caracteres numéricos e nomeados (ex. &gt;, &#62;, &#x3e;) na string s para caracteres Unicode correspondentes. Essa função usa as regras definidas pelo padrão HTML 5 para referências de caracteres, sejam válidas ou inválidas, e a lista de referência de caracteres nomeados do HTML 5.

Adicionado na versão 3.4.

Sub módulos no pacote html são:

html.parser – analisador HTML/XHTML com modo de análise branda

html.entities – definições das entidade HTML

html.parser — Simple HTML and XHTML parser

Código-fonte: Lib/html/parser.py [https://github.com/python/cpython/tree/3.13/Lib/html/parser.py]

This module defines a class HTMLParser which serves as the basis for parsing text files formatted in HTML (HyperText Mark-up Language) and XHTML.

class html.parser.HTMLParser(*, convert_charrefs=True)

Create a parser instance able to parse invalid markup.

If convert_charrefs is True (the default), all character references (except the ones in script/style elements) are automatically converted to the corresponding Unicode characters.

An HTMLParser instance is fed HTML data and calls handler methods when start tags, end tags, text, comments, and other markup elements are encountered. The user should subclass HTMLParser and override its methods to implement the desired behavior.

This parser does not check that end tags match start tags or call the end-tag handler for elements which are closed implicitly by closing an outer element.

Alterado na versão 3.4: convert_charrefs keyword argument added.

Alterado na versão 3.5: The default value for argument convert_charrefs is now True.

Example HTML Parser Application

As a basic example, below is a simple HTML parser that uses the HTMLParser class to print out start tags, end tags, and data as they are encountered:

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Encountered a start tag:", tag)

    def handle_endtag(self, tag):
        print("Encountered an end tag :", tag)

    def handle_data(self, data):
        print("Encountered some data  :", data)

parser = MyHTMLParser()
parser.feed('<html><head><title>Test</title></head>'
            '<body><h1>Parse me!</h1></body></html>')

The output will then be:

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h1
Encountered some data  : Parse me!
Encountered an end tag : h1
Encountered an end tag : body
Encountered an end tag : html

HTMLParser Methods

HTMLParser instances have the following methods:

HTMLParser.feed(data)

Feed some text to the parser. It is processed insofar as it consists of complete elements; incomplete data is buffered until more data is fed or close() is called. data must be str.

HTMLParser.close()

Force processing of all buffered data as if it were followed by an end-of-file mark. This method may be redefined by a derived class to define additional processing at the end of the input, but the redefined version should always call the HTMLParser base class method close().

HTMLParser.reset()

Reset the instance. Loses all unprocessed data. This is called implicitly at instantiation time.

HTMLParser.getpos()

Return current line number and offset.

HTMLParser.get_starttag_text()

Return the text of the most recently opened start tag. This should not normally be needed for structured processing, but may be useful in dealing with HTML “as deployed” or for re-generating input with minimal changes (whitespace between attributes can be preserved, etc.).

The following methods are called when data or markup elements are encountered and they are meant to be overridden in a subclass. The base class implementations do nothing (except for handle_startendtag()):

HTMLParser.handle_starttag(tag, attrs)

This method is called to handle the start tag of an element (e.g. <div id="main">).

The tag argument is the name of the tag converted to lower case. The attrs argument is a list of (name, value) pairs containing the attributes found inside the tag’s <> brackets. The name will be translated to lower case, and quotes in the value have been removed, and character and entity references have been replaced.

For instance, for the tag <A HREF="https://www.cwi.nl/">, this method would be called as handle_starttag('a', [('href', 'https://www.cwi.nl/')]).

All entity references from html.entities are replaced in the attribute values.

HTMLParser.handle_endtag(tag)

This method is called to handle the end tag of an element (e.g. </div>).

The tag argument is the name of the tag converted to lower case.

HTMLParser.handle_startendtag(tag, attrs)

Similar to handle_starttag(), but called when the parser encounters an XHTML-style empty tag (<img ... />). This method may be overridden by subclasses which require this particular lexical information; the default implementation simply calls handle_starttag() and handle_endtag().

HTMLParser.handle_data(data)

This method is called to process arbitrary data (e.g. text nodes and the content of <script>...</script> and <style>...</style>).

HTMLParser.handle_entityref(name)

This method is called to process a named character reference of the form &name; (e.g. &gt;), where name is a general entity reference (e.g. 'gt'). This method is never called if convert_charrefs is True.

HTMLParser.handle_charref(name)

This method is called to process decimal and hexadecimal numeric character references of the form &#NNN; and &#xNNN;. For example, the decimal equivalent for &gt; is &#62;, whereas the hexadecimal is &#x3E;; in this case the method will receive '62' or 'x3E'. This method is never called if convert_charrefs is True.

HTMLParser.handle_comment(data)

This method is called when a comment is encountered (e.g. <!--comment-->).

For example, the comment <!-- comment --> will cause this method to be called with the argument ' comment '.

The content of Internet Explorer conditional comments (condcoms) will also be sent to this method, so, for <!--[if IE 9]>IE9-specific content<![endif]-->, this method will receive '[if IE 9]>IE9-specific content<![endif]'.

HTMLParser.handle_decl(decl)

This method is called to handle an HTML doctype declaration (e.g. <!DOCTYPE html>).

The decl parameter will be the entire contents of the declaration inside the <!...> markup (e.g. 'DOCTYPE html').

HTMLParser.handle_pi(data)

Method called when a processing instruction is encountered. The data parameter will contain the entire processing instruction. For example, for the processing instruction <?proc color='red'>, this method would be called as handle_pi("proc color='red'"). It is intended to be overridden by a derived class; the base class implementation does nothing.

Nota

The HTMLParser class uses the SGML syntactic rules for processing instructions. An XHTML processing instruction using the trailing '?' will cause the '?' to be included in data.

HTMLParser.unknown_decl(data)

This method is called when an unrecognized declaration is read by the parser.

The data parameter will be the entire contents of the declaration inside the <![...]> markup. It is sometimes useful to be overridden by a derived class. The base class implementation does nothing.

Exemplos

The following class implements a parser that will be used to illustrate more examples:

from html.parser import HTMLParser
from html.entities import name2codepoint

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Start tag:", tag)
        for attr in attrs:
            print("     attr:", attr)

    def handle_endtag(self, tag):
        print("End tag  :", tag)

    def handle_data(self, data):
        print("Data     :", data)

    def handle_comment(self, data):
        print("Comment  :", data)

    def handle_entityref(self, name):
        c = chr(name2codepoint[name])
        print("Named ent:", c)

    def handle_charref(self, name):
        if name.startswith('x'):
            c = chr(int(name[1:], 16))
        else:
            c = chr(int(name))
        print("Num ent  :", c)

    def handle_decl(self, data):
        print("Decl     :", data)

parser = MyHTMLParser()

Parsing a doctype:

>>> parser.feed('<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" '
...             '"http://www.w3.org/TR/html4/strict.dtd">')
Decl     : DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"

Parsing an element with a few attributes and a title:

>>> parser.feed('<img src="python-logo.png" alt="The Python logo">')
Start tag: img
     attr: ('src', 'python-logo.png')
     attr: ('alt', 'The Python logo')
>>>
>>> parser.feed('<h1>Python</h1>')
Start tag: h1
Data     : Python
End tag  : h1

The content of script and style elements is returned as is, without further parsing:

>>> parser.feed('<style type="text/css">#python { color: green }</style>')
Start tag: style
     attr: ('type', 'text/css')
Data     : #python { color: green }
End tag  : style

>>> parser.feed('<script type="text/javascript">'
...             'alert("<strong>hello!</strong>");</script>')
Start tag: script
     attr: ('type', 'text/javascript')
Data     : alert("<strong>hello!</strong>");
End tag  : script

Parsing comments:

>>> parser.feed('<!-- a comment -->'
...             '<!--[if IE 9]>IE-specific content<![endif]-->')
Comment  :  a comment
Comment  : [if IE 9]>IE-specific content<![endif]

Parsing named and numeric character references and converting them to the correct char (note: these 3 references are all equivalent to '>'):

>>> parser.feed('&gt;&#62;&#x3E;')
Named ent: >
Num ent  : >
Num ent  : >

Feeding incomplete chunks to feed() works, but handle_data() might be called more than once (unless convert_charrefs is set to True):

>>> for chunk in ['<sp', 'an>buff', 'ered ', 'text</s', 'pan>']:
...     parser.feed(chunk)
...
Start tag: span
Data     : buff
Data     : ered
Data     : text
End tag  : span

Parsing invalid HTML (e.g. unquoted attributes) also works:

>>> parser.feed('<p><a class=link href=#main>tag soup</p ></a>')
Start tag: p
Start tag: a
     attr: ('class', 'link')
     attr: ('href', '#main')
Data     : tag soup
End tag  : p
End tag  : a

html.entities — Definições de entidades gerais de HTML

Código-fonte: Lib/html/entities.py [https://github.com/python/cpython/tree/3.13/Lib/html/entities.py]

Esse módulo define quatro dicionários, html5, name2codepoint, codepoint2name e entitydefs.

html.entities.html5

Um dicionário que mapeia referências de caracteres nomeados em HTML5 [1] para os caracteres Unicode equivalentes, por exemplo, html5['gt;'] == '>'. Note que o caractere de ponto e vírgula final está incluído no nome (por exemplo, 'gt;'), entretanto alguns dos nomes são aceitos pelo padrão mesmo sem o ponto e vírgula: neste caso o nome está presente com e sem o ';'. Veja também html.unescape().

Adicionado na versão 3.3.

html.entities.entitydefs

Um dicionário que mapeia as definições de entidade XHTML 1.0 para seu texto substituto em ISO Latin-1.

html.entities.name2codepoint

Um dicionário que mapeia nomes de entidades HTML4 para os pontos de código Unicode.

html.entities.codepoint2name

Um dicionário que mapeia pontos de código Unicode para nomes de entidades HTML4.

Notas de rodapé

[1]

Veja https://html.spec.whatwg.org/multipage/named-characters.html#named-character-references

Módulos de Processamento de XML

Código-fonte: Lib/xml/ [https://github.com/python/cpython/tree/3.13/Lib/xml/]

As interfaces do Python para processar XML estão agrupadas no pacote xml.

Aviso

Os módulos XML não são seguros contra dados errôneos ou maliciosamente construídos. Se você precisa analisar dados não confiáveis ou não autenticados, consulte as seções Vulnerabilidades em XML e O Pacote defusedxml.

É importante observar que os módulos no pacote xml exigem que está disponível pelo menos um analisador sintático XML compatível com SAX. O analisador sintático Expat está incluído no Python, então o módulo xml.parsers.expat estará sempre disponível.

A documentação para os pacotes xml.dom e xml.sax são a definição das ligações Python para as interfaces DOM e SAX.

Os submódulos de manipulação XML são:

xml.etree.ElementTree: a API de ElementTree, um processador XML simples e leve

xml.dom: a definição da API de DOM

xml.dom.minidom: uma implementação mínima do DOM

suporte para construir árvores parciais de DOM no xml.dom.pulldom

xml.sax: Classe base SAX2 e funções de conveniência

xml.parsers.expat: a ligação do analisador sintático Expat

Vulnerabilidades em XML

Os módulos de processamento XML não são seguros contra dados maliciosamente construídos. Um atacante pode abusar dos recursos XML para realizar ataques de negação de serviço, acessar arquivos locais, gerar conexões de rede com outras máquinas ou contornar firewalls.

A tabela a seguir fornece uma visão geral dos ataques conhecidos e se os vários módulos são vulneráveis a eles.

tipo

sax

etree

minidom

pulldom

xmlrpc

billion laughs

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

quadratic blowup

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

Vulnerável (1)

external entity expansion

Seguro (5)

Seguro (2)

Seguro (3)

Seguro (5)

Seguro (4)

DTD [https://en.wikipedia.org/wiki/Document_type_definition] retrieval

Seguro (5)

Seguro

Seguro

Seguro (5)

Seguro

decompression bomb

Seguro

Seguro

Seguro

Seguro

Vulnerável

large tokens

Vulnerável (6)

Vulnerável (6)

Vulnerável (6)

Vulnerável (6)

Vulnerável (6)

Expat 2.4.1 e versões mais recentes não são vulneráveis às vulnerabilidades “billion laughs” e “quadratic blowup”. Itens ainda listados como vulneráveis devido à possível dependência de bibliotecas fornecidas pelo sistema. Verifique pyexpat.EXPAT_VERSION.

xml.etree.ElementTree não expande entidades externas e levanta um ParseError quando ocorre uma entidade.

xml.dom.minidom não expande entidades externas e simplesmente retorna a entidade não expandida literalmente.

xmlrpc.client não expande entidades externas e as omite.

Desde o Python 3.7.1, entidades gerais externas não são mais processadas por padrão.

Expat 2.6.0 e mais recente não é vulnerável a negação de serviço através de tempo de execução quadrático causado pela análise de tokens grandes. Itens ainda listados como vulneráveis devido à possível dependência de bibliotecas fornecidas pelo sistema. Verifique pyexpat.EXPAT_VERSION.

billion laughs / exponential entity expansion

O ataque Billion Laughs [https://en.wikipedia.org/wiki/Billion_laughs] (bilhões de risadas, em uma tradução livre) - também conhecido como “exponential entity expansion” (expansão exponencial de entidades, em uma tradução livre) - usa vários níveis de entidades aninhadas. Cada entidade se refere a outra entidade várias vezes, e a definição final da entidade contém uma pequena string. A expansão exponencial resulta em vários gigabytes de texto e consome muita memória e tempo de CPU.

quadratic blowup entity expansion

Um ataque “quadratic blowup” (explosão quadrática, em uma tradução livre) português) é semelhante a um ataque Billion Laughs [https://en.wikipedia.org/wiki/Billion_laughs]; ele abusa da expansão de entidades também. Em vez de entidades aninhadas, ele repete uma grande entidade com alguns milhares de caracteres repetidamente. O ataque não é tão eficiente quanto o caso exponencial, mas evita acionar contramedidas do analisador sintático que proíbem entidades profundamente aninhadas.

external entity expansion

Declarações de entidade podem conter mais do que apenas texto para substituição. Elas também podem apontar para recursos externos ou arquivos locais. O analisador sintático XML acessa o recurso e incorpora o conteúdo no documento XML.

DTD [https://en.wikipedia.org/wiki/Document_type_definition] retrieval

Algumas bibliotecas XML, como a xml.dom.pulldom do Python, recuperam definições de tipo de documento de locais remotos ou locais. O recurso tem implicações semelhantes ao problema de expansão de entidade externa.

decompression bomb

“Bombas de descompressão” em uma tradução livre. Também conhecidas como ZIP bomb [https://en.wikipedia.org/wiki/Zip_bomb], se aplicam a todas as bibliotecas XML que podem analisar fluxos XML comprimidos, como fluxos de HTTP compactados com gzip ou arquivos comprimidos com LZMA. Para um atacante, isso pode reduzir a quantidade de dados transmitidos em três magnitudes ou mais.

large tokens

Expat precisa analisar novamente os símbolos não finalizados; sem a proteção introduzida no Expat 2.6.0, isso pode levar a um tempo de execução quadrático que pode ser usado para causar negação de serviço na aplicação ao analisar XML. O problema é conhecido como CVE 2023-52425 [https://www.cve.org/CVERecord?id=CVE-2023-52425].

A documentação para defusedxml [https://pypi.org/project/defusedxml/] no PyPI tem mais informações sobre todos os vetores de ataque conhecidos, com exemplos e referências.

O Pacote defusedxml

defusedxml [https://pypi.org/project/defusedxml/] é um pacote Python puro com subcláusulas modificadas de todos os analisadores sintáticos XML da biblioteca padrão que impedem qualquer operação potencialmente maliciosa. O uso deste pacote é recomendado para qualquer código de servidor que analise dados XML não confiáveis. O pacote também inclui exemplos de explorações e documentação estendida sobre mais explorações XML, como injeção de XPath.

xml.etree.ElementTree — A API XML ElementTree

Código-fonte: Lib/xml/etree/ElementTree.py [https://github.com/python/cpython/tree/3.13/Lib/xml/etree/ElementTree.py]

O módulo xml.etree.ElementTree implementa uma API simples e eficiente para análise e criação de dados XML.

Alterado na versão 3.3: Este módulo usará uma implementação rápida sempre que disponível.

Obsoleto desde a versão 3.3: O módulo xml.etree.cElementTree foi descontinuado.

Aviso

O módulo xml.etree.cElementTree não é seguro contra dados maliciosamente construídos. Se você precisa analisar dados não-confiáveis ou não-autenticados seja Vulnerabilidades em XML.

Tutorial

Esse é um tutorial curto para usar xml.etree.ElementTree (ET na versão resumida). O objetivo é demonstrar alguns conceitos básicos e trechos de códigos do módulo.

Árvore e elementos XML

XML é um formato de dados estritamente hierárquico, e a maneira mais natural de representá-lo é como uma árvore. ET possui duas classes para esse propósito - ElementTree representa todo o documento XML como uma árvore e Element representa um único nó desta árvore. Interações com o documento inteiro (ler e escrever de/para arquivos) são frequentemente feitos em nível de ElementTree. Interações com um único elemento XML e seus subelementos são feitos a nível de Element .

Analisando XML

Usaremos o documento XML fictício country_data.xml como dados de amostra para esta seção:

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank>1</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank>4</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
    <country name="Panama">
        <rank>68</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>

Nós podemos importar esses dados lendo de um arquivo:

import xml.etree.ElementTree as ET
tree = ET.parse('country_data.xml')
root = tree.getroot()

Ou diretamente de uma string:

root = ET.fromstring(country_data_as_string)

fromstring() obtém o XML de uma string e armazena em um Element, que será o elemento raiz dessa árvore. Outras funções de análise sintática podem criar um ElementTree. Cheque a documentação para se certificar sobre qual dado será retornado.

Assim como um Element, root tem uma tag e um dicionário de atributos:

>>> root.tag
'data'
>>> root.attrib
{}

Ele também tem nós filhos sobre os quais nós podemos iterar:

>>> for child in root:
...     print(child.tag, child.attrib)
...
country {'name': 'Liechtenstein'}
country {'name': 'Singapore'}
country {'name': 'Panama'}

Nós filhos são os mais próximos, e nós podemos acessar nós específicos por índices:

>>> root[0][1].text
'2008'

Nota

Nem todos os elementos da entrada XML acabarão como elementos da árvore analisada. Atualmente, este módulo ignora quaisquer comentários XML, instruções de processamento e declarações de tipo de documento na entrada. No entanto, árvores construídas usando a API deste módulo, em vez de serem analisadas a partir de texto XML, podem conter comentários e instruções de processamento; eles serão incluídos ao gerar a saída XML. Uma declaração de tipo de documento pode ser acessada passando uma instância personalizada TreeBuilder para o construtor XMLParser.

A API de pull para análise sem bloqueio

A maioria das funções de análise fornecidas por este módulo exigem que todo o documento seja lido de uma só vez antes de retornar qualquer resultado. É possível usar um XMLParser e alimentar dados nele de forma incremental, mas é uma API de push que chama métodos em um destino da função de retorno, o que é de muito baixo nível e inconveniente para a maioria das necessidades. Às vezes, o que o usuário realmente deseja é ser capaz de analisar XML de forma incremental, sem operações bloqueantes, enquanto desfruta da conveniência de objetos Element totalmente construídos.

A ferramenta mais poderosa para fazer isso é XMLPullParser. Ela não requer uma leitura bloqueante para obter os dados XML e, em vez disso, é alimentada com dados de forma incremental com chamadas de XMLPullParser.feed(). Para obter os elementos XML analisados, chame XMLPullParser.read_events(). Aqui está um exemplo:

>>> parser = ET.XMLPullParser(['start', 'end'])
>>> parser.feed('<mytag>sometext')
>>> list(parser.read_events())
[('start', <Element 'mytag' at 0x7fa66db2be58>)]
>>> parser.feed(' more text</mytag>')
>>> for event, elem in parser.read_events():
...     print(event)
...     print(elem.tag, 'text=', elem.text)
...
end
mytag text= sometext more text

O caso de uso óbvio são aplicações que operam sem bloqueio, onde os dados XML são recebidos de um soquete ou lidos de forma incremental de algum dispositivo de armazenamento. Nesses casos, leituras bloqueantes são inaceitáveis.

Por ser tão flexível, XMLPullParser pode ser inconveniente de usar em casos de uso mais simples. Se você não se importa que sua aplicação bloqueie a leitura de dados XML, mas ainda assim gostaria de ter recursos de análise incremental, dê uma olhada em iterparse(). Pode ser útil quando você está lendo um documento XML grande e não deseja mantê-lo totalmente na memória.

Onde o feedback imediato através de eventos é desejado, chamar o método XMLPullParser.flush() pode ajudar a reduzir o atraso; certifique-se de estudar as notas de segurança relacionadas.

Encontrando elementos interessantes

Element possui alguns métodos úteis que ajudam a iterar recursivamente sobre toda a subárvore abaixo dele (seus filhos, seus filhos e assim por diante). Por exemplo, Element.iter():

>>> for neighbor in root.iter('neighbor'):
...     print(neighbor.attrib)
...
{'name': 'Austria', 'direction': 'E'}
{'name': 'Switzerland', 'direction': 'W'}
{'name': 'Malaysia', 'direction': 'N'}
{'name': 'Costa Rica', 'direction': 'W'}
{'name': 'Colombia', 'direction': 'E'}

Element.findall() encontra apenas elementos com uma tag que são filhos diretos do elemento atual. Element.find() encontra o primeiro filho com uma tag específica, e Element.text acessa o conteúdo de texto do elemento. Element.get() acessa os atributos do elemento:

>>> for country in root.findall('country'):
...     rank = country.find('rank').text
...     name = country.get('name')
...     print(name, rank)
...
Liechtenstein 1
Singapore 4
Panama 68

Uma especificação mais sofisticada de quais elementos procurar é possível usando XPath.

Modificando um arquivo XML

ElementTree fornece uma maneira simples de construir documentos XML e escrevê-los em arquivos. O método ElementTree.write() serve para esse propósito.

Uma vez criado, um objeto Element pode ser manipulado alterando diretamente seus campos (como Element.text), adicionando e modificando atributos (método Element.set()), bem como como adicionar novos filhos (por exemplo, com Element.append()).

Digamos que queremos adicionar um à classificação de cada país e adicionar um atributo updated ao elemento de classificação:

>>> for rank in root.iter('rank'):
...     new_rank = int(rank.text) + 1
...     rank.text = str(new_rank)
...     rank.set('updated', 'yes')
...
>>> tree.write('output.xml')

Nosso XML agora se parece com isto:

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank updated="yes">2</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank updated="yes">5</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
    <country name="Panama">
        <rank updated="yes">69</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>

Podemos remover elementos usando Element.remove(). Digamos que queremos remover todos os países com classificação superior a 50:

>>> for country in root.findall('country'):
...     # using root.findall() to avoid removal during traversal
...     rank = int(country.find('rank').text)
...     if rank > 50:
...         root.remove(country)
...
>>> tree.write('output.xml')

Observe que a modificação simultânea durante a iteração pode levar a problemas, assim como ao iterar e modificar listas ou dicionários do Python. Portanto, o exemplo primeiro coleta todos os elementos correspondentes com root.findall(), e só então itera sobre a lista de correspondências.

Nosso XML agora se parece com isto:

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank updated="yes">2</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank updated="yes">5</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
</data>

Construindo documentos XML

A função SubElement() também fornece uma maneira conveniente de criar novos subelementos para um determinado elemento:

>>> a = ET.Element('a')
>>> b = ET.SubElement(a, 'b')
>>> c = ET.SubElement(a, 'c')
>>> d = ET.SubElement(c, 'd')
>>> ET.dump(a)
<a><b /><c><d /></c></a>

Analisando XML com espaços de nomes

Se a entrada XML tiver espaços de nomes [https://en.wikipedia.org/wiki/XML_namespace], tags e atributos com prefixos no formato prefixo:algumatag serão expandidos para {uri}algumatag onde prefixo é substituído pelo URI completo. Além disso, se houver um espaço de nomes padrão [https://www.w3.org/TR/xml-names/#defaulting], esse URI completo será anexado a todas as tags não prefixadas.

Aqui está um exemplo XML que incorpora dois espaços de nomes, um com o prefixo “fictional” e outro servindo como espaço de nomes padrão:

<?xml version="1.0"?>
<actors xmlns:fictional="http://characters.example.com"
        xmlns="http://people.example.com">
    <actor>
        <name>John Cleese</name>
        <fictional:character>Lancelot</fictional:character>
        <fictional:character>Archie Leach</fictional:character>
    </actor>
    <actor>
        <name>Eric Idle</name>
        <fictional:character>Sir Robin</fictional:character>
        <fictional:character>Gunther</fictional:character>
        <fictional:character>Commander Clement</fictional:character>
    </actor>
</actors>

Uma maneira de pesquisar e explorar este exemplo XML é adicionar manualmente o URI a cada tag ou atributo no xpath de um find() ou findall():

root = fromstring(xml_text)
for actor in root.findall('{http://people.example.com}actor'):
    name = actor.find('{http://people.example.com}name')
    print(name.text)
    for char in actor.findall('{http://characters.example.com}character'):
        print(' |-->', char.text)

A melhor maneira de pesquisar o exemplo XML com espaço de nomes é criar um dicionário com seus próprios prefixos e usá-los nas funções de pesquisa:

ns = {'real_person': 'http://people.example.com',
      'role': 'http://characters.example.com'}

for actor in root.findall('real_person:actor', ns):
    name = actor.find('real_person:name', ns)
    print(name.text)
    for char in actor.findall('role:character', ns):
        print(' |-->', char.text)

Essas duas abordagens resultam no seguinte:

John Cleese
 |--> Lancelot
 |--> Archie Leach
Eric Idle
 |--> Sir Robin
 |--> Gunther
 |--> Commander Clement

Suporte a XPath

Este módulo fornece suporte limitado para expressões XPath [https://www.w3.org/TR/xpath] para localizar elementos em uma árvore. O objetivo é oferecer suporte a um pequeno subconjunto da sintaxe abreviada; um mecanismo XPath completo está fora do escopo do módulo.

Exemplo

Aqui está um exemplo que demonstra alguns dos recursos XPath do módulo. Estaremos usando o documento XML countrydata da seção Analisando XML:

import xml.etree.ElementTree as ET

root = ET.fromstring(countrydata)

# Top-level elements
root.findall(".")

# All 'neighbor' grand-children of 'country' children of the top-level
# elements
root.findall("./country/neighbor")

# Nodes with name='Singapore' that have a 'year' child
root.findall(".//year/..[@name='Singapore']")

# 'year' nodes that are children of nodes with name='Singapore'
root.findall(".//*[@name='Singapore']/year")

# All 'neighbor' nodes that are the second child of their parent
root.findall(".//neighbor[2]")

Para XML com espaços de nomes, use a notação qualificada usual {espaço-de-nomes}tag:

# All dublin-core "title" tags in the document
root.findall(".//{http://purl.org/dc/elements/1.1/}title")

Supported XPath syntax

Sintaxe

Significado

tag

Selects all child elements with the given tag. For example, spam selects all child elements named spam, and spam/egg selects all grandchildren named egg in all children named spam. {namespace}* selects all tags in the given namespace, {*}spam selects tags named spam in any (or no) namespace, and {}* only selects tags that are not in a namespace.

Alterado na versão 3.8: Support for star-wildcards was added.

*

Selects all child elements, including comments and processing instructions. For example, */egg selects all grandchildren named egg.

.

Selects the current node. This is mostly useful at the beginning of the path, to indicate that it’s a relative path.

//

Selects all subelements, on all levels beneath the current element. For example, .//egg selects all egg elements in the entire tree.

..

Selects the parent element. Returns None if the path attempts to reach the ancestors of the start element (the element find was called on).

[@attrib]

Selects all elements that have the given attribute.

[@attrib='value']

Selects all elements for which the given attribute has the given value. The value cannot contain quotes.

[@attrib!='value']

Selects all elements for which the given attribute does not have the given value. The value cannot contain quotes.

Adicionado na versão 3.10.

[tag]

Selects all elements that have a child named tag. Only immediate children are supported.

[.='text']

Selects all elements whose complete text content, including descendants, equals the given text.

Adicionado na versão 3.7.

[.!='text']

Selects all elements whose complete text content, including descendants, does not equal the given text.

Adicionado na versão 3.10.

[tag='text']

Selects all elements that have a child named tag whose complete text content, including descendants, equals the given text.

[tag!='text']

Selects all elements that have a child named tag whose complete text content, including descendants, does not equal the given text.

Adicionado na versão 3.10.

[position]

Selects all elements that are located at the given position. The position can be either an integer (1 is the first position), the expression last() (for the last position), or a position relative to the last position (e.g. last()-1).

Predicates (expressions within square brackets) must be preceded by a tag name, an asterisk, or another predicate. position predicates must be preceded by a tag name.

Referência

Funções

xml.etree.ElementTree.canonicalize(xml_data=None, *, out=None, from_file=None, **options)

C14N 2.0 [https://www.w3.org/TR/xml-c14n2/] transformation function.

Canonicalization is a way to normalise XML output in a way that allows byte-by-byte comparisons and digital signatures. It reduces the freedom that XML serializers have and instead generates a more constrained XML representation. The main restrictions regard the placement of namespace declarations, the ordering of attributes, and ignorable whitespace.

This function takes an XML data string (xml_data) or a file path or file-like object (from_file) as input, converts it to the canonical form, and writes it out using the out file(-like) object, if provided, or returns it as a text string if not. The output file receives text, not bytes. It should therefore be opened in text mode with utf-8 encoding.

Typical uses:

xml_data = "<root>...</root>"
print(canonicalize(xml_data))

with open("c14n_output.xml", mode='w', encoding='utf-8') as out_file:
    canonicalize(xml_data, out=out_file)

with open("c14n_output.xml", mode='w', encoding='utf-8') as out_file:
    canonicalize(from_file="inputfile.xml", out=out_file)

The configuration options are as follows:

with_comments: set to true to include comments (default: false)

strip_text: set to true to strip whitespace before and after text content

(default: false)

rewrite_prefixes: set to true to replace namespace prefixes by “n{number}”

(default: false)

qname_aware_tags: a set of qname aware tag names in which prefixes

should be replaced in text content (default: empty)

qname_aware_attrs: a set of qname aware attribute names in which prefixes

should be replaced in text content (default: empty)

exclude_attrs: a set of attribute names that should not be serialised

exclude_tags: a set of tag names that should not be serialised

In the option list above, “a set” refers to any collection or iterable of strings, no ordering is expected.

Adicionado na versão 3.8.

xml.etree.ElementTree.Comment(text=None)

Comment element factory. This factory function creates a special element that will be serialized as an XML comment by the standard serializer. The comment string can be either a bytestring or a Unicode string. text is a string containing the comment string. Returns an element instance representing a comment.

Note that XMLParser skips over comments in the input instead of creating comment objects for them. An ElementTree will only contain comment nodes if they have been inserted into to the tree using one of the Element methods.

xml.etree.ElementTree.dump(elem)

Writes an element tree or element structure to sys.stdout. This function should be used for debugging only.

The exact output format is implementation dependent. In this version, it’s written as an ordinary XML file.

elem is an element tree or an individual element.

Alterado na versão 3.8: The dump() function now preserves the attribute order specified by the user.

xml.etree.ElementTree.fromstring(text, parser=None)

Parses an XML section from a string constant. Same as XML(). text is a string containing XML data. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns an Element instance.

xml.etree.ElementTree.fromstringlist(sequence, parser=None)

Parses an XML document from a sequence of string fragments. sequence is a list or other sequence containing XML data fragments. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns an Element instance.

Adicionado na versão 3.2.

xml.etree.ElementTree.indent(tree, space='  ', level=0)

Appends whitespace to the subtree to indent the tree visually. This can be used to generate pretty-printed XML output. tree can be an Element or ElementTree. space is the whitespace string that will be inserted for each indentation level, two space characters by default. For indenting partial subtrees inside of an already indented tree, pass the initial indentation level as level.

Adicionado na versão 3.9.

xml.etree.ElementTree.iselement(element)

Check if an object appears to be a valid element object. element is an element instance. Return True if this is an element object.

xml.etree.ElementTree.iterparse(source, events=None, parser=None)

Parses an XML section into an element tree incrementally, and reports what’s going on to the user. source is a filename or file object containing XML data. events is a sequence of events to report back. The supported events are the strings "start", "end", "comment", "pi", "start-ns" and "end-ns" (the “ns” events are used to get detailed namespace information). If events is omitted, only "end" events are reported. parser is an optional parser instance. If not given, the standard XMLParser parser is used. parser must be a subclass of XMLParser and can only use the default TreeBuilder as a target. Returns an iterator providing (event, elem) pairs; it has a root attribute that references the root element of the resulting XML tree once source is fully read. The iterator has the close() method that closes the internal file object if source is a filename.

Note that while iterparse() builds the tree incrementally, it issues blocking reads on source (or the file it names). As such, it’s unsuitable for applications where blocking reads can’t be made. For fully non-blocking parsing, see XMLPullParser.

Nota

iterparse() only guarantees that it has seen the “>” character of a starting tag when it emits a “start” event, so the attributes are defined, but the contents of the text and tail attributes are undefined at that point. The same applies to the element children; they may or may not be present.

If you need a fully populated element, look for “end” events instead.

Obsoleto desde a versão 3.4: The parser argument.

Alterado na versão 3.8: The comment and pi events were added.

Alterado na versão 3.13: Added the close() method.

xml.etree.ElementTree.parse(source, parser=None)

Parses an XML section into an element tree. source is a filename or file object containing XML data. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns an ElementTree instance.

xml.etree.ElementTree.ProcessingInstruction(target, text=None)

PI element factory. This factory function creates a special element that will be serialized as an XML processing instruction. target is a string containing the PI target. text is a string containing the PI contents, if given. Returns an element instance, representing a processing instruction.

Note that XMLParser skips over processing instructions in the input instead of creating PI objects for them. An ElementTree will only contain processing instruction nodes if they have been inserted into to the tree using one of the Element methods.

xml.etree.ElementTree.register_namespace(prefix, uri)

Registers a namespace prefix. The registry is global, and any existing mapping for either the given prefix or the namespace URI will be removed. prefix is a namespace prefix. uri is a namespace uri. Tags and attributes in this namespace will be serialized with the given prefix, if at all possible.

Adicionado na versão 3.2.

xml.etree.ElementTree.SubElement(parent, tag, attrib={}, **extra)

Subelement factory. This function creates an element instance, and appends it to an existing element.

The element name, attribute names, and attribute values can be either bytestrings or Unicode strings. parent is the parent element. tag is the subelement name. attrib is an optional dictionary, containing element attributes. extra contains additional attributes, given as keyword arguments. Returns an element instance.

xml.etree.ElementTree.tostring(element, encoding='us-ascii', method='xml', *, xml_declaration=None, default_namespace=None, short_empty_elements=True)

Generates a string representation of an XML element, including all subelements. element is an Element instance. encoding [1] is the output encoding (default is US-ASCII). Use encoding="unicode" to generate a Unicode string (otherwise, a bytestring is generated). method is either "xml", "html" or "text" (default is "xml"). xml_declaration, default_namespace and short_empty_elements has the same meaning as in ElementTree.write(). Returns an (optionally) encoded string containing the XML data.

Alterado na versão 3.4: Added the short_empty_elements parameter.

Alterado na versão 3.8: Added the xml_declaration and default_namespace parameters.

Alterado na versão 3.8: The tostring() function now preserves the attribute order specified by the user.

xml.etree.ElementTree.tostringlist(element, encoding='us-ascii', method='xml', *, xml_declaration=None, default_namespace=None, short_empty_elements=True)

Generates a string representation of an XML element, including all subelements. element is an Element instance. encoding [1] is the output encoding (default is US-ASCII). Use encoding="unicode" to generate a Unicode string (otherwise, a bytestring is generated). method is either "xml", "html" or "text" (default is "xml"). xml_declaration, default_namespace and short_empty_elements has the same meaning as in ElementTree.write(). Returns a list of (optionally) encoded strings containing the XML data. It does not guarantee any specific sequence, except that b"".join(tostringlist(element)) == tostring(element).

Adicionado na versão 3.2.

Alterado na versão 3.4: Added the short_empty_elements parameter.

Alterado na versão 3.8: Added the xml_declaration and default_namespace parameters.

Alterado na versão 3.8: The tostringlist() function now preserves the attribute order specified by the user.

xml.etree.ElementTree.XML(text, parser=None)

Parses an XML section from a string constant. This function can be used to embed “XML literals” in Python code. text is a string containing XML data. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns an Element instance.

xml.etree.ElementTree.XMLID(text, parser=None)

Parses an XML section from a string constant, and also returns a dictionary which maps from element id:s to elements. text is a string containing XML data. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns a tuple containing an Element instance and a dictionary.

XInclude support

This module provides limited support for XInclude directives [https://www.w3.org/TR/xinclude/], via the xml.etree.ElementInclude helper module. This module can be used to insert subtrees and text strings into element trees, based on information in the tree.

Exemplo

Here’s an example that demonstrates use of the XInclude module. To include an XML document in the current document, use the {http://www.w3.org/2001/XInclude}include element and set the parse attribute to "xml", and use the href attribute to specify the document to include.

<?xml version="1.0"?>
<document xmlns:xi="http://www.w3.org/2001/XInclude">
  <xi:include href="source.xml" parse="xml" />
</document>

By default, the href attribute is treated as a file name. You can use custom loaders to override this behaviour. Also note that the standard helper does not support XPointer syntax.

To process this file, load it as usual, and pass the root element to the xml.etree.ElementTree module:

from xml.etree import ElementTree, ElementInclude

tree = ElementTree.parse("document.xml")
root = tree.getroot()

ElementInclude.include(root)

The ElementInclude module replaces the {http://www.w3.org/2001/XInclude}include element with the root element from the source.xml document. The result might look something like this:

<document xmlns:xi="http://www.w3.org/2001/XInclude">
  <para>This is a paragraph.</para>
</document>

If the parse attribute is omitted, it defaults to “xml”. The href attribute is required.

To include a text document, use the {http://www.w3.org/2001/XInclude}include element, and set the parse attribute to “text”:

<?xml version="1.0"?>
<document xmlns:xi="http://www.w3.org/2001/XInclude">
  Copyright (c) <xi:include href="year.txt" parse="text" />.
</document>

The result might look something like:

<document xmlns:xi="http://www.w3.org/2001/XInclude">
  Copyright (c) 2003.
</document>

Referência

Funções

xml.etree.ElementInclude.default_loader(href, parse, encoding=None)

Default loader. This default loader reads an included resource from disk. href is a URL. parse is for parse mode either “xml” or “text”. encoding is an optional text encoding. If not given, encoding is utf-8. Returns the expanded resource. If the parse mode is "xml", this is an Element instance. If the parse mode is "text", this is a string. If the loader fails, it can return None or raise an exception.

xml.etree.ElementInclude.include(elem, loader=None, base_url=None, max_depth=6)

This function expands XInclude directives in-place in tree pointed by elem. elem is either the root Element or an ElementTree instance to find such element. loader is an optional resource loader. If omitted, it defaults to default_loader(). If given, it should be a callable that implements the same interface as default_loader(). base_url is base URL of the original file, to resolve relative include file references. max_depth is the maximum number of recursive inclusions. Limited to reduce the risk of malicious content explosion. Pass None to disable the limitation.

Alterado na versão 3.9: Added the base_url and max_depth parameters.

Element Objects

class xml.etree.ElementTree.Element(tag, attrib={}, **extra)

Element class. This class defines the Element interface, and provides a reference implementation of this interface.

The element name, attribute names, and attribute values can be either bytestrings or Unicode strings. tag is the element name. attrib is an optional dictionary, containing element attributes. extra contains additional attributes, given as keyword arguments.

tag

A string identifying what kind of data this element represents (the element type, in other words).

text

tail

These attributes can be used to hold additional data associated with the element. Their values are usually strings but may be any application-specific object. If the element is created from an XML file, the text attribute holds either the text between the element’s start tag and its first child or end tag, or None, and the tail attribute holds either the text between the element’s end tag and the next tag, or None. For the XML data

<a><b>1<c>2<d/>3</c></b>4</a>

the a element has None for both text and tail attributes, the b element has text "1" and tail "4", the c element has text "2" and tail None, and the d element has text None and tail "3".

To collect the inner text of an element, see itertext(), for example "".join(element.itertext()).

Applications may store arbitrary objects in these attributes.

attrib

A dictionary containing the element’s attributes. Note that while the attrib value is always a real mutable Python dictionary, an ElementTree implementation may choose to use another internal representation, and create the dictionary only if someone asks for it. To take advantage of such implementations, use the dictionary methods below whenever possible.

The following dictionary-like methods work on the element attributes.

clear()

Resets an element. This function removes all subelements, clears all attributes, and sets the text and tail attributes to None.

get(key, default=None)

Gets the element attribute named key.

Returns the attribute value, or default if the attribute was not found.

items()

Returns the element attributes as a sequence of (name, value) pairs. The attributes are returned in an arbitrary order.

keys()

Returns the elements attribute names as a list. The names are returned in an arbitrary order.

set(key, value)

Set the attribute key on the element to value.

The following methods work on the element’s children (subelements).

append(subelement)

Adds the element subelement to the end of this element’s internal list of subelements. Raises TypeError if subelement is not an Element.

extend(subelements)

Appends subelements from an iterable of elements. Raises TypeError if a subelement is not an Element.

Adicionado na versão 3.2.

find(match, namespaces=None)

Finds the first subelement matching match. match may be a tag name or a path. Returns an element instance or None. namespaces is an optional mapping from namespace prefix to full name. Pass '' as prefix to move all unprefixed tag names in the expression into the given namespace.

findall(match, namespaces=None)

Finds all matching subelements, by tag name or path. Returns a list containing all matching elements in document order. namespaces is an optional mapping from namespace prefix to full name. Pass '' as prefix to move all unprefixed tag names in the expression into the given namespace.

findtext(match, default=None, namespaces=None)

Finds text for the first subelement matching match. match may be a tag name or a path. Returns the text content of the first matching element, or default if no element was found. Note that if the matching element has no text content an empty string is returned. namespaces is an optional mapping from namespace prefix to full name. Pass '' as prefix to move all unprefixed tag names in the expression into the given namespace.

insert(index, subelement)

Inserts subelement at the given position in this element. Raises TypeError if subelement is not an Element.

iter(tag=None)

Creates a tree iterator with the current element as the root. The iterator iterates over this element and all elements below it, in document (depth first) order. If tag is not None or '*', only elements whose tag equals tag are returned from the iterator. If the tree structure is modified during iteration, the result is undefined.

Adicionado na versão 3.2.

iterfind(match, namespaces=None)

Finds all matching subelements, by tag name or path. Returns an iterable yielding all matching elements in document order. namespaces is an optional mapping from namespace prefix to full name.

Adicionado na versão 3.2.

itertext()

Creates a text iterator. The iterator loops over this element and all subelements, in document order, and returns all inner text.

Adicionado na versão 3.2.

makeelement(tag, attrib)

Creates a new element object of the same type as this element. Do not call this method, use the SubElement() factory function instead.

remove(subelement)

Removes subelement from the element. Unlike the find* methods this method compares elements based on the instance identity, not on tag value or contents.

Element objects also support the following sequence type methods for working with subelements: __delitem__(), __getitem__(), __setitem__(), __len__().

Caution: Elements with no subelements will test as False. In a future release of Python, all elements will test as True regardless of whether subelements exist. Instead, prefer explicit len(elem) or elem is not None tests.:

element = root.find('foo')

if not element:  # careful!
    print("element not found, or element has no subelements")

if element is None:
    print("element not found")

Alterado na versão 3.12: Testing the truth value of an Element emits DeprecationWarning.

Prior to Python 3.8, the serialisation order of the XML attributes of elements was artificially made predictable by sorting the attributes by their name. Based on the now guaranteed ordering of dicts, this arbitrary reordering was removed in Python 3.8 to preserve the order in which attributes were originally parsed or created by user code.

In general, user code should try not to depend on a specific ordering of attributes, given that the XML Information Set [https://www.w3.org/TR/xml-infoset/] explicitly excludes the attribute order from conveying information. Code should be prepared to deal with any ordering on input. In cases where deterministic XML output is required, e.g. for cryptographic signing or test data sets, canonical serialisation is available with the canonicalize() function.

In cases where canonical output is not applicable but a specific attribute order is still desirable on output, code should aim for creating the attributes directly in the desired order, to avoid perceptual mismatches for readers of the code. In cases where this is difficult to achieve, a recipe like the following can be applied prior to serialisation to enforce an order independently from the Element creation:

def reorder_attributes(root):
    for el in root.iter():
        attrib = el.attrib
        if len(attrib) > 1:
            # adjust attribute order, e.g. by sorting
            attribs = sorted(attrib.items())
            attrib.clear()
            attrib.update(attribs)

ElementTree Objects

class xml.etree.ElementTree.ElementTree(element=None, file=None)

ElementTree wrapper class. This class represents an entire element hierarchy, and adds some extra support for serialization to and from standard XML.

element is the root element. The tree is initialized with the contents of the XML file if given.

_setroot(element)

Replaces the root element for this tree. This discards the current contents of the tree, and replaces it with the given element. Use with care. element is an element instance.

find(match, namespaces=None)

Same as Element.find(), starting at the root of the tree.

findall(match, namespaces=None)

Same as Element.findall(), starting at the root of the tree.

findtext(match, default=None, namespaces=None)

Same as Element.findtext(), starting at the root of the tree.

getroot()

Returns the root element for this tree.

iter(tag=None)

Creates and returns a tree iterator for the root element. The iterator loops over all elements in this tree, in section order. tag is the tag to look for (default is to return all elements).

iterfind(match, namespaces=None)

Same as Element.iterfind(), starting at the root of the tree.

Adicionado na versão 3.2.

parse(source, parser=None)

Loads an external XML section into this element tree. source is a file name or file object. parser is an optional parser instance. If not given, the standard XMLParser parser is used. Returns the section root element.

write(file, encoding='us-ascii', xml_declaration=None, default_namespace=None, method='xml', *, short_empty_elements=True)

Writes the element tree to a file, as XML. file is a file name, or a file object opened for writing. encoding [1] is the output encoding (default is US-ASCII). xml_declaration controls if an XML declaration should be added to the file. Use False for never, True for always, None for only if not US-ASCII or UTF-8 or Unicode (default is None). default_namespace sets the default XML namespace (for “xmlns”). method is either "xml", "html" or "text" (default is "xml"). The keyword-only short_empty_elements parameter controls the formatting of elements that contain no content. If True (the default), they are emitted as a single self-closed tag, otherwise they are emitted as a pair of start/end tags.

The output is either a string (str) or binary (bytes). This is controlled by the encoding argument. If encoding is "unicode", the output is a string; otherwise, it’s binary. Note that this may conflict with the type of file if it’s an open file object; make sure you do not try to write a string to a binary stream and vice versa.

Alterado na versão 3.4: Added the short_empty_elements parameter.

Alterado na versão 3.8: The write() method now preserves the attribute order specified by the user.

This is the XML file that is going to be manipulated:

<html>
    <head>
        <title>Example page</title>
    </head>
    <body>
        <p>Moved to <a href="http://example.org/">example.org</a>
        or <a href="http://example.com/">example.com</a>.</p>
    </body>
</html>

Example of changing the attribute “target” of every link in first paragraph:

>>> from xml.etree.ElementTree import ElementTree
>>> tree = ElementTree()
>>> tree.parse("index.xhtml")
<Element 'html' at 0xb77e6fac>
>>> p = tree.find("body/p")     # Finds first occurrence of tag p in body
>>> p
<Element 'p' at 0xb77ec26c>
>>> links = list(p.iter("a"))   # Returns list of all links
>>> links
[<Element 'a' at 0xb77ec2ac>, <Element 'a' at 0xb77ec1cc>]
>>> for i in links:             # Iterates through all found links
...     i.attrib["target"] = "blank"
...
>>> tree.write("output.xhtml")

QName Objects

class xml.etree.ElementTree.QName(text_or_uri, tag=None)

QName wrapper. This can be used to wrap a QName attribute value, in order to get proper namespace handling on output. text_or_uri is a string containing the QName value, in the form {uri}local, or, if the tag argument is given, the URI part of a QName. If tag is given, the first argument is interpreted as a URI, and this argument is interpreted as a local name. QName instances are opaque.

TreeBuilder Objects

class xml.etree.ElementTree.TreeBuilder(element_factory=None, *, comment_factory=None, pi_factory=None, insert_comments=False, insert_pis=False)

Generic element structure builder. This builder converts a sequence of start, data, end, comment and pi method calls to a well-formed element structure. You can use this class to build an element structure using a custom XML parser, or a parser for some other XML-like format.

element_factory, when given, must be a callable accepting two positional arguments: a tag and a dict of attributes. It is expected to return a new element instance.

The comment_factory and pi_factory functions, when given, should behave like the Comment() and ProcessingInstruction() functions to create comments and processing instructions. When not given, the default factories will be used. When insert_comments and/or insert_pis is true, comments/pis will be inserted into the tree if they appear within the root element (but not outside of it).

close()

Flushes the builder buffers, and returns the toplevel document element. Returns an Element instance.

data(data)

Adds text to the current element. data is a string. This should be either a bytestring, or a Unicode string.

end(tag)

Closes the current element. tag is the element name. Returns the closed element.

start(tag, attrs)

Opens a new element. tag is the element name. attrs is a dictionary containing element attributes. Returns the opened element.

comment(text)

Creates a comment with the given text. If insert_comments is true, this will also add it to the tree.

Adicionado na versão 3.8.

pi(target, text)

Creates a process instruction with the given target name and text. If insert_pis is true, this will also add it to the tree.

Adicionado na versão 3.8.

In addition, a custom TreeBuilder object can provide the following methods:

doctype(name, pubid, system)

Handles a doctype declaration. name is the doctype name. pubid is the public identifier. system is the system identifier. This method does not exist on the default TreeBuilder class.

Adicionado na versão 3.2.

start_ns(prefix, uri)

Is called whenever the parser encounters a new namespace declaration, before the start() callback for the opening element that defines it. prefix is '' for the default namespace and the declared namespace prefix name otherwise. uri is the namespace URI.

Adicionado na versão 3.8.

end_ns(prefix)

Is called after the end() callback of an element that declared a namespace prefix mapping, with the name of the prefix that went out of scope.

Adicionado na versão 3.8.

class xml.etree.ElementTree.C14NWriterTarget(write, *, with_comments=False, strip_text=False, rewrite_prefixes=False, qname_aware_tags=None, qname_aware_attrs=None, exclude_attrs=None, exclude_tags=None)

A C14N 2.0 [https://www.w3.org/TR/xml-c14n2/] writer. Arguments are the same as for the canonicalize() function. This class does not build a tree but translates the callback events directly into a serialised form using the write function.

Adicionado na versão 3.8.

Objetos XMLParser

class xml.etree.ElementTree.XMLParser(*, target=None, encoding=None)

This class is the low-level building block of the module. It uses xml.parsers.expat for efficient, event-based parsing of XML. It can be fed XML data incrementally with the feed() method, and parsing events are translated to a push API - by invoking callbacks on the target object. If target is omitted, the standard TreeBuilder is used. If encoding [1] is given, the value overrides the encoding specified in the XML file.

Alterado na versão 3.8: Parameters are now keyword-only. The html argument is no longer supported.

close()

Finishes feeding data to the parser. Returns the result of calling the close() method of the target passed during construction; by default, this is the toplevel document element.

feed(data)

Feeds data to the parser. data is encoded data.

flush()

Triggers parsing of any previously fed unparsed data, which can be used to ensure more immediate feedback, in particular with Expat >=2.6.0. The implementation of flush() temporarily disables reparse deferral with Expat (if currently enabled) and triggers a reparse. Disabling reparse deferral has security consequences; please see xml.parsers.expat.xmlparser.SetReparseDeferralEnabled() for details.

Note that flush() has been backported to some prior releases of CPython as a security fix. Check for availability of flush() using hasattr() if used in code running across a variety of Python versions.

Adicionado na versão 3.13.

XMLParser.feed() calls target's start(tag, attrs_dict) method for each opening tag, its end(tag) method for each closing tag, and data is processed by method data(data). For further supported callback methods, see the TreeBuilder class. XMLParser.close() calls target's method close(). XMLParser can be used not only for building a tree structure. This is an example of counting the maximum depth of an XML file:

>>> from xml.etree.ElementTree import XMLParser
>>> class MaxDepth:                     # The target object of the parser
...     maxDepth = 0
...     depth = 0
...     def start(self, tag, attrib):   # Called for each opening tag.
...         self.depth += 1
...         if self.depth > self.maxDepth:
...             self.maxDepth = self.depth
...     def end(self, tag):             # Called for each closing tag.
...         self.depth -= 1
...     def data(self, data):
...         pass            # We do not need to do anything with data.
...     def close(self):    # Called when all data has been parsed.
...         return self.maxDepth
...
>>> target = MaxDepth()
>>> parser = XMLParser(target=target)
>>> exampleXml = """
... <a>
...   <b>
...   </b>
...   <b>
...     <c>
...       <d>
...       </d>
...     </c>
...   </b>
... </a>"""
>>> parser.feed(exampleXml)
>>> parser.close()
4

XMLPullParser Objects

class xml.etree.ElementTree.XMLPullParser(events=None)

A pull parser suitable for non-blocking applications. Its input-side API is similar to that of XMLParser, but instead of pushing calls to a callback target, XMLPullParser collects an internal list of parsing events and lets the user read from it. events is a sequence of events to report back. The supported events are the strings "start", "end", "comment", "pi", "start-ns" and "end-ns" (the “ns” events are used to get detailed namespace information). If events is omitted, only "end" events are reported.

feed(data)

Feed the given bytes data to the parser.

flush()

Triggers parsing of any previously fed unparsed data, which can be used to ensure more immediate feedback, in particular with Expat >=2.6.0. The implementation of flush() temporarily disables reparse deferral with Expat (if currently enabled) and triggers a reparse. Disabling reparse deferral has security consequences; please see xml.parsers.expat.xmlparser.SetReparseDeferralEnabled() for details.

Note that flush() has been backported to some prior releases of CPython as a security fix. Check for availability of flush() using hasattr() if used in code running across a variety of Python versions.

Adicionado na versão 3.13.

close()

Signal the parser that the data stream is terminated. Unlike XMLParser.close(), this method always returns None. Any events not yet retrieved when the parser is closed can still be read with read_events().

read_events()

Return an iterator over the events which have been encountered in the data fed to the parser. The iterator yields (event, elem) pairs, where event is a string representing the type of event (e.g. "end") and elem is the encountered Element object, or other context value as follows.

start, end: the current Element.

comment, pi: the current comment / processing instruction

start-ns: a tuple (prefix, uri) naming the declared namespace mapping.

end-ns: None (this may change in a future version)

Events provided in a previous call to read_events() will not be yielded again. Events are consumed from the internal queue only when they are retrieved from the iterator, so multiple readers iterating in parallel over iterators obtained from read_events() will have unpredictable results.

Nota

XMLPullParser only guarantees that it has seen the “>” character of a starting tag when it emits a “start” event, so the attributes are defined, but the contents of the text and tail attributes are undefined at that point. The same applies to the element children; they may or may not be present.

If you need a fully populated element, look for “end” events instead.

Adicionado na versão 3.4.

Alterado na versão 3.8: The comment and pi events were added.

Exceções

class xml.etree.ElementTree.ParseError

XML parse error, raised by the various parsing methods in this module when parsing fails. The string representation of an instance of this exception will contain a user-friendly error message. In addition, it will have the following attributes available:

code

A numeric error code from the expat parser. See the documentation of xml.parsers.expat for the list of error codes and their meanings.

position

A tuple of line, column numbers, specifying where the error occurred.

Notas de rodapé

[1] (1,2,3,4)

The encoding string included in XML output should conform to the appropriate standards. For example, “UTF-8” is valid, but “UTF8” is not. See https://www.w3.org/TR/2006/REC-xml11-20060816/#NT-EncodingDecl and https://www.iana.org/assignments/character-sets/character-sets.xhtml.

xml.dom — The Document Object Model API

Código-fonte: Lib/xml/dom/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/xml/dom/__init__.py]

The Document Object Model, or “DOM,” is a cross-language API from the World Wide Web Consortium (W3C) for accessing and modifying XML documents. A DOM implementation presents an XML document as a tree structure, or allows client code to build such a structure from scratch. It then gives access to the structure through a set of objects which provided well-known interfaces.

The DOM is extremely useful for random-access applications. SAX only allows you a view of one bit of the document at a time. If you are looking at one SAX element, you have no access to another. If you are looking at a text node, you have no access to a containing element. When you write a SAX application, you need to keep track of your program’s position in the document somewhere in your own code. SAX does not do it for you. Also, if you need to look ahead in the XML document, you are just out of luck.

Some applications are simply impossible in an event driven model with no access to a tree. Of course you could build some sort of tree yourself in SAX events, but the DOM allows you to avoid writing that code. The DOM is a standard tree representation for XML data.

The Document Object Model is being defined by the W3C in stages, or “levels” in their terminology. The Python mapping of the API is substantially based on the DOM Level 2 recommendation.

DOM applications typically start by parsing some XML into a DOM. How this is accomplished is not covered at all by DOM Level 1, and Level 2 provides only limited improvements: There is a DOMImplementation object class which provides access to Document creation methods, but no way to access an XML reader/parser/Document builder in an implementation-independent way. There is also no well-defined way to access these methods without an existing Document object. In Python, each DOM implementation will provide a function getDOMImplementation(). DOM Level 3 adds a Load/Store specification, which defines an interface to the reader, but this is not yet available in the Python standard library.

Once you have a DOM document object, you can access the parts of your XML document through its properties and methods. These properties are defined in the DOM specification; this portion of the reference manual describes the interpretation of the specification in Python.

The specification provided by the W3C defines the DOM API for Java, ECMAScript, and OMG IDL. The Python mapping defined here is based in large part on the IDL version of the specification, but strict compliance is not required (though implementations are free to support the strict mapping from IDL). See section Conformance for a detailed discussion of mapping requirements.

Ver também

Document Object Model (DOM) Level 2 Specification [https://www.w3.org/TR/2000/REC-DOM-Level-2-Core-20001113/]

The W3C recommendation upon which the Python DOM API is based.

Document Object Model (DOM) Level 1 Specification [https://www.w3.org/TR/REC-DOM-Level-1/]

The W3C recommendation for the DOM supported by xml.dom.minidom.

Python Language Mapping Specification [https://www.omg.org/spec/PYTH/1.2/PDF]

This specifies the mapping from OMG IDL to Python.

Conteúdo do módulo

The xml.dom contains the following functions:

xml.dom.registerDOMImplementation(name, factory)

Register the factory function with the name name. The factory function should return an object which implements the DOMImplementation interface. The factory function can return the same object every time, or a new one for each call, as appropriate for the specific implementation (e.g. if that implementation supports some customization).

xml.dom.getDOMImplementation(name=None, features=())

Return a suitable DOM implementation. The name is either well-known, the module name of a DOM implementation, or None. If it is not None, imports the corresponding module and returns a DOMImplementation object if the import succeeds. If no name is given, and if the environment variable PYTHON_DOM is set, this variable is used to find the implementation.

If name is not given, this examines the available implementations to find one with the required feature set. If no implementation can be found, raise an ImportError. The features list must be a sequence of (feature, version) pairs which are passed to the hasFeature() method on available DOMImplementation objects.

Some convenience constants are also provided:

xml.dom.EMPTY_NAMESPACE

The value used to indicate that no namespace is associated with a node in the DOM. This is typically found as the namespaceURI of a node, or used as the namespaceURI parameter to a namespaces-specific method.

xml.dom.XML_NAMESPACE

The namespace URI associated with the reserved prefix xml, as defined by Namespaces in XML [https://www.w3.org/TR/REC-xml-names/] (section 4).

xml.dom.XMLNS_NAMESPACE

The namespace URI for namespace declarations, as defined by Document Object Model (DOM) Level 2 Core Specification [https://www.w3.org/TR/DOM-Level-2-Core/core.html] (section 1.1.8).

xml.dom.XHTML_NAMESPACE

The URI of the XHTML namespace as defined by XHTML 1.0: The Extensible HyperText Markup Language [https://www.w3.org/TR/xhtml1/] (section 3.1.1).

In addition, xml.dom contains a base Node class and the DOM exception classes. The Node class provided by this module does not implement any of the methods or attributes defined by the DOM specification; concrete DOM implementations must provide those. The Node class provided as part of this module does provide the constants used for the nodeType attribute on concrete Node objects; they are located within the class rather than at the module level to conform with the DOM specifications.

Objects in the DOM

The definitive documentation for the DOM is the DOM specification from the W3C.

Note that DOM attributes may also be manipulated as nodes instead of as simple strings. It is fairly rare that you must do this, however, so this usage is not yet documented.

Interface

Seção

Propósito

DOMImplementation

DOMImplementation Objects

Interface to the underlying implementation.

Node

Objetos Node

Base interface for most objects in a document.

NodeList

Objetos NodeList

Interface for a sequence of nodes.

DocumentType

DocumentType Objects

Information about the declarations needed to process a document.

Document

Document Objects

Object which represents an entire document.

Element

Element Objects

Element nodes in the document hierarchy.

Attr

Attr Objects

Attribute value nodes on element nodes.

Comment

Comment Objects

Representation of comments in the source document.

Text

Text and CDATASection Objects

Nodes containing textual content from the document.

ProcessingInstruction

Objetos ProcessingInstruction

Processing instruction representation.

An additional section describes the exceptions defined for working with the DOM in Python.

DOMImplementation Objects

The DOMImplementation interface provides a way for applications to determine the availability of particular features in the DOM they are using. DOM Level 2 added the ability to create new Document and DocumentType objects using the DOMImplementation as well.

DOMImplementation.hasFeature(feature, version)

Return True if the feature identified by the pair of strings feature and version is implemented.

DOMImplementation.createDocument(namespaceUri, qualifiedName, doctype)

Return a new Document object (the root of the DOM), with a child Element object having the given namespaceUri and qualifiedName. The doctype must be a DocumentType object created by createDocumentType(), or None. In the Python DOM API, the first two arguments can also be None in order to indicate that no Element child is to be created.

DOMImplementation.createDocumentType(qualifiedName, publicId, systemId)

Return a new DocumentType object that encapsulates the given qualifiedName, publicId, and systemId strings, representing the information contained in an XML document type declaration.

Objetos Node

All of the components of an XML document are subclasses of Node.

Node.nodeType

An integer representing the node type. Symbolic constants for the types are on the Node object: ELEMENT_NODE, ATTRIBUTE_NODE, TEXT_NODE, CDATA_SECTION_NODE, ENTITY_NODE, PROCESSING_INSTRUCTION_NODE, COMMENT_NODE, DOCUMENT_NODE, DOCUMENT_TYPE_NODE, NOTATION_NODE. This is a read-only attribute.

Node.parentNode

The parent of the current node, or None for the document node. The value is always a Node object or None. For Element nodes, this will be the parent element, except for the root element, in which case it will be the Document object. For Attr nodes, this is always None. This is a read-only attribute.

Node.attributes

A NamedNodeMap of attribute objects. Only elements have actual values for this; others provide None for this attribute. This is a read-only attribute.

Node.previousSibling

The node that immediately precedes this one with the same parent. For instance the element with an end-tag that comes just before the self element’s start-tag. Of course, XML documents are made up of more than just elements so the previous sibling could be text, a comment, or something else. If this node is the first child of the parent, this attribute will be None. This is a read-only attribute.

Node.nextSibling

The node that immediately follows this one with the same parent. See also previousSibling. If this is the last child of the parent, this attribute will be None. This is a read-only attribute.

Node.childNodes

A list of nodes contained within this node. This is a read-only attribute.

Node.firstChild

The first child of the node, if there are any, or None. This is a read-only attribute.

Node.lastChild

The last child of the node, if there are any, or None. This is a read-only attribute.

Node.localName

The part of the tagName following the colon if there is one, else the entire tagName. The value is a string.

Node.prefix

The part of the tagName preceding the colon if there is one, else the empty string. The value is a string, or None.

Node.namespaceURI

The namespace associated with the element name. This will be a string or None. This is a read-only attribute.

Node.nodeName

This has a different meaning for each node type; see the DOM specification for details. You can always get the information you would get here from another property such as the tagName property for elements or the name property for attributes. For all node types, the value of this attribute will be either a string or None. This is a read-only attribute.

Node.nodeValue

This has a different meaning for each node type; see the DOM specification for details. The situation is similar to that with nodeName. The value is a string or None.

Node.hasAttributes()

Return True if the node has any attributes.

Node.hasChildNodes()

Return True if the node has any child nodes.

Node.isSameNode(other)

Return True if other refers to the same node as this node. This is especially useful for DOM implementations which use any sort of proxy architecture (because more than one object can refer to the same node).

Nota

This is based on a proposed DOM Level 3 API which is still in the “working draft” stage, but this particular interface appears uncontroversial. Changes from the W3C will not necessarily affect this method in the Python DOM interface (though any new W3C API for this would also be supported).

Node.appendChild(newChild)

Add a new child node to this node at the end of the list of children, returning newChild. If the node was already in the tree, it is removed first.

Node.insertBefore(newChild, refChild)

Insert a new child node before an existing child. It must be the case that refChild is a child of this node; if not, ValueError is raised. newChild is returned. If refChild is None, it inserts newChild at the end of the children’s list.

Node.removeChild(oldChild)

Remove a child node. oldChild must be a child of this node; if not, ValueError is raised. oldChild is returned on success. If oldChild will not be used further, its unlink() method should be called.

Node.replaceChild(newChild, oldChild)

Replace an existing node with a new node. It must be the case that oldChild is a child of this node; if not, ValueError is raised.

Node.normalize()

Join adjacent text nodes so that all stretches of text are stored as single Text instances. This simplifies processing text from a DOM tree for many applications.

Node.cloneNode(deep)

Clone this node. Setting deep means to clone all child nodes as well. This returns the clone.

Objetos NodeList

A NodeList represents a sequence of nodes. These objects are used in two ways in the DOM Core recommendation: an Element object provides one as its list of child nodes, and the getElementsByTagName() and getElementsByTagNameNS() methods of Node return objects with this interface to represent query results.

The DOM Level 2 recommendation defines one method and one attribute for these objects:

NodeList.item(i)

Return the i’th item from the sequence, if there is one, or None. The index i is not allowed to be less than zero or greater than or equal to the length of the sequence.

NodeList.length

The number of nodes in the sequence.

In addition, the Python DOM interface requires that some additional support is provided to allow NodeList objects to be used as Python sequences. All NodeList implementations must include support for __len__() and __getitem__(); this allows iteration over the NodeList in for statements and proper support for the len() built-in function.

If a DOM implementation supports modification of the document, the NodeList implementation must also support the __setitem__() and __delitem__() methods.

DocumentType Objects

Information about the notations and entities declared by a document (including the external subset if the parser uses it and can provide the information) is available from a DocumentType object. The DocumentType for a document is available from the Document object’s doctype attribute; if there is no DOCTYPE declaration for the document, the document’s doctype attribute will be set to None instead of an instance of this interface.

DocumentType is a specialization of Node, and adds the following attributes:

DocumentType.publicId

The public identifier for the external subset of the document type definition. This will be a string or None.

DocumentType.systemId

The system identifier for the external subset of the document type definition. This will be a URI as a string, or None.

DocumentType.internalSubset

A string giving the complete internal subset from the document. This does not include the brackets which enclose the subset. If the document has no internal subset, this should be None.

DocumentType.name

The name of the root element as given in the DOCTYPE declaration, if present.

DocumentType.entities

This is a NamedNodeMap giving the definitions of external entities. For entity names defined more than once, only the first definition is provided (others are ignored as required by the XML recommendation). This may be None if the information is not provided by the parser, or if no entities are defined.

DocumentType.notations

This is a NamedNodeMap giving the definitions of notations. For notation names defined more than once, only the first definition is provided (others are ignored as required by the XML recommendation). This may be None if the information is not provided by the parser, or if no notations are defined.

Document Objects

A Document represents an entire XML document, including its constituent elements, attributes, processing instructions, comments etc. Remember that it inherits properties from Node.

Document.documentElement

The one and only root element of the document.

Document.createElement(tagName)

Create and return a new element node. The element is not inserted into the document when it is created. You need to explicitly insert it with one of the other methods such as insertBefore() or appendChild().

Document.createElementNS(namespaceURI, tagName)

Create and return a new element with a namespace. The tagName may have a prefix. The element is not inserted into the document when it is created. You need to explicitly insert it with one of the other methods such as insertBefore() or appendChild().

Document.createTextNode(data)

Create and return a text node containing the data passed as a parameter. As with the other creation methods, this one does not insert the node into the tree.

Document.createComment(data)

Create and return a comment node containing the data passed as a parameter. As with the other creation methods, this one does not insert the node into the tree.

Document.createProcessingInstruction(target, data)

Create and return a processing instruction node containing the target and data passed as parameters. As with the other creation methods, this one does not insert the node into the tree.

Document.createAttribute(name)

Create and return an attribute node. This method does not associate the attribute node with any particular element. You must use setAttributeNode() on the appropriate Element object to use the newly created attribute instance.

Document.createAttributeNS(namespaceURI, qualifiedName)

Create and return an attribute node with a namespace. The tagName may have a prefix. This method does not associate the attribute node with any particular element. You must use setAttributeNode() on the appropriate Element object to use the newly created attribute instance.

Document.getElementsByTagName(tagName)

Search for all descendants (direct children, children’s children, etc.) with a particular element type name.

Document.getElementsByTagNameNS(namespaceURI, localName)

Search for all descendants (direct children, children’s children, etc.) with a particular namespace URI and localname. The localname is the part of the namespace after the prefix.

Element Objects

Element is a subclass of Node, so inherits all the attributes of that class.

Element.tagName

The element type name. In a namespace-using document it may have colons in it. The value is a string.

Element.getElementsByTagName(tagName)

Same as equivalent method in the Document class.

Element.getElementsByTagNameNS(namespaceURI, localName)

Same as equivalent method in the Document class.

Element.hasAttribute(name)

Return True if the element has an attribute named by name.

Element.hasAttributeNS(namespaceURI, localName)

Return True if the element has an attribute named by namespaceURI and localName.

Element.getAttribute(name)

Return the value of the attribute named by name as a string. If no such attribute exists, an empty string is returned, as if the attribute had no value.

Element.getAttributeNode(attrname)

Return the Attr node for the attribute named by attrname.

Element.getAttributeNS(namespaceURI, localName)

Return the value of the attribute named by namespaceURI and localName as a string. If no such attribute exists, an empty string is returned, as if the attribute had no value.

Element.getAttributeNodeNS(namespaceURI, localName)

Return an attribute value as a node, given a namespaceURI and localName.

Element.removeAttribute(name)

Remove an attribute by name. If there is no matching attribute, a NotFoundErr is raised.

Element.removeAttributeNode(oldAttr)

Remove and return oldAttr from the attribute list, if present. If oldAttr is not present, NotFoundErr is raised.

Element.removeAttributeNS(namespaceURI, localName)

Remove an attribute by name. Note that it uses a localName, not a qname. No exception is raised if there is no matching attribute.

Element.setAttribute(name, value)

Set an attribute value from a string.

Element.setAttributeNode(newAttr)

Add a new attribute node to the element, replacing an existing attribute if necessary if the name attribute matches. If a replacement occurs, the old attribute node will be returned. If newAttr is already in use, InuseAttributeErr will be raised.

Element.setAttributeNodeNS(newAttr)

Add a new attribute node to the element, replacing an existing attribute if necessary if the namespaceURI and localName attributes match. If a replacement occurs, the old attribute node will be returned. If newAttr is already in use, InuseAttributeErr will be raised.

Element.setAttributeNS(namespaceURI, qname, value)

Set an attribute value from a string, given a namespaceURI and a qname. Note that a qname is the whole attribute name. This is different than above.

Attr Objects

Attr inherits from Node, so inherits all its attributes.

Attr.name

The attribute name. In a namespace-using document it may include a colon.

Attr.localName

The part of the name following the colon if there is one, else the entire name. This is a read-only attribute.

Attr.prefix

The part of the name preceding the colon if there is one, else the empty string.

Attr.value

The text value of the attribute. This is a synonym for the nodeValue attribute.

NamedNodeMap Objects

NamedNodeMap does not inherit from Node.

NamedNodeMap.length

The length of the attribute list.

NamedNodeMap.item(index)

Return an attribute with a particular index. The order you get the attributes in is arbitrary but will be consistent for the life of a DOM. Each item is an attribute node. Get its value with the value attribute.

There are also experimental methods that give this class more mapping behavior. You can use them or you can use the standardized getAttribute*() family of methods on the Element objects.

Comment Objects

Comment represents a comment in the XML document. It is a subclass of Node, but cannot have child nodes.

Comment.data

The content of the comment as a string. The attribute contains all characters between the leading <!-- and trailing -->, but does not include them.

Text and CDATASection Objects

The Text interface represents text in the XML document. If the parser and DOM implementation support the DOM’s XML extension, portions of the text enclosed in CDATA marked sections are stored in CDATASection objects. These two interfaces are identical, but provide different values for the nodeType attribute.

These interfaces extend the Node interface. They cannot have child nodes.

Text.data

The content of the text node as a string.

Nota

The use of a CDATASection node does not indicate that the node represents a complete CDATA marked section, only that the content of the node was part of a CDATA section. A single CDATA section may be represented by more than one node in the document tree. There is no way to determine whether two adjacent CDATASection nodes represent different CDATA marked sections.

Objetos ProcessingInstruction

Represents a processing instruction in the XML document; this inherits from the Node interface and cannot have child nodes.

ProcessingInstruction.target

The content of the processing instruction up to the first whitespace character. This is a read-only attribute.

ProcessingInstruction.data

The content of the processing instruction following the first whitespace character.

Exceções

The DOM Level 2 recommendation defines a single exception, DOMException, and a number of constants that allow applications to determine what sort of error occurred. DOMException instances carry a code attribute that provides the appropriate value for the specific exception.

The Python DOM interface provides the constants, but also expands the set of exceptions so that a specific exception exists for each of the exception codes defined by the DOM. The implementations must raise the appropriate specific exception, each of which carries the appropriate value for the code attribute.

exception xml.dom.DOMException

Base exception class used for all specific DOM exceptions. This exception class cannot be directly instantiated.

exception xml.dom.DomstringSizeErr

Raised when a specified range of text does not fit into a string. This is not known to be used in the Python DOM implementations, but may be received from DOM implementations not written in Python.

exception xml.dom.HierarchyRequestErr

Raised when an attempt is made to insert a node where the node type is not allowed.

exception xml.dom.IndexSizeErr

Raised when an index or size parameter to a method is negative or exceeds the allowed values.

exception xml.dom.InuseAttributeErr

Raised when an attempt is made to insert an Attr node that is already present elsewhere in the document.

exception xml.dom.InvalidAccessErr

Raised if a parameter or an operation is not supported on the underlying object.

exception xml.dom.InvalidCharacterErr

This exception is raised when a string parameter contains a character that is not permitted in the context it’s being used in by the XML 1.0 recommendation. For example, attempting to create an Element node with a space in the element type name will cause this error to be raised.

exception xml.dom.InvalidModificationErr

Raised when an attempt is made to modify the type of a node.

exception xml.dom.InvalidStateErr

Raised when an attempt is made to use an object that is not defined or is no longer usable.

exception xml.dom.NamespaceErr

If an attempt is made to change any object in a way that is not permitted with regard to the Namespaces in XML [https://www.w3.org/TR/REC-xml-names/] recommendation, this exception is raised.

exception xml.dom.NotFoundErr

Exception when a node does not exist in the referenced context. For example, NamedNodeMap.removeNamedItem() will raise this if the node passed in does not exist in the map.

exception xml.dom.NotSupportedErr

Raised when the implementation does not support the requested type of object or operation.

exception xml.dom.NoDataAllowedErr

This is raised if data is specified for a node which does not support data.

exception xml.dom.NoModificationAllowedErr

Raised on attempts to modify an object where modifications are not allowed (such as for read-only nodes).

exception xml.dom.SyntaxErr

Raised when an invalid or illegal string is specified.

exception xml.dom.WrongDocumentErr

Raised when a node is inserted in a different document than it currently belongs to, and the implementation does not support migrating the node from one document to the other.

The exception codes defined in the DOM recommendation map to the exceptions described above according to this table:

Constante

Exception

DOMSTRING_SIZE_ERR

DomstringSizeErr

HIERARCHY_REQUEST_ERR

HierarchyRequestErr

INDEX_SIZE_ERR

IndexSizeErr

INUSE_ATTRIBUTE_ERR

InuseAttributeErr

INVALID_ACCESS_ERR

InvalidAccessErr

INVALID_CHARACTER_ERR

InvalidCharacterErr

INVALID_MODIFICATION_ERR

InvalidModificationErr

INVALID_STATE_ERR

InvalidStateErr

NAMESPACE_ERR

NamespaceErr

NOT_FOUND_ERR

NotFoundErr

NOT_SUPPORTED_ERR

NotSupportedErr

NO_DATA_ALLOWED_ERR

NoDataAllowedErr

NO_MODIFICATION_ALLOWED_ERR

NoModificationAllowedErr

SYNTAX_ERR

SyntaxErr

WRONG_DOCUMENT_ERR

WrongDocumentErr

Conformance

This section describes the conformance requirements and relationships between the Python DOM API, the W3C DOM recommendations, and the OMG IDL mapping for Python.

Type Mapping

The IDL types used in the DOM specification are mapped to Python types according to the following table.

Tipo IDL

Tipo em Python

boolean

bool or int

int

int

long int

int

unsigned int

int

DOMString

str or bytes

null

None

Accessor Methods

The mapping from OMG IDL to Python defines accessor functions for IDL attribute declarations in much the way the Java mapping does. Mapping the IDL declarations

readonly attribute string someValue;
         attribute string anotherValue;

yields three accessor functions: a “get” method for someValue (_get_someValue()), and “get” and “set” methods for anotherValue (_get_anotherValue() and _set_anotherValue()). The mapping, in particular, does not require that the IDL attributes are accessible as normal Python attributes: object.someValue is not required to work, and may raise an AttributeError.

The Python DOM API, however, does require that normal attribute access work. This means that the typical surrogates generated by Python IDL compilers are not likely to work, and wrapper objects may be needed on the client if the DOM objects are accessed via CORBA. While this does require some additional consideration for CORBA DOM clients, the implementers with experience using DOM over CORBA from Python do not consider this a problem. Attributes that are declared readonly may not restrict write access in all DOM implementations.

In the Python DOM API, accessor functions are not required. If provided, they should take the form defined by the Python IDL mapping, but these methods are considered unnecessary since the attributes are accessible directly from Python. “Set” accessors should never be provided for readonly attributes.

The IDL definitions do not fully embody the requirements of the W3C DOM API, such as the notion of certain objects, such as the return value of getElementsByTagName(), being “live”. The Python DOM API does not require implementations to enforce such requirements.

xml.dom.minidom — Minimal DOM implementation

Código-fonte: Lib/xml/dom/minidom.py [https://github.com/python/cpython/tree/3.13/Lib/xml/dom/minidom.py]

xml.dom.minidom is a minimal implementation of the Document Object Model interface, with an API similar to that in other languages. It is intended to be simpler than the full DOM and also significantly smaller. Users who are not already proficient with the DOM should consider using the xml.etree.ElementTree module for their XML processing instead.

Aviso

The xml.dom.minidom module is not secure against maliciously constructed data. If you need to parse untrusted or unauthenticated data see Vulnerabilidades em XML.

DOM applications typically start by parsing some XML into a DOM. With xml.dom.minidom, this is done through the parse functions:

from xml.dom.minidom import parse, parseString

dom1 = parse('c:\\temp\\mydata.xml')  # parse an XML file by name

datasource = open('c:\\temp\\mydata.xml')
dom2 = parse(datasource)  # parse an open file

dom3 = parseString('<myxml>Some data<empty/> some more data</myxml>')

The parse() function can take either a filename or an open file object.

xml.dom.minidom.parse(filename_or_file, parser=None, bufsize=None)

Return a Document from the given input. filename_or_file may be either a file name, or a file-like object. parser, if given, must be a SAX2 parser object. This function will change the document handler of the parser and activate namespace support; other parser configuration (like setting an entity resolver) must have been done in advance.

If you have XML in a string, you can use the parseString() function instead:

xml.dom.minidom.parseString(string, parser=None)

Return a Document that represents the string. This method creates an io.StringIO object for the string and passes that on to parse().

Both functions return a Document object representing the content of the document.

What the parse() and parseString() functions do is connect an XML parser with a “DOM builder” that can accept parse events from any SAX parser and convert them into a DOM tree. The name of the functions are perhaps misleading, but are easy to grasp when learning the interfaces. The parsing of the document will be completed before these functions return; it’s simply that these functions do not provide a parser implementation themselves.

You can also create a Document by calling a method on a “DOM Implementation” object. You can get this object either by calling the getDOMImplementation() function in the xml.dom package or the xml.dom.minidom module. Once you have a Document, you can add child nodes to it to populate the DOM:

from xml.dom.minidom import getDOMImplementation

impl = getDOMImplementation()

newdoc = impl.createDocument(None, "some_tag", None)
top_element = newdoc.documentElement
text = newdoc.createTextNode('Some textual content.')
top_element.appendChild(text)

Once you have a DOM document object, you can access the parts of your XML document through its properties and methods. These properties are defined in the DOM specification. The main property of the document object is the documentElement property. It gives you the main element in the XML document: the one that holds all others. Here is an example program:

dom3 = parseString("<myxml>Some data</myxml>")
assert dom3.documentElement.tagName == "myxml"

When you are finished with a DOM tree, you may optionally call the unlink() method to encourage early cleanup of the now-unneeded objects. unlink() is an xml.dom.minidom-specific extension to the DOM API that renders the node and its descendants essentially useless. Otherwise, Python’s garbage collector will eventually take care of the objects in the tree.

Ver também

Document Object Model (DOM) Level 1 Specification [https://www.w3.org/TR/REC-DOM-Level-1/]

The W3C recommendation for the DOM supported by xml.dom.minidom.

Objetos DOM

The definition of the DOM API for Python is given as part of the xml.dom module documentation. This section lists the differences between the API and xml.dom.minidom.

Node.unlink()

Break internal references within the DOM so that it will be garbage collected on versions of Python without cyclic GC. Even when cyclic GC is available, using this can make large amounts of memory available sooner, so calling this on DOM objects as soon as they are no longer needed is good practice. This only needs to be called on the Document object, but may be called on child nodes to discard children of that node.

You can avoid calling this method explicitly by using the with statement. The following code will automatically unlink dom when the with block is exited:

with xml.dom.minidom.parse(datasource) as dom:
    ... # Work with dom.

Node.writexml(writer, indent='', addindent='', newl='', encoding=None, standalone=None)

Write XML to the writer object. The writer receives texts but not bytes as input, it should have a write() method which matches that of the file object interface. The indent parameter is the indentation of the current node. The addindent parameter is the incremental indentation to use for subnodes of the current one. The newl parameter specifies the string to use to terminate newlines.

For the Document node, an additional keyword argument encoding can be used to specify the encoding field of the XML header.

Similarly, explicitly stating the standalone argument causes the standalone document declarations to be added to the prologue of the XML document. If the value is set to True, standalone="yes" is added, otherwise it is set to "no". Not stating the argument will omit the declaration from the document.

Alterado na versão 3.8: The writexml() method now preserves the attribute order specified by the user.

Alterado na versão 3.9: The standalone parameter was added.

Node.toxml(encoding=None, standalone=None)

Return a string or byte string containing the XML represented by the DOM node.

With an explicit encoding [1] argument, the result is a byte string in the specified encoding. With no encoding argument, the result is a Unicode string, and the XML declaration in the resulting string does not specify an encoding. Encoding this string in an encoding other than UTF-8 is likely incorrect, since UTF-8 is the default encoding of XML.

The standalone argument behaves exactly as in writexml().

Alterado na versão 3.8: The toxml() method now preserves the attribute order specified by the user.

Alterado na versão 3.9: The standalone parameter was added.

Node.toprettyxml(indent='\t', newl='\n', encoding=None, standalone=None)

Return a pretty-printed version of the document. indent specifies the indentation string and defaults to a tabulator; newl specifies the string emitted at the end of each line and defaults to \n.

The encoding argument behaves like the corresponding argument of toxml().

The standalone argument behaves exactly as in writexml().

Alterado na versão 3.8: The toprettyxml() method now preserves the attribute order specified by the user.

Alterado na versão 3.9: The standalone parameter was added.

DOM Example

This example program is a fairly realistic example of a simple program. In this particular case, we do not take much advantage of the flexibility of the DOM.

import xml.dom.minidom

document = """\
<slideshow>
<title>Demo slideshow</title>
<slide><title>Slide title</title>
<point>This is a demo</point>
<point>Of a program for processing slides</point>
</slide>

<slide><title>Another demo slide</title>
<point>It is important</point>
<point>To have more than</point>
<point>one slide</point>
</slide>
</slideshow>
"""

dom = xml.dom.minidom.parseString(document)

def getText(nodelist):
    rc = []
    for node in nodelist:
        if node.nodeType == node.TEXT_NODE:
            rc.append(node.data)
    return ''.join(rc)

def handleSlideshow(slideshow):
    print("<html>")
    handleSlideshowTitle(slideshow.getElementsByTagName("title")[0])
    slides = slideshow.getElementsByTagName("slide")
    handleToc(slides)
    handleSlides(slides)
    print("</html>")

def handleSlides(slides):
    for slide in slides:
        handleSlide(slide)

def handleSlide(slide):
    handleSlideTitle(slide.getElementsByTagName("title")[0])
    handlePoints(slide.getElementsByTagName("point"))

def handleSlideshowTitle(title):
    print(f"<title>{getText(title.childNodes)}</title>")

def handleSlideTitle(title):
    print(f"<h2>{getText(title.childNodes)}</h2>")

def handlePoints(points):
    print("<ul>")
    for point in points:
        handlePoint(point)
    print("</ul>")

def handlePoint(point):
    print(f"<li>{getText(point.childNodes)}</li>")

def handleToc(slides):
    for slide in slides:
        title = slide.getElementsByTagName("title")[0]
        print(f"<p>{getText(title.childNodes)}</p>")

handleSlideshow(dom)

minidom e o padrão DOM

The xml.dom.minidom module is essentially a DOM 1.0-compatible DOM with some DOM 2 features (primarily namespace features).

Usage of the DOM interface in Python is straight-forward. The following mapping rules apply:

Interfaces are accessed through instance objects. Applications should not instantiate the classes themselves; they should use the creator functions available on the Document object. Derived interfaces support all operations (and attributes) from the base interfaces, plus any new operations.

Operations are used as methods. Since the DOM uses only in parameters, the arguments are passed in normal order (from left to right). There are no optional arguments. void operations return None.

IDL attributes map to instance attributes. For compatibility with the OMG IDL language mapping for Python, an attribute foo can also be accessed through accessor methods _get_foo() and _set_foo(). readonly attributes must not be changed; this is not enforced at runtime.

The types short int, unsigned int, unsigned long long, and boolean all map to Python integer objects.

The type DOMString maps to Python strings. xml.dom.minidom supports either bytes or strings, but will normally produce strings. Values of type DOMString may also be None where allowed to have the IDL null value by the DOM specification from the W3C.

const declarations map to variables in their respective scope (e.g. xml.dom.minidom.Node.PROCESSING_INSTRUCTION_NODE); they must not be changed.

DOMException is currently not supported in xml.dom.minidom. Instead, xml.dom.minidom uses standard Python exceptions such as TypeError and AttributeError.

NodeList objects are implemented using Python’s built-in list type. These objects provide the interface defined in the DOM specification, but with earlier versions of Python they do not support the official API. They are, however, much more “Pythonic” than the interface defined in the W3C recommendations.

The following interfaces have no implementation in xml.dom.minidom:

DOMTimeStamp

EntityReference

Most of these reflect information in the XML document that is not of general utility to most DOM users.

Notas de rodapé

[1]

The encoding name included in the XML output should conform to the appropriate standards. For example, “UTF-8” is valid, but “UTF8” is not valid in an XML document’s declaration, even though Python accepts it as an encoding name. See https://www.w3.org/TR/2006/REC-xml11-20060816/#NT-EncodingDecl and https://www.iana.org/assignments/character-sets/character-sets.xhtml.

xml.dom.pulldom — Support for building partial DOM trees

Código-fonte: Lib/xml/dom/pulldom.py [https://github.com/python/cpython/tree/3.13/Lib/xml/dom/pulldom.py]

The xml.dom.pulldom module provides a “pull parser” which can also be asked to produce DOM-accessible fragments of the document where necessary. The basic concept involves pulling “events” from a stream of incoming XML and processing them. In contrast to SAX which also employs an event-driven processing model together with callbacks, the user of a pull parser is responsible for explicitly pulling events from the stream, looping over those events until either processing is finished or an error condition occurs.

Aviso

The xml.dom.pulldom module is not secure against maliciously constructed data. If you need to parse untrusted or unauthenticated data see Vulnerabilidades em XML.

Alterado na versão 3.7.1: The SAX parser no longer processes general external entities by default to increase security by default. To enable processing of external entities, pass a custom parser instance in:

from xml.dom.pulldom import parse
from xml.sax import make_parser
from xml.sax.handler import feature_external_ges

parser = make_parser()
parser.setFeature(feature_external_ges, True)
parse(filename, parser=parser)

Exemplo:

from xml.dom import pulldom

doc = pulldom.parse('sales_items.xml')
for event, node in doc:
    if event == pulldom.START_ELEMENT and node.tagName == 'item':
        if int(node.getAttribute('price')) > 50:
            doc.expandNode(node)
            print(node.toxml())

event is a constant and can be one of:

START_ELEMENT

END_ELEMENT

COMMENT

START_DOCUMENT

END_DOCUMENT

CHARACTERS

PROCESSING_INSTRUCTION

IGNORABLE_WHITESPACE

node is an object of type xml.dom.minidom.Document, xml.dom.minidom.Element or xml.dom.minidom.Text.

Since the document is treated as a “flat” stream of events, the document “tree” is implicitly traversed and the desired elements are found regardless of their depth in the tree. In other words, one does not need to consider hierarchical issues such as recursive searching of the document nodes, although if the context of elements were important, one would either need to maintain some context-related state (i.e. remembering where one is in the document at any given point) or to make use of the DOMEventStream.expandNode() method and switch to DOM-related processing.

class xml.dom.pulldom.PullDom(documentFactory=None)

Subclasse de xml.sax.handler.ContentHandler.

class xml.dom.pulldom.SAX2DOM(documentFactory=None)

Subclasse de xml.sax.handler.ContentHandler.

xml.dom.pulldom.parse(stream_or_string, parser=None, bufsize=None)

Return a DOMEventStream from the given input. stream_or_string may be either a file name, or a file-like object. parser, if given, must be an XMLReader object. This function will change the document handler of the parser and activate namespace support; other parser configuration (like setting an entity resolver) must have been done in advance.

If you have XML in a string, you can use the parseString() function instead:

xml.dom.pulldom.parseString(string, parser=None)

Return a DOMEventStream that represents the (Unicode) string.

xml.dom.pulldom.default_bufsize

Default value for the bufsize parameter to parse().

The value of this variable can be changed before calling parse() and the new value will take effect.

Objetos DOMEventStream

class xml.dom.pulldom.DOMEventStream(stream, parser, bufsize)

Alterado na versão 3.11: Support for __getitem__() method has been removed.

getEvent()

Return a tuple containing event and the current node as xml.dom.minidom.Document if event equals START_DOCUMENT, xml.dom.minidom.Element if event equals START_ELEMENT or END_ELEMENT or xml.dom.minidom.Text if event equals CHARACTERS. The current node does not contain information about its children, unless expandNode() is called.

expandNode(node)

Expands all children of node into node. Example:

from xml.dom import pulldom

xml = '<html><title>Foo</title> <p>Some text <div>and more</div></p> </html>'
doc = pulldom.parseString(xml)
for event, node in doc:
    if event == pulldom.START_ELEMENT and node.tagName == 'p':
        # Following statement only prints '<p/>'
        print(node.toxml())
        doc.expandNode(node)
        # Following statement prints node with all its children '<p>Some text <div>and more</div></p>'
        print(node.toxml())

reset()

xml.sax — Support for SAX2 parsers

Código-fonte: Lib/xml/sax/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/xml/sax/__init__.py]

The xml.sax package provides a number of modules which implement the Simple API for XML (SAX) interface for Python. The package itself provides the SAX exceptions and the convenience functions which will be most used by users of the SAX API.

Aviso

The xml.sax module is not secure against maliciously constructed data. If you need to parse untrusted or unauthenticated data see Vulnerabilidades em XML.

Alterado na versão 3.7.1: The SAX parser no longer processes general external entities by default to increase security. Before, the parser created network connections to fetch remote files or loaded local files from the file system for DTD and entities. The feature can be enabled again with method setFeature() on the parser object and argument feature_external_ges.

As funções de conveniência são:

xml.sax.make_parser(parser_list=[])

Create and return a SAX XMLReader object. The first parser found will be used. If parser_list is provided, it must be an iterable of strings which name modules that have a function named create_parser(). Modules listed in parser_list will be used before modules in the default list of parsers.

Alterado na versão 3.8: The parser_list argument can be any iterable, not just a list.

xml.sax.parse(filename_or_stream, handler, error_handler=handler.ErrorHandler())

Create a SAX parser and use it to parse a document. The document, passed in as filename_or_stream, can be a filename or a file object. The handler parameter needs to be a SAX ContentHandler instance. If error_handler is given, it must be a SAX ErrorHandler instance; if omitted, SAXParseException will be raised on all errors. There is no return value; all work must be done by the handler passed in.

xml.sax.parseString(string, handler, error_handler=handler.ErrorHandler())

Similar to parse(), but parses from a buffer string received as a parameter. string must be a str instance or a bytes-like object.

Alterado na versão 3.5: Added support of str instances.

A typical SAX application uses three kinds of objects: readers, handlers and input sources. “Reader” in this context is another term for parser, i.e. some piece of code that reads the bytes or characters from the input source, and produces a sequence of events. The events then get distributed to the handler objects, i.e. the reader invokes a method on the handler. A SAX application must therefore obtain a reader object, create or open the input sources, create the handlers, and connect these objects all together. As the final step of preparation, the reader is called to parse the input. During parsing, methods on the handler objects are called based on structural and syntactic events from the input data.

For these objects, only the interfaces are relevant; they are normally not instantiated by the application itself. Since Python does not have an explicit notion of interface, they are formally introduced as classes, but applications may use implementations which do not inherit from the provided classes. The InputSource, Locator, Attributes, AttributesNS, and XMLReader interfaces are defined in the module xml.sax.xmlreader. The handler interfaces are defined in xml.sax.handler. For convenience, InputSource (which is often instantiated directly) and the handler classes are also available from xml.sax. These interfaces are described below.

In addition to these classes, xml.sax provides the following exception classes.

exception xml.sax.SAXException(msg, exception=None)

Encapsulate an XML error or warning. This class can contain basic error or warning information from either the XML parser or the application: it can be subclassed to provide additional functionality or to add localization. Note that although the handlers defined in the ErrorHandler interface receive instances of this exception, it is not required to actually raise the exception — it is also useful as a container for information.

When instantiated, msg should be a human-readable description of the error. The optional exception parameter, if given, should be None or an exception that was caught by the parsing code and is being passed along as information.

This is the base class for the other SAX exception classes.

exception xml.sax.SAXParseException(msg, exception, locator)

Subclass of SAXException raised on parse errors. Instances of this class are passed to the methods of the SAX ErrorHandler interface to provide information about the parse error. This class supports the SAX Locator interface as well as the SAXException interface.

exception xml.sax.SAXNotRecognizedException(msg, exception=None)

Subclass of SAXException raised when a SAX XMLReader is confronted with an unrecognized feature or property. SAX applications and extensions may use this class for similar purposes.

exception xml.sax.SAXNotSupportedException(msg, exception=None)

Subclass of SAXException raised when a SAX XMLReader is asked to enable a feature that is not supported, or to set a property to a value that the implementation does not support. SAX applications and extensions may use this class for similar purposes.

Ver também

SAX: The Simple API for XML [http://www.saxproject.org/]

This site is the focal point for the definition of the SAX API. It provides a Java implementation and online documentation. Links to implementations and historical information are also available.

Module xml.sax.handler

Definitions of the interfaces for application-provided objects.

Module xml.sax.saxutils

Convenience functions for use in SAX applications.

Module xml.sax.xmlreader

Definitions of the interfaces for parser-provided objects.

SAXException Objects

The SAXException exception class supports the following methods:

SAXException.getMessage()

Return a human-readable message describing the error condition.

SAXException.getException()

Return an encapsulated exception object, or None.

xml.sax.handler — Base classes for SAX handlers

Código-fonte: Lib/xml/sax/handler.py [https://github.com/python/cpython/tree/3.13/Lib/xml/sax/handler.py]

The SAX API defines five kinds of handlers: content handlers, DTD handlers, error handlers, entity resolvers and lexical handlers. Applications normally only need to implement those interfaces whose events they are interested in; they can implement the interfaces in a single object or in multiple objects. Handler implementations should inherit from the base classes provided in the module xml.sax.handler, so that all methods get default implementations.

class xml.sax.handler.ContentHandler

This is the main callback interface in SAX, and the one most important to applications. The order of events in this interface mirrors the order of the information in the document.

class xml.sax.handler.DTDHandler

Manipular eventos DTD.

This interface specifies only those DTD events required for basic parsing (unparsed entities and attributes).

class xml.sax.handler.EntityResolver

Basic interface for resolving entities. If you create an object implementing this interface, then register the object with your Parser, the parser will call the method in your object to resolve all external entities.

class xml.sax.handler.ErrorHandler

Interface used by the parser to present error and warning messages to the application. The methods of this object control whether errors are immediately converted to exceptions or are handled in some other way.

class xml.sax.handler.LexicalHandler

Interface used by the parser to represent low frequency events which may not be of interest to many applications.

In addition to these classes, xml.sax.handler provides symbolic constants for the feature and property names.

xml.sax.handler.feature_namespaces

value: "http://xml.org/sax/features/namespaces"

true: Executa o processamento do espaço de nomes.

false: Optionally do not perform Namespace processing (implies namespace-prefixes; default).

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.feature_namespace_prefixes

value: "http://xml.org/sax/features/namespace-prefixes"

true: Report the original prefixed names and attributes used for Namespace declarations.

false: Do not report attributes used for Namespace declarations, and optionally do not report original prefixed names (default).

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.feature_string_interning

value: "http://xml.org/sax/features/string-interning"

true: All element names, prefixes, attribute names, Namespace URIs, and local names are interned using the built-in intern function.

false: Names are not necessarily interned, although they may be (default).

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.feature_validation

value: "http://xml.org/sax/features/validation"

true: Report all validation errors (implies external-general-entities and external-parameter-entities).

false: Do not report validation errors.

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.feature_external_ges

value: "http://xml.org/sax/features/external-general-entities"

true: Include all external general (text) entities.

false: Do not include external general entities.

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.feature_external_pes

value: "http://xml.org/sax/features/external-parameter-entities"

true: Include all external parameter entities, including the external DTD subset.

false: Do not include any external parameter entities, even the external DTD subset.

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.all_features

List of all features.

xml.sax.handler.property_lexical_handler

value: "http://xml.org/sax/properties/lexical-handler"

data type: xml.sax.handler.LexicalHandler (not supported in Python 2)

descrição: Um tratador de extensão opcional para eventos lexicais como comentários.

access: read/write

xml.sax.handler.property_declaration_handler

value: "http://xml.org/sax/properties/declaration-handler"

data type: xml.sax.sax2lib.DeclHandler (not supported in Python 2)

description: An optional extension handler for DTD-related events other than notations and unparsed entities.

access: read/write

xml.sax.handler.property_dom_node

value: "http://xml.org/sax/properties/dom-node"

data type: org.w3c.dom.Node (not supported in Python 2)

description: When parsing, the current DOM node being visited if this is a DOM iterator; when not parsing, the root DOM node for iteration.

access: (parsing) read-only; (not parsing) read/write

xml.sax.handler.property_xml_string

value: "http://xml.org/sax/properties/xml-string"

data type: Bytes

description: The literal string of characters that was the source for the current event.

access: read-only

xml.sax.handler.all_properties

List of all known property names.

ContentHandler Objects

Users are expected to subclass ContentHandler to support their application. The following methods are called by the parser on the appropriate events in the input document:

ContentHandler.setDocumentLocator(locator)

Called by the parser to give the application a locator for locating the origin of document events.

SAX parsers are strongly encouraged (though not absolutely required) to supply a locator: if it does so, it must supply the locator to the application by invoking this method before invoking any of the other methods in the DocumentHandler interface.

The locator allows the application to determine the end position of any document-related event, even if the parser is not reporting an error. Typically, the application will use this information for reporting its own errors (such as character content that does not match an application’s business rules). The information returned by the locator is probably not sufficient for use with a search engine.

Note that the locator will return correct information only during the invocation of the events in this interface. The application should not attempt to use it at any other time.

ContentHandler.startDocument()

Receive notification of the beginning of a document.

The SAX parser will invoke this method only once, before any other methods in this interface or in DTDHandler (except for setDocumentLocator()).

ContentHandler.endDocument()

Receive notification of the end of a document.

The SAX parser will invoke this method only once, and it will be the last method invoked during the parse. The parser shall not invoke this method until it has either abandoned parsing (because of an unrecoverable error) or reached the end of input.

ContentHandler.startPrefixMapping(prefix, uri)

Begin the scope of a prefix-URI Namespace mapping.

The information from this event is not necessary for normal Namespace processing: the SAX XML reader will automatically replace prefixes for element and attribute names when the feature_namespaces feature is enabled (the default).

There are cases, however, when applications need to use prefixes in character data or in attribute values, where they cannot safely be expanded automatically; the startPrefixMapping() and endPrefixMapping() events supply the information to the application to expand prefixes in those contexts itself, if necessary.

Note that startPrefixMapping() and endPrefixMapping() events are not guaranteed to be properly nested relative to each-other: all startPrefixMapping() events will occur before the corresponding startElement() event, and all endPrefixMapping() events will occur after the corresponding endElement() event, but their order is not guaranteed.

ContentHandler.endPrefixMapping(prefix)

End the scope of a prefix-URI mapping.

See startPrefixMapping() for details. This event will always occur after the corresponding endElement() event, but the order of endPrefixMapping() events is not otherwise guaranteed.

ContentHandler.startElement(name, attrs)

Signals the start of an element in non-namespace mode.

The name parameter contains the raw XML 1.0 name of the element type as a string and the attrs parameter holds an object of the Attributes interface (see The Attributes Interface) containing the attributes of the element. The object passed as attrs may be re-used by the parser; holding on to a reference to it is not a reliable way to keep a copy of the attributes. To keep a copy of the attributes, use the copy() method of the attrs object.

ContentHandler.endElement(name)

Signals the end of an element in non-namespace mode.

The name parameter contains the name of the element type, just as with the startElement() event.

ContentHandler.startElementNS(name, qname, attrs)

Signals the start of an element in namespace mode.

The name parameter contains the name of the element type as a (uri, localname) tuple, the qname parameter contains the raw XML 1.0 name used in the source document, and the attrs parameter holds an instance of the AttributesNS interface (see The AttributesNS Interface) containing the attributes of the element. If no namespace is associated with the element, the uri component of name will be None. The object passed as attrs may be re-used by the parser; holding on to a reference to it is not a reliable way to keep a copy of the attributes. To keep a copy of the attributes, use the copy() method of the attrs object.

Parsers may set the qname parameter to None, unless the feature_namespace_prefixes feature is activated.

ContentHandler.endElementNS(name, qname)

Signals the end of an element in namespace mode.

The name parameter contains the name of the element type, just as with the startElementNS() method, likewise the qname parameter.

ContentHandler.characters(content)

Receive notification of character data.

The Parser will call this method to report each chunk of character data. SAX parsers may return all contiguous character data in a single chunk, or they may split it into several chunks; however, all of the characters in any single event must come from the same external entity so that the Locator provides useful information.

content may be a string or bytes instance; the expat reader module always produces strings.

Nota

The earlier SAX 1 interface provided by the Python XML Special Interest Group used a more Java-like interface for this method. Since most parsers used from Python did not take advantage of the older interface, the simpler signature was chosen to replace it. To convert old code to the new interface, use content instead of slicing content with the old offset and length parameters.

ContentHandler.ignorableWhitespace(whitespace)

Receive notification of ignorable whitespace in element content.

Validating Parsers must use this method to report each chunk of ignorable whitespace (see the W3C XML 1.0 recommendation, section 2.10): non-validating parsers may also use this method if they are capable of parsing and using content models.

SAX parsers may return all contiguous whitespace in a single chunk, or they may split it into several chunks; however, all of the characters in any single event must come from the same external entity, so that the Locator provides useful information.

ContentHandler.processingInstruction(target, data)

Receive notification of a processing instruction.

The Parser will invoke this method once for each processing instruction found: note that processing instructions may occur before or after the main document element.

A SAX parser should never report an XML declaration (XML 1.0, section 2.8) or a text declaration (XML 1.0, section 4.3.1) using this method.

ContentHandler.skippedEntity(name)

Receive notification of a skipped entity.

The Parser will invoke this method once for each entity skipped. Non-validating processors may skip entities if they have not seen the declarations (because, for example, the entity was declared in an external DTD subset). All processors may skip external entities, depending on the values of the feature_external_ges and the feature_external_pes properties.

DTDHandler Objects

DTDHandler instances provide the following methods:

DTDHandler.notationDecl(name, publicId, systemId)

Handle a notation declaration event.

DTDHandler.unparsedEntityDecl(name, publicId, systemId, ndata)

Handle an unparsed entity declaration event.

EntityResolver Objects

EntityResolver.resolveEntity(publicId, systemId)

Resolve the system identifier of an entity and return either the system identifier to read from as a string, or an InputSource to read from. The default implementation returns systemId.

ErrorHandler Objects

Objects with this interface are used to receive error and warning information from the XMLReader. If you create an object that implements this interface, then register the object with your XMLReader, the parser will call the methods in your object to report all warnings and errors. There are three levels of errors available: warnings, (possibly) recoverable errors, and unrecoverable errors. All methods take a SAXParseException as the only parameter. Errors and warnings may be converted to an exception by raising the passed-in exception object.

ErrorHandler.error(exception)

Called when the parser encounters a recoverable error. If this method does not raise an exception, parsing may continue, but further document information should not be expected by the application. Allowing the parser to continue may allow additional errors to be discovered in the input document.

ErrorHandler.fatalError(exception)

Called when the parser encounters an error it cannot recover from; parsing is expected to terminate when this method returns.

ErrorHandler.warning(exception)

Called when the parser presents minor warning information to the application. Parsing is expected to continue when this method returns, and document information will continue to be passed to the application. Raising an exception in this method will cause parsing to end.

LexicalHandler Objects

Optional SAX2 handler for lexical events.

This handler is used to obtain lexical information about an XML document. Lexical information includes information describing the document encoding used and XML comments embedded in the document, as well as section boundaries for the DTD and for any CDATA sections. The lexical handlers are used in the same manner as content handlers.

Set the LexicalHandler of an XMLReader by using the setProperty method with the property identifier 'http://xml.org/sax/properties/lexical-handler'.

LexicalHandler.comment(content)

Reports a comment anywhere in the document (including the DTD and outside the document element).

LexicalHandler.startDTD(name, public_id, system_id)

Reports the start of the DTD declarations if the document has an associated DTD.

LexicalHandler.endDTD()

Reports the end of DTD declaration.

LexicalHandler.startCDATA()

Reports the start of a CDATA marked section.

The contents of the CDATA marked section will be reported through the characters handler.

LexicalHandler.endCDATA()

Reports the end of a CDATA marked section.

xml.sax.saxutils — SAX Utilities

Código-fonte: Lib/xml/sax/saxutils.py [https://github.com/python/cpython/tree/3.13/Lib/xml/sax/saxutils.py]

The module xml.sax.saxutils contains a number of classes and functions that are commonly useful when creating SAX applications, either in direct use, or as base classes.

xml.sax.saxutils.escape(data, entities={})

Escape '&', '<', and '>' in a string of data.

You can escape other strings of data by passing a dictionary as the optional entities parameter. The keys and values must all be strings; each key will be replaced with its corresponding value. The characters '&', '<' and '>' are always escaped, even if entities is provided.

Nota

This function should only be used to escape characters that can’t be used directly in XML. Do not use this function as a general string translation function.

xml.sax.saxutils.unescape(data, entities={})

Unescape '&amp;', '&lt;', and '&gt;' in a string of data.

You can unescape other strings of data by passing a dictionary as the optional entities parameter. The keys and values must all be strings; each key will be replaced with its corresponding value. '&amp', '&lt;', and '&gt;' are always unescaped, even if entities is provided.

xml.sax.saxutils.quoteattr(data, entities={})

Similar to escape(), but also prepares data to be used as an attribute value. The return value is a quoted version of data with any additional required replacements. quoteattr() will select a quote character based on the content of data, attempting to avoid encoding any quote characters in the string. If both single- and double-quote characters are already in data, the double-quote characters will be encoded and data will be wrapped in double-quotes. The resulting string can be used directly as an attribute value:

>>> print("<element attr=%s>" % quoteattr("ab ' cd \" ef"))
<element attr="ab ' cd &quot; ef">

This function is useful when generating attribute values for HTML or any SGML using the reference concrete syntax.

class xml.sax.saxutils.XMLGenerator(out=None, encoding='iso-8859-1', short_empty_elements=False)

This class implements the ContentHandler interface by writing SAX events back into an XML document. In other words, using an XMLGenerator as the content handler will reproduce the original document being parsed. out should be a file-like object which will default to sys.stdout. encoding is the encoding of the output stream which defaults to 'iso-8859-1'. short_empty_elements controls the formatting of elements that contain no content: if False (the default) they are emitted as a pair of start/end tags, if set to True they are emitted as a single self-closed tag.

Alterado na versão 3.2: Added the short_empty_elements parameter.

class xml.sax.saxutils.XMLFilterBase(base)

This class is designed to sit between an XMLReader and the client application’s event handlers. By default, it does nothing but pass requests up to the reader and events on to the handlers unmodified, but subclasses can override specific methods to modify the event stream or the configuration requests as they pass through.

xml.sax.saxutils.prepare_input_source(source, base='')

This function takes an input source and an optional base URL and returns a fully resolved InputSource object ready for reading. The input source can be given as a string, a file-like object, or an InputSource object; parsers will use this function to implement the polymorphic source argument to their parse() method.

xml.sax.xmlreader — Interface for XML parsers

Código-fonte: Lib/xml/sax/xmlreader.py [https://github.com/python/cpython/tree/3.13/Lib/xml/sax/xmlreader.py]

SAX parsers implement the XMLReader interface. They are implemented in a Python module, which must provide a function create_parser(). This function is invoked by xml.sax.make_parser() with no arguments to create a new parser object.

class xml.sax.xmlreader.XMLReader

Base class which can be inherited by SAX parsers.

class xml.sax.xmlreader.IncrementalParser

In some cases, it is desirable not to parse an input source at once, but to feed chunks of the document as they get available. Note that the reader will normally not read the entire file, but read it in chunks as well; still parse() won’t return until the entire document is processed. So these interfaces should be used if the blocking behaviour of parse() is not desirable.

When the parser is instantiated it is ready to begin accepting data from the feed method immediately. After parsing has been finished with a call to close the reset method must be called to make the parser ready to accept new data, either from feed or using the parse method.

Note that these methods must not be called during parsing, that is, after parse has been called and before it returns.

By default, the class also implements the parse method of the XMLReader interface using the feed, close and reset methods of the IncrementalParser interface as a convenience to SAX 2.0 driver writers.

class xml.sax.xmlreader.Locator

Interface for associating a SAX event with a document location. A locator object will return valid results only during calls to DocumentHandler methods; at any other time, the results are unpredictable. If information is not available, methods may return None.

class xml.sax.xmlreader.InputSource(system_id=None)

Encapsulation of the information needed by the XMLReader to read entities.

This class may include information about the public identifier, system identifier, byte stream (possibly with character encoding information) and/or the character stream of an entity.

Applications will create objects of this class for use in the XMLReader.parse() method and for returning from EntityResolver.resolveEntity.

An InputSource belongs to the application, the XMLReader is not allowed to modify InputSource objects passed to it from the application, although it may make copies and modify those.

class xml.sax.xmlreader.AttributesImpl(attrs)

This is an implementation of the Attributes interface (see section The Attributes Interface). This is a dictionary-like object which represents the element attributes in a startElement() call. In addition to the most useful dictionary operations, it supports a number of other methods as described by the interface. Objects of this class should be instantiated by readers; attrs must be a dictionary-like object containing a mapping from attribute names to attribute values.

class xml.sax.xmlreader.AttributesNSImpl(attrs, qnames)

Namespace-aware variant of AttributesImpl, which will be passed to startElementNS(). It is derived from AttributesImpl, but understands attribute names as two-tuples of namespaceURI and localname. In addition, it provides a number of methods expecting qualified names as they appear in the original document. This class implements the AttributesNS interface (see section The AttributesNS Interface).

XMLReader Objects

The XMLReader interface supports the following methods:

XMLReader.parse(source)

Process an input source, producing SAX events. The source object can be a system identifier (a string identifying the input source – typically a file name or a URL), a pathlib.Path or path-like object, or an InputSource object. When parse() returns, the input is completely processed, and the parser object can be discarded or reset.

Alterado na versão 3.5: Added support of character streams.

Alterado na versão 3.8: Added support of path-like objects.

XMLReader.getContentHandler()

Return the current ContentHandler.

XMLReader.setContentHandler(handler)

Set the current ContentHandler. If no ContentHandler is set, content events will be discarded.

XMLReader.getDTDHandler()

Return the current DTDHandler.

XMLReader.setDTDHandler(handler)

Set the current DTDHandler. If no DTDHandler is set, DTD events will be discarded.

XMLReader.getEntityResolver()

Return the current EntityResolver.

XMLReader.setEntityResolver(handler)

Set the current EntityResolver. If no EntityResolver is set, attempts to resolve an external entity will result in opening the system identifier for the entity, and fail if it is not available.

XMLReader.getErrorHandler()

Return the current ErrorHandler.

XMLReader.setErrorHandler(handler)

Set the current error handler. If no ErrorHandler is set, errors will be raised as exceptions, and warnings will be printed.

XMLReader.setLocale(locale)

Allow an application to set the locale for errors and warnings.

SAX parsers are not required to provide localization for errors and warnings; if they cannot support the requested locale, however, they must raise a SAX exception. Applications may request a locale change in the middle of a parse.

XMLReader.getFeature(featurename)

Return the current setting for feature featurename. If the feature is not recognized, SAXNotRecognizedException is raised. The well-known featurenames are listed in the module xml.sax.handler.

XMLReader.setFeature(featurename, value)

Set the featurename to value. If the feature is not recognized, SAXNotRecognizedException is raised. If the feature or its setting is not supported by the parser, SAXNotSupportedException is raised.

XMLReader.getProperty(propertyname)

Return the current setting for property propertyname. If the property is not recognized, a SAXNotRecognizedException is raised. The well-known propertynames are listed in the module xml.sax.handler.

XMLReader.setProperty(propertyname, value)

Set the propertyname to value. If the property is not recognized, SAXNotRecognizedException is raised. If the property or its setting is not supported by the parser, SAXNotSupportedException is raised.

IncrementalParser Objects

Instances of IncrementalParser offer the following additional methods:

IncrementalParser.feed(data)

Process a chunk of data.

IncrementalParser.close()

Assume the end of the document. That will check well-formedness conditions that can be checked only at the end, invoke handlers, and may clean up resources allocated during parsing.

IncrementalParser.reset()

This method is called after close has been called to reset the parser so that it is ready to parse new documents. The results of calling parse or feed after close without calling reset are undefined.

Locator Objects

Instances of Locator provide these methods:

Locator.getColumnNumber()

Return the column number where the current event begins.

Locator.getLineNumber()

Return the line number where the current event begins.

Locator.getPublicId()

Return the public identifier for the current event.

Locator.getSystemId()

Return the system identifier for the current event.

InputSource Objects

InputSource.setPublicId(id)

Sets the public identifier of this InputSource.

InputSource.getPublicId()

Returns the public identifier of this InputSource.

InputSource.setSystemId(id)

Sets the system identifier of this InputSource.

InputSource.getSystemId()

Returns the system identifier of this InputSource.

InputSource.setEncoding(encoding)

Sets the character encoding of this InputSource.

The encoding must be a string acceptable for an XML encoding declaration (see section 4.3.3 of the XML recommendation).

The encoding attribute of the InputSource is ignored if the InputSource also contains a character stream.

InputSource.getEncoding()

Obtém a codificação de caracteres deste InputSource.

InputSource.setByteStream(bytefile)

Set the byte stream (a binary file) for this input source.

The SAX parser will ignore this if there is also a character stream specified, but it will use a byte stream in preference to opening a URI connection itself.

If the application knows the character encoding of the byte stream, it should set it with the setEncoding method.

InputSource.getByteStream()

Get the byte stream for this input source.

The getEncoding method will return the character encoding for this byte stream, or None if unknown.

InputSource.setCharacterStream(charfile)

Set the character stream (a text file) for this input source.

If there is a character stream specified, the SAX parser will ignore any byte stream and will not attempt to open a URI connection to the system identifier.

InputSource.getCharacterStream()

Get the character stream for this input source.

The Attributes Interface

Attributes objects implement a portion of the mapping protocol, including the methods copy(), get(), __contains__(), items(), keys(), and values(). The following methods are also provided:

Attributes.getLength()

Return the number of attributes.

Attributes.getNames()

Return the names of the attributes.

Attributes.getType(name)

Returns the type of the attribute name, which is normally 'CDATA'.

Attributes.getValue(name)

Return the value of attribute name.

The AttributesNS Interface

This interface is a subtype of the Attributes interface (see section The Attributes Interface). All methods supported by that interface are also available on AttributesNS objects.

The following methods are also available:

AttributesNS.getValueByQName(name)

Return the value for a qualified name.

AttributesNS.getNameByQName(name)

Return the (namespace, localname) pair for a qualified name.

AttributesNS.getQNameByName(name)

Return the qualified name for a (namespace, localname) pair.

AttributesNS.getQNames()

Return the qualified names of all attributes.

xml.parsers.expat — Fast XML parsing using Expat

Aviso

O módulo pyexpat não é seguro contra dados construídos de forma maliciosa. Se você precisa processar dados não-confiáveis ou sem autenticação, veja Vulnerabilidades em XML.

O módulo xml.parsers.expat é uma interface Python para o analisador XML sem validação do Expat. O módulo fornece um único tipo de extensão, xmlparser, que representa o estado atual de um analisador XML. Após um objeto xmlparser ter sido criado, vários atributos do objeto podem ser configurados para funções manipuladoras. Quando um documento XML é alimentado no analisador, as funções de tratamento são chamadas para os dados de caracteres e marcação no documento XML.

Este módulo usa o módulo pyexpat para fornecer acesso ao analisador sintático Expat. O uso direto do módulo pyexpat foi descontinuado.

Este módulo fornece uma exceção e um objeto de tipo:

exception xml.parsers.expat.ExpatError

A exceção levantada quando o Expat relata um erro. Veja a seção Exceções ExpatError para mais informações sobre como interpretar erros do Expat.

exception xml.parsers.expat.error

Apelido para ExpatError.

xml.parsers.expat.XMLParserType

O tipo dos valores de retorno da função ParserCreate().

O módulo xml.parsers.expat contém duas funções:

xml.parsers.expat.ErrorString(errno)

Retorna uma string explicativa para um determinado número de erro errno.

xml.parsers.expat.ParserCreate(encoding=None, namespace_separator=None)

Cria e retorna um novo objeto xmlparser. encoding, se especificado, deve ser uma string que nomeia a codificação usada pelos dados XML. Expat não provê tantas codificações quanto Python e seu repertório de codificações não pode ser estendido; provê UTF-8, UTF-16, ISO-8859-1 (Latin1) e ASCII. Se encoding [1] for fornecido, ele substituirá a codificação implícita ou explícita do documento.

Opcionalmente, o Expat pode fazer o processamento de espaço de nomes XML para você, habilitado ao fornecer um valor para namespace_separator. O valor deve ser uma string de um caractere; uma exceção ValueError será levantada se a string tiver um comprimento ilegal (None é considerado o mesmo que omissão). Quando o processamento de espaço de nomes estiver ativado, os nomes de tipos de elementos e nomes de atributos que pertencem a um espaço de nomes serão expandidos. O nome do elemento passado para os manipuladores de elemento StartElementHandler e EndElementHandler será a concatenação do URI do espaço de nomes, o caractere separador do espaço de nomes e a parte local do nome. Se o separador do espaço de nomes for um byte zero (chr(0)), então o URI do espaço de nomes e a parte local serão concatenados sem qualquer separador.

Por exemplo, se namespace_separator for definido como um caractere de espaço (' ') e o seguinte documento for analisado:

<?xml version="1.0"?>
<root xmlns    = "http://default-namespace.org/"
      xmlns:py = "http://www.python.org/ns/">
  <py:elem1 />
  <elem2 xmlns="" />
</root>

StartElementHandler receberá as seguintes strings para cada elemento:

http://default-namespace.org/ root
http://www.python.org/ns/ elem1
elem2

Devido a limitações na biblioteca Expat usada por pyexpat, a instância xmlparser retornada só pode ser usada para analisar um único documento XML. Chame ParserCreate para cada documento para fornecer instâncias exclusivas do analisador sintático.

Ver também

Expat, analisador sintático de XML [http://www.libexpat.org/]

Site do projeto Expat

Objetos XMLParser

xmlparser objects have the following methods:

xmlparser.Parse(data[, isfinal])

Parses the contents of the string data, calling the appropriate handler functions to process the parsed data. isfinal must be true on the final call to this method; it allows the parsing of a single file in fragments, not the submission of multiple files. data can be the empty string at any time.

xmlparser.ParseFile(file)

Parse XML data reading from the object file. file only needs to provide the read(nbytes) method, returning the empty string when there’s no more data.

xmlparser.SetBase(base)

Sets the base to be used for resolving relative URIs in system identifiers in declarations. Resolving relative identifiers is left to the application: this value will be passed through as the base argument to the ExternalEntityRefHandler(), NotationDeclHandler(), and UnparsedEntityDeclHandler() functions.

xmlparser.GetBase()

Returns a string containing the base set by a previous call to SetBase(), or None if SetBase() hasn’t been called.

xmlparser.GetInputContext()

Returns the input data that generated the current event as a string. The data is in the encoding of the entity which contains the text. When called while an event handler is not active, the return value is None.

xmlparser.ExternalEntityParserCreate(context[, encoding])

Create a “child” parser which can be used to parse an external parsed entity referred to by content parsed by the parent parser. The context parameter should be the string passed to the ExternalEntityRefHandler() handler function, described below. The child parser is created with the ordered_attributes and specified_attributes set to the values of this parser.

xmlparser.SetParamEntityParsing(flag)

Control parsing of parameter entities (including the external DTD subset). Possible flag values are XML_PARAM_ENTITY_PARSING_NEVER, XML_PARAM_ENTITY_PARSING_UNLESS_STANDALONE and XML_PARAM_ENTITY_PARSING_ALWAYS. Return true if setting the flag was successful.

xmlparser.UseForeignDTD([flag])

Calling this with a true value for flag (the default) will cause Expat to call the ExternalEntityRefHandler with None for all arguments to allow an alternate DTD to be loaded. If the document does not contain a document type declaration, the ExternalEntityRefHandler will still be called, but the StartDoctypeDeclHandler and EndDoctypeDeclHandler will not be called.

Passing a false value for flag will cancel a previous call that passed a true value, but otherwise has no effect.

This method can only be called before the Parse() or ParseFile() methods are called; calling it after either of those have been called causes ExpatError to be raised with the code attribute set to errors.codes[errors.XML_ERROR_CANT_CHANGE_FEATURE_ONCE_PARSING].

xmlparser.SetReparseDeferralEnabled(enabled)

Aviso

Calling SetReparseDeferralEnabled(False) has security implications, as detailed below; please make sure to understand these consequences prior to using the SetReparseDeferralEnabled method.

Expat 2.6.0 introduced a security mechanism called “reparse deferral” where instead of causing denial of service through quadratic runtime from reparsing large tokens, reparsing of unfinished tokens is now delayed by default until a sufficient amount of input is reached. Due to this delay, registered handlers may — depending of the sizing of input chunks pushed to Expat — no longer be called right after pushing new input to the parser. Where immediate feedback and taking over responsibility of protecting against denial of service from large tokens are both wanted, calling SetReparseDeferralEnabled(False) disables reparse deferral for the current Expat parser instance, temporarily or altogether. Calling SetReparseDeferralEnabled(True) allows re-enabling reparse deferral.

Note that SetReparseDeferralEnabled() has been backported to some prior releases of CPython as a security fix. Check for availability of SetReparseDeferralEnabled() using hasattr() if used in code running across a variety of Python versions.

Adicionado na versão 3.13.

xmlparser.GetReparseDeferralEnabled()

Returns whether reparse deferral is currently enabled for the given Expat parser instance.

Adicionado na versão 3.13.

xmlparser objects have the following attributes:

xmlparser.buffer_size

The size of the buffer used when buffer_text is true. A new buffer size can be set by assigning a new integer value to this attribute. When the size is changed, the buffer will be flushed.

xmlparser.buffer_text

Setting this to true causes the xmlparser object to buffer textual content returned by Expat to avoid multiple calls to the CharacterDataHandler() callback whenever possible. This can improve performance substantially since Expat normally breaks character data into chunks at every line ending. This attribute is false by default, and may be changed at any time. Note that when it is false, data that does not contain newlines may be chunked too.

xmlparser.buffer_used

If buffer_text is enabled, the number of bytes stored in the buffer. These bytes represent UTF-8 encoded text. This attribute has no meaningful interpretation when buffer_text is false.

xmlparser.ordered_attributes

Setting this attribute to a non-zero integer causes the attributes to be reported as a list rather than a dictionary. The attributes are presented in the order found in the document text. For each attribute, two list entries are presented: the attribute name and the attribute value. (Older versions of this module also used this format.) By default, this attribute is false; it may be changed at any time.

xmlparser.specified_attributes

If set to a non-zero integer, the parser will report only those attributes which were specified in the document instance and not those which were derived from attribute declarations. Applications which set this need to be especially careful to use what additional information is available from the declarations as needed to comply with the standards for the behavior of XML processors. By default, this attribute is false; it may be changed at any time.

The following attributes contain values relating to the most recent error encountered by an xmlparser object, and will only have correct values once a call to Parse() or ParseFile() has raised an xml.parsers.expat.ExpatError exception.

xmlparser.ErrorByteIndex

Byte index at which an error occurred.

xmlparser.ErrorCode

Numeric code specifying the problem. This value can be passed to the ErrorString() function, or compared to one of the constants defined in the errors object.

xmlparser.ErrorColumnNumber

Column number at which an error occurred.

xmlparser.ErrorLineNumber

Line number at which an error occurred.

The following attributes contain values relating to the current parse location in an xmlparser object. During a callback reporting a parse event they indicate the location of the first of the sequence of characters that generated the event. When called outside of a callback, the position indicated will be just past the last parse event (regardless of whether there was an associated callback).

xmlparser.CurrentByteIndex

Current byte index in the parser input.

xmlparser.CurrentColumnNumber

Current column number in the parser input.

xmlparser.CurrentLineNumber

Current line number in the parser input.

Here is the list of handlers that can be set. To set a handler on an xmlparser object o, use o.handlername = func. handlername must be taken from the following list, and func must be a callable object accepting the correct number of arguments. The arguments are all strings, unless otherwise stated.

xmlparser.XmlDeclHandler(version, encoding, standalone)

Called when the XML declaration is parsed. The XML declaration is the (optional) declaration of the applicable version of the XML recommendation, the encoding of the document text, and an optional “standalone” declaration. version and encoding will be strings, and standalone will be 1 if the document is declared standalone, 0 if it is declared not to be standalone, or -1 if the standalone clause was omitted. This is only available with Expat version 1.95.0 or newer.

xmlparser.StartDoctypeDeclHandler(doctypeName, systemId, publicId, has_internal_subset)

Called when Expat begins parsing the document type declaration (<!DOCTYPE ...). The doctypeName is provided exactly as presented. The systemId and publicId parameters give the system and public identifiers if specified, or None if omitted. has_internal_subset will be true if the document contains and internal document declaration subset. This requires Expat version 1.2 or newer.

xmlparser.EndDoctypeDeclHandler()

Called when Expat is done parsing the document type declaration. This requires Expat version 1.2 or newer.

xmlparser.ElementDeclHandler(name, model)

Called once for each element type declaration. name is the name of the element type, and model is a representation of the content model.

xmlparser.AttlistDeclHandler(elname, attname, type, default, required)

Called for each declared attribute for an element type. If an attribute list declaration declares three attributes, this handler is called three times, once for each attribute. elname is the name of the element to which the declaration applies and attname is the name of the attribute declared. The attribute type is a string passed as type; the possible values are 'CDATA', 'ID', 'IDREF', … default gives the default value for the attribute used when the attribute is not specified by the document instance, or None if there is no default value (#IMPLIED values). If the attribute is required to be given in the document instance, required will be true. This requires Expat version 1.95.0 or newer.

xmlparser.StartElementHandler(name, attributes)

Called for the start of every element. name is a string containing the element name, and attributes is the element attributes. If ordered_attributes is true, this is a list (see ordered_attributes for a full description). Otherwise it’s a dictionary mapping names to values.

xmlparser.EndElementHandler(name)

Called for the end of every element.

xmlparser.ProcessingInstructionHandler(target, data)

Called for every processing instruction.

xmlparser.CharacterDataHandler(data)

Called for character data. This will be called for normal character data, CDATA marked content, and ignorable whitespace. Applications which must distinguish these cases can use the StartCdataSectionHandler, EndCdataSectionHandler, and ElementDeclHandler callbacks to collect the required information. Note that the character data may be chunked even if it is short and so you may receive more than one call to CharacterDataHandler(). Set the buffer_text instance attribute to True to avoid that.

xmlparser.UnparsedEntityDeclHandler(entityName, base, systemId, publicId, notationName)

Called for unparsed (NDATA) entity declarations. This is only present for version 1.2 of the Expat library; for more recent versions, use EntityDeclHandler instead. (The underlying function in the Expat library has been declared obsolete.)

xmlparser.EntityDeclHandler(entityName, is_parameter_entity, value, base, systemId, publicId, notationName)

Called for all entity declarations. For parameter and internal entities, value will be a string giving the declared contents of the entity; this will be None for external entities. The notationName parameter will be None for parsed entities, and the name of the notation for unparsed entities. is_parameter_entity will be true if the entity is a parameter entity or false for general entities (most applications only need to be concerned with general entities). This is only available starting with version 1.95.0 of the Expat library.

xmlparser.NotationDeclHandler(notationName, base, systemId, publicId)

Called for notation declarations. notationName, base, and systemId, and publicId are strings if given. If the public identifier is omitted, publicId will be None.

xmlparser.StartNamespaceDeclHandler(prefix, uri)

Called when an element contains a namespace declaration. Namespace declarations are processed before the StartElementHandler is called for the element on which declarations are placed.

xmlparser.EndNamespaceDeclHandler(prefix)

Called when the closing tag is reached for an element that contained a namespace declaration. This is called once for each namespace declaration on the element in the reverse of the order for which the StartNamespaceDeclHandler was called to indicate the start of each namespace declaration’s scope. Calls to this handler are made after the corresponding EndElementHandler for the end of the element.

xmlparser.CommentHandler(data)

Called for comments. data is the text of the comment, excluding the leading '<!--' and trailing '-->'.

xmlparser.StartCdataSectionHandler()

Called at the start of a CDATA section. This and EndCdataSectionHandler are needed to be able to identify the syntactical start and end for CDATA sections.

xmlparser.EndCdataSectionHandler()

Called at the end of a CDATA section.

xmlparser.DefaultHandler(data)

Called for any characters in the XML document for which no applicable handler has been specified. This means characters that are part of a construct which could be reported, but for which no handler has been supplied.

xmlparser.DefaultHandlerExpand(data)

This is the same as the DefaultHandler(), but doesn’t inhibit expansion of internal entities. The entity reference will not be passed to the default handler.

xmlparser.NotStandaloneHandler()

Called if the XML document hasn’t been declared as being a standalone document. This happens when there is an external subset or a reference to a parameter entity, but the XML declaration does not set standalone to yes in an XML declaration. If this handler returns 0, then the parser will raise an XML_ERROR_NOT_STANDALONE error. If this handler is not set, no exception is raised by the parser for this condition.

xmlparser.ExternalEntityRefHandler(context, base, systemId, publicId)

Called for references to external entities. base is the current base, as set by a previous call to SetBase(). The public and system identifiers, systemId and publicId, are strings if given; if the public identifier is not given, publicId will be None. The context value is opaque and should only be used as described below.

For external entities to be parsed, this handler must be implemented. It is responsible for creating the sub-parser using ExternalEntityParserCreate(context), initializing it with the appropriate callbacks, and parsing the entity. This handler should return an integer; if it returns 0, the parser will raise an XML_ERROR_EXTERNAL_ENTITY_HANDLING error, otherwise parsing will continue.

If this handler is not provided, external entities are reported by the DefaultHandler callback, if provided.

Exceções ExpatError

ExpatError exceptions have a number of interesting attributes:

ExpatError.code

Expat’s internal error number for the specific error. The errors.messages dictionary maps these error numbers to Expat’s error messages. For example:

from xml.parsers.expat import ParserCreate, ExpatError, errors

p = ParserCreate()
try:
    p.Parse(some_xml_document)
except ExpatError as err:
    print("Error:", errors.messages[err.code])

The errors module also provides error message constants and a dictionary codes mapping these messages back to the error codes, see below.

ExpatError.lineno

Line number on which the error was detected. The first line is numbered 1.

ExpatError.offset

Character offset into the line where the error occurred. The first column is numbered 0.

Exemplo

The following program defines three handlers that just print out their arguments.

import xml.parsers.expat

# 3 handler functions
def start_element(name, attrs):
    print('Start element:', name, attrs)
def end_element(name):
    print('End element:', name)
def char_data(data):
    print('Character data:', repr(data))

p = xml.parsers.expat.ParserCreate()

p.StartElementHandler = start_element
p.EndElementHandler = end_element
p.CharacterDataHandler = char_data

p.Parse("""<?xml version="1.0"?>
<parent id="top"><child1 name="paul">Text goes here</child1>
<child2 name="fred">More text</child2>
</parent>""", 1)

The output from this program is:

Start element: parent {'id': 'top'}
Start element: child1 {'name': 'paul'}
Character data: 'Text goes here'
End element: child1
Character data: '\n'
Start element: child2 {'name': 'fred'}
Character data: 'More text'
End element: child2
Character data: '\n'
End element: parent

Content Model Descriptions

Content models are described using nested tuples. Each tuple contains four values: the type, the quantifier, the name, and a tuple of children. Children are simply additional content model descriptions.

The values of the first two fields are constants defined in the xml.parsers.expat.model module. These constants can be collected in two groups: the model type group and the quantifier group.

The constants in the model type group are:

xml.parsers.expat.model.XML_CTYPE_ANY

The element named by the model name was declared to have a content model of ANY.

xml.parsers.expat.model.XML_CTYPE_CHOICE

The named element allows a choice from a number of options; this is used for content models such as (A | B | C).

xml.parsers.expat.model.XML_CTYPE_EMPTY

Elements which are declared to be EMPTY have this model type.

xml.parsers.expat.model.XML_CTYPE_MIXED

xml.parsers.expat.model.XML_CTYPE_NAME

xml.parsers.expat.model.XML_CTYPE_SEQ

Models which represent a series of models which follow one after the other are indicated with this model type. This is used for models such as (A, B, C).

The constants in the quantifier group are:

xml.parsers.expat.model.XML_CQUANT_NONE

No modifier is given, so it can appear exactly once, as for A.

xml.parsers.expat.model.XML_CQUANT_OPT

The model is optional: it can appear once or not at all, as for A?.

xml.parsers.expat.model.XML_CQUANT_PLUS

The model must occur one or more times (like A+).

xml.parsers.expat.model.XML_CQUANT_REP

The model must occur zero or more times, as for A*.

Expat error constants

The following constants are provided in the xml.parsers.expat.errors module. These constants are useful in interpreting some of the attributes of the ExpatError exception objects raised when an error has occurred. Since for backwards compatibility reasons, the constants’ value is the error message and not the numeric error code, you do this by comparing its code attribute with errors.codes[errors.XML_ERROR_CONSTANT_NAME].

The errors module has the following attributes:

xml.parsers.expat.errors.codes

A dictionary mapping string descriptions to their error codes.

Adicionado na versão 3.2.

xml.parsers.expat.errors.messages

A dictionary mapping numeric error codes to their string descriptions.

Adicionado na versão 3.2.

xml.parsers.expat.errors.XML_ERROR_ASYNC_ENTITY

xml.parsers.expat.errors.XML_ERROR_ATTRIBUTE_EXTERNAL_ENTITY_REF

An entity reference in an attribute value referred to an external entity instead of an internal entity.

xml.parsers.expat.errors.XML_ERROR_BAD_CHAR_REF

A character reference referred to a character which is illegal in XML (for example, character 0, or ‘&#0;’).

xml.parsers.expat.errors.XML_ERROR_BINARY_ENTITY_REF

An entity reference referred to an entity which was declared with a notation, so cannot be parsed.

xml.parsers.expat.errors.XML_ERROR_DUPLICATE_ATTRIBUTE

An attribute was used more than once in a start tag.

xml.parsers.expat.errors.XML_ERROR_INCORRECT_ENCODING

xml.parsers.expat.errors.XML_ERROR_INVALID_TOKEN

Raised when an input byte could not properly be assigned to a character; for example, a NUL byte (value 0) in a UTF-8 input stream.

xml.parsers.expat.errors.XML_ERROR_JUNK_AFTER_DOC_ELEMENT

Something other than whitespace occurred after the document element.

xml.parsers.expat.errors.XML_ERROR_MISPLACED_XML_PI

An XML declaration was found somewhere other than the start of the input data.

xml.parsers.expat.errors.XML_ERROR_NO_ELEMENTS

The document contains no elements (XML requires all documents to contain exactly one top-level element)..

xml.parsers.expat.errors.XML_ERROR_NO_MEMORY

Expat was not able to allocate memory internally.

xml.parsers.expat.errors.XML_ERROR_PARAM_ENTITY_REF

A parameter entity reference was found where it was not allowed.

xml.parsers.expat.errors.XML_ERROR_PARTIAL_CHAR

An incomplete character was found in the input.

xml.parsers.expat.errors.XML_ERROR_RECURSIVE_ENTITY_REF

An entity reference contained another reference to the same entity; possibly via a different name, and possibly indirectly.

xml.parsers.expat.errors.XML_ERROR_SYNTAX

Some unspecified syntax error was encountered.

xml.parsers.expat.errors.XML_ERROR_TAG_MISMATCH

An end tag did not match the innermost open start tag.

xml.parsers.expat.errors.XML_ERROR_UNCLOSED_TOKEN

Some token (such as a start tag) was not closed before the end of the stream or the next token was encountered.

xml.parsers.expat.errors.XML_ERROR_UNDEFINED_ENTITY

A reference was made to an entity which was not defined.

xml.parsers.expat.errors.XML_ERROR_UNKNOWN_ENCODING

The document encoding is not supported by Expat.

xml.parsers.expat.errors.XML_ERROR_UNCLOSED_CDATA_SECTION

A CDATA marked section was not closed.

xml.parsers.expat.errors.XML_ERROR_EXTERNAL_ENTITY_HANDLING

xml.parsers.expat.errors.XML_ERROR_NOT_STANDALONE

The parser determined that the document was not “standalone” though it declared itself to be in the XML declaration, and the NotStandaloneHandler was set and returned 0.

xml.parsers.expat.errors.XML_ERROR_UNEXPECTED_STATE

xml.parsers.expat.errors.XML_ERROR_ENTITY_DECLARED_IN_PE

xml.parsers.expat.errors.XML_ERROR_FEATURE_REQUIRES_XML_DTD

An operation was requested that requires DTD support to be compiled in, but Expat was configured without DTD support. This should never be reported by a standard build of the xml.parsers.expat module.

xml.parsers.expat.errors.XML_ERROR_CANT_CHANGE_FEATURE_ONCE_PARSING

A behavioral change was requested after parsing started that can only be changed before parsing has started. This is (currently) only raised by UseForeignDTD().

xml.parsers.expat.errors.XML_ERROR_UNBOUND_PREFIX

An undeclared prefix was found when namespace processing was enabled.

xml.parsers.expat.errors.XML_ERROR_UNDECLARING_PREFIX

The document attempted to remove the namespace declaration associated with a prefix.

xml.parsers.expat.errors.XML_ERROR_INCOMPLETE_PE

A parameter entity contained incomplete markup.

xml.parsers.expat.errors.XML_ERROR_XML_DECL

The document contained no document element at all.

xml.parsers.expat.errors.XML_ERROR_TEXT_DECL

There was an error parsing a text declaration in an external entity.

xml.parsers.expat.errors.XML_ERROR_PUBLICID

Characters were found in the public id that are not allowed.

xml.parsers.expat.errors.XML_ERROR_SUSPENDED

The requested operation was made on a suspended parser, but isn’t allowed. This includes attempts to provide additional input or to stop the parser.

xml.parsers.expat.errors.XML_ERROR_NOT_SUSPENDED

An attempt to resume the parser was made when the parser had not been suspended.

xml.parsers.expat.errors.XML_ERROR_ABORTED

This should not be reported to Python applications.

xml.parsers.expat.errors.XML_ERROR_FINISHED

The requested operation was made on a parser which was finished parsing input, but isn’t allowed. This includes attempts to provide additional input or to stop the parser.

xml.parsers.expat.errors.XML_ERROR_SUSPEND_PE

xml.parsers.expat.errors.XML_ERROR_RESERVED_PREFIX_XML

An attempt was made to undeclare reserved namespace prefix xml or to bind it to another namespace URI.

xml.parsers.expat.errors.XML_ERROR_RESERVED_PREFIX_XMLNS

An attempt was made to declare or undeclare reserved namespace prefix xmlns.

xml.parsers.expat.errors.XML_ERROR_RESERVED_NAMESPACE_URI

An attempt was made to bind the URI of one the reserved namespace prefixes xml and xmlns to another namespace prefix.

xml.parsers.expat.errors.XML_ERROR_INVALID_ARGUMENT

This should not be reported to Python applications.

xml.parsers.expat.errors.XML_ERROR_NO_BUFFER

This should not be reported to Python applications.

xml.parsers.expat.errors.XML_ERROR_AMPLIFICATION_LIMIT_BREACH

The limit on input amplification factor (from DTD and entities) has been breached.

Notas de rodapé

[1]

The encoding string included in XML output should conform to the appropriate standards. For example, “UTF-8” is valid, but “UTF8” is not. See https://www.w3.org/TR/2006/REC-xml11-20060816/#NT-EncodingDecl and https://www.iana.org/assignments/character-sets/character-sets.xhtml.

Protocolos de Internet e Suporte

Os módulos descritos neste capítulo implementam protocolos de internet e suporte para tecnologia relacionada. Todos eles são implementados em Python. A maioria desses módulos requer a presença do módulo dependente do sistema socket, que atualmente é suportado na maioria das plataformas populares. Segue uma visão geral:

webbrowser — Convenient web-browser controller

Error

open()

open_new()

open_new_tab()

get()

register()

Browser Controller Objects

name

open()

open_new()

open_new_tab()

wsgiref — WSGI Utilities and Reference Implementation

wsgiref.util – Utilidades do ambiente WSGI

guess_scheme()

request_uri()

application_uri()

shift_path_info()

setup_testing_defaults()

is_hop_by_hop()

FileWrapper

wsgiref.headers – WSGI response header tools

Headers

get_all()

add_header()

wsgiref.simple_server – a simple WSGI HTTP server

make_server()

demo_app()

WSGIServer

set_app()

get_app()

WSGIRequestHandler

get_environ()

get_stderr()

handle()

wsgiref.validate — WSGI conformance checker

validator()

wsgiref.handlers – server/gateway base classes

CGIHandler

IISCGIHandler

BaseCGIHandler

SimpleHandler

BaseHandler

run()

_write()

_flush()

get_stdin()

get_stderr()

add_cgi_vars()

wsgi_multithread

wsgi_multiprocess

wsgi_run_once

os_environ

server_software

get_scheme()

setup_environ()

log_exception()

traceback_limit

error_output()

error_status

error_headers

error_body

wsgi_file_wrapper

sendfile()

origin_server

http_version

read_environ()

wsgiref.types – WSGI types for static type checking

StartResponse

WSGIEnvironment

WSGIApplication

InputStream

ErrorStream

FileWrapper

Exemplos

urllib — Módulos de manipulação de URL

urllib.request — Extensible library for opening URLs

urlopen()

install_opener()

build_opener()

pathname2url()

url2pathname()

getproxies()

Request

OpenerDirector

BaseHandler

HTTPDefaultErrorHandler

HTTPRedirectHandler

HTTPCookieProcessor

ProxyHandler

HTTPPasswordMgr

HTTPPasswordMgrWithDefaultRealm

HTTPPasswordMgrWithPriorAuth

AbstractBasicAuthHandler

HTTPBasicAuthHandler

ProxyBasicAuthHandler

AbstractDigestAuthHandler

HTTPDigestAuthHandler

ProxyDigestAuthHandler

HTTPHandler

HTTPSHandler

FileHandler

DataHandler

FTPHandler

CacheFTPHandler

UnknownHandler

HTTPErrorProcessor

Objeto Request

full_url

type

host

origin_req_host

selector

data

unverifiable

method

get_method()

add_header()

add_unredirected_header()

has_header()

remove_header()

get_full_url()

set_proxy()

get_header()

header_items()

OpenerDirector Objects

add_handler()

open()

error()

BaseHandler Objects

add_parent()

close()

parent

default_open()

unknown_open()

http_error_default()

HTTPRedirectHandler Objects

redirect_request()

http_error_301()

http_error_302()

http_error_303()

http_error_307()

http_error_308()

HTTPCookieProcessor Objects

cookiejar

ProxyHandler Objects

HTTPPasswordMgr Objects

add_password()

find_user_password()

HTTPPasswordMgrWithPriorAuth Objects

add_password()

find_user_password()

update_authenticated()

is_authenticated()

AbstractBasicAuthHandler Objects

http_error_auth_reqed()

HTTPBasicAuthHandler Objects

http_error_401()

ProxyBasicAuthHandler Objects

http_error_407()

AbstractDigestAuthHandler Objects

http_error_auth_reqed()

HTTPDigestAuthHandler Objects

http_error_401()

ProxyDigestAuthHandler Objects

http_error_407()

HTTPHandler Objects

http_open()

Objetos HTTPSHandler

https_open()

FileHandler Objects

file_open()

DataHandler Objects

data_open()

FTPHandler Objects

ftp_open()

CacheFTPHandler Objects

setTimeout()

setMaxConns()

Objetos UnknownHandler

unknown_open()

HTTPErrorProcessor Objects

http_response()

https_response()

Exemplos

Legacy interface

urlretrieve()

urlcleanup()

URLopener

open()

open_unknown()

retrieve()

version

FancyURLopener

prompt_user_passwd()

urllib.request Restrictions

urllib.response — Response classes used by urllib

addinfourl

url

headers

status

geturl()

info()

code

getcode()

urllib.parse — Analisa URLs para componentes

Análise de URL

urlparse()

parse_qs()

parse_qsl()

urlunparse()

urlsplit()

urlunsplit()

urljoin()

urldefrag()

unwrap()

Segurança ao analisar URLs

Analisando bytes codificados em ASCII

Structured Parse Results

geturl()

DefragResult

ParseResult

SplitResult

DefragResultBytes

ParseResultBytes

SplitResultBytes

URL Quoting

quote()

quote_plus()

quote_from_bytes()

unquote()

unquote_plus()

unquote_to_bytes()

urlencode()

urllib.error — Classes de exceção levantadas por urllib.request

URLError

reason

HTTPError

url

code

reason

headers

fp

ContentTooShortError

content

urllib.robotparser — Parser for robots.txt

RobotFileParser

set_url()

read()

parse()

can_fetch()

mtime()

modified()

crawl_delay()

request_rate()

site_maps()

http — HTTP modules

HTTPStatus

códigos de status HTTP

Categorias de HTTP status

HTTPMethod

Métodos HTTP

http.client — HTTP protocol client

HTTPConnection

HTTPSConnection

HTTPResponse

parse_headers()

HTTPException

NotConnected

InvalidURL

UnknownProtocol

UnknownTransferEncoding

UnimplementedFileMode

IncompleteRead

ImproperConnectionState

CannotSendRequest

CannotSendHeader

ResponseNotReady

BadStatusLine

LineTooLong

RemoteDisconnected

HTTP_PORT

HTTPS_PORT

responses

Objetos de HTTPConnection

request()

getresponse()

set_debuglevel()

set_tunnel()

get_proxy_response_headers()

connect()

close()

blocksize

putrequest()

putheader()

endheaders()

send()

Objetos HTTPResponse

read()

readinto()

getheader()

getheaders()

fileno()

msg

version

url

headers

status

reason

debuglevel

closed

geturl()

info()

getcode()

Exemplos

HTTPMessage Objects

HTTPMessage

ftplib — FTP protocol client

Referência

FTP objects

FTP

set_debuglevel()

connect()

getwelcome()

login()

abort()

sendcmd()

voidcmd()

retrbinary()

retrlines()

set_pasv()

storbinary()

storlines()

transfercmd()

ntransfercmd()

mlsd()

nlst()

dir()

rename()

delete()

cwd()

mkd()

pwd()

rmd()

size()

quit()

close()

FTP_TLS objects

FTP_TLS

ssl_version

auth()

ccc()

prot_p()

prot_c()

Module variables

error_reply

error_temp

error_perm

error_proto

all_errors

poplib — POP3 protocol client

POP3

POP3_SSL

error_proto

Objetos POP3

set_debuglevel()

getwelcome()

capa()

user()

pass_()

apop()

rpop()

stat()

list()

retr()

dele()

rset()

noop()

quit()

top()

uidl()

utf8()

stls()

Exemplo POP3

imaplib — IMAP4 protocol client

IMAP4

error

abort

readonly

IMAP4_SSL

IMAP4_stream

Internaldate2tuple()

Int2AP()

ParseFlags()

Time2Internaldate()

Objetos IMAP4

append()

authenticate()

check()

close()

copy()

create()

delete()

deleteacl()

enable()

expunge()

fetch()

getacl()

getannotation()

getquota()

getquotaroot()

list()

login()

login_cram_md5()

logout()

lsub()

myrights()

namespace()

noop()

open()

partial()

proxyauth()

read()

readline()

recent()

rename()

response()

search()

select()

send()

setacl()

setannotation()

setquota()

shutdown()

socket()

sort()

starttls()

status()

store()

subscribe()

thread()

uid()

unsubscribe()

unselect()

xatom()

PROTOCOL_VERSION

debug

utf8_enabled

Exemplo IMAP4

smtplib — SMTP protocol client

SMTP

SMTP_SSL

LMTP

SMTPException

SMTPServerDisconnected

SMTPResponseException

SMTPSenderRefused

SMTPRecipientsRefused

SMTPDataError

SMTPConnectError

SMTPHeloError

SMTPNotSupportedError

SMTPAuthenticationError

Objetos SMTP

set_debuglevel()

docmd()

connect()

helo()

ehlo()

ehlo_or_helo_if_needed()

has_extn()

verify()

login()

auth()

starttls()

sendmail()

send_message()

quit()

Exemplo SMTP

uuid — UUID objects according to RFC 4122

SafeUUID

safe

unsafe

unknown

UUID

bytes

bytes_le

fields

time_low

time_mid

time_hi_version

clock_seq_hi_variant

clock_seq_low

node

time

clock_seq

hex

int

urn

variant

version

is_safe

getnode()

uuid1()

uuid3()

uuid4()

uuid5()

NAMESPACE_DNS

NAMESPACE_URL

NAMESPACE_OID

NAMESPACE_X500

RESERVED_NCS

RFC_4122

RESERVED_MICROSOFT

RESERVED_FUTURE

Uso na linha de comando

Exemplo

Command-Line Example

socketserver — A framework for network servers

TCPServer

UDPServer

UnixStreamServer

UnixDatagramServer

Server Creation Notes

ForkingMixIn

ThreadingMixIn

block_on_close

daemon_threads

ForkingTCPServer

ForkingUDPServer

ThreadingTCPServer

ThreadingUDPServer

ForkingUnixStreamServer

ForkingUnixDatagramServer

ThreadingUnixStreamServer

ThreadingUnixDatagramServer

Objetos Server

BaseServer

fileno()

handle_request()

serve_forever()

service_actions()

shutdown()

server_close()

address_family

RequestHandlerClass

server_address

socket

allow_reuse_address

request_queue_size

socket_type

timeout

finish_request()

get_request()

handle_error()

handle_timeout()

process_request()

server_activate()

server_bind()

verify_request()

Request Handler Objects

BaseRequestHandler

setup()

handle()

finish()

request

client_address

server

StreamRequestHandler

DatagramRequestHandler

rfile

wfile

Exemplos

socketserver.TCPServer Example

Exemplo socketserver.UDPServer

Asynchronous Mixins

http.server — HTTP servers

HTTPServer

ThreadingHTTPServer

BaseHTTPRequestHandler

client_address

server

close_connection

requestline

command

path

request_version

headers

rfile

wfile

server_version

sys_version

error_message_format

error_content_type

protocol_version

MessageClass

responses

handle()

handle_one_request()

handle_expect_100()

send_error()

send_response()

send_header()

send_response_only()

end_headers()

flush_headers()

log_request()

log_error()

log_message()

version_string()

date_time_string()

log_date_time_string()

address_string()

SimpleHTTPRequestHandler

server_version

extensions_map

do_HEAD()

do_GET()

CGIHTTPRequestHandler

cgi_directories

do_POST()

Considerações de segurança

http.cookies — HTTP state management

CookieError

BaseCookie

SimpleCookie

Objetos Cookie

value_decode()

value_encode()

output()

js_output()

load()

Objetos Morsel

Morsel

expires

path

comment

domain

secure

version

httponly

samesite

value

coded_value

key

set()

isReservedKey()

output()

js_output()

OutputString()

update()

copy()

setdefault()

Exemplo

http.cookiejar — Cookie handling for HTTP clients

LoadError

CookieJar

FileCookieJar

CookiePolicy

DefaultCookiePolicy

Cookie

CookieJar and FileCookieJar Objects

add_cookie_header()

extract_cookies()

set_policy()

make_cookies()

set_cookie_if_ok()

set_cookie()

clear()

clear_session_cookies()

save()

load()

revert()

filename

delayload

FileCookieJar subclasses and co-operation with web browsers

MozillaCookieJar

LWPCookieJar

Objeto CookiePolicy

set_ok()

return_ok()

domain_return_ok()

path_return_ok()

netscape

rfc2965

hide_cookie2

DefaultCookiePolicy Objects

blocked_domains()

set_blocked_domains()

is_blocked()

allowed_domains()

set_allowed_domains()

is_not_allowed()

rfc2109_as_netscape

strict_domain

strict_rfc2965_unverifiable

strict_ns_unverifiable

strict_ns_domain

strict_ns_set_initial_dollar

strict_ns_set_path

DomainStrictNoDots

DomainStrictNonDomain

DomainRFC2965Match

DomainLiberal

DomainStrict

Objetos Cookie

version

name

value

port

domain

path

secure

expires

discard

comment

comment_url

rfc2109

port_specified

domain_specified

domain_initial_dot

has_nonstandard_attr()

get_nonstandard_attr()

set_nonstandard_attr()

is_expired()

Exemplos

xmlrpc — Módulos de servidor e cliente XMLRPC

xmlrpc.client — Cliente XML-RPC

ServerProxy

Objetos ServerProxy

listMethods()

methodSignature()

methodHelp()

Objetos DateTime

DateTime

decode()

encode()

Objetos Binários

Binary

data

decode()

encode()

Objetos Fault

Fault

faultCode

faultString

Objetos ProtocolError

ProtocolError

url

errcode

errmsg

headers

Objetos MultiCall

MultiCall

Convenience Functions

dumps()

loads()

Exemplo de uso do cliente

Example of Client and Server Usage

xmlrpc.server — Servidores XML-RPC básicos

SimpleXMLRPCServer

CGIXMLRPCRequestHandler

SimpleXMLRPCRequestHandler

Objetos de SimpleXMLRPCServer

register_function()

register_instance()

register_introspection_functions()

register_multicall_functions()

rpc_paths

Exemplo de SimpleXMLRPCServer

CGIXMLRPCRequestHandler

register_function()

register_instance()

register_introspection_functions()

register_multicall_functions()

handle_request()

Documentando servidor XMLRPC

DocXMLRPCServer

DocCGIXMLRPCRequestHandler

DocXMLRPCRequestHandler

Objetos de DocXMLRPCServer

set_server_title()

set_server_name()

set_server_documentation()

DocCGIXMLRPCRequestHandler

set_server_title()

set_server_name()

set_server_documentation()

ipaddress — Biblioteca de manipulação de IPv4/IPv6

Funções de fábrica de conveniência

ip_address()

ip_network()

ip_interface()

Endereços IP

Objetos de endereço

IPv4Address

version

max_prefixlen

compressed

exploded

packed

reverse_pointer

is_multicast

is_private

is_global

is_unspecified

is_reserved

is_loopback

is_link_local

ipv6_mapped

__format__()

IPv6Address

compressed

exploded

packed

reverse_pointer

version

max_prefixlen

is_multicast

is_private

is_global

is_unspecified

is_reserved

is_loopback

is_link_local

is_site_local

ipv4_mapped

scope_id

sixtofour

teredo

__format__()

Conversão para strings e inteiros

Operadores

Operadores de comparação

Operadores aritméticos

Definições de rede IP

Prefixo, máscara de rede e máscara de host

Objetos de rede

IPv4Network

version

max_prefixlen

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

network_address

broadcast_address

hostmask

netmask

with_prefixlen

compressed

exploded

with_netmask

with_hostmask

num_addresses

prefixlen

hosts()

overlaps()

address_exclude()

subnets()

supernet()

subnet_of()

supernet_of()

compare_networks()

IPv6Network

version

max_prefixlen

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

network_address

broadcast_address

hostmask

netmask

with_prefixlen

compressed

exploded

with_netmask

with_hostmask

num_addresses

prefixlen

hosts()

overlaps()

address_exclude()

subnets()

supernet()

subnet_of()

supernet_of()

compare_networks()

is_site_local

Operadores

Operadores lógicos

Iteração

Redes como contêineres de endereços

Objetos de interface

IPv4Interface

ip

network

with_prefixlen

with_netmask

with_hostmask

IPv6Interface

ip

network

with_prefixlen

with_netmask

with_hostmask

Operadores

Operadores lógicos

Outras funções de nível de módulo

v4_int_to_packed()

v6_int_to_packed()

summarize_address_range()

collapse_addresses()

get_mixed_type_key()

Exceções personalizadas

AddressValueError

NetmaskValueError

webbrowser — Convenient web-browser controller

Código-fonte: Lib/webbrowser.py [https://github.com/python/cpython/tree/3.13/Lib/webbrowser.py]

The webbrowser module provides a high-level interface to allow displaying web-based documents to users. Under most circumstances, simply calling the open() function from this module will do the right thing.

Under Unix, graphical browsers are preferred under X11, but text-mode browsers will be used if graphical browsers are not available or an X11 display isn’t available. If text-mode browsers are used, the calling process will block until the user exits the browser.

If the environment variable BROWSER exists, it is interpreted as the os.pathsep-separated list of browsers to try ahead of the platform defaults. When the value of a list part contains the string %s, then it is interpreted as a literal browser command line to be used with the argument URL substituted for %s; if the part does not contain %s, it is simply interpreted as the name of the browser to launch. [1]

For non-Unix platforms, or when a remote browser is available on Unix, the controlling process will not wait for the user to finish with the browser, but allow the remote browser to maintain its own windows on the display. If remote browsers are not available on Unix, the controlling process will launch a new browser and wait.

On iOS, the BROWSER environment variable, as well as any arguments controlling autoraise, browser preference, and new tab/window creation will be ignored. Web pages will always be opened in the user’s preferred browser, in a new tab, with the browser being brought to the foreground. The use of the webbrowser module on iOS requires the ctypes module. If ctypes isn’t available, calls to open() will fail.

The script webbrowser can be used as a command-line interface for the module. It accepts a URL as the argument. It accepts the following optional parameters:

-n/--new-window opens the URL in a new browser window, if possible.

-t/--new-tab opens the URL in a new browser page (“tab”).

The options are, naturally, mutually exclusive. Usage example:

python -m webbrowser -t "https://www.python.org"

Disponibilidade

The following exception is defined:

exception webbrowser.Error

Exception raised when a browser control error occurs.

As seguintes funções estão definidas:

webbrowser.open(url, new=0, autoraise=True)

Display url using the default browser. If new is 0, the url is opened in the same browser window if possible. If new is 1, a new browser window is opened if possible. If new is 2, a new browser page (“tab”) is opened if possible. If autoraise is True, the window is raised if possible (note that under many window managers this will occur regardless of the setting of this variable).

Returns True if a browser was successfully launched, False otherwise.

Note that on some platforms, trying to open a filename using this function, may work and start the operating system’s associated program. However, this is neither supported nor portable.

Levanta um evento de auditoria webbrowser.open com o argumento url.

webbrowser.open_new(url)

Open url in a new window of the default browser, if possible, otherwise, open url in the only browser window.

Returns True if a browser was successfully launched, False otherwise.

webbrowser.open_new_tab(url)

Open url in a new page (“tab”) of the default browser, if possible, otherwise equivalent to open_new().

Returns True if a browser was successfully launched, False otherwise.

webbrowser.get(using=None)

Return a controller object for the browser type using. If using is None, return a controller for a default browser appropriate to the caller’s environment.

webbrowser.register(name, constructor, instance=None, *, preferred=False)

Register the browser type name. Once a browser type is registered, the get() function can return a controller for that browser type. If instance is not provided, or is None, constructor will be called without parameters to create an instance when needed. If instance is provided, constructor will never be called, and may be None.

Setting preferred to True makes this browser a preferred result for a get() call with no argument. Otherwise, this entry point is only useful if you plan to either set the BROWSER variable or call get() with a nonempty argument matching the name of a handler you declare.

Alterado na versão 3.7: preferred keyword-only parameter was added.

A number of browser types are predefined. This table gives the type names that may be passed to the get() function and the corresponding instantiations for the controller classes, all defined in this module.

Type Name

Nome da Classe

Notas

'mozilla'

Mozilla('mozilla')

'firefox'

Mozilla('mozilla')

'epiphany'

Epiphany('epiphany')

'kfmclient'

Konqueror()

(1)

'konqueror'

Konqueror()

(1)

'kfm'

Konqueror()

(1)

'opera'

Opera()

'links'

GenericBrowser('links')

'elinks'

Elinks('elinks')

'lynx'

GenericBrowser('lynx')

'w3m'

GenericBrowser('w3m')

'windows-default'

WindowsDefault

(2)

'macosx'

MacOSXOSAScript('default')

(3)

'safari'

MacOSXOSAScript('safari')

(3)

'google-chrome'

Chrome('google-chrome')

'chrome'

Chrome('chrome')

'chromium'

Chromium('chromium')

'chromium-browser'

Chromium('chromium-browser')

'iosbrowser'

IOSBrowser

(4)

Notas:

“Konqueror” is the file manager for the KDE desktop environment for Unix, and only makes sense to use if KDE is running. Some way of reliably detecting KDE would be nice; the KDEDIR variable is not sufficient. Note also that the name “kfm” is used even when using the konqueror command with KDE 2 — the implementation selects the best strategy for running Konqueror.

Somente em Plataformas Windows.

Only on macOS.

Only on iOS.

Adicionado na versão 3.2: A new MacOSXOSAScript class has been added and is used on Mac instead of the previous MacOSX class. This adds support for opening browsers not currently set as the OS default.

Adicionado na versão 3.3: Support for Chrome/Chromium has been added.

Alterado na versão 3.12: Support for several obsolete browsers has been removed. Removed browsers include Grail, Mosaic, Netscape, Galeon, Skipstone, Iceape, and Firefox versions 35 and below.

Alterado na versão 3.13: Support for iOS has been added.

Aqui estão alguns exemplos simples:

url = 'https://docs.python.org/'

# Open URL in a new tab, if a browser window is already open.
webbrowser.open_new_tab(url)

# Open URL in new window, raising the window if possible.
webbrowser.open_new(url)

Browser Controller Objects

Browser controllers provide these methods which parallel three of the module-level convenience functions:

controller.name

System-dependent name for the browser.

controller.open(url, new=0, autoraise=True)

Display url using the browser handled by this controller. If new is 1, a new browser window is opened if possible. If new is 2, a new browser page (“tab”) is opened if possible.

controller.open_new(url)

Open url in a new window of the browser handled by this controller, if possible, otherwise, open url in the only browser window. Alias open_new().

controller.open_new_tab(url)

Open url in a new page (“tab”) of the browser handled by this controller, if possible, otherwise equivalent to open_new().

Notas de rodapé

[1]

Executables named here without a full path will be searched in the directories given in the PATH environment variable.

wsgiref — WSGI Utilities and Reference Implementation

Source code: Lib/wsgiref [https://github.com/python/cpython/tree/3.13/Lib/wsgiref]

A Interface de Gateway para Servidor Web (em inglês, Web Server Gateway Interface - WSGI) é uma interface padrão localizada entre software de servidores web e aplicações web escritas em Python. Ter um interface padrão torna mais fácil a utilização de uma aplicação que suporta WSGI com inúmeros diferentes servidores web.

Apenas autores de servidores web e frameworks de programação necessitam saber todos os detalhes e especificidades do design WSGI. Você não precisa entender todos os detalhes do WSGI para apenas instalar uma aplicação WSGI ou para escrever uma aplicação web usando um framework existente.

wsgiref is a reference implementation of the WSGI specification that can be used to add WSGI support to a web server or framework. It provides utilities for manipulating WSGI environment variables and response headers, base classes for implementing WSGI servers, a demo HTTP server that serves WSGI applications, types for static type checking, and a validation tool that checks WSGI servers and applications for conformance to the WSGI specification (PEP 3333 [https://peps.python.org/pep-3333/]).

Veja wsgi.readthedocs.io [https://wsgi.readthedocs.io/] para mais informações sobre WSGI, além de links para tutoriais e outros recursos.

wsgiref.util – Utilidades do ambiente WSGI

This module provides a variety of utility functions for working with WSGI environments. A WSGI environment is a dictionary containing HTTP request variables as described in PEP 3333 [https://peps.python.org/pep-3333/]. All of the functions taking an environ parameter expect a WSGI-compliant dictionary to be supplied; please see PEP 3333 [https://peps.python.org/pep-3333/] for a detailed specification and WSGIEnvironment for a type alias that can be used in type annotations.

wsgiref.util.guess_scheme(environ)

Retorna uma sugestão sobre wsgi.url_scheme ser “http” ou “https” buscando por uma HTTPS variável de ambiente dentro do dicionário environ. O valor de retorno é uma string.

This function is useful when creating a gateway that wraps CGI or a CGI-like protocol such as FastCGI. Typically, servers providing such protocols will include a HTTPS variable with a value of “1”, “yes”, or “on” when a request is received via SSL. So, this function returns “https” if such a value is found, and “http” otherwise.

wsgiref.util.request_uri(environ, include_query=True)

Return the full request URI, optionally including the query string, using the algorithm found in the “URL Reconstruction” section of PEP 3333 [https://peps.python.org/pep-3333/]. If include_query is false, the query string is not included in the resulting URI.

wsgiref.util.application_uri(environ)

Similar to request_uri(), except that the PATH_INFO and QUERY_STRING variables are ignored. The result is the base URI of the application object addressed by the request.

wsgiref.util.shift_path_info(environ)

Shift a single name from PATH_INFO to SCRIPT_NAME and return the name. The environ dictionary is modified in-place; use a copy if you need to keep the original PATH_INFO or SCRIPT_NAME intact.

If there are no remaining path segments in PATH_INFO, None is returned.

Typically, this routine is used to process each portion of a request URI path, for example to treat the path as a series of dictionary keys. This routine modifies the passed-in environment to make it suitable for invoking another WSGI application that is located at the target URI. For example, if there is a WSGI application at /foo, and the request URI path is /foo/bar/baz, and the WSGI application at /foo calls shift_path_info(), it will receive the string “bar”, and the environment will be updated to be suitable for passing to a WSGI application at /foo/bar. That is, SCRIPT_NAME will change from /foo to /foo/bar, and PATH_INFO will change from /bar/baz to /baz.

When PATH_INFO is just a “/”, this routine returns an empty string and appends a trailing slash to SCRIPT_NAME, even though empty path segments are normally ignored, and SCRIPT_NAME doesn’t normally end in a slash. This is intentional behavior, to ensure that an application can tell the difference between URIs ending in /x from ones ending in /x/ when using this routine to do object traversal.

wsgiref.util.setup_testing_defaults(environ)

Update environ with trivial defaults for testing purposes.

This routine adds various parameters required for WSGI, including HTTP_HOST, SERVER_NAME, SERVER_PORT, REQUEST_METHOD, SCRIPT_NAME, PATH_INFO, and all of the PEP 3333 [https://peps.python.org/pep-3333/]-defined wsgi.* variables. It only supplies default values, and does not replace any existing settings for these variables.

This routine is intended to make it easier for unit tests of WSGI servers and applications to set up dummy environments. It should NOT be used by actual WSGI servers or applications, since the data is fake!

Exemplo de uso:

from wsgiref.util import setup_testing_defaults
from wsgiref.simple_server import make_server

# A relatively simple WSGI application. It's going to print out the
# environment dictionary after being updated by setup_testing_defaults
def simple_app(environ, start_response):
    setup_testing_defaults(environ)

    status = '200 OK'
    headers = [('Content-type', 'text/plain; charset=utf-8')]

    start_response(status, headers)

    ret = [("%s: %s\n" % (key, value)).encode("utf-8")
           for key, value in environ.items()]
    return ret

with make_server('', 8000, simple_app) as httpd:
    print("Serving on port 8000...")
    httpd.serve_forever()

In addition to the environment functions above, the wsgiref.util module also provides these miscellaneous utilities:

wsgiref.util.is_hop_by_hop(header_name)

Return True if ‘header_name’ is an HTTP/1.1 “Hop-by-Hop” header, as defined by RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html].

class wsgiref.util.FileWrapper(filelike, blksize=8192)

A concrete implementation of the wsgiref.types.FileWrapper protocol used to convert a file-like object to an iterator. The resulting objects are iterables. As the object is iterated over, the optional blksize parameter will be repeatedly passed to the filelike object’s read() method to obtain bytestrings to yield. When read() returns an empty bytestring, iteration is ended and is not resumable.

If filelike has a close() method, the returned object will also have a close() method, and it will invoke the filelike object’s close() method when called.

Exemplo de uso:

from io import StringIO
from wsgiref.util import FileWrapper

# We're using a StringIO-buffer for as the file-like object
filelike = StringIO("This is an example file-like object"*10)
wrapper = FileWrapper(filelike, blksize=5)

for chunk in wrapper:
    print(chunk)

Alterado na versão 3.11: Support for __getitem__() method has been removed.

wsgiref.headers – WSGI response header tools

This module provides a single class, Headers, for convenient manipulation of WSGI response headers using a mapping-like interface.

class wsgiref.headers.Headers([headers])

Create a mapping-like object wrapping headers, which must be a list of header name/value tuples as described in PEP 3333 [https://peps.python.org/pep-3333/]. The default value of headers is an empty list.

Headers objects support typical mapping operations including __getitem__(), get(), __setitem__(), setdefault(), __delitem__() and __contains__(). For each of these methods, the key is the header name (treated case-insensitively), and the value is the first value associated with that header name. Setting a header deletes any existing values for that header, then adds a new value at the end of the wrapped header list. Headers’ existing order is generally maintained, with new headers added to the end of the wrapped list.

Unlike a dictionary, Headers objects do not raise an error when you try to get or delete a key that isn’t in the wrapped header list. Getting a nonexistent header just returns None, and deleting a nonexistent header does nothing.

Headers objects also support keys(), values(), and items() methods. The lists returned by keys() and items() can include the same key more than once if there is a multi-valued header. The len() of a Headers object is the same as the length of its items(), which is the same as the length of the wrapped header list. In fact, the items() method just returns a copy of the wrapped header list.

Calling bytes() on a Headers object returns a formatted bytestring suitable for transmission as HTTP response headers. Each header is placed on a line with its value, separated by a colon and a space. Each line is terminated by a carriage return and line feed, and the bytestring is terminated with a blank line.

In addition to their mapping interface and formatting features, Headers objects also have the following methods for querying and adding multi-valued headers, and for adding headers with MIME parameters:

get_all(name)

Return a list of all the values for the named header.

The returned list will be sorted in the order they appeared in the original header list or were added to this instance, and may contain duplicates. Any fields deleted and re-inserted are always appended to the header list. If no fields exist with the given name, returns an empty list.

add_header(name, value, **_params)

Add a (possibly multi-valued) header, with optional MIME parameters specified via keyword arguments.

name is the header field to add. Keyword arguments can be used to set MIME parameters for the header field. Each parameter must be a string or None. Underscores in parameter names are converted to dashes, since dashes are illegal in Python identifiers, but many MIME parameter names include dashes. If the parameter value is a string, it is added to the header value parameters in the form name="value". If it is None, only the parameter name is added. (This is used for MIME parameters without a value.) Example usage:

h.add_header('content-disposition', 'attachment', filename='bud.gif')

The above will add a header that looks like this:

Content-Disposition: attachment; filename="bud.gif"

Alterado na versão 3.5: o parâmetro headers é opcional.

wsgiref.simple_server – a simple WSGI HTTP server

This module implements a simple HTTP server (based on http.server) that serves WSGI applications. Each server instance serves a single WSGI application on a given host and port. If you want to serve multiple applications on a single host and port, you should create a WSGI application that parses PATH_INFO to select which application to invoke for each request. (E.g., using the shift_path_info() function from wsgiref.util.)

wsgiref.simple_server.make_server(host, port, app, server_class=WSGIServer, handler_class=WSGIRequestHandler)

Create a new WSGI server listening on host and port, accepting connections for app. The return value is an instance of the supplied server_class, and will process requests using the specified handler_class. app must be a WSGI application object, as defined by PEP 3333 [https://peps.python.org/pep-3333/].

Exemplo de uso:

from wsgiref.simple_server import make_server, demo_app

with make_server('', 8000, demo_app) as httpd:
    print("Serving HTTP on port 8000...")

    # Respond to requests until process is killed
    httpd.serve_forever()

    # Alternative: serve one request, then exit
    httpd.handle_request()

wsgiref.simple_server.demo_app(environ, start_response)

This function is a small but complete WSGI application that returns a text page containing the message “Hello world!” and a list of the key/value pairs provided in the environ parameter. It’s useful for verifying that a WSGI server (such as wsgiref.simple_server) is able to run a simple WSGI application correctly.

class wsgiref.simple_server.WSGIServer(server_address, RequestHandlerClass)

Create a WSGIServer instance. server_address should be a (host,port) tuple, and RequestHandlerClass should be the subclass of http.server.BaseHTTPRequestHandler that will be used to process requests.

You do not normally need to call this constructor, as the make_server() function can handle all the details for you.

WSGIServer is a subclass of http.server.HTTPServer, so all of its methods (such as serve_forever() and handle_request()) are available. WSGIServer also provides these WSGI-specific methods:

set_app(application)

Sets the callable application as the WSGI application that will receive requests.

get_app()

Returns the currently set application callable.

Normally, however, you do not need to use these additional methods, as set_app() is normally called by make_server(), and the get_app() exists mainly for the benefit of request handler instances.

class wsgiref.simple_server.WSGIRequestHandler(request, client_address, server)

Create an HTTP handler for the given request (i.e. a socket), client_address (a (host,port) tuple), and server (WSGIServer instance).

You do not need to create instances of this class directly; they are automatically created as needed by WSGIServer objects. You can, however, subclass this class and supply it as a handler_class to the make_server() function. Some possibly relevant methods for overriding in subclasses:

get_environ()

Return a WSGIEnvironment dictionary for a request. The default implementation copies the contents of the WSGIServer object’s base_environ dictionary attribute and then adds various headers derived from the HTTP request. Each call to this method should return a new dictionary containing all of the relevant CGI environment variables as specified in PEP 3333 [https://peps.python.org/pep-3333/].

get_stderr()

Return the object that should be used as the wsgi.errors stream. The default implementation just returns sys.stderr.

handle()

Process the HTTP request. The default implementation creates a handler instance using a wsgiref.handlers class to implement the actual WSGI application interface.

wsgiref.validate — WSGI conformance checker

When creating new WSGI application objects, frameworks, servers, or middleware, it can be useful to validate the new code’s conformance using wsgiref.validate. This module provides a function that creates WSGI application objects that validate communications between a WSGI server or gateway and a WSGI application object, to check both sides for protocol conformance.

Note that this utility does not guarantee complete PEP 3333 [https://peps.python.org/pep-3333/] compliance; an absence of errors from this module does not necessarily mean that errors do not exist. However, if this module does produce an error, then it is virtually certain that either the server or application is not 100% compliant.

This module is based on the paste.lint module from Ian Bicking’s “Python Paste” library.

wsgiref.validate.validator(application)

Wrap application and return a new WSGI application object. The returned application will forward all requests to the original application, and will check that both the application and the server invoking it are conforming to the WSGI specification and to RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html].

Any detected nonconformance results in an AssertionError being raised; note, however, that how these errors are handled is server-dependent. For example, wsgiref.simple_server and other servers based on wsgiref.handlers (that don’t override the error handling methods to do something else) will simply output a message that an error has occurred, and dump the traceback to sys.stderr or some other error stream.

This wrapper may also generate output using the warnings module to indicate behaviors that are questionable but which may not actually be prohibited by PEP 3333 [https://peps.python.org/pep-3333/]. Unless they are suppressed using Python command-line options or the warnings API, any such warnings will be written to sys.stderr (not wsgi.errors, unless they happen to be the same object).

Exemplo de uso:

from wsgiref.validate import validator
from wsgiref.simple_server import make_server

# Our callable object which is intentionally not compliant to the
# standard, so the validator is going to break
def simple_app(environ, start_response):
    status = '200 OK'  # HTTP Status
    headers = [('Content-type', 'text/plain')]  # HTTP Headers
    start_response(status, headers)

    # This is going to break because we need to return a list, and
    # the validator is going to inform us
    return b"Hello World"

# This is the application wrapped in a validator
validator_app = validator(simple_app)

with make_server('', 8000, validator_app) as httpd:
    print("Listening on port 8000....")
    httpd.serve_forever()

wsgiref.handlers – server/gateway base classes

This module provides base handler classes for implementing WSGI servers and gateways. These base classes handle most of the work of communicating with a WSGI application, as long as they are given a CGI-like environment, along with input, output, and error streams.

class wsgiref.handlers.CGIHandler

CGI-based invocation via sys.stdin, sys.stdout, sys.stderr and os.environ. This is useful when you have a WSGI application and want to run it as a CGI script. Simply invoke CGIHandler().run(app), where app is the WSGI application object you wish to invoke.

This class is a subclass of BaseCGIHandler that sets wsgi.run_once to true, wsgi.multithread to false, and wsgi.multiprocess to true, and always uses sys and os to obtain the necessary CGI streams and environment.

class wsgiref.handlers.IISCGIHandler

A specialized alternative to CGIHandler, for use when deploying on Microsoft’s IIS web server, without having set the config allowPathInfo option (IIS>=7) or metabase allowPathInfoForScriptMappings (IIS<7).

By default, IIS gives a PATH_INFO that duplicates the SCRIPT_NAME at the front, causing problems for WSGI applications that wish to implement routing. This handler strips any such duplicated path.

IIS can be configured to pass the correct PATH_INFO, but this causes another bug where PATH_TRANSLATED is wrong. Luckily this variable is rarely used and is not guaranteed by WSGI. On IIS<7, though, the setting can only be made on a vhost level, affecting all other script mappings, many of which break when exposed to the PATH_TRANSLATED bug. For this reason IIS<7 is almost never deployed with the fix (Even IIS7 rarely uses it because there is still no UI for it.).

There is no way for CGI code to tell whether the option was set, so a separate handler class is provided. It is used in the same way as CGIHandler, i.e., by calling IISCGIHandler().run(app), where app is the WSGI application object you wish to invoke.

Adicionado na versão 3.2.

class wsgiref.handlers.BaseCGIHandler(stdin, stdout, stderr, environ, multithread=True, multiprocess=False)

Similar to CGIHandler, but instead of using the sys and os modules, the CGI environment and I/O streams are specified explicitly. The multithread and multiprocess values are used to set the wsgi.multithread and wsgi.multiprocess flags for any applications run by the handler instance.

This class is a subclass of SimpleHandler intended for use with software other than HTTP “origin servers”. If you are writing a gateway protocol implementation (such as CGI, FastCGI, SCGI, etc.) that uses a Status: header to send an HTTP status, you probably want to subclass this instead of SimpleHandler.

class wsgiref.handlers.SimpleHandler(stdin, stdout, stderr, environ, multithread=True, multiprocess=False)

Similar to BaseCGIHandler, but designed for use with HTTP origin servers. If you are writing an HTTP server implementation, you will probably want to subclass this instead of BaseCGIHandler.

This class is a subclass of BaseHandler. It overrides the __init__(), get_stdin(), get_stderr(), add_cgi_vars(), _write(), and _flush() methods to support explicitly setting the environment and streams via the constructor. The supplied environment and streams are stored in the stdin, stdout, stderr, and environ attributes.

The write() method of stdout should write each chunk in full, like io.BufferedIOBase.

class wsgiref.handlers.BaseHandler

This is an abstract base class for running WSGI applications. Each instance will handle a single HTTP request, although in principle you could create a subclass that was reusable for multiple requests.

BaseHandler instances have only one method intended for external use:

run(app)

Run the specified WSGI application, app.

All of the other BaseHandler methods are invoked by this method in the process of running the application, and thus exist primarily to allow customizing the process.

The following methods MUST be overridden in a subclass:

_write(data)

Buffer the bytes data for transmission to the client. It’s okay if this method actually transmits the data; BaseHandler just separates write and flush operations for greater efficiency when the underlying system actually has such a distinction.

_flush()

Force buffered data to be transmitted to the client. It’s okay if this method is a no-op (i.e., if _write() actually sends the data).

get_stdin()

Return an object compatible with InputStream suitable for use as the wsgi.input of the request currently being processed.

get_stderr()

Return an object compatible with ErrorStream suitable for use as the wsgi.errors of the request currently being processed.

add_cgi_vars()

Insert CGI variables for the current request into the environ attribute.

Here are some other methods and attributes you may wish to override. This list is only a summary, however, and does not include every method that can be overridden. You should consult the docstrings and source code for additional information before attempting to create a customized BaseHandler subclass.

Attributes and methods for customizing the WSGI environment:

wsgi_multithread

The value to be used for the wsgi.multithread environment variable. It defaults to true in BaseHandler, but may have a different default (or be set by the constructor) in the other subclasses.

wsgi_multiprocess

The value to be used for the wsgi.multiprocess environment variable. It defaults to true in BaseHandler, but may have a different default (or be set by the constructor) in the other subclasses.

wsgi_run_once

The value to be used for the wsgi.run_once environment variable. It defaults to false in BaseHandler, but CGIHandler sets it to true by default.

os_environ

The default environment variables to be included in every request’s WSGI environment. By default, this is a copy of os.environ at the time that wsgiref.handlers was imported, but subclasses can either create their own at the class or instance level. Note that the dictionary should be considered read-only, since the default value is shared between multiple classes and instances.

server_software

If the origin_server attribute is set, this attribute’s value is used to set the default SERVER_SOFTWARE WSGI environment variable, and also to set a default Server: header in HTTP responses. It is ignored for handlers (such as BaseCGIHandler and CGIHandler) that are not HTTP origin servers.

Alterado na versão 3.3: The term “Python” is replaced with implementation specific term like “CPython”, “Jython” etc.

get_scheme()

Return the URL scheme being used for the current request. The default implementation uses the guess_scheme() function from wsgiref.util to guess whether the scheme should be “http” or “https”, based on the current request’s environ variables.

setup_environ()

Set the environ attribute to a fully populated WSGI environment. The default implementation uses all of the above methods and attributes, plus the get_stdin(), get_stderr(), and add_cgi_vars() methods and the wsgi_file_wrapper attribute. It also inserts a SERVER_SOFTWARE key if not present, as long as the origin_server attribute is a true value and the server_software attribute is set.

Methods and attributes for customizing exception handling:

log_exception(exc_info)

Log the exc_info tuple in the server log. exc_info is a (type, value, traceback) tuple. The default implementation simply writes the traceback to the request’s wsgi.errors stream and flushes it. Subclasses can override this method to change the format or retarget the output, mail the traceback to an administrator, or whatever other action may be deemed suitable.

traceback_limit

The maximum number of frames to include in tracebacks output by the default log_exception() method. If None, all frames are included.

error_output(environ, start_response)

This method is a WSGI application to generate an error page for the user. It is only invoked if an error occurs before headers are sent to the client.

This method can access the current error using sys.exception(), and should pass that information to start_response when calling it (as described in the “Error Handling” section of PEP 3333 [https://peps.python.org/pep-3333/]).

The default implementation just uses the error_status, error_headers, and error_body attributes to generate an output page. Subclasses can override this to produce more dynamic error output.

Note, however, that it’s not recommended from a security perspective to spit out diagnostics to any old user; ideally, you should have to do something special to enable diagnostic output, which is why the default implementation doesn’t include any.

error_status

The HTTP status used for error responses. This should be a status string as defined in PEP 3333 [https://peps.python.org/pep-3333/]; it defaults to a 500 code and message.

error_headers

The HTTP headers used for error responses. This should be a list of WSGI response headers ((name, value) tuples), as described in PEP 3333 [https://peps.python.org/pep-3333/]. The default list just sets the content type to text/plain.

error_body

The error response body. This should be an HTTP response body bytestring. It defaults to the plain text, “A server error occurred. Please contact the administrator.”

Methods and attributes for PEP 3333 [https://peps.python.org/pep-3333/]’s “Optional Platform-Specific File Handling” feature:

wsgi_file_wrapper

A wsgi.file_wrapper factory, compatible with wsgiref.types.FileWrapper, or None. The default value of this attribute is the wsgiref.util.FileWrapper class.

sendfile()

Override to implement platform-specific file transmission. This method is called only if the application’s return value is an instance of the class specified by the wsgi_file_wrapper attribute. It should return a true value if it was able to successfully transmit the file, so that the default transmission code will not be executed. The default implementation of this method just returns a false value.

Miscellaneous methods and attributes:

origin_server

This attribute should be set to a true value if the handler’s _write() and _flush() are being used to communicate directly to the client, rather than via a CGI-like gateway protocol that wants the HTTP status in a special Status: header.

This attribute’s default value is true in BaseHandler, but false in BaseCGIHandler and CGIHandler.

http_version

If origin_server is true, this string attribute is used to set the HTTP version of the response set to the client. It defaults to "1.0".

wsgiref.handlers.read_environ()

Transcode CGI variables from os.environ to PEP 3333 [https://peps.python.org/pep-3333/] “bytes in unicode” strings, returning a new dictionary. This function is used by CGIHandler and IISCGIHandler in place of directly using os.environ, which is not necessarily WSGI-compliant on all platforms and web servers using Python 3 – specifically, ones where the OS’s actual environment is Unicode (i.e. Windows), or ones where the environment is bytes, but the system encoding used by Python to decode it is anything other than ISO-8859-1 (e.g. Unix systems using UTF-8).

If you are implementing a CGI-based handler of your own, you probably want to use this routine instead of just copying values out of os.environ directly.

Adicionado na versão 3.2.

wsgiref.types – WSGI types for static type checking

This module provides various types for static type checking as described in PEP 3333 [https://peps.python.org/pep-3333/].

Adicionado na versão 3.11.

class wsgiref.types.StartResponse

A typing.Protocol describing start_response() [https://peps.python.org/pep-3333/#the-start-response-callable] callables (PEP 3333 [https://peps.python.org/pep-3333/]).

wsgiref.types.WSGIEnvironment

A type alias describing a WSGI environment dictionary.

wsgiref.types.WSGIApplication

A type alias describing a WSGI application callable.

class wsgiref.types.InputStream

A typing.Protocol describing a WSGI Input Stream [https://peps.python.org/pep-3333/#input-and-error-streams].

class wsgiref.types.ErrorStream

A typing.Protocol describing a WSGI Error Stream [https://peps.python.org/pep-3333/#input-and-error-streams].

class wsgiref.types.FileWrapper

A typing.Protocol describing a file wrapper [https://peps.python.org/pep-3333/#optional-platform-specific-file-handling]. See wsgiref.util.FileWrapper for a concrete implementation of this protocol.

Exemplos

This is a working “Hello World” WSGI application:

"""
Every WSGI application must have an application object - a callable
object that accepts two arguments. For that purpose, we're going to
use a function (note that you're not limited to a function, you can
use a class for example). The first argument passed to the function
is a dictionary containing CGI-style environment variables and the
second variable is the callable object.
"""
from wsgiref.simple_server import make_server

def hello_world_app(environ, start_response):
    status = "200 OK"  # HTTP Status
    headers = [("Content-type", "text/plain; charset=utf-8")]  # HTTP Headers
    start_response(status, headers)

    # The returned object is going to be printed
    return [b"Hello World"]

with make_server("", 8000, hello_world_app) as httpd:
    print("Serving on port 8000...")

    # Serve until process is killed
    httpd.serve_forever()

Example of a WSGI application serving the current directory, accept optional directory and port number (default: 8000) on the command line:

"""
Small wsgiref based web server. Takes a path to serve from and an
optional port number (defaults to 8000), then tries to serve files.
MIME types are guessed from the file names, 404 errors are raised
if the file is not found.
"""
import mimetypes
import os
import sys
from wsgiref import simple_server, util

def app(environ, respond):
    # Get the file name and MIME type
    fn = os.path.join(path, environ["PATH_INFO"][1:])
    if "." not in fn.split(os.path.sep)[-1]:
        fn = os.path.join(fn, "index.html")
    mime_type = mimetypes.guess_file_type(fn)[0]

    # Return 200 OK if file exists, otherwise 404 Not Found
    if os.path.exists(fn):
        respond("200 OK", [("Content-Type", mime_type)])
        return util.FileWrapper(open(fn, "rb"))
    else:
        respond("404 Not Found", [("Content-Type", "text/plain")])
        return [b"not found"]

if __name__ == "__main__":
    # Get the path and port from command-line arguments
    path = sys.argv[1] if len(sys.argv) > 1 else os.getcwd()
    port = int(sys.argv[2]) if len(sys.argv) > 2 else 8000

    # Make and start the server until control-c
    httpd = simple_server.make_server("", port, app)
    print(f"Serving {path} on port {port}, control-C to stop")
    try:
        httpd.serve_forever()
    except KeyboardInterrupt:
        print("Shutting down.")
        httpd.server_close()

urllib — Módulos de manipulação de URL

Código-fonte: Lib/urllib/ [https://github.com/python/cpython/tree/3.13/Lib/urllib/]

urllib é um pacote que coleciona vários módulos para trabalhar com URLs:

urllib.request para abrir e ler URLs

urllib.error contendo as exceções levantadas por urllib.request

urllib.parse para analisar URLs

urllib.robotparser para analisar arquivos robots.txt

urllib.request — Extensible library for opening URLs

Código-fonte: Lib/urllib/request.py [https://github.com/python/cpython/tree/3.13/Lib/urllib/request.py]

O módulo urllib.request define funções e classes que ajudam a abrir URLs (principalmente HTTP) em um mundo complexo — autenticação básica ou por digest, redirecionamentos, cookies e muito mais.

Ver também

O pacote Requests [https://requests.readthedocs.io/en/master/] é recomendado para uma interface alto nível de cliente HTTP.

Aviso

On macOS it is unsafe to use this module in programs using os.fork() because the getproxies() implementation for macOS uses a higher-level system API. Set the environment variable no_proxy to * to avoid this problem (e.g. os.environ["no_proxy"] = "*").

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

O módulo urllib.request define as seguintes funções:

urllib.request.urlopen(url, data=None, [timeout, ]*, context=None)

Open url, which can be either a string containing a valid, properly encoded URL, or a Request object.

data deve ser um objeto que especifique dados adicionais a serem enviados ao servidor ou None, se nenhum dado for necessário. Veja Request para detalhes.

O módulo urllib.request usa HTTP/1.1 e inclui o cabeçalho Connection:close em suas solicitações HTTP.

O parâmetro opcional timeout especifica um tempo limite em segundos para bloquear operações como a tentativa de conexão (se não for especificado, a configuração de tempo limite padrão global será usada). Na verdade, isso só funciona para conexões HTTP, HTTPS e FTP.

Se context for especificado, deve ser uma instância de ssl.SSLContext descrevendo as várias opções SSL. Veja HTTPSConnection para mais detalhes.

Esta função sempre retorna um objeto que pode funcionar como um gerenciador de contexto e tem as propriedades url, headers e status. Veja urllib.response.addinfourl para mais detalhes sobre essas propriedades.

Para URLs HTTP e HTTPS, esta função retorna um objeto http.client.HTTPResponse ligeiramente modificado. Além dos três novos métodos acima, o atributo msg contém as mesmas informações que o atributo reason — a frase de razão retornada pelo servidor — em vez dos cabeçalhos de resposta como é especificado na documentação para HTTPResponse.

Para FTP, arquivo e URLs de dados e solicitações explicitamente tratadas pelas classes legadas URLopener e FancyURLopener, esta função retorna um objeto urllib.response.addinfourl.

Levanta URLError quando ocorrer erros de protocolo.

Observe que None pode ser retornado se nenhum manipulador lidar com a solicitação (embora a OpenerDirector global instalada padrão use UnknownHandler para garantir que isso nunca aconteça).

In addition, if proxy settings are detected (for example, when a *_proxy environment variable like http_proxy is set), ProxyHandler is default installed and makes sure the requests are handled through the proxy.

A função legada urllib.urlopen do Python 2.6 e anteriores foi descontinuada; urllib.request.urlopen() corresponde à antiga urllib2.urlopen. O tratamento de proxy, que foi feito passando um parâmetro de dicionário para urllib.urlopen, pode ser obtido usando objetos ProxyHandler.

O abridor padrão levanta um evento de auditoria urllib.Request com os argumentos fullurl, data, headers, method obtidos do objeto de requisição.

Alterado na versão 3.2: cafile e capath foram adicionados.

HTTPS virtual hosts are now supported if possible (that is, if ssl.HAS_SNI is true).

data pode ser um objeto iterável.

Alterado na versão 3.3: cadefault foi adicionado.

Alterado na versão 3.4.3: context foi adicionado.

Alterado na versão 3.10: HTTPS connection now send an ALPN extension with protocol indicator http/1.1 when no context is given. Custom context should set ALPN protocols with set_alpn_protocols().

Alterado na versão 3.13: Remove cafile, capath and cadefault parameters: use the context parameter instead.

urllib.request.install_opener(opener)

Install an OpenerDirector instance as the default global opener. Installing an opener is only necessary if you want urlopen to use that opener; otherwise, simply call OpenerDirector.open() instead of urlopen(). The code does not check for a real OpenerDirector, and any class with the appropriate interface will work.

urllib.request.build_opener([handler, ...])

Return an OpenerDirector instance, which chains the handlers in the order given. handlers can be either instances of BaseHandler, or subclasses of BaseHandler (in which case it must be possible to call the constructor without any parameters). Instances of the following classes will be in front of the handlers, unless the handlers contain them, instances of them or subclasses of them: ProxyHandler (if proxy settings are detected), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.

If the Python installation has SSL support (i.e., if the ssl module can be imported), HTTPSHandler will also be added.

A BaseHandler subclass may also change its handler_order attribute to modify its position in the handlers list.

urllib.request.pathname2url(path)

Convert the pathname path from the local syntax for a path to the form used in the path component of a URL. This does not produce a complete URL. The return value will already be quoted using the quote() function.

urllib.request.url2pathname(path)

Convert the path component path from a percent-encoded URL to the local syntax for a path. This does not accept a complete URL. This function uses unquote() to decode path.

urllib.request.getproxies()

This helper function returns a dictionary of scheme to proxy server URL mappings. It scans the environment for variables named <scheme>_proxy, in a case insensitive approach, for all operating systems first, and when it cannot find it, looks for proxy information from System Configuration for macOS and Windows Systems Registry for Windows. If both lowercase and uppercase environment variables exist (and disagree), lowercase is preferred.

Nota

If the environment variable REQUEST_METHOD is set, which usually indicates your script is running in a CGI environment, the environment variable HTTP_PROXY (uppercase _PROXY) will be ignored. This is because that variable can be injected by a client using the “Proxy:” HTTP header. If you need to use an HTTP proxy in a CGI environment, either use ProxyHandler explicitly, or make sure the variable name is in lowercase (or at least the _proxy suffix).

As sequintes classes são disponibilizadas:

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

This class is an abstraction of a URL request.

url should be a string containing a valid, properly encoded URL.

data must be an object specifying additional data to send to the server, or None if no such data is needed. Currently HTTP requests are the only ones that use data. The supported object types include bytes, file-like objects, and iterables of bytes-like objects. If no Content-Length nor Transfer-Encoding header field has been provided, HTTPHandler will set these headers according to the type of data. Content-Length will be used to send bytes objects, while Transfer-Encoding: chunked as specified in RFC 7230 [https://datatracker.ietf.org/doc/html/rfc7230.html], Section 3.3.1 will be used to send files and other iterables.

For an HTTP POST request method, data should be a buffer in the standard application/x-www-form-urlencoded format. The urllib.parse.urlencode() function takes a mapping or sequence of 2-tuples and returns an ASCII string in this format. It should be encoded to bytes before being used as the data parameter.

headers should be a dictionary, and will be treated as if add_header() was called with each key and value as arguments. This is often used to “spoof” the User-Agent header value, which is used by a browser to identify itself – some HTTP servers only allow requests coming from common browsers as opposed to scripts. For example, Mozilla Firefox may identify itself as "Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11", while urllib’s default user agent string is "Python-urllib/2.6" (on Python 2.6). All header keys are sent in camel case.

An appropriate Content-Type header should be included if the data argument is present. If this header has not been provided and data is not None, Content-Type: application/x-www-form-urlencoded will be added as a default.

The next two arguments are only of interest for correct handling of third-party HTTP cookies:

origin_req_host should be the request-host of the origin transaction, as defined by RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html]. It defaults to http.cookiejar.request_host(self). This is the host name or IP address of the original request that was initiated by the user. For example, if the request is for an image in an HTML document, this should be the request-host of the request for the page containing the image.

unverifiable should indicate whether the request is unverifiable, as defined by RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html]. It defaults to False. An unverifiable request is one whose URL the user did not have the option to approve. For example, if the request is for an image in an HTML document, and the user had no option to approve the automatic fetching of the image, this should be true.

method should be a string that indicates the HTTP request method that will be used (e.g. 'HEAD'). If provided, its value is stored in the method attribute and is used by get_method(). The default is 'GET' if data is None or 'POST' otherwise. Subclasses may indicate a different default method by setting the method attribute in the class itself.

Nota

The request will not work as expected if the data object is unable to deliver its content more than once (e.g. a file or an iterable that can produce the content only once) and the request is retried for HTTP redirects or authentication. The data is sent to the HTTP server right away after the headers. There is no support for a 100-continue expectation in the library.

Alterado na versão 3.3: Request.method argument is added to the Request class.

Alterado na versão 3.4: Default Request.method may be indicated at the class level.

Alterado na versão 3.6: Do not raise an error if the Content-Length has not been provided and data is neither None nor a bytes object. Fall back to use chunked transfer encoding instead.

class urllib.request.OpenerDirector

The OpenerDirector class opens URLs via BaseHandlers chained together. It manages the chaining of handlers, and recovery from errors.

class urllib.request.BaseHandler

This is the base class for all registered handlers — and handles only the simple mechanics of registration.

class urllib.request.HTTPDefaultErrorHandler

A class which defines a default handler for HTTP error responses; all responses are turned into HTTPError exceptions.

class urllib.request.HTTPRedirectHandler

Uma classe para lidar com redirecionamentos.

class urllib.request.HTTPCookieProcessor(cookiejar=None)

Classe para lidar com Cookies HTTP.

class urllib.request.ProxyHandler(proxies=None)

Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies. The default is to read the list of proxies from the environment variables <protocol>_proxy. If no proxy environment variables are set, then in a Windows environment proxy settings are obtained from the registry’s Internet Settings section, and in a macOS environment proxy information is retrieved from the System Configuration Framework.

To disable autodetected proxy pass an empty dictionary.

The no_proxy environment variable can be used to specify hosts which shouldn’t be reached via proxy; if set, it should be a comma-separated list of hostname suffixes, optionally with :port appended, for example cern.ch,ncsa.uiuc.edu,some.host:8080.

Nota

HTTP_PROXY will be ignored if a variable REQUEST_METHOD is set; see the documentation on getproxies().

class urllib.request.HTTPPasswordMgr

Keep a database of (realm, uri) -> (user, password) mappings.

class urllib.request.HTTPPasswordMgrWithDefaultRealm

Keep a database of (realm, uri) -> (user, password) mappings. A realm of None is considered a catch-all realm, which is searched if no other realm fits.

class urllib.request.HTTPPasswordMgrWithPriorAuth

A variant of HTTPPasswordMgrWithDefaultRealm that also has a database of uri -> is_authenticated mappings. Can be used by a BasicAuth handler to determine when to send authentication credentials immediately instead of waiting for a 401 response first.

Adicionado na versão 3.5.

class urllib.request.AbstractBasicAuthHandler(password_mgr=None)

This is a mixin class that helps with HTTP authentication, both to the remote host and to a proxy. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported. If passwd_mgr also provides is_authenticated and update_authenticated methods (see HTTPPasswordMgrWithPriorAuth Objects), then the handler will use the is_authenticated result for a given URI to determine whether or not to send authentication credentials with the request. If is_authenticated returns True for the URI, credentials are sent. If is_authenticated is False, credentials are not sent, and then if a 401 response is received the request is re-sent with the authentication credentials. If authentication succeeds, update_authenticated is called to set is_authenticated True for the URI, so that subsequent requests to the URI or any of its super-URIs will automatically include the authentication credentials.

Adicionado na versão 3.5: Added is_authenticated support.

class urllib.request.HTTPBasicAuthHandler(password_mgr=None)

Handle authentication with the remote host. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported. HTTPBasicAuthHandler will raise a ValueError when presented with a wrong Authentication scheme.

class urllib.request.ProxyBasicAuthHandler(password_mgr=None)

Handle authentication with the proxy. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported.

class urllib.request.AbstractDigestAuthHandler(password_mgr=None)

This is a mixin class that helps with HTTP authentication, both to the remote host and to a proxy. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported.

class urllib.request.HTTPDigestAuthHandler(password_mgr=None)

Handle authentication with the remote host. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported. When both Digest Authentication Handler and Basic Authentication Handler are both added, Digest Authentication is always tried first. If the Digest Authentication returns a 40x response again, it is sent to Basic Authentication handler to Handle. This Handler method will raise a ValueError when presented with an authentication scheme other than Digest or Basic.

Alterado na versão 3.3: Raise ValueError on unsupported Authentication Scheme.

class urllib.request.ProxyDigestAuthHandler(password_mgr=None)

Handle authentication with the proxy. password_mgr, if given, should be something that is compatible with HTTPPasswordMgr; refer to section HTTPPasswordMgr Objects for information on the interface that must be supported.

class urllib.request.HTTPHandler

A class to handle opening of HTTP URLs.

class urllib.request.HTTPSHandler(debuglevel=0, context=None, check_hostname=None)

A class to handle opening of HTTPS URLs. context and check_hostname have the same meaning as in http.client.HTTPSConnection.

Alterado na versão 3.2: context and check_hostname were added.

class urllib.request.FileHandler

Abre arquivos locais.

class urllib.request.DataHandler

Abre dados das URLs.

Adicionado na versão 3.4.

class urllib.request.FTPHandler

Abre URLs de FTP.

class urllib.request.CacheFTPHandler

Open FTP URLs, keeping a cache of open FTP connections to minimize delays.

class urllib.request.UnknownHandler

A catch-all class to handle unknown URLs.

class urllib.request.HTTPErrorProcessor

Process HTTP error responses.

Objeto Request

The following methods describe Request’s public interface, and so all may be overridden in subclasses. It also defines several public attributes that can be used by clients to inspect the parsed request.

Request.full_url

The original URL passed to the constructor.

Alterado na versão 3.4.

Request.full_url is a property with setter, getter and a deleter. Getting full_url returns the original request URL with the fragment, if it was present.

Request.type

The URI scheme.

Request.host

The URI authority, typically a host, but may also contain a port separated by a colon.

Request.origin_req_host

The original host for the request, without port.

Request.selector

The URI path. If the Request uses a proxy, then selector will be the full URL that is passed to the proxy.

Request.data

The entity body for the request, or None if not specified.

Alterado na versão 3.4: Changing value of Request.data now deletes “Content-Length” header if it was previously set or calculated.

Request.unverifiable

boolean, indicates whether the request is unverifiable as defined by RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html].

Request.method

The HTTP request method to use. By default its value is None, which means that get_method() will do its normal computation of the method to be used. Its value can be set (thus overriding the default computation in get_method()) either by providing a default value by setting it at the class level in a Request subclass, or by passing a value in to the Request constructor via the method argument.

Adicionado na versão 3.3.

Alterado na versão 3.4: A default value can now be set in subclasses; previously it could only be set via the constructor argument.

Request.get_method()

Return a string indicating the HTTP request method. If Request.method is not None, return its value, otherwise return 'GET' if Request.data is None, or 'POST' if it’s not. This is only meaningful for HTTP requests.

Alterado na versão 3.3: get_method now looks at the value of Request.method.

Request.add_header(key, val)

Add another header to the request. Headers are currently ignored by all handlers except HTTP handlers, where they are added to the list of headers sent to the server. Note that there cannot be more than one header with the same name, and later calls will overwrite previous calls in case the key collides. Currently, this is no loss of HTTP functionality, since all headers which have meaning when used more than once have a (header-specific) way of gaining the same functionality using only one header. Note that headers added using this method are also added to redirected requests.

Request.add_unredirected_header(key, header)

Add a header that will not be added to a redirected request.

Request.has_header(header)

Return whether the instance has the named header (checks both regular and unredirected).

Request.remove_header(header)

Remove o cabeçalho nomeado da instância de solicitação (tanto de cabeçalhos regulares como de cabeçalhos não-redirecionados).

Adicionado na versão 3.4.

Request.get_full_url()

Return the URL given in the constructor.

Alterado na versão 3.4.

Returns Request.full_url

Request.set_proxy(host, type)

Prepare the request by connecting to a proxy server. The host and type will replace those of the instance, and the instance’s selector will be the original URL given in the constructor.

Request.get_header(header_name, default=None)

Return the value of the given header. If the header is not present, return the default value.

Request.header_items()

Return a list of tuples (header_name, header_value) of the Request headers.

Alterado na versão 3.4: The request methods add_data, has_data, get_data, get_type, get_host, get_selector, get_origin_req_host and is_unverifiable that were deprecated since 3.3 have been removed.

OpenerDirector Objects

OpenerDirector instances have the following methods:

OpenerDirector.add_handler(handler)

handler should be an instance of BaseHandler. The following methods are searched, and added to the possible chains (note that HTTP errors are a special case). Note that, in the following, protocol should be replaced with the actual protocol to handle, for example http_response() would be the HTTP protocol response handler. Also type should be replaced with the actual HTTP code, for example http_error_404() would handle HTTP 404 errors.

<protocol>_open() — signal that the handler knows how to open protocol URLs.

Veja BaseHandler.<protocol>_open() para maiores informações.

http_error_<type>() — signal that the handler knows how to handle HTTP errors with HTTP error code type.

Veja BaseHandler.http_error_<nnn>() para maiores informações.

<protocol>_error() — signal that the handler knows how to handle errors from (non-http) protocol.

<protocol>_request() — signal that the handler knows how to pre-process protocol requests.

Veja BaseHandler.<protocol>_request() para maiores informações.

<protocol>_response() — signal that the handler knows how to post-process protocol responses.

Veja BaseHandler.<protocol>_response() para maiores informações.

OpenerDirector.open(url, data=None[, timeout])

Open the given url (which can be a request object or a string), optionally passing the given data. Arguments, return values and exceptions raised are the same as those of urlopen() (which simply calls the open() method on the currently installed global OpenerDirector). The optional timeout parameter specifies a timeout in seconds for blocking operations like the connection attempt (if not specified, the global default timeout setting will be used). The timeout feature actually works only for HTTP, HTTPS and FTP connections.

OpenerDirector.error(proto, *args)

Handle an error of the given protocol. This will call the registered error handlers for the given protocol with the given arguments (which are protocol specific). The HTTP protocol is a special case which uses the HTTP response code to determine the specific error handler; refer to the http_error_<type>() methods of the handler classes.

Return values and exceptions raised are the same as those of urlopen().

OpenerDirector objects open URLs in three stages:

The order in which these methods are called within each stage is determined by sorting the handler instances.

Every handler with a method named like <protocol>_request() has that method called to pre-process the request.

Handlers with a method named like <protocol>_open() are called to handle the request. This stage ends when a handler either returns a non-None value (ie. a response), or raises an exception (usually URLError). Exceptions are allowed to propagate.

In fact, the above algorithm is first tried for methods named default_open(). If all such methods return None, the algorithm is repeated for methods named like <protocol>_open(). If all such methods return None, the algorithm is repeated for methods named unknown_open().

Note that the implementation of these methods may involve calls of the parent OpenerDirector instance’s open() and error() methods.

Every handler with a method named like <protocol>_response() has that method called to post-process the response.

BaseHandler Objects

BaseHandler objects provide a couple of methods that are directly useful, and others that are meant to be used by derived classes. These are intended for direct use:

BaseHandler.add_parent(director)

Add a director as parent.

BaseHandler.close()

Remove any parents.

The following attribute and methods should only be used by classes derived from BaseHandler.

Nota

The convention has been adopted that subclasses defining <protocol>_request() or <protocol>_response() methods are named *Processor; all others are named *Handler.

BaseHandler.parent

A valid OpenerDirector, which can be used to open using a different protocol, or handle errors.

BaseHandler.default_open(req)

This method is not defined in BaseHandler, but subclasses should define it if they want to catch all URLs.

This method, if implemented, will be called by the parent OpenerDirector. It should return a file-like object as described in the return value of the open() method of OpenerDirector, or None. It should raise URLError, unless a truly exceptional thing happens (for example, MemoryError should not be mapped to URLError).

This method will be called before any protocol-specific open method.

BaseHandler.<protocol>_open(req)

This method is not defined in BaseHandler, but subclasses should define it if they want to handle URLs with the given protocol.

This method, if defined, will be called by the parent OpenerDirector. Return values should be the same as for default_open().

BaseHandler.unknown_open(req)

This method is not defined in BaseHandler, but subclasses should define it if they want to catch all URLs with no specific registered handler to open it.

This method, if implemented, will be called by the parent OpenerDirector. Return values should be the same as for default_open().

BaseHandler.http_error_default(req, fp, code, msg, hdrs)

This method is not defined in BaseHandler, but subclasses should override it if they intend to provide a catch-all for otherwise unhandled HTTP errors. It will be called automatically by the OpenerDirector getting the error, and should not normally be called in other circumstances.

req will be a Request object, fp will be a file-like object with the HTTP error body, code will be the three-digit code of the error, msg will be the user-visible explanation of the code and hdrs will be a mapping object with the headers of the error.

Return values and exceptions raised should be the same as those of urlopen().

BaseHandler.http_error_<nnn>(req, fp, code, msg, hdrs)

nnn should be a three-digit HTTP error code. This method is also not defined in BaseHandler, but will be called, if it exists, on an instance of a subclass, when an HTTP error with code nnn occurs.

Subclasses should override this method to handle specific HTTP errors.

Arguments, return values and exceptions raised should be the same as for http_error_default().

BaseHandler.<protocol>_request(req)

This method is not defined in BaseHandler, but subclasses should define it if they want to pre-process requests of the given protocol.

This method, if defined, will be called by the parent OpenerDirector. req will be a Request object. The return value should be a Request object.

BaseHandler.<protocol>_response(req, response)

This method is not defined in BaseHandler, but subclasses should define it if they want to post-process responses of the given protocol.

This method, if defined, will be called by the parent OpenerDirector. req will be a Request object. response will be an object implementing the same interface as the return value of urlopen(). The return value should implement the same interface as the return value of urlopen().

HTTPRedirectHandler Objects

Nota

Some HTTP redirections require action from this module’s client code. If this is the case, HTTPError is raised. See RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html] for details of the precise meanings of the various redirection codes.

An HTTPError exception raised as a security consideration if the HTTPRedirectHandler is presented with a redirected URL which is not an HTTP, HTTPS or FTP URL.

HTTPRedirectHandler.redirect_request(req, fp, code, msg, hdrs, newurl)

Return a Request or None in response to a redirect. This is called by the default implementations of the http_error_30*() methods when a redirection is received from the server. If a redirection should take place, return a new Request to allow http_error_30*() to perform the redirect to newurl. Otherwise, raise HTTPError if no other handler should try to handle this URL, or return None if you can’t but another handler might.

Nota

The default implementation of this method does not strictly follow RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html], which says that 301 and 302 responses to POST requests must not be automatically redirected without confirmation by the user. In reality, browsers do allow automatic redirection of these responses, changing the POST to a GET, and the default implementation reproduces this behavior.

HTTPRedirectHandler.http_error_301(req, fp, code, msg, hdrs)

Redirect to the Location: or URI: URL. This method is called by the parent OpenerDirector when getting an HTTP ‘moved permanently’ response.

HTTPRedirectHandler.http_error_302(req, fp, code, msg, hdrs)

The same as http_error_301(), but called for the ‘found’ response.

HTTPRedirectHandler.http_error_303(req, fp, code, msg, hdrs)

The same as http_error_301(), but called for the ‘see other’ response.

HTTPRedirectHandler.http_error_307(req, fp, code, msg, hdrs)

The same as http_error_301(), but called for the ‘temporary redirect’ response. It does not allow changing the request method from POST to GET.

HTTPRedirectHandler.http_error_308(req, fp, code, msg, hdrs)

The same as http_error_301(), but called for the ‘permanent redirect’ response. It does not allow changing the request method from POST to GET.

Adicionado na versão 3.11.

HTTPCookieProcessor Objects

HTTPCookieProcessor instances have one attribute:

HTTPCookieProcessor.cookiejar

The http.cookiejar.CookieJar in which cookies are stored.

ProxyHandler Objects

ProxyHandler.<protocol>_open(request)

The ProxyHandler will have a method <protocol>_open() for every protocol which has a proxy in the proxies dictionary given in the constructor. The method will modify requests to go through the proxy, by calling request.set_proxy(), and call the next handler in the chain to actually execute the protocol.

HTTPPasswordMgr Objects

These methods are available on HTTPPasswordMgr and HTTPPasswordMgrWithDefaultRealm objects.

HTTPPasswordMgr.add_password(realm, uri, user, passwd)

uri can be either a single URI, or a sequence of URIs. realm, user and passwd must be strings. This causes (user, passwd) to be used as authentication tokens when authentication for realm and a super-URI of any of the given URIs is given.

HTTPPasswordMgr.find_user_password(realm, authuri)

Get user/password for given realm and URI, if any. This method will return (None, None) if there is no matching user/password.

For HTTPPasswordMgrWithDefaultRealm objects, the realm None will be searched if the given realm has no matching user/password.

HTTPPasswordMgrWithPriorAuth Objects

This password manager extends HTTPPasswordMgrWithDefaultRealm to support tracking URIs for which authentication credentials should always be sent.

HTTPPasswordMgrWithPriorAuth.add_password(realm, uri, user, passwd, is_authenticated=False)

realm, uri, user, passwd are as for HTTPPasswordMgr.add_password(). is_authenticated sets the initial value of the is_authenticated flag for the given URI or list of URIs. If is_authenticated is specified as True, realm is ignored.

HTTPPasswordMgrWithPriorAuth.find_user_password(realm, authuri)

Same as for HTTPPasswordMgrWithDefaultRealm objects

HTTPPasswordMgrWithPriorAuth.update_authenticated(self, uri, is_authenticated=False)

Update the is_authenticated flag for the given uri or list of URIs.

HTTPPasswordMgrWithPriorAuth.is_authenticated(self, authuri)

Returns the current state of the is_authenticated flag for the given URI.

AbstractBasicAuthHandler Objects

AbstractBasicAuthHandler.http_error_auth_reqed(authreq, host, req, headers)

Handle an authentication request by getting a user/password pair, and re-trying the request. authreq should be the name of the header where the information about the realm is included in the request, host specifies the URL and path to authenticate for, req should be the (failed) Request object, and headers should be the error headers.

host is either an authority (e.g. "python.org") or a URL containing an authority component (e.g. "http://python.org/"). In either case, the authority must not contain a userinfo component (so, "python.org" and "python.org:80" are fine, "joe:password@python.org" is not).

HTTPBasicAuthHandler Objects

HTTPBasicAuthHandler.http_error_401(req, fp, code, msg, hdrs)

Retry the request with authentication information, if available.

ProxyBasicAuthHandler Objects

ProxyBasicAuthHandler.http_error_407(req, fp, code, msg, hdrs)

Retry the request with authentication information, if available.

AbstractDigestAuthHandler Objects

AbstractDigestAuthHandler.http_error_auth_reqed(authreq, host, req, headers)

authreq should be the name of the header where the information about the realm is included in the request, host should be the host to authenticate to, req should be the (failed) Request object, and headers should be the error headers.

HTTPDigestAuthHandler Objects

HTTPDigestAuthHandler.http_error_401(req, fp, code, msg, hdrs)

Retry the request with authentication information, if available.

ProxyDigestAuthHandler Objects

ProxyDigestAuthHandler.http_error_407(req, fp, code, msg, hdrs)

Retry the request with authentication information, if available.

HTTPHandler Objects

HTTPHandler.http_open(req)

Send an HTTP request, which can be either GET or POST, depending on req.has_data().

Objetos HTTPSHandler

HTTPSHandler.https_open(req)

Send an HTTPS request, which can be either GET or POST, depending on req.has_data().

FileHandler Objects

FileHandler.file_open(req)

Open the file locally, if there is no host name, or the host name is 'localhost'.

Alterado na versão 3.2: This method is applicable only for local hostnames. When a remote hostname is given, a URLError is raised.

DataHandler Objects

DataHandler.data_open(req)

Read a data URL. This kind of URL contains the content encoded in the URL itself. The data URL syntax is specified in RFC 2397 [https://datatracker.ietf.org/doc/html/rfc2397.html]. This implementation ignores white spaces in base64 encoded data URLs so the URL may be wrapped in whatever source file it comes from. But even though some browsers don’t mind about a missing padding at the end of a base64 encoded data URL, this implementation will raise a ValueError in that case.

FTPHandler Objects

FTPHandler.ftp_open(req)

Open the FTP file indicated by req. The login is always done with empty username and password.

CacheFTPHandler Objects

CacheFTPHandler objects are FTPHandler objects with the following additional methods:

CacheFTPHandler.setTimeout(t)

Set timeout of connections to t seconds.

CacheFTPHandler.setMaxConns(m)

Set maximum number of cached connections to m.

Objetos UnknownHandler

UnknownHandler.unknown_open()

Raise a URLError exception.

HTTPErrorProcessor Objects

HTTPErrorProcessor.http_response(request, response)

Process HTTP error responses.

For 200 error codes, the response object is returned immediately.

For non-200 error codes, this simply passes the job on to the http_error_<type>() handler methods, via OpenerDirector.error(). Eventually, HTTPDefaultErrorHandler will raise an HTTPError if no other handler handles the error.

HTTPErrorProcessor.https_response(request, response)

Process HTTPS error responses.

The behavior is same as http_response().

Exemplos

In addition to the examples below, more examples are given in Como buscar recursos da Internet usando o pacote urllib.

This example gets the python.org main page and displays the first 300 bytes of it.

>>> import urllib.request
>>> with urllib.request.urlopen('http://www.python.org/') as f:
...     print(f.read(300))
...
b'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n\n\n<html
xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">\n\n<head>\n
<meta http-equiv="content-type" content="text/html; charset=utf-8" />\n
<title>Python Programming '

Note that urlopen returns a bytes object. This is because there is no way for urlopen to automatically determine the encoding of the byte stream it receives from the HTTP server. In general, a program will decode the returned bytes object to string once it determines or guesses the appropriate encoding.

The following W3C document, https://www.w3.org/International/O-charset, lists the various ways in which an (X)HTML or an XML document could have specified its encoding information.

As the python.org website uses utf-8 encoding as specified in its meta tag, we will use the same for decoding the bytes object.

>>> with urllib.request.urlopen('http://www.python.org/') as f:
...     print(f.read(100).decode('utf-8'))
...
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtm

It is also possible to achieve the same result without using the context manager approach.

>>> import urllib.request
>>> f = urllib.request.urlopen('http://www.python.org/')
>>> print(f.read(100).decode('utf-8'))
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtm

In the following example, we are sending a data-stream to the stdin of a CGI and reading the data it returns to us. Note that this example will only work when the Python installation supports SSL.

>>> import urllib.request
>>> req = urllib.request.Request(url='https://localhost/cgi-bin/test.cgi',
...                       data=b'This data is passed to stdin of the CGI')
>>> with urllib.request.urlopen(req) as f:
...     print(f.read().decode('utf-8'))
...
Got Data: "This data is passed to stdin of the CGI"

The code for the sample CGI used in the above example is:

#!/usr/bin/env python
import sys
data = sys.stdin.read()
print('Content-type: text/plain\n\nGot Data: "%s"' % data)

Here is an example of doing a PUT request using Request:

import urllib.request
DATA = b'some data'
req = urllib.request.Request(url='http://localhost:8080', data=DATA, method='PUT')
with urllib.request.urlopen(req) as f:
    pass
print(f.status)
print(f.reason)

Use of Basic HTTP Authentication:

import urllib.request
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                          uri='https://mahler:8092/site-updates.py',
                          user='klem',
                          passwd='kadidd!ehopper')
opener = urllib.request.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib.request.install_opener(opener)
urllib.request.urlopen('http://www.example.com/login.html')

build_opener() provides many handlers by default, including a ProxyHandler. By default, ProxyHandler uses the environment variables named <scheme>_proxy, where <scheme> is the URL scheme involved. For example, the http_proxy environment variable is read to obtain the HTTP proxy’s URL.

This example replaces the default ProxyHandler with one that uses programmatically supplied proxy URLs, and adds proxy authorization support with ProxyBasicAuthHandler.

proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')

opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www.example.com/login.html')

Adicionando cabeçalhos HTTP:

Use the headers argument to the Request constructor, or:

import urllib.request
req = urllib.request.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
# Customize the default User-Agent header value:
req.add_header('User-Agent', 'urllib-example/0.1 (Contact: . . .)')
r = urllib.request.urlopen(req)

OpenerDirector automatically adds a User-Agent header to every Request. To change this:

import urllib.request
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')

Also, remember that a few standard headers (Content-Length, Content-Type and Host) are added when the Request is passed to urlopen() (or OpenerDirector.open()).

Here is an example session that uses the GET method to retrieve a URL containing parameters:

>>> import urllib.request
>>> import urllib.parse
>>> params = urllib.parse.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> url = "http://www.musi-cal.com/cgi-bin/query?%s" % params
>>> with urllib.request.urlopen(url) as f:
...     print(f.read().decode('utf-8'))
...

The following example uses the POST method instead. Note that params output from urlencode is encoded to bytes before it is sent to urlopen as data:

>>> import urllib.request
>>> import urllib.parse
>>> data = urllib.parse.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> data = data.encode('ascii')
>>> with urllib.request.urlopen("http://requestb.in/xrbl82xr", data) as f:
...     print(f.read().decode('utf-8'))
...

The following example uses an explicitly specified HTTP proxy, overriding environment settings:

>>> import urllib.request
>>> proxies = {'http': 'http://proxy.example.com:8080/'}
>>> opener = urllib.request.FancyURLopener(proxies)
>>> with opener.open("http://www.python.org") as f:
...     f.read().decode('utf-8')
...

The following example uses no proxies at all, overriding environment settings:

>>> import urllib.request
>>> opener = urllib.request.FancyURLopener({})
>>> with opener.open("http://www.python.org/") as f:
...     f.read().decode('utf-8')
...

Legacy interface

The following functions and classes are ported from the Python 2 module urllib (as opposed to urllib2). They might become deprecated at some point in the future.

urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)

Copy a network object denoted by a URL to a local file. If the URL points to a local file, the object will not be copied unless filename is supplied. Return a tuple (filename, headers) where filename is the local file name under which the object can be found, and headers is whatever the info() method of the object returned by urlopen() returned (for a remote object). Exceptions are the same as for urlopen().

The second argument, if present, specifies the file location to copy to (if absent, the location will be a tempfile with a generated name). The third argument, if present, is a callable that will be called once on establishment of the network connection and once after each block read thereafter. The callable will be passed three arguments; a count of blocks transferred so far, a block size in bytes, and the total size of the file. The third argument may be -1 on older FTP servers which do not return a file size in response to a retrieval request.

The following example illustrates the most common usage scenario:

>>> import urllib.request
>>> local_filename, headers = urllib.request.urlretrieve('http://python.org/')
>>> html = open(local_filename)
>>> html.close()

If the url uses the http: scheme identifier, the optional data argument may be given to specify a POST request (normally the request type is GET). The data argument must be a bytes object in standard application/x-www-form-urlencoded format; see the urllib.parse.urlencode() function.

urlretrieve() will raise ContentTooShortError when it detects that the amount of data available was less than the expected amount (which is the size reported by a Content-Length header). This can occur, for example, when the download is interrupted.

The Content-Length is treated as a lower bound: if there’s more data to read, urlretrieve reads more data, but if less data is available, it raises the exception.

You can still retrieve the downloaded data in this case, it is stored in the content attribute of the exception instance.

If no Content-Length header was supplied, urlretrieve can not check the size of the data it has downloaded, and just returns it. In this case you just have to assume that the download was successful.

urllib.request.urlcleanup()

Cleans up temporary files that may have been left behind by previous calls to urlretrieve().

class urllib.request.URLopener(proxies=None, **x509)

Obsoleto desde a versão 3.3.

Base class for opening and reading URLs. Unless you need to support opening objects using schemes other than http:, ftp:, or file:, you probably want to use FancyURLopener.

By default, the URLopener class sends a User-Agent header of urllib/VVV, where VVV is the urllib version number. Applications can define their own User-Agent header by subclassing URLopener or FancyURLopener and setting the class attribute version to an appropriate string value in the subclass definition.

The optional proxies parameter should be a dictionary mapping scheme names to proxy URLs, where an empty dictionary turns proxies off completely. Its default value is None, in which case environmental proxy settings will be used if present, as discussed in the definition of urlopen(), above.

Additional keyword parameters, collected in x509, may be used for authentication of the client when using the https: scheme. The keywords key_file and cert_file are supported to provide an SSL key and certificate; both are needed to support client authentication.

URLopener objects will raise an OSError exception if the server returns an error code.

open(fullurl, data=None)

Open fullurl using the appropriate protocol. This method sets up cache and proxy information, then calls the appropriate open method with its input arguments. If the scheme is not recognized, open_unknown() is called. The data argument has the same meaning as the data argument of urlopen().

This method always quotes fullurl using quote().

open_unknown(fullurl, data=None)

Overridable interface to open unknown URL types.

retrieve(url, filename=None, reporthook=None, data=None)

Retrieves the contents of url and places it in filename. The return value is a tuple consisting of a local filename and either an email.message.Message object containing the response headers (for remote URLs) or None (for local URLs). The caller must then open and read the contents of filename. If filename is not given and the URL refers to a local file, the input filename is returned. If the URL is non-local and filename is not given, the filename is the output of tempfile.mktemp() with a suffix that matches the suffix of the last path component of the input URL. If reporthook is given, it must be a function accepting three numeric parameters: A chunk number, the maximum size chunks are read in and the total size of the download (-1 if unknown). It will be called once at the start and after each chunk of data is read from the network. reporthook is ignored for local URLs.

If the url uses the http: scheme identifier, the optional data argument may be given to specify a POST request (normally the request type is GET). The data argument must in standard application/x-www-form-urlencoded format; see the urllib.parse.urlencode() function.

version

Variable that specifies the user agent of the opener object. To get urllib to tell servers that it is a particular user agent, set this in a subclass as a class variable or in the constructor before calling the base constructor.

class urllib.request.FancyURLopener(...)

Obsoleto desde a versão 3.3.

FancyURLopener subclasses URLopener providing default handling for the following HTTP response codes: 301, 302, 303, 307 and 401. For the 30x response codes listed above, the Location header is used to fetch the actual URL. For 401 response codes (authentication required), basic HTTP authentication is performed. For the 30x response codes, recursion is bounded by the value of the maxtries attribute, which defaults to 10.

For all other response codes, the method http_error_default() is called which you can override in subclasses to handle the error appropriately.

Nota

According to the letter of RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html], 301 and 302 responses to POST requests must not be automatically redirected without confirmation by the user. In reality, browsers do allow automatic redirection of these responses, changing the POST to a GET, and urllib reproduces this behaviour.

The parameters to the constructor are the same as those for URLopener.

Nota

When performing basic authentication, a FancyURLopener instance calls its prompt_user_passwd() method. The default implementation asks the users for the required information on the controlling terminal. A subclass may override this method to support more appropriate behavior if needed.

The FancyURLopener class offers one additional method that should be overloaded to provide the appropriate behavior:

prompt_user_passwd(host, realm)

Return information needed to authenticate the user at the given host in the specified security realm. The return value should be a tuple, (user, password), which can be used for basic authentication.

The implementation prompts for this information on the terminal; an application should override this method to use an appropriate interaction model in the local environment.

urllib.request Restrictions

Currently, only the following protocols are supported: HTTP (versions 0.9 and 1.0), FTP, local files, and data URLs.

Alterado na versão 3.4: Added support for data URLs.

The caching feature of urlretrieve() has been disabled until someone finds the time to hack proper processing of Expiration time headers.

There should be a function to query whether a particular URL is in the cache.

For backward compatibility, if a URL appears to point to a local file but the file can’t be opened, the URL is re-interpreted using the FTP protocol. This can sometimes cause confusing error messages.

The urlopen() and urlretrieve() functions can cause arbitrarily long delays while waiting for a network connection to be set up. This means that it is difficult to build an interactive web client using these functions without using threads.

The data returned by urlopen() or urlretrieve() is the raw data returned by the server. This may be binary data (such as an image), plain text or (for example) HTML. The HTTP protocol provides type information in the reply header, which can be inspected by looking at the Content-Type header. If the returned data is HTML, you can use the module html.parser to parse it.

The code handling the FTP protocol cannot differentiate between a file and a directory. This can lead to unexpected behavior when attempting to read a URL that points to a file that is not accessible. If the URL ends in a /, it is assumed to refer to a directory and will be handled accordingly. But if an attempt to read a file leads to a 550 error (meaning the URL cannot be found or is not accessible, often for permission reasons), then the path is treated as a directory in order to handle the case when a directory is specified by a URL but the trailing / has been left off. This can cause misleading results when you try to fetch a file whose read permissions make it inaccessible; the FTP code will try to read it, fail with a 550 error, and then perform a directory listing for the unreadable file. If fine-grained control is needed, consider using the ftplib module, subclassing FancyURLopener, or changing _urlopener to meet your needs.

urllib.response — Response classes used by urllib

The urllib.response module defines functions and classes which define a minimal file-like interface, including read() and readline(). Functions defined by this module are used internally by the urllib.request module. The typical response object is a urllib.response.addinfourl instance:

class urllib.response.addinfourl

url

URL of the resource retrieved, commonly used to determine if a redirect was followed.

headers

Returns the headers of the response in the form of an EmailMessage instance.

status

Adicionado na versão 3.9.

Status code returned by server.

geturl()

Obsoleto desde a versão 3.9: Deprecated in favor of url.

info()

Obsoleto desde a versão 3.9: Deprecated in favor of headers.

code

Obsoleto desde a versão 3.9: Deprecated in favor of status.

getcode()

Obsoleto desde a versão 3.9: Deprecated in favor of status.

urllib.parse — Analisa URLs para componentes

Código-fonte: Lib/urllib/parse.py [https://github.com/python/cpython/tree/3.13/Lib/urllib/parse.py]

Este módulo define uma interface padrão para quebrar strings de Uniform Resource Locator (URL) em componentes (esquema de endereçamento, local de rede, caminho etc.), para combinar os componentes de volta em uma string de URL e para converter uma “URL relativo” em uma URL absoluta dado uma “URL base”.

The module has been designed to match the internet RFC on Relative Uniform Resource Locators. It supports the following URL schemes: file, ftp, gopher, hdl, http, https, imap, itms-services, mailto, mms, news, nntp, prospero, rsync, rtsp, rtsps, rtspu, sftp, shttp, sip, sips, snews, svn, svn+ssh, telnet, wais, ws, wss.

Detalhes da implementação do CPython: The inclusion of the itms-services URL scheme can prevent an app from passing Apple’s App Store review process for the macOS and iOS App Stores. Handling for the itms-services scheme is always removed on iOS; on macOS, it may be removed if CPython has been built with the --with-app-store-compliance option.

O módulo urllib.parse define funções que se enquadram em duas grandes categorias: análise de URL e colocação de aspas na URL. Eles são abordados em detalhes nas seções a seguir.

As funções deste módulo usam o termo descontinuado netloc (ou net_loc), que foi introduzido no RFC 1808 [https://datatracker.ietf.org/doc/html/rfc1808.html]. No entanto, este termo foi descontinuado pelo RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], que introduziu o termo authority como seu substituto. O uso de netloc continua para compatibilidade com versões anteriores.

Análise de URL

As funções de análise de URL se concentram na divisão de uma string de URL em seus componentes ou na combinação de componentes de URL em uma string de URL.

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

Analisa uma URL em seis componentes, retornando uma tupla nomeada de 6 itens. Isso corresponde à estrutura geral de uma URL: scheme://netloc/path;parameters?query#fragment. Cada item da tupla é uma string, possivelmente vazia. Os componentes não são divididos em partes menores (por exemplo, o netloc, ou local da rede, é uma única string) e escapes % não são expandidos. Os delimitadores conforme mostrado acima não fazem parte do resultado, exceto por uma barra inicial no componente path, que é retido se estiver presente. Por exemplo:

>>> from urllib.parse import urlparse
>>> urlparse("scheme://netloc/path;parameters?query#fragment")
ParseResult(scheme='scheme', netloc='netloc', path='/path;parameters', params='',
            query='query', fragment='fragment')
>>> o = urlparse("http://docs.python.org:80/3/library/urllib.parse.html?"
...              "highlight=params#url-parsing")
>>> o
ParseResult(scheme='http', netloc='docs.python.org:80',
            path='/3/library/urllib.parse.html', params='',
            query='highlight=params', fragment='url-parsing')
>>> o.scheme
'http'
>>> o.netloc
'docs.python.org:80'
>>> o.hostname
'docs.python.org'
>>> o.port
80
>>> o._replace(fragment="").geturl()
'http://docs.python.org:80/3/library/urllib.parse.html?highlight=params'

Seguindo as especificações de sintaxe em RFC 1808 [https://datatracker.ietf.org/doc/html/rfc1808.html], o urlparse reconhece um netloc apenas se for introduzido apropriadamente por ‘//’. Caso contrário, presume-se que a entrada seja uma URL relativa e, portanto, comece com um componente de caminho.

>>> from urllib.parse import urlparse
>>> urlparse('//www.cwi.nl:80/%7Eguido/Python.html')
ParseResult(scheme='', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html',
            params='', query='', fragment='')
>>> urlparse('www.cwi.nl/%7Eguido/Python.html')
ParseResult(scheme='', netloc='', path='www.cwi.nl/%7Eguido/Python.html',
            params='', query='', fragment='')
>>> urlparse('help/Python.html')
ParseResult(scheme='', netloc='', path='help/Python.html', params='',
            query='', fragment='')

O argumento scheme fornece o esquema de endereçamento padrão, a ser usado apenas se o URL não especificar um. Deve ser do mesmo tipo (texto ou bytes) que urlstring, exceto que o valor padrão '' é sempre permitido e é automaticamente convertido para b'' se apropriado.

Se o argumento allow_fragments for falso, os identificadores de fragmento não serão reconhecidos. Em vez disso, eles são analisados como parte do caminho, parâmetros ou componente de consulta, e fragment é definido como a string vazia no valor de retorno.

O valor de retorno é uma tupla nomeada, o que significa que seus itens podem ser acessados por índice ou como atributos nomeados, que são:

Atributo

Índice

Valor

Valor, se não presente

scheme

0

Especificador do esquema da URL

parâmetro scheme

netloc

1

Parte da localização na rede

string vazia

path

2

Caminho hierárquico

string vazia

params

3

Parâmetros para o último elemento de caminho

string vazia

query

4

Componente da consulta

string vazia

fragment

5

Identificador do fragmento

string vazia

username

Nome do usuário

None

password

Senha

None

hostname

Nome de máquina (em minúsculo)

None

port

Número da porta como inteiro, se presente

None

Ler o atributo port irá levantar uma ValueError se uma porta inválida for especificada no URL. Veja a seção Structured Parse Results para mais informações sobre o objeto de resultado.

Colchetes sem correspondência no atributo netloc levantará uma ValueError.

Caracteres no atributo netloc que se decompõem sob a normalização NFKC (como usado pela codificação IDNA) em qualquer um dos /, ?, #, @ ou : vai levantar uma ValueError. Se a URL for decomposta antes da análise, nenhum erro será levantado.

Como é o caso com todas as tuplas nomeadas, a subclasse tem alguns métodos e atributos adicionais que são particularmente úteis. Um desses métodos é _replace(). O método _replace() retornará um novo objeto ParseResult substituindo os campos especificados por novos valores.

>>> from urllib.parse import urlparse
>>> u = urlparse('//www.cwi.nl:80/%7Eguido/Python.html')
>>> u
ParseResult(scheme='', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html',
            params='', query='', fragment='')
>>> u._replace(scheme='http')
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html',
            params='', query='', fragment='')

Aviso

urlparse() não realiza validação. Veja Segurança ao analisar URLs para detalhes.

Alterado na versão 3.2: Adicionados recursos de análise de URL IPv6.

Alterado na versão 3.3: O fragmento agora é analisado para todos os esquemas de URL (a menos que allow_fragments seja falso), de acordo com a RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html]. Anteriormente, existia uma lista de permitidos de esquemas que suportam fragmentos.

Alterado na versão 3.6: Números de porta fora do intervalo agora levantam ValueError, em vez de retornar None.

Alterado na versão 3.8: Os caracteres que afetam a análise de netloc sob normalização NFKC agora levantarão ValueError.

urllib.parse.parse_qs(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace', max_num_fields=None, separator='&')

Analisa uma string de consulta fornecida como um argumento de string (dados do tipo application/x-www-form-urlencoded). Os dados são retornados como um dicionário. As chaves de dicionário são os nomes de variáveis de consulta exclusivos e os valores são listas de valores para cada nome.

O argumento opcional keep_blank_values é um sinalizador que indica se os valores em branco em consultas codificadas por porcentagem devem ser tratados como strings em branco. Um valor verdadeiro indica que os espaços em branco devem ser mantidos como strings em branco. O valor falso padrão indica que os valores em branco devem ser ignorados e tratados como se não tivessem sido incluídos.

O argumento opcional strict_parsing é um sinalizador que indica o que fazer com os erros de análise. Se falsO (o padrão), os erros são ignorados silenciosamente. Se verdadeiro, os erros levantam uma exceção ValueError.

Os parâmetros opcionais encoding e errors especificam como decodificar sequências codificadas em porcentagem em caracteres Unicode, conforme aceito pelo método bytes.decode().

O argumento opcional max_num_fields é o número máximo de campos a serem lidos. Se definido, então levanta um ValueError se houver mais de max_num_fields campos lidos.

O argumento opcional separador é o símbolo a ser usado para separar os argumentos da consulta. O padrão é &.

Use a função urllib.parse.urlencode() (com o parâmetro doseq definido como True) para converter esses dicionários em strings de consulta.

Alterado na versão 3.2: Adicionado os parâmetros encoding e errors.

Alterado na versão 3.8: Adicionado o parâmetro max_num_fields.

Alterado na versão 3.10: Added separator parameter with the default value of &. Python versions earlier than Python 3.10 allowed using both ; and & as query parameter separator. This has been changed to allow only a single separator key, with & as the default separator.

urllib.parse.parse_qsl(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace', max_num_fields=None, separator='&')

Parse a query string given as a string argument (data of type application/x-www-form-urlencoded). Data are returned as a list of name, value pairs.

O argumento opcional keep_blank_values é um sinalizador que indica se os valores em branco em consultas codificadas por porcentagem devem ser tratados como strings em branco. Um valor verdadeiro indica que os espaços em branco devem ser mantidos como strings em branco. O valor falso padrão indica que os valores em branco devem ser ignorados e tratados como se não tivessem sido incluídos.

O argumento opcional strict_parsing é um sinalizador que indica o que fazer com os erros de análise. Se falsO (o padrão), os erros são ignorados silenciosamente. Se verdadeiro, os erros levantam uma exceção ValueError.

Os parâmetros opcionais encoding e errors especificam como decodificar sequências codificadas em porcentagem em caracteres Unicode, conforme aceito pelo método bytes.decode().

O argumento opcional max_num_fields é o número máximo de campos a serem lidos. Se definido, então levanta um ValueError se houver mais de max_num_fields campos lidos.

O argumento opcional separador é o símbolo a ser usado para separar os argumentos da consulta. O padrão é &.

Use the urllib.parse.urlencode() function to convert such lists of pairs into query strings.

Alterado na versão 3.2: Adicionado os parâmetros encoding e errors.

Alterado na versão 3.8: Adicionado o parâmetro max_num_fields.

Alterado na versão 3.10: Added separator parameter with the default value of &. Python versions earlier than Python 3.10 allowed using both ; and & as query parameter separator. This has been changed to allow only a single separator key, with & as the default separator.

urllib.parse.urlunparse(parts)

Construct a URL from a tuple as returned by urlparse(). The parts argument can be any six-item iterable. This may result in a slightly different, but equivalent URL, if the URL that was parsed originally had unnecessary delimiters (for example, a ? with an empty query; the RFC states that these are equivalent).

urllib.parse.urlsplit(urlstring, scheme='', allow_fragments=True)

This is similar to urlparse(), but does not split the params from the URL. This should generally be used instead of urlparse() if the more recent URL syntax allowing parameters to be applied to each segment of the path portion of the URL (see RFC 2396 [https://datatracker.ietf.org/doc/html/rfc2396.html]) is wanted. A separate function is needed to separate the path segments and parameters. This function returns a 5-item named tuple:

(addressing scheme, network location, path, query, fragment identifier).

The return value is a named tuple, its items can be accessed by index or as named attributes:

Atributo

Índice

Valor

Valor, se não presente

scheme

0

Especificador do esquema da URL

parâmetro scheme

netloc

1

Parte da localização na rede

string vazia

path

2

Caminho hierárquico

string vazia

query

3

Componente da consulta

string vazia

fragment

4

Identificador do fragmento

string vazia

username

Nome do usuário

None

password

Senha

None

hostname

Nome de máquina (em minúsculo)

None

port

Número da porta como inteiro, se presente

None

Ler o atributo port irá levantar uma ValueError se uma porta inválida for especificada no URL. Veja a seção Structured Parse Results para mais informações sobre o objeto de resultado.

Colchetes sem correspondência no atributo netloc levantará uma ValueError.

Caracteres no atributo netloc que se decompõem sob a normalização NFKC (como usado pela codificação IDNA) em qualquer um dos /, ?, #, @ ou : vai levantar uma ValueError. Se a URL for decomposta antes da análise, nenhum erro será levantado.

Following some of the WHATWG spec [https://url.spec.whatwg.org/#concept-basic-url-parser] that updates RFC 3986, leading C0 control and space characters are stripped from the URL. \n, \r and tab \t characters are removed from the URL at any position.

Aviso

urlsplit() does not perform validation. See URL parsing security for details.

Alterado na versão 3.6: Números de porta fora do intervalo agora levantam ValueError, em vez de retornar None.

Alterado na versão 3.8: Os caracteres que afetam a análise de netloc sob normalização NFKC agora levantarão ValueError.

Alterado na versão 3.10: ASCII newline and tab characters are stripped from the URL.

Alterado na versão 3.12: Leading WHATWG C0 control and space characters are stripped from the URL.

urllib.parse.urlunsplit(parts)

Combine the elements of a tuple as returned by urlsplit() into a complete URL as a string. The parts argument can be any five-item iterable. This may result in a slightly different, but equivalent URL, if the URL that was parsed originally had unnecessary delimiters (for example, a ? with an empty query; the RFC states that these are equivalent).

urllib.parse.urljoin(base, url, allow_fragments=True)

Construct a full (“absolute”) URL by combining a “base URL” (base) with another URL (url). Informally, this uses components of the base URL, in particular the addressing scheme, the network location and (part of) the path, to provide missing components in the relative URL. For example:

>>> from urllib.parse import urljoin
>>> urljoin('http://www.cwi.nl/%7Eguido/Python.html', 'FAQ.html')
'http://www.cwi.nl/%7Eguido/FAQ.html'

The allow_fragments argument has the same meaning and default as for urlparse().

Nota

If url is an absolute URL (that is, it starts with // or scheme://), the url’s hostname and/or scheme will be present in the result. For example:

>>> urljoin('http://www.cwi.nl/%7Eguido/Python.html',
...         '//www.python.org/%7Eguido')
'http://www.python.org/%7Eguido'

If you do not want that behavior, preprocess the url with urlsplit() and urlunsplit(), removing possible scheme and netloc parts.

Alterado na versão 3.5: Behavior updated to match the semantics defined in RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html].

urllib.parse.urldefrag(url)

If url contains a fragment identifier, return a modified version of url with no fragment identifier, and the fragment identifier as a separate string. If there is no fragment identifier in url, return url unmodified and an empty string.

The return value is a named tuple, its items can be accessed by index or as named attributes:

Atributo

Índice

Valor

Valor, se não presente

url

0

URL with no fragment

string vazia

fragment

1

Identificador do fragmento

string vazia

See section Structured Parse Results for more information on the result object.

Alterado na versão 3.2: Result is a structured object rather than a simple 2-tuple.

urllib.parse.unwrap(url)

Extract the url from a wrapped URL (that is, a string formatted as <URL:scheme://host/path>, <scheme://host/path>, URL:scheme://host/path or scheme://host/path). If url is not a wrapped URL, it is returned without changes.

Segurança ao analisar URLs

The urlsplit() and urlparse() APIs do not perform validation of inputs. They may not raise errors on inputs that other applications consider invalid. They may also succeed on some inputs that might not be considered URLs elsewhere. Their purpose is for practical functionality rather than purity.

Instead of raising an exception on unusual input, they may instead return some component parts as empty strings. Or components may contain more than perhaps they should.

We recommend that users of these APIs where the values may be used anywhere with security implications code defensively. Do some verification within your code before trusting a returned component part. Does that scheme make sense? Is that a sensible path? Is there anything strange about that hostname? etc.

What constitutes a URL is not universally well defined. Different applications have different needs and desired constraints. For instance the living WHATWG spec [https://url.spec.whatwg.org/#concept-basic-url-parser] describes what user facing web clients such as a web browser require. While RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html] is more general. These functions incorporate some aspects of both, but cannot be claimed compliant with either. The APIs and existing user code with expectations on specific behaviors predate both standards leading us to be very cautious about making API behavior changes.

Analisando bytes codificados em ASCII

The URL parsing functions were originally designed to operate on character strings only. In practice, it is useful to be able to manipulate properly quoted and encoded URLs as sequences of ASCII bytes. Accordingly, the URL parsing functions in this module all operate on bytes and bytearray objects in addition to str objects.

If str data is passed in, the result will also contain only str data. If bytes or bytearray data is passed in, the result will contain only bytes data.

Attempting to mix str data with bytes or bytearray in a single function call will result in a TypeError being raised, while attempting to pass in non-ASCII byte values will trigger UnicodeDecodeError.

To support easier conversion of result objects between str and bytes, all return values from URL parsing functions provide either an encode() method (when the result contains str data) or a decode() method (when the result contains bytes data). The signatures of these methods match those of the corresponding str and bytes methods (except that the default encoding is 'ascii' rather than 'utf-8'). Each produces a value of a corresponding type that contains either bytes data (for encode() methods) or str data (for decode() methods).

Applications that need to operate on potentially improperly quoted URLs that may contain non-ASCII data will need to do their own decoding from bytes to characters before invoking the URL parsing methods.

The behaviour described in this section applies only to the URL parsing functions. The URL quoting functions use their own rules when producing or consuming byte sequences as detailed in the documentation of the individual URL quoting functions.

Alterado na versão 3.2: URL parsing functions now accept ASCII encoded byte sequences

Structured Parse Results

The result objects from the urlparse(), urlsplit() and urldefrag() functions are subclasses of the tuple type. These subclasses add the attributes listed in the documentation for those functions, the encoding and decoding support described in the previous section, as well as an additional method:

urllib.parse.SplitResult.geturl()

Return the re-combined version of the original URL as a string. This may differ from the original URL in that the scheme may be normalized to lower case and empty components may be dropped. Specifically, empty parameters, queries, and fragment identifiers will be removed.

For urldefrag() results, only empty fragment identifiers will be removed. For urlsplit() and urlparse() results, all noted changes will be made to the URL returned by this method.

The result of this method remains unchanged if passed back through the original parsing function:

>>> from urllib.parse import urlsplit
>>> url = 'HTTP://www.Python.org/doc/#'
>>> r1 = urlsplit(url)
>>> r1.geturl()
'http://www.Python.org/doc/'
>>> r2 = urlsplit(r1.geturl())
>>> r2.geturl()
'http://www.Python.org/doc/'

The following classes provide the implementations of the structured parse results when operating on str objects:

class urllib.parse.DefragResult(url, fragment)

Concrete class for urldefrag() results containing str data. The encode() method returns a DefragResultBytes instance.

Adicionado na versão 3.2.

class urllib.parse.ParseResult(scheme, netloc, path, params, query, fragment)

Concrete class for urlparse() results containing str data. The encode() method returns a ParseResultBytes instance.

class urllib.parse.SplitResult(scheme, netloc, path, query, fragment)

Concrete class for urlsplit() results containing str data. The encode() method returns a SplitResultBytes instance.

The following classes provide the implementations of the parse results when operating on bytes or bytearray objects:

class urllib.parse.DefragResultBytes(url, fragment)

Concrete class for urldefrag() results containing bytes data. The decode() method returns a DefragResult instance.

Adicionado na versão 3.2.

class urllib.parse.ParseResultBytes(scheme, netloc, path, params, query, fragment)

Concrete class for urlparse() results containing bytes data. The decode() method returns a ParseResult instance.

Adicionado na versão 3.2.

class urllib.parse.SplitResultBytes(scheme, netloc, path, query, fragment)

Concrete class for urlsplit() results containing bytes data. The decode() method returns a SplitResult instance.

Adicionado na versão 3.2.

URL Quoting

The URL quoting functions focus on taking program data and making it safe for use as URL components by quoting special characters and appropriately encoding non-ASCII text. They also support reversing these operations to recreate the original data from the contents of a URL component if that task isn’t already covered by the URL parsing functions above.

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

Replace special characters in string using the %xx escape. Letters, digits, and the characters '_.-~' are never quoted. By default, this function is intended for quoting the path section of a URL. The optional safe parameter specifies additional ASCII characters that should not be quoted — its default value is '/'.

string may be either a str or a bytes object.

Alterado na versão 3.7: Moved from RFC 2396 [https://datatracker.ietf.org/doc/html/rfc2396.html] to RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html] for quoting URL strings. “~” is now included in the set of unreserved characters.

The optional encoding and errors parameters specify how to deal with non-ASCII characters, as accepted by the str.encode() method. encoding defaults to 'utf-8'. errors defaults to 'strict', meaning unsupported characters raise a UnicodeEncodeError. encoding and errors must not be supplied if string is a bytes, or a TypeError is raised.

Note that quote(string, safe, encoding, errors) is equivalent to quote_from_bytes(string.encode(encoding, errors), safe).

Example: quote('/El Niño/') yields '/El%20Ni%C3%B1o/'.

urllib.parse.quote_plus(string, safe='', encoding=None, errors=None)

Like quote(), but also replace spaces with plus signs, as required for quoting HTML form values when building up a query string to go into a URL. Plus signs in the original string are escaped unless they are included in safe. It also does not have safe default to '/'.

Example: quote_plus('/El Niño/') yields '%2FEl+Ni%C3%B1o%2F'.

urllib.parse.quote_from_bytes(bytes, safe='/')

Like quote(), but accepts a bytes object rather than a str, and does not perform string-to-bytes encoding.

Example: quote_from_bytes(b'a&\xef') yields 'a%26%EF'.

urllib.parse.unquote(string, encoding='utf-8', errors='replace')

Replace %xx escapes with their single-character equivalent. The optional encoding and errors parameters specify how to decode percent-encoded sequences into Unicode characters, as accepted by the bytes.decode() method.

string may be either a str or a bytes object.

encoding defaults to 'utf-8'. errors defaults to 'replace', meaning invalid sequences are replaced by a placeholder character.

Example: unquote('/El%20Ni%C3%B1o/') yields '/El Niño/'.

Alterado na versão 3.9: string parameter supports bytes and str objects (previously only str).

urllib.parse.unquote_plus(string, encoding='utf-8', errors='replace')

Like unquote(), but also replace plus signs with spaces, as required for unquoting HTML form values.

string must be a str.

Example: unquote_plus('/El+Ni%C3%B1o/') yields '/El Niño/'.

urllib.parse.unquote_to_bytes(string)

Replace %xx escapes with their single-octet equivalent, and return a bytes object.

string may be either a str or a bytes object.

If it is a str, unescaped non-ASCII characters in string are encoded into UTF-8 bytes.

Example: unquote_to_bytes('a%26%EF') yields b'a&\xef'.

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

Convert a mapping object or a sequence of two-element tuples, which may contain str or bytes objects, to a percent-encoded ASCII text string. If the resultant string is to be used as a data for POST operation with the urlopen() function, then it should be encoded to bytes, otherwise it would result in a TypeError.

The resulting string is a series of key=value pairs separated by '&' characters, where both key and value are quoted using the quote_via function. By default, quote_plus() is used to quote the values, which means spaces are quoted as a '+' character and ‘/’ characters are encoded as %2F, which follows the standard for GET requests (application/x-www-form-urlencoded). An alternate function that can be passed as quote_via is quote(), which will encode spaces as %20 and not encode ‘/’ characters. For maximum control of what is quoted, use quote and specify a value for safe.

When a sequence of two-element tuples is used as the query argument, the first element of each tuple is a key and the second is a value. The value element in itself can be a sequence and in that case, if the optional parameter doseq evaluates to True, individual key=value pairs separated by '&' are generated for each element of the value sequence for the key. The order of parameters in the encoded string will match the order of parameter tuples in the sequence.

The safe, encoding, and errors parameters are passed down to quote_via (the encoding and errors parameters are only passed when a query element is a str).

To reverse this encoding process, parse_qs() and parse_qsl() are provided in this module to parse query strings into Python data structures.

Refer to urllib examples to find out how the urllib.parse.urlencode() method can be used for generating the query string of a URL or data for a POST request.

Alterado na versão 3.2: query supports bytes and string objects.

Alterado na versão 3.5: Added the quote_via parameter.

Ver também

WHATWG [https://url.spec.whatwg.org/] - URL Living standard

Working Group for the URL Standard that defines URLs, domains, IP addresses, the application/x-www-form-urlencoded format, and their API.

RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html] - Uniform Resource Identifiers

This is the current standard (STD66). Any changes to urllib.parse module should conform to this. Certain deviations could be observed, which are mostly for backward compatibility purposes and for certain de-facto parsing requirements as commonly observed in major browsers.

RFC 2732 [https://datatracker.ietf.org/doc/html/rfc2732.html] - Format for Literal IPv6 Addresses in URL’s.

This specifies the parsing requirements of IPv6 URLs.

RFC 2396 [https://datatracker.ietf.org/doc/html/rfc2396.html] - Uniform Resource Identifiers (URI): Generic Syntax

Document describing the generic syntactic requirements for both Uniform Resource Names (URNs) and Uniform Resource Locators (URLs).

RFC 2368 [https://datatracker.ietf.org/doc/html/rfc2368.html] - The mailto URL scheme.

Parsing requirements for mailto URL schemes.

RFC 1808 [https://datatracker.ietf.org/doc/html/rfc1808.html] - Relative Uniform Resource Locators

This Request For Comments includes the rules for joining an absolute and a relative URL, including a fair number of “Abnormal Examples” which govern the treatment of border cases.

RFC 1738 [https://datatracker.ietf.org/doc/html/rfc1738.html] - Uniform Resource Locators (URL)

This specifies the formal syntax and semantics of absolute URLs.

urllib.error — Classes de exceção levantadas por urllib.request

Código-fonte: Lib/urllib/error.py [https://github.com/python/cpython/tree/3.13/Lib/urllib/error.py]

O módulo urllib.error define as classes de exceção para exceções levantadas por urllib.request. A classe de exceção base é URLError.

As seguintes exceções são levantadas por urllib.error conforme apropriado:

exception urllib.error.URLError

Os manipuladores levantam essa exceção (ou exceções derivadas) quando encontram um problema. É uma subclasse de OSError.

reason

O motivo desse erro. Pode ser uma string de mensagem ou outra instância de exceção.

Alterado na versão 3.3: URLError costumava ser um subtipo de IOError, que agora é um apelido de OSError.

exception urllib.error.HTTPError(url, code, msg, hdrs, fp)

Embora seja uma exceção (uma subclasse de URLError), uma HTTPError também pode funcionar como um valor de retorno não excepcional do tipo arquivo (a mesma coisa que urlopen() retorna). Isso é útil ao lidar com erros de HTTP exóticos, como solicitações de autenticação.

url

Contém a solicitação URL. Um apelido para nome do arquivo atributo.

code

Um código de status HTTP conforme definido em RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html]. Este valor numérico corresponde a um valor encontrado no dicionário de códigos conforme encontrado em http.server.BaseHTTPRequestHandler.responses.

reason

Geralmente é uma string explicando o motivo desse erro. Um apelido para o atributo msg.

headers

Os cabeçalhos de resposta HTTP para a solicitação HTTP que causou a HTTPError. Um apelido para o atributo hdrs.

Adicionado na versão 3.4.

fp

Um objeto arquivo ou similar no qual o corpo do HTTP erro pode ser lido.

exception urllib.error.ContentTooShortError(msg, content)

Esta exceção é levantada quando a função urlretrieve() detecta que a quantidade de dados baixados é menor que a quantidade esperada (fornecida pelo cabeçalho Content-Length).

content

Os dados baixados (e supostamente truncados).

urllib.robotparser — Parser for robots.txt

Código-fonte: Lib/urllib/robotparser.py [https://github.com/python/cpython/tree/3.13/Lib/urllib/robotparser.py]

This module provides a single class, RobotFileParser, which answers questions about whether or not a particular user agent can fetch a URL on the web site that published the robots.txt file. For more details on the structure of robots.txt files, see http://www.robotstxt.org/orig.html.

class urllib.robotparser.RobotFileParser(url='')

This class provides methods to read, parse and answer questions about the robots.txt file at url.

set_url(url)

Sets the URL referring to a robots.txt file.

read()

Reads the robots.txt URL and feeds it to the parser.

parse(lines)

Parses the lines argument.

can_fetch(useragent, url)

Returns True if the useragent is allowed to fetch the url according to the rules contained in the parsed robots.txt file.

mtime()

Returns the time the robots.txt file was last fetched. This is useful for long-running web spiders that need to check for new robots.txt files periodically.

modified()

Sets the time the robots.txt file was last fetched to the current time.

crawl_delay(useragent)

Returns the value of the Crawl-delay parameter from robots.txt for the useragent in question. If there is no such parameter or it doesn’t apply to the useragent specified or the robots.txt entry for this parameter has invalid syntax, return None.

Adicionado na versão 3.6.

request_rate(useragent)

Returns the contents of the Request-rate parameter from robots.txt as a named tuple RequestRate(requests, seconds). If there is no such parameter or it doesn’t apply to the useragent specified or the robots.txt entry for this parameter has invalid syntax, return None.

Adicionado na versão 3.6.

site_maps()

Returns the contents of the Sitemap parameter from robots.txt in the form of a list(). If there is no such parameter or the robots.txt entry for this parameter has invalid syntax, return None.

Adicionado na versão 3.8.

O exemplo a seguir demonstra o uso básico da classe RobotFileParser:

>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True

http — HTTP modules

Código-fonte: Lib/http/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/http/__init__.py]

http é um pacote que coleta vários módulos para trabalhar com o Protocolo de Transferência de Hipertexto:

http.client é um cliente de protocolo HTTP de baixo nível; para abertura de URL de alto nível, use urllib.request

http.server contém classes básicas de servidor HTTP baseadas em socketserver

http.cookies tem utilidades para implementar gerenciamento de estado com cookies

http.cookiejar provê persistência de cookies

O módulo http também define os seguintes enums que podem ajudar você a trabalhar com os status code http relacionados:

class http.HTTPStatus

Adicionado na versão 3.5.

Subclasse de enum.IntEnum que define um conjunto de códigos de status HTTP, frases de razão e descrições longas escritas em inglês.

Uso:

>>> from http import HTTPStatus
>>> HTTPStatus.OK
HTTPStatus.OK
>>> HTTPStatus.OK == 200
True
>>> HTTPStatus.OK.value
200
>>> HTTPStatus.OK.phrase
'OK'
>>> HTTPStatus.OK.description
'Request fulfilled, document follows'
>>> list(HTTPStatus)
[HTTPStatus.CONTINUE, HTTPStatus.SWITCHING_PROTOCOLS, ...]

códigos de status HTTP

Supported, IANA-registered status codes [https://www.iana.org/assignments/http-status-codes/http-status-codes.xhtml] available in http.HTTPStatus are:

Código

Nome da Enumeração

Detalhes

100

CONTINUE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.2.1

101

SWITCHING_PROTOCOLS

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.2.2

102

PROCESSING

WebDAV RFC 2518 [https://datatracker.ietf.org/doc/html/rfc2518.html], Seção 10.1

103

EARLY_HINTS

Um código de status HTTP para indicar dicas RFC 8297 [https://datatracker.ietf.org/doc/html/rfc8297.html]

200

OK

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.1

201

CREATED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.2

202

ACCEPTED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.3

203

NON_AUTHORITATIVE_INFORMATION

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.4

204

NO_CONTENT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.5

205

RESET_CONTENT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.6

206

PARTIAL_CONTENT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.3.7

207

MULTI_STATUS

WebDAV RFC 4918 [https://datatracker.ietf.org/doc/html/rfc4918.html], Seção 11.1

208

ALREADY_REPORTED

Extensões Vinculadas WebDAV RFC 5842 [https://datatracker.ietf.org/doc/html/rfc5842.html], Seção 7.1 (Experimental)

226

IM_USED

Codificador Delta em HTTP RFC 3229 [https://datatracker.ietf.org/doc/html/rfc3229.html], Seção 10.4.1

300

MULTIPLE_CHOICES

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.1

301

MOVED_PERMANENTLY

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.2

302

FOUND

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.3

303

SEE_OTHER

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.4

304

NOT_MODIFIED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.5

305

USE_PROXY

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.6

307

TEMPORARY_REDIRECT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.8

308

PERMANENT_REDIRECT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.4.9

400

BAD_REQUEST

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.1

401

UNAUTHORIZED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.2

402

PAYMENT_REQUIRED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.3

403

FORBIDDEN

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.4

404

NOT_FOUND

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.5

405

METHOD_NOT_ALLOWED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.6

406

NOT_ACCEPTABLE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.7

407

PROXY_AUTHENTICATION_REQUIRED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.8

408

REQUEST_TIMEOUT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.9

409

CONFLICT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.10

410

GONE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.11

411

LENGTH_REQUIRED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.12

412

PRECONDITION_FAILED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.13

413

CONTENT_TOO_LARGE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.14

414

URI_TOO_LONG

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.15

415

UNSUPPORTED_MEDIA_TYPE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.16

416

RANGE_NOT_SATISFIABLE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.17

417

EXPECTATION_FAILED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.18

418

IM_A_TEAPOT

HTCPCP/1.0 RFC 2324 [https://datatracker.ietf.org/doc/html/rfc2324.html], Seção 2.3.2

421

MISDIRECTED_REQUEST

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.20

422

UNPROCESSABLE_CONTENT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.21

423

LOCKED

WebDAV RFC 4918 [https://datatracker.ietf.org/doc/html/rfc4918.html], Seção 11.3

424

FAILED_DEPENDENCY

WebDAV RFC 4918 [https://datatracker.ietf.org/doc/html/rfc4918.html], Seção 11.4

425

TOO_EARLY

Usando dados antecipados em HTTP RFC 8470 [https://datatracker.ietf.org/doc/html/rfc8470.html]

426

UPGRADE_REQUIRED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.5.22

428

PRECONDITION_REQUIRED

Códigos de Status HTTP Adicionais RFC 6585 [https://datatracker.ietf.org/doc/html/rfc6585.html]

429

TOO_MANY_REQUESTS

Códigos de Status HTTP Adicionais RFC 6585 [https://datatracker.ietf.org/doc/html/rfc6585.html]

431

REQUEST_HEADER_FIELDS_TOO_LARGE

Códigos de Status HTTP Adicionais RFC 6585 [https://datatracker.ietf.org/doc/html/rfc6585.html]

451

UNAVAILABLE_FOR_LEGAL_REASONS

Um Código de Status HTTP para Relatar Obstáculos Legais RFC 7725 [https://datatracker.ietf.org/doc/html/rfc7725.html]

500

INTERNAL_SERVER_ERROR

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.1

501

NOT_IMPLEMENTED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.2

502

BAD_GATEWAY

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.3

503

SERVICE_UNAVAILABLE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.4

504

GATEWAY_TIMEOUT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.5

505

HTTP_VERSION_NOT_SUPPORTED

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15.6.6

506

VARIANT_ALSO_NEGOTIATES

Negociação Transparente de Conteúdo em HTTP RFC 2295 [https://datatracker.ietf.org/doc/html/rfc2295.html], Seção 8.1 (Experimental)

507

INSUFFICIENT_STORAGE

WebDAV RFC 4918 [https://datatracker.ietf.org/doc/html/rfc4918.html], Seção 11.5

508

LOOP_DETECTED

Extensões de Ligação WebDAV RFC 5842 [https://datatracker.ietf.org/doc/html/rfc5842.html], Seção 7.2 (Experimental)

510

NOT_EXTENDED

Um Framework de Extensão HTTP RFC 2774 [https://datatracker.ietf.org/doc/html/rfc2774.html], Seção 7 (Experimental)

511

NETWORK_AUTHENTICATION_REQUIRED

Códigos de Status HTTP Adicionais RFC 6585 [https://datatracker.ietf.org/doc/html/rfc6585.html], Seção 6

Para preservar compatibilidade anterior, valores de enumerações também estão presentes no módulo http.client na forma de constantes. O nome da enumeração é igual ao nome da constante (i.e. http.HTTPStatus.OK também está disponível como http.client.OK).

Alterado na versão 3.7: Código de status 421 MISDIRECTED_REQUEST adicionado.

Adicionado na versão 3.8: Código de status 451 UNAVAILABLE_FOR_LEGAL_REASONS adicionado.

Adicionado na versão 3.9: Adicionados os códigos de status 103 EARLY_HINTS, 418 IM_A_TEAPOT e 425 TOO_EARLY.

Alterado na versão 3.13: Foi implementada a RFC9110 referente a nomeação de constantes de status. Nomes antigos de constantes foram preservados para manter a retrocompatibilidade.

Categorias de HTTP status

Adicionado na versão 3.12.

Os valores enum possuem várias propriedades que indicam a categoria do status HTTP.

Propriedade

Indica que

Detalhes

is_informational

100 <= status <= 199

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15

is_success

200 <= status <= 299

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15

is_redirection

300 <= status <= 399

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15

is_client_error

400 <= status <= 499

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15

is_server_error

500 <= status <= 599

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 15

Uso:

>>> from http import HTTPStatus
>>> HTTPStatus.OK.is_success
True
>>> HTTPStatus.OK.is_client_error
False

class http.HTTPMethod

Adicionado na versão 3.11.

A subclass of enum.StrEnum that defines a set of HTTP methods and descriptions written in English.

Uso:

>>> from http import HTTPMethod
>>>
>>> HTTPMethod.GET
<HTTPMethod.GET>
>>> HTTPMethod.GET == 'GET'
True
>>> HTTPMethod.GET.value
'GET'
>>> HTTPMethod.GET.description
'Retrieve the target.'
>>> list(HTTPMethod)
[<HTTPMethod.CONNECT>,
 <HTTPMethod.DELETE>,
 <HTTPMethod.GET>,
 <HTTPMethod.HEAD>,
 <HTTPMethod.OPTIONS>,
 <HTTPMethod.PATCH>,
 <HTTPMethod.POST>,
 <HTTPMethod.PUT>,
 <HTTPMethod.TRACE>]

Métodos HTTP

Supported, IANA-registered methods [https://www.iana.org/assignments/http-methods/http-methods.xhtml] available in http.HTTPMethod are:

Método

Nome da Enumeração

Detalhes

GET

GET

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.1

HEAD

HEAD

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.2

POST

POST

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.3

PUT

PUT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.4

DELETE

DELETE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.5

CONNECT

CONNECT

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.6

OPTIONS

OPTIONS

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.7

TRACE

TRACE

HTTP Semantics RFC 9110 [https://datatracker.ietf.org/doc/html/rfc9110.html], Section 9.3.8

PATCH

PATCH

HTTP/1.1 RFC 5789 [https://datatracker.ietf.org/doc/html/rfc5789.html]

http.client — HTTP protocol client

Código-fonte: Lib/http/client.py [https://github.com/python/cpython/tree/3.13/Lib/http/client.py]

This module defines classes that implement the client side of the HTTP and HTTPS protocols. It is normally not used directly — the module urllib.request uses it to handle URLs that use HTTP and HTTPS.

Ver também

The Requests package [https://requests.readthedocs.io/en/latest/] is recommended for a higher-level HTTP client interface.

Nota

Suporte HTTPS está disponível somente se Python foi compilado com suporte SSL (através do módulo ssl).

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

O módulo fornece as seguintes classes:

class http.client.HTTPConnection(host, port=None, [timeout, ]source_address=None, blocksize=8192)

An HTTPConnection instance represents one transaction with an HTTP server. It should be instantiated by passing it a host and optional port number. If no port number is passed, the port is extracted from the host string if it has the form host:port, else the default HTTP port (80) is used. If the optional timeout parameter is given, blocking operations (like connection attempts) will timeout after that many seconds (if it is not given, the global default timeout setting is used). The optional source_address parameter may be a tuple of a (host, port) to use as the source address the HTTP connection is made from. The optional blocksize parameter sets the buffer size in bytes for sending a file-like message body.

Por exemplo, todas as seguintes chamadas criam instâncias que conectam ao servidor com o mesmo host e porta:

>>> h1 = http.client.HTTPConnection('www.python.org')
>>> h2 = http.client.HTTPConnection('www.python.org:80')
>>> h3 = http.client.HTTPConnection('www.python.org', 80)
>>> h4 = http.client.HTTPConnection('www.python.org', 80, timeout=10)

Alterado na versão 3.2: source_address foi adicionado.

Alterado na versão 3.4: The strict parameter was removed. HTTP 0.9-style “Simple Responses” are no longer supported.

Alterado na versão 3.7: O argumento blocksize foi adicionado.

class http.client.HTTPSConnection(host, port=None, *, [timeout, ]source_address=None, context=None, blocksize=8192)

Uma subclasse de HTTPConnection que utiliza SSL para comunicação com servidores seguros. A porta padrão é 443. Se context for especificado, ele deve ser uma instância de ssl.SSLContext descrevendo as várias opções do SSL.

Por favor leia Considerações de segurança para mais informações sobre as melhores práticas.

Alterado na versão 3.2: source_address, context e check_hostname foram adicionados.

Alterado na versão 3.2: This class now supports HTTPS virtual hosts if possible (that is, if ssl.HAS_SNI is true).

Alterado na versão 3.4: O argumento strict foi removido. “Respostas Simples” HTTP com o estilo 0.9 não são mais suportadas.

Alterado na versão 3.4.3: This class now performs all the necessary certificate and hostname checks by default. To revert to the previous, unverified, behavior ssl._create_unverified_context() can be passed to the context parameter.

Alterado na versão 3.8: Esta classe agora habilita TLS 1.3 ssl.SSLContext.post_handshake_auth para o padrão context ou quanto cert_file é fornecido com um context personalizado.

Alterado na versão 3.10: This class now sends an ALPN extension with protocol indicator http/1.1 when no context is given. Custom context should set ALPN protocols with set_alpn_protocols().

Alterado na versão 3.12: The deprecated key_file, cert_file and check_hostname parameters have been removed.

class http.client.HTTPResponse(sock, debuglevel=0, method=None, url=None)

Classe em que instâncias são retornadas mediante de conexão bem-sucedida. Não é instanciável diretamente pelo usuário.

Alterado na versão 3.4: O argumento strict foi removido. “Respostas Simples” HTTP com o estilo 0.9 não são mais suportadas.

Este módulo fornece a seguinte função:

http.client.parse_headers(fp)

Parse the headers from a file pointer fp representing a HTTP request/response. The file has to be a BufferedIOBase reader (i.e. not text) and must provide a valid RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html] style header.

Esta função retorna uma instância de http.client.HTTPMessage que armazena os campos do cabeçalho, mas não o payload (o mesmo que HTTPResponse.msg e http.server.BaseHTTPRequestHandler.headers). Depois de retornar, o ponteiro de arquivo fp está pronto para ler o corpo da requisição HTTP.

Nota

parse_headers() não analisa a linha inicial de uma mensagem HTTP; ele apenas analisa as linhas de Name: value. O arquivo deve estar pronto para ler essas linhas de campo, então a primeira linha já deve ter sido consumida antes de chamar a função.

As seguintes exceções são levantadas conforme apropriado:

exception http.client.HTTPException

A classe base das outras exceções neste módulo. É uma subclasse de Exception.

exception http.client.NotConnected

Uma subclasse de HTTPException.

exception http.client.InvalidURL

Uma subclasse de HTTPException, levantada se uma porta é fornecida e esta é não-numérica ou vazia.

exception http.client.UnknownProtocol

Uma subclasse de HTTPException.

exception http.client.UnknownTransferEncoding

Uma subclasse de HTTPException.

exception http.client.UnimplementedFileMode

Uma subclasse de HTTPException.

exception http.client.IncompleteRead

Uma subclasse de HTTPException.

exception http.client.ImproperConnectionState

Uma subclasse de HTTPException.

exception http.client.CannotSendRequest

Uma subclasse de ImproperConnectionState.

exception http.client.CannotSendHeader

Uma subclasse de ImproperConnectionState.

exception http.client.ResponseNotReady

Uma subclasse de ImproperConnectionState.

exception http.client.BadStatusLine

Uma subclasse de HTTPException. Levantada se um servidor responde com um código de status HTTP que não é entendido.

exception http.client.LineTooLong

Uma subclasse de HTTPException. Levantada se uma linha excessivamente longa é recebida, do servidor, no protocolo HTTP.

exception http.client.RemoteDisconnected

Uma subclasse de ConnectionResetError e BadStatusLine. Levantada por HTTPConnection.getresponse() quando a tentativa de ler a resposta resulta na não leitura dos dados pela conexão, indicando que o fim remoto fechou a conexão.

Adicionado na versão 3.5: Anteriormente, a exceção BadStatusLine('') foi levantada.

As constantes definidas neste módulo são:

http.client.HTTP_PORT

A porta padrão para o protocolo HTTP (sempre 80).

http.client.HTTPS_PORT

A porta padrão para o protocolo HTTPS (sempre 443).

http.client.responses

Este dicionário mapeia os códigos de status HTTP 1.1 para os nomes em W3C.

Exemplo: http.client.responses[http.client.NOT_FOUND] é 'Not Found'.

Ver códigos de status HTTP para uma lista de códigos de status HTTP que estão disponíveis neste módulo como constantes.

Objetos de HTTPConnection

Instâncias HTTPConnection contêm os seguintes métodos:

HTTPConnection.request(method, url, body=None, headers={}, *, encode_chunked=False)

This will send a request to the server using the HTTP request method method and the request URI url. The provided url must be an absolute path to conform with RFC 2616 §5.1.2 [https://datatracker.ietf.org/doc/html/rfc2616.html#section-5.1.2] (unless connecting to an HTTP proxy server or using the OPTIONS or CONNECT methods).

Se body é especificado, os dados especificados são mandados depois que os cabeçalhos estão prontos. Pode ser um str, um objeto byte ou similar, um objeto arquivo aberto, ou um iterável de bytes. Se body é uma string, ele é codificado como ISO-8859-1, o padrão para HTTP. Se é um objeto do tipo byte, os bytes são enviados como estão. Se é um objeto arquivo, o conteúdo do arquivo é enviado; este objeto arquivo deve suportar pelo menos o método read(). Se o objeto arquivo é uma instância de io.TextIOBase, os dados retornados pelo método read() será codificado como ISO-8859-1, de outra forma os dados retornados por read() são enviados como estão. Se body é um iterável, os elementos do iterável são enviados até os mesmo se esgotar.

The headers argument should be a mapping of extra HTTP headers to send with the request. A Host header [https://datatracker.ietf.org/doc/html/rfc2616.html#section-14.23] must be provided to conform with RFC 2616 §5.1.2 [https://datatracker.ietf.org/doc/html/rfc2616.html#section-5.1.2] (unless connecting to an HTTP proxy server or using the OPTIONS or CONNECT methods).

If headers contains neither Content-Length nor Transfer-Encoding, but there is a request body, one of those header fields will be added automatically. If body is None, the Content-Length header is set to 0 for methods that expect a body (PUT, POST, and PATCH). If body is a string or a bytes-like object that is not also a file, the Content-Length header is set to its length. Any other type of body (files and iterables in general) will be chunk-encoded, and the Transfer-Encoding header will automatically be set instead of Content-Length.

The encode_chunked argument is only relevant if Transfer-Encoding is specified in headers. If encode_chunked is False, the HTTPConnection object assumes that all encoding is handled by the calling code. If it is True, the body will be chunk-encoded.

For example, to perform a GET request to https://docs.python.org/3/:

>>> import http.client
>>> host = "docs.python.org"
>>> conn = http.client.HTTPSConnection(host)
>>> conn.request("GET", "/3/", headers={"Host": host})
>>> response = conn.getresponse()
>>> print(response.status, response.reason)
200 OK

Nota

Chunked transfer encoding has been added to the HTTP protocol version 1.1. Unless the HTTP server is known to handle HTTP 1.1, the caller must either specify the Content-Length, or must pass a str or bytes-like object that is not also a file as the body representation.

Alterado na versão 3.2: body pode agora ser um iterável.

Alterado na versão 3.6: If neither Content-Length nor Transfer-Encoding are set in headers, file and iterable body objects are now chunk-encoded. The encode_chunked argument was added. No attempt is made to determine the Content-Length for file objects.

HTTPConnection.getresponse()

Should be called after a request is sent to get the response from the server. Returns an HTTPResponse instance.

Nota

Note that you must have read the whole response before you can send a new request to the server.

Alterado na versão 3.5: Se uma ConnectionError ou subclasse for levantada, o objeto HTTPConnection estará pronto para se reconectar quando uma nova solicitação for enviada.

HTTPConnection.set_debuglevel(level)

Set the debugging level. The default debug level is 0, meaning no debugging output is printed. Any value greater than 0 will cause all currently defined debug output to be printed to stdout. The debuglevel is passed to any new HTTPResponse objects that are created.

Adicionado na versão 3.1.

HTTPConnection.set_tunnel(host, port=None, headers=None)

Set the host and the port for HTTP Connect Tunnelling. This allows running the connection through a proxy server.

The host and port arguments specify the endpoint of the tunneled connection (i.e. the address included in the CONNECT request, not the address of the proxy server).

The headers argument should be a mapping of extra HTTP headers to send with the CONNECT request.

As HTTP/1.1 is used for HTTP CONNECT tunnelling request, as per the RFC [https://datatracker.ietf.org/doc/html/rfc7231#section-4.3.6], a HTTP Host: header must be provided, matching the authority-form of the request target provided as the destination for the CONNECT request. If a HTTP Host: header is not provided via the headers argument, one is generated and transmitted automatically.

For example, to tunnel through a HTTPS proxy server running locally on port 8080, we would pass the address of the proxy to the HTTPSConnection constructor, and the address of the host that we eventually want to reach to the set_tunnel() method:

>>> import http.client
>>> conn = http.client.HTTPSConnection("localhost", 8080)
>>> conn.set_tunnel("www.python.org")
>>> conn.request("HEAD","/index.html")

Adicionado na versão 3.2.

Alterado na versão 3.12: HTTP CONNECT tunnelling requests use protocol HTTP/1.1, upgraded from protocol HTTP/1.0. Host: HTTP headers are mandatory for HTTP/1.1, so one will be automatically generated and transmitted if not provided in the headers argument.

HTTPConnection.get_proxy_response_headers()

Returns a dictionary with the headers of the response received from the proxy server to the CONNECT request.

If the CONNECT request was not sent, the method returns None.

Adicionado na versão 3.12.

HTTPConnection.connect()

Connect to the server specified when the object was created. By default, this is called automatically when making a request if the client does not already have a connection.

Levanta um evento de auditoria http.client.connect com os argumentos self, host, port.

HTTPConnection.close()

Close the connection to the server.

HTTPConnection.blocksize

Buffer size in bytes for sending a file-like message body.

Adicionado na versão 3.7.

As an alternative to using the request() method described above, you can also send your request step by step, by using the four functions below.

HTTPConnection.putrequest(method, url, skip_host=False, skip_accept_encoding=False)

This should be the first call after the connection to the server has been made. It sends a line to the server consisting of the method string, the url string, and the HTTP version (HTTP/1.1). To disable automatic sending of Host: or Accept-Encoding: headers (for example to accept additional content encodings), specify skip_host or skip_accept_encoding with non-False values.

HTTPConnection.putheader(header, argument[, ...])

Send an RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html]-style header to the server. It sends a line to the server consisting of the header, a colon and a space, and the first argument. If more arguments are given, continuation lines are sent, each consisting of a tab and an argument.

HTTPConnection.endheaders(message_body=None, *, encode_chunked=False)

Send a blank line to the server, signalling the end of the headers. The optional message_body argument can be used to pass a message body associated with the request.

If encode_chunked is True, the result of each iteration of message_body will be chunk-encoded as specified in RFC 7230 [https://datatracker.ietf.org/doc/html/rfc7230.html], Section 3.3.1. How the data is encoded is dependent on the type of message_body. If message_body implements the buffer interface the encoding will result in a single chunk. If message_body is a collections.abc.Iterable, each iteration of message_body will result in a chunk. If message_body is a file object, each call to .read() will result in a chunk. The method automatically signals the end of the chunk-encoded data immediately after message_body.

Nota

Due to the chunked encoding specification, empty chunks yielded by an iterator body will be ignored by the chunk-encoder. This is to avoid premature termination of the read of the request by the target server due to malformed encoding.

Alterado na versão 3.6: Added chunked encoding support and the encode_chunked parameter.

HTTPConnection.send(data)

Send data to the server. This should be used directly only after the endheaders() method has been called and before getresponse() is called.

Levanta um evento de auditoria http.client.send com os argumentos self, data.

Objetos HTTPResponse

An HTTPResponse instance wraps the HTTP response from the server. It provides access to the request headers and the entity body. The response is an iterable object and can be used in a with statement.

Alterado na versão 3.5: The io.BufferedIOBase interface is now implemented and all of its reader operations are supported.

HTTPResponse.read([amt])

Reads and returns the response body, or up to the next amt bytes.

HTTPResponse.readinto(b)

Reads up to the next len(b) bytes of the response body into the buffer b. Returns the number of bytes read.

Adicionado na versão 3.3.

HTTPResponse.getheader(name, default=None)

Return the value of the header name, or default if there is no header matching name. If there is more than one header with the name name, return all of the values joined by ‘, ‘. If default is any iterable other than a single string, its elements are similarly returned joined by commas.

HTTPResponse.getheaders()

Return a list of (header, value) tuples.

HTTPResponse.fileno()

Return the fileno of the underlying socket.

HTTPResponse.msg

A http.client.HTTPMessage instance containing the response headers. http.client.HTTPMessage is a subclass of email.message.Message.

HTTPResponse.version

HTTP protocol version used by server. 10 for HTTP/1.0, 11 for HTTP/1.1.

HTTPResponse.url

URL of the resource retrieved, commonly used to determine if a redirect was followed.

HTTPResponse.headers

Headers of the response in the form of an email.message.EmailMessage instance.

HTTPResponse.status

Status code returned by server.

HTTPResponse.reason

Reason phrase returned by server.

HTTPResponse.debuglevel

A debugging hook. If debuglevel is greater than zero, messages will be printed to stdout as the response is read and parsed.

HTTPResponse.closed

Is True if the stream is closed.

HTTPResponse.geturl()

Obsoleto desde a versão 3.9: Deprecated in favor of url.

HTTPResponse.info()

Obsoleto desde a versão 3.9: Deprecated in favor of headers.

HTTPResponse.getcode()

Obsoleto desde a versão 3.9: Deprecated in favor of status.

Exemplos

Here is an example session that uses the GET method:

>>> import http.client
>>> conn = http.client.HTTPSConnection("www.python.org")
>>> conn.request("GET", "/")
>>> r1 = conn.getresponse()
>>> print(r1.status, r1.reason)
200 OK
>>> data1 = r1.read()  # This will return entire content.
>>> # The following example demonstrates reading data in chunks.
>>> conn.request("GET", "/")
>>> r1 = conn.getresponse()
>>> while chunk := r1.read(200):
...     print(repr(chunk))
b'<!doctype html>\n<!--[if"...
...
>>> # Example of an invalid request
>>> conn = http.client.HTTPSConnection("docs.python.org")
>>> conn.request("GET", "/parrot.spam")
>>> r2 = conn.getresponse()
>>> print(r2.status, r2.reason)
404 Not Found
>>> data2 = r2.read()
>>> conn.close()

Here is an example session that uses the HEAD method. Note that the HEAD method never returns any data.

>>> import http.client
>>> conn = http.client.HTTPSConnection("www.python.org")
>>> conn.request("HEAD", "/")
>>> res = conn.getresponse()
>>> print(res.status, res.reason)
200 OK
>>> data = res.read()
>>> print(len(data))
0
>>> data == b''
True

Here is an example session that uses the POST method:

>>> import http.client, urllib.parse
>>> params = urllib.parse.urlencode({'@number': 12524, '@type': 'issue', '@action': 'show'})
>>> headers = {"Content-type": "application/x-www-form-urlencoded",
...            "Accept": "text/plain"}
>>> conn = http.client.HTTPConnection("bugs.python.org")
>>> conn.request("POST", "", params, headers)
>>> response = conn.getresponse()
>>> print(response.status, response.reason)
302 Found
>>> data = response.read()
>>> data
b'Redirecting to <a href="https://bugs.python.org/issue12524">https://bugs.python.org/issue12524</a>'
>>> conn.close()

Client side HTTP PUT requests are very similar to POST requests. The difference lies only on the server side where HTTP servers will allow resources to be created via PUT requests. It should be noted that custom HTTP methods are also handled in urllib.request.Request by setting the appropriate method attribute. Here is an example session that uses the PUT method:

>>> # This creates an HTTP request
>>> # with the content of BODY as the enclosed representation
>>> # for the resource http://localhost:8080/file
...
>>> import http.client
>>> BODY = "***filecontents***"
>>> conn = http.client.HTTPConnection("localhost", 8080)
>>> conn.request("PUT", "/file", BODY)
>>> response = conn.getresponse()
>>> print(response.status, response.reason)
200, OK

HTTPMessage Objects

class http.client.HTTPMessage(email.message.Message)

An http.client.HTTPMessage instance holds the headers from an HTTP response. It is implemented using the email.message.Message class.

ftplib — FTP protocol client

Código-fonte: Lib/ftplib.py [https://github.com/python/cpython/tree/3.13/Lib/ftplib.py]

This module defines the class FTP and a few related items. The FTP class implements the client side of the FTP protocol. You can use this to write Python programs that perform a variety of automated FTP jobs, such as mirroring other FTP servers. It is also used by the module urllib.request to handle URLs that use FTP. For more information on FTP (File Transfer Protocol), see internet RFC 959 [https://datatracker.ietf.org/doc/html/rfc959.html].

The default encoding is UTF-8, following RFC 2640 [https://datatracker.ietf.org/doc/html/rfc2640.html].

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Here’s a sample session using the ftplib module:

>>> from ftplib import FTP
>>> ftp = FTP('ftp.us.debian.org')  # connect to host, default port
>>> ftp.login()                     # user anonymous, passwd anonymous@
'230 Login successful.'
>>> ftp.cwd('debian')               # change into "debian" directory
'250 Directory successfully changed.'
>>> ftp.retrlines('LIST')           # list directory contents
-rw-rw-r--    1 1176     1176         1063 Jun 15 10:18 README
...
drwxr-sr-x    5 1176     1176         4096 Dec 19  2000 pool
drwxr-sr-x    4 1176     1176         4096 Nov 17  2008 project
drwxr-xr-x    3 1176     1176         4096 Oct 10  2012 tools
'226 Directory send OK.'
>>> with open('README', 'wb') as fp:
>>>     ftp.retrbinary('RETR README', fp.write)
'226 Transfer complete.'
>>> ftp.quit()
'221 Goodbye.'

Referência

FTP objects

class ftplib.FTP(host='', user='', passwd='', acct='', timeout=None, source_address=None, *, encoding='utf-8')

Return a new instance of the FTP class.

Parâmetros:

host (str) – The hostname to connect to. If given, connect(host) is implicitly called by the constructor.

user (str) – The username to log in with (default: 'anonymous'). If given, login(host, passwd, acct) is implicitly called by the constructor.

passwd (str) – The password to use when logging in. If not given, and if passwd is the empty string or "-", a password will be automatically generated.

acct (str) – Account information to be used for the ACCT FTP command. Few systems implement this. See RFC-959 [https://datatracker.ietf.org/doc/html/rfc959.html] for more details.

timeout (float | None) – A timeout in seconds for blocking operations like connect() (default: the global default timeout setting).

source_address (tuple | None) – A 2-tuple (host, port) for the socket to bind to as its source address before connecting.

encoding (str) – The encoding for directories and filenames (default: 'utf-8').

The FTP class supports the with statement, e.g.:

>>> from ftplib import FTP
>>> with FTP("ftp1.at.proftpd.org") as ftp:
...     ftp.login()
...     ftp.dir()
...
'230 Anonymous login ok, restrictions apply.'
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 .
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 ..
dr-xr-xr-x   5 ftp      ftp          4096 May  6 10:43 CentOS
dr-xr-xr-x   3 ftp      ftp            18 Jul 10  2008 Fedora
>>>

Alterado na versão 3.2: Suporte para a instrução with foi adicionado.

Alterado na versão 3.3: source_address parameter was added.

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket. The encoding parameter was added, and the default was changed from Latin-1 to UTF-8 to follow RFC 2640 [https://datatracker.ietf.org/doc/html/rfc2640.html].

Several FTP methods are available in two flavors: one for handling text files and another for binary files. The methods are named for the command which is used followed by lines for the text version or binary for the binary version.

FTP instances have the following methods:

set_debuglevel(level)

Set the instance’s debugging level as an int. This controls the amount of debugging output printed. The debug levels are:

0 (default): No debug output.

1: Produce a moderate amount of debug output, generally a single line per request.

2 or higher: Produce the maximum amount of debugging output, logging each line sent and received on the control connection.

connect(host='', port=0, timeout=None, source_address=None)

Connect to the given host and port. This function should be called only once for each instance; it should not be called if a host argument was given when the FTP instance was created. All other FTP methods can only be called after a connection has successfully been made.

Parâmetros:

host (str) – The host to connect to.

port (int) – The TCP port to connect to (default: 21, as specified by the FTP protocol specification). It is rarely needed to specify a different port number.

timeout (float | None) – A timeout in seconds for the connection attempt (default: the global default timeout setting).

source_address (tuple | None) – A 2-tuple (host, port) for the socket to bind to as its source address before connecting.

Levanta um evento de auditoria ftplib.connect com os argumentos self, host, port.

Alterado na versão 3.3: source_address parameter was added.

getwelcome()

Return the welcome message sent by the server in reply to the initial connection. (This message sometimes contains disclaimers or help information that may be relevant to the user.)

login(user='anonymous', passwd='', acct='')

Log on to the connected FTP server. This function should be called only once for each instance, after a connection has been established; it should not be called if the host and user arguments were given when the FTP instance was created. Most FTP commands are only allowed after the client has logged in.

Parâmetros:

user (str) – The username to log in with (default: 'anonymous').

passwd (str) – The password to use when logging in. If not given, and if passwd is the empty string or "-", a password will be automatically generated.

acct (str) – Account information to be used for the ACCT FTP command. Few systems implement this. See RFC-959 [https://datatracker.ietf.org/doc/html/rfc959.html] for more details.

abort()

Abort a file transfer that is in progress. Using this does not always work, but it’s worth a try.

sendcmd(cmd)

Send a simple command string to the server and return the response string.

Levanta um evento de auditoria ftplib.sendcmd com os argumentos self, cmd.

voidcmd(cmd)

Send a simple command string to the server and handle the response. Return the response string if the response code corresponds to success (codes in the range 200–299). Raise error_reply otherwise.

Levanta um evento de auditoria ftplib.sendcmd com os argumentos self, cmd.

retrbinary(cmd, callback, blocksize=8192, rest=None)

Retrieve a file in binary transfer mode.

Parâmetros:

cmd (str) – An appropriate RETR command: "RETR filename".

callback (callable) – A single parameter callable that is called for each block of data received, with its single argument being the data as bytes.

blocksize (int) – The maximum chunk size to read on the low-level socket object created to do the actual transfer. This also corresponds to the largest size of data that will be passed to callback. Defaults to 8192.

rest (int) – A REST command to be sent to the server. See the documentation for the rest parameter of the transfercmd() method.

retrlines(cmd, callback=None)

Retrieve a file or directory listing in the encoding specified by the encoding parameter at initialization. cmd should be an appropriate RETR command (see retrbinary()) or a command such as LIST or NLST (usually just the string 'LIST'). LIST retrieves a list of files and information about those files. NLST retrieves a list of file names. The callback function is called for each line with a string argument containing the line with the trailing CRLF stripped. The default callback prints the line to sys.stdout.

set_pasv(val)

Enable “passive” mode if val is true, otherwise disable passive mode. Passive mode is on by default.

storbinary(cmd, fp, blocksize=8192, callback=None, rest=None)

Store a file in binary transfer mode.

Parâmetros:

cmd (str) – An appropriate STOR command: "STOR filename".

fp (file object) – A file object (opened in binary mode) which is read until EOF, using its read() method in blocks of size blocksize to provide the data to be stored.

blocksize (int) – The read block size. Defaults to 8192.

callback (callable) – A single parameter callable that is called for each block of data sent, with its single argument being the data as bytes.

rest (int) – A REST command to be sent to the server. See the documentation for the rest parameter of the transfercmd() method.

Alterado na versão 3.2: The rest parameter was added.

storlines(cmd, fp, callback=None)

Store a file in line mode. cmd should be an appropriate STOR command (see storbinary()). Lines are read until EOF from the file object fp (opened in binary mode) using its readline() method to provide the data to be stored. callback is an optional single parameter callable that is called on each line after it is sent.

transfercmd(cmd, rest=None)

Initiate a transfer over the data connection. If the transfer is active, send an EPRT or PORT command and the transfer command specified by cmd, and accept the connection. If the server is passive, send an EPSV or PASV command, connect to it, and start the transfer command. Either way, return the socket for the connection.

If optional rest is given, a REST command is sent to the server, passing rest as an argument. rest is usually a byte offset into the requested file, telling the server to restart sending the file’s bytes at the requested offset, skipping over the initial bytes. Note however that the transfercmd() method converts rest to a string with the encoding parameter specified at initialization, but no check is performed on the string’s contents. If the server does not recognize the REST command, an error_reply exception will be raised. If this happens, simply call transfercmd() without a rest argument.

ntransfercmd(cmd, rest=None)

Like transfercmd(), but returns a tuple of the data connection and the expected size of the data. If the expected size could not be computed, None will be returned as the expected size. cmd and rest means the same thing as in transfercmd().

mlsd(path='', facts=[])

List a directory in a standardized format by using MLSD command (RFC 3659 [https://datatracker.ietf.org/doc/html/rfc3659.html]). If path is omitted the current directory is assumed. facts is a list of strings representing the type of information desired (e.g. ["type", "size", "perm"]). Return a generator object yielding a tuple of two elements for every file found in path. First element is the file name, the second one is a dictionary containing facts about the file name. Content of this dictionary might be limited by the facts argument but server is not guaranteed to return all requested facts.

Adicionado na versão 3.3.

nlst(argument[, ...])

Return a list of file names as returned by the NLST command. The optional argument is a directory to list (default is the current server directory). Multiple arguments can be used to pass non-standard options to the NLST command.

Nota

If your server supports the command, mlsd() offers a better API.

dir(argument[, ...])

Produce a directory listing as returned by the LIST command, printing it to standard output. The optional argument is a directory to list (default is the current server directory). Multiple arguments can be used to pass non-standard options to the LIST command. If the last argument is a function, it is used as a callback function as for retrlines(); the default prints to sys.stdout. This method returns None.

Nota

If your server supports the command, mlsd() offers a better API.

rename(fromname, toname)

Rename file fromname on the server to toname.

delete(filename)

Remove the file named filename from the server. If successful, returns the text of the response, otherwise raises error_perm on permission errors or error_reply on other errors.

cwd(pathname)

Set the current directory on the server.

mkd(pathname)

Create a new directory on the server.

pwd()

Return the pathname of the current directory on the server.

rmd(dirname)

Remove the directory named dirname on the server.

size(filename)

Request the size of the file named filename on the server. On success, the size of the file is returned as an integer, otherwise None is returned. Note that the SIZE command is not standardized, but is supported by many common server implementations.

quit()

Send a QUIT command to the server and close the connection. This is the “polite” way to close a connection, but it may raise an exception if the server responds with an error to the QUIT command. This implies a call to the close() method which renders the FTP instance useless for subsequent calls (see below).

close()

Close the connection unilaterally. This should not be applied to an already closed connection such as after a successful call to quit(). After this call the FTP instance should not be used any more (after a call to close() or quit() you cannot reopen the connection by issuing another login() method).

FTP_TLS objects

class ftplib.FTP_TLS(host='', user='', passwd='', acct='', *, context=None, timeout=None, source_address=None, encoding='utf-8')

An FTP subclass which adds TLS support to FTP as described in RFC 4217 [https://datatracker.ietf.org/doc/html/rfc4217.html]. Connect to port 21 implicitly securing the FTP control connection before authenticating.

Nota

The user must explicitly secure the data connection by calling the prot_p() method.

Parâmetros:

host (str) – The hostname to connect to. If given, connect(host) is implicitly called by the constructor.

user (str) – The username to log in with (default: 'anonymous'). If given, login(host, passwd, acct) is implicitly called by the constructor.

passwd (str) – The password to use when logging in. If not given, and if passwd is the empty string or "-", a password will be automatically generated.

acct (str) – Account information to be used for the ACCT FTP command. Few systems implement this. See RFC-959 [https://datatracker.ietf.org/doc/html/rfc959.html] for more details.

context (ssl.SSLContext) – An SSL context object which allows bundling SSL configuration options, certificates and private keys into a single, potentially long-lived, structure. Please read Considerações de segurança for best practices.

timeout (float | None) – A timeout in seconds for blocking operations like connect() (default: the global default timeout setting).

source_address (tuple | None) – A 2-tuple (host, port) for the socket to bind to as its source address before connecting.

encoding (str) – The encoding for directories and filenames (default: 'utf-8').

Adicionado na versão 3.2.

Alterado na versão 3.3: Added the source_address parameter.

Alterado na versão 3.4: The class now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket. The encoding parameter was added, and the default was changed from Latin-1 to UTF-8 to follow RFC 2640 [https://datatracker.ietf.org/doc/html/rfc2640.html].

Alterado na versão 3.12: Os parâmetros depreciados keyfile e certfile foram removidos.

Here’s a sample session using the FTP_TLS class:

>>> ftps = FTP_TLS('ftp.pureftpd.org')
>>> ftps.login()
'230 Anonymous user logged in'
>>> ftps.prot_p()
'200 Data protection level set to "private"'
>>> ftps.nlst()
['6jack', 'OpenBSD', 'antilink', 'blogbench', 'bsdcam', 'clockspeed', 'djbdns-jedi', 'docs', 'eaccelerator-jedi', 'favicon.ico', 'francotone', 'fugu', 'ignore', 'libpuzzle', 'metalog', 'minidentd', 'misc', 'mysql-udf-global-user-variables', 'php-jenkins-hash', 'php-skein-hash', 'php-webdav', 'phpaudit', 'phpbench', 'pincaster', 'ping', 'posto', 'pub', 'public', 'public_keys', 'pure-ftpd', 'qscan', 'qtc', 'sharedance', 'skycache', 'sound', 'tmp', 'ucarp']

FTP_TLS class inherits from FTP, defining these additional methods and attributes:

ssl_version

The SSL version to use (defaults to ssl.PROTOCOL_SSLv23).

auth()

Set up a secure control connection by using TLS or SSL, depending on what is specified in the ssl_version attribute.

Alterado na versão 3.4: The method now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

ccc()

Revert control channel back to plaintext. This can be useful to take advantage of firewalls that know how to handle NAT with non-secure FTP without opening fixed ports.

Adicionado na versão 3.3.

prot_p()

Set up secure data connection.

prot_c()

Set up clear text data connection.

Module variables

exception ftplib.error_reply

Exception raised when an unexpected reply is received from the server.

exception ftplib.error_temp

Exception raised when an error code signifying a temporary error (response codes in the range 400–499) is received.

exception ftplib.error_perm

Exception raised when an error code signifying a permanent error (response codes in the range 500–599) is received.

exception ftplib.error_proto

Exception raised when a reply is received from the server that does not fit the response specifications of the File Transfer Protocol, i.e. begin with a digit in the range 1–5.

ftplib.all_errors

The set of all exceptions (as a tuple) that methods of FTP instances may raise as a result of problems with the FTP connection (as opposed to programming errors made by the caller). This set includes the four exceptions listed above as well as OSError and EOFError.

Ver também

Módulo netrc

Parser for the .netrc file format. The file .netrc is typically used by FTP clients to load user authentication information before prompting the user.

poplib — POP3 protocol client

Source code: Lib/poplib.py [https://github.com/python/cpython/tree/3.13/Lib/poplib.py]

This module defines a class, POP3, which encapsulates a connection to a POP3 server and implements the protocol as defined in RFC 1939 [https://datatracker.ietf.org/doc/html/rfc1939.html]. The POP3 class supports both the minimal and optional command sets from RFC 1939 [https://datatracker.ietf.org/doc/html/rfc1939.html]. The POP3 class also supports the STLS command introduced in RFC 2595 [https://datatracker.ietf.org/doc/html/rfc2595.html] to enable encrypted communication on an already established connection.

Additionally, this module provides a class POP3_SSL, which provides support for connecting to POP3 servers that use SSL as an underlying protocol layer.

Note that POP3, though widely supported, is obsolescent. The implementation quality of POP3 servers varies widely, and too many are quite poor. If your mailserver supports IMAP, you would be better off using the imaplib.IMAP4 class, as IMAP servers tend to be better implemented.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

The poplib module provides two classes:

class poplib.POP3(host, port=POP3_PORT[, timeout])

This class implements the actual POP3 protocol. The connection is created when the instance is initialized. If port is omitted, the standard POP3 port (110) is used. The optional timeout parameter specifies a timeout in seconds for the connection attempt (if not specified, the global default timeout setting will be used).

Levanta um evento de auditoria ftplib.connect com os argumentos self, host, port.

All commands will raise an auditing event poplib.putline with arguments self and line, where line is the bytes about to be sent to the remote host.

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket.

class poplib.POP3_SSL(host, port=POP3_SSL_PORT, *, timeout=None, context=None)

This is a subclass of POP3 that connects to the server over an SSL encrypted socket. If port is not specified, 995, the standard POP3-over-SSL port is used. timeout works as in the POP3 constructor. context is an optional ssl.SSLContext object which allows bundling SSL configuration options, certificates and private keys into a single (potentially long-lived) structure. Please read Considerações de segurança for best practices.

Levanta um evento de auditoria ftplib.connect com os argumentos self, host, port.

All commands will raise an auditing event poplib.putline with arguments self and line, where line is the bytes about to be sent to the remote host.

Alterado na versão 3.2: Parâmetro context adicionado.

Alterado na versão 3.4: The class now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket.

Alterado na versão 3.12: Os parâmetros depreciados keyfile e certfile foram removidos.

One exception is defined as an attribute of the poplib module:

exception poplib.error_proto

Exception raised on any errors from this module (errors from socket module are not caught). The reason for the exception is passed to the constructor as a string.

Ver também

Módulo imaplib

The standard Python IMAP module.

Frequently Asked Questions About Fetchmail [http://www.catb.org/~esr/fetchmail/fetchmail-FAQ.html]

The FAQ for the fetchmail POP/IMAP client collects information on POP3 server variations and RFC noncompliance that may be useful if you need to write an application based on the POP protocol.

Objetos POP3

All POP3 commands are represented by methods of the same name, in lowercase; most return the response text sent by the server.

A POP3 instance has the following methods:

POP3.set_debuglevel(level)

Set the instance’s debugging level. This controls the amount of debugging output printed. The default, 0, produces no debugging output. A value of 1 produces a moderate amount of debugging output, generally a single line per request. A value of 2 or higher produces the maximum amount of debugging output, logging each line sent and received on the control connection.

POP3.getwelcome()

Returns the greeting string sent by the POP3 server.

POP3.capa()

Query the server’s capabilities as specified in RFC 2449 [https://datatracker.ietf.org/doc/html/rfc2449.html]. Returns a dictionary in the form {'name': ['param'...]}.

Adicionado na versão 3.4.

POP3.user(username)

Send user command, response should indicate that a password is required.

POP3.pass_(password)

Send password, response includes message count and mailbox size. Note: the mailbox on the server is locked until quit() is called.

POP3.apop(user, secret)

Use the more secure APOP authentication to log into the POP3 server.

POP3.rpop(user)

Use RPOP authentication (similar to UNIX r-commands) to log into POP3 server.

POP3.stat()

Get mailbox status. The result is a tuple of 2 integers: (message count, mailbox size).

POP3.list([which])

Request message list, result is in the form (response, ['mesg_num octets', ...], octets). If which is set, it is the message to list.

POP3.retr(which)

Retrieve whole message number which, and set its seen flag. Result is in form (response, ['line', ...], octets).

POP3.dele(which)

Flag message number which for deletion. On most servers deletions are not actually performed until QUIT (the major exception is Eudora QPOP, which deliberately violates the RFCs by doing pending deletes on any disconnect).

POP3.rset()

Remove any deletion marks for the mailbox.

POP3.noop()

Do nothing. Might be used as a keep-alive.

POP3.quit()

Signoff: commit changes, unlock mailbox, drop connection.

POP3.top(which, howmuch)

Retrieves the message header plus howmuch lines of the message after the header of message number which. Result is in form (response, ['line', ...], octets).

The POP3 TOP command this method uses, unlike the RETR command, doesn’t set the message’s seen flag; unfortunately, TOP is poorly specified in the RFCs and is frequently broken in off-brand servers. Test this method by hand against the POP3 servers you will use before trusting it.

POP3.uidl(which=None)

Return message digest (unique id) list. If which is specified, result contains the unique id for that message in the form 'response mesgnum uid, otherwise result is list (response, ['mesgnum uid', ...], octets).

POP3.utf8()

Try to switch to UTF-8 mode. Returns the server response if successful, raises error_proto if not. Specified in RFC 6856 [https://datatracker.ietf.org/doc/html/rfc6856.html].

Adicionado na versão 3.5.

POP3.stls(context=None)

Start a TLS session on the active connection as specified in RFC 2595 [https://datatracker.ietf.org/doc/html/rfc2595.html]. This is only allowed before user authentication

context parameter is a ssl.SSLContext object which allows bundling SSL configuration options, certificates and private keys into a single (potentially long-lived) structure. Please read Considerações de segurança for best practices.

This method supports hostname checking via ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

Adicionado na versão 3.4.

Instances of POP3_SSL have no additional methods. The interface of this subclass is identical to its parent.

Exemplo POP3

Here is a minimal example (without error checking) that opens a mailbox and retrieves and prints all messages:

import getpass, poplib

M = poplib.POP3('localhost')
M.user(getpass.getuser())
M.pass_(getpass.getpass())
numMessages = len(M.list()[1])
for i in range(numMessages):
    for j in M.retr(i+1)[1]:
        print(j)

At the end of the module, there is a test section that contains a more extensive example of usage.

imaplib — IMAP4 protocol client

Código-fonte: Lib/imaplib.py [https://github.com/python/cpython/tree/3.13/Lib/imaplib.py]

This module defines three classes, IMAP4, IMAP4_SSL and IMAP4_stream, which encapsulate a connection to an IMAP4 server and implement a large subset of the IMAP4rev1 client protocol as defined in RFC 2060 [https://datatracker.ietf.org/doc/html/rfc2060.html]. It is backward compatible with IMAP4 (RFC 1730 [https://datatracker.ietf.org/doc/html/rfc1730.html]) servers, but note that the STATUS command is not supported in IMAP4.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Three classes are provided by the imaplib module, IMAP4 is the base class:

class imaplib.IMAP4(host='', port=IMAP4_PORT, timeout=None)

This class implements the actual IMAP4 protocol. The connection is created and protocol version (IMAP4 or IMAP4rev1) is determined when the instance is initialized. If host is not specified, '' (the local host) is used. If port is omitted, the standard IMAP4 port (143) is used. The optional timeout parameter specifies a timeout in seconds for the connection attempt. If timeout is not given or is None, the global default socket timeout is used.

The IMAP4 class supports the with statement. When used like this, the IMAP4 LOGOUT command is issued automatically when the with statement exits. E.g.:

>>> from imaplib import IMAP4
>>> with IMAP4("domain.org") as M:
...     M.noop()
...
('OK', [b'Nothing Accomplished. d25if65hy903weo.87'])

Alterado na versão 3.5: Suporte para a instrução with foi adicionado.

Alterado na versão 3.9: O parâmetro opcional timeout foi adicionado.

Three exceptions are defined as attributes of the IMAP4 class:

exception IMAP4.error

Exception raised on any errors. The reason for the exception is passed to the constructor as a string.

exception IMAP4.abort

IMAP4 server errors cause this exception to be raised. This is a sub-class of IMAP4.error. Note that closing the instance and instantiating a new one will usually allow recovery from this exception.

exception IMAP4.readonly

This exception is raised when a writable mailbox has its status changed by the server. This is a sub-class of IMAP4.error. Some other client now has write permission, and the mailbox will need to be re-opened to re-obtain write permission.

There’s also a subclass for secure connections:

class imaplib.IMAP4_SSL(host='', port=IMAP4_SSL_PORT, *, ssl_context=None, timeout=None)

This is a subclass derived from IMAP4 that connects over an SSL encrypted socket (to use this class you need a socket module that was compiled with SSL support). If host is not specified, '' (the local host) is used. If port is omitted, the standard IMAP4-over-SSL port (993) is used. ssl_context is a ssl.SSLContext object which allows bundling SSL configuration options, certificates and private keys into a single (potentially long-lived) structure. Please read Considerações de segurança for best practices.

The optional timeout parameter specifies a timeout in seconds for the connection attempt. If timeout is not given or is None, the global default socket timeout is used.

Alterado na versão 3.3: ssl_context parameter was added.

Alterado na versão 3.4: The class now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

Alterado na versão 3.9: O parâmetro opcional timeout foi adicionado.

Alterado na versão 3.12: Os parâmetros depreciados keyfile e certfile foram removidos.

The second subclass allows for connections created by a child process:

class imaplib.IMAP4_stream(command)

This is a subclass derived from IMAP4 that connects to the stdin/stdout file descriptors created by passing command to subprocess.Popen().

The following utility functions are defined:

imaplib.Internaldate2tuple(datestr)

Parse an IMAP4 INTERNALDATE string and return corresponding local time. The return value is a time.struct_time tuple or None if the string has wrong format.

imaplib.Int2AP(num)

Converts an integer into a bytes representation using characters from the set [A .. P].

imaplib.ParseFlags(flagstr)

Converts an IMAP4 FLAGS response to a tuple of individual flags.

imaplib.Time2Internaldate(date_time)

Convert date_time to an IMAP4 INTERNALDATE representation. The return value is a string in the form: "DD-Mmm-YYYY HH:MM:SS +HHMM" (including double-quotes). The date_time argument can be a number (int or float) representing seconds since epoch (as returned by time.time()), a 9-tuple representing local time an instance of time.struct_time (as returned by time.localtime()), an aware instance of datetime.datetime, or a double-quoted string. In the last case, it is assumed to already be in the correct format.

Note that IMAP4 message numbers change as the mailbox changes; in particular, after an EXPUNGE command performs deletions the remaining messages are renumbered. So it is highly advisable to use UIDs instead, with the UID command.

At the end of the module, there is a test section that contains a more extensive example of usage.

Ver também

Documents describing the protocol, sources for servers implementing it, by the University of Washington’s IMAP Information Center can all be found at (Source Code) https://github.com/uw-imap/imap (Not Maintained).

Objetos IMAP4

All IMAP4rev1 commands are represented by methods of the same name, either uppercase or lowercase.

All arguments to commands are converted to strings, except for AUTHENTICATE, and the last argument to APPEND which is passed as an IMAP4 literal. If necessary (the string contains IMAP4 protocol-sensitive characters and isn’t enclosed with either parentheses or double quotes) each string is quoted. However, the password argument to the LOGIN command is always quoted. If you want to avoid having an argument string quoted (eg: the flags argument to STORE) then enclose the string in parentheses (eg: r'(\Deleted)').

Each command returns a tuple: (type, [data, ...]) where type is usually 'OK' or 'NO', and data is either the text from the command response, or mandated results from the command. Each data is either a bytes, or a tuple. If a tuple, then the first part is the header of the response, and the second part contains the data (ie: ‘literal’ value).

The message_set options to commands below is a string specifying one or more messages to be acted upon. It may be a simple message number ('1'), a range of message numbers ('2:4'), or a group of non-contiguous ranges separated by commas ('1:3,6:9'). A range can contain an asterisk to indicate an infinite upper bound ('3:*').

An IMAP4 instance has the following methods:

IMAP4.append(mailbox, flags, date_time, message)

Append message to named mailbox.

IMAP4.authenticate(mechanism, authobject)

Authenticate command — requires response processing.

mechanism specifies which authentication mechanism is to be used - it should appear in the instance variable capabilities in the form AUTH=mechanism.

authobject must be a callable object:

data = authobject(response)

It will be called to process server continuation responses; the response argument it is passed will be bytes. It should return bytes data that will be base64 encoded and sent to the server. It should return None if the client abort response * should be sent instead.

Alterado na versão 3.5: string usernames and passwords are now encoded to utf-8 instead of being limited to ASCII.

IMAP4.check()

Checkpoint mailbox on server.

IMAP4.close()

Close currently selected mailbox. Deleted messages are removed from writable mailbox. This is the recommended command before LOGOUT.

IMAP4.copy(message_set, new_mailbox)

Copy message_set messages onto end of new_mailbox.

IMAP4.create(mailbox)

Create new mailbox named mailbox.

IMAP4.delete(mailbox)

Delete old mailbox named mailbox.

IMAP4.deleteacl(mailbox, who)

Delete the ACLs (remove any rights) set for who on mailbox.

IMAP4.enable(capability)

Enable capability (see RFC 5161 [https://datatracker.ietf.org/doc/html/rfc5161.html]). Most capabilities do not need to be enabled. Currently only the UTF8=ACCEPT capability is supported (see RFC 6855 [https://datatracker.ietf.org/doc/html/rfc6855.html]).

Adicionado na versão 3.5: The enable() method itself, and RFC 6855 [https://datatracker.ietf.org/doc/html/rfc6855.html] support.

IMAP4.expunge()

Permanently remove deleted items from selected mailbox. Generates an EXPUNGE response for each deleted message. Returned data contains a list of EXPUNGE message numbers in order received.

IMAP4.fetch(message_set, message_parts)

Fetch (parts of) messages. message_parts should be a string of message part names enclosed within parentheses, eg: "(UID BODY[TEXT])". Returned data are tuples of message part envelope and data.

IMAP4.getacl(mailbox)

Get the ACLs for mailbox. The method is non-standard, but is supported by the Cyrus server.

IMAP4.getannotation(mailbox, entry, attribute)

Retrieve the specified ANNOTATIONs for mailbox. The method is non-standard, but is supported by the Cyrus server.

IMAP4.getquota(root)

Get the quota root’s resource usage and limits. This method is part of the IMAP4 QUOTA extension defined in rfc2087.

IMAP4.getquotaroot(mailbox)

Get the list of quota roots for the named mailbox. This method is part of the IMAP4 QUOTA extension defined in rfc2087.

IMAP4.list([directory[, pattern]])

List mailbox names in directory matching pattern. directory defaults to the top-level mail folder, and pattern defaults to match anything. Returned data contains a list of LIST responses.

IMAP4.login(user, password)

Identify the client using a plaintext password. The password will be quoted.

IMAP4.login_cram_md5(user, password)

Force use of CRAM-MD5 authentication when identifying the client to protect the password. Will only work if the server CAPABILITY response includes the phrase AUTH=CRAM-MD5.

IMAP4.logout()

Shutdown connection to server. Returns server BYE response.

Alterado na versão 3.8: The method no longer ignores silently arbitrary exceptions.

IMAP4.lsub(directory='""', pattern='*')

List subscribed mailbox names in directory matching pattern. directory defaults to the top level directory and pattern defaults to match any mailbox. Returned data are tuples of message part envelope and data.

IMAP4.myrights(mailbox)

Show my ACLs for a mailbox (i.e. the rights that I have on mailbox).

IMAP4.namespace()

Returns IMAP namespaces as defined in RFC 2342 [https://datatracker.ietf.org/doc/html/rfc2342.html].

IMAP4.noop()

Envia NOOP para o servidor.

IMAP4.open(host, port, timeout=None)

Opens socket to port at host. The optional timeout parameter specifies a timeout in seconds for the connection attempt. If timeout is not given or is None, the global default socket timeout is used. Also note that if the timeout parameter is set to be zero, it will raise a ValueError to reject creating a non-blocking socket. This method is implicitly called by the IMAP4 constructor. The connection objects established by this method will be used in the IMAP4.read(), IMAP4.readline(), IMAP4.send(), and IMAP4.shutdown() methods. You may override this method.

Levanta um evento de auditoria imaplib.open com os argumentos self, host, port.

Alterado na versão 3.9: The timeout parameter was added.

IMAP4.partial(message_num, message_part, start, length)

Fetch truncated part of a message. Returned data is a tuple of message part envelope and data.

IMAP4.proxyauth(user)

Assume authentication as user. Allows an authorised administrator to proxy into any user’s mailbox.

IMAP4.read(size)

Reads size bytes from the remote server. You may override this method.

IMAP4.readline()

Reads one line from the remote server. You may override this method.

IMAP4.recent()

Prompt server for an update. Returned data is None if no new messages, else value of RECENT response.

IMAP4.rename(oldmailbox, newmailbox)

Rename mailbox named oldmailbox to newmailbox.

IMAP4.response(code)

Return data for response code if received, or None. Returns the given code, instead of the usual type.

IMAP4.search(charset, criterion[, ...])

Search mailbox for matching messages. charset may be None, in which case no CHARSET will be specified in the request to the server. The IMAP protocol requires that at least one criterion be specified; an exception will be raised when the server returns an error. charset must be None if the UTF8=ACCEPT capability was enabled using the enable() command.

Exemplo:

# M is a connected IMAP4 instance...
typ, msgnums = M.search(None, 'FROM', '"LDJ"')

# or:
typ, msgnums = M.search(None, '(FROM "LDJ")')

IMAP4.select(mailbox='INBOX', readonly=False)

Select a mailbox. Returned data is the count of messages in mailbox (EXISTS response). The default mailbox is 'INBOX'. If the readonly flag is set, modifications to the mailbox are not allowed.

IMAP4.send(data)

Sends data to the remote server. You may override this method.

Levanta um evento de auditoria imaplib.send com os argumentos self, data.

IMAP4.setacl(mailbox, who, what)

Set an ACL for mailbox. The method is non-standard, but is supported by the Cyrus server.

IMAP4.setannotation(mailbox, entry, attribute[, ...])

Set ANNOTATIONs for mailbox. The method is non-standard, but is supported by the Cyrus server.

IMAP4.setquota(root, limits)

Set the quota root’s resource limits. This method is part of the IMAP4 QUOTA extension defined in rfc2087.

IMAP4.shutdown()

Close connection established in open. This method is implicitly called by IMAP4.logout(). You may override this method.

IMAP4.socket()

Returns socket instance used to connect to server.

IMAP4.sort(sort_criteria, charset, search_criterion[, ...])

The sort command is a variant of search with sorting semantics for the results. Returned data contains a space separated list of matching message numbers.

Sort has two arguments before the search_criterion argument(s); a parenthesized list of sort_criteria, and the searching charset. Note that unlike search, the searching charset argument is mandatory. There is also a uid sort command which corresponds to sort the way that uid search corresponds to search. The sort command first searches the mailbox for messages that match the given searching criteria using the charset argument for the interpretation of strings in the searching criteria. It then returns the numbers of matching messages.

This is an IMAP4rev1 extension command.

IMAP4.starttls(ssl_context=None)

Send a STARTTLS command. The ssl_context argument is optional and should be a ssl.SSLContext object. This will enable encryption on the IMAP connection. Please read Considerações de segurança for best practices.

Adicionado na versão 3.2.

Alterado na versão 3.4: The method now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

IMAP4.status(mailbox, names)

Request named status conditions for mailbox.

IMAP4.store(message_set, command, flag_list)

Alters flag dispositions for messages in mailbox. command is specified by section 6.4.6 of RFC 2060 [https://datatracker.ietf.org/doc/html/rfc2060.html] as being one of “FLAGS”, “+FLAGS”, or “-FLAGS”, optionally with a suffix of “.SILENT”.

For example, to set the delete flag on all messages:

typ, data = M.search(None, 'ALL')
for num in data[0].split():
   M.store(num, '+FLAGS', '\\Deleted')
M.expunge()

Nota

Creating flags containing ‘]’ (for example: “[test]”) violates RFC 3501 [https://datatracker.ietf.org/doc/html/rfc3501.html] (the IMAP protocol). However, imaplib has historically allowed creation of such tags, and popular IMAP servers, such as Gmail, accept and produce such flags. There are non-Python programs which also create such tags. Although it is an RFC violation and IMAP clients and servers are supposed to be strict, imaplib still continues to allow such tags to be created for backward compatibility reasons, and as of Python 3.6, handles them if they are sent from the server, since this improves real-world compatibility.

IMAP4.subscribe(mailbox)

Subscribe to new mailbox.

IMAP4.thread(threading_algorithm, charset, search_criterion[, ...])

The thread command is a variant of search with threading semantics for the results. Returned data contains a space separated list of thread members.

Thread members consist of zero or more messages numbers, delimited by spaces, indicating successive parent and child.

Thread has two arguments before the search_criterion argument(s); a threading_algorithm, and the searching charset. Note that unlike search, the searching charset argument is mandatory. There is also a uid thread command which corresponds to thread the way that uid search corresponds to search. The thread command first searches the mailbox for messages that match the given searching criteria using the charset argument for the interpretation of strings in the searching criteria. It then returns the matching messages threaded according to the specified threading algorithm.

This is an IMAP4rev1 extension command.

IMAP4.uid(command, arg[, ...])

Execute command args with messages identified by UID, rather than message number. Returns response appropriate to command. At least one argument must be supplied; if none are provided, the server will return an error and an exception will be raised.

IMAP4.unsubscribe(mailbox)

Unsubscribe from old mailbox.

IMAP4.unselect()

imaplib.IMAP4.unselect() frees server’s resources associated with the selected mailbox and returns the server to the authenticated state. This command performs the same actions as imaplib.IMAP4.close(), except that no messages are permanently removed from the currently selected mailbox.

Adicionado na versão 3.9.

IMAP4.xatom(name[, ...])

Allow simple extension commands notified by server in CAPABILITY response.

The following attributes are defined on instances of IMAP4:

IMAP4.PROTOCOL_VERSION

The most recent supported protocol in the CAPABILITY response from the server.

IMAP4.debug

Integer value to control debugging output. The initialize value is taken from the module variable Debug. Values greater than three trace each command.

IMAP4.utf8_enabled

Boolean value that is normally False, but is set to True if an enable() command is successfully issued for the UTF8=ACCEPT capability.

Adicionado na versão 3.5.

Exemplo IMAP4

Here is a minimal example (without error checking) that opens a mailbox and retrieves and prints all messages:

import getpass, imaplib

M = imaplib.IMAP4(host='example.org')
M.login(getpass.getuser(), getpass.getpass())
M.select()
typ, data = M.search(None, 'ALL')
for num in data[0].split():
    typ, data = M.fetch(num, '(RFC822)')
    print('Message %s\n%s\n' % (num, data[0][1]))
M.close()
M.logout()

smtplib — SMTP protocol client

Código-fonte: Lib/smtplib.py [https://github.com/python/cpython/tree/3.13/Lib/smtplib.py]

The smtplib module defines an SMTP client session object that can be used to send mail to any internet machine with an SMTP or ESMTP listener daemon. For details of SMTP and ESMTP operation, consult RFC 821 [https://datatracker.ietf.org/doc/html/rfc821.html] (Simple Mail Transfer Protocol) and RFC 1869 [https://datatracker.ietf.org/doc/html/rfc1869.html] (SMTP Service Extensions).

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

class smtplib.SMTP(host='', port=0, local_hostname=None, [timeout, ]source_address=None)

An SMTP instance encapsulates an SMTP connection. It has methods that support a full repertoire of SMTP and ESMTP operations. If the optional host and port parameters are given, the SMTP connect() method is called with those parameters during initialization. If specified, local_hostname is used as the FQDN of the local host in the HELO/EHLO command. Otherwise, the local hostname is found using socket.getfqdn(). If the connect() call returns anything other than a success code, an SMTPConnectError is raised. The optional timeout parameter specifies a timeout in seconds for blocking operations like the connection attempt (if not specified, the global default timeout setting will be used). If the timeout expires, TimeoutError is raised. The optional source_address parameter allows binding to some specific source address in a machine with multiple network interfaces, and/or to some specific source TCP port. It takes a 2-tuple (host, port), for the socket to bind to as its source address before connecting. If omitted (or if host or port are '' and/or 0 respectively) the OS default behavior will be used.

For normal use, you should only require the initialization/connect, sendmail(), and SMTP.quit() methods. An example is included below.

The SMTP class supports the with statement. When used like this, the SMTP QUIT command is issued automatically when the with statement exits. E.g.:

>>> from smtplib import SMTP
>>> with SMTP("domain.org") as smtp:
...     smtp.noop()
...
(250, b'Ok')
>>>

All commands will raise an auditing event smtplib.SMTP.send with arguments self and data, where data is the bytes about to be sent to the remote host.

Alterado na versão 3.3: Suporte para a instrução with foi adicionado.

Alterado na versão 3.3: source_address argument was added.

Adicionado na versão 3.5: A extensão SMTPUTF8 ( RFC 6531 [https://datatracker.ietf.org/doc/html/rfc6531.html] ) é suportada agora.

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket.

class smtplib.SMTP_SSL(host='', port=0, local_hostname=None, *, [timeout, ]context=None, source_address=None)

An SMTP_SSL instance behaves exactly the same as instances of SMTP. SMTP_SSL should be used for situations where SSL is required from the beginning of the connection and using starttls() is not appropriate. If host is not specified, the local host is used. If port is zero, the standard SMTP-over-SSL port (465) is used. The optional arguments local_hostname, timeout and source_address have the same meaning as they do in the SMTP class. context, also optional, can contain a SSLContext and allows configuring various aspects of the secure connection. Please read Considerações de segurança for best practices.

Alterado na versão 3.3: context foi adicionado.

Alterado na versão 3.3: O argumento source_address foi adicionado.

Alterado na versão 3.4: The class now supports hostname check with ssl.SSLContext.check_hostname and Server Name Indication (see ssl.HAS_SNI).

Alterado na versão 3.9: If the timeout parameter is set to be zero, it will raise a ValueError to prevent the creation of a non-blocking socket

Alterado na versão 3.12: Os parâmetros depreciados keyfile e certfile foram removidos.

class smtplib.LMTP(host='', port=LMTP_PORT, local_hostname=None, source_address=None[, timeout])

The LMTP protocol, which is very similar to ESMTP, is heavily based on the standard SMTP client. It’s common to use Unix sockets for LMTP, so our connect() method must support that as well as a regular host:port server. The optional arguments local_hostname and source_address have the same meaning as they do in the SMTP class. To specify a Unix socket, you must use an absolute path for host, starting with a ‘/’.

Authentication is supported, using the regular SMTP mechanism. When using a Unix socket, LMTP generally don’t support or require any authentication, but your mileage might vary.

Alterado na versão 3.9: O parâmetro opcional timeout foi adicionado.

A nice selection of exceptions is defined as well:

exception smtplib.SMTPException

Subclass of OSError that is the base exception class for all the other exceptions provided by this module.

Alterado na versão 3.4: SMTPException became subclass of OSError

exception smtplib.SMTPServerDisconnected

This exception is raised when the server unexpectedly disconnects, or when an attempt is made to use the SMTP instance before connecting it to a server.

exception smtplib.SMTPResponseException

Base class for all exceptions that include an SMTP error code. These exceptions are generated in some instances when the SMTP server returns an error code. The error code is stored in the smtp_code attribute of the error, and the smtp_error attribute is set to the error message.

exception smtplib.SMTPSenderRefused

Sender address refused. In addition to the attributes set by on all SMTPResponseException exceptions, this sets ‘sender’ to the string that the SMTP server refused.

exception smtplib.SMTPRecipientsRefused

All recipient addresses refused. The errors for each recipient are accessible through the attribute recipients, which is a dictionary of exactly the same sort as SMTP.sendmail() returns.

exception smtplib.SMTPDataError

O servidor SMTP recusou aceitar o dados da mensagem.

exception smtplib.SMTPConnectError

Ocorreu um erro ao estabelecer uma conexão com o servidor.

exception smtplib.SMTPHeloError

O servidor recusou sua mensagem HELO.

exception smtplib.SMTPNotSupportedError

The command or option attempted is not supported by the server.

Adicionado na versão 3.5.

exception smtplib.SMTPAuthenticationError

SMTP authentication went wrong. Most probably the server didn’t accept the username/password combination provided.

Ver também

RFC 821 [https://datatracker.ietf.org/doc/html/rfc821.html] - Simple Mail Transfer Protocol

Protocol definition for SMTP. This document covers the model, operating procedure, and protocol details for SMTP.

RFC 1869 [https://datatracker.ietf.org/doc/html/rfc1869.html] - SMTP Service Extensions

Definition of the ESMTP extensions for SMTP. This describes a framework for extending SMTP with new commands, supporting dynamic discovery of the commands provided by the server, and defines a few additional commands.

Objetos SMTP

An SMTP instance has the following methods:

SMTP.set_debuglevel(level)

Set the debug output level. A value of 1 or True for level results in debug messages for connection and for all messages sent to and received from the server. A value of 2 for level results in these messages being timestamped.

Alterado na versão 3.5: Adicionado o nível de depuração 2.

SMTP.docmd(cmd, args='')

Send a command cmd to the server. The optional argument args is simply concatenated to the command, separated by a space.

This returns a 2-tuple composed of a numeric response code and the actual response line (multiline responses are joined into one long line.)

In normal operation it should not be necessary to call this method explicitly. It is used to implement other methods and may be useful for testing private extensions.

If the connection to the server is lost while waiting for the reply, SMTPServerDisconnected will be raised.

SMTP.connect(host='localhost', port=0)

Connect to a host on a given port. The defaults are to connect to the local host at the standard SMTP port (25). If the hostname ends with a colon (':') followed by a number, that suffix will be stripped off and the number interpreted as the port number to use. This method is automatically invoked by the constructor if a host is specified during instantiation. Returns a 2-tuple of the response code and message sent by the server in its connection response.

Levanta um evento de auditoria smtplib.connect com os argumentos self, host, port.

SMTP.helo(name='')

Identify yourself to the SMTP server using HELO. The hostname argument defaults to the fully qualified domain name of the local host. The message returned by the server is stored as the helo_resp attribute of the object.

In normal operation it should not be necessary to call this method explicitly. It will be implicitly called by the sendmail() when necessary.

SMTP.ehlo(name='')

Identify yourself to an ESMTP server using EHLO. The hostname argument defaults to the fully qualified domain name of the local host. Examine the response for ESMTP option and store them for use by has_extn(). Also sets several informational attributes: the message returned by the server is stored as the ehlo_resp attribute, does_esmtp is set to True or False depending on whether the server supports ESMTP, and esmtp_features will be a dictionary containing the names of the SMTP service extensions this server supports, and their parameters (if any).

Unless you wish to use has_extn() before sending mail, it should not be necessary to call this method explicitly. It will be implicitly called by sendmail() when necessary.

SMTP.ehlo_or_helo_if_needed()

This method calls ehlo() and/or helo() if there has been no previous EHLO or HELO command this session. It tries ESMTP EHLO first.

SMTPHeloError

The server didn’t reply properly to the HELO greeting.

SMTP.has_extn(name)

Return True if name is in the set of SMTP service extensions returned by the server, False otherwise. Case is ignored.

SMTP.verify(address)

Check the validity of an address on this server using SMTP VRFY. Returns a tuple consisting of code 250 and a full RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] address (including human name) if the user address is valid. Otherwise returns an SMTP error code of 400 or greater and an error string.

Nota

Muitos servidores desabilitam o SMTP VRFY para despistar spammers.

SMTP.login(user, password, *, initial_response_ok=True)

Log in on an SMTP server that requires authentication. The arguments are the username and the password to authenticate with. If there has been no previous EHLO or HELO command this session, this method tries ESMTP EHLO first. This method will return normally if the authentication was successful, or may raise the following exceptions:

SMTPHeloError

The server didn’t reply properly to the HELO greeting.

SMTPAuthenticationError

O servidor não aceitou a combinação de usuário/senha.

SMTPNotSupportedError

The AUTH command is not supported by the server.

SMTPException

No suitable authentication method was found.

Each of the authentication methods supported by smtplib are tried in turn if they are advertised as supported by the server. See auth() for a list of supported authentication methods. initial_response_ok is passed through to auth().

Optional keyword argument initial_response_ok specifies whether, for authentication methods that support it, an “initial response” as specified in RFC 4954 [https://datatracker.ietf.org/doc/html/rfc4954.html] can be sent along with the AUTH command, rather than requiring a challenge/response.

Alterado na versão 3.5: SMTPNotSupportedError may be raised, and the initial_response_ok parameter was added.

SMTP.auth(mechanism, authobject, *, initial_response_ok=True)

Issue an SMTP AUTH command for the specified authentication mechanism, and handle the challenge response via authobject.

mechanism specifies which authentication mechanism is to be used as argument to the AUTH command; the valid values are those listed in the auth element of esmtp_features.

authobject must be a callable object taking an optional single argument:

data = authobject(challenge=None)

If optional keyword argument initial_response_ok is true, authobject() will be called first with no argument. It can return the RFC 4954 [https://datatracker.ietf.org/doc/html/rfc4954.html] “initial response” ASCII str which will be encoded and sent with the AUTH command as below. If the authobject() does not support an initial response (e.g. because it requires a challenge), it should return None when called with challenge=None. If initial_response_ok is false, then authobject() will not be called first with None.

If the initial response check returns None, or if initial_response_ok is false, authobject() will be called to process the server’s challenge response; the challenge argument it is passed will be a bytes. It should return ASCII str data that will be base64 encoded and sent to the server.

The SMTP class provides authobjects for the CRAM-MD5, PLAIN, and LOGIN mechanisms; they are named SMTP.auth_cram_md5, SMTP.auth_plain, and SMTP.auth_login respectively. They all require that the user and password properties of the SMTP instance are set to appropriate values.

User code does not normally need to call auth directly, but can instead call the login() method, which will try each of the above mechanisms in turn, in the order listed. auth is exposed to facilitate the implementation of authentication methods not (or not yet) supported directly by smtplib.

Adicionado na versão 3.5.

SMTP.starttls(*, context=None)

Put the SMTP connection in TLS (Transport Layer Security) mode. All SMTP commands that follow will be encrypted. You should then call ehlo() again.

If keyfile and certfile are provided, they are used to create an ssl.SSLContext.

Optional context parameter is an ssl.SSLContext object; This is an alternative to using a keyfile and a certfile and if specified both keyfile and certfile should be None.

If there has been no previous EHLO or HELO command this session, this method tries ESMTP EHLO first.

Alterado na versão 3.12: Os parâmetros depreciados keyfile e certfile foram removidos.

SMTPHeloError

The server didn’t reply properly to the HELO greeting.

SMTPNotSupportedError

O servidor não da suporte a extensão STARTTLS.

RuntimeError

SSL/TLS support is not available to your Python interpreter.

Alterado na versão 3.3: context foi adicionado.

Alterado na versão 3.4: The method now supports hostname check with SSLContext.check_hostname and Server Name Indicator (see HAS_SNI).

Alterado na versão 3.5: The error raised for lack of STARTTLS support is now the SMTPNotSupportedError subclass instead of the base SMTPException.

SMTP.sendmail(from_addr, to_addrs, msg, mail_options=(), rcpt_options=())

Send mail. The required arguments are an RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] from-address string, a list of RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] to-address strings (a bare string will be treated as a list with 1 address), and a message string. The caller may pass a list of ESMTP options (such as 8bitmime) to be used in MAIL FROM commands as mail_options. ESMTP options (such as DSN commands) that should be used with all RCPT commands can be passed as rcpt_options. (If you need to use different ESMTP options to different recipients you have to use the low-level methods such as mail(), rcpt() and data() to send the message.)

Nota

The from_addr and to_addrs parameters are used to construct the message envelope used by the transport agents. sendmail does not modify the message headers in any way.

msg may be a string containing characters in the ASCII range, or a byte string. A string is encoded to bytes using the ascii codec, and lone \r and \n characters are converted to \r\n characters. A byte string is not modified.

If there has been no previous EHLO or HELO command this session, this method tries ESMTP EHLO first. If the server does ESMTP, message size and each of the specified options will be passed to it (if the option is in the feature set the server advertises). If EHLO fails, HELO will be tried and ESMTP options suppressed.

This method will return normally if the mail is accepted for at least one recipient. Otherwise it will raise an exception. That is, if this method does not raise an exception, then someone should get your mail. If this method does not raise an exception, it returns a dictionary, with one entry for each recipient that was refused. Each entry contains a tuple of the SMTP error code and the accompanying error message sent by the server.

If SMTPUTF8 is included in mail_options, and the server supports it, from_addr and to_addrs may contain non-ASCII characters.

Esse método deve levantar as seguintes exceções:

SMTPRecipientsRefused

All recipients were refused. Nobody got the mail. The recipients attribute of the exception object is a dictionary with information about the refused recipients (like the one returned when at least one recipient was accepted).

SMTPHeloError

The server didn’t reply properly to the HELO greeting.

SMTPSenderRefused

O servidor não aceita o from_addr.

SMTPDataError

The server replied with an unexpected error code (other than a refusal of a recipient).

SMTPNotSupportedError

SMTPUTF8 was given in the mail_options but is not supported by the server.

Unless otherwise noted, the connection will be open even after an exception is raised.

Alterado na versão 3.2: msg may be a byte string.

Alterado na versão 3.5: SMTPUTF8 support added, and SMTPNotSupportedError may be raised if SMTPUTF8 is specified but the server does not support it.

SMTP.send_message(msg, from_addr=None, to_addrs=None, mail_options=(), rcpt_options=())

This is a convenience method for calling sendmail() with the message represented by an email.message.Message object. The arguments have the same meaning as for sendmail(), except that msg is a Message object.

If from_addr is None or to_addrs is None, send_message fills those arguments with addresses extracted from the headers of msg as specified in RFC 5322 [https://datatracker.ietf.org/doc/html/rfc5322.html]: from_addr is set to the Sender field if it is present, and otherwise to the From field. to_addrs combines the values (if any) of the To, Cc, and Bcc fields from msg. If exactly one set of Resent-* headers appear in the message, the regular headers are ignored and the Resent-* headers are used instead. If the message contains more than one set of Resent-* headers, a ValueError is raised, since there is no way to unambiguously detect the most recent set of Resent- headers.

send_message serializes msg using BytesGenerator with \r\n as the linesep, and calls sendmail() to transmit the resulting message. Regardless of the values of from_addr and to_addrs, send_message does not transmit any Bcc or Resent-Bcc headers that may appear in msg. If any of the addresses in from_addr and to_addrs contain non-ASCII characters and the server does not advertise SMTPUTF8 support, an SMTPNotSupported error is raised. Otherwise the Message is serialized with a clone of its policy with the utf8 attribute set to True, and SMTPUTF8 and BODY=8BITMIME are added to mail_options.

Adicionado na versão 3.2.

Adicionado na versão 3.5: Support for internationalized addresses (SMTPUTF8).

SMTP.quit()

Terminate the SMTP session and close the connection. Return the result of the SMTP QUIT command.

Low-level methods corresponding to the standard SMTP/ESMTP commands HELP, RSET, NOOP, MAIL, RCPT, and DATA are also supported. Normally these do not need to be called directly, so they are not documented here. For details, consult the module code.

Exemplo SMTP

This example prompts the user for addresses needed in the message envelope (‘To’ and ‘From’ addresses), and the message to be delivered. Note that the headers to be included with the message must be included in the message as entered; this example doesn’t do any processing of the RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] headers. In particular, the ‘To’ and ‘From’ addresses must be included in the message headers explicitly:

import smtplib

def prompt(title):
    return input(title).strip()

from_addr = prompt("From: ")
to_addrs  = prompt("To: ").split()
print("Enter message, end with ^D (Unix) or ^Z (Windows):")

# Add the From: and To: headers at the start!
lines = [f"From: {from_addr}", f"To: {', '.join(to_addrs)}", ""]
while True:
    try:
        line = input()
    except EOFError:
        break
    else:
        lines.append(line)

msg = "\r\n".join(lines)
print("Message length is", len(msg))

server = smtplib.SMTP("localhost")
server.set_debuglevel(1)
server.sendmail(from_addr, to_addrs, msg)
server.quit()

Nota

In general, you will want to use the email package’s features to construct an email message, which you can then send via send_message(); see email: Exemplos.

uuid — UUID objects according to RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html]

Código-fonte: Lib/uuid.py [https://github.com/python/cpython/tree/3.13/Lib/uuid.py]

This module provides immutable UUID objects (the UUID class) and the functions uuid1(), uuid3(), uuid4(), uuid5() for generating version 1, 3, 4, and 5 UUIDs as specified in RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html].

If all you want is a unique ID, you should probably call uuid1() or uuid4(). Note that uuid1() may compromise privacy since it creates a UUID containing the computer’s network address. uuid4() creates a random UUID.

Depending on support from the underlying platform, uuid1() may or may not return a “safe” UUID. A safe UUID is one which is generated using synchronization methods that ensure no two processes can obtain the same UUID. All instances of UUID have an is_safe attribute which relays any information about the UUID’s safety, using this enumeration:

class uuid.SafeUUID

Adicionado na versão 3.7.

safe

The UUID was generated by the platform in a multiprocessing-safe way.

unsafe

The UUID was not generated in a multiprocessing-safe way.

unknown

The platform does not provide information on whether the UUID was generated safely or not.

class uuid.UUID(hex=None, bytes=None, bytes_le=None, fields=None, int=None, version=None, *, is_safe=SafeUUID.unknown)

Create a UUID from either a string of 32 hexadecimal digits, a string of 16 bytes in big-endian order as the bytes argument, a string of 16 bytes in little-endian order as the bytes_le argument, a tuple of six integers (32-bit time_low, 16-bit time_mid, 16-bit time_hi_version, 8-bit clock_seq_hi_variant, 8-bit clock_seq_low, 48-bit node) as the fields argument, or a single 128-bit integer as the int argument. When a string of hex digits is given, curly braces, hyphens, and a URN prefix are all optional. For example, these expressions all yield the same UUID:

UUID('{12345678-1234-5678-1234-567812345678}')
UUID('12345678123456781234567812345678')
UUID('urn:uuid:12345678-1234-5678-1234-567812345678')
UUID(bytes=b'\x12\x34\x56\x78'*4)
UUID(bytes_le=b'\x78\x56\x34\x12\x34\x12\x78\x56' +
              b'\x12\x34\x56\x78\x12\x34\x56\x78')
UUID(fields=(0x12345678, 0x1234, 0x5678, 0x12, 0x34, 0x567812345678))
UUID(int=0x12345678123456781234567812345678)

Exactly one of hex, bytes, bytes_le, fields, or int must be given. The version argument is optional; if given, the resulting UUID will have its variant and version number set according to RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html], overriding bits in the given hex, bytes, bytes_le, fields, or int.

Comparison of UUID objects are made by way of comparing their UUID.int attributes. Comparison with a non-UUID object raises a TypeError.

str(uuid) returns a string in the form 12345678-1234-5678-1234-567812345678 where the 32 hexadecimal digits represent the UUID.

UUID instances have these read-only attributes:

UUID.bytes

The UUID as a 16-byte string (containing the six integer fields in big-endian byte order).

UUID.bytes_le

The UUID as a 16-byte string (with time_low, time_mid, and time_hi_version in little-endian byte order).

UUID.fields

A tuple of the six integer fields of the UUID, which are also available as six individual attributes and two derived attributes:

Campo

Significado

UUID.time_low

The first 32 bits of the UUID.

UUID.time_mid

The next 16 bits of the UUID.

UUID.time_hi_version

The next 16 bits of the UUID.

UUID.clock_seq_hi_variant

The next 8 bits of the UUID.

UUID.clock_seq_low

The next 8 bits of the UUID.

UUID.node

The last 48 bits of the UUID.

UUID.time

The 60-bit timestamp.

UUID.clock_seq

The 14-bit sequence number.

UUID.hex

The UUID as a 32-character lowercase hexadecimal string.

UUID.int

The UUID as a 128-bit integer.

UUID.urn

The UUID as a URN as specified in RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html].

UUID.variant

The UUID variant, which determines the internal layout of the UUID. This will be one of the constants RESERVED_NCS, RFC_4122, RESERVED_MICROSOFT, or RESERVED_FUTURE.

UUID.version

The UUID version number (1 through 5, meaningful only when the variant is RFC_4122).

UUID.is_safe

An enumeration of SafeUUID which indicates whether the platform generated the UUID in a multiprocessing-safe way.

Adicionado na versão 3.7.

The uuid module defines the following functions:

uuid.getnode()

Get the hardware address as a 48-bit positive integer. The first time this runs, it may launch a separate program, which could be quite slow. If all attempts to obtain the hardware address fail, we choose a random 48-bit number with the multicast bit (least significant bit of the first octet) set to 1 as recommended in RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html]. “Hardware address” means the MAC address of a network interface. On a machine with multiple network interfaces, universally administered MAC addresses (i.e. where the second least significant bit of the first octet is unset) will be preferred over locally administered MAC addresses, but with no other ordering guarantees.

Alterado na versão 3.7: Universally administered MAC addresses are preferred over locally administered MAC addresses, since the former are guaranteed to be globally unique, while the latter are not.

uuid.uuid1(node=None, clock_seq=None)

Generate a UUID from a host ID, sequence number, and the current time. If node is not given, getnode() is used to obtain the hardware address. If clock_seq is given, it is used as the sequence number; otherwise a random 14-bit sequence number is chosen.

uuid.uuid3(namespace, name)

Generate a UUID based on the MD5 hash of a namespace identifier (which is a UUID) and a name (which is a bytes object or a string that will be encoded using UTF-8).

uuid.uuid4()

Generate a random UUID.

uuid.uuid5(namespace, name)

Generate a UUID based on the SHA-1 hash of a namespace identifier (which is a UUID) and a name (which is a bytes object or a string that will be encoded using UTF-8).

The uuid module defines the following namespace identifiers for use with uuid3() or uuid5().

uuid.NAMESPACE_DNS

When this namespace is specified, the name string is a fully qualified domain name.

uuid.NAMESPACE_URL

When this namespace is specified, the name string is a URL.

uuid.NAMESPACE_OID

When this namespace is specified, the name string is an ISO OID.

uuid.NAMESPACE_X500

When this namespace is specified, the name string is an X.500 DN in DER or a text output format.

The uuid module defines the following constants for the possible values of the variant attribute:

uuid.RESERVED_NCS

Reserved for NCS compatibility.

uuid.RFC_4122

Specifies the UUID layout given in RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html].

uuid.RESERVED_MICROSOFT

Reserved for Microsoft compatibility.

uuid.RESERVED_FUTURE

Reserved for future definition.

Ver também

RFC 4122 [https://datatracker.ietf.org/doc/html/rfc4122.html] - A Universally Unique IDentifier (UUID) URN Namespace

This specification defines a Uniform Resource Name namespace for UUIDs, the internal format of UUIDs, and methods of generating UUIDs.

Uso na linha de comando

Adicionado na versão 3.12.

The uuid module can be executed as a script from the command line.

python -m uuid [-h] [-u {uuid1,uuid3,uuid4,uuid5}] [-n NAMESPACE] [-N NAME]

As seguintes opções são aceitas:

-h, --help

Mostra a mensagem de ajuda e sai.

-u <uuid>

--uuid <uuid>

Specify the function name to use to generate the uuid. By default uuid4() is used.

-n <namespace>

--namespace <namespace>

The namespace is a UUID, or @ns where ns is a well-known predefined UUID addressed by namespace name. Such as @dns, @url, @oid, and @x500. Only required for uuid3() / uuid5() functions.

-N <name>

--name <name>

The name used as part of generating the uuid. Only required for uuid3() / uuid5() functions.

Exemplo

Here are some examples of typical usage of the uuid module:

>>> import uuid

>>> # make a UUID based on the host ID and current time
>>> uuid.uuid1()
UUID('a8098c1a-f86e-11da-bd1a-00112444be1e')

>>> # make a UUID using an MD5 hash of a namespace UUID and a name
>>> uuid.uuid3(uuid.NAMESPACE_DNS, 'python.org')
UUID('6fa459ea-ee8a-3ca4-894e-db77e160355e')

>>> # make a random UUID
>>> uuid.uuid4()
UUID('16fd2706-8baf-433b-82eb-8c7fada847da')

>>> # make a UUID using a SHA-1 hash of a namespace UUID and a name
>>> uuid.uuid5(uuid.NAMESPACE_DNS, 'python.org')
UUID('886313e1-3b8a-5372-9b90-0c9aee199e5d')

>>> # make a UUID from a string of hex digits (braces and hyphens ignored)
>>> x = uuid.UUID('{00010203-0405-0607-0809-0a0b0c0d0e0f}')

>>> # convert a UUID to a string of hex digits in standard form
>>> str(x)
'00010203-0405-0607-0809-0a0b0c0d0e0f'

>>> # get the raw 16 bytes of the UUID
>>> x.bytes
b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f'

>>> # make a UUID from a 16-byte string
>>> uuid.UUID(bytes=x.bytes)
UUID('00010203-0405-0607-0809-0a0b0c0d0e0f')

Command-Line Example

Here are some examples of typical usage of the uuid command line interface:

# generate a random uuid - by default uuid4() is used
$ python -m uuid

# generate a uuid using uuid1()
$ python -m uuid -u uuid1

# generate a uuid using uuid5
$ python -m uuid -u uuid5 -n @url -N example.com

socketserver — A framework for network servers

Código-fonte: Lib/socketserver.py [https://github.com/python/cpython/tree/3.13/Lib/socketserver.py]

The socketserver module simplifies the task of writing network servers.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

There are four basic concrete server classes:

class socketserver.TCPServer(server_address, RequestHandlerClass, bind_and_activate=True)

This uses the internet TCP protocol, which provides for continuous streams of data between the client and server. If bind_and_activate is true, the constructor automatically attempts to invoke server_bind() and server_activate(). The other parameters are passed to the BaseServer base class.

class socketserver.UDPServer(server_address, RequestHandlerClass, bind_and_activate=True)

This uses datagrams, which are discrete packets of information that may arrive out of order or be lost while in transit. The parameters are the same as for TCPServer.

class socketserver.UnixStreamServer(server_address, RequestHandlerClass, bind_and_activate=True)

class socketserver.UnixDatagramServer(server_address, RequestHandlerClass, bind_and_activate=True)

These more infrequently used classes are similar to the TCP and UDP classes, but use Unix domain sockets; they’re not available on non-Unix platforms. The parameters are the same as for TCPServer.

Essas quatro classes processam solicitações synchronously; cada solicitação deve ser concluída antes que a próxima solicitação possa ser iniciada. Isso não é adequado se cada solicitação demorar muito para ser concluída, porque exige muita computação ou porque retorna muitos dados que o cliente demora a processar. A solução é criar um processo ou thread separado para lidar com cada solicitação; as classes misturadas ForkingMixIn e ThreadingMixIn podem ser usadas para oferecer suporte ao comportamento assíncrono.

Creating a server requires several steps. First, you must create a request handler class by subclassing the BaseRequestHandler class and overriding its handle() method; this method will process incoming requests. Second, you must instantiate one of the server classes, passing it the server’s address and the request handler class. It is recommended to use the server in a with statement. Then call the handle_request() or serve_forever() method of the server object to process one or many requests. Finally, call server_close() to close the socket (unless you used a with statement).

When inheriting from ThreadingMixIn for threaded connection behavior, you should explicitly declare how you want your threads to behave on an abrupt shutdown. The ThreadingMixIn class defines an attribute daemon_threads, which indicates whether or not the server should wait for thread termination. You should set the flag explicitly if you would like threads to behave autonomously; the default is False, meaning that Python will not exit until all threads created by ThreadingMixIn have exited.

Server classes have the same external methods and attributes, no matter what network protocol they use.

Server Creation Notes

There are five classes in an inheritance diagram, four of which represent synchronous servers of four types:

+------------+
| BaseServer |
+------------+
      |
      v
+-----------+        +------------------+
| TCPServer |------->| UnixStreamServer |
+-----------+        +------------------+
      |
      v
+-----------+        +--------------------+
| UDPServer |------->| UnixDatagramServer |
+-----------+        +--------------------+

Note that UnixDatagramServer derives from UDPServer, not from UnixStreamServer — the only difference between an IP and a Unix server is the address family.

class socketserver.ForkingMixIn

class socketserver.ThreadingMixIn

Forking and threading versions of each type of server can be created using these mix-in classes. For instance, ThreadingUDPServer is created as follows:

class ThreadingUDPServer(ThreadingMixIn, UDPServer):
    pass

The mix-in class comes first, since it overrides a method defined in UDPServer. Setting the various attributes also changes the behavior of the underlying server mechanism.

ForkingMixIn and the Forking classes mentioned below are only available on POSIX platforms that support fork().

block_on_close

ForkingMixIn.server_close waits until all child processes complete, except if block_on_close attribute is False.

ThreadingMixIn.server_close waits until all non-daemon threads complete, except if block_on_close attribute is False.

daemon_threads

For ThreadingMixIn use daemonic threads by setting ThreadingMixIn.daemon_threads to True to not wait until threads complete.

Alterado na versão 3.7: ForkingMixIn.server_close and ThreadingMixIn.server_close now waits until all child processes and non-daemonic threads complete. Add a new ForkingMixIn.block_on_close class attribute to opt-in for the pre-3.7 behaviour.

class socketserver.ForkingTCPServer

class socketserver.ForkingUDPServer

class socketserver.ThreadingTCPServer

class socketserver.ThreadingUDPServer

class socketserver.ForkingUnixStreamServer

class socketserver.ForkingUnixDatagramServer

class socketserver.ThreadingUnixStreamServer

class socketserver.ThreadingUnixDatagramServer

These classes are pre-defined using the mix-in classes.

Adicionado na versão 3.12: The ForkingUnixStreamServer and ForkingUnixDatagramServer classes were added.

To implement a service, you must derive a class from BaseRequestHandler and redefine its handle() method. You can then run various versions of the service by combining one of the server classes with your request handler class. The request handler class must be different for datagram or stream services. This can be hidden by using the handler subclasses StreamRequestHandler or DatagramRequestHandler.

Of course, you still have to use your head! For instance, it makes no sense to use a forking server if the service contains state in memory that can be modified by different requests, since the modifications in the child process would never reach the initial state kept in the parent process and passed to each child. In this case, you can use a threading server, but you will probably have to use locks to protect the integrity of the shared data.

On the other hand, if you are building an HTTP server where all data is stored externally (for instance, in the file system), a synchronous class will essentially render the service “deaf” while one request is being handled – which may be for a very long time if a client is slow to receive all the data it has requested. Here a threading or forking server is appropriate.

In some cases, it may be appropriate to process part of a request synchronously, but to finish processing in a forked child depending on the request data. This can be implemented by using a synchronous server and doing an explicit fork in the request handler class handle() method.

Another approach to handling multiple simultaneous requests in an environment that supports neither threads nor fork() (or where these are too expensive or inappropriate for the service) is to maintain an explicit table of partially finished requests and to use selectors to decide which request to work on next (or whether to handle a new incoming request). This is particularly important for stream services where each client can potentially be connected for a long time (if threads or subprocesses cannot be used).

Objetos Server

class socketserver.BaseServer(server_address, RequestHandlerClass)

This is the superclass of all Server objects in the module. It defines the interface, given below, but does not implement most of the methods, which is done in subclasses. The two parameters are stored in the respective server_address and RequestHandlerClass attributes.

fileno()

Return an integer file descriptor for the socket on which the server is listening. This function is most commonly passed to selectors, to allow monitoring multiple servers in the same process.

handle_request()

Process a single request. This function calls the following methods in order: get_request(), verify_request(), and process_request(). If the user-provided handle() method of the handler class raises an exception, the server’s handle_error() method will be called. If no request is received within timeout seconds, handle_timeout() will be called and handle_request() will return.

serve_forever(poll_interval=0.5)

Handle requests until an explicit shutdown() request. Poll for shutdown every poll_interval seconds. Ignores the timeout attribute. It also calls service_actions(), which may be used by a subclass or mixin to provide actions specific to a given service. For example, the ForkingMixIn class uses service_actions() to clean up zombie child processes.

Alterado na versão 3.3: Added service_actions call to the serve_forever method.

service_actions()

This is called in the serve_forever() loop. This method can be overridden by subclasses or mixin classes to perform actions specific to a given service, such as cleanup actions.

Adicionado na versão 3.3.

shutdown()

Tell the serve_forever() loop to stop and wait until it does. shutdown() must be called while serve_forever() is running in a different thread otherwise it will deadlock.

server_close()

Clean up the server. May be overridden.

address_family

The family of protocols to which the server’s socket belongs. Common examples are socket.AF_INET and socket.AF_UNIX.

RequestHandlerClass

The user-provided request handler class; an instance of this class is created for each request.

server_address

The address on which the server is listening. The format of addresses varies depending on the protocol family; see the documentation for the socket module for details. For internet protocols, this is a tuple containing a string giving the address, and an integer port number: ('127.0.0.1', 80), for example.

socket

O objeto soquete no qual o servidor ouve para solicitações recebidas.

The server classes support the following class variables:

allow_reuse_address

Whether the server will allow the reuse of an address. This defaults to False, and can be set in subclasses to change the policy.

request_queue_size

The size of the request queue. If it takes a long time to process a single request, any requests that arrive while the server is busy are placed into a queue, up to request_queue_size requests. Once the queue is full, further requests from clients will get a “Connection denied” error. The default value is usually 5, but this can be overridden by subclasses.

socket_type

The type of socket used by the server; socket.SOCK_STREAM and socket.SOCK_DGRAM are two common values.

timeout

Timeout duration, measured in seconds, or None if no timeout is desired. If handle_request() receives no incoming requests within the timeout period, the handle_timeout() method is called.

There are various server methods that can be overridden by subclasses of base server classes like TCPServer; these methods aren’t useful to external users of the server object.

finish_request(request, client_address)

Actually processes the request by instantiating RequestHandlerClass and calling its handle() method.

get_request()

Must accept a request from the socket, and return a 2-tuple containing the new socket object to be used to communicate with the client, and the client’s address.

handle_error(request, client_address)

This function is called if the handle() method of a RequestHandlerClass instance raises an exception. The default action is to print the traceback to standard error and continue handling further requests.

Alterado na versão 3.6: Now only called for exceptions derived from the Exception class.

handle_timeout()

This function is called when the timeout attribute has been set to a value other than None and the timeout period has passed with no requests being received. The default action for forking servers is to collect the status of any child processes that have exited, while in threading servers this method does nothing.

process_request(request, client_address)

Calls finish_request() to create an instance of the RequestHandlerClass. If desired, this function can create a new process or thread to handle the request; the ForkingMixIn and ThreadingMixIn classes do this.

server_activate()

Called by the server’s constructor to activate the server. The default behavior for a TCP server just invokes listen() on the server’s socket. May be overridden.

server_bind()

Called by the server’s constructor to bind the socket to the desired address. May be overridden.

verify_request(request, client_address)

Must return a Boolean value; if the value is True, the request will be processed, and if it’s False, the request will be denied. This function can be overridden to implement access controls for a server. The default implementation always returns True.

Alterado na versão 3.6: Support for the context manager protocol was added. Exiting the context manager is equivalent to calling server_close().

Request Handler Objects

class socketserver.BaseRequestHandler

This is the superclass of all request handler objects. It defines the interface, given below. A concrete request handler subclass must define a new handle() method, and can override any of the other methods. A new instance of the subclass is created for each request.

setup()

Called before the handle() method to perform any initialization actions required. The default implementation does nothing.

handle()

This function must do all the work required to service a request. The default implementation does nothing. Several instance attributes are available to it; the request is available as request; the client address as client_address; and the server instance as server, in case it needs access to per-server information.

The type of request is different for datagram or stream services. For stream services, request is a socket object; for datagram services, request is a pair of string and socket.

finish()

Called after the handle() method to perform any clean-up actions required. The default implementation does nothing. If setup() raises an exception, this function will not be called.

request

The new socket.socket object to be used to communicate with the client.

client_address

Client address returned by BaseServer.get_request().

server

BaseServer object used for handling the request.

class socketserver.StreamRequestHandler

class socketserver.DatagramRequestHandler

These BaseRequestHandler subclasses override the setup() and finish() methods, and provide rfile and wfile attributes.

rfile

A file object from which receives the request is read. Support the io.BufferedIOBase readable interface.

wfile

A file object to which the reply is written. Support the io.BufferedIOBase writable interface

Alterado na versão 3.6: wfile also supports the io.BufferedIOBase writable interface.

Exemplos

socketserver.TCPServer Example

This is the server side:

import socketserver

class MyTCPHandler(socketserver.BaseRequestHandler):
    """
    The request handler class for our server.

    It is instantiated once per connection to the server, and must
    override the handle() method to implement communication to the
    client.
    """

    def handle(self):
        # self.request is the TCP socket connected to the client
        self.data = self.request.recv(1024).strip()
        print("Received from {}:".format(self.client_address[0]))
        print(self.data)
        # just send back the same data, but upper-cased
        self.request.sendall(self.data.upper())

if __name__ == "__main__":
    HOST, PORT = "localhost", 9999

    # Create the server, binding to localhost on port 9999
    with socketserver.TCPServer((HOST, PORT), MyTCPHandler) as server:
        # Activate the server; this will keep running until you
        # interrupt the program with Ctrl-C
        server.serve_forever()

An alternative request handler class that makes use of streams (file-like objects that simplify communication by providing the standard file interface):

class MyTCPHandler(socketserver.StreamRequestHandler):

    def handle(self):
        # self.rfile is a file-like object created by the handler;
        # we can now use e.g. readline() instead of raw recv() calls
        self.data = self.rfile.readline().strip()
        print("{} wrote:".format(self.client_address[0]))
        print(self.data)
        # Likewise, self.wfile is a file-like object used to write back
        # to the client
        self.wfile.write(self.data.upper())

The difference is that the readline() call in the second handler will call recv() multiple times until it encounters a newline character, while the single recv() call in the first handler will just return what has been received so far from the client’s sendall() call (typically all of it, but this is not guaranteed by the TCP protocol).

This is the client side:

import socket
import sys

HOST, PORT = "localhost", 9999
data = " ".join(sys.argv[1:])

# Create a socket (SOCK_STREAM means a TCP socket)
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as sock:
    # Connect to server and send data
    sock.connect((HOST, PORT))
    sock.sendall(bytes(data + "\n", "utf-8"))

    # Receive data from the server and shut down
    received = str(sock.recv(1024), "utf-8")

print("Sent:     {}".format(data))
print("Received: {}".format(received))

The output of the example should look something like this:

Server:

$ python TCPServer.py
127.0.0.1 wrote:
b'hello world with TCP'
127.0.0.1 wrote:
b'python is nice'

Cliente:

$ python TCPClient.py hello world with TCP
Sent:     hello world with TCP
Received: HELLO WORLD WITH TCP
$ python TCPClient.py python is nice
Sent:     python is nice
Received: PYTHON IS NICE

Exemplo socketserver.UDPServer

This is the server side:

import socketserver

class MyUDPHandler(socketserver.BaseRequestHandler):
    """
    This class works similar to the TCP handler class, except that
    self.request consists of a pair of data and client socket, and since
    there is no connection the client address must be given explicitly
    when sending data back via sendto().
    """

    def handle(self):
        data = self.request[0].strip()
        socket = self.request[1]
        print("{} wrote:".format(self.client_address[0]))
        print(data)
        socket.sendto(data.upper(), self.client_address)

if __name__ == "__main__":
    HOST, PORT = "localhost", 9999
    with socketserver.UDPServer((HOST, PORT), MyUDPHandler) as server:
        server.serve_forever()

This is the client side:

import socket
import sys

HOST, PORT = "localhost", 9999
data = " ".join(sys.argv[1:])

# SOCK_DGRAM is the socket type to use for UDP sockets
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# As you can see, there is no connect() call; UDP has no connections.
# Instead, data is directly sent to the recipient via sendto().
sock.sendto(bytes(data + "\n", "utf-8"), (HOST, PORT))
received = str(sock.recv(1024), "utf-8")

print("Sent:     {}".format(data))
print("Received: {}".format(received))

The output of the example should look exactly like for the TCP server example.

Asynchronous Mixins

To build asynchronous handlers, use the ThreadingMixIn and ForkingMixIn classes.

An example for the ThreadingMixIn class:

import socket
import threading
import socketserver

class ThreadedTCPRequestHandler(socketserver.BaseRequestHandler):

    def handle(self):
        data = str(self.request.recv(1024), 'ascii')
        cur_thread = threading.current_thread()
        response = bytes("{}: {}".format(cur_thread.name, data), 'ascii')
        self.request.sendall(response)

class ThreadedTCPServer(socketserver.ThreadingMixIn, socketserver.TCPServer):
    pass

def client(ip, port, message):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as sock:
        sock.connect((ip, port))
        sock.sendall(bytes(message, 'ascii'))
        response = str(sock.recv(1024), 'ascii')
        print("Received: {}".format(response))

if __name__ == "__main__":
    # Port 0 means to select an arbitrary unused port
    HOST, PORT = "localhost", 0

    server = ThreadedTCPServer((HOST, PORT), ThreadedTCPRequestHandler)
    with server:
        ip, port = server.server_address

        # Start a thread with the server -- that thread will then start one
        # more thread for each request
        server_thread = threading.Thread(target=server.serve_forever)
        # Exit the server thread when the main thread terminates
        server_thread.daemon = True
        server_thread.start()
        print("Server loop running in thread:", server_thread.name)

        client(ip, port, "Hello World 1")
        client(ip, port, "Hello World 2")
        client(ip, port, "Hello World 3")

        server.shutdown()

The output of the example should look something like this:

$ python ThreadedTCPServer.py
Server loop running in thread: Thread-1
Received: Thread-2: Hello World 1
Received: Thread-3: Hello World 2
Received: Thread-4: Hello World 3

The ForkingMixIn class is used in the same way, except that the server will spawn a new process for each request. Available only on POSIX platforms that support fork().

http.server — HTTP servers

Código-fonte: Lib/http/server.py [https://github.com/python/cpython/tree/3.13/Lib/http/server.py]

This module defines classes for implementing HTTP servers.

Aviso

http.server is not recommended for production. It only implements basic security checks.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

One class, HTTPServer, is a socketserver.TCPServer subclass. It creates and listens at the HTTP socket, dispatching the requests to a handler. Code to create and run the server looks like this:

def run(server_class=HTTPServer, handler_class=BaseHTTPRequestHandler):
    server_address = ('', 8000)
    httpd = server_class(server_address, handler_class)
    httpd.serve_forever()

class http.server.HTTPServer(server_address, RequestHandlerClass)

This class builds on the TCPServer class by storing the server address as instance variables named server_name and server_port. The server is accessible by the handler, typically through the handler’s server instance variable.

class http.server.ThreadingHTTPServer(server_address, RequestHandlerClass)

This class is identical to HTTPServer but uses threads to handle requests by using the ThreadingMixIn. This is useful to handle web browsers pre-opening sockets, on which HTTPServer would wait indefinitely.

Adicionado na versão 3.7.

The HTTPServer and ThreadingHTTPServer must be given a RequestHandlerClass on instantiation, of which this module provides three different variants:

class http.server.BaseHTTPRequestHandler(request, client_address, server)

This class is used to handle the HTTP requests that arrive at the server. By itself, it cannot respond to any actual HTTP requests; it must be subclassed to handle each request method (e.g. GET or POST). BaseHTTPRequestHandler provides a number of class and instance variables, and methods for use by subclasses.

The handler will parse the request and the headers, then call a method specific to the request type. The method name is constructed from the request. For example, for the request method SPAM, the do_SPAM() method will be called with no arguments. All of the relevant information is stored in instance variables of the handler. Subclasses should not need to override or extend the __init__() method.

BaseHTTPRequestHandler tem os seguintes atributos de instância:

client_address

Contains a tuple of the form (host, port) referring to the client’s address.

server

Contains the server instance.

close_connection

Boolean that should be set before handle_one_request() returns, indicating if another request may be expected, or if the connection should be shut down.

requestline

Contains the string representation of the HTTP request line. The terminating CRLF is stripped. This attribute should be set by handle_one_request(). If no valid request line was processed, it should be set to the empty string.

command

Contains the command (request type). For example, 'GET'.

path

Contains the request path. If query component of the URL is present, then path includes the query. Using the terminology of RFC 3986 [https://datatracker.ietf.org/doc/html/rfc3986.html], path here includes hier-part and the query.

request_version

Contains the version string from the request. For example, 'HTTP/1.0'.

headers

Holds an instance of the class specified by the MessageClass class variable. This instance parses and manages the headers in the HTTP request. The parse_headers() function from http.client is used to parse the headers and it requires that the HTTP request provide a valid RFC 2822 [https://datatracker.ietf.org/doc/html/rfc2822.html] style header.

rfile

An io.BufferedIOBase input stream, ready to read from the start of the optional input data.

wfile

Contains the output stream for writing a response back to the client. Proper adherence to the HTTP protocol must be used when writing to this stream in order to achieve successful interoperation with HTTP clients.

Alterado na versão 3.6: This is an io.BufferedIOBase stream.

BaseHTTPRequestHandler tem os seguintes atributos:

server_version

Specifies the server software version. You may want to override this. The format is multiple whitespace-separated strings, where each string is of the form name[/version]. For example, 'BaseHTTP/0.2'.

sys_version

Contains the Python system version, in a form usable by the version_string method and the server_version class variable. For example, 'Python/1.4'.

error_message_format

Specifies a format string that should be used by send_error() method for building an error response to the client. The string is filled by default with variables from responses based on the status code that passed to send_error().

error_content_type

Specifies the Content-Type HTTP header of error responses sent to the client. The default value is 'text/html'.

protocol_version

Specifies the HTTP version to which the server is conformant. It is sent in responses to let the client know the server’s communication capabilities for future requests. If set to 'HTTP/1.1', the server will permit HTTP persistent connections; however, your server must then include an accurate Content-Length header (using send_header()) in all of its responses to clients. For backwards compatibility, the setting defaults to 'HTTP/1.0'.

MessageClass

Specifies an email.message.Message-like class to parse HTTP headers. Typically, this is not overridden, and it defaults to http.client.HTTPMessage.

responses

This attribute contains a mapping of error code integers to two-element tuples containing a short and long message. For example, {code: (shortmessage, longmessage)}. The shortmessage is usually used as the message key in an error response, and longmessage as the explain key. It is used by send_response_only() and send_error() methods.

Uma instância de BaseHTTPRequestHandler tem os seguintes métodos:

handle()

Calls handle_one_request() once (or, if persistent connections are enabled, multiple times) to handle incoming HTTP requests. You should never need to override it; instead, implement appropriate do_*() methods.

handle_one_request()

This method will parse and dispatch the request to the appropriate do_*() method. You should never need to override it.

handle_expect_100()

When an HTTP/1.1 conformant server receives an Expect: 100-continue request header it responds back with a 100 Continue followed by 200 OK headers. This method can be overridden to raise an error if the server does not want the client to continue. For e.g. server can choose to send 417 Expectation Failed as a response header and return False.

Adicionado na versão 3.2.

send_error(code, message=None, explain=None)

Sends and logs a complete error reply to the client. The numeric code specifies the HTTP error code, with message as an optional, short, human readable description of the error. The explain argument can be used to provide more detailed information about the error; it will be formatted using the error_message_format attribute and emitted, after a complete set of headers, as the response body. The responses attribute holds the default values for message and explain that will be used if no value is provided; for unknown codes the default value for both is the string ???. The body will be empty if the method is HEAD or the response code is one of the following: 1xx, 204 No Content, 205 Reset Content, 304 Not Modified.

Alterado na versão 3.4: The error response includes a Content-Length header. Added the explain argument.

send_response(code, message=None)

Adds a response header to the headers buffer and logs the accepted request. The HTTP response line is written to the internal buffer, followed by Server and Date headers. The values for these two headers are picked up from the version_string() and date_time_string() methods, respectively. If the server does not intend to send any other headers using the send_header() method, then send_response() should be followed by an end_headers() call.

Alterado na versão 3.3: Headers are stored to an internal buffer and end_headers() needs to be called explicitly.

send_header(keyword, value)

Adds the HTTP header to an internal buffer which will be written to the output stream when either end_headers() or flush_headers() is invoked. keyword should specify the header keyword, with value specifying its value. Note that, after the send_header calls are done, end_headers() MUST BE called in order to complete the operation.

Alterado na versão 3.2: Headers are stored in an internal buffer.

send_response_only(code, message=None)

Sends the response header only, used for the purposes when 100 Continue response is sent by the server to the client. The headers not buffered and sent directly the output stream.If the message is not specified, the HTTP message corresponding the response code is sent.

Adicionado na versão 3.2.

end_headers()

Adds a blank line (indicating the end of the HTTP headers in the response) to the headers buffer and calls flush_headers().

Alterado na versão 3.2: The buffered headers are written to the output stream.

flush_headers()

Finally send the headers to the output stream and flush the internal headers buffer.

Adicionado na versão 3.3.

log_request(code='-', size='-')

Logs an accepted (successful) request. code should specify the numeric HTTP code associated with the response. If a size of the response is available, then it should be passed as the size parameter.

log_error(...)

Logs an error when a request cannot be fulfilled. By default, it passes the message to log_message(), so it takes the same arguments (format and additional values).

log_message(format, ...)

Logs an arbitrary message to sys.stderr. This is typically overridden to create custom error logging mechanisms. The format argument is a standard printf-style format string, where the additional arguments to log_message() are applied as inputs to the formatting. The client ip address and current date and time are prefixed to every message logged.

version_string()

Returns the server software’s version string. This is a combination of the server_version and sys_version attributes.

date_time_string(timestamp=None)

Returns the date and time given by timestamp (which must be None or in the format returned by time.time()), formatted for a message header. If timestamp is omitted, it uses the current date and time.

The result looks like 'Sun, 06 Nov 1994 08:49:37 GMT'.

log_date_time_string()

Returns the current date and time, formatted for logging.

address_string()

Retorna o endereço do cliente.

Alterado na versão 3.3: Previously, a name lookup was performed. To avoid name resolution delays, it now always returns the IP address.

class http.server.SimpleHTTPRequestHandler(request, client_address, server, directory=None)

This class serves files from the directory directory and below, or the current directory if directory is not provided, directly mapping the directory structure to HTTP requests.

Alterado na versão 3.7: Added the directory parameter.

Alterado na versão 3.9: The directory parameter accepts a path-like object.

Muito do trabalho, como analisar o pedido, é feito pela classe base BaseHTTPRequestHandler. Esta classe implementa as funções do_GET() e do_HEAD().

The following are defined as class-level attributes of SimpleHTTPRequestHandler:

server_version

This will be "SimpleHTTP/" + __version__, where __version__ is defined at the module level.

extensions_map

A dictionary mapping suffixes into MIME types, contains custom overrides for the default system mappings. The mapping is used case-insensitively, and so should contain only lower-cased keys.

Alterado na versão 3.9: This dictionary is no longer filled with the default system mappings, but only contains overrides.

The SimpleHTTPRequestHandler class defines the following methods:

do_HEAD()

This method serves the 'HEAD' request type: it sends the headers it would send for the equivalent GET request. See the do_GET() method for a more complete explanation of the possible headers.

do_GET()

The request is mapped to a local file by interpreting the request as a path relative to the current working directory.

If the request was mapped to a directory, the directory is checked for a file named index.html or index.htm (in that order). If found, the file’s contents are returned; otherwise a directory listing is generated by calling the list_directory() method. This method uses os.listdir() to scan the directory, and returns a 404 error response if the listdir() fails.

If the request was mapped to a file, it is opened. Any OSError exception in opening the requested file is mapped to a 404, 'File not found' error. If there was an 'If-Modified-Since' header in the request, and the file was not modified after this time, a 304, 'Not Modified' response is sent. Otherwise, the content type is guessed by calling the guess_type() method, which in turn uses the extensions_map variable, and the file contents are returned.

A 'Content-type:' header with the guessed content type is output, followed by a 'Content-Length:' header with the file’s size and a 'Last-Modified:' header with the file’s modification time.

Then follows a blank line signifying the end of the headers, and then the contents of the file are output. If the file’s MIME type starts with text/ the file is opened in text mode; otherwise binary mode is used.

For example usage, see the implementation of the test function in Lib/http/server.py [https://github.com/python/cpython/tree/3.13/Lib/http/server.py].

Alterado na versão 3.7: Support of the 'If-Modified-Since' header.

The SimpleHTTPRequestHandler class can be used in the following manner in order to create a very basic webserver serving files relative to the current directory:

import http.server
import socketserver

PORT = 8000

Handler = http.server.SimpleHTTPRequestHandler

with socketserver.TCPServer(("", PORT), Handler) as httpd:
    print("serving at port", PORT)
    httpd.serve_forever()

SimpleHTTPRequestHandler can also be subclassed to enhance behavior, such as using different index file names by overriding the class attribute index_pages.

http.server can also be invoked directly using the -m switch of the interpreter. Similar to the previous example, this serves files relative to the current directory:

python -m http.server

The server listens to port 8000 by default. The default can be overridden by passing the desired port number as an argument:

python -m http.server 9000

By default, the server binds itself to all interfaces. The option -b/--bind specifies a specific address to which it should bind. Both IPv4 and IPv6 addresses are supported. For example, the following command causes the server to bind to localhost only:

python -m http.server --bind 127.0.0.1

Alterado na versão 3.4: Added the --bind option.

Alterado na versão 3.8: Support IPv6 in the --bind option.

By default, the server uses the current directory. The option -d/--directory specifies a directory to which it should serve the files. For example, the following command uses a specific directory:

python -m http.server --directory /tmp/

Alterado na versão 3.7: Added the --directory option.

By default, the server is conformant to HTTP/1.0. The option -p/--protocol specifies the HTTP version to which the server is conformant. For example, the following command runs an HTTP/1.1 conformant server:

python -m http.server --protocol HTTP/1.1

Alterado na versão 3.11: Added the --protocol option.

class http.server.CGIHTTPRequestHandler(request, client_address, server)

This class is used to serve either files or output of CGI scripts from the current directory and below. Note that mapping HTTP hierarchic structure to local directory structure is exactly as in SimpleHTTPRequestHandler.

Nota

CGI scripts run by the CGIHTTPRequestHandler class cannot execute redirects (HTTP code 302), because code 200 (script output follows) is sent prior to execution of the CGI script. This pre-empts the status code.

The class will however, run the CGI script, instead of serving it as a file, if it guesses it to be a CGI script. Only directory-based CGI are used — the other common server configuration is to treat special extensions as denoting CGI scripts.

The do_GET() and do_HEAD() functions are modified to run CGI scripts and serve the output, instead of serving files, if the request leads to somewhere below the cgi_directories path.

The CGIHTTPRequestHandler defines the following data member:

cgi_directories

This defaults to ['/cgi-bin', '/htbin'] and describes directories to treat as containing CGI scripts.

The CGIHTTPRequestHandler defines the following method:

do_POST()

This method serves the 'POST' request type, only allowed for CGI scripts. Error 501, “Can only POST to CGI scripts”, is output when trying to POST to a non-CGI url.

Note that CGI scripts will be run with UID of user nobody, for security reasons. Problems with the CGI script will be translated to error 403.

Deprecated since version 3.13, will be removed in version 3.15: CGIHTTPRequestHandler is being removed in 3.15. CGI has not been considered a good way to do things for well over a decade. This code has been unmaintained for a while now and sees very little practical use. Retaining it could lead to further security considerations.

CGIHTTPRequestHandler can be enabled in the command line by passing the --cgi option:

python -m http.server --cgi

Deprecated since version 3.13, will be removed in version 3.15: http.server command line --cgi support is being removed because CGIHTTPRequestHandler is being removed.

Aviso

CGIHTTPRequestHandler and the --cgi command line option are not intended for use by untrusted clients and may be vulnerable to exploitation. Always use within a secure environment.

Considerações de segurança

SimpleHTTPRequestHandler will follow symbolic links when handling requests, this makes it possible for files outside of the specified directory to be served.

Earlier versions of Python did not scrub control characters from the log messages emitted to stderr from python -m http.server or the default BaseHTTPRequestHandler .log_message implementation. This could allow remote clients connecting to your server to send nefarious control codes to your terminal.

Alterado na versão 3.12: Control characters are scrubbed in stderr logs.

http.cookies — HTTP state management

Código-fonte: Lib/http/cookies.py [https://github.com/python/cpython/tree/3.13/Lib/http/cookies.py]

The http.cookies module defines classes for abstracting the concept of cookies, an HTTP state management mechanism. It supports both simple string-only cookies, and provides an abstraction for having any serializable data-type as cookie value.

The module formerly strictly applied the parsing rules described in the RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] and RFC 2068 [https://datatracker.ietf.org/doc/html/rfc2068.html] specifications. It has since been discovered that MSIE 3.0x didn’t follow the character rules outlined in those specs; many current-day browsers and servers have also relaxed parsing rules when it comes to cookie handling. As a result, this module now uses parsing rules that are a bit less strict than they once were.

The character set, string.ascii_letters, string.digits and !#$%&'*+-.^_`|~: denote the set of valid characters allowed by this module in a cookie name (as key).

Alterado na versão 3.3: Allowed ‘:’ as a valid cookie name character.

Nota

On encountering an invalid cookie, CookieError is raised, so if your cookie data comes from a browser you should always prepare for invalid data and catch CookieError on parsing.

exception http.cookies.CookieError

Exception failing because of RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] invalidity: incorrect attributes, incorrect Set-Cookie header, etc.

class http.cookies.BaseCookie([input])

This class is a dictionary-like object whose keys are strings and whose values are Morsel instances. Note that upon setting a key to a value, the value is first converted to a Morsel containing the key and the value.

If input is given, it is passed to the load() method.

class http.cookies.SimpleCookie([input])

This class derives from BaseCookie and overrides value_decode() and value_encode(). SimpleCookie supports strings as cookie values. When setting the value, SimpleCookie calls the builtin str() to convert the value to a string. Values received from HTTP are kept as strings.

Ver também

Módulo http.cookiejar

HTTP cookie handling for web clients. The http.cookiejar and http.cookies modules do not depend on each other.

RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] - HTTP State Management Mechanism

This is the state management specification implemented by this module.

Objetos Cookie

BaseCookie.value_decode(val)

Return a tuple (real_value, coded_value) from a string representation. real_value can be any type. This method does no decoding in BaseCookie — it exists so it can be overridden.

BaseCookie.value_encode(val)

Return a tuple (real_value, coded_value). val can be any type, but coded_value will always be converted to a string. This method does no encoding in BaseCookie — it exists so it can be overridden.

In general, it should be the case that value_encode() and value_decode() are inverses on the range of value_decode.

BaseCookie.output(attrs=None, header='Set-Cookie:', sep='\r\n')

Return a string representation suitable to be sent as HTTP headers. attrs and header are sent to each Morsel’s output() method. sep is used to join the headers together, and is by default the combination '\r\n' (CRLF).

BaseCookie.js_output(attrs=None)

Return an embeddable JavaScript snippet, which, if run on a browser which supports JavaScript, will act the same as if the HTTP headers was sent.

The meaning for attrs is the same as in output().

BaseCookie.load(rawdata)

If rawdata is a string, parse it as an HTTP_COOKIE and add the values found there as Morsels. If it is a dictionary, it is equivalent to:

for k, v in rawdata.items():
    cookie[k] = v

Objetos Morsel

class http.cookies.Morsel

Abstract a key/value pair, which has some RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] attributes.

Morsels are dictionary-like objects, whose set of keys is constant — the valid RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] attributes, which are:

expires

path

comment

domain

max-age

secure

version

httponly

samesite

The attribute httponly specifies that the cookie is only transferred in HTTP requests, and is not accessible through JavaScript. This is intended to mitigate some forms of cross-site scripting.

The attribute samesite specifies that the browser is not allowed to send the cookie along with cross-site requests. This helps to mitigate CSRF attacks. Valid values for this attribute are “Strict” and “Lax”.

The keys are case-insensitive and their default value is ''.

Alterado na versão 3.5: __eq__() now takes key and value into account.

Alterado na versão 3.7: Attributes key, value and coded_value are read-only. Use set() for setting them.

Alterado na versão 3.8: Added support for the samesite attribute.

Morsel.value

O valor do cookie.

Morsel.coded_value

The encoded value of the cookie — this is what should be sent.

Morsel.key

O nome do cookie.

Morsel.set(key, value, coded_value)

Set the key, value and coded_value attributes.

Morsel.isReservedKey(K)

Whether K is a member of the set of keys of a Morsel.

Morsel.output(attrs=None, header='Set-Cookie:')

Return a string representation of the Morsel, suitable to be sent as an HTTP header. By default, all the attributes are included, unless attrs is given, in which case it should be a list of attributes to use. header is by default "Set-Cookie:".

Morsel.js_output(attrs=None)

Return an embeddable JavaScript snippet, which, if run on a browser which supports JavaScript, will act the same as if the HTTP header was sent.

The meaning for attrs is the same as in output().

Morsel.OutputString(attrs=None)

Return a string representing the Morsel, without any surrounding HTTP or JavaScript.

The meaning for attrs is the same as in output().

Morsel.update(values)

Update the values in the Morsel dictionary with the values in the dictionary values. Raise an error if any of the keys in the values dict is not a valid RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] attribute.

Alterado na versão 3.5: an error is raised for invalid keys.

Morsel.copy(value)

Return a shallow copy of the Morsel object.

Alterado na versão 3.5: return a Morsel object instead of a dict.

Morsel.setdefault(key, value=None)

Raise an error if key is not a valid RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] attribute, otherwise behave the same as dict.setdefault().

Exemplo

The following example demonstrates how to use the http.cookies module.

>>> from http import cookies
>>> C = cookies.SimpleCookie()
>>> C["fig"] = "newton"
>>> C["sugar"] = "wafer"
>>> print(C) # generate HTTP headers
Set-Cookie: fig=newton
Set-Cookie: sugar=wafer
>>> print(C.output()) # same thing
Set-Cookie: fig=newton
Set-Cookie: sugar=wafer
>>> C = cookies.SimpleCookie()
>>> C["rocky"] = "road"
>>> C["rocky"]["path"] = "/cookie"
>>> print(C.output(header="Cookie:"))
Cookie: rocky=road; Path=/cookie
>>> print(C.output(attrs=[], header="Cookie:"))
Cookie: rocky=road
>>> C = cookies.SimpleCookie()
>>> C.load("chips=ahoy; vienna=finger") # load from a string (HTTP header)
>>> print(C)
Set-Cookie: chips=ahoy
Set-Cookie: vienna=finger
>>> C = cookies.SimpleCookie()
>>> C.load('keebler="E=everybody; L=\\"Loves\\"; fudge=\\012;";')
>>> print(C)
Set-Cookie: keebler="E=everybody; L=\"Loves\"; fudge=\012;"
>>> C = cookies.SimpleCookie()
>>> C["oreo"] = "doublestuff"
>>> C["oreo"]["path"] = "/"
>>> print(C)
Set-Cookie: oreo=doublestuff; Path=/
>>> C = cookies.SimpleCookie()
>>> C["twix"] = "none for you"
>>> C["twix"].value
'none for you'
>>> C = cookies.SimpleCookie()
>>> C["number"] = 7 # equivalent to C["number"] = str(7)
>>> C["string"] = "seven"
>>> C["number"].value
'7'
>>> C["string"].value
'seven'
>>> print(C)
Set-Cookie: number=7
Set-Cookie: string=seven

http.cookiejar — Cookie handling for HTTP clients

Código-fonte: Lib/http/cookiejar.py [https://github.com/python/cpython/tree/3.13/Lib/http/cookiejar.py]

The http.cookiejar module defines classes for automatic handling of HTTP cookies. It is useful for accessing web sites that require small pieces of data – cookies – to be set on the client machine by an HTTP response from a web server, and then returned to the server in later HTTP requests.

Both the regular Netscape cookie protocol and the protocol defined by RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] are handled. RFC 2965 handling is switched off by default. RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookies are parsed as Netscape cookies and subsequently treated either as Netscape or RFC 2965 cookies according to the ‘policy’ in effect. Note that the great majority of cookies on the internet are Netscape cookies. http.cookiejar attempts to follow the de-facto Netscape cookie protocol (which differs substantially from that set out in the original Netscape specification), including taking note of the max-age and port cookie-attributes introduced with RFC 2965.

Nota

The various named parameters found in Set-Cookie and Set-Cookie2 headers (eg. domain and expires) are conventionally referred to as attributes. To distinguish them from Python attributes, the documentation for this module uses the term cookie-attribute instead.

The module defines the following exception:

exception http.cookiejar.LoadError

Instances of FileCookieJar raise this exception on failure to load cookies from a file. LoadError is a subclass of OSError.

Alterado na versão 3.3: LoadError used to be a subtype of IOError, which is now an alias of OSError.

As sequintes classes são disponibilizadas:

class http.cookiejar.CookieJar(policy=None)

policy is an object implementing the CookiePolicy interface.

The CookieJar class stores HTTP cookies. It extracts cookies from HTTP requests, and returns them in HTTP responses. CookieJar instances automatically expire contained cookies when necessary. Subclasses are also responsible for storing and retrieving cookies from a file or database.

class http.cookiejar.FileCookieJar(filename=None, delayload=None, policy=None)

policy is an object implementing the CookiePolicy interface. For the other arguments, see the documentation for the corresponding attributes.

A CookieJar which can load cookies from, and perhaps save cookies to, a file on disk. Cookies are NOT loaded from the named file until either the load() or revert() method is called. Subclasses of this class are documented in section FileCookieJar subclasses and co-operation with web browsers.

This should not be initialized directly – use its subclasses below instead.

Alterado na versão 3.8: The filename parameter supports a path-like object.

class http.cookiejar.CookiePolicy

This class is responsible for deciding whether each cookie should be accepted from / returned to the server.

class http.cookiejar.DefaultCookiePolicy(blocked_domains=None, allowed_domains=None, netscape=True, rfc2965=False, rfc2109_as_netscape=None, hide_cookie2=False, strict_domain=False, strict_rfc2965_unverifiable=True, strict_ns_unverifiable=False, strict_ns_domain=DefaultCookiePolicy.DomainLiberal, strict_ns_set_initial_dollar=False, strict_ns_set_path=False, secure_protocols=('https', 'wss'))

Constructor arguments should be passed as keyword arguments only. blocked_domains is a sequence of domain names that we never accept cookies from, nor return cookies to. allowed_domains if not None, this is a sequence of the only domains for which we accept and return cookies. secure_protocols is a sequence of protocols for which secure cookies can be added to. By default https and wss (secure websocket) are considered secure protocols. For all other arguments, see the documentation for CookiePolicy and DefaultCookiePolicy objects.

DefaultCookiePolicy implements the standard accept / reject rules for Netscape and RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] cookies. By default, RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookies (ie. cookies received in a Set-Cookie header with a version cookie-attribute of 1) are treated according to the RFC 2965 rules. However, if RFC 2965 handling is turned off or rfc2109_as_netscape is True, RFC 2109 cookies are ‘downgraded’ by the CookieJar instance to Netscape cookies, by setting the version attribute of the Cookie instance to 0. DefaultCookiePolicy also provides some parameters to allow some fine-tuning of policy.

class http.cookiejar.Cookie

This class represents Netscape, RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] and RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] cookies. It is not expected that users of http.cookiejar construct their own Cookie instances. Instead, if necessary, call make_cookies() on a CookieJar instance.

Ver também

Módulo urllib.request

URL opening with automatic cookie handling.

Module http.cookies

HTTP cookie classes, principally useful for server-side code. The http.cookiejar and http.cookies modules do not depend on each other.

https://curl.se/rfc/cookie_spec.html

The specification of the original Netscape cookie protocol. Though this is still the dominant protocol, the ‘Netscape cookie protocol’ implemented by all the major browsers (and http.cookiejar) only bears a passing resemblance to the one sketched out in cookie_spec.html.

RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] - HTTP State Management Mechanism

Obsoleted by RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html]. Uses Set-Cookie with version=1.

RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] - HTTP State Management Mechanism

The Netscape protocol with the bugs fixed. Uses Set-Cookie2 in place of Set-Cookie. Not widely used.

https://kristol.org/cookie/errata.html

Unfinished errata to RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html].

RFC 2964 [https://datatracker.ietf.org/doc/html/rfc2964.html] - Use of HTTP State Management

CookieJar and FileCookieJar Objects

CookieJar objects support the iterator protocol for iterating over contained Cookie objects.

CookieJar has the following methods:

CookieJar.add_cookie_header(request)

Add correct Cookie header to request.

If policy allows (ie. the rfc2965 and hide_cookie2 attributes of the CookieJar’s CookiePolicy instance are true and false respectively), the Cookie2 header is also added when appropriate.

The request object (usually a urllib.request.Request instance) must support the methods get_full_url(), has_header(), get_header(), header_items(), add_unredirected_header() and the attributes host, type, unverifiable and origin_req_host as documented by urllib.request.

Alterado na versão 3.3: request object needs origin_req_host attribute. Dependency on a deprecated method get_origin_req_host() has been removed.

CookieJar.extract_cookies(response, request)

Extract cookies from HTTP response and store them in the CookieJar, where allowed by policy.

The CookieJar will look for allowable Set-Cookie and Set-Cookie2 headers in the response argument, and store cookies as appropriate (subject to the CookiePolicy.set_ok() method’s approval).

The response object (usually the result of a call to urllib.request.urlopen(), or similar) should support an info() method, which returns an email.message.Message instance.

The request object (usually a urllib.request.Request instance) must support the method get_full_url() and the attributes host, unverifiable and origin_req_host, as documented by urllib.request. The request is used to set default values for cookie-attributes as well as for checking that the cookie is allowed to be set.

Alterado na versão 3.3: request object needs origin_req_host attribute. Dependency on a deprecated method get_origin_req_host() has been removed.

CookieJar.set_policy(policy)

Set the CookiePolicy instance to be used.

CookieJar.make_cookies(response, request)

Return sequence of Cookie objects extracted from response object.

See the documentation for extract_cookies() for the interfaces required of the response and request arguments.

CookieJar.set_cookie_if_ok(cookie, request)

Set a Cookie if policy says it’s OK to do so.

CookieJar.set_cookie(cookie)

Set a Cookie, without checking with policy to see whether or not it should be set.

CookieJar.clear([domain[, path[, name]]])

Clear some cookies.

If invoked without arguments, clear all cookies. If given a single argument, only cookies belonging to that domain will be removed. If given two arguments, cookies belonging to the specified domain and URL path are removed. If given three arguments, then the cookie with the specified domain, path and name is removed.

Raises KeyError if no matching cookie exists.

CookieJar.clear_session_cookies()

Descarta os cookies de sessão.

Discards all contained cookies that have a true discard attribute (usually because they had either no max-age or expires cookie-attribute, or an explicit discard cookie-attribute). For interactive browsers, the end of a session usually corresponds to closing the browser window.

Note that the save() method won’t save session cookies anyway, unless you ask otherwise by passing a true ignore_discard argument.

FileCookieJar implements the following additional methods:

FileCookieJar.save(filename=None, ignore_discard=False, ignore_expires=False)

Save cookies to a file.

This base class raises NotImplementedError. Subclasses may leave this method unimplemented.

filename is the name of file in which to save cookies. If filename is not specified, self.filename is used (whose default is the value passed to the constructor, if any); if self.filename is None, ValueError is raised.

ignore_discard: save even cookies set to be discarded. ignore_expires: save even cookies that have expired

The file is overwritten if it already exists, thus wiping all the cookies it contains. Saved cookies can be restored later using the load() or revert() methods.

FileCookieJar.load(filename=None, ignore_discard=False, ignore_expires=False)

Load cookies from a file.

Old cookies are kept unless overwritten by newly loaded ones.

Arguments are as for save().

The named file must be in the format understood by the class, or LoadError will be raised. Also, OSError may be raised, for example if the file does not exist.

Alterado na versão 3.3: IOError costumava ser levantado, agora ele é um codinome para OSError.

FileCookieJar.revert(filename=None, ignore_discard=False, ignore_expires=False)

Clear all cookies and reload cookies from a saved file.

revert() can raise the same exceptions as load(). If there is a failure, the object’s state will not be altered.

FileCookieJar instances have the following public attributes:

FileCookieJar.filename

Filename of default file in which to keep cookies. This attribute may be assigned to.

FileCookieJar.delayload

If true, load cookies lazily from disk. This attribute should not be assigned to. This is only a hint, since this only affects performance, not behaviour (unless the cookies on disk are changing). A CookieJar object may ignore it. None of the FileCookieJar classes included in the standard library lazily loads cookies.

FileCookieJar subclasses and co-operation with web browsers

The following CookieJar subclasses are provided for reading and writing.

class http.cookiejar.MozillaCookieJar(filename=None, delayload=None, policy=None)

A FileCookieJar that can load from and save cookies to disk in the Mozilla cookies.txt file format (which is also used by curl and the Lynx and Netscape browsers).

Nota

This loses information about RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] cookies, and also about newer or non-standard cookie-attributes such as port.

Aviso

Back up your cookies before saving if you have cookies whose loss / corruption would be inconvenient (there are some subtleties which may lead to slight changes in the file over a load / save round-trip).

Also note that cookies saved while Mozilla is running will get clobbered by Mozilla.

class http.cookiejar.LWPCookieJar(filename=None, delayload=None, policy=None)

A FileCookieJar that can load from and save cookies to disk in format compatible with the libwww-perl library’s Set-Cookie3 file format. This is convenient if you want to store cookies in a human-readable file.

Alterado na versão 3.8: The filename parameter supports a path-like object.

Objeto CookiePolicy

Objects implementing the CookiePolicy interface have the following methods:

CookiePolicy.set_ok(cookie, request)

Return boolean value indicating whether cookie should be accepted from server.

cookie is a Cookie instance. request is an object implementing the interface defined by the documentation for CookieJar.extract_cookies().

CookiePolicy.return_ok(cookie, request)

Return boolean value indicating whether cookie should be returned to server.

cookie is a Cookie instance. request is an object implementing the interface defined by the documentation for CookieJar.add_cookie_header().

CookiePolicy.domain_return_ok(domain, request)

Return False if cookies should not be returned, given cookie domain.

This method is an optimization. It removes the need for checking every cookie with a particular domain (which might involve reading many files). Returning true from domain_return_ok() and path_return_ok() leaves all the work to return_ok().

If domain_return_ok() returns true for the cookie domain, path_return_ok() is called for the cookie path. Otherwise, path_return_ok() and return_ok() are never called for that cookie domain. If path_return_ok() returns true, return_ok() is called with the Cookie object itself for a full check. Otherwise, return_ok() is never called for that cookie path.

Note that domain_return_ok() is called for every cookie domain, not just for the request domain. For example, the function might be called with both ".example.com" and "www.example.com" if the request domain is "www.example.com". The same goes for path_return_ok().

The request argument is as documented for return_ok().

CookiePolicy.path_return_ok(path, request)

Return False if cookies should not be returned, given cookie path.

See the documentation for domain_return_ok().

In addition to implementing the methods above, implementations of the CookiePolicy interface must also supply the following attributes, indicating which protocols should be used, and how. All of these attributes may be assigned to.

CookiePolicy.netscape

Implement Netscape protocol.

CookiePolicy.rfc2965

Implement RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] protocol.

CookiePolicy.hide_cookie2

Don’t add Cookie2 header to requests (the presence of this header indicates to the server that we understand RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] cookies).

The most useful way to define a CookiePolicy class is by subclassing from DefaultCookiePolicy and overriding some or all of the methods above. CookiePolicy itself may be used as a ‘null policy’ to allow setting and receiving any and all cookies (this is unlikely to be useful).

DefaultCookiePolicy Objects

Implements the standard rules for accepting and returning cookies.

Both RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] and Netscape cookies are covered. RFC 2965 handling is switched off by default.

The easiest way to provide your own policy is to override this class and call its methods in your overridden implementations before adding your own additional checks:

import http.cookiejar
class MyCookiePolicy(http.cookiejar.DefaultCookiePolicy):
    def set_ok(self, cookie, request):
        if not http.cookiejar.DefaultCookiePolicy.set_ok(self, cookie, request):
            return False
        if i_dont_want_to_store_this_cookie(cookie):
            return False
        return True

In addition to the features required to implement the CookiePolicy interface, this class allows you to block and allow domains from setting and receiving cookies. There are also some strictness switches that allow you to tighten up the rather loose Netscape protocol rules a little bit (at the cost of blocking some benign cookies).

A domain blocklist and allowlist is provided (both off by default). Only domains not in the blocklist and present in the allowlist (if the allowlist is active) participate in cookie setting and returning. Use the blocked_domains constructor argument, and blocked_domains() and set_blocked_domains() methods (and the corresponding argument and methods for allowed_domains). If you set an allowlist, you can turn it off again by setting it to None.

Domains in block or allow lists that do not start with a dot must equal the cookie domain to be matched. For example, "example.com" matches a blocklist entry of "example.com", but "www.example.com" does not. Domains that do start with a dot are matched by more specific domains too. For example, both "www.example.com" and "www.coyote.example.com" match ".example.com" (but "example.com" itself does not). IP addresses are an exception, and must match exactly. For example, if blocked_domains contains "192.168.1.2" and ".168.1.2", 192.168.1.2 is blocked, but 193.168.1.2 is not.

DefaultCookiePolicy implements the following additional methods:

DefaultCookiePolicy.blocked_domains()

Return the sequence of blocked domains (as a tuple).

DefaultCookiePolicy.set_blocked_domains(blocked_domains)

Set the sequence of blocked domains.

DefaultCookiePolicy.is_blocked(domain)

Return True if domain is on the blocklist for setting or receiving cookies.

DefaultCookiePolicy.allowed_domains()

Return None, or the sequence of allowed domains (as a tuple).

DefaultCookiePolicy.set_allowed_domains(allowed_domains)

Set the sequence of allowed domains, or None.

DefaultCookiePolicy.is_not_allowed(domain)

Return True if domain is not on the allowlist for setting or receiving cookies.

DefaultCookiePolicy instances have the following attributes, which are all initialised from the constructor arguments of the same name, and which may all be assigned to.

DefaultCookiePolicy.rfc2109_as_netscape

If true, request that the CookieJar instance downgrade RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookies (ie. cookies received in a Set-Cookie header with a version cookie-attribute of 1) to Netscape cookies by setting the version attribute of the Cookie instance to 0. The default value is None, in which case RFC 2109 cookies are downgraded if and only if RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] handling is turned off. Therefore, RFC 2109 cookies are downgraded by default.

General strictness switches:

DefaultCookiePolicy.strict_domain

Don’t allow sites to set two-component domains with country-code top-level domains like .co.uk, .gov.uk, .co.nz.etc. This is far from perfect and isn’t guaranteed to work!

RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] protocol strictness switches:

DefaultCookiePolicy.strict_rfc2965_unverifiable

Follow RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] rules on unverifiable transactions (usually, an unverifiable transaction is one resulting from a redirect or a request for an image hosted on another site). If this is false, cookies are never blocked on the basis of verifiability

Netscape protocol strictness switches:

DefaultCookiePolicy.strict_ns_unverifiable

Apply RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] rules on unverifiable transactions even to Netscape cookies.

DefaultCookiePolicy.strict_ns_domain

Flags indicating how strict to be with domain-matching rules for Netscape cookies. See below for acceptable values.

DefaultCookiePolicy.strict_ns_set_initial_dollar

Ignore cookies in Set-Cookie: headers that have names starting with '$'.

DefaultCookiePolicy.strict_ns_set_path

Don’t allow setting cookies whose path doesn’t path-match request URI.

strict_ns_domain is a collection of flags. Its value is constructed by or-ing together (for example, DomainStrictNoDots|DomainStrictNonDomain means both flags are set).

DefaultCookiePolicy.DomainStrictNoDots

When setting cookies, the ‘host prefix’ must not contain a dot (eg. www.foo.bar.com can’t set a cookie for .bar.com, because www.foo contains a dot).

DefaultCookiePolicy.DomainStrictNonDomain

Cookies that did not explicitly specify a domain cookie-attribute can only be returned to a domain equal to the domain that set the cookie (eg. spam.example.com won’t be returned cookies from example.com that had no domain cookie-attribute).

DefaultCookiePolicy.DomainRFC2965Match

When setting cookies, require a full RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] domain-match.

The following attributes are provided for convenience, and are the most useful combinations of the above flags:

DefaultCookiePolicy.DomainLiberal

Equivalent to 0 (ie. all of the above Netscape domain strictness flags switched off).

DefaultCookiePolicy.DomainStrict

Equivalente a DomainStrictNoDots|DomainStrictNonDomain.

Objetos Cookie

Cookie instances have Python attributes roughly corresponding to the standard cookie-attributes specified in the various cookie standards. The correspondence is not one-to-one, because there are complicated rules for assigning default values, because the max-age and expires cookie-attributes contain equivalent information, and because RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookies may be ‘downgraded’ by http.cookiejar from version 1 to version 0 (Netscape) cookies.

Assignment to these attributes should not be necessary other than in rare circumstances in a CookiePolicy method. The class does not enforce internal consistency, so you should know what you’re doing if you do that.

Cookie.version

Integer or None. Netscape cookies have version 0. RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] and RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookies have a version cookie-attribute of 1. However, note that http.cookiejar may ‘downgrade’ RFC 2109 cookies to Netscape cookies, in which case version is 0.

Cookie.name

Cookie name (a string).

Cookie.value

Cookie value (a string), or None.

Cookie.port

String representing a port or a set of ports (eg. ‘80’, or ‘80,8080’), or None.

Cookie.domain

Cookie domain (a string).

Cookie.path

Cookie path (a string, eg. '/acme/rocket_launchers').

Cookie.secure

True if cookie should only be returned over a secure connection.

Cookie.expires

Integer expiry date in seconds since epoch, or None. See also the is_expired() method.

Cookie.discard

True if this is a session cookie.

Cookie.comment

String comment from the server explaining the function of this cookie, or None.

Cookie.comment_url

URL linking to a comment from the server explaining the function of this cookie, or None.

Cookie.rfc2109

True if this cookie was received as an RFC 2109 [https://datatracker.ietf.org/doc/html/rfc2109.html] cookie (ie. the cookie arrived in a Set-Cookie header, and the value of the Version cookie-attribute in that header was 1). This attribute is provided because http.cookiejar may ‘downgrade’ RFC 2109 cookies to Netscape cookies, in which case version is 0.

Cookie.port_specified

True if a port or set of ports was explicitly specified by the server (in the Set-Cookie / Set-Cookie2 header).

Cookie.domain_specified

True if a domain was explicitly specified by the server.

Cookie.domain_initial_dot

True if the domain explicitly specified by the server began with a dot ('.').

Cookies may have additional non-standard cookie-attributes. These may be accessed using the following methods:

Cookie.has_nonstandard_attr(name)

Return True if cookie has the named cookie-attribute.

Cookie.get_nonstandard_attr(name, default=None)

If cookie has the named cookie-attribute, return its value. Otherwise, return default.

Cookie.set_nonstandard_attr(name, value)

Set the value of the named cookie-attribute.

The Cookie class also defines the following method:

Cookie.is_expired(now=None)

True if cookie has passed the time at which the server requested it should expire. If now is given (in seconds since the epoch), return whether the cookie has expired at the specified time.

Exemplos

The first example shows the most common usage of http.cookiejar:

import http.cookiejar, urllib.request
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

This example illustrates how to open a URL using your Netscape, Mozilla, or Lynx cookies (assumes Unix/Netscape convention for location of the cookies file):

import os, http.cookiejar, urllib.request
cj = http.cookiejar.MozillaCookieJar()
cj.load(os.path.join(os.path.expanduser("~"), ".netscape", "cookies.txt"))
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

The next example illustrates the use of DefaultCookiePolicy. Turn on RFC 2965 [https://datatracker.ietf.org/doc/html/rfc2965.html] cookies, be more strict about domains when setting and returning Netscape cookies, and block some domains from setting cookies or having them returned:

import urllib.request
from http.cookiejar import CookieJar, DefaultCookiePolicy
policy = DefaultCookiePolicy(
    rfc2965=True, strict_ns_domain=Policy.DomainStrict,
    blocked_domains=["ads.net", ".ads.net"])
cj = CookieJar(policy)
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

xmlrpc — Módulos de servidor e cliente XMLRPC

XML-RPC é um método de chamada de procedimento remoto que usa XML passado via HTTP como um transporte. Com ele, um cliente pode chamar métodos com parâmetros em um servidor remoto (o servidor é nomeado por um URI) e receber dados estruturados.

xmlrpc é um pacote que coleta módulos de servidor e de cliente que implementam o XML-RPC. Os módulos são:

xmlrpc.client

xmlrpc.server

xmlrpc.client — Cliente XML-RPC

Código-fonte: Lib/xmlrpc/client.py [https://github.com/python/cpython/tree/3.13/Lib/xmlrpc/client.py]

XML-RPC é um método de chamada remota de métodos que usa XML usando HTTP(S) como transporte. Com ele, um cliente pode chamar métodos com parâmetros em um servidor remoto (o servidor é nomeado por um URI) e receber de volta dados estruturados. Este módulo oferece suporte à escrita de código de clientes XML-RPC; ele lida com todos os detalhes da tradução entre Python objetos e XML.

Aviso

O módulo xmlrpc.client não é seguro contra dados construídos de forma maliciosa. Se você precisa processar dados não-confiáveis ou sem autenticação, veja Vulnerabilidades em XML.

Alterado na versão 3.5: Para URIs com HTTPS, xmlrpc.client agora faz todas as validações de certificado e nome do servidor necessárias por padrão.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

class xmlrpc.client.ServerProxy(uri, transport=None, encoding=None, verbose=False, allow_none=False, use_datetime=False, use_builtin_types=False, *, headers=(), context=None)

Uma instância de ServerProxy é um objeto que gerencia a comunicação com um servidor XML-RPC remoto. O primeiro argumento obrigatório é uma URI (Uniform Resource Indicator - Indicador de Recurso Uniforme) e normalmente vai ser a URL do servidor. O segundo parâmetro, opcional, é uma instância de um factory de transporte; por padrão é uma instância de SafeTransport para URLs https e uma instância de Transport caso contrário. O terceiro parâmetro, opcional, é o encoding, por padrão sendo UTF-8. O quarto argumento, opcional, é a flag de debug.

Os seguite parâmetros coordenam o uso da intância de proxy retornada. Se alow_none for verdadeiro, a constante None do Python será traduzida para XML; o comportamento padrão é que None levante uma TypeError, Isso é uma extensão comum da especificação do XML-RPC, mas não é suportado por todos os clientes e servidores, veja http://ontosys.com/xml-rpc/extensions.php [https://web.archive.org/web/20130120074804/http://ontosys.com/xml-rpc/extensions.php] para uma descrição. A flag use_builtin_types pode ser usada para que valores de data e hora sejam representados como objetos datetime.datetime e dados binários representados com objetos bytes; essa flag é False por padrão. Objetos datetime.datetime, bytes e bytearray podem ser usados nas chamadas. O parâmetro headers é uma sequência opcional de headers a serem enviados em cada requisição, representados por uma sequência de tuplas de dois valores representando o nome do header e seu valor (como [('Header-Name', 'value')]). A flag use_datetime é obsoleta e é similar a use_builtin_types mas se aplica somente a valores de data e hora.

Alterado na versão 3.3: O sinalizador use_builtin_types foi adicionado.

Alterado na versão 3.8: O parâmetro headers foi adicionado.

Tanto o transporte por HTTP quanto o transporte por HTTP suportam a extensão da sintaxe de URL para Autenticação Básica do HTTP: http://user:pass@host:port/path. A parte user:pass será codificada em Base64 como um header HTTP ‘Authorization’, e enviada para o servidor remoto como parte do processo de conexão quando for invocado um método XML-RPC. Você só precisar usar isso se o servidor remoto requer Autenticação Básica com usuário e senha. Se for usada uma URL HTTPS, context pode ser do tipo ssl.SSLContext e configurar o SSL da conexão HTTPS por baixo.

A instância retornada é um objeto proxy com métodos que podem ser usados para invocar a chamada RPC correspondendo no servidor remoto. Se o servidor remoto suportar a API de instrospecção, o proxy também pode ser usado para perguntar ao servidor remoto pelos métodos que ele suporta (descoberta de serviço) e recuperar outros meta-dados associados com o servidor.

Os tipos que são conformáveis (por exemplo, que podem ser convertidos para XML) incluem os seguintes (e exceto onde indicado, eles não são convertidos como o mesmo tipo Python):

Tipo XML-RPC

Tipo em Python

boolean

bool

int, i1, i2, i4, i8 ou biginteger

int no intervalo de -2147483648 a 2147483647. Os valores recebem a tag <int>.

double ou float

float. Os valores recebem a tag <double>.

string

str

array

list ou tuple contendo elementos conformáveis. As matrizes são retornadas como lists.

struct

dict. Chaves devem ser strings, valores podem ser qualquer tipo conformáveis. Objetos de classes definidas pelo usuário pode ser usadas; apenas o atributo __dict__ delas é transmitido.

dateTime.iso8601

DateTime ou datetime.datetime. O tipo retornado depende de volumes de sinalizadores use_builtin_types e use_datetime.

base64

Binary, bytes ou bytearray. O tipo retornado depende do valor da flag use_builtin_types.

nil

A constante None. A passagem é permitida somente se allow_none for verdadeiro.

bigdecimal

decimal.Decimal. Somente tipo retornado.

Esta é a lista completa de tipos suportados por XML-RPC. Chamadas de método podem também levantar uma instância de Fault, usado para que o servidor XML-RPC indique erros, ou ProtocolError para indicar erros na camada HTTP/HTTPS. Tnato Fault quanto ProtocolError derivam da classe base Error. Observe que o módulo de cliente xmlrpc atualmente não converte instância de subclasses dos tipos built-in.

Ao passar strings, os caracteres especiais para XML, como <, > e &, serão automaticamente escapados. No entanto, é responsabilidade do chamador garantir que o string esteja livre de caracteres que não são permitidos em XML, como os caracteres de controle com valores ASCII entre 0 e 31 (exceto, é claro, tabulação, nova linha e retorno de carro); se isso não for feito, resultará em uma solicitação XML-RPC que não é um XML bem formado. Se você precisar passar bytes arbitrários via XML-RPC, use as classes bytes ou bytearray ou a classe wrapper Binary descrito abaixo.

Server foi mantido como um apelido para ServerProxy para compatibilidade retroativa. Código novo deve usar ServerProxy.

Alterado na versão 3.5: Argumento context adicionado.

Alterado na versão 3.6: Adicionado suporte para tags com prefixos (por exemplo ex:nil) Adicionado suporte para desconversão de tipos adicionados usados pela implementação do Apache XML-RPC para numéricos: i1, i2, i8, biginteger, float e bigdecimal. Veja https://ws.apache.org/xmlrpc/types.html para uma descrição.

Ver também

XML-RPC HOWTO [https://tldp.org/HOWTO/XML-RPC-HOWTO/index.html]

Uma boa descrição das operações XML-RPC e software cliente em vários idiomas. Contém praticamente tudo o que um desenvolvedor de clientes XML-RPC precisa saber.

XML-RPC Introspection [https://xmlrpc-c.sourceforge.io/introspection.html]

Describe a extensão do protocolo XML-RPC para instrospecção.

XML-RPC Specification [http://xmlrpc.scripting.com/spec.html]

A especificação oficial.

Objetos ServerProxy

A ServerProxy instance has a method corresponding to each remote procedure call accepted by the XML-RPC server. Calling the method performs an RPC, dispatched by both name and argument signature (e.g. the same method name can be overloaded with multiple argument signatures). The RPC finishes by returning a value, which may be either returned data in a conformant type or a Fault or ProtocolError object indicating an error.

Servers that support the XML introspection API support some common methods grouped under the reserved system attribute:

ServerProxy.system.listMethods()

This method returns a list of strings, one for each (non-system) method supported by the XML-RPC server.

ServerProxy.system.methodSignature(name)

This method takes one parameter, the name of a method implemented by the XML-RPC server. It returns an array of possible signatures for this method. A signature is an array of types. The first of these types is the return type of the method, the rest are parameters.

Because multiple signatures (ie. overloading) is permitted, this method returns a list of signatures rather than a singleton.

Signatures themselves are restricted to the top level parameters expected by a method. For instance if a method expects one array of structs as a parameter, and it returns a string, its signature is simply “string, array”. If it expects three integers and returns a string, its signature is “string, int, int, int”.

If no signature is defined for the method, a non-array value is returned. In Python this means that the type of the returned value will be something other than list.

ServerProxy.system.methodHelp(name)

This method takes one parameter, the name of a method implemented by the XML-RPC server. It returns a documentation string describing the use of that method. If no such string is available, an empty string is returned. The documentation string may contain HTML markup.

Alterado na versão 3.5: Instances of ServerProxy support the context manager protocol for closing the underlying transport.

A working example follows. The server code:

from xmlrpc.server import SimpleXMLRPCServer

def is_even(n):
    return n % 2 == 0

server = SimpleXMLRPCServer(("localhost", 8000))
print("Listening on port 8000...")
server.register_function(is_even, "is_even")
server.serve_forever()

The client code for the preceding server:

import xmlrpc.client

with xmlrpc.client.ServerProxy("http://localhost:8000/") as proxy:
    print("3 is even: %s" % str(proxy.is_even(3)))
    print("100 is even: %s" % str(proxy.is_even(100)))

Objetos DateTime

class xmlrpc.client.DateTime

This class may be initialized with seconds since the epoch, a time tuple, an ISO 8601 time/date string, or a datetime.datetime instance. It has the following methods, supported mainly for internal use by the marshalling/unmarshalling code:

decode(string)

Accept a string as the instance’s new time value.

encode(out)

Write the XML-RPC encoding of this DateTime item to the out stream object.

It also supports certain of Python’s built-in operators through rich comparison and __repr__() methods.

A working example follows. The server code:

import datetime
from xmlrpc.server import SimpleXMLRPCServer
import xmlrpc.client

def today():
    today = datetime.datetime.today()
    return xmlrpc.client.DateTime(today)

server = SimpleXMLRPCServer(("localhost", 8000))
print("Listening on port 8000...")
server.register_function(today, "today")
server.serve_forever()

The client code for the preceding server:

import xmlrpc.client
import datetime

proxy = xmlrpc.client.ServerProxy("http://localhost:8000/")

today = proxy.today()
# convert the ISO8601 string to a datetime object
converted = datetime.datetime.strptime(today.value, "%Y%m%dT%H:%M:%S")
print("Today: %s" % converted.strftime("%d.%m.%Y, %H:%M"))

Objetos Binários

class xmlrpc.client.Binary

This class may be initialized from bytes data (which may include NULs). The primary access to the content of a Binary object is provided by an attribute:

data

The binary data encapsulated by the Binary instance. The data is provided as a bytes object.

Binary objects have the following methods, supported mainly for internal use by the marshalling/unmarshalling code:

decode(bytes)

Accept a base64 bytes object and decode it as the instance’s new data.

encode(out)

Write the XML-RPC base 64 encoding of this binary item to the out stream object.

The encoded data will have newlines every 76 characters as per RFC 2045 section 6.8 [https://datatracker.ietf.org/doc/html/rfc2045.html#section-6.8], which was the de facto standard base64 specification when the XML-RPC spec was written.

It also supports certain of Python’s built-in operators through __eq__() and __ne__() methods.

Example usage of the binary objects. We’re going to transfer an image over XMLRPC:

from xmlrpc.server import SimpleXMLRPCServer
import xmlrpc.client

def python_logo():
    with open("python_logo.jpg", "rb") as handle:
        return xmlrpc.client.Binary(handle.read())

server = SimpleXMLRPCServer(("localhost", 8000))
print("Listening on port 8000...")
server.register_function(python_logo, 'python_logo')

server.serve_forever()

The client gets the image and saves it to a file:

import xmlrpc.client

proxy = xmlrpc.client.ServerProxy("http://localhost:8000/")
with open("fetched_python_logo.jpg", "wb") as handle:
    handle.write(proxy.python_logo().data)

Objetos Fault

class xmlrpc.client.Fault

A Fault object encapsulates the content of an XML-RPC fault tag. Fault objects have the following attributes:

faultCode

An int indicating the fault type.

faultString

A string containing a diagnostic message associated with the fault.

In the following example we’re going to intentionally cause a Fault by returning a complex type object. The server code:

from xmlrpc.server import SimpleXMLRPCServer

# A marshalling error is going to occur because we're returning a
# complex number
def add(x, y):
    return x+y+0j

server = SimpleXMLRPCServer(("localhost", 8000))
print("Listening on port 8000...")
server.register_function(add, 'add')

server.serve_forever()

The client code for the preceding server:

import xmlrpc.client

proxy = xmlrpc.client.ServerProxy("http://localhost:8000/")
try:
    proxy.add(2, 5)
except xmlrpc.client.Fault as err:
    print("A fault occurred")
    print("Fault code: %d" % err.faultCode)
    print("Fault string: %s" % err.faultString)

Objetos ProtocolError

class xmlrpc.client.ProtocolError

A ProtocolError object describes a protocol error in the underlying transport layer (such as a 404 ‘not found’ error if the server named by the URI does not exist). It has the following attributes:

url

The URI or URL that triggered the error.

errcode

O código do erro.

errmsg

The error message or diagnostic string.

headers

A dict containing the headers of the HTTP/HTTPS request that triggered the error.

In the following example we’re going to intentionally cause a ProtocolError by providing an invalid URI:

import xmlrpc.client

# create a ServerProxy with a URI that doesn't respond to XMLRPC requests
proxy = xmlrpc.client.ServerProxy("http://google.com/")

try:
    proxy.some_method()
except xmlrpc.client.ProtocolError as err:
    print("A protocol error occurred")
    print("URL: %s" % err.url)
    print("HTTP/HTTPS headers: %s" % err.headers)
    print("Error code: %d" % err.errcode)
    print("Error message: %s" % err.errmsg)

Objetos MultiCall

The MultiCall object provides a way to encapsulate multiple calls to a remote server into a single request [1].

class xmlrpc.client.MultiCall(server)

Create an object used to boxcar method calls. server is the eventual target of the call. Calls can be made to the result object, but they will immediately return None, and only store the call name and parameters in the MultiCall object. Calling the object itself causes all stored calls to be transmitted as a single system.multicall request. The result of this call is a generator; iterating over this generator yields the individual results.

A usage example of this class follows. The server code:

from xmlrpc.server import SimpleXMLRPCServer

def add(x, y):
    return x + y

def subtract(x, y):
    return x - y

def multiply(x, y):
    return x * y

def divide(x, y):
    return x // y

# A simple server with simple arithmetic functions
server = SimpleXMLRPCServer(("localhost", 8000))
print("Listening on port 8000...")
server.register_multicall_functions()
server.register_function(add, 'add')
server.register_function(subtract, 'subtract')
server.register_function(multiply, 'multiply')
server.register_function(divide, 'divide')
server.serve_forever()

The client code for the preceding server:

import xmlrpc.client

proxy = xmlrpc.client.ServerProxy("http://localhost:8000/")
multicall = xmlrpc.client.MultiCall(proxy)
multicall.add(7, 3)
multicall.subtract(7, 3)
multicall.multiply(7, 3)
multicall.divide(7, 3)
result = multicall()

print("7+3=%d, 7-3=%d, 7*3=%d, 7//3=%d" % tuple(result))

Convenience Functions

xmlrpc.client.dumps(params, methodname=None, methodresponse=None, encoding=None, allow_none=False)

Convert params into an XML-RPC request. or into a response if methodresponse is true. params can be either a tuple of arguments or an instance of the Fault exception class. If methodresponse is true, only a single value can be returned, meaning that params must be of length 1. encoding, if supplied, is the encoding to use in the generated XML; the default is UTF-8. Python’s None value cannot be used in standard XML-RPC; to allow using it via an extension, provide a true value for allow_none.

xmlrpc.client.loads(data, use_datetime=False, use_builtin_types=False)

Convert an XML-RPC request or response into Python objects, a (params, methodname). params is a tuple of argument; methodname is a string, or None if no method name is present in the packet. If the XML-RPC packet represents a fault condition, this function will raise a Fault exception. The use_builtin_types flag can be used to cause date/time values to be presented as datetime.datetime objects and binary data to be presented as bytes objects; this flag is false by default.

The obsolete use_datetime flag is similar to use_builtin_types but it applies only to date/time values.

Alterado na versão 3.3: O sinalizador use_builtin_types foi adicionado.

Exemplo de uso do cliente

# simple test program (from the XML-RPC specification)
from xmlrpc.client import ServerProxy, Error

# server = ServerProxy("http://localhost:8000") # local server
with ServerProxy("http://betty.userland.com") as proxy:

    print(proxy)

    try:
        print(proxy.examples.getStateName(41))
    except Error as v:
        print("ERROR", v)

To access an XML-RPC server through a HTTP proxy, you need to define a custom transport. The following example shows how:

import http.client
import xmlrpc.client

class ProxiedTransport(xmlrpc.client.Transport):

    def set_proxy(self, host, port=None, headers=None):
        self.proxy = host, port
        self.proxy_headers = headers

    def make_connection(self, host):
        connection = http.client.HTTPConnection(*self.proxy)
        connection.set_tunnel(host, headers=self.proxy_headers)
        self._connection = host, connection
        return connection

transport = ProxiedTransport()
transport.set_proxy('proxy-server', 8080)
server = xmlrpc.client.ServerProxy('http://betty.userland.com', transport=transport)
print(server.examples.getStateName(41))

Example of Client and Server Usage

Veja Exemplo de SimpleXMLRPCServer.

Notas de rodapé

[1]

This approach has been first presented in a discussion on xmlrpc.com [https://web.archive.org/web/20060624230303/http://www.xmlrpc.com/discuss/msgReader$1208?mode=topic].

xmlrpc.server — Servidores XML-RPC básicos

Código-fonte: Lib/xmlrpc/server.py [https://github.com/python/cpython/tree/3.13/Lib/xmlrpc/server.py]

O módulo xmlrpc.server fornece um framework básico de servidor para servidores XML-RPC escritos em Python. Os servidores podem ser independentes, usando SimpleXMLRPCServer, ou incorporados em um ambiente CGI, usando CGIXMLRPCRequestHandler.

Aviso

O módulo xmlrpc.server não é seguro contra dados criados com códigos maliciosos. Se você precisar analisar dados não confiáveis ou não autenticados, consulte Vulnerabilidades em XML.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

class xmlrpc.server.SimpleXMLRPCServer(addr, requestHandler=SimpleXMLRPCRequestHandler, logRequests=True, allow_none=False, encoding=None, bind_and_activate=True, use_builtin_types=False)

Cria uma nova instância do servidor. Esta classe fornece métodos para registro de funções que podem ser chamadas pelo protocolo XML-RPC. O parâmetro requestHandler deve ser uma fábrica para instâncias do tratador de solicitações; o padrão é SimpleXMLRPCRequestHandler. Os parâmetros addr e requestHandler são passados ​​para o construtor socketserver.TCPServer. Se logRequests for true (o padrão), as solicitações serão registradas; definir esse parâmetro como false desativará os registros. Os parâmetros allow_none e encoding são transmitidos para xmlrpc.client e controlam as respostas XML-RPC que serão retornadas do servidor. O parâmetro bind_and_activate controla se server_bind() e server_activate() são chamados imediatamente pelo construtor; o padrão é true. A configuração como false permite que o código manipule a variável de classe allow_reuse_address antes que o endereço seja vinculado. O parâmetro use_builtin_types é passado para a função loads() e controla quais tipos são processados ​​quando valores de data/hora ou dados binários são recebidos; o padrão é false.

Alterado na versão 3.3: O sinalizador use_builtin_types foi adicionado.

class xmlrpc.server.CGIXMLRPCRequestHandler(allow_none=False, encoding=None, use_builtin_types=False)

Cria uma nova instância para manipular solicitações XML-RPC em um ambiente CGI. Os parâmetros allow_none e encoding são transmitidos para xmlrpc.client e controlam as respostas XML-RPC que serão retornadas do servidor. O parâmetro use_builtin_types é passado para a função loads() e controla quais tipos são processados quando valores de data/hora ou dados binários são recebidos; o padrão é false.

Alterado na versão 3.3: O sinalizador use_builtin_types foi adicionado.

class xmlrpc.server.SimpleXMLRPCRequestHandler

Cria uma nova instância do manipulador de solicitações. Este manipulador de solicitação possui suporte a solicitações POST e modifica o registro para que o parâmetro logRequests para o construtor de SimpleXMLRPCServer seja respeitado.

Objetos de SimpleXMLRPCServer

A classe SimpleXMLRPCServer é baseada em socketserver.TCPServer e fornece um meio de criar servidores XML-RPC simples e independentes.

SimpleXMLRPCServer.register_function(function=None, name=None)

Registra uma função que possa responder às solicitações XML-RPC. Se name for fornecido, será o nome do método associado a function, caso contrário, function.__name__ será usado. name é uma string e pode conter caracteres ilegais para identificadores Python, incluindo o caractere de ponto.

Este método também pode ser usado como um decorador. Quando usado como decorador, name só pode ser fornecido como argumento nomeado para registrar function em name. Se nenhum name for fornecido, function.__name__ será usado.

Alterado na versão 3.7: register_function() pode ser usado como um decorador.

SimpleXMLRPCServer.register_instance(instance, allow_dotted_names=False)

Registra um objeto que é usado para expor nomes de métodos que não foram registrados usando register_function(). Se instance contiver um método _dispatch(), ele será chamado com o nome do método solicitado e os parâmetros da solicitação. Sua API é def _dispatch(self, method, params) (observe que params não representa uma lista de argumentos variáveis). Se ele chama uma função subjacente para executar sua tarefa, essa função é chamada como func(*params), expandindo a lista de parâmetros. O valor de retorno de _dispatch() é retornado ao cliente como resultado. Se instance não possui o método _dispatch(), é procurado por um atributo correspondente ao nome do método solicitado.

Se o argumento opcional allow_dotted_names for true e a instância não tiver o método _dispatch(), e se o nome do método solicitado contiver pontos, cada componente do nome do método será pesquisado individualmente, com o efeito de que um simples pesquisa hierárquica é realizada. O valor encontrado nessa pesquisa é chamado com os parâmetros da solicitação e o valor retornado é passado de volta ao cliente.

Aviso

A ativação da opção allow_dotted_names permite que os invasores acessem as variáveis globais do seu módulo e podem permitir que os invasores executem códigos arbitrários em sua máquina. Use esta opção apenas em uma rede fechada e segura.

SimpleXMLRPCServer.register_introspection_functions()

Registra as funções de introspecção XML-RPC system.listMethods, system.methodHelp e system.methodSignature.

SimpleXMLRPCServer.register_multicall_functions()

Registra a função de multichamada XML-RPC system.multicall.

SimpleXMLRPCRequestHandler.rpc_paths

Um valor de atributo que deve ser uma tupla listando partes do caminho válidas da URL para receber solicitações XML-RPC. Solicitações postadas em outros caminhos resultarão em um erro HTTP 404 “página inexistente”. Se esta tupla estiver vazia, todos os caminhos serão considerados válidos. O valor padrão é ('/', '/RPC2').

Exemplo de SimpleXMLRPCServer

Código do servidor:

from xmlrpc.server import SimpleXMLRPCServer
from xmlrpc.server import SimpleXMLRPCRequestHandler

# Restrict to a particular path.
class RequestHandler(SimpleXMLRPCRequestHandler):
    rpc_paths = ('/RPC2',)

# Create server
with SimpleXMLRPCServer(('localhost', 8000),
                        requestHandler=RequestHandler) as server:
    server.register_introspection_functions()

    # Register pow() function; this will use the value of
    # pow.__name__ as the name, which is just 'pow'.
    server.register_function(pow)

    # Register a function under a different name
    def adder_function(x, y):
        return x + y
    server.register_function(adder_function, 'add')

    # Register an instance; all the methods of the instance are
    # published as XML-RPC methods (in this case, just 'mul').
    class MyFuncs:
        def mul(self, x, y):
            return x * y

    server.register_instance(MyFuncs())

    # Run the server's main loop
    server.serve_forever()

O código do cliente a seguir chamará os métodos disponibilizados pelo servidor anterior:

import xmlrpc.client

s = xmlrpc.client.ServerProxy('http://localhost:8000')
print(s.pow(2,3))  # Returns 2**3 = 8
print(s.add(2,3))  # Returns 5
print(s.mul(5,2))  # Returns 5*2 = 10

# Print list of available methods
print(s.system.listMethods())

register_function() também pode ser usado como um decorador. O exemplo anterior do servidor pode registrar funções com um decorador:

from xmlrpc.server import SimpleXMLRPCServer
from xmlrpc.server import SimpleXMLRPCRequestHandler

class RequestHandler(SimpleXMLRPCRequestHandler):
    rpc_paths = ('/RPC2',)

with SimpleXMLRPCServer(('localhost', 8000),
                        requestHandler=RequestHandler) as server:
    server.register_introspection_functions()

    # Register pow() function; this will use the value of
    # pow.__name__ as the name, which is just 'pow'.
    server.register_function(pow)

    # Register a function under a different name, using
    # register_function as a decorator. *name* can only be given
    # as a keyword argument.
    @server.register_function(name='add')
    def adder_function(x, y):
        return x + y

    # Register a function under function.__name__.
    @server.register_function
    def mul(x, y):
        return x * y

    server.serve_forever()

O exemplo a seguir, incluído no módulo Lib/xmlrpc/server.py, mostra um servidor que permite nomes com pontos e registra uma função de várias chamadas.

Aviso

A ativação da opção allow_dotted_names permite que os invasores acessem as variáveis globais do seu módulo e podem permitir que os invasores executem códigos arbitrários em sua máquina. Use este exemplo apenas em uma rede fechada e segura.

import datetime

class ExampleService:
    def getData(self):
        return '42'

    class currentTime:
        @staticmethod
        def getCurrentTime():
            return datetime.datetime.now()

with SimpleXMLRPCServer(("localhost", 8000)) as server:
    server.register_function(pow)
    server.register_function(lambda x,y: x+y, 'add')
    server.register_instance(ExampleService(), allow_dotted_names=True)
    server.register_multicall_functions()
    print('Serving XML-RPC on localhost port 8000')
    try:
        server.serve_forever()
    except KeyboardInterrupt:
        print("\nKeyboard interrupt received, exiting.")
        sys.exit(0)

Esta demonstração ExampleService pode ser chamada na linha de comando:

python -m xmlrpc.server

O cliente que interage com o servidor acima está incluído em Lib/xmlrpc/client.py:

server = ServerProxy("http://localhost:8000")

try:
    print(server.currentTime.getCurrentTime())
except Error as v:
    print("ERROR", v)

multi = MultiCall(server)
multi.getData()
multi.pow(2,9)
multi.add(1,2)
try:
    for response in multi():
        print(response)
except Error as v:
    print("ERROR", v)

Este cliente que interage com o servidor XMLRPC de demonstração pode ser chamado como:

python -m xmlrpc.client

CGIXMLRPCRequestHandler

A classe CGIXMLRPCRequestHandler pode ser usada para manipular solicitações XML-RPC enviadas para scripts CGI Python.

CGIXMLRPCRequestHandler.register_function(function=None, name=None)

Registra uma função que possa responder às solicitações XML-RPC. Se name for fornecido, será o nome do método associado a function, caso contrário, function.__name__ será usado. name é uma string e pode conter caracteres ilegais para identificadores Python, incluindo o caractere de ponto.

Este método também pode ser usado como um decorador. Quando usado como decorador, name só pode ser fornecido como argumento nomeado para registrar function em name. Se nenhum name for fornecido, function.__name__ será usado.

Alterado na versão 3.7: register_function() pode ser usado como um decorador.

CGIXMLRPCRequestHandler.register_instance(instance)

Registra um objeto que é usado para expor nomes de métodos que não foram registrados usando register_function(). Se a instância contiver um método _dispatch(), ela será chamada com o nome do método solicitado e os parâmetros da solicitação; o valor retornado é retornado ao cliente como resultado. Se a instância não tiver um método _dispatch(), será procurado um atributo correspondente ao nome do método solicitado; se o nome do método solicitado contiver pontos, cada componente do nome do método será pesquisado individualmente, com o efeito de que uma pesquisa hierárquica simples é executada. O valor encontrado nessa pesquisa é chamado com os parâmetros da solicitação e o valor retornado é passado de volta ao cliente.

CGIXMLRPCRequestHandler.register_introspection_functions()

Registra as funções de introspecção XML-RPC system.listMethods, system.methodHelp e system.methodSignature.

CGIXMLRPCRequestHandler.register_multicall_functions()

Registra a função de multichamada XML-RPC system.multicall.

CGIXMLRPCRequestHandler.handle_request(request_text=None)

Manipula uma solicitação XML-RPC. Se request_text for fornecido, devem ser os dados POST fornecidos pelo servidor HTTP, caso contrário, o conteúdo do stdin será usado.

Exemplo:

class MyFuncs:
    def mul(self, x, y):
        return x * y

handler = CGIXMLRPCRequestHandler()
handler.register_function(pow)
handler.register_function(lambda x,y: x+y, 'add')
handler.register_introspection_functions()
handler.register_instance(MyFuncs())
handler.handle_request()

Documentando servidor XMLRPC

Essas classes estendem as classes acima para servir a documentação HTML em resposta a solicitações HTTP GET. Os servidores podem ser independentes, usando DocXMLRPCServer ou incorporados em um ambiente CGI, usando DocCGIXMLRPCRequestHandler.

class xmlrpc.server.DocXMLRPCServer(addr, requestHandler=DocXMLRPCRequestHandler, logRequests=True, allow_none=False, encoding=None, bind_and_activate=True, use_builtin_types=True)

Cria uma nova instância do servidor. Todos os parâmetros têm o mesmo significado que para SimpleXMLRPCServer; requestHandler assume como padrão DocXMLRPCRequestHandler.

Alterado na versão 3.3: O sinalizador use_builtin_types foi adicionado.

class xmlrpc.server.DocCGIXMLRPCRequestHandler

Cria uma nova instância para manipular solicitações XML-RPC em um ambiente CGI.

class xmlrpc.server.DocXMLRPCRequestHandler

Cria uma nova instância do manipulador de solicitações. Este manipulador de solicitações possui suporte a solicitações POST de XML-RPC, documenta solicitações GET e modifica o registro para que o parâmetro logRequests no parâmetro DocXMLRPCServer seja respeitado.

Objetos de DocXMLRPCServer

A classe DocXMLRPCServer é derivada de SimpleXMLRPCServer e fornece um meio de criar servidores XML-RPC autodocumentados e independentes. Solicitações HTTP POST são tratadas como chamadas de método XML-RPC. As solicitações HTTP GET são tratadas gerando documentação HTML no estilo pydoc. Isso permite que um servidor forneça sua própria documentação baseada na Web.

DocXMLRPCServer.set_server_title(server_title)

Define o título usado na documentação HTML gerada. Este título será usado dentro do elemento “title” do HTML.

DocXMLRPCServer.set_server_name(server_name)

Define o nome usado na documentação HTML gerada. Este nome aparecerá na parte superior da documentação gerada dentro de um elemento “h1”.

DocXMLRPCServer.set_server_documentation(server_documentation)

Define a descrição usada na documentação HTML gerada. Esta descrição aparecerá na documentação como um parágrafo, abaixo do nome do servidor.

DocCGIXMLRPCRequestHandler

A classe DocCGIXMLRPCRequestHandler é derivada de CGIXMLRPCRequestHandler e fornece um meio de criar scripts CGI XML-RPC autodocumentados. Solicitações HTTP POST são tratadas como chamadas de método XML-RPC. As solicitações HTTP GET são tratadas gerando documentação HTML no estilo pydoc. Isso permite que um servidor forneça sua própria documentação baseada na web.

DocCGIXMLRPCRequestHandler.set_server_title(server_title)

Define o título usado na documentação HTML gerada. Este título será usado dentro do elemento “title” do HTML.

DocCGIXMLRPCRequestHandler.set_server_name(server_name)

Define o nome usado na documentação HTML gerada. Este nome aparecerá na parte superior da documentação gerada dentro de um elemento “h1”.

DocCGIXMLRPCRequestHandler.set_server_documentation(server_documentation)

Define a descrição usada na documentação HTML gerada. Esta descrição aparecerá na documentação como um parágrafo, abaixo do nome do servidor.

ipaddress — Biblioteca de manipulação de IPv4/IPv6

Código-fonte: Lib/ipaddress.py [https://github.com/python/cpython/tree/3.13/Lib/ipaddress.py]

ipaddress fornece recursos para criar, manipular e operar em endereços e redes IPv4 e IPv6.

As funções e classes neste módulo facilitam o tratamento de várias tarefas relacionadas a endereços IP, incluindo verificar se dois hosts estão ou não na mesma sub-rede, iterar sobre todos os hosts em uma sub-rede específica, verificar se uma string representa ou não um valor válido. Endereço IP ou definição de rede e assim por diante.

Esta é a referência completa da API do módulo – para uma visão geral e introdução, consulte Uma introdução ao módulo ipaddress.

Adicionado na versão 3.3.

Funções de fábrica de conveniência

O módulo ipaddress fornece funções de fábrica para criar endereços IP, redes e interfaces de forma conveniente:

ipaddress.ip_address(address)

Retorna um objeto IPv4Address ou IPv6Address dependendo do endereço IP passado como argumento. Podem ser fornecidos endereços IPv4 ou IPv6; números inteiros menores que 2**32 serão considerados IPv4 por padrão. Uma exceção ValueError é levantada se address não representar um endereço IPv4 ou IPv6 válido.

>>> ipaddress.ip_address('192.168.0.1')
IPv4Address('192.168.0.1')
>>> ipaddress.ip_address('2001:db8::')
IPv6Address('2001:db8::')

ipaddress.ip_network(address, strict=True)

Retorna um objeto IPv4Network ou IPv6Network dependendo do endereço IP passado como argumento. address é uma string ou número inteiro que representa a rede IP. Podem ser fornecidas redes IPv4 ou IPv6; números inteiros menores que 2**32 serão considerados IPv4 por padrão. strict é passado para o construtor IPv4Network ou IPv6Network. Uma exceção ValueError é levantada se address não representar um endereço IPv4 ou IPv6 válido, ou se a rede tiver bits de host configurados.

>>> ipaddress.ip_network('192.168.0.0/28')
IPv4Network('192.168.0.0/28')

ipaddress.ip_interface(address)

Retorna um objeto IPv4Interface ou IPv6Interface dependendo do endereço IP passado como argumento. address é uma string ou um inteiro representando o endereço IP. Podem ser fornecidos endereços IPv4 ou IPv6; números inteiros menores que 2**32 serão considerados IPv4 por padrão. Uma exceção ValueError é levantada se address não representar um endereço IPv4 ou IPv6 válido.

Uma desvantagem dessas funções de conveniência é que a necessidade de lidar com os formatos IPv4 e IPv6 significa que as mensagens de erro fornecem informações mínimas sobre o erro exato, pois as funções não sabem se o formato IPv4 ou IPv6 foi pretendido. Relatórios de erros mais detalhados podem ser obtidos chamando diretamente os construtores de classe específicos da versão apropriada.

Endereços IP

Objetos de endereço

Os objetos IPv4Address e IPv6Address compartilham muitos atributos comuns. Alguns atributos que são significativos apenas para endereços IPv6 também são implementados por objetos IPv4Address, para facilitar a escrita de código que lide corretamente com ambas as versões de IP. Os objetos de endereço são hasheáveis, portanto podem ser usados ​​como chaves em dicionários.

class ipaddress.IPv4Address(address)

Constrói um endereço IPv4. Uma exceção AddressValueError é levantada se address não for um endereço IPv4 válido.

O seguinte constitui um endereço IPv4 válido:

Uma string em notação decimal por ponto, consistindo de quatro inteiros decimais em um intervalo inclusivo 0–255 separado por pontos (e.g. 192.168.0.1). Cada inteiro representa um octeto (byte) no endereço. Zeros à esquerda não são tolerados para evitar confusão com notação octal.

Um inteiro que cabe em 32 bits.

Um inteiro compactado em um objeto bytes de comprimento 4 (octeto mais significativo primeiro).

>>> ipaddress.IPv4Address('192.168.0.1')
IPv4Address('192.168.0.1')
>>> ipaddress.IPv4Address(3232235521)
IPv4Address('192.168.0.1')
>>> ipaddress.IPv4Address(b'\xC0\xA8\x00\x01')
IPv4Address('192.168.0.1')

Alterado na versão 3.8: Zeros à esquerda são tolerados, mesmo em casos ambíguos que se parecem com notação octal.

Alterado na versão 3.9.5: Zeros à esquerda não são mais tolerados e são tratados como um erro. As strings de endereço IPv4 agora são analisadas de forma tão estrita quanto glibc inet_pton().

version

O número de versão apropriado: 4 para IPv4, 6 para IPv6.

max_prefixlen

O número total de bits na representação de endereço para esta versão: 32 para IPv4, 128 para IPv6.

O prefixo define o número de bits iniciais em um endereço que são comparados para determinar se um endereço faz ou não parte de uma rede.

compressed

exploded

A representação de string em notação decimal pontilhada. Zeros à esquerda nunca são incluídos na representação.

Como o IPv4 não define uma notação abreviada para endereços com octetos definidos como zero, esses dois atributos são sempre iguais a str(addr) para endereços IPv4. A exposição desses atributos facilita a gravação de código de exibição que pode tratar endereços IPv4 e IPv6.

packed

A representação binária deste endereço – um objeto bytes de comprimento apropriado (primeiro o octeto mais significativo). São 4 bytes para IPv4 e 16 bytes para IPv6.

reverse_pointer

O nome do registro PTR de DNS reverso para o endereço IP, por exemplo:

>>> ipaddress.ip_address("127.0.0.1").reverse_pointer
'1.0.0.127.in-addr.arpa'
>>> ipaddress.ip_address("2001:db8::1").reverse_pointer
'1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.8.b.d.0.1.0.0.2.ip6.arpa'

Este é o nome que pode ser usado para realizar uma pesquisa PTR, não o nome do host resolvido em si.

Adicionado na versão 3.5.

is_multicast

True se o endereço estiver reservado para uso multicast. Consulte RFC 3171 [https://datatracker.ietf.org/doc/html/rfc3171.html] (para IPv4) ou RFC 2373 [https://datatracker.ietf.org/doc/html/rfc2373.html] (para IPv6).

is_private

True se o endereço for definido como não acessível globalmente por iana-ipv4-special-registry [https://www.iana.org/assignments/iana-ipv4-special-registry/iana-ipv4-special-registry.xhtml] (para IPv4) ou iana-ipv6-special-registry [https://www.iana.org/assignments/iana-ipv6-special-registry/iana-ipv6-special-registry.xhtml] (para IPv6) com as seguintes exceções:

is_private é False para o espaço de endereço compartilhado (100.64.0.0/10)

Para endereços IPv6 mapeados em IPv4, o valor is_private é determinado pela semântica dos endereços IPv4 subjacentes e a seguinte condição é válida (consulte IPv6Address.ipv4_mapped):

address.is_private == address.ipv4_mapped.is_private

is_private tem valor oposto a is_global, exceto para o espaço de endereço compartilhado (intervalo 100.64.0.0/10) onde ambos são False.

Alterado na versão 3.13: Corrigidos alguns falsos positivos e falsos negativos.

192.0.0.0/24 é considerado privado com exceção de 192.0.0.9/32 e 192.0.0.10/32 (anteriormente: apenas o sub-intervalo 192.0.0.0/29 foi considerado privado).

64:ff9b:1::/48 é considerado privado.

2002::/16 é considerado privado.

Existem exceções em 2001::/23 (de outra forma considerado privado): 2001:1::1/128, 2001:1::2/128, 2001:3::/32, 2001:4:112::/48, 2001:20::/28, 2001:30::/28. As exceções não são consideradas privadas.

is_global

True se o endereço for definido como não acessível globalmente por iana-ipv4-special-registry [https://www.iana.org/assignments/iana-ipv4-special-registry/iana-ipv4-special-registry.xhtml] (para IPv4) ou iana-ipv6-special-registry [https://www.iana.org/assignments/iana-ipv6-special-registry/iana-ipv6-special-registry.xhtml] (para IPv6) com a seguinte exceção:

Para endereços IPv6 mapeados em IPv4, o valor is_private é determinado pela semântica dos endereços IPv4 subjacentes e a seguinte condição é válida (consulte IPv6Address.ipv4_mapped):

address.is_global == address.ipv4_mapped.is_global

is_global tem valor oposto a is_private, exceto para o espaço de endereço compartilhado (intervalo 100.64.0.0/10) onde ambos são False.

Adicionado na versão 3.4.

Alterado na versão 3.13: Corrigidos alguns falsos positivos e falsos negativos, veja is_private para detalhes.

is_unspecified

True se o endereço não estiver especificado. Consulte RFC 5735 [https://datatracker.ietf.org/doc/html/rfc5735.html] (para IPv4) ou RFC 2373 [https://datatracker.ietf.org/doc/html/rfc2373.html] (para IPv6).

is_reserved

True se o endereço for reservado para IETF.

is_loopback

True se este for um endereço de loopack. Consulte RFC 3330 [https://datatracker.ietf.org/doc/html/rfc3330.html] (para IPv4) ou RFC 2373 [https://datatracker.ietf.org/doc/html/rfc2373.html] (para IPv6).

is_link_local

True se o endereço está reservado para uso de link local. Veja: RFC 3927 [https://datatracker.ietf.org/doc/html/rfc3927.html].

ipv6_mapped

Objeto IPv4Address representando o endereço IPv6 mapeado para IPv6. Veja RFC 4291 [https://datatracker.ietf.org/doc/html/rfc4291.html].

Adicionado na versão 3.13.

IPv4Address.__format__(fmt)

Retorna a representação string do endereço de IP, controlado por uma string de formato explícito. fmt pode ser um dos seguintes: 's', a opção padrão, equivalente à str(), 'b' para uma string binária preenchida com zeros, 'X' ou 'x' para uma representação hexadecimal maiúscula ou minúscula, ou 'n', que equivale a 'b' para endereços IPv4 e 'x' para IPv6. Para representações binárias e hexadecimais, o especificador de forma '#' e a opção de agrupamento '_' estão disponíveis. __format__ é utilizado por format, str.format e f-strings.

>>> format(ipaddress.IPv4Address('192.168.0.1'))
'192.168.0.1'
>>> '{:#b}'.format(ipaddress.IPv4Address('192.168.0.1'))
'0b11000000101010000000000000000001'
>>> f'{ipaddress.IPv6Address("2001:db8::1000"):s}'
'2001:db8::1000'
>>> format(ipaddress.IPv6Address('2001:db8::1000'), '_X')
'2001_0DB8_0000_0000_0000_0000_0000_1000'
>>> '{:#_n}'.format(ipaddress.IPv6Address('2001:db8::1000'))
'0x2001_0db8_0000_0000_0000_0000_0000_1000'

Adicionado na versão 3.9.

class ipaddress.IPv6Address(address)

Constrói um endereço IPv6. Uma exceção AddressValueError é levantada se address não for um endereço IPv6 válido.

O seguinte constitui um endereço IPv6 válido:

Uma string constituída de oito grupos de quatro dígitos hexadecimais, cada grupo representando 16 bits. Os grupos são separados por dois pontos. Isto descreve uma notação explodida (longa); A string também pode ser compactada (notação curta) por vários meios. Ver RFC 4291 [https://datatracker.ietf.org/doc/html/rfc4291.html] para detalhes. Por exemplo, "0000:0000:0000:0000:0000:0abc:0007:0def" pode ser compactada para "::abc:7:def".

Opcionalmente, a string pode ter um ID de escopo de zona, expressado por um sufixo %scope_id. Se presente, o ID de escopo deve ser não vazio, e pode não conter %. Ver RFC 4007 [https://datatracker.ietf.org/doc/html/rfc4007.html] para detalhes. Por exemplo, fe80::1234%1 pode identificar o endereço fe80::1234 no primeiro link do nó.

Um inteiro que cabe em 128 bits.

Um inteiro compactado em um objeto bytes de comprimento 16, big-endian.

>>> ipaddress.IPv6Address('2001:db8::1000')
IPv6Address('2001:db8::1000')
>>> ipaddress.IPv6Address('ff02::5678%1')
IPv6Address('ff02::5678%1')

compressed

A forma curta da representação do endereço, com zeros à esquerda em grupos omitidos e a sequência mais longa de grupos consistida inteiramente por zeros colapsada em um grupo vazio único.

Este também é o valor retornado por str(addr) para endereços IPv6.

exploded

A forma longa da representação do endereço, com todos zeros à esquerda em grupos consistindo inteiramente de zeros incluídos.

Para os seguintes atributos e métodos, veja a documentação correspondente para a classe IPv4Address:

packed

reverse_pointer

version

max_prefixlen

is_multicast

is_private

is_global

Adicionado na versão 3.4.

is_unspecified

is_reserved

is_loopback

is_link_local

is_site_local

True se o endereço estiver reservado para uso local do site. Observe que o espaço de endereço local do site foi descontinuado pelo RFC 3879 [https://datatracker.ietf.org/doc/html/rfc3879.html]. Use is_private para testar se este endereço está no espaço de endereços locais exclusivos conforme definido pelo RFC 4193 [https://datatracker.ietf.org/doc/html/rfc4193.html].

ipv4_mapped

Para endereços que parecem ser endereços mapeados IPv4 (começando com ::FFFF/96), esta propriedade reportará o endereço IPv4 incorporado. Para qualquer outro endereço, esta propriedade será None.

scope_id

Para endereços com escopo definido pelo RFC 4007 [https://datatracker.ietf.org/doc/html/rfc4007.html], esta propriedade identifica a zona específica do escopo do endereço à qual o endereço pertence, como uma string. Quando nenhuma zona de escopo for especificada, esta propriedade será None.

sixtofour

Para endereços que parecem ser endereços 6to4 (começando com 2002::/16), como definido pelo RFC 3056 [https://datatracker.ietf.org/doc/html/rfc3056.html], esta propriedade reportará o endereço IPv4 incorporado. Para qualquer outro endereço, esta propriedade será None.

teredo

Para endereços que parecem ser endereços Teredo (começando com 2001::/32), como definido pelo RFC 4380 [https://datatracker.ietf.org/doc/html/rfc4380.html], esta propriedade reportará o par de endereços (server, client) incorporado. Para qualquer outro endereço, esta propriedade será None.

IPv6Address.__format__(fmt)

Consulte a documentação do método correspondente em IPv4Address.

Adicionado na versão 3.9.

Conversão para strings e inteiros

Para interoperar com interfaces de rede, como o módulo de soquete, os endereços devem ser convertidos em strings ou inteiros. Isso é tratado usando as funções internas str() e int():

>>> str(ipaddress.IPv4Address('192.168.0.1'))
'192.168.0.1'
>>> int(ipaddress.IPv4Address('192.168.0.1'))
3232235521
>>> str(ipaddress.IPv6Address('::1'))
'::1'
>>> int(ipaddress.IPv6Address('::1'))
1

Observe que os endereços com escopo IPv6 são convertidos em números inteiros sem ID de zona de escopo.

Operadores

Os objetos de endereço têm suporte a alguns operadores. Salvo indicação em contrário, os operadores só podem ser aplicados entre objetos compatíveis (ou seja, IPv4 com IPv4, IPv6 com IPv6).

Operadores de comparação

Os objetos de endereço podem ser comparados com o conjunto usual de operadores de comparação. Os mesmos endereços IPv6 com IDs de zona de escopo diferentes não são iguais. Alguns exemplos:

>>> IPv4Address('127.0.0.2') > IPv4Address('127.0.0.1')
True
>>> IPv4Address('127.0.0.2') == IPv4Address('127.0.0.1')
False
>>> IPv4Address('127.0.0.2') != IPv4Address('127.0.0.1')
True
>>> IPv6Address('fe80::1234') == IPv6Address('fe80::1234%1')
False
>>> IPv6Address('fe80::1234%1') != IPv6Address('fe80::1234%2')
True

Operadores aritméticos

Inteiros podem ser adicionados ou subtraídos de objetos de endereço. Alguns exemplos:

>>> IPv4Address('127.0.0.2') + 3
IPv4Address('127.0.0.5')
>>> IPv4Address('127.0.0.2') - 3
IPv4Address('126.255.255.255')
>>> IPv4Address('255.255.255.255') + 1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ipaddress.AddressValueError: 4294967296 (>= 2**32) is not permitted as an IPv4 address

Definições de rede IP

Os objetos IPv4Network e IPv6Network fornecem um mecanismo para definir e inspecionar definições de rede IP. Uma definição de rede consiste em uma máscara e um endereço de rede e, como tal, define um intervalo de endereços IP que é igual ao endereço de rede quando mascarado (E binário) com a máscara. Por exemplo, uma definição de rede com a máscara 255.255.255.0 e o endereço de rede 192.168.1.0 consiste em endereços IP no intervalo inclusivo 192.168.1.0 a 192.168.1.255.

Prefixo, máscara de rede e máscara de host

Existem várias maneiras equivalentes de especificar máscaras de rede IP. Um prefixo /<nbits> é uma notação que denota quantos bits de ordem superior estão definidos na máscara de rede. Uma máscara de rede, ou netmask, é um endereço IP com um certo número de bits de alta ordem definidos. Assim o prefixo /24 é equivalente à máscara de rede 255.255.255.0 em IPv4, ou ffff:ff00:: em IPv6. Além disso, uma máscara de host, ou host mask, é o inverso lógico de uma máscara de rede e às vezes é usada (por exemplo, nas listas de controle de acesso da Cisco) para denotar uma máscara de rede. A máscara de host equivalente a /24 em IPv4 é 0.0.0.255.

Objetos de rede

Todos os atributos implementados por objetos de endereço também são implementados por objetos de rede. Além disso, os objetos de rede implementam atributos adicionais. Todos estes são comuns entre IPv4Network e IPv6Network, portanto, para evitar duplicação, eles são documentados apenas para IPv4Network. Objetos de rede são hasheáveis, portanto podem ser usados como chaves em dicionários.

class ipaddress.IPv4Network(address, strict=True)

Constrói uma definição de rede IPv4. address pode ser um dos seguintes:

Uma string que consiste em um endereço IP e uma máscara opcional, separados por uma barra (/). O endereço IP é o endereço de rede, e a máscara pode ser um único número, o que significa que é um prefixo, ou uma representação de string de um endereço IPv4. Se for o último, a máscara será interpretada como uma máscara de rede se começar com um campo diferente de zero, ou como uma máscara de host se começar com um campo zero, com a única exceção de uma máscara totalmente zero que é tratada como uma máscara de rede. Se nenhuma máscara for fornecida, será considerada /32.

Por exemplo, as seguintes especificações de address são equivalentes: 192.168.1.0/24, 192.168.1.0/255.255.255.0 e 192.168.1.0/0.0.0.255.

Um número inteiro que cabe em 32 bits. Isto é equivalente a uma rede de endereço único, com o endereço de rede sendo address e a máscara sendo /32.

Um inteiro compactado em um objeto bytes de comprimento 4, big-endian. A interpretação é semelhante a um address no formato inteiro.

Uma tupla de dois elementos de uma descrição de endereço e uma máscara de rede, onde a descrição do endereço é uma string, um número inteiro de 32 bits, um número inteiro compactado de 4 bytes ou um objeto IPv4Address existente; e a máscara de rede é um número inteiro que representa o comprimento do prefixo (por exemplo, 24) ou uma string que representa a máscara do prefixo (por exemplo, 255.255.255.0).

Uma exceção AddressValueError é levantada se address não for um endereço IPv4 válido. Uma exceção NetmaskValueError é levantada se a máscara não for válida para um endereço IPv4.

Se strict for True e os bits do host estiverem definidos no endereço fornecido, então ValueError será levantada. Caso contrário, os bits do host serão mascarados para determinar o endereço de rede apropriado.

Salvo indicação em contrário, todos os métodos de rede que aceitam outros objetos rede/endereço irão levantar TypeError se a versão IP do argumento for incompatível com self.

Alterado na versão 3.5: Adicionado o formulário de tupla de 2 elementos para o parâmetro do construtor address.

version

max_prefixlen

Consulte a documentação do atributo correspondente em IPv4Address.

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

Esses atributos terão valor verdadeiro para a rede como um todo se forem verdadeiros tanto para o endereço de rede quanto para o endereço de broadcast.

network_address

O endereço de rede da rede. O endereço de rede e o comprimento do prefixo juntos definem exclusivamente uma rede.

broadcast_address

O endereço de broadcast da rede. Os pacotes enviados para o endereço de broadcast devem ser recebidos por todos os hosts da rede.

hostmask

A máscara do host, como um objeto IPv4Address.

netmask

A máscara de rede, como um objeto IPv4Address.

with_prefixlen

compressed

exploded

Uma representação de string da rede, com a máscara em notação de prefixo.

with_prefixlen e compressed são sempre iguais a str(network). exploded usa a forma explodida do endereço de rede.

with_netmask

Uma representação em string da rede, com a máscara na notação de máscara de rede.

with_hostmask

Uma representação de string da rede, com a máscara na notação de máscara de host.

num_addresses

O número total de endereços na rede.

prefixlen

Comprimento do prefixo de rede, em bits.

hosts()

Retorna um iterador sobre os hosts utilizáveis na rede. Os hosts utilizáveis são todos os endereços IP que pertencem à rede, exceto o próprio endereço de rede e o endereço de transmissão da rede. Para redes com comprimento de máscara 31, o endereço de rede e o endereço de transmissão de rede também são incluídos no resultado. Redes com máscara 32 retornarão uma lista contendo o endereço de host único.

>>> list(ip_network('192.0.2.0/29').hosts())
[IPv4Address('192.0.2.1'), IPv4Address('192.0.2.2'),
 IPv4Address('192.0.2.3'), IPv4Address('192.0.2.4'),
 IPv4Address('192.0.2.5'), IPv4Address('192.0.2.6')]
>>> list(ip_network('192.0.2.0/31').hosts())
[IPv4Address('192.0.2.0'), IPv4Address('192.0.2.1')]
>>> list(ip_network('192.0.2.1/32').hosts())
[IPv4Address('192.0.2.1')]

overlaps(other)

True se esta rede estiver parcial ou totalmente contida em other ou other estiver totalmente contida nesta rede.

address_exclude(network)

Calcula as definições de rede resultantes da remoção da network fornecida desta. Retorna um iterador de objetos de rede. Levanta ValueError se network não estiver completamente contida nesta rede.

>>> n1 = ip_network('192.0.2.0/28')
>>> n2 = ip_network('192.0.2.1/32')
>>> list(n1.address_exclude(n2))
[IPv4Network('192.0.2.8/29'), IPv4Network('192.0.2.4/30'),
 IPv4Network('192.0.2.2/31'), IPv4Network('192.0.2.0/32')]

subnets(prefixlen_diff=1, new_prefix=None)

As sub-redes que se unem para criar a definição de rede atual, dependendo dos valores dos argumentos. prefixlen_diff é o valor pelo qual o comprimento do nosso prefixo deve ser aumentado. new_prefix é o novo prefixo desejado das sub-redes; deve ser maior que nosso prefixo. Um, e apenas um, de prefixlen_diff e new_prefix deve ser definido. Retorna um iterador de objetos de rede.

>>> list(ip_network('192.0.2.0/24').subnets())
[IPv4Network('192.0.2.0/25'), IPv4Network('192.0.2.128/25')]
>>> list(ip_network('192.0.2.0/24').subnets(prefixlen_diff=2))
[IPv4Network('192.0.2.0/26'), IPv4Network('192.0.2.64/26'),
 IPv4Network('192.0.2.128/26'), IPv4Network('192.0.2.192/26')]
>>> list(ip_network('192.0.2.0/24').subnets(new_prefix=26))
[IPv4Network('192.0.2.0/26'), IPv4Network('192.0.2.64/26'),
 IPv4Network('192.0.2.128/26'), IPv4Network('192.0.2.192/26')]
>>> list(ip_network('192.0.2.0/24').subnets(new_prefix=23))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    raise ValueError('new prefix must be longer')
ValueError: new prefix must be longer
>>> list(ip_network('192.0.2.0/24').subnets(new_prefix=25))
[IPv4Network('192.0.2.0/25'), IPv4Network('192.0.2.128/25')]

supernet(prefixlen_diff=1, new_prefix=None)

As super-redes contendo esta definição de rede, dependendo dos valores dos argumentos. prefixlen_diff é o valor pelo qual o comprimento do nosso prefixo deve ser diminuída. new_prefix é o novo prefixo desejado da super-rede; deve ser maior que nosso prefixo. Um, e apenas um, de prefixlen_diff e new_prefix deve ser definido. Retorna um único objeto rede.

>>> ip_network('192.0.2.0/24').supernet()
IPv4Network('192.0.2.0/23')
>>> ip_network('192.0.2.0/24').supernet(prefixlen_diff=2)
IPv4Network('192.0.0.0/22')
>>> ip_network('192.0.2.0/24').supernet(new_prefix=20)
IPv4Network('192.0.0.0/20')

subnet_of(other)

Retorna True se esta rede é uma sub-rede de other.

>>> a = ip_network('192.168.1.0/24')
>>> b = ip_network('192.168.1.128/30')
>>> b.subnet_of(a)
True

Adicionado na versão 3.7.

supernet_of(other)

Retorna True se esta rede é uma super-rede de other.

>>> a = ip_network('192.168.1.0/24')
>>> b = ip_network('192.168.1.128/30')
>>> a.supernet_of(b)
True

Adicionado na versão 3.7.

compare_networks(other)

Compara esta rede com other. Nesta comparação são considerados apenas os endereços de rede; bits de host não são. Retorna -1, 0 ou 1.

>>> ip_network('192.0.2.1/32').compare_networks(ip_network('192.0.2.2/32'))
-1
>>> ip_network('192.0.2.1/32').compare_networks(ip_network('192.0.2.0/32'))
1
>>> ip_network('192.0.2.1/32').compare_networks(ip_network('192.0.2.1/32'))
0

Obsoleto desde a versão 3.7: Ele usa o mesmo algoritmo de ordenação e comparação que “<”, “==” e “>”

class ipaddress.IPv6Network(address, strict=True)

Constrói uma definição de rede IPv6. address pode ser um dos seguintes:

Uma string que consiste em um endereço IP e um comprimento de prefixo opcional, separados por uma barra (/). O endereço IP é o endereço de rede e o comprimento do prefixo deve ser um único número, o prefixo. Se nenhum comprimento de prefixo for fornecido, será considerado /128.

Observe que as máscaras de rede expandidas atualmente não são suportadas. Isso significa que 2001:db00::0/24 é um argumento válido enquanto 2001:db00::0/ffff:ff00:: não é.

Um número inteiro que cabe em 128 bits. Isto é equivalente a uma rede de endereço único, com o endereço de rede sendo address e a máscara sendo /128.

Um inteiro compactado em um objeto bytes de comprimento 16, big-endian. A interpretação é semelhante a um address no formato inteiro.

Uma tupla de dois elementos de uma descrição de endereço e uma máscara de rede, onde a descrição do endereço é uma string, um número inteiro de 128 bits, um número inteiro compactado de 16 bytes ou um objeto IPv6Address existente; e a máscara de rede é um número inteiro que representa o comprimento do prefixo.

Uma exceção AddressValueError é levantada se address não for um endereço IPv6 válido. Uma exceção NetmaskValueError é levantada se a máscara não for válida para um endereço IPv6.

Se strict for True e os bits do host estiverem definidos no endereço fornecido, então ValueError será levantada. Caso contrário, os bits do host serão mascarados para determinar o endereço de rede apropriado.

Alterado na versão 3.5: Adicionado o formulário de tupla de 2 elementos para o parâmetro do construtor address.

version

max_prefixlen

is_multicast

is_private

is_unspecified

is_reserved

is_loopback

is_link_local

network_address

broadcast_address

hostmask

netmask

with_prefixlen

compressed

exploded

with_netmask

with_hostmask

num_addresses

prefixlen

hosts()

Retorna um iterador sobre os hosts utilizáveis na rede. Os hosts utilizáveis são todos os endereços IP que pertencem à rede, exceto o próprio endereço de anycast do roteador da sub-rede. Para redes com comprimento de máscara 127, o endereço anycast do roteador da sub-rede de rede é também incluído no resultado. Redes com máscara 128 retornarão uma lista contendo o endereço de host único.

overlaps(other)

address_exclude(network)

subnets(prefixlen_diff=1, new_prefix=None)

supernet(prefixlen_diff=1, new_prefix=None)

subnet_of(other)

supernet_of(other)

compare_networks(other)

Consulte a documentação do atributo correspondente em IPv4Network.

is_site_local

This atributo terá valor verdadeiro para a rede como um todo se for verdadeiro tanto para o endereço de rede quanto para o endereço de broadcast.

Operadores

Os objetos de rede têm suporte a alguns operadores. Salvo indicação em contrário, os operadores só podem ser aplicados entre objetos compatíveis (ou seja, IPv4 com IPv4, IPv6 com IPv6).

Operadores lógicos

Os objetos de rede podem ser comparados com o conjunto usual de operadores lógicos. Os objetos de rede são ordenados primeiro por endereço de rede e depois por máscara de rede.

Iteração

Os objetos de rede podem ser iterados para listar todos os endereços pertencentes à rede. Para iteração, todos os hosts são retornados, incluindo os hosts inutilizáveis (para hosts utilizáveis, use o método hosts()). Um exemplo:

>>> for addr in IPv4Network('192.0.2.0/28'):
...     addr
...
IPv4Address('192.0.2.0')
IPv4Address('192.0.2.1')
IPv4Address('192.0.2.2')
IPv4Address('192.0.2.3')
IPv4Address('192.0.2.4')
IPv4Address('192.0.2.5')
IPv4Address('192.0.2.6')
IPv4Address('192.0.2.7')
IPv4Address('192.0.2.8')
IPv4Address('192.0.2.9')
IPv4Address('192.0.2.10')
IPv4Address('192.0.2.11')
IPv4Address('192.0.2.12')
IPv4Address('192.0.2.13')
IPv4Address('192.0.2.14')
IPv4Address('192.0.2.15')

Redes como contêineres de endereços

Os objetos de rede podem atuar como contêineres de endereços. Alguns exemplos:

>>> IPv4Network('192.0.2.0/28')[0]
IPv4Address('192.0.2.0')
>>> IPv4Network('192.0.2.0/28')[15]
IPv4Address('192.0.2.15')
>>> IPv4Address('192.0.2.6') in IPv4Network('192.0.2.0/28')
True
>>> IPv4Address('192.0.3.6') in IPv4Network('192.0.2.0/28')
False

Objetos de interface

Os objetos de interface são hasheáveis, portanto podem ser usados como chaves em dicionários.

class ipaddress.IPv4Interface(address)

Constrói uma interface IPv4. O significado de address é o mesmo do construtor de IPv4Network, exceto que endereços de host arbitrários são sempre aceitos.

IPv4Interface é uma subclasse de IPv4Address, portanto herda todos os atributos dessa classe. Além disso, os seguintes atributos estão disponíveis:

ip

O endereço (IPv4Address) sem informações de rede.

>>> interface = IPv4Interface('192.0.2.5/24')
>>> interface.ip
IPv4Address('192.0.2.5')

network

A rede (IPv4Network) à qual esta interface pertence.

>>> interface = IPv4Interface('192.0.2.5/24')
>>> interface.network
IPv4Network('192.0.2.0/24')

with_prefixlen

Uma representação de string da interface com a máscara em notação de prefixo.

>>> interface = IPv4Interface('192.0.2.5/24')
>>> interface.with_prefixlen
'192.0.2.5/24'

with_netmask

Uma representação de string da interface com a rede como uma máscara de rede.

>>> interface = IPv4Interface('192.0.2.5/24')
>>> interface.with_netmask
'192.0.2.5/255.255.255.0'

with_hostmask

Uma representação de string da interface com a rede como uma máscara de host.

>>> interface = IPv4Interface('192.0.2.5/24')
>>> interface.with_hostmask
'192.0.2.5/0.0.0.255'

class ipaddress.IPv6Interface(address)

Constrói uma interface IPv6. O significado de address é o mesmo do construtor de IPv6Network, exceto que endereços de host arbitrários são sempre aceitos.

IPv6Interface é uma subclasse de IPv6Address, portanto herda todos os atributos dessa classe. Além disso, os seguintes atributos estão disponíveis:

ip

network

with_prefixlen

with_netmask

with_hostmask

Consulte a documentação do atributo correspondente em IPv4Interface.

Operadores

Os objetos de interface têm suporte a alguns operadores. Salvo indicação em contrário, os operadores só podem ser aplicados entre objetos compatíveis (ou seja, IPv4 com IPv4, IPv6 com IPv6).

Operadores lógicos

Os objetos de interface podem ser comparados com o conjunto usual de operadores lógicos.

Para comparação de igualdade (== e !=), tanto o endereço IP quanto a rede devem ser iguais para que os objetos sejam iguais. Uma interface não será igual a nenhum endereço ou objeto de rede.

Para ordenação (<, >, etc) as regras são diferentes. Objetos de interface e de endereço com a mesma versão IP podem ser comparados e os objetos de endereço sempre serão ordenados antes dos objetos de interface. Dois objetos de interface são primeiro comparados por suas redes e, se forem iguais, então por seus endereços IP.

Outras funções de nível de módulo

O módulo também fornece as seguintes funções de nível de módulo:

ipaddress.v4_int_to_packed(address)

Representa um endereço como 4 bytes compactados em ordem de rede (big-endian). address é uma representação inteira de um endereço IP IPv4. Uma exceção ValueError é levantada se o número inteiro for negativo ou muito grande para ser um endereço IP IPv4.

>>> ipaddress.ip_address(3221225985)
IPv4Address('192.0.2.1')
>>> ipaddress.v4_int_to_packed(3221225985)
b'\xc0\x00\x02\x01'

ipaddress.v6_int_to_packed(address)

Representa um endereço como 16 bytes compactados em ordem de rede (big-endian). address é uma representação inteira de um endereço IP IPv6. Uma exceção ValueError é levantada se o número inteiro for negativo ou muito grande para ser um endereço IP IPv6.

ipaddress.summarize_address_range(first, last)

Retorna um iterador do intervalo de rede resumido, considerando o primeiro e o último endereço IP. first é o primeiro IPv4Address ou IPv6Address no intervalo e last é o último IPv4Address ou IPv6Address no intervalo. Uma exceção TypeError é levantada se first ou last não forem endereços IP ou não forem da mesma versão. Uma exceção ValueError é levantada se last não for maior que first ou se a versão do first endereço não for 4 ou 6.

>>> [ipaddr for ipaddr in ipaddress.summarize_address_range(
...    ipaddress.IPv4Address('192.0.2.0'),
...    ipaddress.IPv4Address('192.0.2.130'))]
[IPv4Network('192.0.2.0/25'), IPv4Network('192.0.2.128/31'), IPv4Network('192.0.2.130/32')]

ipaddress.collapse_addresses(addresses)

Retorna um iterador dos objetos IPv4Network ou IPv6Network recolhidos. addresses é um iterável de objetos IPv4Network ou IPv6Network. Uma exceção TypeError é levantada se addresses contiver objetos de versão mista.

>>> [ipaddr for ipaddr in
... ipaddress.collapse_addresses([ipaddress.IPv4Network('192.0.2.0/25'),
... ipaddress.IPv4Network('192.0.2.128/25')])]
[IPv4Network('192.0.2.0/24')]

ipaddress.get_mixed_type_key(obj)

Retorna uma chave adequada para ordenação entre redes e endereços. Os objetos de endereço e de rede não são ordenáveis por padrão; eles são fundamentalmente diferentes, então a expressão:

IPv4Address('192.0.2.0') <= IPv4Network('192.0.2.0/24')

doesn’t make sense. There are some times however, where you may wish to have ipaddress sort these anyway. If you need to do this, you can use this function as the key argument to sorted().

obj é um objeto de rede ou de endereço.

Exceções personalizadas

Para oferecer suporte a relatórios de erros mais específicos de construtores de classe, o módulo define as seguintes exceções:

exception ipaddress.AddressValueError(ValueError)

Qualquer erro de valor relacionado ao endereço.

exception ipaddress.NetmaskValueError(ValueError)

Qualquer erro de valor relacionado à máscara de rede.

Serviços Multimídia

Os módulos descritos neste capítulo implementam vários algoritmos ou interfaces que são bastante úteis em aplicações multimídia. Eles estão disponíveis a critério da instalação. Aqui está uma visão geral:

wave — Read and write WAV files

open()

Error

Objetos Wave_read

Wave_read

close()

getnchannels()

getsampwidth()

getframerate()

getnframes()

getcomptype()

getcompname()

getparams()

readframes()

rewind()

getmarkers()

getmark()

setpos()

tell()

Objetos Wave_write

Wave_write

close()

setnchannels()

setsampwidth()

setframerate()

setnframes()

setcomptype()

setparams()

tell()

writeframesraw()

writeframes()

colorsys — Conversões entre sistemas de cores

rgb_to_yiq()

yiq_to_rgb()

rgb_to_hls()

hls_to_rgb()

rgb_to_hsv()

hsv_to_rgb()

wave — Read and write WAV files

Código-fonte: Lib/wave.py [https://github.com/python/cpython/tree/3.13/Lib/wave.py]

The wave module provides a convenient interface to the Waveform Audio “WAVE” (or “WAV”) file format. Only uncompressed PCM encoded wave files are supported.

Alterado na versão 3.12: Support for WAVE_FORMAT_EXTENSIBLE headers was added, provided that the extended format is KSDATAFORMAT_SUBTYPE_PCM.

The wave module defines the following function and exception:

wave.open(file, mode=None)

If file is a string, open the file by that name, otherwise treat it as a file-like object. mode can be:

'rb'

Modo somente para leitura.

'wb'

Modo somente para escrita.

Note that it does not allow read/write WAV files.

A mode of 'rb' returns a Wave_read object, while a mode of 'wb' returns a Wave_write object. If mode is omitted and a file-like object is passed as file, file.mode is used as the default value for mode.

If you pass in a file-like object, the wave object will not close it when its close() method is called; it is the caller’s responsibility to close the file object.

The open() function may be used in a with statement. When the with block completes, the Wave_read.close() or Wave_write.close() method is called.

Alterado na versão 3.4: Added support for unseekable files.

exception wave.Error

An error raised when something is impossible because it violates the WAV specification or hits an implementation deficiency.

Objetos Wave_read

class wave.Wave_read

Read a WAV file.

Wave_read objects, as returned by open(), have the following methods:

close()

Close the stream if it was opened by wave, and make the instance unusable. This is called automatically on object collection.

getnchannels()

Returns number of audio channels (1 for mono, 2 for stereo).

getsampwidth()

Retorna a largura da amostra em bytes.

getframerate()

Retorna a frequência de amostragem.

getnframes()

Retorna o número de quadros de áudio.

getcomptype()

Returns compression type ('NONE' is the only supported type).

getcompname()

Human-readable version of getcomptype(). Usually 'not compressed' parallels 'NONE'.

getparams()

Returns a namedtuple() (nchannels, sampwidth, framerate, nframes, comptype, compname), equivalent to output of the get*() methods.

readframes(n)

Reads and returns at most n frames of audio, as a bytes object.

rewind()

Volta o ponteiro do arquivo para o início do fluxo de áudio.

The following two methods are defined for compatibility with the old aifc module, and don’t do anything interesting.

getmarkers()

Retorna None.

Deprecated since version 3.13, will be removed in version 3.15: The method only existed for compatibility with the aifc module which has been removed in Python 3.13.

getmark(id)

Levanta um erro.

Deprecated since version 3.13, will be removed in version 3.15: The method only existed for compatibility with the aifc module which has been removed in Python 3.13.

Os dois métodos a seguir definem um termo “posição” que é compatível entre eles e é dependente da implementação.

setpos(pos)

Set the file pointer to the specified position.

tell()

Return current file pointer position.

Objetos Wave_write

class wave.Wave_write

Write a WAV file.

Wave_write objects, as returned by open().

For seekable output streams, the wave header will automatically be updated to reflect the number of frames actually written. For unseekable streams, the nframes value must be accurate when the first frame data is written. An accurate nframes value can be achieved either by calling setnframes() or setparams() with the number of frames that will be written before close() is called and then using writeframesraw() to write the frame data, or by calling writeframes() with all of the frame data to be written. In the latter case writeframes() will calculate the number of frames in the data and set nframes accordingly before writing the frame data.

Alterado na versão 3.4: Added support for unseekable files.

Wave_write objects have the following methods:

close()

Make sure nframes is correct, and close the file if it was opened by wave. This method is called upon object collection. It will raise an exception if the output stream is not seekable and nframes does not match the number of frames actually written.

setnchannels(n)

Define o número de canais.

setsampwidth(n)

Set the sample width to n bytes.

setframerate(n)

Set the frame rate to n.

Alterado na versão 3.2: A non-integral input to this method is rounded to the nearest integer.

setnframes(n)

Set the number of frames to n. This will be changed later if the number of frames actually written is different (this update attempt will raise an error if the output stream is not seekable).

setcomptype(type, name)

Set the compression type and description. At the moment, only compression type NONE is supported, meaning no compression.

setparams(tuple)

The tuple should be (nchannels, sampwidth, framerate, nframes, comptype, compname), with values valid for the set*() methods. Sets all parameters.

tell()

Return current position in the file, with the same disclaimer for the Wave_read.tell() and Wave_read.setpos() methods.

writeframesraw(data)

Escreve quadros de áudio, sem corrigir nframes.

Alterado na versão 3.4: Todo objeto byte ou similar agora é aceito.

writeframes(data)

Write audio frames and make sure nframes is correct. It will raise an error if the output stream is not seekable and the total number of frames that have been written after data has been written does not match the previously set value for nframes.

Alterado na versão 3.4: Todo objeto byte ou similar agora é aceito.

Note that it is invalid to set any parameters after calling writeframes() or writeframesraw(), and any attempt to do so will raise wave.Error.

colorsys — Conversões entre sistemas de cores

Código-fonte: Lib/colorsys.py [https://github.com/python/cpython/tree/3.13/Lib/colorsys.py]

O módulo colorsys define conversões bidirecionais de valores de cores entre cores expressas no espaço de cores RGB (Red Green Blue) usado em monitores de computador e três outros sistemas de coordenadas: YIQ, HLS (Hue Lightness Saturation) e HSV (Hue Saturation Value). As coordenadas em todos esses espaços de cores são valores de ponto flutuante. No espaço YIQ, a coordenada Y está entre 0 e 1, mas as coordenadas I e Q podem ser positivas ou negativas. Em todos os outros espaços, as coordenadas estão todas entre 0 e 1.

Ver também

Mais informações sobre espaços de cores podem ser encontradas em https://poynton.ca/ColorFAQ.html e https://www.cambridgeincolour.com/tutorials/color-spaces.htm.

O módulo colorsys define as seguintes funções:

colorsys.rgb_to_yiq(r, g, b)

Converte a cor de coordenadas RGB para coordenadas YIQ.

colorsys.yiq_to_rgb(y, i, q)

Converte a cor de coordenadas YIQ para coordenadas RGB.

colorsys.rgb_to_hls(r, g, b)

Converte a cor de coordenadas RGB para coordenadas HLS.

colorsys.hls_to_rgb(h, l, s)

Converte a cor de coordenadas HLS para coordenadas RGB.

colorsys.rgb_to_hsv(r, g, b)

Converte a cor de coordenadas RGB para coordenadas HSV.

colorsys.hsv_to_rgb(h, s, v)

Converte a cor de coordenadas HSV para coordenadas RGB.

Exemplo:

>>> import colorsys
>>> colorsys.rgb_to_hsv(0.2, 0.4, 0.4)
(0.5, 0.5, 0.4)
>>> colorsys.hsv_to_rgb(0.5, 0.5, 0.4)
(0.2, 0.4, 0.4)

Internacionalização

Os módulos descritos neste capítulo ajudam você a criar um software que é independente de idioma e localidade, fornecendo mecanismos para selecionar um idioma a ser usado em mensagens de programa ou adaptando a saída para corresponder às convenções locais.

A lista de módulos descritos neste capítulo é:

gettext — Serviços de internacionalização multilíngues

API do GNU gettext

bindtextdomain()

textdomain()

gettext()

dgettext()

ngettext()

dngettext()

pgettext()

dpgettext()

npgettext()

dnpgettext()

API baseada em classe

find()

translation()

install()

A classe NullTranslations

NullTranslations

_parse()

add_fallback()

gettext()

ngettext()

pgettext()

npgettext()

info()

charset()

install()

A classe GNUTranslations

GNUTranslations

gettext()

ngettext()

pgettext()

npgettext()

Suporte a catálogo de mensagens do Solaris

O construtor Catalog

Internacionalizando seus programas e módulos

Localizando seu módulo

Localizando sua aplicação

Alterando os idiomas durante o uso

Traduções adiadas

Reconhecimentos

locale — Serviços de internacionalização

Error

setlocale()

localeconv()

nl_langinfo()

CODESET

D_T_FMT

D_FMT

T_FMT

T_FMT_AMPM

DAY_1

DAY_2

DAY_3

DAY_4

DAY_5

DAY_6

DAY_7

ABDAY_1

ABDAY_2

ABDAY_3

ABDAY_4

ABDAY_5

ABDAY_6

ABDAY_7

MON_1

MON_2

MON_3

MON_4

MON_5

MON_6

MON_7

MON_8

MON_9

MON_10

MON_11

MON_12

ABMON_1

ABMON_2

ABMON_3

ABMON_4

ABMON_5

ABMON_6

ABMON_7

ABMON_8

ABMON_9

ABMON_10

ABMON_11

ABMON_12

RADIXCHAR

THOUSEP

YESEXPR

NOEXPR

CRNCYSTR

ERA

ERA_D_T_FMT

ERA_D_FMT

ERA_T_FMT

ALT_DIGITS

getdefaultlocale()

getlocale()

getpreferredencoding()

getencoding()

normalize()

strcoll()

strxfrm()

format_string()

currency()

str()

delocalize()

localize()

atof()

atoi()

LC_CTYPE

LC_COLLATE

LC_TIME

LC_MONETARY

LC_MESSAGES

LC_NUMERIC

LC_ALL

CHAR_MAX

Histórico, detalhes, dicas, dicas e advertências

Para escritores de extensão e programas que incorporam Python

Acesso a catálogos de mensagens

gettext()

dgettext()

dcgettext()

textdomain()

bindtextdomain()

bind_textdomain_codeset()

gettext — Serviços de internacionalização multilíngues

Código-fonte: Lib/gettext.py [https://github.com/python/cpython/tree/3.13/Lib/gettext.py]

O módulo gettext fornece serviços de internacionalização (I18N) e localização (L10N) para seus módulos e aplicativos Python. Ele suporta a API do catálogo de mensagens GNU gettext e uma API baseada em classes de nível mais alto que podem ser mais apropriadas para arquivos Python. A interface descrita abaixo permite gravar o módulo e as mensagens do aplicativo em um idioma natural e fornecer um catálogo de mensagens traduzidas para execução em diferentes idiomas naturais.

Algumas dicas sobre localização de seus módulos e aplicativos Python também são fornecidas.

API do GNU gettext

O módulo gettext define a API a seguir, que é muito semelhante à API do GNU gettext. Se você usar esta API, você afetará a tradução de todo o seu aplicativo globalmente. Geralmente, é isso que você deseja se o seu aplicativo for monolíngue, com a escolha do idioma dependente da localidade do seu usuário. Se você estiver localizando um módulo Python, ou se seu aplicativo precisar alternar idiomas rapidamente, provavelmente desejará usar a API baseada em classe.

gettext.bindtextdomain(domain, localedir=None)

Liga o domain ao diretório de localidade localedir. Mais concretamente, gettext procurará arquivos binários .mo para o domínio especificado usando o caminho (no Unix): localedir/language/LC_MESSAGES/domain.mo, sendo language pesquisado nas variáveis de ambiente LANGUAGE, LC_ALL, LC_MESSAGES e LANG respectivamente.

Se localedir for omitido ou None, a ligação atual para domain será retornada. [1]

gettext.textdomain(domain=None)

Altera ou consulta o domínio global atual. Se domain for None, o domínio global atual será retornado; caso contrário, o domínio global será definido como domain, o qual será retornado.

gettext.gettext(message)

Retorna a tradução localizada de message, com base no diretório global atual de domínio, idioma e localidade. Essa função geralmente é apelidada como _() no espaço de nomes local (veja exemplos abaixo).

gettext.dgettext(domain, message)

Semelhante a gettext(), mas procura a mensagem no domain especificado.

gettext.ngettext(singular, plural, n)

Semelhante a gettext(), mas considera formas plurais. Se uma tradução for encontrada, aplica a fórmula do plural a n e retorne a mensagem resultante (alguns idiomas têm mais de duas formas no plural). Se nenhuma tradução for encontrada, retorna singular se n for 1; retorna plural caso contrário.

A fórmula de Plural é retirada do cabeçalho do catálogo. É uma expressão C ou Python que possui uma variável livre n; a expressão é avaliada para o índice do plural no catálogo. Veja a documentação do gettext GNU [https://www.gnu.org/software/gettext/manual/gettext.html] para obter a sintaxe precisa a ser usada em arquivos .po e as fórmulas para um variedade de idiomas.

gettext.dngettext(domain, singular, plural, n)

Semelhante a ngettext(), mas procura a mensagem no domain especificado.

gettext.pgettext(context, message)

gettext.dpgettext(domain, context, message)

gettext.npgettext(context, singular, plural, n)

gettext.dnpgettext(domain, context, singular, plural, n)

Semelhante às funções correspondentes sem o p no prefixo (ou seja, gettext(), dgettext(), ngettext(), dngettext()), mas a tradução é restrita ao context de mensagem fornecido.

Adicionado na versão 3.8.

Note que GNU gettext também define um método dcgettext(), mas isso não foi considerado útil e, portanto, atualmente não está implementado.

Aqui está um exemplo de uso típico para esta API:

import gettext
gettext.bindtextdomain('myapplication', '/path/to/my/language/directory')
gettext.textdomain('myapplication')
_ = gettext.gettext
# ...
print(_('This is a translatable string.'))

API baseada em classe

A API baseada em classe do módulo gettext oferece mais flexibilidade e maior conveniência do que a API do GNU gettext. É a maneira recomendada de localizar seus aplicativos e módulos Python. gettext define uma classe GNUTranslations que implementa a análise de arquivos no formato GNU .mo e possui métodos para retornar strings. Instâncias dessa classe também podem se instalar no espaço de nomes embutido como a função _().

gettext.find(domain, localedir=None, languages=None, all=False)

Esta função implementa o algoritmo de busca de arquivos .mo padrão. É necessário um domain, idêntico ao que textdomain() leva. localedir opcional é como em bindtextdomain(). languages opcional é uma lista de strings, em que cada string é um código de idioma.

Se localedir não for fornecido, o diretório local do sistema padrão será usado. [2] Se languages não for fornecido, as seguintes variáveis de ambiente serão pesquisadas: LANGUAGE, LC_ALL, LC_MESSAGES e LANG. O primeiro retornando um valor não vazio é usado para a variável languages. As variáveis de ambiente devem conter uma lista de idiomas separada por dois pontos, que será dividida nos dois pontos para produzir a lista esperada de strings de código de idioma.

find() expande e normaliza os idiomas e itera através deles, procurando por um arquivo existente construído com esses componentes:

localedir/language/LC_MESSAGES/domain.mo

O primeiro nome de arquivo existente é retornado por find(). Se nenhum desses arquivos for encontrado, será retornado None. Se all for fornecido, ele retornará uma lista de todos os nomes de arquivos, na ordem em que aparecem na lista de idiomas ou nas variáveis de ambiente.

gettext.translation(domain, localedir=None, languages=None, class_=None, fallback=False)

Retorna uma instância de *Translations com base nos domain, localedir e languages, que são passados primeiro para find() para obter uma lista dos caminhos de arquivos .mo associados. Instâncias com nomes de arquivo idênticos .mo são armazenados em cache. A classe atual instanciada é class_ se fornecida, caso contrário GNUTranslations. O construtor da classe deve usar um único argumento objeto arquivo.

Se vários arquivos forem encontrados, os arquivos posteriores serão usados como fallbacks para os anteriores. Para permitir a configuração do fallback, copy.copy() é usado para clonar cada objeto de conversão do cache; os dados reais da instância ainda são compartilhados com o cache.

Se nenhum arquivo .mo for encontrado, essa função levanta OSError se fallback for falso (que é o padrão) e retorna uma instância NullTranslations se fallback for verdadeiro.

Alterado na versão 3.3: IOError costumava ser levantado, agora ele é um codinome para OSError.

Alterado na versão 3.11: O parâmetro codeset foi removido.

gettext.install(domain, localedir=None, *, names=None)

Isso instala a função _() no espaço de nomes interno do Python, com base em domain e localedir que são passados para a função translation().

Para o parâmetro names, por favor, veja a descrição do método install() do objeto de tradução.

Como visto abaixo, você normalmente marca as strings candidatas à tradução em sua aplicação, envolvendo-as em uma chamada para a função _(), assim:

print(_('This string will be translated.'))

Por conveniência, você deseja que a função _() seja instalada no espaço de nomes interno do Python, para que seja facilmente acessível em todos os módulos do sua aplicação.

Alterado na versão 3.11: names é agora um parâmetro somente-nomeado.

A classe NullTranslations

As classes de tradução são o que realmente implementa a tradução de strings de mensagens do arquivo-fonte original para strings de mensagens traduzidas. A classe base usada por todas as classes de tradução é NullTranslations; isso fornece a interface básica que você pode usar para escrever suas próprias classes de tradução especializadas. Aqui estão os métodos de NullTranslations:

class gettext.NullTranslations(fp=None)

Recebe um objeto arquivo opcional fp, que é ignorado pela classe base. Inicializa as variáveis de instância “protegidas” _info e _charset, que são definidas por classes derivadas, bem como _fallback, que é definido através de add_fallback(). Ele então chama self._parse(fp) se fp não for None.

_parse(fp)

No-op na classe base, esse método pega o objeto arquivo fp e lê os dados do arquivo, inicializando seu catálogo de mensagens. Se você tiver um formato de arquivo de catálogo de mensagens não suportado, substitua esse método para analisar seu formato.

add_fallback(fallback)

Adiciona fallback como o objeto reserva para o objeto de tradução atual. Um objeto de tradução deve consultar o fallback se não puder fornecer uma tradução para uma determinada mensagem.

gettext(message)

Se um fallback tiver sido definido, encaminha gettext() para o fallback. Caso contrário, retorna message. Substituído em classes derivadas.

ngettext(singular, plural, n)

Se um fallback tiver sido definido, encaminha ngettext() para o fallback. Caso contrário, retorna singular se n for 1; do contrário, retorna plural. Substituído em classes derivadas.

pgettext(context, message)

Se um fallback tiver sido definido, encaminha pgettext() para o fallback. Caso contrário, retorna a mensagem traduzida. Substituído em classes derivadas.

Adicionado na versão 3.8.

npgettext(context, singular, plural, n)

Se um fallback tiver sido definido, encaminha npgettext() para o fallback. Caso contrário, retorna a mensagem traduzida. Substituído em classes derivadas.

Adicionado na versão 3.8.

info()

Retorna um dicionário que contém os metadados encontrados no arquivo de catálogo de mensagens.

charset()

Retorna a codificação do arquivo de catálogo de mensagens.

install(names=None)

Este método instala gettext() no espaço de nomes embutido, vinculando-o a _.

Se o parâmetro names for fornecido, deve ser uma sequência contendo os nomes das funções que você deseja instalar no espaço de nomes embutidos, além de _(). Há suporte aos nomes 'gettext', 'ngettext', 'pgettext' e 'npgettext'

Observe que esta é apenas uma maneira, embora a maneira mais conveniente, de disponibilizar a função _() para sua aplicação. Como afeta a aplicação inteira globalmente, e especificamente o espaço de nomes embutido, os módulos localizados nunca devem instalar _(). Em vez disso, eles devem usar este código para disponibilizar _() para seu módulo:

import gettext
t = gettext.translation('mymodule', ...)
_ = t.gettext

Isso coloca _() apenas no espaço de nomes global do módulo e, portanto, afeta apenas as chamadas dentro deste módulo.

Alterado na versão 3.8: Adicionado 'pgettext' e 'npgettext'.

A classe GNUTranslations

O módulo gettext fornece uma classe adicional derivada de NullTranslations: GNUTranslations. Esta classe substitui _parse() para permitir a leitura de arquivos .mo do formato GNU gettext nos formatos big-endian e little-endian.

GNUTranslations analisa metadados opcionais do catálogo de tradução. É uma convenção com o GNU gettext incluir metadados como tradução para a string vazia. Esses metadados estão nos pares key: value no estilo RFC 822 [https://datatracker.ietf.org/doc/html/rfc822.html] e devem conter a chave Project-Id-Version. Se a chave Content-Type for encontrada, a propriedade charset será usada para inicializar a variável de instância _charset “protegida”, com o padrão None se não for encontrada. Se a codificação de “charset” for especificada, todos os IDs e strings de mensagens lidos no catálogo serão convertidos em Unicode usando essa codificação, caso contrário, o ASCII será presumido.

Como os IDs de mensagens também são lidos como strings Unicode, todos os métodos *gettext() presumem os IDs de mensagens como sendo strings Unicode, não como strings de bytes.

Todo o conjunto de pares chave/valor é colocado em um dicionário e definido como a variável de instância _info “protegida”.

Se o número mágico do arquivo .mo for inválido, o número principal da versão é inesperado ou se ocorrerem outros problemas durante a leitura do arquivo, instanciando uma classe GNUTranslations pode levantar OSError.

class gettext.GNUTranslations

Os seguintes métodos são substituídos a partir da implementação da classe base:

gettext(message)

Procura o ID da message no catálogo e retorna a string de mensagens correspondente, como uma string Unicode. Se não houver entrada no catálogo para o ID da message e um fallback tiver sido definido, a pesquisa será encaminhada para o método gettext() do fallback. Caso contrário, o ID da message é retornado.

ngettext(singular, plural, n)

Faz uma pesquisa de plural-forms de um ID de mensagem. singular é usado como o ID da mensagem para fins de pesquisa no catálogo, enquanto n é usado para determinar qual forma plural usar. A string de mensagens retornada é uma string Unicode.

Se o ID da mensagem não for encontrado no catálogo e um fallback for especificado, a solicitação será encaminhada para o método do fallback ngettext(). Caso contrário, quando n for 1, singular será retornado e plural será retornado em todos os outros casos.

Aqui está um exemplo:

n = len(os.listdir('.'))
cat = GNUTranslations(somefile)
message = cat.ngettext(
    'There is %(num)d file in this directory',
    'There are %(num)d files in this directory',
    n) % {'num': n}

pgettext(context, message)

Procura o ID do context e da message no catálogo e retorna a string de mensagens correspondente, como uma string Unicode. Se não houver entrada no catálogo para o ID do context e da message, e um fallback tiver sido definido, a pesquisa será encaminhada para o método pgettext() do fallback. Caso contrário, o ID da message é retornado.

Adicionado na versão 3.8.

npgettext(context, singular, plural, n)

Faz uma pesquisa de plural-forms de um ID de mensagem. singular é usado como o ID da mensagem para fins de pesquisa no catálogo, enquanto n é usado para determinar qual forma plural usar.

Se o ID da mensagem para context não for encontrado no catálogo e um fallback for especificado, a solicitação será encaminhada para o método npgettext() do fallback. Caso contrário, quando n for 1, singular será retornado e plural será retornado em todos os outros casos.

Adicionado na versão 3.8.

Suporte a catálogo de mensagens do Solaris

O sistema operacional Solaris define seu próprio formato de arquivo binário .mo, mas como nenhuma documentação pode ser encontrada nesse formato, ela não é suportada no momento.

O construtor Catalog

O GNOME usa uma versão do módulo gettext de James Henstridge, mas esta versão tem uma API um pouco diferente. Seu uso documentado foi:

import gettext
cat = gettext.Catalog(domain, localedir)
_ = cat.gettext
print(_('hello world'))

Para compatibilidade com este módulo mais antigo, a função Catalog() é um apelido para a função translation() descrita acima.

Uma diferença entre este módulo e o de Henstridge: seus objetos de catálogo suportavam o acesso por meio de uma API de mapeamento, mas isso parece não ser utilizado e, portanto, não é atualmente suportado.

Internacionalizando seus programas e módulos

Internationalization (I18N), ou internacionalização (I17O) em português, refere-se à operação pela qual um programa é informado sobre vários idiomas. Localization (L10N), ou localização em português, refere-se à adaptação do seu programa, uma vez internacionalizado, aos hábitos culturais e de idioma local. Para fornecer mensagens multilíngues para seus programas Python, você precisa executar as seguintes etapas:

preparar seu programa ou módulo especialmente marcando strings traduzíveis

executar um conjunto de ferramentas nos arquivos marcados para gerar catálogos de mensagens não tratadas

criar traduções específicas do idioma dos catálogos de mensagens

usar o módulo gettext para que as strings das mensagens sejam traduzidas corretamente

Para preparar seu código para I18N, você precisa examinar todas as strings em seus arquivos. Qualquer string que precise ser traduzida deve ser marcada envolvendo-a em _('...') — isto é, uma chamada para a função _. Por exemplo:

filename = 'mylog.txt'
message = _('writing a log message')
with open(filename, 'w') as fp:
    fp.write(message)

Neste exemplo, a string 'writing a log message' está marcada como um candidato para tradução, enquanto as strings 'mylog.txt' e 'w' não estão.

Existem algumas ferramentas para extrair as strings destinadas à tradução. O GNU gettext original tem suporte apenas ao código-fonte C ou C++, mas sua versão estendida xgettext varre o código escrito em várias linguagens, incluindo Python, para encontrar strings marcadas como traduzíveis. Babel [https://babel.pocoo.org/] é uma biblioteca de internacionalização do Python que inclui um script pybabel para extrair e compilar catálogos de mensagens. O programa de François Pinard chamado xpot faz um trabalho semelhante e está disponível como parte de seu pacote po-utils [https://github.com/pinard/po-utils].

(O Python também inclui versões em Python puro desses programas, chamadas pygettext.py e msgfmt.py; algumas distribuições do Python as instalam para você. O pygettext.py é semelhante ao xgettext, mas apenas entende o código-fonte do Python e não consegue lidar com outras linguagens de programação como C ou C++. O pygettext.py possui suporte a uma interface de linha de comando semelhante à do xgettext; para detalhes sobre seu uso, execute pygettext.py --help. O msgfmt.py é compatível com binários com GNU msgfmt. Com esses dois programas, você pode não precisar do pacote GNU gettext para internacionalizar suas aplicações Python.)

xgettext, pygettext e ferramentas similares geram .po que são catálogos de mensagens. Eles são arquivos legíveis por humanos estruturados que contêm todas as strings marcadas no código-fonte, junto com um espaço reservado para as versões traduzidas dessas strings.

Cópias destes arquivos .po são entregues aos tradutores humanos individuais que escrevem traduções para todos os idiomas naturais suportados. Eles enviam de volta as versões completas específicas do idioma como um arquivo <nome-do-idioma>.po que é compilado em um arquivo de catálogo binário legível por máquina .mo usando o programa msgfmt. Os arquivos .mo são usados pelo módulo gettext para o processamento de tradução real em tempo de execução.

Como você usa o módulo gettext no seu código depende se você está internacionalizando um único módulo ou sua aplicação inteira. As próximas duas seções discutirão cada caso.

Localizando seu módulo

Se você estiver localizando seu módulo, tome cuidado para não fazer alterações globais, por exemplo para o espaço de nomes embutidos. Você não deve usar a API GNU gettext, mas a API baseada em classe.

Digamos que seu módulo seja chamado “spam” e as várias traduções do idioma natural do arquivo .mo residam em /usr/share/locale no formato GNU gettext. Aqui está o que você colocaria sobre o seu módulo:

import gettext
t = gettext.translation('spam', '/usr/share/locale')
_ = t.gettext

Localizando sua aplicação

Se você estiver localizando sua aplicação, poderá instalar a função _() globalmente no espaço de nomes embutidos, geralmente no arquivo principal do driver do sua aplicação. Isso permitirá que todos os arquivos específicos de sua aplicação usem _('...') sem precisar instalá-la explicitamente em cada arquivo.

No caso simples, você precisa adicionar apenas o seguinte código ao arquivo do driver principal da sua aplicação:

import gettext
gettext.install('myapplication')

Se você precisar definir o diretório da localidade, poderá passá-lo para a função install():

import gettext
gettext.install('myapplication', '/usr/share/locale')

Alterando os idiomas durante o uso

Se o seu programa precisar oferecer suporte a vários idiomas ao mesmo tempo, convém criar várias instâncias de tradução e alternar entre elas explicitamente, assim:

import gettext

lang1 = gettext.translation('myapplication', languages=['en'])
lang2 = gettext.translation('myapplication', languages=['fr'])
lang3 = gettext.translation('myapplication', languages=['de'])

# start by using language1
lang1.install()

# ... time goes by, user selects language 2
lang2.install()

# ... more time goes by, user selects language 3
lang3.install()

Traduções adiadas

Na maioria das situações de codificação, as strings são traduzidas onde são codificadas. Ocasionalmente, no entanto, é necessário marcar strings para tradução, mas adiar a tradução real até mais tarde. Um exemplo clássico é:

animals = ['mollusk',
           'albatross',
           'rat',
           'penguin',
           'python', ]
# ...
for a in animals:
    print(a)

Aqui, você deseja marcar as strings na lista animals como traduzíveis, mas na verdade não deseja traduzi-las até que sejam impressas.

Aqui está uma maneira de lidar com esta situação:

def _(message): return message

animals = [_('mollusk'),
           _('albatross'),
           _('rat'),
           _('penguin'),
           _('python'), ]

del _

# ...
for a in animals:
    print(_(a))

Isso funciona porque a definição fictícia de _() simplesmente retorna a string inalterada. E essa definição fictícia vai substituir temporariamente qualquer definição de _() no espaço de nomes embutido (até o comando del). Tome cuidado, se você tiver uma definição anterior de _() no espaço de nomes local.

Observe que o segundo uso de _() não identificará “a” como traduzível para o programa gettext, porque o parâmetro não é uma string literal.

Outra maneira de lidar com isso é com o seguinte exemplo:

def N_(message): return message

animals = [N_('mollusk'),
           N_('albatross'),
           N_('rat'),
           N_('penguin'),
           N_('python'), ]

# ...
for a in animals:
    print(_(a))

Nesse caso, você está marcando strings traduzíveis com a função N_(), que não entra em conflito com nenhuma definição de _(). No entanto, você precisará ensinar seu programa de extração de mensagens a procurar strings traduzíveis marcadas com N_(). xgettext, pygettext, pybabel extract e xpot possuem suporte a isso através do uso da opção de linha de comando -k. A escolha de N_() aqui é totalmente arbitrária; poderia facilmente ter sido MarkThisStringForTranslation().

Reconhecimentos

As seguintes pessoas contribuíram com código, feedback, sugestões de design, implementações anteriores e experiência valiosa para a criação deste módulo:

Peter Funk

James Henstridge

Juan David Ibáñez Palomar

Marc-André Lemburg

Martin von Löwis

François Pinard

Barry Warsaw

Gustavo Niemeyer

Notas de rodapé

[1]

O diretório de localidade padrão depende do sistema; por exemplo, no Red Hat Linux é /usr/share/locale, mas no Solaris é /usr/lib/locale. O módulo gettext não tenta dar suporte a esses padrões dependentes do sistema; em vez disso, seu padrão é sys.base_prefix/share/locale (consulte sys.base_prefix). Por esse motivo, é sempre melhor chamar bindtextdomain() com um caminho absoluto explícito no início da sua aplicação.

[2]

Consulte a nota de rodapé para a bindtextdomain() acima.

locale — Serviços de internacionalização

Código-fonte: Lib/locale.py [https://github.com/python/cpython/tree/3.13/Lib/locale.py]

O módulo locale abre o acesso ao banco de dados de localidade POSIX e funcionalidade. O mecanismo de localidade POSIX permite que os programadores lidem com certas questões culturais em uma aplicação, sem exigir que o programador conheça todas as especificidades de cada país onde o software é executado.

O módulo locale é implementado em cima do módulo _locale, que por sua vez usa uma implementação a localidade ANSI C se disponível.

O módulo locale define a seguinte exceção e funções:

exception locale.Error

Exceção levantada quando a localidade passada para setlocale() não é reconhecida.

locale.setlocale(category, locale=None)

Se locale for fornecido e não None, setlocale() modifica a configuração de locale para a category. As categorias disponíveis estão listadas na descrição dos dados abaixo. locale pode ser uma string ou um iterável de duas strings (código de idioma e codificação). Se for um iterável, ele é convertido em um nome de local usando o mecanismo de alias da localidade. Uma string vazia especifica as configurações padrão do usuário. Se a modificação da localidade falhar, a exceção Error é levantada. Se for bem-sucedido, a nova configuração de localidade será retornada.

Se locale for omitido ou None, a configuração atual para category é retornada.

setlocale() não é seguro para thread na maioria dos sistemas. As aplicações normalmente começam com uma chamada de

import locale
locale.setlocale(locale.LC_ALL, '')

Isso define a localidade de todas as categorias para a configuração padrão do usuário (normalmente especificada na variável de ambiente LANG). Se a localidade não for alterada depois disso, o uso de multithreading não deve causar problemas.

locale.localeconv()

Retorna o banco de dados das convenções locais como um dicionário. Este dicionário possui as seguintes strings como chaves:

Categoria

Chave

Significado

LC_NUMERIC

'decimal_point'

Caractere de ponto decimal.

'grouping'

Sequência de números especificando quais posições relativas os 'thousands_sep' são esperados. Se a sequência for terminada com CHAR_MAX, nenhum agrupamento adicional é realizado. Se a sequência termina com um 0, o tamanho do último grupo é usado repetidamente.

'thousands_sep'

Caractere usado entre grupos.

LC_MONETARY

'int_curr_symbol'

Símbolo internacional de moeda.

'currency_symbol'

Símbolo local de moeda.

'p_cs_precedes/n_cs_precedes'

Se o símbolo da moeda precede o valor (para valores positivos ou negativos).

'p_sep_by_space/n_sep_by_space'

Se o símbolo monetário está separado do valor por um espaço (para valores positivos ou negativos).

'mon_decimal_point'

Ponto decimal usado para valores monetários.

'frac_digits'

Número de dígitos fracionários usados na formatação local de valores monetários.

'int_frac_digits'

Número de dígitos fracionários usados na formatação internacional de valores monetários.

'mon_thousands_sep'

Separador de grupo usado para valores monetários.

'mon_grouping'

Equivalente a 'grouping', usado para valores monetários.

'positive_sign'

Símbolo usado para anotar um valor monetário positivo.

'negative_sign'

Símbolo usado para anotar um valor monetário negativo.

'p_sign_posn/n_sign_posn'

A posição do sinal (para valores positivos resp. negativos), veja abaixo.

Todos os valores numéricos podem ser definidos como CHAR_MAX para indicar que não há valor especificado nesta localidade.

Os valores possíveis para 'p_sign_posn' e 'n_sign_posn' são dados abaixo.

Valor

Explicação

0

A moeda e o valor estão entre parênteses.

1

O sinal deve preceder o valor e o símbolo da moeda.

2

O sinal deve seguir o valor e o símbolo da moeda.

3

O sinal deve preceder imediatamente o valor.

4

O sinal deve seguir imediatamente o valor.

CHAR_MAX

Nada é especificado nesta localidade.

A função define temporariamente a localidade de LC_CTYPE para a localidade de LC_NUMERIC ou a localidade de LC_MONETARY se as localidades forem diferentes e as strings numéricas ou monetárias não forem ASCII. Esta mudança temporária afeta outras threads.

Alterado na versão 3.7: A função agora define temporariamente a localidade de LC_CTYPE para a localidade de LC_NUMERIC em alguns casos.

locale.nl_langinfo(option)

Retorna algumas informações específicas da localidade em uma string. Esta função não está disponível em todos os sistemas e o conjunto de opções possíveis também pode variar entre as plataformas. Os valores de argumento possíveis são números, para os quais constantes simbólicas estão disponíveis no módulo da localidade.

A função nl_langinfo() aceita uma das seguintes chaves. A maioria das descrições são tiradas da descrição correspondente na biblioteca GNU C.

locale.CODESET

Obtém uma string com o nome da codificação de caracteres usada na localidade selecionado.

locale.D_T_FMT

Obtém uma string que pode ser usada como uma string de formato para time.strftime() para representar a data e a hora de uma maneira específica da localidade.

locale.D_FMT

Obtém uma string que pode ser usada como uma string de formato para time.strftime() para representar uma data de uma maneira específica da localidade.

locale.T_FMT

Obtém uma string que pode ser usada como uma string de formato para time.strftime() para representar uma hora de uma maneira específica da localidade.

locale.T_FMT_AMPM

Obtém uma string de formato para time.strftime() para representar a hora no formato am/pm.

locale.DAY_1

locale.DAY_2

locale.DAY_3

locale.DAY_4

locale.DAY_5

locale.DAY_6

locale.DAY_7

Obtém o nome do enésimo dia da semana.

Nota

Isso segue a convenção dos EUA de DAY_1 ser no domingo, não a convenção internacional (ISO 8601) que segunda-feira é o primeiro dia da semana.

locale.ABDAY_1

locale.ABDAY_2

locale.ABDAY_3

locale.ABDAY_4

locale.ABDAY_5

locale.ABDAY_6

locale.ABDAY_7

Obtém o nome abreviado do enésimo dia da semana.

locale.MON_1

locale.MON_2

locale.MON_3

locale.MON_4

locale.MON_5

locale.MON_6

locale.MON_7

locale.MON_8

locale.MON_9

locale.MON_10

locale.MON_11

locale.MON_12

Obtém o nome do enésimo dia do mês.

locale.ABMON_1

locale.ABMON_2

locale.ABMON_3

locale.ABMON_4

locale.ABMON_5

locale.ABMON_6

locale.ABMON_7

locale.ABMON_8

locale.ABMON_9

locale.ABMON_10

locale.ABMON_11

locale.ABMON_12

Obtém o nome abreviado do enésimo dia do mês.

locale.RADIXCHAR

Obtém o caractere separador decimal (ponto decimal, vírgula decimal etc.).

locale.THOUSEP

Obtém o caractere separador para milhares (grupos de três dígitos).

locale.YESEXPR

Obtém uma expressão regular que pode ser usada com a função regex para reconhecer uma resposta positiva a uma pergunta sim/não.

locale.NOEXPR

Obtém uma expressão regular que pode ser usada com a função regex(3) para reconhecer uma resposta negativa a uma pergunta sim/não.

Nota

As expressões regulares para YESEXPR e NOEXPR usam uma sintaxe adequada para a função regex da biblioteca C, que pode ser diferente da sintaxe usada em re.

locale.CRNCYSTR

Obtém o símbolo da moeda, precedido por “-” se o símbolo deve aparecer antes do valor, “+” se o símbolo deve aparecer após o valor ou “.” se o símbolo deve substituir o caractere separador decimal.

locale.ERA

Obtém uma string que represente a era usada na localidade atual.

A maioria das localidades não define esse valor. Um exemplo de localidade que define esse valor é o japonês. No Japão, a representação tradicional de datas inclui o nome da época correspondente ao reinado do então imperador.

Normalmente não deve ser necessário usar este valor diretamente. Especificar o modificador E em suas strings de formato faz com que a função time.strftime() use esta informação. O formato da string retornada não é especificado e, portanto, você não deve presumir que tem conhecimento dele em sistemas diferentes.

locale.ERA_D_T_FMT

Obtém uma string de formato para time.strftime() para representar a data e a hora de uma forma baseada na era específica da localidade.

locale.ERA_D_FMT

Obtém uma string de formato para time.strftime() para representar uma data em uma forma baseada em era específica da localidade.

locale.ERA_T_FMT

Obtém uma string de formato para time.strftime() para representar uma hora em uma forma baseada em era específica da localidade.

locale.ALT_DIGITS

Obtém uma string consistindo de até 100 símbolos separados por ponto e vírgula usados ​​para representar os valores de 0 a 99 de uma forma específica de localidade. Na maioria das localidades, esta é uma string vazia.

locale.getdefaultlocale([envvars])

Tenta determinar as configurações de localidade padrão e as retorna como uma tupla na forma (language code, encoding).

De acordo com POSIX, um programa que não chamou setlocale(LC_ALL, '') executa usando a localidade portátil 'C'. Chamar setlocale(LC_ALL, '') permite que ele use a localidade padrão conforme definido pela variável LANG. Como não queremos interferir com a configuração de localidade atual, emulamos o comportamento da maneira descrita acima.

Para manter a compatibilidade com outras plataformas, não apenas a variável LANG é testada, mas uma lista de variáveis fornecida como parâmetro envvars. Será utilizado o primeiro encontrado a ser definido. envvars padroniza para o caminho de pesquisa usado no GNU gettext; deve sempre conter o nome da variável 'LANG'. O caminho de pesquisa do GNU gettext contém 'LC_ALL', 'LC_CTYPE', 'LANG' e 'LANGUAGE', nesta ordem.

Exceto pelo código 'C', o código do idioma corresponde a RFC 1766 [https://datatracker.ietf.org/doc/html/rfc1766.html]. language code e encoding podem ser None se seus valores não puderem ser determinados.

Deprecated since version 3.11, will be removed in version 3.15.

locale.getlocale(category=LC_CTYPE)

Retorna a configuração atual para a categoria de localidade fornecida como uma sequência contendo language code, encoding. category pode ser um dos valores LC_*, exceto LC_ALL. O padrão é LC_CTYPE.

Exceto pelo código 'C', o código do idioma corresponde a RFC 1766 [https://datatracker.ietf.org/doc/html/rfc1766.html]. language code e encoding podem ser None se seus valores não puderem ser determinados.

locale.getpreferredencoding(do_setlocale=True)

Retorna a codificação da localidade usada para dados de texto, de acordo com as preferências do usuário. As preferências do usuário são expressas de maneira diferente em sistemas diferentes e podem não estar disponíveis programaticamente em alguns sistemas, portanto, essa função retorna apenas uma estimativa.

Em alguns sistemas, é necessário invocar setlocale() para obter as preferências do usuário, portanto, esta função não é segura para thread. Se invocar setlocale não for necessário ou desejado, do_setlocale deve ser definido como False.

No Android ou se o Modo UTF-8 do Python é retornado, sempre retorna 'utf-8', a codificação da localidade e o argumento do_setlocale são ignorados.

A pré-inicialização do Python configura a localidade LC_CTYPE. Veja também tratador de erros e codificação do sistema de arquivos.

Alterado na versão 3.7: A função agora sempre retorna "utf-8" no Android ou se o Modo UTF-8 do Python estiver habilitado.

locale.getencoding()

Obtém a atual codificação da localidade:

No Android e no VxWorks, retorna "utf-8".

No Unix, retorna a codificação da localidade LC_CTYPE atual. Retorna "utf-8" se nl_langinfo(CODESET) retornar uma string vazia: por exemplo, se a localidade LC_CTYPE atual não for compatível.

No Windows, retorna a página de código ANSI.

A pré-inicialização do Python configura a localidade LC_CTYPE. Veja também tratador de erros e codificação do sistema de arquivos.

Este função é semelhante a getpreferredencoding(False), exceto pelo fato de que esta função ignora o Modo UTF-8 do Python.

Adicionado na versão 3.11.

locale.normalize(localename)

Retorna um código de localidade normalizado para o nome de localidade fornecido. O código de localidade retornado é formatado para uso com setlocale(). Se a normalização falhar, o nome original será retornado inalterado.

Se a codificação fornecida não for conhecida, o padrão da função é a codificação padrão para o código da localidade, assim como setlocale().

locale.strcoll(string1, string2)

Compara duas strings de acordo com a configuração atual LC_COLLATE. Como qualquer outra função de comparação, retorna um valor negativo ou positivo, ou 0, dependendo se string1 agrupa antes ou depois de string2 ou é igual a ele.

locale.strxfrm(string)

Transforma uma string em uma que pode ser usada em comparações com reconhecimento de localidade. Por exemplo, strxfrm(s1) < strxfrm(s2) é equivalente a strcoll(s1, s2) < 0. Esta função pode ser usada quando a mesma string é comparada repetidamente, por exemplo, ao agrupar uma sequência de strings.

locale.format_string(format, val, grouping=False, monetary=False)

Formata um número val de acordo com a configuração atual do LC_NUMERIC. O formato segue as convenções do operador %. Para valores de ponto flutuante, o ponto decimal é modificado, se apropriado. Se grouping for True, também levará em conta o agrupamento.

Se monetary for verdadeiro, a conversão usa o separador de milhares monetários e strings de agrupamento.

Processa especificadores de formatação como em format % val, mas leva as configurações de localidade atuais em consideração.

Alterado na versão 3.7: O parâmetro nomeado monetary foi adicionado.

locale.currency(val, symbol=True, grouping=False, international=False)

Formata um número val de acordo com as configurações atuais de LC_MONETARY.

A string retornada inclui o símbolo da moeda se symbol for verdadeiro, que é o padrão. Se grouping for True (o que não é o padrão), o agrupamento é feito com o valor. Se international for True (o que não é o padrão), o símbolo da moeda internacional será usado.

Nota

Esta função não funcionará com a localidade ‘C’, então você deve definir uma localidade via setlocale() primeiro.

locale.str(float)

Formata um número de ponto flutuante usando o mesmo formato da função embutida str(float), mas leva o ponto decimal em consideração.

locale.delocalize(string)

Converte uma string em uma string numérica normalizada, seguindo as configurações de LC_NUMERIC.

Adicionado na versão 3.5.

locale.localize(string, grouping=False, monetary=False)

Converte uma string numérica normalizada em uma string formatada, seguindo as configurações de LC_NUMERIC.

Adicionado na versão 3.10.

locale.atof(string, func=float)

Converte uma string para um número, de acordo com o valor da constante LC_NUMERIC, chamando func com o resultado da chamada à delocalize() em string.

locale.atoi(string)

Converte uma string em um número inteiro, seguindo as convenções de LC_NUMERIC.

locale.LC_CTYPE

Categoria da localidade para as funções de tipo de caracteres. Mais importante ainda, essa categoria define a codificação do texto, ou seja, como os bytes são interpretado como pontos de código Unicode. Consulte PEP 538 [https://peps.python.org/pep-0538/] e PEP 540 [https://peps.python.org/pep-0540/] para saber como essa variável pode ser automaticamente coagida para C.UTF-8 para evitar problemas criados por configurações inválidas em contêineres ou configurações incompatíveis passadas por conexões remotas com SSH.

O Python não usa internamente funções de transformação de caracteres dependente de localidade do ctype.h. Em vez disso, um pyctype.h interno fornece equivalentes independentes de localidade como Py_TOLOWER.

locale.LC_COLLATE

Categoria da localidade para classificação de strings. As funções strcoll() e strxfrm() do módulo locale são afetadas.

locale.LC_TIME

Categoria da localidade para a formatação de hora. A função time.strftime() segue essas convenções.

locale.LC_MONETARY

Categoria da localidade para formatação de valores monetários. As opções disponíveis estão disponíveis na função localeconv().

locale.LC_MESSAGES

Categoria da localidade para exibição de mensagens. Python atualmente não oferece suporte a mensagens com reconhecimento de localidade específicas da aplicação. Mensagens exibidas pelo sistema operacional, como aquelas retornadas por os.strerror() podem ser afetadas por esta categoria.

Esse valor pode não estar disponível em sistemas operacionais que não estejam em conformidade com o padrão POSIX, principalmente o Windows.

locale.LC_NUMERIC

Categoria da localidade para formatação de números. As funções format_string(), atoi(), atof() e str() do módulo locale são afetadas por essa categoria. Todas as outras operações de formatação numérica não são afetadas.

locale.LC_ALL

Combinação de todas as configurações da localidade. Se este sinalizador for usado quando a localidade for alterada, a configuração da localidade para todas as categorias será tentada. Se isso falhar para qualquer categoria, nenhuma categoria é alterada. Quando a localidade é recuperada usando este sinalizador, uma string indicando a configuração para todas as categorias é retornada. Esta string pode ser usada posteriormente para restaurar as configurações.

locale.CHAR_MAX

Esta é uma constante simbólica usada para diferentes valores retornados por localeconv().

Exemplo:

>>> import locale
>>> loc = locale.getlocale()  # obtém localidade atual
# usa localidade de alemão; o nome pode variar conforme plataforma
>>> locale.setlocale(locale.LC_ALL, 'de_DE')
>>> locale.strcoll('f\xe4n', 'foo')  # compara uma string contendo um umlaut
>>> locale.setlocale(locale.LC_ALL, '')   # usa a localidade preferida do usuário
>>> locale.setlocale(locale.LC_ALL, 'C')  # usa a localidade padrão (C)
>>> locale.setlocale(locale.LC_ALL, loc)  # restaura localidade salva

Histórico, detalhes, dicas, dicas e advertências

O padrão C define a localidade como uma propriedade de todo o programa que pode ser relativamente cara para alterar. Além disso, algumas implementações são interrompidas de forma que mudanças frequentes de localidade podem causar despejos de memória. Isso torna a localidade um tanto dolorosa de usar corretamente.

Inicialmente, quando um programa é iniciado, a localidade é a localidade C, não importa qual a localidade preferida do usuário. Há uma exceção: a categoria LC_CTYPE é alterada na inicialização para definir a codificação de localidade atual para a codificação de localidade preferida do usuário. O programa deve dizer explicitamente que deseja as configurações de localidade preferidas do usuário para outras categorias chamando setlocale(LC_ALL, '').

Geralmente é uma má ideia chamar setlocale() em alguma rotina de biblioteca, já que como efeito colateral afeta todo o programa. Salvar e restaurar é quase tão ruim: é caro e afeta outras threads que são executadas antes de as configurações serem restauradas.

Se, ao codificar um módulo para uso geral, você precisa de uma versão independente da localidade de uma operação que é afetada pela localidade (como certos formatos usados com time.strftime()), você terá que encontrar uma maneira de faça isso sem usar a rotina de biblioteca padrão. Melhor ainda é se convencer de que não há problema em usar as configurações da localidade. Apenas como último recurso, você deve documentar que seu módulo não é compatível com configurações de localidade não-C.

A única maneira de realizar operações numéricas de acordo com a localidade é usar as funções especiais definidas por este módulo: atof(), atoi(), format_string(), str().

Não há como realizar conversões de maiúsculas e minúsculas e classificações de caracteres de acordo com a localidade. Para strings de texto (Unicode), isso é feito de acordo com o valor do caractere apenas, enquanto para strings de byte, as conversões e classificações são feitas de acordo com o valor ASCII do byte e bytes cujo bit alto está definido (ou seja, bytes não ASCII ) nunca são convertidos ou considerados parte de uma classe de caracteres, como letras ou espaços em branco.

Para escritores de extensão e programas que incorporam Python

Módulos de extensão nunca devem chamar setlocale(), exceto para descobrir qual é a localidade atual. Mas uma vez que o valor de retorno só pode ser usado portavelmente para restaurá-lo, isso não é muito útil (exceto talvez para descobrir se a localidade é ou não C).

Quando o código Python usa o módulo locale para alterar a localidade, isso também afeta a aplicação de incorporação. Se a aplicação de incorporação não quiser que isso aconteça, ele deve remover o módulo de extensão _locale (que faz todo o trabalho) da tabela de módulos embutidos no arquivo config.c e certificar-se de que o módulo _locale não está acessível como uma biblioteca compartilhada.

Acesso a catálogos de mensagens

locale.gettext(msg)

locale.dgettext(domain, msg)

locale.dcgettext(domain, msg, category)

locale.textdomain(domain)

locale.bindtextdomain(domain, dir)

locale.bind_textdomain_codeset(domain, codeset)

O módulo locale expõe a interface gettext da biblioteca C em sistemas que fornecem essa interface. Consiste nas funções gettext(), dgettext(), dcgettext(), textdomain(), bindtextdomain() e bind_textdomain_codeset(). Elas são semelhantes às mesmas funções no módulo gettext, mas usam o formato binário da biblioteca C para catálogos de mensagens e os algoritmos de pesquisa da biblioteca C para localizar catálogos de mensagens.

As aplicações Python normalmente não precisam invocar essas funções e devem usar gettext em seu lugar. Uma exceção conhecida a esta regra são os aplicativos que se vinculam a bibliotecas C adicionais que invocam internamente gettext ou dcgettext. Para essas aplicações, pode ser necessário vincular o domínio de texto, para que as bibliotecas possam localizar adequadamente seus catálogos de mensagens.

Frameworks de programa

Os módulos descritos neste capítulo são frameworks que ditarão em grande parte a estrutura do seu programa. Atualmente, os módulos descritos aqui são todos orientados para escrever interfaces de linha de comando.

A lista completa de módulos descritos neste capítulo é:

turtle — Gráficos Tartaruga

Introdução

Começando

Tutorial

Iniciando um ambiente de desenvolvimento da tartaruga

Desenho básico

Controle da Caneta

A posição da tartaruga

Criação de padrões algorítmicos

Como fazer…

Comece o mais rápido possível

Use o espaço de nomes do módulo turtle

Use o módulo gráfico de tartaruga dentro de um script com código específico

Use o módulo gráficos da tartaruga orientado a objetos

Referência Gráficos de Tartaruga

Métodos de Turtle

Métodos de TurtleScreen/Screen

Métodos de RawTurtle/Turtle e funções correspondentes

Movimentos de Turtle

forward()

fd()

back()

bk()

backward()

right()

rt()

left()

lt()

goto()

setpos()

setposition()

teleport()

setx()

sety()

setheading()

seth()

home()

circle()

dot()

stamp()

clearstamp()

clearstamps()

undo()

speed()

Fala o estado de Turtle

position()

pos()

towards()

xcor()

ycor()

heading()

distance()

Configurações de medida

degrees()

radians()

Controle da Caneta

Estado do Desenho

pendown()

pd()

down()

penup()

pu()

up()

pensize()

width()

pen()

isdown()

Controle da Cor

pencolor()

fillcolor()

color()

Preenchimento

filling()

begin_fill()

end_fill()

Mais sobre o Controle do Desenho

reset()

clear()

write()

Estado da tartaruga

Visibilidade

hideturtle()

ht()

showturtle()

st()

isvisible()

Aparência

shape()

resizemode()

shapesize()

turtlesize()

shearfactor()

tilt()

tiltangle()

shapetransform()

get_shapepoly()

Eventos Utilizados

onrelease()

ondrag()

Métodos Especiais da Tartaruga

begin_poly()

end_poly()

get_poly()

clone()

getturtle()

getpen()

getscreen()

setundobuffer()

undobufferentries()

Formas compostas

métodos do TurtleScreen/Screen e as funções correspondentes

Controle da Janela

bgcolor()

bgpic()

clearscreen()

resetscreen()

screensize()

setworldcoordinates()

Controle da animação

delay()

tracer()

update()

Usando os eventos de tela

listen()

onkey()

onkeyrelease()

onkeypress()

onclick()

onscreenclick()

ontimer()

mainloop()

done()

Métodos de entrada

textinput()

numinput()

Configurações e métodos especiais

mode()

colormode()

getcanvas()

getshapes()

register_shape()

addshape()

turtles()

window_height()

window_width()

Métodos específico do Screen, estes métodos não são herdados do TurtleScreen

bye()

exitonclick()

setup()

title()

Classes Públicas

RawTurtle

RawPen

Turtle

TurtleScreen

Screen

ScrolledCanvas

Shape

addcomponent()

Vec2D

Explicação

Ajuda e Configuração

Como usar a Ajuda

Tradução de docstrings em diferentes idiomas

write_docstringdict()

Como configurar Screen and Turtles

turtledemo — Scripts de Demonstração

Modificações desde a versão do Python 2.6

Modificações desde a versão do Python 3.0

cmd — Support for line-oriented command interpreters

Cmd

Objetos Cmd

cmdloop()

do_help()

onecmd()

emptyline()

default()

completedefault()

columnize()

precmd()

postcmd()

preloop()

postloop()

prompt

identchars

lastcmd

cmdqueue

intro

doc_header

misc_header

undoc_header

ruler

use_rawinput

Exemplo do Cmd

shlex — Simple lexical analysis

split()

join()

quote()

shlex

shlex Objects

get_token()

push_token()

read_token()

sourcehook()

push_source()

pop_source()

error_leader()

commenters

wordchars

whitespace

escape

quotes

escapedquotes

whitespace_split

infile

instream

source

debug

lineno

token

eof

punctuation_chars

Regras de análise

Improved Compatibility with Shells

turtle — Gráficos Tartaruga

Código-fonte: Lib/turtle.py [https://github.com/python/cpython/tree/3.13/Lib/turtle.py]

Introdução

Os gráficos Turtle são uma implementação das populares ferramentas de desenho geométrico introduzidas em Logo [https://en.wikipedia.org/wiki/Turtle_(robot)], desenvolvido por Wally Feurzeig, Seymour Papert e Cynthia Solomon em 1967.

Começando

Imagine uma tartaruga robótica começando em (0, 0) no plano x-y. Depois de um import turtle, dê-lhe o comando turtle.forward(15), e ela moverá (na tela!) 15 pixels na direção em que está virada (para frente), desenhando uma linha à medida que ela se move. Digite o comando turtle.right(25), e faça ela girar, no lugar, 25 graus no sentido horário.

Turtle star

A tartaruga pode desenhar formas intrincadas usando programas que repetem movimentos simples.

Em Python, os gráficos de tartaruga fornecem uma representação de uma “tartaruga” física (um pequeno robô com uma caneta) que desenha em uma folha de papel no chão.

É uma maneira eficaz e comprovada de os alunos conhecerem os conceitos de programação e a interação com o software, pois oferece feedback instantâneo e visível. Também oferece acesso conveniente a resultados gráficos em geral.

Desenho de tartaruga foi originalmente criado como uma ferramenta educacional, para ser usado por professores em sala de aula. Para o programador que precisa produzir algum resultado gráfico, essa pode ser uma maneira de fazer isso sem a sobrecarga de introduzir bibliotecas mais complexas ou externas em seu trabalho.

Tutorial

Os novos usuários devem começar por aqui. Neste tutorial, exploraremos alguns dos conceitos básicos do desenho de tartarugas.

Iniciando um ambiente de desenvolvimento da tartaruga

Em um console do Python, faça a importação de todos os objetos do módulo denominado turtle

from turtle import *

Se você se deparar com a seguinte mensagem de erro No module named '_tkinter', será necessário instalar o Tk - pacote de interface gráfica em seu sistema.

Desenho básico

Envie a tartaruga para frente 100 passos:

forward(100)

Você deverá ver (provavelmente, em uma nova janela na sua tela) uma linha desenhada pela tartaruga, em direção ao leste → . Mude a direção da tartaruga, de modo que ela gire 120 graus para a esquerda (sentido anti-horário):

left(120)

Vamos continuar desenhando um triângulo:

forward(100)
left(120)
forward(100)

Observe como a tartaruga, representada por uma seta, aponta em diferentes direções à medida que você a dirige.

Faça experiências com esses comandos e também com backward() e right().

Controle da Caneta

Tente alterar a cor - por exemplo, color('blue') - e a largura da linha - por exemplo, width(3) - e, em seguida, desenhe novamente.

Você também pode mover a tartaruga sem desenhar, levantando a caneta: up() antes de mover. Para começar a desenhar novamente, use down().

A posição da tartaruga

Envie sua tartaruga de volta ao ponto de partida (útil se ela tiver desaparecido da tela):

home()

A posição inicial da tartaruga está no centro da tela. Se você precisar conhecê-la, obtenha as coordenadas x-y da tartaruga com:

pos()

A a posição inicial fica em (0, 0).

E, depois de um tempo, provavelmente vai querer ajudar a limpar a janela aberta para que possamos começar de novo:

clearscreen()

Criação de padrões algorítmicos

Usando laços de repetição, é possível construir criar padrões geométricos:

for steps in range(100):
    for c in ('blue', 'red', 'green'):
        color(c)
        forward(steps)
        right(30)

- que, é claro, são limitados apenas pela imaginação!

Vamos desenhar o formato de estrela na parte superior da página. Queremos linhas de contorno vermelhas, com preenchimento em amarelo:

color('red')
fillcolor('yellow')

Assim como up() e down() determinam se as linhas serão desenhadas, o preenchimento pode ser ativado e desativado:

begin_fill()

Em seguida, vamos criar um laço de repetição:

while True:
    forward(200)
    left(170)
    if abs(pos()) < 1:
        break

abs(pos()) < 1 é uma boa maneira de saber quando a tartaruga está de volta à sua posição inicial.

Por fim, complete o preenchimento:

end_fill()

(Observe que o preenchimento só ocorre de fato quando você fornece o comando end_fill() .)

Como fazer…

Esta seção aborda alguns casos de uso e abordagens típicos do módulo “turtle”.

Comece o mais rápido possível

Uma dos prazeres dos gráficos de tartaruga é o feedback visual imediato disponível a partir de comandos simples. É uma excelente maneira de apresentar ideias de programação às crianças, com um mínimo de sofrimento (não apenas às crianças, é claro).

O módulo tartaruga torna isso possível ao expor toda a sua funcionalidade básica como funções, disponíveis com from turtle import *. O tutorial gráficos de turtle cobre essa abordagem.

Vale a pena observar que muitos dos comandos da tartaruga também possuem equivalentes ainda mais concisos, como usar fd() para obter o mesmo resultado de forward(). Esses comandos são especialmente úteis quando se trabalha com alunos para os quais a digitação não é uma habilidade.

Você precisará ter o pacote de interface Tk instalado em seu sistema para que os gráficos do módulo “turtle” funcionem. Esteja ciente de que isso nem sempre é simples, portanto, verifique isso com antecedência se estiver planejando usar os gráficos de tartaruga com um aluno.

Use o espaço de nomes do módulo turtle

Usar from turtle import * é conveniente, mas lembre-se de que ele importa um coleção bastante grande de objetos e, se você estiver fazendo qualquer coisa no seu código que não esteja relacionada com o módulo gráficos de tartaruga, corre o risco de um conflito de nomes de objetos (isso se torna um problema ainda maior se você estiver usando o módulo de gráficos de tartaruga em um script em que outros módulos possam ser também importados).

A solução é usar o identificador/domínio do próprio módulo import turtle sem o asterisco no final da importação - assim a chamada do objeto/função fd() torna-se turtle.fd(), da mesma forma como width() torna-se turtle.width() e assim por diante. (Se digitar “turtle” várias vezes se tornar tedioso, use import turtle as t, por exemplo, para fornecer um apelido mais conciso e objetivo ao identificador/domínio dentro do seu código).

Use o módulo gráfico de tartaruga dentro de um script com código específico

Recomenda-se usar o módulo turtle com uma apelido para identificador/domínio, conforme descrito acima, por exemplo:

import turtle as t
from random import random

for i in range(100):
    steps = int(random() * 100)
    angle = int(random() * 360)
    t.right(angle)
    t.fd(steps)

No entanto, outra etapa também é necessária ou o Python também fechará a janela da tartaruga assim que o código acima terminar de ser executado. Adicione:

t.mainloop()

ao final do código anterior. Assim, o código anterior agora conterá uma instrução que aguardará ser dispensado e não sairá até que seja encerrado, por exemplo, fechando a janela aberta pelo módulo gráficos da tartaruga.

Use o módulo gráficos da tartaruga orientado a objetos

Ver também

Explicação de interface orientada a objetos

Exceto para fins introdutórios muito básicos ou para experimentar coisas o mais rápido possível, é mais comum e muito mais eficiente usar a abordagem orientada a objetos para gráficos de tartarugas. Por exemplo, isso permite várias tartarugas na tela ao mesmo tempo.

Nessa abordagem, os vários comandos do módulo “turtle” são métodos de objetos (principalmente objetos de Turtle). Você pode usar a abordagem orientada a <txprotected>objetos</txprotected> em console, mas ela seria mais típica em um script Python.

O exemplo acima se torna então:

from turtle import Turtle
from random import random

t = Turtle()
for i in range(100):
    steps = int(random() * 100)
    angle = int(random() * 360)
    t.right(angle)
    t.fd(steps)

t.screen.mainloop()

Observe a última linha. t.screen é um instância da subclasse Screen que existe numa instância da classe tartaruga ou “turtle”; ela é criada automaticamente junto com a instância de tartaruga.

A tela da tartaruga pode ser personalizada, por exemplo:

t.screen.title('Object-oriented turtle demo')
t.screen.bgcolor("orange")

Referência Gráficos de Tartaruga

Nota

Na documentação a seguir, a lista de argumentos para funções é fornecida. Os métodos, é claro, têm o primeiro argumento adicional self que é omitido aqui.

Métodos de Turtle

Movimentos de Turtle

Movimento e desenho

forward() | fd()

backward() | bk() | back()

right() | rt()

left() | lt()

goto() | setpos() | setposition()

teleport()

setx()

sety()

setheading() | seth()

home()

circle()

dot()

stamp()

clearstamp()

clearstamps()

undo()

speed()

Fala o estado de Turtle

position() | pos()

towards()

xcor()

ycor()

heading()

distance()

Configuração e Medidas

degrees()

radians()

Controle da Caneta

Estado do Desenho

pendown() | pd() | down()

penup() | pu() | up()

pensize() | width()

pen()

isdown()

Controle da Cor

color()

pencolor()

fillcolor()

Preenchimento

filling()

begin_fill()

end_fill()

Mais sobre o Controle do Desenho

reset()

clear()

write()

Estado da tartaruga

Visibilidade

showturtle() | st()

hideturtle() | ht()

isvisible()

Aparência

shape()

resizemode()

shapesize() | turtlesize()

shearfactor()

tiltangle()

tilt()

shapetransform()

get_shapepoly()

Eventos Utilizados

onclick()

onrelease()

ondrag()

Métodos Especiais da Tartaruga

begin_poly()

end_poly()

get_poly()

clone()

getturtle() | getpen()

getscreen()

setundobuffer()

undobufferentries()

Métodos de TurtleScreen/Screen

Controle da Janela

bgcolor()

bgpic()

clearscreen()

resetscreen()

screensize()

setworldcoordinates()

Controle da animação

delay()

tracer()

update()

Usando os eventos de tela

listen()

onkey() | onkeyrelease()

onkeypress()

onclick() | onscreenclick()

ontimer()

mainloop() | done()

Configurações e métodos especiais

mode()

colormode()

getcanvas()

getshapes()

register_shape() | addshape()

turtles()

window_height()

window_width()

Métodos de entrada

textinput()

numinput()

Métodos específicos para Screen

bye()

exitonclick()

setup()

title()

Métodos de RawTurtle/Turtle e funções correspondentes

A maioria dos exemplos desta seção referem-se a uma instância Turtle chamada turtle.

Movimentos de Turtle

turtle.forward(distance)

turtle.fd(distance)

Parâmetros:

distance – um número (inteiro ou ponto flutuante)

Move a tartaruga para frente pela distance especificada, na direção em que a tartaruga está indo.

>>> turtle.position()
(0.00,0.00)
>>> turtle.forward(25)
>>> turtle.position()
(25.00,0.00)
>>> turtle.forward(-75)
>>> turtle.position()
(-50.00,0.00)

turtle.back(distance)

turtle.bk(distance)

turtle.backward(distance)

Parâmetros:

distance – um número

Move a tartaruga para trás por distance, na direção oposta à direção em que a tartaruga está indo. Não muda o rumo da tartaruga.

>>> turtle.position()
(0.00,0.00)
>>> turtle.backward(30)
>>> turtle.position()
(-30.00,0.00)

turtle.right(angle)

turtle.rt(angle)

Parâmetros:

angle – um número (inteiro ou ponto flutuante)

Vira a tartaruga à direita por unidades de angle. (As unidades são por padrão graus, mas podem ser definidas através das funções degrees() e radians().) A orientação do ângulo depende do modo tartaruga, veja mode().

>>> turtle.heading()
22.0
>>> turtle.right(45)
>>> turtle.heading()
337.0

turtle.left(angle)

turtle.lt(angle)

Parâmetros:

angle – um número (inteiro ou ponto flutuante)

Vira a tartaruga à esquerda por unidades de angle. (As unidades são por padrão graus, mas podem ser definidas através das funções degrees() e radians().) A orientação do ângulo depende do modo tartaruga, veja mode().

>>> turtle.heading()
22.0
>>> turtle.left(45)
>>> turtle.heading()
67.0

turtle.goto(x, y=None)

turtle.setpos(x, y=None)

turtle.setposition(x, y=None)

Parâmetros:

x – um número ou um par/vetor de números

y – um número ou None

Se y for None, x deve ser um par de coordenadas ou uma classe Vec2D (por exemplo, como retornado pela função pos()).

Move a tartaruga para uma posição absoluta. Caso a caneta esteja virada para baixo, traça a linha. Não altera a orientação da tartaruga.

>>> tp = turtle.pos()
>>> tp
(0.00,0.00)
>>> turtle.setpos(60,30)
>>> turtle.pos()
(60.00,30.00)
>>> turtle.setpos((20,80))
>>> turtle.pos()
(20.00,80.00)
>>> turtle.setpos(tp)
>>> turtle.pos()
(0.00,0.00)

turtle.teleport(x, y=None, *, fill_gap=False)

Parâmetros:

x – um número ou None

y – um número ou None

fill_gap – um valor booleano

Move a tartaruga para uma posição absoluta. Ao contrário de goto(x, y), uma linha não será desenhada. A orientação da tartaruga não muda. Se estiver sendo preenchido no momento, o(s) polígono(s) teletransportado(s) será(ão) preenchido(s) após sair, e o preenchimento começará novamente após o teletransporte. Isso pode ser desabilitado com fill_gap=True, o que faz com que a linha imaginária percorrida durante o teletransporte atue como uma barreira de preenchimento como em goto(x, y).

>>> tp = turtle.pos()
>>> tp
(0.00,0.00)
>>> turtle.teleport(60)
>>> turtle.pos()
(60.00,0.00)
>>> turtle.teleport(y=10)
>>> turtle.pos()
(60.00,10.00)
>>> turtle.teleport(20, 30)
>>> turtle.pos()
(20.00,30.00)

Adicionado na versão 3.12.

turtle.setx(x)

Parâmetros:

x – um número (inteiro ou ponto flutuante)

Define a primeira coordenada da tartaruga para x, deixa a segunda coordenada inalterada.

>>> turtle.position()
(0.00,240.00)
>>> turtle.setx(10)
>>> turtle.position()
(10.00,240.00)

turtle.sety(y)

Parâmetros:

y – um número (inteiro ou ponto flutuante)

Defina a segunda coordenada da tartaruga para y, deixa a primeira coordenada inalterada.

>>> turtle.position()
(0.00,40.00)
>>> turtle.sety(-10)
>>> turtle.position()
(0.00,-10.00)

turtle.setheading(to_angle)

turtle.seth(to_angle)

Parâmetros:

to_angle – um número (inteiro ou ponto flutuante)

Define a orientação da tartaruga para to_angle. Aqui estão algumas direções mais comuns em graus:

modo padrão

modo logo

0 - leste

0 - norte

90 - norte

90 - leste

180 - oeste

180 - sul

270 - sul

270 - oeste

>>> turtle.setheading(90)
>>> turtle.heading()
90.0

turtle.home()

Move a tartaruga para a origem – coordenadas (0,0) – e define seu rumo para sua orientação inicial (que depende do modo, veja mode()).

>>> turtle.heading()
90.0
>>> turtle.position()
(0.00,-10.00)
>>> turtle.home()
>>> turtle.position()
(0.00,0.00)
>>> turtle.heading()
0.0

turtle.circle(radius, extent=None, steps=None)

Parâmetros:

radius – um número

extent – um número (ou None)

steps – um inteiro (ou None)

Desenha um círculo com dado radius. O centro são as unidades de radius à esquerda da tartaruga; extent – um ângulo – determina qual parte do círculo é desenhada. Se extent não for fornecida, desenha o círculo inteiro. Se extent não for um círculo completo, uma extremidade do arco será a posição atual da caneta. Desenha o arco no sentido anti-horário se radius for positivo, caso contrário, no sentido horário. Finalmente, a direção da tartaruga é alterada pela quantidade de extent.

Como o círculo é aproximado por um polígono regular inscrito, steps determina o número de passos a serem usados. Caso não seja informado, será calculado automaticamente. Pode ser usado para desenhar polígonos regulares.

>>> turtle.home()
>>> turtle.position()
(0.00,0.00)
>>> turtle.heading()
0.0
>>> turtle.circle(50)
>>> turtle.position()
(-0.00,0.00)
>>> turtle.heading()
0.0
>>> turtle.circle(120, 180)  # draw a semicircle
>>> turtle.position()
(0.00,240.00)
>>> turtle.heading()
180.0

turtle.dot(size=None, *color)

Parâmetros:

size – um inteiro >= 1 (caso seja fornecido)

color – uma string de cores ou uma tupla de cores numéricas

Desenha um ponto circular com diâmetro size, usando color. Se size não for fornecido, o máximo de pensize+4 e 2*pensize será usado.

>>> turtle.home()
>>> turtle.dot()
>>> turtle.fd(50); turtle.dot(20, "blue"); turtle.fd(50)
>>> turtle.position()
(100.00,-0.00)
>>> turtle.heading()
0.0

turtle.stamp()

Carimba uma cópia da forma da tartaruga na tela na posição atual da tartaruga. Retorna um stamp_id para esse carimbo, que pode ser usado para excluí-lo chamando clearstamp(stamp_id).

>>> turtle.color("blue")
>>> stamp_id = turtle.stamp()
>>> turtle.fd(50)

turtle.clearstamp(stampid)

Parâmetros:

stampid – um inteiro, deve ser o valor de retorno da chamada de stamp() anterior

Exclui o carimbo com o stamp fornecido.

>>> turtle.position()
(150.00,-0.00)
>>> turtle.color("blue")
>>> astamp = turtle.stamp()
>>> turtle.fd(50)
>>> turtle.position()
(200.00,-0.00)
>>> turtle.clearstamp(astamp)
>>> turtle.position()
(200.00,-0.00)

turtle.clearstamps(n=None)

Parâmetros:

n – um inteiro (ou None)

Exclui todos ou o primeiro/último n dos selos da tartaruga. Se n for None, exclui todos os carimbos, se n > 0 exclui os primeiros n carimbos, senão se n < 0 exclui os últimos n carimbos.

>>> for i in range(8):
...     unused_stamp_id = turtle.stamp()
...     turtle.fd(30)
>>> turtle.clearstamps(2)
>>> turtle.clearstamps(-2)
>>> turtle.clearstamps()

turtle.undo()

Desfaz (repetidamente) a(s) última(s) ação(ões) da tartaruga. O número de ações de desfazer disponíveis é determinado pelo tamanho do buffer de desfazer.

>>> for i in range(4):
...     turtle.fd(50); turtle.lt(80)
...
>>> for i in range(8):
...     turtle.undo()

turtle.speed(speed=None)

Parâmetros:

speed – um inteiro no intervalo 0..10 ou uma string de velocidade (veja abaixo)

Define a velocidade da tartaruga para um valor inteiro no intervalo 0..10. Se nenhum argumento for fornecido, retorna a velocidade atual.

Se a entrada for um número maior que 10 ou menor que 0,5, a velocidade é definida como 0. As strings de velocidade são mapeadas para valores de velocidade da seguinte forma:

“fastest”: 0

“fast”: 10

“normal”: 6

“slow”: 3

“slowest”: 1

Velocidades de 1 a 10 tornam a animação cada vez mais rápida, tanto para o desenho da linha como para a rotação da tartaruga.

Atenção: speed = 0 significa que nenhuma animação ocorre. Para frente/trás faz a tartaruga pular e da mesma forma para esquerda/direita faz a tartaruga girar instantaneamente.

>>> turtle.speed()
3
>>> turtle.speed('normal')
>>> turtle.speed()
6
>>> turtle.speed(9)
>>> turtle.speed()
9

Fala o estado de Turtle

turtle.position()

turtle.pos()

Retorna a localização atual da tartaruga (x,y) (como um vetor Vec2D).

>>> turtle.pos()
(440.00,-0.00)

turtle.towards(x, y=None)

Parâmetros:

x – um número ou um par/vetor de números ou uma instância de tartaruga

y – um número caso x seja um número, senão None

Retorna o ângulo entre a linha da posição da tartaruga para a posição especificada por (x,y), o vetor ou a outra tartaruga. Isso depende da orientação inicial da tartaruga, que depende do modo - “standard”/”world” ou “logo”.

>>> turtle.goto(10, 10)
>>> turtle.towards(0,0)
225.0

turtle.xcor()

Retorna a coordenada X da tartaruga.

>>> turtle.home()
>>> turtle.left(50)
>>> turtle.forward(100)
>>> turtle.pos()
(64.28,76.60)
>>> print(round(turtle.xcor(), 5))
64.27876

turtle.ycor()

Retorna a coordenada Y da tartaruga.

>>> turtle.home()
>>> turtle.left(60)
>>> turtle.forward(100)
>>> print(turtle.pos())
(50.00,86.60)
>>> print(round(turtle.ycor(), 5))
86.60254

turtle.heading()

Retorna o título atual da tartaruga (o valor depende do modo da tartaruga, veja mode()).

>>> turtle.home()
>>> turtle.left(67)
>>> turtle.heading()
67.0

turtle.distance(x, y=None)

Parâmetros:

x – um número ou um par/vetor de números ou uma instância de tartaruga

y – um número caso x seja um número, senão None

Retorna a distância da tartaruga para (x,y), o vetor dado, ou a outra tartaruga dada, em unidades de passo de tartaruga.

>>> turtle.home()
>>> turtle.distance(30,40)
50.0
>>> turtle.distance((30,40))
50.0
>>> joe = Turtle()
>>> joe.forward(77)
>>> turtle.distance(joe)
77.0

Configurações de medida

turtle.degrees(fullcircle=360.0)

Parâmetros:

fullcircle – um número

Define as unidades de medição do ângulo, ou seja, defina o número de “graus” para um círculo completo. O valor padrão é 360 graus.

>>> turtle.home()
>>> turtle.left(90)
>>> turtle.heading()
90.0

Change angle measurement unit to grad (also known as gon,
grade, or gradian and equals 1/100-th of the right angle.)
>>> turtle.degrees(400.0)
>>> turtle.heading()
100.0
>>> turtle.degrees(360)
>>> turtle.heading()
90.0

turtle.radians()

Define as unidades de medida de ângulo para radianos. Equivalente a degrees(2*math.pi).

>>> turtle.home()
>>> turtle.left(90)
>>> turtle.heading()
90.0
>>> turtle.radians()
>>> turtle.heading()
1.5707963267948966

Controle da Caneta

Estado do Desenho

turtle.pendown()

turtle.pd()

turtle.down()

Desce a caneta - desenha ao se mover.

turtle.penup()

turtle.pu()

turtle.up()

Levanta a caneta – sem qualquer desenho ao se mover.

turtle.pensize(width=None)

turtle.width(width=None)

Parâmetros:

width – um número positivo

Define a espessura da linha para width ou retorne-a. Se resizemode estiver definido como “auto” e a forma de tartaruga for um polígono, esse polígono será desenhado com a mesma espessura de linha. Se nenhum argumento for fornecido, o tamanho da pena atual será retornado.

>>> turtle.pensize()
1
>>> turtle.pensize(10)   # from here on lines of width 10 are drawn

turtle.pen(pen=None, **pendict)

Parâmetros:

pen – um dicionário com algumas ou todas as chaves listadas abaixo

pendict – um ou mais argumentos nomeados com as chaves listadas abaixo como palavras-chave

Retorna ou define os atributos da caneta em um “dicionário da caneta” com os seguintes pares de chave/valor:

“shown”: True/False

“pendown”: True/False

“pencolor”: string de cores ou tupla de cores

“fillcolor”: string de cores ou tupla de cores

“pensize”: número positivo

“speed”: número na faixa de 0..10.

“resizemode”: “auto”, “user” ou “noresize”

“stretchfactor”: (número positivo, número positivo)

“outline”: número positivo

“tilt”: número

Este dicionário pode ser usado como argumento para uma chamada subsequente para pen() para restaurar o estado da caneta anterior. Além disso, um ou mais desses atributos podem ser fornecidos como argumentos nomeados. Isso pode ser usado para definir vários atributos de caneta em uma instrução.

>>> turtle.pen(fillcolor="black", pencolor="red", pensize=10)
>>> sorted(turtle.pen().items())
[('fillcolor', 'black'), ('outline', 1), ('pencolor', 'red'),
 ('pendown', True), ('pensize', 10), ('resizemode', 'noresize'),
 ('shearfactor', 0.0), ('shown', True), ('speed', 9),
 ('stretchfactor', (1.0, 1.0)), ('tilt', 0.0)]
>>> penstate=turtle.pen()
>>> turtle.color("yellow", "")
>>> turtle.penup()
>>> sorted(turtle.pen().items())[:3]
[('fillcolor', ''), ('outline', 1), ('pencolor', 'yellow')]
>>> turtle.pen(penstate, fillcolor="green")
>>> sorted(turtle.pen().items())[:3]
[('fillcolor', 'green'), ('outline', 1), ('pencolor', 'red')]

turtle.isdown()

Retorna True se a caneta estiver abaixada, False se estiver levantada.

>>> turtle.penup()
>>> turtle.isdown()
False
>>> turtle.pendown()
>>> turtle.isdown()
True

Controle da Cor

turtle.pencolor(*args)

Retorna ou define a cor da caneta ou pencolor.

São permitidos quatro formatos de entrada:

pencolor()

Retorna a cor da caneta atual como string de especificação de cor ou como uma tupla (veja o exemplo). Pode ser usado como entrada para outra chamada color/pencolor/fillcolor.

pencolor(colorstring)

Define pencolor como colorstring, que é uma string de especificação de cor Tk, como "red", "yellow" ou "#33cc8c".

pencolor((r, g, b))

Define a cor da caneta como a cor RGB representada pela tupla r, g, e b. Os valores de r, g, and b precisam estar na faixa 0..colormode, onde colormode é 1.0 ou 255 (ver colormode()).

pencolor(r, g, b)

Define a cor da caneta como a cor RGB representada por r, g, e b. Os valores de r, g, and b precisam estar na faixa 0..colormode.

Se a forma da tartaruga for um polígono, o contorno desse polígono será desenhado com a nova cor de caneta definida.

>>> colormode()
1.0
>>> turtle.pencolor()
'red'
>>> turtle.pencolor("brown")
>>> turtle.pencolor()
'brown'
>>> tup = (0.2, 0.8, 0.55)
>>> turtle.pencolor(tup)
>>> turtle.pencolor()
(0.2, 0.8, 0.5490196078431373)
>>> colormode(255)
>>> turtle.pencolor()
(51.0, 204.0, 140.0)
>>> turtle.pencolor('#32c18f')
>>> turtle.pencolor()
(50.0, 193.0, 143.0)

turtle.fillcolor(*args)

Retorna ou define o fillcolor.

São permitidos quatro formatos de entrada:

fillcolor()

Retorna a cor de preenchimento atual como string, ou em formato de tupla (veja o exemplo). Pode ser usado como entrada para outra chamada color/pencolor/fillcolor.

fillcolor(colorstring)

Define fillcolor como colorstring, que é uma especificação de cor do Tk em formato de string, como "red", "yellow", ou "#33cc8c".

fillcolor((r, g, b))

Define fillcolor como a cor no padrão RGB representada por tupla de r, g e b. Cada um de r, g e b deve estar no limite 0..colormode, em que colormode é 1,0 ou 255 (consulte colormode()).

fillcolor(r, g, b)

Define fillcolor como uma cor no formato RGB representada por r, g e b. Cada um dos elementos r, g e b devem estar no limite 0..colormode.

Se turtleshape for um polígono, o interior desse polígono será desenhado com a nova cor de preenchimento definida.

>>> turtle.fillcolor("violet")
>>> turtle.fillcolor()
'violet'
>>> turtle.pencolor()
(50.0, 193.0, 143.0)
>>> turtle.fillcolor((50, 193, 143))  # Integers, not floats
>>> turtle.fillcolor()
(50.0, 193.0, 143.0)
>>> turtle.fillcolor('#ffffff')
>>> turtle.fillcolor()
(255.0, 255.0, 255.0)

turtle.color(*args)

Retorna ou define os valores de pencolor e fillcolor.

Diversos formatos de entrada são permitidos. Eles usam de 0 a 3 argumentos da seguinte forma:

color()

Retorna os valores atuais de pencolor e fillcollor como um par de cores como strings ou tuplas conforme retornado por pencolor() e fillcolor().

color(colorstring), color((r,g,b)), color(r,g,b)

Entradas como em pencolor(), define ambos, fillcolor e pencolor, para o valor informado.

color(colorstring1, colorstring2), color((r1,g1,b1), (r2,g2,b2))

Equivalente a pencolor(colorstring1) e fillcolor(colorstring2) e de forma análoga se a outra formatação de entrada for usada.

Se o turtleshape for um polígono, o contorno e o interior desse polígono serão desenhados com as cores recém-definidas.

>>> turtle.color("red", "green")
>>> turtle.color()
('red', 'green')
>>> color("#285078", "#a0c8f0")
>>> color()
((40.0, 80.0, 120.0), (160.0, 200.0, 240.0))

Veja também: Método da tela colormode().

Preenchimento

turtle.filling()

Retorna fillstate (True se estiver preenchido, False caso contrário).

>>> turtle.begin_fill()
>>> if turtle.filling():
...    turtle.pensize(5)
... else:
...    turtle.pensize(3)

turtle.begin_fill()

Deve ser chamado antes de desenhar uma forma a ser preenchida.

turtle.end_fill()

Preenche a forma desenhada após a última chamada para begin_fill().

O preenchimento ou não de regiões sobrepostas para polígonos que se cruzam ou formas múltiplas depende dos gráficos do sistema operacional, do tipo de sobreposição e do número de sobreposições. Por exemplo, a estrela da Tartaruga acima pode ser toda amarela ou ter algumas regiões brancas.

>>> turtle.color("black", "red")
>>> turtle.begin_fill()
>>> turtle.circle(80)
>>> turtle.end_fill()

Mais sobre o Controle do Desenho

turtle.reset()

Remove os desenhos da tartaruga da tela, centraliza novamente a tartaruga e define as variáveis para os valores padrões.

>>> turtle.goto(0,-22)
>>> turtle.left(100)
>>> turtle.position()
(0.00,-22.00)
>>> turtle.heading()
100.0
>>> turtle.reset()
>>> turtle.position()
(0.00,0.00)
>>> turtle.heading()
0.0

turtle.clear()

Exclui os desenhos da tartaruga da tela e não move a tartaruga. O atual estado e posição da tartaruga, bem como os desenhos de outras tartarugas, não são afetados.

turtle.write(arg, move=False, align='left', font=('Arial', 8, 'normal'))

Parâmetros:

arg – objeto a ser escrito na TurtleScreen

move – True/False

align – uma das Strings “left”, “center” ou right”

font – a triple (fontname, fontsize, fonttype)

Escreve o texto - a representação string de arg - na posição atual da tartaruga de acordo com align (“left”, “center” ou “right”) e com a fonte fornecida. Se move for verdadeiro, a caneta será movida para o canto inferior direito do texto. Por padrão, move é False.

>>> turtle.write("Home = ", True, align="center")
>>> turtle.write((0,0), True)

Estado da tartaruga

Visibilidade

turtle.hideturtle()

turtle.ht()

Torna a tartaruga invisível. É uma boa ideia fazer isso enquanto estiver fazendo algum desenho complexo, pois ocultar a tartaruga acelera o desenho de forma visível.

>>> turtle.hideturtle()

turtle.showturtle()

turtle.st()

Tornar a tartaruga visível.

>>> turtle.showturtle()

turtle.isvisible()

Retorna True se a Tartaruga for exibida, False se estiver oculta.

>>> turtle.hideturtle()
>>> turtle.isvisible()
False
>>> turtle.showturtle()
>>> turtle.isvisible()
True

Aparência

turtle.shape(name=None)

Parâmetros:

name – uma string que é um shapename válido

Define a forma da tartaruga para a forma com o nome fornecido ou, se o nome não for fornecido, retorna nome da forma atual. A forma com name deve existir no dicionário TurtleScreen. Inicialmente, há as seguintes formas de polígono: “arrow” (seta), “turtle” (tartaruga), “circle” (círculo), “square” (quadrado), “triangle” (triângulo), “classic” (clássico). Para saber mais sobre como lidar com formas, consulte o método Screen register_shape() .

>>> turtle.shape()
'classic'
>>> turtle.shape("turtle")
>>> turtle.shape()
'turtle'

turtle.resizemode(rmode=None)

Parâmetros:

rmode – uma das Strings “auto”, “user”, “noresize”

Define resizemode como um dos valores: “auto”, “user”, “noresize”. Se rmode não for fornecido, retorna o modo de redimensionamento atual. Os diferentes modos de redimensionamento têm os seguintes efeitos:

“auto”: adapta a aparência da tartaruga correspondente ao valor do pensize.

“user”: adapta a aparência da tartaruga de acordo com os valores de stretchfactor e outlinewidth (outline), que são definidos por shapesize().

“noresize”: não acontece nenhuma adaptação na aparência da tartaruga.

resizemode("user") é chamado por shapesize() quando usado com argumentos.

>>> turtle.resizemode()
'noresize'
>>> turtle.resizemode("auto")
>>> turtle.resizemode()
'auto'

turtle.shapesize(stretch_wid=None, stretch_len=None, outline=None)

turtle.turtlesize(stretch_wid=None, stretch_len=None, outline=None)

Parâmetros:

stretch_wid – número positivo

stretch_len – número positivo

outline – número positivo

Retorna ou define os atributos x/y-stretchfactors e/ou contorno da caneta. Define o modo de redimensionamento como “usuário”. Se e somente se resizemode estiver definido como “user”, a tartaruga será exibida esticada de acordo com seus stretchfactors: stretch_wid é stretchfactor perpendicular à sua orientação, stretch_len é stretchfactor na direção de sua orientação, outline determina a largura do contorno da forma.

>>> turtle.shapesize()
(1.0, 1.0, 1)
>>> turtle.resizemode("user")
>>> turtle.shapesize(5, 5, 12)
>>> turtle.shapesize()
(5, 5, 12)
>>> turtle.shapesize(outline=8)
>>> turtle.shapesize()
(5, 5, 8)

turtle.shearfactor(shear=None)

Parâmetros:

shear – número (opcional)

Define ou retorna o fator de shearfactor atual. Corta a forma de tartaruga de acordo com o fator de shearfactor fornecido, que é a tangente do ângulo de shearfactor. Não muda a direção da tartaruga (direção do movimento). Se o shearfactor não for fornecido: retorna o fator de shearfactor atual, i. Isso é. a tangente do ângulo de shearfactor, pelo qual as linhas paralelas à direção da tartaruga são cortadas.

>>> turtle.shape("circle")
>>> turtle.shapesize(5,2)
>>> turtle.shearfactor(0.5)
>>> turtle.shearfactor()
0.5

turtle.tilt(angle)

Parâmetros:

angle – um número

Gira a forma de tartaruga em um ângulo a partir de seu ângulo de inclinação atual, mas não altera o rumo da tartaruga (direção do movimento).

>>> turtle.reset()
>>> turtle.shape("circle")
>>> turtle.shapesize(5,2)
>>> turtle.tilt(30)
>>> turtle.fd(50)
>>> turtle.tilt(30)
>>> turtle.fd(50)

turtle.tiltangle(angle=None)

Parâmetros:

angle – um número (opcional)

Define ou retorna o ângulo de inclinação atual. Se o ângulo for fornecido, gira a forma de tartaruga para apontar na direção especificada pelo ângulo, independentemente do seu ângulo de inclinação atual. Não muda a direção da tartaruga (direção do movimento). Se o ângulo não for fornecido: retorna o ângulo de inclinação atual, que é o ângulo entre a orientação da forma da tartaruga e a direção da tartaruga (sua direção de movimento).

>>> turtle.reset()
>>> turtle.shape("circle")
>>> turtle.shapesize(5,2)
>>> turtle.tilt(45)
>>> turtle.tiltangle()
45.0

turtle.shapetransform(t11=None, t12=None, t21=None, t22=None)

Parâmetros:

t11 – um número (opcional)

t12 – um número (opcional)

t21 – um número (opcional)

t12 – um número (opcional)

Define ou retorna a matriz de transformação atual da forma da tartaruga.

Se nenhum dos elementos da matriz for fornecido, retorna a matriz de transformação como uma tupla de 4 elementos. Caso contrário, define os elementos fornecidos e transforma a forma da tartaruga de acordo com a matriz que consiste na primeira linha t11, t12 e na segunda linha t21, t22. O resultado de t11 * t22 - t12 * t21 não deve ser zero, caso contrário será gerado um erro. Modifica stretchfactor, shearfactor e tiltangle de acordo com a matriz fornecida.

>>> turtle = Turtle()
>>> turtle.shape("square")
>>> turtle.shapesize(4,2)
>>> turtle.shearfactor(-0.5)
>>> turtle.shapetransform()
(4.0, -1.0, -0.0, 2.0)

turtle.get_shapepoly()

Retorna o polígono da forma atual como uma tupla de pares de coordenadas. Isto pode ser usado para definir uma nova forma ou componentes de uma forma composta.

>>> turtle.shape("square")
>>> turtle.shapetransform(4, -1, 0, 2)
>>> turtle.get_shapepoly()
((50, -20), (30, 20), (-50, 20), (-30, -20))

Eventos Utilizados

turtle.onclick(fun, btn=1, add=None)

Parâmetros:

fun – um função com dois argumento que serão chamados com as coordenadas do ponto clicado na tela

btn – número do botão do mouse, o padrão é 1 (botão esquerdo do mouse)

add – True ou False – se True, uma nova ligação será adicionada; caso contrário, ela substituirá uma ligação antiga

Vincula fun a eventos de clique do mouse nessa tartaruga. Se fun for None, as associações existentes serão removidas. Exemplo para a tartaruga anônima, ou seja, a forma processual:

>>> def turn(x, y):
...     left(180)
...
>>> onclick(turn)  # Now clicking into the turtle will turn it.
>>> onclick(None)  # event-binding will be removed

turtle.onrelease(fun, btn=1, add=None)

Parâmetros:

fun – um função com dois argumento que serão chamados com as coordenadas do ponto clicado na tela

btn – número do botão do mouse, o padrão é 1 (botão esquerdo do mouse)

add – True ou False – se True, uma nova ligação será adicionada; caso contrário, ela substituirá uma ligação antiga

Vincule fun aos eventos de liberação do botão do mouse nesta tartaruga. Se fun for None, as associações existentes serão removidas.

>>> class MyTurtle(Turtle):
...     def glow(self,x,y):
...         self.fillcolor("red")
...     def unglow(self,x,y):
...         self.fillcolor("")
...
>>> turtle = MyTurtle()
>>> turtle.onclick(turtle.glow)     # clicking on turtle turns fillcolor red,
>>> turtle.onrelease(turtle.unglow) # releasing turns it to transparent.

turtle.ondrag(fun, btn=1, add=None)

Parâmetros:

fun – um função com dois argumento que serão chamados com as coordenadas do ponto clicado na tela

btn – número do botão do mouse, o padrão é 1 (botão esquerdo do mouse)

add – True ou False – se True, uma nova ligação será adicionada; caso contrário, ela substituirá uma ligação antiga

Vincule fun a eventos de movimentação do mouse nessa tartaruga. Se fun for None, as associações existentes serão removidas.

Observação: Cada sequência de eventos de movimento do mouse em uma tartaruga é precedida por um evento de clique do mouse naquela tartaruga.

>>> turtle.ondrag(turtle.goto)

Posteriormente, clicar e arrastar a Tartaruga a moverá pela tela, produzindo desenhos à mão (se a caneta estiver deitada).

Métodos Especiais da Tartaruga

turtle.begin_poly()

Começa a registrar os vértices de um polígono. A posição atual da tartaruga é o primeiro vértice do polígono.

turtle.end_poly()

Para de registrar os vértices de um polígono. A posição atual da tartaruga é o último vértice do polígono. Isto será conectado ao primeiro vértice.

turtle.get_poly()

Retorna o último polígono registrado.

>>> turtle.home()
>>> turtle.begin_poly()
>>> turtle.fd(100)
>>> turtle.left(20)
>>> turtle.fd(30)
>>> turtle.left(60)
>>> turtle.fd(50)
>>> turtle.end_poly()
>>> p = turtle.get_poly()
>>> register_shape("myFavouriteShape", p)

turtle.clone()

Cria e retorna um clone da tartaruga com a mesma posição, direção e propriedades da tartaruga original.

>>> mick = Turtle()
>>> joe = mick.clone()

turtle.getturtle()

turtle.getpen()

Retorna o próprio objeto Turtle. Uso recomendado: como função para retornar a “tartaruga anônima”:

>>> pet = getturtle()
>>> pet.fd(50)
>>> pet
<turtle.Turtle object at 0x...>

turtle.getscreen()

Retorna o objeto TurtleScreen no qual a tartaruga está sendo desenhada. Os métodos de TurtleScreen podem então ser chamados para este objeto.

>>> ts = turtle.getscreen()
>>> ts
<turtle._Screen object at 0x...>
>>> ts.bgcolor("pink")

turtle.setundobuffer(size)

Parâmetros:

size – um inteiro ou None

Define ou desativa o undobuffer. Se size for um inteiro, um undobuffer vazio de determinado tamanho será instalado. size fornece o número máximo de ações da tartaruga que podem ser desfeitas pelo método/função undo() . Se size for None, o undobuffer será desativado.

>>> turtle.setundobuffer(42)

turtle.undobufferentries()

Retorna o número de entradas no undobuffer.

>>> while undobufferentries():
...     undo()

Formas compostas

Para usar formas de tartaruga compostas, que consistem em vários polígonos de cores diferentes, você deve usar a classe auxiliar Shape explicitamente, conforme descrito abaixo:

Crie um objeto Shape vazio do tipo “compound”.

Adicione quantos componentes desejar a esse objeto, usando o método addcomponent().

Por exemplo:

>>> s = Shape("compound")
>>> poly1 = ((0,0),(10,-5),(0,10),(-10,-5))
>>> s.addcomponent(poly1, "red", "blue")
>>> poly2 = ((0,0),(10,-5),(-10,-5))
>>> s.addcomponent(poly2, "blue", "red")

Agora, adicione o Shape à lista de formas da tela e use-o:

>>> register_shape("myshape", s)
>>> shape("myshape")

Nota

A classe Shape é usada internamente pelo método register_shape() de diferentes maneiras. O programador da aplicação precisa lidar com a classe Shape somente ao usar formas compostas como as mostradas acima!

métodos do TurtleScreen/Screen e as funções correspondentes

A maioria dos exemplos desta seção se refere a uma instância de TurtleScreen chamada screen.

Controle da Janela

turtle.bgcolor(*args)

Parâmetros:

args – uma sequência de cores ou três números no intervalo 0..colormode ou uma tupla de 3 elementos desses números

Define ou retorna a cor de fundo do TurtleScreen.

>>> screen.bgcolor("orange")
>>> screen.bgcolor()
'orange'
>>> screen.bgcolor("#800080")
>>> screen.bgcolor()
(128.0, 0.0, 128.0)

turtle.bgpic(picname=None)

Parâmetros:

picname – um string, um nome de um arquivo gif ou "nopic", ou None

Configura a imagem de fundo ou retorna nome da imagem de fundo atual. Se picname for um nome de arquivo, definirá a imagem correspondente como plano de fundo. Se picname for "nopic", exclui a imagem de fundo, caso haja. Se picname for None, retorna o nome do arquivo da imagem de fundo atual:

>>> screen.bgpic()
'nopic'
>>> screen.bgpic("landscape.gif")
>>> screen.bgpic()
"landscape.gif"

turtle.clear()

Nota

Este método de TurtleScreen está disponível como uma função global somente sob o nome clearscreen. A função global clear é derivada de forma diferente do método de Turtle clear .

turtle.clearscreen()

Remove todos os desenhos e todas as tartarugas da TurtleScreen. Redefine a TurtleScreen, agora vazia, para seu estado inicial: fundo branco, sem imagem de fundo, sem vínculos de eventos e rastreamento ativado.

turtle.reset()

Nota

Este método de TurtleScreen está disponível como uma função global somente com o nome resetscreen. A função global reset é outra derivada do método de Turtle reset .

turtle.resetscreen()

Reinicia todas as Turtles em Screen para seu estado inicial.

turtle.screensize(canvwidth=None, canvheight=None, bg=None)

Parâmetros:

canvwidth – positivo inteiro, a nova largura da tela em pixels

canvheight – positivo inteiro, a nova altura da tela em pixels

bg – Uma string com a cor ou uma tupla, a nova cor de fundo

Se nenhum argumento for fornecido, retorna o atual (canvaswidth, canvasheight). Caso contrário, redimensiona a tela em que as tartarugas estão desenhandas. Não altera a janela de desenho. Para observar as partes ocultas da tela, use as barras de rolagem. Com este método, é possível tornar visíveis as partes de um desenho que antes estavam fora da tela.

>>> screen.screensize()
(400, 300)
>>> screen.screensize(2000,1500)
>>> screen.screensize()
(2000, 1500)

Por exemplo, para procurar uma tartaruga que escapou por engano ;-)

turtle.setworldcoordinates(llx, lly, urx, ury)

Parâmetros:

llx – um número representando a coordenada x do canto inferior esquerdo da tela

lly – um número representando a coordenada y do canto inferior esquerdo da tela

urx – um número representando a coordenada x do canto superior direito da tela

ury – um número representando a coordenada y do canto superior direito da tela

Configura o sistema de coordenadas definido pelo usuário e muda para o modo “world”, se necessário. Isso executa um screen.reset(). Se o modo “world” já estiver ativo, todos os desenhos atuais serão redesenhados de acordo com as novas coordenadas.

ATENÇÃO: em sistemas de coordenadas definidos pelo usuário, os ângulos podem aparecer distorcidos.

>>> screen.reset()
>>> screen.setworldcoordinates(-50,-7.5,50,7.5)
>>> for _ in range(72):
...     left(10)
...
>>> for _ in range(8):
...     left(45); fd(2)   # a regular octagon

Controle da animação

turtle.delay(delay=None)

Parâmetros:

delay – um número inteiro positivo

Define ou retorna o delay do desenho em milissegundos. (Esse é aproximadamente o intervalo de tempo entre duas atualizações consecutivas da tela). Quanto maior o atraso do desenho, mais lenta será a animação.

Argumentos opcionais:

>>> screen.delay()
10
>>> screen.delay(5)
>>> screen.delay()
5

turtle.tracer(n=None, delay=None)

Parâmetros:

n – inteiro não-negativo

delay – inteiro não-negativo

Ative ou desative a animação da tartaruga e defina o atraso para atualização dos desenhos. Se n for fornecido, apenas cada n-ésima atualização regular da tela será realmente executada. (Pode ser usado para acelerar o desenho de gráficos complexos.) Quando chamado sem argumentos, retorna o valor atualmente armazenado de n. O segundo argumento define o valor do atraso (consulte delay()).

>>> screen.tracer(8, 25)
>>> dist = 2
>>> for i in range(200):
...     fd(dist)
...     rt(90)
...     dist += 2

turtle.update()

Executa uma atualização do TurtleScreen. Para ser usado quando o rastreador estiver desligado.

Veja também o método RawTurtle/Turtle speed().

Usando os eventos de tela

turtle.listen(xdummy=None, ydummy=None)

Define o foco no TurtleScreen (para coletar eventos-chave). Argumentos fictícios são fornecidos para que seja possível passar listen() para o método onclick.

turtle.onkey(fun, key)

turtle.onkeyrelease(fun, key)

Parâmetros:

fun – uma função sem argumentos ou None

key – uma string: uma tecla (por exemplo, “a”) ou o nome de uma tecla (por exemplo, “space”)

Vincula fun ao evento de liberação da tecla. Se fun for None, as ligações de eventos serão removidas. Observação: para poder registrar eventos-chave, o TurtleScreen deve ter o foco. (Veja o método listen().)

>>> def f():
...     fd(50)
...     lt(60)
...
>>> screen.onkey(f, "Up")
>>> screen.listen()

turtle.onkeypress(fun, key=None)

Parâmetros:

fun – uma função sem argumentos ou None

key – uma string: uma tecla (por exemplo, “a”) ou o nome de uma tecla (por exemplo, “space”)

Vincula fun ao evento de pressionamento de tecla se a tecla for fornecida, ou a qualquer evento de pressionamento de tecla se nenhuma tecla for fornecida. Observação: para poder registrar eventos-chave, o TurtleScreen deve ter foco. (Veja o método listen().)

>>> def f():
...     fd(50)
...
>>> screen.onkey(f, "Up")
>>> screen.listen()

turtle.onclick(fun, btn=1, add=None)

turtle.onscreenclick(fun, btn=1, add=None)

Parâmetros:

fun – um função com dois argumento que serão chamados com as coordenadas do ponto clicado na tela

btn – número do botão do mouse, o padrão é 1 (botão esquerdo do mouse)

add – True ou False – se True, uma nova ligação será adicionada; caso contrário, ela substituirá uma ligação antiga

Vincula fun a eventos de clique do mouse na tela. Se fun for None, as associações existentes serão removidas.

Exemplo de uma instância de TurtleScreen chamada screen e uma instância de Turtle chamada turtle:

>>> screen.onclick(turtle.goto) # Subsequently clicking into the TurtleScreen will
>>>                             # make the turtle move to the clicked point.
>>> screen.onclick(None)        # remove event binding again

Nota

Este método TurtleScreen está disponível como uma função global somente com o nome onscreenclick. A função global onclick é outra derivada do método de Turtle onclick .

turtle.ontimer(fun, t=0)

Parâmetros:

fun – um função sem nenhum argumento

t – um número >= 0

Instala um cronômetro que chama fun após t milissegundos.

>>> running = True
>>> def f():
...     if running:
...         fd(50)
...         lt(60)
...         screen.ontimer(f, 250)
>>> f()   ### makes the turtle march around
>>> running = False

turtle.mainloop()

turtle.done()

Inicia o loop de eventos - chamando a função principal do loop do Tkinter. Deve ser a última instrução em um programa gráfico de tartaruga. Não deve ser usado se um script for executado no IDLE no modo -n (sem subprocesso) - para uso interativo de gráficos de tartaruga.

>>> screen.mainloop()

Métodos de entrada

turtle.textinput(title, prompt)

Parâmetros:

title – string

prompt – string

Abre uma janela de diálogo para a entrada de uma string. O parâmetro title é o título da janela de diálogo, prompt é um texto que descreve as informações a serem inseridas. Se a caixa de diálogo for preenchida, retorna a string que foi informada. Se a caixa de diálogo for cancelada, retorna None.

>>> screen.textinput("NIM", "Name of first player:")

turtle.numinput(title, prompt, default=None, minval=None, maxval=None)

Parâmetros:

title – string

prompt – string

default – número (opcional)

minval – número (opcional)

maxval – número (opcional)

Abre uma janela de diálogo para a entrada de um número. O parâmetro title é o título da janela de diálogo, prompt é um texto que descreve principalmente quais informações numéricas devem ser inseridas. default: valor padrão , minval: mínimo valor para entrada, maxval: máximo valor para entrada. O número inserido deve estar no intervalo minval .. maxval, se este for fornecido. Caso contrário, será emitida uma dica e a caixa de diálogo permanecerá aberta para correção. Se a caixa de diálogo for preenchida, retorna o número informado. Se a caixa de diálogo for cancelada, retorna None.

>>> screen.numinput("Poker", "Your stakes:", 1000, minval=10, maxval=10000)

Configurações e métodos especiais

turtle.mode(mode=None)

Parâmetros:

mode – uma das strings “standard”, “logo” ou “world”

Define o modo da tartaruga (“padrão”, “logotipo” ou “mundo”) e reseta a posição. Se o modo não for fornecido, o modo atual será retornado.

O modo “standard” é compatível com o antigo turtle. O modo “logo” é compatível com a maioria dos gráficos de tartaruga. O modo “world” usa “coordenadas mundiais” definidas pelo usuário. Atenção: nesse modo, os ângulos aparecem distorcidos se a proporção de x/y não for igual a 1.

Modo

Título inicial da tartaruga

ângulos positivos

“standard”

para a direita (east)

counterclockwise

“logo”

upward (north)

sentido horário

>>> mode("logo")   # resets turtle heading to north
>>> mode()
'logo'

turtle.colormode(cmode=None)

Parâmetros:

cmode – um dos valroes 1.0 ou 255

Retorna o modo de cor ou defini-lo como 1,0 ou 255. Posteriormente, os valores r, g, b das triplas de cores devem estar no limite 0..*cmode*.

>>> screen.colormode(1)
>>> turtle.pencolor(240, 160, 80)
Traceback (most recent call last):
     ...
TurtleGraphicsError: bad color sequence: (240, 160, 80)
>>> screen.colormode()
1.0
>>> screen.colormode(255)
>>> screen.colormode()
255
>>> turtle.pencolor(240,160,80)

turtle.getcanvas()

Retorna a tela desse TurtleScreen. Útil para pessoas que sabem o que fazer com uma tela do Tkinter.

>>> cv = screen.getcanvas()
>>> cv
<turtle.ScrolledCanvas object ...>

turtle.getshapes()

Retorna uma lista dos nomes de todas as formas de tartarugas disponíveis no momento.

>>> screen.getshapes()
['arrow', 'blank', 'circle', ..., 'turtle']

turtle.register_shape(name, shape=None)

turtle.addshape(name, shape=None)

Há três maneiras diferentes de chamar essa função:

name é o nome de um arquivo gif e shape é None: Instala a forma de imagem correspondente:

>>> screen.register_shape("turtle.gif")

Nota

As formas de imagem não giram ao girar a tartaruga, portanto, elas não exibem o rumo da tartaruga!

name é uma string arbitrária e shape é um tupla de pares de coordenadas: Instala a forma de polígono correspondente.

>>> screen.register_shape("triangle", ((5,-3), (0,5), (-5,-3)))

name é uma string arbitrária e shape é um objeto (composto) Shape: Instala a forma composta correspondente.

Adiciona uma forma de tartaruga à lista de formas do TurtleScreen. Somente as formas registradas dessa forma podem ser usadas com o comando shape(shapename) .

turtle.turtles()

Retorne uma lista de tartarugas na tela.

>>> for turtle in screen.turtles():
...     turtle.color("red")

turtle.window_height()

Retorna a altura da janela da tartaruga.

>>> screen.window_height()
480

turtle.window_width()

Retorna a largura da janela da tartaruga.

>>> screen.window_width()
640

Métodos específico do Screen, estes métodos não são herdados do TurtleScreen

turtle.bye()

Fecha a janela do gráficos de tartaruga.

turtle.exitonclick()

Vincula o método bye() aos cliques do mouse na tela.

Se o valor “using_IDLE” na configuração dicionário for False (valor padrão), entra também no loop principal. Observação: Se IDLE for executado com a chave -n (sem subprocesso), esse valor deverá ser definido como True em turtle.cfg. Nesse caso, o loop principal do próprio IDLE também estará ativo para o script do cliente.

turtle.setup(width=_CFG['width'], height=_CFG['height'], startx=_CFG['leftright'], starty=_CFG['topbottom'])

Define o tamanho e a posição da janela principal. Os valores padrões dos argumentos são armazenados na configuração dicionário e podem ser alterados por meio de um arquivo turtle.cfg.

Parâmetros:

width – se for um inteiro, o tamanho em pixels; se for um float, uma fração da tela; o padrão é 50% da tela

height – se for um inteiro, a altura em pixels; se for um float, uma fração da tela; o padrão é 75% da tela

startx – se positivo, este parâmetro define a posição inicial em pixels a partir da borda esquerda da tela; se negativo, define a partir da borda direita; se None, centraliza a janela horizontalmente

starty – se positivo, este parâmetro define a posição inicial, em pixels, a partir da borda superior da tela; se negativo, define a partir da borda inferior; se for None, centraliza a janela verticalmente

>>> screen.setup (width=200, height=200, startx=0, starty=0)
>>>              # sets window to 200x200 pixels, in upper left of screen
>>> screen.setup(width=.75, height=0.5, startx=None, starty=None)
>>>              # sets window to 75% of screen by 50% of screen and centers

turtle.title(titlestring)

Parâmetros:

titlestring – uma string que é exibida na barra de título da janela de gráficos da tartaruga

Define o título da janela da tartaruga como titlestring.

>>> screen.title("Welcome to the turtle zoo!")

Classes Públicas

class turtle.RawTurtle(canvas)

class turtle.RawPen(canvas)

Parâmetros:

canvas – um tkinter.Canvas, um ScrolledCanvas ou um TurtleScreen

Cria uma tartaruga. A tartaruga tem todos os métodos descritos acima como “métodos de Turtle/RawTurtle”.

class turtle.Turtle

Subclasse do RawTurtle, tem a mesma interface, mas desenha em um objeto padrão Screen, que é criado automaticamente, quando necessário, pela primeira vez.

class turtle.TurtleScreen(cv)

Parâmetros:

cv – uma tkinter.Canvas

Fornece métodos orientado para a tela, como bgcolor() etc., que são descritos acima.

class turtle.Screen

Subclasse do TurtleScreen, com quatro métodos adicionados.

class turtle.ScrolledCanvas(master)

Parâmetros:

master – algum widget do Tkinter para conter o ScrolledCanvas. Exemplo: um Tkinter-canvas com barras de rolagem adicionadas

Usado pela classe Screen, que, portanto, fornece automaticamente um ScrolledCanvas como playground para as tartarugas.

class turtle.Shape(type_, data)

Parâmetros:

type_ – uma das strings “polygon”, “image”, “compound”

Estrutura de dados para modelar a forma. O par (type_, data) deve seguir essa especificação:

type_

data

“polygon”

Uma tupla com o par de coordenadas do polígono

“image”

uma imagem (nesse formato, usada apenas internamente!)

“compound”

None (uma forma composta deve ser construída usando o método addcomponent())

addcomponent(poly, fill, outline=None)

Parâmetros:

poly – um polígono, ou seja, um tupla de pares de números

fill – uma cor com a qual o poly será preenchido

outline – uma cor para o contorno do polígono (se fornecido)

Exemplo:

>>> poly = ((0,0),(10,-5),(0,10),(-10,-5))
>>> s = Shape("compound")
>>> s.addcomponent(poly, "red", "blue")
>>> # ... add more components and then use register_shape()

Veja Formas compostas.

class turtle.Vec2D(x, y)

Uma classe de vetor bidimensional, usada como classe auxiliar para implementar gráficos de tartaruga. Pode ser útil também para programas de gráficos de tartaruga. Derivado de uma tupla, portanto, um vetor é um tupla!

Fornece (para vetores a, b, número k):

a + b vetor adicional

a - b subtração de vetor

a * b produto interno

k * a e a * k multiplicação com escalar

abs(a) valor absoluto de um

rotação a.rotate(angle)

Explicação

Um objeto tartaruga é baseado em um objeto canvas, e há uma série de classes principais na interface orientada a objetos da tartaruga que podem ser usadas para criá-los e relacioná-los entre si.

Uma instância da classe Turtle cria automaticamente uma nova instância de Screen, caso esta não esteja presente.

Turtle é um subclasse de RawTurtle, que não cria automaticamente uma superfície de desenho - uma tela precisará ser fornecida ou criada para ele. A tela pode ser uma tkinter.Canvas, ScrolledCanvas ou TurtleScreen.

TurtleScreen é a superfície de desenho básica para uma tartaruga. Screen é uma subclasse de TurtleScreen e inclui alguns métodos adicionais para gerenciar sua aparência (incluindo tamanho e título) e comportamento. O construtor TurtleScreen precisa de um tkinter.Canvas ou um ScrolledCanvas como um argumento.

A interface funcional para gráficos de tartaruga usa os vários métodos de Turtle e TurtleScreen/Screen. Nos bastidores, um objeto de tela é criado automaticamente sempre que um função derivada de um método de Screen é chamado. Da mesma forma, um objeto de tartaruga é criado automaticamente sempre que qualquer uma das funções derivadas de um método de tartaruga é chamado.

Para usar várias tartarugas em uma tela, a interface orientada a objetos deve ser usada.

Ajuda e Configuração

Como usar a Ajuda

Os métodos públicos das classes Screen e Turtle estão amplamente documentado por meio de docstrings. Eles podem ser usados como ajuda on-line por meio dos recursos de ajuda do Python:

Ao usar o IDLE, as dicas de ferramentas mostram as assinaturas e as primeiras linhas das docstrings das chamadas de função/método digitadas.

Chamar help() em métodos ou funções exibe o seguinte docstring:

>>> help(Screen.bgcolor)
Help on method bgcolor in module turtle:

bgcolor(self, *args) unbound turtle.Screen method
    Set or return backgroundcolor of the TurtleScreen.

    Arguments (if given): a color string or three numbers
    in the range 0..colormode or a 3-tuple of such numbers.

    >>> screen.bgcolor("orange")
    >>> screen.bgcolor()
    "orange"
    >>> screen.bgcolor(0.5,0,0.5)
    >>> screen.bgcolor()
    "#800080"

>>> help(Turtle.penup)
Help on method penup in module turtle:

penup(self) unbound turtle.Turtle method
    Pull the pen up -- no drawing when moving.

    Aliases: penup | pu | up

    No argument

    >>> turtle.penup()

Os docstrings de funções que são derivados do métodos têm um formato diferente:

>>> help(bgcolor)
Help on function bgcolor in module turtle:

bgcolor(*args)
    Set or return backgroundcolor of the TurtleScreen.

    Arguments (if given): a color string or three numbers
    in the range 0..colormode or a 3-tuple of such numbers.

    Example::

      >>> bgcolor("orange")
      >>> bgcolor()
      "orange"
      >>> bgcolor(0.5,0,0.5)
      >>> bgcolor()
      "#800080"

>>> help(penup)
Help on function penup in module turtle:

penup()
    Pull the pen up -- no drawing when moving.

    Aliases: penup | pu | up

    No argument

    Example:
    >>> penup()

Esses docstrings modificados são criados automaticamente junto com as definições de função que são derivadas de métodos ao importar.

Tradução de docstrings em diferentes idiomas

Há um utilitário para criar a dicionário cujas chaves são os nomes de método e cujos valores são os docstrings dos métodos públicos das classes Screen e Turtle.

turtle.write_docstringdict(filename='turtle_docstringdict')

Parâmetros:

filename – uma string, usado como nome de arquivo

Cria e escreve um dicionário de docstring em um script Python com o nome de arquivo fornecido. Esta função deve ser chamada explicitamente (ela não é usada pelas classes gráficas da tartaruga). O dicionário docstring será gravado no script Python filename.py. O objetivo é servir como modelo para traduzir os documentos para diferentes idiomas.

Se você (ou seus alunos) quiserem usar o turtle com a ajuda on-line em seu idioma nativo, será necessário traduzir os docstrings e salvar o arquivo resultante como, por exemplo, turtle_docstringdict_german.py.

Se você tiver uma entrada específica em seu arquivo turtle.cfg, esse dicionário será lido no momento do importar e substituirá as documentações originais em inglês.

No momento da redação deste texto, há docstring dicionários em alemão e italiano. (Pedidos devem ser enviados para glingl@aon.at.)

Como configurar Screen and Turtles

A configuração padrão integrada imita a aparência e o comportamento do antigo módulo Turtle para manter a melhor compatibilidade possível com ele.

Se quiser usar uma configuração diferente que reflita melhor o recurso deste módulo ou que se adapte melhor às suas necessidades, por exemplo, para uso em uma sala de aula, você pode criar um arquivo de configuração turtle.cfg que será lido no momento de importar e modifica a configuração de acordo com suas definições.

A configuração que definida no arquivo turtle.cfg:

width = 0.5
height = 0.75
leftright = None
topbottom = None
canvwidth = 400
canvheight = 300
mode = standard
colormode = 1.0
delay = 10
undobuffersize = 1000
shape = classic
pencolor = black
fillcolor = black
resizemode = noresize
visible = True
language = english
exampleturtle = turtle
examplescreen = screen
title = Python Turtle Graphics
using_IDLE = False

Breve explicação das entradas selecionadas:

As quatro primeiras linhas correspondem aos argumentos do método Screen.setup.

As linhas 5 e 6 correspondem a argumento do método Screen.screensize.

shape pode ser qualquer uma das formas pré-definidas, como por exemplo: seta, tartaruga, etc. Para obter mais informações, consulte help(shape).

Se você não quiser usar nenhuma cor de preenchimento (ou seja, tornar a tartaruga transparente), você deve usar fillcolor = "" (todas as strings não vazias não devem ter aspas no arquivo cfg).

Se você quiser refletir o estado da tartaruga, você deve usar resizemode = auto.

Se você definir, por exemplo, language = italian, o docstringdict turtle_docstringdict_italian.py será carregado ao importar (se estiver presente no caminho de importação, por exemplo, no mesmo diretório que turtle).

As entradas exampleturtle e examplescreen definem os nomes desses objetos conforme ocorrem nas docstrings. A transformação de “método-docstrings” para “função-docstrings” excluirá esses nomes dos docstrings.

using_IDLE: Defina isso como True se você trabalha regularmente com IDLE e sua chave -n (“sem subprocesso”). Isso impedirá que o exitonclick() entre no loop principal.

Pode haver um arquivo turtle.cfg no diretório em que o turtle está armazenado e um arquivo adicional no diretório de trabalho atual. O arquivo armazenado no diretório de trabalho atual tem preferência e vai substituir as configurações do primeiro.

O diretório Lib/turtledemo contém um arquivo chamado turtle.cfg. Você pode usá-lo como um exemplo e ver seus efeitos ao executar as demonstrações (de preferência, não utilize visualizador de demonstrações).

turtledemo — Scripts de Demonstração

O pacote turtledemo inclui um conjunto de scripts de demonstração. Esses scripts podem ser executados e visualizados usando o visualizador de demonstração fornecido da seguinte forma:

python -m turtledemo

Como alternativa, você pode executar os scripts de demonstração individualmente. Por exemplo,

python -m turtledemo.bytedesign

O diretório do pacote turtledemo contém:

Um arquivo de exemplo __main__.py que pode ser usado para visualizar o código-fonte dos scripts e executá-los ao mesmo tempo.

Vários scripts que demonstram diferentes recursos do módulo turtle. Os exemplos podem ser acessados no menu Exemplos. Eles também podem ser executados de forma isolada.

Um arquivo turtle.cfg que serve como exemplo de como escrever e usar esse tipo de arquivos.

Os scripts de demonstração são:

Nome

Descrição

Recursos

bytedesign

Padrão de gráficos de tartaruga clássico complexo

tracer(), delay, update()

chaos

gráficos do modelo de Verhulst, mostram que os cálculos do computador podem gerar resultados às vezes contra as expectativas do bom senso

coordenadas mundiais

relógio

Relógio analógico que mostra o horário do seu computador

tartarugas como as mãos do relógio, ontimer

colormixer

experimento com r, g, b

ondrag()

forest

3 breadth-first trees

randomization

fractalcurves

Curvas de Hilbert & Koch

recursão

lindenmayer

ethnomathematics (indian kolams)

L-System

minimal_hanoi

Torres de Hanoi

Tartarugas retângulos como discos de Hanói (shape, shapesize)

nim

jogue o clássico jogo nim com três montes de gravetos contra o computador.

tartarugas como gravetos, acionadas por eventos (mouse, teclado)

paint

programa de desenho super minimalista

onclick()

peça

elementar

tartaruga: aparência e animação

penrose

ladrilhos irregulares com pipas e dardos

stamp()

planet_and_moon

simulação do sistema gravitacional

formas compostas, Vec2D

rosette

um padrão do artigo Wikipédia sobre gráficos de tartaruga

clone(), undo()

round_dance

tartarugas dançantes girando em pares na direção oposta

formas compostas, clonar o shapesize, inclinação, get_shapepoly, atualizar

sorting_animate

demonstração visual de diferentes tipos de métodos de ordenação

alinhamento simples, randomização

tree

uma árvore (gráfica) da largura inicial (usando geradores)

clone()

two_canvases

desenho simples

tartarugas em duas telas

yinyang

outro exemplo elementar

circle()

Diverta-se!

Modificações desde a versão do Python 2.6

O métodos Turtle.tracer, Turtle.window_width e Turtle.window_height foram removidos. O métodos com esses nomes e funcionalidades agora estão disponíveis apenas como métodos da classe Screen. As funções derivadas desses métodos continuam disponíveis. (No Python 2.6 esses métodos eram duplicações dos métodos correspondentes das classes TurtleScreen/Screen).

O método Turtle.fill() foi eliminado. O comportamento de begin_fill() e end_fill() foi ligeiramente alterado: agora, todo processo de preenchimento deve ser concluído com uma chamada para end_fill().

Um método Turtle.filling foi adicionado. Ela retorna um valor booleano: True se um processo de preenchimento estiver em andamento, False caso contrário. Esse comportamento corresponde a uma chamada fill() sem argumento em Python 2.6.

Modificações desde a versão do Python 3.0

Foram adicionados a class Turtle os métodos shearfactor() , shapetransform() e get_shapepoly(). Assim, o limite completo de transformações lineares regulares está agora disponível para transformar as formas de tartarugas. O tiltangle() foi melhorado em termos de funcionalidade: agora pode ser usado para obter ou definir o ângulo de inclinação.

Na classe Screen, o método onkeypress() foi adicionado como um complemento ao onkey(). Como esse último vincula ações ao liberar uma tecla pressionada, um apelido: onkeyrelease() também foi adicionado a ele.

O método Screen.mainloop foi adicionado. Não é mais necessário utilizar a função mainloop() quando estiver trabalhando com os objetos Screen e Turtle.

Dois novos métodos para informar dados foram adicionados: Screen.textinput e Screen.numinput. Estes métodos abrem caixas de diálogo para digitação e retornam strings e números, respectivamente.

Dois scripts de exemplo tdemo_nim.py e tdemo_round_dance.py foram adicionados ao diretório Lib/turtledemo.

cmd — Support for line-oriented command interpreters

Código-fonte: Lib/cmd.py [https://github.com/python/cpython/tree/3.13/Lib/cmd.py]

The Cmd class provides a simple framework for writing line-oriented command interpreters. These are often useful for test harnesses, administrative tools, and prototypes that will later be wrapped in a more sophisticated interface.

class cmd.Cmd(completekey='tab', stdin=None, stdout=None)

A Cmd instance or subclass instance is a line-oriented interpreter framework. There is no good reason to instantiate Cmd itself; rather, it’s useful as a superclass of an interpreter class you define yourself in order to inherit Cmd’s methods and encapsulate action methods.

The optional argument completekey is the readline name of a completion key; it defaults to Tab. If completekey is not None and readline is available, command completion is done automatically.

The default, 'tab', is treated specially, so that it refers to the Tab key on every readline.backend. Specifically, if readline.backend is editline, Cmd will use '^I' instead of 'tab'. Note that other values are not treated this way, and might only work with a specific backend.

The optional arguments stdin and stdout specify the input and output file objects that the Cmd instance or subclass instance will use for input and output. If not specified, they will default to sys.stdin and sys.stdout.

If you want a given stdin to be used, make sure to set the instance’s use_rawinput attribute to False, otherwise stdin will be ignored.

Alterado na versão 3.13: completekey='tab' is replaced by '^I' for editline.

Objetos Cmd

A Cmd instance has the following methods:

Cmd.cmdloop(intro=None)

Repeatedly issue a prompt, accept input, parse an initial prefix off the received input, and dispatch to action methods, passing them the remainder of the line as argument.

The optional argument is a banner or intro string to be issued before the first prompt (this overrides the intro class attribute).

If the readline module is loaded, input will automatically inherit bash-like history-list editing (e.g. Control-P scrolls back to the last command, Control-N forward to the next one, Control-F moves the cursor to the right non-destructively, Control-B moves the cursor to the left non-destructively, etc.).

An end-of-file on input is passed back as the string 'EOF'.

An interpreter instance will recognize a command name foo if and only if it has a method do_foo(). As a special case, a line beginning with the character '?' is dispatched to the method do_help(). As another special case, a line beginning with the character '!' is dispatched to the method do_shell() (if such a method is defined).

This method will return when the postcmd() method returns a true value. The stop argument to postcmd() is the return value from the command’s corresponding do_*() method.

If completion is enabled, completing commands will be done automatically, and completing of commands args is done by calling complete_foo() with arguments text, line, begidx, and endidx. text is the string prefix we are attempting to match: all returned matches must begin with it. line is the current input line with leading whitespace removed, begidx and endidx are the beginning and ending indexes of the prefix text, which could be used to provide different completion depending upon which position the argument is in.

Cmd.do_help(arg)

All subclasses of Cmd inherit a predefined do_help(). This method, called with an argument 'bar', invokes the corresponding method help_bar(), and if that is not present, prints the docstring of do_bar(), if available. With no argument, do_help() lists all available help topics (that is, all commands with corresponding help_*() methods or commands that have docstrings), and also lists any undocumented commands.

Cmd.onecmd(str)

Interpret the argument as though it had been typed in response to the prompt. This may be overridden, but should not normally need to be; see the precmd() and postcmd() methods for useful execution hooks. The return value is a flag indicating whether interpretation of commands by the interpreter should stop. If there is a do_*() method for the command str, the return value of that method is returned, otherwise the return value from the default() method is returned.

Cmd.emptyline()

Method called when an empty line is entered in response to the prompt. If this method is not overridden, it repeats the last nonempty command entered.

Cmd.default(line)

Method called on an input line when the command prefix is not recognized. If this method is not overridden, it prints an error message and returns.

Cmd.completedefault(text, line, begidx, endidx)

Method called to complete an input line when no command-specific complete_*() method is available. By default, it returns an empty list.

Cmd.columnize(list, displaywidth=80)

Method called to display a list of strings as a compact set of columns. Each column is only as wide as necessary. Columns are separated by two spaces for readability.

Cmd.precmd(line)

Hook method executed just before the command line line is interpreted, but after the input prompt is generated and issued. This method is a stub in Cmd; it exists to be overridden by subclasses. The return value is used as the command which will be executed by the onecmd() method; the precmd() implementation may re-write the command or simply return line unchanged.

Cmd.postcmd(stop, line)

Hook method executed just after a command dispatch is finished. This method is a stub in Cmd; it exists to be overridden by subclasses. line is the command line which was executed, and stop is a flag which indicates whether execution will be terminated after the call to postcmd(); this will be the return value of the onecmd() method. The return value of this method will be used as the new value for the internal flag which corresponds to stop; returning false will cause interpretation to continue.

Cmd.preloop()

Hook method executed once when cmdloop() is called. This method is a stub in Cmd; it exists to be overridden by subclasses.

Cmd.postloop()

Hook method executed once when cmdloop() is about to return. This method is a stub in Cmd; it exists to be overridden by subclasses.

Instances of Cmd subclasses have some public instance variables:

Cmd.prompt

The prompt issued to solicit input.

Cmd.identchars

The string of characters accepted for the command prefix.

Cmd.lastcmd

The last nonempty command prefix seen.

Cmd.cmdqueue

A list of queued input lines. The cmdqueue list is checked in cmdloop() when new input is needed; if it is nonempty, its elements will be processed in order, as if entered at the prompt.

Cmd.intro

A string to issue as an intro or banner. May be overridden by giving the cmdloop() method an argument.

Cmd.doc_header

The header to issue if the help output has a section for documented commands.

Cmd.misc_header

The header to issue if the help output has a section for miscellaneous help topics (that is, there are help_*() methods without corresponding do_*() methods).

Cmd.undoc_header

The header to issue if the help output has a section for undocumented commands (that is, there are do_*() methods without corresponding help_*() methods).

Cmd.ruler

The character used to draw separator lines under the help-message headers. If empty, no ruler line is drawn. It defaults to '='.

Cmd.use_rawinput

A flag, defaulting to true. If true, cmdloop() uses input() to display a prompt and read the next command; if false, sys.stdout.write() and sys.stdin.readline() are used. (This means that by importing readline, on systems that support it, the interpreter will automatically support Emacs-like line editing and command-history keystrokes.)

Exemplo do Cmd

The cmd module is mainly useful for building custom shells that let a user work with a program interactively.

This section presents a simple example of how to build a shell around a few of the commands in the turtle module.

Basic turtle commands such as forward() are added to a Cmd subclass with method named do_forward(). The argument is converted to a number and dispatched to the turtle module. The docstring is used in the help utility provided by the shell.

The example also includes a basic record and playback facility implemented with the precmd() method which is responsible for converting the input to lowercase and writing the commands to a file. The do_playback() method reads the file and adds the recorded commands to the cmdqueue for immediate playback:

import cmd, sys
from turtle import *

class TurtleShell(cmd.Cmd):
    intro = 'Welcome to the turtle shell.   Type help or ? to list commands.\n'
    prompt = '(turtle) '
    file = None

    # ----- basic turtle commands -----
    def do_forward(self, arg):
        'Move the turtle forward by the specified distance:  FORWARD 10'
        forward(*parse(arg))
    def do_right(self, arg):
        'Turn turtle right by given number of degrees:  RIGHT 20'
        right(*parse(arg))
    def do_left(self, arg):
        'Turn turtle left by given number of degrees:  LEFT 90'
        left(*parse(arg))
    def do_goto(self, arg):
        'Move turtle to an absolute position with changing orientation.  GOTO 100 200'
        goto(*parse(arg))
    def do_home(self, arg):
        'Return turtle to the home position:  HOME'
        home()
    def do_circle(self, arg):
        'Draw circle with given radius an options extent and steps:  CIRCLE 50'
        circle(*parse(arg))
    def do_position(self, arg):
        'Print the current turtle position:  POSITION'
        print('Current position is %d %d\n' % position())
    def do_heading(self, arg):
        'Print the current turtle heading in degrees:  HEADING'
        print('Current heading is %d\n' % (heading(),))
    def do_color(self, arg):
        'Set the color:  COLOR BLUE'
        color(arg.lower())
    def do_undo(self, arg):
        'Undo (repeatedly) the last turtle action(s):  UNDO'
    def do_reset(self, arg):
        'Clear the screen and return turtle to center:  RESET'
        reset()
    def do_bye(self, arg):
        'Stop recording, close the turtle window, and exit:  BYE'
        print('Thank you for using Turtle')
        self.close()
        bye()
        return True

    # ----- record and playback -----
    def do_record(self, arg):
        'Save future commands to filename:  RECORD rose.cmd'
        self.file = open(arg, 'w')
    def do_playback(self, arg):
        'Playback commands from a file:  PLAYBACK rose.cmd'
        self.close()
        with open(arg) as f:
            self.cmdqueue.extend(f.read().splitlines())
    def precmd(self, line):
        line = line.lower()
        if self.file and 'playback' not in line:
            print(line, file=self.file)
        return line
    def close(self):
        if self.file:
            self.file.close()
            self.file = None

def parse(arg):
    'Convert a series of zero or more numbers to an argument tuple'
    return tuple(map(int, arg.split()))

if __name__ == '__main__':
    TurtleShell().cmdloop()

Here is a sample session with the turtle shell showing the help functions, using blank lines to repeat commands, and the simple record and playback facility:

Welcome to the turtle shell.   Type help or ? to list commands.

(turtle) ?

Documented commands (type help <topic>):
========================================
bye     color    goto     home  playback  record  right
circle  forward  heading  left  position  reset   undo

(turtle) help forward
Move the turtle forward by the specified distance:  FORWARD 10
(turtle) record spiral.cmd
(turtle) position
Current position is 0 0

(turtle) heading
Current heading is 0

(turtle) reset
(turtle) circle 20
(turtle) right 30
(turtle) circle 40
(turtle) right 30
(turtle) circle 60
(turtle) right 30
(turtle) circle 80
(turtle) right 30
(turtle) circle 100
(turtle) right 30
(turtle) circle 120
(turtle) right 30
(turtle) circle 120
(turtle) heading
Current heading is 180

(turtle) forward 100
(turtle)
(turtle) right 90
(turtle) forward 100
(turtle)
(turtle) right 90
(turtle) forward 400
(turtle) right 90
(turtle) forward 500
(turtle) right 90
(turtle) forward 400
(turtle) right 90
(turtle) forward 300
(turtle) playback spiral.cmd
Current position is 0 0

Current heading is 0

Current heading is 180

(turtle) bye
Thank you for using Turtle

shlex — Simple lexical analysis

Código-fonte: Lib/shlex.py [https://github.com/python/cpython/tree/3.13/Lib/shlex.py]

The shlex class makes it easy to write lexical analyzers for simple syntaxes resembling that of the Unix shell. This will often be useful for writing minilanguages, (for example, in run control files for Python applications) or for parsing quoted strings.

The shlex module defines the following functions:

shlex.split(s, comments=False, posix=True)

Split the string s using shell-like syntax. If comments is False (the default), the parsing of comments in the given string will be disabled (setting the commenters attribute of the shlex instance to the empty string). This function operates in POSIX mode by default, but uses non-POSIX mode if the posix argument is false.

Alterado na versão 3.12: Passing None for s argument now raises an exception, rather than reading sys.stdin.

shlex.join(split_command)

Concatenate the tokens of the list split_command and return a string. This function is the inverse of split().

>>> from shlex import join
>>> print(join(['echo', '-n', 'Multiple words']))
echo -n 'Multiple words'

The returned value is shell-escaped to protect against injection vulnerabilities (see quote()).

Adicionado na versão 3.8.

shlex.quote(s)

Return a shell-escaped version of the string s. The returned value is a string that can safely be used as one token in a shell command line, for cases where you cannot use a list.

Aviso

The shlex module is only designed for Unix shells.

The quote() function is not guaranteed to be correct on non-POSIX compliant shells or shells from other operating systems such as Windows. Executing commands quoted by this module on such shells can open up the possibility of a command injection vulnerability.

Consider using functions that pass command arguments with lists such as subprocess.run() with shell=False.

Este idioma seria inseguro:

>>> filename = 'somefile; rm -rf ~'
>>> command = 'ls -l {}'.format(filename)
>>> print(command)  # executed by a shell: boom!
ls -l somefile; rm -rf ~

quote() lets you plug the security hole:

>>> from shlex import quote
>>> command = 'ls -l {}'.format(quote(filename))
>>> print(command)
ls -l 'somefile; rm -rf ~'
>>> remote_command = 'ssh home {}'.format(quote(command))
>>> print(remote_command)
ssh home 'ls -l '"'"'somefile; rm -rf ~'"'"''

The quoting is compatible with UNIX shells and with split():

>>> from shlex import split
>>> remote_command = split(remote_command)
>>> remote_command
['ssh', 'home', "ls -l 'somefile; rm -rf ~'"]
>>> command = split(remote_command[-1])
>>> command
['ls', '-l', 'somefile; rm -rf ~']

Adicionado na versão 3.3.

The shlex module defines the following class:

class shlex.shlex(instream=None, infile=None, posix=False, punctuation_chars=False)

A shlex instance or subclass instance is a lexical analyzer object. The initialization argument, if present, specifies where to read characters from. It must be a file-/stream-like object with read() and readline() methods, or a string. If no argument is given, input will be taken from sys.stdin. The second optional argument is a filename string, which sets the initial value of the infile attribute. If the instream argument is omitted or equal to sys.stdin, this second argument defaults to “stdin”. The posix argument defines the operational mode: when posix is not true (default), the shlex instance will operate in compatibility mode. When operating in POSIX mode, shlex will try to be as close as possible to the POSIX shell parsing rules. The punctuation_chars argument provides a way to make the behaviour even closer to how real shells parse. This can take a number of values: the default value, False, preserves the behaviour seen under Python 3.5 and earlier. If set to True, then parsing of the characters ();<>|& is changed: any run of these characters (considered punctuation characters) is returned as a single token. If set to a non-empty string of characters, those characters will be used as the punctuation characters. Any characters in the wordchars attribute that appear in punctuation_chars will be removed from wordchars. See Improved Compatibility with Shells for more information. punctuation_chars can be set only upon shlex instance creation and can’t be modified later.

Alterado na versão 3.6: The punctuation_chars parameter was added.

Ver também

Module configparser

Parser for configuration files similar to the Windows .ini files.

shlex Objects

A shlex instance has the following methods:

shlex.get_token()

Return a token. If tokens have been stacked using push_token(), pop a token off the stack. Otherwise, read one from the input stream. If reading encounters an immediate end-of-file, eof is returned (the empty string ('') in non-POSIX mode, and None in POSIX mode).

shlex.push_token(str)

Push the argument onto the token stack.

shlex.read_token()

Read a raw token. Ignore the pushback stack, and do not interpret source requests. (This is not ordinarily a useful entry point, and is documented here only for the sake of completeness.)

shlex.sourcehook(filename)

When shlex detects a source request (see source below) this method is given the following token as argument, and expected to return a tuple consisting of a filename and an open file-like object.

Normally, this method first strips any quotes off the argument. If the result is an absolute pathname, or there was no previous source request in effect, or the previous source was a stream (such as sys.stdin), the result is left alone. Otherwise, if the result is a relative pathname, the directory part of the name of the file immediately before it on the source inclusion stack is prepended (this behavior is like the way the C preprocessor handles #include "file.h").

The result of the manipulations is treated as a filename, and returned as the first component of the tuple, with open() called on it to yield the second component. (Note: this is the reverse of the order of arguments in instance initialization!)

This hook is exposed so that you can use it to implement directory search paths, addition of file extensions, and other namespace hacks. There is no corresponding ‘close’ hook, but a shlex instance will call the close() method of the sourced input stream when it returns EOF.

For more explicit control of source stacking, use the push_source() and pop_source() methods.

shlex.push_source(newstream, newfile=None)

Push an input source stream onto the input stack. If the filename argument is specified it will later be available for use in error messages. This is the same method used internally by the sourcehook() method.

shlex.pop_source()

Pop the last-pushed input source from the input stack. This is the same method used internally when the lexer reaches EOF on a stacked input stream.

shlex.error_leader(infile=None, lineno=None)

This method generates an error message leader in the format of a Unix C compiler error label; the format is '"%s", line %d: ', where the %s is replaced with the name of the current source file and the %d with the current input line number (the optional arguments can be used to override these).

This convenience is provided to encourage shlex users to generate error messages in the standard, parseable format understood by Emacs and other Unix tools.

Instances of shlex subclasses have some public instance variables which either control lexical analysis or can be used for debugging:

shlex.commenters

The string of characters that are recognized as comment beginners. All characters from the comment beginner to end of line are ignored. Includes just '#' by default.

shlex.wordchars

The string of characters that will accumulate into multi-character tokens. By default, includes all ASCII alphanumerics and underscore. In POSIX mode, the accented characters in the Latin-1 set are also included. If punctuation_chars is not empty, the characters ~-./*?=, which can appear in filename specifications and command line parameters, will also be included in this attribute, and any characters which appear in punctuation_chars will be removed from wordchars if they are present there. If whitespace_split is set to True, this will have no effect.

shlex.whitespace

Characters that will be considered whitespace and skipped. Whitespace bounds tokens. By default, includes space, tab, linefeed and carriage-return.

shlex.escape

Characters that will be considered as escape. This will be only used in POSIX mode, and includes just '\' by default.

shlex.quotes

Characters that will be considered string quotes. The token accumulates until the same quote is encountered again (thus, different quote types protect each other as in the shell.) By default, includes ASCII single and double quotes.

shlex.escapedquotes

Characters in quotes that will interpret escape characters defined in escape. This is only used in POSIX mode, and includes just '"' by default.

shlex.whitespace_split

If True, tokens will only be split in whitespaces. This is useful, for example, for parsing command lines with shlex, getting tokens in a similar way to shell arguments. When used in combination with punctuation_chars, tokens will be split on whitespace in addition to those characters.

Alterado na versão 3.8: The punctuation_chars attribute was made compatible with the whitespace_split attribute.

shlex.infile

The name of the current input file, as initially set at class instantiation time or stacked by later source requests. It may be useful to examine this when constructing error messages.

shlex.instream

The input stream from which this shlex instance is reading characters.

shlex.source

This attribute is None by default. If you assign a string to it, that string will be recognized as a lexical-level inclusion request similar to the source keyword in various shells. That is, the immediately following token will be opened as a filename and input will be taken from that stream until EOF, at which point the close() method of that stream will be called and the input source will again become the original input stream. Source requests may be stacked any number of levels deep.

shlex.debug

If this attribute is numeric and 1 or more, a shlex instance will print verbose progress output on its behavior. If you need to use this, you can read the module source code to learn the details.

shlex.lineno

Source line number (count of newlines seen so far plus one).

shlex.token

The token buffer. It may be useful to examine this when catching exceptions.

shlex.eof

Token used to determine end of file. This will be set to the empty string (''), in non-POSIX mode, and to None in POSIX mode.

shlex.punctuation_chars

A read-only property. Characters that will be considered punctuation. Runs of punctuation characters will be returned as a single token. However, note that no semantic validity checking will be performed: for example, ‘>>>’ could be returned as a token, even though it may not be recognised as such by shells.

Adicionado na versão 3.6.

Regras de análise

When operating in non-POSIX mode, shlex will try to obey to the following rules.

Quote characters are not recognized within words (Do"Not"Separate is parsed as the single word Do"Not"Separate);

Escape characters are not recognized;

Enclosing characters in quotes preserve the literal value of all characters within the quotes;

Closing quotes separate words ("Do"Separate is parsed as "Do" and Separate);

If whitespace_split is False, any character not declared to be a word character, whitespace, or a quote will be returned as a single-character token. If it is True, shlex will only split words in whitespaces;

EOF is signaled with an empty string ('');

It’s not possible to parse empty strings, even if quoted.

When operating in POSIX mode, shlex will try to obey to the following parsing rules.

Quotes are stripped out, and do not separate words ("Do"Not"Separate" is parsed as the single word DoNotSeparate);

Non-quoted escape characters (e.g. '\') preserve the literal value of the next character that follows;

Enclosing characters in quotes which are not part of escapedquotes (e.g. "'") preserve the literal value of all characters within the quotes;

Enclosing characters in quotes which are part of escapedquotes (e.g. '"') preserves the literal value of all characters within the quotes, with the exception of the characters mentioned in escape. The escape characters retain its special meaning only when followed by the quote in use, or the escape character itself. Otherwise the escape character will be considered a normal character.

EOF is signaled with a None value;

Quoted empty strings ('') are allowed.

Improved Compatibility with Shells

Adicionado na versão 3.6.

The shlex class provides compatibility with the parsing performed by common Unix shells like bash, dash, and sh. To take advantage of this compatibility, specify the punctuation_chars argument in the constructor. This defaults to False, which preserves pre-3.6 behaviour. However, if it is set to True, then parsing of the characters ();<>|& is changed: any run of these characters is returned as a single token. While this is short of a full parser for shells (which would be out of scope for the standard library, given the multiplicity of shells out there), it does allow you to perform processing of command lines more easily than you could otherwise. To illustrate, you can see the difference in the following snippet:

>>> import shlex
>>> text = "a && b; c && d || e; f >'abc'; (def \"ghi\")"
>>> s = shlex.shlex(text, posix=True)
>>> s.whitespace_split = True
>>> list(s)
['a', '&&', 'b;', 'c', '&&', 'd', '||', 'e;', 'f', '>abc;', '(def', 'ghi)']
>>> s = shlex.shlex(text, posix=True, punctuation_chars=True)
>>> s.whitespace_split = True
>>> list(s)
['a', '&&', 'b', ';', 'c', '&&', 'd', '||', 'e', ';', 'f', '>', 'abc', ';',
'(', 'def', 'ghi', ')']

Of course, tokens will be returned which are not valid for shells, and you’ll need to implement your own error checks on the returned tokens.

Instead of passing True as the value for the punctuation_chars parameter, you can pass a string with specific characters, which will be used to determine which characters constitute punctuation. For example:

>>> import shlex
>>> s = shlex.shlex("a && b || c", punctuation_chars="|")
>>> list(s)
['a', '&', '&', 'b', '||', 'c']

Nota

When punctuation_chars is specified, the wordchars attribute is augmented with the characters ~-./*?=. That is because these characters can appear in file names (including wildcards) and command-line arguments (e.g. --color=auto). Hence:

>>> import shlex
>>> s = shlex.shlex('~/a && b-c --color=auto || d *.py?',
...                 punctuation_chars=True)
>>> list(s)
['~/a', '&&', 'b-c', '--color=auto', '||', 'd', '*.py?']

However, to match the shell as closely as possible, it is recommended to always use posix and whitespace_split when using punctuation_chars, which will negate wordchars entirely.

For best effect, punctuation_chars should be set in conjunction with posix=True. (Note that posix=False is the default for shlex.)

Interfaces Gráficas de Usuário com Tk

Tk/Tcl tem sido parte integrante do Python. Ele fornece um kit de ferramentas de janela robusto e independente de plataforma, que está disponível para programadores Python usando o pacote tkinter e sua extensão, o módulo tkinter.ttk.

O pacote tkinter é uma fina camada orientada a objetos no topo do Tcl/Tk. Para usar tkinter, você não precisa escrever o código Tcl, mas precisará consultar a documentação do Tk e, ocasionalmente, a documentação do Tcl. tkinter é um conjunto de envólucros que implementam os widgets Tk como classes Python.

As principais virtudes do tkinter são que ele é rápido, e que geralmente vem junto com o Python. Embora sua documentação padrão seja fraca, um bom material está disponível, que inclui: referências, tutoriais, um livro e outros. tkinter também é famoso por ter uma aparência desatualizada, que foi amplamente melhorada no Tk 8.5. No entanto, existem muitas outras bibliotecas GUI nas quais você pode estar interessado. A wiki do Python lista várias frameworks e ferramentas GUI [https://wiki.python.org/moin/GuiProgramming] alternativas.

tkinter — Interface Python para Tcl/Tk

Arquitetura

Módulos Tkinter

Tk

tk

master

children

Tcl()

Preservador de vida Tkinter

Um programa Olá Mundo

Conceitos importantes do Tk

Entendendo como Tkinter envolve Tcl/Tk

Como é que eu…? Que opção faz…?

Navegando no Manual de Referência Tcl/Tk

Modelo de threading

Referência Útil

Opções de Definição

O Empacotador

Opções do Empacotador

Acoplando Variáveis de Widgets

O Gerenciador de Janela

Opções de Tipos de Dados do Tk

Ligações e Eventos

O Parâmetro index

Imagens

Tratadores de arquivos

createfilehandler()

deletefilehandler()

READABLE

WRITABLE

EXCEPTION

tkinter.colorchooser — Diálogo de escolha de cor

Chooser

askcolor()

tkinter.font — Invólucro de fontes Tkinter

NORMAL

BOLD

ITALIC

ROMAN

Font

actual()

cget()

config()

copy()

measure()

metrics()

families()

names()

nametofont()

Diálogos Tkinter

tkinter.simpledialog — Diálogos de entrada padrão do Tkinter

askfloat()

askinteger()

askstring()

Dialog

body()

buttonbox()

tkinter.filedialog — Caixas de diálogo de seleção de arquivo

Caixas de diálogo nativos de carregar/salvar

askopenfile()

askopenfiles()

asksaveasfile()

askopenfilename()

askopenfilenames()

asksaveasfilename()

askdirectory()

Open

SaveAs

Directory

FileDialog

cancel_command()

dirs_double_event()

dirs_select_event()

files_double_event()

files_select_event()

filter_command()

get_filter()

get_selection()

go()

ok_event()

quit()

set_filter()

set_selection()

LoadFileDialog

ok_command()

SaveFileDialog

ok_command()

tkinter.commondialog — Modelos de janela de diálogo

Dialog

show()

tkinter.messagebox — Prompts de mensagem do Tkinter

Message

show()

showinfo()

showwarning()

showerror()

askquestion()

askokcancel()

askretrycancel()

askyesno()

askyesnocancel()

ABORT

RETRY

IGNORE

OK

CANCEL

YES

NO

ABORTRETRYIGNORE

OKCANCEL

RETRYCANCEL

YESNO

YESNOCANCEL

ERROR

INFO

QUESTION

WARNING

tkinter.scrolledtext — Widget de texto de rolado

ScrolledText

frame

vbar

tkinter.dnd — Suporte para arrastar e soltar

DndHandler

cancel()

finish()

on_motion()

on_release()

dnd_start()

tkinter.ttk — Widgets temáticos do Tk

Usando Ttk

Widgets Ttk

Widget

Opções padrão

Opções de ferramenta rolável

Opções de rótulo

Opções de compatibilidade

Estados de Widget

ttk.Widget

Widget

identify()

instate()

state()

Combobox

Opções

Eventos virtuais

ttk.Combobox

Combobox

current()

get()

set()

Spinbox

Opções

Eventos virtuais

ttk.Spinbox

Spinbox

get()

set()

Notebook

Opções

Tab Options

Tab Identifiers

Virtual Events

ttk.Notebook

Notebook

add()

forget()

hide()

identify()

index()

insert()

select()

tab()

tabs()

enable_traversal()

Progressbar

Opções

ttk.Progressbar

Progressbar

start()

step()

stop()

Separator

Opções

Sizegrip

Platform-specific notes

Bugs

Treeview

Opções

Item Options

Tag Options

Column Identifiers

Virtual Events

ttk.Treeview

Treeview

bbox()

get_children()

set_children()

column()

delete()

detach()

exists()

focus()

heading()

identify()

identify_row()

identify_column()

identify_region()

identify_element()

index()

insert()

item()

move()

next()

parent()

prev()

reattach()

see()

selection()

selection_set()

selection_add()

selection_remove()

selection_toggle()

set()

tag_bind()

tag_configure()

tag_has()

xview()

yview()

Ttk Styling

Style

configure()

map()

lookup()

layout()

element_create()

element_names()

element_options()

theme_create()

theme_settings()

theme_names()

theme_use()

Layouts

IDLE

Menus

Menu Arquivo (Console e Editor)

Edit menu (Shell and Editor)

Format menu (Editor window only)

Run menu (Editor window only)

Shell menu (Shell window only)

Debug menu (Shell window only)

Options menu (Shell and Editor)

Window menu (Shell and Editor)

Help menu (Shell and Editor)

Context menus

Editing and Navigation

Editor windows

Teclas de atalho

Automatic indentation

Busca e Substituição

Completions

Calltips

Code Context

Shell window

Text colors

Startup and Code Execution

Uso na linha de comando

Startup failure

Running user code

User output in Shell

Developing tkinter applications

Running without a subprocess

Help and Preferences

Help sources

Setting preferences

IDLE on macOS

Extensions

idlelib

tkinter — Interface Python para Tcl/Tk

Código-fonte: Lib/tkinter/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/__init__.py]

O pacote tkinter (“Tk interface”) é a interface padrão do Python e faz parte do kit de ferramentas Tcl/Tk GUI. Tanto o Tk quanto o tkinter estão disponíveis na maioria das plataformas Unix, incluindo macOS, bem como em sistemas Windows.

Executar python -m tkinter na linha de comando deve abrir uma janela demonstrando uma interface Tk simples, informando que tkinter está apropriadamente instalado em seu sistema, e também mostrando qual versão do Tcl/Tk está instalado, para que você possa ler a documentação do Tcl/Tk específica para essa versão.

Tkinter tem suporte a uma gama de versões Tcl/Tk, compiladas com ou sem suporte a thread. O lançamento oficial do binário Python agrupa Tcl/Tk 8.6 em thread. Veja o código-fonte do módulo _tkinter para mais informações sobre as versões suportadas.

O Tkinter não é um invólucro fino, mas adiciona uma boa quantidade de sua própria lógica para tornar a experiência mais pythônica. Esta documentação se concentrará nessas adições e mudanças, e consulte a documentação oficial do Tcl/Tk para detalhes que não foram alterados.

Nota

Tcl/Tk 8.5 (2007) introduziu um conjunto moderno de componentes de interface de usuário para ser usados com a nova API. As APIs antigas e novas ainda estão disponíveis. A maioria da documentação que você encontrará online ainda usa a API antiga e pode estar desatualizada.

Ver também

TkDocs [https://tkdocs.com/]

Um extenso tutorial sobre como criar interfaces de usuário com o Tkinter. Explica conceitos chave, e ilustra as abordagens recomendadas usando a API moderna.

Referência do Tkinter 8.5: uma GUI para Python [https://www.tkdocs.com/shipman/']

Documentação de referência para Tkinter 8.5 detalhando classes, métodos e opções disponíveis.

Recursos Tcl/Tk:

Comandos Tk [https://www.tcl.tk/man/tcl8.6/TkCmd/contents.htm]

Referência abrangente para cada um dos comandos Tcl/Tk subjacentes usados pelo Tkinter.

Tcl/Tk Website [https://www.tcl.tk]

Documentação adicional e links para o desenvolvimento do core do Tcl/Tk.

Livros:

Modern Tkinter for Busy Python Developers [https://tkdocs.com/book.html]

Por Mark Roseman. (ISBN 978-1999149567)

Python GUI programming with Tkinter [https://www.packtpub.com/en-us/product/python-gui-programming-with-tkinter-9781788835886]

por Alan D. Moore. (ISBN 978-1788835886)

Programming Python [https://learning-python.com/about-pp4e.html]

Por Mark Lutz; tem uma excelente cobertura sobre o Tkinter. (ISBN 978-0596158101)

Tcl and the Tk Toolkit (2nd edition) [https://www.amazon.com/exec/obidos/ASIN/032133633X]

Por John Ousterhout, criador do Tcl/Tk, e Ken Jones; não cobre o Tkinter. (ISBN 978-0321336330)

Arquitetura

Tcl/Tk não é uma biblioteca única mas consiste em alguns módulos distintos, cada um com sua própria funcionalidade e sua própria documentação oficial. As versões binárias do Python também incluem um módulo adicional junto com ele.

Tcl

Tcl é uma linguagem de programação interpretada dinâmica, assim como Python. Embora possa ser usado sozinho como uma linguagem de programação de propósito geral, é mais comumente embutido em aplicativos C como um mecanismo de script ou uma interface para o kit de ferramentas Tk. A biblioteca Tcl tem uma interface C para criar e gerenciar uma ou mais instâncias de um interpretador Tcl, executar comandos e scripts Tcl nessas instâncias e adicionar comandos personalizados implementados em Tcl ou C. Cada interpretador tem uma fila de eventos, e há instalações para enviar eventos e processá-los. Ao contrário do Python, o modelo de execução do Tcl é projetado em torno da multitarefa cooperativa, e o Tkinter faz a ponte entre essa diferença (veja Modelo de threading para detalhes).

Tk

Tk é um pacote Tcl [https://wiki.tcl-lang.org/37432] implementado em C que adiciona comandos personalizados para criar e manipular widgets GUI. Cada objeto Tk incorpora sua própria instância do interpretador Tcl com Tk carregado nele. Os widgets do Tk são muito personalizáveis, embora ao custo de uma aparência desatualizada. Tk usa a fila de eventos do Tcl para gerar e processar eventos da GUI.

Ttk

Themed Tk (Ttk) é uma família mais recente de widgets Tk que fornecem uma aparência muito melhor em diferentes plataformas do que muitos dos widgets Tk clássicos. O Ttk é distribuído como parte do Tk, começando com o Tk versão 8.5. As ligações Python são fornecidas em um módulo separado, tkinter.ttk.

Internamente, Tk e Ttk usam recursos do sistema operacional, ou seja, Xlib no Unix/X11, Cocoa no macOS, GDI no Windows.

Quando sua aplicação Python usa uma classe do Tkinter, por exemplo, para criar um widget, o módulo tkinter primeiro monta uma sequência de comando Tcl/Tk. Ele passa essa sequência de comando Tcl para um módulo binário interno _tkinter, que então chama o interpretador Tcl para avaliá-lo. O interpretador Tcl então chamará os pacotes Tk e/ou Ttk, que por sua vez farão chamadas para Xlib, Cocoa ou GDI.

Módulos Tkinter

O suporte para Tkinter está espalhado por vários módulos. A maioria dos aplicativos precisará do módulo tkinter principal, bem como do módulo tkinter.ttk, que fornece o conjunto de widgets temáticos modernos e a API:

from tkinter import *
from tkinter import ttk

class tkinter.Tk(screenName=None, baseName=None, className='Tk', useTk=True, sync=False, use=None)

Construa um Tk widget de alto nível, sendo esse, geralmente, a janela principal de uma aplicação, e inicialize um interpretador Tcl para esse widget. Cada instância tem seu próprio interpretador Tcl associado.

A classe Tk normalmente é instanciada usando todos os valores padrão. No entanto, os seguintes argumentos nomeados são reconhecidos atualmente:

screenName

Quando fornecido (como uma string), define a variável de ambiente DISPLAY. (Somente X11)

baseName

Nome do arquivo de perfil. Por padrão, baseName é derivado do nome do programa (sys.argv[0]).

className

Nome da classe widget. Usado como um arquivo de perfil e também como o nome com o qual Tcl é invocado (argv0 em interp).

useTk

Se True, inicialize o subsistema Tk. A função tkinter.Tcl() define isso como False.

sync

Se True, execute todos os comandos do servidor X de forma síncrona, para que os erros sejam relatados imediatamente. Pode ser usado para depuração. (Somente X11)

use

Especifica o id da janela na qual inserir a aplicação, em vez de criá-la como uma janela de nível superior separada. O id deve ser especificado da mesma forma que o valor da opção -use para widgets de nível superior (ou seja, tem um formato como o retornado por winfo_id()).

Observe que em algumas plataformas isso só funcionará corretamente se id se referir a um frame Tk ou nível superior que tenha sua opção -container habilitada.

Tk lê e interpreta os arquivos de perfil, chamados .className.tcl e .baseName.tcl, por meio do interpretador Tcl e chama exec() no conteúdo de .className.py e .baseName.py. O caminho para os arquivos de perfil encontra-se na variável de ambiente HOME ou, se não estiver definida, então os.curdir.

tk

Objeto da aplicação Tk criado ao instanciar Tk. Isso fornece acesso ao interpretador Tcl. Cada widget anexado à mesma instância de Tk tem o mesmo valor para o atributo tk.

master

O objeto widget que contém este widget. Para Tk, o master é None porque é a janela principal. Os termos master e parent são semelhantes e às vezes usados alternadamente como nome de argumento; No entanto, chamar winfo_parent() retorna uma string com o nome do widget enquanto master retorna o objeto. parent/child reflete a relação de árvore enquanto master/slave reflete a estrutura do contêiner.

children

Descendentes diretos deste widget como um dict com os nomes do widget filho como a chave e os objetos de instância filho como o valor.

tkinter.Tcl(screenName=None, baseName=None, className='Tk', useTk=False)

A função Tcl() é uma função fábrica que cria um objeto assim como o criado pela classe Tk, exceto por não inicializar o subsistema Tk. Isto é útil quando executando o interpretador Tcl em um ambiente onde não se quer criar janelas de alto nível externas, ou quando não se pode (como em sistemas Unix/Linux sem um servidor X). Um objeto criado pelo objeto Tcl() pode ter uma janela de alto nível criada (e o subsistema Tk inicializado) chamando o método loadtk().

Os módulos que fornecem suporte ao Tk incluem:

tkinter

Módulo principal Tkinter.

tkinter.colorchooser

Caixa de diálogo para permitir que o usuário escolha uma cor.

tkinter.commondialog

Classe base para os diálogos definidos nos outros módulos listados aqui.

tkinter.filedialog

Diálogos comuns para permitir ao usuário especificar um arquivo para abrir ou salvar.

tkinter.font

Utilitários para ajudar a trabalhar com fontes.

tkinter.messagebox

Acesso às caixas de diálogo padrão do Tk.

tkinter.scrolledtext

Componente de texto com uma barra de rolagem vertical integrada.

tkinter.simpledialog

Diálogos básicos e funções de conveniência.

tkinter.ttk

Conjunto de widgets temáticos introduzidos no Tk 8.5, fornecendo alternativas modernas para muitos dos widgets clássicos no módulo principal tkinter.

Módulos adicionais:

_tkinter

Um módulo binário que contém a interface de baixo nível para Tcl/Tk. Ele é importado automaticamente pelo módulo principal tkinter e nunca deve ser usado diretamente. Geralmente é uma biblioteca compartilhada (ou DLL), mas pode, em alguns casos, ser vinculada estaticamente ao interpretador Python.

idlelib

Ambiente Integrado de Desenvolvimento e Aprendizagem do Python (IDLE). Baseado em tkinter.

tkinter.constants

Constantes simbólicas que podem ser usadas no lugar de strings ao passar vários parâmetros para chamadas Tkinter. Este módulo é importado automaticamente pelo módulo principal tkinter.

tkinter.dnd

(experimental) Suporte de arrastar e soltar para tkinter. Será descontinuado quando for substituído pelo Tk DND.

turtle

Gráficos tartaruga em uma janela Tk.

Preservador de vida Tkinter

Esta seção não foi projetada para ser um tutorial exaustivo sobre Tk ou Tkinter. Para isso, consulte um dos recursos externos mencionados anteriormente. Em vez disso, esta seção fornece uma orientação muito rápida sobre como é uma aplicação Tkinter, identifica os conceitos fundamentais do Tk e explica como o wrapper do Tkinter é estruturado.

O restante desta seção ajudará a identificar as classes, métodos e opções que você precisará em uma aplicação Tkinter e onde encontrar documentação mais detalhada sobre isso, inclusive no guia de referência oficial do Tcl/Tk.

Um programa Olá Mundo

Começaremos a explorar o Tkinter através de uma simples aplicação “Hello World”. Esta não é a menor aplicação que poderíamos escrever, mas tem o suficiente para ilustrar alguns conceitos-chave que você precisa saber.

from tkinter import *
from tkinter import ttk
root = Tk()
frm = ttk.Frame(root, padding=10)
frm.grid()
ttk.Label(frm, text="Hello World!").grid(column=0, row=0)
ttk.Button(frm, text="Quit", command=root.destroy).grid(column=1, row=0)
root.mainloop()

Após as importações, a próxima linha será criar a instância da classe Tk que inicia Tk e cria o interpretador associado a Tcl. Ele também cria uma janela de nível superior, conhecida como janela raiz, que serve como a janela principal da aplicação.

A linha a seguir cria um frame widget , que neste caso conterá um rótulo e um botão que criaremos a seguir. O frame se encaixa dentro da janela raiz.

A próxima linha cria um rótulo widget contendo uma string de texto estático. O método grid() é utilizado para especificar o layout relativo (posição) do rótulo dentro do frame widget, semelhante a como as tabelas em HTML funcionam.

Então um widget de botão é criado, e posicionado à direita do rótulo. Quando pressionado, irá chamar o método destroy() da janela raiz.

Por fim, o método destroy() coloca tudo no display, e responde à entrada do usuário até que o programa termine.

Conceitos importantes do Tk

Mesmo com este programa simples, os conceitos-chave do Tk podem ser mostrados:

widgets

A interface de usuário do Tkinter é composta de widgets individuais. Cada widget é representado como um objeto Python, instanciado de classes como ttk.Frame, ttk.Label, e ttk.Button.

hierarquia dos widgets

Os widgets são organizados em uma hierarquia. O rótulo e botão estavam contidos em um frame, que por sua vez estava contido na janela raiz. Quando criamos um widget filho, seu widget pai é passado como primeiro argumento para o construtor do widget.

opções de configuração

Widgets possuem opções de configuração, que modificam sua aparência e comportamento, como o texto a ser exibido em um rótulo ou botão. Diferentes classes de widgets terão diferentes conjuntos de opções.

gerenciamento de geometria

Os widgets não são automaticamente adicionados à interface de usuário quando eles são criados. Um gerenciador de geometria como grid controla onde na interface de usuário eles são colocados.

loop de eventos

O Tkinter reage à entrada do usuário, muda de seu programa, e até mesmo atualiza a tela somente ao executar ativamente um loop de eventos. Se o seu programa não estiver executando o loop de eventos, sua interface de usuário não será atualizada.

Entendendo como Tkinter envolve Tcl/Tk

Quando a sua aplicação utiliza as classes e métodos do Tkinter, internamente o Tkinter está montando strings representando comandos Tcl/Tk e executando esses comandos no interpretador Tcl anexado à instância Tk de sua aplicação.

Seja tentando navegar na documentação de referência, tentando encontrar o método ou opção certa, adaptando algum código existente ou depurando seu aplicativo Tkinter, há momentos em que será útil entender como são os comandos Tcl/Tk subjacentes.

Para ilustrar, aqui está o equivalente Tcl/Tk da parte principal do script Tkinter acima.

ttk::frame .frm -padding 10
grid .frm
grid [ttk::label .frm.lbl -text "Hello World!"] -column 0 -row 0
grid [ttk::button .frm.btn -text "Quit" -command "destroy ."] -column 1 -row 0

A sintaxe do Tcl é semelhante a muitas linguagens de shell, onde a primeira palavra é o comando a ser executado, seguido de argumentos para esse comando separados por espaços. Sem entrar em muitos detalhes, observe o seguinte:

Os comandos usados para criar widgets (como ttk::frame) correspondem a classes de widgets no Tkinter.

As opções de widget Tcl (como -text) correspondem a argumentos nomeados no Tkinter.

Widgets são referenciados por um pathname em Tcl (like .frm.btn), enquanto o Tkinter não utiliza nomes, mas referências a objetos.

O lugar de um widget na hierarquia widget é codificado em seu pathname (hierárquico), que utiliza um . (ponto) como um separador de caminho. O pathname para a janela raiz é apenas . (ponto). No Tkinter, a hierarquia é definida não pelo pathname, mas pela especificação do widget pai ao criar cada widget filho.

Operações que são implementadas como comandos separados em Tcl (como grid ou destroy) são representadas como métodos em objetos de widget Tkinter. Como você verá em breve, em outras ocasiões o Tcl usa o que parecem ser chamadas de método em objetos widget, que espelham mais de perto o que seria usado no Tkinter.

Como é que eu…? Que opção faz…?

Se você não tem certeza de como fazer algo no Tkinter e não consegue encontrá-lo imediatamente no tutorial ou na documentação de referência que está usando, existem algumas estratégias que podem ser úteis.

Primeiro, lembre-se de que os detalhes de como os widgets individuais funcionam podem variar entre diferentes versões tanto do Tkinter quanto do Tcl/Tk. Se você estiver procurando por documentação, certifique-se de que corresponda às versões do Python e Tcl/Tk instaladas em seu sistema.

Ao procurar como usar uma API, é útil saber o nome exato da classe, opção ou método que você está usando. A introspecção, seja em um console Python interativo ou com a print(), pode ajudar a identificar o que você precisa.

Para descobrir quais opções de configuração estão disponíveis em qualquer widget, chame o método configure(), que retorna um dicionário contendo uma variedade de informações sobre cada objeto, incluindo seus valores padrão e atuais. Use keys() para obter apenas os nomes de cada opção.

btn = ttk.Button(frm, ...)
print(btn.configure().keys())

Como a maioria dos widgets tem muitas opções de configuração em comum, pode ser útil descobrir quais são específicas para uma determinada classe de widget. Comparar a lista de opções com a de um widget mais simples, como um frame, é uma maneira de fazer isso.

print(set(btn.configure().keys()) - set(frm.configure().keys()))

Da mesma forma, você pode encontrar os métodos disponíveis para um objeto widget usando a função padrão dir(). Se você tentar, verá que existem mais de 200 métodos comuns de widget, então identificar aqueles específicos para uma classe de widget é útil.

print(dir(btn))
print(set(dir(btn)) - set(dir(frm)))

Navegando no Manual de Referência Tcl/Tk

Como observado, o manual (páginas man) de referência oficial dos comandos Tk [https://www.tcl.tk/man/tcl8.6/TkCmd/contents.htm] é frequentemente a descrição mais precisa do que operações específicas em widgets fazem. Mesmo quando você sabe o nome da opção ou método que você precisa, você ainda pode ter alguns lugares para procurar.

Enquanto todas as operações no Tkinter são implementadas como chamadas de método em objetos de widget, você viu que muitas operações Tcl/Tk aparecem como comandos que recebem um caminho de widget como seu primeiro parâmetro, seguido de parâmetros opcionais, por exemplo.

destroy .
grid .frm.btn -column 0 -row 0

Outros, no entanto, parecem mais com métodos chamados em um objeto widget (na verdade, quando você cria um widget em Tcl/Tk, ele cria um comando Tcl com o nome do caminho do widget, sendo o primeiro parâmetro desse comando o nome de um método a ser chamado).

.frm.btn invoke
.frm.lbl configure -text "Goodbye"

Na documentação oficial de referência do Tcl/Tk, você encontrará a maioria das operações que se parecem com chamadas de método na página man de um widget específico (por exemplo, você encontrará o método invoke() na página man do ttk::button [https://www.tcl.tk/man/tcl8.6/TkCmd/ttk_button.htm]), enquanto as funções que recebem um widget como parâmetro geralmente têm sua própria página man (por exemplo, grid [https://www.tcl.tk/man/tcl8.6/TkCmd/grid.htm]).

Você encontrará muitas opções e métodos comuns nas páginas man options [https://www.tcl.tk/man/tcl8.6/TkCmd/options.htm] e ttk::widget [https://www.tcl.tk/man/tcl8.6/TkCmd/ttk_widget.htm], enquanto outros são encontrados na página man para uma classe de widget específica.

Você também encontrará que muitos métodos do Tkinter têm nomes compostos, por exemplo, winfo_x(), winfo_height(), winfo_viewable(). Você encontra documentação para todos eles na página man winfo [https://www.tcl.tk/man/tcl8.6/TkCmd/winfo.htm].

Nota

De forma bem confusa, também existem métodos em todos os widgets do Tkinter que na verdade não operam no widget, mas operam em um escopo global, independente de qualquer widget. Exemplos são métodos para acessar a área de transferência ou o sinal do sistema. (Eles são implementados como métodos na classe base Widget da qual todos os widgets do Tkinter herdam).

Modelo de threading

Python e Tcl/Tk têm modelos de threading muito diferentes, que tkinter tenta fazer a ponte. Se você usa threads, pode precisar estar ciente disso.

Um interpretador Python pode ter muitas threads associados a ele. Em Tcl, várias threads podem ser criadas, mas cada thread tem uma instância de interpretador Tcl separada associada a ele. Threads também podem criar mais de uma instância do interpretador, embora cada instância do interpretador possa ser usada apenas pela thread que a criou.

Cada objeto Tk criado por tkinter contém um interpretador Tcl. Ele também controla qual thread criou aquele interpretador. Chamadas para tkinter podem ser feitas a partir de qualquer thread do Python. Internamente, se uma chamada vier de um thread diferente daquele que criou o objeto Tk, um evento é postado na fila de eventos do interpretador e, quando executado, o resultado é retornado ao thread de chamada do Python.

As aplicações Tcl/Tk são normalmente orientadas a eventos, o que significa que após a inicialização, o interpretador executa um laço de eventos (ou seja Tk.mainloop()) e responde aos eventos. Por ser de thread única, os tratadores de eventos devem responder rapidamente, caso contrário, bloquearão o processamento de outros eventos. Para evitar isso, quaisquer cálculos de longa execução não devem ser executados em um tratador de eventos, mas são divididos em pedaços menores usando temporizadores ou executados em outra thread. Isso é diferente de muitos kits de ferramentas de GUI em que a GUI é executada em um thread completamente separado de todo o código do aplicação, incluindo tratadores de eventos.

Se o interpretador Tcl não estiver executando o laço de eventos e processando eventos, qualquer chamada tkinter feita de threads diferentes daquela que está executando o interpretador do Tcl irá falhar.

Existem vários casos especiais:

Bibliotecas Tcl/Tk podem ser construídas de forma que não reconheçam thread. Neste caso, tkinter chama a biblioteca da thread originadora do Python, mesmo que seja diferente da thread que criou o interpretador Tcl. Uma trava global garante que apenas uma chamada ocorra por vez.

Enquanto tkinter permite que você crie mais de uma instância de um objeto Tk (com seu próprio interpretador), todos os interpretadores que fazem parte da mesma thread compartilham uma fila de eventos comum, o que fica muito rápido. Na prática, não crie mais de uma instância de Tk por vez. Caso contrário, é melhor criá-los em threads separadas e garantir que você esteja executando uma construção Tcl/Tk com reconhecimento de thread.

Bloquear manipuladores de eventos não é a única maneira de evitar que o interpretador Tcl entre novamente no laço de eventos. É ainda possível executar vários laços de eventos aninhados ou abandonar totalmente o laço de eventos. Se você estiver fazendo algo complicado quando se trata de eventos ou threads, esteja ciente dessas possibilidades.

Existem algumas funções de seleção do tkinter que atualmente funcionam apenas quando chamadas a partir da thread que criou o interpretador Tcl.

Referência Útil

Opções de Definição

As opções controlam coisas como a cor e a largura da borda de um widget. As opções podem ser definidas de três maneiras:

No momento da criação do objeto, usando argumentos nomeados

fred = Button(self, fg="red", bg="blue")

Após a criação do objeto, tratando o nome da opção como um índice de dicionário

fred["fg"] = "red"
fred["bg"] = "blue"

Use o método config() para atualizar vários attrs posteriores à criação do objeto

fred.config(fg="red", bg="blue")

Para uma explicação completa de uma dada opção e seu comportamento, veja as páginas man do Tk para o widget em questão.

Note que as páginas man listam “OPÇÕES PADRÃO” e “OPÇÕES DE WIDGET ESPECÍFICO” para cada widget. A primeira é uma lista de opções que são comuns a vários widgets, e a segunda são opções que são idiossincráticas ao widget em particular. As Opções Padrão estão documentadas na página man options(3) [https://manpages.debian.org/options(3)].

Nenhuma distinção entre as opções padrão e específicas de widget são feitas neste documento. Algumas opções não se aplicam a alguns tipos de widgets. A resposta de um dado widget a uma opção particular depende da classe do widget; botões possuem a opção command, etiquetas não.

As opções suportadas por um dado widget estão listadas na página man daquele widget, ou podem ser consultadas no tempo de execução chamando o método config() sem argumentos, ou chamando o método keys() daquele widget. O valor retornado por essas chamadas é um dicionário cujas chaves são os nomes das opções como uma string (por exemplo, 'relief') e cujos valores são tuplas de 5 elementos.

Algumas opções, como bg são sinônimos para opções comuns com nomes mais longos (bg é a abreviação de “background”, ou plano de fundo em inglês). Passando o nome de uma opção abreviada ao método config() irá retornar uma tupla de 2 elementos, e não uma tupla de 5 elementos. A tupla de 2 elementos devolvida irá conter o nome do sinônimo e a opção “verdadeira” (como por exemplo em ('bg', 'background')).

Índice

Significado

Exemplo

0

nome da opção

'relief'

1

nome da opção para buscas de banco de dados

'relief'

2

classe de opção para busca de banco de dados

'Relief'

3

valor padrão

'raised'

4

valor atual

'groove'

Exemplo:

>>> print(fred.config())
{'relief': ('relief', 'relief', 'Relief', 'raised', 'groove')}

É claro que o dicionário exibido irá incluir todas as opções disponíveis e seus valores. Isso foi apenas um exemplo.

O Empacotador

O empacotador é um dos mecanismos de gerenciamento de geometria do Tk. Gerenciadores de geometria são utilizados para especificar as posições relativas dos widgets dentro dos seus contêineres - os seus processos pai mútuos. Em contraste ao mais incômodo posicionador (que é usado com menos frequência, e não falaremos dele aqui), o empacotador recebe a especificação de relacionamento qualitativo - acima, à esquerda de, preenchimento, etc. - e determina as coordenadas de posição exatas para você.

O tamanho de qualquer widget mestre é determinado pelo tamanho dos “widgets escravos” internos. O empacotador é usado para controlar onde os widgets escravos aparecem dentro do mestre no qual são empacotados. Você pode empacotar widgets em quadros e quadros em outros quadros, a fim de obter o tipo de layout que deseja. Além disso, o arranjo é ajustado dinamicamente para acomodar alterações incrementais na configuração, uma vez que é empacotado.

Note que os widgets não aparecem até que eles tenham sua geometria especificada pelo gerenciador de geometria. É um erro comum de iniciantes deixar a geometria de fora da especificação, então se surpreender que o widget é criado sendo que nada apareceu. O widget irá aparecer apenas quando tiver, por exemplo, o método método pack() do empacotador aplicado a ele.

O método pack() pode ser chamado com pares de palavra reservada-opção/valor que controlam onde o widget deverá aparecer dentro do seu contêiner, e como deverá se comportar quando a janela da aplicação principal for redimensionada. Aqui estão alguns exemplos:

fred.pack()                     # defaults to side = "top"
fred.pack(side="left")
fred.pack(expand=1)

Opções do Empacotador

Para uma informação mais completa do empacotador e as opções que pode receber, veja as páginas man e a página 183 do livro do John Ousterhout.

anchor

Tipo âncora. Denota onde o packer deverá posicionar cada ajudante em seu pacote.

expand

Booleano, 0 ou 1.

fill

Valores legais: 'x', 'y', 'both', 'none'.

ipadx e ipady

Uma distância - designando o deslocamento interno de cada lado do widget ajudante.

padx e pady

Uma distância - designando o deslocamento externo de cada lado do widget ajudante.

side

Valores legais são: 'left', 'right', 'top', 'bottom'.

Acoplando Variáveis de Widgets

A definição do valor atual de alguns widgets (como widgets de entrada de texto) podem ser conectadas diretamente às variáveis da aplicação utilizando métodos especiais. Estas opções são variable, textvariable, onvalue, offvalue, e value. A conexão funciona por ambos os lados: Se por algum motivo a variável se altera, o widget ao qual ela está conectada irá se atualizar para refletir este novo valor.

Infelizmente, na atual implementação do tkinter não é possível passar uma variável Python arbitrária para um widget por uma opção variable ou textvariable. Os únicos tipos de variáveis para as quais isso funciona são variáveis que são subclasses da classe chamada Variable, definida em tkinter.

Há muitas subclasses de Variable úteis já definidas: StringVar, IntVar, DoubleVar, e BooleanVar. Para ler o atual valor de uma variável, chame o método get() nelas, e para alterar o valor você deve chamar o método set(). Se você seguir este protocolo, o widget irá sempre acompanhar os valores da variável, sem nenhuma intervenção da sua parte.

Por exemplo:

import tkinter as tk

class App(tk.Frame):
    def __init__(self, master):
        super().__init__(master)
        self.pack()

        self.entrythingy = tk.Entry()
        self.entrythingy.pack()

        # Create the application variable.
        self.contents = tk.StringVar()
        # Set it to some value.
        self.contents.set("this is a variable")
        # Tell the entry widget to watch this variable.
        self.entrythingy["textvariable"] = self.contents

        # Define a callback for when the user hits return.
        # It prints the current value of the variable.
        self.entrythingy.bind('<Key-Return>',
                             self.print_contents)

    def print_contents(self, event):
        print("Hi. The current entry content is:",
              self.contents.get())

root = tk.Tk()
myapp = App(root)
myapp.mainloop()

O Gerenciador de Janela

No Tk, existe um comando utilitário, wm, para interagir com o gerenciador de janelas. As opções do comando wm permitem que você controle coisas como títulos, localização, ícones bitmap, entre outros. No tkinter, estes comandos foram implementados como métodos da classe Wm class. Widgets de mais alto nívelsão subclasses da classe Wm e portanto podem chamar os métodos Wm diretamente.

Para chegar à janela de nível superior que contém um determinado widget, geralmente você pode apenas consultar o mestre do widget. Claro, se o widget foi compactado dentro de um quadro, o mestre não representará uma janela de nível superior. Para chegar à janela de nível superior que contém um widget arbitrário, você pode chamar o método _root(). Este método começa com um sublinhado para denotar o fato de que esta função é parte da implementação, e não uma interface para a funcionalidade Tk.

Aqui estão alguns exemplos de uso típico:

import tkinter as tk

class App(tk.Frame):
    def __init__(self, master=None):
        super().__init__(master)
        self.pack()

# create the application
myapp = App()

#
# here are method calls to the window manager class
#
myapp.master.title("My Do-Nothing Application")
myapp.master.maxsize(1000, 400)

# start the program
myapp.mainloop()

Opções de Tipos de Dados do Tk

anchor

Valores legais são os pontos cardeais: "n", "ne", "e", "se", "s", "sw", "w", "nw", e também "center".

bitmap

Há 8 bitmaps embutidos nomeados: 'error', 'gray25', 'gray50', 'hourglass', 'info', 'questhead', 'question', 'warning'. Para especificar um nome de arquivo do bitmap X, passe o caminho completo do arquivo, precedido pelo caractere @, como em "@/usr/contrib/bitmap/gumby.bit".

booleano

Você pode passar os inteiros 0 ou 1 ou as strings "yes" ou "no".

função de retorno

Esta é uma função Python que não aceita argumentos. Por exemplo:

def print_it():
    print("hi there")
fred["command"] = print_it

cor

As cores podem ser fornecidas como nomes de cores X no arquivo rgb.txt ou como strings representando valores RGB em intervalos de 4 bits: "#RGB", 8 bit: "#RRGGBB", 12 bit: "#RRRGGGBBB" ou 16 bit: "#RRRRGGGGBBBB", onde R,G,B aqui representam qualquer dígito hexadecimal legal. Veja a página 160 do livro de Ousterhout para detalhes.

cursor

Os nomes de cursor X padrão de cursorfont.h podem ser usados, sem o prefixo XC_. Por exemplo, para obter um cursor de mão (XC_hand2), use a string "hand2". Você também pode especificar um bitmap e um arquivo de máscara de sua preferência. Veja a página 179 do livro de Ousterhout.

distance

As distâncias da tela podem ser especificadas em pixels ou distâncias absolutas. Pixels são dados como números e distâncias absolutas como strings, com os caracteres finais denotando unidades: c para centímetros, i para polegadas, m para milímetros, p para os pontos da impressora. Por exemplo, 3,5 polegadas é expresso como "3.5i".

font

Tk usa um formato de nome de fonte de lista, como {courier 10 bold}. Tamanhos de fonte com números positivos são medidos em pontos; tamanhos com números negativos são medidos em pixels.

geometria

Esta é uma string no formato widthxheight, onde largura e altura são medidas em pixels para a maioria dos widgets (em caracteres para widgets que exibem texto). Por exemplo: fred["geometry"] = "200x100".

justify

Valores aceitos são as strings: "left", "center", "right" e "fill".

region

Esta é uma string com quatro elementos delimitados por espaço, cada um dos quais a uma distância legal (veja acima). Por exemplo: "2 3 4 5" e "3i 2i 4.5i 2i" e "3c 2c 4c 10.43c" são todas regiões legais.

relief

Determina qual será o estilo da borda de um widget. Os valores legais são: "raised", "sunken", "flat", "groove" e "ridge".

scrollcommand

Este é quase sempre o método set() de algum widget da barra de rolagem, mas pode ser qualquer método de widget que receba um único argumento.

wrap

Deve ser um de: "none", "char" ou "word".

Ligações e Eventos

O método de ligação do comando widget permite que você observe certos eventos e tenha um acionamento de função de retorno de chamada quando esse tipo de evento ocorrer. A forma do método de ligação é:

def bind(self, sequence, func, add=''):

sendo que:

sequence

é uma string que denota o tipo de evento de destino. (Veja a página man do bind(3tk) [https://manpages.debian.org/bind(3tk)] e a página 201 do livro de John Ousterhout, Tcl and the Tk Toolkit (2nd edition), para mais detalhes).

func

é uma função Python, tendo um argumento, a ser invocada quando o evento ocorre. Uma instância de evento será passada como argumento. (As funções implantadas dessa forma são comumente conhecidas como funções de retorno.)

add

é opcional, tanto '' ou '+'. Passar uma string vazia indica que essa ligação substitui todas as outras ligações às quais esse evento está associado. Passar um '+' significa que esta função deve ser adicionada à lista de funções ligadas a este tipo de evento.

Por exemplo:

def turn_red(self, event):
    event.widget["activeforeground"] = "red"

self.button.bind("<Enter>", self.turn_red)

Observe como o campo widget do evento está sendo acessado na função de retorno turn_red(). Este campo contém o widget que capturou o evento X. A tabela a seguir lista os outros campos de evento que você pode acessar e como eles são denotados no Tk, o que pode ser útil ao se referir às páginas man do Tk.

Tk

Campo de Eventos do Tkinter

Tk

Campo de Eventos do Tkinter

%f

focus

%A

char

%h

height

%E

send_event

%k

keycode

%K

keysym

%s

state

%N

keysym_num

%t

time

%T

tipo

%w

width

%W

widget

%x

x

%X

x_root

%y

y

%Y

y_root

O Parâmetro index

Vários widgets requerem que parâmetros de “indx” sejam passados. Eles são usados para apontar para um local específico em um widget Text, ou para caracteres específicos em um widget Entry, ou para itens de menu específicos em um widget Menu.

Índices de widget de entrada (índice, índice de visualização, etc.)

Os widgets de entrada têm opções que se referem às posições dos caracteres no texto exibido. Você pode acessar esses pontos especiais em um widget de texto usando as seguintes funções tkinter:

Índice de widget de texto

A notação de índice do widget de texto é muito rica e é melhor detalhada nas páginas do manual Tk.

Índices de menu (menu.invoke(), menu.entryconfig(), etc.)

Algumas opções e métodos de menus manipulam entradas de menu específicas. Sempre que um índice de menu é necessário para uma opção ou parâmetro, você pode passar:

um número inteiro que se refere à posição numérica da entrada no widget, contada do topo, começando com 0;

a string "active", que se refere à posição do menu que está atualmente sob o cursor;

a string "last" que se refere ao último item do menu;

Um inteiro precedido por @, como em @6, onde o inteiro é interpretado como uma coordenada de pixel y no sistema de coordenadas do menu;

a string "none", que indica nenhuma entrada de menu, mais frequentemente usada com menu.activate() para desativar todas as entradas e, finalmente,

uma string de texto cujo padrão corresponde ao rótulo da entrada do menu, conforme varrido da parte superior do menu para a parte inferior. Observe que este tipo de índice é considerado após todos os outros, o que significa que as correspondências para itens de menu rotulados como last, active ou none podem ser interpretadas como os literais acima, em vez disso.

Imagens

Imagens de diferentes formatos podem ser criadas por meio da subclasse correspondente de tkinter.Image:

BitmapImage para imagens no formato XBM.

PhotoImage para imagens nos formatos PGM, PPM, GIF e PNG. O suporte ao último foi adicionado a partir do Tk 8.6.

Qualquer tipo de imagem é criado através da opção file ou data (outras opções também estão disponíveis).

Alterado na versão 3.13: Added the PhotoImage method copy_replace() to copy a region from one image to other image, possibly with pixel zooming and/or subsampling. Add from_coords parameter to PhotoImage methods copy(), zoom() and subsample(). Add zoom and subsample parameters to PhotoImage method copy().

O objeto imagem pode então ser usado sempre que uma opção image há suporte em algum widget (por exemplo: rótulos, botões, menus). Nestes casos, o Tk não guardará uma referência à imagem. Quando a última referência Python ao objeto imagem for excluída, os dados da imagem também serão excluídos e o Tk exibirá uma caixa vazia onde quer que a imagem tenha sido usada.

Ver também

O pacote Pillow [https://python-pillow.org/] adiciona suporte para formatos como BMP, JPEG, TIFF e WebP, entre outros.

Tratadores de arquivos

O Tk permite que você registre e cancele o registro de uma função de retorno que será chamada a partir do laço central do Tk quando uma E/S for possível em um descritor de arquivo. Apenas um tratador pode ser registrado por descritor de arquivo. Código de exemplo:

import tkinter
widget = tkinter.Tk()
mask = tkinter.READABLE | tkinter.WRITABLE
widget.tk.createfilehandler(file, mask, callback)
...
widget.tk.deletefilehandler(file)

Este recurso não está disponível no Windows.

Já que você não sabe quantos bytes estão disponíveis para leitura, você pode não querer usar os métodos read() ou readline() de BufferedIOBase ou TextIOBase, já que eles insistirão em ler uma quantidade predefinida de byts. Para sockets, os métodos recv() ou recvfrom() vão servir; para outros arquivos, use dados brutos ou os.read(file.fileno(), maxbytecount).

Widget.tk.createfilehandler(file, mask, func)

Registra a função de retorno do tratador de arquivo func. O argumento file pode ser um objeto com um método fileno() (como um arquivo ou objeto soquete) ou um descritor de arquivo de inteiro. O argumento mask é uma combinação OR de qualquer uma das três constantes abaixo. O retorno de chamada é chamado da seguinte maneira:

callback(file, mask)

Widget.tk.deletefilehandler(file)

Cancela o registro de um tratador de arquivo.

_tkinter.READABLE

_tkinter.WRITABLE

_tkinter.EXCEPTION

Constantes usadas nos argumentos mask.

tkinter.colorchooser — Diálogo de escolha de cor

Código-fonte: Lib/tkinter/colorchooser.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/colorchooser.py]

O módulo tkinter.colorchooser fornece a classe Chooser como uma interface para o diálogo do seletor de cores nativo. Chooser implementa uma janela de diálogo de escolha de cores modal. A classe Chooser herda da classe Dialog.

class tkinter.colorchooser.Chooser(master=None, **options)

tkinter.colorchooser.askcolor(color=None, **options)

Cria um diálogo de escolha de cores. Uma chamada para esse método mostrará a janela, aguardará o usuário fazer uma seleção e retornará a cor selecionada (ou None) ao chamador.

Ver também

Módulo tkinter.commondialog

Módulo de diálkogo padrão do Tkinter

tkinter.font — Invólucro de fontes Tkinter

Código-fonte: Lib/tkinter/font.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/font.py]

O módulo tkinter.font apresenta a classe Font para criação e utilização de fontes nomeadas.

Os diferentes pesos e inclinações de fontes são:

tkinter.font.NORMAL

tkinter.font.BOLD

tkinter.font.ITALIC

tkinter.font.ROMAN

class tkinter.font.Font(root=None, font=None, name=None, exists=False, **options)

A classe Font representa uma fonte nomeada. Instâncias font recebem nomes únicos e podem ser especificadas por família, tamanho e configuração de estilo. Fontes nomeadas são os métodos Tk para criação e identificação de fontes de um objeto singular, ao invés de especificar a fonte por seus atributos em cada ocorrência.

argumentos:

font - tupla de especificação da fonte (família, tamanho, opções)

name - nome único da fonte

exists - aponta para uma fonte nomeada existente se for verdadeiro

palavras reservadas opcionais (ignoradas caso font seja especificado):

family - a família da fonte e.x. Courier, Times

size - tamanho da fonte

Se size for positivo, ele é interpretado como tamanho em pontos.

Caso size seja um número negativo, seu valor absoluto é tratado

como tamanho em pixels.

weight - ênfase da fonte (normal,negrito)

slant - ROMAN, ITALIC

underline - sublinhamento da fonte (0 - sem sublinhamento, 1 - sublinhado)

overstrike - fonte riscada (0 - sem risco, 1 - letras riscadas)

actual(option=None, displayof=None)

Retorna os atributos da fonte.

cget(option)

Recupera um atributo da fonte.

config(**options)

Modifica atributos da fonte.

copy()

Retorna uma nova instância da fonte atual.

measure(text, displayof=None)

Retorna a quantidade de espaço que o texto ocuparia na exibição especificada ao ser formatado na fonte atual. Caso nenhuma exibição seja especificada, a exibição presumida será a da janela principal da aplicação.

metrics(*options, **kw)

Retorna dados específicos da fonte. Opções inclusas:

ascent - distância entre a linha de base e o ponto mais alto que um

caractere da fonte pode ocupar

descent - distância entre a linha de base e o ponto mais baixo que um

caractere da fonte pode ocupar

linespace - separação vertical mínima necessária entre dois

caracteres da fonte que garante que não ocorra sobreposição entre as linhas.

fixed - 1 caso a fonte seja de largura fixa, 0 caso contrário

tkinter.font.families(root=None, displayof=None)

Retorna as diferentes famílias de fontes.

tkinter.font.names(root=None)

Retorna os nomes das fontes definidas.

tkinter.font.nametofont(name, root=None)

Retorna a representação Font de uma fonte nomeada do tk.

Alterado na versão 3.10: O parâmetro root foi adicionado.

Diálogos Tkinter

tkinter.simpledialog — Diálogos de entrada padrão do Tkinter

Código-fonte: Lib/tkinter/simpledialog.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/simpledialog.py]

O módulo tkinter.simpledialog contém classes de conveniência e funções para criar diálogos modais simples para obter um valor do usuário.

tkinter.simpledialog.askfloat(title, prompt, **kw)

tkinter.simpledialog.askinteger(title, prompt, **kw)

tkinter.simpledialog.askstring(title, prompt, **kw)

As três funções acima fornecem caixas de diálogo que solicitam que o usuário insira um valor do tipo desejado.

class tkinter.simpledialog.Dialog(parent, title=None)

A classe base para diálogos personalizados.

body(master)

Substitui para construir a interface da caixa de diálogo e retornar o widget que deve ter foco inicial.

buttonbox()

O comportamento padrão adiciona botões OK e Cancelar. Substitua para layouts de botão personalizados.

tkinter.filedialog — Caixas de diálogo de seleção de arquivo

Código-fonte: Lib/tkinter/filedialog.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/filedialog.py]

The módulo tkinter.filedialog fornece classes e funções de fábrica para criar janelas de seleção de arquivo/diretório.

Caixas de diálogo nativos de carregar/salvar

As seguintes classes e funções fornecem janelas de diálogo de arquivo que combinam uma aparência nativa com opções de configuração para personalizar o comportamento. Os seguintes argumentos nomeados são aplicáveis ​​às classes e funções listado abaixo:

parent - a janela para colocar a caixa de diálogo no topo

title - o título da janela

initialdir - o diretório no qual a caixa de diálogo começa

initialfile - o arquivo selecionado ao abrir a caixa de diálogo

filetypes - uma sequência de tuplas (rótulo, padrão), o caractere curinga ‘*’ é permitido

defaultextension - extensão padrão para anexar ao arquivo (caixas de diálogo para salvar)

multiple - quando verdadeiro, a seleção de vários itens é permitida

Fábrica de funções estáticas

As funções a seguir, quando chamadas, criam uma caixa de diálogo modal e nativa, aguardam a seleção do usuário e, em seguida, retornam o(s) valor(es) selecionado(s) ou None para o chamador.

tkinter.filedialog.askopenfile(mode='r', **options)

tkinter.filedialog.askopenfiles(mode='r', **options)

As duas funções acima criam uma caixa de diálogo Open e retornam a caixa de diálogo com um ou mais objetos arquivo abertos em modo somente leitura.

tkinter.filedialog.asksaveasfile(mode='w', **options)

Cria uma caixa de diálogo SaveAs e retorna um objeto arquivo aberto em modo somente escrita.

tkinter.filedialog.askopenfilename(**options)

tkinter.filedialog.askopenfilenames(**options)

As duas funções acima criam uma caixa de diálogo Open e retornam um ou mais nomes de arquivos selecionados que correspondem aos arquivos existentes.

tkinter.filedialog.asksaveasfilename(**options)

Cria uma caixa de diálogo SaveAs e retorna o nome do arquivo selecionado.

tkinter.filedialog.askdirectory(**options)

Solicita ao usuário que selecione um diretório.

Opção de palavra reservada adicional:

mustexist - determina se a seleção deve ser um diretório existente.

class tkinter.filedialog.Open(master=None, **options)

class tkinter.filedialog.SaveAs(master=None, **options)

As duas classes acima fornecem janelas de diálogo nativas para salvar e carregar files.

Classes de conveniência

As classes abaixo são usadas para criar janelas de arquivos/diretórios desde o início. Elas não emulam a aparência nativa da plataforma.

class tkinter.filedialog.Directory(master=None, **options)

Cria uma caixa de diálogo solicitando que o usuário selecione um diretório.

Nota

A classe FileDialog deve ser uma subclasse para manipulação e comportamento de eventos personalizados.

class tkinter.filedialog.FileDialog(master, title=None)

Cria uma caixa de diálogo básica de seleção de arquivo.

cancel_command(event=None)

Aciona o encerramento da janela de diálogo.

dirs_double_event(event)

Manipulador de eventos para evento de clique duplo no diretório.

dirs_select_event(event)

Manipulador de eventos para evento de clique no diretório.

files_double_event(event)

Manipulador de eventos para evento de clique duplo no arquivo.

files_select_event(event)

Manipulador de eventos para evento de clique único no arquivo.

filter_command(event=None)

Filtra os arquivos por diretório.

get_filter()

Recupera o filtro de arquivo atualmente em uso.

get_selection()

Recupera o item atualmente selecionado.

go(dir_or_file=os.curdir, pattern='*', default='', key=None)

Caixa de diálogo de renderização e inicia um laço de eventos.

ok_event(event)

Sai da caixa de diálogo retornando a seleção atual.

quit(how=None)

Sai da caixa de diálogo retornando o nome do arquivo, se houver.

set_filter(dir, pat)

Define o filtro de arquivo.

set_selection(file)

Atualiza a seleção de arquivo atual para file.

class tkinter.filedialog.LoadFileDialog(master, title=None)

Uma subclasse de FileDialog que cria uma janela de diálogo para selecionar um arquivo existente.

ok_command()

Testa se um arquivo é fornecido e se a seleção indica um já arquivo existente.

class tkinter.filedialog.SaveFileDialog(master, title=None)

Uma subclasse de FileDialog que cria uma janela de diálogo para selecionar um arquivo de destino.

ok_command()

Testa se a seleção aponta ou não para um arquivo válido que não é um diretório. A confirmação é necessária se um arquivo já existente for selecionado.

tkinter.commondialog — Modelos de janela de diálogo

Código-fonte: Lib/tkinter/commondialog.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/commondialog.py]

O módulo tkinter.commondialog fornece a a classe Dialog, que é a classe base para diálogos definidos em outros módulos de suporte.

class tkinter.commondialog.Dialog(master=None, **options)

show(color=None, **options)

Renderiza a janela de diálogo.

Ver também

Módulos tkinter.messagebox, Leitura e escrita de arquivos

tkinter.messagebox — Prompts de mensagem do Tkinter

Código-fonte: Lib/tkinter/messagebox.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/messagebox.py]

O módulo tkinter.messagebox provê uma classe base template e uma variedade de métodos de conveniência para as configurações mais comumente usadas. As caixas de mensagem são modais e vão retornar um conjuto de (True, False, None, OK, CANCEL, YES, NO) baseado na seleção do usuário. Estilos e formatos de janelas comuns estão incluidos, mas não estão limitados a:

class tkinter.messagebox.Message(master=None, **options)

Criar uma janela de mensagem com uma mensagem específica da aplicação, um ícone e um conjunto de botões. Cada botão na janela é identificado com um nome simbólico único (veja as opções de “type”).

As seguintes opções são suportadas:

“command”

Especifica a função que será invocada quando o usuário fecha a janela de dálogo. O nome do botão clicado pelo usuário para fechar a janela é passada como um argumento. Esta funcionalidade está disponível apenas no macOS.

“default”

Fornece o nome simbólico do botão padrão para essa janela de mensagem (OK, CANCEL, e assim por diante). Se essa opção não for especificada, o primeiro botão da caixa de diálogo será o padrão.

“detail”

Especifica uma mensagem auxiliar para a mensagem principal fornecida pela opção message. Esta mensagem será apresentado abaixo da mensagem principal e, quando suportado pelo sistema operacional, em uma fonte menos enfatizada do que a mensagem principal.

“icon”

Especifica um icon a ser apresentado. Se essa opção não for especificada, o ícone INFO será exibido.

“message”

Especifica a mensagem para mostrar nessa caixa de mensagem. O padrão valor é uma string vazia.

“parent”

Torna a janela especificada a janela pai da caixa de mensagem. A caixa de mensagem é exibida na parte superior de sua janela pai.

“title”

Especifica uma string para mostrar como o título da caixa de mensagem. Essa opção é ignorada no macOS, onde a plataforma proíbe o uso de um título nesse tipo de caixa de diálogo.

“type”

Organiza um conjunto predefinido de botões a serem mostrados.

show(**options)

Mostra uma janela de mensagem e aguarda que o usuário selecione um dos botões. Em seguida, retorna o nome simbólico do botão selecionado. Argumentos nomeados pode substituir opções especificadas no construtor.

Caixa de mensagem de informação

tkinter.messagebox.showinfo(title=None, message=None, **options)

Cria e exibe uma caixa de mensagem informativa com o título e a mensagem especificados.

Caixas de mensagem de atenção

tkinter.messagebox.showwarning(title=None, message=None, **options)

Cria e exibe uma caixa de mensagem de alerta com o título e a mensagem especificados.

tkinter.messagebox.showerror(title=None, message=None, **options)

Cria e exibe uma caixa de mensagem de erro com o título e a mensagem especificados.

Caixas de mensagem de dúvida

tkinter.messagebox.askquestion(title=None, message=None, *, type=YESNO, **options)

Faz uma pergunta. Por padrão mostra os botões YES e NO. Retorna o nome simbólico do botão selecionado.

tkinter.messagebox.askokcancel(title=None, message=None, **options)

Pergunta se a operação deve prosseguir. Mostra os botões OK e CANCEL. Retorna True se a resposta for “OK” e False caso contrário.

tkinter.messagebox.askretrycancel(title=None, message=None, **options)

Pergunta se a operação deve ser tentada novamente. Mostra os botões RETRY e CANCEL. Retorna True se a resposta for sim e False caso contrário.

tkinter.messagebox.askyesno(title=None, message=None, **options)

Faz uma pergunta. Mostra os botões YES e NO. Retorna True se a resposta for sim e False caso contrário.

tkinter.messagebox.askyesnocancel(title=None, message=None, **options)

Faz uma pergunta. Mostra os botões YES, NO e CANCEL. Retorna True se a resposta for sim, None se cancelado, e False caso contrário.

Nomes simbólicos dos botões:

tkinter.messagebox.ABORT = 'abort'

tkinter.messagebox.RETRY = 'retry'

tkinter.messagebox.IGNORE = 'ignore'

tkinter.messagebox.OK = 'ok'

tkinter.messagebox.CANCEL = 'cancel'

tkinter.messagebox.YES = 'yes'

tkinter.messagebox.NO = 'no'

Conjunto predefinido de botões:

tkinter.messagebox.ABORTRETRYIGNORE = 'abortretryignore'

Exibe três botões cujos nomes simbólicos são ABORT, RETRY e IGNORE.

tkinter.messagebox.OK = 'ok'

Exibe um botão cujo nome simbólico é OK.

tkinter.messagebox.OKCANCEL = 'okcancel'

Exibe dois botões cujos nomes simbólicos são OK e CANCEL.

tkinter.messagebox.RETRYCANCEL = 'retrycancel'

Exibe dois botões cujos nomes simbólicos são RETRY e CANCEL.

tkinter.messagebox.YESNO = 'yesno'

Exibe dois botões cujos nomes simbólicos são YES e NO.

tkinter.messagebox.YESNOCANCEL = 'yesnocancel'

Exibe três botões cujos nomes simbólicos são YES, NO e CANCEL.

Imagens de ícones:

tkinter.messagebox.ERROR = 'error'

tkinter.messagebox.INFO = 'info'

tkinter.messagebox.QUESTION = 'question'

tkinter.messagebox.WARNING = 'warning'

tkinter.scrolledtext — Widget de texto de rolado

Código-fonte: Lib/tkinter/scrolledtext.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/scrolledtext.py]

O módulo tkinter.scrolledtext fornece uma classe com o mesmo nome que implementa um widget de texto básico que possui uma barra de rolagem vertical configurada para fazer a “coisa certa”. Usar a classe ScrolledText é muito mais fácil do que configurar um widget de texto e barra de rolagem diretamente.

O widget de texto e a barra de rolagem são agrupados em Frame, e os métodos dos gerenciadores de geometria Grid e Pack são adquiridos do objeto Frame. Isso permite que o widget ScrolledText seja usado diretamente para obter o comportamento mais normal de gerenciamento de geometria.

Se um controle mais específico for necessário, os seguintes atributos estarão disponíveis:

class tkinter.scrolledtext.ScrolledText(master=None, **kw)

frame

O quadro que envolve os widgets de barra de rolagem e texto.

vbar

O widget da barra de rolagem.

tkinter.dnd — Suporte para arrastar e soltar

Código-fonte: Lib/tkinter/dnd.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/dnd.py]

Nota

Isto é experimental e deverá ser descontinuado quando for substituído pelo Tk DND.

O módulo tkinter.dnd fornece suporte de arrastar e soltar para objetos dentro de uma única aplicação, dentro da mesma janela ou entre janelas. Para permitir que um objeto seja arrastado, você deve criar uma associação de evento para ele que inicie o processo de arrastar e soltar. Normalmente, você associa um evento ButtonPress a uma função de retorno que você escreve (consulte Ligações e Eventos). A função deve chamar dnd_start(), onde ‘source’ é o objeto a ser arrastado e ‘event’ é o evento que invocou a chamada (o argumento para sua função de retorno).

A seleção de um objeto de destino ocorre da seguinte forma:

Pesquisa de cima para baixo da área sob o mouse para o widget alvo

O widget alvo deve ter um atributo chamável dnd_accept

Se dnd_accept não estiver presente ou retornar None, a pesquisa vai para o widget pai

Se nenhum widget de destino for encontrado, o objeto alvo é None

Chamada para <old_target>.dnd_leave(source, event)

Chamada para <new_target>.dnd_enter(source, event)

Chamada para <target>.dnd_commit(source, event) para notificar que soltou

Chamada para <source>.dnd_end(target, event) para sinalizar o fim do arrastar e soltar

class tkinter.dnd.DndHandler(source, event)

A classe DndHandler trata de eventos de arrastar e soltar que rastreiam eventos Motion e ButtonRelease na raiz do widget de evento.

cancel(event=None)

Cancela o processo de arrastar e soltar.

finish(event, commit=0)

Executa o fim das funções de arrastar e soltar.

on_motion(event)

Inspeciona a área abaixo do mouse para objetos alvos enquanto o arrasto é executado.

on_release(event)

Sinaliza o fim do arrasto quando o padrão de liberação for acionado.

tkinter.dnd.dnd_start(source, event)

Função de fábrica para processo de arrastar e soltar.

Ver também

Ligações e Eventos

tkinter.ttk — Widgets temáticos do Tk

Código-fonte: Lib/tkinter/ttk.py [https://github.com/python/cpython/tree/3.13/Lib/tkinter/ttk.py]

O módulo tkinter.ttk introduzido no Tk 8.5, fornece acesso ao conjunto de widgets temáticos do Tk, Alguns dos beneficios incluídos são a renderização de fontes com suavização de serrilhamento no x11 e transparência de janelas (requer um gerenciador de composição de janelas no x11).

A ideia básica para tkinter.ttk é separar, na medida do possível, o código que implementa o comportamento de widget do código que implementa sua aparência.

Ver também

Tk Widget Styling Support [https://core.tcl.tk/tips/doc/trunk/tip/48.md]

Um documento que apresenta o suporte de temas para Tk

Usando Ttk

Para começar a usar Ttk, importe seu módulo:

from tkinter import ttk

Para substituir os widgets básicos do Tk, a importação deve seguir a importação do Tk:

from tkinter import *
from tkinter.ttk import *

Esse código faz com que vários widgets tkinter.ttk (Button, Checkbutton, Entry, Frame, Label, LabelFrame, Menubutton, PanedWindow, Radiobutton, Scale e Scrollbar) substituam automaticamente os widgets Tk.

Isso traz o benefício direto de utilizar os widgets novos que possuem melhor aparência e sensação de uso entre as plataformas, contudo, os widgets substitutos não são completamente compatíveis. A maior diferença é que as opções como “fg”, “bg” e outras relacionadas à estilização do widget não estão mais presentes nos widgets Ttk. Em vez disso, use a classe ttk.Style para melhores efeitos de estilização.

Ver também

Convertendo aplicações existentes para utilização dos widgets Tile [https://tktable.sourceforge.net/tile/doc/converting.txt]

Uma monografia (utilizando a terminologia Tcl) sobre diferenças tipicamente encontradas ao mover aplicações para utilização de novos widgets.

Widgets Ttk

Ttk traz 18 widgets, das quais doze já existiam no tkinter: Button, Checkbutton, Entry, Frame, Label, LabelFrame, Menubutton, PanedWindow, Radiobutton, Scale, Scrollbar, e Spinbox. As outras seis são novas: Combobox, Notebook, Progressbar, Separator, Sizegrip e Treeview. E todas elas são subclasses de Widget.

Utilizar os widgets Ttk melhora a experiência de uso e o visual da aplicação. Conforme discutido anteriormente, existem diferenças em como a estilização é codificada.

Código Tk:

l1 = tkinter.Label(text="Test", fg="black", bg="white")
l2 = tkinter.Label(text="Test", fg="black", bg="white")

Código Ttk:

style = ttk.Style()
style.configure("BW.TLabel", foreground="black", background="white")

l1 = ttk.Label(text="Test", style="BW.TLabel")
l2 = ttk.Label(text="Test", style="BW.TLabel")

Para mais informações sobre TtkStyling, veja a documentação da classe Style.

Widget

ttk.Widget define opções padrão e métodos suportados pelos widgets temáticos Tk e não deve ser instanciada diretamente.

Opções padrão

Todos os Widgets ttk aceitam as seguintes opções:

Opção

Descrição

class

Specifies the window class. The class is used when querying the option database for the window’s other options, to determine the default bindtags for the window, and to select the widget’s default layout and style. This option is read-only, and may only be specified when the window is created.

cursor

Especifica o cursor do mouse a ser utilizado pelo widget. Caso seja definido como uma string vazia (padrão), o cursor é herdado do widget pai.

takefocus

Determina se a janela aceitará foco durante a navegação com o teclado. Retorna 0, 1 ou uma string vazia. Caso retorne 0, significa que a janela deve ser completamente ignorada durante a navegação com o teclado. Caso retorne 1, significa que a janela receberá as entradas do teclado enquanto estiver visível. E a string vazia significa que os scripts de navegação determinam quando a janela recebe foco ou não.

style

Pode ser utilizado para especificar um estilo customizado do widget.

Opções de ferramenta rolável

As opções a seguir são suportadas pelos widgets que são controlados por uma barra de rolagem.

Opção

Descrição

xscrollcommand

Utilizado para comunicação com barras de rolagem horizontais.

Quando a visualização na janela do widget mudar, o widget irá gerar um comando Tcl baseado no comando da barra de rolagem.

Geralmente essa opção consiste no método Scrollbar.set() de alguma barra de rolagem. Isso fará com que a barra de rolagem seja atualizada sempre que a visualização da janela mude.

yscrollcommand

Utilizado para comunicação com barras de rolagem verticais. Para mais informações, veja acima.

Opções de rótulo

As opções a seguir são suportadas por rótulos, botões e outros widgets semelhantes.

Opção

Descrição

text

Especifica uma string para exibição dentro do widget.

textvariable

Specifies a name whose value will be used in place of the text option resource.

underline

Caso definido, especifica o índice (base-0) de um caractere para sublinhamento na string de texto. O caractere sublinhado é utilizado para ativação mnemônica.

image

Define uma imagem para exibição. Isso é uma lista de 1 ou mais elementos. O primeiro elemento é o nome da imagem padrão. O resto da lista é uma sequência de pares estado/valor conforme definido por Style.map(), definindo imagens diferentes para utilização quando o widget estiver em um determinado estado ou em uma combinação de estados. Todas as imagens da lista devem ter o mesmo tamanho.

compound

Define como exibir a imagem em relação ao texto, no caso em que ambas as opções de texto e imagem estejam presentes. Valores válidos são:

texto: exibir apenas texto

imagem: exibir apenas a imagem

top, bottom, left, right: exibem a imagem acima, abaixo, à esquerda, ou à direita do texto, respectivamente.

none: o padrão, exibe a imagem caso ela esteja presente, caso contrário , exibe o texto.

width

Caso maior que zero, especifica quanto espaço, em largura de caracteres, alocar para o rótulo do texto, se menor que zero, especifica a largura mínima. Se zero ou inespecífico, é utilizada a largura normal do rótulo de texto.

Opções de compatibilidade

Opção

Descrição

state

May be set to “normal” or “disabled” to control the “disabled” state bit. This is a write-only option: setting it changes the widget state, but the Widget.state() method does not affect this option.

Estados de Widget

O estado do widget é um bitmap de sinalizadores de estado independentes.

Sinalizador

Descrição

active

O cursor do mouse está sobre o widget e pressionar um botão do mouse causará alguma ação

disabled

Widget está desabilitado sob controle do programa.

focus

Widget tem foco do teclado

pressed

Widget está sendo pressionado

selected

“On”, “true”, or “current” for things like Checkbuttons and radiobuttons

background

Windows e Mac possuem uma noção de janela “ativa” ou em primeiro plano. O estado de “plano de fundo” é definido para widgets em uma janela no plano de fundo, e limpo para aqueles na janela de primeiro plano

readonly

Widget não deve permitir modificação do usuário

alternate

Um formato de exibição específico do widget

invalid

O valor do widget é inválido

Uma especificação de estado é uma sequência de nomes de estado, opcionalmente prefixada por um ponto de exclamação indicando que o bit está desligado.

ttk.Widget

Além dos métodos descritos abaixo, a classe ttk.Widget oferece suporte aos métodos tkinter.Widget.cget() e tkinter.Widget.configure().

class tkinter.ttk.Widget

identify(x, y)

Retorna o nome do elemento na posição x y, ou a string vazia caso o ponto não esteja dentro de algum elemento.

x e y são coordenadas de pixel relativas ao widget.

instate(statespec, callback=None, *args, **kw)

Test the widget’s state. If a callback is not specified, returns True if the widget state matches statespec and False otherwise. If callback is specified then it is called with args if widget state matches statespec.

state(statespec=None)

Modify or inquire widget state. If statespec is specified, sets the widget state according to it and return a new statespec indicating which flags were changed. If statespec is not specified, returns the currently enabled state flags.

statespec will usually be a list or a tuple.

Combobox

O widget ttk.Combobox combina um campo de texto com uma lista suspensa de valores. Esse widget é uma subclasse de Entry.

Besides the methods inherited from Widget: Widget.cget(), Widget.configure(), Widget.identify(), Widget.instate() and Widget.state(), and the following inherited from Entry: Entry.bbox(), Entry.delete(), Entry.icursor(), Entry.index(), Entry.insert(), Entry.selection(), Entry.xview(), it has some other methods, described at ttk.Combobox.

Opções

Este widget aceita as seguintes opções específicas:

Opção

Descrição

exportselection

Valor booleano. Caso definido, a seleção do widget é vinculada à seleção do Gerenciador de Janelas (que pode ser retornada ao chamar Misc.selection_get, por exemplo).

justify

Especifica como o texto é alinhado dentro do widget. Pode ser “left”, “center” ou “right”.

height

Especifica a altura, em linhas, da lista suspensa.

postcommand

Um script (possivelmente registrado com Misc.register) que é chamado imediatamente antes da exibição dos valores. Ele pode especificar quais valores exibir.

state

Um dos estados: “normal”, “readonly” ou “disabled”. No estado “readonly”, o valor não pode ser editado diretamente, e o usuário só pode selecionar valores contidos na lista suspensa. No estado “normal”, o campo de texto é diretamente editável. No estado “disabled”, nenhuma interação é possível.

textvariable

Especifica um nome que terá seu valor vinculado ao valor do widget. Sempre que o valor associado a esse nome mudar, o valor do widget será atualizado, e vice versa. Veja tkinter.StringVar.

values

Especifica a lista de valores para exibição na lista suspensa.

width

Specifies an integer value indicating the desired width of the entry window, in average-size characters of the widget’s font.

Eventos virtuais

Os widgets combobox geram um evento virtual <<ComboboxSelected>> quando o usuário seleciona um elemento da lista de valores.

ttk.Combobox

class tkinter.ttk.Combobox

current(newindex=None)

If newindex is specified, sets the combobox value to the element position newindex. Otherwise, returns the index of the current value or -1 if the current value is not in the values list.

get()

Retorna o valor atual do combobox.

set(value)

Sets the value of the combobox to value.

Spinbox

The ttk.Spinbox widget is a ttk.Entry enhanced with increment and decrement arrows. It can be used for numbers or lists of string values. This widget is a subclass of Entry.

Besides the methods inherited from Widget: Widget.cget(), Widget.configure(), Widget.identify(), Widget.instate() and Widget.state(), and the following inherited from Entry: Entry.bbox(), Entry.delete(), Entry.icursor(), Entry.index(), Entry.insert(), Entry.xview(), it has some other methods, described at ttk.Spinbox.

Opções

Este widget aceita as seguintes opções específicas:

Opção

Descrição

de

Float value. If set, this is the minimum value to which the decrement button will decrement. Must be spelled as from_ when used as an argument, since from is a Python keyword.

para

Float value. If set, this is the maximum value to which the increment button will increment.

increment

Float value. Specifies the amount which the increment/decrement buttons change the value. Defaults to 1.0.

values

Sequence of string or float values. If specified, the increment/decrement buttons will cycle through the items in this sequence rather than incrementing or decrementing numbers.

wrap

Boolean value. If True, increment and decrement buttons will cycle from the to value to the from value or the from value to the to value, respectively.

formato

String value. This specifies the format of numbers set by the increment/decrement buttons. It must be in the form “%W.Pf”, where W is the padded width of the value, P is the precision, and ‘%’ and ‘f’ are literal.

command

Python callable. Will be called with no arguments whenever either of the increment or decrement buttons are pressed.

Eventos virtuais

The spinbox widget generates an <<Increment>> virtual event when the user presses <Up>, and a <<Decrement>> virtual event when the user presses <Down>.

ttk.Spinbox

class tkinter.ttk.Spinbox

get()

Returns the current value of the spinbox.

set(value)

Sets the value of the spinbox to value.

Notebook

Ttk Notebook widget manages a collection of windows and displays a single one at a time. Each child window is associated with a tab, which the user may select to change the currently displayed window.

Opções

Este widget aceita as seguintes opções específicas:

Opção

Descrição

height

If present and greater than zero, specifies the desired height of the pane area (not including internal padding or tabs). Otherwise, the maximum height of all panes is used.

padding

Specifies the amount of extra space to add around the outside of the notebook. The padding is a list up to four length specifications left top right bottom. If fewer than four elements are specified, bottom defaults to top, right defaults to left, and top defaults to left.

width

If present and greater than zero, specified the desired width of the pane area (not including internal padding). Otherwise, the maximum width of all panes is used.

Tab Options

There are also specific options for tabs:

Opção

Descrição

state

Either “normal”, “disabled” or “hidden”. If “disabled”, then the tab is not selectable. If “hidden”, then the tab is not shown.

sticky

Specifies how the child window is positioned within the pane area. Value is a string containing zero or more of the characters “n”, “s”, “e” or “w”. Each letter refers to a side (north, south, east or west) that the child window will stick to, as per the grid() geometry manager.

padding

Specifies the amount of extra space to add between the notebook and this pane. Syntax is the same as for the option padding used by this widget.

text

Specifies a text to be displayed in the tab.

image

Specifies an image to display in the tab. See the option image described in Widget.

compound

Specifies how to display the image relative to the text, in the case both options text and image are present. See Label Options for legal values.

underline

Specifies the index (0-based) of a character to underline in the text string. The underlined character is used for mnemonic activation if Notebook.enable_traversal() is called.

Tab Identifiers

The tab_id present in several methods of ttk.Notebook may take any of the following forms:

An integer between zero and the number of tabs

The name of a child window

A positional specification of the form “@x,y”, which identifies the tab

The literal string “current”, which identifies the currently selected tab

The literal string “end”, which returns the number of tabs (only valid for Notebook.index())

Virtual Events

This widget generates a <<NotebookTabChanged>> virtual event after a new tab is selected.

ttk.Notebook

class tkinter.ttk.Notebook

add(child, **kw)

Adds a new tab to the notebook.

If window is currently managed by the notebook but hidden, it is restored to its previous position.

See Tab Options for the list of available options.

forget(tab_id)

Removes the tab specified by tab_id, unmaps and unmanages the associated window.

hide(tab_id)

Hides the tab specified by tab_id.

The tab will not be displayed, but the associated window remains managed by the notebook and its configuration remembered. Hidden tabs may be restored with the add() command.

identify(x, y)

Returns the name of the tab element at position x, y, or the empty string if none.

index(tab_id)

Returns the numeric index of the tab specified by tab_id, or the total number of tabs if tab_id is the string “end”.

insert(pos, child, **kw)

Inserts a pane at the specified position.

pos is either the string “end”, an integer index, or the name of a managed child. If child is already managed by the notebook, moves it to the specified position.

See Tab Options for the list of available options.

select(tab_id=None)

Selects the specified tab_id.

The associated child window will be displayed, and the previously selected window (if different) is unmapped. If tab_id is omitted, returns the widget name of the currently selected pane.

tab(tab_id, option=None, **kw)

Query or modify the options of the specific tab_id.

If kw is not given, returns a dictionary of the tab option values. If option is specified, returns the value of that option. Otherwise, sets the options to the corresponding values.

tabs()

Returns a list of windows managed by the notebook.

enable_traversal()

Enable keyboard traversal for a toplevel window containing this notebook.

This will extend the bindings for the toplevel window containing the notebook as follows:

Control-Tab: selects the tab following the currently selected one.

Shift-Control-Tab: selects the tab preceding the currently selected one.

Alt-K: where K is the mnemonic (underlined) character of any tab, will select that tab.

Multiple notebooks in a single toplevel may be enabled for traversal, including nested notebooks. However, notebook traversal only works properly if all panes have the notebook they are in as master.

Progressbar

The ttk.Progressbar widget shows the status of a long-running operation. It can operate in two modes: 1) the determinate mode which shows the amount completed relative to the total amount of work to be done and 2) the indeterminate mode which provides an animated display to let the user know that work is progressing.

Opções

Este widget aceita as seguintes opções específicas:

Opção

Descrição

orient

One of “horizontal” or “vertical”. Specifies the orientation of the progress bar.

length

Specifies the length of the long axis of the progress bar (width if horizontal, height if vertical).

modo

One of “determinate” or “indeterminate”.

maximum

A number specifying the maximum value. Defaults to 100.

value

The current value of the progress bar. In “determinate” mode, this represents the amount of work completed. In “indeterminate” mode, it is interpreted as modulo maximum; that is, the progress bar completes one “cycle” when its value increases by maximum.

variável

A name which is linked to the option value. If specified, the value of the progress bar is automatically set to the value of this name whenever the latter is modified.

phase

Read-only option. The widget periodically increments the value of this option whenever its value is greater than 0 and, in determinate mode, less than maximum. This option may be used by the current theme to provide additional animation effects.

ttk.Progressbar

class tkinter.ttk.Progressbar

start(interval=None)

Begin autoincrement mode: schedules a recurring timer event that calls Progressbar.step() every interval milliseconds. If omitted, interval defaults to 50 milliseconds.

step(amount=None)

Increments the progress bar’s value by amount.

amount defaults to 1.0 if omitted.

stop()

Stop autoincrement mode: cancels any recurring timer event initiated by Progressbar.start() for this progress bar.

Separator

The ttk.Separator widget displays a horizontal or vertical separator bar.

It has no other methods besides the ones inherited from ttk.Widget.

Opções

This widget accepts the following specific option:

Opção

Descrição

orient

One of “horizontal” or “vertical”. Specifies the orientation of the separator.

Sizegrip

The ttk.Sizegrip widget (also known as a grow box) allows the user to resize the containing toplevel window by pressing and dragging the grip.

This widget has neither specific options nor specific methods, besides the ones inherited from ttk.Widget.

Platform-specific notes

On macOS, toplevel windows automatically include a built-in size grip by default. Adding a Sizegrip is harmless, since the built-in grip will just mask the widget.

Bugs

If the containing toplevel’s position was specified relative to the right or bottom of the screen (e.g. ….), the Sizegrip widget will not resize the window.

This widget supports only “southeast” resizing.

Treeview

The ttk.Treeview widget displays a hierarchical collection of items. Each item has a textual label, an optional image, and an optional list of data values. The data values are displayed in successive columns after the tree label.

The order in which data values are displayed may be controlled by setting the widget option displaycolumns. The tree widget can also display column headings. Columns may be accessed by number or symbolic names listed in the widget option columns. See Column Identifiers.

Each item is identified by a unique name. The widget will generate item IDs if they are not supplied by the caller. There is a distinguished root item, named {}. The root item itself is not displayed; its children appear at the top level of the hierarchy.

Each item also has a list of tags, which can be used to associate event bindings with individual items and control the appearance of the item.

The Treeview widget supports horizontal and vertical scrolling, according to the options described in Scrollable Widget Options and the methods Treeview.xview() and Treeview.yview().

Opções

Este widget aceita as seguintes opções específicas:

Opção

Descrição

columns

A list of column identifiers, specifying the number of columns and their names.

displaycolumns

A list of column identifiers (either symbolic or integer indices) specifying which data columns are displayed and the order in which they appear, or the string “#all”.

height

Specifies the number of rows which should be visible. Note: the requested width is determined from the sum of the column widths.

padding

Specifies the internal padding for the widget. The padding is a list of up to four length specifications.

selectmode

Controls how the built-in class bindings manage the selection. One of “extended”, “browse” or “none”. If set to “extended” (the default), multiple items may be selected. If “browse”, only a single item will be selected at a time. If “none”, the selection will not be changed.

Note that the application code and tag bindings can set the selection however they wish, regardless of the value of this option.

show

A list containing zero or more of the following values, specifying which elements of the tree to display.

tree: display tree labels in column #0.

headings: display the heading row.

The default is “tree headings”, i.e., show all elements.

Note: Column #0 always refers to the tree column, even if show=”tree” is not specified.

Item Options

The following item options may be specified for items in the insert and item widget commands.

Opção

Descrição

text

The textual label to display for the item.

image

A Tk Image, displayed to the left of the label.

values

The list of values associated with the item.

Each item should have the same number of values as the widget option columns. If there are fewer values than columns, the remaining values are assumed empty. If there are more values than columns, the extra values are ignored.

open

True/False value indicating whether the item’s children should be displayed or hidden.

tags

A list of tags associated with this item.

Tag Options

The following options may be specified on tags:

Opção

Descrição

foreground

Specifies the text foreground color.

background

Specifies the cell or item background color.

font

Specifies the font to use when drawing text.

image

Specifies the item image, in case the item’s image option is empty.

Column Identifiers

Column identifiers take any of the following forms:

A symbolic name from the list of columns option.

An integer n, specifying the nth data column.

A string of the form #n, where n is an integer, specifying the nth display column.

Notas:

Item’s option values may be displayed in a different order than the order in which they are stored.

Column #0 always refers to the tree column, even if show=”tree” is not specified.

A data column number is an index into an item’s option values list; a display column number is the column number in the tree where the values are displayed. Tree labels are displayed in column #0. If option displaycolumns is not set, then data column n is displayed in column #n+1. Again, column #0 always refers to the tree column.

Virtual Events

The Treeview widget generates the following virtual events.

Evento

Descrição

<<TreeviewSelect>>

Generated whenever the selection changes.

<<TreeviewOpen>>

Generated just before settings the focus item to open=True.

<<TreeviewClose>>

Generated just after setting the focus item to open=False.

The Treeview.focus() and Treeview.selection() methods can be used to determine the affected item or items.

ttk.Treeview

class tkinter.ttk.Treeview

bbox(item, column=None)

Returns the bounding box (relative to the treeview widget’s window) of the specified item in the form (x, y, width, height).

If column is specified, returns the bounding box of that cell. If the item is not visible (i.e., if it is a descendant of a closed item or is scrolled offscreen), returns an empty string.

get_children(item=None)

Returns the list of children belonging to item.

If item is not specified, returns root children.

set_children(item, *newchildren)

Replaces item’s child with newchildren.

Children present in item that are not present in newchildren are detached from the tree. No items in newchildren may be an ancestor of item. Note that not specifying newchildren results in detaching item’s children.

column(column, option=None, **kw)

Query or modify the options for the specified column.

If kw is not given, returns a dict of the column option values. If option is specified then the value for that option is returned. Otherwise, sets the options to the corresponding values.

The valid options/values are:

id

Returns the column name. This is a read-only option.

anchor: One of the standard Tk anchor values.

Specifies how the text in this column should be aligned with respect to the cell.

minwidth: width

The minimum width of the column in pixels. The treeview widget will not make the column any smaller than specified by this option when the widget is resized or the user drags a column.

stretch: True/False

Specifies whether the column’s width should be adjusted when the widget is resized.

width: width

The width of the column in pixels.

To configure the tree column, call this with column = “#0”

delete(*items)

Delete all specified items and all their descendants.

The root item may not be deleted.

detach(*items)

Unlinks all of the specified items from the tree.

The items and all of their descendants are still present, and may be reinserted at another point in the tree, but will not be displayed.

The root item may not be detached.

exists(item)

Returns True if the specified item is present in the tree.

focus(item=None)

If item is specified, sets the focus item to item. Otherwise, returns the current focus item, or ‘’ if there is none.

heading(column, option=None, **kw)

Query or modify the heading options for the specified column.

If kw is not given, returns a dict of the heading option values. If option is specified then the value for that option is returned. Otherwise, sets the options to the corresponding values.

The valid options/values are:

text: text

The text to display in the column heading.

image: imageName

Specifies an image to display to the right of the column heading.

anchor: anchor

Specifies how the heading text should be aligned. One of the standard Tk anchor values.

command: callback

A callback to be invoked when the heading label is pressed.

To configure the tree column heading, call this with column = “#0”.

identify(component, x, y)

Returns a description of the specified component under the point given by x and y, or the empty string if no such component is present at that position.

identify_row(y)

Returns the item ID of the item at position y.

identify_column(x)

Returns the data column identifier of the cell at position x.

The tree column has ID #0.

identify_region(x, y)

Returns one of:

region

meaning

heading

Tree heading area.

separator

Space between two columns headings.

tree

The tree area.

cell

A data cell.

Availability: Tk 8.6.

identify_element(x, y)

Returns the element at position x, y.

Availability: Tk 8.6.

index(item)

Returns the integer index of item within its parent’s list of children.

insert(parent, index, iid=None, **kw)

Creates a new item and returns the item identifier of the newly created item.

parent is the item ID of the parent item, or the empty string to create a new top-level item. index is an integer, or the value “end”, specifying where in the list of parent’s children to insert the new item. If index is less than or equal to zero, the new node is inserted at the beginning; if index is greater than or equal to the current number of children, it is inserted at the end. If iid is specified, it is used as the item identifier; iid must not already exist in the tree. Otherwise, a new unique identifier is generated.

See Item Options for the list of available options.

item(item, option=None, **kw)

Query or modify the options for the specified item.

If no options are given, a dict with options/values for the item is returned. If option is specified then the value for that option is returned. Otherwise, sets the options to the corresponding values as given by kw.

move(item, parent, index)

Moves item to position index in parent’s list of children.

It is illegal to move an item under one of its descendants. If index is less than or equal to zero, item is moved to the beginning; if greater than or equal to the number of children, it is moved to the end. If item was detached it is reattached.

next(item)

Returns the identifier of item’s next sibling, or ‘’ if item is the last child of its parent.

parent(item)

Returns the ID of the parent of item, or ‘’ if item is at the top level of the hierarchy.

prev(item)

Returns the identifier of item’s previous sibling, or ‘’ if item is the first child of its parent.

reattach(item, parent, index)

An alias for Treeview.move().

see(item)

Ensure that item is visible.

Sets all of item’s ancestors open option to True, and scrolls the widget if necessary so that item is within the visible portion of the tree.

selection()

Returns a tuple of selected items.

Alterado na versão 3.8: selection() no longer takes arguments. For changing the selection state use the following selection methods.

selection_set(*items)

items becomes the new selection.

Alterado na versão 3.6: items can be passed as separate arguments, not just as a single tuple.

selection_add(*items)

Add items to the selection.

Alterado na versão 3.6: items can be passed as separate arguments, not just as a single tuple.

selection_remove(*items)

Remove items from the selection.

Alterado na versão 3.6: items can be passed as separate arguments, not just as a single tuple.

selection_toggle(*items)

Toggle the selection state of each item in items.

Alterado na versão 3.6: items can be passed as separate arguments, not just as a single tuple.

set(item, column=None, value=None)

With one argument, returns a dictionary of column/value pairs for the specified item. With two arguments, returns the current value of the specified column. With three arguments, sets the value of given column in given item to the specified value.

tag_bind(tagname, sequence=None, callback=None)

Bind a callback for the given event sequence to the tag tagname. When an event is delivered to an item, the callbacks for each of the item’s tags option are called.

tag_configure(tagname, option=None, **kw)

Query or modify the options for the specified tagname.

If kw is not given, returns a dict of the option settings for tagname. If option is specified, returns the value for that option for the specified tagname. Otherwise, sets the options to the corresponding values for the given tagname.

tag_has(tagname, item=None)

If item is specified, returns 1 or 0 depending on whether the specified item has the given tagname. Otherwise, returns a list of all items that have the specified tag.

Availability: Tk 8.6

xview(*args)

Query or modify horizontal position of the treeview.

yview(*args)

Query or modify vertical position of the treeview.

Ttk Styling

Each widget in ttk is assigned a style, which specifies the set of elements making up the widget and how they are arranged, along with dynamic and default settings for element options. By default the style name is the same as the widget’s class name, but it may be overridden by the widget’s style option. If you don’t know the class name of a widget, use the method Misc.winfo_class() (somewidget.winfo_class()).

Ver também

Tcl’2004 conference presentation [https://tktable.sourceforge.net/tile/tile-tcl2004.pdf]

This document explains how the theme engine works

class tkinter.ttk.Style

This class is used to manipulate the style database.

configure(style, query_opt=None, **kw)

Query or set the default value of the specified option(s) in style.

Each key in kw is an option and each value is a string identifying the value for that option.

For example, to change every default button to be a flat button with some padding and a different background color:

from tkinter import ttk
import tkinter

root = tkinter.Tk()

ttk.Style().configure("TButton", padding=6, relief="flat",
   background="#ccc")

btn = ttk.Button(text="Sample")
btn.pack()

root.mainloop()

map(style, query_opt=None, **kw)

Query or sets dynamic values of the specified option(s) in style.

Each key in kw is an option and each value should be a list or a tuple (usually) containing statespecs grouped in tuples, lists, or some other preference. A statespec is a compound of one or more states and then a value.

An example may make it more understandable:

import tkinter
from tkinter import ttk

root = tkinter.Tk()

style = ttk.Style()
style.map("C.TButton",
    foreground=[('pressed', 'red'), ('active', 'blue')],
    background=[('pressed', '!disabled', 'black'), ('active', 'white')]
    )

colored_btn = ttk.Button(text="Test", style="C.TButton").pack()

root.mainloop()

Note that the order of the (states, value) sequences for an option does matter, if the order is changed to [('active', 'blue'), ('pressed', 'red')] in the foreground option, for example, the result would be a blue foreground when the widget were in active or pressed states.

lookup(style, option, state=None, default=None)

Returns the value specified for option in style.

If state is specified, it is expected to be a sequence of one or more states. If the default argument is set, it is used as a fallback value in case no specification for option is found.

To check what font a Button uses by default:

from tkinter import ttk

print(ttk.Style().lookup("TButton", "font"))

layout(style, layoutspec=None)

Define the widget layout for given style. If layoutspec is omitted, return the layout specification for given style.

layoutspec, if specified, is expected to be a list or some other sequence type (excluding strings), where each item should be a tuple and the first item is the layout name and the second item should have the format described in Layouts.

To understand the format, see the following example (it is not intended to do anything useful):

from tkinter import ttk
import tkinter

root = tkinter.Tk()

style = ttk.Style()
style.layout("TMenubutton", [
   ("Menubutton.background", None),
   ("Menubutton.button", {"children":
       [("Menubutton.focus", {"children":
           [("Menubutton.padding", {"children":
               [("Menubutton.label", {"side": "left", "expand": 1})]
           })]
       })]
   }),
])

mbtn = ttk.Menubutton(text='Text')
mbtn.pack()
root.mainloop()

element_create(elementname, etype, *args, **kw)

Create a new element in the current theme, of the given etype which is expected to be either “image”, “from” or “vsapi”. The latter is only available in Tk 8.6 on Windows.

If “image” is used, args should contain the default image name followed by statespec/value pairs (this is the imagespec), and kw may have the following options:

border=padding

padding is a list of up to four integers, specifying the left, top, right, and bottom borders, respectively.

height=height

Specifies a minimum height for the element. If less than zero, the base image’s height is used as a default.

padding=padding

Specifies the element’s interior padding. Defaults to border’s value if not specified.

sticky=spec

Specifies how the image is placed within the final parcel. spec contains zero or more characters “n”, “s”, “w”, or “e”.

width=width

Specifies a minimum width for the element. If less than zero, the base image’s width is used as a default.

Exemplo:

img1 = tkinter.PhotoImage(master=root, file='button.png')
img1 = tkinter.PhotoImage(master=root, file='button-pressed.png')
img1 = tkinter.PhotoImage(master=root, file='button-active.png')
style = ttk.Style(root)
style.element_create('Button.button', 'image',
                     img1, ('pressed', img2), ('active', img3),
                     border=(2, 4), sticky='we')

If “from” is used as the value of etype, element_create() will clone an existing element. args is expected to contain a themename, from which the element will be cloned, and optionally an element to clone from. If this element to clone from is not specified, an empty element will be used. kw is discarded.

Exemplo:

style = ttk.Style(root)
style.element_create('plain.background', 'from', 'default')

If “vsapi” is used as the value of etype, element_create() will create a new element in the current theme whose visual appearance is drawn using the Microsoft Visual Styles API which is responsible for the themed styles on Windows XP and Vista. args is expected to contain the Visual Styles class and part as given in the Microsoft documentation followed by an optional sequence of tuples of ttk states and the corresponding Visual Styles API state value. kw may have the following options:

padding=padding

Specify the element’s interior padding. padding is a list of up to four integers specifying the left, top, right and bottom padding quantities respectively. If fewer than four elements are specified, bottom defaults to top, right defaults to left, and top defaults to left. In other words, a list of three numbers specify the left, vertical, and right padding; a list of two numbers specify the horizontal and the vertical padding; a single number specifies the same padding all the way around the widget. This option may not be mixed with any other options.

margins=padding

Specifies the elements exterior padding. padding is a list of up to four integers specifying the left, top, right and bottom padding quantities respectively. This option may not be mixed with any other options.

width=width

Specifies the width for the element. If this option is set then the Visual Styles API will not be queried for the recommended size or the part. If this option is set then height should also be set. The width and height options cannot be mixed with the padding or margins options.

height=height

Specifies the height of the element. See the comments for width.

Exemplo:

style = ttk.Style(root)
style.element_create('pin', 'vsapi', 'EXPLORERBAR', 3, [
                     ('pressed', '!selected', 3),
                     ('active', '!selected', 2),
                     ('pressed', 'selected', 6),
                     ('active', 'selected', 5),
                     ('selected', 4),
                     ('', 1)])
style.layout('Explorer.Pin',
             [('Explorer.Pin.pin', {'sticky': 'news'})])
pin = ttk.Checkbutton(style='Explorer.Pin')
pin.pack(expand=True, fill='both')

Alterado na versão 3.13: Added support of the “vsapi” element factory.

element_names()

Returns the list of elements defined in the current theme.

element_options(elementname)

Returns the list of elementname’s options.

theme_create(themename, parent=None, settings=None)

Create a new theme.

It is an error if themename already exists. If parent is specified, the new theme will inherit styles, elements and layouts from the parent theme. If settings are present they are expected to have the same syntax used for theme_settings().

theme_settings(themename, settings)

Temporarily sets the current theme to themename, apply specified settings and then restore the previous theme.

Each key in settings is a style and each value may contain the keys ‘configure’, ‘map’, ‘layout’ and ‘element create’ and they are expected to have the same format as specified by the methods Style.configure(), Style.map(), Style.layout() and Style.element_create() respectively.

As an example, let’s change the Combobox for the default theme a bit:

from tkinter import ttk
import tkinter

root = tkinter.Tk()

style = ttk.Style()
style.theme_settings("default", {
   "TCombobox": {
       "configure": {"padding": 5},
       "map": {
           "background": [("active", "green2"),
                          ("!disabled", "green4")],
           "fieldbackground": [("!disabled", "green3")],
           "foreground": [("focus", "OliveDrab1"),
                          ("!disabled", "OliveDrab2")]
       }
   }
})

combo = ttk.Combobox().pack()

root.mainloop()

theme_names()

Returns a list of all known themes.

theme_use(themename=None)

If themename is not given, returns the theme in use. Otherwise, sets the current theme to themename, refreshes all widgets and emits a <<ThemeChanged>> event.

Layouts

A layout can be just None, if it takes no options, or a dict of options specifying how to arrange the element. The layout mechanism uses a simplified version of the pack geometry manager: given an initial cavity, each element is allocated a parcel.

The valid options/values are:

side: whichside

Specifies which side of the cavity to place the element; one of top, right, bottom or left. If omitted, the element occupies the entire cavity.

sticky: nswe

Specifies where the element is placed inside its allocated parcel.

unit: 0 or 1

If set to 1, causes the element and all of its descendants to be treated as a single element for the purposes of Widget.identify() et al. It’s used for things like scrollbar thumbs with grips.

children: [sublayout… ]

Specifies a list of elements to place inside the element. Each element is a tuple (or other sequence type) where the first item is the layout name, and the other is a Layout.

IDLE

Código-fonte: Lib/idlelib/ [https://github.com/python/cpython/tree/3.13/Lib/idlelib/]

IDLE is Python’s Integrated Development and Learning Environment.

IDLE has the following features:

cross-platform: works mostly the same on Windows, Unix, and macOS

Python shell window (interactive interpreter) with colorizing of code input, output, and error messages

multi-window text editor with multiple undo, Python colorizing, smart indent, call tips, auto completion, and other features

search within any window, replace within editor windows, and search through multiple files (grep)

debugger with persistent breakpoints, stepping, and viewing of global and local namespaces

configuration, browsers, and other dialogs

Menus

IDLE has two main window types, the Shell window and the Editor window. It is possible to have multiple editor windows simultaneously. On Windows and Linux, each has its own top menu. Each menu documented below indicates which window type it is associated with.

Output windows, such as used for Edit => Find in Files, are a subtype of editor window. They currently have the same top menu but a different default title and context menu.

On macOS, there is one application menu. It dynamically changes according to the window currently selected. It has an IDLE menu, and some entries described below are moved around to conform to Apple guidelines.

Menu Arquivo (Console e Editor)

Novo Arquivo

Create a new file editing window.

Abrir…

Open an existing file with an Open dialog.

Open Module…

Open an existing module (searches sys.path).

Arquivos Recentes

Open a list of recent files. Click one to open it.

Module Browser

Show functions, classes, and methods in the current Editor file in a tree structure. In the shell, open a module first.

Path Browser

Show sys.path directories, modules, functions, classes and methods in a tree structure.

Salvar

Save the current window to the associated file, if there is one. Windows that have been changed since being opened or last saved have a * before and after the window title. If there is no associated file, do Save As instead.

Salvar como…

Save the current window with a Save As dialog. The file saved becomes the new associated file for the window. (If your file namager is set to hide extensions, the current extension will be omitted in the file name box. If the new filename has no ‘.’, ‘.py’ and ‘.txt’ will be added for Python and text files, except that on macOS Aqua,’.py’ is added for all files.)

Save Copy As…

Save the current window to different file without changing the associated file. (See Save As note above about filename extensions.)

Print Window

Print the current window to the default printer.

Close Window

Close the current window (if an unsaved editor, ask to save; if an unsaved Shell, ask to quit execution). Calling exit() or close() in the Shell window also closes Shell. If this is the only window, also exit IDLE.

Exit IDLE

Close all windows and quit IDLE (ask to save unsaved edit windows).

Edit menu (Shell and Editor)

Desfazer

Desfaz a última alteração na janela atual. Um máximo de 1000 alterações podem ser desfeitas.

Redo

Redo the last undone change to the current window.

Select All

Select the entire contents of the current window.

Cut

Copy selection into the system-wide clipboard; then delete the selection.

Copy

Copy selection into the system-wide clipboard.

Paste

Insert contents of the system-wide clipboard into the current window.

The clipboard functions are also available in context menus.

Find…

Open a search dialog with many options

Find Again

Repeat the last search, if there is one.

Find Selection

Search for the currently selected string, if there is one.

Find in Files…

Open a file search dialog. Put results in a new output window.

Replace…

Open a search-and-replace dialog.

Go to Line

Move the cursor to the beginning of the line requested and make that line visible. A request past the end of the file goes to the end. Clear any selection and update the line and column status.

Show Completions

Open a scrollable list allowing selection of existing names. See Completions in the Editing and navigation section below.

Expand Word

Expand a prefix you have typed to match a full word in the same window; repeat to get a different expansion.

Show Call Tip

After an unclosed parenthesis for a function, open a small window with function parameter hints. See Calltips in the Editing and navigation section below.

Show Surrounding Parens

Highlight the surrounding parenthesis.

Format menu (Editor window only)

Format Paragraph

Reformat the current blank-line-delimited paragraph in comment block or multiline string or selected line in a string. All lines in the paragraph will be formatted to less than N columns, where N defaults to 72.

Indent Region

Shift selected lines right by the indent width (default 4 spaces).

Dedent Region

Shift selected lines left by the indent width (default 4 spaces).

Comment Out Region

Insert ## in front of selected lines.

Uncomment Region

Remove leading # or ## from selected lines.

Tabify Region

Turn leading stretches of spaces into tabs. (Note: We recommend using 4 space blocks to indent Python code.)

Untabify Region

Turn all tabs into the correct number of spaces.

Toggle Tabs

Open a dialog to switch between indenting with spaces and tabs.

New Indent Width

Open a dialog to change indent width. The accepted default by the Python community is 4 spaces.

Strip Trailing Chitespace

Remove trailing space and other whitespace characters after the last non-whitespace character of a line by applying str.rstrip to each line, including lines within multiline strings. Except for Shell windows, remove extra newlines at the end of the file.

Run menu (Editor window only)

Run Module

Do Check Module. If no error, restart the shell to clean the environment, then execute the module. Output is displayed in the Shell window. Note that output requires use of print or write. When execution is complete, the Shell retains focus and displays a prompt. At this point, one may interactively explore the result of execution. This is similar to executing a file with python -i file at a command line.

Run… Customized

Same as Run Module, but run the module with customized settings. Command Line Arguments extend sys.argv as if passed on a command line. The module can be run in the Shell without restarting.

Check Module

Check the syntax of the module currently open in the Editor window. If the module has not been saved IDLE will either prompt the user to save or autosave, as selected in the General tab of the Idle Settings dialog. If there is a syntax error, the approximate location is indicated in the Editor window.

Python Shell

Open or wake up the Python Shell window.

Shell menu (Shell window only)

View Last Restart

Scroll the shell window to the last Shell restart.

Restart Shell

Restart the shell to clean the environment and reset display and exception handling.

Previous History

Cycle through earlier commands in history which match the current entry.

Next History

Cycle through later commands in history which match the current entry.

Interrupt Execution

Stop a running program.

Debug menu (Shell window only)

Go to File/Line

Look on the current line. with the cursor, and the line above for a filename and line number. If found, open the file if not already open, and show the line. Use this to view source lines referenced in an exception traceback and lines found by Find in Files. Also available in the context menu of the Shell window and Output windows.

Debugger (toggle)

When activated, code entered in the Shell or run from an Editor will run under the debugger. In the Editor, breakpoints can be set with the context menu. This feature is still incomplete and somewhat experimental.

Stack Viewer

Show the stack traceback of the last exception in a tree widget, with access to locals and globals.

Auto-open Stack Viewer

Toggle automatically opening the stack viewer on an unhandled exception.

Options menu (Shell and Editor)

Configure IDLE

Open a configuration dialog and change preferences for the following: fonts, indentation, keybindings, text color themes, startup windows and size, additional help sources, and extensions. On macOS, open the configuration dialog by selecting Preferences in the application menu. For more details, see Setting preferences under Help and preferences.

Most configuration options apply to all windows or all future windows. The option items below only apply to the active window.

Show/Hide Code Context (Editor Window only)

Open a pane at the top of the edit window which shows the block context of the code which has scrolled above the top of the window. See Code Context in the Editing and Navigation section below.

Show/Hide Line Numbers (Editor Window only)

Open a column to the left of the edit window which shows the number of each line of text. The default is off, which may be changed in the preferences (see Setting preferences).

Zoom/Restore Height

Toggles the window between normal size and maximum height. The initial size defaults to 40 lines by 80 chars unless changed on the General tab of the Configure IDLE dialog. The maximum height for a screen is determined by momentarily maximizing a window the first time one is zoomed on the screen. Changing screen settings may invalidate the saved height. This toggle has no effect when a window is maximized.

Window menu (Shell and Editor)

Lists the names of all open windows; select one to bring it to the foreground (deiconifying it if necessary).

Help menu (Shell and Editor)

About IDLE

Display version, copyright, license, credits, and more.

IDLE Help

Display this IDLE document, detailing the menu options, basic editing and navigation, and other tips.

Documentação do Python

Access local Python documentation, if installed, or start a web browser and open docs.python.org showing the latest Python documentation.

Demonstração com o Turtle

Run the turtledemo module with example Python code and turtle drawings.

Additional help sources may be added here with the Configure IDLE dialog under the General tab. See the Help sources subsection below for more on Help menu choices.

Context menus

Open a context menu by right-clicking in a window (Control-click on macOS). Context menus have the standard clipboard functions also on the Edit menu.

Cut

Copy selection into the system-wide clipboard; then delete the selection.

Copy

Copy selection into the system-wide clipboard.

Paste

Insert contents of the system-wide clipboard into the current window.

Editor windows also have breakpoint functions. Lines with a breakpoint set are specially marked. Breakpoints only have an effect when running under the debugger. Breakpoints for a file are saved in the user’s .idlerc directory.

Set Breakpoint

Set a breakpoint on the current line.

Clear Breakpoint

Clear the breakpoint on that line.

Shell and Output windows also have the following.

Go to file/line

Same as in Debug menu.

The Shell window also has an output squeezing facility explained in the Python Shell window subsection below.

Squeeze

If the cursor is over an output line, squeeze all the output between the code above and the prompt below down to a ‘Squeezed text’ label.

Editing and Navigation

Editor windows

IDLE may open editor windows when it starts, depending on settings and how you start IDLE. Thereafter, use the File menu. There can be only one open editor window for a given file.

The title bar contains the name of the file, the full path, and the version of Python and IDLE running the window. The status bar contains the line number (‘Ln’) and column number (‘Col’). Line numbers start with 1; column numbers with 0.

IDLE assumes that files with a known .py* extension contain Python code and that other files do not. Run Python code with the Run menu.

Teclas de atalho

The IDLE insertion cursor is a thin vertical bar between character positions. When characters are entered, the insertion cursor and everything to its right moves right one character and the new character is entered in the new space.

Several non-character keys move the cursor and possibly delete characters. Deletion does not puts text on the clipboard, but IDLE has an undo list. Wherever this doc discusses keys, ‘C’ refers to the Control key on Windows and Unix and the Command key on macOS. (And all such discussions assume that the keys have not been re-bound to something else.)

Arrow keys move the cursor one character or line.

C-LeftArrow and C-RightArrow moves left or right one word.

Home and End go to the beginning or end of the line.

Page Up and Page Down go up or down one screen.

C-Home and C-End go to beginning or end of the file.

Backspace and Del (or C-d) delete the previous or next character.

C-Backspace and C-Del delete one word left or right.

C-k deletes (‘kills’) everything to the right.

Standard keybindings (like C-c to copy and C-v to paste) may work. Keybindings are selected in the Configure IDLE dialog.

Automatic indentation

After a block-opening statement, the next line is indented by 4 spaces (in the Python Shell window by one tab). After certain keywords (break, return etc.) the next line is dedented. In leading indentation, Backspace deletes up to 4 spaces if they are there. Tab inserts spaces (in the Python Shell window one tab), number depends on Indent width. Currently, tabs are restricted to four spaces due to Tcl/Tk limitations.

See also the indent/dedent region commands on the Format menu.

Busca e Substituição

Any selection becomes a search target. However, only selections within a line work because searches are only performed within lines with the terminal newline removed. If [x] Regular expression is checked, the target is interpreted according to the Python re module.

Completions

Completions are supplied, when requested and available, for module names, attributes of classes or functions, or filenames. Each request method displays a completion box with existing names. (See tab completions below for an exception.) For any box, change the name being completed and the item highlighted in the box by typing and deleting characters; by hitting Up, Down, PageUp, PageDown, Home, and End keys; and by a single click within the box. Close the box with Escape, Enter, and double Tab keys or clicks outside the box. A double click within the box selects and closes.

One way to open a box is to type a key character and wait for a predefined interval. This defaults to 2 seconds; customize it in the settings dialog. (To prevent auto popups, set the delay to a large number of milliseconds, such as 100000000.) For imported module names or class or function attributes, type ‘.’. For filenames in the root directory, type os.sep or os.altsep immediately after an opening quote. (On Windows, one can specify a drive first.) Move into subdirectories by typing a directory name and a separator.

Instead of waiting, or after a box is closed, open a completion box immediately with Show Completions on the Edit menu. The default hot key is C-space. If one types a prefix for the desired name before opening the box, the first match or near miss is made visible. The result is the same as if one enters a prefix after the box is displayed. Show Completions after a quote completes filenames in the current directory instead of a root directory.

Hitting Tab after a prefix usually has the same effect as Show Completions. (With no prefix, it indents.) However, if there is only one match to the prefix, that match is immediately added to the editor text without opening a box.

Invoking ‘Show Completions’, or hitting Tab after a prefix, outside of a string and without a preceding ‘.’ opens a box with keywords, builtin names, and available module-level names.

When editing code in an editor (as oppose to Shell), increase the available module-level names by running your code and not restarting the Shell thereafter. This is especially useful after adding imports at the top of a file. This also increases possible attribute completions.

Completion boxes initially exclude names beginning with ‘_’ or, for modules, not included in ‘__all__’. The hidden names can be accessed by typing ‘_’ after ‘.’, either before or after the box is opened.

Calltips

A calltip is shown automatically when one types ( after the name of an accessible function. A function name expression may include dots and subscripts. A calltip remains until it is clicked, the cursor is moved out of the argument area, or ) is typed. Whenever the cursor is in the argument part of a definition, select Edit and “Show Call Tip” on the menu or enter its shortcut to display a calltip.

The calltip consists of the function’s signature and docstring up to the latter’s first blank line or the fifth non-blank line. (Some builtin functions lack an accessible signature.) A ‘/’ or ‘*’ in the signature indicates that the preceding or following arguments are passed by position or name (keyword) only. Details are subject to change.

In Shell, the accessible functions depends on what modules have been imported into the user process, including those imported by Idle itself, and which definitions have been run, all since the last restart.

For example, restart the Shell and enter itertools.count(. A calltip appears because Idle imports itertools into the user process for its own use. (This could change.) Enter turtle.write( and nothing appears. Idle does not itself import turtle. The menu entry and shortcut also do nothing. Enter import turtle. Thereafter, turtle.write( will display a calltip.

In an editor, import statements have no effect until one runs the file. One might want to run a file after writing import statements, after adding function definitions, or after opening an existing file.

Code Context

Within an editor window containing Python code, code context can be toggled in order to show or hide a pane at the top of the window. When shown, this pane freezes the opening lines for block code, such as those beginning with class, def, or if keywords, that would have otherwise scrolled out of view. The size of the pane will be expanded and contracted as needed to show the all current levels of context, up to the maximum number of lines defined in the Configure IDLE dialog (which defaults to 15). If there are no current context lines and the feature is toggled on, a single blank line will display. Clicking on a line in the context pane will move that line to the top of the editor.

The text and background colors for the context pane can be configured under the Highlights tab in the Configure IDLE dialog.

Shell window

In IDLE’s Shell, enter, edit, and recall complete statements. (Most consoles and terminals only work with a single physical line at a time).

Submit a single-line statement for execution by hitting Return with the cursor anywhere on the line. If a line is extended with Backslash (\), the cursor must be on the last physical line. Submit a multi-line compound statement by entering a blank line after the statement.

When one pastes code into Shell, it is not compiled and possibly executed until one hits Return, as specified above. One may edit pasted code first. If one pastes more than one statement into Shell, the result will be a SyntaxError when multiple statements are compiled as if they were one.

Lines containing RESTART mean that the user execution process has been re-started. This occurs when the user execution process has crashed, when one requests a restart on the Shell menu, or when one runs code in an editor window.

The editing features described in previous subsections work when entering code interactively. IDLE’s Shell window also responds to the following:

C-c attempts to interrupt statement execution (but may fail).

C-d closes Shell if typed at a >>> prompt.

Alt-p and Alt-n (C-p and C-n on macOS) retrieve to the current prompt the previous or next previously entered statement that matches anything already typed.

Return while the cursor is on any previous statement appends the latter to anything already typed at the prompt.

Text colors

Idle defaults to black on white text, but colors text with special meanings. For the shell, these are shell output, shell error, user output, and user error. For Python code, at the shell prompt or in an editor, these are keywords, builtin class and function names, names following class and def, strings, and comments. For any text window, these are the cursor (when present), found text (when possible), and selected text.

IDLE also highlights the soft keywords match, case, and _ in pattern-matching statements. However, this highlighting is not perfect and will be incorrect in some rare cases, including some _-s in case patterns.

Text coloring is done in the background, so uncolorized text is occasionally visible. To change the color scheme, use the Configure IDLE dialog Highlighting tab. The marking of debugger breakpoint lines in the editor and text in popups and dialogs is not user-configurable.

Startup and Code Execution

Upon startup with the -s option, IDLE will execute the file referenced by the environment variables IDLESTARTUP or PYTHONSTARTUP. IDLE first checks for IDLESTARTUP; if IDLESTARTUP is present the file referenced is run. If IDLESTARTUP is not present, IDLE checks for PYTHONSTARTUP. Files referenced by these environment variables are convenient places to store functions that are used frequently from the IDLE shell, or for executing import statements to import common modules.

In addition, Tk also loads a startup file if it is present. Note that the Tk file is loaded unconditionally. This additional file is .Idle.py and is looked for in the user’s home directory. Statements in this file will be executed in the Tk namespace, so this file is not useful for importing functions to be used from IDLE’s Python shell.

Uso na linha de comando

idle.py [-c command] [-d] [-e] [-h] [-i] [-r file] [-s] [-t title] [-] [arg] ...

-c command  run command in the shell window
-d          enable debugger and open shell window
-e          open editor window
-h          print help message with legal combinations and exit
-i          open shell window
-r file     run file in shell window
-s          run $IDLESTARTUP or $PYTHONSTARTUP first, in shell window
-t title    set title of shell window
-           run stdin in shell (- must be last option before args)

If there are arguments:

If -, -c, or r is used, all arguments are placed in sys.argv[1:...] and sys.argv[0] is set to '', '-c', or '-r'. No editor window is opened, even if that is the default set in the Options dialog.

Otherwise, arguments are files opened for editing and sys.argv reflects the arguments passed to IDLE itself.

Startup failure

IDLE uses a socket to communicate between the IDLE GUI process and the user code execution process. A connection must be established whenever the Shell starts or restarts. (The latter is indicated by a divider line that says ‘RESTART’). If the user process fails to connect to the GUI process, it usually displays a Tk error box with a ‘cannot connect’ message that directs the user here. It then exits.

One specific connection failure on Unix systems results from misconfigured masquerading rules somewhere in a system’s network setup. When IDLE is started from a terminal, one will see a message starting with ** Invalid host:. The valid value is 127.0.0.1 (idlelib.rpc.LOCALHOST). One can diagnose with tcpconnect -irv 127.0.0.1 6543 in one terminal window and tcplisten <same args> in another.

A common cause of failure is a user-written file with the same name as a standard library module, such as random.py and tkinter.py. When such a file is located in the same directory as a file that is about to be run, IDLE cannot import the stdlib file. The current fix is to rename the user file.

Though less common than in the past, an antivirus or firewall program may stop the connection. If the program cannot be taught to allow the connection, then it must be turned off for IDLE to work. It is safe to allow this internal connection because no data is visible on external ports. A similar problem is a network mis-configuration that blocks connections.

Python installation issues occasionally stop IDLE: multiple versions can clash, or a single installation might need admin access. If one undo the clash, or cannot or does not want to run as admin, it might be easiest to completely remove Python and start over.

A zombie pythonw.exe process could be a problem. On Windows, use Task Manager to check for one and stop it if there is. Sometimes a restart initiated by a program crash or Keyboard Interrupt (control-C) may fail to connect. Dismissing the error box or using Restart Shell on the Shell menu may fix a temporary problem.

When IDLE first starts, it attempts to read user configuration files in ~/.idlerc/ (~ is one’s home directory). If there is a problem, an error message should be displayed. Leaving aside random disk glitches, this can be prevented by never editing the files by hand. Instead, use the configuration dialog, under Options. Once there is an error in a user configuration file, the best solution may be to delete it and start over with the settings dialog.

If IDLE quits with no message, and it was not started from a console, try starting it from a console or terminal (python -m idlelib) and see if this results in an error message.

On Unix-based systems with tcl/tk older than 8.6.11 (see About IDLE) certain characters of certain fonts can cause a tk failure with a message to the terminal. This can happen either if one starts IDLE to edit a file with such a character or later when entering such a character. If one cannot upgrade tcl/tk, then re-configure IDLE to use a font that works better.

Running user code

With rare exceptions, the result of executing Python code with IDLE is intended to be the same as executing the same code by the default method, directly with Python in a text-mode system console or terminal window. However, the different interface and operation occasionally affect visible results. For instance, sys.modules starts with more entries, and threading.active_count() returns 2 instead of 1.

By default, IDLE runs user code in a separate OS process rather than in the user interface process that runs the shell and editor. In the execution process, it replaces sys.stdin, sys.stdout, and sys.stderr with objects that get input from and send output to the Shell window. The original values stored in sys.__stdin__, sys.__stdout__, and sys.__stderr__ are not touched, but may be None.

Sending print output from one process to a text widget in another is slower than printing to a system terminal in the same process. This has the most effect when printing multiple arguments, as the string for each argument, each separator, the newline are sent separately. For development, this is usually not a problem, but if one wants to print faster in IDLE, format and join together everything one wants displayed together and then print a single string. Both format strings and str.join() can help combine fields and lines.

IDLE’s standard stream replacements are not inherited by subprocesses created in the execution process, whether directly by user code or by modules such as multiprocessing. If such subprocess use input from sys.stdin or print or write to sys.stdout or sys.stderr, IDLE should be started in a command line window. (On Windows, use python or py rather than pythonw or pyw.) The secondary subprocess will then be attached to that window for input and output.

If sys is reset by user code, such as with importlib.reload(sys), IDLE’s changes are lost and input from the keyboard and output to the screen will not work correctly.

When Shell has the focus, it controls the keyboard and screen. This is normally transparent, but functions that directly access the keyboard and screen will not work. These include system-specific functions that determine whether a key has been pressed and if so, which.

The IDLE code running in the execution process adds frames to the call stack that would not be there otherwise. IDLE wraps sys.getrecursionlimit and sys.setrecursionlimit to reduce the effect of the additional stack frames.

When user code raises SystemExit either directly or by calling sys.exit, IDLE returns to a Shell prompt instead of exiting.

User output in Shell

When a program outputs text, the result is determined by the corresponding output device. When IDLE executes user code, sys.stdout and sys.stderr are connected to the display area of IDLE’s Shell. Some of its features are inherited from the underlying Tk Text widget. Others are programmed additions. Where it matters, Shell is designed for development rather than production runs.

For instance, Shell never throws away output. A program that sends unlimited output to Shell will eventually fill memory, resulting in a memory error. In contrast, some system text windows only keep the last n lines of output. A Windows console, for instance, keeps a user-settable 1 to 9999 lines, with 300 the default.

A Tk Text widget, and hence IDLE’s Shell, displays characters (codepoints) in the BMP (Basic Multilingual Plane) subset of Unicode. Which characters are displayed with a proper glyph and which with a replacement box depends on the operating system and installed fonts. Tab characters cause the following text to begin after the next tab stop. (They occur every 8 ‘characters’). Newline characters cause following text to appear on a new line. Other control characters are ignored or displayed as a space, box, or something else, depending on the operating system and font. (Moving the text cursor through such output with arrow keys may exhibit some surprising spacing behavior.)

>>> s = 'a\tb\a<\x02><\r>\bc\nd'  # Enter 22 chars.
>>> len(s)
14
>>> s  # Display repr(s)
'a\tb\x07<\x02><\r>\x08c\nd'
>>> print(s, end='')  # Display s as is.
# Result varies by OS and font.  Try it.

The repr function is used for interactive echo of expression values. It returns an altered version of the input string in which control codes, some BMP codepoints, and all non-BMP codepoints are replaced with escape codes. As demonstrated above, it allows one to identify the characters in a string, regardless of how they are displayed.

Normal and error output are generally kept separate (on separate lines) from code input and each other. They each get different highlight colors.

For SyntaxError tracebacks, the normal ‘^’ marking where the error was detected is replaced by coloring the text with an error highlight. When code run from a file causes other exceptions, one may right click on a traceback line to jump to the corresponding line in an IDLE editor. The file will be opened if necessary.

Shell has a special facility for squeezing output lines down to a ‘Squeezed text’ label. This is done automatically for output over N lines (N = 50 by default). N can be changed in the PyShell section of the General page of the Settings dialog. Output with fewer lines can be squeezed by right clicking on the output. This can be useful lines long enough to slow down scrolling.

Squeezed output is expanded in place by double-clicking the label. It can also be sent to the clipboard or a separate view window by right-clicking the label.

Developing tkinter applications

IDLE is intentionally different from standard Python in order to facilitate development of tkinter programs. Enter import tkinter as tk; root = tk.Tk() in standard Python and nothing appears. Enter the same in IDLE and a tk window appears. In standard Python, one must also enter root.update() to see the window. IDLE does the equivalent in the background, about 20 times a second, which is about every 50 milliseconds. Next enter b = tk.Button(root, text='button'); b.pack(). Again, nothing visibly changes in standard Python until one enters root.update().

Most tkinter programs run root.mainloop(), which usually does not return until the tk app is destroyed. If the program is run with python -i or from an IDLE editor, a >>> shell prompt does not appear until mainloop() returns, at which time there is nothing left to interact with.

When running a tkinter program from an IDLE editor, one can comment out the mainloop call. One then gets a shell prompt immediately and can interact with the live application. One just has to remember to re-enable the mainloop call when running in standard Python.

Running without a subprocess

By default, IDLE executes user code in a separate subprocess via a socket, which uses the internal loopback interface. This connection is not externally visible and no data is sent to or received from the internet. If firewall software complains anyway, you can ignore it.

If the attempt to make the socket connection fails, Idle will notify you. Such failures are sometimes transient, but if persistent, the problem may be either a firewall blocking the connection or misconfiguration of a particular system. Until the problem is fixed, one can run Idle with the -n command line switch.

If IDLE is started with the -n command line switch it will run in a single process and will not create the subprocess which runs the RPC Python execution server. This can be useful if Python cannot create the subprocess or the RPC socket interface on your platform. However, in this mode user code is not isolated from IDLE itself. Also, the environment is not restarted when Run/Run Module (F5) is selected. If your code has been modified, you must reload() the affected modules and re-import any specific items (e.g. from foo import baz) if the changes are to take effect. For these reasons, it is preferable to run IDLE with the default subprocess if at all possible.

Obsoleto desde a versão 3.4.

Help and Preferences

Help sources

Help menu entry “IDLE Help” displays a formatted html version of the IDLE chapter of the Library Reference. The result, in a read-only tkinter text window, is close to what one sees in a web browser. Navigate through the text with a mousewheel, the scrollbar, or up and down arrow keys held down. Or click the TOC (Table of Contents) button and select a section header in the opened box.

Help menu entry “Python Docs” opens the extensive sources of help, including tutorials, available at docs.python.org/x.y, where ‘x.y’ is the currently running Python version. If your system has an off-line copy of the docs (this may be an installation option), that will be opened instead.

Selected URLs can be added or removed from the help menu at any time using the General tab of the Configure IDLE dialog.

Setting preferences

The font preferences, highlighting, keys, and general preferences can be changed via Configure IDLE on the Option menu. Non-default user settings are saved in a .idlerc directory in the user’s home directory. Problems caused by bad user configuration files are solved by editing or deleting one or more of the files in .idlerc.

On the Font tab, see the text sample for the effect of font face and size on multiple characters in multiple languages. Edit the sample to add other characters of personal interest. Use the sample to select monospaced fonts. If particular characters have problems in Shell or an editor, add them to the top of the sample and try changing first size and then font.

On the Highlights and Keys tab, select a built-in or custom color theme and key set. To use a newer built-in color theme or key set with older IDLEs, save it as a new custom theme or key set and it well be accessible to older IDLEs.

IDLE on macOS

Under System Preferences: Dock, one can set “Prefer tabs when opening documents” to “Always”. This setting is not compatible with the tk/tkinter GUI framework used by IDLE, and it breaks a few IDLE features.

Extensions

IDLE contains an extension facility. Preferences for extensions can be changed with the Extensions tab of the preferences dialog. See the beginning of config-extensions.def in the idlelib directory for further information. The only current default extension is zzdummy, an example also used for testing.

idlelib

Source code: Lib/idlelib [https://github.com/python/cpython/tree/3.13/Lib/idlelib]

The Lib/idlelib package implements the IDLE application. See the rest of this page for how to use IDLE.

The files in idlelib are described in idlelib/README.txt. Access it either in idlelib or click Help => About IDLE on the IDLE menu. This file also maps IDLE menu items to the code that implements the item. Except for files listed under ‘Startup’, the idlelib code is ‘private’ in sense that feature changes can be backported (see PEP 434 [https://peps.python.org/pep-0434/]).

Ferramentas de Desenvolvimento

Os módulos descritos neste capítulo ajudam você a escrever softwares. Por exemplo, o módulo pydoc recebe um módulo e gera documentação com base no conteúdo do módulo. Os módulos doctest e unittest contêm frameworks para escrever testes unitários que automaticamente exercitam código e verificam se a saída esperada é produzida.

A lista de módulos descritos neste capítulo é:

typing — Suporte para dicas de tipo

Especificação para o sistema de tipos do Python

Apelidos de tipo

NewType

Anotações de objetos chamáveis

Genéricos

Anotando tuplas

O tipo de objetos de classe

Annotating generators and coroutines

Tipos genéricos definidos pelo usuário

O tipo Any

Subtipagem nominal vs estrutural

Conteúdo do módulo

Tipos primitivos especiais

Tipos especiais

Any

AnyStr

LiteralString

Never

NoReturn

Self

TypeAlias

Formas especiais

Union

Optional

Concatenate

Literal

ClassVar

Final

Required

NotRequired

ReadOnly

Annotated

TypeIs

TypeGuard

Unpack

Criando tipos genéricos e apelidos de tipo

Generic

TypeVar

__name__

__covariant__

__contravariant__

__infer_variance__

__bound__

__constraints__

__default__

has_default()

TypeVarTuple

__name__

__default__

has_default()

ParamSpec

args

kwargs

__name__

__default__

has_default()

ParamSpecArgs

ParamSpecKwargs

TypeAliasType

__name__

__module__

__type_params__

__value__

Outras diretivas especiais

NamedTuple

NewType

__module__

__name__

__supertype__

Protocol

runtime_checkable()

TypedDict

__total__

__required_keys__

__optional_keys__

__readonly_keys__

__mutable_keys__

Protocolos

SupportsAbs

SupportsBytes

SupportsComplex

SupportsFloat

SupportsIndex

SupportsInt

SupportsRound

ABCs para trabalhar com IO

IO

TextIO

BinaryIO

Funções e decoradores

cast()

assert_type()

assert_never()

reveal_type()

dataclass_transform()

overload()

get_overloads()

clear_overloads()

final()

no_type_check()

no_type_check_decorator()

override()

type_check_only()

Introspection helpers

get_type_hints()

get_origin()

get_args()

get_protocol_members()

is_protocol()

is_typeddict()

ForwardRef

NoDefault

Constante

TYPE_CHECKING

Deprecated aliases

Aliases to built-in types

Dict

List

Set

FrozenSet

Tuple

Type

Aliases to types in collections

DefaultDict

OrderedDict

ChainMap

Counter

Deque

Aliases to other concrete types

Pattern

Match

Text

Aliases to container ABCs in collections.abc

AbstractSet

ByteString

Collection

Container

ItemsView

KeysView

Mapping

MappingView

MutableMapping

MutableSequence

MutableSet

Sequence

ValuesView

Aliases to asynchronous ABCs in collections.abc

Coroutine

AsyncGenerator

AsyncIterable

AsyncIterator

Awaitable

Aliases to other ABCs in collections.abc

Iterable

Iterator

Callable

Generator

Hashable

Reversible

Sized

Aliases to contextlib ABCs

ContextManager

AsyncContextManager

Cronograma de Descontinuação dos Principais Recursos

pydoc — Gerador de documentação e sistema de ajuda online

Modo de Desenvolvimento do Python

Efeitos do Modo de Desenvolvimento do Python

Exemplo de ResourceWarning

Exemplo de erro de descritor de arquivo inválido

doctest — Test interactive Python examples

Uso simples: verificando exemplos em Docstrings

Utilização comum: Verificando exemplos em um arquivo texto

Como ele funciona

Quais docstrings são examinadas?

Como os exemplos de docstrings são reconhecidos?

Qual é o contexto de execução?

E quanto às exceções?

Flags opcionais

DONT_ACCEPT_TRUE_FOR_1

DONT_ACCEPT_BLANKLINE

NORMALIZE_WHITESPACE

ELLIPSIS

IGNORE_EXCEPTION_DETAIL

SKIP

COMPARISON_FLAGS

REPORT_UDIFF

REPORT_CDIFF

REPORT_NDIFF

REPORT_ONLY_FIRST_FAILURE

FAIL_FAST

REPORTING_FLAGS

register_optionflag()

Directives

Avisos

Basic API

testfile()

testmod()

run_docstring_examples()

API do Unittest

DocFileSuite()

DocTestSuite()

failureException

set_unittest_reportflags()

Advanced API

DocTest Objects

DocTest

examples

globs

name

filename

lineno

docstring

Example Objects

Example

source

want

exc_msg

lineno

indent

options

DocTestFinder objects

DocTestFinder

find()

DocTestParser objects

DocTestParser

get_doctest()

get_examples()

parse()

TestResults objects

TestResults

failed

attempted

skipped

DocTestRunner objects

DocTestRunner

report_start()

report_success()

report_failure()

report_unexpected_exception()

run()

summarize()

tries

failures

skips

OutputChecker objects

OutputChecker

check_output()

output_difference()

Depuração

script_from_examples()

testsource()

debug()

debug_src()

DebugRunner

DocTestFailure

test

example

got

UnexpectedException

test

example

exc_info

Soapbox

unittest — Unit testing framework

Exemplo Básico

Interface de Linha de Comando

Opções de linha de comando

Test Discovery

Organizando código teste

Reutilizando códigos de teste antigos

Ignorando testes e falhas esperadas

skip()

skipIf()

skipUnless()

expectedFailure()

SkipTest

Distinguindo iterações de teste utilizando subtestes

Classes e funções

Casos de teste

TestCase

setUp()

tearDown()

setUpClass()

tearDownClass()

run()

skipTest()

subTest()

debug()

assertEqual()

assertNotEqual()

assertTrue()

assertFalse()

assertIs()

assertIsNot()

assertIsNone()

assertIsNotNone()

assertIn()

assertNotIn()

assertIsInstance()

assertNotIsInstance()

assertRaises()

assertRaisesRegex()

assertWarns()

assertWarnsRegex()

assertLogs()

records

output

assertNoLogs()

assertAlmostEqual()

assertNotAlmostEqual()

assertGreater()

assertGreaterEqual()

assertLess()

assertLessEqual()

assertRegex()

assertNotRegex()

assertCountEqual()

addTypeEqualityFunc()

assertMultiLineEqual()

assertSequenceEqual()

assertListEqual()

assertTupleEqual()

assertSetEqual()

assertDictEqual()

fail()

failureException

longMessage

maxDiff

countTestCases()

defaultTestResult()

id()

shortDescription()

addCleanup()

enterContext()

doCleanups()

addClassCleanup()

enterClassContext()

doClassCleanups()

IsolatedAsyncioTestCase

loop_factory

asyncSetUp()

asyncTearDown()

addAsyncCleanup()

enterAsyncContext()

run()

FunctionTestCase

Grouping tests

TestSuite

addTest()

addTests()

run()

debug()

countTestCases()

__iter__()

Carregando e executando testes

TestLoader

errors

loadTestsFromTestCase()

loadTestsFromModule()

loadTestsFromName()

loadTestsFromNames()

getTestCaseNames()

discover()

testMethodPrefix

sortTestMethodsUsing

suiteClass

testNamePatterns

TestResult

errors

failures

skipped

expectedFailures

unexpectedSuccesses

collectedDurations

shouldStop

testsRun

buffer

failfast

tb_locals

wasSuccessful()

stop()

startTest()

stopTest()

startTestRun()

stopTestRun()

addError()

addFailure()

addSuccess()

addSkip()

addExpectedFailure()

addUnexpectedSuccess()

addSubTest()

addDuration()

TextTestResult

defaultTestLoader

TextTestRunner

_makeResult()

run()

main()

load_tests Protocol

Classes e Módulos de Definição de Contexto

setUpClass and tearDownClass

setUpModule and tearDownModule

addModuleCleanup()

enterModuleContext()

doModuleCleanups()

Tratamento de sinal

installHandler()

registerResult()

removeResult()

removeHandler()

unittest.mock — mock object library

Guia Rápido

A classe Mock

Mock

assert_called()

assert_called_once()

assert_called_with()

assert_called_once_with()

assert_any_call()

assert_has_calls()

assert_not_called()

reset_mock()

mock_add_spec()

attach_mock()

configure_mock()

__dir__()

_get_child_mock()

called

call_count

return_value

side_effect

call_args

call_args_list

method_calls

mock_calls

__class__

NonCallableMock

PropertyMock

AsyncMock

assert_awaited()

assert_awaited_once()

assert_awaited_with()

assert_awaited_once_with()

assert_any_await()

assert_has_awaits()

assert_not_awaited()

reset_mock()

await_count

await_args

await_args_list

ThreadingMock

wait_until_called()

wait_until_any_call_with()

DEFAULT_TIMEOUT

Fazendo chamadas

Deletando Atributos

Nomes de Mock e o atributo name

Anexando Mocks como Atributos

Os criadores de patches

patch

patch()

patch.object

object()

patch.dict

dict()

patch.multiple

multiple()

métodos do patch: start e stop

stopall()

patch de embutidos

TEST_PREFIX

Aninhando Decoradores Patch

Onde fazer patch

Patching Descriptors and Proxy Objects

MagicMock and magic method support

Simulando Métodos Mágicos

Magic Mock

MagicMock

NonCallableMagicMock

Ajudantes

sentinel

sentinel

DEFAULT

DEFAULT

chamada

call()

call_list()

create_autospec

create_autospec()

ANY

ANY

FILTER_DIR

FILTER_DIR

mock_open

mock_open()

Especificação automática

Vedando mocks

seal()

Order of precedence of side_effect, return_value and wraps

unittest.mock — primeiros passos

Usando Mock

Métodos de aplicação de patches em Mock

Mock de chamadas de métodos em um objeto

Mocking Classes

Nomeando os mocks

Rastreando todas as chamadas

Setting Return Values and Attributes

Raising exceptions with mocks

Side effect functions and iterables

Mocking asynchronous iterators

Mocking asynchronous context manager

Creating a Mock from an Existing Object

Using side_effect to return per file content

Patch Decorators

Further Examples

Mocking chained calls

Partial mocking

Mocking a Generator Method

Applying the same patch to every test method

Mocking Unbound Methods

Checking multiple calls with mock

Coping with mutable arguments

Nesting Patches

Mocking a dictionary with MagicMock

Mock subclasses and their attributes

Mocking imports with patch.dict

Tracking order of calls and less verbose call assertions

More complex argument matching

test — Regression tests package for Python

Escrever testes unitários para o pacote test

Executando testes usando a interface de linha de comando

test.support — Utilitários para o conjunto de teste do Python

TestFailed

ResourceDenied

verbose

is_jython

is_android

unix_shell

LOOPBACK_TIMEOUT

INTERNET_TIMEOUT

SHORT_TIMEOUT

LONG_TIMEOUT

PGO

PIPE_MAX_SIZE

Py_DEBUG

SOCK_MAX_SIZE

TEST_SUPPORT_DIR

TEST_HOME_DIR

TEST_DATA_DIR

MAX_Py_ssize_t

max_memuse

real_max_memuse

MISSING_C_DOCSTRINGS

HAVE_DOCSTRINGS

TEST_HTTP_URL

ALWAYS_EQ

NEVER_EQ

LARGEST

SMALLEST

busy_retry()

sleeping_retry()

is_resource_enabled()

python_is_optimized()

with_pymalloc()

requires()

sortdict()

findfile()

get_pagesize()

setswitchinterval()

check_impl_detail()

set_memlimit()

record_original_stdout()

get_original_stdout()

args_from_interpreter_flags()

optim_args_from_interpreter_flags()

captured_stdin()

captured_stdout()

captured_stderr()

disable_faulthandler()

gc_collect()

disable_gc()

swap_attr()

swap_item()

flush_std_streams()

print_warning()

wait_process()

calcobjsize()

calcvobjsize()

checksizeof()

anticipate_failure()

system_must_validate_cert()

run_with_locale()

run_with_tz()

requires_freebsd_version()

requires_linux_version()

requires_mac_version()

requires_gil_enabled()

requires_IEEE_754()

requires_zlib()

requires_gzip()

requires_bz2()

requires_lzma()

requires_resource()

requires_docstrings()

requires_limited_api()

cpython_only()

impl_detail()

no_tracing()

refcount_test()

bigmemtest()

bigaddrspacetest()

check_syntax_error()

open_urlresource()

reap_children()

get_attribute()

catch_unraisable_exception()

load_package_tests()

detect_api_mismatch()

patch()

run_in_subinterp()

check_free_after_iterating()

missing_compiler_executable()

check__all__()

skip_if_broken_multiprocessing_synchronize()

check_disallow_instantiation()

adjust_int_max_str_digits()

SuppressCrashReport

SaveSignals

save()

restore()

Matcher

matches()

match_value()

test.support.socket_helper — Utilities for socket tests

IPV6_ENABLED

find_unused_port()

bind_port()

bind_unix_socket()

skip_unless_bind_unix_socket()

transient_internet()

test.support.script_helper — Utilities for the Python execution tests

interpreter_requires_environment()

run_python_until_end()

assert_python_ok()

assert_python_failure()

spawn_python()

kill_python()

make_script()

make_zip_script()

make_pkg()

make_zip_pkg()

test.support.bytecode_helper — Ferramentas de suporte para testar a geração correta de bytecode

BytecodeTestCase

get_disassembly_as_string()

assertInBytecode()

assertNotInBytecode()

test.support.threading_helper — Utilities for threading tests

join_thread()

reap_threads()

start_threads()

threading_cleanup()

threading_setup()

wait_threads_exit()

catch_threading_exception()

test.support.os_helper — Utilities for os tests

FS_NONASCII

SAVEDCWD

TESTFN

TESTFN_NONASCII

TESTFN_UNENCODABLE

TESTFN_UNDECODABLE

TESTFN_UNICODE

EnvironmentVarGuard

FakePath

set()

unset()

can_symlink()

can_xattr()

change_cwd()

create_empty_file()

fd_count()

fs_is_case_insensitive()

make_bad_fd()

rmdir()

rmtree()

skip_unless_symlink()

skip_unless_xattr()

temp_cwd()

temp_dir()

temp_umask()

unlink()

test.support.import_helper — Utilities for import tests

forget()

import_fresh_module()

import_module()

modules_setup()

modules_cleanup()

unload()

make_legacy_pyc()

CleanImport

DirsOnSysPath

test.support.warnings_helper — Utilities for warnings tests

ignore_warnings()

check_no_resource_warning()

check_syntax_warning()

check_warnings()

WarningsRecorder

typing — Suporte para dicas de tipo

Adicionado na versão 3.5.

Código-fonte: Lib/typing.py [https://github.com/python/cpython/tree/3.13/Lib/typing.py]

Nota

O tempo de execução do Python não força anotações de tipos de variáveis e funções. Elas podem ser usadas por ferramentas de terceiros como verificadores de tipo, IDEs, linters, etc.

Este módulo fornece suporte em tempo de execução para dicas de tipo.

Considere a função abaixo:

def surface_area_of_cube(edge_length: float) -> str:
    return f"The surface area of the cube is {6 * edge_length ** 2}."

A função surface_area_of_cube recebe um argumento que se espera ser uma instância de float, conforme indicado pela dica de tipo edge_length: float. Espera-se que a função retorne uma instância de str, conforme indicado pela dica -> str.

Embora as dicas de tipo possam ser classes simples como float ou str, elas também podem ser mais complexas. O módulo typing fornece um vocabulário de dicas de tipo mais avançadas.

Novos recursos são frequentemente adicionados ao módulo typing. O pacote typing_extensions [https://pypi.org/project/typing_extensions/] fornece backports desses novos recursos para versões mais antigas do Python.

Ver também

“Guia rápido sobre Dicas de Tipo” [https://mypy.readthedocs.io/en/stable/cheat_sheet_py3.html]

Uma visão geral das dicas de tipo (hospedado por mypy docs, em inglês).

“Referência sobre Sistema de Tipo” seção de the mypy docs [https://mypy.readthedocs.io/en/stable/index.html]

O sistema de tipagem do Python é padronizado pelas PEPs, portanto esta referência deve se aplicar a maioria do verificadores de tipo do Python. (Alguns trechos podem se referir especificamente ao mypy. Documento em inglês).

“Tipagem Estática com Python” [https://typing.readthedocs.io/en/latest/]

Documentação independente de verificador de tipo escrita pela comunidade, detalhando os recursos do sistema de tipo, ferramentas úteis de tipagem e melhores práticas.

Especificação para o sistema de tipos do Python

A especificação canônica e atualizada do sistema de tipos Python pode ser encontrada em “Specification for the Python type system” [https://typing.readthedocs.io/en/latest/spec/index.html].

Apelidos de tipo

Um apelido de tipo é definido utilizando a instrução type, que por sua vez cria uma instância da classe TypeAliasType. Neste exemplo, Vector e list[float] serão tratados de maneira equivalente pelos verificadores de tipo estático:

type Vector = list[float]

def scale(scalar: float, vector: Vector) -> Vector:
    return [scalar * num for num in vector]

# passes type checking; a list of floats qualifies as a Vector.
new_vector = scale(2.0, [1.0, -4.2, 5.4])

Apelidos de tipo são úteis para simplificar assinaturas de tipo complexas. Por exemplo:

from collections.abc import Sequence

type ConnectionOptions = dict[str, str]
type Address = tuple[str, int]
type Server = tuple[Address, ConnectionOptions]

def broadcast_message(message: str, servers: Sequence[Server]) -> None:
    ...

# The static type checker will treat the previous type signature as
# being exactly equivalent to this one.
def broadcast_message(
    message: str,
    servers: Sequence[tuple[tuple[str, int], dict[str, str]]]
) -> None:
    ...

A instrução type é nova no Python 3.12. Para compatibilidade retroativa, apelidos de tipo também podem ser criados através da simples atribuição:

Vector = list[float]

Ou marcado com TypeAlias para tornar explícito que se trata de um apelido de tipo e não uma atribuição de variável comum:

from typing import TypeAlias

Vector: TypeAlias = list[float]

NewType

Utilize o auxiliar NewType para criar tipos únicos:

from typing import NewType

UserId = NewType('UserId', int)
some_id = UserId(524313)

O verificador de tipo estático tratará o novo tipo como se fosse uma subclasse do tipo original. Isso é útil para ajudar a encontrar erros de lógica:

def get_user_name(user_id: UserId) -> str:
    ...

# passes type checking
user_a = get_user_name(UserId(42351))

# fails type checking; an int is not a UserId
user_b = get_user_name(-1)

Você ainda pode executar todas as operações int em uma variável do tipo UserId, mas o resultado sempre será do tipo int. Isso permite que você passe um UserId em qualquer ocasião que int possa ser esperado, mas previne que você acidentalmente crie um UserId de uma forma inválida:

# 'output' is of type 'int', not 'UserId'
output = UserId(23413) + UserId(54341)

Note que essas verificações são aplicadas apenas pelo verificador de tipo estático. Em tempo de execução, a instrução Derived = NewType('Derived', Base) irá tornar Derived um chamável que retornará imediatamente qualquer parâmetro que você passar. Isso significa que a expressão Derived(some_value) não cria uma nova classe ou introduz sobrecarga além de uma chamada regular de função.instrução

Mais precisamente, a expressão some_value is Derived(some_value) é sempre verdadeira em tempo de execução.

É inválido criar um subtipo de Derived:

from typing import NewType

UserId = NewType('UserId', int)

# Fails at runtime and does not pass type checking
class AdminUserId(UserId): pass

No entanto, é possível criar um NewType baseado em um ‘derivado’ NewType:

from typing import NewType

UserId = NewType('UserId', int)

ProUserId = NewType('ProUserId', UserId)

e a verificação de tipo para ProUserId funcionará como esperado.

Veja PEP 484 [https://peps.python.org/pep-0484/] para mais detalhes.

Nota

Lembre-se que o uso de um apelido de tipo declara que dois tipos serão equivalentes entre si. Efetuar type Alias = Original fará o verificador de tipo estático tratar Alias como sendo exatamente equivalente a Original em todos os casos. Isso é útil quando você deseja simplificar assinaturas de tipo complexas.

Em contraste, NewType declara que um tipo será subtipo de outro. Efetuando Derived = NewType('Derived', Original) irá fazer o verificador de tipo estático tratar Derived como uma subclasse de Original, o que significa que um valor do tipo Original não pode ser utilizado onde um valor do tipo Derived é esperado. Isso é útil quando você deseja evitar erros de lógica com custo mínimo de tempo de execução.

Adicionado na versão 3.5.2.

Alterado na versão 3.10: NewType é agora uma classe ao invés de uma função. Como consequência, existem alguns custos em tempo de execução ao chamar NewType ao invés de uma função comum.

Alterado na versão 3.11: O desempenho de chamar NewType retornou ao mesmo nível da versão Python 3.9.

Anotações de objetos chamáveis

Functions – or other callable objects – can be annotated using collections.abc.Callable or deprecated typing.Callable. Callable[[int], str] signifies a function that takes a single parameter of type int and returns a str.

Por exemplo:

from collections.abc import Callable, Awaitable

def feeder(get_next_item: Callable[[], str]) -> None:
    ...  # Body

def async_query(on_success: Callable[[int], None],
                on_error: Callable[[int, Exception], None]) -> None:
    ...  # Body

async def on_update(value: str) -> None:
    ...  # Body

callback: Callable[[str], Awaitable[None]] = on_update

A sintaxe da subscrição deve sempre ser usada com exatamente dois valores: uma lista de argumentos e o tipo de retorno. A lista de argumentos deve ser uma lista de tipos, um ParamSpec, Concatenate, ou reticências. O tipo de retorno deve ser um único tipo.

Se uma reticências literal ... é passada no lugar de uma lista de argumentos, indica que um chamável com umas lista de qualquer parâmetro arbitrário seria aceita.

def concat(x: str, y: str) -> str:
    return x + y

x: Callable[..., str]
x = str     # OK
x = concat  # Also OK

Callable não pode representar assinaturas complexas, como funções que aceitam um número variado de argumentos, funções sobrecarregadas, or funções que recebem apenas parâmetros somente-nomeados. No entanto, essas assinaturas podem ser expressas ao se definir uma Protocol com um método __call__():

from collections.abc import Iterable
from typing import Protocol

class Combiner(Protocol):
    def __call__(self, *vals: bytes, maxlen: int | None = None) -> list[bytes]: ...

def batch_proc(data: Iterable[bytes], cb_results: Combiner) -> bytes:
    for item in data:
        ...

def good_cb(*vals: bytes, maxlen: int | None = None) -> list[bytes]:
    ...
def bad_cb(*vals: bytes, maxitems: int | None) -> list[bytes]:
    ...

batch_proc([], good_cb)  # OK
batch_proc([], bad_cb)   # Error! Argument 2 has incompatible type because of
                         # different name and kind in the callback

Chamáveis que recebem outros chamáveis como argumentos podem indicar que seus tipos de parâmetro são dependentes uns dos outros usando ParamSpec. Além disso, se esse chamável adiciona ou retira argumentos de outros chamáveis, o operador Concatenate pode ser usado. Eles assumem a forma de Callable[ParamSpecVariable, ReturnType] e Callable[Concatenate[Arg1Type, Arg2Type, ..., ParamSpecVariable], ReturnType], respectivamente.

Alterado na versão 3.10: Callable agora oferece suporte a ParamSpec e Concatenate. Veja PEP 612 [https://peps.python.org/pep-0612/] para mais detalhes.

Ver também

A documentação para ParamSpec e Concatenate contém exemplos de uso em Callable.

Genéricos

Como a informação de tipo sobre objetos mantidos em contêineres não pode ser inferida estaticamente de uma maneira genérica, muitas classes de contêiner na biblioteca padrão suportam subscrição para denotar tipos esperados de elementos de contêiner.

from collections.abc import Mapping, Sequence

class Employee: ...

# Sequence[Employee] indicates that all elements in the sequence
# must be instances of "Employee".
# Mapping[str, str] indicates that all keys and all values in the mapping
# must be strings.
def notify_by_email(employees: Sequence[Employee],
                    overrides: Mapping[str, str]) -> None: ...

Funções e classes genéricas podem ser parametrizadas utilizando-se sintaxe do parâmetro de tipo:

from collections.abc import Sequence

def first[T](l: Sequence[T]) -> T:  # Function is generic over the TypeVar "T"
    return l[0]

Ou utilizando a fábrica TypeVar diretamente:

from collections.abc import Sequence
from typing import TypeVar

U = TypeVar('U')                  # Declare type variable "U"

def second(l: Sequence[U]) -> U:  # Function is generic over the TypeVar "U"
    return l[1]

Alterado na versão 3.12: O suporte sintático para genéricos é novo no Python 3.12.

Anotando tuplas

Para a maior parte dos tipos containers em Python, o sistema de tipagem presume que todos os elementos do contêiner são do mesmo tipo. Por exemplo:

from collections.abc import Mapping

# Type checker will infer that all elements in ``x`` are meant to be ints
x: list[int] = []

# Type checker error: ``list`` only accepts a single type argument:
y: list[int, str] = [1, 'foo']

# Type checker will infer that all keys in ``z`` are meant to be strings,
# and that all values in ``z`` are meant to be either strings or ints
z: Mapping[str, str | int] = {}

list aceita apenas um tipo de argumento, e assim o verificador de tipos irá emitir um erro na atribuição y acima. Da mesma forma, Mapping aceita apenas dois tipos de argumento: O primeiro indica o tipo das chaves, e o segundo indica o tipo dos valores.

Ao contrário da maioria dos outros contêineres Python, é comum no código Python idiomático que as tuplas tenham elementos que não sejam todos do mesmo tipo. Por esse motivo, as tuplas têm um caso especial no sistema de tipagem do Python. tuple aceita qualquer número do tipo argumento:

# OK: ``x`` is assigned to a tuple of length 1 where the sole element is an int
x: tuple[int] = (5,)

# OK: ``y`` is assigned to a tuple of length 2;
# element 1 is an int, element 2 is a str
y: tuple[int, str] = (5, "foo")

# Error: the type annotation indicates a tuple of length 1,
# but ``z`` has been assigned to a tuple of length 3
z: tuple[int] = (1, 2, 3)

Para indicar um tupla que pode ser de qualquer comprimento, e no qual todos os elementos são do mesmo tipo T, use tuple[T, ...]. Para denotar um tupla vazia, use tuple[()]. Usando apenas tuple como anotação, é equivalente a usar tuple[Any, ...]:

x: tuple[int, ...] = (1, 2)
# These reassignments are OK: ``tuple[int, ...]`` indicates x can be of any length
x = (1, 2, 3)
x = ()
# This reassignment is an error: all elements in ``x`` must be ints
x = ("foo", "bar")

# ``y`` can only ever be assigned to an empty tuple
y: tuple[()] = ()

z: tuple = ("foo", "bar")
# These reassignments are OK: plain ``tuple`` is equivalent to ``tuple[Any, ...]``
z = (1, 2, 3)
z = ()

O tipo de objetos de classe

A variable annotated with C may accept a value of type C. In contrast, a variable annotated with type[C] (or deprecated typing.Type[C]) may accept values that are classes themselves – specifically, it will accept the class object of C. For example:

a = 3         # Has type ``int``
b = int       # Has type ``type[int]``
c = type(a)   # Also has type ``type[int]``

Observe que type[C] é covariante:

class User: ...
class ProUser(User): ...
class TeamUser(User): ...

def make_new_user(user_class: type[User]) -> User:
    # ...
    return user_class()

make_new_user(User)      # OK
make_new_user(ProUser)   # Also OK: ``type[ProUser]`` is a subtype of ``type[User]``
make_new_user(TeamUser)  # Still fine
make_new_user(User())    # Error: expected ``type[User]`` but got ``User``
make_new_user(int)       # Error: ``type[int]`` is not a subtype of ``type[User]``

Os únicos parâmetros válidos para type são classes, Any, type variables e uniões de qualquer um desses tipos. Por exemplo:

def new_non_team_user(user_class: type[BasicUser | ProUser]): ...

new_non_team_user(BasicUser)  # OK
new_non_team_user(ProUser)    # OK
new_non_team_user(TeamUser)   # Error: ``type[TeamUser]`` is not a subtype
                              # of ``type[BasicUser | ProUser]``
new_non_team_user(User)       # Also an error

type[Any] é equivalente a type, que é a raiz da hierarquia de metaclasses do Python.

Annotating generators and coroutines

A generator can be annotated using the generic type Generator[YieldType, SendType, ReturnType]. For example:

def echo_round() -> Generator[int, float, str]:
    sent = yield 0
    while sent >= 0:
        sent = yield round(sent)
    return 'Done'

Note that unlike many other generic classes in the standard library, the SendType of Generator behaves contravariantly, not covariantly or invariantly.

The SendType and ReturnType parameters default to None:

def infinite_stream(start: int) -> Generator[int]:
    while True:
        yield start
        start += 1

It is also possible to set these types explicitly:

def infinite_stream(start: int) -> Generator[int, None, None]:
    while True:
        yield start
        start += 1

Simple generators that only ever yield values can also be annotated as having a return type of either Iterable[YieldType] or Iterator[YieldType]:

def infinite_stream(start: int) -> Iterator[int]:
    while True:
        yield start
        start += 1

Async generators are handled in a similar fashion, but don’t expect a ReturnType type argument (AsyncGenerator[YieldType, SendType]). The SendType argument defaults to None, so the following definitions are equivalent:

async def infinite_stream(start: int) -> AsyncGenerator[int]:
    while True:
        yield start
        start = await increment(start)

async def infinite_stream(start: int) -> AsyncGenerator[int, None]:
    while True:
        yield start
        start = await increment(start)

As in the synchronous case, AsyncIterable[YieldType] and AsyncIterator[YieldType] are available as well:

async def infinite_stream(start: int) -> AsyncIterator[int]:
    while True:
        yield start
        start = await increment(start)

Coroutines can be annotated using Coroutine[YieldType, SendType, ReturnType]. Generic arguments correspond to those of Generator, for example:

from collections.abc import Coroutine
c: Coroutine[list[str], str, int]  # Some coroutine defined elsewhere
x = c.send('hi')                   # Inferred type of 'x' is list[str]
async def bar() -> None:
    y = await c                    # Inferred type of 'y' is int

Tipos genéricos definidos pelo usuário

Uma classe definida pelo usuário pode ser definica como uma classe genérica.

from logging import Logger

class LoggedVar[T]:
    def __init__(self, value: T, name: str, logger: Logger) -> None:
        self.name = name
        self.logger = logger
        self.value = value

    def set(self, new: T) -> None:
        self.log('Set ' + repr(self.value))
        self.value = new

    def get(self) -> T:
        self.log('Get ' + repr(self.value))
        return self.value

    def log(self, message: str) -> None:
        self.logger.info('%s: %s', self.name, message)

Esta sintaxe indica que o classe LoggedVar é parametrizada em torno de uma única type variable T. Isso também torna T válido como um tipo dentro do corpo da classe.

Classes genéricas implicitamente herdar de Generic. Para compatibilidade com Python 3.11 e versões inferiores, também é possível herdar explicitamente de Generic para indicar uma classe genérica:

from typing import TypeVar, Generic

T = TypeVar('T')

class LoggedVar(Generic[T]):
    ...

Classes genéricas têm métodos __class_getitem__(), o que significa que podem ser parametrizadas em tempo de execução (por exemplo, LoggedVar[int] abaixo):

from collections.abc import Iterable

def zero_all_vars(vars: Iterable[LoggedVar[int]]) -> None:
    for var in vars:
        var.set(0)

Um tipo genérico pode ter qualquer número de tipos de variáveis. Todas as variedades de TypeVar são permitidas como parâmetros para um tipo genérico:

from typing import TypeVar, Generic, Sequence

class WeirdTrio[T, B: Sequence[bytes], S: (int, str)]:
    ...

OldT = TypeVar('OldT', contravariant=True)
OldB = TypeVar('OldB', bound=Sequence[bytes], covariant=True)
OldS = TypeVar('OldS', int, str)

class OldWeirdTrio(Generic[OldT, OldB, OldS]):
    ...

Cada tipo dos argumentos para Generic devem ser distintos. Assim, os seguintes exemplos são inválidos:

from typing import TypeVar, Generic
...

class Pair[M, M]:  # SyntaxError
    ...

T = TypeVar('T')

class Pair(Generic[T, T]):   # INVALID
    ...

Classes genéricas podem também herdar de outras classes:

from collections.abc import Sized

class LinkedList[T](Sized):
    ...

Ao herdar das classes genérico, algun tipos podem ser fixos:

from collections.abc import Mapping

class MyDict[T](Mapping[str, T]):
    ...

Neste caso MyDict possui um único parâmetro, T.

O uso de uma classe genérica sem especificar tipos pressupõe Any para cada posição. No exemplo a seguir, MyIterable não é genérico, mas herda implicitamente de Iterable[Any]:

from collections.abc import Iterable

class MyIterable(Iterable): # Same as Iterable[Any]
    ...

Também há suporte para tipos genéricos definidos pelo usuário. Exemplos:

from collections.abc import Iterable

type Response[S] = Iterable[S] | int

# Return type here is same as Iterable[str] | int
def response(query: str) -> Response[str]:
    ...

type Vec[T] = Iterable[tuple[T, T]]

def inproduct[T: (int, float, complex)](v: Vec[T]) -> T: # Same as Iterable[tuple[T, T]]
    return sum(x*y for x, y in v)

Para compatibilidade retroativa, os apelidos para tipos genéricos também podem ser criados por meio de um simples atribuição:

from collections.abc import Iterable
from typing import TypeVar

S = TypeVar("S")
Response = Iterable[S] | int

Alterado na versão 3.7: Generic não possui mais uma metaclasse personalizada.

Alterado na versão 3.12: Suporte sintático para apelidos de tipo e genéricos é novo na versão 3.12. Anteriormente, as classes genéricas precisavam explicitamente herdar de Generic ou conter um tipo de variável em uma de suas bases.

Genéricos definidos pelo usuário para expressões de parâmetros também oferecem suporte por meio de variáveis de especificação de parâmetros no formato [**P]. O comportamento é consistente com as variáveis de tipo descritas acima, pois as variáveis de especificação de parâmetro são tratadas pelo módulo typing como uma variável de tipo especializada. A única exceção a isso é que uma lista de tipos pode ser usada para substituir um ParamSpec:

>>> class Z[T, **P]: ...  # T is a TypeVar; P is a ParamSpec
...
>>> Z[int, [dict, float]]
__main__.Z[int, [dict, float]]

Classes genéricas sobre um ParamSpec também podem ser criadas usando herança explícita de Generic. Neste caso, ** não é usado:

from typing import ParamSpec, Generic

P = ParamSpec('P')

class Z(Generic[P]):
    ...

Outra diferença entre TypeVar e ParamSpec é que um genérico com apenas uma variável de especificação de parâmetro aceitará listas de parâmetros nos formatos X[[Type1, Type2, ...]] e também X[Type1, Type2, ...] por razões estéticas. Internamente, o último é convertido no primeiro, portanto são equivalentes:

>>> class X[**P]: ...
...
>>> X[int, str]
__main__.X[[int, str]]
>>> X[[int, str]]
__main__.X[[int, str]]

Observe que genéricos com ParamSpec podem não ter __parameters__ corretos após a substituição em alguns casos porque eles são destinados principalmente à verificação de tipo estático.

Alterado na versão 3.10: Generic agora pode ser parametrizado através de expressões de parâmetros. Veja ParamSpec e PEP 612 [https://peps.python.org/pep-0612/] para mais detalhes.

Uma classe genérica definida pelo usuário pode ter ABCs como classes base sem conflito de metaclasse. Não há suporte a metaclasses genéricas. O resultado da parametrização de genéricos é armazenado em cache, e a maioria dos tipos no módulo typing são hasheáveis e comparáveis em termos de igualdade.

O tipo Any

Um tipo especial de tipo é Any. Um verificador de tipo estático tratará cada tipo como sendo compatível com Any e Any como sendo compatível com todos os tipos.

Isso significa que é possível realizar qualquer operação ou chamada de método sobre um valor do tipo Any e atribuí-lo a qualquer variável:

from typing import Any

a: Any = None
a = []          # OK
a = 2           # OK

s: str = ''
s = a           # OK

def foo(item: Any) -> int:
    # Passes type checking; 'item' could be any type,
    # and that type might have a 'bar' method
    item.bar()
    ...

Observe que nenhuma verificação de tipo é realizada ao atribuir um valor do tipo Any a um tipo mais preciso. Por exemplo, o verificador de tipo estático não relatou um erro ao atribuir a a s mesmo que s tenha sido declarado como sendo do tipo str e receba um valor int em tempo de execução!

Além disso, todas as funções sem um tipo de retorno ou tipos de parâmetro terão como padrão implicitamente o uso de Any:

def legacy_parser(text):
    ...
    return data

# A static type checker will treat the above
# as having the same signature as:
def legacy_parser(text: Any) -> Any:
    ...
    return data

Este comportamento permite que Any seja usado como uma saída de emergência quando você precisar misturar código tipado dinamicamente e estaticamente.

Compare o comportamento de Any com o comportamento de object. Semelhante a Any, todo tipo é um subtipo de object. No entanto, ao contrário de Any, o inverso não é verdadeiro: object não é um subtipo de qualquer outro tipo.

Isso significa que quando o tipo de um valor é object, um verificador de tipo rejeitará quase todas as operações nele, e atribuí-lo a uma variável (ou usá-la como valor de retorno) de um tipo mais especializado é um tipo erro. Por exemplo:

def hash_a(item: object) -> int:
    # Fails type checking; an object does not have a 'magic' method.
    item.magic()
    ...

def hash_b(item: Any) -> int:
    # Passes type checking
    item.magic()
    ...

# Passes type checking, since ints and strs are subclasses of object
hash_a(42)
hash_a("foo")

# Passes type checking, since Any is compatible with all types
hash_b(42)
hash_b("foo")

Use object para indicar que um valor pode ser de qualquer tipo de maneira segura. Use Any para indicar que um valor é tipado dinamicamente.

Subtipagem nominal vs estrutural

Inicialmente a PEP 484 [https://peps.python.org/pep-0484/] definiu o sistema de tipos estáticos do Python como usando subtipagem nominal. Isto significa que uma classe A é permitida onde uma classe B é esperada se e somente se A for uma subclasse de B.

Este requisito anteriormente também se aplicava a classes base abstratas, como Iterable. O problema com essa abordagem é que uma classe teve que ser marcada explicitamente para suportá-los, o que não é pythônico e diferente do que normalmente seria feito em código Python de tipo dinamicamente idiomático. Por exemplo, isso está em conformidade com PEP 484 [https://peps.python.org/pep-0484/]:

from collections.abc import Sized, Iterable, Iterator

class Bucket(Sized, Iterable[int]):
    ...
    def __len__(self) -> int: ...
    def __iter__(self) -> Iterator[int]: ...

PEP 544 [https://peps.python.org/pep-0544/] permite resolver este problema permitindo que os usuários escrevam o código acima sem classes base explícitas na definição de classe, permitindo que Bucket seja implicitamente considerado um subtipo de Sized e Iterable[int] por verificador de tipo estático. Isso é conhecido como subtipagem estrutural (ou tipagem pato estática):

from collections.abc import Iterator, Iterable

class Bucket:  # Note: no base classes
    ...
    def __len__(self) -> int: ...
    def __iter__(self) -> Iterator[int]: ...

def collect(items: Iterable[int]) -> int: ...
result = collect(Bucket())  # Passes type check

Além disso, ao criar uma subclasse de uma classe especial Protocol, um usuário pode definir novos protocolos personalizados para aproveitar ao máximo a subtipagem estrutural (veja exemplos abaixo).

Conteúdo do módulo

O módulo typing define as seguintes classes, funções e decoracores.

Tipos primitivos especiais

Tipos especiais

Eles podem ser usados como tipos em anotações. Eles não oferecem suporte a subscrição usando [].

typing.Any

Tipo especial que indica um tipo irrestrito.

Todos os tipos são compatíveis com Any.

Any é compatível com todos os tipos.

Alterado na versão 3.11: Any agora pode ser usado como classe base. Isso pode ser útil para evitar erros do verificador de tipo com classes que podem digitar em qualquer lugar ou são altamente dinâmicas.

typing.AnyStr

Uma variável de tipo restrito.

Definição:

AnyStr = TypeVar('AnyStr', str, bytes)

AnyStr deve ser usado para funções que podem aceitar argumentos str ou bytes mas não podem permitir que os dois se misturem.

Por exemplo:

def concat(a: AnyStr, b: AnyStr) -> AnyStr:
    return a + b

concat("foo", "bar")    # OK, output has type 'str'
concat(b"foo", b"bar")  # OK, output has type 'bytes'
concat("foo", b"bar")   # Error, cannot mix str and bytes

Note que, apesar do nome, AnyStr não tem nada a ver com o tipo Any, nem significa “qualquer string”. Em particular, AnyStr e str | bytes são diferentes entre si e têm casos de uso diferentes:

# Invalid use of AnyStr:
# The type variable is used only once in the function signature,
# so cannot be "solved" by the type checker
def greet_bad(cond: bool) -> AnyStr:
    return "hi there!" if cond else b"greetings!"

# The better way of annotating this function:
def greet_proper(cond: bool) -> str | bytes:
    return "hi there!" if cond else b"greetings!"

Deprecated since version 3.13, will be removed in version 3.18: Descontinuado em favor da nova sintaxe de parâmetro de tipo. Use class A[T: (str, bytes)]: ... em vez de importar AnyStr. Veja a PEP 695 [https://peps.python.org/pep-0695/] para mais detalhes.

No Python 3.16, AnyStr será removido de typing.__all__, e avisos de descontinuação serão emitidos em tempo de execução quando ele for acessado ou importado de typing. AnyStr será removido do typing no Python 3.18.

typing.LiteralString

Tipo especial que inclui apenas strings literais.

Qualquer literal de string é compatível com LiteralString, assim como outro LiteralString. Entretanto, um objeto digitado apenas str não é. Uma string criada pela composição de objetos do tipo LiteralString também é aceitável como uma LiteralString.

Exemplo:

def run_query(sql: LiteralString) -> None:
    ...

def caller(arbitrary_string: str, literal_string: LiteralString) -> None:
    run_query("SELECT * FROM students")  # OK
    run_query(literal_string)  # OK
    run_query("SELECT * FROM " + literal_string)  # OK
    run_query(arbitrary_string)  # type checker error
    run_query(  # type checker error
        f"SELECT * FROM students WHERE name = {arbitrary_string}"
    )

LiteralString é útil para APIs sensíveis onde strings arbitrárias geradas pelo usuário podem gerar problemas. Por exemplo, os dois casos acima que geram erros no verificador de tipo podem ser vulneráveis a um ataque de injeção de SQL.

Veja PEP 675 [https://peps.python.org/pep-0675/] para mais detalhes.

Adicionado na versão 3.11.

typing.Never

typing.NoReturn

Never e NoReturn representam o tipo inferior [https://en.wikipedia.org/wiki/Bottom_type], um tipo que não possui membros.

Eles podem ser usados ​​para indicar que uma função nunca retorna, como sys.exit():

from typing import Never  # or NoReturn

def stop() -> Never:
    raise RuntimeError('no way')

Ou para definir uma função que nunca deve ser chamada, pois não existem argumentos válidos, como assert_never():

from typing import Never  # or NoReturn

def never_call_me(arg: Never) -> None:
    pass

def int_or_str(arg: int | str) -> None:
    never_call_me(arg)  # type checker error
    match arg:
        case int():
            print("It's an int")
        case str():
            print("It's a str")
        case _:
            never_call_me(arg)  # OK, arg is of type Never (or NoReturn)

Never e NoReturn têm o mesmo significado no sistema de tipos e os verificadores de tipo estático tratam ambos de forma equivalente.

Adicionado na versão 3.6.2: Adicionado NoReturn.

Adicionado na versão 3.11: Adicionado Never.

typing.Self

Tipo especial para representar a classe atual inclusa.

Por exemplo:

from typing import Self, reveal_type

class Foo:
    def return_self(self) -> Self:
        ...
        return self

class SubclassOfFoo(Foo): pass

reveal_type(Foo().return_self())  # Revealed type is "Foo"
reveal_type(SubclassOfFoo().return_self())  # Revealed type is "SubclassOfFoo"

Esta anotação é semanticamente equivalente à seguinte, embora de forma mais sucinta:

from typing import TypeVar

Self = TypeVar("Self", bound="Foo")

class Foo:
    def return_self(self: Self) -> Self:
        ...
        return self

Em geral, se algo retorna self, como nos exemplos acima, você deve usar Self como anotação de retorno. Se Foo.return_self foi anotado como retornando "Foo", então o verificador de tipo inferiria o objeto retornado de SubclassOfFoo.return_self como sendo do tipo Foo em vez de SubclassOfFoo.

Outros casos de uso comuns incluem:

classmethods que são usados como construtores alternativos e retornam instâncias do parâmetro cls.

Anotando um método __enter__() que retorna self.

Você não deveria usar Self como a anotação de retorno se não for garantido que o método retorne uma instância de uma subclasse quando a classe for subclassificada:

class Eggs:
    # Self would be an incorrect return annotation here,
    # as the object returned is always an instance of Eggs,
    # even in subclasses
    def returns_eggs(self) -> "Eggs":
        return Eggs()

Veja PEP 673 [https://peps.python.org/pep-0673/] para mais detalhes.

Adicionado na versão 3.11.

typing.TypeAlias

Anotações especiais para declarar explicitamente um apelido de tipo.

Por exemplo:

from typing import TypeAlias

Factors: TypeAlias = list[int]

TypeAlias é particularmente útil em versões mais antigas do Python para anotar apelidos que fazem uso de referências futuras, pois pode ser difícil para os verificadores de tipo distingui-los das atribuições normais de variáveis:

from typing import Generic, TypeAlias, TypeVar

T = TypeVar("T")

# "Box" does not exist yet,
# so we have to use quotes for the forward reference on Python <3.12.
# Using ``TypeAlias`` tells the type checker that this is a type alias declaration,
# not a variable assignment to a string.
BoxOfStrings: TypeAlias = "Box[str]"

class Box(Generic[T]):
    @classmethod
    def make_box_of_strings(cls) -> BoxOfStrings: ...

Veja PEP 613 [https://peps.python.org/pep-0613/] para mais detalhes.

Adicionado na versão 3.10.

Obsoleto desde a versão 3.12: TypeAlias foi descontinuado em favor da instrução type, que cria instâncias de TypeAliasType e que oferece suporte a nativamente referências futuras. Observe que embora TypeAlias e TypeAliasType sirvam propósitos semelhantes e tenham nomes semelhantes, eles são distintos e o último não é o tipo do primeiro. A remoção de TypeAlias não está planejada atualmente, mas os usuários são encorajados a migrar para instruções type.

Formas especiais

Eles podem ser usados ​​como tipos em anotações. Todos eles oferecem suporte a subscrição usando [], mas cada um tem uma sintaxe única.

typing.Union

Tipo de união; Union[X, Y] é equivalente a X | Y e significa X ou Y.

Para definir uma união, use, por exemplo. Union[int, str] ou a abreviatura int | str. Usar essa abreviação é recomendado. Detalhes:

Os argumentos devem ser tipos e deve haver pelo menos um.

As uniões de uniões são achatadas, por exemplo:

Union[Union[int, str], float] == Union[int, str, float]

As uniões de um único argumento desaparecem, por exemplo:

Union[int] == int  # The constructor actually returns int

Argumento redundantes são pulados, e.g.:

Union[int, str, int] == Union[int, str] == int | str

When comparing unions, the argument order is ignored, e.g.:

Union[int, str] == Union[str, int]

Você não pode estender ou instanciar uma Union

Você não pode escrever Union[X][Y].

Alterado na versão 3.7: Don’t remove explicit subclasses from unions at runtime.

Alterado na versão 3.10: Unions can now be written as X | Y. See union type expressions.

typing.Optional

Optional[X] is equivalent to X | None (or Union[X, None]).

Note that this is not the same concept as an optional argument, which is one that has a default. An optional argument with a default does not require the Optional qualifier on its type annotation just because it is optional. For example:

def foo(arg: int = 0) -> None:
    ...

On the other hand, if an explicit value of None is allowed, the use of Optional is appropriate, whether the argument is optional or not. For example:

def foo(arg: Optional[int] = None) -> None:
    ...

Alterado na versão 3.10: Optional can now be written as X | None. See union type expressions.

typing.Concatenate

Forma especial para anotar funções de ordem superior.

Concatenate can be used in conjunction with Callable and ParamSpec to annotate a higher-order callable which adds, removes, or transforms parameters of another callable. Usage is in the form Concatenate[Arg1Type, Arg2Type, ..., ParamSpecVariable]. Concatenate is currently only valid when used as the first argument to a Callable. The last parameter to Concatenate must be a ParamSpec or ellipsis (...).

For example, to annotate a decorator with_lock which provides a threading.Lock to the decorated function, Concatenate can be used to indicate that with_lock expects a callable which takes in a Lock as the first argument, and returns a callable with a different type signature. In this case, the ParamSpec indicates that the returned callable’s parameter types are dependent on the parameter types of the callable being passed in:

from collections.abc import Callable
from threading import Lock
from typing import Concatenate

# Use this lock to ensure that only one thread is executing a function
# at any time.
my_lock = Lock()

def with_lock[**P, R](f: Callable[Concatenate[Lock, P], R]) -> Callable[P, R]:
    '''A type-safe decorator which provides a lock.'''
    def inner(*args: P.args, **kwargs: P.kwargs) -> R:
        # Provide the lock as the first argument.
        return f(my_lock, *args, **kwargs)
    return inner

@with_lock
def sum_threadsafe(lock: Lock, numbers: list[float]) -> float:
    '''Add a list of numbers together in a thread-safe manner.'''
    with lock:
        return sum(numbers)

# We don't need to pass in the lock ourselves thanks to the decorator.
sum_threadsafe([1.1, 2.2, 3.3])

Adicionado na versão 3.10.

Ver também

PEP 612 [https://peps.python.org/pep-0612/] – Parameter Specification Variables (the PEP which introduced ParamSpec and Concatenate)

ParamSpec

Anotações de objetos chamáveis

typing.Literal

Special typing form to define “literal types”.

Literal can be used to indicate to type checkers that the annotated object has a value equivalent to one of the provided literals.

Por exemplo:

def validate_simple(data: Any) -> Literal[True]:  # always returns True
    ...

type Mode = Literal['r', 'rb', 'w', 'wb']
def open_helper(file: str, mode: Mode) -> str:
    ...

open_helper('/some/path', 'r')      # Passes type check
open_helper('/other/path', 'typo')  # Error in type checker

Literal[...] cannot be subclassed. At runtime, an arbitrary value is allowed as type argument to Literal[...], but type checkers may impose restrictions. See PEP 586 [https://peps.python.org/pep-0586/] for more details about literal types.

Adicionado na versão 3.8.

Alterado na versão 3.9.1: Literal now de-duplicates parameters. Equality comparisons of Literal objects are no longer order dependent. Literal objects will now raise a TypeError exception during equality comparisons if one of their parameters are not hashable.

typing.ClassVar

Special type construct to mark class variables.

As introduced in PEP 526 [https://peps.python.org/pep-0526/], a variable annotation wrapped in ClassVar indicates that a given attribute is intended to be used as a class variable and should not be set on instances of that class. Usage:

class Starship:
    stats: ClassVar[dict[str, int]] = {} # class variable
    damage: int = 10                     # instance variable

ClassVar accepts only types and cannot be further subscribed.

ClassVar is not a class itself, and should not be used with isinstance() or issubclass(). ClassVar does not change Python runtime behavior, but it can be used by third-party type checkers. For example, a type checker might flag the following code as an error:

enterprise_d = Starship(3000)
enterprise_d.stats = {} # Error, setting class variable on instance
Starship.stats = {}     # This is OK

Adicionado na versão 3.5.3.

Alterado na versão 3.13: ClassVar can now be nested in Final and vice versa.

typing.Final

Special typing construct to indicate final names to type checkers.

Final names cannot be reassigned in any scope. Final names declared in class scopes cannot be overridden in subclasses.

Por exemplo:

MAX_SIZE: Final = 9000
MAX_SIZE += 1  # Error reported by type checker

class Connection:
    TIMEOUT: Final[int] = 10

class FastConnector(Connection):
    TIMEOUT = 1  # Error reported by type checker

There is no runtime checking of these properties. See PEP 591 [https://peps.python.org/pep-0591/] for more details.

Adicionado na versão 3.8.

Alterado na versão 3.13: Final can now be nested in ClassVar and vice versa.

typing.Required

Special typing construct to mark a TypedDict key as required.

This is mainly useful for total=False TypedDicts. See TypedDict and PEP 655 [https://peps.python.org/pep-0655/] for more details.

Adicionado na versão 3.11.

typing.NotRequired

Special typing construct to mark a TypedDict key as potentially missing.

See TypedDict and PEP 655 [https://peps.python.org/pep-0655/] for more details.

Adicionado na versão 3.11.

typing.ReadOnly

A special typing construct to mark an item of a TypedDict as read-only.

Por exemplo:

class Movie(TypedDict):
   title: ReadOnly[str]
   year: int

def mutate_movie(m: Movie) -> None:
   m["year"] = 1999  # allowed
   m["title"] = "The Matrix"  # typechecker error

There is no runtime checking for this property.

See TypedDict and PEP 705 [https://peps.python.org/pep-0705/] for more details.

Adicionado na versão 3.13.

typing.Annotated

Special typing form to add context-specific metadata to an annotation.

Add metadata x to a given type T by using the annotation Annotated[T, x]. Metadata added using Annotated can be used by static analysis tools or at runtime. At runtime, the metadata is stored in a __metadata__ attribute.

If a library or tool encounters an annotation Annotated[T, x] and has no special logic for the metadata, it should ignore the metadata and simply treat the annotation as T. As such, Annotated can be useful for code that wants to use annotations for purposes outside Python’s static typing system.

Using Annotated[T, x] as an annotation still allows for static typechecking of T, as type checkers will simply ignore the metadata x. In this way, Annotated differs from the @no_type_check decorator, which can also be used for adding annotations outside the scope of the typing system, but completely disables typechecking for a function or class.

The responsibility of how to interpret the metadata lies with the tool or library encountering an Annotated annotation. A tool or library encountering an Annotated type can scan through the metadata elements to determine if they are of interest (e.g., using isinstance()).

Annotated[<type>, <metadata>]

Here is an example of how you might use Annotated to add metadata to type annotations if you were doing range analysis:

@dataclass
class ValueRange:
    lo: int
    hi: int

T1 = Annotated[int, ValueRange(-10, 5)]
T2 = Annotated[T1, ValueRange(-20, 3)]

Detalhes da sintaxe:

The first argument to Annotated must be a valid type

Multiple metadata elements can be supplied (Annotated supports variadic arguments):

@dataclass
class ctype:
    kind: str

Annotated[int, ValueRange(3, 10), ctype("char")]

It is up to the tool consuming the annotations to decide whether the client is allowed to add multiple metadata elements to one annotation and how to merge those annotations.

Annotated must be subscripted with at least two arguments ( Annotated[int] is not valid)

The order of the metadata elements is preserved and matters for equality checks:

assert Annotated[int, ValueRange(3, 10), ctype("char")] != Annotated[
    int, ctype("char"), ValueRange(3, 10)
]

Nested Annotated types are flattened. The order of the metadata elements starts with the innermost annotation:

assert Annotated[Annotated[int, ValueRange(3, 10)], ctype("char")] == Annotated[
    int, ValueRange(3, 10), ctype("char")
]

Elementos duplicados de metadata não são removidos:

assert Annotated[int, ValueRange(3, 10)] != Annotated[
    int, ValueRange(3, 10), ValueRange(3, 10)
]

Annotated can be used with nested and generic aliases:

@dataclass
class MaxLen:
    value: int

type Vec[T] = Annotated[list[tuple[T, T]], MaxLen(10)]

# When used in a type annotation, a type checker will treat "V" the same as
# ``Annotated[list[tuple[int, int]], MaxLen(10)]``:
type V = Vec[int]

Annotated cannot be used with an unpacked TypeVarTuple:

type Variadic[*Ts] = Annotated[*Ts, Ann1]  # NOT valid

Isso deve ser equivalente a

Annotated[T1, T2, T3, ..., Ann1]

where T1, T2, etc. are TypeVars. This would be invalid: only one type should be passed to Annotated.

By default, get_type_hints() strips the metadata from annotations. Pass include_extras=True to have the metadata preserved:

>>> from typing import Annotated, get_type_hints
>>> def func(x: Annotated[int, "metadata"]) -> None: pass
...
>>> get_type_hints(func)
{'x': <class 'int'>, 'return': <class 'NoneType'>}
>>> get_type_hints(func, include_extras=True)
{'x': typing.Annotated[int, 'metadata'], 'return': <class 'NoneType'>}

At runtime, the metadata associated with an Annotated type can be retrieved via the __metadata__ attribute:

>>> from typing import Annotated
>>> X = Annotated[int, "very", "important", "metadata"]
>>> X
typing.Annotated[int, 'very', 'important', 'metadata']
>>> X.__metadata__
('very', 'important', 'metadata')

At runtime, if you want to retrieve the original type wrapped by Annotated, use the __origin__ attribute:

>>> from typing import Annotated, get_origin
>>> Password = Annotated[str, "secret"]
>>> Password.__origin__
<class 'str'>

Note that using get_origin() will return Annotated itself:

>>> get_origin(Password)
typing.Annotated

Ver também

PEP 593 [https://peps.python.org/pep-0593/] - Flexible function and variable annotations

The PEP introducing Annotated to the standard library.

Adicionado na versão 3.9.

typing.TypeIs

Special typing construct for marking user-defined type predicate functions.

TypeIs can be used to annotate the return type of a user-defined type predicate function. TypeIs only accepts a single type argument. At runtime, functions marked this way should return a boolean and take at least one positional argument.

TypeIs aims to benefit type narrowing – a technique used by static type checkers to determine a more precise type of an expression within a program’s code flow. Usually type narrowing is done by analyzing conditional code flow and applying the narrowing to a block of code. The conditional expression here is sometimes referred to as a “type predicate”:

def is_str(val: str | float):
    # "isinstance" type predicate
    if isinstance(val, str):
        # Type of ``val`` is narrowed to ``str``
        ...
    else:
        # Else, type of ``val`` is narrowed to ``float``.
        ...

Sometimes it would be convenient to use a user-defined boolean function as a type predicate. Such a function should use TypeIs[...] or TypeGuard as its return type to alert static type checkers to this intention. TypeIs usually has more intuitive behavior than TypeGuard, but it cannot be used when the input and output types are incompatible (e.g., list[object] to list[int]) or when the function does not return True for all instances of the narrowed type.

Using -> TypeIs[NarrowedType] tells the static type checker that for a given function:

O valor de retorno é um booleano.

If the return value is True, the type of its argument is the intersection of the argument’s original type and NarrowedType.

If the return value is False, the type of its argument is narrowed to exclude NarrowedType.

Por exemplo:

from typing import assert_type, final, TypeIs

class Parent: pass
class Child(Parent): pass
@final
class Unrelated: pass

def is_parent(val: object) -> TypeIs[Parent]:
    return isinstance(val, Parent)

def run(arg: Child | Unrelated):
    if is_parent(arg):
        # Type of ``arg`` is narrowed to the intersection
        # of ``Parent`` and ``Child``, which is equivalent to
        # ``Child``.
        assert_type(arg, Child)
    else:
        # Type of ``arg`` is narrowed to exclude ``Parent``,
        # so only ``Unrelated`` is left.
        assert_type(arg, Unrelated)

The type inside TypeIs must be consistent with the type of the function’s argument; if it is not, static type checkers will raise an error. An incorrectly written TypeIs function can lead to unsound behavior in the type system; it is the user’s responsibility to write such functions in a type-safe manner.

If a TypeIs function is a class or instance method, then the type in TypeIs maps to the type of the second parameter (after cls or self).

In short, the form def foo(arg: TypeA) -> TypeIs[TypeB]: ..., means that if foo(arg) returns True, then arg is an instance of TypeB, and if it returns False, it is not an instance of TypeB.

TypeIs also works with type variables. For more information, see PEP 742 [https://peps.python.org/pep-0742/] (Narrowing types with TypeIs).

Adicionado na versão 3.13.

typing.TypeGuard

Special typing construct for marking user-defined type predicate functions.

Type predicate functions are user-defined functions that return whether their argument is an instance of a particular type. TypeGuard works similarly to TypeIs, but has subtly different effects on type checking behavior (see below).

Using -> TypeGuard tells the static type checker that for a given function:

O valor de retorno é um booleano.

If the return value is True, the type of its argument is the type inside TypeGuard.

TypeGuard also works with type variables. See PEP 647 [https://peps.python.org/pep-0647/] for more details.

Por exemplo:

def is_str_list(val: list[object]) -> TypeGuard[list[str]]:
    '''Determines whether all objects in the list are strings'''
    return all(isinstance(x, str) for x in val)

def func1(val: list[object]):
    if is_str_list(val):
        # Type of ``val`` is narrowed to ``list[str]``.
        print(" ".join(val))
    else:
        # Type of ``val`` remains as ``list[object]``.
        print("Not a list of strings!")

TypeIs and TypeGuard differ in the following ways:

TypeIs requires the narrowed type to be a subtype of the input type, while TypeGuard does not. The main reason is to allow for things like narrowing list[object] to list[str] even though the latter is not a subtype of the former, since list is invariant.

When a TypeGuard function returns True, type checkers narrow the type of the variable to exactly the TypeGuard type. When a TypeIs function returns True, type checkers can infer a more precise type combining the previously known type of the variable with the TypeIs type. (Technically, this is known as an intersection type.)

When a TypeGuard function returns False, type checkers cannot narrow the type of the variable at all. When a TypeIs function returns False, type checkers can narrow the type of the variable to exclude the TypeIs type.

Adicionado na versão 3.10.

typing.Unpack

Typing operator to conceptually mark an object as having been unpacked.

For example, using the unpack operator * on a type variable tuple is equivalent to using Unpack to mark the type variable tuple as having been unpacked:

Ts = TypeVarTuple('Ts')
tup: tuple[*Ts]
# Effectively does:
tup: tuple[Unpack[Ts]]

In fact, Unpack can be used interchangeably with * in the context of typing.TypeVarTuple and builtins.tuple types. You might see Unpack being used explicitly in older versions of Python, where * couldn’t be used in certain places:

# In older versions of Python, TypeVarTuple and Unpack
# are located in the `typing_extensions` backports package.
from typing_extensions import TypeVarTuple, Unpack

Ts = TypeVarTuple('Ts')
tup: tuple[*Ts]         # Syntax error on Python <= 3.10!
tup: tuple[Unpack[Ts]]  # Semantically equivalent, and backwards-compatible

Unpack can also be used along with typing.TypedDict for typing **kwargs in a function signature:

from typing import TypedDict, Unpack

class Movie(TypedDict):
    name: str
    year: int

# This function expects two keyword arguments - `name` of type `str`
# and `year` of type `int`.
def foo(**kwargs: Unpack[Movie]): ...

See PEP 692 [https://peps.python.org/pep-0692/] for more details on using Unpack for **kwargs typing.

Adicionado na versão 3.11.

Criando tipos genéricos e apelidos de tipo

The following classes should not be used directly as annotations. Their intended purpose is to be building blocks for creating generic types and type aliases.

These objects can be created through special syntax (type parameter lists and the type statement). For compatibility with Python 3.11 and earlier, they can also be created without the dedicated syntax, as documented below.

class typing.Generic

Classe base abstrata para tipos genéricos

A generic type is typically declared by adding a list of type parameters after the class name:

class Mapping[KT, VT]:
    def __getitem__(self, key: KT) -> VT:
        ...
        # Etc.

Such a class implicitly inherits from Generic. The runtime semantics of this syntax are discussed in the Language Reference.

Esta classe pode ser utilizada como segue:

def lookup_name[X, Y](mapping: Mapping[X, Y], key: X, default: Y) -> Y:
    try:
        return mapping[key]
    except KeyError:
        return default

Aqui os colchetes depois no nome da função indica uma função genérica.

For backwards compatibility, generic classes can also be declared by explicitly inheriting from Generic. In this case, the type parameters must be declared separately:

KT = TypeVar('KT')
VT = TypeVar('VT')

class Mapping(Generic[KT, VT]):
    def __getitem__(self, key: KT) -> VT:
        ...
        # Etc.

class typing.TypeVar(name, *constraints, bound=None, covariant=False, contravariant=False, infer_variance=False, default=typing.NoDefault)

Tipo variável.

The preferred way to construct a type variable is via the dedicated syntax for generic functions, generic classes, and generic type aliases:

class Sequence[T]:  # T is a TypeVar
    ...

This syntax can also be used to create bound and constrained type variables:

class StrSequence[S: str]:  # S is a TypeVar bound to str
    ...

class StrOrBytesSequence[A: (str, bytes)]:  # A is a TypeVar constrained to str or bytes
    ...

However, if desired, reusable type variables can also be constructed manually, like so:

T = TypeVar('T')  # Can be anything
S = TypeVar('S', bound=str)  # Can be any subtype of str
A = TypeVar('A', str, bytes)  # Must be exactly str or bytes

Type variables exist primarily for the benefit of static type checkers. They serve as the parameters for generic types as well as for generic function and type alias definitions. See Generic for more information on generic types. Generic functions work as follows:

def repeat[T](x: T, n: int) -> Sequence[T]:
    """Return a list containing n references to x."""
    return [x]*n

def print_capitalized[S: str](x: S) -> S:
    """Print x capitalized, and return x."""
    print(x.capitalize())
    return x

def concatenate[A: (str, bytes)](x: A, y: A) -> A:
    """Add two strings or bytes objects together."""
    return x + y

Note that type variables can be bound, constrained, or neither, but cannot be both bound and constrained.

The variance of type variables is inferred by type checkers when they are created through the type parameter syntax or when infer_variance=True is passed. Manually created type variables may be explicitly marked covariant or contravariant by passing covariant=True or contravariant=True. By default, manually created type variables are invariant. See PEP 484 [https://peps.python.org/pep-0484/] and PEP 695 [https://peps.python.org/pep-0695/] for more details.

Bound type variables and constrained type variables have different semantics in several important ways. Using a bound type variable means that the TypeVar will be solved using the most specific type possible:

x = print_capitalized('a string')
reveal_type(x)  # revealed type is str

class StringSubclass(str):
    pass

y = print_capitalized(StringSubclass('another string'))
reveal_type(y)  # revealed type is StringSubclass

z = print_capitalized(45)  # error: int is not a subtype of str

Type variables can be bound to concrete types, abstract types (ABCs or protocols), and even unions of types:

# Can be anything with an __abs__ method
def print_abs[T: SupportsAbs](arg: T) -> None:
    print("Absolute value:", abs(arg))

U = TypeVar('U', bound=str|bytes)  # Can be any subtype of the union str|bytes
V = TypeVar('V', bound=SupportsAbs)  # Can be anything with an __abs__ method

Using a constrained type variable, however, means that the TypeVar can only ever be solved as being exactly one of the constraints given:

a = concatenate('one', 'two')
reveal_type(a)  # revealed type is str

b = concatenate(StringSubclass('one'), StringSubclass('two'))
reveal_type(b)  # revealed type is str, despite StringSubclass being passed in

c = concatenate('one', b'two')  # error: type variable 'A' can be either str or bytes in a function call, but not both

At runtime, isinstance(x, T) will raise TypeError.

__name__

The name of the type variable.

__covariant__

Whether the type var has been explicitly marked as covariant.

__contravariant__

Whether the type var has been explicitly marked as contravariant.

__infer_variance__

Whether the type variable’s variance should be inferred by type checkers.

Adicionado na versão 3.12.

__bound__

The bound of the type variable, if any.

Alterado na versão 3.12: For type variables created through type parameter syntax, the bound is evaluated only when the attribute is accessed, not when the type variable is created (see Avaliação preguiçosa).

__constraints__

A tuple containing the constraints of the type variable, if any.

Alterado na versão 3.12: For type variables created through type parameter syntax, the constraints are evaluated only when the attribute is accessed, not when the type variable is created (see Avaliação preguiçosa).

__default__

The default value of the type variable, or typing.NoDefault if it has no default.

Adicionado na versão 3.13.

has_default()

Return whether or not the type variable has a default value. This is equivalent to checking whether __default__ is not the typing.NoDefault singleton, except that it does not force evaluation of the lazily evaluated default value.

Adicionado na versão 3.13.

Alterado na versão 3.12: Type variables can now be declared using the type parameter syntax introduced by PEP 695 [https://peps.python.org/pep-0695/]. The infer_variance parameter was added.

Alterado na versão 3.13: Support for default values was added.

class typing.TypeVarTuple(name, *, default=typing.NoDefault)

Type variable tuple. A specialized form of type variable that enables variadic generics.

Type variable tuples can be declared in type parameter lists using a single asterisk (*) before the name:

def move_first_element_to_last[T, *Ts](tup: tuple[T, *Ts]) -> tuple[*Ts, T]:
    return (*tup[1:], tup[0])

Or by explicitly invoking the TypeVarTuple constructor:

T = TypeVar("T")
Ts = TypeVarTuple("Ts")

def move_first_element_to_last(tup: tuple[T, *Ts]) -> tuple[*Ts, T]:
    return (*tup[1:], tup[0])

A normal type variable enables parameterization with a single type. A type variable tuple, in contrast, allows parameterization with an arbitrary number of types by acting like an arbitrary number of type variables wrapped in a tuple. For example:

# T is bound to int, Ts is bound to ()
# Return value is (1,), which has type tuple[int]
move_first_element_to_last(tup=(1,))

# T is bound to int, Ts is bound to (str,)
# Return value is ('spam', 1), which has type tuple[str, int]
move_first_element_to_last(tup=(1, 'spam'))

# T is bound to int, Ts is bound to (str, float)
# Return value is ('spam', 3.0, 1), which has type tuple[str, float, int]
move_first_element_to_last(tup=(1, 'spam', 3.0))

# This fails to type check (and fails at runtime)
# because tuple[()] is not compatible with tuple[T, *Ts]
# (at least one element is required)
move_first_element_to_last(tup=())

Note the use of the unpacking operator * in tuple[T, *Ts]. Conceptually, you can think of Ts as a tuple of type variables (T1, T2, ...). tuple[T, *Ts] would then become tuple[T, *(T1, T2, ...)], which is equivalent to tuple[T, T1, T2, ...]. (Note that in older versions of Python, you might see this written using Unpack instead, as Unpack[Ts].)

Type variable tuples must always be unpacked. This helps distinguish type variable tuples from normal type variables:

x: Ts          # Not valid
x: tuple[Ts]   # Not valid
x: tuple[*Ts]  # The correct way to do it

Type variable tuples can be used in the same contexts as normal type variables. For example, in class definitions, arguments, and return types:

class Array[*Shape]:
    def __getitem__(self, key: tuple[*Shape]) -> float: ...
    def __abs__(self) -> "Array[*Shape]": ...
    def get_shape(self) -> tuple[*Shape]: ...

Type variable tuples can be happily combined with normal type variables:

class Array[DType, *Shape]:  # This is fine
    pass

class Array2[*Shape, DType]:  # This would also be fine
    pass

class Height: ...
class Width: ...

float_array_1d: Array[float, Height] = Array()     # Totally fine
int_array_2d: Array[int, Height, Width] = Array()  # Yup, fine too

However, note that at most one type variable tuple may appear in a single list of type arguments or type parameters:

x: tuple[*Ts, *Ts]            # Not valid
class Array[*Shape, *Shape]:  # Not valid
    pass

Finally, an unpacked type variable tuple can be used as the type annotation of *args:

def call_soon[*Ts](
    callback: Callable[[*Ts], None],
    *args: *Ts
) -> None:
    ...
    callback(*args)

In contrast to non-unpacked annotations of *args - e.g. *args: int, which would specify that all arguments are int - *args: *Ts enables reference to the types of the individual arguments in *args. Here, this allows us to ensure the types of the *args passed to call_soon match the types of the (positional) arguments of callback.

See PEP 646 [https://peps.python.org/pep-0646/] for more details on type variable tuples.

__name__

The name of the type variable tuple.

__default__

The default value of the type variable tuple, or typing.NoDefault if it has no default.

Adicionado na versão 3.13.

has_default()

Return whether or not the type variable tuple has a default value. This is equivalent to checking whether __default__ is not the typing.NoDefault singleton, except that it does not force evaluation of the lazily evaluated default value.

Adicionado na versão 3.13.

Adicionado na versão 3.11.

Alterado na versão 3.12: Type variable tuples can now be declared using the type parameter syntax introduced by PEP 695 [https://peps.python.org/pep-0695/].

Alterado na versão 3.13: Support for default values was added.

class typing.ParamSpec(name, *, bound=None, covariant=False, contravariant=False, default=typing.NoDefault)

Parameter specification variable. A specialized version of type variables.

In type parameter lists, parameter specifications can be declared with two asterisks (**):

type IntFunc[**P] = Callable[P, int]

For compatibility with Python 3.11 and earlier, ParamSpec objects can also be created as follows:

P = ParamSpec('P')

Parameter specification variables exist primarily for the benefit of static type checkers. They are used to forward the parameter types of one callable to another callable – a pattern commonly found in higher order functions and decorators. They are only valid when used in Concatenate, or as the first argument to Callable, or as parameters for user-defined Generics. See Generic for more information on generic types.

For example, to add basic logging to a function, one can create a decorator add_logging to log function calls. The parameter specification variable tells the type checker that the callable passed into the decorator and the new callable returned by it have inter-dependent type parameters:

from collections.abc import Callable
import logging

def add_logging[T, **P](f: Callable[P, T]) -> Callable[P, T]:
    '''A type-safe decorator to add logging to a function.'''
    def inner(*args: P.args, **kwargs: P.kwargs) -> T:
        logging.info(f'{f.__name__} was called')
        return f(*args, **kwargs)
    return inner

@add_logging
def add_two(x: float, y: float) -> float:
    '''Add two numbers together.'''
    return x + y

Without ParamSpec, the simplest way to annotate this previously was to use a TypeVar with bound Callable[..., Any]. However this causes two problems:

The type checker can’t type check the inner function because *args and **kwargs have to be typed Any.

cast() may be required in the body of the add_logging decorator when returning the inner function, or the static type checker must be told to ignore the return inner.

args

kwargs

Since ParamSpec captures both positional and keyword parameters, P.args and P.kwargs can be used to split a ParamSpec into its components. P.args represents the tuple of positional parameters in a given call and should only be used to annotate *args. P.kwargs represents the mapping of keyword parameters to their values in a given call, and should be only be used to annotate **kwargs. Both attributes require the annotated parameter to be in scope. At runtime, P.args and P.kwargs are instances respectively of ParamSpecArgs and ParamSpecKwargs.

__name__

The name of the parameter specification.

__default__

The default value of the parameter specification, or typing.NoDefault if it has no default.

Adicionado na versão 3.13.

has_default()

Return whether or not the parameter specification has a default value. This is equivalent to checking whether __default__ is not the typing.NoDefault singleton, except that it does not force evaluation of the lazily evaluated default value.

Adicionado na versão 3.13.

Parameter specification variables created with covariant=True or contravariant=True can be used to declare covariant or contravariant generic types. The bound argument is also accepted, similar to TypeVar. However the actual semantics of these keywords are yet to be decided.

Adicionado na versão 3.10.

Alterado na versão 3.12: Parameter specifications can now be declared using the type parameter syntax introduced by PEP 695 [https://peps.python.org/pep-0695/].

Alterado na versão 3.13: Support for default values was added.

Nota

Only parameter specification variables defined in global scope can be pickled.

Ver também

PEP 612 [https://peps.python.org/pep-0612/] – Parameter Specification Variables (the PEP which introduced ParamSpec and Concatenate)

Concatenate

Anotações de objetos chamáveis

typing.ParamSpecArgs

typing.ParamSpecKwargs

Arguments and keyword arguments attributes of a ParamSpec. The P.args attribute of a ParamSpec is an instance of ParamSpecArgs, and P.kwargs is an instance of ParamSpecKwargs. They are intended for runtime introspection and have no special meaning to static type checkers.

Calling get_origin() on either of these objects will return the original ParamSpec:

>>> from typing import ParamSpec, get_origin
>>> P = ParamSpec("P")
>>> get_origin(P.args) is P
True
>>> get_origin(P.kwargs) is P
True

Adicionado na versão 3.10.

class typing.TypeAliasType(name, value, *, type_params=())

The type of type aliases created through the type statement.

Exemplo:

>>> type Alias = int
>>> type(Alias)
<class 'typing.TypeAliasType'>

Adicionado na versão 3.12.

__name__

The name of the type alias:

>>> type Alias = int
>>> Alias.__name__
'Alias'

__module__

O módulo na qual o apelido de tipo foi definido:

>>> type Alias = int
>>> Alias.__module__
'__main__'

__type_params__

The type parameters of the type alias, or an empty tuple if the alias is not generic:

>>> type ListOrSet[T] = list[T] | set[T]
>>> ListOrSet.__type_params__
(T,)
>>> type NotGeneric = int
>>> NotGeneric.__type_params__
()

__value__

The type alias’s value. This is lazily evaluated, so names used in the definition of the alias are not resolved until the __value__ attribute is accessed:

>>> type Mutually = Recursive
>>> type Recursive = Mutually
>>> Mutually
Mutually
>>> Recursive
Recursive
>>> Mutually.__value__
Recursive
>>> Recursive.__value__
Mutually

Outras diretivas especiais

These functions and classes should not be used directly as annotations. Their intended purpose is to be building blocks for creating and declaring types.

class typing.NamedTuple

Typed version of collections.namedtuple().

Uso:

class Employee(NamedTuple):
    name: str
    id: int

Isso equivale a:

Employee = collections.namedtuple('Employee', ['name', 'id'])

To give a field a default value, you can assign to it in the class body:

class Employee(NamedTuple):
    name: str
    id: int = 3

employee = Employee('Guido')
assert employee.id == 3

Fields with a default value must come after any fields without a default.

The resulting class has an extra attribute __annotations__ giving a dict that maps the field names to the field types. (The field names are in the _fields attribute and the default values are in the _field_defaults attribute, both of which are part of the namedtuple() API.)

NamedTuple subclasses can also have docstrings and methods:

class Employee(NamedTuple):
    """Represents an employee."""
    name: str
    id: int = 3

    def __repr__(self) -> str:
        return f'<Employee {self.name}, id={self.id}>'

NamedTuple subclasses can be generic:

class Group[T](NamedTuple):
    key: T
    group: list[T]

Backward-compatible usage:

# For creating a generic NamedTuple on Python 3.11
T = TypeVar("T")

class Group(NamedTuple, Generic[T]):
    key: T
    group: list[T]

# A functional syntax is also supported
Employee = NamedTuple('Employee', [('name', str), ('id', int)])

Alterado na versão 3.6: Added support for PEP 526 [https://peps.python.org/pep-0526/] variable annotation syntax.

Alterado na versão 3.6.1: Added support for default values, methods, and docstrings.

Alterado na versão 3.8: The _field_types and __annotations__ attributes are now regular dictionaries instead of instances of OrderedDict.

Alterado na versão 3.9: Removed the _field_types attribute in favor of the more standard __annotations__ attribute which has the same information.

Alterado na versão 3.11: Added support for generic namedtuples.

Deprecated since version 3.13, will be removed in version 3.15: The undocumented keyword argument syntax for creating NamedTuple classes (NT = NamedTuple("NT", x=int)) is deprecated, and will be disallowed in 3.15. Use the class-based syntax or the functional syntax instead.

Deprecated since version 3.13, will be removed in version 3.15: When using the functional syntax to create a NamedTuple class, failing to pass a value to the ‘fields’ parameter (NT = NamedTuple("NT")) is deprecated. Passing None to the ‘fields’ parameter (NT = NamedTuple("NT", None)) is also deprecated. Both will be disallowed in Python 3.15. To create a NamedTuple class with 0 fields, use class NT(NamedTuple): pass or NT = NamedTuple("NT", []).

class typing.NewType(name, tp)

Helper class to create low-overhead distinct types.

A NewType is considered a distinct type by a typechecker. At runtime, however, calling a NewType returns its argument unchanged.

Uso:

UserId = NewType('UserId', int)  # Declare the NewType "UserId"
first_user = UserId(1)  # "UserId" returns the argument unchanged at runtime

__module__

The module in which the new type is defined.

__name__

O nome do novo tipo.

__supertype__

O tipo na qual o novo tipo é baseado.

Adicionado na versão 3.5.2.

Alterado na versão 3.10: NewType is now a class rather than a function.

class typing.Protocol(Generic)

Base class for protocol classes.

Protocol classes are defined like this:

class Proto(Protocol):
    def meth(self) -> int:
        ...

Such classes are primarily used with static type checkers that recognize structural subtyping (static duck-typing), for example:

class C:
    def meth(self) -> int:
        return 0

def func(x: Proto) -> int:
    return x.meth()

func(C())  # Passes static type check

See PEP 544 [https://peps.python.org/pep-0544/] for more details. Protocol classes decorated with runtime_checkable() (described later) act as simple-minded runtime protocols that check only the presence of given attributes, ignoring their type signatures.

Protocol classes can be generic, for example:

class GenProto[T](Protocol):
    def meth(self) -> T:
        ...

In code that needs to be compatible with Python 3.11 or older, generic Protocols can be written as follows:

T = TypeVar("T")

class GenProto(Protocol[T]):
    def meth(self) -> T:
        ...

Adicionado na versão 3.8.

@typing.runtime_checkable

Mark a protocol class as a runtime protocol.

Such a protocol can be used with isinstance() and issubclass(). This raises TypeError when applied to a non-protocol class. This allows a simple-minded structural check, very similar to “one trick ponies” in collections.abc such as Iterable. For example:

@runtime_checkable
class Closable(Protocol):
    def close(self): ...

assert isinstance(open('/some/file'), Closable)

@runtime_checkable
class Named(Protocol):
    name: str

import threading
assert isinstance(threading.Thread(name='Bob'), Named)

Nota

runtime_checkable() will check only the presence of the required methods or attributes, not their type signatures or types. For example, ssl.SSLObject is a class, therefore it passes an issubclass() check against Callable. However, the ssl.SSLObject.__init__ method exists only to raise a TypeError with a more informative message, therefore making it impossible to call (instantiate) ssl.SSLObject.

Nota

An isinstance() check against a runtime-checkable protocol can be surprisingly slow compared to an isinstance() check against a non-protocol class. Consider using alternative idioms such as hasattr() calls for structural checks in performance-sensitive code.

Adicionado na versão 3.8.

Alterado na versão 3.12: The internal implementation of isinstance() checks against runtime-checkable protocols now uses inspect.getattr_static() to look up attributes (previously, hasattr() was used). As a result, some objects which used to be considered instances of a runtime-checkable protocol may no longer be considered instances of that protocol on Python 3.12+, and vice versa. Most users are unlikely to be affected by this change.

Alterado na versão 3.12: The members of a runtime-checkable protocol are now considered “frozen” at runtime as soon as the class has been created. Monkey-patching attributes onto a runtime-checkable protocol will still work, but will have no impact on isinstance() checks comparing objects to the protocol. See “What’s new in Python 3.12” for more details.

class typing.TypedDict(dict)

Special construct to add type hints to a dictionary. At runtime it is a plain dict.

TypedDict declares a dictionary type that expects all of its instances to have a certain set of keys, where each key is associated with a value of a consistent type. This expectation is not checked at runtime but is only enforced by type checkers. Usage:

class Point2D(TypedDict):
    x: int
    y: int
    label: str

a: Point2D = {'x': 1, 'y': 2, 'label': 'good'}  # OK
b: Point2D = {'z': 3, 'label': 'bad'}           # Fails type check

assert Point2D(x=1, y=2, label='first') == dict(x=1, y=2, label='first')

An alternative way to create a TypedDict is by using function-call syntax. The second argument must be a literal dict:

Point2D = TypedDict('Point2D', {'x': int, 'y': int, 'label': str})

This functional syntax allows defining keys which are not valid identifiers, for example because they are keywords or contain hyphens:

# raises SyntaxError
class Point2D(TypedDict):
    in: int  # 'in' is a keyword
    x-y: int  # name with hyphens

# OK, functional syntax
Point2D = TypedDict('Point2D', {'in': int, 'x-y': int})

By default, all keys must be present in a TypedDict. It is possible to mark individual keys as non-required using NotRequired:

class Point2D(TypedDict):
    x: int
    y: int
    label: NotRequired[str]

# Alternative syntax
Point2D = TypedDict('Point2D', {'x': int, 'y': int, 'label': NotRequired[str]})

This means that a Point2D TypedDict can have the label key omitted.

It is also possible to mark all keys as non-required by default by specifying a totality of False:

class Point2D(TypedDict, total=False):
    x: int
    y: int

# Alternative syntax
Point2D = TypedDict('Point2D', {'x': int, 'y': int}, total=False)

This means that a Point2D TypedDict can have any of the keys omitted. A type checker is only expected to support a literal False or True as the value of the total argument. True is the default, and makes all items defined in the class body required.

Individual keys of a total=False TypedDict can be marked as required using Required:

class Point2D(TypedDict, total=False):
    x: Required[int]
    y: Required[int]
    label: str

# Alternative syntax
Point2D = TypedDict('Point2D', {
    'x': Required[int],
    'y': Required[int],
    'label': str
}, total=False)

It is possible for a TypedDict type to inherit from one or more other TypedDict types using the class-based syntax. Usage:

class Point3D(Point2D):
    z: int

Point3D has three items: x, y and z. It is equivalent to this definition:

class Point3D(TypedDict):
    x: int
    y: int
    z: int

A TypedDict cannot inherit from a non-TypedDict class, except for Generic. For example:

class X(TypedDict):
    x: int

class Y(TypedDict):
    y: int

class Z(object): pass  # A non-TypedDict class

class XY(X, Y): pass  # OK

class XZ(X, Z): pass  # raises TypeError

Um TypedDict pode ser genérico:

class Group[T](TypedDict):
    key: T
    group: list[T]

To create a generic TypedDict that is compatible with Python 3.11 or lower, inherit from Generic explicitly:

T = TypeVar("T")

class Group(TypedDict, Generic[T]):
    key: T
    group: list[T]

A TypedDict can be introspected via annotations dicts (see Boas práticas para anotações for more information on annotations best practices), __total__, __required_keys__, and __optional_keys__.

__total__

Point2D.__total__ gives the value of the total argument. Example:

>>> from typing import TypedDict
>>> class Point2D(TypedDict): pass
>>> Point2D.__total__
True
>>> class Point2D(TypedDict, total=False): pass
>>> Point2D.__total__
False
>>> class Point3D(Point2D): pass
>>> Point3D.__total__
True

This attribute reflects only the value of the total argument to the current TypedDict class, not whether the class is semantically total. For example, a TypedDict with __total__ set to True may have keys marked with NotRequired, or it may inherit from another TypedDict with total=False. Therefore, it is generally better to use __required_keys__ and __optional_keys__ for introspection.

__required_keys__

Adicionado na versão 3.9.

__optional_keys__

Point2D.__required_keys__ and Point2D.__optional_keys__ return frozenset objects containing required and non-required keys, respectively.

Keys marked with Required will always appear in __required_keys__ and keys marked with NotRequired will always appear in __optional_keys__.

For backwards compatibility with Python 3.10 and below, it is also possible to use inheritance to declare both required and non-required keys in the same TypedDict . This is done by declaring a TypedDict with one value for the total argument and then inheriting from it in another TypedDict with a different value for total:

>>> class Point2D(TypedDict, total=False):
...     x: int
...     y: int
...
>>> class Point3D(Point2D):
...     z: int
...
>>> Point3D.__required_keys__ == frozenset({'z'})
True
>>> Point3D.__optional_keys__ == frozenset({'x', 'y'})
True

Adicionado na versão 3.9.

Nota

If from __future__ import annotations is used or if annotations are given as strings, annotations are not evaluated when the TypedDict is defined. Therefore, the runtime introspection that __required_keys__ and __optional_keys__ rely on may not work properly, and the values of the attributes may be incorrect.

Support for ReadOnly is reflected in the following attributes:

__readonly_keys__

A frozenset containing the names of all read-only keys. Keys are read-only if they carry the ReadOnly qualifier.

Adicionado na versão 3.13.

__mutable_keys__

A frozenset containing the names of all mutable keys. Keys are mutable if they do not carry the ReadOnly qualifier.

Adicionado na versão 3.13.

See PEP 589 [https://peps.python.org/pep-0589/] for more examples and detailed rules of using TypedDict.

Adicionado na versão 3.8.

Alterado na versão 3.11: Added support for marking individual keys as Required or NotRequired. See PEP 655 [https://peps.python.org/pep-0655/].

Alterado na versão 3.11: Adicionado suporte para TypedDicts genéricos.

Alterado na versão 3.13: Removido suporte para o método de argumento nomeado de criar TypedDicts.

Alterado na versão 3.13: Support for the ReadOnly qualifier was added.

Deprecated since version 3.13, will be removed in version 3.15: When using the functional syntax to create a TypedDict class, failing to pass a value to the ‘fields’ parameter (TD = TypedDict("TD")) is deprecated. Passing None to the ‘fields’ parameter (TD = TypedDict("TD", None)) is also deprecated. Both will be disallowed in Python 3.15. To create a TypedDict class with 0 fields, use class TD(TypedDict): pass or TD = TypedDict("TD", {}).

Protocolos

The following protocols are provided by the typing module. All are decorated with @runtime_checkable.

class typing.SupportsAbs

An ABC with one abstract method __abs__ that is covariant in its return type.

class typing.SupportsBytes

An ABC with one abstract method __bytes__.

class typing.SupportsComplex

An ABC with one abstract method __complex__.

class typing.SupportsFloat

An ABC with one abstract method __float__.

class typing.SupportsIndex

An ABC with one abstract method __index__.

Adicionado na versão 3.8.

class typing.SupportsInt

An ABC with one abstract method __int__.

class typing.SupportsRound

An ABC with one abstract method __round__ that is covariant in its return type.

ABCs para trabalhar com IO

class typing.IO

class typing.TextIO

class typing.BinaryIO

Generic type IO[AnyStr] and its subclasses TextIO(IO[str]) and BinaryIO(IO[bytes]) represent the types of I/O streams such as returned by open().

Funções e decoradores

typing.cast(typ, val)

Define um valor para um tipo.

This returns the value unchanged. To the type checker this signals that the return value has the designated type, but at runtime we intentionally don’t check anything (we want this to be as fast as possible).

typing.assert_type(val, typ, /)

Ask a static type checker to confirm that val has an inferred type of typ.

At runtime this does nothing: it returns the first argument unchanged with no checks or side effects, no matter the actual type of the argument.

When a static type checker encounters a call to assert_type(), it emits an error if the value is not of the specified type:

def greet(name: str) -> None:
    assert_type(name, str)  # OK, inferred type of `name` is `str`
    assert_type(name, int)  # type checker error

This function is useful for ensuring the type checker’s understanding of a script is in line with the developer’s intentions:

def complex_function(arg: object):
    # Do some complex type-narrowing logic,
    # after which we hope the inferred type will be `int`
    ...
    # Test whether the type checker correctly understands our function
    assert_type(arg, int)

Adicionado na versão 3.11.

typing.assert_never(arg, /)

Ask a static type checker to confirm that a line of code is unreachable.

Exemplo:

def int_or_str(arg: int | str) -> None:
    match arg:
        case int():
            print("It's an int")
        case str():
            print("It's a str")
        case _ as unreachable:
            assert_never(unreachable)

Here, the annotations allow the type checker to infer that the last case can never execute, because arg is either an int or a str, and both options are covered by earlier cases.

If a type checker finds that a call to assert_never() is reachable, it will emit an error. For example, if the type annotation for arg was instead int | str | float, the type checker would emit an error pointing out that unreachable is of type float. For a call to assert_never to pass type checking, the inferred type of the argument passed in must be the bottom type, Never, and nothing else.

At runtime, this throws an exception when called.

Ver também

Unreachable Code and Exhaustiveness Checking [https://typing.readthedocs.io/en/latest/guides/unreachable.html] has more information about exhaustiveness checking with static typing.

Adicionado na versão 3.11.

typing.reveal_type(obj, /)

Ask a static type checker to reveal the inferred type of an expression.

When a static type checker encounters a call to this function, it emits a diagnostic with the inferred type of the argument. For example:

x: int = 1
reveal_type(x)  # Revealed type is "builtins.int"

This can be useful when you want to debug how your type checker handles a particular piece of code.

At runtime, this function prints the runtime type of its argument to sys.stderr and returns the argument unchanged (allowing the call to be used within an expression):

x = reveal_type(1)  # prints "Runtime type is int"
print(x)  # prints "1"

Note that the runtime type may be different from (more or less specific than) the type statically inferred by a type checker.

Most type checkers support reveal_type() anywhere, even if the name is not imported from typing. Importing the name from typing, however, allows your code to run without runtime errors and communicates intent more clearly.

Adicionado na versão 3.11.

@typing.dataclass_transform(*, eq_default=True, order_default=False, kw_only_default=False, frozen_default=False, field_specifiers=(), **kwargs)

Decorator to mark an object as providing dataclass-like behavior.

dataclass_transform may be used to decorate a class, metaclass, or a function that is itself a decorator. The presence of @dataclass_transform() tells a static type checker that the decorated object performs runtime “magic” that transforms a class in a similar way to @dataclasses.dataclass.

Example usage with a decorator function:

@dataclass_transform()
def create_model[T](cls: type[T]) -> type[T]:
    ...
    return cls

@create_model
class CustomerModel:
    id: int
    name: str

On a base class:

@dataclass_transform()
class ModelBase: ...

class CustomerModel(ModelBase):
    id: int
    name: str

On a metaclass:

@dataclass_transform()
class ModelMeta(type): ...

class ModelBase(metaclass=ModelMeta): ...

class CustomerModel(ModelBase):
    id: int
    name: str

The CustomerModel classes defined above will be treated by type checkers similarly to classes created with @dataclasses.dataclass. For example, type checkers will assume these classes have __init__ methods that accept id and name.

The decorated class, metaclass, or function may accept the following bool arguments which type checkers will assume have the same effect as they would have on the @dataclasses.dataclass decorator: init, eq, order, unsafe_hash, frozen, match_args, kw_only, and slots. It must be possible for the value of these arguments (True or False) to be statically evaluated.

The arguments to the dataclass_transform decorator can be used to customize the default behaviors of the decorated class, metaclass, or function:

Parâmetros:

eq_default (bool) – Indicates whether the eq parameter is assumed to be True or False if it is omitted by the caller. Defaults to True.

order_default (bool) – Indicates whether the order parameter is assumed to be True or False if it is omitted by the caller. Defaults to False.

kw_only_default (bool) – Indicates whether the kw_only parameter is assumed to be True or False if it is omitted by the caller. Defaults to False.

frozen_default (bool) –

Indicates whether the frozen parameter is assumed to be True or False if it is omitted by the caller. Defaults to False.

Adicionado na versão 3.12.

field_specifiers (tuple[Callable[..., Any], ...]) – Specifies a static list of supported classes or functions that describe fields, similar to dataclasses.field(). Defaults to ().

**kwargs (Any) – Arbitrary other keyword arguments are accepted in order to allow for possible future extensions.

Type checkers recognize the following optional parameters on field specifiers:

Recognised parameters for field specifiers

Nome do parâmetro

Descrição

init

Indicates whether the field should be included in the synthesized __init__ method. If unspecified, init defaults to True.

default

Provides the default value for the field.

default_factory

Provides a runtime callback that returns the default value for the field. If neither default nor default_factory are specified, the field is assumed to have no default value and must be provided a value when the class is instantiated.

factory

An alias for the default_factory parameter on field specifiers.

kw_only

Indicates whether the field should be marked as keyword-only. If True, the field will be keyword-only. If False, it will not be keyword-only. If unspecified, the value of the kw_only parameter on the object decorated with dataclass_transform will be used, or if that is unspecified, the value of kw_only_default on dataclass_transform will be used.

alias

Provides an alternative name for the field. This alternative name is used in the synthesized __init__ method.

At runtime, this decorator records its arguments in the __dataclass_transform__ attribute on the decorated object. It has no other runtime effect.

Veja PEP 681 [https://peps.python.org/pep-0681/] para mais detalhes.

Adicionado na versão 3.11.

@typing.overload

Decorator for creating overloaded functions and methods.

The @overload decorator allows describing functions and methods that support multiple different combinations of argument types. A series of @overload-decorated definitions must be followed by exactly one non-@overload-decorated definition (for the same function/method).

@overload-decorated definitions are for the benefit of the type checker only, since they will be overwritten by the non-@overload-decorated definition. The non-@overload-decorated definition, meanwhile, will be used at runtime but should be ignored by a type checker. At runtime, calling an @overload-decorated function directly will raise NotImplementedError.

An example of overload that gives a more precise type than can be expressed using a union or a type variable:

@overload
def process(response: None) -> None:
    ...
@overload
def process(response: int) -> tuple[int, str]:
    ...
@overload
def process(response: bytes) -> str:
    ...
def process(response):
    ...  # actual implementation goes here

See PEP 484 [https://peps.python.org/pep-0484/] for more details and comparison with other typing semantics.

Alterado na versão 3.11: Overloaded functions can now be introspected at runtime using get_overloads().

typing.get_overloads(func)

Return a sequence of @overload-decorated definitions for func.

func is the function object for the implementation of the overloaded function. For example, given the definition of process in the documentation for @overload, get_overloads(process) will return a sequence of three function objects for the three defined overloads. If called on a function with no overloads, get_overloads() returns an empty sequence.

get_overloads() can be used for introspecting an overloaded function at runtime.

Adicionado na versão 3.11.

typing.clear_overloads()

Clear all registered overloads in the internal registry.

This can be used to reclaim the memory used by the registry.

Adicionado na versão 3.11.

@typing.final

Decorator to indicate final methods and final classes.

Decorating a method with @final indicates to a type checker that the method cannot be overridden in a subclass. Decorating a class with @final indicates that it cannot be subclassed.

Por exemplo:

class Base:
    @final
    def done(self) -> None:
        ...
class Sub(Base):
    def done(self) -> None:  # Error reported by type checker
        ...

@final
class Leaf:
    ...
class Other(Leaf):  # Error reported by type checker
    ...

There is no runtime checking of these properties. See PEP 591 [https://peps.python.org/pep-0591/] for more details.

Adicionado na versão 3.8.

Alterado na versão 3.11: The decorator will now attempt to set a __final__ attribute to True on the decorated object. Thus, a check like if getattr(obj, "__final__", False) can be used at runtime to determine whether an object obj has been marked as final. If the decorated object does not support setting attributes, the decorator returns the object unchanged without raising an exception.

@typing.no_type_check

Decorator to indicate that annotations are not type hints.

This works as a class or function decorator. With a class, it applies recursively to all methods and classes defined in that class (but not to methods defined in its superclasses or subclasses). Type checkers will ignore all annotations in a function or class with this decorator.

@no_type_check mutates the decorated object in place.

@typing.no_type_check_decorator

Decorator to give another decorator the no_type_check() effect.

This wraps the decorator with something that wraps the decorated function in no_type_check().

Deprecated since version 3.13, will be removed in version 3.15: No type checker ever added support for @no_type_check_decorator. It is therefore deprecated, and will be removed in Python 3.15.

@typing.override

Decorator to indicate that a method in a subclass is intended to override a method or attribute in a superclass.

Type checkers should emit an error if a method decorated with @override does not, in fact, override anything. This helps prevent bugs that may occur when a base class is changed without an equivalent change to a child class.

Por exemplo:

class Base:
    def log_status(self) -> None:
        ...

class Sub(Base):
    @override
    def log_status(self) -> None:  # Okay: overrides Base.log_status
        ...

    @override
    def done(self) -> None:  # Error reported by type checker
        ...

There is no runtime checking of this property.

The decorator will attempt to set an __override__ attribute to True on the decorated object. Thus, a check like if getattr(obj, "__override__", False) can be used at runtime to determine whether an object obj has been marked as an override. If the decorated object does not support setting attributes, the decorator returns the object unchanged without raising an exception.

Consulte PEP 698 [https://peps.python.org/pep-0698/] para obter mais detalhes.

Adicionado na versão 3.12.

@typing.type_check_only

Decorator to mark a class or function as unavailable at runtime.

This decorator is itself not available at runtime. It is mainly intended to mark classes that are defined in type stub files if an implementation returns an instance of a private class:

@type_check_only
class Response:  # private or not available at runtime
    code: int
    def get_header(self, name: str) -> str: ...

def fetch_response() -> Response: ...

Note that returning instances of private classes is not recommended. It is usually preferable to make such classes public.

Introspection helpers

typing.get_type_hints(obj, globalns=None, localns=None, include_extras=False)

Return a dictionary containing type hints for a function, method, module or class object.

This is often the same as obj.__annotations__, but this function makes the following changes to the annotations dictionary:

Forward references encoded as string literals or ForwardRef objects are handled by evaluating them in globalns, localns, and (where applicable) obj’s type parameter namespace. If globalns or localns is not given, appropriate namespace dictionaries are inferred from obj.

None is replaced with types.NoneType.

If @no_type_check has been applied to obj, an empty dictionary is returned.

If obj is a class C, the function returns a dictionary that merges annotations from C’s base classes with those on C directly. This is done by traversing C.__mro__ and iteratively combining __annotations__ dictionaries. Annotations on classes appearing earlier in the method resolution order always take precedence over annotations on classes appearing later in the method resolution order.

The function recursively replaces all occurrences of Annotated[T, ...] with T, unless include_extras is set to True (see Annotated for more information).

See also inspect.get_annotations(), a lower-level function that returns annotations more directly.

Nota

If any forward references in the annotations of obj are not resolvable or are not valid Python code, this function will raise an exception such as NameError. For example, this can happen with imported type aliases that include forward references, or with names imported under if TYPE_CHECKING.

Alterado na versão 3.9: Added include_extras parameter as part of PEP 593 [https://peps.python.org/pep-0593/]. See the documentation on Annotated for more information.

Alterado na versão 3.11: Previously, Optional[t] was added for function and method annotations if a default value equal to None was set. Now the annotation is returned unchanged.

typing.get_origin(tp)

Get the unsubscripted version of a type: for a typing object of the form X[Y, Z, ...] return X.

If X is a typing-module alias for a builtin or collections class, it will be normalized to the original class. If X is an instance of ParamSpecArgs or ParamSpecKwargs, return the underlying ParamSpec. Return None for unsupported objects.

Exemplos:

assert get_origin(str) is None
assert get_origin(Dict[str, int]) is dict
assert get_origin(Union[int, str]) is Union
assert get_origin(Annotated[str, "metadata"]) is Annotated
P = ParamSpec('P')
assert get_origin(P.args) is P
assert get_origin(P.kwargs) is P

Adicionado na versão 3.8.

typing.get_args(tp)

Get type arguments with all substitutions performed: for a typing object of the form X[Y, Z, ...] return (Y, Z, ...).

If X is a union or Literal contained in another generic type, the order of (Y, Z, ...) may be different from the order of the original arguments [Y, Z, ...] due to type caching. Return () for unsupported objects.

Exemplos:

assert get_args(int) == ()
assert get_args(Dict[int, str]) == (int, str)
assert get_args(Union[int, str]) == (int, str)

Adicionado na versão 3.8.

typing.get_protocol_members(tp)

Return the set of members defined in a Protocol.

>>> from typing import Protocol, get_protocol_members
>>> class P(Protocol):
...     def a(self) -> str: ...
...     b: int
>>> get_protocol_members(P) == frozenset({'a', 'b'})
True

Raise TypeError for arguments that are not Protocols.

Adicionado na versão 3.13.

typing.is_protocol(tp)

Determine if a type is a Protocol.

Por exemplo:

class P(Protocol):
    def a(self) -> str: ...
    b: int

is_protocol(P)    # => True
is_protocol(int)  # => False

Adicionado na versão 3.13.

typing.is_typeddict(tp)

Check if a type is a TypedDict.

Por exemplo:

class Film(TypedDict):
    title: str
    year: int

assert is_typeddict(Film)
assert not is_typeddict(list | str)

# TypedDict is a factory for creating typed dicts,
# not a typed dict itself
assert not is_typeddict(TypedDict)

Adicionado na versão 3.10.

class typing.ForwardRef

Class used for internal typing representation of string forward references.

For example, List["SomeClass"] is implicitly transformed into List[ForwardRef("SomeClass")]. ForwardRef should not be instantiated by a user, but may be used by introspection tools.

Nota

PEP 585 [https://peps.python.org/pep-0585/] generic types such as list["SomeClass"] will not be implicitly transformed into list[ForwardRef("SomeClass")] and thus will not automatically resolve to list[SomeClass].

Adicionado na versão 3.7.4.

typing.NoDefault

A sentinel object used to indicate that a type parameter has no default value. For example:

>>> T = TypeVar("T")
>>> T.__default__ is typing.NoDefault
True
>>> S = TypeVar("S", default=None)
>>> S.__default__ is None
True

Adicionado na versão 3.13.

Constante

typing.TYPE_CHECKING

A special constant that is assumed to be True by 3rd party static type checkers. It is False at runtime.

Uso:

if TYPE_CHECKING:
    import expensive_mod

def fun(arg: 'expensive_mod.SomeType') -> None:
    local_var: expensive_mod.AnotherType = other_fun()

The first type annotation must be enclosed in quotes, making it a “forward reference”, to hide the expensive_mod reference from the interpreter runtime. Type annotations for local variables are not evaluated, so the second annotation does not need to be enclosed in quotes.

Nota

If from __future__ import annotations is used, annotations are not evaluated at function definition time. Instead, they are stored as strings in __annotations__. This makes it unnecessary to use quotes around the annotation (see PEP 563 [https://peps.python.org/pep-0563/]).

Adicionado na versão 3.5.2.

Deprecated aliases

This module defines several deprecated aliases to pre-existing standard library classes. These were originally included in the typing module in order to support parameterizing these generic classes using []. However, the aliases became redundant in Python 3.9 when the corresponding pre-existing classes were enhanced to support [] (see PEP 585 [https://peps.python.org/pep-0585/]).

The redundant types are deprecated as of Python 3.9. However, while the aliases may be removed at some point, removal of these aliases is not currently planned. As such, no deprecation warnings are currently issued by the interpreter for these aliases.

If at some point it is decided to remove these deprecated aliases, a deprecation warning will be issued by the interpreter for at least two releases prior to removal. The aliases are guaranteed to remain in the typing module without deprecation warnings until at least Python 3.14.

Type checkers are encouraged to flag uses of the deprecated types if the program they are checking targets a minimum Python version of 3.9 or newer.

Aliases to built-in types

class typing.Dict(dict, MutableMapping[KT, VT])

Deprecated alias to dict.

Note that to annotate arguments, it is preferred to use an abstract collection type such as Mapping rather than to use dict or typing.Dict.

Obsoleto desde a versão 3.9: builtins.dict now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.List(list, MutableSequence[T])

Deprecated alias to list.

Note that to annotate arguments, it is preferred to use an abstract collection type such as Sequence or Iterable rather than to use list or typing.List.

Obsoleto desde a versão 3.9: builtins.list now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Set(set, MutableSet[T])

Deprecated alias to builtins.set.

Note that to annotate arguments, it is preferred to use an abstract collection type such as collections.abc.Set rather than to use set or typing.Set.

Obsoleto desde a versão 3.9: builtins.set now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.FrozenSet(frozenset, AbstractSet[T_co])

Deprecated alias to builtins.frozenset.

Obsoleto desde a versão 3.9: builtins.frozenset now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

typing.Tuple

Deprecated alias for tuple.

tuple and Tuple are special-cased in the type system; see Anotando tuplas for more details.

Obsoleto desde a versão 3.9: builtins.tuple now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Type(Generic[CT_co])

Deprecated alias to type.

See O tipo de objetos de classe for details on using type or typing.Type in type annotations.

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.9: builtins.type now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Aliases to types in collections

class typing.DefaultDict(collections.defaultdict, MutableMapping[KT, VT])

Deprecated alias to collections.defaultdict.

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.9: collections.defaultdict now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.OrderedDict(collections.OrderedDict, MutableMapping[KT, VT])

Deprecated alias to collections.OrderedDict.

Adicionado na versão 3.7.2.

Obsoleto desde a versão 3.9: collections.OrderedDict now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.ChainMap(collections.ChainMap, MutableMapping[KT, VT])

Deprecated alias to collections.ChainMap.

Adicionado na versão 3.6.1.

Obsoleto desde a versão 3.9: collections.ChainMap now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Counter(collections.Counter, Dict[T, int])

Deprecated alias to collections.Counter.

Adicionado na versão 3.6.1.

Obsoleto desde a versão 3.9: collections.Counter now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Deque(deque, MutableSequence[T])

Deprecated alias to collections.deque.

Adicionado na versão 3.6.1.

Obsoleto desde a versão 3.9: collections.deque now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Aliases to other concrete types

class typing.Pattern

class typing.Match

Deprecated aliases corresponding to the return types from re.compile() and re.match().

These types (and the corresponding functions) are generic over AnyStr. Pattern can be specialised as Pattern[str] or Pattern[bytes]; Match can be specialised as Match[str] or Match[bytes].

Obsoleto desde a versão 3.9: Classes Pattern and Match from re now support []. See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Text

Deprecated alias for str.

Text is provided to supply a forward compatible path for Python 2 code: in Python 2, Text is an alias for unicode.

Use Text to indicate that a value must contain a unicode string in a manner that is compatible with both Python 2 and Python 3:

def add_unicode_checkmark(text: Text) -> Text:
    return text + u' \u2713'

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.11: Python 2 is no longer supported, and most type checkers also no longer support type checking Python 2 code. Removal of the alias is not currently planned, but users are encouraged to use str instead of Text.

Aliases to container ABCs in collections.abc

class typing.AbstractSet(Collection[T_co])

Deprecated alias to collections.abc.Set.

Obsoleto desde a versão 3.9: collections.abc.Set now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.ByteString(Sequence[int])

This type represents the types bytes, bytearray, and memoryview of byte sequences.

Deprecated since version 3.9, will be removed in version 3.14: Prefer collections.abc.Buffer, or a union like bytes | bytearray | memoryview.

class typing.Collection(Sized, Iterable[T_co], Container[T_co])

Deprecated alias to collections.abc.Collection.

Adicionado na versão 3.6.

Obsoleto desde a versão 3.9: collections.abc.Collection now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Container(Generic[T_co])

Deprecated alias to collections.abc.Container.

Obsoleto desde a versão 3.9: collections.abc.Container now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.ItemsView(MappingView, AbstractSet[tuple[KT_co, VT_co]])

Deprecated alias to collections.abc.ItemsView.

Obsoleto desde a versão 3.9: collections.abc.ItemsView now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.KeysView(MappingView, AbstractSet[KT_co])

Deprecated alias to collections.abc.KeysView.

Obsoleto desde a versão 3.9: collections.abc.KeysView now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Mapping(Collection[KT], Generic[KT, VT_co])

Deprecated alias to collections.abc.Mapping.

Obsoleto desde a versão 3.9: collections.abc.Mapping now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.MappingView(Sized)

Deprecated alias to collections.abc.MappingView.

Obsoleto desde a versão 3.9: collections.abc.MappingView now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.MutableMapping(Mapping[KT, VT])

Deprecated alias to collections.abc.MutableMapping.

Obsoleto desde a versão 3.9: collections.abc.MutableMapping now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.MutableSequence(Sequence[T])

Deprecated alias to collections.abc.MutableSequence.

Obsoleto desde a versão 3.9: collections.abc.MutableSequence now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.MutableSet(AbstractSet[T])

Deprecated alias to collections.abc.MutableSet.

Obsoleto desde a versão 3.9: collections.abc.MutableSet now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Sequence(Reversible[T_co], Collection[T_co])

Deprecated alias to collections.abc.Sequence.

Obsoleto desde a versão 3.9: collections.abc.Sequence now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.ValuesView(MappingView, Collection[_VT_co])

Deprecated alias to collections.abc.ValuesView.

Obsoleto desde a versão 3.9: collections.abc.ValuesView now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Aliases to asynchronous ABCs in collections.abc

class typing.Coroutine(Awaitable[ReturnType], Generic[YieldType, SendType, ReturnType])

Deprecated alias to collections.abc.Coroutine.

See Annotating generators and coroutines for details on using collections.abc.Coroutine and typing.Coroutine in type annotations.

Adicionado na versão 3.5.3.

Obsoleto desde a versão 3.9: collections.abc.Coroutine now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.AsyncGenerator(AsyncIterator[YieldType], Generic[YieldType, SendType])

Deprecated alias to collections.abc.AsyncGenerator.

See Annotating generators and coroutines for details on using collections.abc.AsyncGenerator and typing.AsyncGenerator in type annotations.

Adicionado na versão 3.6.1.

Obsoleto desde a versão 3.9: collections.abc.AsyncGenerator now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Alterado na versão 3.13: The SendType parameter now has a default.

class typing.AsyncIterable(Generic[T_co])

Deprecated alias to collections.abc.AsyncIterable.

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.9: collections.abc.AsyncIterable now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.AsyncIterator(AsyncIterable[T_co])

Deprecated alias to collections.abc.AsyncIterator.

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.9: collections.abc.AsyncIterator now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Awaitable(Generic[T_co])

Deprecated alias to collections.abc.Awaitable.

Adicionado na versão 3.5.2.

Obsoleto desde a versão 3.9: collections.abc.Awaitable now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Aliases to other ABCs in collections.abc

class typing.Iterable(Generic[T_co])

Deprecated alias to collections.abc.Iterable.

Obsoleto desde a versão 3.9: collections.abc.Iterable now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Iterator(Iterable[T_co])

Deprecated alias to collections.abc.Iterator.

Obsoleto desde a versão 3.9: collections.abc.Iterator now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

typing.Callable

Deprecated alias to collections.abc.Callable.

See Anotações de objetos chamáveis for details on how to use collections.abc.Callable and typing.Callable in type annotations.

Obsoleto desde a versão 3.9: collections.abc.Callable now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Alterado na versão 3.10: Callable agora oferece suporte a ParamSpec e Concatenate. Veja PEP 612 [https://peps.python.org/pep-0612/] para mais detalhes.

class typing.Generator(Iterator[YieldType], Generic[YieldType, SendType, ReturnType])

Deprecated alias to collections.abc.Generator.

See Annotating generators and coroutines for details on using collections.abc.Generator and typing.Generator in type annotations.

Obsoleto desde a versão 3.9: collections.abc.Generator now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Alterado na versão 3.13: Default values for the send and return types were added.

class typing.Hashable

Deprecated alias to collections.abc.Hashable.

Obsoleto desde a versão 3.12: Use collections.abc.Hashable directly instead.

class typing.Reversible(Iterable[T_co])

Deprecated alias to collections.abc.Reversible.

Obsoleto desde a versão 3.9: collections.abc.Reversible now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

class typing.Sized

Deprecated alias to collections.abc.Sized.

Obsoleto desde a versão 3.12: Use collections.abc.Sized directly instead.

Aliases to contextlib ABCs

class typing.ContextManager(Generic[T_co, ExitT_co])

Deprecated alias to contextlib.AbstractContextManager.

The first type parameter, T_co, represents the type returned by the __enter__() method. The optional second type parameter, ExitT_co, which defaults to bool | None, represents the type returned by the __exit__() method.

Adicionado na versão 3.5.4.

Obsoleto desde a versão 3.9: contextlib.AbstractContextManager now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Alterado na versão 3.13: Added the optional second type parameter, ExitT_co.

class typing.AsyncContextManager(Generic[T_co, AExitT_co])

Deprecated alias to contextlib.AbstractAsyncContextManager.

The first type parameter, T_co, represents the type returned by the __aenter__() method. The optional second type parameter, AExitT_co, which defaults to bool | None, represents the type returned by the __aexit__() method.

Adicionado na versão 3.6.2.

Obsoleto desde a versão 3.9: contextlib.AbstractAsyncContextManager now supports subscripting ([]). See PEP 585 [https://peps.python.org/pep-0585/] and Tipo Generic Alias.

Alterado na versão 3.13: Added the optional second type parameter, AExitT_co.

Cronograma de Descontinuação dos Principais Recursos

Certain features in typing are deprecated and may be removed in a future version of Python. The following table summarizes major deprecations for your convenience. This is subject to change, and not all deprecations are listed.

Feature

Descontinuado em

Projected removal

PEP/issue

typing versions of standard collections

3.9

Undecided (see Deprecated aliases for more information)

PEP 585 [https://peps.python.org/pep-0585/]

typing.ByteString

3.9

3.14

gh-91896 [https://github.com/python/cpython/issues/91896]

typing.Text

3.11

Undecided

gh-92332 [https://github.com/python/cpython/issues/92332]

typing.Hashable and typing.Sized

3.12

Undecided

gh-94309 [https://github.com/python/cpython/issues/94309]

typing.TypeAlias

3.12

Undecided

PEP 695 [https://peps.python.org/pep-0695/]

@typing.no_type_check_decorator

3.13

3.15

gh-106309 [https://github.com/python/cpython/issues/106309]

typing.AnyStr

3.13

3.18

gh-105578 [https://github.com/python/cpython/issues/105578]

pydoc — Gerador de documentação e sistema de ajuda online

Código-fonte: Lib/pydoc.py [https://github.com/python/cpython/tree/3.13/Lib/pydoc.py]

O módulo pydoc gera automaticamente a documentação dos módulos Python. A documentação pode ser apresentada como páginas de texto no console, servida em um navegador web ou salva em arquivos HTML.

For modules, classes, functions and methods, the displayed documentation is derived from the docstring (i.e. the __doc__ attribute) of the object, and recursively of its documentable members. If there is no docstring, pydoc tries to obtain a description from the block of comment lines just above the definition of the class, function or method in the source file, or at the top of the module (see inspect.getcomments()).

A função embutida help() invoca o sistema de ajuda online no interpretador interativo, que usa pydoc para gerar sua documentação como texto no console. A mesma documentação de texto também pode ser vista de fora do interpretador Python executando pydoc como um script no prompt de comando do sistema operacional. Por exemplo, executar

python -m pydoc sys

em um prompt de console exibirá a documentação do módulo sys, em um estilo semelhante às páginas de manual mostradas pelo comando Unix man. O argumento para pydoc pode ser o nome de uma função, módulo ou pacote, ou uma referência pontilhada a uma classe, método ou função dentro de um módulo ou módulo em um pacote. Se o argumento para pydoc parecer um caminho (ou seja, ele contém o separador de caminho para o seu sistema operacional, como uma barra no Unix) e se refere a um arquivo fonte Python existente, então a documentação é produzida para esse arquivo.

Nota

Para encontrar objetos e sua documentação, pydoc importa os módulos a serem documentados. Portanto, qualquer código no nível do módulo será executado nessa ocasião. Use uma proteção if __name__ == '__main__': para executar código apenas quando um arquivo é chamado como um script e não apenas importado.

Ao imprimir a saída para o console, pydoc tenta paginar a saída para facilitar a leitura. Se a variável de ambiente PAGER estiver definida, pydoc usará seu valor como um programa de paginação.

Especificar um sinalizador -w antes do argumento fará com que a documentação HTML seja escrita em um arquivo no diretório atual, ao invés de exibir texto no console.

Especificar um sinalizador -k antes do argumento irá pesquisar as linhas de sinopse de todos os módulos disponíveis para a palavra reservada fornecida como o argumento, novamente de uma maneira semelhante ao comando Unix man. A linha de sinopse de um módulo é a primeira linha de sua string de documentação.

Você também pode usar pydoc para iniciar um servidor HTTP na máquina local que servirá a documentação para os navegadores web visitantes. python -m pydoc -p 1234 irá iniciar um servidor HTTP na porta 1234, permitindo que você navegue pela documentação em http://localhost:1234/ em seu navegador preferido. Especificar 0 como o número da porta irá selecionar uma porta não utilizada arbitrária.

python -m pydoc -n <hostname> irá iniciar o servidor ouvindo no nome de host fornecido. Por padrão, o nome de host é “localhost”, mas se você deseja que o servidor seja acessado por outras máquinas, você pode alterar o nome de host ao qual o servidor responde. Durante o desenvolvimento, isso é especialmente útil se você deseja executar o pydoc de dentro de um contêiner.

python -m pydoc -b irá iniciar o servidor e, adicionalmente, abrir um navegador da web para uma página de índice do módulo. Cada página exibida tem uma barra de navegação na parte superior onde você pode escolher Get para obter ajuda em um item individual, Search para pesquisar todos os módulos com uma palavra reservada em sua linha de sinopse e ir para as páginas de índice do módulo em Module index, tópicos em Topics e palavras reservadas em Keywords.

Quando pydoc gera documentação, ele usa o ambiente atual e o caminho para localizar os módulos. Assim, invocar pydoc spam documenta precisamente a versão do módulo que você obteria se iniciasse o interpretador Python e digitasse import spam.

Os documentos do módulo para os módulos principais são presumidos como residindo em https://docs.python.org/X.Y/library/, sendo X e Y os números de versão principal e secundária do interpretador Python. Isso pode ser substituído definindo a variável de ambiente PYTHONDOCS para uma URL diferente ou para um diretório local contendo as páginas do Manual de Referência da Biblioteca.

Alterado na versão 3.2: Adicionada a opção -b.

Alterado na versão 3.3: A opção de linha de comando -g foi removida.

Alterado na versão 3.4: pydoc agora usa inspect.signature() em vez de inspect.getfullargspec() para extrair informações de assinatura de chamáveis.

Alterado na versão 3.7: Adicionada a opção -n.

Modo de Desenvolvimento do Python

Adicionado na versão 3.7.

O Modo de Desenvolvimento do Python introduz verificações de tempo de execução adicionais que são muito custosas para serem ativadas por padrão. Não deve ser mais detalhado que o padrão se o código estiver correto; novos avisos são emitidos somente quando um problema é detectado.

Ele pode ser ativado usando a opção de linha de comando -X dev ou configurando a variável de ambiente PYTHONDEVMODE como 1.

Veja também a compilação de depuração do Python.

Efeitos do Modo de Desenvolvimento do Python

A ativação do Modo de Desenvolvimento do Python é semelhante ao comando a seguir, mas com efeitos adicionais descritos abaixo:

PYTHONMALLOC=debug PYTHONASYNCIODEBUG=1 python -W default -X faulthandler

Efeitos do Modo de Desenvolvimento do Python:

Adiciona o filtro de avisos default. Os seguintes avisos são exibidos:

DeprecationWarning

ImportWarning

PendingDeprecationWarning

ResourceWarning

Normalmente, os avisos acima são filtrados pelos filtros de avisos padrão.

Ele se comporta como se a opção de linha de comando -W default fosse usada.

Use a opção de linha de comando -W error ou defina a variável de ambiente PYTHONWARNINGS com error para tratar avisos como erros.

Instala ganchos de depuração nos alocadores de memória para verificar por:

Estouro negativo de buffer

Estouro de buffer

Violação de API de alocador de memória

Uso inseguro da GIL

Consulte a função C PyMem_SetupDebugHooks().

Se comporta como se a variável de ambiente PYTHONMALLOC estivesse definida com debug.

Para habilitar o Modo de Desenvolvimento do Python sem instalar ganchos de depuração nos alocadores de memória, defina a variável de ambiente PYTHONMALLOC como default.

Chama faulthandler.enable() na inicialização do Python para instalar manipuladores para os sinais SIGSEGV, SIGFPE, SIGABRT, SIGBUS e SIGILL para despejar o traceback (situação da pilha de execução) do Python no caso de travamento.

Ele se comporta como se a opção de linha de comando -X faulthandler fosse usada ou se a variável de ambiente PYTHONFAULTHANDLER estivesse definida como 1.

Ativa o modo de depuração de asyncio. Por exemplo, asyncio verifica as corrotinas que não foram aguardadas (await) e as registra.

Ele se comporta como se a variável de ambiente PYTHONASYNCIODEBUG estivesse definida como 1.

Verifica os argumentos encoding e errors para operações de codificação e decodificação de strings. Exemplos: open(), str.encode() e bytes.decode().

Por padrão, para obter o melhor desempenho, o argumento errors é verificado apenas no primeiro erro de codificação/decodificação, e o argumento encoding às vezes é ignorado para strings vazias.

O destrutor de io.IOBase registra exceções close().

Define o atributo dev_mode de sys.flags como True.

O Modo de Desenvolvimento do Python não ativa o módulo tracemalloc por padrão porque o custo adicional (para desempenho e memória) seria muito grande. A ativação do módulo tracemalloc fornece informações adicionais sobre a origem de alguns erros. Por exemplo, ResourceWarning registra o retorno ao local onde o recurso foi alocado, e um erro de estouro de buffer registra o retorno ao local onde o bloco de memória foi alocado.

O Modo de Desenvolvimento do Python não impede que a opção de linha de comando -O remova as instruções assert nem configure __debug__ como False.

O Modo de Desenvolvimento do Python só pode ser ativado na inicialização do Python. Seu valor pode ser lido de sys.flags.dev_mode.

Alterado na versão 3.8: O destrutor de io.IOBase agora registra exceções close().

Alterado na versão 3.9: Os argumentos encoding e errors agora são verificados para operações de codificação e decodificação de strings.

Exemplo de ResourceWarning

Exemplo de um script que conta o número de linhas do arquivo texto especificado na linha de comando:

import sys

def main():
    fp = open(sys.argv[1])
    nlines = len(fp.readlines())
    print(nlines)
    # The file is closed implicitly

if __name__ == "__main__":
    main()

O script não fecha o arquivo explicitamente. Por padrão, o Python não emite nenhum aviso. Exemplo usando README.txt, que possui 269 linhas:

$ python script.py README.txt
269

A ativação do Modo de Desenvolvimento do Python exibe um aviso ResourceWarning:

$ python -X dev script.py README.txt
269
script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='README.rst' mode='r' encoding='UTF-8'>
  main()
ResourceWarning: Enable tracemalloc to get the object allocation traceback

Além disso, ativar tracemalloc mostra a linha em que o arquivo foi aberto:

$ python -X dev -X tracemalloc=5 script.py README.rst
269
script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='README.rst' mode='r' encoding='UTF-8'>
  main()
Object allocated at (most recent call last):
  File "script.py", lineno 10
    main()
  File "script.py", lineno 4
    fp = open(sys.argv[1])

A correção é fechar explicitamente o arquivo. Exemplo usando um gerenciador de contexto:

def main():
    # Close the file explicitly when exiting the with block
    with open(sys.argv[1]) as fp:
        nlines = len(fp.readlines())
    print(nlines)

Não fechar um recurso explicitamente pode deixá-lo aberto por muito mais tempo do que o esperado; isso pode causar problemas graves ao sair do Python. É ruim no CPython, mas é ainda pior no PyPy. Fechar recursos explicitamente torna uma aplicação mais determinística e mais confiável.

Exemplo de erro de descritor de arquivo inválido

Script exibindo sua própria primeira linha:

import os

def main():
    fp = open(__file__)
    firstline = fp.readline()
    print(firstline.rstrip())
    os.close(fp.fileno())
    # The file is closed implicitly

main()

Por padrão, o Python não emite qualquer aviso:

$ python script.py
import os

O Modo de Desenvolvimento do Python mostra uma ResourceWarning e registra um erro “Bad file descriptor” ao finalizar o objeto arquivo:

$ python -X dev script.py
import os
script.py:10: ResourceWarning: unclosed file <_io.TextIOWrapper name='script.py' mode='r' encoding='UTF-8'>
  main()
ResourceWarning: Enable tracemalloc to get the object allocation traceback
Exception ignored in: <_io.TextIOWrapper name='script.py' mode='r' encoding='UTF-8'>
Traceback (most recent call last):
  File "script.py", line 10, in <module>
    main()
OSError: [Errno 9] Bad file descriptor

os.close(fp.fileno()) fecha o descritor de arquivo. Quando o finalizador de objeto arquivo tenta fechar o descritor de arquivo novamente, ele falha com o erro Bad file descriptor. Um descritor de arquivo deve ser fechado apenas uma vez. Na pior das hipóteses, fechá-lo duas vezes pode causar um acidente (consulte bpo-18748 [https://bugs.python.org/issue?@action=redirect&bpo=18748] para um exemplo).

A correção é remover a linha os.close(fp.fileno()) ou abrir o arquivo com closefd=False.

doctest — Test interactive Python examples

Código-fonte: Lib/doctest.py [https://github.com/python/cpython/tree/3.13/Lib/doctest.py]

O módulo doctest busca partes de texto que se parecem com sessões interativas do Python e, em seguida, executa essas sessões para verificar se elas funcionam exatamente como mostrado. Existem várias maneiras comuns de usar o doctest:

Para verificar se as docstrings de um módulo estão atualizadas, verificando que todos os exemplos interativos ainda funcionam conforme documentado.

Para executar testes de regressão, verificando que os exemplos interativos de um arquivo de teste ou um objeto teste funcionam como esperado.

Para escrever a documentação do tutorial para um pacote, ilustrado de forma liberal com exemplos de entrada e saída. Dependendo se os exemplos ou o texto expositivo são enfatizados, isso tem o sabor do “teste ilustrado” ou “documentação executável”.

Aqui temos um pequeno exemplo, porém, completo:

"""
This is the "example" module.

The example module supplies one function, factorial().  For example,

>>> factorial(5)
120
"""

def factorial(n):
    """Return the factorial of n, an exact integer >= 0.

    >>> [factorial(n) for n in range(6)]
    [1, 1, 2, 6, 24, 120]
    >>> factorial(30)
    265252859812191058636308480000000
    >>> factorial(-1)
    Traceback (most recent call last):
        ...
    ValueError: n must be >= 0

    Factorials of floats are OK, but the float must be an exact integer:
    >>> factorial(30.1)
    Traceback (most recent call last):
        ...
    ValueError: n must be exact integer
    >>> factorial(30.0)
    265252859812191058636308480000000

    It must also not be ridiculously large:
    >>> factorial(1e100)
    Traceback (most recent call last):
        ...
    OverflowError: n too large
    """

    import math
    if not n >= 0:
        raise ValueError("n must be >= 0")
    if math.floor(n) != n:
        raise ValueError("n must be exact integer")
    if n+1 == n:  # catch a value like 1e300
        raise OverflowError("n too large")
    result = 1
    factor = 2
    while factor <= n:
        result *= factor
        factor += 1
    return result

if __name__ == "__main__":
    import doctest
    doctest.testmod()

Se executar diretamente example.py desde a linha de comando, doctest a mágica funcionará:

$ python example.py
$

Observe que nada foi impresso na saída padrão! Isso é normal, e isso significa que todos os exemplos funcionaram. Passe -v para o script e doctest imprimirá um registro detalhado do que está sendo testando imprimindo ainda um resumo no final:

$ python example.py -v
Trying:
    factorial(5)
Expecting:
    120
ok
Trying:
    [factorial(n) for n in range(6)]
Expecting:
    [1, 1, 2, 6, 24, 120]
ok

E assim por diante, eventualmente terminando com:

Trying:
    factorial(1e100)
Expecting:
    Traceback (most recent call last):
        ...
    OverflowError: n too large
ok
2 items passed all tests:
   1 test in __main__
   6 tests in __main__.factorial
7 tests in 2 items.
7 passed.
Test passed.
$

Isso é tudo o que precisas saber para começar a fazer uso produtivo do módulo doctest! Pule! As seções a seguir fornecem detalhes completos. Observe que há muitos exemplos de doctests no conjunto de testes padrão Python e bibliotecas. Exemplos especialmente úteis podem ser encontrados no arquivo de teste padrão Lib/test/test_doctest/test_doctest.py.

Uso simples: verificando exemplos em Docstrings

A maneira mais simples de começar a usar o doctest (mas não necessariamente a maneira como você continuará fazendo isso) é encerrar cada módulo M com:

if __name__ == "__main__":
    import doctest
    doctest.testmod()

doctest e então examine a docstrings no módulo M.

Executar o módulo como um script faz com que os exemplos nas docstrings sejam executados e verificados:

python M.py

Isso não exibirá nada, a menos que um exemplo falhe, caso em que o(s) exemplo(s) falhando(s) e a(s) causa(s) da(s) falha(s) são impressas em stdout e a linha final de saída será ***Test Failed*** N failures., onde N é o número de exemplos que falharam.

Ao invés disso, execute agora com a opção -v:

python M.py -v

e um relatório detalhado de todos os exemplos testados é impresso na saída padrão, junto com diversos resumos no final.

Você pode forçar o modo verboso passando verbose=True para testmod(), ou proibi-lo passando verbose=False. Em qualquer um desses casos, sys.argv não é examinado por testmod() (então passar -v ou não não tem efeito).

Há também um atalho de linha de comando para executar testmod(). Você pode instruir o interpretador Python a executar o módulo doctest diretamente da biblioteca padrão e passar o(s) nome(s) do módulo na linha de comando:

python -m doctest -v example.py

Isso importará example.py como um módulo independente e executará testmod() nele. Observe que isso pode não funcionar corretamente se o arquivo fizer parte de um pacote e importar outros submódulos desse pacote.

Para mais informações sobre testmod(), veja a seção Basic API.

Utilização comum: Verificando exemplos em um arquivo texto

Outra aplicação simples do doctest é testar exemplos interativos em um arquivo texto. Isso pode ser feito com a função testfile():

import doctest
doctest.testfile("example.txt")

Esse pequeno script executa e verifica quaisquer exemplos interativos do Python contidos no arquivo example.txt. O conteúdo do arquivo é tratado como se fosse uma única docstring gigante; o arquivo não precisa conter um programa Python! Por exemplo, talvez example.txt contenha isto:

The ``example`` module
======================

Using ``factorial``
-------------------

This is an example text file in reStructuredText format.  First import
``factorial`` from the ``example`` module:

    >>> from example import factorial

Now use it:

    >>> factorial(6)
    120

Executar doctest.testfile("example.txt") então encontra o erro nesta documentação:

File "./example.txt", line 14, in example.txt
Failed example:
    factorial(6)
Expected:
    120
Got:
    720

Assim como testmod(), testfile() não vai exibir nada a menos que um exemplo falhe. Se um exemplo falhar, então o(s) exemplo(s) com falha e a(s) causa(s) da(s) falha(s) são impressos em stdout, usando o mesmo formato que testmod().

Por padrão, testfile() procura por arquivos no diretório do módulo chamador. Veja a seção Basic API para uma descrição dos argumentos opcionais que podem ser usados para dizer para procurar por arquivos em outros locais.

Assim como testmod(), a verbosidade de testfile() pode ser definida com a opção de linha de comando -v ou com o argumento nomeado opcional verbose.

Há também um atalho de linha de comando para executar testfile(). Você pode instruir o interpretador Python a executar o módulo doctest diretamente da biblioteca padrão e passar o(s) nome(s) do(s) arquivo(s) na linha de comando:

python -m doctest -v example.txt

Como o nome do arquivo não termina com .py, doctest infere que ele deve ser executado com testfile(), não testmod().

Para maiores informações em testfile(), veja a seção Basic API.

Como ele funciona

Esta seção examina detalhadamente como o doctest funciona: quais docstrings ele analisa, como encontra exemplos interativos, qual contexto de execução ele usa, como ele lida com exceções e como sinalizadores de opção podem ser usados para controlar seu comportamento. Esta é a informação que você precisa saber para escrever exemplos de doctest; para obter informações sobre como realmente executar o doctest nesses exemplos, consulte as seções a seguir.

Quais docstrings são examinadas?

A docstring do módulo e todas as docstrings de funções, classes e métodos são pesquisadas. Os objetos importados para o módulo não são pesquisados.

Além disso, há casos em que você deseja que os testes façam parte de um módulo, mas não do texto de ajuda, o que exige que os testes não sejam incluídos na documentação. Doctest procura uma variável em nível de módulo chamada __test__ e a utiliza para localizar outros testes. Se M.__test__ existir, deve ser um dicionário, e cada entrada mapeia um nome (string) para um objeto função, objeto classe ou string. As docstrings de funções e objetos classe encontradas em M.__test__ são pesquisadas e as strings são tratadas como se fossem docstrings. Na saída, uma chave K em M.__test__ aparece com o nome M.__test__.K.

Por exemplo, coloque este bloco de código no topo de example.py:

__test__ = {
    'numbers': """
>>> factorial(6)
720

>>> [factorial(n) for n in range(6)]
[1, 1, 2, 6, 24, 120]
"""
}

O valor de example.__test__["numbers"] será tratado como uma docstring e todos os testes dentro dele serão executados. É importante observar que o valor pode ser mapeado para uma função, objeto classe ou módulo; se sim, doctest pesquisa recursivamente em busca de docstrings, que são então escaneados em busca de testes.

Quaisquer classes encontradas são pesquisadas recursivamente de forma semelhante, para testar docstrings em seus métodos contidos e classes aninhadas.

Como os exemplos de docstrings são reconhecidos?

Na maioria dos casos, copiar e colar de uma sessão de console interativo funciona bem, mas o doctest não está tentando fazer uma emulação exata de qualquer shell Python específico.

>>> # comments are ignored
>>> x = 12
>>> x
12
>>> if x == 13:
...     print("yes")
... else:
...     print("no")
...     print("NO")
...     print("NO!!!")
...
no
NO
NO!!!
>>>

Qualquer saída esperada deve seguir imediatamente a linha final '>>> ' ou '... ' contendo o código, e a saída esperada (se houver) se estende até a próxima '>>> ' ou linha com apenas espaços em branco.

A saída formatada:

A saída esperada não pode conter uma linha com apenas espaços em branco, uma vez que tal linha é usada para sinalizar o fim da saída esperada. Se a saída esperada contiver uma linha vazia, coloque <BLANKLINE> em seu exemplo doctest em cada local onde uma linha em branco é esperada.

Todos os caracteres de tabulação rígidos são expandidos para espaços, usando paradas de tabulação de 8 colunas. As guias na saída gerada pelo código testado não são modificadas. Como quaisquer tabulações rígidas na saída de amostra são expandidas, isso significa que se a saída do código incluir tabulações rígidas, a única maneira de o doctest passar é se a opção NORMALIZE_WHITESPACE ou a diretiva estiver em vigor. Alternativamente, o teste pode ser reescrito para capturar a saída e compará-la com um valor esperado como parte do teste. Esse tratamento das guias na fonte foi obtido por tentativa e erro e provou ser a maneira menos propensa a erros de lidar com elas. É possível usar um algoritmo diferente para lidar com guias escrevendo uma classe DocTestParser personalizada.

A saída para stdout é capturada, mas não para stderr (os tracebacks de exceção são capturados por um meio diferente).

Se você continuar uma linha através de barra invertida em uma sessão interativa, ou por qualquer outro motivo usar uma barra invertida, você deverá usar uma docstring bruta, que preservará suas barras invertidas exatamente como você as digita:

>>> def f(x):
...     r'''Backslashes in a raw docstring: m\n'''
...
>>> print(f.__doc__)
Backslashes in a raw docstring: m\n

Caso contrário, a barra invertida será interpretada como parte da string. Por exemplo, o \n acima seria interpretado como um caractere de nova linha. Alternativamente, você pode duplicar cada barra invertida na versão doctest (e não usar uma string bruta):

>>> def f(x):
...     '''Backslashes in a raw docstring: m\\n'''
...
>>> print(f.__doc__)
Backslashes in a raw docstring: m\n

A coluna inicial não importa:

>>> assert "Easy!"
      >>> import math
          >>> math.floor(1.9)
          1

e tantos caracteres de espaço em branco iniciais são removidos da saída esperada quantos apareceram na linha inicial '>>> ' que iniciou o exemplo.

Qual é o contexto de execução?

Por padrão, cada vez que doctest encontra uma docstring para testar, ele usa uma cópia superficial dos globais de M, para que a execução de testes não altere os globais reais do módulo, e para que um teste em M não possa deixar migalhas que acidentalmente permitam que outro teste funcione. Isso significa que os exemplos podem usar livremente quaisquer nomes definidos no nível superior em M e nomes definidos anteriormente na docstring que está sendo executada. Os exemplos não podem ver nomes definidos em outras docstrings.

Você pode forçar o uso de seu próprio dicionário como contexto de execução passando globs=seu_dicionario para testmod() ou testfile().

E quanto às exceções?

Não tem problema, desde que o traceback seja a única saída produzida pelo exemplo: basta colar o traceback. [1] Como os tracebacks contêm detalhes que provavelmente mudarão rapidamente (por exemplo, caminhos exatos de arquivos e números de linha), este é um caso em que o doctest trabalha duro para ser flexível no que aceita.

Exemplo simples:

>>> [1, 2, 3].remove(42)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: list.remove(x): x not in list

That doctest succeeds if ValueError is raised, with the list.remove(x): x not in list detail as shown.

The expected output for an exception must start with a traceback header, which may be either of the following two lines, indented the same as the first line of the example:

Traceback (most recent call last):
Traceback (innermost last):

The traceback header is followed by an optional traceback stack, whose contents are ignored by doctest. The traceback stack is typically omitted, or copied verbatim from an interactive session.

The traceback stack is followed by the most interesting part: the line(s) containing the exception type and detail. This is usually the last line of a traceback, but can extend across multiple lines if the exception has a multi-line detail:

>>> raise ValueError('multi\n    line\ndetail')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: multi
    line
detail

The last three lines (starting with ValueError) are compared against the exception’s type and detail, and the rest are ignored.

Best practice is to omit the traceback stack, unless it adds significant documentation value to the example. So the last example is probably better as:

>>> raise ValueError('multi\n    line\ndetail')
Traceback (most recent call last):
    ...
ValueError: multi
    line
detail

Note that tracebacks are treated very specially. In particular, in the rewritten example, the use of ... is independent of doctest’s ELLIPSIS option. The ellipsis in that example could be left out, or could just as well be three (or three hundred) commas or digits, or an indented transcript of a Monty Python skit.

Some details you should read once, but won’t need to remember:

Doctest can’t guess whether your expected output came from an exception traceback or from ordinary printing. So, e.g., an example that expects ValueError: 42 is prime will pass whether ValueError is actually raised or if the example merely prints that traceback text. In practice, ordinary output rarely begins with a traceback header line, so this doesn’t create real problems.

Each line of the traceback stack (if present) must be indented further than the first line of the example, or start with a non-alphanumeric character. The first line following the traceback header indented the same and starting with an alphanumeric is taken to be the start of the exception detail. Of course this does the right thing for genuine tracebacks.

When the IGNORE_EXCEPTION_DETAIL doctest option is specified, everything following the leftmost colon and any module information in the exception name is ignored.

The interactive shell omits the traceback header line for some SyntaxErrors. But doctest uses the traceback header line to distinguish exceptions from non-exceptions. So in the rare case where you need to test a SyntaxError that omits the traceback header, you will need to manually add the traceback header line to your test example.

For some exceptions, Python displays the position of the error using ^ markers and tildes:

>>> 1 + None
  File "<stdin>", line 1
    1 + None
    ~~^~~~~~
TypeError: unsupported operand type(s) for +: 'int' and 'NoneType'

Since the lines showing the position of the error come before the exception type and detail, they are not checked by doctest. For example, the following test would pass, even though it puts the ^ marker in the wrong location:

>>> 1 + None
  File "<stdin>", line 1
    1 + None
    ^~~~~~~~
TypeError: unsupported operand type(s) for +: 'int' and 'NoneType'

Flags opcionais

A number of option flags control various aspects of doctest’s behavior. Symbolic names for the flags are supplied as module constants, which can be bitwise ORed together and passed to various functions. The names can also be used in doctest directives, and may be passed to the doctest command line interface via the -o option.

Adicionado na versão 3.4: The -o command line option.

The first group of options define test semantics, controlling aspects of how doctest decides whether actual output matches an example’s expected output:

doctest.DONT_ACCEPT_TRUE_FOR_1

By default, if an expected output block contains just 1, an actual output block containing just 1 or just True is considered to be a match, and similarly for 0 versus False. When DONT_ACCEPT_TRUE_FOR_1 is specified, neither substitution is allowed. The default behavior caters to that Python changed the return type of many functions from integer to boolean; doctests expecting “little integer” output still work in these cases. This option will probably go away, but not for several years.

doctest.DONT_ACCEPT_BLANKLINE

By default, if an expected output block contains a line containing only the string <BLANKLINE>, then that line will match a blank line in the actual output. Because a genuinely blank line delimits the expected output, this is the only way to communicate that a blank line is expected. When DONT_ACCEPT_BLANKLINE is specified, this substitution is not allowed.

doctest.NORMALIZE_WHITESPACE

When specified, all sequences of whitespace (blanks and newlines) are treated as equal. Any sequence of whitespace within the expected output will match any sequence of whitespace within the actual output. By default, whitespace must match exactly. NORMALIZE_WHITESPACE is especially useful when a line of expected output is very long, and you want to wrap it across multiple lines in your source.

doctest.ELLIPSIS

When specified, an ellipsis marker (...) in the expected output can match any substring in the actual output. This includes substrings that span line boundaries, and empty substrings, so it’s best to keep usage of this simple. Complicated uses can lead to the same kinds of “oops, it matched too much!” surprises that .* is prone to in regular expressions.

doctest.IGNORE_EXCEPTION_DETAIL

When specified, doctests expecting exceptions pass so long as an exception of the expected type is raised, even if the details (message and fully qualified exception name) don’t match.

For example, an example expecting ValueError: 42 will pass if the actual exception raised is ValueError: 3*14, but will fail if, say, a TypeError is raised instead. It will also ignore any fully qualified name included before the exception class, which can vary between implementations and versions of Python and the code/libraries in use. Hence, all three of these variations will work with the flag specified:

>>> raise Exception('message')
Traceback (most recent call last):
Exception: message

>>> raise Exception('message')
Traceback (most recent call last):
builtins.Exception: message

>>> raise Exception('message')
Traceback (most recent call last):
__main__.Exception: message

Note that ELLIPSIS can also be used to ignore the details of the exception message, but such a test may still fail based on whether the module name is present or matches exactly.

Alterado na versão 3.2: IGNORE_EXCEPTION_DETAIL now also ignores any information relating to the module containing the exception under test.

doctest.SKIP

When specified, do not run the example at all. This can be useful in contexts where doctest examples serve as both documentation and test cases, and an example should be included for documentation purposes, but should not be checked. E.g., the example’s output might be random; or the example might depend on resources which would be unavailable to the test driver.

The SKIP flag can also be used for temporarily “commenting out” examples.

doctest.COMPARISON_FLAGS

A bitmask or’ing together all the comparison flags above.

The second group of options controls how test failures are reported:

doctest.REPORT_UDIFF

When specified, failures that involve multi-line expected and actual outputs are displayed using a unified diff.

doctest.REPORT_CDIFF

When specified, failures that involve multi-line expected and actual outputs will be displayed using a context diff.

doctest.REPORT_NDIFF

When specified, differences are computed by difflib.Differ, using the same algorithm as the popular ndiff.py utility. This is the only method that marks differences within lines as well as across lines. For example, if a line of expected output contains digit 1 where actual output contains letter l, a line is inserted with a caret marking the mismatching column positions.

doctest.REPORT_ONLY_FIRST_FAILURE

When specified, display the first failing example in each doctest, but suppress output for all remaining examples. This will prevent doctest from reporting correct examples that break because of earlier failures; but it might also hide incorrect examples that fail independently of the first failure. When REPORT_ONLY_FIRST_FAILURE is specified, the remaining examples are still run, and still count towards the total number of failures reported; only the output is suppressed.

doctest.FAIL_FAST

When specified, exit after the first failing example and don’t attempt to run the remaining examples. Thus, the number of failures reported will be at most 1. This flag may be useful during debugging, since examples after the first failure won’t even produce debugging output.

The doctest command line accepts the option -f as a shorthand for -o FAIL_FAST.

Adicionado na versão 3.4.

doctest.REPORTING_FLAGS

A bitmask or’ing together all the reporting flags above.

There is also a way to register new option flag names, though this isn’t useful unless you intend to extend doctest internals via subclassing:

doctest.register_optionflag(name)

Create a new option flag with a given name, and return the new flag’s integer value. register_optionflag() can be used when subclassing OutputChecker or DocTestRunner to create new options that are supported by your subclasses. register_optionflag() should always be called using the following idiom:

MY_FLAG = register_optionflag('MY_FLAG')

Directives

Doctest directives may be used to modify the option flags for an individual example. Doctest directives are special Python comments following an example’s source code:

directive             ::=  "#" "doctest:" directive_options
directive_options     ::=  directive_option ("," directive_option)*
directive_option      ::=  on_or_off directive_option_name
on_or_off             ::=  "+" | "-"
directive_option_name ::=  "DONT_ACCEPT_BLANKLINE" | "NORMALIZE_WHITESPACE" | ...

Whitespace is not allowed between the + or - and the directive option name. The directive option name can be any of the option flag names explained above.

An example’s doctest directives modify doctest’s behavior for that single example. Use + to enable the named behavior, or - to disable it.

Por exemplo, este teste é aprovado:

>>> print(list(range(20)))  # doctest: +NORMALIZE_WHITESPACE
[0,   1,  2,  3,  4,  5,  6,  7,  8,  9,
10,  11, 12, 13, 14, 15, 16, 17, 18, 19]

Without the directive it would fail, both because the actual output doesn’t have two blanks before the single-digit list elements, and because the actual output is on a single line. This test also passes, and also requires a directive to do so:

>>> print(list(range(20)))  # doctest: +ELLIPSIS
[0, 1, ..., 18, 19]

Multiple directives can be used on a single physical line, separated by commas:

>>> print(list(range(20)))  # doctest: +ELLIPSIS, +NORMALIZE_WHITESPACE
[0,    1, ...,   18,    19]

If multiple directive comments are used for a single example, then they are combined:

>>> print(list(range(20)))  # doctest: +ELLIPSIS
...                         # doctest: +NORMALIZE_WHITESPACE
[0,    1, ...,   18,    19]

As the previous example shows, you can add ... lines to your example containing only directives. This can be useful when an example is too long for a directive to comfortably fit on the same line:

>>> print(list(range(5)) + list(range(10, 20)) + list(range(30, 40)))
... # doctest: +ELLIPSIS
[0, ..., 4, 10, ..., 19, 30, ..., 39]

Note that since all options are disabled by default, and directives apply only to the example they appear in, enabling options (via + in a directive) is usually the only meaningful choice. However, option flags can also be passed to functions that run doctests, establishing different defaults. In such cases, disabling an option via - in a directive can be useful.

Avisos

doctest is serious about requiring exact matches in expected output. If even a single character doesn’t match, the test fails. This will probably surprise you a few times, as you learn exactly what Python does and doesn’t guarantee about output. For example, when printing a set, Python doesn’t guarantee that the element is printed in any particular order, so a test like

>>> foo()
{"spam", "eggs"}

is vulnerable! One workaround is to do

>>> foo() == {"spam", "eggs"}
True

instead. Another is to do

>>> d = sorted(foo())
>>> d
['eggs', 'spam']

There are others, but you get the idea.

Another bad idea is to print things that embed an object address, like

>>> id(1.0)  # certain to fail some of the time
7948648
>>> class C: pass
>>> C()  # the default repr() for instances embeds an address
<C object at 0x00AC18F0>

The ELLIPSIS directive gives a nice approach for the last example:

>>> C()  # doctest: +ELLIPSIS
<C object at 0x...>

Floating-point numbers are also subject to small output variations across platforms, because Python defers to the platform C library for float formatting, and C libraries vary widely in quality here.

>>> 1./7  # risky
0.14285714285714285
>>> print(1./7) # safer
0.142857142857
>>> print(round(1./7, 6)) # much safer
0.142857

Numbers of the form I/2.**J are safe across all platforms, and I often contrive doctest examples to produce numbers of that form:

>>> 3./4  # utterly safe
0.75

Simple fractions are also easier for people to understand, and that makes for better documentation.

Basic API

The functions testmod() and testfile() provide a simple interface to doctest that should be sufficient for most basic uses. For a less formal introduction to these two functions, see sections Uso simples: verificando exemplos em Docstrings and Utilização comum: Verificando exemplos em um arquivo texto.

doctest.testfile(filename, module_relative=True, name=None, package=None, globs=None, verbose=None, report=True, optionflags=0, extraglobs=None, raise_on_error=False, parser=DocTestParser(), encoding=None)

All arguments except filename are optional, and should be specified in keyword form.

Test examples in the file named filename. Return (failure_count, test_count).

Optional argument module_relative specifies how the filename should be interpreted:

If module_relative is True (the default), then filename specifies an OS-independent module-relative path. By default, this path is relative to the calling module’s directory; but if the package argument is specified, then it is relative to that package. To ensure OS-independence, filename should use / characters to separate path segments, and may not be an absolute path (i.e., it may not begin with /).

If module_relative is False, then filename specifies an OS-specific path. The path may be absolute or relative; relative paths are resolved with respect to the current working directory.

Optional argument name gives the name of the test; by default, or if None, os.path.basename(filename) is used.

Optional argument package is a Python package or the name of a Python package whose directory should be used as the base directory for a module-relative filename. If no package is specified, then the calling module’s directory is used as the base directory for module-relative filenames. It is an error to specify package if module_relative is False.

Optional argument globs gives a dict to be used as the globals when executing examples. A new shallow copy of this dict is created for the doctest, so its examples start with a clean slate. By default, or if None, a new empty dict is used.

Optional argument extraglobs gives a dict merged into the globals used to execute examples. This works like dict.update(): if globs and extraglobs have a common key, the associated value in extraglobs appears in the combined dict. By default, or if None, no extra globals are used. This is an advanced feature that allows parameterization of doctests. For example, a doctest can be written for a base class, using a generic name for the class, then reused to test any number of subclasses by passing an extraglobs dict mapping the generic name to the subclass to be tested.

Optional argument verbose prints lots of stuff if true, and prints only failures if false; by default, or if None, it’s true if and only if '-v' is in sys.argv.

Optional argument report prints a summary at the end when true, else prints nothing at the end. In verbose mode, the summary is detailed, else the summary is very brief (in fact, empty if all tests passed).

Optional argument optionflags (default value 0) takes the bitwise OR of option flags. See section Flags opcionais.

Optional argument raise_on_error defaults to false. If true, an exception is raised upon the first failure or unexpected exception in an example. This allows failures to be post-mortem debugged. Default behavior is to continue running examples.

Optional argument parser specifies a DocTestParser (or subclass) that should be used to extract tests from the files. It defaults to a normal parser (i.e., DocTestParser()).

Optional argument encoding specifies an encoding that should be used to convert the file to unicode.

doctest.testmod(m=None, name=None, globs=None, verbose=None, report=True, optionflags=0, extraglobs=None, raise_on_error=False, exclude_empty=False)

All arguments are optional, and all except for m should be specified in keyword form.

Test examples in docstrings in functions and classes reachable from module m (or module __main__ if m is not supplied or is None), starting with m.__doc__.

Also test examples reachable from dict m.__test__, if it exists. m.__test__ maps names (strings) to functions, classes and strings; function and class docstrings are searched for examples; strings are searched directly, as if they were docstrings.

Only docstrings attached to objects belonging to module m are searched.

Return (failure_count, test_count).

Optional argument name gives the name of the module; by default, or if None, m.__name__ is used.

Optional argument exclude_empty defaults to false. If true, objects for which no doctests are found are excluded from consideration. The default is a backward compatibility hack, so that code still using doctest.master.summarize in conjunction with testmod() continues to get output for objects with no tests. The exclude_empty argument to the newer DocTestFinder constructor defaults to true.

Optional arguments extraglobs, verbose, report, optionflags, raise_on_error, and globs are the same as for function testfile() above, except that globs defaults to m.__dict__.

doctest.run_docstring_examples(f, globs, verbose=False, name='NoName', compileflags=None, optionflags=0)

Test examples associated with object f; for example, f may be a string, a module, a function, or a class object.

A shallow copy of dictionary argument globs is used for the execution context.

Optional argument name is used in failure messages, and defaults to "NoName".

If optional argument verbose is true, output is generated even if there are no failures. By default, output is generated only in case of an example failure.

Optional argument compileflags gives the set of flags that should be used by the Python compiler when running the examples. By default, or if None, flags are deduced corresponding to the set of future features found in globs.

Optional argument optionflags works as for function testfile() above.

API do Unittest

As your collection of doctest’ed modules grows, you’ll want a way to run all their doctests systematically. doctest provides two functions that can be used to create unittest test suites from modules and text files containing doctests. To integrate with unittest test discovery, include a load_tests function in your test module:

import unittest
import doctest
import my_module_with_doctests

def load_tests(loader, tests, ignore):
    tests.addTests(doctest.DocTestSuite(my_module_with_doctests))
    return tests

There are two main functions for creating unittest.TestSuite instances from text files and modules with doctests:

doctest.DocFileSuite(*paths, module_relative=True, package=None, setUp=None, tearDown=None, globs=None, optionflags=0, parser=DocTestParser(), encoding=None)

Convert doctest tests from one or more text files to a unittest.TestSuite.

The returned unittest.TestSuite is to be run by the unittest framework and runs the interactive examples in each file. If an example in any file fails, then the synthesized unit test fails, and a failureException exception is raised showing the name of the file containing the test and a (sometimes approximate) line number. If all the examples in a file are skipped, then the synthesized unit test is also marked as skipped.

Pass one or more paths (as strings) to text files to be examined.

Options may be provided as keyword arguments:

Optional argument module_relative specifies how the filenames in paths should be interpreted:

If module_relative is True (the default), then each filename in paths specifies an OS-independent module-relative path. By default, this path is relative to the calling module’s directory; but if the package argument is specified, then it is relative to that package. To ensure OS-independence, each filename should use / characters to separate path segments, and may not be an absolute path (i.e., it may not begin with /).

If module_relative is False, then each filename in paths specifies an OS-specific path. The path may be absolute or relative; relative paths are resolved with respect to the current working directory.

Optional argument package is a Python package or the name of a Python package whose directory should be used as the base directory for module-relative filenames in paths. If no package is specified, then the calling module’s directory is used as the base directory for module-relative filenames. It is an error to specify package if module_relative is False.

Optional argument setUp specifies a set-up function for the test suite. This is called before running the tests in each file. The setUp function will be passed a DocTest object. The setUp function can access the test globals as the globs attribute of the test passed.

Optional argument tearDown specifies a tear-down function for the test suite. This is called after running the tests in each file. The tearDown function will be passed a DocTest object. The setUp function can access the test globals as the globs attribute of the test passed.

Optional argument globs is a dictionary containing the initial global variables for the tests. A new copy of this dictionary is created for each test. By default, globs is a new empty dictionary.

Optional argument optionflags specifies the default doctest options for the tests, created by or-ing together individual option flags. See section Flags opcionais. See function set_unittest_reportflags() below for a better way to set reporting options.

Optional argument parser specifies a DocTestParser (or subclass) that should be used to extract tests from the files. It defaults to a normal parser (i.e., DocTestParser()).

Optional argument encoding specifies an encoding that should be used to convert the file to unicode.

The global __file__ is added to the globals provided to doctests loaded from a text file using DocFileSuite().

doctest.DocTestSuite(module=None, globs=None, extraglobs=None, test_finder=None, setUp=None, tearDown=None, optionflags=0, checker=None)

Convert doctest tests for a module to a unittest.TestSuite.

The returned unittest.TestSuite is to be run by the unittest framework and runs each doctest in the module. If any of the doctests fail, then the synthesized unit test fails, and a failureException exception is raised showing the name of the file containing the test and a (sometimes approximate) line number. If all the examples in a docstring are skipped, then the synthesized unit test is also marked as skipped.

Optional argument module provides the module to be tested. It can be a module object or a (possibly dotted) module name. If not specified, the module calling this function is used.

Optional argument globs is a dictionary containing the initial global variables for the tests. A new copy of this dictionary is created for each test. By default, globs is a new empty dictionary.

Optional argument extraglobs specifies an extra set of global variables, which is merged into globs. By default, no extra globals are used.

Optional argument test_finder is the DocTestFinder object (or a drop-in replacement) that is used to extract doctests from the module.

Optional arguments setUp, tearDown, and optionflags are the same as for function DocFileSuite() above.

This function uses the same search technique as testmod().

Alterado na versão 3.5: DocTestSuite() returns an empty unittest.TestSuite if module contains no docstrings instead of raising ValueError.

exception doctest.failureException

When doctests which have been converted to unit tests by DocFileSuite() or DocTestSuite() fail, this exception is raised showing the name of the file containing the test and a (sometimes approximate) line number.

Under the covers, DocTestSuite() creates a unittest.TestSuite out of doctest.DocTestCase instances, and DocTestCase is a subclass of unittest.TestCase. DocTestCase isn’t documented here (it’s an internal detail), but studying its code can answer questions about the exact details of unittest integration.

Similarly, DocFileSuite() creates a unittest.TestSuite out of doctest.DocFileCase instances, and DocFileCase is a subclass of DocTestCase.

So both ways of creating a unittest.TestSuite run instances of DocTestCase. This is important for a subtle reason: when you run doctest functions yourself, you can control the doctest options in use directly, by passing option flags to doctest functions. However, if you’re writing a unittest framework, unittest ultimately controls when and how tests get run. The framework author typically wants to control doctest reporting options (perhaps, e.g., specified by command line options), but there’s no way to pass options through unittest to doctest test runners.

For this reason, doctest also supports a notion of doctest reporting flags specific to unittest support, via this function:

doctest.set_unittest_reportflags(flags)

Set the doctest reporting flags to use.

Argument flags takes the bitwise OR of option flags. See section Flags opcionais. Only “reporting flags” can be used.

This is a module-global setting, and affects all future doctests run by module unittest: the runTest() method of DocTestCase looks at the option flags specified for the test case when the DocTestCase instance was constructed. If no reporting flags were specified (which is the typical and expected case), doctest’s unittest reporting flags are bitwise ORed into the option flags, and the option flags so augmented are passed to the DocTestRunner instance created to run the doctest. If any reporting flags were specified when the DocTestCase instance was constructed, doctest’s unittest reporting flags are ignored.

The value of the unittest reporting flags in effect before the function was called is returned by the function.

Advanced API

The basic API is a simple wrapper that’s intended to make doctest easy to use. It is fairly flexible, and should meet most users’ needs; however, if you require more fine-grained control over testing, or wish to extend doctest’s capabilities, then you should use the advanced API.

The advanced API revolves around two container classes, which are used to store the interactive examples extracted from doctest cases:

Example: A single Python statement, paired with its expected output.

DocTest: A collection of Examples, typically extracted from a single docstring or text file.

Additional processing classes are defined to find, parse, and run, and check doctest examples:

DocTestFinder: Finds all docstrings in a given module, and uses a DocTestParser to create a DocTest from every docstring that contains interactive examples.

DocTestParser: Creates a DocTest object from a string (such as an object’s docstring).

DocTestRunner: Executes the examples in a DocTest, and uses an OutputChecker to verify their output.

OutputChecker: Compares the actual output from a doctest example with the expected output, and decides whether they match.

The relationships among these processing classes are summarized in the following diagram:

                            list of:
+------+                   +---------+
|module| --DocTestFinder-> | DocTest | --DocTestRunner-> results
+------+    |        ^     +---------+     |       ^    (printed)
            |        |     | Example |     |       |
            v        |     |   ...   |     v       |
           DocTestParser   | Example |   OutputChecker
                           +---------+

DocTest Objects

class doctest.DocTest(examples, globs, name, filename, lineno, docstring)

A collection of doctest examples that should be run in a single namespace. The constructor arguments are used to initialize the attributes of the same names.

DocTest defines the following attributes. They are initialized by the constructor, and should not be modified directly.

examples

A list of Example objects encoding the individual interactive Python examples that should be run by this test.

globs

The namespace (aka globals) that the examples should be run in. This is a dictionary mapping names to values. Any changes to the namespace made by the examples (such as binding new variables) will be reflected in globs after the test is run.

name

A string name identifying the DocTest. Typically, this is the name of the object or file that the test was extracted from.

filename

The name of the file that this DocTest was extracted from; or None if the filename is unknown, or if the DocTest was not extracted from a file.

lineno

The line number within filename where this DocTest begins, or None if the line number is unavailable. This line number is zero-based with respect to the beginning of the file.

docstring

The string that the test was extracted from, or None if the string is unavailable, or if the test was not extracted from a string.

Example Objects

class doctest.Example(source, want, exc_msg=None, lineno=0, indent=0, options=None)

A single interactive example, consisting of a Python statement and its expected output. The constructor arguments are used to initialize the attributes of the same names.

Example defines the following attributes. They are initialized by the constructor, and should not be modified directly.

source

A string containing the example’s source code. This source code consists of a single Python statement, and always ends with a newline; the constructor adds a newline when necessary.

want

The expected output from running the example’s source code (either from stdout, or a traceback in case of exception). want ends with a newline unless no output is expected, in which case it’s an empty string. The constructor adds a newline when necessary.

exc_msg

The exception message generated by the example, if the example is expected to generate an exception; or None if it is not expected to generate an exception. This exception message is compared against the return value of traceback.format_exception_only(). exc_msg ends with a newline unless it’s None. The constructor adds a newline if needed.

lineno

The line number within the string containing this example where the example begins. This line number is zero-based with respect to the beginning of the containing string.

indent

The example’s indentation in the containing string, i.e., the number of space characters that precede the example’s first prompt.

options

A dictionary mapping from option flags to True or False, which is used to override default options for this example. Any option flags not contained in this dictionary are left at their default value (as specified by the DocTestRunner’s optionflags). By default, no options are set.

DocTestFinder objects

class doctest.DocTestFinder(verbose=False, parser=DocTestParser(), recurse=True, exclude_empty=True)

A processing class used to extract the DocTests that are relevant to a given object, from its docstring and the docstrings of its contained objects. DocTests can be extracted from modules, classes, functions, methods, staticmethods, classmethods, and properties.

The optional argument verbose can be used to display the objects searched by the finder. It defaults to False (no output).

The optional argument parser specifies the DocTestParser object (or a drop-in replacement) that is used to extract doctests from docstrings.

If the optional argument recurse is false, then DocTestFinder.find() will only examine the given object, and not any contained objects.

If the optional argument exclude_empty is false, then DocTestFinder.find() will include tests for objects with empty docstrings.

DocTestFinder defines the following method:

find(obj[, name][, module][, globs][, extraglobs])

Return a list of the DocTests that are defined by obj’s docstring, or by any of its contained objects’ docstrings.

The optional argument name specifies the object’s name; this name will be used to construct names for the returned DocTests. If name is not specified, then obj.__name__ is used.

The optional parameter module is the module that contains the given object. If the module is not specified or is None, then the test finder will attempt to automatically determine the correct module. The object’s module is used:

As a default namespace, if globs is not specified.

To prevent the DocTestFinder from extracting DocTests from objects that are imported from other modules. (Contained objects with modules other than module are ignored.)

To find the name of the file containing the object.

To help find the line number of the object within its file.

If module is False, no attempt to find the module will be made. This is obscure, of use mostly in testing doctest itself: if module is False, or is None but cannot be found automatically, then all objects are considered to belong to the (non-existent) module, so all contained objects will (recursively) be searched for doctests.

The globals for each DocTest is formed by combining globs and extraglobs (bindings in extraglobs override bindings in globs). A new shallow copy of the globals dictionary is created for each DocTest. If globs is not specified, then it defaults to the module’s __dict__, if specified, or {} otherwise. If extraglobs is not specified, then it defaults to {}.

DocTestParser objects

class doctest.DocTestParser

A processing class used to extract interactive examples from a string, and use them to create a DocTest object.

DocTestParser defines the following methods:

get_doctest(string, globs, name, filename, lineno)

Extract all doctest examples from the given string, and collect them into a DocTest object.

globs, name, filename, and lineno are attributes for the new DocTest object. See the documentation for DocTest for more information.

get_examples(string, name='<string>')

Extract all doctest examples from the given string, and return them as a list of Example objects. Line numbers are 0-based. The optional argument name is a name identifying this string, and is only used for error messages.

parse(string, name='<string>')

Divide the given string into examples and intervening text, and return them as a list of alternating Examples and strings. Line numbers for the Examples are 0-based. The optional argument name is a name identifying this string, and is only used for error messages.

TestResults objects

class doctest.TestResults(failed, attempted)

failed

Number of failed tests.

attempted

Number of attempted tests.

skipped

Number of skipped tests.

Adicionado na versão 3.13.

DocTestRunner objects

class doctest.DocTestRunner(checker=None, verbose=None, optionflags=0)

A processing class used to execute and verify the interactive examples in a DocTest.

The comparison between expected outputs and actual outputs is done by an OutputChecker. This comparison may be customized with a number of option flags; see section Flags opcionais for more information. If the option flags are insufficient, then the comparison may also be customized by passing a subclass of OutputChecker to the constructor.

The test runner’s display output can be controlled in two ways. First, an output function can be passed to run(); this function will be called with strings that should be displayed. It defaults to sys.stdout.write. If capturing the output is not sufficient, then the display output can be also customized by subclassing DocTestRunner, and overriding the methods report_start(), report_success(), report_unexpected_exception(), and report_failure().

The optional keyword argument checker specifies the OutputChecker object (or drop-in replacement) that should be used to compare the expected outputs to the actual outputs of doctest examples.

The optional keyword argument verbose controls the DocTestRunner’s verbosity. If verbose is True, then information is printed about each example, as it is run. If verbose is False, then only failures are printed. If verbose is unspecified, or None, then verbose output is used iff the command-line switch -v is used.

The optional keyword argument optionflags can be used to control how the test runner compares expected output to actual output, and how it displays failures. For more information, see section Flags opcionais.

The test runner accumulates statistics. The aggregated number of attempted, failed and skipped examples is also available via the tries, failures and skips attributes. The run() and summarize() methods return a TestResults instance.

DocTestRunner defines the following methods:

report_start(out, test, example)

Report that the test runner is about to process the given example. This method is provided to allow subclasses of DocTestRunner to customize their output; it should not be called directly.

example is the example about to be processed. test is the test containing example. out is the output function that was passed to DocTestRunner.run().

report_success(out, test, example, got)

Report that the given example ran successfully. This method is provided to allow subclasses of DocTestRunner to customize their output; it should not be called directly.

example is the example about to be processed. got is the actual output from the example. test is the test containing example. out is the output function that was passed to DocTestRunner.run().

report_failure(out, test, example, got)

Report that the given example failed. This method is provided to allow subclasses of DocTestRunner to customize their output; it should not be called directly.

example is the example about to be processed. got is the actual output from the example. test is the test containing example. out is the output function that was passed to DocTestRunner.run().

report_unexpected_exception(out, test, example, exc_info)

Report that the given example raised an unexpected exception. This method is provided to allow subclasses of DocTestRunner to customize their output; it should not be called directly.

example is the example about to be processed. exc_info is a tuple containing information about the unexpected exception (as returned by sys.exc_info()). test is the test containing example. out is the output function that was passed to DocTestRunner.run().

run(test, compileflags=None, out=None, clear_globs=True)

Run the examples in test (a DocTest object), and display the results using the writer function out. Return a TestResults instance.

The examples are run in the namespace test.globs. If clear_globs is true (the default), then this namespace will be cleared after the test runs, to help with garbage collection. If you would like to examine the namespace after the test completes, then use clear_globs=False.

compileflags gives the set of flags that should be used by the Python compiler when running the examples. If not specified, then it will default to the set of future-import flags that apply to globs.

The output of each example is checked using the DocTestRunner’s output checker, and the results are formatted by the DocTestRunner.report_*() methods.

summarize(verbose=None)

Print a summary of all the test cases that have been run by this DocTestRunner, and return a TestResults instance.

The optional verbose argument controls how detailed the summary is. If the verbosity is not specified, then the DocTestRunner’s verbosity is used.

DocTestParser has the following attributes:

tries

Number of attempted examples.

failures

Number of failed examples.

skips

Number of skipped examples.

Adicionado na versão 3.13.

OutputChecker objects

class doctest.OutputChecker

A class used to check the whether the actual output from a doctest example matches the expected output. OutputChecker defines two methods: check_output(), which compares a given pair of outputs, and returns True if they match; and output_difference(), which returns a string describing the differences between two outputs.

OutputChecker define os seguintes métodos:

check_output(want, got, optionflags)

Return True iff the actual output from an example (got) matches the expected output (want). These strings are always considered to match if they are identical; but depending on what option flags the test runner is using, several non-exact match types are also possible. See section Flags opcionais for more information about option flags.

output_difference(example, got, optionflags)

Return a string describing the differences between the expected output for a given example (example) and the actual output (got). optionflags is the set of option flags used to compare want and got.

Depuração

Doctest provides several mechanisms for debugging doctest examples:

Several functions convert doctests to executable Python programs, which can be run under the Python debugger, pdb.

The DebugRunner class is a subclass of DocTestRunner that raises an exception for the first failing example, containing information about that example. This information can be used to perform post-mortem debugging on the example.

The unittest cases generated by DocTestSuite() support the debug() method defined by unittest.TestCase.

You can add a call to pdb.set_trace() in a doctest example, and you’ll drop into the Python debugger when that line is executed. Then you can inspect current values of variables, and so on. For example, suppose a.py contains just this module docstring:

"""
>>> def f(x):
...     g(x*2)
>>> def g(x):
...     print(x+3)
...     import pdb; pdb.set_trace()
>>> f(3)
9
"""

Then an interactive Python session may look like this:

>>> import a, doctest
>>> doctest.testmod(a)
--Return--
> <doctest a[1]>(3)g()->None
-> import pdb; pdb.set_trace()
(Pdb) list
  1     def g(x):
  2         print(x+3)
  3  ->     import pdb; pdb.set_trace()
[EOF]
(Pdb) p x
6
(Pdb) step
--Return--
> <doctest a[0]>(2)f()->None
-> g(x*2)
(Pdb) list
  1     def f(x):
  2  ->     g(x*2)
[EOF]
(Pdb) p x
3
(Pdb) step
--Return--
> <doctest a[2]>(1)?()->None
-> f(3)
(Pdb) cont
(0, 3)
>>>

Functions that convert doctests to Python code, and possibly run the synthesized code under the debugger:

doctest.script_from_examples(s)

Convert text with examples to a script.

Argument s is a string containing doctest examples. The string is converted to a Python script, where doctest examples in s are converted to regular code, and everything else is converted to Python comments. The generated script is returned as a string. For example,

import doctest
print(doctest.script_from_examples(r"""
    Set x and y to 1 and 2.
    >>> x, y = 1, 2

    Print their sum:
    >>> print(x+y)
    3
"""))

displays:

# Set x and y to 1 and 2.
x, y = 1, 2
#
# Print their sum:
print(x+y)
# Expected:
## 3

This function is used internally by other functions (see below), but can also be useful when you want to transform an interactive Python session into a Python script.

doctest.testsource(module, name)

Convert the doctest for an object to a script.

Argument module is a module object, or dotted name of a module, containing the object whose doctests are of interest. Argument name is the name (within the module) of the object with the doctests of interest. The result is a string, containing the object’s docstring converted to a Python script, as described for script_from_examples() above. For example, if module a.py contains a top-level function f(), then

import a, doctest
print(doctest.testsource(a, "a.f"))

prints a script version of function f()’s docstring, with doctests converted to code, and the rest placed in comments.

doctest.debug(module, name, pm=False)

Debug the doctests for an object.

The module and name arguments are the same as for function testsource() above. The synthesized Python script for the named object’s docstring is written to a temporary file, and then that file is run under the control of the Python debugger, pdb.

A shallow copy of module.__dict__ is used for both local and global execution context.

Optional argument pm controls whether post-mortem debugging is used. If pm has a true value, the script file is run directly, and the debugger gets involved only if the script terminates via raising an unhandled exception. If it does, then post-mortem debugging is invoked, via pdb.post_mortem(), passing the traceback object from the unhandled exception. If pm is not specified, or is false, the script is run under the debugger from the start, via passing an appropriate exec() call to pdb.run().

doctest.debug_src(src, pm=False, globs=None)

Debug the doctests in a string.

This is like function debug() above, except that a string containing doctest examples is specified directly, via the src argument.

Optional argument pm has the same meaning as in function debug() above.

Optional argument globs gives a dictionary to use as both local and global execution context. If not specified, or None, an empty dictionary is used. If specified, a shallow copy of the dictionary is used.

The DebugRunner class, and the special exceptions it may raise, are of most interest to testing framework authors, and will only be sketched here. See the source code, and especially DebugRunner’s docstring (which is a doctest!) for more details:

class doctest.DebugRunner(checker=None, verbose=None, optionflags=0)

A subclass of DocTestRunner that raises an exception as soon as a failure is encountered. If an unexpected exception occurs, an UnexpectedException exception is raised, containing the test, the example, and the original exception. If the output doesn’t match, then a DocTestFailure exception is raised, containing the test, the example, and the actual output.

For information about the constructor parameters and methods, see the documentation for DocTestRunner in section Advanced API.

There are two exceptions that may be raised by DebugRunner instances:

exception doctest.DocTestFailure(test, example, got)

An exception raised by DocTestRunner to signal that a doctest example’s actual output did not match its expected output. The constructor arguments are used to initialize the attributes of the same names.

DocTestFailure defines the following attributes:

DocTestFailure.test

The DocTest object that was being run when the example failed.

DocTestFailure.example

The Example that failed.

DocTestFailure.got

The example’s actual output.

exception doctest.UnexpectedException(test, example, exc_info)

An exception raised by DocTestRunner to signal that a doctest example raised an unexpected exception. The constructor arguments are used to initialize the attributes of the same names.

UnexpectedException define os seguintes atributos:

UnexpectedException.test

The DocTest object that was being run when the example failed.

UnexpectedException.example

The Example that failed.

UnexpectedException.exc_info

A tuple containing information about the unexpected exception, as returned by sys.exc_info().

Soapbox

As mentioned in the introduction, doctest has grown to have three primary uses:

Checking examples in docstrings.

Regression testing.

Executable documentation / literate testing.

These uses have different requirements, and it is important to distinguish them. In particular, filling your docstrings with obscure test cases makes for bad documentation.

When writing a docstring, choose docstring examples with care. There’s an art to this that needs to be learned—it may not be natural at first. Examples should add genuine value to the documentation. A good example can often be worth many words. If done with care, the examples will be invaluable for your users, and will pay back the time it takes to collect them many times over as the years go by and things change. I’m still amazed at how often one of my doctest examples stops working after a “harmless” change.

Doctest also makes an excellent tool for regression testing, especially if you don’t skimp on explanatory text. By interleaving prose and examples, it becomes much easier to keep track of what’s actually being tested, and why. When a test fails, good prose can make it much easier to figure out what the problem is, and how it should be fixed. It’s true that you could write extensive comments in code-based testing, but few programmers do. Many have found that using doctest approaches instead leads to much clearer tests. Perhaps this is simply because doctest makes writing prose a little easier than writing code, while writing comments in code is a little harder. I think it goes deeper than just that: the natural attitude when writing a doctest-based test is that you want to explain the fine points of your software, and illustrate them with examples. This in turn naturally leads to test files that start with the simplest features, and logically progress to complications and edge cases. A coherent narrative is the result, instead of a collection of isolated functions that test isolated bits of functionality seemingly at random. It’s a different attitude, and produces different results, blurring the distinction between testing and explaining.

Regression testing is best confined to dedicated objects or files. There are several options for organizing tests:

Write text files containing test cases as interactive examples, and test the files using testfile() or DocFileSuite(). This is recommended, although is easiest to do for new projects, designed from the start to use doctest.

Define functions named _regrtest_topic that consist of single docstrings, containing test cases for the named topics. These functions can be included in the same file as the module, or separated out into a separate test file.

Define a __test__ dictionary mapping from regression test topics to docstrings containing test cases.

When you have placed your tests in a module, the module can itself be the test runner. When a test fails, you can arrange for your test runner to re-run only the failing doctest while you debug the problem. Here is a minimal example of such a test runner:

if __name__ == '__main__':
    import doctest
    flags = doctest.REPORT_NDIFF|doctest.FAIL_FAST
    if len(sys.argv) > 1:
        name = sys.argv[1]
        if name in globals():
            obj = globals()[name]
        else:
            obj = __test__[name]
        doctest.run_docstring_examples(obj, globals(), name=name,
                                       optionflags=flags)
    else:
        fail, total = doctest.testmod(optionflags=flags)
        print(f"{fail} failures out of {total} tests")

Notas de rodapé

[1]

Examples containing both expected output and an exception are not supported. Trying to guess where one ends and the other begins is too error-prone, and that also makes for a confusing test.

unittest — Unit testing framework

Código-fonte: Lib/unittest/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/unittest/__init__.py]

(Caso já estejas familiarizado com os conceitos básicos de testes, poderás querer ignorar a lista de métodos assertivos.)

O framework de testes unitários unittest foi originalmente inspirado no JUnit e tem um sabor semelhante contendo as principais estruturas de teste de unidades existentes em outras linguagens. Ele suporta a automação de testes, compartilhamento de configuração e código de desligamento para testes, agregação de testes em coleções e independência dos testes do framework de relatórios.

Para conseguir isso, o módulo unittest suporta alguns conceitos importantes de forma orientada a objetos:

definição de contexto de teste

Uma definição de contexto de teste representa a preparação necessária pra performar um ou mais testes, além de quaisquer ações de limpeza relacionadas. Isso pode envolver, por exemplo, criar bancos de dados proxy ou temporários, diretórios ou iniciar um processo de servidor.

caso de teste

Um test case é uma unidade de teste individual. O mesmo verifica uma resposta específica a um determinado conjunto de entradas. O unittest fornece uma classe base, TestCase, que pode ser usada para criar novos casos de teste.

Suíte de Testes

Uma test suite é uma coleção de casos de teste, conjuntos de teste ou ambos. O mesmo é usado para agregar testes que devem ser executados juntos.

test runner

Um test runner é um componente que orquestra a execução de testes e fornece o resultado para o usuário. O runner pode usar uma interface gráfica, uma interface textual ou retornar um valor especial para indicar os resultados da execução dos testes.

Ver também

Módulo doctest

Outro módulo de suporte a testes com um sabor muito diferente.

Simple Smalltalk Testing: With Patterns [https://web.archive.org/web/20150315073817/http://www.xprogramming.com/testfram.htm]

O documento original de Kent Beck sobre estruturas de teste usando o padrão compartilhado por unittest.

pytest [https://docs.pytest.org/]

É um framework externo do unittest com uma sintaxe mais leve para escrever testes. Por exemplo, assert func(10) == 42.

The Python Testing Tools Taxonomy [https://wiki.python.org/moin/PythonTestingToolsTaxonomy]

Uma extensa lista de ferramentas para testar código Python, incluindo estruturas de teste funcionais e bibliotecas de objetos simulados.

Testing in Python Mailing List [http://lists.idyll.org/listinfo/testing-in-python]

Um grupo de interesse especial para discussão de testes e ferramentas de teste, em Python.

The script Tools/unittestgui/unittestgui.py in the Python source distribution is a GUI tool for test discovery and execution. This is intended largely for ease of use for those new to unit testing. For production environments it is recommended that tests be driven by a continuous integration system such as Buildbot [https://buildbot.net/], Jenkins [https://www.jenkins.io/], GitHub Actions [https://github.com/features/actions], or AppVeyor [https://www.appveyor.com/].

Exemplo Básico

O módulo unittest fornece um conjunto amplo de ferramentas para a construção e execução de testes. Esta seção demonstra que um pequeno subconjunto das ferramentas é suficiente para atender às necessidades da maioria dos usuários.

Aqui temos um simples Script para testar três métodos de String:

import unittest

class TestStringMethods(unittest.TestCase):

    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    unittest.main()

Para criar um testcase basta criar uma classe que estende de unittest.TestCase. Os três testes individuais são definidos com métodos cujos nomes começam com as letras test. Esta convenção na nomenclatura informa o runner a respeitos de quais métodos são, na verdade, testes.

O cerne de cada teste é a invocação de um método assertEqual() para verificar se há um resultado esperado; assertTrue() ou assertFalse() para verificar uma condição; ou assertRaises() para verificar se uma exceção específica será levantada. Esses métodos são usados ao invés de utilizar a expressão assert para que o runner de teste possa acumular todos os resultados do teste e produzir um relatório.

Os métodos setUp() e tearDown() permitem que você defina instruções que serão executadas antes e depois de cada método de teste. Eles são abordados em mais detalhes na seção Organizando código teste.

O bloco final mostra uma maneira simples de executar os testes. A função unittest.main() fornece uma interface de linha de comando para o Script de teste. Quando executado a partir da linha de comando, o Script acima produz uma saída que se parece com isso:

...
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK

Passando a opção -v para o nosso Script de teste instruirá a função unittest.main() a habilitar um nível mais alto de verbosidade e produzirá a seguinte saída:

test_isupper (__main__.TestStringMethods.test_isupper) ... ok
test_split (__main__.TestStringMethods.test_split) ... ok
test_upper (__main__.TestStringMethods.test_upper) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

Os exemplos acima mostram os recursos mais utilizados unittest que são suficientes para atender a muitas necessidades de testes diários. O restante da documentação explora o conjunto completo de recursos desde os primeiros princípios.

Alterado na versão 3.11: The behavior of returning a value from a test method (other than the default None value), is now deprecated.

Interface de Linha de Comando

O módulo unittest pode ser usado diretamente da linha de comando para executar testes de módulos, classes ou mesmo testes de métodos individuais:

python -m unittest test_module1 test_module2
python -m unittest test_module.TestClass
python -m unittest test_module.TestClass.test_method

Você pode passar uma lista com qualquer combinação de nomes de módulos e nomes de classes ou métodos totalmente qualificados.

Os módulos de teste podem ser especificados por caminhos de arquivo também:

python -m unittest tests/test_something.py

Isso permite que você use o auto-completar do console/shell para especificar o módulo de teste. O arquivo especificado precisa ser “importável” como um módulo. O caminho é convertido para um nome de módulo ao remover a extensão .py e conversando os separadores do caminho em .. Se você quer executar um arquivo de teste que não é importável como um módulo, você deve executar o arquivo diretamente.

Você pode executar os testes com mais detalhes (maior verbosidade) ao usar o sinalizador -v:

python -m unittest -v test_module

Quando executado sem argumentos Test Discovery é iniciado:

python -m unittest

Para uma lista de todas as opções de linha de comando:

python -m unittest -h

Alterado na versão 3.2: Em versões mais antigas, era possível de executar apenas testes de métodos individuais e não de módulos ou classes.

Opções de linha de comando

unittest suporta as seguintes opções de linha de comando:

-b, --buffer

Os streams da saída padrão e do erro padrão são carregados durante a execução do teste. A saída de um teste que passou é descartada. A saída geralmente é mostrada quando um teste falha e é adicionada às mensagens de falha.

-c, --catch

Control-C durante a execução do teste aguarda até que o teste corrente termine e a partir disso mostra todos os resultados até o momento. Um segundo Control-C invoca uma exceção KeyboardInterrupt comum.

Veja Signal Handling para as funções que provêm essa funcionalidade.

-f, --failfast

Parar a execução do teste no primeiro erro ou falha.

-k

Only run test methods and classes that match the pattern or substring. This option may be used multiple times, in which case all test cases that match any of the given patterns are included.

Padrões que contém um caractere curinga (*) são combinados com os testes pelo método fnmatch.fnmatchcase(); caso contrário, é utilizada uma combinação simples de substrings, diferenciando-se letras maiúsculas e minúsculas.

Padrões são combinados com o nome completo qualificado do método de teste no formato que ele é importado pelo carregador.

Por exemplo, -k foo combina com foo_tests.SomeTest.test_something, bar_tests.SomeTest.test_foo, mas não com bar_tests.FooTest.test_something.

--locals

Mostra variáveis locais no traceback.

--durations N

Show the N slowest test cases (N=0 for all).

Adicionado na versão 3.2: As opções de linha de comando -b, -c e -f foram adicionadas.

Adicionado na versão 3.5: A opção de linha de comando --locals.

Adicionado na versão 3.7: A opção de linha de comando -k.

Adicionado na versão 3.12: The command-line option --durations.

A linha de comando também pode ser usada para descobrir testes, para executar todos os testes de um projeto ou apenas de um subconjunto.

Test Discovery

Adicionado na versão 3.2.

Unittest supports simple test discovery. In order to be compatible with test discovery, all of the test files must be modules or packages importable from the top-level directory of the project (this means that their filenames must be valid identifiers).

O descobrimento de testes é implementado no TestLoader.discover(), mas também pode ser utilizado a partir da linha de comando. O comando básico para uso é:

cd project_directory
python -m unittest discover

Nota

Como um atalho, python -m unittest é o equivalente a python -m unittest discover. Se você deseja passar argumentos para a descoberta de testes, o subcomando discover deve ser usado explicitamente.

O sub-comando discover (descubra) tem as seguintes opções:

-v, --verbose

Saída verbosa

-s, --start-directory directory

Diretório no qual se inicia o descobrimento (. por padrão)

-p, --pattern pattern

Padrão de texto para se descobrir os arquivos de teste (test*.py por padrão)

-t, --top-level-directory directory

Diretório raiz do projeto (diretório de início por padrão)

As opções -s, -p e -t podem ser passadas como argumentos posicionais nessa ordem. As duas linhas de comando seguintes são equivalentes:

python -m unittest discover -s project_directory -p "*_test.py"
python -m unittest discover project_directory "*_test.py"

Além de aceitar caminhos, também é possível passar o nome de um pacote, como myproject.subpackage.test, como diretório de início. O nome do pacote que for passado será importado e sua localização no sistema de arquivos será utilizada como diretório de início.

Cuidado

O descobridor de testes importa os testes para carregá-los. Uma vez que o descobridor tiver encontrado todos os arquivos de teste a partir do diretório de início especificado, ele transforma os caminhos em nomes de pacotes para conseguir importá-los. Por exemplo, foo/bar/baz.py será importado como foo.bar.baz.

Se você possuir um pacote instalado globalmente e tentar executar o descobrimento em uma versão diferente deste mesmo pacote, a importação pode acontecer do lugar errado. Se isso acontecer, o descobridor de testes irá emitir um alerta e encerrar a execução.

Se você configurar o diretório de início como sendo um nome de pacote, não um caminho para um diretório, o descobridor irá presumir que qualquer local do qual ele importar é o local correto. Neste caso, nenhum alerta será emitido.

Módulos de testes e pacotes podem conter customizações no carregamento de testes utilizando load_tests protocol.

Alterado na versão 3.4: Descoberta de testes suporta pacote de espaço de nomes para o diretório de início. Perceba que você precisa especificar o diretório de nível superior também (ex: python -m unittest discover -s root/namespace -t root).

Alterado na versão 3.11: unittest dropped the namespace packages support in Python 3.11. It has been broken since Python 3.7. Start directory and subdirectories containing tests must be regular package that have __init__.py file.

Directories containing start directory still can be a namespace package. In this case, you need to specify start directory as dotted package name, and target directory explicitly. For example:

# proj/  <-- current directory
#   namespace/
#     mypkg/
#       __init__.py
#       test_mypkg.py

python -m unittest discover -s namespace.mypkg -t .

Organizando código teste

O bloco básico de construção dos testes unitários são os casos de teste — cenários únicos que devem ser configurados e avaliados em sua correção. No unittest, casos de teste são representados por instâncias unittest.TestCase. Para criar seus próprios casos de teste, você deve escrever subclasses de TestCase ou utilizar FunctionTestCase.

O código de teste em uma instância da classe TestCase deve ser completamente auto-contido, de maneira que ele possa ser executado isoladamente ou combinado, de forma arbitrária, com quaisquer outros casos de teste.

A mais simples subclasse de TestCase irá implementar um método de teste (i.e. um método cujo nome começa com test) para executar um teste:

import unittest

class DefaultWidgetSizeTestCase(unittest.TestCase):
    def test_default_widget_size(self):
        widget = Widget('The widget')
        self.assertEqual(widget.size(), (50, 50))

Note that in order to test something, we use one of the assert* methods provided by the TestCase base class. If the test fails, an exception will be raised with an explanatory message, and unittest will identify the test case as a failure. Any other exceptions will be treated as errors.

Os testes podem ser muitos, e as configurações podem ser repetitivas. Por sorte, temos como reaproveitar estas configurações implementando um método chamado setUp(), o qual será automaticamente chamado pelo framework de teste para cada teste único que executarmos:

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def test_default_widget_size(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

    def test_widget_resize(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

Nota

A ordem de execução dos testes será feita com base na ordenação dos nomes dos métodos de teste respeitando os critérios da ordenação de strings embutida.

Se o método setUp() levantar uma exceção durante a sua execução, o framework irá considerar que o teste sofreu um erro e o método de teste não será executado.

De maneira similar, pode-se definir um método tearDown() que limpa o ambiente após a execução do método de teste:

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()

Se o método setUp() for bem sucedido, o método tearDown() será executado, independente do resultado do método de teste.

Tal ambiente de trabalho do código de teste é chamado de definição de contexto de teste. Uma nova instância TestCase é criada como uma única definição de contexto de teste usada para executar cada método de teste. Portanto, os métodos setUp(), tearDown(), e __init__() serão chamados uma vez por teste.

É recomendado utilizar implementações de TestCase para agrupar testes de acordo com as funcionalidades que eles testam. unittest disponibiliza um mecanismo para isso: a suíte de testes, representada pela classe TestSuite do módulo unittest. Em grande parte dos casos, chamar unittest.main() é suficiente para coletar todos os casos de teste do módulo e executá-los para você.

Entretanto, caso você queira customizar a construção da sua suíte de testes, é possível fazê-la desta forma:

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_widget_size'))
    suite.addTest(WidgetTestCase('test_widget_resize'))
    return suite

if __name__ == '__main__':
    runner = unittest.TextTestRunner()
    runner.run(suite())

Você pode colocar as definições dos casos de teste e suíte de testes em um mesmo módulo que contém o código a ser testado (tal como widget.py), mas existem várias vantagens ao colocar o código dos testes em um módulo separado, como test_widget.py:

O módulo de teste pode ser executado de maneira isolada a partir da linha de comando.

O código de teste pode ser mais facilmente separado do código a ser entregue.

Há uma menor tentação para modificar o código de teste para que ele se adéque ao código testado sem que haja uma boa razão.

O código de teste deve ser modificado muito menos frequentemente do que o código que ele testa.

Código testado pode ser reformulado mais facilmente.

Testes para módulos escritos em C devem ser, obrigatoriamente, colocados em módulos separados, então por que não manter a consistência?

Se as estratégias de teste mudarem, não há a necessidade de mudar o código-fonte.

Reutilizando códigos de teste antigos

Alguns usuários irão encontrar antigos códigos de teste que eles gostariam de executar com unittest sem converter cada função antiga para uma subclasse de TestCase.

Por isso, unittest contém uma classe FunctionTestCase. Esta subclasse de TestCase pode ser utilizada para englobar funções de teste existentes. Funções de definição de estado inicial e final (set-up e tear-down) também podem ser fornecidas.

Dadas as seguintes funções de teste:

def testSomething():
    something = makeSomething()
    assert something.name is not None
    # ...

é possível criar uma instância de caso de teste, com métodos opcionais de configuração inicial e final (set-up e tear-down), como mostrado a seguir:

testcase = unittest.FunctionTestCase(testSomething,
                                     setUp=makeSomethingDB,
                                     tearDown=deleteSomethingDB)

Nota

Apesar da classe FunctionTestCase poder ser utilizada para converter rapidamente um teste existente em um teste do módulo unittest, esta abordagem não é recomendada. Investir tempo para configurar corretamente uma subclasse de TestCase irá tornar futuras refatorações infinitamente mais fáceis.

Em alguns casos, os testes existentes podem ter sido escritos utilizando o módulo doctest. Se for o caso, doctest contém a classe DocTestSuite que pode construir, automaticamente, instâncias unittest.TestSuite a partir dos testes baseados em doctest.

Ignorando testes e falhas esperadas

Adicionado na versão 3.1.

Unittest suporta ignorar métodos de teste individuais e, até mesmo, classes de teste inteiras. Além disso, há suporte para a marcação de um teste como uma “falha esperada”, um teste que está incorreto e irá falhar, mas não deve ser considerado como uma falha no TestResult.

Ignorar um teste é simplesmente uma questão de utilizar o decorador skip() ou uma de suas variantes condicionais, chamando TestCase.skipTest() em um setUp() ou método de teste, ou levantando SkipTest diretamente.

Ignorar se parece basicamente com:

class MyTestCase(unittest.TestCase):

    @unittest.skip("demonstrating skipping")
    def test_nothing(self):
        self.fail("shouldn't happen")

    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "not supported in this library version")
    def test_format(self):
        # Tests that work for only a certain version of the library.
        pass

    @unittest.skipUnless(sys.platform.startswith("win"), "requires Windows")
    def test_windows_support(self):
        # windows specific testing code
        pass

    def test_maybe_skipped(self):
        if not external_resource_available():
            self.skipTest("external resource not available")
        # test code that depends on the external resource
        pass

Esta é a saída da execução do exemplo acima em modo verboso:

test_format (__main__.MyTestCase.test_format) ... skipped 'not supported in this library version'
test_nothing (__main__.MyTestCase.test_nothing) ... skipped 'demonstrating skipping'
test_maybe_skipped (__main__.MyTestCase.test_maybe_skipped) ... skipped 'external resource not available'
test_windows_support (__main__.MyTestCase.test_windows_support) ... skipped 'requires Windows'

----------------------------------------------------------------------
Ran 4 tests in 0.005s

OK (skipped=4)

Classes podem ser puladas assim como métodos:

@unittest.skip("showing class skipping")
class MySkippedTestCase(unittest.TestCase):
    def test_not_run(self):
        pass

TestCase.setUp() também pode ignorar o teste. Isso é útil quando um recurso que precisa ser configurado não está disponível.

Falhas esperadas usam o decorador expectedFailure():

class ExpectedFailureTestCase(unittest.TestCase):
    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "broken")

É simples ignorar com decoradores customizados, basta fazer um decorador que chama skip() no teste quando ele deve ser ignorado. Este decorador ignora o teste a não ser que o objeto fornecido tenha um determinado atributo:

def skipUnlessHasattr(obj, attr):
    if hasattr(obj, attr):
        return lambda func: func
    return unittest.skip("{!r} doesn't have {!r}".format(obj, attr))

Os decoradores e exceção seguintes ignoram testes e falhas esperadas:

@unittest.skip(reason)

Ignora incondicionalmente o teste decorado. reason deve descrever a razão pela qual o teste está sendo ignorado.

@unittest.skipIf(condition, reason)

Ignora o teste decorado se condition for verdadeiro.

@unittest.skipUnless(condition, reason)

Ignora o teste decorado a não ser que condition seja verdadeiro.

@unittest.expectedFailure

Marca o teste como uma falha ou erro esperado. Se o teste falhar ou ocorrerem erros na função de teste mesmo (ao invés de em um dos métodos test fixture), então ele será considerado como executado com sucesso. Se o teste passar, ele será considerado como uma falha.

exception unittest.SkipTest(reason)

Esta exceção é levantada para ignorar um teste.

Normalmente, você pode utilizar TestCase.skipTest() ou um dos decoradores para ignorar sem ter de levantar esta exceção diretamente.

Testes ignorados não terão seus métodos setUp() ou tearDown() executados. Classes ignoradas não terão seus métodos setUpClass() ou tearDownClass() executados. Módulos ignorados não terão seus métodos setUpModule() ou tearDownModule() executados.

Distinguindo iterações de teste utilizando subtestes

Adicionado na versão 3.4.

Quando existem pequenas diferenças entre os seus testes, por exemplo alguns parâmetros, unittest permite que você distinga-os dentro do corpo de um método de teste utilizando o gerenciador de contexto subTest().

Por exemplo, o teste seguinte:

class NumbersTest(unittest.TestCase):

    def test_even(self):
        """
        Test that numbers between 0 and 5 are all even.
        """
        for i in range(0, 6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

irá produzir a seguinte saída:

======================================================================
FAIL: test_even (__main__.NumbersTest.test_even) (i=1)
Test that numbers between 0 and 5 are all even.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 11, in test_even
    self.assertEqual(i % 2, 0)
    ^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: 1 != 0

======================================================================
FAIL: test_even (__main__.NumbersTest.test_even) (i=3)
Test that numbers between 0 and 5 are all even.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 11, in test_even
    self.assertEqual(i % 2, 0)
    ^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: 1 != 0

======================================================================
FAIL: test_even (__main__.NumbersTest.test_even) (i=5)
Test that numbers between 0 and 5 are all even.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 11, in test_even
    self.assertEqual(i % 2, 0)
    ^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: 1 != 0

Sem usar um subteste, a execução para depois da primeira falha e o erro será menos fácil de ser diagnosticado porque o valor de i não será mostrado:

======================================================================
FAIL: test_even (__main__.NumbersTest.test_even)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

Classes e funções

Esta seção descreve de maneira aprofundada a API do módulo unittest.

Casos de teste

class unittest.TestCase(methodName='runTest')

Instâncias da classe TestCase representam unidades lógicas de teste no universo do unittest. Esta classe deve ser utilizada como classe base, com testes específicos sendo implementados por subclasses concretas. Esta classe implementa a interface requerida pelo executor de testes, para permitir o controle dos testes, e métodos que o código de teste pode utilizar para checar e reportar diversos tipos de falhas.

Cada instância da classe TestCase irá executar um único método base: o método chamado methodName. Em muitos casos de uso da classe TestCase, você não precisará modificar o methodName ou reimplementar o método runTest() padrão.

Alterado na versão 3.2: TestCase pode ser instanciada com sucesso sem fornecer um methodName. Isso torna mais fácil experimentar com TestCase a partir de um interpretador interativo.

Instâncias TestCase possuem três grupos de métodos: um grupo utilizado para executar o teste, outro utilizado pela implementação do teste para checar as condições e reportar falhas, e alguns métodos de investigação para permitir coletar dados sobre o teste em si.

Os métodos do primeiro grupo (que executam os testes) são:

setUp()

Método chamado para preparar a definição de contexto de teste. Chamado imediatamente após chamar o método de teste; exceto pelo AssertionError ou SkipTest, qualquer exceção levantada por este método será considerada um erro além de uma simples falha de teste. A implementação padrão não faz nada.

tearDown()

Método chamado imediatamente após o método de teste ter sido chamado e o resultado registrado. Este método é chamado mesmo se o método de teste tiver levantado uma exceção, então a implementação em subclasses deve ser feita com cautela ao verificar o estado interno. Qualquer exceção além de AssertionError ou SkipTest levantada por este método será considerado um erro adicional, e não uma simples falha de teste (que incrementaria o número total de erros no relatório final de testes). Este método será executado apenas se o método setUp() for bem sucedido, independente do resultado do método de teste. A implementação padrão não faz nada.

setUpClass()

Um método de classe chamado antes da execução dos testes de uma classe específica. O método setUpClass é chamado com a classe sendo o único argumento e deve ser decorada como um classmethod():

@classmethod
def setUpClass(cls):
    ...

Veja Classes e Módulos de Definição de Contexto para mais detalhes.

Adicionado na versão 3.2.

tearDownClass()

Um método de classe chamado depois da execução dos testes de uma classe específica. O método tearDownClass é chamado com a classe sendo o único argumento e deve ser decorada como um classmethod():

@classmethod
def tearDownClass(cls):
    ...

Veja Classes e Módulos de Definição de Contexto para mais detalhes.

Adicionado na versão 3.2.

run(result=None)

Executa o teste, registrando as informações no objeto resultado TestResult, passado como result. Se result for omitido, ou definido como None, um objeto resultado temporário é criado (chamando o método defaultTestResult()) e utilizado. O objeto resultado é retornado para quem chamou o método run().

O mesmo efeito pode ser obtido ao chamar uma instância da classe TestCase.

Alterado na versão 3.3: Versões anteriores de run não retornavam o resultado. Nem chamando por uma instância.

skipTest(reason)

Ao se executar durante um método de teste ou setUp(), pula o teste em execução. Veja Ignorando testes e falhas esperadas para mais informações.

Adicionado na versão 3.1.

subTest(msg=None, **params)

Retorna um gerenciador de contexto que executa, como subteste, o bloco de código englobado. msg e params são valores opcionais e arbitrários que são mostrados sempre quando um subteste falha, permitindo identificá-los claramente.

Um caso de teste pode conter inúmeras declarações de subteste e elas podem ser aninhadas de forma arbitrária.

Veja Distinguindo iterações de teste utilizando subtestes para mais informações.

Adicionado na versão 3.4.

debug()

Executa o teste sem coletar o resultado. Permite propagar exceções levantadas pelo teste e pode ser utilizado para oferecer suporte aos testes sob um depurador.

A classe TestCase oferece diversos métodos de asserção para checar e reportar falhas. A tabela a seguir lista os métodos mais utilizados (veja as tabelas abaixo para mais métodos de asserção).

Método

Avalia se

Novo em

assertEqual(a, b)

a == b

assertNotEqual(a, b)

a != b

assertTrue(x)

bool(x) is True

assertFalse(x)

bool(x) is False

assertIs(a, b)

a is b

3.1

assertIsNot(a, b)

a is not b

3.1

assertIsNone(x)

x is None

3.1

assertIsNotNone(x)

x is not None

3.1

assertIn(a, b)

a in b

3.1

assertNotIn(a, b)

a not in b

3.1

assertIsInstance(a, b)

isinstance(a, b)

3.2

assertNotIsInstance(a, b)

not isinstance(a, b)

3.2

Todos os métodos de asserção aceitam um argumento msg que, se especificado, é utilizado como a mensagem de erro em caso de falha (veja também longMessage). Note que o argumento nomeado msg pode ser passado para assertRaises(), assertRaisesRegex(), assertWarns() e assertWarnsRegex() apenas quando eles são utilizados como gerenciador de contexto.

assertEqual(first, second, msg=None)

Testa se first e second são iguais. Se o resultado da comparação não indicar igualdade, o teste irá falhar.

Além disso, se first e second são exatamente do mesmo tipo e são uma lista, tupla, dict, set, frozenset, str, ou qualquer outro tipo que é registrado na subclasse com addTypeEqualityFunc(), a função de igualdade específica do tipo é será chamada para gerar uma mensagem de erro mais útil (veja também lista de métodos específicos por tipo)

Alterado na versão 3.1: Adição da chamada automática da função específica por tipo.

Alterado na versão 3.2: método assertMultiLineEqual() adicionado como função de igualdade padrão para o tipo string.

assertNotEqual(first, second, msg=None)

Testa se first e second não são iguais. Se o resultado da comparação indicar igualdade, o teste irá falhar.

assertTrue(expr, msg=None)

assertFalse(expr, msg=None)

Testa se a expressão expr é verdadeira (ou falsa).

Note que isso é equivalente a bool(expr) is True e não a expr is True (use assertIs(expr, True) neste último caso). Este método também deve ser evitado quando outros métodos mais específicos estão disponíveis (e.g. assertEqual(a, b) no lugar de assertTrue(a == b)), já que estes podem ter uma melhor mensagem de erro em caso de falha.

assertIs(first, second, msg=None)

assertIsNot(first, second, msg=None)

Testa que first e second são (ou não são) o mesmo objeto.

Adicionado na versão 3.1.

assertIsNone(expr, msg=None)

assertIsNotNone(expr, msg=None)

Testa se expr é (ou não é) None.

Adicionado na versão 3.1.

assertIn(member, container, msg=None)

assertNotIn(member, container, msg=None)

Testa se member está (ou não está) em container.

Adicionado na versão 3.1.

assertIsInstance(obj, cls, msg=None)

assertNotIsInstance(obj, cls, msg=None)

Testa se obj é (ou não é) uma instância de cls (que pode ser uma classe ou uma tupla de classes, como suportado pela função isinstance()). Para checar pelo tipo exato, use assertIs(type(obj), cls).

Adicionado na versão 3.2.

Também é possível checar a produção de exceções, avisos e mensagens de log usando os seguintes métodos:

Método

Avalia se

Novo em

assertRaises(exc, fun, *args, **kwds)

fun(*args, **kwds) levanta exc

assertRaisesRegex(exc, r, fun, *args, **kwds)

fun(*args, **kwds) levanta exc e a mensagem casa com a expressão regular r

3.1

assertWarns(warn, fun, *args, **kwds)

fun(*args, **kwds) levanta warn

3.2

assertWarnsRegex(warn, r, fun, *args, **kwds)

fun(*args, **kwds) levanta warn e a mensagem casa com a expressão regular r

3.2

assertLogs(logger, level)

O bloco with registra logs no logger com pelo menos um nível level

Módulos para processamento de XML

assertNoLogs(logger, level)

O bloco with não loga em

logger com level mínimo

3.10

assertRaises(exception, callable, *args, **kwds)

assertRaises(exception, *, msg=None)

Testa se uma exceção é levantada quando callable é chamado com quaisquer argumentos nomeados ou posicionais que também são passados para assertRaises(). O teste passa se exception for levantada e falha se outra exceção ou nenhuma exceção for levantada.

Se somente os argumentos exception e, possivelmente, msg forem passados, retorna um gerenciador de contexto para que o código sob teste possa ser escrito de forma embutida ao invés de ser definido como uma função:

with self.assertRaises(SomeException):
    do_something()

Quando utilizado como gerenciador de contexto, assertRaises() aceita o argumento nomeado adicional msg.

O gerenciador de contexto irá armazenar o objeto exceção capturado no seu atributo exception. Isso pode ser útil se a intenção for realizar testes adicionais na exceção levantada:

with self.assertRaises(SomeException) as cm:
    do_something()

the_exception = cm.exception
self.assertEqual(the_exception.error_code, 3)

Alterado na versão 3.1: Adicionada a possibilidade de se utilizar assertRaises() como gerenciador de contexto.

Alterado na versão 3.2: Adicionado o atributo exception.

Alterado na versão 3.3: Adicionado o argumento nomeado msg quando utilizado como gerenciador de contexto.

assertRaisesRegex(exception, regex, callable, *args, **kwds)

assertRaisesRegex(exception, regex, *, msg=None)

Similar ao assertRaises() mas também testa se regex casa com a representação em string da exceção levantada. regex pode ser um objeto expressão regular ou uma string contendo uma expressão regular compatível com o uso pela função re.search(). Exemplos:

self.assertRaisesRegex(ValueError, "invalid literal for.*XYZ'$",
                       int, 'XYZ')

ou:

with self.assertRaisesRegex(ValueError, 'literal'):
   int('XYZ')

Adicionado na versão 3.1: Adicionado com o nome assertRaisesRegexp.

Alterado na versão 3.2: Renomeado para assertRaisesRegex().

Alterado na versão 3.3: Adicionado o argumento nomeado msg quando utilizado como gerenciador de contexto.

assertWarns(warning, callable, *args, **kwds)

assertWarns(warning, *, msg=None)

Testa se o aviso warning é acionado quando callable é chamado com quaisquer argumentos nomeados ou posicionais que também são passados para assertWarns(). O teste passa se warning for acionado e falha se não for. Qualquer exceção é considerada como falha. Para capturar qualquer aviso presente em um grupo de avisos, uma tupla contendo as classes de aviso podem ser passadas como warning.

Se apenas os argumentos warning e, possivelmente, msg forem passados, retorna um gerenciador de contexto para que o código sob teste possa ser escrito de forma embutida ao invés de ser definido como uma função:

with self.assertWarns(SomeWarning):
    do_something()

Quando usado como gerenciador de contexto, assertWarns() aceita o argumento nomeado adicional msg.

O gerenciador de contexto irá armazenar o objeto de aviso capturado no atributo warning e a linha de código fonte que acionou o aviso nos atributos filename e lineno. Isso pode ser útil se a intenção for executar verificações adicionais no aviso capturado:

with self.assertWarns(SomeWarning) as cm:
    do_something()

self.assertIn('myfile.py', cm.filename)
self.assertEqual(320, cm.lineno)

Este método funciona independente dos filtros de aviso configurados no momento em que é chamado.

Adicionado na versão 3.2.

Alterado na versão 3.3: Adicionado o argumento nomeado msg quando utilizado como gerenciador de contexto.

assertWarnsRegex(warning, regex, callable, *args, **kwds)

assertWarnsRegex(warning, regex, *, msg=None)

Similar ao assertWarns() mas também testa se regex casa com a mensagem do aviso acionado. regex pode ser um objeto expressão regular ou uma string contendo uma expressão regular compatível para uso pela função re.search(). Exemplo:

self.assertWarnsRegex(DeprecationWarning,
                      r'legacy_function\(\) is deprecated',
                      legacy_function, 'XYZ')

ou:

with self.assertWarnsRegex(RuntimeWarning, 'unsafe frobnicating'):
    frobnicate('/etc/passwd')

Adicionado na versão 3.2.

Alterado na versão 3.3: Adicionado o argumento nomeado msg quando utilizado como gerenciador de contexto.

assertLogs(logger=None, level=None)

Um gerenciador de contexto para testar se pelo menos uma mensagem é inserida em logger ou em um de seus filhos, com pelo menos um nível level.

Se fornecido, logger deve ser um objeto logging.Logger ou uma str fornecendo o nome de um logger. O padrão é o logger root, o qual irá capturar todas as mensagens que não foram bloqueadas por um logger descendente não-propagante.

If given, level should be either a numeric logging level or its string equivalent (for example either "ERROR" or logging.ERROR). The default is logging.INFO.

O teste passa se pelo menos uma das mensagens emitidas dentro do bloco with casa com as condições dadas por logger e level, falhando caso contrário.

O objeto retornado pelo gerenciador de contexto é um registro auxiliar que mantém os rastros das mensagens de log capturadas de acordo com os critérios dados. Ele possui dois atributos:

records

Uma lista de objetos de log da classe logging.LogRecord que foram compatíveis com os critérios dados.

output

Uma lista de objetos da classe str com a saída formatada das mensagens de log compatíveis com os critérios dados.

Exemplo:

with self.assertLogs('foo', level='INFO') as cm:
    logging.getLogger('foo').info('first message')
    logging.getLogger('foo.bar').error('second message')
self.assertEqual(cm.output, ['INFO:foo:first message',
                             'ERROR:foo.bar:second message'])

Adicionado na versão 3.4.

assertNoLogs(logger=None, level=None)

Um gerenciador de contexto para testar que nenhuma mensagem é logada no logger ou um dos seus filhos, com pelo menos o level fornecido.

Se passado, logger deve ser um objeto da classe logging.Logger ou um objeto da classe str com o nome do registrador de logs. O padrão é o registrador de log raíz, que irá capturar todas as mensagens.

If given, level should be either a numeric logging level or its string equivalent (for example either "ERROR" or logging.ERROR). The default is logging.INFO.

Ao contrário de assertLogs(), nada será retornado pelo gerenciador de contexto.

Adicionado na versão 3.10.

Existem também outros métodos usados para executar verificações mais específicas, como:

Método

Avalia se

Novo em

assertAlmostEqual(a, b)

round(a-b, 7) == 0

assertNotAlmostEqual(a, b)

round(a-b, 7) != 0

assertGreater(a, b)

a > b

3.1

assertGreaterEqual(a, b)

a >= b

3.1

assertLess(a, b)

a < b

3.1

assertLessEqual(a, b)

a <= b

3.1

assertRegex(s, r)

r.search(s)

3.1

assertNotRegex(s, r)

not r.search(s)

3.2

assertCountEqual(a, b)

a e b possuem os mesmos elementos na mesma quantidade, independente da sua ordem.

3.2

assertAlmostEqual(first, second, places=7, msg=None, delta=None)

assertNotAlmostEqual(first, second, places=7, msg=None, delta=None)

Testa se first e second são (ou não são) aproximadamente iguais considerando a diferença entre eles, arredondando para o número de casas decimais dado (7 por padrão), e comparando a zero. Note que estes métodos arredondam os valores considerando o número de casas decimais (i.e. como a função round()) e não o número de algarismos significativos.

Se delta é fornecido no lugar de places, a diferença entre first e second deve ser menor ou igual a (ou maior que) delta.

Passar delta e places ao mesmo tempo levanta a exceção TypeError.

Alterado na versão 3.2: assertAlmostEqual() considera, automaticamente, objetos quase iguais que possuem a comparação de igualdade dada como verdadeira. assertNotAlmostEqual() falha automaticamente se os objetos possuem a comparação de igualdade dada como verdadeira. Adicionado o argumento nomeado delta.

assertGreater(first, second, msg=None)

assertGreaterEqual(first, second, msg=None)

assertLess(first, second, msg=None)

assertLessEqual(first, second, msg=None)

Testa que first é respectivamente >, >=, < ou <= que second, dependendo do nome do método. Se não for, o teste irá falhar:

>>> self.assertGreaterEqual(3, 4)
AssertionError: "3" unexpectedly not greater than or equal to "4"

Adicionado na versão 3.1.

assertRegex(text, regex, msg=None)

assertNotRegex(text, regex, msg=None)

Testa que uma procura por regex corresponde (ou não corresponde) a text. Em caso de falha, a mensagem de erro irá incluir o padrão e o text (ou o padrão e a parte do text que inesperadamente correspondeu). regex pode ser um objeto de expressão regular ou uma string contendo uma expressão regular adequada para uso por re.search().

Adicionado na versão 3.1: Adicionada abaixo do nome assertRegexpMatches.

Alterado na versão 3.2: O método assertRegexpMatches() foi renomeado para assertRegex().

Adicionado na versão 3.2: assertNotRegex().

assertCountEqual(first, second, msg=None)

Test that sequence first contains the same elements as second, regardless of their order. When they don’t, an error message listing the differences between the sequences will be generated.

Elementos duplicados não são ignorados ao comparar first e second. É verificado se cada elemento tem a mesma contagem em ambas sequências. Equivalente a: assertEqual(Counter(list(first)), Counter(list(second))), mas também funciona com sequências de objetos não hasheáveis.

Adicionado na versão 3.2.

The assertEqual() method dispatches the equality check for objects of the same type to different type-specific methods. These methods are already implemented for most of the built-in types, but it’s also possible to register new methods using addTypeEqualityFunc():

addTypeEqualityFunc(typeobj, function)

Registers a type-specific method called by assertEqual() to check if two objects of exactly the same typeobj (not subclasses) compare equal. function must take two positional arguments and a third msg=None keyword argument just as assertEqual() does. It must raise self.failureException(msg) when inequality between the first two parameters is detected – possibly providing useful information and explaining the inequalities in details in the error message.

Adicionado na versão 3.1.

The list of type-specific methods automatically used by assertEqual() are summarized in the following table. Note that it’s usually not necessary to invoke these methods directly.

Método

Usado para comparar

Novo em

assertMultiLineEqual(a, b)

strings

3.1

assertSequenceEqual(a, b)

sequências

3.1

assertListEqual(a, b)

listas

3.1

assertTupleEqual(a, b)

tuplas

3.1

assertSetEqual(a, b)

sets ou frozensets

3.1

assertDictEqual(a, b)

dicionários

3.1

assertMultiLineEqual(first, second, msg=None)

Test that the multiline string first is equal to the string second. When not equal a diff of the two strings highlighting the differences will be included in the error message. This method is used by default when comparing strings with assertEqual().

Adicionado na versão 3.1.

assertSequenceEqual(first, second, msg=None, seq_type=None)

Tests that two sequences are equal. If a seq_type is supplied, both first and second must be instances of seq_type or a failure will be raised. If the sequences are different an error message is constructed that shows the difference between the two.

This method is not called directly by assertEqual(), but it’s used to implement assertListEqual() and assertTupleEqual().

Adicionado na versão 3.1.

assertListEqual(first, second, msg=None)

assertTupleEqual(first, second, msg=None)

Tests that two lists or tuples are equal. If not, an error message is constructed that shows only the differences between the two. An error is also raised if either of the parameters are of the wrong type. These methods are used by default when comparing lists or tuples with assertEqual().

Adicionado na versão 3.1.

assertSetEqual(first, second, msg=None)

Tests that two sets are equal. If not, an error message is constructed that lists the differences between the sets. This method is used by default when comparing sets or frozensets with assertEqual().

Fails if either of first or second does not have a set.difference() method.

Adicionado na versão 3.1.

assertDictEqual(first, second, msg=None)

Test that two dictionaries are equal. If not, an error message is constructed that shows the differences in the dictionaries. This method will be used by default to compare dictionaries in calls to assertEqual().

Adicionado na versão 3.1.

Finally the TestCase provides the following methods and attributes:

fail(msg=None)

Signals a test failure unconditionally, with msg or None for the error message.

failureException

This class attribute gives the exception raised by the test method. If a test framework needs to use a specialized exception, possibly to carry additional information, it must subclass this exception in order to “play fair” with the framework. The initial value of this attribute is AssertionError.

longMessage

This class attribute determines what happens when a custom failure message is passed as the msg argument to an assertXYY call that fails. True is the default value. In this case, the custom message is appended to the end of the standard failure message. When set to False, the custom message replaces the standard message.

The class setting can be overridden in individual test methods by assigning an instance attribute, self.longMessage, to True or False before calling the assert methods.

The class setting gets reset before each test call.

Adicionado na versão 3.1.

maxDiff

This attribute controls the maximum length of diffs output by assert methods that report diffs on failure. It defaults to 80*8 characters. Assert methods affected by this attribute are assertSequenceEqual() (including all the sequence comparison methods that delegate to it), assertDictEqual() and assertMultiLineEqual().

Setting maxDiff to None means that there is no maximum length of diffs.

Adicionado na versão 3.2.

Frameworks de teste podem usar os seguintes métodos para coletar informações sobre o teste:

countTestCases()

Retorna o número de testes representados por esse objeto de teste. Para instâncias TestCase será sempre 1.

defaultTestResult()

Return an instance of the test result class that should be used for this test case class (if no other result instance is provided to the run() method).

For TestCase instances, this will always be an instance of TestResult; subclasses of TestCase should override this as necessary.

id()

Retorna uma string identificando o caso de teste específico. Geralmente é o nome completo do método do teste, incluindo o módulo e o nome da classe.

shortDescription()

Retorna uma descrição do teste ou None se nenhuma descrição for fornecida. A implementação padrão desse método retorna a primeira linha da docstring do método do teste, se disponível, ou None.

Alterado na versão 3.1: In 3.1 this was changed to add the test name to the short description even in the presence of a docstring. This caused compatibility issues with unittest extensions and adding the test name was moved to the TextTestResult in Python 3.2.

addCleanup(function, /, *args, **kwargs)

Add a function to be called after tearDown() to cleanup resources used during the test. Functions will be called in reverse order to the order they are added (LIFO). They are called with any arguments and keyword arguments passed into addCleanup() when they are added.

If setUp() fails, meaning that tearDown() is not called, then any cleanup functions added will still be called.

Adicionado na versão 3.1.

enterContext(cm)

Enter the supplied context manager. If successful, also add its __exit__() method as a cleanup function by addCleanup() and return the result of the __enter__() method.

Adicionado na versão 3.11.

doCleanups()

This method is called unconditionally after tearDown(), or after setUp() if setUp() raises an exception.

It is responsible for calling all the cleanup functions added by addCleanup(). If you need cleanup functions to be called prior to tearDown() then you can call doCleanups() yourself.

doCleanups() pops methods off the stack of cleanup functions one at a time, so it can be called at any time.

Adicionado na versão 3.1.

classmethod addClassCleanup(function, /, *args, **kwargs)

Add a function to be called after tearDownClass() to cleanup resources used during the test class. Functions will be called in reverse order to the order they are added (LIFO). They are called with any arguments and keyword arguments passed into addClassCleanup() when they are added.

If setUpClass() fails, meaning that tearDownClass() is not called, then any cleanup functions added will still be called.

Adicionado na versão 3.8.

classmethod enterClassContext(cm)

Enter the supplied context manager. If successful, also add its __exit__() method as a cleanup function by addClassCleanup() and return the result of the __enter__() method.

Adicionado na versão 3.11.

classmethod doClassCleanups()

This method is called unconditionally after tearDownClass(), or after setUpClass() if setUpClass() raises an exception.

It is responsible for calling all the cleanup functions added by addClassCleanup(). If you need cleanup functions to be called prior to tearDownClass() then you can call doClassCleanups() yourself.

doClassCleanups() pops methods off the stack of cleanup functions one at a time, so it can be called at any time.

Adicionado na versão 3.8.

class unittest.IsolatedAsyncioTestCase(methodName='runTest')

This class provides an API similar to TestCase and also accepts coroutines as test functions.

Adicionado na versão 3.8.

loop_factory

The loop_factory passed to asyncio.Runner. Override in subclasses with asyncio.EventLoop to avoid using the asyncio policy system.

Adicionado na versão 3.13.

coroutine asyncSetUp()

Method called to prepare the test fixture. This is called after setUp(). This is called immediately before calling the test method; other than AssertionError or SkipTest, any exception raised by this method will be considered an error rather than a test failure. The default implementation does nothing.

coroutine asyncTearDown()

Method called immediately after the test method has been called and the result recorded. This is called before tearDown(). This is called even if the test method raised an exception, so the implementation in subclasses may need to be particularly careful about checking internal state. Any exception, other than AssertionError or SkipTest, raised by this method will be considered an additional error rather than a test failure (thus increasing the total number of reported errors). This method will only be called if the asyncSetUp() succeeds, regardless of the outcome of the test method. The default implementation does nothing.

addAsyncCleanup(function, /, *args, **kwargs)

This method accepts a coroutine that can be used as a cleanup function.

coroutine enterAsyncContext(cm)

Enter the supplied asynchronous context manager. If successful, also add its __aexit__() method as a cleanup function by addAsyncCleanup() and return the result of the __aenter__() method.

Adicionado na versão 3.11.

run(result=None)

Sets up a new event loop to run the test, collecting the result into the TestResult object passed as result. If result is omitted or None, a temporary result object is created (by calling the defaultTestResult() method) and used. The result object is returned to run()’s caller. At the end of the test all the tasks in the event loop are cancelled.

An example illustrating the order:

from unittest import IsolatedAsyncioTestCase

events = []

class Test(IsolatedAsyncioTestCase):

    def setUp(self):
        events.append("setUp")

    async def asyncSetUp(self):
        self._async_connection = await AsyncConnection()
        events.append("asyncSetUp")

    async def test_response(self):
        events.append("test_response")
        response = await self._async_connection.get("https://example.com")
        self.assertEqual(response.status_code, 200)
        self.addAsyncCleanup(self.on_cleanup)

    def tearDown(self):
        events.append("tearDown")

    async def asyncTearDown(self):
        await self._async_connection.close()
        events.append("asyncTearDown")

    async def on_cleanup(self):
        events.append("cleanup")

if __name__ == "__main__":
    unittest.main()

After running the test, events would contain ["setUp", "asyncSetUp", "test_response", "asyncTearDown", "tearDown", "cleanup"].

class unittest.FunctionTestCase(testFunc, setUp=None, tearDown=None, description=None)

This class implements the portion of the TestCase interface which allows the test runner to drive the test, but does not provide the methods which test code can use to check and report errors. This is used to create test cases using legacy test code, allowing it to be integrated into a unittest-based test framework.

Grouping tests

class unittest.TestSuite(tests=())

This class represents an aggregation of individual test cases and test suites. The class presents the interface needed by the test runner to allow it to be run as any other test case. Running a TestSuite instance is the same as iterating over the suite, running each test individually.

If tests is given, it must be an iterable of individual test cases or other test suites that will be used to build the suite initially. Additional methods are provided to add test cases and suites to the collection later on.

TestSuite objects behave much like TestCase objects, except they do not actually implement a test. Instead, they are used to aggregate tests into groups of tests that should be run together. Some additional methods are available to add tests to TestSuite instances:

addTest(test)

Add a TestCase or TestSuite to the suite.

addTests(tests)

Add all the tests from an iterable of TestCase and TestSuite instances to this test suite.

This is equivalent to iterating over tests, calling addTest() for each element.

TestSuite shares the following methods with TestCase:

run(result)

Run the tests associated with this suite, collecting the result into the test result object passed as result. Note that unlike TestCase.run(), TestSuite.run() requires the result object to be passed in.

debug()

Run the tests associated with this suite without collecting the result. This allows exceptions raised by the test to be propagated to the caller and can be used to support running tests under a debugger.

countTestCases()

Return the number of tests represented by this test object, including all individual tests and sub-suites.

__iter__()

Tests grouped by a TestSuite are always accessed by iteration. Subclasses can lazily provide tests by overriding __iter__(). Note that this method may be called several times on a single suite (for example when counting tests or comparing for equality) so the tests returned by repeated iterations before TestSuite.run() must be the same for each call iteration. After TestSuite.run(), callers should not rely on the tests returned by this method unless the caller uses a subclass that overrides TestSuite._removeTestAtIndex() to preserve test references.

Alterado na versão 3.2: In earlier versions the TestSuite accessed tests directly rather than through iteration, so overriding __iter__() wasn’t sufficient for providing tests.

Alterado na versão 3.4: In earlier versions the TestSuite held references to each TestCase after TestSuite.run(). Subclasses can restore that behavior by overriding TestSuite._removeTestAtIndex().

In the typical usage of a TestSuite object, the run() method is invoked by a TestRunner rather than by the end-user test harness.

Carregando e executando testes

class unittest.TestLoader

The TestLoader class is used to create test suites from classes and modules. Normally, there is no need to create an instance of this class; the unittest module provides an instance that can be shared as unittest.defaultTestLoader. Using a subclass or instance, however, allows customization of some configurable properties.

Objetos da classe TestLoader possuem os seguintes atributos:

errors

A list of the non-fatal errors encountered while loading tests. Not reset by the loader at any point. Fatal errors are signalled by the relevant method raising an exception to the caller. Non-fatal errors are also indicated by a synthetic test that will raise the original error when run.

Adicionado na versão 3.5.

Objetos da classe TestLoader possuem os seguintes métodos:

loadTestsFromTestCase(testCaseClass)

Return a suite of all test cases contained in the TestCase-derived testCaseClass.

A test case instance is created for each method named by getTestCaseNames(). By default these are the method names beginning with test. If getTestCaseNames() returns no methods, but the runTest() method is implemented, a single test case is created for that method instead.

loadTestsFromModule(module, *, pattern=None)

Return a suite of all test cases contained in the given module. This method searches module for classes derived from TestCase and creates an instance of the class for each test method defined for the class.

Nota

While using a hierarchy of TestCase-derived classes can be convenient in sharing fixtures and helper functions, defining test methods on base classes that are not intended to be instantiated directly does not play well with this method. Doing so, however, can be useful when the fixtures are different and defined in subclasses.

If a module provides a load_tests function it will be called to load the tests. This allows modules to customize test loading. This is the load_tests protocol. The pattern argument is passed as the third argument to load_tests.

Alterado na versão 3.2: Suporte para load_tests adicionado.

Alterado na versão 3.5: Support for a keyword-only argument pattern has been added.

Alterado na versão 3.12: The undocumented and unofficial use_load_tests parameter has been removed.

loadTestsFromName(name, module=None)

Return a suite of all test cases given a string specifier.

The specifier name is a “dotted name” that may resolve either to a module, a test case class, a test method within a test case class, a TestSuite instance, or a callable object which returns a TestCase or TestSuite instance. These checks are applied in the order listed here; that is, a method on a possible test case class will be picked up as “a test method within a test case class”, rather than “a callable object”.

For example, if you have a module SampleTests containing a TestCase-derived class SampleTestCase with three test methods (test_one(), test_two(), and test_three()), the specifier 'SampleTests.SampleTestCase' would cause this method to return a suite which will run all three test methods. Using the specifier 'SampleTests.SampleTestCase.test_two' would cause it to return a test suite which will run only the test_two() test method. The specifier can refer to modules and packages which have not been imported; they will be imported as a side-effect.

O método opcionalmente resolve o nome relativo ao módulo dado.

Alterado na versão 3.5: If an ImportError or AttributeError occurs while traversing name then a synthetic test that raises that error when run will be returned. These errors are included in the errors accumulated by self.errors.

loadTestsFromNames(names, module=None)

Similar to loadTestsFromName(), but takes a sequence of names rather than a single name. The return value is a test suite which supports all the tests defined for each name.

getTestCaseNames(testCaseClass)

Return a sorted sequence of method names found within testCaseClass; this should be a subclass of TestCase.

discover(start_dir, pattern='test*.py', top_level_dir=None)

Find all the test modules by recursing into subdirectories from the specified start directory, and return a TestSuite object containing them. Only test files that match pattern will be loaded. (Using shell style pattern matching.) Only module names that are importable (i.e. are valid Python identifiers) will be loaded.

All test modules must be importable from the top level of the project. If the start directory is not the top level directory then top_level_dir must be specified separately.

If importing a module fails, for example due to a syntax error, then this will be recorded as a single error and discovery will continue. If the import failure is due to SkipTest being raised, it will be recorded as a skip instead of an error.

If a package (a directory containing a file named __init__.py) is found, the package will be checked for a load_tests function. If this exists then it will be called package.load_tests(loader, tests, pattern). Test discovery takes care to ensure that a package is only checked for tests once during an invocation, even if the load_tests function itself calls loader.discover.

If load_tests exists then discovery does not recurse into the package, load_tests is responsible for loading all tests in the package.

The pattern is deliberately not stored as a loader attribute so that packages can continue discovery themselves.

top_level_dir is stored internally, and used as a default to any nested calls to discover(). That is, if a package’s load_tests calls loader.discover(), it does not need to pass this argument.

start_dir can be a dotted module name as well as a directory.

Adicionado na versão 3.2.

Alterado na versão 3.4: Modules that raise SkipTest on import are recorded as skips, not errors.

Alterado na versão 3.4: start_dir can be a namespace packages.

Alterado na versão 3.4: Paths are sorted before being imported so that execution order is the same even if the underlying file system’s ordering is not dependent on file name.

Alterado na versão 3.5: Found packages are now checked for load_tests regardless of whether their path matches pattern, because it is impossible for a package name to match the default pattern.

Alterado na versão 3.11: start_dir can not be a namespace packages. It has been broken since Python 3.7 and Python 3.11 officially remove it.

Alterado na versão 3.13: top_level_dir is only stored for the duration of discover call.

The following attributes of a TestLoader can be configured either by subclassing or assignment on an instance:

testMethodPrefix

String giving the prefix of method names which will be interpreted as test methods. The default value is 'test'.

This affects getTestCaseNames() and all the loadTestsFrom* methods.

sortTestMethodsUsing

Function to be used to compare method names when sorting them in getTestCaseNames() and all the loadTestsFrom* methods.

suiteClass

Callable object that constructs a test suite from a list of tests. No methods on the resulting object are needed. The default value is the TestSuite class.

This affects all the loadTestsFrom* methods.

testNamePatterns

List of Unix shell-style wildcard test name patterns that test methods have to match to be included in test suites (see -k option).

If this attribute is not None (the default), all test methods to be included in test suites must match one of the patterns in this list. Note that matches are always performed using fnmatch.fnmatchcase(), so unlike patterns passed to the -k option, simple substring patterns will have to be converted using * wildcards.

This affects all the loadTestsFrom* methods.

Adicionado na versão 3.7.

class unittest.TestResult

This class is used to compile information about which tests have succeeded and which have failed.

A TestResult object stores the results of a set of tests. The TestCase and TestSuite classes ensure that results are properly recorded; test authors do not need to worry about recording the outcome of tests.

Testing frameworks built on top of unittest may want access to the TestResult object generated by running a set of tests for reporting purposes; a TestResult instance is returned by the TestRunner.run() method for this purpose.

TestResult instances have the following attributes that will be of interest when inspecting the results of running a set of tests:

errors

A list containing 2-tuples of TestCase instances and strings holding formatted tracebacks. Each tuple represents a test which raised an unexpected exception.

failures

A list containing 2-tuples of TestCase instances and strings holding formatted tracebacks. Each tuple represents a test where a failure was explicitly signalled using the assert* methods.

skipped

A list containing 2-tuples of TestCase instances and strings holding the reason for skipping the test.

Adicionado na versão 3.1.

expectedFailures

A list containing 2-tuples of TestCase instances and strings holding formatted tracebacks. Each tuple represents an expected failure or error of the test case.

unexpectedSuccesses

A list containing TestCase instances that were marked as expected failures, but succeeded.

collectedDurations

A list containing 2-tuples of test case names and floats representing the elapsed time of each test which was run.

Adicionado na versão 3.12.

shouldStop

Set to True when the execution of tests should stop by stop().

testsRun

The total number of tests run so far.

buffer

If set to true, sys.stdout and sys.stderr will be buffered in between startTest() and stopTest() being called. Collected output will only be echoed onto the real sys.stdout and sys.stderr if the test fails or errors. Any output is also attached to the failure / error message.

Adicionado na versão 3.2.

failfast

Se definido como true (verdadeiro) stop() será chamado na primeira falha ou erro, interrompendo a execução do teste.

Adicionado na versão 3.2.

tb_locals

If set to true then local variables will be shown in tracebacks.

Adicionado na versão 3.5.

wasSuccessful()

Return True if all tests run so far have passed, otherwise returns False.

Alterado na versão 3.4: Returns False if there were any unexpectedSuccesses from tests marked with the expectedFailure() decorator.

stop()

This method can be called to signal that the set of tests being run should be aborted by setting the shouldStop attribute to True. TestRunner objects should respect this flag and return without running any additional tests.

For example, this feature is used by the TextTestRunner class to stop the test framework when the user signals an interrupt from the keyboard. Interactive tools which provide TestRunner implementations can use this in a similar manner.

The following methods of the TestResult class are used to maintain the internal data structures, and may be extended in subclasses to support additional reporting requirements. This is particularly useful in building tools which support interactive reporting while tests are being run.

startTest(test)

Called when the test case test is about to be run.

stopTest(test)

Called after the test case test has been executed, regardless of the outcome.

startTestRun()

Called once before any tests are executed.

Adicionado na versão 3.1.

stopTestRun()

Called once after all tests are executed.

Adicionado na versão 3.1.

addError(test, err)

Called when the test case test raises an unexpected exception. err is a tuple of the form returned by sys.exc_info(): (type, value, traceback).

The default implementation appends a tuple (test, formatted_err) to the instance’s errors attribute, where formatted_err is a formatted traceback derived from err.

addFailure(test, err)

Called when the test case test signals a failure. err is a tuple of the form returned by sys.exc_info(): (type, value, traceback).

The default implementation appends a tuple (test, formatted_err) to the instance’s failures attribute, where formatted_err is a formatted traceback derived from err.

addSuccess(test)

Called when the test case test succeeds.

The default implementation does nothing.

addSkip(test, reason)

Called when the test case test is skipped. reason is the reason the test gave for skipping.

The default implementation appends a tuple (test, reason) to the instance’s skipped attribute.

addExpectedFailure(test, err)

Called when the test case test fails or errors, but was marked with the expectedFailure() decorator.

The default implementation appends a tuple (test, formatted_err) to the instance’s expectedFailures attribute, where formatted_err is a formatted traceback derived from err.

addUnexpectedSuccess(test)

Called when the test case test was marked with the expectedFailure() decorator, but succeeded.

The default implementation appends the test to the instance’s unexpectedSuccesses attribute.

addSubTest(test, subtest, outcome)

Called when a subtest finishes. test is the test case corresponding to the test method. subtest is a custom TestCase instance describing the subtest.

If outcome is None, the subtest succeeded. Otherwise, it failed with an exception where outcome is a tuple of the form returned by sys.exc_info(): (type, value, traceback).

The default implementation does nothing when the outcome is a success, and records subtest failures as normal failures.

Adicionado na versão 3.4.

addDuration(test, elapsed)

Called when the test case finishes. elapsed is the time represented in seconds, and it includes the execution of cleanup functions.

Adicionado na versão 3.12.

class unittest.TextTestResult(stream, descriptions, verbosity, *, durations=None)

A concrete implementation of TestResult used by the TextTestRunner. Subclasses should accept **kwargs to ensure compatibility as the interface changes.

Adicionado na versão 3.2.

Alterado na versão 3.12: Added the durations keyword parameter.

unittest.defaultTestLoader

Instance of the TestLoader class intended to be shared. If no customization of the TestLoader is needed, this instance can be used instead of repeatedly creating new instances.

class unittest.TextTestRunner(stream=None, descriptions=True, verbosity=1, failfast=False, buffer=False, resultclass=None, warnings=None, *, tb_locals=False, durations=None)

A basic test runner implementation that outputs results to a stream. If stream is None, the default, sys.stderr is used as the output stream. This class has a few configurable parameters, but is essentially very simple. Graphical applications which run test suites should provide alternate implementations. Such implementations should accept **kwargs as the interface to construct runners changes when features are added to unittest.

By default this runner shows DeprecationWarning, PendingDeprecationWarning, ResourceWarning and ImportWarning even if they are ignored by default. This behavior can be overridden using Python’s -Wd or -Wa options (see Warning control) and leaving warnings to None.

Alterado na versão 3.2: Added the warnings parameter.

Alterado na versão 3.2: The default stream is set to sys.stderr at instantiation time rather than import time.

Alterado na versão 3.5: Added the tb_locals parameter.

Alterado na versão 3.12: Added the durations parameter.

_makeResult()

This method returns the instance of TestResult used by run(). It is not intended to be called directly, but can be overridden in subclasses to provide a custom TestResult.

_makeResult() instantiates the class or callable passed in the TextTestRunner constructor as the resultclass argument. It defaults to TextTestResult if no resultclass is provided. The result class is instantiated with the following arguments:

stream, descriptions, verbosity

run(test)

This method is the main public interface to the TextTestRunner. This method takes a TestSuite or TestCase instance. A TestResult is created by calling _makeResult() and the test(s) are run and the results printed to stdout.

unittest.main(module='__main__', defaultTest=None, argv=None, testRunner=None, testLoader=unittest.defaultTestLoader, exit=True, verbosity=1, failfast=None, catchbreak=None, buffer=None, warnings=None)

A command-line program that loads a set of tests from module and runs them; this is primarily for making test modules conveniently executable. The simplest use for this function is to include the following line at the end of a test script:

if __name__ == '__main__':
    unittest.main()

You can run tests with more detailed information by passing in the verbosity argument:

if __name__ == '__main__':
    unittest.main(verbosity=2)

The defaultTest argument is either the name of a single test or an iterable of test names to run if no test names are specified via argv. If not specified or None and no test names are provided via argv, all tests found in module are run.

O argumento argv pode ser uma lista de opções passada para o programa, com o primeiro elemento sendo o nome do programa. Se não for especificado ou for None, os valores de sys.argv são usados.

The testRunner argument can either be a test runner class or an already created instance of it. By default main calls sys.exit() with an exit code indicating success (0) or failure (1) of the tests run. An exit code of 5 indicates that no tests were run or skipped.

The testLoader argument has to be a TestLoader instance, and defaults to defaultTestLoader.

main supports being used from the interactive interpreter by passing in the argument exit=False. This displays the result on standard output without calling sys.exit():

>>> from unittest import main
>>> main(module='test_module', exit=False)

The failfast, catchbreak and buffer parameters have the same effect as the same-name command-line options.

The warnings argument specifies the warning filter that should be used while running the tests. If it’s not specified, it will remain None if a -W option is passed to python (see Warning control), otherwise it will be set to 'default'.

Calling main returns an object with the result attribute that contains the result of the tests run as a unittest.TestResult.

Alterado na versão 3.1: The exit parameter was added.

Alterado na versão 3.2: The verbosity, failfast, catchbreak, buffer and warnings parameters were added.

Alterado na versão 3.4: The defaultTest parameter was changed to also accept an iterable of test names.

load_tests Protocol

Adicionado na versão 3.2.

Modules or packages can customize how tests are loaded from them during normal test runs or test discovery by implementing a function called load_tests.

If a test module defines load_tests it will be called by TestLoader.loadTestsFromModule() with the following arguments:

load_tests(loader, standard_tests, pattern)

where pattern is passed straight through from loadTestsFromModule. It defaults to None.

It should return a TestSuite.

loader is the instance of TestLoader doing the loading. standard_tests are the tests that would be loaded by default from the module. It is common for test modules to only want to add or remove tests from the standard set of tests. The third argument is used when loading packages as part of test discovery.

A typical load_tests function that loads tests from a specific set of TestCase classes may look like:

test_cases = (TestCase1, TestCase2, TestCase3)

def load_tests(loader, tests, pattern):
    suite = TestSuite()
    for test_class in test_cases:
        tests = loader.loadTestsFromTestCase(test_class)
        suite.addTests(tests)
    return suite

If discovery is started in a directory containing a package, either from the command line or by calling TestLoader.discover(), then the package __init__.py will be checked for load_tests. If that function does not exist, discovery will recurse into the package as though it were just another directory. Otherwise, discovery of the package’s tests will be left up to load_tests which is called with the following arguments:

load_tests(loader, standard_tests, pattern)

This should return a TestSuite representing all the tests from the package. (standard_tests will only contain tests collected from __init__.py.)

Because the pattern is passed into load_tests the package is free to continue (and potentially modify) test discovery. A ‘do nothing’ load_tests function for a test package would look like:

def load_tests(loader, standard_tests, pattern):
    # top level directory cached on loader instance
    this_dir = os.path.dirname(__file__)
    package_tests = loader.discover(start_dir=this_dir, pattern=pattern)
    standard_tests.addTests(package_tests)
    return standard_tests

Alterado na versão 3.5: Discovery no longer checks package names for matching pattern due to the impossibility of package names matching the default pattern.

Classes e Módulos de Definição de Contexto

Definições de contexto em um nível de classe e módulo são implementadas na classe TestSuite. Quando a suíte de testes encontrar um teste de uma nova classe, o método tearDownClass() da classe anterior (se houver alguma) é chamado logo antes da chamada do método setUpClass() da nova classe.

Similarly if a test is from a different module from the previous test then tearDownModule from the previous module is run, followed by setUpModule from the new module.

Após executar todos os testes, haverá a execução final do tearDownClass e do tearDownModule.

Note that shared fixtures do not play well with [potential] features like test parallelization and they break test isolation. They should be used with care.

The default ordering of tests created by the unittest test loaders is to group all tests from the same modules and classes together. This will lead to setUpClass / setUpModule (etc) being called exactly once per class and module. If you randomize the order, so that tests from different modules and classes are adjacent to each other, then these shared fixture functions may be called multiple times in a single test run.

Shared fixtures are not intended to work with suites with non-standard ordering. A BaseTestSuite still exists for frameworks that don’t want to support shared fixtures.

If there are any exceptions raised during one of the shared fixture functions the test is reported as an error. Because there is no corresponding test instance an _ErrorHolder object (that has the same interface as a TestCase) is created to represent the error. If you are just using the standard unittest test runner then this detail doesn’t matter, but if you are a framework author it may be relevant.

setUpClass and tearDownClass

These must be implemented as class methods:

import unittest

class Test(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls._connection = createExpensiveConnectionObject()

    @classmethod
    def tearDownClass(cls):
        cls._connection.destroy()

If you want the setUpClass and tearDownClass on base classes called then you must call up to them yourself. The implementations in TestCase are empty.

If an exception is raised during a setUpClass then the tests in the class are not run and the tearDownClass is not run. Skipped classes will not have setUpClass or tearDownClass run. If the exception is a SkipTest exception then the class will be reported as having been skipped instead of as an error.

setUpModule and tearDownModule

These should be implemented as functions:

def setUpModule():
    createConnection()

def tearDownModule():
    closeConnection()

If an exception is raised in a setUpModule then none of the tests in the module will be run and the tearDownModule will not be run. If the exception is a SkipTest exception then the module will be reported as having been skipped instead of as an error.

To add cleanup code that must be run even in the case of an exception, use addModuleCleanup:

unittest.addModuleCleanup(function, /, *args, **kwargs)

Add a function to be called after tearDownModule() to cleanup resources used during the test class. Functions will be called in reverse order to the order they are added (LIFO). They are called with any arguments and keyword arguments passed into addModuleCleanup() when they are added.

If setUpModule() fails, meaning that tearDownModule() is not called, then any cleanup functions added will still be called.

Adicionado na versão 3.8.

classmethod unittest.enterModuleContext(cm)

Enter the supplied context manager. If successful, also add its __exit__() method as a cleanup function by addModuleCleanup() and return the result of the __enter__() method.

Adicionado na versão 3.11.

unittest.doModuleCleanups()

This function is called unconditionally after tearDownModule(), or after setUpModule() if setUpModule() raises an exception.

It is responsible for calling all the cleanup functions added by addModuleCleanup(). If you need cleanup functions to be called prior to tearDownModule() then you can call doModuleCleanups() yourself.

doModuleCleanups() pops methods off the stack of cleanup functions one at a time, so it can be called at any time.

Adicionado na versão 3.8.

Tratamento de sinal

Adicionado na versão 3.2.

The -c/--catch command-line option to unittest, along with the catchbreak parameter to unittest.main(), provide more friendly handling of control-C during a test run. With catch break behavior enabled control-C will allow the currently running test to complete, and the test run will then end and report all the results so far. A second control-c will raise a KeyboardInterrupt in the usual way.

The control-c handling signal handler attempts to remain compatible with code or tests that install their own signal.SIGINT handler. If the unittest handler is called but isn’t the installed signal.SIGINT handler, i.e. it has been replaced by the system under test and delegated to, then it calls the default handler. This will normally be the expected behavior by code that replaces an installed handler and delegates to it. For individual tests that need unittest control-c handling disabled the removeHandler() decorator can be used.

There are a few utility functions for framework authors to enable control-c handling functionality within test frameworks.

unittest.installHandler()

Install the control-c handler. When a signal.SIGINT is received (usually in response to the user pressing control-c) all registered results have stop() called.

unittest.registerResult(result)

Register a TestResult object for control-c handling. Registering a result stores a weak reference to it, so it doesn’t prevent the result from being garbage collected.

Registering a TestResult object has no side-effects if control-c handling is not enabled, so test frameworks can unconditionally register all results they create independently of whether or not handling is enabled.

unittest.removeResult(result)

Remove um resultado registrado. Dado que um resultado for removido, então stop() não será mais chamado no objeto resultado em resposta a um Ctrl+C

unittest.removeHandler(function=None)

When called without arguments this function removes the control-c handler if it has been installed. This function can also be used as a test decorator to temporarily remove the handler while the test is being executed:

@unittest.removeHandler
def test_signal_handling(self):
    ...

unittest.mock — mock object library

Adicionado na versão 3.3.

Código-fonte: Lib/unittest/mock.py [https://github.com/python/cpython/tree/3.13/Lib/unittest/mock.py]

unittest.mock é uma biblioteca para teste em Python. Que permite substituir partes do seu sistema em teste por objetos simulados e fazer afirmações sobre como elas foram usadas.

unittest.mock fornece uma classe core Mock removendo a necessidade de criar uma série de stubs em todo o seu conjunto de testes. Depois de executar uma ação, você pode fazer afirmações sobre quais métodos / atributos foram usados e com quais argumentos foram chamados. Você também pode especificar valores de retorno e definir os atributos necessários da maneira normal.

Adicionalmente, o mock fornece um decorador patch() que lida com os atributos do módulo de patch e do nível de classe no escopo de um teste, junto com sentinel para criar objetos únicos. Veja o guia rápido para alguns exemplos de como usar Mock, MagicMock e patch().

Mock foi projetado para uso com unittest e é baseado no padrão ‘ação -> asserção’ em vez de ‘gravar -> reproduzir’ usado por muitas estruturas de simulação.

There is a backport of unittest.mock for earlier versions of Python, available as mock [https://pypi.org/project/mock/] on PyPI.

Guia Rápido

Os objetos Mock e MagicMock criam todos os atributos e métodos à medida que você os acessa e armazena detalhes de como eles foram usados. Você pode configurá-los, especificar valores de retorno ou limitar quais atributos estão disponíveis e, em seguida, fazer afirmações sobre como eles foram usados:

>>> from unittest.mock import MagicMock
>>> thing = ProductionClass()
>>> thing.method = MagicMock(return_value=3)
>>> thing.method(3, 4, 5, key='value')
3
>>> thing.method.assert_called_with(3, 4, 5, key='value')

side_effect allows you to perform side effects, including raising an exception when a mock is called:

>>> from unittest.mock import Mock
>>> mock = Mock(side_effect=KeyError('foo'))
>>> mock()
Traceback (most recent call last):
 ...
KeyError: 'foo'

>>> values = {'a': 1, 'b': 2, 'c': 3}
>>> def side_effect(arg):
...     return values[arg]
...
>>> mock.side_effect = side_effect
>>> mock('a'), mock('b'), mock('c')
(1, 2, 3)
>>> mock.side_effect = [5, 4, 3, 2, 1]
>>> mock(), mock(), mock()
(5, 4, 3)

O Mock tem muitas outras maneiras de configurá-lo e controlar seu comportamento. Por exemplo, o argumento spec configura o mock para obter sua especificação de outro objeto. Tentar acessar atributos ou métodos no mock que não existem na especificação falhará com um AttributeError.

O gerenciador de contexto / decorador patch() facilita a simulação de classes ou objetos em um módulo em teste. O objeto que você especificar será substituído por um mock (ou outro objeto) durante o teste e restaurado quando o teste terminar:

>>> from unittest.mock import patch
>>> @patch('module.ClassName2')
... @patch('module.ClassName1')
... def test(MockClass1, MockClass2):
...     module.ClassName1()
...     module.ClassName2()
...     assert MockClass1 is module.ClassName1
...     assert MockClass2 is module.ClassName2
...     assert MockClass1.called
...     assert MockClass2.called
...
>>> test()

Nota

Quando você aninha decoradores de patches, as simulações são passadas para a função decorada na mesma ordem em que foram aplicadas (a ordem normal Python em que os decoradores são aplicados). Isso significa de baixo para cima, portanto, no exemplo acima, a simulação para module.ClassName1 é passada primeiro.

Com patch(), é importante que você faça o patch de objetos no espaço de nomes onde eles são procurados. Normalmente, isso é simples, mas para um guia rápido, leia onde fazer o patch.

Assim como um decorador patch() pode ser usado como um gerenciador de contexto em uma instrução with:

>>> with patch.object(ProductionClass, 'method', return_value=None) as mock_method:
...     thing = ProductionClass()
...     thing.method(1, 2, 3)
...
>>> mock_method.assert_called_once_with(1, 2, 3)

Também existe patch.dict() para definir valores em um dicionário apenas durante um escopo e restaurar o dicionário ao seu estado original quando o teste termina:

>>> foo = {'key': 'value'}
>>> original = foo.copy()
>>> with patch.dict(foo, {'newkey': 'newvalue'}, clear=True):
...     assert foo == {'newkey': 'newvalue'}
...
>>> assert foo == original

Mock possui suporte a simulação de métodos mágicos de Python. A maneira mais fácil de usar métodos mágicos é com a classe MagicMock. Ele permite que você faça coisas como:

>>> mock = MagicMock()
>>> mock.__str__.return_value = 'foobarbaz'
>>> str(mock)
'foobarbaz'
>>> mock.__str__.assert_called_with()

Mock permite atribuir funções (ou outras instâncias do Mock) a métodos mágicos e elas serão chamadas apropriadamente. A classe MagicMock é apenas uma variante do Mock que possui todos os métodos mágicos pré-criados para você (bem, todos os úteis de qualquer maneira).

A seguir, é apresentado um exemplo do uso de métodos mágicos com a classe Mock comum:

>>> mock = Mock()
>>> mock.__str__ = Mock(return_value='wheeeeee')
>>> str(mock)
'wheeeeee'

Para garantir que os objetos mock em seus testes tenham a mesmo API que os objetos que eles estão substituindo, você pode usar especificação automática. A especificação automática pode ser feita por meio do argumento autospec para fazer patch ou pela função create_autospec(). A especificação automática cria objetos mock que têm os mesmos atributos e métodos que os objetos que estão substituindo, e qualquer funções e métodos (incluindo construtores) têm a mesma assinatura de chamada que o objeto real.

Isso garante que seus mocks falharão da mesma forma que o código de produção se forem usados incorretamente:

>>> from unittest.mock import create_autospec
>>> def function(a, b, c):
...     pass
...
>>> mock_function = create_autospec(function, return_value='fishy')
>>> mock_function(1, 2, 3)
'fishy'
>>> mock_function.assert_called_once_with(1, 2, 3)
>>> mock_function('wrong arguments')
Traceback (most recent call last):
 ...
TypeError: missing a required argument: 'b'

create_autospec() também pode ser usada com classes, onde copia a assinatura do método __init__, e com objetos chamáveis onde copia a assinatura do método __call__.

A classe Mock

Mock é um objeto simulado flexível destinado a substituir o uso de stubs e dublês de teste em todo o seu código. Os mocks são chamáveis e cria atributos como novos mocks à medida que você os acessa [1]. Acessar o mesmo atributo sempre retorna o mesmo mock. Os mocks registram como você os utiliza, permitindo que você faça asserções sobre o que o seu código fez com eles.

MagicMock é uma subclasse de Mock com todos os métodos mágicos pré-criados e prontos para uso. Existem também variantes não chamáveis, úteis quando você está simulando objetos que não são chamáveis: NonCallableMock e NonCallableMagicMock

The patch() decorators makes it easy to temporarily replace classes in a particular module with a Mock object. By default patch() will create a MagicMock for you. You can specify an alternative class of Mock using the new_callable argument to patch().

class unittest.mock.Mock(spec=None, side_effect=None, return_value=DEFAULT, wraps=None, name=None, spec_set=None, unsafe=False, **kwargs)

Create a new Mock object. Mock takes several optional arguments that specify the behaviour of the Mock object:

spec: This can be either a list of strings or an existing object (a class or instance) that acts as the specification for the mock object. If you pass in an object then a list of strings is formed by calling dir on the object (excluding unsupported magic attributes and methods). Accessing any attribute not in this list will raise an AttributeError.

If spec is an object (rather than a list of strings) then __class__ returns the class of the spec object. This allows mocks to pass isinstance() tests.

spec_set: A stricter variant of spec. If used, attempting to set or get an attribute on the mock that isn’t on the object passed as spec_set will raise an AttributeError.

side_effect: A function to be called whenever the Mock is called. See the side_effect attribute. Useful for raising exceptions or dynamically changing return values. The function is called with the same arguments as the mock, and unless it returns DEFAULT, the return value of this function is used as the return value.

Alternatively side_effect can be an exception class or instance. In this case the exception will be raised when the mock is called.

If side_effect is an iterable then each call to the mock will return the next value from the iterable.

A side_effect can be cleared by setting it to None.

return_value: The value returned when the mock is called. By default this is a new Mock (created on first access). See the return_value attribute.

unsafe: By default, accessing any attribute whose name starts with assert, assret, asert, aseert or assrt will raise an AttributeError. Passing unsafe=True will allow access to these attributes.

Adicionado na versão 3.5.

wraps: Item for the mock object to wrap. If wraps is not None then calling the Mock will pass the call through to the wrapped object (returning the real result). Attribute access on the mock will return a Mock object that wraps the corresponding attribute of the wrapped object (so attempting to access an attribute that doesn’t exist will raise an AttributeError).

If the mock has an explicit return_value set then calls are not passed to the wrapped object and the return_value is returned instead.

name: If the mock has a name then it will be used in the repr of the mock. This can be useful for debugging. The name is propagated to child mocks.

Mocks can also be called with arbitrary keyword arguments. These will be used to set attributes on the mock after it is created. See the configure_mock() method for details.

assert_called()

Afirmar que o mock foi chamado pelo menos uma vez.

>>> mock = Mock()
>>> mock.method()
<Mock name='mock.method()' id='...'>
>>> mock.method.assert_called()

Adicionado na versão 3.6.

assert_called_once()

Afirma que o mock foi chamado exatamente uma vez.

>>> mock = Mock()
>>> mock.method()
<Mock name='mock.method()' id='...'>
>>> mock.method.assert_called_once()
>>> mock.method()
<Mock name='mock.method()' id='...'>
>>> mock.method.assert_called_once()
Traceback (most recent call last):
...
AssertionError: Expected 'method' to have been called once. Called 2 times.
Calls: [call(), call()].

Adicionado na versão 3.6.

assert_called_with(*args, **kwargs)

This method is a convenient way of asserting that the last call has been made in a particular way:

>>> mock = Mock()
>>> mock.method(1, 2, 3, test='wow')
<Mock name='mock.method()' id='...'>
>>> mock.method.assert_called_with(1, 2, 3, test='wow')

assert_called_once_with(*args, **kwargs)

Assert that the mock was called exactly once and that call was with the specified arguments.

>>> mock = Mock(return_value=None)
>>> mock('foo', bar='baz')
>>> mock.assert_called_once_with('foo', bar='baz')
>>> mock('other', bar='values')
>>> mock.assert_called_once_with('other', bar='values')
Traceback (most recent call last):
  ...
AssertionError: Expected 'mock' to be called once. Called 2 times.
Calls: [call('foo', bar='baz'), call('other', bar='values')].

assert_any_call(*args, **kwargs)

assert the mock has been called with the specified arguments.

The assert passes if the mock has ever been called, unlike assert_called_with() and assert_called_once_with() that only pass if the call is the most recent one, and in the case of assert_called_once_with() it must also be the only call.

>>> mock = Mock(return_value=None)
>>> mock(1, 2, arg='thing')
>>> mock('some', 'thing', 'else')
>>> mock.assert_any_call(1, 2, arg='thing')

assert_has_calls(calls, any_order=False)

assert the mock has been called with the specified calls. The mock_calls list is checked for the calls.

If any_order is false then the calls must be sequential. There can be extra calls before or after the specified calls.

If any_order is true then the calls can be in any order, but they must all appear in mock_calls.

>>> mock = Mock(return_value=None)
>>> mock(1)
>>> mock(2)
>>> mock(3)
>>> mock(4)
>>> calls = [call(2), call(3)]
>>> mock.assert_has_calls(calls)
>>> calls = [call(4), call(2), call(3)]
>>> mock.assert_has_calls(calls, any_order=True)

assert_not_called()

Afirma que o mock nunca foi chamado.

>>> m = Mock()
>>> m.hello.assert_not_called()
>>> obj = m.hello()
>>> m.hello.assert_not_called()
Traceback (most recent call last):
  ...
AssertionError: Expected 'hello' to not have been called. Called 1 times.
Calls: [call()].

Adicionado na versão 3.5.

reset_mock(*, return_value=False, side_effect=False)

The reset_mock method resets all the call attributes on a mock object:

>>> mock = Mock(return_value=None)
>>> mock('hello')
>>> mock.called
True
>>> mock.reset_mock()
>>> mock.called
False

Alterado na versão 3.6: Foram adicionados dois argumentos somente-nomeado à função reset_mock.

This can be useful where you want to make a series of assertions that reuse the same object. Note that reset_mock() doesn’t clear the return_value, side_effect or any child attributes you have set using normal assignment by default. In case you want to reset return_value or side_effect, then pass the corresponding parameter as True. Child mocks and the return value mock (if any) are reset as well.

Nota

return_value, and side_effect are keyword-only arguments.

mock_add_spec(spec, spec_set=False)

Add a spec to a mock. spec can either be an object or a list of strings. Only attributes on the spec can be fetched as attributes from the mock.

If spec_set is true then only attributes on the spec can be set.

attach_mock(mock, attribute)

Attach a mock as an attribute of this one, replacing its name and parent. Calls to the attached mock will be recorded in the method_calls and mock_calls attributes of this one.

configure_mock(**kwargs)

Define atributos no mock por meio de argumentos nomeados.

Attributes plus return values and side effects can be set on child mocks using standard dot notation and unpacking a dictionary in the method call:

>>> mock = Mock()
>>> attrs = {'method.return_value': 3, 'other.side_effect': KeyError}
>>> mock.configure_mock(**attrs)
>>> mock.method()
3
>>> mock.other()
Traceback (most recent call last):
  ...
KeyError

The same thing can be achieved in the constructor call to mocks:

>>> attrs = {'method.return_value': 3, 'other.side_effect': KeyError}
>>> mock = Mock(some_attribute='eggs', **attrs)
>>> mock.some_attribute
'eggs'
>>> mock.method()
3
>>> mock.other()
Traceback (most recent call last):
  ...
KeyError

configure_mock() exists to make it easier to do configuration after the mock has been created.

__dir__()

Mock objects limit the results of dir(some_mock) to useful results. For mocks with a spec this includes all the permitted attributes for the mock.

See FILTER_DIR for what this filtering does, and how to switch it off.

_get_child_mock(**kw)

Create the child mocks for attributes and return value. By default child mocks will be the same type as the parent. Subclasses of Mock may want to override this to customize the way child mocks are made.

For non-callable mocks the callable variant will be used (rather than any custom subclass).

called

A boolean representing whether or not the mock object has been called:

>>> mock = Mock(return_value=None)
>>> mock.called
False
>>> mock()
>>> mock.called
True

call_count

An integer telling you how many times the mock object has been called:

>>> mock = Mock(return_value=None)
>>> mock.call_count
0
>>> mock()
>>> mock()
>>> mock.call_count
2

return_value

Set this to configure the value returned by calling the mock:

>>> mock = Mock()
>>> mock.return_value = 'fish'
>>> mock()
'fish'

The default return value is a mock object and you can configure it in the normal way:

>>> mock = Mock()
>>> mock.return_value.attribute = sentinel.Attribute
>>> mock.return_value()
<Mock name='mock()()' id='...'>
>>> mock.return_value.assert_called_with()

return_value também pode ser definido no construtor:

>>> mock = Mock(return_value=3)
>>> mock.return_value
3
>>> mock()
3

side_effect

This can either be a function to be called when the mock is called, an iterable or an exception (class or instance) to be raised.

If you pass in a function it will be called with same arguments as the mock and unless the function returns the DEFAULT singleton the call to the mock will then return whatever the function returns. If the function returns DEFAULT then the mock will return its normal value (from the return_value).

If you pass in an iterable, it is used to retrieve an iterator which must yield a value on every call. This value can either be an exception instance to be raised, or a value to be returned from the call to the mock (DEFAULT handling is identical to the function case).

An example of a mock that raises an exception (to test exception handling of an API):

>>> mock = Mock()
>>> mock.side_effect = Exception('Boom!')
>>> mock()
Traceback (most recent call last):
  ...
Exception: Boom!

Usando side_effect para retornar um sequência de valores:

>>> mock = Mock()
>>> mock.side_effect = [3, 2, 1]
>>> mock(), mock(), mock()
(3, 2, 1)

Usando um chamável:

>>> mock = Mock(return_value=3)
>>> def side_effect(*args, **kwargs):
...     return DEFAULT
...
>>> mock.side_effect = side_effect
>>> mock()
3

side_effect can be set in the constructor. Here’s an example that adds one to the value the mock is called with and returns it:

>>> side_effect = lambda value: value + 1
>>> mock = Mock(side_effect=side_effect)
>>> mock(3)
4
>>> mock(-8)
-7

Configuração side_effect para None limpa isso:

>>> m = Mock(side_effect=KeyError, return_value=3)
>>> m()
Traceback (most recent call last):
 ...
KeyError
>>> m.side_effect = None
>>> m()
3

call_args

This is either None (if the mock hasn’t been called), or the arguments that the mock was last called with. This will be in the form of a tuple: the first member, which can also be accessed through the args property, is any ordered arguments the mock was called with (or an empty tuple) and the second member, which can also be accessed through the kwargs property, is any keyword arguments (or an empty dictionary).

>>> mock = Mock(return_value=None)
>>> print(mock.call_args)
None
>>> mock()
>>> mock.call_args
call()
>>> mock.call_args == ()
True
>>> mock(3, 4)
>>> mock.call_args
call(3, 4)
>>> mock.call_args == ((3, 4),)
True
>>> mock.call_args.args
(3, 4)
>>> mock.call_args.kwargs
{}
>>> mock(3, 4, 5, key='fish', next='w00t!')
>>> mock.call_args
call(3, 4, 5, key='fish', next='w00t!')
>>> mock.call_args.args
(3, 4, 5)
>>> mock.call_args.kwargs
{'key': 'fish', 'next': 'w00t!'}

call_args, along with members of the lists call_args_list, method_calls and mock_calls are call objects. These are tuples, so they can be unpacked to get at the individual arguments and make more complex assertions. See calls as tuples.

Alterado na versão 3.8: Adicionadas propriedades args e kwargs.

call_args_list

This is a list of all the calls made to the mock object in sequence (so the length of the list is the number of times it has been called). Before any calls have been made it is an empty list. The call object can be used for conveniently constructing lists of calls to compare with call_args_list.

>>> mock = Mock(return_value=None)
>>> mock()
>>> mock(3, 4)
>>> mock(key='fish', next='w00t!')
>>> mock.call_args_list
[call(), call(3, 4), call(key='fish', next='w00t!')]
>>> expected = [(), ((3, 4),), ({'key': 'fish', 'next': 'w00t!'},)]
>>> mock.call_args_list == expected
True

Members of call_args_list are call objects. These can be unpacked as tuples to get at the individual arguments. See calls as tuples.

method_calls

As well as tracking calls to themselves, mocks also track calls to methods and attributes, and their methods and attributes:

>>> mock = Mock()
>>> mock.method()
<Mock name='mock.method()' id='...'>
>>> mock.property.method.attribute()
<Mock name='mock.property.method.attribute()' id='...'>
>>> mock.method_calls
[call.method(), call.property.method.attribute()]

Members of method_calls are call objects. These can be unpacked as tuples to get at the individual arguments. See calls as tuples.

mock_calls

mock_calls records all calls to the mock object, its methods, magic methods and return value mocks.

>>> mock = MagicMock()
>>> result = mock(1, 2, 3)
>>> mock.first(a=3)
<MagicMock name='mock.first()' id='...'>
>>> mock.second()
<MagicMock name='mock.second()' id='...'>
>>> int(mock)
1
>>> result(1)
<MagicMock name='mock()()' id='...'>
>>> expected = [call(1, 2, 3), call.first(a=3), call.second(),
... call.__int__(), call()(1)]
>>> mock.mock_calls == expected
True

Members of mock_calls are call objects. These can be unpacked as tuples to get at the individual arguments. See calls as tuples.

Nota

The way mock_calls are recorded means that where nested calls are made, the parameters of ancestor calls are not recorded and so will always compare equal:

>>> mock = MagicMock()
>>> mock.top(a=3).bottom()
<MagicMock name='mock.top().bottom()' id='...'>
>>> mock.mock_calls
[call.top(a=3), call.top().bottom()]
>>> mock.mock_calls[-1] == call.top(a=-1).bottom()
True

__class__

Normally the __class__ attribute of an object will return its type. For a mock object with a spec, __class__ returns the spec class instead. This allows mock objects to pass isinstance() tests for the object they are replacing / masquerading as:

>>> mock = Mock(spec=3)
>>> isinstance(mock, int)
True

__class__ is assignable to, this allows a mock to pass an isinstance() check without forcing you to use a spec:

>>> mock = Mock()
>>> mock.__class__ = dict
>>> isinstance(mock, dict)
True

class unittest.mock.NonCallableMock(spec=None, wraps=None, name=None, spec_set=None, **kwargs)

A non-callable version of Mock. The constructor parameters have the same meaning of Mock, with the exception of return_value and side_effect which have no meaning on a non-callable mock.

Mock objects that use a class or an instance as a spec or spec_set are able to pass isinstance() tests:

>>> mock = Mock(spec=SomeClass)
>>> isinstance(mock, SomeClass)
True
>>> mock = Mock(spec_set=SomeClass())
>>> isinstance(mock, SomeClass)
True

The Mock classes have support for mocking magic methods. See magic methods for the full details.

The mock classes and the patch() decorators all take arbitrary keyword arguments for configuration. For the patch() decorators the keywords are passed to the constructor of the mock being created. The keyword arguments are for configuring attributes of the mock:

>>> m = MagicMock(attribute=3, other='fish')
>>> m.attribute
3
>>> m.other
'fish'

The return value and side effect of child mocks can be set in the same way, using dotted notation. As you can’t use dotted names directly in a call you have to create a dictionary and unpack it using **:

>>> attrs = {'method.return_value': 3, 'other.side_effect': KeyError}
>>> mock = Mock(some_attribute='eggs', **attrs)
>>> mock.some_attribute
'eggs'
>>> mock.method()
3
>>> mock.other()
Traceback (most recent call last):
  ...
KeyError

A callable mock which was created with a spec (or a spec_set) will introspect the specification object’s signature when matching calls to the mock. Therefore, it can match the actual call’s arguments regardless of whether they were passed positionally or by name:

>>> def f(a, b, c): pass
...
>>> mock = Mock(spec=f)
>>> mock(1, 2, c=3)
<Mock name='mock()' id='140161580456576'>
>>> mock.assert_called_with(1, 2, 3)
>>> mock.assert_called_with(a=1, b=2, c=3)

This applies to assert_called_with(), assert_called_once_with(), assert_has_calls() and assert_any_call(). When Especificação automática, it will also apply to method calls on the mock object.

Alterado na versão 3.4: Adicionada introspecção de assinatura em objetos mock especificados e auto-especificados.

class unittest.mock.PropertyMock(*args, **kwargs)

A mock intended to be used as a property, or other descriptor, on a class. PropertyMock provides __get__() and __set__() methods so you can specify a return value when it is fetched.

Fetching a PropertyMock instance from an object calls the mock, with no args. Setting it calls the mock with the value being set.

>>> class Foo:
...     @property
...     def foo(self):
...         return 'something'
...     @foo.setter
...     def foo(self, value):
...         pass
...
>>> with patch('__main__.Foo.foo', new_callable=PropertyMock) as mock_foo:
...     mock_foo.return_value = 'mockity-mock'
...     this_foo = Foo()
...     print(this_foo.foo)
...     this_foo.foo = 6
...
mockity-mock
>>> mock_foo.mock_calls
[call(), call(6)]

Because of the way mock attributes are stored you can’t directly attach a PropertyMock to a mock object. Instead you can attach it to the mock type object:

>>> m = MagicMock()
>>> p = PropertyMock(return_value=3)
>>> type(m).foo = p
>>> m.foo
3
>>> p.assert_called_once_with()

Cuidado

If an AttributeError is raised by PropertyMock, it will be interpreted as a missing descriptor and __getattr__() will be called on the parent mock:

>>> m = MagicMock()
>>> no_attribute = PropertyMock(side_effect=AttributeError)
>>> type(m).my_property = no_attribute
>>> m.my_property
<MagicMock name='mock.my_property' id='140165240345424'>

See __getattr__() for details.

class unittest.mock.AsyncMock(spec=None, side_effect=None, return_value=DEFAULT, wraps=None, name=None, spec_set=None, unsafe=False, **kwargs)

An asynchronous version of MagicMock. The AsyncMock object will behave so the object is recognized as an async function, and the result of a call is an awaitable.

>>> mock = AsyncMock()
>>> asyncio.iscoroutinefunction(mock)
True
>>> inspect.isawaitable(mock())
True

The result of mock() is an async function which will have the outcome of side_effect or return_value after it has been awaited:

if side_effect is a function, the async function will return the result of that function,

if side_effect is an exception, the async function will raise the exception,

if side_effect is an iterable, the async function will return the next value of the iterable, however, if the sequence of result is exhausted, StopAsyncIteration is raised immediately,

if side_effect is not defined, the async function will return the value defined by return_value, hence, by default, the async function returns a new AsyncMock object.

Setting the spec of a Mock or MagicMock to an async function will result in a coroutine object being returned after calling.

>>> async def async_func(): pass
...
>>> mock = MagicMock(async_func)
>>> mock
<MagicMock spec='function' id='...'>
>>> mock()
<coroutine object AsyncMockMixin._mock_call at ...>

Setting the spec of a Mock, MagicMock, or AsyncMock to a class with asynchronous and synchronous functions will automatically detect the synchronous functions and set them as MagicMock (if the parent mock is AsyncMock or MagicMock) or Mock (if the parent mock is Mock). All asynchronous functions will be AsyncMock.

>>> class ExampleClass:
...     def sync_foo():
...         pass
...     async def async_foo():
...         pass
...
>>> a_mock = AsyncMock(ExampleClass)
>>> a_mock.sync_foo
<MagicMock name='mock.sync_foo' id='...'>
>>> a_mock.async_foo
<AsyncMock name='mock.async_foo' id='...'>
>>> mock = Mock(ExampleClass)
>>> mock.sync_foo
<Mock name='mock.sync_foo' id='...'>
>>> mock.async_foo
<AsyncMock name='mock.async_foo' id='...'>

Adicionado na versão 3.8.

assert_awaited()

Assert that the mock was awaited at least once. Note that this is separate from the object having been called, the await keyword must be used:

>>> mock = AsyncMock()
>>> async def main(coroutine_mock):
...     await coroutine_mock
...
>>> coroutine_mock = mock()
>>> mock.called
True
>>> mock.assert_awaited()
Traceback (most recent call last):
...
AssertionError: Expected mock to have been awaited.
>>> asyncio.run(main(coroutine_mock))
>>> mock.assert_awaited()

assert_awaited_once()

Afirme que o mock foi aguardado exatamente uma vez.

>>> mock = AsyncMock()
>>> async def main():
...     await mock()
...
>>> asyncio.run(main())
>>> mock.assert_awaited_once()
>>> asyncio.run(main())
>>> mock.assert_awaited_once()
Traceback (most recent call last):
...
AssertionError: Expected mock to have been awaited once. Awaited 2 times.

assert_awaited_with(*args, **kwargs)

Assert that the last await was with the specified arguments.

>>> mock = AsyncMock()
>>> async def main(*args, **kwargs):
...     await mock(*args, **kwargs)
...
>>> asyncio.run(main('foo', bar='bar'))
>>> mock.assert_awaited_with('foo', bar='bar')
>>> mock.assert_awaited_with('other')
Traceback (most recent call last):
...
AssertionError: expected await not found.
Expected: mock('other')
Actual: mock('foo', bar='bar')

assert_awaited_once_with(*args, **kwargs)

Assert that the mock was awaited exactly once and with the specified arguments.

>>> mock = AsyncMock()
>>> async def main(*args, **kwargs):
...     await mock(*args, **kwargs)
...
>>> asyncio.run(main('foo', bar='bar'))
>>> mock.assert_awaited_once_with('foo', bar='bar')
>>> asyncio.run(main('foo', bar='bar'))
>>> mock.assert_awaited_once_with('foo', bar='bar')
Traceback (most recent call last):
...
AssertionError: Expected mock to have been awaited once. Awaited 2 times.

assert_any_await(*args, **kwargs)

Assert the mock has ever been awaited with the specified arguments.

>>> mock = AsyncMock()
>>> async def main(*args, **kwargs):
...     await mock(*args, **kwargs)
...
>>> asyncio.run(main('foo', bar='bar'))
>>> asyncio.run(main('hello'))
>>> mock.assert_any_await('foo', bar='bar')
>>> mock.assert_any_await('other')
Traceback (most recent call last):
...
AssertionError: mock('other') await not found

assert_has_awaits(calls, any_order=False)

Assert the mock has been awaited with the specified calls. The await_args_list list is checked for the awaits.

If any_order is false then the awaits must be sequential. There can be extra calls before or after the specified awaits.

If any_order is true then the awaits can be in any order, but they must all appear in await_args_list.

>>> mock = AsyncMock()
>>> async def main(*args, **kwargs):
...     await mock(*args, **kwargs)
...
>>> calls = [call("foo"), call("bar")]
>>> mock.assert_has_awaits(calls)
Traceback (most recent call last):
...
AssertionError: Awaits not found.
Expected: [call('foo'), call('bar')]
Actual: []
>>> asyncio.run(main('foo'))
>>> asyncio.run(main('bar'))
>>> mock.assert_has_awaits(calls)

assert_not_awaited()

Afirma que o mock nunca foi aguardado.

>>> mock = AsyncMock()
>>> mock.assert_not_awaited()

reset_mock(*args, **kwargs)

See Mock.reset_mock(). Also sets await_count to 0, await_args to None, and clears the await_args_list.

await_count

An integer keeping track of how many times the mock object has been awaited.

>>> mock = AsyncMock()
>>> async def main():
...     await mock()
...
>>> asyncio.run(main())
>>> mock.await_count
1
>>> asyncio.run(main())
>>> mock.await_count
2

await_args

This is either None (if the mock hasn’t been awaited), or the arguments that the mock was last awaited with. Functions the same as Mock.call_args.

>>> mock = AsyncMock()
>>> async def main(*args):
...     await mock(*args)
...
>>> mock.await_args
>>> asyncio.run(main('foo'))
>>> mock.await_args
call('foo')
>>> asyncio.run(main('bar'))
>>> mock.await_args
call('bar')

await_args_list

This is a list of all the awaits made to the mock object in sequence (so the length of the list is the number of times it has been awaited). Before any awaits have been made it is an empty list.

>>> mock = AsyncMock()
>>> async def main(*args):
...     await mock(*args)
...
>>> mock.await_args_list
[]
>>> asyncio.run(main('foo'))
>>> mock.await_args_list
[call('foo')]
>>> asyncio.run(main('bar'))
>>> mock.await_args_list
[call('foo'), call('bar')]

class unittest.mock.ThreadingMock(spec=None, side_effect=None, return_value=DEFAULT, wraps=None, name=None, spec_set=None, unsafe=False, *, timeout=UNSET, **kwargs)

A version of MagicMock for multithreading tests. The ThreadingMock object provides extra methods to wait for a call to be invoked, rather than assert on it immediately.

The default timeout is specified by the timeout argument, or if unset by the ThreadingMock.DEFAULT_TIMEOUT attribute, which defaults to blocking (None).

You can configure the global default timeout by setting ThreadingMock.DEFAULT_TIMEOUT.

wait_until_called(*, timeout=UNSET)

Waits until the mock is called.

If a timeout was passed at the creation of the mock or if a timeout argument is passed to this function, the function raises an AssertionError if the call is not performed in time.

>>> mock = ThreadingMock()
>>> thread = threading.Thread(target=mock)
>>> thread.start()
>>> mock.wait_until_called(timeout=1)
>>> thread.join()

wait_until_any_call_with(*args, **kwargs)

Waits until the mock is called with the specified arguments.

If a timeout was passed at the creation of the mock the function raises an AssertionError if the call is not performed in time.

>>> mock = ThreadingMock()
>>> thread = threading.Thread(target=mock, args=("arg1", "arg2",), kwargs={"arg": "thing"})
>>> thread.start()
>>> mock.wait_until_any_call_with("arg1", "arg2", arg="thing")
>>> thread.join()

DEFAULT_TIMEOUT

Global default timeout in seconds to create instances of ThreadingMock.

Adicionado na versão 3.13.

Fazendo chamadas

Mock objects are callable. The call will return the value set as the return_value attribute. The default return value is a new Mock object; it is created the first time the return value is accessed (either explicitly or by calling the Mock) - but it is stored and the same one returned each time.

Calls made to the object will be recorded in the attributes like call_args and call_args_list.

If side_effect is set then it will be called after the call has been recorded, so if side_effect raises an exception the call is still recorded.

The simplest way to make a mock raise an exception when called is to make side_effect an exception class or instance:

>>> m = MagicMock(side_effect=IndexError)
>>> m(1, 2, 3)
Traceback (most recent call last):
  ...
IndexError
>>> m.mock_calls
[call(1, 2, 3)]
>>> m.side_effect = KeyError('Bang!')
>>> m('two', 'three', 'four')
Traceback (most recent call last):
  ...
KeyError: 'Bang!'
>>> m.mock_calls
[call(1, 2, 3), call('two', 'three', 'four')]

If side_effect is a function then whatever that function returns is what calls to the mock return. The side_effect function is called with the same arguments as the mock. This allows you to vary the return value of the call dynamically, based on the input:

>>> def side_effect(value):
...     return value + 1
...
>>> m = MagicMock(side_effect=side_effect)
>>> m(1)
2
>>> m(2)
3
>>> m.mock_calls
[call(1), call(2)]

If you want the mock to still return the default return value (a new mock), or any set return value, then there are two ways of doing this. Either return return_value from inside side_effect, or return DEFAULT:

>>> m = MagicMock()
>>> def side_effect(*args, **kwargs):
...     return m.return_value
...
>>> m.side_effect = side_effect
>>> m.return_value = 3
>>> m()
3
>>> def side_effect(*args, **kwargs):
...     return DEFAULT
...
>>> m.side_effect = side_effect
>>> m()
3

To remove a side_effect, and return to the default behaviour, set the side_effect to None:

>>> m = MagicMock(return_value=6)
>>> def side_effect(*args, **kwargs):
...     return 3
...
>>> m.side_effect = side_effect
>>> m()
3
>>> m.side_effect = None
>>> m()
6

The side_effect can also be any iterable object. Repeated calls to the mock will return values from the iterable (until the iterable is exhausted and a StopIteration is raised):

>>> m = MagicMock(side_effect=[1, 2, 3])
>>> m()
1
>>> m()
2
>>> m()
3
>>> m()
Traceback (most recent call last):
  ...
StopIteration

If any members of the iterable are exceptions they will be raised instead of returned:

>>> iterable = (33, ValueError, 66)
>>> m = MagicMock(side_effect=iterable)
>>> m()
33
>>> m()
Traceback (most recent call last):
 ...
ValueError
>>> m()
66

Deletando Atributos

Mock objects create attributes on demand. This allows them to pretend to be objects of any type.

You may want a mock object to return False to a hasattr() call, or raise an AttributeError when an attribute is fetched. You can do this by providing an object as a spec for a mock, but that isn’t always convenient.

You “block” attributes by deleting them. Once deleted, accessing an attribute will raise an AttributeError.

>>> mock = MagicMock()
>>> hasattr(mock, 'm')
True
>>> del mock.m
>>> hasattr(mock, 'm')
False
>>> del mock.f
>>> mock.f
Traceback (most recent call last):
    ...
AttributeError: f

Nomes de Mock e o atributo name

Since “name” is an argument to the Mock constructor, if you want your mock object to have a “name” attribute you can’t just pass it in at creation time. There are two alternatives. One option is to use configure_mock():

>>> mock = MagicMock()
>>> mock.configure_mock(name='my_name')
>>> mock.name
'my_name'

A simpler option is to simply set the “name” attribute after mock creation:

>>> mock = MagicMock()
>>> mock.name = "foo"

Anexando Mocks como Atributos

When you attach a mock as an attribute of another mock (or as the return value) it becomes a “child” of that mock. Calls to the child are recorded in the method_calls and mock_calls attributes of the parent. This is useful for configuring child mocks and then attaching them to the parent, or for attaching mocks to a parent that records all calls to the children and allows you to make assertions about the order of calls between mocks:

>>> parent = MagicMock()
>>> child1 = MagicMock(return_value=None)
>>> child2 = MagicMock(return_value=None)
>>> parent.child1 = child1
>>> parent.child2 = child2
>>> child1(1)
>>> child2(2)
>>> parent.mock_calls
[call.child1(1), call.child2(2)]

The exception to this is if the mock has a name. This allows you to prevent the “parenting” if for some reason you don’t want it to happen.

>>> mock = MagicMock()
>>> not_a_child = MagicMock(name='not-a-child')
>>> mock.attribute = not_a_child
>>> mock.attribute()
<MagicMock name='not-a-child()' id='...'>
>>> mock.mock_calls
[]

Mocks created for you by patch() are automatically given names. To attach mocks that have names to a parent you use the attach_mock() method:

>>> thing1 = object()
>>> thing2 = object()
>>> parent = MagicMock()
>>> with patch('__main__.thing1', return_value=None) as child1:
...     with patch('__main__.thing2', return_value=None) as child2:
...         parent.attach_mock(child1, 'child1')
...         parent.attach_mock(child2, 'child2')
...         child1('one')
...         child2('two')
...
>>> parent.mock_calls
[call.child1('one'), call.child2('two')]

[1]

The only exceptions are magic methods and attributes (those that have leading and trailing double underscores). Mock doesn’t create these but instead raises an AttributeError. This is because the interpreter will often implicitly request these methods, and gets very confused to get a new Mock object when it expects a magic method. If you need magic method support see magic methods.

Os criadores de patches

The patch decorators are used for patching objects only within the scope of the function they decorate. They automatically handle the unpatching for you, even if exceptions are raised. All of these functions can also be used in with statements or as class decorators.

patch

Nota

The key is to do the patching in the right namespace. See the section where to patch.

unittest.mock.patch(target, new=DEFAULT, spec=None, create=False, spec_set=None, autospec=None, new_callable=None, **kwargs)

patch() acts as a function decorator, class decorator or a context manager. Inside the body of the function or with statement, the target is patched with a new object. When the function/with statement exits the patch is undone.

If new is omitted, then the target is replaced with an AsyncMock if the patched object is an async function or a MagicMock otherwise. If patch() is used as a decorator and new is omitted, the created mock is passed in as an extra argument to the decorated function. If patch() is used as a context manager the created mock is returned by the context manager.

target should be a string in the form 'package.module.ClassName'. The target is imported and the specified object replaced with the new object, so the target must be importable from the environment you are calling patch() from. The target is imported when the decorated function is executed, not at decoration time.

The spec and spec_set keyword arguments are passed to the MagicMock if patch is creating one for you.

In addition you can pass spec=True or spec_set=True, which causes patch to pass in the object being mocked as the spec/spec_set object.

new_callable allows you to specify a different class, or callable object, that will be called to create the new object. By default AsyncMock is used for async functions and MagicMock for the rest.

A more powerful form of spec is autospec. If you set autospec=True then the mock will be created with a spec from the object being replaced. All attributes of the mock will also have the spec of the corresponding attribute of the object being replaced. Methods and functions being mocked will have their arguments checked and will raise a TypeError if they are called with the wrong signature. For mocks replacing a class, their return value (the ‘instance’) will have the same spec as the class. See the create_autospec() function and Especificação automática.

Instead of autospec=True you can pass autospec=some_object to use an arbitrary object as the spec instead of the one being replaced.

By default patch() will fail to replace attributes that don’t exist. If you pass in create=True, and the attribute doesn’t exist, patch will create the attribute for you when the patched function is called, and delete it again after the patched function has exited. This is useful for writing tests against attributes that your production code creates at runtime. It is off by default because it can be dangerous. With it switched on you can write passing tests against APIs that don’t actually exist!

Nota

Alterado na versão 3.5: If you are patching builtins in a module then you don’t need to pass create=True, it will be added by default.

Patch can be used as a TestCase class decorator. It works by decorating each test method in the class. This reduces the boilerplate code when your test methods share a common patchings set. patch() finds tests by looking for method names that start with patch.TEST_PREFIX. By default this is 'test', which matches the way unittest finds tests. You can specify an alternative prefix by setting patch.TEST_PREFIX.

Patch can be used as a context manager, with the with statement. Here the patching applies to the indented block after the with statement. If you use “as” then the patched object will be bound to the name after the “as”; very useful if patch() is creating a mock object for you.

patch() takes arbitrary keyword arguments. These will be passed to AsyncMock if the patched object is asynchronous, to MagicMock otherwise or to new_callable if specified.

patch.dict(...), patch.multiple(...) e patch.object(...) estão disponíveis para casos de uso alternativos.

patch() as function decorator, creating the mock for you and passing it into the decorated function:

>>> @patch('__main__.SomeClass')
... def function(normal_argument, mock_class):
...     print(mock_class is SomeClass)
...
>>> function(None)
True

Patching a class replaces the class with a MagicMock instance. If the class is instantiated in the code under test then it will be the return_value of the mock that will be used.

If the class is instantiated multiple times you could use side_effect to return a new mock each time. Alternatively you can set the return_value to be anything you want.

To configure return values on methods of instances on the patched class you must do this on the return_value. For example:

>>> class Class:
...     def method(self):
...         pass
...
>>> with patch('__main__.Class') as MockClass:
...     instance = MockClass.return_value
...     instance.method.return_value = 'foo'
...     assert Class() is instance
...     assert Class().method() == 'foo'
...

If you use spec or spec_set and patch() is replacing a class, then the return value of the created mock will have the same spec.

>>> Original = Class
>>> patcher = patch('__main__.Class', spec=True)
>>> MockClass = patcher.start()
>>> instance = MockClass()
>>> assert isinstance(instance, Original)
>>> patcher.stop()

The new_callable argument is useful where you want to use an alternative class to the default MagicMock for the created mock. For example, if you wanted a NonCallableMock to be used:

>>> thing = object()
>>> with patch('__main__.thing', new_callable=NonCallableMock) as mock_thing:
...     assert thing is mock_thing
...     thing()
...
Traceback (most recent call last):
  ...
TypeError: 'NonCallableMock' object is not callable

Another use case might be to replace an object with an io.StringIO instance:

>>> from io import StringIO
>>> def foo():
...     print('Something')
...
>>> @patch('sys.stdout', new_callable=StringIO)
... def test(mock_stdout):
...     foo()
...     assert mock_stdout.getvalue() == 'Something\n'
...
>>> test()

When patch() is creating a mock for you, it is common that the first thing you need to do is to configure the mock. Some of that configuration can be done in the call to patch. Any arbitrary keywords you pass into the call will be used to set attributes on the created mock:

>>> patcher = patch('__main__.thing', first='one', second='two')
>>> mock_thing = patcher.start()
>>> mock_thing.first
'one'
>>> mock_thing.second
'two'

As well as attributes on the created mock attributes, like the return_value and side_effect, of child mocks can also be configured. These aren’t syntactically valid to pass in directly as keyword arguments, but a dictionary with these as keys can still be expanded into a patch() call using **:

>>> config = {'method.return_value': 3, 'other.side_effect': KeyError}
>>> patcher = patch('__main__.thing', **config)
>>> mock_thing = patcher.start()
>>> mock_thing.method()
3
>>> mock_thing.other()
Traceback (most recent call last):
  ...
KeyError

By default, attempting to patch a function in a module (or a method or an attribute in a class) that does not exist will fail with AttributeError:

>>> @patch('sys.non_existing_attribute', 42)
... def test():
...     assert sys.non_existing_attribute == 42
...
>>> test()
Traceback (most recent call last):
  ...
AttributeError: <module 'sys' (built-in)> does not have the attribute 'non_existing_attribute'

but adding create=True in the call to patch() will make the previous example work as expected:

>>> @patch('sys.non_existing_attribute', 42, create=True)
... def test(mock_stdout):
...     assert sys.non_existing_attribute == 42
...
>>> test()

Alterado na versão 3.8: patch() now returns an AsyncMock if the target is an async function.

patch.object

patch.object(target, attribute, new=DEFAULT, spec=None, create=False, spec_set=None, autospec=None, new_callable=None, **kwargs)

patch the named member (attribute) on an object (target) with a mock object.

patch.object() can be used as a decorator, class decorator or a context manager. Arguments new, spec, create, spec_set, autospec and new_callable have the same meaning as for patch(). Like patch(), patch.object() takes arbitrary keyword arguments for configuring the mock object it creates.

When used as a class decorator patch.object() honours patch.TEST_PREFIX for choosing which methods to wrap.

You can either call patch.object() with three arguments or two arguments. The three argument form takes the object to be patched, the attribute name and the object to replace the attribute with.

When calling with the two argument form you omit the replacement object, and a mock is created for you and passed in as an extra argument to the decorated function:

>>> @patch.object(SomeClass, 'class_method')
... def test(mock_method):
...     SomeClass.class_method(3)
...     mock_method.assert_called_with(3)
...
>>> test()

spec, create and the other arguments to patch.object() have the same meaning as they do for patch().

patch.dict

patch.dict(in_dict, values=(), clear=False, **kwargs)

Patch a dictionary, or dictionary like object, and restore the dictionary to its original state after the test.

in_dict can be a dictionary or a mapping like container. If it is a mapping then it must at least support getting, setting and deleting items plus iterating over keys.

in_dict can also be a string specifying the name of the dictionary, which will then be fetched by importing it.

values can be a dictionary of values to set in the dictionary. values can also be an iterable of (key, value) pairs.

If clear is true then the dictionary will be cleared before the new values are set.

patch.dict() can also be called with arbitrary keyword arguments to set values in the dictionary.

Alterado na versão 3.8: patch.dict() now returns the patched dictionary when used as a context manager.

patch.dict() can be used as a context manager, decorator or class decorator:

>>> foo = {}
>>> @patch.dict(foo, {'newkey': 'newvalue'})
... def test():
...     assert foo == {'newkey': 'newvalue'}
...
>>> test()
>>> assert foo == {}

When used as a class decorator patch.dict() honours patch.TEST_PREFIX (default to 'test') for choosing which methods to wrap:

>>> import os
>>> import unittest
>>> from unittest.mock import patch
>>> @patch.dict('os.environ', {'newkey': 'newvalue'})
... class TestSample(unittest.TestCase):
...     def test_sample(self):
...         self.assertEqual(os.environ['newkey'], 'newvalue')

If you want to use a different prefix for your test, you can inform the patchers of the different prefix by setting patch.TEST_PREFIX. For more details about how to change the value of see TEST_PREFIX.

patch.dict() can be used to add members to a dictionary, or simply let a test change a dictionary, and ensure the dictionary is restored when the test ends.

>>> foo = {}
>>> with patch.dict(foo, {'newkey': 'newvalue'}) as patched_foo:
...     assert foo == {'newkey': 'newvalue'}
...     assert patched_foo == {'newkey': 'newvalue'}
...     # You can add, update or delete keys of foo (or patched_foo, it's the same dict)
...     patched_foo['spam'] = 'eggs'
...
>>> assert foo == {}
>>> assert patched_foo == {}

>>> import os
>>> with patch.dict('os.environ', {'newkey': 'newvalue'}):
...     print(os.environ['newkey'])
...
newvalue
>>> assert 'newkey' not in os.environ

Keywords can be used in the patch.dict() call to set values in the dictionary:

>>> mymodule = MagicMock()
>>> mymodule.function.return_value = 'fish'
>>> with patch.dict('sys.modules', mymodule=mymodule):
...     import mymodule
...     mymodule.function('some', 'args')
...
'fish'

patch.dict() can be used with dictionary like objects that aren’t actually dictionaries. At the very minimum they must support item getting, setting, deleting and either iteration or membership test. This corresponds to the magic methods __getitem__(), __setitem__(), __delitem__() and either __iter__() or __contains__().

>>> class Container:
...     def __init__(self):
...         self.values = {}
...     def __getitem__(self, name):
...         return self.values[name]
...     def __setitem__(self, name, value):
...         self.values[name] = value
...     def __delitem__(self, name):
...         del self.values[name]
...     def __iter__(self):
...         return iter(self.values)
...
>>> thing = Container()
>>> thing['one'] = 1
>>> with patch.dict(thing, one=2, two=3):
...     assert thing['one'] == 2
...     assert thing['two'] == 3
...
>>> assert thing['one'] == 1
>>> assert list(thing) == ['one']

patch.multiple

patch.multiple(target, spec=None, create=False, spec_set=None, autospec=None, new_callable=None, **kwargs)

Perform multiple patches in a single call. It takes the object to be patched (either as an object or a string to fetch the object by importing) and keyword arguments for the patches:

with patch.multiple(settings, FIRST_PATCH='one', SECOND_PATCH='two'):
    ...

Use DEFAULT as the value if you want patch.multiple() to create mocks for you. In this case the created mocks are passed into a decorated function by keyword, and a dictionary is returned when patch.multiple() is used as a context manager.

patch.multiple() can be used as a decorator, class decorator or a context manager. The arguments spec, spec_set, create, autospec and new_callable have the same meaning as for patch(). These arguments will be applied to all patches done by patch.multiple().

When used as a class decorator patch.multiple() honours patch.TEST_PREFIX for choosing which methods to wrap.

If you want patch.multiple() to create mocks for you, then you can use DEFAULT as the value. If you use patch.multiple() as a decorator then the created mocks are passed into the decorated function by keyword.

>>> thing = object()
>>> other = object()

>>> @patch.multiple('__main__', thing=DEFAULT, other=DEFAULT)
... def test_function(thing, other):
...     assert isinstance(thing, MagicMock)
...     assert isinstance(other, MagicMock)
...
>>> test_function()

patch.multiple() can be nested with other patch decorators, but put arguments passed by keyword after any of the standard arguments created by patch():

>>> @patch('sys.exit')
... @patch.multiple('__main__', thing=DEFAULT, other=DEFAULT)
... def test_function(mock_exit, other, thing):
...     assert 'other' in repr(other)
...     assert 'thing' in repr(thing)
...     assert 'exit' in repr(mock_exit)
...
>>> test_function()

If patch.multiple() is used as a context manager, the value returned by the context manager is a dictionary where created mocks are keyed by name:

>>> with patch.multiple('__main__', thing=DEFAULT, other=DEFAULT) as values:
...     assert 'other' in repr(values['other'])
...     assert 'thing' in repr(values['thing'])
...     assert values['thing'] is thing
...     assert values['other'] is other
...

métodos do patch: start e stop

All the patchers have start() and stop() methods. These make it simpler to do patching in setUp methods or where you want to do multiple patches without nesting decorators or with statements.

To use them call patch(), patch.object() or patch.dict() as normal and keep a reference to the returned patcher object. You can then call start() to put the patch in place and stop() to undo it.

If you are using patch() to create a mock for you then it will be returned by the call to patcher.start.

>>> patcher = patch('package.module.ClassName')
>>> from package import module
>>> original = module.ClassName
>>> new_mock = patcher.start()
>>> assert module.ClassName is not original
>>> assert module.ClassName is new_mock
>>> patcher.stop()
>>> assert module.ClassName is original
>>> assert module.ClassName is not new_mock

A typical use case for this might be for doing multiple patches in the setUp method of a TestCase:

>>> class MyTest(unittest.TestCase):
...     def setUp(self):
...         self.patcher1 = patch('package.module.Class1')
...         self.patcher2 = patch('package.module.Class2')
...         self.MockClass1 = self.patcher1.start()
...         self.MockClass2 = self.patcher2.start()
...
...     def tearDown(self):
...         self.patcher1.stop()
...         self.patcher2.stop()
...
...     def test_something(self):
...         assert package.module.Class1 is self.MockClass1
...         assert package.module.Class2 is self.MockClass2
...
>>> MyTest('test_something').run()

Cuidado

If you use this technique you must ensure that the patching is “undone” by calling stop. This can be fiddlier than you might think, because if an exception is raised in the setUp then tearDown is not called. unittest.TestCase.addCleanup() makes this easier:

>>> class MyTest(unittest.TestCase):
...     def setUp(self):
...         patcher = patch('package.module.Class')
...         self.MockClass = patcher.start()
...         self.addCleanup(patcher.stop)
...
...     def test_something(self):
...         assert package.module.Class is self.MockClass
...

As an added bonus you no longer need to keep a reference to the patcher object.

It is also possible to stop all patches which have been started by using patch.stopall().

patch.stopall()

Stop all active patches. Only stops patches started with start.

patch de embutidos

You can patch any builtins within a module. The following example patches builtin ord():

>>> @patch('__main__.ord')
... def test(mock_ord):
...     mock_ord.return_value = 101
...     print(ord('c'))
...
>>> test()
101

TEST_PREFIX

All of the patchers can be used as class decorators. When used in this way they wrap every test method on the class. The patchers recognise methods that start with 'test' as being test methods. This is the same way that the unittest.TestLoader finds test methods by default.

It is possible that you want to use a different prefix for your tests. You can inform the patchers of the different prefix by setting patch.TEST_PREFIX:

>>> patch.TEST_PREFIX = 'foo'
>>> value = 3
>>>
>>> @patch('__main__.value', 'not three')
... class Thing:
...     def foo_one(self):
...         print(value)
...     def foo_two(self):
...         print(value)
...
>>>
>>> Thing().foo_one()
not three
>>> Thing().foo_two()
not three
>>> value
3

Aninhando Decoradores Patch

If you want to perform multiple patches then you can simply stack up the decorators.

You can stack up multiple patch decorators using this pattern:

>>> @patch.object(SomeClass, 'class_method')
... @patch.object(SomeClass, 'static_method')
... def test(mock1, mock2):
...     assert SomeClass.static_method is mock1
...     assert SomeClass.class_method is mock2
...     SomeClass.static_method('foo')
...     SomeClass.class_method('bar')
...     return mock1, mock2
...
>>> mock1, mock2 = test()
>>> mock1.assert_called_once_with('foo')
>>> mock2.assert_called_once_with('bar')

Note that the decorators are applied from the bottom upwards. This is the standard way that Python applies decorators. The order of the created mocks passed into your test function matches this order.

Onde fazer patch

patch() works by (temporarily) changing the object that a name points to with another one. There can be many names pointing to any individual object, so for patching to work you must ensure that you patch the name used by the system under test.

The basic principle is that you patch where an object is looked up, which is not necessarily the same place as where it is defined. A couple of examples will help to clarify this.

Imagine we have a project that we want to test with the following structure:

a.py
    -> Defines SomeClass

b.py
    -> from a import SomeClass
    -> some_function instantiates SomeClass

Now we want to test some_function but we want to mock out SomeClass using patch(). The problem is that when we import module b, which we will have to do then it imports SomeClass from module a. If we use patch() to mock out a.SomeClass then it will have no effect on our test; module b already has a reference to the real SomeClass and it looks like our patching had no effect.

The key is to patch out SomeClass where it is used (or where it is looked up). In this case some_function will actually look up SomeClass in module b, where we have imported it. The patching should look like:

@patch('b.SomeClass')

However, consider the alternative scenario where instead of from a import SomeClass module b does import a and some_function uses a.SomeClass. Both of these import forms are common. In this case the class we want to patch is being looked up in the module and so we have to patch a.SomeClass instead:

@patch('a.SomeClass')

Patching Descriptors and Proxy Objects

Both patch and patch.object correctly patch and restore descriptors: class methods, static methods and properties. You should patch these on the class rather than an instance. They also work with some objects that proxy attribute access, like the django settings object [https://web.archive.org/web/20200603181648/http://www.voidspace.org.uk/python/weblog/arch_d7_2010_12_04.shtml#e1198].

MagicMock and magic method support

Simulando Métodos Mágicos

Mock supports mocking the Python protocol methods, also known as “magic methods”. This allows mock objects to replace containers or other objects that implement Python protocols.

Because magic methods are looked up differently from normal methods [2], this support has been specially implemented. This means that only specific magic methods are supported. The supported list includes almost all of them. If there are any missing that you need please let us know.

You mock magic methods by setting the method you are interested in to a function or a mock instance. If you are using a function then it must take self as the first argument [3].

>>> def __str__(self):
...     return 'fooble'
...
>>> mock = Mock()
>>> mock.__str__ = __str__
>>> str(mock)
'fooble'

>>> mock = Mock()
>>> mock.__str__ = Mock()
>>> mock.__str__.return_value = 'fooble'
>>> str(mock)
'fooble'

>>> mock = Mock()
>>> mock.__iter__ = Mock(return_value=iter([]))
>>> list(mock)
[]

One use case for this is for mocking objects used as context managers in a with statement:

>>> mock = Mock()
>>> mock.__enter__ = Mock(return_value='foo')
>>> mock.__exit__ = Mock(return_value=False)
>>> with mock as m:
...     assert m == 'foo'
...
>>> mock.__enter__.assert_called_with()
>>> mock.__exit__.assert_called_with(None, None, None)

Calls to magic methods do not appear in method_calls, but they are recorded in mock_calls.

Nota

If you use the spec keyword argument to create a mock then attempting to set a magic method that isn’t in the spec will raise an AttributeError.

A lista completa de métodos mágicos compatíveis é:

__hash__, __sizeof__, __repr__ e __str__

__dir__, __format__ e __subclasses__

__round__, __floor__, __trunc__ e __ceil__

Comparações: __lt__, __gt__, __le__, __ge__, __eq__ e __ne__

Container methods: __getitem__, __setitem__, __delitem__, __contains__, __len__, __iter__, __reversed__ and __missing__

Gerenciador de contexto: __enter__, __exit__, __aenter__ e __aexit__

Métodos numéricos unários: __neg__, __pos__ e __invert__

The numeric methods (including right hand and in-place variants): __add__, __sub__, __mul__, __matmul__, __truediv__, __floordiv__, __mod__, __divmod__, __lshift__, __rshift__, __and__, __xor__, __or__, and __pow__

Métodos de conversão numérica: __complex__, __int__, __float__ e __index__

Métodos descritores: __get__, __set__ e __delete__

Pickling: __reduce__, __reduce_ex__, __getinitargs__, __getnewargs__, __getstate__ e __setstate__

File system path representation: __fspath__

Métodos de iteração assíncrona: __aiter__ e __anext__

Alterado na versão 3.8: Adicionado suporte para os.PathLike.__fspath__().

Alterado na versão 3.8: Adicionado suporte para __aenter__, __aexit__, __aiter__ e __anext__.

The following methods exist but are not supported as they are either in use by mock, can’t be set dynamically, or can cause problems:

__getattr__, __setattr__, __init__ e __new__

__prepare__, __instancecheck__, __subclasscheck__, __del__

Magic Mock

Existem duas variantes de MagicMock: MagicMock e NonCallableMagicMock.

class unittest.mock.MagicMock(*args, **kw)

MagicMock is a subclass of Mock with default implementations of most of the magic methods. You can use MagicMock without having to configure the magic methods yourself.

The constructor parameters have the same meaning as for Mock.

If you use the spec or spec_set arguments then only magic methods that exist in the spec will be created.

class unittest.mock.NonCallableMagicMock(*args, **kw)

Uma versão não-chamável de MagicMock.

The constructor parameters have the same meaning as for MagicMock, with the exception of return_value and side_effect which have no meaning on a non-callable mock.

The magic methods are setup with MagicMock objects, so you can configure them and use them in the usual way:

>>> mock = MagicMock()
>>> mock[3] = 'fish'
>>> mock.__setitem__.assert_called_with(3, 'fish')
>>> mock.__getitem__.return_value = 'result'
>>> mock[2]
'result'

By default many of the protocol methods are required to return objects of a specific type. These methods are preconfigured with a default return value, so that they can be used without you having to do anything if you aren’t interested in the return value. You can still set the return value manually if you want to change the default.

Métodos e seus padrões:

__lt__: NotImplemented

__gt__: NotImplemented

__le__: NotImplemented

__ge__: NotImplemented

__int__: 1

__contains__: False

__len__: 0

__iter__: iter([])

__exit__: False

__aexit__: False

__complex__: 1j

__float__: 1.0

__bool__: True

__index__: 1

__hash__: hash padrão para o mock

__str__: str padrão para o mock

__sizeof__: sizeof padrão para o mock

Por exemplo:

>>> mock = MagicMock()
>>> int(mock)
1
>>> len(mock)
0
>>> list(mock)
[]
>>> object() in mock
False

The two equality methods, __eq__() and __ne__(), are special. They do the default equality comparison on identity, using the side_effect attribute, unless you change their return value to return something else:

>>> MagicMock() == 3
False
>>> MagicMock() != 3
True
>>> mock = MagicMock()
>>> mock.__eq__.return_value = True
>>> mock == 3
True

The return value of MagicMock.__iter__() can be any iterable object and isn’t required to be an iterator:

>>> mock = MagicMock()
>>> mock.__iter__.return_value = ['a', 'b', 'c']
>>> list(mock)
['a', 'b', 'c']
>>> list(mock)
['a', 'b', 'c']

If the return value is an iterator, then iterating over it once will consume it and subsequent iterations will result in an empty list:

>>> mock.__iter__.return_value = iter(['a', 'b', 'c'])
>>> list(mock)
['a', 'b', 'c']
>>> list(mock)
[]

MagicMock has all of the supported magic methods configured except for some of the obscure and obsolete ones. You can still set these up if you want.

Magic methods that are supported but not setup by default in MagicMock are:

__subclasses__

__dir__

__format__

__get__, __set__ e __delete__

__reversed__ e __missing__

__reduce__, __reduce_ex__, __getinitargs__, __getnewargs__, __getstate__ e __setstate__

__getformat__

[2]

Magic methods should be looked up on the class rather than the instance. Different versions of Python are inconsistent about applying this rule. The supported protocol methods should work with all supported versions of Python.

[3]

The function is basically hooked up to the class, but each Mock instance is kept isolated from the others.

Ajudantes

sentinel

unittest.mock.sentinel

The sentinel object provides a convenient way of providing unique objects for your tests.

Attributes are created on demand when you access them by name. Accessing the same attribute will always return the same object. The objects returned have a sensible repr so that test failure messages are readable.

Alterado na versão 3.7: The sentinel attributes now preserve their identity when they are copied or pickled.

Sometimes when testing you need to test that a specific object is passed as an argument to another method, or returned. It can be common to create named sentinel objects to test this. sentinel provides a convenient way of creating and testing the identity of objects like this.

In this example we monkey patch method to return sentinel.some_object:

>>> real = ProductionClass()
>>> real.method = Mock(name="method")
>>> real.method.return_value = sentinel.some_object
>>> result = real.method()
>>> assert result is sentinel.some_object
>>> result
sentinel.some_object

DEFAULT

unittest.mock.DEFAULT

The DEFAULT object is a pre-created sentinel (actually sentinel.DEFAULT). It can be used by side_effect functions to indicate that the normal return value should be used.

chamada

unittest.mock.call(*args, **kwargs)

call() is a helper object for making simpler assertions, for comparing with call_args, call_args_list, mock_calls and method_calls. call() can also be used with assert_has_calls().

>>> m = MagicMock(return_value=None)
>>> m(1, 2, a='foo', b='bar')
>>> m()
>>> m.call_args_list == [call(1, 2, a='foo', b='bar'), call()]
True

call.call_list()

For a call object that represents multiple calls, call_list() returns a list of all the intermediate calls as well as the final call.

call_list is particularly useful for making assertions on “chained calls”. A chained call is multiple calls on a single line of code. This results in multiple entries in mock_calls on a mock. Manually constructing the sequence of calls can be tedious.

call_list() can construct the sequence of calls from the same chained call:

>>> m = MagicMock()
>>> m(1).method(arg='foo').other('bar')(2.0)
<MagicMock name='mock().method().other()()' id='...'>
>>> kall = call(1).method(arg='foo').other('bar')(2.0)
>>> kall.call_list()
[call(1),
 call().method(arg='foo'),
 call().method().other('bar'),
 call().method().other()(2.0)]
>>> m.mock_calls == kall.call_list()
True

A call object is either a tuple of (positional args, keyword args) or (name, positional args, keyword args) depending on how it was constructed. When you construct them yourself this isn’t particularly interesting, but the call objects that are in the Mock.call_args, Mock.call_args_list and Mock.mock_calls attributes can be introspected to get at the individual arguments they contain.

The call objects in Mock.call_args and Mock.call_args_list are two-tuples of (positional args, keyword args) whereas the call objects in Mock.mock_calls, along with ones you construct yourself, are three-tuples of (name, positional args, keyword args).

You can use their “tupleness” to pull out the individual arguments for more complex introspection and assertions. The positional arguments are a tuple (an empty tuple if there are no positional arguments) and the keyword arguments are a dictionary:

>>> m = MagicMock(return_value=None)
>>> m(1, 2, 3, arg='one', arg2='two')
>>> kall = m.call_args
>>> kall.args
(1, 2, 3)
>>> kall.kwargs
{'arg': 'one', 'arg2': 'two'}
>>> kall.args is kall[0]
True
>>> kall.kwargs is kall[1]
True

>>> m = MagicMock()
>>> m.foo(4, 5, 6, arg='two', arg2='three')
<MagicMock name='mock.foo()' id='...'>
>>> kall = m.mock_calls[0]
>>> name, args, kwargs = kall
>>> name
'foo'
>>> args
(4, 5, 6)
>>> kwargs
{'arg': 'two', 'arg2': 'three'}
>>> name is m.mock_calls[0][0]
True

create_autospec

unittest.mock.create_autospec(spec, spec_set=False, instance=False, **kwargs)

Create a mock object using another object as a spec. Attributes on the mock will use the corresponding attribute on the spec object as their spec.

Functions or methods being mocked will have their arguments checked to ensure that they are called with the correct signature.

If spec_set is True then attempting to set attributes that don’t exist on the spec object will raise an AttributeError.

If a class is used as a spec then the return value of the mock (the instance of the class) will have the same spec. You can use a class as the spec for an instance object by passing instance=True. The returned mock will only be callable if instances of the mock are callable.

create_autospec() also takes arbitrary keyword arguments that are passed to the constructor of the created mock.

See Especificação automática for examples of how to use auto-speccing with create_autospec() and the autospec argument to patch().

Alterado na versão 3.8: create_autospec() now returns an AsyncMock if the target is an async function.

ANY

unittest.mock.ANY

Sometimes you may need to make assertions about some of the arguments in a call to mock, but either not care about some of the arguments or want to pull them individually out of call_args and make more complex assertions on them.

To ignore certain arguments you can pass in objects that compare equal to everything. Calls to assert_called_with() and assert_called_once_with() will then succeed no matter what was passed in.

>>> mock = Mock(return_value=None)
>>> mock('foo', bar=object())
>>> mock.assert_called_once_with('foo', bar=ANY)

ANY can also be used in comparisons with call lists like mock_calls:

>>> m = MagicMock(return_value=None)
>>> m(1)
>>> m(1, 2)
>>> m(object())
>>> m.mock_calls == [call(1), call(1, 2), ANY]
True

ANY is not limited to comparisons with call objects and so can also be used in test assertions:

class TestStringMethods(unittest.TestCase):

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', ANY])

FILTER_DIR

unittest.mock.FILTER_DIR

FILTER_DIR is a module level variable that controls the way mock objects respond to dir(). The default is True, which uses the filtering described below, to only show useful members. If you dislike this filtering, or need to switch it off for diagnostic purposes, then set mock.FILTER_DIR = False.

With filtering on, dir(some_mock) shows only useful attributes and will include any dynamically created attributes that wouldn’t normally be shown. If the mock was created with a spec (or autospec of course) then all the attributes from the original are shown, even if they haven’t been accessed yet:

>>> dir(Mock())
['assert_any_call',
 'assert_called',
 'assert_called_once',
 'assert_called_once_with',
 'assert_called_with',
 'assert_has_calls',
 'assert_not_called',
 'attach_mock',
 ...
>>> from urllib import request
>>> dir(Mock(spec=request))
['AbstractBasicAuthHandler',
 'AbstractDigestAuthHandler',
 'AbstractHTTPHandler',
 'BaseHandler',
 ...

Many of the not-very-useful (private to Mock rather than the thing being mocked) underscore and double underscore prefixed attributes have been filtered from the result of calling dir() on a Mock. If you dislike this behaviour you can switch it off by setting the module level switch FILTER_DIR:

>>> from unittest import mock
>>> mock.FILTER_DIR = False
>>> dir(mock.Mock())
['_NonCallableMock__get_return_value',
 '_NonCallableMock__get_side_effect',
 '_NonCallableMock__return_value_doc',
 '_NonCallableMock__set_return_value',
 '_NonCallableMock__set_side_effect',
 '__call__',
 '__class__',
 ...

Alternatively you can just use vars(my_mock) (instance members) and dir(type(my_mock)) (type members) to bypass the filtering irrespective of FILTER_DIR.

mock_open

unittest.mock.mock_open(mock=None, read_data=None)

A helper function to create a mock to replace the use of open(). It works for open() called directly or used as a context manager.

The mock argument is the mock object to configure. If None (the default) then a MagicMock will be created for you, with the API limited to methods or attributes available on standard file handles.

read_data is a string for the read(), readline(), and readlines() methods of the file handle to return. Calls to those methods will take data from read_data until it is depleted. The mock of these methods is pretty simplistic: every time the mock is called, the read_data is rewound to the start. If you need more control over the data that you are feeding to the tested code you will need to customize this mock for yourself. When that is insufficient, one of the in-memory filesystem packages on PyPI [https://pypi.org] can offer a realistic filesystem for testing.

Alterado na versão 3.4: Added readline() and readlines() support. The mock of read() changed to consume read_data rather than returning it on each call.

Alterado na versão 3.5: read_data is now reset on each call to the mock.

Alterado na versão 3.8: Added __iter__() to implementation so that iteration (such as in for loops) correctly consumes read_data.

Using open() as a context manager is a great way to ensure your file handles are closed properly and is becoming common:

with open('/some/path', 'w') as f:
    f.write('something')

The issue is that even if you mock out the call to open() it is the returned object that is used as a context manager (and has __enter__() and __exit__() called).

Mocking context managers with a MagicMock is common enough and fiddly enough that a helper function is useful.

>>> m = mock_open()
>>> with patch('__main__.open', m):
...     with open('foo', 'w') as h:
...         h.write('some stuff')
...
>>> m.mock_calls
[call('foo', 'w'),
 call().__enter__(),
 call().write('some stuff'),
 call().__exit__(None, None, None)]
>>> m.assert_called_once_with('foo', 'w')
>>> handle = m()
>>> handle.write.assert_called_once_with('some stuff')

E para ler arquivos:

>>> with patch('__main__.open', mock_open(read_data='bibble')) as m:
...     with open('foo') as h:
...         result = h.read()
...
>>> m.assert_called_once_with('foo')
>>> assert result == 'bibble'

Especificação automática

Autospeccing is based on the existing spec feature of mock. It limits the api of mocks to the api of an original object (the spec), but it is recursive (implemented lazily) so that attributes of mocks only have the same api as the attributes of the spec. In addition mocked functions / methods have the same call signature as the original so they raise a TypeError if they are called incorrectly.

Before I explain how auto-speccing works, here’s why it is needed.

Mock is a very powerful and flexible object, but it suffers from a flaw which is general to mocking. If you refactor some of your code, rename members and so on, any tests for code that is still using the old api but uses mocks instead of the real objects will still pass. This means your tests can all pass even though your code is broken.

Alterado na versão 3.5: Before 3.5, tests with a typo in the word assert would silently pass when they should raise an error. You can still achieve this behavior by passing unsafe=True to Mock.

Note that this is another reason why you need integration tests as well as unit tests. Testing everything in isolation is all fine and dandy, but if you don’t test how your units are “wired together” there is still lots of room for bugs that tests might have caught.

unittest.mock already provides a feature to help with this, called speccing. If you use a class or instance as the spec for a mock then you can only access attributes on the mock that exist on the real class:

>>> from urllib import request
>>> mock = Mock(spec=request.Request)
>>> mock.assret_called_with  # Intentional typo!
Traceback (most recent call last):
 ...
AttributeError: Mock object has no attribute 'assret_called_with'

The spec only applies to the mock itself, so we still have the same issue with any methods on the mock:

>>> mock.has_data()
<mock.Mock object at 0x...>
>>> mock.has_data.assret_called_with()  # Intentional typo!

Auto-speccing solves this problem. You can either pass autospec=True to patch() / patch.object() or use the create_autospec() function to create a mock with a spec. If you use the autospec=True argument to patch() then the object that is being replaced will be used as the spec object. Because the speccing is done “lazily” (the spec is created as attributes on the mock are accessed) you can use it with very complex or deeply nested objects (like modules that import modules that import modules) without a big performance hit.

Aqui está um exemplo disso em uso:

>>> from urllib import request
>>> patcher = patch('__main__.request', autospec=True)
>>> mock_request = patcher.start()
>>> request is mock_request
True
>>> mock_request.Request
<MagicMock name='request.Request' spec='Request' id='...'>

You can see that request.Request has a spec. request.Request takes two arguments in the constructor (one of which is self). Here’s what happens if we try to call it incorrectly:

>>> req = request.Request()
Traceback (most recent call last):
 ...
TypeError: <lambda>() takes at least 2 arguments (1 given)

The spec also applies to instantiated classes (i.e. the return value of specced mocks):

>>> req = request.Request('foo')
>>> req
<NonCallableMagicMock name='request.Request()' spec='Request' id='...'>

Request objects are not callable, so the return value of instantiating our mocked out request.Request is a non-callable mock. With the spec in place any typos in our asserts will raise the correct error:

>>> req.add_header('spam', 'eggs')
<MagicMock name='request.Request().add_header()' id='...'>
>>> req.add_header.assret_called_with  # Intentional typo!
Traceback (most recent call last):
 ...
AttributeError: Mock object has no attribute 'assret_called_with'
>>> req.add_header.assert_called_with('spam', 'eggs')

In many cases you will just be able to add autospec=True to your existing patch() calls and then be protected against bugs due to typos and api changes.

As well as using autospec through patch() there is a create_autospec() for creating autospecced mocks directly:

>>> from urllib import request
>>> mock_request = create_autospec(request)
>>> mock_request.Request('foo', 'bar')
<NonCallableMagicMock name='mock.Request()' spec='Request' id='...'>

This isn’t without caveats and limitations however, which is why it is not the default behaviour. In order to know what attributes are available on the spec object, autospec has to introspect (access attributes) the spec. As you traverse attributes on the mock a corresponding traversal of the original object is happening under the hood. If any of your specced objects have properties or descriptors that can trigger code execution then you may not be able to use autospec. On the other hand it is much better to design your objects so that introspection is safe [4].

A more serious problem is that it is common for instance attributes to be created in the __init__() method and not to exist on the class at all. autospec can’t know about any dynamically created attributes and restricts the api to visible attributes.

>>> class Something:
...   def __init__(self):
...     self.a = 33
...
>>> with patch('__main__.Something', autospec=True):
...   thing = Something()
...   thing.a
...
Traceback (most recent call last):
  ...
AttributeError: Mock object has no attribute 'a'

There are a few different ways of resolving this problem. The easiest, but not necessarily the least annoying, way is to simply set the required attributes on the mock after creation. Just because autospec doesn’t allow you to fetch attributes that don’t exist on the spec it doesn’t prevent you setting them:

>>> with patch('__main__.Something', autospec=True):
...   thing = Something()
...   thing.a = 33
...

There is a more aggressive version of both spec and autospec that does prevent you setting non-existent attributes. This is useful if you want to ensure your code only sets valid attributes too, but obviously it prevents this particular scenario:

>>> with patch('__main__.Something', autospec=True, spec_set=True):
...   thing = Something()
...   thing.a = 33
...
Traceback (most recent call last):
 ...
AttributeError: Mock object has no attribute 'a'

Probably the best way of solving the problem is to add class attributes as default values for instance members initialised in __init__(). Note that if you are only setting default attributes in __init__() then providing them via class attributes (shared between instances of course) is faster too. e.g.

class Something:
    a = 33

This brings up another issue. It is relatively common to provide a default value of None for members that will later be an object of a different type. None would be useless as a spec because it wouldn’t let you access any attributes or methods on it. As None is never going to be useful as a spec, and probably indicates a member that will normally of some other type, autospec doesn’t use a spec for members that are set to None. These will just be ordinary mocks (well - MagicMocks):

>>> class Something:
...     member = None
...
>>> mock = create_autospec(Something)
>>> mock.member.foo.bar.baz()
<MagicMock name='mock.member.foo.bar.baz()' id='...'>

If modifying your production classes to add defaults isn’t to your liking then there are more options. One of these is simply to use an instance as the spec rather than the class. The other is to create a subclass of the production class and add the defaults to the subclass without affecting the production class. Both of these require you to use an alternative object as the spec. Thankfully patch() supports this - you can simply pass the alternative object as the autospec argument:

>>> class Something:
...   def __init__(self):
...     self.a = 33
...
>>> class SomethingForTest(Something):
...   a = 33
...
>>> p = patch('__main__.Something', autospec=SomethingForTest)
>>> mock = p.start()
>>> mock.a
<NonCallableMagicMock name='Something.a' spec='int' id='...'>

[4]

This only applies to classes or already instantiated objects. Calling a mocked class to create a mock instance does not create a real instance. It is only attribute lookups - along with calls to dir() - that are done.

Vedando mocks

unittest.mock.seal(mock)

Seal will disable the automatic creation of mocks when accessing an attribute of the mock being sealed or any of its attributes that are already mocks recursively.

If a mock instance with a name or a spec is assigned to an attribute it won’t be considered in the sealing chain. This allows one to prevent seal from fixing part of the mock object.

>>> mock = Mock()
>>> mock.submock.attribute1 = 2
>>> mock.not_submock = mock.Mock(name="sample_name")
>>> seal(mock)
>>> mock.new_attribute  # This will raise AttributeError.
>>> mock.submock.attribute2  # This will raise AttributeError.
>>> mock.not_submock.attribute2  # This won't raise.

Adicionado na versão 3.7.

Order of precedence of side_effect, return_value and wraps

The order of their precedence is:

side_effect

return_value

wraps

If all three are set, mock will return the value from side_effect, ignoring return_value and the wrapped object altogether. If any two are set, the one with the higher precedence will return the value. Regardless of the order of which was set first, the order of precedence remains unchanged.

>>> from unittest.mock import Mock
>>> class Order:
...     @staticmethod
...     def get_value():
...         return "third"
...
>>> order_mock = Mock(spec=Order, wraps=Order)
>>> order_mock.get_value.side_effect = ["first"]
>>> order_mock.get_value.return_value = "second"
>>> order_mock.get_value()
'first'

As None is the default value of side_effect, if you reassign its value back to None, the order of precedence will be checked between return_value and the wrapped object, ignoring side_effect.

>>> order_mock.get_value.side_effect = None
>>> order_mock.get_value()
'second'

If the value being returned by side_effect is DEFAULT, it is ignored and the order of precedence moves to the successor to obtain the value to return.

>>> from unittest.mock import DEFAULT
>>> order_mock.get_value.side_effect = [DEFAULT]
>>> order_mock.get_value()
'second'

When Mock wraps an object, the default value of return_value will be DEFAULT.

>>> order_mock = Mock(spec=Order, wraps=Order)
>>> order_mock.return_value
sentinel.DEFAULT
>>> order_mock.get_value.return_value
sentinel.DEFAULT

The order of precedence will ignore this value and it will move to the last successor which is the wrapped object.

As the real call is being made to the wrapped object, creating an instance of this mock will return the real instance of the class. The positional arguments, if any, required by the wrapped object must be passed.

>>> order_mock_instance = order_mock()
>>> isinstance(order_mock_instance, Order)
True
>>> order_mock_instance.get_value()
'third'

>>> order_mock.get_value.return_value = DEFAULT
>>> order_mock.get_value()
'third'

>>> order_mock.get_value.return_value = "second"
>>> order_mock.get_value()
'second'

But if you assign None to it, this will not be ignored as it is an explicit assignment. So, the order of precedence will not move to the wrapped object.

>>> order_mock.get_value.return_value = None
>>> order_mock.get_value() is None
True

Even if you set all three at once when initializing the mock, the order of precedence remains the same:

>>> order_mock = Mock(spec=Order, wraps=Order,
...                   **{"get_value.side_effect": ["first"],
...                      "get_value.return_value": "second"}
...                   )
...
>>> order_mock.get_value()
'first'
>>> order_mock.get_value.side_effect = None
>>> order_mock.get_value()
'second'
>>> order_mock.get_value.return_value = DEFAULT
>>> order_mock.get_value()
'third'

If side_effect is exhausted, the order of precedence will not cause a value to be obtained from the successors. Instead, StopIteration exception is raised.

>>> order_mock = Mock(spec=Order, wraps=Order)
>>> order_mock.get_value.side_effect = ["first side effect value",
...                                     "another side effect value"]
>>> order_mock.get_value.return_value = "second"

>>> order_mock.get_value()
'first side effect value'
>>> order_mock.get_value()
'another side effect value'

>>> order_mock.get_value()
Traceback (most recent call last):
 ...
StopIteration

unittest.mock — primeiros passos

Adicionado na versão 3.3.

Usando Mock

Métodos de aplicação de patches em Mock

Usos comuns para objetos Mock incluem:

Métodos de aplicação de patches

Método de gravação que invoca objetos

Talvez você queira substituir um método em um objeto para verificar se ele foi chamado com os argumentos corretos por outra parte do sistema:

>>> real = SomeClass()
>>> real.method = MagicMock(name='method')
>>> real.method(3, 4, 5, key='value')
<MagicMock name='method()' id='...'>

Depois que nosso mock for usado (real.method neste exemplo), ele terá métodos e atributos que permitem que você faça afirmações sobre como ele foi usado.

Nota

Na maioria desses exemplos, as classes Mock e MagicMock são intercambiáveis. Como a MagicMock é a classe mais capaz, ela faz sentido para ser usada por padrão.

Uma vez que o mock foi chamado, seu atributo called é definido como True. Mais importante, podemos usar o método assert_called_with() ou assert_called_once_with() para verificar se ele foi chamado com os argumentos corretos.

Este exemplo testa se a chamada de ProductionClass().method resulta em uma chamada para o método something:

>>> class ProductionClass:
...     def method(self):
...         self.something(1, 2, 3)
...     def something(self, a, b, c):
...         pass
...
>>> real = ProductionClass()
>>> real.something = MagicMock()
>>> real.method()
>>> real.something.assert_called_once_with(1, 2, 3)

Mock de chamadas de métodos em um objeto

No último exemplo, aplicamos um patch em um método diretamente em um objeto para verificar se ele foi chamado corretamente. Outro caso de uso comum é passar um objeto para um método (ou alguma parte do sistema em teste) e então verificar se ele é usado da maneira correta.

O ProductionClass simples abaixo tem um método closer. Se ele for chamado com um objeto, então ele chama close nele.

>>> class ProductionClass:
...     def closer(self, something):
...         something.close()
...

Então, para testá-lo, precisamos passar um objeto com um método close e verificar se ele foi chamado corretamente.

>>> real = ProductionClass()
>>> mock = Mock()
>>> real.closer(mock)
>>> mock.close.assert_called_with()

Não precisamos fazer nenhum trabalho para fornecer o método ‘close’ em nosso mock. Acessar close o cria. Então, se ‘close’ ainda não foi chamado, acessá-lo no teste o criará, mas assert_called_with() levantará uma exceção de falha.

Mocking Classes

A common use case is to mock out classes instantiated by your code under test. When you patch a class, then that class is replaced with a mock. Instances are created by calling the class. This means you access the “mock instance” by looking at the return value of the mocked class.

In the example below we have a function some_function that instantiates Foo and calls a method on it. The call to patch() replaces the class Foo with a mock. The Foo instance is the result of calling the mock, so it is configured by modifying the mock return_value.

>>> def some_function():
...     instance = module.Foo()
...     return instance.method()
...
>>> with patch('module.Foo') as mock:
...     instance = mock.return_value
...     instance.method.return_value = 'the result'
...     result = some_function()
...     assert result == 'the result'

Nomeando os mocks

It can be useful to give your mocks a name. The name is shown in the repr of the mock and can be helpful when the mock appears in test failure messages. The name is also propagated to attributes or methods of the mock:

>>> mock = MagicMock(name='foo')
>>> mock
<MagicMock name='foo' id='...'>
>>> mock.method
<MagicMock name='foo.method' id='...'>

Rastreando todas as chamadas

Frequentemente você quer rastrear mais de uma chamada para um método. O atributo mock_calls registra todas as chamadas para atributos filhos do mock - e também para seus filhos.

>>> mock = MagicMock()
>>> mock.method()
<MagicMock name='mock.method()' id='...'>
>>> mock.attribute.method(10, x=53)
<MagicMock name='mock.attribute.method()' id='...'>
>>> mock.mock_calls
[call.method(), call.attribute.method(10, x=53)]

If you make an assertion about mock_calls and any unexpected methods have been called, then the assertion will fail. This is useful because as well as asserting that the calls you expected have been made, you are also checking that they were made in the right order and with no additional calls:

You use the call object to construct lists for comparing with mock_calls:

>>> expected = [call.method(), call.attribute.method(10, x=53)]
>>> mock.mock_calls == expected
True

However, parameters to calls that return mocks are not recorded, which means it is not possible to track nested calls where the parameters used to create ancestors are important:

>>> m = Mock()
>>> m.factory(important=True).deliver()
<Mock name='mock.factory().deliver()' id='...'>
>>> m.mock_calls[-1] == call.factory(important=False).deliver()
True

Setting Return Values and Attributes

Setting the return values on a mock object is trivially easy:

>>> mock = Mock()
>>> mock.return_value = 3
>>> mock()
3

Of course you can do the same for methods on the mock:

>>> mock = Mock()
>>> mock.method.return_value = 3
>>> mock.method()
3

The return value can also be set in the constructor:

>>> mock = Mock(return_value=3)
>>> mock()
3

If you need an attribute setting on your mock, just do it:

>>> mock = Mock()
>>> mock.x = 3
>>> mock.x
3

Sometimes you want to mock up a more complex situation, like for example mock.connection.cursor().execute("SELECT 1"). If we wanted this call to return a list, then we have to configure the result of the nested call.

We can use call to construct the set of calls in a “chained call” like this for easy assertion afterwards:

>>> mock = Mock()
>>> cursor = mock.connection.cursor.return_value
>>> cursor.execute.return_value = ['foo']
>>> mock.connection.cursor().execute("SELECT 1")
['foo']
>>> expected = call.connection.cursor().execute("SELECT 1").call_list()
>>> mock.mock_calls
[call.connection.cursor(), call.connection.cursor().execute('SELECT 1')]
>>> mock.mock_calls == expected
True

It is the call to .call_list() that turns our call object into a list of calls representing the chained calls.

Raising exceptions with mocks

A useful attribute is side_effect. If you set this to an exception class or instance then the exception will be raised when the mock is called.

>>> mock = Mock(side_effect=Exception('Boom!'))
>>> mock()
Traceback (most recent call last):
  ...
Exception: Boom!

Side effect functions and iterables

side_effect can also be set to a function or an iterable. The use case for side_effect as an iterable is where your mock is going to be called several times, and you want each call to return a different value. When you set side_effect to an iterable every call to the mock returns the next value from the iterable:

>>> mock = MagicMock(side_effect=[4, 5, 6])
>>> mock()
4
>>> mock()
5
>>> mock()
6

For more advanced use cases, like dynamically varying the return values depending on what the mock is called with, side_effect can be a function. The function will be called with the same arguments as the mock. Whatever the function returns is what the call returns:

>>> vals = {(1, 2): 1, (2, 3): 2}
>>> def side_effect(*args):
...     return vals[args]
...
>>> mock = MagicMock(side_effect=side_effect)
>>> mock(1, 2)
1
>>> mock(2, 3)
2

Mocking asynchronous iterators

Since Python 3.8, AsyncMock and MagicMock have support to mock Iteradores assíncronos through __aiter__. The return_value attribute of __aiter__ can be used to set the return values to be used for iteration.

>>> mock = MagicMock()  # AsyncMock also works here
>>> mock.__aiter__.return_value = [1, 2, 3]
>>> async def main():
...     return [i async for i in mock]
...
>>> asyncio.run(main())
[1, 2, 3]

Mocking asynchronous context manager

Since Python 3.8, AsyncMock and MagicMock have support to mock Gerenciadores de contexto assíncronos through __aenter__ and __aexit__. By default, __aenter__ and __aexit__ are AsyncMock instances that return an async function.

>>> class AsyncContextManager:
...     async def __aenter__(self):
...         return self
...     async def __aexit__(self, exc_type, exc, tb):
...         pass
...
>>> mock_instance = MagicMock(AsyncContextManager())  # AsyncMock also works here
>>> async def main():
...     async with mock_instance as result:
...         pass
...
>>> asyncio.run(main())
>>> mock_instance.__aenter__.assert_awaited_once()
>>> mock_instance.__aexit__.assert_awaited_once()

Creating a Mock from an Existing Object

One problem with over use of mocking is that it couples your tests to the implementation of your mocks rather than your real code. Suppose you have a class that implements some_method. In a test for another class, you provide a mock of this object that also provides some_method. If later you refactor the first class, so that it no longer has some_method - then your tests will continue to pass even though your code is now broken!

Mock allows you to provide an object as a specification for the mock, using the spec keyword argument. Accessing methods / attributes on the mock that don’t exist on your specification object will immediately raise an attribute error. If you change the implementation of your specification, then tests that use that class will start failing immediately without you having to instantiate the class in those tests.

>>> mock = Mock(spec=SomeClass)
>>> mock.old_method()
Traceback (most recent call last):
   ...
AttributeError: Mock object has no attribute 'old_method'. Did you mean: 'class_method'?

Using a specification also enables a smarter matching of calls made to the mock, regardless of whether some parameters were passed as positional or named arguments:

>>> def f(a, b, c): pass
...
>>> mock = Mock(spec=f)
>>> mock(1, 2, 3)
<Mock name='mock()' id='140161580456576'>
>>> mock.assert_called_with(a=1, b=2, c=3)

If you want this smarter matching to also work with method calls on the mock, you can use auto-speccing.

If you want a stronger form of specification that prevents the setting of arbitrary attributes as well as the getting of them then you can use spec_set instead of spec.

Using side_effect to return per file content

mock_open() is used to patch open() method. side_effect can be used to return a new Mock object per call. This can be used to return different contents per file stored in a dictionary:

DEFAULT = "default"
data_dict = {"file1": "data1",
             "file2": "data2"}

def open_side_effect(name):
    return mock_open(read_data=data_dict.get(name, DEFAULT))()

with patch("builtins.open", side_effect=open_side_effect):
    with open("file1") as file1:
        assert file1.read() == "data1"

    with open("file2") as file2:
        assert file2.read() == "data2"

    with open("file3") as file2:
        assert file2.read() == "default"

Patch Decorators

Nota

Com patch(), é importante que você faça o patch de objetos no espaço de nomes onde eles são procurados. Normalmente, isso é simples, mas para um guia rápido, leia onde fazer o patch.

A common need in tests is to patch a class attribute or a module attribute, for example patching a builtin or patching a class in a module to test that it is instantiated. Modules and classes are effectively global, so patching on them has to be undone after the test or the patch will persist into other tests and cause hard to diagnose problems.

mock provides three convenient decorators for this: patch(), patch.object() and patch.dict(). patch takes a single string, of the form package.module.Class.attribute to specify the attribute you are patching. It also optionally takes a value that you want the attribute (or class or whatever) to be replaced with. ‘patch.object’ takes an object and the name of the attribute you would like patched, plus optionally the value to patch it with.

patch.object:

>>> original = SomeClass.attribute
>>> @patch.object(SomeClass, 'attribute', sentinel.attribute)
... def test():
...     assert SomeClass.attribute == sentinel.attribute
...
>>> test()
>>> assert SomeClass.attribute == original

>>> @patch('package.module.attribute', sentinel.attribute)
... def test():
...     from package.module import attribute
...     assert attribute is sentinel.attribute
...
>>> test()

If you are patching a module (including builtins) then use patch() instead of patch.object():

>>> mock = MagicMock(return_value=sentinel.file_handle)
>>> with patch('builtins.open', mock):
...     handle = open('filename', 'r')
...
>>> mock.assert_called_with('filename', 'r')
>>> assert handle == sentinel.file_handle, "incorrect file handle returned"

The module name can be ‘dotted’, in the form package.module if needed:

>>> @patch('package.module.ClassName.attribute', sentinel.attribute)
... def test():
...     from package.module import ClassName
...     assert ClassName.attribute == sentinel.attribute
...
>>> test()

A nice pattern is to actually decorate test methods themselves:

>>> class MyTest(unittest.TestCase):
...     @patch.object(SomeClass, 'attribute', sentinel.attribute)
...     def test_something(self):
...         self.assertEqual(SomeClass.attribute, sentinel.attribute)
...
>>> original = SomeClass.attribute
>>> MyTest('test_something').test_something()
>>> assert SomeClass.attribute == original

If you want to patch with a Mock, you can use patch() with only one argument (or patch.object() with two arguments). The mock will be created for you and passed into the test function / method:

>>> class MyTest(unittest.TestCase):
...     @patch.object(SomeClass, 'static_method')
...     def test_something(self, mock_method):
...         SomeClass.static_method()
...         mock_method.assert_called_with()
...
>>> MyTest('test_something').test_something()

You can stack up multiple patch decorators using this pattern:

>>> class MyTest(unittest.TestCase):
...     @patch('package.module.ClassName1')
...     @patch('package.module.ClassName2')
...     def test_something(self, MockClass2, MockClass1):
...         self.assertIs(package.module.ClassName1, MockClass1)
...         self.assertIs(package.module.ClassName2, MockClass2)
...
>>> MyTest('test_something').test_something()

When you nest patch decorators the mocks are passed in to the decorated function in the same order they applied (the normal Python order that decorators are applied). This means from the bottom up, so in the example above the mock for test_module.ClassName2 is passed in first.

Também existe patch.dict() para definir valores em um dicionário apenas durante um escopo e restaurar o dicionário ao seu estado original quando o teste termina:

>>> foo = {'key': 'value'}
>>> original = foo.copy()
>>> with patch.dict(foo, {'newkey': 'newvalue'}, clear=True):
...     assert foo == {'newkey': 'newvalue'}
...
>>> assert foo == original

patch, patch.object and patch.dict can all be used as context managers.

Where you use patch() to create a mock for you, you can get a reference to the mock using the “as” form of the with statement:

>>> class ProductionClass:
...     def method(self):
...         pass
...
>>> with patch.object(ProductionClass, 'method') as mock_method:
...     mock_method.return_value = None
...     real = ProductionClass()
...     real.method(1, 2, 3)
...
>>> mock_method.assert_called_with(1, 2, 3)

As an alternative patch, patch.object and patch.dict can be used as class decorators. When used in this way it is the same as applying the decorator individually to every method whose name starts with “test”.

Further Examples

Here are some more examples for some slightly more advanced scenarios.

Mocking chained calls

Mocking chained calls is actually straightforward with mock once you understand the return_value attribute. When a mock is called for the first time, or you fetch its return_value before it has been called, a new Mock is created.

This means that you can see how the object returned from a call to a mocked object has been used by interrogating the return_value mock:

>>> mock = Mock()
>>> mock().foo(a=2, b=3)
<Mock name='mock().foo()' id='...'>
>>> mock.return_value.foo.assert_called_with(a=2, b=3)

From here it is a simple step to configure and then make assertions about chained calls. Of course another alternative is writing your code in a more testable way in the first place…

So, suppose we have some code that looks a little bit like this:

>>> class Something:
...     def __init__(self):
...         self.backend = BackendProvider()
...     def method(self):
...         response = self.backend.get_endpoint('foobar').create_call('spam', 'eggs').start_call()
...         # more code

Assuming that BackendProvider is already well tested, how do we test method()? Specifically, we want to test that the code section # more code uses the response object in the correct way.

As this chain of calls is made from an instance attribute we can monkey patch the backend attribute on a Something instance. In this particular case we are only interested in the return value from the final call to start_call so we don’t have much configuration to do. Let’s assume the object it returns is ‘file-like’, so we’ll ensure that our response object uses the builtin open() as its spec.

To do this we create a mock instance as our mock backend and create a mock response object for it. To set the response as the return value for that final start_call we could do this:

mock_backend.get_endpoint.return_value.create_call.return_value.start_call.return_value = mock_response

We can do that in a slightly nicer way using the configure_mock() method to directly set the return value for us:

>>> something = Something()
>>> mock_response = Mock(spec=open)
>>> mock_backend = Mock()
>>> config = {'get_endpoint.return_value.create_call.return_value.start_call.return_value': mock_response}
>>> mock_backend.configure_mock(**config)

With these we monkey patch the “mock backend” in place and can make the real call:

>>> something.backend = mock_backend
>>> something.method()

Using mock_calls we can check the chained call with a single assert. A chained call is several calls in one line of code, so there will be several entries in mock_calls. We can use call.call_list() to create this list of calls for us:

>>> chained = call.get_endpoint('foobar').create_call('spam', 'eggs').start_call()
>>> call_list = chained.call_list()
>>> assert mock_backend.mock_calls == call_list

Partial mocking

In some tests I wanted to mock out a call to datetime.date.today() to return a known date, but I didn’t want to prevent the code under test from creating new date objects. Unfortunately datetime.date is written in C, and so I couldn’t just monkey-patch out the static datetime.date.today() method.

I found a simple way of doing this that involved effectively wrapping the date class with a mock, but passing through calls to the constructor to the real class (and returning real instances).

The patch decorator is used here to mock out the date class in the module under test. The side_effect attribute on the mock date class is then set to a lambda function that returns a real date. When the mock date class is called a real date will be constructed and returned by side_effect.

>>> from datetime import date
>>> with patch('mymodule.date') as mock_date:
...     mock_date.today.return_value = date(2010, 10, 8)
...     mock_date.side_effect = lambda *args, **kw: date(*args, **kw)
...
...     assert mymodule.date.today() == date(2010, 10, 8)
...     assert mymodule.date(2009, 6, 8) == date(2009, 6, 8)

Note that we don’t patch datetime.date globally, we patch date in the module that uses it. See where to patch.

When date.today() is called a known date is returned, but calls to the date(...) constructor still return normal dates. Without this you can find yourself having to calculate an expected result using exactly the same algorithm as the code under test, which is a classic testing anti-pattern.

Calls to the date constructor are recorded in the mock_date attributes (call_count and friends) which may also be useful for your tests.

Uma forma alternativa de lidar com datas de mock, ou outras classes embutidas, é discutida nesta entrada de blog [https://williambert.online/2011/07/how-to-unit-testing-in-django-with-mocking-and-patching/].

Mocking a Generator Method

A Python generator is a function or method that uses the yield statement to return a series of values when iterated over [1].

A generator method / function is called to return the generator object. It is the generator object that is then iterated over. The protocol method for iteration is __iter__(), so we can mock this using a MagicMock.

Here’s an example class with an “iter” method implemented as a generator:

>>> class Foo:
...     def iter(self):
...         for i in [1, 2, 3]:
...             yield i
...
>>> foo = Foo()
>>> list(foo.iter())
[1, 2, 3]

How would we mock this class, and in particular its “iter” method?

To configure the values returned from the iteration (implicit in the call to list), we need to configure the object returned by the call to foo.iter().

>>> mock_foo = MagicMock()
>>> mock_foo.iter.return_value = iter([1, 2, 3])
>>> list(mock_foo.iter())
[1, 2, 3]

[1]

There are also generator expressions and more advanced uses [http://www.dabeaz.com/coroutines/index.html] of generators, but we aren’t concerned about them here. A very good introduction to generators and how powerful they are is: Generator Tricks for Systems Programmers [http://www.dabeaz.com/generators/].

Applying the same patch to every test method

If you want several patches in place for multiple test methods the obvious way is to apply the patch decorators to every method. This can feel like unnecessary repetition. Instead, you can use patch() (in all its various forms) as a class decorator. This applies the patches to all test methods on the class. A test method is identified by methods whose names start with test:

>>> @patch('mymodule.SomeClass')
... class MyTest(unittest.TestCase):
...
...     def test_one(self, MockSomeClass):
...         self.assertIs(mymodule.SomeClass, MockSomeClass)
...
...     def test_two(self, MockSomeClass):
...         self.assertIs(mymodule.SomeClass, MockSomeClass)
...
...     def not_a_test(self):
...         return 'something'
...
>>> MyTest('test_one').test_one()
>>> MyTest('test_two').test_two()
>>> MyTest('test_two').not_a_test()
'something'

An alternative way of managing patches is to use the métodos do patch: start e stop. These allow you to move the patching into your setUp and tearDown methods.

>>> class MyTest(unittest.TestCase):
...     def setUp(self):
...         self.patcher = patch('mymodule.foo')
...         self.mock_foo = self.patcher.start()
...
...     def test_foo(self):
...         self.assertIs(mymodule.foo, self.mock_foo)
...
...     def tearDown(self):
...         self.patcher.stop()
...
>>> MyTest('test_foo').run()

If you use this technique you must ensure that the patching is “undone” by calling stop. This can be fiddlier than you might think, because if an exception is raised in the setUp then tearDown is not called. unittest.TestCase.addCleanup() makes this easier:

>>> class MyTest(unittest.TestCase):
...     def setUp(self):
...         patcher = patch('mymodule.foo')
...         self.addCleanup(patcher.stop)
...         self.mock_foo = patcher.start()
...
...     def test_foo(self):
...         self.assertIs(mymodule.foo, self.mock_foo)
...
>>> MyTest('test_foo').run()

Mocking Unbound Methods

Whilst writing tests today I needed to patch an unbound method (patching the method on the class rather than on the instance). I needed self to be passed in as the first argument because I want to make asserts about which objects were calling this particular method. The issue is that you can’t patch with a mock for this, because if you replace an unbound method with a mock it doesn’t become a bound method when fetched from the instance, and so it doesn’t get self passed in. The workaround is to patch the unbound method with a real function instead. The patch() decorator makes it so simple to patch out methods with a mock that having to create a real function becomes a nuisance.

If you pass autospec=True to patch then it does the patching with a real function object. This function object has the same signature as the one it is replacing, but delegates to a mock under the hood. You still get your mock auto-created in exactly the same way as before. What it means though, is that if you use it to patch out an unbound method on a class the mocked function will be turned into a bound method if it is fetched from an instance. It will have self passed in as the first argument, which is exactly what I wanted:

>>> class Foo:
...   def foo(self):
...     pass
...
>>> with patch.object(Foo, 'foo', autospec=True) as mock_foo:
...   mock_foo.return_value = 'foo'
...   foo = Foo()
...   foo.foo()
...
'foo'
>>> mock_foo.assert_called_once_with(foo)

If we don’t use autospec=True then the unbound method is patched out with a Mock instance instead, and isn’t called with self.

Checking multiple calls with mock

mock has a nice API for making assertions about how your mock objects are used.

>>> mock = Mock()
>>> mock.foo_bar.return_value = None
>>> mock.foo_bar('baz', spam='eggs')
>>> mock.foo_bar.assert_called_with('baz', spam='eggs')

If your mock is only being called once you can use the assert_called_once_with() method that also asserts that the call_count is one.

>>> mock.foo_bar.assert_called_once_with('baz', spam='eggs')
>>> mock.foo_bar()
>>> mock.foo_bar.assert_called_once_with('baz', spam='eggs')
Traceback (most recent call last):
    ...
AssertionError: Expected 'foo_bar' to be called once. Called 2 times.
Calls: [call('baz', spam='eggs'), call()].

Both assert_called_with and assert_called_once_with make assertions about the most recent call. If your mock is going to be called several times, and you want to make assertions about all those calls you can use call_args_list:

>>> mock = Mock(return_value=None)
>>> mock(1, 2, 3)
>>> mock(4, 5, 6)
>>> mock()
>>> mock.call_args_list
[call(1, 2, 3), call(4, 5, 6), call()]

The call helper makes it easy to make assertions about these calls. You can build up a list of expected calls and compare it to call_args_list. This looks remarkably similar to the repr of the call_args_list:

>>> expected = [call(1, 2, 3), call(4, 5, 6), call()]
>>> mock.call_args_list == expected
True

Coping with mutable arguments

Another situation is rare, but can bite you, is when your mock is called with mutable arguments. call_args and call_args_list store references to the arguments. If the arguments are mutated by the code under test then you can no longer make assertions about what the values were when the mock was called.

Here’s some example code that shows the problem. Imagine the following functions defined in ‘mymodule’:

def frob(val):
    pass

def grob(val):
    "First frob and then clear val"
    frob(val)
    val.clear()

When we try to test that grob calls frob with the correct argument look what happens:

>>> with patch('mymodule.frob') as mock_frob:
...     val = {6}
...     mymodule.grob(val)
...
>>> val
set()
>>> mock_frob.assert_called_with({6})
Traceback (most recent call last):
    ...
AssertionError: Expected: (({6},), {})
Called with: ((set(),), {})

One possibility would be for mock to copy the arguments you pass in. This could then cause problems if you do assertions that rely on object identity for equality.

Here’s one solution that uses the side_effect functionality. If you provide a side_effect function for a mock then side_effect will be called with the same args as the mock. This gives us an opportunity to copy the arguments and store them for later assertions. In this example I’m using another mock to store the arguments so that I can use the mock methods for doing the assertion. Again a helper function sets this up for me.

>>> from copy import deepcopy
>>> from unittest.mock import Mock, patch, DEFAULT
>>> def copy_call_args(mock):
...     new_mock = Mock()
...     def side_effect(*args, **kwargs):
...         args = deepcopy(args)
...         kwargs = deepcopy(kwargs)
...         new_mock(*args, **kwargs)
...         return DEFAULT
...     mock.side_effect = side_effect
...     return new_mock
...
>>> with patch('mymodule.frob') as mock_frob:
...     new_mock = copy_call_args(mock_frob)
...     val = {6}
...     mymodule.grob(val)
...
>>> new_mock.assert_called_with({6})
>>> new_mock.call_args
call({6})

copy_call_args is called with the mock that will be called. It returns a new mock that we do the assertion on. The side_effect function makes a copy of the args and calls our new_mock with the copy.

Nota

If your mock is only going to be used once there is an easier way of checking arguments at the point they are called. You can simply do the checking inside a side_effect function.

>>> def side_effect(arg):
...     assert arg == {6}
...
>>> mock = Mock(side_effect=side_effect)
>>> mock({6})
>>> mock(set())
Traceback (most recent call last):
    ...
AssertionError

An alternative approach is to create a subclass of Mock or MagicMock that copies (using copy.deepcopy()) the arguments. Here’s an example implementation:

>>> from copy import deepcopy
>>> class CopyingMock(MagicMock):
...     def __call__(self, /, *args, **kwargs):
...         args = deepcopy(args)
...         kwargs = deepcopy(kwargs)
...         return super().__call__(*args, **kwargs)
...
>>> c = CopyingMock(return_value=None)
>>> arg = set()
>>> c(arg)
>>> arg.add(1)
>>> c.assert_called_with(set())
>>> c.assert_called_with(arg)
Traceback (most recent call last):
    ...
AssertionError: expected call not found.
Expected: mock({1})
Actual: mock(set())
>>> c.foo
<CopyingMock name='mock.foo' id='...'>

When you subclass Mock or MagicMock all dynamically created attributes, and the return_value will use your subclass automatically. That means all children of a CopyingMock will also have the type CopyingMock.

Nesting Patches

Using patch as a context manager is nice, but if you do multiple patches you can end up with nested with statements indenting further and further to the right:

>>> class MyTest(unittest.TestCase):
...
...     def test_foo(self):
...         with patch('mymodule.Foo') as mock_foo:
...             with patch('mymodule.Bar') as mock_bar:
...                 with patch('mymodule.Spam') as mock_spam:
...                     assert mymodule.Foo is mock_foo
...                     assert mymodule.Bar is mock_bar
...                     assert mymodule.Spam is mock_spam
...
>>> original = mymodule.Foo
>>> MyTest('test_foo').test_foo()
>>> assert mymodule.Foo is original

With unittest cleanup functions and the métodos do patch: start e stop we can achieve the same effect without the nested indentation. A simple helper method, create_patch, puts the patch in place and returns the created mock for us:

>>> class MyTest(unittest.TestCase):
...
...     def create_patch(self, name):
...         patcher = patch(name)
...         thing = patcher.start()
...         self.addCleanup(patcher.stop)
...         return thing
...
...     def test_foo(self):
...         mock_foo = self.create_patch('mymodule.Foo')
...         mock_bar = self.create_patch('mymodule.Bar')
...         mock_spam = self.create_patch('mymodule.Spam')
...
...         assert mymodule.Foo is mock_foo
...         assert mymodule.Bar is mock_bar
...         assert mymodule.Spam is mock_spam
...
>>> original = mymodule.Foo
>>> MyTest('test_foo').run()
>>> assert mymodule.Foo is original

Mocking a dictionary with MagicMock

You may want to mock a dictionary, or other container object, recording all access to it whilst having it still behave like a dictionary.

We can do this with MagicMock, which will behave like a dictionary, and using side_effect to delegate dictionary access to a real underlying dictionary that is under our control.

When the __getitem__() and __setitem__() methods of our MagicMock are called (normal dictionary access) then side_effect is called with the key (and in the case of __setitem__ the value too). We can also control what is returned.

After the MagicMock has been used we can use attributes like call_args_list to assert about how the dictionary was used:

>>> my_dict = {'a': 1, 'b': 2, 'c': 3}
>>> def getitem(name):
...      return my_dict[name]
...
>>> def setitem(name, val):
...     my_dict[name] = val
...
>>> mock = MagicMock()
>>> mock.__getitem__.side_effect = getitem
>>> mock.__setitem__.side_effect = setitem

Nota

An alternative to using MagicMock is to use Mock and only provide the magic methods you specifically want:

>>> mock = Mock()
>>> mock.__getitem__ = Mock(side_effect=getitem)
>>> mock.__setitem__ = Mock(side_effect=setitem)

A third option is to use MagicMock but passing in dict as the spec (or spec_set) argument so that the MagicMock created only has dictionary magic methods available:

>>> mock = MagicMock(spec_set=dict)
>>> mock.__getitem__.side_effect = getitem
>>> mock.__setitem__.side_effect = setitem

With these side effect functions in place, the mock will behave like a normal dictionary but recording the access. It even raises a KeyError if you try to access a key that doesn’t exist.

>>> mock['a']
1
>>> mock['c']
3
>>> mock['d']
Traceback (most recent call last):
    ...
KeyError: 'd'
>>> mock['b'] = 'fish'
>>> mock['d'] = 'eggs'
>>> mock['b']
'fish'
>>> mock['d']
'eggs'

After it has been used you can make assertions about the access using the normal mock methods and attributes:

>>> mock.__getitem__.call_args_list
[call('a'), call('c'), call('d'), call('b'), call('d')]
>>> mock.__setitem__.call_args_list
[call('b', 'fish'), call('d', 'eggs')]
>>> my_dict
{'a': 1, 'b': 'fish', 'c': 3, 'd': 'eggs'}

Mock subclasses and their attributes

There are various reasons why you might want to subclass Mock. One reason might be to add helper methods. Here’s a silly example:

>>> class MyMock(MagicMock):
...     def has_been_called(self):
...         return self.called
...
>>> mymock = MyMock(return_value=None)
>>> mymock
<MyMock id='...'>
>>> mymock.has_been_called()
False
>>> mymock()
>>> mymock.has_been_called()
True

The standard behaviour for Mock instances is that attributes and the return value mocks are of the same type as the mock they are accessed on. This ensures that Mock attributes are Mocks and MagicMock attributes are MagicMocks [2]. So if you’re subclassing to add helper methods then they’ll also be available on the attributes and return value mock of instances of your subclass.

>>> mymock.foo
<MyMock name='mock.foo' id='...'>
>>> mymock.foo.has_been_called()
False
>>> mymock.foo()
<MyMock name='mock.foo()' id='...'>
>>> mymock.foo.has_been_called()
True

Sometimes this is inconvenient. For example, one user [https://code.google.com/archive/p/mock/issues/105] is subclassing mock to created a Twisted adaptor [https://twisted.org/documents/11.0.0/api/twisted.python.components.html]. Having this applied to attributes too actually causes errors.

Mock (in all its flavours) uses a method called _get_child_mock to create these “sub-mocks” for attributes and return values. You can prevent your subclass being used for attributes by overriding this method. The signature is that it takes arbitrary keyword arguments (**kwargs) which are then passed onto the mock constructor:

>>> class Subclass(MagicMock):
...     def _get_child_mock(self, /, **kwargs):
...         return MagicMock(**kwargs)
...
>>> mymock = Subclass()
>>> mymock.foo
<MagicMock name='mock.foo' id='...'>
>>> assert isinstance(mymock, Subclass)
>>> assert not isinstance(mymock.foo, Subclass)
>>> assert not isinstance(mymock(), Subclass)

[2]

An exception to this rule are the non-callable mocks. Attributes use the callable variant because otherwise non-callable mocks couldn’t have callable methods.

Mocking imports with patch.dict

One situation where mocking can be hard is where you have a local import inside a function. These are harder to mock because they aren’t using an object from the module namespace that we can patch out.

Generally local imports are to be avoided. They are sometimes done to prevent circular dependencies, for which there is usually a much better way to solve the problem (refactor the code) or to prevent “up front costs” by delaying the import. This can also be solved in better ways than an unconditional local import (store the module as a class or module attribute and only do the import on first use).

That aside there is a way to use mock to affect the results of an import. Importing fetches an object from the sys.modules dictionary. Note that it fetches an object, which need not be a module. Importing a module for the first time results in a module object being put in sys.modules, so usually when you import something you get a module back. This need not be the case however.

This means you can use patch.dict() to temporarily put a mock in place in sys.modules. Any imports whilst this patch is active will fetch the mock. When the patch is complete (the decorated function exits, the with statement body is complete or patcher.stop() is called) then whatever was there previously will be restored safely.

Here’s an example that mocks out the ‘fooble’ module.

>>> import sys
>>> mock = Mock()
>>> with patch.dict('sys.modules', {'fooble': mock}):
...    import fooble
...    fooble.blob()
...
<Mock name='mock.blob()' id='...'>
>>> assert 'fooble' not in sys.modules
>>> mock.blob.assert_called_once_with()

As you can see the import fooble succeeds, but on exit there is no ‘fooble’ left in sys.modules.

This also works for the from module import name form:

>>> mock = Mock()
>>> with patch.dict('sys.modules', {'fooble': mock}):
...    from fooble import blob
...    blob.blip()
...
<Mock name='mock.blob.blip()' id='...'>
>>> mock.blob.blip.assert_called_once_with()

With slightly more work you can also mock package imports:

>>> mock = Mock()
>>> modules = {'package': mock, 'package.module': mock.module}
>>> with patch.dict('sys.modules', modules):
...    from package.module import fooble
...    fooble()
...
<Mock name='mock.module.fooble()' id='...'>
>>> mock.module.fooble.assert_called_once_with()

Tracking order of calls and less verbose call assertions

The Mock class allows you to track the order of method calls on your mock objects through the method_calls attribute. This doesn’t allow you to track the order of calls between separate mock objects, however we can use mock_calls to achieve the same effect.

Because mocks track calls to child mocks in mock_calls, and accessing an arbitrary attribute of a mock creates a child mock, we can create our separate mocks from a parent one. Calls to those child mock will then all be recorded, in order, in the mock_calls of the parent:

>>> manager = Mock()
>>> mock_foo = manager.foo
>>> mock_bar = manager.bar

>>> mock_foo.something()
<Mock name='mock.foo.something()' id='...'>
>>> mock_bar.other.thing()
<Mock name='mock.bar.other.thing()' id='...'>

>>> manager.mock_calls
[call.foo.something(), call.bar.other.thing()]

We can then assert about the calls, including the order, by comparing with the mock_calls attribute on the manager mock:

>>> expected_calls = [call.foo.something(), call.bar.other.thing()]
>>> manager.mock_calls == expected_calls
True

If patch is creating, and putting in place, your mocks then you can attach them to a manager mock using the attach_mock() method. After attaching calls will be recorded in mock_calls of the manager.

>>> manager = MagicMock()
>>> with patch('mymodule.Class1') as MockClass1:
...     with patch('mymodule.Class2') as MockClass2:
...         manager.attach_mock(MockClass1, 'MockClass1')
...         manager.attach_mock(MockClass2, 'MockClass2')
...         MockClass1().foo()
...         MockClass2().bar()
<MagicMock name='mock.MockClass1().foo()' id='...'>
<MagicMock name='mock.MockClass2().bar()' id='...'>
>>> manager.mock_calls
[call.MockClass1(),
call.MockClass1().foo(),
call.MockClass2(),
call.MockClass2().bar()]

If many calls have been made, but you’re only interested in a particular sequence of them then an alternative is to use the assert_has_calls() method. This takes a list of calls (constructed with the call object). If that sequence of calls are in mock_calls then the assert succeeds.

>>> m = MagicMock()
>>> m().foo().bar().baz()
<MagicMock name='mock().foo().bar().baz()' id='...'>
>>> m.one().two().three()
<MagicMock name='mock.one().two().three()' id='...'>
>>> calls = call.one().two().three().call_list()
>>> m.assert_has_calls(calls)

Even though the chained call m.one().two().three() aren’t the only calls that have been made to the mock, the assert still succeeds.

Sometimes a mock may have several calls made to it, and you are only interested in asserting about some of those calls. You may not even care about the order. In this case you can pass any_order=True to assert_has_calls:

>>> m = MagicMock()
>>> m(1), m.two(2, 3), m.seven(7), m.fifty('50')
(...)
>>> calls = [call.fifty('50'), call(1), call.seven(7)]
>>> m.assert_has_calls(calls, any_order=True)

More complex argument matching

Using the same basic concept as ANY we can implement matchers to do more complex assertions on objects used as arguments to mocks.

Suppose we expect some object to be passed to a mock that by default compares equal based on object identity (which is the Python default for user defined classes). To use assert_called_with() we would need to pass in the exact same object. If we are only interested in some of the attributes of this object then we can create a matcher that will check these attributes for us.

You can see in this example how a ‘standard’ call to assert_called_with isn’t sufficient:

>>> class Foo:
...     def __init__(self, a, b):
...         self.a, self.b = a, b
...
>>> mock = Mock(return_value=None)
>>> mock(Foo(1, 2))
>>> mock.assert_called_with(Foo(1, 2))
Traceback (most recent call last):
    ...
AssertionError: expected call not found.
Expected: mock(<__main__.Foo object at 0x...>)
Actual: mock(<__main__.Foo object at 0x...>)

A comparison function for our Foo class might look something like this:

>>> def compare(self, other):
...     if not type(self) == type(other):
...         return False
...     if self.a != other.a:
...         return False
...     if self.b != other.b:
...         return False
...     return True
...

And a matcher object that can use comparison functions like this for its equality operation would look something like this:

>>> class Matcher:
...     def __init__(self, compare, some_obj):
...         self.compare = compare
...         self.some_obj = some_obj
...     def __eq__(self, other):
...         return self.compare(self.some_obj, other)
...

Putting all this together:

>>> match_foo = Matcher(compare, Foo(1, 2))
>>> mock.assert_called_with(match_foo)

The Matcher is instantiated with our compare function and the Foo object we want to compare against. In assert_called_with the Matcher equality method will be called, which compares the object the mock was called with against the one we created our matcher with. If they match then assert_called_with passes, and if they don’t an AssertionError is raised:

>>> match_wrong = Matcher(compare, Foo(3, 4))
>>> mock.assert_called_with(match_wrong)
Traceback (most recent call last):
    ...
AssertionError: Expected: ((<Matcher object at 0x...>,), {})
Called with: ((<Foo object at 0x...>,), {})

With a bit of tweaking you could have the comparison function raise the AssertionError directly and provide a more useful failure message.

As of version 1.5, the Python testing library PyHamcrest [https://pyhamcrest.readthedocs.io/] provides similar functionality, that may be useful here, in the form of its equality matcher (hamcrest.library.integration.match_equality [https://pyhamcrest.readthedocs.io/en/release-1.8/integration/#module-hamcrest.library.integration.match_equality]).

test — Regression tests package for Python

Nota

O pacote test é apenas para uso interno do Python. O mesmo está sendo documentado para o benefício dos principais desenvolvedores do Python. Qualquer uso deste pacote fora da biblioteca padrão do Python é desencorajado, pois, o código mencionado aqui pode ser alterado ou removido sem aviso prévio entre as versões do Python.

O pacote test contém todos os testes de regressão do Python, bem como os módulos test.support e test.regrtest. test.support é utilizado para aprimorar seus testes enquanto o test.regrtest direciona a suite de testes.

Cada módulo no pacote test cujo nome começa com test_ é um conjunto de testes para um módulo ou recurso específico. Todos os novos testes devem ser escritos usando o módulo unittest ou doctest. Alguns testes mais antigos são escritos usando um estilo de teste “tradicional” que compara a saída impressa a sys.stdout. Este estilo de teste foi considerado descontinuado.

Ver também

Módulo unittest

Escrevendo testes de regressão PyUnit.

Módulo doctest

Testes embutidos em Strings da documentação.

Escrever testes unitários para o pacote test

É preferível que os testes que usam o módulo unittest sigam algumas diretrizes. Uma é nomear o módulo de teste iniciando-o com test_ e termine com o nome do módulo que está sendo testado. Os métodos de teste no módulo de teste deve começar com test_ e terminar com uma descrição do que o método está testando. Isso é necessário para que os métodos sejam reconhecidos pelo driver de teste como métodos de teste. Além disso, na string de documentação para o método deve ser incluído. Um comentário (como os # Tests function returns only True or False) deve ser usado para fornecer documentação para testar métodos. Isso é feito porque as strings de documentação são impressas se existem e, portanto, qual teste está sendo executado não é indicado.

Um boilerplate básico é muitas vezes usado:

import unittest
from test import support

class MyTestCase1(unittest.TestCase):

    # Only use setUp() and tearDown() if necessary

    def setUp(self):
        ... code to execute in preparation for tests ...

    def tearDown(self):
        ... code to execute to clean up after tests ...

    def test_feature_one(self):
        # Test feature one.
        ... testing code ...

    def test_feature_two(self):
        # Test feature two.
        ... testing code ...

    ... more test methods ...

class MyTestCase2(unittest.TestCase):
    ... same structure as MyTestCase1 ...

... more test classes ...

if __name__ == '__main__':
    unittest.main()

Este padrão de código permite que o conjunto de testes seja executado pelo test.regrtest, por conta própria, como um script que suporte o unittest CLI, ou através do python -m unittest CLI.

O objetivo do teste de regressão é tentar quebrar o código. Isso leva a algumas diretrizes que devemos seguir:

O conjunto de testes deve exercitar todas as classes, funções e constantes. Isso inclui não apenas a API externa que deve ser apresentada ao mundo exterior, mas também o código “privado”.

Os testes de Whitebox (que examinam o código que está sendo testado quando os testes estão sendo gravados) são preferidos. O teste Blackbox (que testa apenas a interface do público de usuário) não é completo o suficiente para garantir que todos os casos de limite e extremos sejam testados.

Certifique-se de que todos os valores possíveis sejam testados, incluindo os inválidos. Isso garante que não apenas todos os valores válidos são aceitos, mas também, que os valores impróprios são tratados corretamente.

Esgote o maior número possível de caminhos de código. Teste onde ocorre a ramificação e, assim, personalize a entrada para garantir que tantos caminhos diferentes pelo código sejam tomados.

Adicione um teste explícito para quaisquer bugs descobertos ao código testado. Isso garantirá que o erro não apareça novamente se o código for alterado no futuro.

Certifique-se de limpar após seus testes (como fechar e remover todos os arquivos temporários).

Se um teste depende de uma condição específica do sistema operacional, então verifica se a condição já existe antes de tentar o teste.

Importa o menor número de módulos possível e faça isso o mais rápido possível. Isso minimiza dependências externas de testes, e também minimiza possíveis comportamento anômalo dos efeitos colaterais da importação de um módulo.

Tente maximizar a reutilização de código. Ocasionalmente, os testes variam em algo tão pequeno quanto o tipo de entrada é usado. Minimize a duplicação de código criando uma subclasse básica de testes com uma classe que especifica o input:

class TestFuncAcceptsSequencesMixin:

    func = mySuperWhammyFunction

    def test_func(self):
        self.func(self.arg)

class AcceptLists(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = [1, 2, 3]

class AcceptStrings(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = 'abc'

class AcceptTuples(TestFuncAcceptsSequencesMixin, unittest.TestCase):
    arg = (1, 2, 3)

When using this pattern, remember that all classes that inherit from unittest.TestCase are run as tests. The TestFuncAcceptsSequencesMixin class in the example above does not have any data and so can’t be run by itself, thus it does not inherit from unittest.TestCase.

Ver também

Test Driven Development

Um livro de Kent Beck sobre escrita de testes antes do código.

Executando testes usando a interface de linha de comando

O pacote test pode ser executado como um script para conduzir o conjunto de testes de regressão do Python, graças à opção -m: python -m test. Nos bastidores, ele usa test.regrtest; a chamada python -m test.regrtest usado nas versões anteriores do Python ainda funciona. Executar o script por si só começa a executar todos os testes de regressão no pacote test. Ele faz isso encontrando todos os módulos no pacote cujo nome começa com test_, importando-os e executando a função test_main() se presente ou carregando os testes via unittest.TestLoader.loadTestsFromModule se test_main não existir. Os nomes dos testes a serem executados também podem ser passados para o script. Especificando um teste de regressão simples (python -m test test_spam) minimizará saiba e imprima apenas se o teste passou ou falhou.

A execução de test permite definir diretamente quais recursos estão disponíveis para os testes usarem. Você faz isso usando a opção de linha de comando -u. Especificar all como o valor para a opção -u ativa todos os recursos possíveis: python -m test -uall. Se todos menos um recurso for desejado (um caso mais comum), uma lista separada por vírgulas de recursos que não são desejados pode ser listada após all. O comando python -m test -uall,-audio,-largefile executará test com todos os recursos, exceto os recursos audio e largefile. Para obter uma lista de todos os recursos e mais opções de linha de comando, execute python -m test -h.

Alguns outros meios para executar os testes de regressão dependem em qual plataforma os testes estão sendo executados. No Unix, você pode executar: programa: ‘ make test’ no diretório de mais alto nível onde o Python foi construído. No Windows, executar: programa ‘rt.bat’ do seu diretório: file: ‘PCbuild’ executará todos os testes de regressão.

test.support — Utilitários para o conjunto de teste do Python

O módulo test.support fornece suporte para a suíte de testes de regressão do Python.

Nota

test.support is not a public module. It is documented here to help Python developers write tests. The API of this module is subject to change without backwards compatibility concerns between releases.

Esse módulo define as seguintes exceções:

exception test.support.TestFailed

Exceção a ser levantada quando um teste falha. Isto foi descontinuado em favor dos testes baseados em unittest e métodos de asserção de unittest.TestCase.

exception test.support.ResourceDenied

Subclasse de unittest.SkipTest. Levantada quando um recurso (como uma conexão de rede) não está disponível. Levantada pela função requires().

O módulo test.support define as seguintes constantes:

test.support.verbose

True quando a saída detalhada está habilitada. Deve ser verificado quando informações mais detalhadas são desejadas sobre um teste em execução. verbose é definido por test.regrtest.

test.support.is_jython

True se o interpretador em execução for Jython.

test.support.is_android

True se o sistema é Android.

test.support.unix_shell

Caminho para o console se não estiver no Windows; por outro lado None

test.support.LOOPBACK_TIMEOUT

Tempo limite em segundos para testes usando um servidor de rede escutando na interface de loopback local da rede como 127.0.0.1.

O tempo limite é longo o suficiente para evitar a falha do teste: leva em consideração que o cliente e o servidor podem ser executados em diferentes threads ou mesmo processos diferentes.

O tempo limite deve ser longo o suficiente para os métodos connect(), recv() e send() de socket.socket.

Seu valor padrão é 5 segundos.

Veja também INTERNET_TIMEOUT.

test.support.INTERNET_TIMEOUT

Tempo limite em segundos para solicitações de rede indo para a Internet.

O tempo limite é curto o suficiente para evitar que um teste espere muito tempo se a requisição da Internet for bloqueada por qualquer motivo.

Normalmente, um tempo limite usando INTERNET_TIMEOUT não deve marcar um teste como falhado, mas ignorá-lo: veja transient_internet().

Seu valor padrão é 1 minuto.

Veja também LOOPBACK_TIMEOUT.

test.support.SHORT_TIMEOUT

Tempo limite em segundos para marcar um teste como falho se o teste demorar “muito tempo”.

O valor do tempo limite depende da opção da linha de comando regrtest --timeout.

Se um teste usando SHORT_TIMEOUT começar a falhar aleatoriamente em buildbots lentos, use LONG_TIMEOUT.

Seu valor padrão é 30 segundos.

test.support.LONG_TIMEOUT

Tempo limite em segundos para detectar quando um teste trava.

É longo o suficiente para reduzir o risco de falha de teste nos buildbots Python mais lentos. Não deve ser usado para marcar um teste como reprovado se o teste demorar “muito tempo”. O valor do tempo limite depende da opção de linha de comando regrtest --timeout.

Seu valor padrão é 5 minutos.

Veja também LOOPBACK_TIMEOUT, INTERNET_TIMEOUT e SHORT_TIMEOUT.

test.support.PGO

Definido quando os testes podem ser ignorados quando não são úteis para PGO.

test.support.PIPE_MAX_SIZE

Uma constante que provavelmente é maior que o tamanho do buffer de canal do sistema operacional subjacente, para fazer o bloqueio de escritas.

test.support.Py_DEBUG

True if Python was built with the Py_DEBUG macro defined, that is, if Python was built in debug mode.

Adicionado na versão 3.12.

test.support.SOCK_MAX_SIZE

Uma constante que provavelmente é maior que o tamanho do buffer de soquete do sistema operacional subjacente, para fazer o bloqueio de escritas.

test.support.TEST_SUPPORT_DIR

Define o diretório de mais alto nível que contém test.support.

test.support.TEST_HOME_DIR

Define o diretório de mais alto nível para o pacote de teste.

test.support.TEST_DATA_DIR

Set to the data directory within the test package.

test.support.MAX_Py_ssize_t

Define sys.maxsize para grandes testes de memória.

test.support.max_memuse

Set by set_memlimit() as the memory limit for big memory tests. Limited by MAX_Py_ssize_t.

test.support.real_max_memuse

Set by set_memlimit() as the memory limit for big memory tests. Not limited by MAX_Py_ssize_t.

test.support.MISSING_C_DOCSTRINGS

Set to True if Python is built without docstrings (the WITH_DOC_STRINGS macro is not defined). See the configure --without-doc-strings option.

See also the HAVE_DOCSTRINGS variable.

test.support.HAVE_DOCSTRINGS

Set to True if function docstrings are available. See the python -OO option, which strips docstrings of functions implemented in Python.

See also the MISSING_C_DOCSTRINGS variable.

test.support.TEST_HTTP_URL

Define the URL of a dedicated HTTP server for the network tests.

test.support.ALWAYS_EQ

Object that is equal to anything. Used to test mixed type comparison.

test.support.NEVER_EQ

Object that is not equal to anything (even to ALWAYS_EQ). Used to test mixed type comparison.

test.support.LARGEST

Object that is greater than anything (except itself). Used to test mixed type comparison.

test.support.SMALLEST

Object that is less than anything (except itself). Used to test mixed type comparison.

O módulo test.support define as seguintes funções:

test.support.busy_retry(timeout, err_msg=None, /, *, error=True)

Run the loop body until break stops the loop.

After timeout seconds, raise an AssertionError if error is true, or just stop the loop if error is false.

Exemplo:

for _ in support.busy_retry(support.SHORT_TIMEOUT):
    if check():
        break

Example of error=False usage:

for _ in support.busy_retry(support.SHORT_TIMEOUT, error=False):
    if check():
        break
else:
    raise RuntimeError('my custom error')

test.support.sleeping_retry(timeout, err_msg=None, /, *, init_delay=0.010, max_delay=1.0, error=True)

Wait strategy that applies exponential backoff.

Run the loop body until break stops the loop. Sleep at each loop iteration, but not at the first iteration. The sleep delay is doubled at each iteration (up to max_delay seconds).

See busy_retry() documentation for the parameters usage.

Example raising an exception after SHORT_TIMEOUT seconds:

for _ in support.sleeping_retry(support.SHORT_TIMEOUT):
    if check():
        break

Example of error=False usage:

for _ in support.sleeping_retry(support.SHORT_TIMEOUT, error=False):
    if check():
        break
else:
    raise RuntimeError('my custom error')

test.support.is_resource_enabled(resource)

Return True if resource is enabled and available. The list of available resources is only set when test.regrtest is executing the tests.

test.support.python_is_optimized()

Return True if Python was not built with -O0 or -Og.

test.support.with_pymalloc()

Return _testcapi.WITH_PYMALLOC.

test.support.requires(resource, msg=None)

Raise ResourceDenied if resource is not available. msg is the argument to ResourceDenied if it is raised. Always returns True if called by a function whose __name__ is '__main__'. Used when tests are executed by test.regrtest.

test.support.sortdict(dict)

Return a repr of dict with keys sorted.

test.support.findfile(filename, subdir=None)

Return the path to the file named filename. If no match is found filename is returned. This does not equal a failure since it could be the path to the file.

Setting subdir indicates a relative path to use to find the file rather than looking directly in the path directories.

test.support.get_pagesize()

Get size of a page in bytes.

Adicionado na versão 3.12.

test.support.setswitchinterval(interval)

Set the sys.setswitchinterval() to the given interval. Defines a minimum interval for Android systems to prevent the system from hanging.

test.support.check_impl_detail(**guards)

Use this check to guard CPython’s implementation-specific tests or to run them only on the implementations guarded by the arguments. This function returns True or False depending on the host platform. Example usage:

check_impl_detail()               # Only on CPython (default).
check_impl_detail(jython=True)    # Only on Jython.
check_impl_detail(cpython=False)  # Everywhere except CPython.

test.support.set_memlimit(limit)

Define os valores para max_memuse e real_max_memuse para grandes testes de memória.

test.support.record_original_stdout(stdout)

Armazena o valor de stdout. Destina-se a manter o stdout no momento em que o registro começou.

test.support.get_original_stdout()

Retorna o stdout original definido por record_original_stdout() ou sys.stdout se não estiver definido.

test.support.args_from_interpreter_flags()

Retorna uma lista de argumentos de linha de comando reproduzindo as configurações em sys.flags e sys.warnoptions.

test.support.optim_args_from_interpreter_flags()

Retorna a lista de argumentos da linha de comando reproduzindo as configurações de otimização atuais em sys.flags.

test.support.captured_stdin()

test.support.captured_stdout()

test.support.captured_stderr()

Um gerenciador de contexto que substitui temporariamente o fluxo nomeado pelo objeto io.StringIO.

Exemplo do uso com fluxos de saída:

with captured_stdout() as stdout, captured_stderr() as stderr:
    print("hello")
    print("error", file=sys.stderr)
assert stdout.getvalue() == "hello\n"
assert stderr.getvalue() == "error\n"

Exemplo de uso com fluxo de entrada:

with captured_stdin() as stdin:
    stdin.write('hello\n')
    stdin.seek(0)
    # call test code that consumes from sys.stdin
    captured = input()
self.assertEqual(captured, "hello")

test.support.disable_faulthandler()

Um gerenciador de contexto que desativa temporariamente faulthandler.

test.support.gc_collect()

Força a coleta de tantos objetos quanto possível. Isso é necessário porque a desalocação oportuna não é garantida pelo coletor de lixo. Isso significa que os métodos __del__ podem ser chamados mais tarde do que o esperado e as referência fraca podem permanecer ativas por mais tempo do que o esperado.

test.support.disable_gc()

A context manager that disables the garbage collector on entry. On exit, the garbage collector is restored to its prior state.

test.support.swap_attr(obj, attr, new_val)

Context manager to swap out an attribute with a new object.

Uso:

with swap_attr(obj, "attr", 5):
    ...

This will set obj.attr to 5 for the duration of the with block, restoring the old value at the end of the block. If attr doesn’t exist on obj, it will be created and then deleted at the end of the block.

The old value (or None if it doesn’t exist) will be assigned to the target of the “as” clause, if there is one.

test.support.swap_item(obj, attr, new_val)

Context manager to swap out an item with a new object.

Uso:

with swap_item(obj, "item", 5):
    ...

This will set obj["item"] to 5 for the duration of the with block, restoring the old value at the end of the block. If item doesn’t exist on obj, it will be created and then deleted at the end of the block.

The old value (or None if it doesn’t exist) will be assigned to the target of the “as” clause, if there is one.

test.support.flush_std_streams()

Call the flush() method on sys.stdout and then on sys.stderr. It can be used to make sure that the logs order is consistent before writing into stderr.

Adicionado na versão 3.11.

test.support.print_warning(msg)

Print a warning into sys.__stderr__. Format the message as: f"Warning -- {msg}". If msg is made of multiple lines, add "Warning -- " prefix to each line.

Adicionado na versão 3.9.

test.support.wait_process(pid, *, exitcode, timeout=None)

Wait until process pid completes and check that the process exit code is exitcode.

Raise an AssertionError if the process exit code is not equal to exitcode.

If the process runs longer than timeout seconds (SHORT_TIMEOUT by default), kill the process and raise an AssertionError. The timeout feature is not available on Windows.

Adicionado na versão 3.9.

test.support.calcobjsize(fmt)

Return the size of the PyObject whose structure members are defined by fmt. The returned value includes the size of the Python object header and alignment.

test.support.calcvobjsize(fmt)

Return the size of the PyVarObject whose structure members are defined by fmt. The returned value includes the size of the Python object header and alignment.

test.support.checksizeof(test, o, size)

For testcase test, assert that the sys.getsizeof for o plus the GC header size equals size.

@test.support.anticipate_failure(condition)

A decorator to conditionally mark tests with unittest.expectedFailure(). Any use of this decorator should have an associated comment identifying the relevant tracker issue.

test.support.system_must_validate_cert(f)

A decorator that skips the decorated test on TLS certification validation failures.

@test.support.run_with_locale(catstr, *locales)

A decorator for running a function in a different locale, correctly resetting it after it has finished. catstr is the locale category as a string (for example "LC_ALL"). The locales passed will be tried sequentially, and the first valid locale will be used.

@test.support.run_with_tz(tz)

A decorator for running a function in a specific timezone, correctly resetting it after it has finished.

@test.support.requires_freebsd_version(*min_version)

Decorator for the minimum version when running test on FreeBSD. If the FreeBSD version is less than the minimum, the test is skipped.

@test.support.requires_linux_version(*min_version)

Decorator for the minimum version when running test on Linux. If the Linux version is less than the minimum, the test is skipped.

@test.support.requires_mac_version(*min_version)

Decorator for the minimum version when running test on macOS. If the macOS version is less than the minimum, the test is skipped.

@test.support.requires_gil_enabled

Decorador para pular testes na construção com threads livres. Se a GIL estiver desabilitada, o teste será ignorado.

@test.support.requires_IEEE_754

Decorator for skipping tests on non-IEEE 754 platforms.

@test.support.requires_zlib

Decorator for skipping tests if zlib doesn’t exist.

@test.support.requires_gzip

Decorator for skipping tests if gzip doesn’t exist.

@test.support.requires_bz2

Decorator for skipping tests if bz2 doesn’t exist.

@test.support.requires_lzma

Decorator for skipping tests if lzma doesn’t exist.

@test.support.requires_resource(resource)

Decorator for skipping tests if resource is not available.

@test.support.requires_docstrings

Decorator for only running the test if HAVE_DOCSTRINGS.

@test.support.requires_limited_api

Decorator for only running the test if Limited C API is available.

@test.support.cpython_only

Decorator for tests only applicable to CPython.

@test.support.impl_detail(msg=None, **guards)

Decorator for invoking check_impl_detail() on guards. If that returns False, then uses msg as the reason for skipping the test.

@test.support.no_tracing

Decorator to temporarily turn off tracing for the duration of the test.

@test.support.refcount_test

Decorator for tests which involve reference counting. The decorator does not run the test if it is not run by CPython. Any trace function is unset for the duration of the test to prevent unexpected refcounts caused by the trace function.

@test.support.bigmemtest(size, memuse, dry_run=True)

Decorator for bigmem tests.

size is a requested size for the test (in arbitrary, test-interpreted units.) memuse is the number of bytes per unit for the test, or a good estimate of it. For example, a test that needs two byte buffers, of 4 GiB each, could be decorated with @bigmemtest(size=_4G, memuse=2).

The size argument is normally passed to the decorated test method as an extra argument. If dry_run is True, the value passed to the test method may be less than the requested value. If dry_run is False, it means the test doesn’t support dummy runs when -M is not specified.

@test.support.bigaddrspacetest

Decorador para testes que preeenche o espaço do endereço.

test.support.check_syntax_error(testcase, statement, errtext='', *, lineno=None, offset=None)

Test for syntax errors in statement by attempting to compile statement. testcase is the unittest instance for the test. errtext is the regular expression which should match the string representation of the raised SyntaxError. If lineno is not None, compares to the line of the exception. If offset is not None, compares to the offset of the exception.

test.support.open_urlresource(url, *args, **kw)

Abre url. Se falhar em abrir, levanta TestFailed.

test.support.reap_children()

Use this at the end of test_main whenever sub-processes are started. This will help ensure that no extra children (zombies) stick around to hog resources and create problems when looking for refleaks.

test.support.get_attribute(obj, name)

Get an attribute, raising unittest.SkipTest if AttributeError is raised.

test.support.catch_unraisable_exception()

Context manager catching unraisable exception using sys.unraisablehook().

Storing the exception value (cm.unraisable.exc_value) creates a reference cycle. The reference cycle is broken explicitly when the context manager exits.

Storing the object (cm.unraisable.object) can resurrect it if it is set to an object which is being finalized. Exiting the context manager clears the stored object.

Uso:

with support.catch_unraisable_exception() as cm:
    # code creating an "unraisable exception"
    ...

    # check the unraisable exception: use cm.unraisable
    ...

# cm.unraisable attribute no longer exists at this point
# (to break a reference cycle)

Adicionado na versão 3.8.

test.support.load_package_tests(pkg_dir, loader, standard_tests, pattern)

Generic implementation of the unittest load_tests protocol for use in test packages. pkg_dir is the root directory of the package; loader, standard_tests, and pattern are the arguments expected by load_tests. In simple cases, the test package’s __init__.py can be the following:

import os
from test.support import load_package_tests

def load_tests(*args):
    return load_package_tests(os.path.dirname(__file__), *args)

test.support.detect_api_mismatch(ref_api, other_api, *, ignore=())

Returns the set of attributes, functions or methods of ref_api not found on other_api, except for a defined list of items to be ignored in this check specified in ignore.

By default this skips private attributes beginning with ‘_’ but includes all magic methods, i.e. those starting and ending in ‘__’.

Adicionado na versão 3.5.

test.support.patch(test_instance, object_to_patch, attr_name, new_value)

Override object_to_patch.attr_name with new_value. Also add cleanup procedure to test_instance to restore object_to_patch for attr_name. The attr_name should be a valid attribute for object_to_patch.

test.support.run_in_subinterp(code)

Run code in subinterpreter. Raise unittest.SkipTest if tracemalloc is enabled.

test.support.check_free_after_iterating(test, iter, cls, args=())

Assert instances of cls are deallocated after iterating.

test.support.missing_compiler_executable(cmd_names=[])

Check for the existence of the compiler executables whose names are listed in cmd_names or all the compiler executables when cmd_names is empty and return the first missing executable or None when none is found missing.

test.support.check__all__(test_case, module, name_of_module=None, extra=(), not_exported=())

Assert that the __all__ variable of module contains all public names.

The module’s public names (its API) are detected automatically based on whether they match the public name convention and were defined in module.

The name_of_module argument can specify (as a string or tuple thereof) what module(s) an API could be defined in order to be detected as a public API. One case for this is when module imports part of its public API from other modules, possibly a C backend (like csv and its _csv).

The extra argument can be a set of names that wouldn’t otherwise be automatically detected as “public”, like objects without a proper __module__ attribute. If provided, it will be added to the automatically detected ones.

The not_exported argument can be a set of names that must not be treated as part of the public API even though their names indicate otherwise.

Exemplo de uso:

import bar
import foo
import unittest
from test import support

class MiscTestCase(unittest.TestCase):
    def test__all__(self):
        support.check__all__(self, foo)

class OtherTestCase(unittest.TestCase):
    def test__all__(self):
        extra = {'BAR_CONST', 'FOO_CONST'}
        not_exported = {'baz'}  # Undocumented name.
        # bar imports part of its API from _bar.
        support.check__all__(self, bar, ('bar', '_bar'),
                             extra=extra, not_exported=not_exported)

Adicionado na versão 3.6.

test.support.skip_if_broken_multiprocessing_synchronize()

Skip tests if the multiprocessing.synchronize module is missing, if there is no available semaphore implementation, or if creating a lock raises an OSError.

Adicionado na versão 3.10.

test.support.check_disallow_instantiation(test_case, tp, *args, **kwds)

Assert that type tp cannot be instantiated using args and kwds.

Adicionado na versão 3.10.

test.support.adjust_int_max_str_digits(max_digits)

This function returns a context manager that will change the global sys.set_int_max_str_digits() setting for the duration of the context to allow execution of test code that needs a different limit on the number of digits when converting between an integer and string.

Adicionado na versão 3.11.

The test.support module defines the following classes:

class test.support.SuppressCrashReport

A context manager used to try to prevent crash dialog popups on tests that are expected to crash a subprocess.

No Windows, desativa as caixas de diálogo Relatório de Erros do Windows usando SetErrorMode <https://msdn.microsoft.com/en-us/library/windows/desktop/ms680621.aspx>_.

On UNIX, resource.setrlimit() is used to set resource.RLIMIT_CORE’s soft limit to 0 to prevent coredump file creation.

On both platforms, the old value is restored by __exit__().

class test.support.SaveSignals

Class to save and restore signal handlers registered by the Python signal handler.

save(self)

Save the signal handlers to a dictionary mapping signal numbers to the current signal handler.

restore(self)

Set the signal numbers from the save() dictionary to the saved handler.

class test.support.Matcher

matches(self, d, **kwargs)

Tenta corresponder um único dicionário com os argumentos fornecidos.

match_value(self, k, dv, v)

Tente combinar um único valor armazenado (dv) com um valor fornecido (v).

test.support.socket_helper — Utilities for socket tests

The test.support.socket_helper module provides support for socket tests.

Adicionado na versão 3.9.

test.support.socket_helper.IPV6_ENABLED

Set to True if IPv6 is enabled on this host, False otherwise.

test.support.socket_helper.find_unused_port(family=socket.AF_INET, socktype=socket.SOCK_STREAM)

Returns an unused port that should be suitable for binding. This is achieved by creating a temporary socket with the same family and type as the sock parameter (default is AF_INET, SOCK_STREAM), and binding it to the specified host address (defaults to 0.0.0.0) with the port set to 0, eliciting an unused ephemeral port from the OS. The temporary socket is then closed and deleted, and the ephemeral port is returned.

Either this method or bind_port() should be used for any tests where a server socket needs to be bound to a particular port for the duration of the test. Which one to use depends on whether the calling code is creating a Python socket, or if an unused port needs to be provided in a constructor or passed to an external program (i.e. the -accept argument to openssl’s s_server mode). Always prefer bind_port() over find_unused_port() where possible. Using a hard coded port is discouraged since it can make multiple instances of the test impossible to run simultaneously, which is a problem for buildbots.

test.support.socket_helper.bind_port(sock, host=HOST)

Bind the socket to a free port and return the port number. Relies on ephemeral ports in order to ensure we are using an unbound port. This is important as many tests may be running simultaneously, especially in a buildbot environment. This method raises an exception if the sock.family is AF_INET and sock.type is SOCK_STREAM, and the socket has SO_REUSEADDR or SO_REUSEPORT set on it. Tests should never set these socket options for TCP/IP sockets. The only case for setting these options is testing multicasting via multiple UDP sockets.

Additionally, if the SO_EXCLUSIVEADDRUSE socket option is available (i.e. on Windows), it will be set on the socket. This will prevent anyone else from binding to our host/port for the duration of the test.

test.support.socket_helper.bind_unix_socket(sock, addr)

Bind a Unix socket, raising unittest.SkipTest if PermissionError is raised.

@test.support.socket_helper.skip_unless_bind_unix_socket

A decorator for running tests that require a functional bind() for Unix sockets.

test.support.socket_helper.transient_internet(resource_name, *, timeout=30.0, errnos=())

A context manager that raises ResourceDenied when various issues with the internet connection manifest themselves as exceptions.

test.support.script_helper — Utilities for the Python execution tests

The test.support.script_helper module provides support for Python’s script execution tests.

test.support.script_helper.interpreter_requires_environment()

Return True if sys.executable interpreter requires environment variables in order to be able to run at all.

This is designed to be used with @unittest.skipIf() to annotate tests that need to use an assert_python*() function to launch an isolated mode (-I) or no environment mode (-E) sub-interpreter process.

A normal build & test does not run into this situation but it can happen when trying to run the standard library test suite from an interpreter that doesn’t have an obvious home with Python’s current home finding logic.

Setting PYTHONHOME is one way to get most of the testsuite to run in that situation. PYTHONPATH or PYTHONUSERSITE are other common environment variables that might impact whether or not the interpreter can start.

test.support.script_helper.run_python_until_end(*args, **env_vars)

Set up the environment based on env_vars for running the interpreter in a subprocess. The values can include __isolated, __cleanenv, __cwd, and TERM.

Alterado na versão 3.9: The function no longer strips whitespaces from stderr.

test.support.script_helper.assert_python_ok(*args, **env_vars)

Assert that running the interpreter with args and optional environment variables env_vars succeeds (rc == 0) and return a (return code, stdout, stderr) tuple.

If the __cleanenv keyword-only parameter is set, env_vars is used as a fresh environment.

Python is started in isolated mode (command line option -I), except if the __isolated keyword-only parameter is set to False.

Alterado na versão 3.9: The function no longer strips whitespaces from stderr.

test.support.script_helper.assert_python_failure(*args, **env_vars)

Assert that running the interpreter with args and optional environment variables env_vars fails (rc != 0) and return a (return code, stdout, stderr) tuple.

See assert_python_ok() for more options.

Alterado na versão 3.9: The function no longer strips whitespaces from stderr.

test.support.script_helper.spawn_python(*args, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, **kw)

Run a Python subprocess with the given arguments.

kw is extra keyword args to pass to subprocess.Popen(). Returns a subprocess.Popen object.

test.support.script_helper.kill_python(p)

Run the given subprocess.Popen process until completion and return stdout.

test.support.script_helper.make_script(script_dir, script_basename, source, omit_suffix=False)

Cria um script contendo source no caminho script_dir e script_basename. Se omit_suffix False, acrescente .py ao nome. Retorna o caminho completo do script.

test.support.script_helper.make_zip_script(zip_dir, zip_basename, script_name, name_in_zip=None)

Cria um arquivo zip em zip_dir e zip_basename com a extensão zip que contém os arquivos em script_name. name_in_zip é o nome do arquivo. Retorna uma tupla contendo (full path, full path of archive name).

test.support.script_helper.make_pkg(pkg_dir, init_source='')

Cria um diretório nomeado pkg_dir contendo um arquivo __init__ com init_source como seus conteúdos.

test.support.script_helper.make_zip_pkg(zip_dir, zip_basename, pkg_name, script_basename, source, depth=1, compiled=False)

Create a zip package directory with a path of zip_dir and zip_basename containing an empty __init__ file and a file script_basename containing the source. If compiled is True, both source files will be compiled and added to the zip package. Return a tuple of the full zip path and the archive name for the zip file.

test.support.bytecode_helper — Ferramentas de suporte para testar a geração correta de bytecode

The test.support.bytecode_helper module provides support for testing and inspecting bytecode generation.

Adicionado na versão 3.9.

O módulo define a seguinte classe:

class test.support.bytecode_helper.BytecodeTestCase(unittest.TestCase)

This class has custom assertion methods for inspecting bytecode.

BytecodeTestCase.get_disassembly_as_string(co)

Return the disassembly of co as string.

BytecodeTestCase.assertInBytecode(x, opname, argval=_UNSPECIFIED)

Return instr if opname is found, otherwise throws AssertionError.

BytecodeTestCase.assertNotInBytecode(x, opname, argval=_UNSPECIFIED)

Throws AssertionError if opname is found.

test.support.threading_helper — Utilities for threading tests

The test.support.threading_helper module provides support for threading tests.

Adicionado na versão 3.10.

test.support.threading_helper.join_thread(thread, timeout=None)

Join a thread within timeout. Raise an AssertionError if thread is still alive after timeout seconds.

@test.support.threading_helper.reap_threads

Decorator to ensure the threads are cleaned up even if the test fails.

test.support.threading_helper.start_threads(threads, unlock=None)

Context manager to start threads, which is a sequence of threads. unlock is a function called after the threads are started, even if an exception was raised; an example would be threading.Event.set(). start_threads will attempt to join the started threads upon exit.

test.support.threading_helper.threading_cleanup(*original_values)

Cleanup up threads not specified in original_values. Designed to emit a warning if a test leaves running threads in the background.

test.support.threading_helper.threading_setup()

Return current thread count and copy of dangling threads.

test.support.threading_helper.wait_threads_exit(timeout=None)

Context manager to wait until all threads created in the with statement exit.

test.support.threading_helper.catch_threading_exception()

Context manager catching threading.Thread exception using threading.excepthook().

Attributes set when an exception is caught:

exc_type

exc_value

exc_traceback

thread

See threading.excepthook() documentation.

These attributes are deleted at the context manager exit.

Uso:

with threading_helper.catch_threading_exception() as cm:
    # code spawning a thread which raises an exception
    ...

    # check the thread exception, use cm attributes:
    # exc_type, exc_value, exc_traceback, thread
    ...

# exc_type, exc_value, exc_traceback, thread attributes of cm no longer
# exists at this point
# (to avoid reference cycles)

Adicionado na versão 3.8.

test.support.os_helper — Utilities for os tests

The test.support.os_helper module provides support for os tests.

Adicionado na versão 3.10.

test.support.os_helper.FS_NONASCII

A non-ASCII character encodable by os.fsencode().

test.support.os_helper.SAVEDCWD

Set to os.getcwd().

test.support.os_helper.TESTFN

Set to a name that is safe to use as the name of a temporary file. Any temporary file that is created should be closed and unlinked (removed).

test.support.os_helper.TESTFN_NONASCII

Set to a filename containing the FS_NONASCII character, if it exists. This guarantees that if the filename exists, it can be encoded and decoded with the default filesystem encoding. This allows tests that require a non-ASCII filename to be easily skipped on platforms where they can’t work.

test.support.os_helper.TESTFN_UNENCODABLE

Define o nome de arquivo (tipo str) que não pode ser codificado pela codificação do sistema de arquivos no modo estrito. Ele pode ser None se não for possível gerar como um nome de arquivo.

test.support.os_helper.TESTFN_UNDECODABLE

Define o nome de arquivo (tipo str) que não pode ser codificado pela codificação do sistema de arquivos no modo estrito. Ele pode ser None se não for possível ser gerado com um nome de arquivo.

test.support.os_helper.TESTFN_UNICODE

Define um nome não-ASCII para o arquivo temporário.

class test.support.os_helper.EnvironmentVarGuard

Class used to temporarily set or unset environment variables. Instances can be used as a context manager and have a complete dictionary interface for querying/modifying the underlying os.environ. After exit from the context manager all changes to environment variables done through this instance will be rolled back.

Alterado na versão 3.1: Adicionada uma interface para dicionário.

class test.support.os_helper.FakePath(path)

Simple path-like object. It implements the __fspath__() method which just returns the path argument. If path is an exception, it will be raised in __fspath__().

EnvironmentVarGuard.set(envvar, value)

Temporariamente define a variável de ambiente envvar para o valor value.

EnvironmentVarGuard.unset(envvar)

Desativa temporariamente a variável de ambiente envvar.

test.support.os_helper.can_symlink()

Return True if the OS supports symbolic links, False otherwise.

test.support.os_helper.can_xattr()

Return True if the OS supports xattr, False otherwise.

test.support.os_helper.change_cwd(path, quiet=False)

A context manager that temporarily changes the current working directory to path and yields the directory.

If quiet is False, the context manager raises an exception on error. Otherwise, it issues only a warning and keeps the current working directory the same.

test.support.os_helper.create_empty_file(filename)

Create an empty file with filename. If it already exists, truncate it.

test.support.os_helper.fd_count()

Conta o número de descritores de arquivos abertos.

test.support.os_helper.fs_is_case_insensitive(directory)

Return True if the file system for directory is case-insensitive.

test.support.os_helper.make_bad_fd()

Cria um descritor de arquivo inválido abrindo e fechando um arquivo temporário e retornando seu descritor.

test.support.os_helper.rmdir(filename)

Call os.rmdir() on filename. On Windows platforms, this is wrapped with a wait loop that checks for the existence of the file, which is needed due to antivirus programs that can hold files open and prevent deletion.

test.support.os_helper.rmtree(path)

Call shutil.rmtree() on path or call os.lstat() and os.rmdir() to remove a path and its contents. As with rmdir(), on Windows platforms this is wrapped with a wait loop that checks for the existence of the files.

@test.support.os_helper.skip_unless_symlink

Um decorador para executar testes que requerem suporte para links simbólicos.

@test.support.os_helper.skip_unless_xattr

Um decorador para execução de testes que requerem suporte para xattr.

test.support.os_helper.temp_cwd(name='tempcwd', quiet=False)

Um gerenciador de contexto que cria temporariamente um novo diretório e altera o diretório de trabalho atual (CWD).

The context manager creates a temporary directory in the current directory with name name before temporarily changing the current working directory. If name is None, the temporary directory is created using tempfile.mkdtemp().

Se quiet é False e ele não possibilita criar ou alterar o CWD, um erro é levantado. Por outro lado, somente um aviso surge e o CWD original é utilizado.

test.support.os_helper.temp_dir(path=None, quiet=False)

Um gerenciador de contexto que cria um diretório temporário no path e produz o diretório.

If path is None, the temporary directory is created using tempfile.mkdtemp(). If quiet is False, the context manager raises an exception on error. Otherwise, if path is specified and cannot be created, only a warning is issued.

test.support.os_helper.temp_umask(umask)

Um gerenciador de contexto que temporariamente define o umask do processo.

test.support.os_helper.unlink(filename)

Call os.unlink() on filename. As with rmdir(), on Windows platforms, this is wrapped with a wait loop that checks for the existence of the file.

test.support.import_helper — Utilities for import tests

The test.support.import_helper module provides support for import tests.

Adicionado na versão 3.10.

test.support.import_helper.forget(module_name)

Remove the module named module_name from sys.modules and delete any byte-compiled files of the module.

test.support.import_helper.import_fresh_module(name, fresh=(), blocked=(), deprecated=False)

This function imports and returns a fresh copy of the named Python module by removing the named module from sys.modules before doing the import. Note that unlike reload(), the original module is not affected by this operation.

fresh is an iterable of additional module names that are also removed from the sys.modules cache before doing the import.

blocked is an iterable of module names that are replaced with None in the module cache during the import to ensure that attempts to import them raise ImportError.

The named module and any modules named in the fresh and blocked parameters are saved before starting the import and then reinserted into sys.modules when the fresh import is complete.

Module and package deprecation messages are suppressed during this import if deprecated is True.

This function will raise ImportError if the named module cannot be imported.

Exemplo de uso:

# Get copies of the warnings module for testing without affecting the
# version being used by the rest of the test suite. One copy uses the
# C implementation, the other is forced to use the pure Python fallback
# implementation
py_warnings = import_fresh_module('warnings', blocked=['_warnings'])
c_warnings = import_fresh_module('warnings', fresh=['_warnings'])

Adicionado na versão 3.1.

test.support.import_helper.import_module(name, deprecated=False, *, required_on=())

This function imports and returns the named module. Unlike a normal import, this function raises unittest.SkipTest if the module cannot be imported.

Module and package deprecation messages are suppressed during this import if deprecated is True. If a module is required on a platform but optional for others, set required_on to an iterable of platform prefixes which will be compared against sys.platform.

Adicionado na versão 3.1.

test.support.import_helper.modules_setup()

Retorna a cópia de sys.modules.

test.support.import_helper.modules_cleanup(oldmodules)

Remove modules except for oldmodules and encodings in order to preserve internal cache.

test.support.import_helper.unload(name)

Exclui o name de sys.modules.

test.support.import_helper.make_legacy_pyc(source)

Move a PEP 3147 [https://peps.python.org/pep-3147/]/PEP 488 [https://peps.python.org/pep-0488/] pyc file to its legacy pyc location and return the file system path to the legacy pyc file. The source value is the file system path to the source file. It does not need to exist, however the PEP 3147/488 pyc file must exist.

class test.support.import_helper.CleanImport(*module_names)

A context manager to force import to return a new module reference. This is useful for testing module-level behaviors, such as the emission of a DeprecationWarning on import. Example usage:

with CleanImport('foo'):
    importlib.import_module('foo')  # New reference.

class test.support.import_helper.DirsOnSysPath(*paths)

A context manager to temporarily add directories to sys.path.

This makes a copy of sys.path, appends any directories given as positional arguments, then reverts sys.path to the copied settings when the context ends.

Note that all sys.path modifications in the body of the context manager, including replacement of the object, will be reverted at the end of the block.

test.support.warnings_helper — Utilities for warnings tests

The test.support.warnings_helper module provides support for warnings tests.

Adicionado na versão 3.10.

test.support.warnings_helper.ignore_warnings(*, category)

Suppress warnings that are instances of category, which must be Warning or a subclass. Roughly equivalent to warnings.catch_warnings() with warnings.simplefilter('ignore', category=category). For example:

@warning_helper.ignore_warnings(category=DeprecationWarning)
def test_suppress_warning():
    # do something

Adicionado na versão 3.8.

test.support.warnings_helper.check_no_resource_warning(testcase)

Context manager to check that no ResourceWarning was raised. You must remove the object which may emit ResourceWarning before the end of the context manager.

test.support.warnings_helper.check_syntax_warning(testcase, statement, errtext='', *, lineno=1, offset=None)

Test for syntax warning in statement by attempting to compile statement. Test also that the SyntaxWarning is emitted only once, and that it will be converted to a SyntaxError when turned into error. testcase is the unittest instance for the test. errtext is the regular expression which should match the string representation of the emitted SyntaxWarning and raised SyntaxError. If lineno is not None, compares to the line of the warning and exception. If offset is not None, compares to the offset of the exception.

Adicionado na versão 3.8.

test.support.warnings_helper.check_warnings(*filters, quiet=True)

A convenience wrapper for warnings.catch_warnings() that makes it easier to test that a warning was correctly raised. It is approximately equivalent to calling warnings.catch_warnings(record=True) with warnings.simplefilter() set to always and with the option to automatically validate the results that are recorded.

check_warnings accepts 2-tuples of the form ("message regexp", WarningCategory) as positional arguments. If one or more filters are provided, or if the optional keyword argument quiet is False, it checks to make sure the warnings are as expected: each specified filter must match at least one of the warnings raised by the enclosed code or the test fails, and if any warnings are raised that do not match any of the specified filters the test fails. To disable the first of these checks, set quiet to True.

Se nenhum argumento é especificado, o padrão é:

check_warnings(("", Warning), quiet=True)

Nesse caso, todos os avisos são capturados e nenhum erro é gerado.

On entry to the context manager, a WarningRecorder instance is returned. The underlying warnings list from catch_warnings() is available via the recorder object’s warnings attribute. As a convenience, the attributes of the object representing the most recent warning can also be accessed directly through the recorder object (see example below). If no warning has been raised, then any of the attributes that would otherwise be expected on an object representing a warning will return None.

The recorder object also has a reset() method, which clears the warnings list.

O gerenciador de contexto é desenhado para ser utilizado dessa forma:

with check_warnings(("assertion is always true", SyntaxWarning),
                    ("", UserWarning)):
    exec('assert(False, "Hey!")')
    warnings.warn(UserWarning("Hide me!"))

No caso, se um aviso não foi levantado, ou algum outro aviso não foi levantado, check_warnings() deveria aparecer como um erro.

When a test needs to look more deeply into the warnings, rather than just checking whether or not they occurred, code like this can be used:

with check_warnings(quiet=True) as w:
    warnings.warn("foo")
    assert str(w.args[0]) == "foo"
    warnings.warn("bar")
    assert str(w.args[0]) == "bar"
    assert str(w.warnings[0].args[0]) == "foo"
    assert str(w.warnings[1].args[0]) == "bar"
    w.reset()
    assert len(w.warnings) == 0

Aqui todos os avisos serão capturados e o código de teste testa os avisos diretamente capturados.

Alterado na versão 3.2: Novos argumentos opcionais filters e quiet.

class test.support.warnings_helper.WarningsRecorder

Class used to record warnings for unit tests. See documentation of check_warnings() above for more details.

Depuração e perfilamento

Essas bibliotecas ajudam no desenvolvimento do Python: o depurador permite que você percorra o código, analise os quadros de pilha e defina pontos de interrupção etc., e os criadores de perfil executam o código e fornecem uma análise detalhada dos tempos de execução, permitindo identificar gargalos em seus programas. Os eventos de auditoria fornecem visibilidade dos comportamentos de tempo de execução que, de outra forma, exigiriam depuração ou correção intrusiva.

Tabela de eventos de auditoria

bdb — Debugger framework

BdbQuit

Breakpoint

deleteMe()

enable()

disable()

bpformat()

bpprint()

file

line

temporary

cond

funcname

enabled

bpbynumber

bplist

ignore

hits

Bdb

canonic()

reset()

trace_dispatch()

dispatch_line()

dispatch_call()

dispatch_return()

dispatch_exception()

is_skipped_line()

stop_here()

break_here()

break_anywhere()

user_call()

user_line()

user_return()

user_exception()

do_clear()

set_step()

set_next()

set_return()

set_until()

set_trace()

set_continue()

set_quit()

set_break()

clear_break()

clear_bpbynumber()

clear_all_file_breaks()

clear_all_breaks()

get_bpbynumber()

get_break()

get_breaks()

get_file_breaks()

get_all_breaks()

get_stack()

format_stack_entry()

run()

runeval()

runctx()

runcall()

checkfuncname()

effective()

set_trace()

faulthandler — Dump the Python traceback

Dumping the traceback

dump_traceback()

Fault handler state

enable()

disable()

is_enabled()

Dumping the tracebacks after a timeout

dump_traceback_later()

cancel_dump_traceback_later()

Dumping the traceback on a user signal

register()

unregister()

Issue with file descriptors

Exemplo

pdb — O Depurador do Python

run()

runeval()

runcall()

set_trace()

post_mortem()

pm()

Pdb

run()

runeval()

runcall()

set_trace()

Comandos de depuração

Os Profilers do Python

Introdução aos profilers

Instant User’s Manual

profile and cProfile Module Reference

run()

runctx()

Profile

enable()

disable()

create_stats()

print_stats()

dump_stats()

run()

runctx()

runcall()

A classe Stats

Stats

strip_dirs()

add()

dump_stats()

sort_stats()

reverse_order()

print_stats()

print_callers()

print_callees()

get_stats_profile()

What Is Deterministic Profiling?

Limitações

Calibration

Using a custom timer

timeit — Mede o tempo de execução de pequenos trechos de código

Exemplos básicos

Interface em Python

timeit()

repeat()

default_timer()

Timer

timeit()

autorange()

repeat()

print_exc()

Interface de Linha de Comando

Exemplos

trace — Rastreia ou acompanha a execução de instruções Python

Uso na linha de comando

Opções principais

Modificadores

Filtros

Interface programática

Trace

run()

runctx()

runfunc()

results()

CoverageResults

update()

write_results()

tracemalloc — Trace memory allocations

Exemplos

Exibe o top 10

Compute differences

Get the traceback of a memory block

Pretty top

Record the current and peak size of all traced memory blocks

API

Funções

clear_traces()

get_object_traceback()

get_traceback_limit()

get_traced_memory()

reset_peak()

get_tracemalloc_memory()

is_tracing()

start()

stop()

take_snapshot()

DomainFilter

DomainFilter

inclusive

domain

Filter

Filter

domain

inclusive

lineno

filename_pattern

all_frames

Frame

Frame

filename

lineno

Snapshot

Snapshot

compare_to()

dump()

filter_traces()

load()

statistics()

traceback_limit

traces

Statistic

Statistic

count

size

traceback

StatisticDiff

StatisticDiff

count

count_diff

size

size_diff

traceback

Trace

Trace

domain

size

traceback

Traceback

Traceback

total_nframe

format()

Tabela de eventos de auditoria

Esta tabela contém todos os eventos levantados por chamadas de sys.audit() ou PySys_Audit() durante todo o tempo de execução do CPython e da biblioteca padrão. Essas chamadas foram adicionadas na versão 3.8 ou posterior (veja PEP 578 [https://peps.python.org/pep-0578/]).

Veja sys.addaudithook() e PySys_AddAuditHook() para informações sobre como tratar estes eventos.

Detalhes da implementação do CPython: Esta tabela é gerada a partir da documentação do CPython e pode não representar eventos levantados por outras implementações. Consulte a documentação específica de tempo de execução para obter eventos reais levantados.

Audit event

Arguments

References

_thread.start_new_thread

function, args, kwargs

[1]

array.__new__

typecode, initializer

[1]

builtins.breakpoint

breakpointhook

[1]

builtins.id

id

[1]

builtins.input

prompt

[1]

builtins.input/result

result

[1]

code.__new__

code, filename, name, argcount, posonlyargcount, kwonlyargcount, nlocals, stacksize, flags

[1]

compile

source, filename

[1]

cpython.PyInterpreterState_Clear

[1]

cpython.PyInterpreterState_New

[1]

cpython._PySys_ClearAuditHooks

[1]

cpython.run_command

command

[1]

cpython.run_file

filename

[1]

cpython.run_interactivehook

hook

[1]

cpython.run_module

module-name

[1]

cpython.run_startup

filename

[1]

cpython.run_stdin

[1][2][3]

ctypes.addressof

obj

[1]

ctypes.call_function

func_pointer, arguments

[1]

ctypes.cdata

address

[1]

ctypes.cdata/buffer

pointer, size, offset

[1][2]

ctypes.create_string_buffer

init, size

[1]

ctypes.create_unicode_buffer

init, size

[1]

ctypes.dlopen

name

[1]

ctypes.dlsym

library, name

[1]

ctypes.dlsym/handle

handle, name

[1]

ctypes.get_errno

[1]

ctypes.get_last_error

[1]

ctypes.set_errno

errno

[1]

ctypes.set_exception

code

[1]

ctypes.set_last_error

error

[1]

ctypes.string_at

ptr, size

[1]

ctypes.wstring_at

ptr, size

[1]

ensurepip.bootstrap

root

[1]

exec

code_object

[1][2]

fcntl.fcntl

fd, cmd, arg

[1]

fcntl.flock

fd, operation

[1]

fcntl.ioctl

fd, request, arg

[1]

fcntl.lockf

fd, cmd, len, start, whence

[1]

ftplib.connect

self, host, port

[1]

ftplib.sendcmd

self, cmd

[1][2]

function.__new__

code

[1]

gc.get_objects

generation

[1]

gc.get_referents

objs

[1]

gc.get_referrers

objs

[1]

glob.glob

pathname, recursive

[1][2]

glob.glob/2

pathname, recursive, root_dir, dir_fd

[1][2]

http.client.connect

self, host, port

[1]

http.client.send

self, data

[1]

imaplib.open

self, host, port

[1]

imaplib.send

self, data

[1]

import

module, filename, sys.path, sys.meta_path, sys.path_hooks

[1]

marshal.dumps

value, version

[1]

marshal.load

[1]

marshal.loads

bytes

[1]

mmap.__new__

fileno, length, access, offset

[1]

msvcrt.get_osfhandle

fd

[1]

msvcrt.locking

fd, mode, nbytes

[1]

msvcrt.open_osfhandle

handle, flags

[1]

object.__delattr__

obj, name

[1]

object.__getattr__

obj, name

[1]

object.__setattr__

obj, name, value

[1]

open

path, mode, flags

[1][2][3]

os.add_dll_directory

path

[1]

os.chdir

path

[1][2]

os.chflags

path, flags

[1][2]

os.chmod

path, mode, dir_fd

[1][2][3]

os.chown

path, uid, gid, dir_fd

[1][2][3]

os.exec

path, args, env

[1]

os.fork

[1]

os.forkpty

[1]

os.fwalk

top, topdown, onerror, follow_symlinks, dir_fd

[1]

os.getxattr

path, attribute

[1]

os.kill

pid, sig

[1]

os.killpg

pgid, sig

[1]

os.link

src, dst, src_dir_fd, dst_dir_fd

[1]

os.listdir

path

[1]

os.listdrives

[1]

os.listmounts

volume

[1]

os.listvolumes

[1]

os.listxattr

path

[1]

os.lockf

fd, cmd, len

[1]

os.mkdir

path, mode, dir_fd

[1][2]

os.posix_spawn

path, argv, env

[1][2]

os.putenv

key, value

[1]

os.remove

path, dir_fd

[1][2][3]

os.removexattr

path, attribute

[1]

os.rename

src, dst, src_dir_fd, dst_dir_fd

[1][2][3]

os.rmdir

path, dir_fd

[1]

os.scandir

path

[1]

os.setxattr

path, attribute, value, flags

[1]

os.spawn

mode, path, args, env

[1]

os.startfile

path, operation

[1]

os.startfile/2

path, operation, arguments, cwd, show_cmd

[1]

os.symlink

src, dst, dir_fd

[1]

os.system

command

[1]

os.truncate

fd, length

[1][2]

os.unsetenv

key

[1]

os.utime

path, times, ns, dir_fd

[1]

os.walk

top, topdown, onerror, followlinks

[1]

pathlib.Path.glob

self, pattern

[1]

pathlib.Path.rglob

self, pattern

[1]

pdb.Pdb

[1]

pickle.find_class

module, name

[1]

poplib.connect

self, host, port

[1][2]

poplib.putline

self, line

[1][2]

pty.spawn

argv

[1]

resource.prlimit

pid, resource, limits

[1]

resource.setrlimit

resource, limits

[1]

setopencodehook

[1]

shutil.chown

path, user, group

[1]

shutil.copyfile

src, dst

[1][2][3]

shutil.copymode

src, dst

[1][2]

shutil.copystat

src, dst

[1][2]

shutil.copytree

src, dst

[1]

shutil.make_archive

base_name, format, root_dir, base_dir

[1]

shutil.move

src, dst

[1]

shutil.rmtree

path, dir_fd

[1]

shutil.unpack_archive

filename, extract_dir, format

[1]

signal.pthread_kill

thread_id, signalnum

[1]

smtplib.connect

self, host, port

[1]

smtplib.send

self, data

[1]

socket.__new__

self, family, type, protocol

[1]

socket.bind

self, address

[1]

socket.connect

self, address

[1][2]

socket.getaddrinfo

host, port, family, type, protocol

[1]

socket.gethostbyaddr

ip_address

[1]

socket.gethostbyname

hostname

[1][2]

socket.gethostname

[1]

socket.getnameinfo

sockaddr

[1]

socket.getservbyname

servicename, protocolname

[1]

socket.getservbyport

port, protocolname

[1]

socket.sendmsg

self, address

[1]

socket.sendto

self, address

[1]

socket.sethostname

name

[1]

sqlite3.connect

database

[1]

sqlite3.connect/handle

connection_handle

[1]

sqlite3.enable_load_extension

connection, enabled

[1]

sqlite3.load_extension

connection, path

[1]

subprocess.Popen

executable, args, cwd, env

[1]

sys._current_exceptions

[1]

sys._current_frames

[1]

sys._getframe

frame

[1]

sys._getframemodulename

depth

[1]

sys.addaudithook

[1][2]

sys.excepthook

hook, type, value, traceback

[1]

sys.set_asyncgen_hooks_finalizer

[1]

sys.set_asyncgen_hooks_firstiter

[1]

sys.setprofile

[1]

sys.settrace

[1]

sys.unraisablehook

hook, unraisable

[1]

syslog.closelog

[1]

syslog.openlog

ident, logoption, facility

[1]

syslog.setlogmask

maskpri

[1]

syslog.syslog

priority, message

[1]

tempfile.mkdtemp

fullpath

[1][2]

tempfile.mkstemp

fullpath

[1][2][3]

time.sleep

secs

[1]

urllib.Request

fullurl, data, headers, method

[1]

webbrowser.open

url

[1]

winreg.ConnectRegistry

computer_name, key

[1]

winreg.CreateKey

key, sub_key, access

[1][2]

winreg.DeleteKey

key, sub_key, access

[1][2]

winreg.DeleteValue

key, value

[1]

winreg.DisableReflectionKey

key

[1]

winreg.EnableReflectionKey

key

[1]

winreg.EnumKey

key, index

[1]

winreg.EnumValue

key, index

[1]

winreg.ExpandEnvironmentStrings

str

[1]

winreg.LoadKey

key, sub_key, file_name

[1]

winreg.OpenKey

key, sub_key, access

[1]

winreg.OpenKey/result

key

[1][2][3]

winreg.PyHKEY.Detach

key

[1]

winreg.QueryInfoKey

key

[1]

winreg.QueryReflectionKey

key

[1]

winreg.QueryValue

key, sub_key, value_name

[1][2]

winreg.SaveKey

key, file_name

[1]

winreg.SetValue

key, sub_key, type, value

[1][2]

Os eventos a seguir são levantados internamente e não correspondem a nenhuma API pública de CPython:

Evento de auditoria

Argumentos

_winapi.CreateFile

file_name, desired_access, share_mode, creation_disposition, flags_and_attributes

_winapi.CreateJunction

src_path, dst_path

_winapi.CreateNamedPipe

name, open_mode, pipe_mode

_winapi.CreatePipe

_winapi.CreateProcess

application_name, command_line, current_directory

_winapi.OpenProcess

process_id, desired_access

_winapi.TerminateProcess

handle, exit_code

ctypes.PyObj_FromPtr

obj

bdb — Debugger framework

Código-fonte: Lib/bdb.py [https://github.com/python/cpython/tree/3.13/Lib/bdb.py]

The bdb module handles basic debugger functions, like setting breakpoints or managing execution via the debugger.

The following exception is defined:

exception bdb.BdbQuit

Exception raised by the Bdb class for quitting the debugger.

The bdb module also defines two classes:

class bdb.Breakpoint(self, file, line, temporary=False, cond=None, funcname=None)

This class implements temporary breakpoints, ignore counts, disabling and (re-)enabling, and conditionals.

Breakpoints are indexed by number through a list called bpbynumber and by (file, line) pairs through bplist. The former points to a single instance of class Breakpoint. The latter points to a list of such instances since there may be more than one breakpoint per line.

When creating a breakpoint, its associated file name should be in canonical form. If a funcname is defined, a breakpoint hit will be counted when the first line of that function is executed. A conditional breakpoint always counts a hit.

Breakpoint instances have the following methods:

deleteMe()

Delete the breakpoint from the list associated to a file/line. If it is the last breakpoint in that position, it also deletes the entry for the file/line.

enable()

Mark the breakpoint as enabled.

disable()

Mark the breakpoint as disabled.

bpformat()

Return a string with all the information about the breakpoint, nicely formatted:

Breakpoint number.

Temporary status (del or keep).

File/line position.

Break condition.

Número de vezes para ignorar.

Number of times hit.

Adicionado na versão 3.2.

bpprint(out=None)

Print the output of bpformat() to the file out, or if it is None, to standard output.

Breakpoint instances have the following attributes:

file

Nome do arquivo do Breakpoint.

line

Line number of the Breakpoint within file.

temporary

True if a Breakpoint at (file, line) is temporary.

cond

Condition for evaluating a Breakpoint at (file, line).

funcname

Function name that defines whether a Breakpoint is hit upon entering the function.

enabled

True if Breakpoint is enabled.

bpbynumber

Numeric index for a single instance of a Breakpoint.

bplist

Dictionary of Breakpoint instances indexed by (file, line) tuples.

ignore

Number of times to ignore a Breakpoint.

hits

Count of the number of times a Breakpoint has been hit.

class bdb.Bdb(skip=None)

The Bdb class acts as a generic Python debugger base class.

This class takes care of the details of the trace facility; a derived class should implement user interaction. The standard debugger class (pdb.Pdb) is an example.

The skip argument, if given, must be an iterable of glob-style module name patterns. The debugger will not step into frames that originate in a module that matches one of these patterns. Whether a frame is considered to originate in a certain module is determined by the __name__ in the frame globals.

Alterado na versão 3.1: Adicionado o parâmetro skip.

The following methods of Bdb normally don’t need to be overridden.

canonic(filename)

Return canonical form of filename.

For real file names, the canonical form is an operating-system-dependent, case-normalized absolute path. A filename with angle brackets, such as "<stdin>" generated in interactive mode, is returned unchanged.

reset()

Set the botframe, stopframe, returnframe and quitting attributes with values ready to start debugging.

trace_dispatch(frame, event, arg)

This function is installed as the trace function of debugged frames. Its return value is the new trace function (in most cases, that is, itself).

The default implementation decides how to dispatch a frame, depending on the type of event (passed as a string) that is about to be executed. event can be one of the following:

"line": A new line of code is going to be executed.

"call": A function is about to be called, or another code block entered.

"return": A function or other code block is about to return.

"exception": An exception has occurred.

"c_call": A C function is about to be called.

"c_return": A C function has returned.

"c_exception": A C function has raised an exception.

For the Python events, specialized functions (see below) are called. For the C events, no action is taken.

The arg parameter depends on the previous event.

See the documentation for sys.settrace() for more information on the trace function. For more information on code and frame objects, refer to A hierarquia de tipos padrão.

dispatch_line(frame)

If the debugger should stop on the current line, invoke the user_line() method (which should be overridden in subclasses). Raise a BdbQuit exception if the quitting flag is set (which can be set from user_line()). Return a reference to the trace_dispatch() method for further tracing in that scope.

dispatch_call(frame, arg)

If the debugger should stop on this function call, invoke the user_call() method (which should be overridden in subclasses). Raise a BdbQuit exception if the quitting flag is set (which can be set from user_call()). Return a reference to the trace_dispatch() method for further tracing in that scope.

dispatch_return(frame, arg)

If the debugger should stop on this function return, invoke the user_return() method (which should be overridden in subclasses). Raise a BdbQuit exception if the quitting flag is set (which can be set from user_return()). Return a reference to the trace_dispatch() method for further tracing in that scope.

dispatch_exception(frame, arg)

If the debugger should stop at this exception, invokes the user_exception() method (which should be overridden in subclasses). Raise a BdbQuit exception if the quitting flag is set (which can be set from user_exception()). Return a reference to the trace_dispatch() method for further tracing in that scope.

Normally derived classes don’t override the following methods, but they may if they want to redefine the definition of stopping and breakpoints.

is_skipped_line(module_name)

Return True if module_name matches any skip pattern.

stop_here(frame)

Return True if frame is below the starting frame in the stack.

break_here(frame)

Return True if there is an effective breakpoint for this line.

Check whether a line or function breakpoint exists and is in effect. Delete temporary breakpoints based on information from effective().

break_anywhere(frame)

Return True if any breakpoint exists for frame’s filename.

Derived classes should override these methods to gain control over debugger operation.

user_call(frame, argument_list)

Called from dispatch_call() if a break might stop inside the called function.

argument_list is not used anymore and will always be None. The argument is kept for backwards compatibility.

user_line(frame)

Called from dispatch_line() when either stop_here() or break_here() returns True.

user_return(frame, return_value)

Called from dispatch_return() when stop_here() returns True.

user_exception(frame, exc_info)

Called from dispatch_exception() when stop_here() returns True.

do_clear(arg)

Handle how a breakpoint must be removed when it is a temporary one.

This method must be implemented by derived classes.

Derived classes and clients can call the following methods to affect the stepping state.

set_step()

Stop after one line of code.

set_next(frame)

Stop on the next line in or below the given frame.

set_return(frame)

Stop when returning from the given frame.

set_until(frame, lineno=None)

Stop when the line with the lineno greater than the current one is reached or when returning from current frame.

set_trace([frame])

Start debugging from frame. If frame is not specified, debugging starts from caller’s frame.

Alterado na versão 3.13: set_trace() entrará no depurador imediatamente, em vez de na próxima linha de código a ser executada.

set_continue()

Stop only at breakpoints or when finished. If there are no breakpoints, set the system trace function to None.

set_quit()

Set the quitting attribute to True. This raises BdbQuit in the next call to one of the dispatch_*() methods.

Derived classes and clients can call the following methods to manipulate breakpoints. These methods return a string containing an error message if something went wrong, or None if all is well.

set_break(filename, lineno, temporary=False, cond=None, funcname=None)

Set a new breakpoint. If the lineno line doesn’t exist for the filename passed as argument, return an error message. The filename should be in canonical form, as described in the canonic() method.

clear_break(filename, lineno)

Delete the breakpoints in filename and lineno. If none were set, return an error message.

clear_bpbynumber(arg)

Delete the breakpoint which has the index arg in the Breakpoint.bpbynumber. If arg is not numeric or out of range, return an error message.

clear_all_file_breaks(filename)

Delete all breakpoints in filename. If none were set, return an error message.

clear_all_breaks()

Delete all existing breakpoints. If none were set, return an error message.

get_bpbynumber(arg)

Return a breakpoint specified by the given number. If arg is a string, it will be converted to a number. If arg is a non-numeric string, if the given breakpoint never existed or has been deleted, a ValueError is raised.

Adicionado na versão 3.2.

get_break(filename, lineno)

Return True if there is a breakpoint for lineno in filename.

get_breaks(filename, lineno)

Return all breakpoints for lineno in filename, or an empty list if none are set.

get_file_breaks(filename)

Return all breakpoints in filename, or an empty list if none are set.

get_all_breaks()

Return all breakpoints that are set.

Derived classes and clients can call the following methods to get a data structure representing a stack trace.

get_stack(f, t)

Return a list of (frame, lineno) tuples in a stack trace, and a size.

The most recently called frame is last in the list. The size is the number of frames below the frame where the debugger was invoked.

format_stack_entry(frame_lineno, lprefix=': ')

Return a string with information about a stack entry, which is a (frame, lineno) tuple. The return string contains:

The canonical filename which contains the frame.

O nome da função ou "<lambda>".

O argumento de entrada.

The return value.

The line of code (if it exists).

Os dois métodos a seguir podem ser chamados pelos clientes para usar um depurador e depurar uma instrução, fornecida como uma string.

run(cmd, globals=None, locals=None)

Debug a statement executed via the exec() function. globals defaults to __main__.__dict__, locals defaults to globals.

runeval(expr, globals=None, locals=None)

Debug an expression executed via the eval() function. globals and locals have the same meaning as in run().

runctx(cmd, globals, locals)

For backwards compatibility. Calls the run() method.

runcall(func, /, *args, **kwds)

Debug a single function call, and return its result.

Finally, the module defines the following functions:

bdb.checkfuncname(b, frame)

Return True if we should break here, depending on the way the Breakpoint b was set.

If it was set via line number, it checks if b.line is the same as the one in frame. If the breakpoint was set via function name, we have to check we are in the right frame (the right function) and if we are on its first executable line.

bdb.effective(file, line, frame)

Return (active breakpoint, delete temporary flag) or (None, None) as the breakpoint to act upon.

The active breakpoint is the first entry in bplist for the (file, line) (which must exist) that is enabled, for which checkfuncname() is true, and that has neither a false condition nor positive ignore count. The flag, meaning that a temporary breakpoint should be deleted, is False only when the cond cannot be evaluated (in which case, ignore count is ignored).

If no such entry exists, then (None, None) is returned.

bdb.set_trace()

Start debugging with a Bdb instance from caller’s frame.

faulthandler — Dump the Python traceback

Adicionado na versão 3.3.

This module contains functions to dump Python tracebacks explicitly, on a fault, after a timeout, or on a user signal. Call faulthandler.enable() to install fault handlers for the SIGSEGV, SIGFPE, SIGABRT, SIGBUS, and SIGILL signals. You can also enable them at startup by setting the PYTHONFAULTHANDLER environment variable or by using the -X faulthandler command line option.

The fault handler is compatible with system fault handlers like Apport or the Windows fault handler. The module uses an alternative stack for signal handlers if the sigaltstack() function is available. This allows it to dump the traceback even on a stack overflow.

The fault handler is called on catastrophic cases and therefore can only use signal-safe functions (e.g. it cannot allocate memory on the heap). Because of this limitation traceback dumping is minimal compared to normal Python tracebacks:

Only ASCII is supported. The backslashreplace error handler is used on encoding.

Each string is limited to 500 characters.

Only the filename, the function name and the line number are displayed. (no source code)

It is limited to 100 frames and 100 threads.

The order is reversed: the most recent call is shown first.

By default, the Python traceback is written to sys.stderr. To see tracebacks, applications must be run in the terminal. A log file can alternatively be passed to faulthandler.enable().

The module is implemented in C, so tracebacks can be dumped on a crash or when Python is deadlocked.

The Python Development Mode calls faulthandler.enable() at Python startup.

Ver também

Module pdb

Interactive source code debugger for Python programs.

Módulo traceback

Interface padrão para extrair, formatar e imprimir rastreamentos de pilha de programas Python.

Dumping the traceback

faulthandler.dump_traceback(file=sys.stderr, all_threads=True)

Dump the tracebacks of all threads into file. If all_threads is False, dump only the current thread.

Ver também

traceback.print_tb(), which can be used to print a traceback object.

Alterado na versão 3.5: Added support for passing file descriptor to this function.

Fault handler state

faulthandler.enable(file=sys.stderr, all_threads=True)

Enable the fault handler: install handlers for the SIGSEGV, SIGFPE, SIGABRT, SIGBUS and SIGILL signals to dump the Python traceback. If all_threads is True, produce tracebacks for every running thread. Otherwise, dump only the current thread.

The file must be kept open until the fault handler is disabled: see issue with file descriptors.

Alterado na versão 3.5: Added support for passing file descriptor to this function.

Alterado na versão 3.6: On Windows, a handler for Windows exception is also installed.

Alterado na versão 3.10: The dump now mentions if a garbage collector collection is running if all_threads is true.

faulthandler.disable()

Disable the fault handler: uninstall the signal handlers installed by enable().

faulthandler.is_enabled()

Check if the fault handler is enabled.

Dumping the tracebacks after a timeout

faulthandler.dump_traceback_later(timeout, repeat=False, file=sys.stderr, exit=False)

Dump the tracebacks of all threads, after a timeout of timeout seconds, or every timeout seconds if repeat is True. If exit is True, call _exit() with status=1 after dumping the tracebacks. (Note _exit() exits the process immediately, which means it doesn’t do any cleanup like flushing file buffers.) If the function is called twice, the new call replaces previous parameters and resets the timeout. The timer has a sub-second resolution.

The file must be kept open until the traceback is dumped or cancel_dump_traceback_later() is called: see issue with file descriptors.

This function is implemented using a watchdog thread.

Alterado na versão 3.5: Added support for passing file descriptor to this function.

Alterado na versão 3.7: This function is now always available.

faulthandler.cancel_dump_traceback_later()

Cancel the last call to dump_traceback_later().

Dumping the traceback on a user signal

faulthandler.register(signum, file=sys.stderr, all_threads=True, chain=False)

Register a user signal: install a handler for the signum signal to dump the traceback of all threads, or of the current thread if all_threads is False, into file. Call the previous handler if chain is True.

The file must be kept open until the signal is unregistered by unregister(): see issue with file descriptors.

Não disponível no Windows.

Alterado na versão 3.5: Added support for passing file descriptor to this function.

faulthandler.unregister(signum)

Unregister a user signal: uninstall the handler of the signum signal installed by register(). Return True if the signal was registered, False otherwise.

Não disponível no Windows.

Issue with file descriptors

enable(), dump_traceback_later() and register() keep the file descriptor of their file argument. If the file is closed and its file descriptor is reused by a new file, or if os.dup2() is used to replace the file descriptor, the traceback will be written into a different file. Call these functions again each time that the file is replaced.

Exemplo

Example of a segmentation fault on Linux with and without enabling the fault handler:

$ python -c "import ctypes; ctypes.string_at(0)"
Segmentation fault

$ python -q -X faulthandler
>>> import ctypes
>>> ctypes.string_at(0)
Fatal Python error: Segmentation fault

Current thread 0x00007fb899f39700 (most recent call first):
  File "/home/python/cpython/Lib/ctypes/__init__.py", line 486 in string_at
  File "<stdin>", line 1 in <module>
Segmentation fault

pdb — O Depurador do Python

Código-fonte: Lib/pdb.py [https://github.com/python/cpython/tree/3.13/Lib/pdb.py]

O módulo pdb define um depurador de código-fonte interativo para programas Python. Ele possui suporte a definição de pontos de interrupção (condicionais) e passo único no nível da linha de origem, inspeção de quadros de pilha, listagem de código-fonte e avaliação de código Python arbitrário no contexto de qualquer quadro de pilha. Ele também tem suporte a depuração post-mortem e pode ser chamado sob controle do programa.

O depurador é extensível – na verdade, ele é definido como a classe Pdb. Atualmente, isso não está documentado, mas é facilmente compreendido pela leitura do código-fonte. A interface de extensão usa os módulos bdb e cmd.

Ver também

Módulo faulthandler

Usado para despejar tracebacks (situação da pilha de execução) do Python explicitamente, em uma falha, após um tempo limite ou em um sinal do usuário.

Módulo traceback

Interface padrão para extrair, formatar e imprimir rastreamentos de pilha de programas Python.

O uso típico para invadir o depurador é inserir:

import pdb; pdb.set_trace()

ou:

breakpoint()

no local que você deseja interromper o depurador e, em seguida, execute o programa. Você pode percorrer o código seguindo esta instrução e continuar executando sem o depurador usando o comando continue.

Alterado na versão 3.7: The built-in breakpoint(), when called with defaults, can be used instead of import pdb; pdb.set_trace().

def double(x):
   breakpoint()
   return x * 2
val = 3
print(f"{val} * 2 is {double(val)}")

O prompt do depurador é (Pdb), que é o indicador de que você está no modo de depuração:

> ...(2)double()
-> breakpoint()
(Pdb) p x
3
(Pdb) continue
3 * 2 is 6

Alterado na versão 3.3: O preenchimento por tabulação através do módulo readline está disponível para comandos e argumentos de comando, por exemplo os nomes globais e locais atuais são oferecidos como argumentos do comando p.

Você também pode invocar pdb na linha de comando para depurar outros scripts. Por exemplo:

python -m pdb myscript.py

Quando invocado como um módulo, o pdb entra automaticamente na depuração post-mortem se o programa que está sendo depurado for encerrado de forma anormal. Após a depuração post-mortem (ou após a saída normal do programa), o pdb reiniciará o programa. A reinicialização automática preserva o estado do pdb (p.ex., pontos de interrupção) e, na maioria dos casos, é mais útil do que encerrar o depurador na saída do programa.

Alterado na versão 3.2: Adicionada a opção -c para executar comandos como se fossem dados em um arquivo .pdbrc. Veja Comandos de depuração.

Alterado na versão 3.7: Adicionada a opção -m para executar módulos de maneira similar ao python -m. Assim como em um script, o depurador pausará a execução logo antes da primeira linha do módulo.

O uso típico para executar uma instrução sob o controle do depurador é:

>>> import pdb
>>> def f(x):
...     print(1 / x)
>>> pdb.run("f(2)")
> <string>(1)<module>()
(Pdb) continue
0.5
>>>

O uso típico para inspecionar um programa com falha é:

>>> import pdb
>>> def f(x):
...     print(1 / x)
...
>>> f(0)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 2, in f
ZeroDivisionError: division by zero
>>> pdb.pm()
> <stdin>(2)f()
(Pdb) p x
0
(Pdb)

Alterado na versão 3.13: A implementação de PEP 667 [https://peps.python.org/pep-0667/] significa que atribuições de nomes feitas via pdb afetarão imediatamente o escopo ativo, mesmo quando executado dentro de um escopo otimizado.

O módulo define as seguintes funções; cada uma entra no depurador de uma maneira ligeiramente diferente:

pdb.run(statement, globals=None, locals=None)

Executa a instrução statement (fornecida como uma string ou um objeto código) sob controle do depurador. O prompt do depurador aparece antes de qualquer código ser executado; você pode definir pontos de interrupção e digitar continue ou pode percorrer a instrução usando step ou next (todos esses comandos são explicados abaixo). Os argumentos opcionais globals e locals especificam o ambiente em que o código é executado; por padrão, o dicionário do módulo __main__ é usado. (Veja a explicação das funções embutidas exec() ou eval().)

pdb.runeval(expression, globals=None, locals=None)

Avalia a expressão expression (fornecida como uma string ou um objeto código) sob controle do depurador. Quando runeval() retorna, ele retorna o valor de expression. Caso contrário, esta função é semelhante a run().

pdb.runcall(function, *args, **kwds)

Chama a função function (um objeto função ou método, não uma string) com os argumentos fornecidos. Quando runcall() retorna, ele retorna qualquer que seja a chamada de função retornada. O prompt do depurador aparece assim que a função é inserida.

pdb.set_trace(*, header=None)

Entra no depurador no quadro da pilha de chamada. Isso é útil para codificar um ponto de interrupção em um determinado ponto de um programa, mesmo que o código não esteja sendo depurado de outra forma (por exemplo, quando uma asserção falha). Se fornecido, header é impresso no console imediatamente antes do início da depuração.

Alterado na versão 3.7: O argumento somente-nomeado header.

Alterado na versão 3.13: set_trace() entrará no depurador imediatamente, em vez de na próxima linha de código a ser executada.

pdb.post_mortem(traceback=None)

Entra na depuração post-mortem do objeto traceback fornecido. Se não for fornecido um traceback, será usada a exceção que está sendo manipulada no momento (uma exceção deve ser manipulada para que o padrão seja usado).

pdb.pm()

Entra a depuração post-mortem da exceção encontrada em sys.last_exc.

As funções run* e a set_trace() são aliases, ou apelidos, para instanciar a classe Pdb e chamar o método com o mesmo nome. Se você deseja acessar outros recursos, faça você mesmo:

class pdb.Pdb(completekey='tab', stdin=None, stdout=None, skip=None, nosigint=False, readrc=True)

Pdb é a classe do depurador.

Os argumentos completekey, stdin e stdout são passados para a classe subjacente cmd.Cmd; veja a descrição lá.

O argumento skip, se fornecido, deve ser um iterável de padrões de nome de módulo no estilo glob. O depurador não entrará nos quadros que se originam em um módulo que corresponde a um desses padrões. [1]

Por padrão, o Pdb define um manipulador para o sinal SIGINT (que é enviado quando o usuário pressiona Ctrl-C no console) quando você dá um comando continue. Isso permite que você entre no depurador novamente pressionando Ctrl-C. Se você deseja que o Pdb não toque no manipulador SIGINT, defina nosigint como true.

O argumento readrc é padronizado como true e controla se o Pdb carregará arquivos .pdbrc do sistema de arquivos.

Exemplo de chamada para habilitar rastreamento com skip:

import pdb; pdb.Pdb(skip=['django.*']).set_trace()

Levanta um evento de auditoria pdb.Pdb sem argumentos.

Alterado na versão 3.1: Adicionado o parâmetro skip.

Alterado na versão 3.2: Adicionado o parâmetro nosigint. Anteriormente, um manipulador de SIGINT nunca era definido por Pdb.

Alterado na versão 3.6: O argumento readrc.

run(statement, globals=None, locals=None)

runeval(expression, globals=None, locals=None)

runcall(function, *args, **kwds)

set_trace()

Consulte a documentação para as funções explicadas acima.

Comandos de depuração

Os comandos reconhecidos pelo depurador estão listados abaixo. A maioria dos comandos pode ser abreviada para uma ou duas letras, conforme indicado; por exemplo, h(elp) significa que h ou help podem ser usados para inserir o comando de ajuda (mas não he ou hel, nem H ou Help ou HELP). Os argumentos para os comandos devem ser separados por espaços em branco (espaços ou tabulações). Os argumentos opcionais estão entre colchetes ([]) na sintaxe do comando; os colchetes não devem ser digitados. As alternativas na sintaxe de comando são separadas por uma barra vertical (|).

Digitar uma linha em branco repete o último comando digitado. Exceção: se o último comando foi um comando list, as próximas 11 linhas serão listadas.

Os comandos que o depurador não reconhece são presumidos como instruções Python e são executados no contexto do programa que está sendo depurado. As instruções Python também podem ser prefixadas com um ponto de exclamação (!). Essa é uma maneira poderosa de inspecionar o programa que está sendo depurado; é até possível alterar uma variável ou chamar uma função. Quando ocorre uma exceção em uma instrução, o nome da exceção é impresso, mas o estado do depurador não é alterado.

Alterado na versão 3.13: Expressões/instruções, cujo prefixo é um comando pdb, agora são identificadas e executadas corretamente.

O depurador possui suporte a aliases. Os aliases podem ter parâmetros que permitem um certo nível de adaptabilidade ao contexto em exame.

Vários comandos podem ser inseridos em uma única linha, separados por ;;. (Um único ; não é usado, pois é o separador para vários comandos em uma linha que é passada para o analisador Python.) Nenhuma inteligência é aplicada para separar os comandos; a entrada é dividida no primeiro par ;;, mesmo que esteja no meio de uma string entre aspas. Uma solução alternativa para strings com caractere de ponto e vírgula duplo é usar a concatenação de string implícita ';'';' ou ";"";".

Para definir uma variável global temporária, use uma variável de conveniência. Uma variável de conveniência é uma variável cujo nome começa com $. Por exemplo, $foo = 1 define uma variável global $foo que você pode usar na sessão do depurador. As variáveis de conveniência são limpas quando o programa retoma a execução, portanto é menos provável que interfira em seu programa em comparação ao uso de variáveis normais como foo = 1.

Existem três variáveis de conveniência predefinidas:

$_frame: o quadro atual que você está depurando

$_retval: o valor de retorno se o quadro estiver retornando

$_exception: a exceção se o quadro estiver levantando uma exceção

Adicionado na versão 3.12: Adicionado o recurso de variável de conveniência.

Se um arquivo .pdbrc existe no diretório inicial do usuário ou no diretório atual, ele é lido com a codificação 'utf-8' e executado como se tivesse sido digitado no prompt do depurador, com a exceção de que linhas vazias e linhas iniciando com # são ignoradas. Isso é particularmente útil para aliases. Se ambos os arquivos existirem, aquele no diretório inicial será lido primeiro e os aliases definidos poderão ser substituídos pelo arquivo local.

Alterado na versão 3.2: .pdbrc agora pode conter comandos que continuam a depuração, como continue ou next. Anteriormente, esses comandos não tinham efeito.

Alterado na versão 3.11: .pdbrc agora é lido com a codificação 'utf-8'. Anteriormente, ele era lido com a codificação da localidade do sistema.

h(elp) [command]

Sem argumento, imprime a lista de comandos disponíveis. Com um command como argumento, imprime ajuda sobre esse comando. help pdb exibe a documentação completa (a docstring do módulo pdb). Como o argumento command deve ser um identificador, help exec deve ser inserido para obter ajuda sobre o comando !.

w(here)

Exibe um stack trace (situação da pilha de execução), com o quadro mais recente na parte inferior. Uma seta (>) indica o quadro atual, que determina o contexto da maioria dos comandos.

d(own) [count]

Move os níveis do quadro atual count (padrão 1) para baixo no stack trace (para um quadro mais recente).

u(p) [count]

Move os níveis do quadro atual na count (padrão 1) para cima no stack trace (para um quadro mais antigo).

b(reak) [([filename:]lineno | function) [, condition]]

Com um argumento lineno, define uma quebra na linha lineno no arquivo atual. O número da linha pode ser prefixado com filename e dois pontos, para especificar um ponto de interrupção em outro arquivo (possivelmente um que ainda não tenha sido carregado). O arquivo é pesquisado em sys.path. Formas aceitáveis de filename são /caminhoabsoluto/para/arquivo.py, caminhorelativo/do/arquivo.py, módulo e pacote.módulo.

Com um argumento function, define uma interrupção na primeira instrução executável dentro dessa função. function pode ser qualquer expressão avaliada como uma função no espaço de nomes atual.

Se um segundo argumento estiver presente, é uma expressão que deve ser avaliada como verdadeira antes que o ponto de interrupção seja respeitado.

Sem argumento, lista todas as quebras, inclusive para cada ponto de interrupção, o número de vezes que o ponto de interrupção foi atingido, a contagem atual de ignorados e a condição associada, se houver.

Cada ponto de interrupção recebe um número ao qual todos os outros comandos de ponto de interrupção se referem.

tbreak [([filename:]lineno | function) [, condition]]

Ponto de interrupção temporário, que é removido automaticamente quando é atingido pela primeira vez. Os argumentos são os mesmos que para break.

cl(ear) [filename:lineno | bpnumber ...]

Com um argumento filename:lineno, limpa todos os pontos de interrupção nessa linha. Com uma lista separada por espaços de números de ponto de interrupção, limpa esses pontos de interrupção. Sem argumento, limpa todas as quebras (mas primeiro pede a confirmação).

disable bpnumber [bpnumber ...]

Desativa os pontos de interrupção fornecidos como uma lista separada por espaços de números de pontos de interrupção. Desabilitar um ponto de interrupção significa que ele não pode interromper a execução do programa, mas, ao contrário de limpar um ponto de interrupção, ele permanece na lista de pontos de interrupção e pode ser (re)ativado.

enable bpnumber [bpnumber ...]

Ativa o ponto de interrupção especificado.

ignore bpnumber [count]

Define a contagem de ignorados para o número do ponto de interrupção especificado. Se count for omitida, a contagem de ignorados será definida como 0. Um ponto de interrupção se torna ativo quando a contagem de ignorados é zero. Quando diferente de zero, a contagem é decrementada cada vez que o ponto de interrupção é atingido e o ponto de interrupção não é desativado e qualquer condição associada é avaliada como verdadeira.

condition bpnumber [condition]

Define uma nova condition para o ponto de interrupção, uma expressão que deve ser avaliada como verdadeira antes que o ponto de interrupção seja respeitado. Se condition for omitida, qualquer condição existente será removida; isto é, o ponto de interrupção é tornado incondicional.

commands [bpnumber]

Especifica uma lista de comandos para o número do ponto de interrupção bpnumber. Os próprios comandos aparecem nas seguintes linhas. Digite em uma linha contendo apenas end para finalizar os comandos. Um exemplo:

(Pdb) commands 1
(com) p some_variable
(com) end
(Pdb)

Para remover todos os comandos de um ponto de interrupção, digite commands e siga-o imediatamente com end; isto é, não dê comandos.

Sem argumento bpnumber, commands refere-se ao último conjunto de pontos de interrupção.

Você pode usar comandos de ponto de interrupção para iniciar seu programa novamente. Simplesmente use o comando continue, ou step, ou qualquer outro comando que reinicie a execução.

Especificar qualquer comando que retome a execução (atualmente continue, step, next, return, jump, quit e suas abreviações) finaliza a lista de comandos (como se esse comando fosse imediatamente seguido pelo final). Isso ocorre sempre que você retoma a execução (mesmo com uma simples etapa ou etapa), você pode encontrar outro ponto de interrupção — que pode ter sua própria lista de comandos, levando a ambiguidades sobre qual lista executar.

Se você usar o comando silent na lista de comandos, a mensagem usual sobre a parada em um ponto de interrupção não será impressa. Isso pode ser desejável para pontos de interrupção que devem imprimir uma mensagem específica e continuar. Se nenhum dos outros comandos imprimir alguma coisa, você não vê sinal de que o ponto de interrupção foi atingido.

s(tep)

Executa a linha atual, interrompe na primeira ocasião possível (em uma função chamada ou na próxima linha na função atual).

n(ext)

Continua a execução até que a próxima linha na função atual seja atingida ou ela retorne. (A diferença entre next e step é que step para dentro de uma função chamada, enquanto next executa funções chamadas em (quase) velocidade máxima, parando apenas na próxima linha da função atual.)

unt(il) [lineno]

Sem argumento, continua a execução até que a linha com um número maior que o atual seja atingida.

Com lineno, continua a execução até que uma linha com um número maior ou igual a lineno ser alcançada. Nos dois casos, também interrompe quando o quadro atual retornar.

Alterado na versão 3.2: Permite fornecer um número de linha explícito.

r(eturn)

Continua a execução até que a função atual retorne.

c(ont(inue))

Continua a execução, interrompe apenas quando um ponto de interrupção for encontrado.

j(ump) lineno

Define a próxima linha que será executada. Disponível apenas no quadro mais inferior. Isso permite voltar e executar o código novamente ou avançar para pular o código que você não deseja executar.

Deve-se notar que nem todos os saltos são permitidos – por exemplo, não é possível pular para o meio de um loop de for ou sair de uma cláusula finally.

l(ist) [first[, last]]

Lista o código-fonte do arquivo atual. Sem argumentos, lista 11 linhas ao redor da linha atual ou continue a listagem anterior. Com . como argumento, lista 11 linhas ao redor da linha atual. Com um argumento, lista 11 linhas nessa linha. Com dois argumentos, lista o intervalo especificado; se o segundo argumento for menor que o primeiro, ele será interpretado como uma contagem.

A linha atual no quadro atual é indicada por ->. Se uma exceção estiver sendo depurada, a linha em que a exceção foi originalmente gerada ou propagada é indicada por >>, se for diferente da linha atual.

Alterado na versão 3.2: Adicionado o marcador >>.

ll | longlist

Lista todo o código-fonte da função ou quadro atual. As linhas interessantes estão marcadas como para list.

Adicionado na versão 3.2.

a(rgs)

Imprime os argumentos da função atual e seus valores atuais.

p expression

Avalia expression no contexto atual e imprima seu valor.

Nota

print() também pode ser usado, mas não é um comando de depuração — isso executa a função Python print().

pp expression

Como o comando p, exceto que o valor de expression é bastante impresso usando o módulo pprint.

whatis expression

Exibe o tipo de expression.

source expression

Tenta obter o código-fonte de expression e exibe-o.

Adicionado na versão 3.2.

display [expression]

Exibe o valor de expression caso ela tenha sido alterada, sempre que a execução for interrompida no quadro atual.

Sem expression, lista todas as expressões de exibição para o quadro atual.

Nota

Display avalia expression e compara com o resultado da avaliação anterior de expression, portanto, quando o resultado é mutável, display pode não ser capaz de captar as alterações.

Exemplo:

lst = []
breakpoint()
pass
lst.append(1)
print(lst)

Display não perceberá que lst foi alterado porque o resultado da avaliação foi modificado internamente por lst.append(1) antes de ser comparado:

> example.py(3)<module>()
-> pass
(Pdb) display lst
display lst: []
(Pdb) n
> example.py(4)<module>()
-> lst.append(1)
(Pdb) n
> example.py(5)<module>()
-> print(lst)
(Pdb)

Você pode fazer alguns truques com o mecanismo de cópia para fazê-lo funcionar:

> example.py(3)<module>()
-> pass
(Pdb) display lst[:]
display lst[:]: []
(Pdb) n
> example.py(4)<module>()
-> lst.append(1)
(Pdb) n
> example.py(5)<module>()
-> print(lst)
display lst[:]: [1]  [old: []]
(Pdb)

Adicionado na versão 3.2.

undisplay [expression]

Não exibe mais expression no quadro atual. Sem expressão, limpa todas as expressões de exibição para o quadro atual.

Adicionado na versão 3.2.

interact

Inicia um interpretador interativo (usando o módulo code) em um novo espaço de nomes global inicializado a partir dos espaços de nomes locais e globais para o escopo atual. Use exit() ou quit() para sair do interpretador e retornar ao depurador.

Nota

Como interact cria um novo espaço de nomes dedicado para execução de código, atribuições a variáveis não afetarão os espaços de nomes originais. No entanto, as modificações em quaisquer objetos mutáveis referenciados serão refletidas nos espaços de nomes originais, como de costume.

Adicionado na versão 3.2.

Alterado na versão 3.13: exit() e quit() podem ser usados para sair do comando interact.

Alterado na versão 3.13: interact direciona sua saída para o canal de saída do depurador em vez de sys.stderr.

alias [name [command]]

Cria um apelido chamado name que executa command. O comando command não deve ser colocado entre aspas. Parâmetros substituíveis podem ser indicados por %1, %2, … e %9, enquanto %* é substituído por todos os parâmetros. Se command for omitido, o apelido atual para name será mostrado. Se nenhum argumento for fornecido, todos os apelidos serão listados.

Os aliases podem ser aninhados e podem conter qualquer coisa que possa ser digitada legalmente no prompt do pdb. Observe que os comandos internos do pdb podem ser substituídos por aliases. Esse comando é oculto até que o alias seja removido. O alias é aplicado recursivamente à primeira palavra da linha de comando; todas as outras palavras da linha são deixadas em paz.

Como exemplo, aqui estão dois aliases úteis (especialmente quando colocados no arquivo .pdbrc):

# Print instance variables (usage "pi classInst")
alias pi for k in %1.__dict__.keys(): print(f"%1.{k} = {%1.__dict__[k]}")
# Print instance variables in self
alias ps pi self

unalias name

Executa o alias name especificado.

! statement

Executa a instrução statement (de uma só linha) no contexto do quadro de pilha atual. O ponto de exclamação pode ser omitido, a menos que a primeira palavra da instrução seja semelhante a um comando de depuração, por exemplo:

(Pdb) ! n=42
(Pdb)

Para definir uma variável global, você pode prefixar o comando de atribuição com uma instrução global na mesma linha, por exemplo:

(Pdb) global list_options; list_options = ['-l']
(Pdb)

run [args ...]

restart [args ...]

Reinicia o programa Python depurado. Se args for fornecido, ele é dividido com shlex e o resultado é usado como o novo sys.argv. Histórico, pontos de interrupção, ações e opções do depurador são preservados. restart é um apelido para run.

q(uit)

Sai do depurador. O programa que está sendo executado é abortado.

debug code

Entra em um depurador recursivo que percorre code (que é uma expressão ou instrução arbitrária a ser executada no ambiente atual).

retval

Exibe o valor de retorno para o último retorno de a função atual.

exceptions [excnumber]

Lista ou salta entre exceções encadeadas.

Ao usar pdb.pm() ou Pdb.post_mortem(...) com uma exceção encadeada em vez de um traceback, permite ao usuário mover entre as exceções encadeadas usando o comando exceptions para listar exceções e exception <número> para mudar para essa exceção.

Exemplo:

def out():
    try:
        middle()
    except Exception as e:
        raise ValueError("reraise middle() error") from e

def middle():
    try:
        return inner(0)
    except Exception as e:
        raise ValueError("Middle fail")

def inner(x):
    1 / x

 out()

chamar pdb.pm() permitirá mover entre exceções:

> example.py(5)out()
-> raise ValueError("reraise middle() error") from e

(Pdb) exceptions
  0 ZeroDivisionError('division by zero')
  1 ValueError('Middle fail')
> 2 ValueError('reraise middle() error')

(Pdb) exceptions 0
> example.py(16)inner()
-> 1 / x

(Pdb) up
> example.py(10)middle()
-> return inner(0)

Adicionado na versão 3.13.

Notas de rodapé

[1]

Se um quadro é considerado originário de um determinado módulo é determinado pelo __name__ nos globais do quadro.

Os Profilers do Python

Código-fonte: Lib/profile.py [https://github.com/python/cpython/tree/3.13/Lib/profile.py] and Lib/pstats.py [https://github.com/python/cpython/tree/3.13/Lib/pstats.py]

Introdução aos profilers

cProfile and profile provide deterministic profiling of Python programs. A profile is a set of statistics that describes how often and for how long various parts of the program executed. These statistics can be formatted into reports via the pstats module.

A biblioteca padrão do Python tem duas implementações diferentes para a mesma interface de profiling:

cProfile is recommended for most users; it’s a C extension with reasonable overhead that makes it suitable for profiling long-running programs. Based on lsprof, contributed by Brett Rosen and Ted Czotter.

profile, a pure Python module whose interface is imitated by cProfile, but which adds significant overhead to profiled programs. If you’re trying to extend the profiler in some way, the task might be easier with this module. Originally designed and written by Jim Roskind.

Nota

The profiler modules are designed to provide an execution profile for a given program, not for benchmarking purposes (for that, there is timeit for reasonably accurate results). This particularly applies to benchmarking Python code against C code: the profilers introduce overhead for Python code, but not for C-level functions, and so the C code would seem faster than any Python one.

Instant User’s Manual

This section is provided for users that “don’t want to read the manual.” It provides a very brief overview, and allows a user to rapidly perform profiling on an existing application.

Para realizar profile de uma função que recebe apenas um argumento, você pode fazer:

import cProfile
import re
cProfile.run('re.compile("foo|bar")')

(Use profile instead of cProfile if the latter is not available on your system.)

The above action would run re.compile() and print profile results like the following:

      214 function calls (207 primitive calls) in 0.002 seconds

Ordered by: cumulative time

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.002    0.002 {built-in method builtins.exec}
     1    0.000    0.000    0.001    0.001 <string>:1(<module>)
     1    0.000    0.000    0.001    0.001 __init__.py:250(compile)
     1    0.000    0.000    0.001    0.001 __init__.py:289(_compile)
     1    0.000    0.000    0.000    0.000 _compiler.py:759(compile)
     1    0.000    0.000    0.000    0.000 _parser.py:937(parse)
     1    0.000    0.000    0.000    0.000 _compiler.py:598(_code)
     1    0.000    0.000    0.000    0.000 _parser.py:435(_parse_sub)

The first line indicates that 214 calls were monitored. Of those calls, 207 were primitive, meaning that the call was not induced via recursion. The next line: Ordered by: cumulative time indicates the output is sorted by the cumtime values. The column headings include:

ncalls

for the number of calls.

tottime

for the total time spent in the given function (and excluding time made in calls to sub-functions)

percall

is the quotient of tottime divided by ncalls

cumtime

is the cumulative time spent in this and all subfunctions (from invocation till exit). This figure is accurate even for recursive functions.

percall

is the quotient of cumtime divided by primitive calls

filename:lineno(function)

provides the respective data of each function

When there are two numbers in the first column (for example 3/1), it means that the function recursed. The second value is the number of primitive calls and the former is the total number of calls. Note that when the function does not recurse, these two values are the same, and only the single figure is printed.

Instead of printing the output at the end of the profile run, you can save the results to a file by specifying a filename to the run() function:

import cProfile
import re
cProfile.run('re.compile("foo|bar")', 'restats')

The pstats.Stats class reads profile results from a file and formats them in various ways.

The files cProfile and profile can also be invoked as a script to profile another script. For example:

python -m cProfile [-o output_file] [-s sort_order] (-m module | myscript.py)

-o writes the profile results to a file instead of to stdout

-s specifies one of the sort_stats() sort values to sort the output by. This only applies when -o is not supplied.

-m specifies that a module is being profiled instead of a script.

Adicionado na versão 3.7: Added the -m option to cProfile.

Adicionado na versão 3.8: Added the -m option to profile.

The pstats module’s Stats class has a variety of methods for manipulating and printing the data saved into a profile results file:

import pstats
from pstats import SortKey
p = pstats.Stats('restats')
p.strip_dirs().sort_stats(-1).print_stats()

The strip_dirs() method removed the extraneous path from all the module names. The sort_stats() method sorted all the entries according to the standard module/line/name string that is printed. The print_stats() method printed out all the statistics. You might try the following sort calls:

p.sort_stats(SortKey.NAME)
p.print_stats()

The first call will actually sort the list by function name, and the second call will print out the statistics. The following are some interesting calls to experiment with:

p.sort_stats(SortKey.CUMULATIVE).print_stats(10)

This sorts the profile by cumulative time in a function, and then only prints the ten most significant lines. If you want to understand what algorithms are taking time, the above line is what you would use.

If you were looking to see what functions were looping a lot, and taking a lot of time, you would do:

p.sort_stats(SortKey.TIME).print_stats(10)

to sort according to time spent within each function, and then print the statistics for the top ten functions.

Você pode tentar também:

p.sort_stats(SortKey.FILENAME).print_stats('__init__')

This will sort all the statistics by file name, and then print out statistics for only the class init methods (since they are spelled with __init__ in them). As one final example, you could try:

p.sort_stats(SortKey.TIME, SortKey.CUMULATIVE).print_stats(.5, 'init')

This line sorts statistics with a primary key of time, and a secondary key of cumulative time, and then prints out some of the statistics. To be specific, the list is first culled down to 50% (re: .5) of its original size, then only lines containing init are maintained, and that sub-sub-list is printed.

If you wondered what functions called the above functions, you could now (p is still sorted according to the last criteria) do:

p.print_callers(.5, 'init')

and you would get a list of callers for each of the listed functions.

If you want more functionality, you’re going to have to read the manual, or guess what the following functions do:

p.print_callees()
p.add('restats')

Invoked as a script, the pstats module is a statistics browser for reading and examining profile dumps. It has a simple line-oriented interface (implemented using cmd) and interactive help.

profile and cProfile Module Reference

Both the profile and cProfile modules provide the following functions:

profile.run(command, filename=None, sort=-1)

This function takes a single argument that can be passed to the exec() function, and an optional file name. In all cases this routine executes:

exec(command, __main__.__dict__, __main__.__dict__)

and gathers profiling statistics from the execution. If no file name is present, then this function automatically creates a Stats instance and prints a simple profiling report. If the sort value is specified, it is passed to this Stats instance to control how the results are sorted.

profile.runctx(command, globals, locals, filename=None, sort=-1)

This function is similar to run(), with added arguments to supply the globals and locals mappings for the command string. This routine executes:

exec(command, globals, locals)

and gathers profiling statistics as in the run() function above.

class profile.Profile(timer=None, timeunit=0.0, subcalls=True, builtins=True)

This class is normally only used if more precise control over profiling is needed than what the cProfile.run() function provides.

A custom timer can be supplied for measuring how long code takes to run via the timer argument. This must be a function that returns a single number representing the current time. If the number is an integer, the timeunit specifies a multiplier that specifies the duration of each unit of time. For example, if the timer returns times measured in thousands of seconds, the time unit would be .001.

Directly using the Profile class allows formatting profile results without writing the profile data to a file:

import cProfile, pstats, io
from pstats import SortKey
pr = cProfile.Profile()
pr.enable()
# ... do something ...
pr.disable()
s = io.StringIO()
sortby = SortKey.CUMULATIVE
ps = pstats.Stats(pr, stream=s).sort_stats(sortby)
ps.print_stats()
print(s.getvalue())

The Profile class can also be used as a context manager (supported only in cProfile module. see Tipos de Gerenciador de Contexto):

import cProfile

with cProfile.Profile() as pr:
    # ... do something ...

    pr.print_stats()

Alterado na versão 3.8: Adicionado suporte a gerenciador de contexto.

enable()

Inicia a coleta de dados de profilling. Apenas em cProfile.

disable()

Para de coletar dados de profilling. Apenas em cProfile.

create_stats()

Stop collecting profiling data and record the results internally as the current profile.

print_stats(sort=-1)

Cria um objeto Stats com base no perfil atual e imprime os resultados para stdout.

The sort parameter specifies the sorting order of the displayed statistics. It accepts a single key or a tuple of keys to enable multi-level sorting, as in Stats.sort_stats.

Adicionado na versão 3.13: print_stats() now accepts a tuple of keys.

dump_stats(filename)

Escreve os resultados do profile atual para filename.

run(cmd)

Profile the cmd via exec().

runctx(cmd, globals, locals)

Profile the cmd via exec() with the specified global and local environment.

runcall(func, /, *args, **kwargs)

Profile func(*args, **kwargs)

Note that profiling will only work if the called command/function actually returns. If the interpreter is terminated (e.g. via a sys.exit() call during the called command/function execution) no profiling results will be printed.

A classe Stats

Analysis of the profiler data is done using the Stats class.

class pstats.Stats(*filenames or profile, stream=sys.stdout)

This class constructor creates an instance of a “statistics object” from a filename (or list of filenames) or from a Profile instance. Output will be printed to the stream specified by stream.

The file selected by the above constructor must have been created by the corresponding version of profile or cProfile. To be specific, there is no file compatibility guaranteed with future versions of this profiler, and there is no compatibility with files produced by other profilers, or the same profiler run on a different operating system. If several files are provided, all the statistics for identical functions will be coalesced, so that an overall view of several processes can be considered in a single report. If additional files need to be combined with data in an existing Stats object, the add() method can be used.

Instead of reading the profile data from a file, a cProfile.Profile or profile.Profile object can be used as the profile data source.

Os objetos de Stats tem os seguintes métodos:

strip_dirs()

This method for the Stats class removes all leading path information from file names. It is very useful in reducing the size of the printout to fit within (close to) 80 columns. This method modifies the object, and the stripped information is lost. After performing a strip operation, the object is considered to have its entries in a “random” order, as it was just after object initialization and loading. If strip_dirs() causes two function names to be indistinguishable (they are on the same line of the same filename, and have the same function name), then the statistics for these two entries are accumulated into a single entry.

add(*filenames)

This method of the Stats class accumulates additional profiling information into the current profiling object. Its arguments should refer to filenames created by the corresponding version of profile.run() or cProfile.run(). Statistics for identically named (re: file, line, name) functions are automatically accumulated into single function statistics.

dump_stats(filename)

Save the data loaded into the Stats object to a file named filename. The file is created if it does not exist, and is overwritten if it already exists. This is equivalent to the method of the same name on the profile.Profile and cProfile.Profile classes.

sort_stats(*keys)

This method modifies the Stats object by sorting it according to the supplied criteria. The argument can be either a string or a SortKey enum identifying the basis of a sort (example: 'time', 'name', SortKey.TIME or SortKey.NAME). The SortKey enums argument have advantage over the string argument in that it is more robust and less error prone.

When more than one key is provided, then additional keys are used as secondary criteria when there is equality in all keys selected before them. For example, sort_stats(SortKey.NAME, SortKey.FILE) will sort all the entries according to their function name, and resolve all ties (identical function names) by sorting by file name.

For the string argument, abbreviations can be used for any key names, as long as the abbreviation is unambiguous.

The following are the valid string and SortKey:

Valid String Arg

Valid enum Arg

Significado

'calls'

SortKey.CALLS

call count

'cumulative'

SortKey.CUMULATIVE

cumulative time

'cumtime'

N/D

cumulative time

'file'

N/D

file name

'filename'

SortKey.FILENAME

file name

'module'

N/D

file name

'ncalls'

N/D

call count

'pcalls'

SortKey.PCALLS

primitive call count

'line'

SortKey.LINE

line number

'name'

SortKey.NAME

function name

'nfl'

SortKey.NFL

name/file/line

'stdname'

SortKey.STDNAME

standard name

'time'

SortKey.TIME

internal time

'tottime'

N/D

internal time

Note that all sorts on statistics are in descending order (placing most time consuming items first), where as name, file, and line number searches are in ascending order (alphabetical). The subtle distinction between SortKey.NFL and SortKey.STDNAME is that the standard name is a sort of the name as printed, which means that the embedded line numbers get compared in an odd way. For example, lines 3, 20, and 40 would (if the file names were the same) appear in the string order 20, 3 and 40. In contrast, SortKey.NFL does a numeric compare of the line numbers. In fact, sort_stats(SortKey.NFL) is the same as sort_stats(SortKey.NAME, SortKey.FILENAME, SortKey.LINE).

For backward-compatibility reasons, the numeric arguments -1, 0, 1, and 2 are permitted. They are interpreted as 'stdname', 'calls', 'time', and 'cumulative' respectively. If this old style format (numeric) is used, only one sort key (the numeric key) will be used, and additional arguments will be silently ignored.

Adicionado na versão 3.7: Added the SortKey enum.

reverse_order()

This method for the Stats class reverses the ordering of the basic list within the object. Note that by default ascending vs descending order is properly selected based on the sort key of choice.

print_stats(*restrictions)

This method for the Stats class prints out a report as described in the profile.run() definition.

The order of the printing is based on the last sort_stats() operation done on the object (subject to caveats in add() and strip_dirs()).

The arguments provided (if any) can be used to limit the list down to the significant entries. Initially, the list is taken to be the complete set of profiled functions. Each restriction is either an integer (to select a count of lines), or a decimal fraction between 0.0 and 1.0 inclusive (to select a percentage of lines), or a string that will interpreted as a regular expression (to pattern match the standard name that is printed). If several restrictions are provided, then they are applied sequentially. For example:

print_stats(.1, 'foo:')

would first limit the printing to first 10% of list, and then only print functions that were part of filename .*foo:. In contrast, the command:

print_stats('foo:', .1)

would limit the list to all functions having file names .*foo:, and then proceed to only print the first 10% of them.

print_callers(*restrictions)

This method for the Stats class prints a list of all functions that called each function in the profiled database. The ordering is identical to that provided by print_stats(), and the definition of the restricting argument is also identical. Each caller is reported on its own line. The format differs slightly depending on the profiler that produced the stats:

With profile, a number is shown in parentheses after each caller to show how many times this specific call was made. For convenience, a second non-parenthesized number repeats the cumulative time spent in the function at the right.

With cProfile, each caller is preceded by three numbers: the number of times this specific call was made, and the total and cumulative times spent in the current function while it was invoked by this specific caller.

print_callees(*restrictions)

This method for the Stats class prints a list of all function that were called by the indicated function. Aside from this reversal of direction of calls (re: called vs was called by), the arguments and ordering are identical to the print_callers() method.

get_stats_profile()

This method returns an instance of StatsProfile, which contains a mapping of function names to instances of FunctionProfile. Each FunctionProfile instance holds information related to the function’s profile such as how long the function took to run, how many times it was called, etc…

Adicionado na versão 3.9: Added the following dataclasses: StatsProfile, FunctionProfile. Added the following function: get_stats_profile.

What Is Deterministic Profiling?

Deterministic profiling is meant to reflect the fact that all function call, function return, and exception events are monitored, and precise timings are made for the intervals between these events (during which time the user’s code is executing). In contrast, statistical profiling (which is not done by this module) randomly samples the effective instruction pointer, and deduces where time is being spent. The latter technique traditionally involves less overhead (as the code does not need to be instrumented), but provides only relative indications of where time is being spent.

In Python, since there is an interpreter active during execution, the presence of instrumented code is not required in order to do deterministic profiling. Python automatically provides a hook (optional callback) for each event. In addition, the interpreted nature of Python tends to add so much overhead to execution, that deterministic profiling tends to only add small processing overhead in typical applications. The result is that deterministic profiling is not that expensive, yet provides extensive run time statistics about the execution of a Python program.

Call count statistics can be used to identify bugs in code (surprising counts), and to identify possible inline-expansion points (high call counts). Internal time statistics can be used to identify “hot loops” that should be carefully optimized. Cumulative time statistics should be used to identify high level errors in the selection of algorithms. Note that the unusual handling of cumulative times in this profiler allows statistics for recursive implementations of algorithms to be directly compared to iterative implementations.

Limitações

One limitation has to do with accuracy of timing information. There is a fundamental problem with deterministic profilers involving accuracy. The most obvious restriction is that the underlying “clock” is only ticking at a rate (typically) of about .001 seconds. Hence no measurements will be more accurate than the underlying clock. If enough measurements are taken, then the “error” will tend to average out. Unfortunately, removing this first error induces a second source of error.

The second problem is that it “takes a while” from when an event is dispatched until the profiler’s call to get the time actually gets the state of the clock. Similarly, there is a certain lag when exiting the profiler event handler from the time that the clock’s value was obtained (and then squirreled away), until the user’s code is once again executing. As a result, functions that are called many times, or call many functions, will typically accumulate this error. The error that accumulates in this fashion is typically less than the accuracy of the clock (less than one clock tick), but it can accumulate and become very significant.

The problem is more important with profile than with the lower-overhead cProfile. For this reason, profile provides a means of calibrating itself for a given platform so that this error can be probabilistically (on the average) removed. After the profiler is calibrated, it will be more accurate (in a least square sense), but it will sometimes produce negative numbers (when call counts are exceptionally low, and the gods of probability work against you :-). ) Do not be alarmed by negative numbers in the profile. They should only appear if you have calibrated your profiler, and the results are actually better than without calibration.

Calibration

The profiler of the profile module subtracts a constant from each event handling time to compensate for the overhead of calling the time function, and socking away the results. By default, the constant is 0. The following procedure can be used to obtain a better constant for a given platform (see Limitações).

import profile
pr = profile.Profile()
for i in range(5):
    print(pr.calibrate(10000))

The method executes the number of Python calls given by the argument, directly and again under the profiler, measuring the time for both. It then computes the hidden overhead per profiler event, and returns that as a float. For example, on a 1.8Ghz Intel Core i5 running macOS, and using Python’s time.process_time() as the timer, the magical number is about 4.04e-6.

The object of this exercise is to get a fairly consistent result. If your computer is very fast, or your timer function has poor resolution, you might have to pass 100000, or even 1000000, to get consistent results.

When you have a consistent answer, there are three ways you can use it:

import profile

# 1. Apply computed bias to all Profile instances created hereafter.
profile.Profile.bias = your_computed_bias

# 2. Apply computed bias to a specific Profile instance.
pr = profile.Profile()
pr.bias = your_computed_bias

# 3. Specify computed bias in instance constructor.
pr = profile.Profile(bias=your_computed_bias)

If you have a choice, you are better off choosing a smaller constant, and then your results will “less often” show up as negative in profile statistics.

Using a custom timer

If you want to change how current time is determined (for example, to force use of wall-clock time or elapsed process time), pass the timing function you want to the Profile class constructor:

pr = profile.Profile(your_time_func)

The resulting profiler will then call your_time_func. Depending on whether you are using profile.Profile or cProfile.Profile, your_time_func’s return value will be interpreted differently:

profile.Profile

your_time_func should return a single number, or a list of numbers whose sum is the current time (like what os.times() returns). If the function returns a single time number, or the list of returned numbers has length 2, then you will get an especially fast version of the dispatch routine.

Be warned that you should calibrate the profiler class for the timer function that you choose (see Calibration). For most machines, a timer that returns a lone integer value will provide the best results in terms of low overhead during profiling. (os.times() is pretty bad, as it returns a tuple of floating-point values). If you want to substitute a better timer in the cleanest fashion, derive a class and hardwire a replacement dispatch method that best handles your timer call, along with the appropriate calibration constant.

cProfile.Profile

your_time_func should return a single number. If it returns integers, you can also invoke the class constructor with a second argument specifying the real duration of one unit of time. For example, if your_integer_time_func returns times measured in thousands of seconds, you would construct the Profile instance as follows:

pr = cProfile.Profile(your_integer_time_func, 0.001)

As the cProfile.Profile class cannot be calibrated, custom timer functions should be used with care and should be as fast as possible. For the best results with a custom timer, it might be necessary to hard-code it in the C source of the internal _lsprof module.

Python 3.3 adds several new functions in time that can be used to make precise measurements of process or wall-clock time. For example, see time.perf_counter().

timeit — Mede o tempo de execução de pequenos trechos de código

Código-fonte: Lib/timeit.py [https://github.com/python/cpython/tree/3.13/Lib/timeit.py]

Este módulo fornece uma maneira simples de cronometrar pequenos trechos do código Python. Ele tem uma Interface de Linha de Comando e um chamável. Ele evita uma série de armadilhas comuns para medir os tempos de execução de um script. Veja também o capítulo “Algorithms” de Tim Peters, na segunda edição do Python Cookbook, publicado pela O’Reilly.

Exemplos básicos

O exemplo a seguir mostra como a Interface de Linha de Comando pode ser usado para comparar três expressões diferentes:

$ python -m timeit "'-'.join(str(n) for n in range(100))"
10000 loops, best of 5: 30.2 usec per loop
$ python -m timeit "'-'.join([str(n) for n in range(100)])"
10000 loops, best of 5: 27.5 usec per loop
$ python -m timeit "'-'.join(map(str, range(100)))"
10000 loops, best of 5: 23.2 usec per loop

Isso pode ser obtido da interface Interface em Python

>>> import timeit
>>> timeit.timeit('"-".join(str(n) for n in range(100))', number=10000)
0.3018611848820001
>>> timeit.timeit('"-".join([str(n) for n in range(100)])', number=10000)
0.2727368790656328
>>> timeit.timeit('"-".join(map(str, range(100)))', number=10000)
0.23702679807320237

Um chamável também pode ser passado para a Interface em Python:

>>> timeit.timeit(lambda: "-".join(map(str, range(100))), number=10000)
0.19665591977536678

Observe, entretanto, que timeit() determinará automaticamente o número de repetições somente quando a interface de linha de comando for usada. Na seção Exemplos você encontrará exemplos mais avançados.

Interface em Python

Este módulo define três funções e uma classe pública:

timeit.timeit(stmt='pass', setup='pass', timer=<default timer>, number=1000000, globals=None)

Cria uma instância de Timer com o código de setup e a função timer função para executar o método timeit() com o total de execuções informado em number. O argumento opcional globals especifica um espaço de nomes no qual o código será executado.

Alterado na versão 3.5: O parâmetro opcional globals foi adicionado.

timeit.repeat(stmt='pass', setup='pass', timer=<default timer>, repeat=5, number=1000000, globals=None)

Cria uma instância Timer com a instrução fornecida, o código de setup e a função timer e para executar o método repeat() com o total de execuções informando em repeat e o número de execuções fornecidos. O argumento opcional globals especifica um espaço de nomes no qual executar o código.

Alterado na versão 3.5: O parâmetro opcional globals foi adicionado.

Alterado na versão 3.7: Valor padrão de repetição mudou de 3 para 5.

timeit.default_timer()

O cronômetro padrão, que é sempre time.perf_counter(), retorna segundos com ponto flutuante. Uma alternativa, time.perf_counter_ns, retorna um inteiro em nanossegundos.

Alterado na versão 3.3: time.perf_counter() é o cronômetro padrão agora.

class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>, globals=None)

Classe para cronometrar a velocidade de execução de pequenos trechos de código.

O construtor recebe uma instrução a ser cronometrada, uma instrução adicional usada para configuração e uma função de timer. Ambas as instruções têm como padrão 'pass'; a função de timer é dependente da plataforma (veja a string do documento do módulo). stmt e setup também podem conter múltiplas instruções separadas por ; ou novas linhas, desde que não contenham literais de string multilinhas. A instrução será, por padrão, executada dentro do espaço de nomes do timeit; esse comportamento pode ser controlado passando um espaço de nomes para globals.

Para medir o tempo de execução da primeira instrução use o método timeit(). Os métodos repeat() e autorange() são convenientes para chamar timeit() várias vezes.

O tempo de execução de setup é excluído do tempo total de execução cronometrado.

The stmt and setup parameters can also take objects that are callable without arguments. This will embed calls to them in a timer function that will then be executed by timeit(). Note that the timing overhead is a little larger in this case because of the extra function calls.

Alterado na versão 3.5: O parâmetro opcional globals foi adicionado.

timeit(number=1000000)

Time number executions of the main statement. This executes the setup statement once, and then returns the time it takes to execute the main statement a number of times. The default timer returns seconds as a float. The argument is the number of times through the loop, defaulting to one million. The main statement, the setup statement and the timer function to be used are passed to the constructor.

Nota

By default, timeit() temporarily turns off garbage collection during the timing. The advantage of this approach is that it makes independent timings more comparable. The disadvantage is that GC may be an important component of the performance of the function being measured. If so, GC can be re-enabled as the first statement in the setup string. For example:

timeit.Timer('for i in range(10): oct(i)', 'gc.enable()').timeit()

autorange(callback=None)

Determina automaticamente quantas vezes chamar timeit().

This is a convenience function that calls timeit() repeatedly so that the total time >= 0.2 second, returning the eventual (number of loops, time taken for that number of loops). It calls timeit() with increasing numbers from the sequence 1, 2, 5, 10, 20, 50, … until the time taken is at least 0.2 seconds.

Se callback for fornecido e não for None, ele será chamado após cada tentativa e tem dois argumento: callback(number, time_taken).

Adicionado na versão 3.6.

repeat(repeat=5, number=1000000)

Chama timeit() algumas vezes.

Esse é um função de conveniência que chama o timeit() repetidamente e retorna uma lista de resultados. O primeiro argumento especifica quantas vezes deve chamar o timeit(). O segundo argumento especifica o argumento number para timeit().

Nota

It’s tempting to calculate mean and standard deviation from the result vector and report these. However, this is not very useful. In a typical case, the lowest value gives a lower bound for how fast your machine can run the given code snippet; higher values in the result vector are typically not caused by variability in Python’s speed, but by other processes interfering with your timing accuracy. So the min() of the result is probably the only number you should be interested in. After that, you should look at the entire vector and apply common sense rather than statistics.

Alterado na versão 3.7: Valor padrão de repetição mudou de 3 para 5.

print_exc(file=None)

Função auxiliar para imprimir um traceback do código cronometrado.

Uso típico:

t = Timer(...)       # outside the try/except
try:
    t.timeit(...)    # or t.repeat(...)
except Exception:
    t.print_exc()

A vantagem em relação ao traceback padrão é que as linhas de origem no modelo compilado serão exibidas. O argumento opcional file direciona para onde o traceback é enviado; o padrão é sys.stderr.

Interface de Linha de Comando

Quando chamado como um programa a partir da linha de comando, as seguintes opções estão disponíveis:

python -m timeit [-n N] [-r N] [-u U] [-s S] [-p] [-v] [-h] [statement ...]

As seguintes opções são permitidas

-n N, --number=N

Quantas vezes deve executar ‘statement’

-r N, --repeat=N

Quantidade de vezes para repetir o cronômetro (o valor padrão é 5)

-s S, --setup=S

instrução a ser executada apenas uma vez e quando iniciada (padrão pass )

-p, --process

mede apenas o tempo de processamento, e não o tempo total de execução, usando time.process_time() em vez de time.perf_counter(), que é o padrão

Adicionado na versão 3.3.

-u, --unit=U

especifique uma unidade de tempo para a saída do cronômetro; pode selecionar nsec, usec, msec, ou sec

Adicionado na versão 3.5.

-v, --verbose

imprime resultados brutos de tempo; repetir para obter mais precisão de dígitos

-h, --help

imprime uma mensagem curta de uso e sai

A multi-line statement may be given by specifying each line as a separate statement argument; indented lines are possible by enclosing an argument in quotes and using leading spaces. Multiple -s options are treated similarly.

Se -n não for informada, um número adequado de loops será calculado tentando adicionar números numa sequência como 1, 2, 5, 10, 20, 50, … até que o tempo total seja de pelo menos 0,2 segundos.

default_timer() measurements can be affected by other programs running on the same machine, so the best thing to do when accurate timing is necessary is to repeat the timing a few times and use the best time. The -r option is good for this; the default of 5 repetitions is probably enough in most cases. You can use time.process_time() to measure CPU time.

Nota

Há uma certa sobrecarga padrão associada à execução de uma instrução pass. O código aqui não tenta ocultá-lo, mas você deve estar ciente disso. A sobrecarga padrão pode ser medida invocando pelo programa sem argumento, e pode ser diferente entre diferentes versões Python.

Exemplos

É possível fornecer uma instrução de configuração que é executada apenas uma vez no início:

$ python -m timeit -s "text = 'sample string'; char = 'g'" "char in text"
5000000 loops, best of 5: 0.0877 usec per loop
$ python -m timeit -s "text = 'sample string'; char = 'g'" "text.find(char)"
1000000 loops, best of 5: 0.342 usec per loop

Na saída, existem três campos. A contagem de laços, que informa quantas vezes o corpo da instrução foi executado por repetição do laço de temporização. A contagem de repetições (‘melhor de 5’) que informa quantas vezes o laço de temporização foi repetido e, finalmente, o tempo que o corpo da instrução levou, em média, na melhor repetição do laço de temporização. Ou seja, o tempo necessário para a repetição mais rápida dividido pela contagem de interações.

>>> import timeit
>>> timeit.timeit('char in text', setup='text = "sample string"; char = "g"')
0.41440500499993504
>>> timeit.timeit('text.find(char)', setup='text = "sample string"; char = "g"')
1.7246671520006203

O mesmo pode ser feito usando a classe Timer e seus métodos:

>>> import timeit
>>> t = timeit.Timer('char in text', setup='text = "sample string"; char = "g"')
>>> t.timeit()
0.3955516149999312
>>> t.repeat()
[0.40183617287970225, 0.37027556854118704, 0.38344867356679524, 0.3712595970846668, 0.37866875250654886]

Os exemplos a seguir mostram como cronometrar expressões que contêm várias linhas. Aqui comparamos o custo de usar hasattr() vs. try/except para testar atributos de objetos presentes e ausentes:

$ python -m timeit "try:" "  str.__bool__" "except AttributeError:" "  pass"
20000 loops, best of 5: 15.7 usec per loop
$ python -m timeit "if hasattr(str, '__bool__'): pass"
50000 loops, best of 5: 4.26 usec per loop

$ python -m timeit "try:" "  int.__bool__" "except AttributeError:" "  pass"
200000 loops, best of 5: 1.43 usec per loop
$ python -m timeit "if hasattr(int, '__bool__'): pass"
100000 loops, best of 5: 2.23 usec per loop

>>> import timeit
>>> # attribute is missing
>>> s = """\
... try:
...     str.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.9138244460009446
>>> s = "if hasattr(str, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.5829014980008651
>>>
>>> # attribute is present
>>> s = """\
... try:
...     int.__bool__
... except AttributeError:
...     pass
... """
>>> timeit.timeit(stmt=s, number=100000)
0.04215312199994514
>>> s = "if hasattr(int, '__bool__'): pass"
>>> timeit.timeit(stmt=s, number=100000)
0.08588060699912603

Para dar ao módulo timeit acesso as funções que você definiu, você pode passar o parâmetro setup, que contém um instrução de importar:

def test():
    """Stupid test function"""
    L = [i for i in range(100)]

if __name__ == '__main__':
    import timeit
    print(timeit.timeit("test()", setup="from __main__ import test"))

Outra opção é passar globals() para o parâmetro globals, o que fará com que o código seja executado em seu espaço de nomes global. Isso pode ser mais conveniente do que especificar individualmente imports:

def f(x):
    return x**2
def g(x):
    return x**4
def h(x):
    return x**8

import timeit
print(timeit.timeit('[func(42) for func in (f,g,h)]', globals=globals()))

trace — Rastreia ou acompanha a execução de instruções Python

Código-fonte: Lib/trace.py [https://github.com/python/cpython/tree/3.13/Lib/trace.py]

O módulo trace permite que você rastreie a execução do programa, gere listagens de cobertura de instrução anotada, imprima relações de chamador/receptor e funções de lista executadas durante a execução de um programa. Ele pode ser usado em outro programa ou na linha de comando.

Ver também

Coverage.py [https://coverage.readthedocs.io/]

Uma popular ferramenta de cobertura de terceiros que fornece saída HTML junto com recursos avançados, como cobertura de ramificações.

Uso na linha de comando

O módulo trace pode ser chamado a partir da linha de comando. Pode ser tão simples quanto:

python -m trace --count -C . somefile.py ...

O comando acima irá executar algumarquivo.py e gerar listagens anotadas de todos os módulos Python importados durante a execução para o diretório atual.

--help

Exibe o modo de uso e sai.

--version

Exibe a versão do módulo e sai.

Adicionado na versão 3.8: Adicionada a opção --module que permite executar um módulo executável.

Opções principais

Pelo menos uma das seguintes opções deve ser especificada ao invocar trace. A opção --listfuncs é mutuamente exclusiva com as opções --trace e --count. Quando --listfuncs é fornecida, nem --count nem --trace são aceitas, e vice-versa.

-c, --count

Produz um conjunto de arquivos de listagem anotada após a conclusão do programa que mostra quantas vezes cada instrução foi executada. Veja também --coverdir, --file e --no-report abaixo.

-t, --trace

Exibe linhas como elas são executadas.

-l, --listfuncs

Exibe as funções executadas executando o programa.

-r, --report

Produz uma lista anotada de uma execução de programa anterior que usava a opção --count e --file. Isso não executa nenhum código.

-T, --trackcalls

Exibe os relacionamentos de chamada expostos ao executar o programa.

Modificadores

-f, --file=<file>

Nome de um arquivo para acumular contagens em várias execuções de rastreamento. Deve ser usado com a opção --count.

-C, --coverdir=<dir>

Diretório para onde vão os arquivos de relatório. O relatório de cobertura para pacote.módulo é escrito em arquivo dir/pacote/módulo.cover.

-m, --missing

Ao gerar listagens anotadas, marca as linhas que não foram executadas com >>>>>>.

-s, --summary

Ao usar --count ou --report, escreve um breve resumo no stdout para cada arquivo processado.

-R, --no-report

Não gera listagens anotadas. Isso é útil se você pretende fazer várias execuções com --count, e então produzir um único conjunto de listagens anotadas no final.

-g, --timing

Prefixa cada linha com o tempo desde o início do programa. Usado apenas durante o rastreamento.

Filtros

Essas opções podem ser repetidas várias vezes.

--ignore-module=<mod>

Ignora cada um dos nomes de módulo fornecidos e seus submódulos (se for um pacote). O argumento pode ser uma lista de nomes separados por uma vírgula.

--ignore-dir=<dir>

Ignora todos os módulos e pacotes no diretório e subdiretórios nomeados. O argumento pode ser uma lista de diretórios separados por os.pathsep.

Interface programática

class trace.Trace(count=1, trace=1, countfuncs=0, countcallers=0, ignoremods=(), ignoredirs=(), infile=None, outfile=None, timing=False)

Cria um objeto para rastrear a execução de uma única instrução ou expressão. Todos os parâmetros são opcionais. count ativa a contagem de números de linha. trace ativa o rastreamento de execução de linha. countfuncs ativa a listagem das funções chamadas durante a execução. countcallers ativa o rastreamento de relacionamento de chamada. ignoremods é uma lista de módulos ou pacotes a serem ignorados. ignoreirs é uma lista de diretórios cujos módulos ou pacotes devem ser ignorados. infile é o nome do arquivo do qual deve ler as informações de contagem armazenadas. outfile é o nome do arquivo no qual deve escrever as informações de contagem atualizadas. timing ativa a exibição de um carimbo de data/hora relativo ao momento em que o rastreamento foi iniciado.

run(cmd)

Executa o comando e reúne estatísticas da execução com os parâmetros de rastreamento atuais. cmd deve ser uma string ou objeto código, adequado para passar para exec().

runctx(cmd, globals=None, locals=None)

Executa o comando e reúne estatísticas da execução com os parâmetros de rastreamento atuais, nos ambientes global e local definidos. Se não for definido, globals e locals usam como padrão dicionários vazios.

runfunc(func, /, *args, **kwds)

Chama func com os argumentos fornecidos sob controle do objeto Trace com os parâmetros de rastreamento atuais.

results()

Retorna um objeto CoverageResults que contém os resultados cumulativos de todas as chamadas anteriores para run, runctx e runfunc para a instância Trace fornecida. Não redefine os resultados de rastreamento acumulados.

class trace.CoverageResults

Um contêiner para resultados de cobertura, criado por Trace.results(). Não deve ser criado diretamente pelo usuário.

update(other)

Mescla dados de outro objeto CoverageResults.

write_results(show_missing=True, summary=False, coverdir=None, *, ignore_missing_files=False)

Escreve os resultados da cobertura. Defina show_missing para mostrar as linhas que não tiveram ocorrências. Defina o summary para incluir na saída o resumo da cobertura por módulo. coverdir especifica o diretório no qual os arquivos de resultados de cobertura serão enviados. Se for None, os resultados de cada arquivo de origem são colocados em seu diretório.

Se ignore_missing_files for True, as contagens de cobertura para arquivos que não existem mais serão ignoradas silenciosamente. Caso contrário, um arquivo ausente vai levantar FileNotFoundError.

Alterado na versão 3.13: Adicionado o parâmetro ignore_missing_files.

Um exemplo simples que demonstra o uso da interface programática:

import sys
import trace

# create a Trace object, telling it what to ignore, and whether to
# do tracing or line-counting or both.
tracer = trace.Trace(
    ignoredirs=[sys.prefix, sys.exec_prefix],
    trace=0,
    count=1)

# run the new command using the given tracer
tracer.run('main()')

# make a report, placing output in the current directory
r = tracer.results()
r.write_results(show_missing=True, coverdir=".")

tracemalloc — Trace memory allocations

Adicionado na versão 3.4.

Código-fonte: Lib/tracemalloc.py [https://github.com/python/cpython/tree/3.13/Lib/tracemalloc.py]

The tracemalloc module is a debug tool to trace memory blocks allocated by Python. It provides the following information:

Traceback where an object was allocated

Estatísticas sobre blocos de memória alocados por nome de arquivo e por número de linha: tamanho total, número e tamanho médio dos blocos de memória alocados

Calcula as diferenças entre dois instantâneos para detectar vazamentos de memória

To trace most memory blocks allocated by Python, the module should be started as early as possible by setting the PYTHONTRACEMALLOC environment variable to 1, or by using -X tracemalloc command line option. The tracemalloc.start() function can be called at runtime to start tracing Python memory allocations.

By default, a trace of an allocated memory block only stores the most recent frame (1 frame). To store 25 frames at startup: set the PYTHONTRACEMALLOC environment variable to 25, or use the -X tracemalloc=25 command line option.

Exemplos

Exibe o top 10

Display the 10 files allocating the most memory:

import tracemalloc

tracemalloc.start()

# ... run your application ...

snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')

print("[ Top 10 ]")
for stat in top_stats[:10]:
    print(stat)

Example of output of the Python test suite:

[ Top 10 ]
<frozen importlib._bootstrap>:716: size=4855 KiB, count=39328, average=126 B
<frozen importlib._bootstrap>:284: size=521 KiB, count=3199, average=167 B
/usr/lib/python3.4/collections/__init__.py:368: size=244 KiB, count=2315, average=108 B
/usr/lib/python3.4/unittest/case.py:381: size=185 KiB, count=779, average=243 B
/usr/lib/python3.4/unittest/case.py:402: size=154 KiB, count=378, average=416 B
/usr/lib/python3.4/abc.py:133: size=88.7 KiB, count=347, average=262 B
<frozen importlib._bootstrap>:1446: size=70.4 KiB, count=911, average=79 B
<frozen importlib._bootstrap>:1454: size=52.0 KiB, count=25, average=2131 B
<string>:5: size=49.7 KiB, count=148, average=344 B
/usr/lib/python3.4/sysconfig.py:411: size=48.0 KiB, count=1, average=48.0 KiB

We can see that Python loaded 4855 KiB data (bytecode and constants) from modules and that the collections module allocated 244 KiB to build namedtuple types.

See Snapshot.statistics() for more options.

Compute differences

Take two snapshots and display the differences:

import tracemalloc
tracemalloc.start()
# ... start your application ...

snapshot1 = tracemalloc.take_snapshot()
# ... call the function leaking memory ...
snapshot2 = tracemalloc.take_snapshot()

top_stats = snapshot2.compare_to(snapshot1, 'lineno')

print("[ Top 10 differences ]")
for stat in top_stats[:10]:
    print(stat)

Example of output before/after running some tests of the Python test suite:

[ Top 10 differences ]
<frozen importlib._bootstrap>:716: size=8173 KiB (+4428 KiB), count=71332 (+39369), average=117 B
/usr/lib/python3.4/linecache.py:127: size=940 KiB (+940 KiB), count=8106 (+8106), average=119 B
/usr/lib/python3.4/unittest/case.py:571: size=298 KiB (+298 KiB), count=589 (+589), average=519 B
<frozen importlib._bootstrap>:284: size=1005 KiB (+166 KiB), count=7423 (+1526), average=139 B
/usr/lib/python3.4/mimetypes.py:217: size=112 KiB (+112 KiB), count=1334 (+1334), average=86 B
/usr/lib/python3.4/http/server.py:848: size=96.0 KiB (+96.0 KiB), count=1 (+1), average=96.0 KiB
/usr/lib/python3.4/inspect.py:1465: size=83.5 KiB (+83.5 KiB), count=109 (+109), average=784 B
/usr/lib/python3.4/unittest/mock.py:491: size=77.7 KiB (+77.7 KiB), count=143 (+143), average=557 B
/usr/lib/python3.4/urllib/parse.py:476: size=71.8 KiB (+71.8 KiB), count=969 (+969), average=76 B
/usr/lib/python3.4/contextlib.py:38: size=67.2 KiB (+67.2 KiB), count=126 (+126), average=546 B

We can see that Python has loaded 8173 KiB of module data (bytecode and constants), and that this is 4428 KiB more than had been loaded before the tests, when the previous snapshot was taken. Similarly, the linecache module has cached 940 KiB of Python source code to format tracebacks, all of it since the previous snapshot.

If the system has little free memory, snapshots can be written on disk using the Snapshot.dump() method to analyze the snapshot offline. Then use the Snapshot.load() method reload the snapshot.

Get the traceback of a memory block

Code to display the traceback of the biggest memory block:

import tracemalloc

# Store 25 frames
tracemalloc.start(25)

# ... run your application ...

snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('traceback')

# pick the biggest memory block
stat = top_stats[0]
print("%s memory blocks: %.1f KiB" % (stat.count, stat.size / 1024))
for line in stat.traceback.format():
    print(line)

Example of output of the Python test suite (traceback limited to 25 frames):

903 memory blocks: 870.1 KiB
  File "<frozen importlib._bootstrap>", line 716
  File "<frozen importlib._bootstrap>", line 1036
  File "<frozen importlib._bootstrap>", line 934
  File "<frozen importlib._bootstrap>", line 1068
  File "<frozen importlib._bootstrap>", line 619
  File "<frozen importlib._bootstrap>", line 1581
  File "<frozen importlib._bootstrap>", line 1614
  File "/usr/lib/python3.4/doctest.py", line 101
    import pdb
  File "<frozen importlib._bootstrap>", line 284
  File "<frozen importlib._bootstrap>", line 938
  File "<frozen importlib._bootstrap>", line 1068
  File "<frozen importlib._bootstrap>", line 619
  File "<frozen importlib._bootstrap>", line 1581
  File "<frozen importlib._bootstrap>", line 1614
  File "/usr/lib/python3.4/test/support/__init__.py", line 1728
    import doctest
  File "/usr/lib/python3.4/test/test_pickletools.py", line 21
    support.run_doctest(pickletools)
  File "/usr/lib/python3.4/test/regrtest.py", line 1276
    test_runner()
  File "/usr/lib/python3.4/test/regrtest.py", line 976
    display_failure=not verbose)
  File "/usr/lib/python3.4/test/regrtest.py", line 761
    match_tests=ns.match_tests)
  File "/usr/lib/python3.4/test/regrtest.py", line 1563
    main()
  File "/usr/lib/python3.4/test/__main__.py", line 3
    regrtest.main_in_temp_cwd()
  File "/usr/lib/python3.4/runpy.py", line 73
    exec(code, run_globals)
  File "/usr/lib/python3.4/runpy.py", line 160
    "__main__", fname, loader, pkg_name)

We can see that the most memory was allocated in the importlib module to load data (bytecode and constants) from modules: 870.1 KiB. The traceback is where the importlib loaded data most recently: on the import pdb line of the doctest module. The traceback may change if a new module is loaded.

Pretty top

Code to display the 10 lines allocating the most memory with a pretty output, ignoring <frozen importlib._bootstrap> and <unknown> files:

import linecache
import os
import tracemalloc

def display_top(snapshot, key_type='lineno', limit=10):
    snapshot = snapshot.filter_traces((
        tracemalloc.Filter(False, "<frozen importlib._bootstrap>"),
        tracemalloc.Filter(False, "<unknown>"),
    ))
    top_stats = snapshot.statistics(key_type)

    print("Top %s lines" % limit)
    for index, stat in enumerate(top_stats[:limit], 1):
        frame = stat.traceback[0]
        print("#%s: %s:%s: %.1f KiB"
              % (index, frame.filename, frame.lineno, stat.size / 1024))
        line = linecache.getline(frame.filename, frame.lineno).strip()
        if line:
            print('    %s' % line)

    other = top_stats[limit:]
    if other:
        size = sum(stat.size for stat in other)
        print("%s other: %.1f KiB" % (len(other), size / 1024))
    total = sum(stat.size for stat in top_stats)
    print("Total allocated size: %.1f KiB" % (total / 1024))

tracemalloc.start()

# ... run your application ...

snapshot = tracemalloc.take_snapshot()
display_top(snapshot)

Example of output of the Python test suite:

Top 10 lines
#1: Lib/base64.py:414: 419.8 KiB
    _b85chars2 = [(a + b) for a in _b85chars for b in _b85chars]
#2: Lib/base64.py:306: 419.8 KiB
    _a85chars2 = [(a + b) for a in _a85chars for b in _a85chars]
#3: collections/__init__.py:368: 293.6 KiB
    exec(class_definition, namespace)
#4: Lib/abc.py:133: 115.2 KiB
    cls = super().__new__(mcls, name, bases, namespace)
#5: unittest/case.py:574: 103.1 KiB
    testMethod()
#6: Lib/linecache.py:127: 95.4 KiB
    lines = fp.readlines()
#7: urllib/parse.py:476: 71.8 KiB
    for a in _hexdig for b in _hexdig}
#8: <string>:5: 62.0 KiB
#9: Lib/_weakrefset.py:37: 60.0 KiB
    self.data = set()
#10: Lib/base64.py:142: 59.8 KiB
    _b32tab2 = [a + b for a in _b32tab for b in _b32tab]
6220 other: 3602.8 KiB
Total allocated size: 5303.1 KiB

See Snapshot.statistics() for more options.

Record the current and peak size of all traced memory blocks

The following code computes two sums like 0 + 1 + 2 + ... inefficiently, by creating a list of those numbers. This list consumes a lot of memory temporarily. We can use get_traced_memory() and reset_peak() to observe the small memory usage after the sum is computed as well as the peak memory usage during the computations:

import tracemalloc

tracemalloc.start()

# Example code: compute a sum with a large temporary list
large_sum = sum(list(range(100000)))

first_size, first_peak = tracemalloc.get_traced_memory()

tracemalloc.reset_peak()

# Example code: compute a sum with a small temporary list
small_sum = sum(list(range(1000)))

second_size, second_peak = tracemalloc.get_traced_memory()

print(f"{first_size=}, {first_peak=}")
print(f"{second_size=}, {second_peak=}")

Saída:

first_size=664, first_peak=3592984
second_size=804, second_peak=29704

Using reset_peak() ensured we could accurately record the peak during the computation of small_sum, even though it is much smaller than the overall peak size of memory blocks since the start() call. Without the call to reset_peak(), second_peak would still be the peak from the computation large_sum (that is, equal to first_peak). In this case, both peaks are much higher than the final memory usage, and which suggests we could optimise (by removing the unnecessary call to list, and writing sum(range(...))).

API

Funções

tracemalloc.clear_traces()

Clear traces of memory blocks allocated by Python.

See also stop().

tracemalloc.get_object_traceback(obj)

Get the traceback where the Python object obj was allocated. Return a Traceback instance, or None if the tracemalloc module is not tracing memory allocations or did not trace the allocation of the object.

See also gc.get_referrers() and sys.getsizeof() functions.

tracemalloc.get_traceback_limit()

Get the maximum number of frames stored in the traceback of a trace.

The tracemalloc module must be tracing memory allocations to get the limit, otherwise an exception is raised.

The limit is set by the start() function.

tracemalloc.get_traced_memory()

Get the current size and peak size of memory blocks traced by the tracemalloc module as a tuple: (current: int, peak: int).

tracemalloc.reset_peak()

Set the peak size of memory blocks traced by the tracemalloc module to the current size.

Do nothing if the tracemalloc module is not tracing memory allocations.

This function only modifies the recorded peak size, and does not modify or clear any traces, unlike clear_traces(). Snapshots taken with take_snapshot() before a call to reset_peak() can be meaningfully compared to snapshots taken after the call.

See also get_traced_memory().

Adicionado na versão 3.9.

tracemalloc.get_tracemalloc_memory()

Get the memory usage in bytes of the tracemalloc module used to store traces of memory blocks. Return an int.

tracemalloc.is_tracing()

True if the tracemalloc module is tracing Python memory allocations, False otherwise.

See also start() and stop() functions.

tracemalloc.start(nframe: int = 1)

Start tracing Python memory allocations: install hooks on Python memory allocators. Collected tracebacks of traces will be limited to nframe frames. By default, a trace of a memory block only stores the most recent frame: the limit is 1. nframe must be greater or equal to 1.

You can still read the original number of total frames that composed the traceback by looking at the Traceback.total_nframe attribute.

Storing more than 1 frame is only useful to compute statistics grouped by 'traceback' or to compute cumulative statistics: see the Snapshot.compare_to() and Snapshot.statistics() methods.

Storing more frames increases the memory and CPU overhead of the tracemalloc module. Use the get_tracemalloc_memory() function to measure how much memory is used by the tracemalloc module.

The PYTHONTRACEMALLOC environment variable (PYTHONTRACEMALLOC=NFRAME) and the -X tracemalloc=NFRAME command line option can be used to start tracing at startup.

See also stop(), is_tracing() and get_traceback_limit() functions.

tracemalloc.stop()

Stop tracing Python memory allocations: uninstall hooks on Python memory allocators. Also clears all previously collected traces of memory blocks allocated by Python.

Call take_snapshot() function to take a snapshot of traces before clearing them.

See also start(), is_tracing() and clear_traces() functions.

tracemalloc.take_snapshot()

Take a snapshot of traces of memory blocks allocated by Python. Return a new Snapshot instance.

The snapshot does not include memory blocks allocated before the tracemalloc module started to trace memory allocations.

Tracebacks of traces are limited to get_traceback_limit() frames. Use the nframe parameter of the start() function to store more frames.

The tracemalloc module must be tracing memory allocations to take a snapshot, see the start() function.

See also the get_object_traceback() function.

DomainFilter

class tracemalloc.DomainFilter(inclusive: bool, domain: int)

Filter traces of memory blocks by their address space (domain).

Adicionado na versão 3.6.

inclusive

If inclusive is True (include), match memory blocks allocated in the address space domain.

If inclusive is False (exclude), match memory blocks not allocated in the address space domain.

domain

Address space of a memory block (int). Read-only property.

Filter

class tracemalloc.Filter(inclusive: bool, filename_pattern: str, lineno: int = None, all_frames: bool = False, domain: int = None)

Filter on traces of memory blocks.

See the fnmatch.fnmatch() function for the syntax of filename_pattern. The '.pyc' file extension is replaced with '.py'.

Exemplos:

Filter(True, subprocess.__file__) only includes traces of the subprocess module

Filter(False, tracemalloc.__file__) excludes traces of the tracemalloc module

Filter(False, "<unknown>") excludes empty tracebacks

Alterado na versão 3.5: The '.pyo' file extension is no longer replaced with '.py'.

Alterado na versão 3.6: Added the domain attribute.

domain

Address space of a memory block (int or None).

tracemalloc uses the domain 0 to trace memory allocations made by Python. C extensions can use other domains to trace other resources.

inclusive

If inclusive is True (include), only match memory blocks allocated in a file with a name matching filename_pattern at line number lineno.

If inclusive is False (exclude), ignore memory blocks allocated in a file with a name matching filename_pattern at line number lineno.

lineno

Line number (int) of the filter. If lineno is None, the filter matches any line number.

filename_pattern

Filename pattern of the filter (str). Read-only property.

all_frames

If all_frames is True, all frames of the traceback are checked. If all_frames is False, only the most recent frame is checked.

This attribute has no effect if the traceback limit is 1. See the get_traceback_limit() function and Snapshot.traceback_limit attribute.

Frame

class tracemalloc.Frame

Frame de um Traceback

The Traceback class is a sequence of Frame instances.

filename

Filename (str).

lineno

Número da linha (int).

Snapshot

class tracemalloc.Snapshot

Snapshot of traces of memory blocks allocated by Python.

The take_snapshot() function creates a snapshot instance.

compare_to(old_snapshot: Snapshot, key_type: str, cumulative: bool = False)

Compute the differences with an old snapshot. Get statistics as a sorted list of StatisticDiff instances grouped by key_type.

See the Snapshot.statistics() method for key_type and cumulative parameters.

The result is sorted from the biggest to the smallest by: absolute value of StatisticDiff.size_diff, StatisticDiff.size, absolute value of StatisticDiff.count_diff, Statistic.count and then by StatisticDiff.traceback.

dump(filename)

Write the snapshot into a file.

Use load() to reload the snapshot.

filter_traces(filters)

Create a new Snapshot instance with a filtered traces sequence, filters is a list of DomainFilter and Filter instances. If filters is an empty list, return a new Snapshot instance with a copy of the traces.

All inclusive filters are applied at once, a trace is ignored if no inclusive filters match it. A trace is ignored if at least one exclusive filter matches it.

Alterado na versão 3.6: DomainFilter instances are now also accepted in filters.

classmethod load(filename)

Load a snapshot from a file.

See also dump().

statistics(key_type: str, cumulative: bool = False)

Get statistics as a sorted list of Statistic instances grouped by key_type:

key_type

description

'filename'

filename

'lineno'

filename and line number

'traceback'

traceback

If cumulative is True, cumulate size and count of memory blocks of all frames of the traceback of a trace, not only the most recent frame. The cumulative mode can only be used with key_type equals to 'filename' and 'lineno'.

The result is sorted from the biggest to the smallest by: Statistic.size, Statistic.count and then by Statistic.traceback.

traceback_limit

Maximum number of frames stored in the traceback of traces: result of the get_traceback_limit() when the snapshot was taken.

traces

Traces of all memory blocks allocated by Python: sequence of Trace instances.

The sequence has an undefined order. Use the Snapshot.statistics() method to get a sorted list of statistics.

Statistic

class tracemalloc.Statistic

Statistic on memory allocations.

Snapshot.statistics() returns a list of Statistic instances.

See also the StatisticDiff class.

count

Number of memory blocks (int).

size

Total size of memory blocks in bytes (int).

traceback

Traceback where the memory block was allocated, Traceback instance.

StatisticDiff

class tracemalloc.StatisticDiff

Statistic difference on memory allocations between an old and a new Snapshot instance.

Snapshot.compare_to() returns a list of StatisticDiff instances. See also the Statistic class.

count

Number of memory blocks in the new snapshot (int): 0 if the memory blocks have been released in the new snapshot.

count_diff

Difference of number of memory blocks between the old and the new snapshots (int): 0 if the memory blocks have been allocated in the new snapshot.

size

Total size of memory blocks in bytes in the new snapshot (int): 0 if the memory blocks have been released in the new snapshot.

size_diff

Difference of total size of memory blocks in bytes between the old and the new snapshots (int): 0 if the memory blocks have been allocated in the new snapshot.

traceback

Traceback where the memory blocks were allocated, Traceback instance.

Trace

class tracemalloc.Trace

Trace of a memory block.

The Snapshot.traces attribute is a sequence of Trace instances.

Alterado na versão 3.6: Added the domain attribute.

domain

Address space of a memory block (int). Read-only property.

tracemalloc uses the domain 0 to trace memory allocations made by Python. C extensions can use other domains to trace other resources.

size

Size of the memory block in bytes (int).

traceback

Traceback where the memory block was allocated, Traceback instance.

Traceback

class tracemalloc.Traceback

Sequence of Frame instances sorted from the oldest frame to the most recent frame.

A traceback contains at least 1 frame. If the tracemalloc module failed to get a frame, the filename "<unknown>" at line number 0 is used.

When a snapshot is taken, tracebacks of traces are limited to get_traceback_limit() frames. See the take_snapshot() function. The original number of frames of the traceback is stored in the Traceback.total_nframe attribute. That allows to know if a traceback has been truncated by the traceback limit.

The Trace.traceback attribute is an instance of Traceback instance.

Alterado na versão 3.7: Frames are now sorted from the oldest to the most recent, instead of most recent to oldest.

total_nframe

Total number of frames that composed the traceback before truncation. This attribute can be set to None if the information is not available.

Alterado na versão 3.9: The Traceback.total_nframe attribute was added.

format(limit=None, most_recent_first=False)

Format the traceback as a list of lines. Use the linecache module to retrieve lines from the source code. If limit is set, format the limit most recent frames if limit is positive. Otherwise, format the abs(limit) oldest frames. If most_recent_first is True, the order of the formatted frames is reversed, returning the most recent frame first instead of last.

Similar to the traceback.format_tb() function, except that format() does not include newlines.

Exemplo:

print("Traceback (most recent call first):")
for line in traceback:
    print(line)

Saída:

Traceback (most recent call first):
  File "test.py", line 9
    obj = Object()
  File "test.py", line 12
    tb = tracemalloc.get_object_traceback(f())

Empacotamento e Distribuição de Software

Essas bibliotecas ajudam você a publicar e instalar software do Python. Embora esses módulos sejam projetados para funcionar em conjunto com o Python Package Index [https://pypi.org], eles também podem ser usados com um servidor de indexação local ou sem qualquer servidor de indexação.

ensurepip — Inicialização do instalador do pip

Interface de linha de comando

API do módulo

version()

bootstrap()

venv — Criação de ambientes virtuais

Criando ambientes virtuais

Como funcionam os venvs

API

EnvBuilder

create()

ensure_directories()

create_configuration()

setup_python()

setup_scripts()

upgrade_dependencies()

post_setup()

install_scripts()

create_git_ignore_file()

create()

Um exemplo de extensão de EnvBuilder

zipapp — Manage executable Python zip archives

Basic Example

Interface de Linha de Comando

API Python

create_archive()

get_interpreter()

Exemplos

Especificando o interpretador

Creating Standalone Applications with zipapp

Caveats

The Python Zip Application Archive Format

ensurepip — Inicialização do instalador do pip

Adicionado na versão 3.4.

Código-fonte: Lib/ensurepip [https://github.com/python/cpython/tree/3.13/Lib/ensurepip]

O pacote ensurepip fornece suporte a fazer bootstrapping, ou seja, inicializar o instalador do pip em uma instalação existente do Python ou em um ambiente virtual. Essa abordagem de bootstrapping reflete o fato de que pip é um projeto independente com seu próprio ciclo de lançamento, e a última versão estável disponível é fornecida com manutenção e lançamentos de recursos do interpretador de referência CPython.

Na maioria dos casos, os usuários finais do Python não precisam invocar esse módulo diretamente (como pip deve ser inicializado por padrão), mas pode ser necessário se a instalação do pip foi ignorada ao instalar o Python (ou ao criar um ambiente virtual) ou após desinstalar explicitamente pip.

Nota

Este módulo não acessa a Internet. Todos os componentes necessários para iniciar o pip estão incluídos como partes internas do pacote.

Ver também

Instalando módulos Python

O guia do usuário final para instalar pacotes Python

PEP 453 [https://peps.python.org/pep-0453/]: Inicialização explícita de pip em instalações Python

A justificativa e especificação originais para este módulo.

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Interface de linha de comando

A interface da linha de comando é chamada usando a opção -m do interpretador.

A invocação mais simples possível é:

python -m ensurepip

Essa invocação instalará pip se ainda não estiver instalada, mas, caso contrário, não fará nada. Para garantir que a versão instalada do pip seja pelo menos tão recente quanto a disponível do ensurepip, passe a opção --upgrade:

python -m ensurepip --upgrade

Por padrão, pip é instalado no ambiente virtual atual (se houver um ativo) ou nos pacotes de sites do sistema (se não houver um ambiente virtual ativo). O local da instalação pode ser controlado através de duas opções adicionais de linha de comando:

--root dir: Instala pip em relação ao diretório raiz fornecido, em vez da raiz do ambiente virtual atualmente ativo (se houver) ou a raiz padrão da instalação atual do Python.

--user: Instala pip no diretório de pacotes do site do usuário em vez de globalmente para a instalação atual do Python (essa opção não é permitida dentro de um ambiente virtual ativo).

Por padrão, os scripts pipX e pipX.Y serão instalados (onde X.Y representa a versão do Python usada para invocar ensurepip). Os scripts instalados podem ser controlados através de duas opções adicionais de linha de comando:

--altinstall: se uma instalação alternativa for solicitada, o script pipX não será instalado.

--default-pip: se uma instalação “pip padrão” for solicitada, o script pip será instalado junto com os dois scripts comuns.

Fornecer as duas opções de seleção de script acionará uma exceção.

API do módulo

O ensurepip expõe duas funções para uso programático:

ensurepip.version()

Retorna uma string que especifica a versão disponível do pip que será instalado ao inicializar um ambiente.

ensurepip.bootstrap(root=None, upgrade=False, user=False, altinstall=False, default_pip=False, verbosity=0)

Inicializa pip no ambiente atual ou designado.

root especifica um diretório raiz alternativo para instalar em relação a. Se root for None, a instalação utilizará o local de instalação padrão para o ambiente atual.

upgrade indica se deve ou não atualizar uma instalação existente de uma versão anterior do pip para a versão disponível.

user indica se é necessário usar o esquema do usuário em vez de instalar globalmente.

Por padrão, os scripts pipX e pipX.Y serão instalados (onde X.Y significa a versão atual do Python).

Se altinstall estiver definido, o pipX não será instalado.

Se default_pip estiver definido, o pip será instalado além dos dois scripts comuns.

Definir altinstall e default_pip acionará ValueError.

verbosity controla o nível de saída para sys.stdout da operação de inicialização.

Levanta um evento de auditoria ensurepip.bootstrap com o argumento root.

Nota

O processo de inicialização tem efeitos colaterais em sys.path e os.environ. Invocar a interface da linha de comando em um subprocesso permite que esses efeitos colaterais sejam evitados.

Nota

O processo de inicialização pode instalar módulos adicionais exigidos pelo pip, mas outro software não deve presumir que essas dependências sempre estarão presentes por padrão (como as dependências podem ser removidas em uma versão futura do pip).

venv — Criação de ambientes virtuais

Adicionado na versão 3.3.

Código-fonte: Lib/venv/ [https://github.com/python/cpython/tree/3.13/Lib/venv/]

O módulo venv oferece suporte à criação de “ambientes virtuais” leves, cada um com seu próprio conjunto independente de pacotes Python instalados em seus diretórios site. Um ambiente virtual é criado sobre uma instalação existente do Python, conhecido como o Python “base” do ambiente virtual, e pode, opcionalmente, ser isolado dos pacotes no ambiente base, de modo que apenas aqueles explicitamente instalados no ambiente virtual estejam disponíveis.

Quando usadas em um ambiente virtual, ferramentas de instalação comuns, como pip [https://pypi.org/project/pip/], instalarão pacotes Python em um ambiente virtual sem precisar ser instruído a fazê-lo explicitamente.

Um ambiente virtual é (dentre outras coisas):

Usado para conter um interpretador Python específico e bibliotecas de software e binários necessários para dar suporte a um projeto (biblioteca ou aplicação). Eles são, por padrão, isolados de software em outros ambientes virtuais e de interpretadores e bibliotecas Python instalados no sistema operacional.

Contained in a directory, conventionally named .venv or venv in the project directory, or under a container directory for lots of virtual environments, such as ~/.virtualenvs.

Não inserido em sistemas de controle de código-fonte, como Git.

Considered as disposable – it should be simple to delete and recreate it from scratch. You don’t place any project code in the environment.

Não é considerado móvel ou copiável – basta recriar o mesmo ambiente no local de destino.

Veja PEP 405 [https://peps.python.org/pep-0405/] para mais informações sobre ambientes virtuais do Python.

Ver também

Python Packaging User Guide: Criar e usar ambientes virtuais [https://packaging.python.org/pt-br/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments]

Disponibilidade

Este módulo não tem suporte em plataformas móveis ou plataformas WebAssembly.

Criando ambientes virtuais

Virtual environments are created by executing the venv module:

python -m venv /path/to/new/virtual/environment

This creates the target directory (including parent directories as needed) and places a pyvenv.cfg file in it with a home key pointing to the Python installation from which the command was run. It also creates a bin (or Scripts on Windows) subdirectory containing a copy or symlink of the Python executable (as appropriate for the platform or arguments used at environment creation time). It also creates a lib/pythonX.Y/site-packages subdirectory (on Windows, this is Libsite-packages). If an existing directory is specified, it will be re-used.

Alterado na versão 3.5: O uso de venv agora é recomendado para a criação de ambientes virtuais.

Deprecated since version 3.6, removed in version 3.8: pyvenv was the recommended tool for creating virtual environments for Python 3.3 and 3.4, and replaced in 3.5 by executing venv directly.

On Windows, invoke the venv command as follows:

PS> python -m venv C:\path\to\new\virtual\environment

O comando, se executado com -h, mostrará as opções disponíveis:

usage: venv [-h] [--system-site-packages] [--symlinks | --copies] [--clear]
            [--upgrade] [--without-pip] [--prompt PROMPT] [--upgrade-deps]
            [--without-scm-ignore-files]
            ENV_DIR [ENV_DIR ...]

Creates virtual Python environments in one or more target directories.

positional arguments:
  ENV_DIR               A directory to create the environment in.

options:
  -h, --help            show this help message and exit
  --system-site-packages
                        Give the virtual environment access to the system
                        site-packages dir.
  --symlinks            Try to use symlinks rather than copies, when
                        symlinks are not the default for the platform.
  --copies              Try to use copies rather than symlinks, even when
                        symlinks are the default for the platform.
  --clear               Delete the contents of the environment directory
                        if it already exists, before environment creation.
  --upgrade             Upgrade the environment directory to use this
                        version of Python, assuming Python has been
                        upgraded in-place.
  --without-pip         Skips installing or upgrading pip in the virtual
                        environment (pip is bootstrapped by default)
  --prompt PROMPT       Provides an alternative prompt prefix for this
                        environment.
  --upgrade-deps        Upgrade core dependencies (pip) to the latest
                        version in PyPI
  --without-scm-ignore-files
                        Skips adding SCM ignore files to the environment
                        directory (Git is supported by default).

Once an environment has been created, you may wish to activate it, e.g. by
sourcing an activate script in its bin directory.

Alterado na versão 3.4: Installs pip by default, added the --without-pip and --copies options.

Alterado na versão 3.4: Nas versões anteriores, se o diretório de destino já existia, era levantado um erro, a menos que a opção --clear ou --upgrade fosse fornecida.

Alterado na versão 3.9: Add --upgrade-deps option to upgrade pip + setuptools to the latest on PyPI.

Alterado na versão 3.12: setuptools não é mais uma dependência central do venv.

Alterado na versão 3.13: Added the --without-scm-ignore-files option.

Alterado na versão 3.13: venv now creates a .gitignore file for Git by default.

Nota

Embora haja suporte a links simbólicos no Windows, eles não são recomendados. É importante notar que clicar duas vezes em python.exe no Explorador de Arquivos resolverá o link simbólico com entusiasmo e ignorará o ambiente virtual.

Nota

No Microsoft Windows, pode ser necessário ativar o script Activate.ps1, definindo a política de execução para o usuário. Você pode fazer isso executando o seguinte comando do PowerShell:

PS C:\> Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

Consulte About Execution Policies [https://go.microsoft.com/fwlink/?LinkID=135170] para mais informações.

The created pyvenv.cfg file also includes the include-system-site-packages key, set to true if venv is run with the --system-site-packages option, false otherwise.

A menos que a opção --without-pip seja dada, ensurepip será chamado para inicializar o pip no ambiente virtual.

Vários caminhos podem ser dados para venv, caso em que um ambiente virtual idêntico será criado, de acordo com as opções fornecidas, em cada caminho fornecido.

Como funcionam os venvs

Quando um interpretador Python está sendo executado a partir de um ambiente virtual, sys.prefix e sys.exec_prefix apontam para os diretórios do ambiente virtual, enquanto sys.base_prefix e sys.base_exec_prefix apontam para aqueles do Python base usado para criar o ambiente. É suficiente verificar sys.prefix != sys.base_prefix para determinar se o interpretador atual está sendo executado a partir de um ambiente virtual.

Um ambiente virtual pode ser “ativado” usando um script em seu diretório binário (bin no POSIX; Scripts no Windows). Isso precederá esse diretório ao seu PATH, de modo que a execução de python invoque o interpretador Python do ambiente e você possa executar os scripts instalados sem precisar usar o caminho completo. A invocação do script de ativação é específica da plataforma (<venv> deve ser substituído pelo caminho para o diretório que contém o ambiente virtual):

Plataforma

Shell

Comando para ativar o ambiente virtual

POSIX

bash/zsh

$ source <venv>/bin/activate

fish

$ source <venv>/bin/activate.fish

csh/tcsh

$ source <venv>/bin/activate.csh

pwsh

$ <venv>/bin/Activate.ps1

Windows

cmd.exe

C:\> <venv>\Scripts\activate.bat

PowerShell

PS C:\> <venv>\Scripts\Activate.ps1

Adicionado na versão 3.4: Os scripts de ativação fish e csh.

Adicionado na versão 3.8: Scripts de ativação de PowerShell instalados sob POSIX para suporte a PowerShell Core.

Você não precisa especificamente ativar um ambiente virtual, pois pode apenas especificar o caminho completo para o interpretador Python desse ambiente ao invocar o Python. Além disso, todos os scripts instalados no ambiente devem ser executáveis sem ativá-lo.

In order to achieve this, scripts installed into virtual environments have a “shebang” line which points to the environment’s Python interpreter, #!/<path-to-venv>/bin/python. This means that the script will run with that interpreter regardless of the value of PATH. On Windows, “shebang” line processing is supported if you have the Inicializador Python para Windows installed. Thus, double-clicking an installed script in a Windows Explorer window should run it with the correct interpreter without the environment needing to be activated or on the PATH.

Quando um ambiente virtual é ativado, a variável de ambiente VIRTUAL_ENV é definida como o caminho do ambiente. Como não é necessário ativar explicitamente um ambiente virtual para usá-lo, VIRTUAL_ENV não pode ser usado para determinar se um ambiente virtual está sendo usado.

Aviso

Como os scripts instalados em ambientes não devem esperar que o ambiente seja ativado, suas linhas shebang contêm os caminhos absolutos para os interpretadores de seus ambientes. Por causa disso, os ambientes são inerentemente não portáteis, no caso geral. Você sempre deve ter um meio simples de recriar um ambiente (por exemplo, se você tiver um arquivo de requisitos requirements.txt, você pode invocar pip install -r requirements.txt usando o pip do ambiente para instalar todos os pacotes necessários para o ambiente). Se por algum motivo você precisar mover o ambiente para um novo local, deverá recriá-lo no local desejado e excluir o do local antigo. Se você mover um ambiente porque moveu um diretório pai dele, deverá recriar o ambiente em seu novo local. Caso contrário, o software instalado no ambiente pode não funcionar conforme o esperado.

Você pode desativar um ambiente virtual digitando deactivate em seu shell. O mecanismo exato é específico da plataforma e é um detalhe de implementação interna (normalmente, um script ou função de shell será usado).

API

O método de alto nível descrito acima utiliza uma API simples que fornece mecanismos para que criadores de ambientes virtuais de terceiros personalizem a criação do ambiente de acordo com suas necessidades, a classe EnvBuilder.

class venv.EnvBuilder(system_site_packages=False, clear=False, symlinks=False, upgrade=False, with_pip=False, prompt=None, upgrade_deps=False, *, scm_ignore_files=frozenset())

A classe EnvBuilder aceita os seguintes argumentos nomeados na instanciação:

system_site_packages – a boolean value indicating that the system Python site-packages should be available to the environment (defaults to False).

clear – a boolean value which, if true, will delete the contents of any existing target directory, before creating the environment.

symlinks – a boolean value indicating whether to attempt to symlink the Python binary rather than copying.

upgrade – a boolean value which, if true, will upgrade an existing environment with the running Python - for use when that Python has been upgraded in-place (defaults to False).

with_pip – a boolean value which, if true, ensures pip is installed in the virtual environment. This uses ensurepip with the --default-pip option.

prompt – a string to be used after virtual environment is activated (defaults to None which means directory name of the environment would be used). If the special string "." is provided, the basename of the current directory is used as the prompt.

upgrade_deps – Update the base venv modules to the latest on PyPI

scm_ignore_files – Create ignore files based for the specified source control managers (SCM) in the iterable. Support is defined by having a method named create_{scm}_ignore_file. The only value supported by default is "git" via create_git_ignore_file().

Alterado na versão 3.4: Adicionado o parâmetro with_pip

Alterado na versão 3.6: Adicionado o parâmetro prompt

Alterado na versão 3.9: Adicionado o parâmetro upgrade_deps

Alterado na versão 3.13: Adicionado o parâmetro scm_ignore_files

EnvBuilder may be used as a base class.

create(env_dir)

Cria um ambiente virtual especificando o diretório de destino (absoluto ou relativo ao diretório atual) que deve conter o ambiente virtual. O método create cria o ambiente no diretório especificado ou levanta uma exceção apropriada.

O método create da classe EnvBuilder ilustra os ganchos disponíveis para personalização de subclasse:

def create(self, env_dir):
    """
    Create a virtualized Python environment in a directory.
    env_dir is the target directory to create an environment in.
    """
    env_dir = os.path.abspath(env_dir)
    context = self.ensure_directories(env_dir)
    self.create_configuration(context)
    self.setup_python(context)
    self.setup_scripts(context)
    self.post_setup(context)

Cada um dos métodos ensure_directories(), create_configuration(), setup_python(), setup_scripts() e post_setup() pode ser substituído.

ensure_directories(env_dir)

Cria o diretório do ambiente e todos os subdiretórios necessários que ainda não existem e retorna um objeto de contexto. Este objeto de contexto é apenas um detentor de atributos (como caminhos) para uso pelos outros métodos. Se o EnvBuilder for criado com o argumento clear=True, o conteúdo do diretório do ambiente será limpo e todos os subdiretórios necessários serão recriados.

O objeto de contexto retornado é um types.SimpleNamespace com os seguintes atributos:

env_dir - A localização do ambiente virtual. Usado para __VENV_DIR__ em scripts de ativação (veja install_scripts()).

env_name - O nome do ambiente virtual. Usado para __VENV_NAME__ em scripts de ativação (veja install_scripts()).

prompt - O prompt a ser usado pelos scripts de ativação. Usado para __VENV_PROMPT__ em scripts de ativação (veja install_scripts()).

executable - O executável Python subjacente usado pelo ambiente virtual. Isso leva em consideração o caso em que um ambiente virtual é criado a partir de outro ambiente virtual.

inc_path - O caminho de inclusão para o ambiente virtual.

lib_path - O caminho purelib para o ambiente virtual.

bin_path - O caminho do script para o ambiente virtual.

bin_name - O nome do caminho do script relativo ao local do ambiente virtual. Usado para __VENV_BIN_NAME__ em scripts de ativação (consulte install_scripts()).

env_exe - O nome do interpretador Python no ambiente virtual. Usado para __VENV_PYTHON__ em scripts de ativação (veja install_scripts()).

env_exec_cmd - O nome do interpretador Python, levando em consideração os redirecionamentos do sistema de arquivos. Isso pode ser usado para executar o Python no ambiente virtual.

Alterado na versão 3.11: O esquema de instalação de sysconfig do venv é usado para construir os caminhos dos diretórios criados.

Alterado na versão 3.12: O atributo lib_path foi adicionado ao contexto, e o objeto de contexto foi documentado.

create_configuration(context)

Cria o arquivo de configuração pyvenv.cfg no ambiente.

setup_python(context)

Cria uma cópia ou link simbólico para o executável Python no ambiente. Nos sistemas POSIX, se um executável específico python3.x foi usado, links simbólicos para python e python3 serão criados apontando para esse executável, a menos que já existam arquivos com esses nomes.

setup_scripts(context)

Instala scripts de ativação apropriados para a plataforma no ambiente virtual.

upgrade_dependencies(context)

Upgrades the core venv dependency packages (currently pip [https://pypi.org/project/pip/]) in the environment. This is done by shelling out to the pip executable in the environment.

Adicionado na versão 3.9.

Alterado na versão 3.12: setuptools [https://pypi.org/project/setuptools/] is no longer a core venv dependency.

post_setup(context)

Um método de espaço reservado que pode ser substituído em implementações de terceiros para pré-instalar pacotes no ambiente virtual ou executar outras etapas pós-criação.

install_scripts(context, path)

This method can be called from setup_scripts() or post_setup() in subclasses to assist in installing custom scripts into the virtual environment.

path is the path to a directory that should contain subdirectories common, posix, nt; each containing scripts destined for the bin directory in the environment. The contents of common and the directory corresponding to os.name are copied after some text replacement of placeholders:

__VENV_DIR__ é substituído pelo caminho absoluto do diretório do ambiente.

__VENV_NAME__ é substituído pelo nome do ambiente (segmento do caminho final do diretório do ambiente).

__VENV_PROMPT__ é substituído pelo prompt (o nome do ambiente entre parênteses e com o seguinte espaço)

__VENV_BIN_NAME__ é substituído pelo nome do diretório bin (bin ou Scripts).

__VENV_PYTHON__ é substituído pelo caminho absoluto do executável do ambiente.

É permitido que os diretórios existam (para quando um ambiente existente estiver sendo atualizado).

create_git_ignore_file(context)

Creates a .gitignore file within the virtual environment that causes the entire directory to be ignored by the Git source control manager.

Adicionado na versão 3.13.

Alterado na versão 3.7.2: O Windows agora usa scripts redirecionadores para python[w].exe em vez de copiar os binários reais. No 3.7.2, somente setup_python() não faz nada a menos que seja executado a partir de uma construção na árvore de origem.

Alterado na versão 3.7.3: O Windows copia os scripts redirecionadores como parte do setup_python() em vez de setup_scripts(). Este não foi o caso em 3.7.2. Ao usar links simbólicos, será feito link para os executáveis originais.

Há também uma função de conveniência no nível do módulo:

venv.create(env_dir, system_site_packages=False, clear=False, symlinks=False, with_pip=False, prompt=None, upgrade_deps=False, *, scm_ignore_files=frozenset())

Cria um EnvBuilder com os argumentos nomeados fornecidos e chame seu método create() com o argumento env_dir.

Adicionado na versão 3.3.

Alterado na versão 3.4: Added the with_pip parameter

Alterado na versão 3.6: Added the prompt parameter

Alterado na versão 3.9: Added the upgrade_deps parameter

Alterado na versão 3.13: Added the scm_ignore_files parameter

Um exemplo de extensão de EnvBuilder

O script a seguir mostra como estender EnvBuilder implementando uma subclasse que instala setuptools e pip em um ambiente virtual criado:

import os
import os.path
from subprocess import Popen, PIPE
import sys
from threading import Thread
from urllib.parse import urlparse
from urllib.request import urlretrieve
import venv

class ExtendedEnvBuilder(venv.EnvBuilder):
    """
    This builder installs setuptools and pip so that you can pip or
    easy_install other packages into the created virtual environment.

    :param nodist: If true, setuptools and pip are not installed into the
                   created virtual environment.
    :param nopip: If true, pip is not installed into the created
                  virtual environment.
    :param progress: If setuptools or pip are installed, the progress of the
                     installation can be monitored by passing a progress
                     callable. If specified, it is called with two
                     arguments: a string indicating some progress, and a
                     context indicating where the string is coming from.
                     The context argument can have one of three values:
                     'main', indicating that it is called from virtualize()
                     itself, and 'stdout' and 'stderr', which are obtained
                     by reading lines from the output streams of a subprocess
                     which is used to install the app.

                     If a callable is not specified, default progress
                     information is output to sys.stderr.
    """

    def __init__(self, *args, **kwargs):
        self.nodist = kwargs.pop('nodist', False)
        self.nopip = kwargs.pop('nopip', False)
        self.progress = kwargs.pop('progress', None)
        self.verbose = kwargs.pop('verbose', False)
        super().__init__(*args, **kwargs)

    def post_setup(self, context):
        """
        Set up any packages which need to be pre-installed into the
        virtual environment being created.

        :param context: The information for the virtual environment
                        creation request being processed.
        """
        os.environ['VIRTUAL_ENV'] = context.env_dir
        if not self.nodist:
            self.install_setuptools(context)
        # Can't install pip without setuptools
        if not self.nopip and not self.nodist:
            self.install_pip(context)

    def reader(self, stream, context):
        """
        Read lines from a subprocess' output stream and either pass to a progress
        callable (if specified) or write progress information to sys.stderr.
        """
        progress = self.progress
        while True:
            s = stream.readline()
            if not s:
                break
            if progress is not None:
                progress(s, context)
            else:
                if not self.verbose:
                    sys.stderr.write('.')
                else:
                    sys.stderr.write(s.decode('utf-8'))
                sys.stderr.flush()
        stream.close()

    def install_script(self, context, name, url):
        _, _, path, _, _, _ = urlparse(url)
        fn = os.path.split(path)[-1]
        binpath = context.bin_path
        distpath = os.path.join(binpath, fn)
        # Download script into the virtual environment's binaries folder
        urlretrieve(url, distpath)
        progress = self.progress
        if self.verbose:
            term = '\n'
        else:
            term = ''
        if progress is not None:
            progress('Installing %s ...%s' % (name, term), 'main')
        else:
            sys.stderr.write('Installing %s ...%s' % (name, term))
            sys.stderr.flush()
        # Install in the virtual environment
        args = [context.env_exe, fn]
        p = Popen(args, stdout=PIPE, stderr=PIPE, cwd=binpath)
        t1 = Thread(target=self.reader, args=(p.stdout, 'stdout'))
        t1.start()
        t2 = Thread(target=self.reader, args=(p.stderr, 'stderr'))
        t2.start()
        p.wait()
        t1.join()
        t2.join()
        if progress is not None:
            progress('done.', 'main')
        else:
            sys.stderr.write('done.\n')
        # Clean up - no longer needed
        os.unlink(distpath)

    def install_setuptools(self, context):
        """
        Install setuptools in the virtual environment.

        :param context: The information for the virtual environment
                        creation request being processed.
        """
        url = "https://bootstrap.pypa.io/ez_setup.py"
        self.install_script(context, 'setuptools', url)
        # clear up the setuptools archive which gets downloaded
        pred = lambda o: o.startswith('setuptools-') and o.endswith('.tar.gz')
        files = filter(pred, os.listdir(context.bin_path))
        for f in files:
            f = os.path.join(context.bin_path, f)
            os.unlink(f)

    def install_pip(self, context):
        """
        Install pip in the virtual environment.

        :param context: The information for the virtual environment
                        creation request being processed.
        """
        url = 'https://bootstrap.pypa.io/get-pip.py'
        self.install_script(context, 'pip', url)

def main(args=None):
    import argparse

    parser = argparse.ArgumentParser(prog=__name__,
                                     description='Creates virtual Python '
                                                 'environments in one or '
                                                 'more target '
                                                 'directories.')
    parser.add_argument('dirs', metavar='ENV_DIR', nargs='+',
                        help='A directory in which to create the '
                             'virtual environment.')
    parser.add_argument('--no-setuptools', default=False,
                        action='store_true', dest='nodist',
                        help="Don't install setuptools or pip in the "
                             "virtual environment.")
    parser.add_argument('--no-pip', default=False,
                        action='store_true', dest='nopip',
                        help="Don't install pip in the virtual "
                             "environment.")
    parser.add_argument('--system-site-packages', default=False,
                        action='store_true', dest='system_site',
                        help='Give the virtual environment access to the '
                             'system site-packages dir.')
    if os.name == 'nt':
        use_symlinks = False
    else:
        use_symlinks = True
    parser.add_argument('--symlinks', default=use_symlinks,
                        action='store_true', dest='symlinks',
                        help='Try to use symlinks rather than copies, '
                             'when symlinks are not the default for '
                             'the platform.')
    parser.add_argument('--clear', default=False, action='store_true',
                        dest='clear', help='Delete the contents of the '
                                           'virtual environment '
                                           'directory if it already '
                                           'exists, before virtual '
                                           'environment creation.')
    parser.add_argument('--upgrade', default=False, action='store_true',
                        dest='upgrade', help='Upgrade the virtual '
                                             'environment directory to '
                                             'use this version of '
                                             'Python, assuming Python '
                                             'has been upgraded '
                                             'in-place.')
    parser.add_argument('--verbose', default=False, action='store_true',
                        dest='verbose', help='Display the output '
                                             'from the scripts which '
                                             'install setuptools and pip.')
    options = parser.parse_args(args)
    if options.upgrade and options.clear:
        raise ValueError('you cannot supply --upgrade and --clear together.')
    builder = ExtendedEnvBuilder(system_site_packages=options.system_site,
                                   clear=options.clear,
                                   symlinks=options.symlinks,
                                   upgrade=options.upgrade,
                                   nodist=options.nodist,
                                   nopip=options.nopip,
                                   verbose=options.verbose)
    for d in options.dirs:
        builder.create(d)

if __name__ == '__main__':
    rc = 1
    try:
        main()
        rc = 0
    except Exception as e:
        print('Error: %s' % e, file=sys.stderr)
    sys.exit(rc)

Esse script também está disponível para download online [https://gist.github.com/vsajip/4673395].

zipapp — Manage executable Python zip archives

Adicionado na versão 3.5.

Código-fonte: Lib/zipapp.py [https://github.com/python/cpython/tree/3.13/Lib/zipapp.py]

This module provides tools to manage the creation of zip files containing Python code, which can be executed directly by the Python interpreter. The module provides both a Interface de Linha de Comando and a API Python.

Basic Example

The following example shows how the Interface de Linha de Comando can be used to create an executable archive from a directory containing Python code. When run, the archive will execute the main function from the module myapp in the archive.

$ python -m zipapp myapp -m "myapp:main"
$ python myapp.pyz
<output from myapp>

Interface de Linha de Comando

When called as a program from the command line, the following form is used:

$ python -m zipapp source [options]

If source is a directory, this will create an archive from the contents of source. If source is a file, it should be an archive, and it will be copied to the target archive (or the contents of its shebang line will be displayed if the –info option is specified).

The following options are understood:

-o <output>, --output=<output>

Write the output to a file named output. If this option is not specified, the output filename will be the same as the input source, with the extension .pyz added. If an explicit filename is given, it is used as is (so a .pyz extension should be included if required).

An output filename must be specified if the source is an archive (and in that case, output must not be the same as source).

-p <interpreter>, --python=<interpreter>

Add a #! line to the archive specifying interpreter as the command to run. Also, on POSIX, make the archive executable. The default is to write no #! line, and not make the file executable.

-m <mainfn>, --main=<mainfn>

Write a __main__.py file to the archive that executes mainfn. The mainfn argument should have the form “pkg.mod:fn”, where “pkg.mod” is a package/module in the archive, and “fn” is a callable in the given module. The __main__.py file will execute that callable.

--main cannot be specified when copying an archive.

-c, --compress

Compress files with the deflate method, reducing the size of the output file. By default, files are stored uncompressed in the archive.

--compress has no effect when copying an archive.

Adicionado na versão 3.7.

--info

Display the interpreter embedded in the archive, for diagnostic purposes. In this case, any other options are ignored and SOURCE must be an archive, not a directory.

-h, --help

Print a short usage message and exit.

API Python

The module defines two convenience functions:

zipapp.create_archive(source, target=None, interpreter=None, main=None, filter=None, compressed=False)

Create an application archive from source. The source can be any of the following:

The name of a directory, or a path-like object referring to a directory, in which case a new application archive will be created from the content of that directory.

The name of an existing application archive file, or a path-like object referring to such a file, in which case the file is copied to the target (modifying it to reflect the value given for the interpreter argument). The file name should include the .pyz extension, if required.

A file object open for reading in bytes mode. The content of the file should be an application archive, and the file object is assumed to be positioned at the start of the archive.

The target argument determines where the resulting archive will be written:

If it is the name of a file, or a path-like object, the archive will be written to that file.

If it is an open file object, the archive will be written to that file object, which must be open for writing in bytes mode.

If the target is omitted (or None), the source must be a directory and the target will be a file with the same name as the source, with a .pyz extension added.

The interpreter argument specifies the name of the Python interpreter with which the archive will be executed. It is written as a “shebang” line at the start of the archive. On POSIX, this will be interpreted by the OS, and on Windows it will be handled by the Python launcher. Omitting the interpreter results in no shebang line being written. If an interpreter is specified, and the target is a filename, the executable bit of the target file will be set.

The main argument specifies the name of a callable which will be used as the main program for the archive. It can only be specified if the source is a directory, and the source does not already contain a __main__.py file. The main argument should take the form “pkg.module:callable” and the archive will be run by importing “pkg.module” and executing the given callable with no arguments. It is an error to omit main if the source is a directory and does not contain a __main__.py file, as otherwise the resulting archive would not be executable.

The optional filter argument specifies a callback function that is passed a Path object representing the path to the file being added (relative to the source directory). It should return True if the file is to be added.

The optional compressed argument determines whether files are compressed. If set to True, files in the archive are compressed with the deflate method; otherwise, files are stored uncompressed. This argument has no effect when copying an existing archive.

If a file object is specified for source or target, it is the caller’s responsibility to close it after calling create_archive.

When copying an existing archive, file objects supplied only need read and readline, or write methods. When creating an archive from a directory, if the target is a file object it will be passed to the zipfile.ZipFile class, and must supply the methods needed by that class.

Alterado na versão 3.7: Added the filter and compressed parameters.

zipapp.get_interpreter(archive)

Return the interpreter specified in the #! line at the start of the archive. If there is no #! line, return None. The archive argument can be a filename or a file-like object open for reading in bytes mode. It is assumed to be at the start of the archive.

Exemplos

Pack up a directory into an archive, and run it.

$ python -m zipapp myapp
$ python myapp.pyz
<output from myapp>

The same can be done using the create_archive() function:

>>> import zipapp
>>> zipapp.create_archive('myapp', 'myapp.pyz')

To make the application directly executable on POSIX, specify an interpreter to use.

$ python -m zipapp myapp -p "/usr/bin/env python"
$ ./myapp.pyz
<output from myapp>

To replace the shebang line on an existing archive, create a modified archive using the create_archive() function:

>>> import zipapp
>>> zipapp.create_archive('old_archive.pyz', 'new_archive.pyz', '/usr/bin/python3')

To update the file in place, do the replacement in memory using a BytesIO object, and then overwrite the source afterwards. Note that there is a risk when overwriting a file in place that an error will result in the loss of the original file. This code does not protect against such errors, but production code should do so. Also, this method will only work if the archive fits in memory:

>>> import zipapp
>>> import io
>>> temp = io.BytesIO()
>>> zipapp.create_archive('myapp.pyz', temp, '/usr/bin/python2')
>>> with open('myapp.pyz', 'wb') as f:
>>>     f.write(temp.getvalue())

Especificando o interpretador

Note that if you specify an interpreter and then distribute your application archive, you need to ensure that the interpreter used is portable. The Python launcher for Windows supports most common forms of POSIX #! line, but there are other issues to consider:

If you use “/usr/bin/env python” (or other forms of the “python” command, such as “/usr/bin/python”), you need to consider that your users may have either Python 2 or Python 3 as their default, and write your code to work under both versions.

If you use an explicit version, for example “/usr/bin/env python3” your application will not work for users who do not have that version. (This may be what you want if you have not made your code Python 2 compatible).

There is no way to say “python X.Y or later”, so be careful of using an exact version like “/usr/bin/env python3.4” as you will need to change your shebang line for users of Python 3.5, for example.

Typically, you should use an “/usr/bin/env python2” or “/usr/bin/env python3”, depending on whether your code is written for Python 2 or 3.

Creating Standalone Applications with zipapp

Using the zipapp module, it is possible to create self-contained Python programs, which can be distributed to end users who only need to have a suitable version of Python installed on their system. The key to doing this is to bundle all of the application’s dependencies into the archive, along with the application code.

The steps to create a standalone archive are as follows:

Create your application in a directory as normal, so you have a myapp directory containing a __main__.py file, and any supporting application code.

Install all of your application’s dependencies into the myapp directory, using pip:

$ python -m pip install -r requirements.txt --target myapp

(this assumes you have your project requirements in a requirements.txt file - if not, you can just list the dependencies manually on the pip command line).

Empacote a aplicação usando:

$ python -m zipapp -p "interpreter" myapp

This will produce a standalone executable, which can be run on any machine with the appropriate interpreter available. See Especificando o interpretador for details. It can be shipped to users as a single file.

On Unix, the myapp.pyz file is executable as it stands. You can rename the file to remove the .pyz extension if you prefer a “plain” command name. On Windows, the myapp.pyz[w] file is executable by virtue of the fact that the Python interpreter registers the .pyz and .pyzw file extensions when installed.

Caveats

If your application depends on a package that includes a C extension, that package cannot be run from a zip file (this is an OS limitation, as executable code must be present in the filesystem for the OS loader to load it). In this case, you can exclude that dependency from the zipfile, and either require your users to have it installed, or ship it alongside your zipfile and add code to your __main__.py to include the directory containing the unzipped module in sys.path. In this case, you will need to make sure to ship appropriate binaries for your target architecture(s) (and potentially pick the correct version to add to sys.path at runtime, based on the user’s machine).

The Python Zip Application Archive Format

Python has been able to execute zip files which contain a __main__.py file since version 2.6. In order to be executed by Python, an application archive simply has to be a standard zip file containing a __main__.py file which will be run as the entry point for the application. As usual for any Python script, the parent of the script (in this case the zip file) will be placed on sys.path and thus further modules can be imported from the zip file.

The zip file format allows arbitrary data to be prepended to a zip file. The zip application format uses this ability to prepend a standard POSIX “shebang” line to the file (#!/path/to/interpreter).

Formally, the Python zip application format is therefore:

An optional shebang line, containing the characters b'#!' followed by an interpreter name, and then a newline (b'\n') character. The interpreter name can be anything acceptable to the OS “shebang” processing, or the Python launcher on Windows. The interpreter should be encoded in UTF-8 on Windows, and in sys.getfilesystemencoding() on POSIX.

Standard zipfile data, as generated by the zipfile module. The zipfile content must include a file called __main__.py (which must be in the “root” of the zipfile - i.e., it cannot be in a subdirectory). The zipfile data can be compressed or uncompressed.

If an application archive has a shebang line, it may have the executable bit set on POSIX systems, to allow it to be executed directly.

There is no requirement that the tools in this module are used to create application archives - the module is a convenience, but archives in the above format created by any means are acceptable to Python.

Serviços de Tempo de Execução Python

Os módulos descritos neste capítulo oferecem uma ampla gama de serviços relacionados ao interpretador Python e sua interação com o ambiente. Aqui está uma visão geral:

sys — Parâmetros e funções específicas do sistema

abiflags

addaudithook()

argv

audit()

base_exec_prefix

base_prefix

byteorder

builtin_module_names

call_tracing()

copyright

_clear_type_cache()

_clear_internal_caches()

_current_frames()

_current_exceptions()

breakpointhook()

_debugmallocstats()

dllhandle

displayhook()

dont_write_bytecode

_emscripten_info

emscripten_version

runtime

pthreads

shared_memory

pycache_prefix

excepthook()

__breakpointhook__

__displayhook__

__excepthook__

__unraisablehook__

exception()

exc_info()

exec_prefix

executable

exit()

flags

debug

inspect

interactive

isolated

optimize

dont_write_bytecode

no_user_site

no_site

ignore_environment

verbose

bytes_warning

quiet

hash_randomization

dev_mode

utf8_mode

safe_path

int_max_str_digits

warn_default_encoding

float_info

epsilon

dig

mant_dig

max

max_exp

max_10_exp

min

min_exp

min_10_exp

radix

rounds

float_repr_style

getallocatedblocks()

getunicodeinternedsize()

getandroidapilevel()

getdefaultencoding()

getdlopenflags()

getfilesystemencoding()

getfilesystemencodeerrors()

get_int_max_str_digits()

getrefcount()

getrecursionlimit()

getsizeof()

getswitchinterval()

_getframe()

_getframemodulename()

getprofile()

gettrace()

getwindowsversion()

get_asyncgen_hooks()

get_coroutine_origin_tracking_depth()

hash_info

width

modulus

inf

nan

imag

algorithm

hash_bits

seed_bits

hexversion

implementation

int_info

bits_per_digit

sizeof_digit

default_max_str_digits

str_digits_check_threshold

__interactivehook__

intern()

_is_gil_enabled()

is_finalizing()

last_exc

_is_interned()

last_type

last_value

last_traceback

maxsize

maxunicode

meta_path

modules

orig_argv

path

path_hooks

path_importer_cache

platform

platlibdir

prefix

ps1

ps2

setdlopenflags()

set_int_max_str_digits()

setprofile()

setrecursionlimit()

setswitchinterval()

settrace()

set_asyncgen_hooks()

set_coroutine_origin_tracking_depth()

activate_stack_trampoline()

deactivate_stack_trampoline()

is_stack_trampoline_active()

_enablelegacywindowsfsencoding()

stdin

stdout

stderr

__stdin__

__stdout__

__stderr__

stdlib_module_names

thread_info

name

lock

version

tracebacklimit

unraisablehook()

version

api_version

version_info

warnoptions

winver

_xoptions

sys.monitoring — Monitoramento de eventos de execução

Identificadores de ferramenta

Registro e uso de ferramentas

use_tool_id()

free_tool_id()

get_tool()

Eventos

Eventos locais

Eventos auxiliares

Outros eventos

O evento STOP_ITERATION

Ativação e desativação de eventos

Definir eventos globalmente

get_events()

set_events()

Eventos por objeto código

get_local_events()

set_local_events()

Desativação de eventos

DISABLE

restart_events()

Registro de funções de retorno de chamada

register_callback()

Argumentos da função de retorno de chamada

MISSING

sysconfig — Fornece acesso às informações de configuração do Python

Variáveis de configuração

get_config_vars()

get_config_var()

Caminhos de instalação

Esquema de usuário

posix_user

nt_user

osx_framework_user

Esquema de home

posix_home

Esquema de prefixo

posix_prefix

nt

Funções de caminho de instalação

get_scheme_names()

get_default_scheme()

get_preferred_scheme()

_get_preferred_schemes()

get_path_names()

get_path()

get_paths()

Outras funções

get_python_version()

get_platform()

is_python_build()

parse_config_h()

get_config_h_filename()

get_makefile_filename()

Usando o módulo sysconfig como um Script

builtins — Objetos embutidos

__main__ — Ambiente de código principal

__name__ == '__main__'

O que é o “ambiente de código principal”?

Uso idiomático

Considerações sobre pacotes

__main__.py em pacotes Python

Uso idiomático

import __main__

warnings — Warning control

Categorias de avisos

O filtro de avisos

Describing Warning Filters

Filtro de avisos padrão

Overriding the default filter

Temporarily Suppressing Warnings

Testing Warnings

Updating Code For New Versions of Dependencies

Available Functions

warn()

warn_explicit()

showwarning()

formatwarning()

filterwarnings()

simplefilter()

resetwarnings()

deprecated()

Available Context Managers

catch_warnings

dataclasses — Data Classes

Conteúdo do módulo

dataclass()

field()

Field

fields()

asdict()

astuple()

make_dataclass()

replace()

is_dataclass()

MISSING

KW_ONLY

FrozenInstanceError

Processamento pós-inicialização

__post_init__()

Variáveis de classe

Variáveis de inicialização apenas

Frozen instances

Herança

Re-ordering of keyword-only parameters in __init__()

Funções padrão de fábrica

Valores padrão mutáveis

Descriptor-typed fields

contextlib — Utilities for with-statement contexts

Utilitários

AbstractContextManager

AbstractAsyncContextManager

contextmanager()

asynccontextmanager()

closing()

aclosing()

nullcontext()

suppress()

redirect_stdout()

redirect_stderr()

chdir()

ContextDecorator

AsyncContextDecorator

ExitStack

enter_context()

push()

callback()

pop_all()

close()

AsyncExitStack

enter_async_context()

push_async_exit()

push_async_callback()

aclose()

Exemplos e receitas

Supporting a variable number of context managers

Catching exceptions from __enter__ methods

Cleaning up in an __enter__ implementation

Replacing any use of try-finally and flag variables

Using a context manager as a function decorator

Single use, reusable and reentrant context managers

Reentrant context managers

Gerenciadores de contexto reutilizáveis

abc — Abstract Base Classes

ABC

ABCMeta

register()

__subclasshook__()

abstractmethod()

abstractclassmethod()

abstractstaticmethod()

abstractproperty()

get_cache_token()

update_abstractmethods()

atexit — Manipuladores de saída

register()

unregister()

Exemplo do atexit

traceback — Imprime ou recupera um traceback da pilha

Funções de nível de módulo

print_tb()

print_exception()

print_exc()

print_last()

print_stack()

extract_tb()

extract_stack()

format_list()

format_exception_only()

format_exception()

format_exc()

format_tb()

format_stack()

clear_frames()

walk_stack()

walk_tb()

TracebackException Objects

TracebackException

__cause__

__context__

exceptions

__suppress_context__

__notes__

stack

exc_type

exc_type_str

filename

lineno

end_lineno

text

offset

end_offset

msg

from_exception()

print()

format()

format_exception_only()

StackSummary Objects

StackSummary

extract()

from_list()

format()

format_frame_summary()

FrameSummary Objects

FrameSummary

filename

lineno

name

line

Examples of Using the Module-Level Functions

Examples of Using TracebackException

__future__ — Definições de instruções future

Conteúdo do módulo

_Feature

getOptionalRelease()

getMandatoryRelease()

compiler_flag

gc — Interface para o coletor de lixo

enable()

disable()

isenabled()

collect()

set_debug()

get_debug()

get_objects()

get_stats()

set_threshold()

get_count()

get_threshold()

get_referrers()

get_referents()

is_tracked()

is_finalized()

freeze()

unfreeze()

get_freeze_count()

garbage

callbacks

DEBUG_STATS

DEBUG_COLLECTABLE

DEBUG_UNCOLLECTABLE

DEBUG_SAVEALL

DEBUG_LEAK

inspect — Inspect live objects

Tipos e membros

getmembers()

getmembers_static()

getmodulename()

ismodule()

isclass()

ismethod()

isfunction()

isgeneratorfunction()

isgenerator()

iscoroutinefunction()

markcoroutinefunction()

iscoroutine()

isawaitable()

isasyncgenfunction()

isasyncgen()

istraceback()

isframe()

iscode()

isbuiltin()

ismethodwrapper()

isroutine()

isabstract()

ismethoddescriptor()

isdatadescriptor()

isgetsetdescriptor()

ismemberdescriptor()

Retrieving source code

getdoc()

getcomments()

getfile()

getmodule()

getsourcefile()

getsourcelines()

getsource()

cleandoc()

Introspecting callables with the Signature object

signature()

Signature

empty

parameters

return_annotation

bind()

bind_partial()

replace()

format()

from_callable()

Parameter

empty

name

default

annotation

kind

description

replace()

BoundArguments

arguments

args

kwargs

signature

apply_defaults()

Classes e funções

getclasstree()

getfullargspec()

getargvalues()

formatargvalues()

getmro()

getcallargs()

getclosurevars()

unwrap()

get_annotations()

A pilha to interpretador

FrameInfo

frame

filename

lineno

function

code_context

index

positions

Traceback

filename

lineno

function

code_context

index

positions

getframeinfo()

getouterframes()

getinnerframes()

currentframe()

stack()

trace()

Fetching attributes statically

getattr_static()

Current State of Generators, Coroutines, and Asynchronous Generators

getgeneratorstate()

getcoroutinestate()

getasyncgenstate()

getgeneratorlocals()

getcoroutinelocals()

getasyncgenlocals()

Code Objects Bit Flags

CO_OPTIMIZED

CO_NEWLOCALS

CO_VARARGS

CO_VARKEYWORDS

CO_NESTED

CO_GENERATOR

CO_COROUTINE

CO_ITERABLE_COROUTINE

CO_ASYNC_GENERATOR

Buffer flags

BufferFlags

SIMPLE

WRITABLE

FORMAT

ND

STRIDES

C_CONTIGUOUS

F_CONTIGUOUS

ANY_CONTIGUOUS

INDIRECT

CONTIG

CONTIG_RO

STRIDED

STRIDED_RO

RECORDS

RECORDS_RO

FULL

FULL_RO

READ

WRITE

Interface de linha de comando

site — Site-specific configuration hook

sitecustomize

usercustomize

Configuração Readline

Conteúdo do módulo

PREFIXES

ENABLE_USER_SITE

USER_SITE

USER_BASE

main()

addsitedir()

getsitepackages()

getuserbase()

getusersitepackages()

Interface de linha de comando

sys — Parâmetros e funções específicas do sistema

Este módulo fornece acesso a algumas variáveis usadas ou mantidas pelo interpretador e a funções que interagem fortemente com o interpretador. Sempre disponível.

sys.abiflags

Em sistemas POSIX onde Python foi construído com o script configure padrão, ele contém os sinalizadores ABI conforme especificado por PEP 3149 [https://peps.python.org/pep-3149/].

Adicionado na versão 3.2.

Alterado na versão 3.8: Os sinalizadores padrões se tornaram uma string vazia (o sinalizador m para pymalloc foi removido).

Disponibilidade

sys.addaudithook(hook)

Anexa o hook chamável à lista de ganchos de auditoria ativos para o (sub)interpretador atual.

Quando um evento de auditoria é levantado através da função sys.audit(), cada gancho será chamado na ordem em que foi adicionado com o nome do evento e a tupla de argumentos. Ganchos nativos adicionados por PySys_AddAuditHook() são chamados primeiro, seguidos por ganchos adicionados no (sub)interpretador atual. Os ganchos podem registrar o evento, levantar uma exceção para cancelar a operação ou encerrar o processo completamente.

Observe que os ganchos de auditoria são principalmente para coletar informações sobre ações internas ou não observáveis, seja por Python ou bibliotecas escritas em Python. Eles não são adequados para implementar um ambiente isolado estilo “sandbox”. Em particular, o código malicioso pode desabilitar ou ignorar os ganchos adicionados usando esta função. No mínimo, quaisquer ganchos sensíveis à segurança devem ser adicionados usando a API C PySys_AddAuditHook() antes de inicializar o tempo de execução, e quaisquer módulos que permitam modificação arbitrária da memória (como ctypes) devem ser completamente removidos ou monitorados de perto.

Chamar sys.addaudithook() levantará um evento de auditoria denominado sys.addaudithook sem argumentos. Se qualquer gancho existente levantar uma exceção derivada de RuntimeError, o novo gancho não será adicionado e a exceção será suprimida. Como resultado, os chamadores não podem presumir que seu gancho foi adicionado, a menos que controlem todos os ganchos existentes.

Veja tabela de eventos de auditoria para todos os eventos levantados pelo CPython, e PEP 578 [https://peps.python.org/pep-0578/] para a discussão do projeto original.

Adicionado na versão 3.8.

Alterado na versão 3.8.1: Exceções derivadas de Exception, mas não de RuntimeError, não são mais suprimidas.

Detalhes da implementação do CPython: Quando o rastreamento está ativado (consulte settrace()), os ganchos do Python são rastreados apenas se o chamável tiver um membro __cantrace__ definido como um valor verdadeiro. Caso contrário, as funções de rastreamento ignorarão o gancho.

sys.argv

A lista de argumentos de linha de comando passados para um script Python. argv[0] é o nome do script (depende do sistema operacional se este é um nome de caminho completo ou não). Se o comando foi executado usando a opção de linha de comando -c para o interpretador, argv[0] é definido como a string '-c'. Se nenhum nome de script foi passado para o interpretador Python, argv[0] é a string vazia.

Para percorrer a entrada padrão ou a lista de arquivos fornecida na linha de comando, consulte o módulo fileinput.

Veja também sys.orig_argv.

Nota

No Unix, os argumentos da linha de comando são passados por bytes do sistema operacional. O Python os decodifica com a codificação do sistema de arquivos e o tratador de erros “surrogateescape”. Quando você precisar de bytes originais, você pode obtê-los por [os.fsencode(arg) for arg in sys.argv].

sys.audit(event, *args)

Levanta um evento de auditoria e aciona quaisquer ganchos de auditoria ativos. event é uma string que identifica o evento e args pode conter argumentos opcionais com mais informações sobre o evento. O número e os tipos de argumentos para um determinado evento são considerados uma API pública e estável e não devem ser modificados entre as versões.

Por exemplo, um evento de auditoria é denominado os.chdir. Este evento tem um argumento chamado path que conterá o novo diretório de trabalho solicitado.

sys.audit() chamará os ganchos de auditoria existentes, passando o nome do evento e os argumentos, e levantará novamente a primeira exceção de qualquer gancho. Em geral, se uma exceção for levantada, ela não deve ser tratada e o processo deve ser encerrado o mais rápido possível. Isso permite que as implementações de gancho decidam como responder a eventos específicos: elas podem simplesmente registrar o evento ou abortar a operação levantando uma exceção.

Ganchos são adicionados usando as funções sys.addaudithook() ou PySys_AddAuditHook().

O equivalente nativo desta função é PySys_Audit(). Usar a função nativa é preferível quando possível.

Veja tabela de eventos de auditoria para todos os eventos levantados pelo CPython.

Adicionado na versão 3.8.

sys.base_exec_prefix

Definido durante a inicialização do Python, antes de site.py ser executado, para o mesmo valor que exec_prefix. Se não estiver executando em um ambiente virtual, os valores permanecerão os mesmos; se site.py descobrir que um ambiente virtual está em uso, os valores de prefix e exec_prefix serão alterados para apontar para o ambiente virtual, enquanto base_prefix e base_exec_prefix permanecerá apontando para a instalação base do Python (aquela a partir da qual o ambiente virtual foi criado).

Adicionado na versão 3.3.

sys.base_prefix

Definido durante a inicialização do Python, antes de site.py ser executado, para o mesmo valor que prefix. Se não estiver executando em um ambiente virtual, os valores permanecerão os mesmos; se site.py descobrir que um ambiente virtual está em uso, os valores de prefix e exec_prefix serão alterados para apontar para o ambiente virtual, enquanto base_prefix e base_exec_prefix permanecerá apontando para a instalação base do Python (aquela a partir da qual o ambiente virtual foi criado).

Adicionado na versão 3.3.

sys.byteorder

Um indicador da ordem nativa de bytes. Isso terá o valor 'big' em plataformas big endian (byte mais significativo primeiro) e 'little' em plataformas little endian (byte menos significativo primeiro).

sys.builtin_module_names

Uma tupla de strings contendo os nomes de todos os módulos compilados neste interpretador Python. (Esta informação não está disponível de nenhuma outra forma — modules.keys() apenas lista os módulos importados.)

Veja também a lista de sys.stdlib_module_names.

sys.call_tracing(func, args)

Chama func(*args), enquanto o rastreamento está habilitado. O estado de rastreamento é salvo e restaurado posteriormente. Isso deve ser chamado de um depurador de um ponto de verificação, para depurar ou analisar o desempenho recursivamente algum outro código.

O rastreamento é suspenso ao chamar uma função de rastreamento definida por settrace() ou setprofile() para evitar recursão infinita. call_tracing() habilita a recursão explícita da função de rastreamento.

sys.copyright

Uma string contendo os direitos autorais pertencentes ao interpretador Python.

sys._clear_type_cache()

Limpa o cache de tipo interno. O cache de tipo é usado para acelerar pesquisas de atributos e métodos. Use a função apenas para descartar referências desnecessárias durante a depuração de vazamento de referência.

Esta função deve ser usada apenas para fins internos e especializados.

Obsoleto desde a versão 3.13: Em vez disso, use a função mais geral _clear_internal_caches().

sys._clear_internal_caches()

Limpa todos os caches internos relacionados ao desempenho. Use esta função somente para liberar referências e blocos de memória desnecessários ao procurar por vazamentos.

Adicionado na versão 3.13.

sys._current_frames()

Retorna um dicionário mapeando o identificador de cada encadeamento (thread) para o quadro de pilha mais alto atualmente ativo nesse encadeamento no momento em que a função é chamada. Observe que as funções no módulo traceback podem construir a pilha de chamadas dado tal quadro.

Isso é mais útil para fazer a depuração de impasses: esta função não requer a cooperação das threads em impasse e as pilhas de chamadas de tais threads são congeladas enquanto permanecerem em impasse (deadlock). O quadro retornado para uma thread sem impasse pode não ter nenhuma relação com a atividade atual da thread no momento em que o código de chamada examina o quadro.

Esta função deve ser usada apenas para fins internos e especializados.

Levanta um evento de auditoria sys._current_frames sem argumentos.

sys._current_exceptions()

Retorna um dicionário mapeando o identificador de cada encadeamento (thread) para a exceção mais alta atualmente ativo nesse encadeamento no momento em que a função é chamada. Se um encadeamento não estiver manipulando uma exceção no momento, ele não será incluído no dicionário de resultados.

Isso é mais útil para criação de perfil estatístico.

Esta função deve ser usada apenas para fins internos e especializados.

Levanta um evento de auditoria sys._current_exceptions sem argumentos.

Alterado na versão 3.12: Cada valor no dicionário agora é uma única instância de exceção, em vez de uma tupla de 3 elementos, como retornado de sys.exc_info().

sys.breakpointhook()

Esta função de gancho é chamada pela função embutida breakpoint(). Por padrão, ela leva você ao depurador pdb, mas pode ser configurado para qualquer outra função para que você possa escolher qual depurador será usado.

A assinatura dessa função depende do que ela chama. Por exemplo, a ligação padrão (por exemplo, pdb.set_trace()) não espera nenhum argumento, mas você pode vinculá-la a uma função que espera argumentos adicionais (posicionais e/ou nomeados). A função embutida breakpoint() passa seus *args e **kws diretamente. O que quer que breakpointhooks() retorne é retornado de breakpoint().

A implementação padrão primeiro consulta a variável de ambiente PYTHONBREAKPOINT. Se for definido como "0", então esta função retorna imediatamente; ou seja, é um no-op. Se a variável de ambiente não for definida, ou for definida como uma string vazia, pdb.set_trace() será chamado. Caso contrário, essa variável deve nomear uma função a ser executada, usando a nomenclatura de importação pontilhada do Python, por exemplo package.subpackage.module.function. Neste caso, package.subpackage.module seria importado e o módulo resultante deve ter um chamável chamado function(). Isso é executado, passando *args e **kws, e qualquer que seja o retorno de function(), sys.breakpointhook() retorna para a função embutida breakpoint().

Observe que se algo der errado ao importar o chamável nomeado por PYTHONBREAKPOINT, uma RuntimeWarning é relatado e o ponto de interrupção é ignorado.

Observe também que se sys.breakpointhook() for sobrescrito programaticamente, PYTHONBREAKPOINT não será consultado.

Adicionado na versão 3.7.

sys._debugmallocstats()

Imprima informações de baixo nível para stderr sobre o estado do alocador de memória do CPython.

Se o Python for compilado no modo de depuração (opção --with-pydebug do configure), ele também executa algumas verificações de consistência interna custosas.

Adicionado na versão 3.3.

Detalhes da implementação do CPython: Esta função é específica para CPython. O formato de saída exato não é definido aqui e pode mudar.

sys.dllhandle

Número inteiro que especifica o identificador da DLL do Python.

Disponibilidade

sys.displayhook(value)

Se value não for None, esta função imprime repr(value) em sys.stdout, e salva value em builtins._. Se repr(value) não for codificável para sys.stdout.encoding com o tratador de erros sys.stdout.errors (que provavelmente é 'strict'), codifica-o para sys.stdout.encoding com tratador de erros 'backslashreplace'.

sys.displayhook é chamado no resultado da avaliação de uma expressão inserida em uma sessão interativa do Python. A exibição desses valores pode ser personalizada atribuindo outra função de um argumento a sys.displayhook.

Pseudocódigo:

def displayhook(value):
    if value is None:
        return
    # Set '_' to None to avoid recursion
    builtins._ = None
    text = repr(value)
    try:
        sys.stdout.write(text)
    except UnicodeEncodeError:
        bytes = text.encode(sys.stdout.encoding, 'backslashreplace')
        if hasattr(sys.stdout, 'buffer'):
            sys.stdout.buffer.write(bytes)
        else:
            text = bytes.decode(sys.stdout.encoding, 'strict')
            sys.stdout.write(text)
    sys.stdout.write("\n")
    builtins._ = value

Alterado na versão 3.2: Usa o tratador de erros 'backslashreplace' ao ser levantada UnicodeEncodeError.

sys.dont_write_bytecode

Se isso for true, o Python não tentará escrever arquivos .pyc na importação de módulos fonte. Este valor é inicialmente definido como True ou False dependendo da opção de linha de comando -B e da variável de ambiente PYTHONDONTWRITEBYTECODE, mas você mesmo pode configurá-lo para controlar geração de arquivo bytecode.

sys._emscripten_info

Um tupla nomeada contendo informações sobre o ambiente na plataforma wasm32-emscripten. A tupla nomeada é provisória e pode mudar no futuro.

_emscripten_info.emscripten_version

Versão emscripten como tupla de ints (maior, menor, micro), por exemplo (3, 1, 8).

_emscripten_info.runtime

String em tempo de execução; por exemplo, user-agent do navegador, 'Node.js v14.18.2', ou 'UNKNOWN'.

_emscripten_info.pthreads

True se o Python for compilado com suporte a pthreads do Emscripten.

_emscripten_info.shared_memory

True se o Python for compilado com suporte a memória compartilhada.

Disponibilidade

Adicionado na versão 3.11.

sys.pycache_prefix

Se for definido (não None), o Python escreverá arquivos de cache de bytecode .pyc para (e os lerá de) uma árvore de diretórios paralela com raiz neste diretório, em vez de diretórios __pycache__ na árvore de código-fonte. Quaisquer diretórios __pycache__ na árvore de código-fonte serão ignorados e novos arquivos .pyc gravados dentro do prefixo pycache. Portanto, se você usar compileall como uma etapa de pré-compilação, certifique-se de executá-lo com o mesmo prefixo pycache (se houver) que usará em tempo de execução.

Um caminho relativo é interpretado em relação ao diretório de trabalho atual.

Este valor é definido inicialmente com base no valor da opção de linha de comando -X pycache_prefix=PATH ou na variável de ambiente PYTHONPYCACHEPREFIX (a linha de comando tem precedência). Se nenhum estiver definido, é None.

Adicionado na versão 3.8.

sys.excepthook(type, value, traceback)

Esta função imprime um determinado traceback (situação da pilha de execução) e exceção para sys.stderr.

Quando uma exceção além da SystemExit é levantada e não capturada, o interpretador chama sys.excepthook com três argumentos, a classe de exceção, a instância de exceção e um objeto traceback. Em uma sessão interativa, isso acontece logo antes de o controle retornar ao prompt; em um programa Python, isso acontece pouco antes de o programa ser encerrado. A manipulação de tais exceções de nível superior pode ser personalizada atribuindo outra função de três argumentos a sys.excepthook.

Levanta um evento de auditoria sys.excepthook com os argumentos hook, type, value, traceback quando ocorre uma exceção não capturada. Se nenhum gancho foi definido, hook pode ser None. Se algum gancho gerar uma exceção derivada de RuntimeError, a chamada para o gancho será suprimida. Caso contrário, a exceção de gancho de auditoria será relatada como não aumentável e sys.excepthook será chamado.

Ver também

A função sys.unraisablehook() lida com exceções que não podem ser levantadas e a função threading.excepthook() trata exceções levantadas por threading.Thread.run().

sys.__breakpointhook__

sys.__displayhook__

sys.__excepthook__

sys.__unraisablehook__

Esses objetos contêm os valores originais de breakpointhook, displayhook, excepthook e unraisablehook no início do programa. Eles são salvos para que breakpointhook, displayhook e excepthook, unraisablehook possam ser restaurados caso sejam substituídos por objetos quebrados ou alternativos.

Adicionado na versão 3.7: __breakpointhook__

Adicionado na versão 3.8: __unraisablehook__

sys.exception()

Esta função, quando chamada enquanto um tratador de exceção está em execução (como uma cláusula except ou except*), retorna a instância da exceção que foi capturada por este tratador. Quando os manipuladores de exceção estão aninhados um dentro do outro, apenas a exceção tratada pelo tratador mais interno é acessível.

Se nenhum tratador de exceções estiver em execução, esta função retornará None.

Adicionado na versão 3.11.

sys.exc_info()

Essa função retorna a representação de estilo antigo da exceção tratada. Se uma exceção e é tratada atualmente (de forma que exception() retornaria e), exc_info() retorna a tupla (type(e), e, e.__traceback__). Ou seja, uma tupla contendo o tipo da exceção (uma subclasse de BaseException), a própria exceção e um objeto de traceback que normalmente encapsula a pilha de chamadas no ponto em que a última exceção ocorreu.

Se nenhuma exceção estiver sendo tratada em qualquer lugar da pilha, esta função retornará uma tupla contendo três valores None.

Alterado na versão 3.11: Os campos type e traceback agora são derivados do value (a instância da exceção), portanto, quando uma exceção é modificada enquanto está sendo tratada, as alterações são refletidas nos resultados das subsequentes chamadas para exc_info().

sys.exec_prefix

Uma string que fornece o prefixo do diretório específico do site onde os arquivos Python dependentes da plataforma são instalados; por padrão, também é '/usr/local'. Isso pode ser definido em tempo de compilação com o argumento --exec-prefix para o script configure. Especificamente, todos os arquivos de configuração (por exemplo, o arquivo de cabeçalho pyconfig.h) são instalados no diretório exec_prefix/lib/pythonX.Y/config, e os módulos da biblioteca compartilhada são instalados em exec_prefix/lib/pythonX.Y/lib-dynload, onde X.Y é o número da versão do Python, por exemplo 3.2.

Nota

Se um ambiente virtual estiver em vigor, este valor será alterado em site.py para apontar para o ambiente virtual. O valor para a instalação do Python ainda estará disponível, via base_exec_prefix.

sys.executable

Uma string que fornece o caminho absoluto do binário executável para o interpretador Python, em sistemas onde isso faz sentido. Se o Python não conseguir recuperar o caminho real para seu executável, sys.executable será uma string vazia ou None.

sys.exit([arg])

Levanta uma exceção SystemExit, sinalizando a intenção de sair do interpretador.

O argumento opcional arg pode ser um número inteiro dando o status de saída (o padrão é zero) ou outro tipo de objeto. Se for um número inteiro, zero é considerado “terminação bem-sucedida” e qualquer valor diferente de zero é considerado “terminação anormal” por shells e similares. A maioria dos sistemas exige que ele esteja no intervalo de 0 a 127 e, caso contrário, produz resultados indefinidos. Alguns sistemas têm uma convenção para atribuir significados específicos a códigos de saída específicos, mas estes são geralmente subdesenvolvidos; Programas Unix geralmente usam 2 para erros de sintaxe de linha de comando e 1 para todos os outros tipos de erros. Se outro tipo de objeto for passado, None é equivalente a passar zero, e qualquer outro objeto é impresso em stderr e resulta em um código de saída de 1. Em particular, sys.exit( "alguma mensagem de erro") é uma maneira rápida de sair de um programa quando ocorre um erro.

Uma vez que exit() em última análise, “apenas” gera uma exceção, ele só sairá do processo quando chamado do thread principal e a exceção não é interceptada. As ações de limpeza especificadas pelas cláusulas finally de instruções try são honradas e é possível interceptar a tentativa de saída em um nível externo.

Alterado na versão 3.6: Se ocorrer um erro na limpeza após o interpretador Python ter capturado SystemExit (como um erro ao liberar dados em buffer nos fluxos padrão), o status de saída é alterado para 120.

sys.flags

A tupla nomeada flags expõe o status dos sinalizadores de linha de comando. Os atributos são somente leitura.

flags.debug

-d

flags.inspect

-i

flags.interactive

-i

flags.isolated

-I

flags.optimize

-O ou -OO

flags.dont_write_bytecode

-B

flags.no_user_site

-s

flags.no_site

-S

flags.ignore_environment

-E

flags.verbose

-v

flags.bytes_warning

-b

flags.quiet

-q

flags.hash_randomization

-R

flags.dev_mode

-X dev (Modo de Desenvolvimento do Python)

flags.utf8_mode

-X utf8

flags.safe_path

-P

flags.int_max_str_digits

-X int_max_str_digits (limitação de comprimento de string na conversão para inteiro)

flags.warn_default_encoding

-X warn_default_encoding

Alterado na versão 3.2: Adicionado o atributo quiet para o novo sinalizador -q.

Adicionado na versão 3.2.3: O atributo hash_randomization.

Alterado na versão 3.3: Removido o atributo obsoleto division_warning.

Alterado na versão 3.4: Adicionado o atributo isolated para o sinalizador -I isolated.

Alterado na versão 3.7: Adicionado o atributo dev_mode para o novo Modo de Desenvolvimento do Python e o atributo utf8_mode para o novo sinalizador -X utf8.

Alterado na versão 3.10: Adicionado o atributo warn_default_encoding para o sinalizador -X warn_default_encoding.

Alterado na versão 3.11: Adicionado o atributo safe_path para a opção -P.

Alterado na versão 3.11: Adicionado o atributo int_max_str_digits.

sys.float_info

Uma tupla nomeada contendo informações sobre o tipo float, ponto flutuante. Ele contém informações de baixo nível sobre a precisão e a representação interna. Os valores correspondem às várias constantes de ponto flutuante definidas no arquivo de cabeçalho padrão float.h para a linguagem de programação ‘C’; consulte a seção 5.2.4.2.2 do padrão ISO/IEC C de 1999 [C99], ‘Características dos tipos flutuantes’, para obter detalhes.

Atributos da tupla nomeada float_info

atributo

macro em float.h

explicação

float_info.epsilon

DBL_EPSILON

diferença entre 1,0 e o menor valor maior que 1,0 que pode ser representado como ponto flutuante.

Veja também math.ulp.()

float_info.dig

DBL_DIG

O número máximo de dígitos decimais que podem ser fielmente representados em um ponto flutuante; veja abaixo.

float_info.mant_dig

DBL_MANT_DIG

Precisão do ponto flutuante: o número de dígitos de base radix no significando de um ponto flutuante.

float_info.max

DBL_MAX

O ponto flutuante finito positivo máximo representável.

float_info.max_exp

DBL_MAX_EXP

O inteiro máximo e de tal modo que radix**(e-1) é um ponto flutuante finito representável.

float_info.max_10_exp

DBL_MAX_10_EXP

O inteiro máximo e de tal modo que 10**e é um intervalo de pontos flutuantes finitos representáveis.

float_info.min

DBL_MIN

O ponto flutuante normalizado positivo mínimo representável.

Use math.ulp(0.0) para obter o menor ponto flutuante representável positivo desnormalizado.

float_info.min_exp

DBL_MIN_EXP

O inteiro mínimo e de tal modo que radix**(e-1) é um ponto flutuante normalizado.

float_info.min_10_exp

DBL_MIN_10_EXP

O inteiro mínimo e de tal modo que 10**e é um ponto flutuante normalizado.

float_info.radix

FLT_RADIX

A raiz da representação do expoente.

float_info.rounds

FLT_ROUNDS

Um inteiro representando o modo de arredondamento para aritmética de ponto flutuante. Isso reflete o valor da macro do sistema FLT_ROUNDS no momento da inicialização do interpretador:

-1: indeterminável

0: em direção a zero

1: para o mais próximo

2: em direção ao infinito positivo

3: em direção ao infinito negativo

Todos os outros valores para FLT_ROUNDS caracterizam o comportamento de arredondamento definido pela implementação.

O atributo sys.float_info.dig precisa de mais explicações. Se s for qualquer string representando um número decimal com no máximo sys.float_info.dig dígitos significativos, então converter s para ponto flutuante e vice-versa recuperará uma string representando o mesmo decimal valor:

>>> import sys
>>> sys.float_info.dig
15
>>> s = '3.14159265358979'    # decimal string with 15 significant digits
>>> format(float(s), '.15g')  # convert to float and back -> same value
'3.14159265358979'

Mas para strings com mais de sys.float_info.dig dígitos significativos, isso nem sempre é verdade:

>>> s = '9876543211234567'    # 16 significant digits is too many!
>>> format(float(s), '.16g')  # conversion changes value
'9876543211234568'

sys.float_repr_style

Uma string indicando como a função repr() se comporta para floats. Se a string tem valor 'short' então para um ponto flutuante finito x, repr(x) visa produzir uma string curta com a propriedade que float(repr(x)) == x. Este é o comportamento usual no Python 3.1 e posterior. Caso contrário, float_repr_style tem valor 'legacy' e repr(x) se comporta da mesma forma que nas versões do Python anteriores a 3.1.

Adicionado na versão 3.1.

sys.getallocatedblocks()

Return the number of memory blocks currently allocated by the interpreter, regardless of their size. This function is mainly useful for tracking and debugging memory leaks. Because of the interpreter’s internal caches, the result can vary from call to call; you may have to call _clear_internal_caches() and gc.collect() to get more predictable results.

Se uma construção ou implementação do Python não puder computar razoavelmente essas informações, getallocatedblocks() poderá retornar 0 em seu lugar.

Adicionado na versão 3.4.

sys.getunicodeinternedsize()

Retorna o número de objetos unicode que foram internalizados.

Adicionado na versão 3.12.

sys.getandroidapilevel()

Retorna o nível de API de tempo de construção do Android como um inteiro. Isso representa a versão mínima do Android em que esta construção do Python pode ser executada. Para obter informações sobre a versão de tempo de execução, consulte platform.android_ver().

Disponibilidade

Adicionado na versão 3.7.

sys.getdefaultencoding()

Retorna o nome da codificação de string padrão atual usada pela implementação Unicode.

sys.getdlopenflags()

Retorna o valor atual dos sinalizadores que são usados para chamadas dlopen(). Nomes simbólicos para os valores dos sinalizadores podem ser encontrados no módulo os (constantes RTLD_xxx, por exemplo os.RTLD_LAZY).

Disponibilidade

sys.getfilesystemencoding()

Obtém o codificação do sistema de arquivos: a codificação usada com o manipulador de erros do sistema de arquivos para converter entre nomes de arquivos Unicode e nomes de arquivos de bytes. O manipulador de erros do sistema de arquivos é retornado de getfilesystemencodeerrors().

Para melhor compatibilidade, str deve ser usado para nomes de arquivos em todos os casos, embora a representação de nomes de arquivos como bytes também seja suportada. As funções que aceitam ou retornam nomes de arquivo devem suportar str ou bytes e converter internamente para a representação preferencial do sistema.

os.fsencode() e os.fsdecode() devem ser usados para garantir que a codificação correta e o modo de erros sejam usados.

O tratador de erros e codificação do sistema de arquivos são configurados na inicialização do Python pela função PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors do PyConfig.

Alterado na versão 3.2: O resultado de getfilesystemencoding() não pode mais ser None.

Alterado na versão 3.6: O Windows não tem mais garantia de retornar 'mbcs'. Veja PEP 529 [https://peps.python.org/pep-0529/] e _enablelegacywindowsfsencoding() para mais informações.

Alterado na versão 3.7: Retorna 'utf-8' se o Modo UTF-8 do Python estiver ativado.

sys.getfilesystemencodeerrors()

Obtém o manipulador de erros do sistema de arquivos: o manipulador de erros usado com a codificação do sistema de arquivos para converter entre nomes de arquivos Unicode e nomes de arquivos de bytes. A codificação do sistema de arquivos é retornado de getfilesystemencoding().

os.fsencode() e os.fsdecode() devem ser usados para garantir que a codificação correta e o modo de erros sejam usados.

O tratador de erros e codificação do sistema de arquivos são configurados na inicialização do Python pela função PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors do PyConfig.

Adicionado na versão 3.6.

sys.get_int_max_str_digits()

Retorna o valor atual para a limitação de comprimento de string na conversão para inteiro. Veja também set_int_max_str_digits().

Adicionado na versão 3.11.

sys.getrefcount(object)

Retorna a contagem de referências do object. A contagem retornada é geralmente um valor maior do que o esperado, porque inclui a referência (temporária) como um argumento para getrefcount().

Observe que o valor retornado pode não refletir realmente quantas referências ao objeto são realmente mantidas. Por exemplo, alguns objetos são imortais e têm uma refcount muito alta que não reflete o número real de referências. Consequentemente, não confie no valor retornado para ser preciso, exceto um valor de 0 ou 1.

Alterado na versão 3.12: Objetos imortais têm contagens de referência muito grandes que não correspondem ao número real de referências ao objeto.

sys.getrecursionlimit()

Retorna o valor atual do limite de recursão, a profundidade máxima da pilha do interpretador Python. Esse limite evita que a recursão infinita cause um estouro da pilha C e falhe o Python. Pode ser definido por setrecursionlimit().

sys.getsizeof(object[, default])

Retorna o tamanho de um objeto em bytes. O objeto pode ser qualquer tipo de objeto. Todos os objetos embutidos retornarão resultados corretos, mas isso não precisa ser verdadeiro para extensões de terceiros, pois é específico da implementação.

Apenas o consumo de memória diretamente atribuído ao objeto é contabilizado, não o consumo de memória dos objetos a que ele se refere.

Se fornecido, default será retornado se o objeto não fornecer meios para recuperar o tamanho. Caso contrário, uma exceção TypeError será levantada.

getsizeof() chama o método __sizeof__ do objeto e adiciona uma sobrecarga adicional do coletor de lixo se o objeto for gerenciado pelo coletor de lixo.

Consulte receita de tamanho recursivo [https://code.activestate.com/recipes/577504-compute-memory-footprint-of-an-object-and-its-cont/] para obter um exemplo de uso de getsizeof() recursivamente para encontrar o tamanho dos contêineres e todo o seu conteúdo.

sys.getswitchinterval()

Retorna o “intervalo de troca de thread” do interpretador; veja setswitchinterval().

Adicionado na versão 3.2.

sys._getframe([depth])

Retorna um objeto quadro da pilha de chamadas. Se o inteiro opcional depth for fornecido, retorna o objeto de quadro que muitos chamam abaixo do topo da pilha. Se for mais profundo do que a pilha de chamadas, ValueError é levantada. O padrão para depth é zero, retornando o quadro no topo da pilha de chamadas.

Levanta um evento de auditoria sys._getframe com o argumento frame.

Detalhes da implementação do CPython: Esta função deve ser usada apenas para fins internos e especializados. Não é garantido que exista em todas as implementações do Python.

sys._getframemodulename([depth])

Retorna o nome de um módulo da pilha de chamadas. Se o inteiro opcional depth for fornecido, retorna o módulo que muitas chamadas abaixo do topo da pilha. Se for mais profundo do que a pilha de chamadas, ou se o módulo não for identificável, None é retornado. O padrão para depth é zero, retornando o módulo no topo da pilha de chamadas.

Levanta um evento de auditoria sys._getframemodulename com o argumento depth.

Detalhes da implementação do CPython: Esta função deve ser usada apenas para fins internos e especializados. Não é garantido que exista em todas as implementações do Python.

sys.getprofile()

Obtém a função do criador de perfil conforme definido por setprofile().

sys.gettrace()

Obtém a função trace conforme definido por settrace().

Detalhes da implementação do CPython: A função gettrace() destina-se apenas à implementação de depuradores, perfiladores, ferramentas de cobertura e similares. Seu comportamento faz parte da plataforma de implementação, e não da definição da linguagem e, portanto, pode não estar disponível em todas as implementações do Python.

sys.getwindowsversion()

Retorna uma tupla nomeada que descreve a versão do Windows em execução no momento. Os elementos nomeados são major, minor, build, platform, service_pack, service_pack_minor, service_pack_major, suite_mask, product_type e platform_version. service_pack contém uma string, platform_version uma tupla de 3 elementos e todos os outros valores são inteiros. Os componentes também podem ser acessados pelo nome, então sys.getwindowsversion()[0] é equivalente a sys.getwindowsversion().major. Para compatibilidade com versões anteriores, apenas os primeiros 5 elementos são recuperáveis por indexação.

platform será 2 (VER_PLATFORM_WIN32_NT).

product_type pode ser um dos seguintes valores:

Constante

Significado

1 (VER_NT_WORKSTATION)

O sistema é uma estação de trabalho

2 (VER_NT_DOMAIN_CONTROLLER)

O sistema é um controlador de domínio.

3 (VER_NT_SERVER)

O sistema é um servidor, mas não um controlador de domínio.

Esta função atua como um envólucro em volta da função Win32 GetVersionEx(); consulte a documentação da Microsoft em OSVERSIONINFOEX() para obter mais informações sobre esses campos.

platform_version retorna a versão principal, a versão secundária e o número de compilação do sistema operacional atual, em vez da versão que está sendo emulada para o processo. Destina-se a ser usado no registro, e não na detecção de recursos.

Nota

platform_version deriva a versão de kernel32.dll que pode ser de uma versão diferente da versão do sistema operacional. Use o módulo platform para obter a versão precisa do sistema operacional.

Disponibilidade

Alterado na versão 3.2: Alterado para uma tupla nomeada e adicionado service_pack_minor, service_pack_major, suite_mask e product_type.

Alterado na versão 3.6: Adicionado platform_version

sys.get_asyncgen_hooks()

Retorna um objeto asyncgen_hooks, que é semelhante a um namedtuple no formato (firstiter, finalizer), onde firstiter e finalizer devem ser None ou funções que recebem um iterador gerador assíncrono como argumento e são usadas para agendar a finalização de um gerador assíncrono por um laço de eventos.

Adicionado na versão 3.6: Veja PEP 525 [https://peps.python.org/pep-0525/] para mais detalhes.

Nota

Esta função foi adicionada provisoriamente (veja PEP 411 [https://peps.python.org/pep-0411/] para detalhes.)

sys.get_coroutine_origin_tracking_depth()

Obtém a profundidade de rastreamento da origem da corrotina atual, conforme definido por set_coroutine_origin_tracking_depth().

Adicionado na versão 3.7.

Nota

Esta função foi adicionada provisoriamente (veja PEP 411 [https://peps.python.org/pep-0411/] para detalhes.) Use-a apenas para propósitos de depuração.

sys.hash_info

Uma tupla nomeada fornecendo parâmetros da implementação de hash numérico. Para mais detalhes sobre hashing de tipos numéricos, veja Hashing de tipos numéricos.

hash_info.width

A largura em bits usada para fazer hash de valores

hash_info.modulus

O módulo primo P usado para esquema de hash numérico

hash_info.inf

O valor de hash retornado para um infinito positivo

hash_info.nan

(Este atributo não é mais usado)

hash_info.imag

O multiplicador usado para a parte imaginária de um número complexo

hash_info.algorithm

O nome do algoritmo para hash de str, bytes e memoryview

hash_info.hash_bits

O tamanho da saída interna do algoritmo de hash

hash_info.seed_bits

O tamanho da chave semente do algoritmo hash

Adicionado na versão 3.2.

Alterado na versão 3.4: Adicionado algorithm, hash_bits e seed_bits

sys.hexversion

O número da versão codificado como um único inteiro. Isso é garantido para aumentar com cada versão, incluindo suporte adequado para lançamentos de não produção. Por exemplo, para testar se o interpretador Python é pelo menos a versão 1.5.2, use:

if sys.hexversion >= 0x010502F0:
    # use some advanced feature
    ...
else:
    # use an alternative implementation or warn the user
    ...

Isso é chamado hexversion já que só parece realmente significativo quando visto como o resultado de passá-lo para a função embutida hex(). A tupla nomeada sys.version_info pode ser usada para uma codificação mais amigável das mesmas informações.

Mais detalhes sobre hexversion podem ser encontrados em API e Versionamento de ABI.

sys.implementation

Um objeto que contém informações sobre a implementação do interpretador Python em execução no momento. Os atributos a seguir devem existir em todas as implementações do Python.

name é o identificador da implementação, por exemplo 'cpython'. A string real é definida pela implementação do Python, mas é garantido que seja minúscula.

version é uma tupla nomeada, no mesmo formato que sys.version_info. Ela representa a versão da implementação Python em implementation. Isso tem um significado distinto da versão específica da linguagem Python à qual o interpretador em execução no momento está em conformidade, que sys.version_info representa. Por exemplo, para PyPy 1.8 sys.implementation.version pode ser sys.version_info(1, 8, 0, 'final', 0), enquanto sys.version_info seria sys.version_info(2, 7, 2, 'final', 0). Para CPython, eles são o mesmo valor, pois é a implementação de referência.

hexversion é a versão de implementação em formato hexadecimal, como sys.hexversion.

cache_tag é a tag usada pelo mecanismo de importação nos nomes de arquivo dos módulos em cache. Por convenção, seria um composto do nome e da versão da implementação, como 'cpython-33'. No entanto, uma implementação Python pode usar algum outro valor, se apropriado. Se cache_tag for definido como None, isso indica que o cache do módulo deve ser desabilitado.

sys.implementation pode conter atributos adicionais específicos para a implementação do Python. Esses atributos não padrão devem começar com um sublinhado e não são descritos aqui. Independentemente do seu conteúdo, sys.implementation não mudará durante uma execução do interpretador, nem entre versões de implementação. (No entanto, ele pode mudar entre versões da linguagem Python.) Veja a PEP 421 [https://peps.python.org/pep-0421/] para mais informações.

Adicionado na versão 3.3.

Nota

A adição de novos atributos obrigatórios deve passar pelo processo normal de PEPs. Veja a PEP 421 [https://peps.python.org/pep-0421/] para mais informações.

sys.int_info

Uma tupla nomeada que contém informações sobre a representação interna de inteiros do Python. Os atributos são somente leitura.

int_info.bits_per_digit

O número de bits mantidos em cada dígito. Os inteiros do Python são armazenados internamente na base 2**int_info.bits_per_digit.

int_info.sizeof_digit

O tamanho em bytes do tipo C usado para representar um dígito.

int_info.default_max_str_digits

O valor padrão para sys.get_int_max_str_digits() quando não estiver explicitamente configurado.

int_info.str_digits_check_threshold

O valor mínimo diferente de zero para sys.set_int_max_str_digits(), PYTHONINTMAXSTRDIGITS ou -X int_max_str_digits.

Adicionado na versão 3.1.

Alterado na versão 3.11: Adicionados default_max_str_digits e str_digits_check_threshold.

sys.__interactivehook__

Quando esse atributo existe, seu valor é chamado automaticamente (sem argumentos) quando o interpretador é iniciado em modo interativo. Isso é feito após o arquivo PYTHONSTARTUP ser lido, para que você possa definir esse gancho lá. O módulo site define isso.

Levanta um evento de auditoria cpython.run_interactivehook com o objeto gancho como o argumento quando o gancho é chamado na inicialização.

Adicionado na versão 3.4.

sys.intern(string)

Insere string na tabela de strings “internalizadas” e retorna a string internalizada – que é a própria string ou uma cópia. Strings internalizadas são úteis para obter um pouco de desempenho na pesquisa de dicionário – se as chaves em um dicionário foram internalizadas, e a chave de pesquisa para internalizada, já que comparações de chaves (após o hash) podem ser feitas por uma comparação de ponteiros em vez de uma comparação de strings. Normalmente, os nomes usados ​​em programas Python são internalizados automaticamente, e os dicionários usados ​​para armazenar atributos de módulo, classe ou instância têm chaves internalizadas.

Strings internalizadas não são imortais; você deve manter uma referência ao valor de retorno de intern() para se beneficiar dela.

sys._is_gil_enabled()

Retorna True se a GIL estiver habiltada e False caso contrário.

Adicionado na versão 3.13.

sys.is_finalizing()

Retorna True se o interpretador Python principal estiver desligando. Retorna False caso contrário.

Veja também a exceção PythonFinalizationError.

Adicionado na versão 3.5.

sys.last_exc

Esta variável nem sempre está definida; ela é definida para a instância de exceção quando uma exceção não é tratada e o interpretador imprime uma mensagem de erro e um stack traceback. Seu uso pretendido é permitir que um usuário interativo importe um módulo depurador e se envolva na depuração post-mortem sem ter que reexecutar o comando que causou o erro. (O uso típico é import pdb; pdb.pm() para entrar no depurador post-mortem; veja o módulo pdb para mais informações.)

Adicionado na versão 3.12.

sys._is_interned(string)

Retorna True se a string fornecida for “internalizada”, False caso contrário.

Adicionado na versão 3.13.

Detalhes da implementação do CPython: Não há garantia de que exista em todas as implementações do Python.

sys.last_type

sys.last_value

sys.last_traceback

Essas três variáveis ​​estão descontinuadas; use sys.last_exc em vez disso. Elas mantêm a representação legada de sys.last_exc, conforme retornada de exc_info() acima.

sys.maxsize

Um inteiro que fornece o valor máximo que uma variável do tipo Py_ssize_t pode assumir. Geralmente é 2**31 - 1 em uma plataforma de 32 bits e 2**63 - 1 em uma plataforma de 64 bits.

sys.maxunicode

Um inteiro que fornece o valor do maior ponto de código Unicode, ou seja, 1114111 (0x10FFFF em hexadecimal).

Alterado na versão 3.3: Antes da PEP 393 [https://peps.python.org/pep-0393/], sys.maxunicode costumava ser 0xFFFF ou 0x10FFFF, dependendo da opção de configuração que especificava se os caracteres Unicode eram armazenados como UCS-2 ou UCS-4.

sys.meta_path

A list of meta path finder objects that have their find_spec() methods called to see if one of the objects can find the module to be imported. By default, it holds entries that implement Python’s default import semantics. The find_spec() method is called with at least the absolute name of the module being imported. If the module to be imported is contained in a package, then the parent package’s __path__ attribute is passed in as a second argument. The method returns a module spec, or None if the module cannot be found.

Ver também

importlib.abc.MetaPathFinder

A classe base abstrata que define a interface dos objetos localizadores em meta_path.

importlib.machinery.ModuleSpec

A classe concreta da qual find_spec() deve retornar instâncias.

Alterado na versão 3.4: Especificações de módulo foram introduzidas no Python 3.4, pela PEP 451 [https://peps.python.org/pep-0451/].

Alterado na versão 3.12: Foi removido o alternativa que procurava um método find_module() se uma entrada meta_path não tivesse um método find_spec().

sys.modules

Este é um dicionário que mapeia nomes de módulos para módulos que já foram carregados. Isso pode ser manipulado para forçar o recarregamento de módulos e outros truques. No entanto, substituir o dicionário não vai funcionar necessariamente como esperado e excluir itens essenciais do dicionário pode fazer com que o Python falhe. Se você quiser iterar sobre este dicionário global, sempre use sys.modules.copy() ou tuple(sys.modules) para evitar exceções, pois seu tamanho pode mudar durante a iteração como um efeito colateral do código ou atividade em outros threads.

sys.orig_argv

A lista dos argumentos originais da linha de comando passados ​​para o executável Python.

Os elementos de sys.orig_argv são os argumentos para o interpretador Python, enquanto os elementos de sys.argv são os argumentos para o programa do usuário. Os argumentos consumidos pelo próprio interpretador estarão presentes em sys.orig_argv e ausentes em sys.argv.

Adicionado na versão 3.10.

sys.path

Uma lista de strings que especifica o caminho de pesquisa para módulos. Inicializado a partir da variável de ambiente PYTHONPATH, mais um padrão dependente da instalação.

Por padrão, conforme inicializado na inicialização do programa, um caminho potencialmente inseguro é adicionado ao sys.path (antes das entradas inseridas como resultado de PYTHONPATH):

A linha de comando python -m módulo: adiciona o diretório de trabalho atual

A linha de comando python script.py: prefixa o diretório do script. Se for um link simbólico, resolve links simbólicos.

As linhas de comando python -c código e python (REPL): adiciona uma string vazia, que indica o diretório de trabalho atual.

Para não acrescentar esse caminho potencialmente inseguro, use a opção de linha de comando -P ou a variável de ambiente PYTHONSAFEPATH.

Um programa é livre para modificar esta lista para seus próprios propósitos. Somente strings devem ser adicionadas a sys.path; todos os outros tipos de dados são ignorados durante a importação.

Ver também

Módulo site Descreve como usar arquivos .pth para estender sys.path.

sys.path_hooks

Uma lista de chamáveis que recebem um argumento de caminho para tentar criar um localizador para o caminho. Se um localizador puder ser criado, ele deve ser retornado pelo chamável, senão, ele levanta ImportError.

Originalmente especificado na PEP 302 [https://peps.python.org/pep-0302/].

sys.path_importer_cache

Um dicionário atuando como um cache para objetos do localizador. As chaves são caminhos que foram passados ​​para sys.path_hooks e os valores são os localizadores que são encontrados. Se um caminho for um caminho de sistema de arquivo válido, mas nenhum localizador for encontrado em sys.path_hooks, então None é armazenado.

Originalmente especificado na PEP 302 [https://peps.python.org/pep-0302/].

sys.platform

Uma string contendo um identificador da plataforma. Valores conhecidos são:

Sistema

Valor de platform

AIX

'aix'

Android

'android'

Emscripten

'emscripten'

iOS

'ios'

Linux

'linux'

macOS

'darwin'

Windows

'win32'

Windows/Cygwin

'cygwin'

WASI

'wasi'

Em sistemas Unix não listados na tabela, o valor é o nome do sistema operacional em letras minúsculas, conforme retornado por uname -s, com a primeira parte da versão, conforme retornado por uname -r anexada, por exemplo, 'sunos5' ou 'freebsd8', no momento em que o Python foi construído. A menos que você queira testar uma versão específica do sistema, é recomendável usar o seguinte idioma:

if sys.platform.startswith('freebsd'):
    # FreeBSD-specific code here...

Alterado na versão 3.3: No Linux, sys.platform não contém mais a versão principal. É sempre 'linux', em vez de 'linux2' ou 'linux3'.

Alterado na versão 3.8: No AIX, sys.platform não contém mais a versão principal. É sempre 'aix', em vez de 'aix5' ou 'aix7'.

Alterado na versão 3.13: No Android, sys.platform agora retorna 'android' em vez de 'linux'.

Ver também

os.name tem uma granularidade mais substancial. os.uname() fornece informações de versão dependentes do sistema.

O módulo platform fornece verificações detalhadas sobre a identificação do sistema.

sys.platlibdir

Nome do diretório da biblioteca específica da plataforma. É usado para construir o caminho da biblioteca padrão e os caminhos dos módulos de extensão instalados.

É igual a "lib" na maioria das plataformas. No Fedora e SuSE, é igual a "lib64" em plataformas de 64 bits, o que fornece os seguintes caminhos sys.path (onde X.Y é a versão major.minor do Python):

/usr/lib64/pythonX.Y/: Biblioteca padrão (como os.py do módulo os)

/usr/lib64/pythonX.Y/lib-dynload/: Módulos de extensão C da biblioteca padrão (como o módulo errno, o nome exato do arquivo é específico da plataforma)

/usr/lib/pythonX.Y/site-packages/ (sempre usa lib, não sys.platlibdir): Módulos de terceiros

/usr/lib64/pythonX.Y/site-packages/: Módulos de extensão C de pacotes de terceiros

Adicionado na versão 3.9.

sys.prefix

Uma string que fornece o prefixo do diretório específico do site onde os arquivos Python independentes de plataforma são instalados; no Unix, o padrão é /usr/local. Isso pode ser definido no momento da construção com o argumento --prefix para o script configure. Veja Caminhos de instalação para caminhos derivados.

Nota

Se um ambiente virtual estiver em vigor, este valor será alterado em site.py para apontar para o ambiente virtual. O valor para a instalação do Python ainda estará disponível, via base_prefix.

sys.ps1

sys.ps2

Strings especificando o prompt primário e secundário do interpretador. Elas são definidas somente se o interpretador estiver no modo interativo. Seus valores iniciais neste caso são '>>> ' e '... '. Se um objeto não string for atribuído a qualquer variável, seu str() é reavaliado cada vez que o interpretador se prepara para ler um novo comando interativo; isso pode ser usado para implementar um prompt dinâmico.

sys.setdlopenflags(n)

Define os sinalizadores usados ​​pelo interpretador para chamadas dlopen(), como quando o interpretador carrega módulos de extensão. Entre outras coisas, isso habilitará uma resolução preguiçosa de símbolos ao importar um módulo, se chamado como sys.setdlopenflags(0). Para compartilhar símbolos entre módulos de extensão, chame como sys.setdlopenflags(os.RTLD_GLOBAL). Nomes simbólicos para os valores de sinalizadores podem ser encontrados no módulo os (constantes RTLD_xxx, por exemplo, os.RTLD_LAZY).

Disponibilidade

sys.set_int_max_str_digits(maxdigits)

Define a limitação de comprimento de string na conversão para inteiro usada por este interpretador. Veja também get_int_max_str_digits().

Adicionado na versão 3.11.

sys.setprofile(profilefunc)

Define a função de perfil do sistema, que permite implementar um perfilador de código-fonte Python em Python. Veja o capítulo Os Profilers do Python para mais informações sobre o perfilador Python. A função de perfil do sistema é chamada de forma semelhante à função de rastreamento do sistema (veja settrace()), mas é chamada com eventos diferentes, por exemplo, não é chamada para cada linha de código executada (apenas na chamada e retorno, mas o evento de retorno é relatado mesmo quando uma exceção foi definida). A função é específica do thread, mas não há como o perfilador saber sobre trocas de contexto entre threads, então não faz sentido usá-la na presença de vários threads. Além disso, seu valor de retorno não é usado, então ele pode simplesmente retornar None. Um erro na função de perfil fará com que sua própria definição seja removida.

Nota

O mesmo mecanismo de rastreamento é usado para setprofile() como settrace(). Para rastrear chamadas com setprofile() dentro de uma função de rastreamento (por exemplo, em um ponto de interrupção do depurador), consulte call_tracing().

As funções de perfil devem ter três argumentos: frame, event e arg. frame é o quadro de pilha atual. event é uma string: 'call', 'return', 'c_call', 'c_return' ou 'c_exception'. arg depende do tipo de evento.

Os eventos têm o seguinte significado:

'call'

Uma função é chamada (ou algum outro bloco de código é inserido). A função de perfil é chamada; arg é None.

'return'

Uma função (ou outro bloco de código) está prestes a retornar. A função de perfilação é chamada; arg é o valor que será retornado, ou None se o evento for causado por uma exceção sendo levantada.

'c_call'

Uma função C está prestes a ser chamada. Pode ser uma função de extensão ou uma embutida. arg é o objeto da função C.

'c_return'

Uma função C foi retornada. arg é o objeto da função C.

'c_exception'

Uma função C levantou uma exceção. arg é o objeto da função C.

Levanta um evento de auditoria sys.setprofile sem argumentos.

sys.setrecursionlimit(limit)

Define a profundidade máxima da pilha do interpretador Python para limit. Esse limite impede que a recursão infinita cause um estouro da pilha C e trave o Python.

O limite mais alto possível depende da plataforma. Um usuário pode precisar definir o limite mais alto quando tiver um programa que exija recursão profunda e uma plataforma que dê suporte a um limite mais alto. Isso deve ser feito com cuidado, porque um limite muito alto pode levar a uma falha.

Se o novo limite for muito baixo na profundidade de recursão atual, uma exceção RecursionError será levantada.

Alterado na versão 3.5.1: Uma exceção RecursionError agora é levantada se o novo limite for muito baixo na profundidade de recursão atual.

sys.setswitchinterval(interval)

Define o intervalo de troca de thread do interpretador (em segundos). Este valor de ponto flutuante determina a duração ideal das “fatias de tempo” alocadas para threads Python em execução simultânea. Observe que o valor real pode ser maior, especialmente se funções ou métodos internos de execução longa forem usados. Além disso, qual thread se torna agendada no final do intervalo é uma decisão do sistema operacional. O interpretador não tem seu próprio escalonador.

Adicionado na versão 3.2.

sys.settrace(tracefunc)

Define a função trace do sistema, que permite que você implemente um depurador de código-fonte Python em Python. A função é específica de thread; para um depurador suportar múltiplas threads, ele deve registrar uma função trace usando settrace() para cada thread que está sendo depurada ou usar threading.settrace().

As funções de rastreamento devem ter três argumentos: frame, event e arg. frame é o quadro de pilha atual. event é uma string: 'call', 'line', 'return', 'exception' ou 'opcode'. arg depende do tipo de evento.

A função de rastreamento é invocada (com event definido como 'call') sempre que um novo escopo local é inserido; ela deve retornar uma referência a uma função de rastreamento local a ser usada para o novo escopo, ou None se o escopo não deve ser rastreado.

A função de rastreamento local deve retornar uma referência a si mesma ou a outra função que seria então usada como a função de rastreamento local para o escopo.

Se ocorrer algum erro na função de rastreamento, ela será desativada, assim como settrace(None) é chamado.

Nota

O rastreamento é desabilitado ao chamar a função de rastreamento (por exemplo, uma função definida por settrace()). Para rastreamento recursivo, veja call_tracing().

Os eventos têm o seguinte significado:

'call'

Uma função é chamada (ou algum outro bloco de código é inserido). A função de rastreamento global é chamada; arg é None; o valor de retorno especifica a função de rastreamento local.

'line'

O interpretador está prestes a executar uma nova linha de código ou reexecutar a condição de um laço. A função de rastreamento local é chamada; arg é None; o valor de retorno especifica a nova função de rastreamento local. Veja Objects/lnotab_notes.txt para uma explicação detalhada de como isso funciona. Eventos por linha podem ser desabilitados para um quadro definindo f_trace_lines como False naquele quadro.

'return'

Uma função (ou outro bloco de código) está prestes a retornar. A função de rastreamento local é chamada; arg é o valor que será retornado, ou None se o evento for causado por uma exceção sendo levantada. O valor de retorno da função de rastreamento é ignorado.

'exception'

Ocorreu uma exceção. A função de rastreamento local é chamada; arg é uma tupla (exception, value, traceback); o valor de retorno especifica a nova função de rastreamento local.

'opcode'

O interpretador está prestes a executar um novo opcode (veja dis para detalhes do opcode). A função de rastreamento local é chamada; arg é None; o valor de retorno especifica a nova função de rastreamento local. Eventos por opcode não são emitidos por padrão: eles devem ser explicitamente solicitados definindo f_trace_opcodes como True no quadro.

Observe que, à medida que uma exceção é propagada pela cadeia de chamadores, um evento 'exception' é gerado em cada nível.

Para um uso mais refinado, é possível definir uma função de rastreamento atribuindo frame.f_trace = tracefunc explicitamente, em vez de depender de ser definida indiretamente por meio do valor de retorno de uma função de rastreamento já instalada. Isso também é necessário para ativar a função de rastreamento no quadro atual, o que settrace() não faz. Observe que, para que isso funcione, uma função de rastreamento global deve ter sido instalada com settrace() para habilitar o maquinário de rastreamento em tempo de execução, mas não precisa ser a mesma função de rastreamento (por exemplo, pode ser uma função de rastreamento de baixa sobrecarga que simplesmente retorna None para se desabilitar imediatamente em cada quadro).

Para mais informações sobre objetos de código e quadro, consulte A hierarquia de tipos padrão.

Levanta um evento de auditoria sys.settrace sem argumentos.

Detalhes da implementação do CPython: A função settrace() destina-se apenas à implementação de depuradores, perfiladores, ferramentas de cobertura e similares. Seu comportamento faz parte da plataforma de implementação, e não da definição da linguagem e, portanto, pode não estar disponível em todas as implementações do Python.

Alterado na versão 3.7: Tipo de evento 'opcode' adicionado; atributos f_trace_lines e f_trace_opcodes adicionados a quadros

sys.set_asyncgen_hooks([firstiter] [, finalizer])

Aceita dois argumentos nomeados opcionais que são chamáveis que aceitam um iterador gerador assíncrono como argumento. O chamável firstiter será chamado quando um gerador assíncrono for iterado pela primeira vez. O finalizer será chamado quando um gerador assíncrono estiver prestes a ser coletado como lixo.

Levanta um evento de auditoria sys.set_asyncgen_hooks_firstiter sem argumentos.

Levanta um evento de auditoria sys.set_asyncgen_hooks_finalizer sem argumentos.

Dois eventos de auditoria são gerados porque a API subjacente consiste em duas chamadas, cada uma das quais deve levantar seu próprio evento.

Adicionado na versão 3.6: Veja a PEP 525 [https://peps.python.org/pep-0525/] para mais detalhes, e para um exemplo de referência de um método finalizer veja a implementação de asyncio.Loop.shutdown_asyncgens em Lib/asyncio/base_events.py [https://github.com/python/cpython/tree/3.13/Lib/asyncio/base_events.py]

Nota

Esta função foi adicionada provisoriamente (veja PEP 411 [https://peps.python.org/pep-0411/] para detalhes.)

sys.set_coroutine_origin_tracking_depth(depth)

Permite habilitar ou desabilitar o rastreamento de origem de corrotina. Quando habilitado, o atributo cr_origin em objetos de corrotina conterá uma tupla de tuplas (nome do arquivo, número da linha, nome da função) descrevendo o traceback onde o objeto corrotina foi criado, com a chamada mais recente primeiro. Quando desabilitado, cr_origin será None.

Para habilitar, passe um valor depth maior que zero; isso define o número de quadros cujas informações serão capturadas. Para desabilitar, defina depth para zero.

Esta configuração é específica do thread.

Adicionado na versão 3.7.

Nota

Esta função foi adicionada provisoriamente (veja PEP 411 [https://peps.python.org/pep-0411/] para detalhes.) Use-a apenas para propósitos de depuração.

sys.activate_stack_trampoline(backend, /)

Ativa o trampolim do perfilador de pilha backend. O único backend suportado é "perf".

Disponibilidade

Adicionado na versão 3.12.

Ver também

Suporte do Python ao perfilador perf do Linux

https://perf.wiki.kernel.org

sys.deactivate_stack_trampoline()

Desativa o backend trampolim do perfilador de pilha atual.

Se nenhum perfilador de pilha estiver ativado, esta função não terá efeito.

Disponibilidade

Adicionado na versão 3.12.

sys.is_stack_trampoline_active()

Retorna True se um trampolim de perfilador de pilha estiver ativo.

Disponibilidade

Adicionado na versão 3.12.

sys._enablelegacywindowsfsencoding()

Altera tratador de erros e codificação do sistema de arquivos para ‘replace’ e ‘mbcs’ respectivamente, para consistência com versões do Python anteriores à 3.6.

Isso é equivalente a definir a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING antes de iniciar o Python.

Veja também sys.getfilesystemencoding() e sys.getfilesystemencodeerrors().

Disponibilidade

Nota

Alterar a codificação do sistema de arquivos após a inicialização do Python é arriscado porque o fsencoding antigo ou os caminhos codificados pelo fsencoding antigo podem estar armazenados em cache em algum lugar. Use PYTHONLEGACYWINDOWSFSENCODING em vez disso.

Adicionado na versão 3.6: Veja PEP 529 [https://peps.python.org/pep-0529/] para mais detalhes.

Deprecated since version 3.13, will be removed in version 3.16: Use PYTHONLEGACYWINDOWSFSENCODING.

sys.stdin

sys.stdout

sys.stderr

Objetos arquivo usados ​​pelo interpretador para entrada padrão, saída e erros:

stdin é usado para todas as entradas interativas (incluindo chamadas para input());

stdout é usado para a saída das instruções print() e expressões e para os prompts de input();

Os prompts do próprio interpretador e suas mensagens de erro vão para stderr.

Esses fluxos são arquivos texto regulares como aqueles retornados pela função open(). Seus parâmetros são escolhidos da seguinte forma:

A codificação e o tratamento de erros são inicializados a partir de PyConfig.stdio_encoding e PyConfig.stdio_errors.

No Windows, o UTF-8 é usado para o dispositivo de console. Dispositivos não-caracteres, como arquivos de disco e pipes, usam a codificação da localidade do sistema (ou seja, a página de código ANSI). Dispositivos de caracteres não-console, como NUL (ou seja, onde isatty() retorna True) usam o valor das páginas de código de entrada e saída do console na inicialização, respectivamente para stdin e stdout/stderr. Isso assume como padrão a codificação da localidade do sistema se o processo não for inicialmente anexado a um console.

O comportamento especial do console pode ser substituído definindo a variável de ambiente PYTHONLEGACYWINDOWSSTDIO antes de iniciar o Python. Nesse caso, as páginas de código do console são usadas como para qualquer outro dispositivo de caractere.

Em todas as plataformas, você pode substituir a codificação de caracteres definindo a variável de ambiente PYTHONIOENCODING antes de iniciar o Python ou usando a nova opção de linha de comando -X utf8 e a variável de ambiente PYTHONUTF8. No entanto, para o console do Windows, isso só se aplica quando PYTHONLEGACYWINDOWSSTDIO também está definido.

Quando interativo, o fluxo stdout é armazenado em buffer de linha. Caso contrário, ele é armazenado em buffer de bloco como arquivos texto comuns. O fluxo stderr é armazenado em buffer de linha em ambos os casos. Você pode tornar ambos os fluxos sem buffer passando a opção de linha de comando -u ou definindo a variável de ambiente PYTHONUNBUFFERED.

Alterado na versão 3.9: stderr não interativo agora é armazenado em buffer de linha em vez de totalmente armazenado em buffer.

Nota

Para escrever ou ler dados binários de/para os fluxos padrão, use o objeto binário subjacente buffer. Por exemplo, para escrever bytes em stdout, use sys.stdout.buffer.write(b'abc').

Entretanto, se você estiver escrevendo uma biblioteca (e não controlar em qual contexto seu código será executado), esteja ciente de que os fluxos padrão podem ser substituídos por objetos arquivo ou similar, como io.StringIO, que não oferecem suporte ao atributo buffer.

sys.__stdin__

sys.__stdout__

sys.__stderr__

Esses objetos contêm os valores originais de stdin, stderr e stdout no início do programa. Eles são usados ​​durante a finalização e podem ser úteis para imprimir no fluxo padrão real, não importa se o objeto sys.std* foi redirecionado.

Ele também pode ser usado para restaurar os arquivos reais para objetos arquivo de trabalho conhecidos, caso tenham sido substituídos por um objeto quebrado. No entanto, a maneira preferida de fazer isso é salvar explicitamente o fluxo anterior antes de substituí-lo e restaurar o objeto salvo.

Nota

Sob algumas condições, stdin, stdout e stderr, bem como os valores originais de __stdin__, __stdout__ e __stderr__ podem ser None. Geralmente é o caso de aplicativos GUI do Windows que não estão conectados a um console e aplicativos Python iniciados com pythonw.

sys.stdlib_module_names

Um frozenset de strings contendo os nomes dos módulos da biblioteca padrão.

É o mesmo em todas as plataformas. Módulos que não estão disponíveis em algumas plataformas e módulos desabilitados na construção do Python também são listados. Todos os tipos de módulos são listados: Python puro, módulos embutidos, congelados e de extensão. Módulos de teste são excluídos.

Para pacotes, somente o pacote principal é listado: subpacotes e submódulos não são listados. Por exemplo, o pacote email é listado, mas o subpacote email.mime e o submódulo email.message não são listados.

Veja também a lista de sys.builtin_module_names.

Adicionado na versão 3.10.

sys.thread_info

Uma tupla nomeada contendo informações sobre a implementação de threads.

thread_info.name

O nome da implementação da thread:

"nt": Threads do Windows

"pthread": Threads do POSIX

"pthread-stubs": stub POSIX threads (on WebAssembly platforms without threading support)

"solaris": Threads do Solaris

thread_info.lock

O nome da implementação de trava.

"semaphore": uma trava usa um semáforo

"mutex+cond": uma trava usa um mutex e uma variável de condição

None se essa informação for desconhecida

thread_info.version

O nome e a versão da biblioteca de threads. É uma string, ou None se essa informação for desconhecida.

Adicionado na versão 3.3.

sys.tracebacklimit

Quando essa variável é definida como um valor inteiro, ela determina o número máximo de níveis de informações de traceback impressas quando ocorre uma exceção não tratada. O padrão é 1000. Quando definida como 0 ou menos, todas as informações de traceback são suprimidas e apenas o tipo e o valor da exceção são impressos.

sys.unraisablehook(unraisable, /)

Manipula uma exceção não levantada

Chamada quando uma exceção ocorreu, mas não há como o Python manipulá-la. Por exemplo, quando um destrutor levanta uma exceção ou durante a coleta de lixo (gc.collect()).

O argumento unraisable tem os seguintes atributos:

exc_type: Tipo de exceção.

exc_value: Valor da exceção, pode ser None.

exc_traceback: Traceback da exceção, pode ser None.

err_msg: Mensagem de erro, pode ser None.

object: O objeto que causa a exceção pode ser None.

Os formatos de gancho padrão err_msg e object como: f'{err_msg}: {object!r}'; usa a mensagem de erro “Exception ignored in” se err_msg for None.

sys.unraisablehook() pode ser substituída para controlar como exceções não levantáveis ​​são manipuladas.

Ver também

excepthook(), que manipula exceções não capturadas.

Aviso

Armazena exc_value usando um gancho personalizado pode criar um ciclo de referência. Ele deve ser limpo explicitamente para quebrar o ciclo de referência quando a exceção não for mais necessária.

Armazenar object usando um gancho personalizado pode ressuscitá-lo se ele for definido como um objeto que está sendo finalizado. Evite armazenar object após o gancho personalizado ser concluído para evitar ressuscitar objetos.

Levanta um evento de auditoria sys.unraisablehook com argumentos hook e unraisable quando ocorrer uma exceção que não puder ser manipulada. O objeto unraisable é o mesmo que será passado para o gancho. Se nenhum gancho tiver sido definido, hook pode ser None.

Adicionado na versão 3.8.

sys.version

Uma string contendo o número da versão do interpretador Python mais informações adicionais sobre o número da construção e o compilador usado. Esta string é exibida quando o interpretador interativo é iniciado. Não extraia informações de versão dela, em vez disso, use version_info e as funções fornecidas pelo módulo platform.

sys.api_version

A versão da API C para este interpretador. Programadores podem achar isso útil ao depurar conflitos de versão entre Python e módulos de extensão.

sys.version_info

Uma tupla contendo os cinco componentes do número da versão: major, minor, micro, releaselevel e serial. Todos os valores, exceto releaselevel, são inteiros; o nível de versão é 'alpha', 'beta', 'candidate' ou 'final'. O valor version_info correspondente à versão 2.0 do Python é (2, 0, 0, 'final', 0). Os componentes também podem ser acessados ​​por nome, então sys.version_info[0] é equivalente a sys.version_info.major e assim por diante.

Alterado na versão 3.1: Added named component attributes.

sys.warnoptions

Este é um detalhe de implementação do framework de avisos; não modifique este valor. Consulte o módulo warnings para obter mais informações sobre o framework de avisos.

sys.winver

O número da versão usado para formar chaves de registro em plataformas Windows. Isso é armazenado como recurso de string 1000 na DLL do Python. O valor normalmente é a versão principal e secundária do interpretador Python em execução. Ele é fornecido no módulo sys para fins informativos; modificar esse valor não tem efeito nas chaves de registro usadas pelo Python.

Disponibilidade

sys.monitoring

Espaço de nomes contendo funções e constantes para função de retorno de registro e controle de eventos de monitoramento. Veja sys.monitoring para detalhes.

sys._xoptions

Um dicionário dos vários sinalizadores específicos de implementação passados ​​pela opção de linha de comando -X. Os nomes de opção são mapeados para seus valores, se fornecidos explicitamente, ou para True. Exemplo:

$ ./python -Xa=b -Xc
Python 3.2a3+ (py3k, Oct 16 2010, 20:14:50)
[GCC 4.4.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys._xoptions
{'a': 'b', 'c': True}

Detalhes da implementação do CPython: Esta é uma maneira específica do CPython de acessar opções passadas por -X. Outras implementações podem exportá-las por outros meios, ou não exportá-las.

Adicionado na versão 3.2.

Citações

[C99]

ISO/IEC 9899:1999. “Programming languages – C.” Um rascunho público desta norma está disponível em https://www.open-std.org/jtc1/sc22/wg14/www/docs/n1256.pdf.

sys.monitoring — Monitoramento de eventos de execução

Adicionado na versão 3.12.

Nota

sys.monitoring é um espaço de nomes dentro do módulo sys, não um módulo independente, então não há necessidade de importá-lo com import sys.monitoring, bastando usar import sys e então usar sys.monitoring.

Esse espaço de nomes fornece acesso às funções e constantes necessárias para ativar e controlar o monitoramento de eventos.

À medida que os programas são executados, ocorrem eventos que podem ser de interesse para as ferramentas que monitoram a execução. O espaço de nomes sys.monitoring fornece meios para receber retornos de chamada quando ocorrem eventos de interesse.

A API de monitoramento consiste em três componentes:

Identificadores de ferramenta

Eventos

Funções de retorno de chamadas

Identificadores de ferramenta

Um identificador de ferramenta é um número inteiro e o nome associado. Os identificadores de ferramenta são usados para evitar que as ferramentas interfiram umas nas outras e para permitir que várias ferramentas operem ao mesmo tempo. Atualmente, as ferramentas são totalmente independentes e não podem ser usadas para monitorar umas às outras. Essa restrição poderá ser suspensa no futuro.

Antes de registrar ou ativar eventos, uma ferramenta deve escolher um identificador. Os identificadores são números inteiros no intervalo de 0 a 5, inclusive.

Registro e uso de ferramentas

sys.monitoring.use_tool_id(tool_id: int, name: str, /) → None

Deve ser chamado antes que tool_id possa ser usado. tool_id deve estar no intervalo de 0 a 5, inclusive. Levanta um ValueError se tool_id estiver em uso.

sys.monitoring.free_tool_id(tool_id: int, /) → None

Deve ser chamado quando uma ferramenta não precisar mais do endereço tool_id.

Nota

free_tool_id() não desabilitará eventos globais ou locais associados a tool_id, nem cancelará o registro de qualquer função de retorno. Essa função deve ser usada apenas para notificar a VM de que o tool_id específico não está mais em uso.

sys.monitoring.get_tool(tool_id: int, /) → str | None

Retorna o nome da ferramenta se tool_id estiver em uso; caso contrário, retorna None. tool_id deve estar no intervalo de 0 a 5, inclusive.

Todas as IDs são tratadas da mesma forma pela VM com relação aos eventos, mas as seguintes IDs são predefinidas para facilitar a cooperação entre as ferramentas:

sys.monitoring.DEBUGGER_ID = 0
sys.monitoring.COVERAGE_ID = 1
sys.monitoring.PROFILER_ID = 2
sys.monitoring.OPTIMIZER_ID = 5

Eventos

Os seguintes eventos são suportados:

sys.monitoring.events.BRANCH

Uma ramificação condicional é feita (ou não).

sys.monitoring.events.CALL

Uma chamada no código Python (o evento ocorre antes da chamada).

sys.monitoring.events.C_RAISE

Uma exceção levantada por qualquer chamável, exceto funções Python (o evento ocorre após a saída).

sys.monitoring.events.C_RETURN

Retorno de qualquer chamável, exceto por funções Python (o evento ocorre após o retorno).

sys.monitoring.events.EXCEPTION_HANDLED

Uma exceção é tratada.

sys.monitoring.events.INSTRUCTION

Uma instrução VM está prestes a ser executada.

sys.monitoring.events.JUMP

É feito um salto incondicional no gráfico do fluxo de controle.

sys.monitoring.events.LINE

Está prestes a ser executada uma instrução que tem um número de linha diferente da instrução anterior.

sys.monitoring.events.PY_RESUME

Retomada de uma função Python (para funções geradoras e de corrotina), exceto para chamadas throw().

sys.monitoring.events.PY_RETURN

Retorno de uma função Python (ocorre imediatamente antes do retorno, o quadro do receptor estará na pilha).

sys.monitoring.events.PY_START

Início de uma função Python (ocorre imediatamente após a chamada, o quadro do receptor da chamada estará na pilha)

sys.monitoring.events.PY_THROW

Uma função Python é retomada por uma chamada throw().

sys.monitoring.events.PY_UNWIND

Saída de uma função Python durante o desenrolar da exceção.

sys.monitoring.events.PY_YIELD

Produz de uma função Python (ocorre imediatamente antes do yield, o quadro do receptor estará na pilha).

sys.monitoring.events.RAISE

Uma exceção é levantada, exceto aquelas que causam um evento STOP_ITERATION.

sys.monitoring.events.RERAISE

Uma exceção é levantada novamente, por exemplo, no final de um bloco finally.

sys.monitoring.events.STOP_ITERATION

Uma exceção artificial StopIteration é levantada; consulte o evento STOP_ITERATION.

Mais eventos poderão ser adicionados no futuro.

Esses eventos são atributos do espaço de nomes sys.monitoring.events. Cada evento é representado como uma constante de potência de 2 inteiros. Para definir um conjunto de eventos, basta usar o bit a bit ou os eventos individuais juntos. Por exemplo, para especificar os eventos PY_RETURN e PY_START, use a expressão PY_RETURN | PY_START.

sys.monitoring.events.NO_EVENTS

Um apelido para 0 para que os usuários possam fazer comparações explícitas como:

if get_events(DEBUGGER_ID) == NO_EVENTS:
    ...

Os eventos são divididos em três grupos:

Eventos locais

Os eventos locais estão associados à execução normal do programa e ocorrem em locais claramente definidos. Todos os eventos locais podem ser desativados. Os eventos locais são:

PY_START

PY_RESUME

PY_RETURN

PY_YIELD

CALL

LINE

INSTRUCTION

JUMP

BRANCH

STOP_ITERATION

Eventos auxiliares

Os eventos auxiliares podem ser monitorados como outros eventos, mas são controlados por outro evento:

C_RAISE

C_RETURN

Os eventos C_RETURN e C_RAISE são controlados pelo evento CALL. Os eventos C_RETURN e C_RAISE só serão vistos se o evento CALL correspondente estiver sendo monitorado.

Outros eventos

Outros eventos não estão necessariamente vinculados a um local específico no programa e não podem ser desativados individualmente.

Os outros eventos que podem ser monitorados são:

PY_THROW

PY_UNWIND

RAISE

EXCEPTION_HANDLED

O evento STOP_ITERATION

PEP 380 [https://peps.python.org/pep-0380/#use-of-stopiteration-to-return-values] especifica que uma exceção StopIteration é levantada ao retornar um valor de um gerador ou corrotina. No entanto, essa é uma maneira muito ineficiente de retornar um valor, portanto, algumas implementações do Python, especialmente o CPython 3.12+, não levantam uma exceção, a menos que ela seja visível para outro código.

Para permitir que as ferramentas monitorem exceções reais sem reduzir a velocidade dos geradores e das corrotinas, o evento STOP_ITERATION é fornecido. O STOP_ITERATION pode ser desativado localmente, ao contrário do RAISE.

Ativação e desativação de eventos

Para monitorar um evento, ele deve ser ativado e uma função de retorno correspondente deve ser registrada. Os eventos podem ser ativados ou desativados definindo-os globalmente ou para um objeto código específico.

Definir eventos globalmente

Os eventos podem ser controlados globalmente, modificando o conjunto de eventos que estão sendo monitorados.

sys.monitoring.get_events(tool_id: int, /) → int

Retorna o endereço int que representa todos os eventos ativos.

sys.monitoring.set_events(tool_id: int, event_set: int, /) → None

Ativa todos os eventos definidos em event_set. Levanta um ValueError se tool_id não estiver em uso.

Nenhum evento está ativo por padrão.

Eventos por objeto código

Events can also be controlled on a per code object basis. The functions defined below which accept a types.CodeType should be prepared to accept a look-alike object from functions which are not defined in Python (see API C de Monitoramento).

sys.monitoring.get_local_events(tool_id: int, code: CodeType, /) → int

Retorna todos os eventos locais para code

sys.monitoring.set_local_events(tool_id: int, code: CodeType, event_set: int, /) → None

Ativa todos os eventos locais para code que estão definidos em event_set. Levanta a ValueError se tool_id não estiver em uso.

Os eventos locais são adicionados aos eventos globais, mas não os mascaram. Em outras palavras, todos os eventos globais serão acionados para um objeto código, independentemente dos eventos locais.

Desativação de eventos

sys.monitoring.DISABLE

Um valor especial que pode ser retornado de um função de retorno função para desativar eventos para o local do código atual.

Os eventos locais podem ser desativados para um local de código específico, retornando sys.monitoring.DISABLE de uma função de retorno de chamada. Isso não altera quais eventos são definidos ou quaisquer outros locais de código para o mesmo evento.

A desativação de eventos para locais específicos é muito importante para o monitoramento de alto desempenho. Por exemplo, um programa pode ser executado em um depurador sem sobrecarga se o depurador desativar todo o monitoramento, exceto alguns pontos de interrupção.

sys.monitoring.restart_events() → None

Habilita todos os eventos que foram desabilitados por sys.monitoring.DISABLE para todas as ferramentas.

Registro de funções de retorno de chamada

Para registrar um chamável para eventos, chame

sys.monitoring.register_callback(tool_id: int, event: int, func: Callable | None, /) → Callable | None

Registra o chamável func para o event com o tool_id fornecido

Se outra função de retorno tiver sido registrada para o tool_id e o event fornecidos, ela será cancelada e retornada. Caso contrário, register_callback() retorna None.

As funções podem ser canceladas chamando sys.monitoring.register_callback(tool_id, event, None).

As funções de retorno de chamada podem ser registradas e canceladas a qualquer momento.

O registro ou o cancelamento do registro de uma função de retorno de chamada gerará um evento sys.audit().

Argumentos da função de retorno de chamada

sys.monitoring.MISSING

Um valor especial que é passado para uma função de retorno para indicar que não há argumento para a chamada.

Quando ocorre um evento ativo, a função de retorno de chamada registrada é chamada. Eventos diferentes fornecerão à função de retorno de chamada argumentos diferentes, como segue:

PY_START e PY_RESUME:

func(code: CodeType, instruction_offset: int) -> DISABLE | Any

PY_RETURN e PY_YIELD:

func(code: CodeType, instruction_offset: int, retval: object) -> DISABLE | Any

CALL, C_RAISE e C_RETURN:

func(code: CodeType, instruction_offset: int, callable: object, arg0: object | MISSING) -> DISABLE | Any

Se não houver argumentos, arg0 será definido como sys.monitoring.MISSING.

RAISE, RERAISE, EXCEPTION_HANDLED, PY_UNWIND, PY_THROW e STOP_ITERATION:

func(code: CodeType, instruction_offset: int, exception: BaseException) -> DISABLE | Any

LINE:

func(code: CodeType, line_number: int) -> DISABLE | Any

BRANCH e JUMP:

func(code: CodeType, instruction_offset: int, destination_offset: int) -> DISABLE | Any

Observe que destination_offset é onde o código será executado em seguida. Para uma ramificação não executada, esse será o deslocamento da instrução que segue a ramificação.

INSTRUCTION:

func(code: CodeType, instruction_offset: int) -> DISABLE | Any

sysconfig — Fornece acesso às informações de configuração do Python

Adicionado na versão 3.2.

Código-fonte: Lib/sysconfig [https://github.com/python/cpython/tree/3.13/Lib/sysconfig]

O módulo sysconfig fornece acesso às informações de configuração do Python, como a lista de caminhos de instalação e as variáveis de configuração relevantes para a plataforma atual.

Variáveis de configuração

Uma distribuição do Python contém um arquivo de cabeçalho Makefile e pyconfig.h que são necessários para construir o próprio binário do Python e extensões C de terceiros compiladas usando setuptools.

sysconfig coloca todas as variáveis encontradas nestes arquivos em um dicionário que pode ser acessado usando get_config_vars() ou get_config_var().

Note que no Windows, é um conjunto muito menor.

sysconfig.get_config_vars(*args)

Sem argumentos, retorna um dicionário de todas as variáveis de configuração relevantes para a plataforma atual.

Com argumentos, retorna uma lista de valores resultantes da pesquisa de cada argumento no dicionário de variáveis de configuração.

Para cada argumento, se o valor não for encontrado, retorna None.

sysconfig.get_config_var(name)

Retorna o valor de uma única variável nome. Equivalente a get_config_vars().get(name).

Se name não for encontrado, retorna None.

Exemplo de uso:

>>> import sysconfig
>>> sysconfig.get_config_var('Py_ENABLE_SHARED')
0
>>> sysconfig.get_config_var('LIBDIR')
'/usr/local/lib'
>>> sysconfig.get_config_vars('AR', 'CXX')
['ar', 'g++']

Caminhos de instalação

O Python usa um esquema de instalação que difere dependendo da plataforma e das opções de instalação. Esses esquemas são armazenados em sysconfig sob identificadores únicos baseados no valor retornado por os.name. Os esquemas são usados por instaladores de pacote para determinar para onde copiar arquivos.

Python atualmente oferece suporte a nove esquemas:

posix_prefix: esquema para plataformas POSIX como Linux ou macOS. Este é o esquema padrão usado quando o Python ou um componente é instalado.

posix_home: esquema para plataformas POSIX, quando a opção home é usada. Esse esquema define caminhos localizados sob um prefixo inicial específico.

posix_user: esquema para plataformas POSIX, quando a opção user é usada. Esse esquema define caminhos localizados sob o diretório pessoal (home) do usuário (site.USER_BASE).

posix_venv: esquema para ambientes virtuais do Python em plataformas POSIX; por padrão, é o mesmo que posix_prefix.

nt: esquema para Windows. Este é o esquema padrão usado quando o Python ou um componente é instalado.

nt_user: esquema para Windows, quando utilizada a opção user.

nt_venv: esquema para ambientes virtuais do Python no Windows; por padrão, é o mesmo que nt_prefix.

venv: um esquema com valores de posix_venv ou nt_venv dependendo da plataforma em que o Python é executado.

osx_framework_user: esquema para plataformas macOS, quando utilizada a opção user.

Cada esquema é composto por uma série de caminhos e cada caminho possui um identificador único. Python atualmente usa oito caminhos:

stdlib: diretório que contém os arquivos da biblioteca Python padrão que não são específicos da plataforma.

platstdlib: diretório que contém os arquivos da biblioteca Python padrão que são específicos da plataforma.

platlib: diretório para arquivos específicos do site e específicos da plataforma.

purelib: diretório para arquivos específicos do site e não específicos da plataforma (Python ‘pure’).

include: diretório para arquivos de cabeçalho não específicos da plataforma para a API C do Python.

platinclude: diretório para arquivos de cabeçalho específicos da plataforma para a API C do Python.

scripts: diretório para arquivos de script.

data: diretório para arquivos de dados.

Esquema de usuário

Este esquema foi projetado para ser a solução mais conveniente para usuários que não têm permissão de escrita no diretório global de pacotes de sites ou não desejam instalar nele.

Os arquivos serão instalados em subdiretórios de site.USER_BASE (escrito como userbase daqui em diante). Este esquema instala módulos Python puros e módulos de extensão no mesmo local (também conhecido como site.USER_SITE).

posix_user

Caminho

Diretório de instalação

stdlib

userbase/lib/pythonX.Y

platstdlib

userbase/lib/pythonX.Y

platlib

userbase/lib/pythonX.Y/site-packages

purelib

userbase/lib/pythonX.Y/site-packages

include

userbase/include/pythonX.Y

scripts

userbase/bin

data

userbase

nt_user

Caminho

Diretório de instalação

stdlib

userbase\PythonXY

platstdlib

userbase\PythonXY

platlib

userbase\PythonXY\site-packages

purelib

userbase\PythonXY\site-packages

include

userbase\PythonXY\Include

scripts

userbase\PythonXY\Scripts

data

userbase

osx_framework_user

Caminho

Diretório de instalação

stdlib

userbase/lib/python

platstdlib

userbase/lib/python

platlib

userbase/lib/python/site-packages

purelib

userbase/lib/python/site-packages

include

userbase/include/pythonX.Y

scripts

userbase/bin

data

userbase

Esquema de home

A ideia por trás do “esquema home” é que você construa e mantenha um estoque pessoal de módulos Python. O nome deste esquema é derivado da ideia de um diretório “home” no Unix, uma vez que não é incomum para um usuário Unix fazer seu diretório home ter um layout semelhante a /usr/ ou /usr/local/. Este esquema pode ser usado por qualquer pessoa, independentemente do sistema operacional para o qual está instalando.

posix_home

Caminho

Diretório de instalação

stdlib

home/lib/python

platstdlib

home/lib/python

platlib

home/lib/python

purelib

home/lib/python

include

home/include/python

platinclude

home/include/python

scripts

home/bin

data

home

Esquema de prefixo

O “esquema prefixo” é útil quando você deseja usar uma instalação Python para realizar a compilação/instalação (ou seja, para executar o script de configuração), mas instalar módulos no diretório de módulo de terceiros de uma instalação Python diferente (ou algo que parece uma instalação diferente do Python). Se isso parece um pouco incomum, então é – é por isso que os esquemas usuário e home vêm antes. No entanto, existem pelo menos dois casos conhecidos em que o esquema prefixo será útil.

Primeiro, considere que muitas distribuições Linux colocam Python em /usr, ao invés do mais tradicional /usr/local. Isso é totalmente apropriado, já que, nesses casos, o Python é parte do “sistema” em vez de um complemento local. No entanto, se você estiver instalando módulos Python a partir do código-fonte, provavelmente deseja que eles entrem em /usr/local/lib/python2.X em vez de /usr/lib/python2.X.

Outra possibilidade é um sistema de arquivos de rede onde o nome usado para escrever em um diretório remoto é diferente do nome usado para lê-lo: por exemplo, o interpretador Python acessado como /usr/local/bin/python pode pesquisar por módulos em /usr/local/lib/python2.X, mas esses módulos teriam que ser instalados em, digamos, /mnt/@server/export/lib/python2.X.

posix_prefix

Caminho

Diretório de instalação

stdlib

prefix/lib/pythonX.Y

platstdlib

prefix/lib/pythonX.Y

platlib

prefix/lib/pythonX.Y/site-packages

purelib

prefix/lib/pythonX.Y/site-packages

include

prefix/include/pythonX.Y

platinclude

prefix/include/pythonX.Y

scripts

prefix/bin

data

prefix

nt

Caminho

Diretório de instalação

stdlib

prefix\Lib

platstdlib

prefix\Lib

platlib

prefix\Lib\site-packages

purelib

prefix\Lib\site-packages

include

prefix\Include

platinclude

prefix\Include

scripts

prefix\Scripts

data

prefix

Funções de caminho de instalação

sysconfig fornece algumas funções para determinar esses caminhos de instalação.

sysconfig.get_scheme_names()

Retorna uma tupla contendo todos os esquemas atualmente suportados em sysconfig.

sysconfig.get_default_scheme()

Retorna o nome do esquema padrão para a plataforma atual.

Adicionado na versão 3.10: Esta função era chamada de _get_default_scheme() e considerada um detalhe de implementação.

Alterado na versão 3.11: Quando o Python é executado em um ambiente virtual, o esquema venv é retornado.

sysconfig.get_preferred_scheme(key)

Retorna um nome de esquema preferido para um layout de instalação especificado por key.

key deve ser "prefix", "home" ou "user".

O valor de retorno é um nome de esquema listado em get_scheme_names(). Ele pode ser passado para as funções sysconfig que recebem um argumento scheme, como get_paths().

Adicionado na versão 3.10.

Alterado na versão 3.11: Quando o Python é executado em um ambiente virtual e key="prefix", o esquema venv é retornado.

sysconfig._get_preferred_schemes()

Retorna um dict contendo nomes de esquema preferidos na plataforma atual. Os implementadores e redistribuidores do Python podem adicionar seus esquemas preferidos ao valor global de nível de módulo _INSTALL_SCHEMES e modificar esta função para retornar esses nomes de esquema. Por exemplo, fornecer esquemas diferentes para os gerenciadores de pacotes de sistema e idioma usarem, de modo que os pacotes instalados por um não se misturem com os do outro.

End users should not use this function, but get_default_scheme() and get_preferred_scheme() instead.

Adicionado na versão 3.10.

sysconfig.get_path_names()

Retorna uma tupla contendo todos os nomes de caminhos atualmente suportados em sysconfig.

sysconfig.get_path(name[, scheme[, vars[, expand]]])

Retorna um caminho de instalação correspondente ao caminho name, do esquema de instalação denominado scheme.

name deve ser um valor da lista retornada por get_path_names().

sysconfig armazena os caminhos de instalação correspondentes a cada nome de caminho, para cada plataforma, com variáveis a serem expandidas. Por exemplo, o caminho stdlib para o esquema nt é: {base}/Lib.

get_path() usará as variáveis retornadas por get_config_vars() para expandir o caminho. Todas as variáveis possuem valores padrão para cada plataforma, portanto, pode-se chamar esta função e obter o valor padrão.

Se scheme for fornecido, deve ser um valor da lista retornada por get_scheme_names(). Caso contrário, o esquema padrão para a plataforma atual é usado.

Se vars for fornecido, deve ser um dicionário de variáveis que atualizará o dicionário retornado por get_config_vars().

Se expand for definido como False, o caminho não será expandido usando as variáveis.

Se name não for encontrado, levanta uma KeyError.

sysconfig.get_paths([scheme[, vars[, expand]]])

Retorna um dicionário contendo todos os caminhos de instalação correspondentes a um esquema de instalação. Veja get_path() para mais informações.

Se esquema não for fornecido, usará o esquema padrão para a plataforma atual.

Se vars for fornecido, deve ser um dicionário de variáveis que atualizará o dicionário usado para expandir os caminhos.

Se expand for definido como falso, os caminhos não serão expandidos.

Se scheme não for um esquema existente, get_paths() vai levantar uma KeyError.

Outras funções

sysconfig.get_python_version()

Retorna o número da versão Python MAJOR.MINOR como uma string. Semelhante a '%d.%d' % sys.version_info[:2].

sysconfig.get_platform()

Retorna uma string que identifica a plataforma atual.

Isso é usado principalmente para distinguir diretórios de construção específicos da plataforma e distribuições construídas específicas da plataforma. Geralmente inclui o nome e a versão do sistema operacional e a arquitetura (conforme fornecido por os.uname()), embora as informações exatas incluídas dependam do sistema operacional; por exemplo, no Linux, a versão do kernel não é particularmente importante.

Exemplos de valores retornados:

linux-i586

linux-alpha (?)

solaris-2.6-sun4u

Windows vai retornar um entre:

win-amd64 (Windows 64 bits no AMD64, isto é, x86_64, Intel64 e EM64T)

win32 (todos os demais - especificamente, sys.platform é retornado)

macOS pode retornar:

macosx-10.6-ppc

macosx-10.4-ppc64

macosx-10.3-i386

macosx-10.4-fat

Para outras plataformas não POSIX, é retornado apenas sys.platform.

sysconfig.is_python_build()

Retorna True se o interpretador Python em execução foi construído a partir do código-fonte e está sendo executado a partir de seu local de construção, e não de um local resultante de, por exemplo, executando make install ou instalando através de um instalador binário.

sysconfig.parse_config_h(fp[, vars])

Analisa um arquivo no estilo config.h.

fp é um objeto arquivo ou similar apontando para o arquivo config.h ou similar.

Um dicionário contendo pares nome/valor é retornado. Se um dicionário opcional for passado como segundo argumento, ele será usado no lugar de um novo dicionário e atualizado com os valores lidos no arquivo.

sysconfig.get_config_h_filename()

Retorna o caminho do pyconfig.h.

sysconfig.get_makefile_filename()

Retorna o caminho do Makefile.

Usando o módulo sysconfig como um Script

Você pode usar sysconfig como um script com a opção -m do Python:

$ python -m sysconfig
Platform: "macosx-10.4-i386"
Python version: "3.2"
Current installation scheme: "posix_prefix"

Paths:
        data = "/usr/local"
        include = "/Users/tarek/Dev/svn.python.org/py3k/Include"
        platinclude = "."
        platlib = "/usr/local/lib/python3.2/site-packages"
        platstdlib = "/usr/local/lib/python3.2"
        purelib = "/usr/local/lib/python3.2/site-packages"
        scripts = "/usr/local/bin"
        stdlib = "/usr/local/lib/python3.2"

Variables:
        AC_APPLE_UNIVERSAL_BUILD = "0"
        AIX_GENUINE_CPLUSPLUS = "0"
        AR = "ar"
        ARFLAGS = "rc"
        ...

Esta chamada imprimirá na saída padrão as informações retornadas por get_platform(), get_python_version(), get_path() e get_config_vars().

builtins — Objetos embutidos

Este módulo fornece acesso direto a todos os identificadores embutidos do Python; Por exemplo, builtins.open é o nome completo para a função embutida open().

Este módulo normalmente não é acessado explicitamente pela maioria dos aplicativos, mas pode ser útil em módulos que fornecem objetos com o mesmo nome como um valor embutido, mas em que o objeto embutido desse nome também é necessário. Por exemplo, em um módulo que deseja implementar uma função open() que envolve o embutido open(), este módulo pode ser usado diretamente:

import builtins

def open(path):
    f = builtins.open(path, 'r')
    return UpperCaser(f)

class UpperCaser:
    '''Envoltório em volta de um arquivo que converte saída para maiúsculo.'''

    def __init__(self, f):
        self._f = f

    def read(self, count=-1):
        return self._f.read(count).upper()

    # ...

Como um detalhe de implementação, a maioria dos módulos tem o nome __builtins__ disponibilizados como parte de seus globais. O valor de __builtins__ normalmente, este é o módulo ou o valor desse módulo __dict__ atributo. Uma vez que este é um detalhe de implementação, ele não pode ser usado por implementações alternativas do Python.

Ver também

Constantes embutidas

Exceções embutidas

Funções embutidas

Tipos embutidos

__main__ — Ambiente de código principal

Em Python, o nome especial __main__ é usado em duas construções importantes:

O nome do ambiente principal do programa, que pode ser verificado usando a expressão __name__ == '__main__'; e

o arquivo __main__.py em pacotes Python.

Ambas as formas estão relacionadas aos módulos Python; como os usuários interagem com eles e como eles interagem entre si. Eles serão explicados em detalhes abaixo. Se você ainda não conhece módulos Python, veja a seção Módulos para uma introdução.

__name__ == '__main__'

Quando um pacote ou módulo Python é importado, __name__ é definido como o nome do módulo. Normalmente, este é o nome do próprio arquivo Python sem a extensão .py:

>>> import configparser
>>> configparser.__name__
'configparser'

Caso o arquivo seja parte de um pacote, __name__ também incluirá o nome da pasta raiz do pacote.

>>> from concurrent.futures import process
>>> process.__name__
'concurrent.futures.process'

Porém, se o módulo for executado como o código principal, __name__ passa a ser definido como a string '__main__'

O que é o “ambiente de código principal”?

__main__ é o nome do ambiente principal no qual o código é executado. “Ambiente de código principal” é o primeiro módulo Python definido pelo usuário que começa a ser executado. É considerado principal porque ele importa todos os outros módulos que o programa precisa. As vezes, “ambiente principal” também pode ser chamado de “ponto de entrada” da aplicação.

O ambiente de código principal pode ser:

o escopo de um prompt de comando interativo:

>>> __name__
'__main__'

o módulo Python passado ao interpretador do Python como um argumento correspondente ao nome do arquivo:

$ python helloworld.py
Hello, world!

o módulo ou pacote Python passado ao interpretador do Python com o argumento -m:

$ python -m tarfile
usage: tarfile.py [-h] [-v] (...)

código Python lido pelo interpretador através da entrada padrão de linha de comando:

$ echo "import this" | python
The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
...

código Python passado ao interpretador do Python com o argumento -c:

$ python -c "import this"
The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
...

Em cada uma destas situações, a variável especial __name__ passa a ser definida como '__main__'.

Como resultado, um módulo pode saber se está ou não sendo executado no ambiente principal verificando seu próprio __name__, que habilita um termo comum para executar código condicionalmente quando o módulo não é inicializado a partir de uma instrução de importação:

if __name__ == '__main__':
    # Execute when the module is not initialized from an import statement.
    ...

Ver também

Para uma visão mais detalhada sobre como __name__ é definido em todas as situações, veja a sessão Módulos.

Uso idiomático

Alguns módulos contém códigos que são específicos para serem usados como scripts, como análise de argumentos através de linha de comando ou leitura de dados da entrada padrão. Se um módulo como o citado for importado em um outro módulo diferente, por exemplo em testes unitários, o código do script também seria executado de forma indesejada.

É aqui onde o uso do trecho de código if __name__ == '__main__' revela-se útil. Os códigos dentro desta condicional não rodarão ao não ser que o módulo seja executado através do ambiente principal.

Colocar o mínimo de instruções possível no bloco abaixo de if __name__ == '__main__' pode melhorar a clareza e a precisão do código. Na maioria das vezes, uma função chamada de main encapsula o comportamento principal do programa:

# echo.py

import shlex
import sys

def echo(phrase: str) -> None:
   """A dummy wrapper around print."""
   # for demonstration purposes, you can imagine that there is some
   # valuable and reusable logic inside this function
   print(phrase)

def main() -> int:
    """Echo the input arguments to standard output"""
    phrase = shlex.join(sys.argv)
    echo(phrase)
    return 0

if __name__ == '__main__':
    sys.exit(main())  # next section explains the use of sys.exit

Repare quem se o módulo, ao invés de ter encapsulado o código dentro da função main, fosse colocado direto dentro do bloco if __name__ == '__main__', a variável phrase seria global para todo o módulo. Isto é suscetível à erros pois outras funções dentro do módulo poderiam inadvertidamente usar a variável global ao invés da local. A função main resolve este problema.

O uso da função main tem o benefício adicional de a própria função echo ser isolada e importável em outro lugar. Quando echo.py é importado, as funções echo e main serão definidas, mas nenhuma delas será chamada por conta do bloco __name__ != '__main__'.

Considerações sobre pacotes

main são funções frequentemente usadas ​​para criar ferramentas de linha de comando especificando-as como pontos de entrada para scripts de console. Quando isto é feito, pip [https://pip.pypa.io/] insere a chamada da função em um modelo de script, onde o valor de retorno de main é passado para sys.exit(). Por exemplo:

sys.exit(main())

Uma vez que a chamada à main está embutida dentro de sys.exit(), a expectativa é que a sua função retorne somente valores aceitável para sys.exit(); normalmente um inteiro ou None (retornado de forma implícita, caso a sua função não tenha uma instrução de retorno).

Seguindo proativamente essa convenção, nosso módulo terá o mesmo comportamento quando executado diretamente (ou seja, python echo.py) como terá também se posteriormente criarmos um pacote como um ponto de entrada de script de console em um pacote instalável via pip.

Em particular, tenha cuidado ao retornar strings de sua função main. sys.exit() interpretará um argumento de string como uma mensagem de falha, então seu programa terá um código de saída 1, indicando falha, e a string será escrita em sys.stderr. O exemplo anterior de echo.py exemplifica o uso da convenção sys.exit(main()).

Ver também

O Guia de Usuário para Empacotamento de Python [https://packaging.python.org/] contém uma coleção de tutoriais e referências sobre como distribuir e instalar pacotes Python com ferramentas modernas.

__main__.py em pacotes Python

Se você não estiver familiarizado com pacotes Python, veja a seção Pacotes do tutorial. Mais comumente, o arquivo __main__.py é usado para fornecer uma interface de linha de comando para um pacote. Considere o seguinte pacote hipotético, “bandclass”:

bandclass
  ├── __init__.py
  ├── __main__.py
  └── student.py

__main__.py será executado quando o próprio pacote for invocado diretamente da linha de comando usando o sinalizador -m. Por exemplo:

$ python -m bandclass

Este comando fará com que __main__.py seja executado. Como você utiliza esse mecanismo dependerá da natureza do pacote que você está escrevendo, mas neste caso hipotético, pode fazer sentido permitir que o professor procure alunos:

# bandclass/__main__.py

import sys
from .student import search_students

student_name = sys.argv[1] if len(sys.argv) >= 2 else ''
print(f'Found student: {search_students(student_name)}')

Observe que from .student import search_students é um exemplo de importação relativa. Esse estilo de importação pode ser usado ao fazer referência a módulos em um pacote. Para mais detalhes, veja Referências em um mesmo pacote na seção Módulos do tutorial.

Uso idiomático

O conteúdo do __main__.py normalmente não é protegido por um bloco if __name__ == '__main__' . Em vez disso, esses arquivos são mantidos curtos e importa funções para serem executados a partir de outros módulos. Esses outros módulos podem então ter suas unidades facilmente testadas e são adequadamente reutilizáveis.

Se usado, o bloco condicional if __name__ == '__main__' ainda funcionará como esperado para o arquivo __main__.py dentro de um pacote, pois seu atributo __name__ incluirá o caminho do pacote se importado:

>>> import asyncio.__main__
>>> asyncio.__main__.__name__
'asyncio.__main__'

Porém, isso não funcionará para arquivos __main__.py no diretório raiz de um arquivo .zip. Portanto, para consistência, é preferível um __main__.py mínimo sem uma verificação de __name__.

Ver também

Veja venv, da biblioteca padrão, para um exemplo de pacote com um __main__.py minimalista. Ele não contém um bloco if __name__ == '__main__'. Você pode invocá-lo com python -m venv [directory].

Veja runpy para mais detalhes sobre o sinalizador -m para o executável do interpretador.

Veja zipapp para saber como executar aplicativos compactados como arquivos .zip. Nesse caso, o Python procura um arquivo __main__.py no diretório raiz do arquivo.

import __main__

Independentemente do módulo com o qual um programa Python foi iniciado, outros módulos executados no mesmo programa podem importar o escopo do ambiente principal (espaço de nomes) importando o módulo __main__. Isso não faz a importação de um arquivo __main__.py, mas sim qualquer módulo que recebeu o nome especial '__main__'.

Aqui está um módulo de exemplo que consome o espaço de nomes __main__:

# namely.py

import __main__

def did_user_define_their_name():
    return 'my_name' in dir(__main__)

def print_user_name():
    if not did_user_define_their_name():
        raise ValueError('Define the variable `my_name`!')

    if '__file__' in dir(__main__):
        print(__main__.my_name, "found in file", __main__.__file__)
    else:
        print(__main__.my_name)

Exemplo de uso deste módulo pode ser como abaixo:

# start.py

import sys

from namely import print_user_name

# my_name = "Dinsdale"

def main():
    try:
        print_user_name()
    except ValueError as ve:
        return str(ve)

if __name__ == "__main__":
    sys.exit(main())

Agora, se iniciarmos nosso programa, o resultado seria assim:

$ python start.py
Define the variable `my_name`!

O código de saída do programa seria 1, indicando um erro. Descomentar a linha com my_name = "Dinsdale" corrige o programa e agora ele sai com o código de status 0, indicando sucesso:

$ python start.py
Dinsdale found in file /path/to/start.py

Observe que a importação de __main__ não causa nenhum problema com a execução involuntária de código principal destinado ao uso de script que é colocado no bloco if __name__ == "__main__" do módulo start. Por que isso funciona?

O Python insere um módulo __main__ vazio em sys.modules na inicialização do interpretador e o preenche executando o código principal. Em nosso exemplo, este é o módulo start que executa linha por linha e importa namely. Por sua vez, namely importa __main__ (que é realmente start). Isso é um ciclo de importação! Felizmente, como o módulo __main__ parcialmente preenchido está presente em sys.modules, o Python o passa para namely. Veja Considerações especiais sobre __main__ na referência do sistema de importação para detalhes sobre como isso funciona.

O REPL do Python é outro exemplo de um “ambiente principal”, então qualquer coisa definida no REPL se torna parte do escopo do __main__:

>>> import namely
>>> namely.did_user_define_their_name()
False
>>> namely.print_user_name()
Traceback (most recent call last):
...
ValueError: Define the variable `my_name`!
>>> my_name = 'Jabberwocky'
>>> namely.did_user_define_their_name()
True
>>> namely.print_user_name()
Jabberwocky

Note que neste caso o escopo __main__ não contém um atributo __file__, pois é interativo.

O escopo __main__ é usado na implementação de pdb e rlcompleter.

warnings — Warning control

Código-fonte: Lib/warnings.py [https://github.com/python/cpython/tree/3.13/Lib/warnings.py]

As mensagens de aviso são normalmente emitidas em situações em que é útil alertar o usuário sobre alguma condição em um programa, onde essa condição (normalmente) não garante o levantamento de uma exceção e o encerramento do programa. Por exemplo, pode-se querer emitir um aviso quando um programa usa um módulo obsoleto.

Os programadores Python emitem avisos chamando a função warn() definida neste módulo. (Os programadores C usam PyErr_WarnEx(); veja Manipulando Exceções para detalhes).

Mensagens de aviso são normalmente escritas no sys.stderr, mas sua disposição pode ser alterada de forma flexível, desde ignorar todos os avisos até transformá-los em exceções. A disposição dos avisos pode variar de acordo com categoria de aviso, o texto da mensagem de aviso e o local de origem onde ela é emitida. As repetições de um aviso específico para o mesmo local de origem são normalmente suprimidas.

Existem duas etapas no controle de avisos: primeiro, cada vez que um aviso é emitido, é feita uma determinação se uma mensagem deve ser emitida ou não; a seguir, se uma mensagem deve ser emitida, ela é formatada e impressa usando um gancho configurável pelo usuário.

A determinação de emitir ou não uma mensagem de aviso é controlada pelo filtro de aviso, que é uma sequência de regras e ações correspondentes. As regras podem ser adicionadas ao filtro chamando filterwarnings() e redefinidas para seu estado padrão chamando resetwarnings().

A exibição de mensagens de aviso é feita chamando showwarning(), que pode ser substituída; a implementação padrão desta função formata a mensagem chamando formatwarning(), que também está disponível para uso por implementações personalizadas.

Ver também

logging.captureWarnings() permite que você manipule todos os avisos com a infraestrutura de registro padrão.

Categorias de avisos

Existem várias exceções embutidas que representam categorias de aviso. Essa categorização é útil para filtrar grupos de avisos.

Embora sejam tecnicamente exceções embutidas, elas são documentadas aqui, porque conceitualmente pertencem ao mecanismo de avisos.

O código do usuário pode definir categorias de aviso adicionais criando uma subclasse de uma das categorias de aviso padrão. Uma categoria de aviso deve ser sempre uma subclasse da classe Warning.

As seguintes classes de categorias de avisos estão definidas atualmente:

Classe

Descrição

Warning

Esta é a classe base de todas as classes de categoria de aviso. É uma subclasse de Exception.

UserWarning

A categoria padrão para warn().

DeprecationWarning

Categoria base para avisos sobre recursos descontinuados quando esses avisos são destinados a outros desenvolvedores Python (ignorado por padrão, a menos que acionado por código em __main__).

SyntaxWarning

Categoria base para avisos sobre recursos sintáticos duvidosos.

RuntimeWarning

Categoria base para avisos sobre recursos duvidosos de tempo de execução.

FutureWarning

Categoria base para avisos sobre recursos descontinuados quando esses avisos se destinam a usuários finais de aplicações escritas em Python.

PendingDeprecationWarning

Categoria base para avisos sobre recursos que serão descontinuados no futuro (ignorados por padrão).

ImportWarning

Categoria base para avisos acionados durante o processo de importação de um módulo (ignorado por padrão).

UnicodeWarning

Categoria base para avisos relacionados a Unicode.

BytesWarning

Categoria base para avisos relacionados a bytes e bytearray.

ResourceWarning

Base category for warnings related to resource usage (ignored by default).

Alterado na versão 3.7: Anteriormente, DeprecationWarning e FutureWarning eram diferenciadas com base em se um recurso estava sendo removido completamente ou mudando seu comportamento. Elas agora são diferenciadas com base em seu público-alvo e na maneira como são tratadas pelos filtros de avisos padrão.

O filtro de avisos

O filtro de avisos controla se os avisos são ignorados, exibidos ou transformados em erros (levantando uma exceção).

Conceitualmente, o filtro de avisos mantém uma lista ordenada de especificações de filtro; qualquer aviso específico é comparado com cada especificação de filtro na lista, por sua vez, até que uma correspondência seja encontrada; o filtro determina a disposição da correspondência. Cada entrada é uma tupla no formato (action, message, category, module, lineno), sendo:

action é uma das seguintes strings:

Valor

Disposição

"default"

exibe a primeira ocorrência de avisos correspondentes para cada local (módulo + número da linha) onde o aviso é emitido

"error"

transforma avisos correspondentes em exceções

"ignore"

nunca exibe avisos correspondentes

"always"

sempre exibe avisos correspondentes

"module"

exibe a primeira ocorrência de avisos correspondentes para cada módulo onde o aviso é emitido (independentemente do número da linha)

"once"

exibe apenas a primeira ocorrência de avisos correspondentes, independentemente da localização

message is a string containing a regular expression that the start of the warning message must match, case-insensitively. In -W and PYTHONWARNINGS, message is a literal string that the start of the warning message must contain (case-insensitively), ignoring any whitespace at the start or end of message.

category é uma classe (uma subclasse de Warning) da qual a categoria de aviso deve ser uma subclasse para corresponder.

module is a string containing a regular expression that the start of the fully qualified module name must match, case-sensitively. In -W and PYTHONWARNINGS, module is a literal string that the fully qualified module name must be equal to (case-sensitively), ignoring any whitespace at the start or end of module.

lineno é um número inteiro que deve corresponder ao número da linha onde ocorreu o aviso, ou 0 para corresponder a todos os números de linha.

Como a classe Warning é derivada da classe embutida Exception, para transformar um aviso em um erro, simplesmente levantamos category(message).

Se um aviso for relatado e não corresponder a nenhum filtro registrado, a ação “padrão” será aplicada (daí seu nome).

Describing Warning Filters

The warnings filter is initialized by -W options passed to the Python interpreter command line and the PYTHONWARNINGS environment variable. The interpreter saves the arguments for all supplied entries without interpretation in sys.warnoptions; the warnings module parses these when it is first imported (invalid options are ignored, after printing a message to sys.stderr).

Individual warnings filters are specified as a sequence of fields separated by colons:

action:message:category:module:line

The meaning of each of these fields is as described in O filtro de avisos. When listing multiple filters on a single line (as for PYTHONWARNINGS), the individual filters are separated by commas and the filters listed later take precedence over those listed before them (as they’re applied left-to-right, and the most recently applied filters take precedence over earlier ones).

Commonly used warning filters apply to either all warnings, warnings in a particular category, or warnings raised by particular modules or packages. Some examples:

default                      # Show all warnings (even those ignored by default)
ignore                       # Ignore all warnings
error                        # Convert all warnings to errors
error::ResourceWarning       # Treat ResourceWarning messages as errors
default::DeprecationWarning  # Show DeprecationWarning messages
ignore,default:::mymodule    # Only report warnings triggered by "mymodule"
error:::mymodule             # Convert warnings to errors in "mymodule"

Filtro de avisos padrão

By default, Python installs several warning filters, which can be overridden by the -W command-line option, the PYTHONWARNINGS environment variable and calls to filterwarnings().

In regular release builds, the default warning filter has the following entries (in order of precedence):

default::DeprecationWarning:__main__
ignore::DeprecationWarning
ignore::PendingDeprecationWarning
ignore::ImportWarning
ignore::ResourceWarning

In a debug build, the list of default warning filters is empty.

Alterado na versão 3.2: DeprecationWarning is now ignored by default in addition to PendingDeprecationWarning.

Alterado na versão 3.7: DeprecationWarning is once again shown by default when triggered directly by code in __main__.

Alterado na versão 3.7: BytesWarning no longer appears in the default filter list and is instead configured via sys.warnoptions when -b is specified twice.

Overriding the default filter

Developers of applications written in Python may wish to hide all Python level warnings from their users by default, and only display them when running tests or otherwise working on the application. The sys.warnoptions attribute used to pass filter configurations to the interpreter can be used as a marker to indicate whether or not warnings should be disabled:

import sys

if not sys.warnoptions:
    import warnings
    warnings.simplefilter("ignore")

Developers of test runners for Python code are advised to instead ensure that all warnings are displayed by default for the code under test, using code like:

import sys

if not sys.warnoptions:
    import os, warnings
    warnings.simplefilter("default") # Change the filter in this process
    os.environ["PYTHONWARNINGS"] = "default" # Also affect subprocesses

Finally, developers of interactive shells that run user code in a namespace other than __main__ are advised to ensure that DeprecationWarning messages are made visible by default, using code like the following (where user_ns is the module used to execute code entered interactively):

import warnings
warnings.filterwarnings("default", category=DeprecationWarning,
                                   module=user_ns.get("__name__"))

Temporarily Suppressing Warnings

If you are using code that you know will raise a warning, such as a deprecated function, but do not want to see the warning (even when warnings have been explicitly configured via the command line), then it is possible to suppress the warning using the catch_warnings context manager:

import warnings

def fxn():
    warnings.warn("deprecated", DeprecationWarning)

with warnings.catch_warnings():
    warnings.simplefilter("ignore")
    fxn()

While within the context manager all warnings will simply be ignored. This allows you to use known-deprecated code without having to see the warning while not suppressing the warning for other code that might not be aware of its use of deprecated code. Note: this can only be guaranteed in a single-threaded application. If two or more threads use the catch_warnings context manager at the same time, the behavior is undefined.

Testing Warnings

To test warnings raised by code, use the catch_warnings context manager. With it you can temporarily mutate the warnings filter to facilitate your testing. For instance, do the following to capture all raised warnings to check:

import warnings

def fxn():
    warnings.warn("deprecated", DeprecationWarning)

with warnings.catch_warnings(record=True) as w:
    # Cause all warnings to always be triggered.
    warnings.simplefilter("always")
    # Trigger a warning.
    fxn()
    # Verify some things
    assert len(w) == 1
    assert issubclass(w[-1].category, DeprecationWarning)
    assert "deprecated" in str(w[-1].message)

One can also cause all warnings to be exceptions by using error instead of always. One thing to be aware of is that if a warning has already been raised because of a once/default rule, then no matter what filters are set the warning will not be seen again unless the warnings registry related to the warning has been cleared.

Once the context manager exits, the warnings filter is restored to its state when the context was entered. This prevents tests from changing the warnings filter in unexpected ways between tests and leading to indeterminate test results. The showwarning() function in the module is also restored to its original value. Note: this can only be guaranteed in a single-threaded application. If two or more threads use the catch_warnings context manager at the same time, the behavior is undefined.

When testing multiple operations that raise the same kind of warning, it is important to test them in a manner that confirms each operation is raising a new warning (e.g. set warnings to be raised as exceptions and check the operations raise exceptions, check that the length of the warning list continues to increase after each operation, or else delete the previous entries from the warnings list before each new operation).

Updating Code For New Versions of Dependencies

Warning categories that are primarily of interest to Python developers (rather than end users of applications written in Python) are ignored by default.

Notably, this “ignored by default” list includes DeprecationWarning (for every module except __main__), which means developers should make sure to test their code with typically ignored warnings made visible in order to receive timely notifications of future breaking API changes (whether in the standard library or third party packages).

In the ideal case, the code will have a suitable test suite, and the test runner will take care of implicitly enabling all warnings when running tests (the test runner provided by the unittest module does this).

In less ideal cases, applications can be checked for use of deprecated interfaces by passing -Wd to the Python interpreter (this is shorthand for -W default) or setting PYTHONWARNINGS=default in the environment. This enables default handling for all warnings, including those that are ignored by default. To change what action is taken for encountered warnings you can change what argument is passed to -W (e.g. -W error). See the -W flag for more details on what is possible.

Available Functions

warnings.warn(message, category=None, stacklevel=1, source=None, *, skip_file_prefixes=None)

Issue a warning, or maybe ignore it or raise an exception. The category argument, if given, must be a warning category class; it defaults to UserWarning. Alternatively, message can be a Warning instance, in which case category will be ignored and message.__class__ will be used. In this case, the message text will be str(message). This function raises an exception if the particular warning issued is changed into an error by the warnings filter. The stacklevel argument can be used by wrapper functions written in Python, like this:

def deprecated_api(message):
    warnings.warn(message, DeprecationWarning, stacklevel=2)

This makes the warning refer to deprecated_api’s caller, rather than to the source of deprecated_api itself (since the latter would defeat the purpose of the warning message).

The skip_file_prefixes keyword argument can be used to indicate which stack frames are ignored when counting stack levels. This can be useful when you want the warning to always appear at call sites outside of a package when a constant stacklevel does not fit all call paths or is otherwise challenging to maintain. If supplied, it must be a tuple of strings. When prefixes are supplied, stacklevel is implicitly overridden to be max(2, stacklevel). To cause a warning to be attributed to the caller from outside of the current package you might write:

# example/lower.py
_warn_skips = (os.path.dirname(__file__),)

def one_way(r_luxury_yacht=None, t_wobbler_mangrove=None):
    if r_luxury_yacht:
        warnings.warn("Please migrate to t_wobbler_mangrove=.",
                      skip_file_prefixes=_warn_skips)

# example/higher.py
from . import lower

def another_way(**kw):
    lower.one_way(**kw)

This makes the warning refer to both the example.lower.one_way() and package.higher.another_way() call sites only from calling code living outside of example package.

source, if supplied, is the destroyed object which emitted a ResourceWarning.

Alterado na versão 3.6: Added source parameter.

Alterado na versão 3.12: Added skip_file_prefixes.

warnings.warn_explicit(message, category, filename, lineno, module=None, registry=None, module_globals=None, source=None)

This is a low-level interface to the functionality of warn(), passing in explicitly the message, category, filename and line number, and optionally the module name and the registry (which should be the __warningregistry__ dictionary of the module). The module name defaults to the filename with .py stripped; if no registry is passed, the warning is never suppressed. message must be a string and category a subclass of Warning or message may be a Warning instance, in which case category will be ignored.

module_globals, if supplied, should be the global namespace in use by the code for which the warning is issued. (This argument is used to support displaying source for modules found in zipfiles or other non-filesystem import sources).

source, if supplied, is the destroyed object which emitted a ResourceWarning.

Alterado na versão 3.6: Add the source parameter.

warnings.showwarning(message, category, filename, lineno, file=None, line=None)

Write a warning to a file. The default implementation calls formatwarning(message, category, filename, lineno, line) and writes the resulting string to file, which defaults to sys.stderr. You may replace this function with any callable by assigning to warnings.showwarning. line is a line of source code to be included in the warning message; if line is not supplied, showwarning() will try to read the line specified by filename and lineno.

warnings.formatwarning(message, category, filename, lineno, line=None)

Format a warning the standard way. This returns a string which may contain embedded newlines and ends in a newline. line is a line of source code to be included in the warning message; if line is not supplied, formatwarning() will try to read the line specified by filename and lineno.

warnings.filterwarnings(action, message='', category=Warning, module='', lineno=0, append=False)

Insert an entry into the list of warnings filter specifications. The entry is inserted at the front by default; if append is true, it is inserted at the end. This checks the types of the arguments, compiles the message and module regular expressions, and inserts them as a tuple in the list of warnings filters. Entries closer to the front of the list override entries later in the list, if both match a particular warning. Omitted arguments default to a value that matches everything.

warnings.simplefilter(action, category=Warning, lineno=0, append=False)

Insert a simple entry into the list of warnings filter specifications. The meaning of the function parameters is as for filterwarnings(), but regular expressions are not needed as the filter inserted always matches any message in any module as long as the category and line number match.

warnings.resetwarnings()

Reset the warnings filter. This discards the effect of all previous calls to filterwarnings(), including that of the -W command line options and calls to simplefilter().

@warnings.deprecated(msg, *, category=DeprecationWarning, stacklevel=1)

Decorator to indicate that a class, function or overload is deprecated.

When this decorator is applied to an object, deprecation warnings may be emitted at runtime when the object is used. static type checkers will also generate a diagnostic on usage of the deprecated object.

Uso:

from warnings import deprecated
from typing import overload

@deprecated("Use B instead")
class A:
    pass

@deprecated("Use g instead")
def f():
    pass

@overload
@deprecated("int support is deprecated")
def g(x: int) -> int: ...
@overload
def g(x: str) -> int: ...

The warning specified by category will be emitted at runtime on use of deprecated objects. For functions, that happens on calls; for classes, on instantiation and on creation of subclasses. If the category is None, no warning is emitted at runtime. The stacklevel determines where the warning is emitted. If it is 1 (the default), the warning is emitted at the direct caller of the deprecated object; if it is higher, it is emitted further up the stack. Static type checker behavior is not affected by the category and stacklevel arguments.

The deprecation message passed to the decorator is saved in the __deprecated__ attribute on the decorated object. If applied to an overload, the decorator must be after the @overload decorator for the attribute to exist on the overload as returned by typing.get_overloads().

Adicionado na versão 3.13: See PEP 702 [https://peps.python.org/pep-0702/].

Available Context Managers

class warnings.catch_warnings(*, record=False, module=None, action=None, category=Warning, lineno=0, append=False)

A context manager that copies and, upon exit, restores the warnings filter and the showwarning() function. If the record argument is False (the default) the context manager returns None on entry. If record is True, a list is returned that is progressively populated with objects as seen by a custom showwarning() function (which also suppresses output to sys.stdout). Each object in the list has attributes with the same names as the arguments to showwarning().

The module argument takes a module that will be used instead of the module returned when you import warnings whose filter will be protected. This argument exists primarily for testing the warnings module itself.

If the action argument is not None, the remaining arguments are passed to simplefilter() as if it were called immediately on entering the context.

See O filtro de avisos for the meaning of the category and lineno parameters.

Nota

The catch_warnings manager works by replacing and then later restoring the module’s showwarning() function and internal list of filter specifications. This means the context manager is modifying global state and therefore is not thread-safe.

Alterado na versão 3.11: Added the action, category, lineno, and append parameters.

dataclasses — Data Classes

Código-fonte: Lib/dataclasses.py [https://github.com/python/cpython/tree/3.13/Lib/dataclasses.py]

Este módulo fornece um decorador e funções para adicionar automaticamente métodos especiais tais como __init__() e __repr__() a classes definidas pelo usuário. Foi originalmente descrita em PEP 557 [https://peps.python.org/pep-0557/].

Variáveis-membro a serem usadas nesses métodos gerados são definidas usando as anotações de tipo da PEP 526 [https://peps.python.org/pep-0526/]. Por exemplo, esse código:

from dataclasses import dataclass

@dataclass
class InventoryItem:
    """Class for keeping track of an item in inventory."""
    name: str
    unit_price: float
    quantity_on_hand: int = 0

    def total_cost(self) -> float:
        return self.unit_price * self.quantity_on_hand

adicionará, entre outras coisas, um __init__() como esse:

def __init__(self, name: str, unit_price: float, quantity_on_hand: int = 0):
    self.name = name
    self.unit_price = unit_price
    self.quantity_on_hand = quantity_on_hand

Observe que este método é adicionado automaticamente à classe: ele não é especificado diretamente na definição InventoryItem mostrada acima.

Adicionado na versão 3.7.

Conteúdo do módulo

@dataclasses.dataclass(*, init=True, repr=True, eq=True, order=False, unsafe_hash=False, frozen=False, match_args=True, kw_only=False, slots=False, weakref_slot=False)

Esta função é um decorador que é usado para adicionar métodos especiais para classes, conforme descrito abaixo.

O decorador @dataclass examina a classe para encontrar campos (field. Um field é definido como uma variável de classe que tem uma anotação de tipo. Com duas exceções, descritas mais adiante, @dataclass não examina o tipo especificado na anotação de variável.

A ordem dos campos em todos os métodos gerados é a ordem em que eles aparecem na definição de classe.

O decorador @dataclass adicionará vários métodos “dunder” à classe, descritos abaixo. Se algum dos métodos adicionados já existir na classe, o comportamento dependerá do parâmetro, conforme documentado abaixo. O decorador retorna a mesma classe decorada; nenhuma nova classe é criada.

Se @dataclass for usado apenas como um simples decorador, sem parâmetros, ele age como se tivesse os valores padrão documentados nessa assinatura. Ou seja, esses três usos de @dataclass são equivalentes:

@dataclass
class C:
    ...

@dataclass()
class C:
    ...

@dataclass(init=True, repr=True, eq=True, order=False, unsafe_hash=False, frozen=False,
           match_args=True, kw_only=False, slots=False, weakref_slot=False)
class C:
    ...

Os parâmetros do @dataclass são:

init: Se verdadeiro (o padrão), o método __init__() será gerado.

Se a classe do usuário definir __init__() esse parâmetro é ignorado.

repr: Se verdadeiro (o padrão), um método __repr__() será gerado. A sequência de string de representação gerada terá o nome da classe e o nome e representação de cada campo, na ordem em que são definidos na classe. Os campos marcados como excluídos da representação não são incluídos. Por exemplo: InventoryItem(name='widget', unit_price=3.0, quantity_on_hand=10).

Se a classe do usuário já define __repr__() esse parâmetro é ignorado.

eq: Se verdadeiro (o padrão), um método __eq__() será gerado. Este método compara a classe como se fosse uma tupla de campos, em ordem. Ambas as instâncias na comparação devem ser de tipo idêntico.

Se a classe do usuário já define __eq__() esse parâmetro é ignorado.

order: Se verdadeiro (o padrão é False), os métodos __lt__(), __le__(), __gt__() e __ge__() serão gerados. Comparam a classe como se fosse uma tupla de campos, em ordem. Ambas instâncias na comparação devem ser de tipo idêntico. Se order é verdadeiro e eq é falso, a exceção ValueError é levantada.

Se a classe do usuário já define algum dentre __lt__(), __le__(), __gt__() ou __ge__(), então TypeError é levantada.

unsafe_hash: Se False (o padrão), um método __hash__() é gerado, conforme a forma como eq e frozen estão configurados.

__hash__() is used by built-in hash(), and when objects are added to hashed collections such as dictionaries and sets. Having a __hash__() implies that instances of the class are immutable. Mutability is a complicated property that depends on the programmer’s intent, the existence and behavior of __eq__(), and the values of the eq and frozen flags in the @dataclass decorator.

Por padrão, @dataclass não vai adicionar implicitamente um método __hash__(), a menos que seja seguro fazê-lo. Nem irá adicionar ou modificar um método __hash__() existente, definido explicitamente. Configurar o atributo de classe __hash__ = None tem um significado específico para o Python, conforme descrito na documentação de __hash__().

Se __hash__() não é definido explicitamente, ou se é configurado como None, então @dataclass pode adicionar um método __hash__() implícito. Mesmo que não seja recomendado, pode-se forçar @dataclass a criar um método __hash__() com unsafe_hash=True. Este pode ser o caso se sua classe é logicamente imutável, mas na prática pode ser mudada. Esse é um caso de uso específico e deve ser considerado com muito cuidado.

Essas são as regras governando a criação implícita de um método __hash__(). Observe que não pode ter um método __hash__() explícito na dataclass e configurar unsafe_hash=True; isso resultará em um TypeError.

Se eq e frozen são ambos verdadeiros, por padrão @dataclass vai gerar um método __hash__(). Se eq é verdadeiro e frozen é falso, __hash__() será configurado para None, marcando a classe como não-hasheável (já que é mutável). Se eq é falso, __hash__() será deixado intocado, o que significa que o método __hash__() da superclasse será usado (se a superclasse é object, significa que voltará para o hash baseado em id).

frozen: Se verdadeiro (o padrão é False), atribuições para os campos vão gerar uma exceção. Imita instâncias congeladas, somente leitura. Se __setattr__() ou __delattr__() é definido na classe, a exceção TypeError é levantada. Veja a discussão abaixo.

match_args: Se verdadeiro (o padrão é True), a tupla __match_args__ será criada a partir da lista de parâmetros para o método __init__() gerado (mesmo se __init__() não for gerado, veja acima). Se falso, ou se __match_args__ já estiver definido na classe, então __match_args__ não será gerado.

Adicionado na versão 3.10.

kw_only: Se verdadeiro (o valor padrão é False), então todos os campos serão marcados como somente-nomeado. Se um campo for marcado como somente-nomeado, então o único efeito é que o parâmetro __init__() gerado a partir de um campo somente-nomeado deve ser especificado com um campo quando __init__() é chamado. Não há efeito em nenhum outro aspecto das classes de dados. Veja a entrada parâmetro do glossário para detalhes. Veja também a seção KW_ONLY.

Adicionado na versão 3.10.

slots: If true (the default is False), __slots__ attribute will be generated and new class will be returned instead of the original one. If __slots__ is already defined in the class, then TypeError is raised.

Aviso

Calling no-arg super() in dataclasses using slots=True will result in the following exception being raised: TypeError: super(type, obj): obj must be an instance or subtype of type. The two-arg super() is a valid workaround. See gh-90562 [https://github.com/python/cpython/issues/90562] for full details.

Aviso

Passing parameters to a base class __init_subclass__() when using slots=True will result in a TypeError. Either use __init_subclass__ with no parameters or use default values as a workaround. See gh-91126 [https://github.com/python/cpython/issues/91126] for full details.

Adicionado na versão 3.10.

Alterado na versão 3.11: If a field name is already included in the __slots__ of a base class, it will not be included in the generated __slots__ to prevent overriding them. Therefore, do not use __slots__ to retrieve the field names of a dataclass. Use fields() instead. To be able to determine inherited slots, base class __slots__ may be any iterable, but not an iterator.

weakref_slot: If true (the default is False), add a slot named “__weakref__”, which is required to make an instance weakref-able. It is an error to specify weakref_slot=True without also specifying slots=True.

Adicionado na versão 3.11.

fields pode opcionalmente especificar um valor padrão, usando sintaxe Python normal:

@dataclass
class C:
    a: int       # 'a' has no default value
    b: int = 0   # assign a default value for 'b'

In this example, both a and b will be included in the added __init__() method, which will be defined as:

def __init__(self, a: int, b: int = 0):

TypeError será levantada se um campo sem valor padrão for definido após um campo com valor padrão. Isso é verdadeiro se ocorrer numa classe simples, ou como resultado de uma herança de classe.

dataclasses.field(*, default=MISSING, default_factory=MISSING, init=True, repr=True, hash=None, compare=True, metadata=None, kw_only=MISSING)

For common and simple use cases, no other functionality is required. There are, however, some dataclass features that require additional per-field information. To satisfy this need for additional information, you can replace the default field value with a call to the provided field() function. For example:

@dataclass
class C:
    mylist: list[int] = field(default_factory=list)

c = C()
c.mylist += [1, 2, 3]

Como mostrado acima, o valor MISSING é um objeto sentinela usado para detectar se alguns parâmetros são fornecidos pelo usuário. Este sentinela é usado porque None é um valor válido para alguns parâmetros com um significado distinto. Nenhum código deve usar diretamente o valor MISSING.

The parameters to field() are:

default: If provided, this will be the default value for this field. This is needed because the field() call itself replaces the normal position of the default value.

default_factory: If provided, it must be a zero-argument callable that will be called when a default value is needed for this field. Among other purposes, this can be used to specify fields with mutable default values, as discussed below. It is an error to specify both default and default_factory.

init: If true (the default), this field is included as a parameter to the generated __init__() method.

repr: If true (the default), this field is included in the string returned by the generated __repr__() method.

hash: This can be a bool or None. If true, this field is included in the generated __hash__() method. If None (the default), use the value of compare: this would normally be the expected behavior. A field should be considered in the hash if it’s used for comparisons. Setting this value to anything other than None is discouraged.

Uma possível razão para definir hash=False mas compare=True seria se um campo for caro para calcular um valor de hash, esse campo for necessário para teste de igualdade e houver outros campos que contribuem para o valor de hash do tipo. Mesmo que um campo seja excluído do hash, ele ainda será usado para comparações.

compare: If true (the default), this field is included in the generated equality and comparison methods (__eq__(), __gt__(), et al.).

metadata: This can be a mapping or None. None is treated as an empty dict. This value is wrapped in MappingProxyType() to make it read-only, and exposed on the Field object. It is not used at all by Data Classes, and is provided as a third-party extension mechanism. Multiple third-parties can each have their own key, to use as a namespace in the metadata.

kw_only: If true, this field will be marked as keyword-only. This is used when the generated __init__() method’s parameters are computed.

Adicionado na versão 3.10.

If the default value of a field is specified by a call to field(), then the class attribute for this field will be replaced by the specified default value. If default is not provided, then the class attribute will be deleted. The intent is that after the @dataclass decorator runs, the class attributes will all contain the default values for the fields, just as if the default value itself were specified. For example, after:

@dataclass
class C:
    x: int
    y: int = field(repr=False)
    z: int = field(repr=False, default=10)
    t: int = 20

The class attribute C.z will be 10, the class attribute C.t will be 20, and the class attributes C.x and C.y will not be set.

class dataclasses.Field

Field objects describe each defined field. These objects are created internally, and are returned by the fields() module-level method (see below). Users should never instantiate a Field object directly. Its documented attributes are:

name: The name of the field.

type: The type of the field.

default, default_factory, init, repr, hash, compare, metadata, and kw_only have the identical meaning and values as they do in the field() function.

Outros atributos podem existir, mas são privados e não devem ser inspecionados ou confiáveis.

dataclasses.fields(class_or_instance)

Retorna uma tupla de objetos Field que definem os campos para esta classe de dados. Aceita uma classe de dados ou uma instância de uma classe de dados. Levanta TypeError se não for passada uma classe de dados ou instância de uma. Não retorna pseudocampos que são ClassVar ou InitVar.

dataclasses.asdict(obj, *, dict_factory=dict)

Converts the dataclass obj to a dict (by using the factory function dict_factory). Each dataclass is converted to a dict of its fields, as name: value pairs. dataclasses, dicts, lists, and tuples are recursed into. Other objects are copied with copy.deepcopy().

Example of using asdict() on nested dataclasses:

@dataclass
class Point:
     x: int
     y: int

@dataclass
class C:
     mylist: list[Point]

p = Point(10, 20)
assert asdict(p) == {'x': 10, 'y': 20}

c = C([Point(0, 0), Point(10, 4)])
assert asdict(c) == {'mylist': [{'x': 0, 'y': 0}, {'x': 10, 'y': 4}]}

Para criar uma cópia rasa, a seguinte solução alternativa pode ser usada:

{field.name: getattr(obj, field.name) for field in fields(obj)}

asdict() raises TypeError if obj is not a dataclass instance.

dataclasses.astuple(obj, *, tuple_factory=tuple)

Converts the dataclass obj to a tuple (by using the factory function tuple_factory). Each dataclass is converted to a tuple of its field values. dataclasses, dicts, lists, and tuples are recursed into. Other objects are copied with copy.deepcopy().

Continuando a partir do exemplo anterior:

assert astuple(p) == (10, 20)
assert astuple(c) == ([(0, 0), (10, 4)],)

Para criar uma cópia rasa, a seguinte solução alternativa pode ser usada:

tuple(getattr(obj, field.name) for field in dataclasses.fields(obj))

astuple() raises TypeError if obj is not a dataclass instance.

dataclasses.make_dataclass(cls_name, fields, *, bases=(), namespace=None, init=True, repr=True, eq=True, order=False, unsafe_hash=False, frozen=False, match_args=True, kw_only=False, slots=False, weakref_slot=False, module=None)

Creates a new dataclass with name cls_name, fields as defined in fields, base classes as given in bases, and initialized with a namespace as given in namespace. fields is an iterable whose elements are each either name, (name, type), or (name, type, Field). If just name is supplied, typing.Any is used for type. The values of init, repr, eq, order, unsafe_hash, frozen, match_args, kw_only, slots, and weakref_slot have the same meaning as they do in @dataclass.

If module is defined, the __module__ attribute of the dataclass is set to that value. By default, it is set to the module name of the caller.

This function is not strictly required, because any Python mechanism for creating a new class with __annotations__ can then apply the @dataclass function to convert that class to a dataclass. This function is provided as a convenience. For example:

C = make_dataclass('C',
                   [('x', int),
                     'y',
                    ('z', int, field(default=5))],
                   namespace={'add_one': lambda self: self.x + 1})

É equivalente a:

@dataclass
class C:
    x: int
    y: 'typing.Any'
    z: int = 5

    def add_one(self):
        return self.x + 1

dataclasses.replace(obj, /, **changes)

Creates a new object of the same type as obj, replacing fields with values from changes. If obj is not a Data Class, raises TypeError. If keys in changes are not field names of the given dataclass, raises TypeError.

The newly returned object is created by calling the __init__() method of the dataclass. This ensures that __post_init__(), if present, is also called.

Init-only variables without default values, if any exist, must be specified on the call to replace() so that they can be passed to __init__() and __post_init__().

It is an error for changes to contain any fields that are defined as having init=False. A ValueError will be raised in this case.

Be forewarned about how init=False fields work during a call to replace(). They are not copied from the source object, but rather are initialized in __post_init__(), if they’re initialized at all. It is expected that init=False fields will be rarely and judiciously used. If they are used, it might be wise to have alternate class constructors, or perhaps a custom replace() (or similarly named) method which handles instance copying.

Dataclass instances are also supported by generic function copy.replace().

dataclasses.is_dataclass(obj)

Return True if its parameter is a dataclass (including subclasses of a dataclass) or an instance of one, otherwise return False.

Se você precisa saber se a classe é uma instância de dataclass (e não a dataclass de fato), então adicione uma verificação para not isinstance(obj, type):

def is_dataclass_instance(obj):
    return is_dataclass(obj) and not isinstance(obj, type)

dataclasses.MISSING

A sentinel value signifying a missing default or default_factory.

dataclasses.KW_ONLY

A sentinel value used as a type annotation. Any fields after a pseudo-field with the type of KW_ONLY are marked as keyword-only fields. Note that a pseudo-field of type KW_ONLY is otherwise completely ignored. This includes the name of such a field. By convention, a name of _ is used for a KW_ONLY field. Keyword-only fields signify __init__() parameters that must be specified as keywords when the class is instantiated.

In this example, the fields y and z will be marked as keyword-only fields:

@dataclass
class Point:
    x: float
    _: KW_ONLY
    y: float
    z: float

p = Point(0, y=1.5, z=2.0)

In a single dataclass, it is an error to specify more than one field whose type is KW_ONLY.

Adicionado na versão 3.10.

exception dataclasses.FrozenInstanceError

Raised when an implicitly defined __setattr__() or __delattr__() is called on a dataclass which was defined with frozen=True. It is a subclass of AttributeError.

Processamento pós-inicialização

dataclasses.__post_init__()

When defined on the class, it will be called by the generated __init__(), normally as self.__post_init__(). However, if any InitVar fields are defined, they will also be passed to __post_init__() in the order they were defined in the class. If no __init__() method is generated, then __post_init__() will not automatically be called.

Among other uses, this allows for initializing field values that depend on one or more other fields. For example:

@dataclass
class C:
    a: float
    b: float
    c: float = field(init=False)

    def __post_init__(self):
        self.c = self.a + self.b

The __init__() method generated by @dataclass does not call base class __init__() methods. If the base class has an __init__() method that has to be called, it is common to call this method in a __post_init__() method:

class Rectangle:
    def __init__(self, height, width):
        self.height = height
        self.width = width

@dataclass
class Square(Rectangle):
    side: float

    def __post_init__(self):
        super().__init__(self.side, self.side)

Note, however, that in general the dataclass-generated __init__() methods don’t need to be called, since the derived dataclass will take care of initializing all fields of any base class that is a dataclass itself.

See the section below on init-only variables for ways to pass parameters to __post_init__(). Also see the warning about how replace() handles init=False fields.

Variáveis de classe

One of the few places where @dataclass actually inspects the type of a field is to determine if a field is a class variable as defined in PEP 526 [https://peps.python.org/pep-0526/]. It does this by checking if the type of the field is typing.ClassVar. If a field is a ClassVar, it is excluded from consideration as a field and is ignored by the dataclass mechanisms. Such ClassVar pseudo-fields are not returned by the module-level fields() function.

Variáveis de inicialização apenas

Another place where @dataclass inspects a type annotation is to determine if a field is an init-only variable. It does this by seeing if the type of a field is of type dataclasses.InitVar. If a field is an InitVar, it is considered a pseudo-field called an init-only field. As it is not a true field, it is not returned by the module-level fields() function. Init-only fields are added as parameters to the generated __init__() method, and are passed to the optional __post_init__() method. They are not otherwise used by dataclasses.

For example, suppose a field will be initialized from a database, if a value is not provided when creating the class:

@dataclass
class C:
    i: int
    j: int | None = None
    database: InitVar[DatabaseType | None] = None

    def __post_init__(self, database):
        if self.j is None and database is not None:
            self.j = database.lookup('j')

c = C(10, database=my_database)

In this case, fields() will return Field objects for i and j, but not for database.

Frozen instances

It is not possible to create truly immutable Python objects. However, by passing frozen=True to the @dataclass decorator you can emulate immutability. In that case, dataclasses will add __setattr__() and __delattr__() methods to the class. These methods will raise a FrozenInstanceError when invoked.

There is a tiny performance penalty when using frozen=True: __init__() cannot use simple assignment to initialize fields, and must use object.__setattr__().

Herança

When the dataclass is being created by the @dataclass decorator, it looks through all of the class’s base classes in reverse MRO (that is, starting at object) and, for each dataclass that it finds, adds the fields from that base class to an ordered mapping of fields. After all of the base class fields are added, it adds its own fields to the ordered mapping. All of the generated methods will use this combined, calculated ordered mapping of fields. Because the fields are in insertion order, derived classes override base classes. An example:

@dataclass
class Base:
    x: Any = 15.0
    y: int = 0

@dataclass
class C(Base):
    z: int = 10
    x: int = 15

The final list of fields is, in order, x, y, z. The final type of x is int, as specified in class C.

The generated __init__() method for C will look like:

def __init__(self, x: int = 15, y: int = 0, z: int = 10):

Re-ordering of keyword-only parameters in __init__()

After the parameters needed for __init__() are computed, any keyword-only parameters are moved to come after all regular (non-keyword-only) parameters. This is a requirement of how keyword-only parameters are implemented in Python: they must come after non-keyword-only parameters.

In this example, Base.y, Base.w, and D.t are keyword-only fields, and Base.x and D.z are regular fields:

@dataclass
class Base:
    x: Any = 15.0
    _: KW_ONLY
    y: int = 0
    w: int = 1

@dataclass
class D(Base):
    z: int = 10
    t: int = field(kw_only=True, default=0)

The generated __init__() method for D will look like:

def __init__(self, x: Any = 15.0, z: int = 10, *, y: int = 0, w: int = 1, t: int = 0):

Note that the parameters have been re-ordered from how they appear in the list of fields: parameters derived from regular fields are followed by parameters derived from keyword-only fields.

The relative ordering of keyword-only parameters is maintained in the re-ordered __init__() parameter list.

Funções padrão de fábrica

If a field() specifies a default_factory, it is called with zero arguments when a default value for the field is needed. For example, to create a new instance of a list, use:

mylist: list = field(default_factory=list)

If a field is excluded from __init__() (using init=False) and the field also specifies default_factory, then the default factory function will always be called from the generated __init__() function. This happens because there is no other way to give the field an initial value.

Valores padrão mutáveis

Python stores default member variable values in class attributes. Consider this example, not using dataclasses:

class C:
    x = []
    def add(self, element):
        self.x.append(element)

o1 = C()
o2 = C()
o1.add(1)
o2.add(2)
assert o1.x == [1, 2]
assert o1.x is o2.x

Note that the two instances of class C share the same class variable x, as expected.

Usando dataclasses, se este código fosse válido:

@dataclass
class D:
    x: list = []      # This code raises ValueError
    def add(self, element):
        self.x.append(element)

Geraria código similar a:

class D:
    x = []
    def __init__(self, x=x):
        self.x = x
    def add(self, element):
        self.x.append(element)

assert D().x is D().x

This has the same issue as the original example using class C. That is, two instances of class D that do not specify a value for x when creating a class instance will share the same copy of x. Because dataclasses just use normal Python class creation they also share this behavior. There is no general way for Data Classes to detect this condition. Instead, the @dataclass decorator will raise a ValueError if it detects an unhashable default parameter. The assumption is that if a value is unhashable, it is mutable. This is a partial solution, but it does protect against many common errors.

Using default factory functions is a way to create new instances of mutable types as default values for fields:

@dataclass
class D:
    x: list = field(default_factory=list)

assert D().x is not D().x

Alterado na versão 3.11: Instead of looking for and disallowing objects of type list, dict, or set, unhashable objects are now not allowed as default values. Unhashability is used to approximate mutability.

Descriptor-typed fields

Fields that are assigned descriptor objects as their default value have the following special behaviors:

The value for the field passed to the dataclass’s __init__() method is passed to the descriptor’s __set__() method rather than overwriting the descriptor object.

Similarly, when getting or setting the field, the descriptor’s __get__() or __set__() method is called rather than returning or overwriting the descriptor object.

To determine whether a field contains a default value, @dataclass will call the descriptor’s __get__() method using its class access form: descriptor.__get__(obj=None, type=cls). If the descriptor returns a value in this case, it will be used as the field’s default. On the other hand, if the descriptor raises AttributeError in this situation, no default value will be provided for the field.

class IntConversionDescriptor:
    def __init__(self, *, default):
        self._default = default

    def __set_name__(self, owner, name):
        self._name = "_" + name

    def __get__(self, obj, type):
        if obj is None:
            return self._default

        return getattr(obj, self._name, self._default)

    def __set__(self, obj, value):
        setattr(obj, self._name, int(value))

@dataclass
class InventoryItem:
    quantity_on_hand: IntConversionDescriptor = IntConversionDescriptor(default=100)

i = InventoryItem()
print(i.quantity_on_hand)   # 100
i.quantity_on_hand = 2.5    # calls __set__ with 2.5
print(i.quantity_on_hand)   # 2

Note that if a field is annotated with a descriptor type, but is not assigned a descriptor object as its default value, the field will act like a normal field.

contextlib — Utilities for with-statement contexts

Código-fonte: Lib/contextlib.py [https://github.com/python/cpython/tree/3.13/Lib/contextlib.py]

This module provides utilities for common tasks involving the with statement. For more information see also Tipos de Gerenciador de Contexto and Gerenciadores de contexto da instrução with.

Utilitários

Functions and classes provided:

class contextlib.AbstractContextManager

An abstract base class for classes that implement object.__enter__() and object.__exit__(). A default implementation for object.__enter__() is provided which returns self while object.__exit__() is an abstract method which by default returns None. See also the definition of Tipos de Gerenciador de Contexto.

Adicionado na versão 3.6.

class contextlib.AbstractAsyncContextManager

An abstract base class for classes that implement object.__aenter__() and object.__aexit__(). A default implementation for object.__aenter__() is provided which returns self while object.__aexit__() is an abstract method which by default returns None. See also the definition of Gerenciadores de contexto assíncronos.

Adicionado na versão 3.7.

@contextlib.contextmanager

This function is a decorator that can be used to define a factory function for with statement context managers, without needing to create a class or separate __enter__() and __exit__() methods.

While many objects natively support use in with statements, sometimes a resource needs to be managed that isn’t a context manager in its own right, and doesn’t implement a close() method for use with contextlib.closing

An abstract example would be the following to ensure correct resource management:

from contextlib import contextmanager

@contextmanager
def managed_resource(*args, **kwds):
    # Code to acquire resource, e.g.:
    resource = acquire_resource(*args, **kwds)
    try:
        yield resource
    finally:
        # Code to release resource, e.g.:
        release_resource(resource)

The function can then be used like this:

>>> with managed_resource(timeout=3600) as resource:
...     # Resource is released at the end of this block,
...     # even if code in the block raises an exception

The function being decorated must return a generator-iterator when called. This iterator must yield exactly one value, which will be bound to the targets in the with statement’s as clause, if any.

At the point where the generator yields, the block nested in the with statement is executed. The generator is then resumed after the block is exited. If an unhandled exception occurs in the block, it is reraised inside the generator at the point where the yield occurred. Thus, you can use a try…except…finally statement to trap the error (if any), or ensure that some cleanup takes place. If an exception is trapped merely in order to log it or to perform some action (rather than to suppress it entirely), the generator must reraise that exception. Otherwise the generator context manager will indicate to the with statement that the exception has been handled, and execution will resume with the statement immediately following the with statement.

contextmanager() uses ContextDecorator so the context managers it creates can be used as decorators as well as in with statements. When used as a decorator, a new generator instance is implicitly created on each function call (this allows the otherwise “one-shot” context managers created by contextmanager() to meet the requirement that context managers support multiple invocations in order to be used as decorators).

Alterado na versão 3.2: Use of ContextDecorator.

@contextlib.asynccontextmanager

Similar to contextmanager(), but creates an asynchronous context manager.

This function is a decorator that can be used to define a factory function for async with statement asynchronous context managers, without needing to create a class or separate __aenter__() and __aexit__() methods. It must be applied to an asynchronous generator function.

Um exemplo simples:

from contextlib import asynccontextmanager

@asynccontextmanager
async def get_connection():
    conn = await acquire_db_connection()
    try:
        yield conn
    finally:
        await release_db_connection(conn)

async def get_all_users():
    async with get_connection() as conn:
        return conn.query('SELECT ...')

Adicionado na versão 3.7.

Context managers defined with asynccontextmanager() can be used either as decorators or with async with statements:

import time
from contextlib import asynccontextmanager

@asynccontextmanager
async def timeit():
    now = time.monotonic()
    try:
        yield
    finally:
        print(f'it took {time.monotonic() - now}s to run')

@timeit()
async def main():
    # ... async code ...

When used as a decorator, a new generator instance is implicitly created on each function call. This allows the otherwise “one-shot” context managers created by asynccontextmanager() to meet the requirement that context managers support multiple invocations in order to be used as decorators.

Alterado na versão 3.10: Async context managers created with asynccontextmanager() can be used as decorators.

contextlib.closing(thing)

Return a context manager that closes thing upon completion of the block. This is basically equivalent to:

from contextlib import contextmanager

@contextmanager
def closing(thing):
    try:
        yield thing
    finally:
        thing.close()

And lets you write code like this:

from contextlib import closing
from urllib.request import urlopen

with closing(urlopen('https://www.python.org')) as page:
    for line in page:
        print(line)

without needing to explicitly close page. Even if an error occurs, page.close() will be called when the with block is exited.

Nota

Most types managing resources support the context manager protocol, which closes thing on leaving the with statement. As such, closing() is most useful for third party types that don’t support context managers. This example is purely for illustration purposes, as urlopen() would normally be used in a context manager.

contextlib.aclosing(thing)

Return an async context manager that calls the aclose() method of thing upon completion of the block. This is basically equivalent to:

from contextlib import asynccontextmanager

@asynccontextmanager
async def aclosing(thing):
    try:
        yield thing
    finally:
        await thing.aclose()

Significantly, aclosing() supports deterministic cleanup of async generators when they happen to exit early by break or an exception. For example:

from contextlib import aclosing

async with aclosing(my_generator()) as values:
    async for value in values:
        if value == 42:
            break

This pattern ensures that the generator’s async exit code is executed in the same context as its iterations (so that exceptions and context variables work as expected, and the exit code isn’t run after the lifetime of some task it depends on).

Adicionado na versão 3.10.

contextlib.nullcontext(enter_result=None)

Return a context manager that returns enter_result from __enter__, but otherwise does nothing. It is intended to be used as a stand-in for an optional context manager, for example:

def myfunction(arg, ignore_exceptions=False):
    if ignore_exceptions:
        # Use suppress to ignore all exceptions.
        cm = contextlib.suppress(Exception)
    else:
        # Do not ignore any exceptions, cm has no effect.
        cm = contextlib.nullcontext()
    with cm:
        # Do something

An example using enter_result:

def process_file(file_or_path):
    if isinstance(file_or_path, str):
        # If string, open file
        cm = open(file_or_path)
    else:
        # Caller is responsible for closing file
        cm = nullcontext(file_or_path)

    with cm as file:
        # Perform processing on the file

It can also be used as a stand-in for asynchronous context managers:

async def send_http(session=None):
    if not session:
        # If no http session, create it with aiohttp
        cm = aiohttp.ClientSession()
    else:
        # Caller is responsible for closing the session
        cm = nullcontext(session)

    async with cm as session:
        # Send http requests with session

Adicionado na versão 3.7.

Alterado na versão 3.10: asynchronous context manager support was added.

contextlib.suppress(*exceptions)

Return a context manager that suppresses any of the specified exceptions if they occur in the body of a with statement and then resumes execution with the first statement following the end of the with statement.

As with any other mechanism that completely suppresses exceptions, this context manager should be used only to cover very specific errors where silently continuing with program execution is known to be the right thing to do.

Por exemplo:

from contextlib import suppress

with suppress(FileNotFoundError):
    os.remove('somefile.tmp')

with suppress(FileNotFoundError):
    os.remove('someotherfile.tmp')

This code is equivalent to:

try:
    os.remove('somefile.tmp')
except FileNotFoundError:
    pass

try:
    os.remove('someotherfile.tmp')
except FileNotFoundError:
    pass

This context manager is reentrant.

If the code within the with block raises a BaseExceptionGroup, suppressed exceptions are removed from the group. Any exceptions of the group which are not suppressed are re-raised in a new group which is created using the original group’s derive() method.

Adicionado na versão 3.4.

Alterado na versão 3.12: suppress now supports suppressing exceptions raised as part of a BaseExceptionGroup.

contextlib.redirect_stdout(new_target)

Context manager for temporarily redirecting sys.stdout to another file or file-like object.

This tool adds flexibility to existing functions or classes whose output is hardwired to stdout.

For example, the output of help() normally is sent to sys.stdout. You can capture that output in a string by redirecting the output to an io.StringIO object. The replacement stream is returned from the __enter__ method and so is available as the target of the with statement:

with redirect_stdout(io.StringIO()) as f:
    help(pow)
s = f.getvalue()

To send the output of help() to a file on disk, redirect the output to a regular file:

with open('help.txt', 'w') as f:
    with redirect_stdout(f):
        help(pow)

To send the output of help() to sys.stderr:

with redirect_stdout(sys.stderr):
    help(pow)

Note that the global side effect on sys.stdout means that this context manager is not suitable for use in library code and most threaded applications. It also has no effect on the output of subprocesses. However, it is still a useful approach for many utility scripts.

This context manager is reentrant.

Adicionado na versão 3.4.

contextlib.redirect_stderr(new_target)

Similar to redirect_stdout() but redirecting sys.stderr to another file or file-like object.

This context manager is reentrant.

Adicionado na versão 3.5.

contextlib.chdir(path)

Non parallel-safe context manager to change the current working directory. As this changes a global state, the working directory, it is not suitable for use in most threaded or async contexts. It is also not suitable for most non-linear code execution, like generators, where the program execution is temporarily relinquished – unless explicitly desired, you should not yield when this context manager is active.

This is a simple wrapper around chdir(), it changes the current working directory upon entering and restores the old one on exit.

This context manager is reentrant.

Adicionado na versão 3.11.

class contextlib.ContextDecorator

A base class that enables a context manager to also be used as a decorator.

Context managers inheriting from ContextDecorator have to implement __enter__ and __exit__ as normal. __exit__ retains its optional exception handling even when used as a decorator.

ContextDecorator is used by contextmanager(), so you get this functionality automatically.

Example of ContextDecorator:

from contextlib import ContextDecorator

class mycontext(ContextDecorator):
    def __enter__(self):
        print('Starting')
        return self

    def __exit__(self, *exc):
        print('Finishing')
        return False

The class can then be used like this:

>>> @mycontext()
... def function():
...     print('The bit in the middle')
...
>>> function()
Starting
The bit in the middle
Finishing

>>> with mycontext():
...     print('The bit in the middle')
...
Starting
The bit in the middle
Finishing

This change is just syntactic sugar for any construct of the following form:

def f():
    with cm():
        # Do stuff

ContextDecorator lets you instead write:

@cm()
def f():
    # Do stuff

It makes it clear that the cm applies to the whole function, rather than just a piece of it (and saving an indentation level is nice, too).

Existing context managers that already have a base class can be extended by using ContextDecorator as a mixin class:

from contextlib import ContextDecorator

class mycontext(ContextBaseClass, ContextDecorator):
    def __enter__(self):
        return self

    def __exit__(self, *exc):
        return False

Nota

As the decorated function must be able to be called multiple times, the underlying context manager must support use in multiple with statements. If this is not the case, then the original construct with the explicit with statement inside the function should be used.

Adicionado na versão 3.2.

class contextlib.AsyncContextDecorator

Similar to ContextDecorator but only for asynchronous functions.

Example of AsyncContextDecorator:

from asyncio import run
from contextlib import AsyncContextDecorator

class mycontext(AsyncContextDecorator):
    async def __aenter__(self):
        print('Starting')
        return self

    async def __aexit__(self, *exc):
        print('Finishing')
        return False

The class can then be used like this:

>>> @mycontext()
... async def function():
...     print('The bit in the middle')
...
>>> run(function())
Starting
The bit in the middle
Finishing

>>> async def function():
...    async with mycontext():
...         print('The bit in the middle')
...
>>> run(function())
Starting
The bit in the middle
Finishing

Adicionado na versão 3.10.

class contextlib.ExitStack

A context manager that is designed to make it easy to programmatically combine other context managers and cleanup functions, especially those that are optional or otherwise driven by input data.

For example, a set of files may easily be handled in a single with statement as follows:

with ExitStack() as stack:
    files = [stack.enter_context(open(fname)) for fname in filenames]
    # All opened files will automatically be closed at the end of
    # the with statement, even if attempts to open files later
    # in the list raise an exception

The __enter__() method returns the ExitStack instance, and performs no additional operations.

Each instance maintains a stack of registered callbacks that are called in reverse order when the instance is closed (either explicitly or implicitly at the end of a with statement). Note that callbacks are not invoked implicitly when the context stack instance is garbage collected.

This stack model is used so that context managers that acquire their resources in their __init__ method (such as file objects) can be handled correctly.

Since registered callbacks are invoked in the reverse order of registration, this ends up behaving as if multiple nested with statements had been used with the registered set of callbacks. This even extends to exception handling - if an inner callback suppresses or replaces an exception, then outer callbacks will be passed arguments based on that updated state.

This is a relatively low level API that takes care of the details of correctly unwinding the stack of exit callbacks. It provides a suitable foundation for higher level context managers that manipulate the exit stack in application specific ways.

Adicionado na versão 3.3.

enter_context(cm)

Enters a new context manager and adds its __exit__() method to the callback stack. The return value is the result of the context manager’s own __enter__() method.

These context managers may suppress exceptions just as they normally would if used directly as part of a with statement.

Alterado na versão 3.11: Raises TypeError instead of AttributeError if cm is not a context manager.

push(exit)

Adds a context manager’s __exit__() method to the callback stack.

As __enter__ is not invoked, this method can be used to cover part of an __enter__() implementation with a context manager’s own __exit__() method.

If passed an object that is not a context manager, this method assumes it is a callback with the same signature as a context manager’s __exit__() method and adds it directly to the callback stack.

By returning true values, these callbacks can suppress exceptions the same way context manager __exit__() methods can.

The passed in object is returned from the function, allowing this method to be used as a function decorator.

callback(callback, /, *args, **kwds)

Accepts an arbitrary callback function and arguments and adds it to the callback stack.

Unlike the other methods, callbacks added this way cannot suppress exceptions (as they are never passed the exception details).

The passed in callback is returned from the function, allowing this method to be used as a function decorator.

pop_all()

Transfers the callback stack to a fresh ExitStack instance and returns it. No callbacks are invoked by this operation - instead, they will now be invoked when the new stack is closed (either explicitly or implicitly at the end of a with statement).

For example, a group of files can be opened as an “all or nothing” operation as follows:

with ExitStack() as stack:
    files = [stack.enter_context(open(fname)) for fname in filenames]
    # Hold onto the close method, but don't call it yet.
    close_files = stack.pop_all().close
    # If opening any file fails, all previously opened files will be
    # closed automatically. If all files are opened successfully,
    # they will remain open even after the with statement ends.
    # close_files() can then be invoked explicitly to close them all.

close()

Immediately unwinds the callback stack, invoking callbacks in the reverse order of registration. For any context managers and exit callbacks registered, the arguments passed in will indicate that no exception occurred.

class contextlib.AsyncExitStack

An asynchronous context manager, similar to ExitStack, that supports combining both synchronous and asynchronous context managers, as well as having coroutines for cleanup logic.

The close() method is not implemented; aclose() must be used instead.

coroutine enter_async_context(cm)

Similar to ExitStack.enter_context() but expects an asynchronous context manager.

Alterado na versão 3.11: Raises TypeError instead of AttributeError if cm is not an asynchronous context manager.

push_async_exit(exit)

Similar to ExitStack.push() but expects either an asynchronous context manager or a coroutine function.

push_async_callback(callback, /, *args, **kwds)

Similar to ExitStack.callback() but expects a coroutine function.

coroutine aclose()

Similar to ExitStack.close() but properly handles awaitables.

Continuing the example for asynccontextmanager():

async with AsyncExitStack() as stack:
    connections = [await stack.enter_async_context(get_connection())
        for i in range(5)]
    # All opened connections will automatically be released at the end of
    # the async with statement, even if attempts to open a connection
    # later in the list raise an exception.

Adicionado na versão 3.7.

Exemplos e receitas

This section describes some examples and recipes for making effective use of the tools provided by contextlib.

Supporting a variable number of context managers

The primary use case for ExitStack is the one given in the class documentation: supporting a variable number of context managers and other cleanup operations in a single with statement. The variability may come from the number of context managers needed being driven by user input (such as opening a user specified collection of files), or from some of the context managers being optional:

with ExitStack() as stack:
    for resource in resources:
        stack.enter_context(resource)
    if need_special_resource():
        special = acquire_special_resource()
        stack.callback(release_special_resource, special)
    # Perform operations that use the acquired resources

As shown, ExitStack also makes it quite easy to use with statements to manage arbitrary resources that don’t natively support the context management protocol.

Catching exceptions from __enter__ methods

It is occasionally desirable to catch exceptions from an __enter__ method implementation, without inadvertently catching exceptions from the with statement body or the context manager’s __exit__ method. By using ExitStack the steps in the context management protocol can be separated slightly in order to allow this:

stack = ExitStack()
try:
    x = stack.enter_context(cm)
except Exception:
    # handle __enter__ exception
else:
    with stack:
        # Handle normal case

Actually needing to do this is likely to indicate that the underlying API should be providing a direct resource management interface for use with try/except/finally statements, but not all APIs are well designed in that regard. When a context manager is the only resource management API provided, then ExitStack can make it easier to handle various situations that can’t be handled directly in a with statement.

Cleaning up in an __enter__ implementation

As noted in the documentation of ExitStack.push(), this method can be useful in cleaning up an already allocated resource if later steps in the __enter__() implementation fail.

Here’s an example of doing this for a context manager that accepts resource acquisition and release functions, along with an optional validation function, and maps them to the context management protocol:

from contextlib import contextmanager, AbstractContextManager, ExitStack

class ResourceManager(AbstractContextManager):

    def __init__(self, acquire_resource, release_resource, check_resource_ok=None):
        self.acquire_resource = acquire_resource
        self.release_resource = release_resource
        if check_resource_ok is None:
            def check_resource_ok(resource):
                return True
        self.check_resource_ok = check_resource_ok

    @contextmanager
    def _cleanup_on_error(self):
        with ExitStack() as stack:
            stack.push(self)
            yield
            # The validation check passed and didn't raise an exception
            # Accordingly, we want to keep the resource, and pass it
            # back to our caller
            stack.pop_all()

    def __enter__(self):
        resource = self.acquire_resource()
        with self._cleanup_on_error():
            if not self.check_resource_ok(resource):
                msg = "Failed validation for {!r}"
                raise RuntimeError(msg.format(resource))
        return resource

    def __exit__(self, *exc_details):
        # We don't need to duplicate any of our resource release logic
        self.release_resource()

Replacing any use of try-finally and flag variables

A pattern you will sometimes see is a try-finally statement with a flag variable to indicate whether or not the body of the finally clause should be executed. In its simplest form (that can’t already be handled just by using an except clause instead), it looks something like this:

cleanup_needed = True
try:
    result = perform_operation()
    if result:
        cleanup_needed = False
finally:
    if cleanup_needed:
        cleanup_resources()

As with any try statement based code, this can cause problems for development and review, because the setup code and the cleanup code can end up being separated by arbitrarily long sections of code.

ExitStack makes it possible to instead register a callback for execution at the end of a with statement, and then later decide to skip executing that callback:

from contextlib import ExitStack

with ExitStack() as stack:
    stack.callback(cleanup_resources)
    result = perform_operation()
    if result:
        stack.pop_all()

This allows the intended cleanup behaviour to be made explicit up front, rather than requiring a separate flag variable.

If a particular application uses this pattern a lot, it can be simplified even further by means of a small helper class:

from contextlib import ExitStack

class Callback(ExitStack):
    def __init__(self, callback, /, *args, **kwds):
        super().__init__()
        self.callback(callback, *args, **kwds)

    def cancel(self):
        self.pop_all()

with Callback(cleanup_resources) as cb:
    result = perform_operation()
    if result:
        cb.cancel()

If the resource cleanup isn’t already neatly bundled into a standalone function, then it is still possible to use the decorator form of ExitStack.callback() to declare the resource cleanup in advance:

from contextlib import ExitStack

with ExitStack() as stack:
    @stack.callback
    def cleanup_resources():
        ...
    result = perform_operation()
    if result:
        stack.pop_all()

Devido à maneira como o protocolo decorador funciona, uma função de retorno de chamada declarada dessa forma não pode receber nenhum parâmetro. Em vez disso, quaisquer recursos a serem liberados devem ser acessados ​​como variáveis ​​de clausura.

Using a context manager as a function decorator

ContextDecorator makes it possible to use a context manager in both an ordinary with statement and also as a function decorator.

For example, it is sometimes useful to wrap functions or groups of statements with a logger that can track the time of entry and time of exit. Rather than writing both a function decorator and a context manager for the task, inheriting from ContextDecorator provides both capabilities in a single definition:

from contextlib import ContextDecorator
import logging

logging.basicConfig(level=logging.INFO)

class track_entry_and_exit(ContextDecorator):
    def __init__(self, name):
        self.name = name

    def __enter__(self):
        logging.info('Entering: %s', self.name)

    def __exit__(self, exc_type, exc, exc_tb):
        logging.info('Exiting: %s', self.name)

Instances of this class can be used as both a context manager:

with track_entry_and_exit('widget loader'):
    print('Some time consuming activity goes here')
    load_widget()

And also as a function decorator:

@track_entry_and_exit('widget loader')
def activity():
    print('Some time consuming activity goes here')
    load_widget()

Note that there is one additional limitation when using context managers as function decorators: there’s no way to access the return value of __enter__(). If that value is needed, then it is still necessary to use an explicit with statement.

Ver também

PEP 343 [https://peps.python.org/pep-0343/] - A instrução “with”

A especificação, o histórico e os exemplos para a instrução Python with.

Single use, reusable and reentrant context managers

Most context managers are written in a way that means they can only be used effectively in a with statement once. These single use context managers must be created afresh each time they’re used - attempting to use them a second time will trigger an exception or otherwise not work correctly.

This common limitation means that it is generally advisable to create context managers directly in the header of the with statement where they are used (as shown in all of the usage examples above).

Files are an example of effectively single use context managers, since the first with statement will close the file, preventing any further IO operations using that file object.

Context managers created using contextmanager() are also single use context managers, and will complain about the underlying generator failing to yield if an attempt is made to use them a second time:

>>> from contextlib import contextmanager
>>> @contextmanager
... def singleuse():
...     print("Before")
...     yield
...     print("After")
...
>>> cm = singleuse()
>>> with cm:
...     pass
...
Before
After
>>> with cm:
...     pass
...
Traceback (most recent call last):
    ...
RuntimeError: generator didn't yield

Reentrant context managers

More sophisticated context managers may be “reentrant”. These context managers can not only be used in multiple with statements, but may also be used inside a with statement that is already using the same context manager.

threading.RLock is an example of a reentrant context manager, as are suppress(), redirect_stdout(), and chdir(). Here’s a very simple example of reentrant use:

>>> from contextlib import redirect_stdout
>>> from io import StringIO
>>> stream = StringIO()
>>> write_to_stream = redirect_stdout(stream)
>>> with write_to_stream:
...     print("This is written to the stream rather than stdout")
...     with write_to_stream:
...         print("This is also written to the stream")
...
>>> print("This is written directly to stdout")
This is written directly to stdout
>>> print(stream.getvalue())
This is written to the stream rather than stdout
This is also written to the stream

Real world examples of reentrancy are more likely to involve multiple functions calling each other and hence be far more complicated than this example.

Note also that being reentrant is not the same thing as being thread safe. redirect_stdout(), for example, is definitely not thread safe, as it makes a global modification to the system state by binding sys.stdout to a different stream.

Gerenciadores de contexto reutilizáveis

Distinct from both single use and reentrant context managers are “reusable” context managers (or, to be completely explicit, “reusable, but not reentrant” context managers, since reentrant context managers are also reusable). These context managers support being used multiple times, but will fail (or otherwise not work correctly) if the specific context manager instance has already been used in a containing with statement.

threading.Lock is an example of a reusable, but not reentrant, context manager (for a reentrant lock, it is necessary to use threading.RLock instead).

Another example of a reusable, but not reentrant, context manager is ExitStack, as it invokes all currently registered callbacks when leaving any with statement, regardless of where those callbacks were added:

>>> from contextlib import ExitStack
>>> stack = ExitStack()
>>> with stack:
...     stack.callback(print, "Callback: from first context")
...     print("Leaving first context")
...
Leaving first context
Callback: from first context
>>> with stack:
...     stack.callback(print, "Callback: from second context")
...     print("Leaving second context")
...
Leaving second context
Callback: from second context
>>> with stack:
...     stack.callback(print, "Callback: from outer context")
...     with stack:
...         stack.callback(print, "Callback: from inner context")
...         print("Leaving inner context")
...     print("Leaving outer context")
...
Leaving inner context
Callback: from inner context
Callback: from outer context
Leaving outer context

As the output from the example shows, reusing a single stack object across multiple with statements works correctly, but attempting to nest them will cause the stack to be cleared at the end of the innermost with statement, which is unlikely to be desirable behaviour.

Using separate ExitStack instances instead of reusing a single instance avoids that problem:

>>> from contextlib import ExitStack
>>> with ExitStack() as outer_stack:
...     outer_stack.callback(print, "Callback: from outer context")
...     with ExitStack() as inner_stack:
...         inner_stack.callback(print, "Callback: from inner context")
...         print("Leaving inner context")
...     print("Leaving outer context")
...
Leaving inner context
Callback: from inner context
Leaving outer context
Callback: from outer context

abc — Abstract Base Classes

Código-fonte: Lib/abc.py [https://github.com/python/cpython/tree/3.13/Lib/abc.py]

Este módulo fornece a infraestrutura para definir classes base abstratas (CBAs. Sigla em inglês ABC, de abstract base class) em Python, como delineado em PEP 3119 [https://peps.python.org/pep-3119/]; veja o PEP para entender o porquê isto foi adicionado ao Python. (Veja também PEP 3141 [https://peps.python.org/pep-3141/] e o módulo numbers sobre uma hierarquia de tipo para números baseado nas CBAs.)

The collections module has some concrete classes that derive from ABCs; these can, of course, be further derived. In addition, the collections.abc submodule has some ABCs that can be used to test whether a class or instance provides a particular interface, for example, if it is hashable or if it is a mapping.

Este módulo fornece a metaclasse ABCMeta para definir CBAs e uma classe auxiliar ABC para alternativamente definir CBAs através de herança:

class abc.ABC

A helper class that has ABCMeta as its metaclass. With this class, an abstract base class can be created by simply deriving from ABC avoiding sometimes confusing metaclass usage, for example:

from abc import ABC

class MyABC(ABC):
    pass

Note that the type of ABC is still ABCMeta, therefore inheriting from ABC requires the usual precautions regarding metaclass usage, as multiple inheritance may lead to metaclass conflicts. One may also define an abstract base class by passing the metaclass keyword and using ABCMeta directly, for example:

from abc import ABCMeta

class MyABC(metaclass=ABCMeta):
    pass

Adicionado na versão 3.4.

class abc.ABCMeta

Metaclasse para definir Classe Base Abstrata (CBAs).

Use esta metaclasse para criar uma CBA. Uma CBA pode ser diretamente subclasseada, e então agir como uma classe misturada. Você também pode registrar classes concretas não relacionadas (até mesmo classes embutidas) e CBAs não relacionadas como “subclasses virtuais” – estas e suas descendentes serão consideradas subclasses da CBA de registro pela função embutida issubclass(), mas a CBA de registro não irá aparecer na ORM (Ordem de Resolução do Método) e nem as implementações do método definidas pela CBA de registro será chamável (nem mesmo via super()). [1]

Classes created with a metaclass of ABCMeta have the following method:

register(subclass)

Registrar subclasse como uma “subclasse virtual” desta CBA. Por exemplo:

from abc import ABC

class MyABC(ABC):
    pass

MyABC.register(tuple)

assert issubclass(tuple, MyABC)
assert isinstance((), MyABC)

Alterado na versão 3.3: Retorna a subclasse registrada, para permitir o uso como um decorador de classe.

Alterado na versão 3.4: To detect calls to register(), you can use the get_cache_token() function.

Você também pode sobrepor este método em uma classe base abstrata:

__subclasshook__(subclass)

(Deve obrigatoriamente ser definido como um método de classe.)

Check whether subclass is considered a subclass of this ABC. This means that you can customize the behavior of issubclass() further without the need to call register() on every class you want to consider a subclass of the ABC. (This class method is called from the __subclasscheck__() method of the ABC.)

This method should return True, False or NotImplemented. If it returns True, the subclass is considered a subclass of this ABC. If it returns False, the subclass is not considered a subclass of this ABC, even if it would normally be one. If it returns NotImplemented, the subclass check is continued with the usual mechanism.

Para uma demonstração destes conceitos, veja este exemplo de definição CBA:

class Foo:
    def __getitem__(self, index):
        ...
    def __len__(self):
        ...
    def get_iterator(self):
        return iter(self)

class MyIterable(ABC):

    @abstractmethod
    def __iter__(self):
        while False:
            yield None

    def get_iterator(self):
        return self.__iter__()

    @classmethod
    def __subclasshook__(cls, C):
        if cls is MyIterable:
            if any("__iter__" in B.__dict__ for B in C.__mro__):
                return True
        return NotImplemented

MyIterable.register(Foo)

The ABC MyIterable defines the standard iterable method, __iter__(), as an abstract method. The implementation given here can still be called from subclasses. The get_iterator() method is also part of the MyIterable abstract base class, but it does not have to be overridden in non-abstract derived classes.

The __subclasshook__() class method defined here says that any class that has an __iter__() method in its __dict__ (or in that of one of its base classes, accessed via the __mro__ list) is considered a MyIterable too.

Finally, the last line makes Foo a virtual subclass of MyIterable, even though it does not define an __iter__() method (it uses the old-style iterable protocol, defined in terms of __len__() and __getitem__()). Note that this will not make get_iterator available as a method of Foo, so it is provided separately.

The abc module also provides the following decorator:

@abc.abstractmethod

Um decorador indicando métodos abstratos.

Using this decorator requires that the class’s metaclass is ABCMeta or is derived from it. A class that has a metaclass derived from ABCMeta cannot be instantiated unless all of its abstract methods and properties are overridden. The abstract methods can be called using any of the normal ‘super’ call mechanisms. abstractmethod() may be used to declare abstract methods for properties and descriptors.

Dynamically adding abstract methods to a class, or attempting to modify the abstraction status of a method or class once it is created, are only supported using the update_abstractmethods() function. The abstractmethod() only affects subclasses derived using regular inheritance; “virtual subclasses” registered with the ABC’s register() method are not affected.

When abstractmethod() is applied in combination with other method descriptors, it should be applied as the innermost decorator, as shown in the following usage examples:

class C(ABC):
    @abstractmethod
    def my_abstract_method(self, arg1):
        ...
    @classmethod
    @abstractmethod
    def my_abstract_classmethod(cls, arg2):
        ...
    @staticmethod
    @abstractmethod
    def my_abstract_staticmethod(arg3):
        ...

    @property
    @abstractmethod
    def my_abstract_property(self):
        ...
    @my_abstract_property.setter
    @abstractmethod
    def my_abstract_property(self, val):
        ...

    @abstractmethod
    def _get_x(self):
        ...
    @abstractmethod
    def _set_x(self, val):
        ...
    x = property(_get_x, _set_x)

In order to correctly interoperate with the abstract base class machinery, the descriptor must identify itself as abstract using __isabstractmethod__. In general, this attribute should be True if any of the methods used to compose the descriptor are abstract. For example, Python’s built-in property does the equivalent of:

class Descriptor:
    ...
    @property
    def __isabstractmethod__(self):
        return any(getattr(f, '__isabstractmethod__', False) for
                   f in (self._fget, self._fset, self._fdel))

Nota

Diferente de métodos abstratos Java, esses métodos abstratos podem ter uma implementação. Esta implementação pode ser chamada via mecanismo da super() da classe que a substitui. Isto pode ser útil como um ponto final para uma super chamada em um framework que usa herança múltipla cooperativa.

The abc module also supports the following legacy decorators:

@abc.abstractclassmethod

Adicionado na versão 3.2.

Obsoleto desde a versão 3.3: Agora é possível usar classmethod com abstractmethod(), tornando redundante este decorador.

Uma subclasse da classmethod() embutida, indicando um método de classe abstrato. Caso contrário, é similar à abstractmethod().

Este caso especial está descontinuado, pois o decorador da classmethod() está agora corretamente identificado como abstrato quando aplicado a um método abstrato:

class C(ABC):
    @classmethod
    @abstractmethod
    def my_abstract_classmethod(cls, arg):
        ...

@abc.abstractstaticmethod

Adicionado na versão 3.2.

Obsoleto desde a versão 3.3: Agora é possível usar staticmethod com abstractmethod(), tornando redundante este decorador.

Uma subclasse da staticmethod() embutida, indicando um método estático abstrato. Caso contrário, ela é similar à abstractmethod().

Este caso especial está descontinuado, pois o decorador da staticmethod() está agora corretamente identificado como abstrato quando aplicado a um método abstrato:

class C(ABC):
    @staticmethod
    @abstractmethod
    def my_abstract_staticmethod(arg):
        ...

@abc.abstractproperty

Obsoleto desde a versão 3.3: Agora é possível usar property, property.getter(), property.setter() e property.deleter() com abstractmethod(), tornando redundante este decorador.

Uma subclasse da property() embutida, indicando uma propriedade abstrata.

Este caso especial está descontinuado, pois o decorador da property() está agora corretamente identificado como abstrato quando aplicado a um método abstrato:

class C(ABC):
    @property
    @abstractmethod
    def my_abstract_property(self):
        ...

O exemplo acima define uma propriedade somente leitura; você também pode definir uma propriedade abstrata de leitura e escrita marcando apropriadamente um ou mais dos métodos subjacentes como abstratos:

class C(ABC):
    @property
    def x(self):
        ...

    @x.setter
    @abstractmethod
    def x(self, val):
        ...

Se apenas alguns componentes são abstratos, apenas estes componentes precisam ser atualizados para criar uma propriedade concreta em uma subclasse:

class D(C):
    @C.x.setter
    def x(self, val):
        ...

The abc module also provides the following functions:

abc.get_cache_token()

Retorna o token de cache da classe base abstrata atual.

O token é um objeto opaco (que suporta teste de igualdade) identificando a versão atual do cache da classe base abstrata para subclasses virtuais. O token muda a cada chamada ao ABCMeta.register() em qualquer CBA.

Adicionado na versão 3.4.

abc.update_abstractmethods(cls)

Uma função para recalcular o status de abstração de uma classe abstrata. Esta função deve ser chamada se os métodos abstratos de uma classe foram implementados ou alterados após sua criação. Normalmente, essa função deve ser chamada de dentro de um decorador de classe.

Retorna cls, para permitir o uso como decorador de classe.

Se cls não for uma instância de ABCMeta, não faz nada.

Nota

Esta função presume que as superclasses de cls já estão atualizadas. Ele não atualiza nenhuma subclasse.

Adicionado na versão 3.10.

Notas de rodapé

[1]

Programadores C++ devem notar que o conceito da classe base virtual do Python não é o mesmo que o de C++.

atexit — Manipuladores de saída

O módulo atexit define funções para registrar e cancelar o registro de funções de limpeza. As funções assim registradas são executadas automaticamente após a conclusão normal do interpretador. O módulo atexit executa essas funções na ordem reversa na qual foram registradas; se você inscrever A, B e C, no momento do término do interpretador, eles serão executados na ordem C, B, A .

Nota: As funções registradas através deste módulo não são invocadas quando o programa é morto por um sinal não tratado pelo Python, quando um erro interno fatal do Python é detectado ou quando a função os._exit() é invocada.

Nota: O efeito de registrar ou cancelar o registro de funções dentro de uma função de limpeza é indefinido.

Alterado na versão 3.7: Quando usadas com os subinterpretadores de C-API, as funções registradas são locais para o interpretador em que foram registradas.

atexit.register(func, *args, **kwargs)

Registre func como uma função a ser executada no término. Qualquer o argumento opcional que deve ser passado para func for passado como argumento para register(). É possível registrar mais ou menos a mesma função e argumentos.

Na terminação normal do programa (por exemplo, se sys.exit() for chamado ou a execução do módulo principal for concluída), todas as funções registradas serão chamadas por último, pela primeira ordem. A suposição é que os módulos de nível inferior normalmente serão importados antes dos módulos de nível superior e, portanto, devem ser limpos posteriormente.

Se uma exceção é levantada durante a execução dos manipuladores de saída, um traceback é impresso (a menos que SystemExit seja levantada) e as informações de exceção sejam salvas. Depois de todos os manipuladores de saída terem tido a chance de executar a última exceção a ser levantada, é levantada novamente.

Esta função retorna func, o que torna possível usá-la como um decorador.

Aviso

Iniciar novas threads ou chamar os.fork() de uma função registrada pode levar a uma condição de corrida entre os estados de thread de liberação de thread principal do tempo de execução do Python enquanto as rotinas internas threading ou o novo processo tentam usar esse estado. Isso pode levar a travamentos em vez de desligamento normal.

Alterado na versão 3.12: Tentativas de iniciar uma nova thread ou os.fork() um novo processo em uma função registrada agora leva a RuntimeError.

atexit.unregister(func)

Remove func da lista de funções a serem executadas no desligamento do interpretador. unregister() silenciosamente não faz nada se func não foi registrado anteriormente. Se func foi registrado mais de uma vez, cada ocorrência dessa função na pilha de chamada atexit será removida. Comparações de igualdade (==) são usadas internamente durante o cancelamento do registro, portanto, as referências de função não precisam ter identidades correspondentes.

Ver também

Módulo readline

Exemplo útil de atexit para ler e escrever arquivos de histórico de readline.

Exemplo do atexit

O exemplo simples a seguir demonstra como um módulo pode inicializar um contador de um arquivo quando ele é importado e salvar automaticamente o valor atualizado do contador quando o programa termina, sem depender que a aplicação faça uma chamada explícita nesse módulo na finalização.

try:
    with open('counterfile') as infile:
        _count = int(infile.read())
except FileNotFoundError:
    _count = 0

def incrcounter(n):
    global _count
    _count = _count + n

def savecounter():
    with open('counterfile', 'w') as outfile:
        outfile.write('%d' % _count)

import atexit

atexit.register(savecounter)

Os argumentos posicional e de palavra reservada também podem ser passados para register() para ser passada para a função registrada quando é chamada

def goodbye(name, adjective):
    print('Goodbye %s, it was %s to meet you.' % (name, adjective))

import atexit

atexit.register(goodbye, 'Donny', 'nice')
# or:
atexit.register(goodbye, adjective='nice', name='Donny')

Utilizado como um decorador:

import atexit

@atexit.register
def goodbye():
    print('You are now leaving the Python sector.')

Isso só funciona com funções que podem ser invocadas sem argumentos.

traceback — Imprime ou recupera um traceback da pilha

Código-fonte: Lib/traceback.py [https://github.com/python/cpython/tree/3.13/Lib/traceback.py]

This module provides a standard interface to extract, format and print stack traces of Python programs. It is more flexible than the interpreter’s default traceback display, and therefore makes it possible to configure certain aspects of the output. Finally, it contains a utility for capturing enough information about an exception to print it later, without the need to save a reference to the actual exception. Since exceptions can be the roots of large objects graph, this utility can significantly improve memory management.

The module uses traceback objects — these are objects of type types.TracebackType, which are assigned to the __traceback__ field of BaseException instances.

Ver também

Módulo faulthandler

Usado para despejar tracebacks (situação da pilha de execução) do Python explicitamente, em uma falha, após um tempo limite ou em um sinal do usuário.

Module pdb

Interactive source code debugger for Python programs.

The module’s API can be divided into two parts:

Module-level functions offering basic functionality, which are useful for interactive inspection of exceptions and tracebacks.

TracebackException class and its helper classes StackSummary and FrameSummary. These offer both more flexibility in the output generated and the ability to store the information necessary for later formatting without holding references to actual exception and traceback objects.

Funções de nível de módulo

traceback.print_tb(tb, limit=None, file=None)

Print up to limit stack trace entries from traceback object tb (starting from the caller’s frame) if limit is positive. Otherwise, print the last abs(limit) entries. If limit is omitted or None, all entries are printed. If file is omitted or None, the output goes to sys.stderr; otherwise it should be an open file or file-like object to receive the output.

Nota

The meaning of the limit parameter is different than the meaning of sys.tracebacklimit. A negative limit value corresponds to a positive value of sys.tracebacklimit, whereas the behaviour of a positive limit value cannot be achieved with sys.tracebacklimit.

Alterado na versão 3.5: Added negative limit support.

traceback.print_exception(exc, /, [value, tb, ]limit=None, file=None, chain=True)

Print exception information and stack trace entries from traceback object tb to file. This differs from print_tb() in the following ways:

if tb is not None, it prints a header Traceback (most recent call last):

it prints the exception type and value after the stack trace

if type(value) is SyntaxError and value has the appropriate format, it prints the line where the syntax error occurred with a caret indicating the approximate position of the error.

Since Python 3.10, instead of passing value and tb, an exception object can be passed as the first argument. If value and tb are provided, the first argument is ignored in order to provide backwards compatibility.

The optional limit argument has the same meaning as for print_tb(). If chain is true (the default), then chained exceptions (the __cause__ or __context__ attributes of the exception) will be printed as well, like the interpreter itself does when printing an unhandled exception.

Alterado na versão 3.5: The etype argument is ignored and inferred from the type of value.

Alterado na versão 3.10: The etype parameter has been renamed to exc and is now positional-only.

traceback.print_exc(limit=None, file=None, chain=True)

This is a shorthand for print_exception(sys.exception(), limit, file, chain).

traceback.print_last(limit=None, file=None, chain=True)

This is a shorthand for print_exception(sys.last_exc, limit, file, chain). In general it will work only after an exception has reached an interactive prompt (see sys.last_exc).

traceback.print_stack(f=None, limit=None, file=None)

Print up to limit stack trace entries (starting from the invocation point) if limit is positive. Otherwise, print the last abs(limit) entries. If limit is omitted or None, all entries are printed. The optional f argument can be used to specify an alternate stack frame to start. The optional file argument has the same meaning as for print_tb().

Alterado na versão 3.5: Added negative limit support.

traceback.extract_tb(tb, limit=None)

Return a StackSummary object representing a list of “pre-processed” stack trace entries extracted from the traceback object tb. It is useful for alternate formatting of stack traces. The optional limit argument has the same meaning as for print_tb(). A “pre-processed” stack trace entry is a FrameSummary object containing attributes filename, lineno, name, and line representing the information that is usually printed for a stack trace.

traceback.extract_stack(f=None, limit=None)

Extract the raw traceback from the current stack frame. The return value has the same format as for extract_tb(). The optional f and limit arguments have the same meaning as for print_stack().

traceback.format_list(extracted_list)

Given a list of tuples or FrameSummary objects as returned by extract_tb() or extract_stack(), return a list of strings ready for printing. Each string in the resulting list corresponds to the item with the same index in the argument list. Each string ends in a newline; the strings may contain internal newlines as well, for those items whose source text line is not None.

traceback.format_exception_only(exc, /, [value, ]*, show_group=False)

Format the exception part of a traceback using an exception value such as given by sys.last_value. The return value is a list of strings, each ending in a newline. The list contains the exception’s message, which is normally a single string; however, for SyntaxError exceptions, it contains several lines that (when printed) display detailed information about where the syntax error occurred. Following the message, the list contains the exception’s notes.

Since Python 3.10, instead of passing value, an exception object can be passed as the first argument. If value is provided, the first argument is ignored in order to provide backwards compatibility.

When show_group is True, and the exception is an instance of BaseExceptionGroup, the nested exceptions are included as well, recursively, with indentation relative to their nesting depth.

Alterado na versão 3.10: The etype parameter has been renamed to exc and is now positional-only.

Alterado na versão 3.11: The returned list now includes any notes attached to the exception.

Alterado na versão 3.13: show_group parameter was added.

traceback.format_exception(exc, /, [value, tb, ]limit=None, chain=True)

Format a stack trace and the exception information. The arguments have the same meaning as the corresponding arguments to print_exception(). The return value is a list of strings, each ending in a newline and some containing internal newlines. When these lines are concatenated and printed, exactly the same text is printed as does print_exception().

Alterado na versão 3.5: The etype argument is ignored and inferred from the type of value.

Alterado na versão 3.10: This function’s behavior and signature were modified to match print_exception().

traceback.format_exc(limit=None, chain=True)

This is like print_exc(limit) but returns a string instead of printing to a file.

traceback.format_tb(tb, limit=None)

A shorthand for format_list(extract_tb(tb, limit)).

traceback.format_stack(f=None, limit=None)

A shorthand for format_list(extract_stack(f, limit)).

traceback.clear_frames(tb)

Clears the local variables of all the stack frames in a traceback tb by calling the clear() method of each frame object.

Adicionado na versão 3.4.

traceback.walk_stack(f)

Walk a stack following f.f_back from the given frame, yielding the frame and line number for each frame. If f is None, the current stack is used. This helper is used with StackSummary.extract().

Adicionado na versão 3.5.

traceback.walk_tb(tb)

Walk a traceback following tb_next yielding the frame and line number for each frame. This helper is used with StackSummary.extract().

Adicionado na versão 3.5.

TracebackException Objects

Adicionado na versão 3.5.

TracebackException objects are created from actual exceptions to capture data for later printing. They offer a more lightweight method of storing this information by avoiding holding references to traceback and frame objects In addition, they expose more options to configure the output compared to the module-level functions described above.

class traceback.TracebackException(exc_type, exc_value, exc_traceback, *, limit=None, lookup_lines=True, capture_locals=False, compact=False, max_group_width=15, max_group_depth=10)

Capture an exception for later rendering. The meaning of limit, lookup_lines and capture_locals are as for the StackSummary class.

If compact is true, only data that is required by TracebackException’s format() method is saved in the class attributes. In particular, the __context__ field is calculated only if __cause__ is None and __suppress_context__ is false.

Note that when locals are captured, they are also shown in the traceback.

max_group_width and max_group_depth control the formatting of exception groups (see BaseExceptionGroup). The depth refers to the nesting level of the group, and the width refers to the size of a single exception group’s exceptions array. The formatted output is truncated when either limit is exceeded.

Alterado na versão 3.10: Adicionado o parâmetro compact.

Alterado na versão 3.11: Added the max_group_width and max_group_depth parameters.

__cause__

A TracebackException of the original __cause__.

__context__

A TracebackException of the original __context__.

exceptions

If self represents an ExceptionGroup, this field holds a list of TracebackException instances representing the nested exceptions. Otherwise it is None.

Adicionado na versão 3.11.

__suppress_context__

The __suppress_context__ value from the original exception.

__notes__

The __notes__ value from the original exception, or None if the exception does not have any notes. If it is not None is it formatted in the traceback after the exception string.

Adicionado na versão 3.11.

stack

A StackSummary representing the traceback.

exc_type

The class of the original traceback.

Obsoleto desde a versão 3.13.

exc_type_str

String display of the class of the original exception.

Adicionado na versão 3.13.

filename

For syntax errors - the file name where the error occurred.

lineno

For syntax errors - the line number where the error occurred.

end_lineno

For syntax errors - the end line number where the error occurred. Can be None if not present.

Adicionado na versão 3.10.

text

For syntax errors - the text where the error occurred.

offset

For syntax errors - the offset into the text where the error occurred.

end_offset

For syntax errors - the end offset into the text where the error occurred. Can be None if not present.

Adicionado na versão 3.10.

msg

For syntax errors - the compiler error message.

classmethod from_exception(exc, *, limit=None, lookup_lines=True, capture_locals=False)

Capture an exception for later rendering. limit, lookup_lines and capture_locals are as for the StackSummary class.

Note that when locals are captured, they are also shown in the traceback.

print(*, file=None, chain=True)

Print to file (default sys.stderr) the exception information returned by format().

Adicionado na versão 3.11.

format(*, chain=True)

Format the exception.

If chain is not True, __cause__ and __context__ will not be formatted.

The return value is a generator of strings, each ending in a newline and some containing internal newlines. print_exception() is a wrapper around this method which just prints the lines to a file.

format_exception_only(*, show_group=False)

Format the exception part of the traceback.

The return value is a generator of strings, each ending in a newline.

When show_group is False, the generator emits the exception’s message followed by its notes (if it has any). The exception message is normally a single string; however, for SyntaxError exceptions, it consists of several lines that (when printed) display detailed information about where the syntax error occurred.

When show_group is True, and the exception is an instance of BaseExceptionGroup, the nested exceptions are included as well, recursively, with indentation relative to their nesting depth.

Alterado na versão 3.11: The exception’s notes are now included in the output.

Alterado na versão 3.13: Added the show_group parameter.

StackSummary Objects

Adicionado na versão 3.5.

StackSummary objects represent a call stack ready for formatting.

class traceback.StackSummary

classmethod extract(frame_gen, *, limit=None, lookup_lines=True, capture_locals=False)

Construct a StackSummary object from a frame generator (such as is returned by walk_stack() or walk_tb()).

If limit is supplied, only this many frames are taken from frame_gen. If lookup_lines is False, the returned FrameSummary objects will not have read their lines in yet, making the cost of creating the StackSummary cheaper (which may be valuable if it may not actually get formatted). If capture_locals is True the local variables in each FrameSummary are captured as object representations.

Alterado na versão 3.12: Exceptions raised from repr() on a local variable (when capture_locals is True) are no longer propagated to the caller.

classmethod from_list(a_list)

Construct a StackSummary object from a supplied list of FrameSummary objects or old-style list of tuples. Each tuple should be a 4-tuple with filename, lineno, name, line as the elements.

format()

Returns a list of strings ready for printing. Each string in the resulting list corresponds to a single frame from the stack. Each string ends in a newline; the strings may contain internal newlines as well, for those items with source text lines.

For long sequences of the same frame and line, the first few repetitions are shown, followed by a summary line stating the exact number of further repetitions.

Alterado na versão 3.6: Long sequences of repeated frames are now abbreviated.

format_frame_summary(frame_summary)

Returns a string for printing one of the frames involved in the stack. This method is called for each FrameSummary object to be printed by StackSummary.format(). If it returns None, the frame is omitted from the output.

Adicionado na versão 3.11.

FrameSummary Objects

Adicionado na versão 3.5.

A FrameSummary object represents a single frame in a traceback.

class traceback.FrameSummary(filename, lineno, name, lookup_line=True, locals=None, line=None)

Represents a single frame in the traceback or stack that is being formatted or printed. It may optionally have a stringified version of the frame’s locals included in it. If lookup_line is False, the source code is not looked up until the FrameSummary has the line attribute accessed (which also happens when casting it to a tuple). line may be directly provided, and will prevent line lookups happening at all. locals is an optional local variable mapping, and if supplied the variable representations are stored in the summary for later display.

FrameSummary instances have the following attributes:

filename

The filename of the source code for this frame. Equivalent to accessing f.f_code.co_filename on a frame object f.

lineno

The line number of the source code for this frame.

name

Equivalent to accessing f.f_code.co_name on a frame object f.

line

A string representing the source code for this frame, with leading and trailing whitespace stripped. If the source is not available, it is None.

Examples of Using the Module-Level Functions

This simple example implements a basic read-eval-print loop, similar to (but less useful than) the standard Python interactive interpreter loop. For a more complete implementation of the interpreter loop, refer to the code module.

import sys, traceback

def run_user_code(envdir):
    source = input(">>> ")
    try:
        exec(source, envdir)
    except Exception:
        print("Exception in user code:")
        print("-"*60)
        traceback.print_exc(file=sys.stdout)
        print("-"*60)

envdir = {}
while True:
    run_user_code(envdir)

The following example demonstrates the different ways to print and format the exception and traceback:

import sys, traceback

def lumberjack():
    bright_side_of_life()

def bright_side_of_life():
    return tuple()[0]

try:
    lumberjack()
except IndexError as exc:
    print("*** print_tb:")
    traceback.print_tb(exc.__traceback__, limit=1, file=sys.stdout)
    print("*** print_exception:")
    traceback.print_exception(exc, limit=2, file=sys.stdout)
    print("*** print_exc:")
    traceback.print_exc(limit=2, file=sys.stdout)
    print("*** format_exc, first and last line:")
    formatted_lines = traceback.format_exc().splitlines()
    print(formatted_lines[0])
    print(formatted_lines[-1])
    print("*** format_exception:")
    print(repr(traceback.format_exception(exc)))
    print("*** extract_tb:")
    print(repr(traceback.extract_tb(exc.__traceback__)))
    print("*** format_tb:")
    print(repr(traceback.format_tb(exc.__traceback__)))
    print("*** tb_lineno:", exc.__traceback__.tb_lineno)

The output for the example would look similar to this:

*** print_tb:
  File "<doctest...>", line 10, in <module>
    lumberjack()
    ~~~~~~~~~~^^
*** print_exception:
Traceback (most recent call last):
  File "<doctest...>", line 10, in <module>
    lumberjack()
    ~~~~~~~~~~^^
  File "<doctest...>", line 4, in lumberjack
    bright_side_of_life()
    ~~~~~~~~~~~~~~~~~~~^^
IndexError: tuple index out of range
*** print_exc:
Traceback (most recent call last):
  File "<doctest...>", line 10, in <module>
    lumberjack()
    ~~~~~~~~~~^^
  File "<doctest...>", line 4, in lumberjack
    bright_side_of_life()
    ~~~~~~~~~~~~~~~~~~~^^
IndexError: tuple index out of range
*** format_exc, first and last line:
Traceback (most recent call last):
IndexError: tuple index out of range
*** format_exception:
['Traceback (most recent call last):\n',
 '  File "<doctest default[0]>", line 10, in <module>\n    lumberjack()\n    ~~~~~~~~~~^^\n',
 '  File "<doctest default[0]>", line 4, in lumberjack\n    bright_side_of_life()\n    ~~~~~~~~~~~~~~~~~~~^^\n',
 '  File "<doctest default[0]>", line 7, in bright_side_of_life\n    return tuple()[0]\n           ~~~~~~~^^^\n',
 'IndexError: tuple index out of range\n']
*** extract_tb:
[<FrameSummary file <doctest...>, line 10 in <module>>,
 <FrameSummary file <doctest...>, line 4 in lumberjack>,
 <FrameSummary file <doctest...>, line 7 in bright_side_of_life>]
*** format_tb:
['  File "<doctest default[0]>", line 10, in <module>\n    lumberjack()\n    ~~~~~~~~~~^^\n',
 '  File "<doctest default[0]>", line 4, in lumberjack\n    bright_side_of_life()\n    ~~~~~~~~~~~~~~~~~~~^^\n',
 '  File "<doctest default[0]>", line 7, in bright_side_of_life\n    return tuple()[0]\n           ~~~~~~~^^^\n']
*** tb_lineno: 10

The following example shows the different ways to print and format the stack:

>>> import traceback
>>> def another_function():
...     lumberstack()
...
>>> def lumberstack():
...     traceback.print_stack()
...     print(repr(traceback.extract_stack()))
...     print(repr(traceback.format_stack()))
...
>>> another_function()
  File "<doctest>", line 10, in <module>
    another_function()
  File "<doctest>", line 3, in another_function
    lumberstack()
  File "<doctest>", line 6, in lumberstack
    traceback.print_stack()
[('<doctest>', 10, '<module>', 'another_function()'),
 ('<doctest>', 3, 'another_function', 'lumberstack()'),
 ('<doctest>', 7, 'lumberstack', 'print(repr(traceback.extract_stack()))')]
['  File "<doctest>", line 10, in <module>\n    another_function()\n',
 '  File "<doctest>", line 3, in another_function\n    lumberstack()\n',
 '  File "<doctest>", line 8, in lumberstack\n    print(repr(traceback.format_stack()))\n']

This last example demonstrates the final few formatting functions:

>>> import traceback
>>> traceback.format_list([('spam.py', 3, '<module>', 'spam.eggs()'),
...                        ('eggs.py', 42, 'eggs', 'return "bacon"')])
['  File "spam.py", line 3, in <module>\n    spam.eggs()\n',
 '  File "eggs.py", line 42, in eggs\n    return "bacon"\n']
>>> an_error = IndexError('tuple index out of range')
>>> traceback.format_exception_only(an_error)
['IndexError: tuple index out of range\n']

Examples of Using TracebackException

With the helper class, we have more options:

>>> import sys
>>> from traceback import TracebackException
>>>
>>> def lumberjack():
...     bright_side_of_life()
...
>>> def bright_side_of_life():
...     t = "bright", "side", "of", "life"
...     return t[5]
...
>>> try:
...     lumberjack()
... except IndexError as e:
...     exc = e
...
>>> try:
...     try:
...         lumberjack()
...     except:
...         1/0
... except Exception as e:
...     chained_exc = e
...
>>> # limit works as with the module-level functions
>>> TracebackException.from_exception(exc, limit=-2).print()
Traceback (most recent call last):
  File "<python-input-1>", line 6, in lumberjack
    bright_side_of_life()
    ~~~~~~~~~~~~~~~~~~~^^
  File "<python-input-1>", line 10, in bright_side_of_life
    return t[5]
           ~^^^
IndexError: tuple index out of range

>>> # capture_locals adds local variables in frames
>>> TracebackException.from_exception(exc, limit=-2, capture_locals=True).print()
Traceback (most recent call last):
  File "<python-input-1>", line 6, in lumberjack
    bright_side_of_life()
    ~~~~~~~~~~~~~~~~~~~^^
  File "<python-input-1>", line 10, in bright_side_of_life
    return t[5]
           ~^^^
    t = ("bright", "side", "of", "life")
IndexError: tuple index out of range

>>> # The *chain* kwarg to print() controls whether chained
>>> # exceptions are displayed
>>> TracebackException.from_exception(chained_exc).print()
Traceback (most recent call last):
  File "<python-input-19>", line 4, in <module>
    lumberjack()
    ~~~~~~~~~~^^
  File "<python-input-8>", line 7, in lumberjack
    bright_side_of_life()
    ~~~~~~~~~~~~~~~~~~~^^
  File "<python-input-8>", line 11, in bright_side_of_life
    return t[5]
           ~^^^
IndexError: tuple index out of range

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<python-input-19>", line 6, in <module>
    1/0
    ~^~
ZeroDivisionError: division by zero

>>> TracebackException.from_exception(chained_exc).print(chain=False)
Traceback (most recent call last):
  File "<python-input-19>", line 6, in <module>
    1/0
    ~^~
ZeroDivisionError: division by zero

__future__ — Definições de instruções future

Código-fonte: Lib/__future__.py [https://github.com/python/cpython/tree/3.13/Lib/__future__.py]

Instruções na forma from __future__ import feature são chamadas de instruções future. Esses são casos especiais do compilador Python para permitir o uso de novos recursos do Python em módulos que contêm a instrução future antes da versão em que o recurso se torna padrão.

Embora o compilador Python dê um significado especial adicional a essas instruções future, elas ainda são executadas como qualquer outra instrução de importação, o módulo __future__ existe e é tratado pelo sistema de importação da mesma forma que qualquer outro módulo Python. Isso serve a três propósitos:

Para evitar confundir as ferramentas existentes que analisam as instruções de importação e esperam encontrar os módulos que estão importando.

Para documentar quando as mudanças incompatíveis foram introduzidas, e quando elas serão — ou foram — obrigatórias. Esta é uma forma de documentação executável e pode ser inspecionada programaticamente através da importação __future__ e examinando seus conteúdos.

Para garantir que instruções future sejam executadas em versões anteriores a Python 2.1, pelo menos, processe exceções de tempo de execução (a importação de __future__ falhará, porque não havia nenhum módulo desse nome antes de 2.1).

Conteúdo do módulo

Nenhuma descrição de característica será excluída de __future__. Desde a sua introdução no Python 2.1, os seguintes recursos encontraram o caminho para o idioma usando esse mecanismo:

característica

opcional em

obrigatório em

efeito

nested_scopes

2.1.0b1

2.2

PEP 227 [https://peps.python.org/pep-0227/]: Statically Nested Scopes

generators

2.2.0a1

2.3

PEP 255 [https://peps.python.org/pep-0255/]: Simple Generators

division

2.2.0a2

3.0

PEP 238 [https://peps.python.org/pep-0238/]: Changing the Division Operator

absolute_import

2.5.0a1

3.0

PEP 328 [https://peps.python.org/pep-0328/]: Imports: Multi-Line and Absolute/Relative

with_statement

2.5.0a1

2.6

PEP 343 [https://peps.python.org/pep-0343/]: The “with” Statement

print_function

2.6.0a2

3.0

PEP 3105 [https://peps.python.org/pep-3105/]: Make print a function

unicode_literals

2.6.0a2

3.0

PEP 3112 [https://peps.python.org/pep-3112/]: Bytes literals in Python 3000

generator_stop

3.5.0b1

3.7

PEP 479 [https://peps.python.org/pep-0479/]: StopIteration handling inside generators

annotations

3.7.0b1

Para ser feito [1]

PEP 563 [https://peps.python.org/pep-0563/]: Postponed evaluation of annotations

class __future__._Feature

Cada instrução em __future__.py é da forma:

FeatureName = _Feature(OptionalRelease, MandatoryRelease,
                       CompilerFlag)

Onde, normalmente, OptionalRelease é inferior a MandatoryRelease, e ambos são tuplas de 5 entradas da mesma forma que sys.version_info:

(PY_MAJOR_VERSION, # the 2 in 2.1.0a3; an int
 PY_MINOR_VERSION, # the 1; an int
 PY_MICRO_VERSION, # the 0; an int
 PY_RELEASE_LEVEL, # "alpha", "beta", "candidate" or "final"; string
 PY_RELEASE_SERIAL # the 3; an int
)

_Feature.getOptionalRelease()

OptionalRelease registra o primeiro lançamento no qual o recurso foi aceito.

_Feature.getMandatoryRelease()

No caso de um MandatoryRelease que ainda não ocorreu, MandatoryRelease prevê o lançamento em que o recurso se tornará parte da linguagem.

Senão MandatoryRelease registra quando o recurso se tornou parte do idioma; Em versões em ou depois disso, os módulos não precisam mais de uma instrução future para usar o recurso em questão, mas podem continuar a usar essas importações.

MandatoryRelease também pode ser None, o que significa que uma característica planejada foi descartada ou que isso ainda não está decidido.

_Feature.compiler_flag

CompilerFlag é o sinalizador (bitfield) que deve ser passado no quarto argumento para a função embutida compile() para habilitar o recurso no código compilado dinamicamente. Este sinalizador é armazenado no atributo _Feature.compiler_flag em instâncias de _Feature.

[1]

from __future__ import annotations foi programado anteriormente para se tornar obrigatório no Python 3.10, mas o Python Steering Council decidiu duas vezes adiar a mudança (anúncio para o Python 3.10 [https://mail.python.org/archives/list/python-dev@python.org/message/CLVXXPQ2T2LQ5MP2Y53VVQFCXYWQJHKZ/]; anúncio para o Python 3.11 [https://mail.python.org/archives/list/python-dev@python.org/message/VIZEBX5EYMSYIJNDBF6DMUMZOCWHARSO/]). Nenhuma decisão final foi tomada ainda. Veja também PEP 563 [https://peps.python.org/pep-0563/] e PEP 649 [https://peps.python.org/pep-0649/].

Ver também

Instruções future

Como o compilador trata as importações de future.

PEP 236 [https://peps.python.org/pep-0236/] - De volta ao __future__

A proposta original para o mecanismo do __future__.

gc — Interface para o coletor de lixo

Este módulo fornece uma interface para o coletor de lixo opcional. Ele disponibiliza a habilidade de desabilitar o coletor, ajustar a frequência da coleção, e configurar as opções de depuração. Ele também fornece acesso para objetos inacessíveis que o coletor encontra mas não pode “limpar”. Como o coletor complementa a contagem de referência já usada em Python, você pode desabilitar o coletor se você tem certeza que o seu programa não cria ciclos de referência. A coleta automática pode ser desabilitada pela chamada gc.disable(). Para depurar um programa vazando, chame gc.set_debug(gc.DEBUG_LEAK). Perceba que isto inclui gc.DEBUG_SAVEALL, fazendo com que objetos coletados pelo coletor de lixo sejam salvos para inspeção em gc.garbage.

O módulo gc fornece as seguintes funções:

gc.enable()

Habilita a coleta de lixo automática.

gc.disable()

Desabilita a coleta de lixo automática.

gc.isenabled()

Retorna True se a coleta automática estiver habilitada.

gc.collect(generation=2)

Sem argumentos, execute uma coleta completa. O argumento opcional generation pode ser um inteiro especificando qual geração coletar (de 0 a 2). Uma exceção ValueError é levantada se o número de geração for inválido. A soma dos objetos coletados e dos objetos incoletáveis ​​é retornada.

As listas livres mantidas para vários tipos embutidos são limpas sempre que uma coleta completa ou coleta da geração mais alta (2) é executada. Nem todos os itens em algumas listas livres podem ser liberados devido à implementação particular, em particular float.

O efeito de chamar gc.collect() enquanto o interpretador já está realizando uma coleta é indefinido.

gc.set_debug(flags)

Define os sinalizadores de depuração da coleta de lixo. As informações de depuração serão gravadas em sys.stderr. Veja abaixo uma lista de sinalizadores de depuração que podem ser combinados usando operações de bit para controlar a depuração.

gc.get_debug()

Retorna os sinalizadores de depuração atualmente definidos.

gc.get_objects(generation=None)

Retorna uma lista de todos os objetos rastreados pelo coletor, excluindo a lista retornada. Se generation não for None, retorna apenas os objetos rastreados pelo coletor que estão nessa geração.

Alterado na versão 3.8: Novo parâmetro generation.

Levanta um evento de auditoria gc.get_objects com o argumento generation.

gc.get_stats()

Retorna uma lista de três dicionários por geração contendo estatísticas de coleta desde o início do interpretador. O número de chaves pode mudar no futuro, mas atualmente cada dicionário conterá os seguintes itens:

collections é o número de vezes que esta geração foi coletada;

collected é o número total de objetos coletados nesta geração;

uncollectable é o número total de objetos que foram considerados incobráveis (e, portanto, movidos para a lista garbage) dentro desta geração.

Adicionado na versão 3.4.

gc.set_threshold(threshold0[, threshold1[, threshold2]])

Define os limites de coleta de lixo (a frequência de coleta). Definir threshold0 como zero desativa a coleta.

O GC classifica os objetos em três gerações, dependendo de quantas varreduras de coleta eles sobreviveram. Novos objetos são colocados na geração mais nova (geração 0). Se um objeto sobreviver a uma coleção, ele será movido para a próxima geração mais antiga. Como a geração 2 é a geração mais antiga, os objetos dessa geração permanecem lá após uma coleta. Para decidir quando executar, o coletor acompanha o número de alocações e desalocações de objetos desde a última coleta. Quando o número de alocações menos o número de desalocações exceder threshold0, a coleta será iniciada. Inicialmente, apenas a geração 0 é examinada. Se a geração 0 foi examinada mais de threshold1 vezes desde que a geração 1 foi examinada, então a geração 1 também é examinada. Com a terceira geração, as coisas são um pouco mais complicadas, veja Coletando a geração mais antiga [https://devguide.python.org/garbage_collector/#collecting-the-oldest-generation] para mais informações.

gc.get_count()

Retorna as contagens da coleta atual como uma tupla de (count0, count1, count2).

gc.get_threshold()

Retorna os limites da coleta atual como uma tupla de (threshold0, threshold1, threshold2).

gc.get_referrers(*objs)

Retorna a lista de objetos que se referem diretamente a qualquer um dos objs. Esta função localizará apenas os contêineres que suportam coleta de lixo; tipos de extensão que se referem a outros objetos, mas não suportam coleta de lixo, não serão encontrados.

Observe que os objetos que já foram desreferenciados, mas que vivem em ciclos e ainda não foram coletados pelo coletor de lixo podem ser listados entre os referenciadores resultantes. Para obter apenas os objetos atualmente ativos, chame collect() antes de chamar get_referrers().

Aviso

Deve-se tomar cuidado ao usar objetos retornados por get_referrers() porque alguns deles ainda podem estar em construção e, portanto, em um estado temporariamente inválido. Evite usar get_referrers() para qualquer finalidade que não seja depuração.

Levanta um evento de auditoria gc.get_referrers com o argumento objs.

gc.get_referents(*objs)

Retorna uma lista de objetos diretamente referenciados por qualquer um dos argumentos. Os referentes retornados são aqueles objetos visitados pelos métodos a nível do C tp_traverse dos argumentos (se houver), e podem não ser todos os objetos diretamente alcançáveis. Os métodos tp_traverse são suportados apenas por objetos que suportam coleta de lixo e são necessários apenas para visitar objetos que possam estar envolvidos em um ciclo. Assim, por exemplo, se um número inteiro pode ser acessado diretamente de um argumento, esse objeto inteiro pode ou não aparecer na lista de resultados.

Levanta um evento de auditoria gc.get_referents com o argumento objs.

gc.is_tracked(obj)

Retorna True se o objeto está atualmente rastreado pelo coletor de lixo, False caso contrário. Como regra geral, as instâncias de tipos atômicos não são rastreadas e as instâncias de tipos não atômicos (contêineres, objetos definidos pelo usuário…) são. No entanto, algumas otimizações específicas do tipo podem estar presentes para suprimir a pegada do coletor de lixo de instâncias simples (por exemplo, dicts contendo apenas chaves e valores atômicos):

>>> gc.is_tracked(0)
False
>>> gc.is_tracked("a")
False
>>> gc.is_tracked([])
True
>>> gc.is_tracked({})
False
>>> gc.is_tracked({"a": 1})
False
>>> gc.is_tracked({"a": []})
True

Adicionado na versão 3.1.

gc.is_finalized(obj)

Retorna True se o objeto fornecido foi finalizado pelo coletor de lixo, False caso contrário.

>>> x = None
>>> class Lazarus:
...     def __del__(self):
...         global x
...         x = self
...
>>> lazarus = Lazarus()
>>> gc.is_finalized(lazarus)
False
>>> del lazarus
>>> gc.is_finalized(x)
True

Adicionado na versão 3.9.

gc.freeze()

Congela todos os objetos rastreados pelo coletor de lixo; move-os para uma geração permanente e ignora-os em todas as coleções futuras.

Se um processo for fork() sem exec(), evitar cópia em gravação (copy-on-write) desnecessário em processos filho maximizará o compartilhamento de memória e reduzirá o uso geral de memória. Isso requer evitar a criação de “buracos” liberados nas páginas de memória no processo pai e garantir que as coleções GC nos processos filho não toquem no contador gc_refs de objetos de vida longa originados no processo pai. Para realizar ambos, chame gc.disable() no início do processo pai, gc.freeze() logo antes de fork() e gc.enable() no início em processos filhos.

Adicionado na versão 3.7.

gc.unfreeze()

Descongela os objetos na geração permanente, coloca-os de volta na geração mais antiga.

Adicionado na versão 3.7.

gc.get_freeze_count()

Retorna o número de objetos na geração permanente.

Adicionado na versão 3.7.

As seguintes variáveis são fornecidas para acesso somente leitura (você pode alterar os valores, mas não deve revinculá-los):

gc.garbage

Uma lista de objetos que o coletor considerou inacessíveis, mas não puderam ser liberados (objetos não coletáveis). A partir do Python 3.4, esta lista deve estar vazia na maioria das vezes, exceto ao usar instâncias de tipos de extensão C com um slot tp_del não-NULL.

Se DEBUG_SAVEALL for definido, todos os objetos inacessíveis serão adicionados a esta lista ao invés de liberados.

Alterado na versão 3.2: Se esta lista não estiver vazia no desligamento do interpretador, um ResourceWarning é emitido, que é silencioso por padrão. Se DEBUG_UNCOLLECTABLE for definido, além disso, todos os objetos não coletáveis serão impressos.

Alterado na versão 3.4: Seguindo a PEP 442 [https://peps.python.org/pep-0442/], objetos com um método __del__() não vão mais para gc.garbage.

gc.callbacks

Uma lista de retornos de chamada que serão invocados pelo coletor de lixo antes e depois da coleta. As funções de retorno serão chamadas com dois argumentos, phase e info.

phase pode ser um dos dois valores:

“start”: A coleta de lixo está prestes a começar.

“stop”: A coleta de lixo terminou.

info é um ditado que fornece mais informações para a função de retorno. As seguintes chaves estão atualmente definidas:

“generation”: A geração mais antiga sendo coletada.

“collected”: Quando phase é “stop”, o número de objetos coletados com sucesso.

“uncollectable”: Quando phase é “stop”, o número de objetos que não puderam ser coletados e foram colocados em garbage.

As aplicações podem adicionar suas próprias funções de retorno a essa lista. Os principais casos de uso são:

Reunir estatísticas sobre coleta de lixo, como com que frequência várias gerações são coletadas e quanto tempo leva a coleta.

Permitindo que os aplicativos identifiquem e limpem seus próprios tipos não colecionáveis quando eles aparecem em garbage.

Adicionado na versão 3.3.

As seguintes constantes são fornecidas para uso com set_debug():

gc.DEBUG_STATS

Imprimir estatísticas durante a coleta. Esta informação pode ser útil ao sintonizar a frequência de coleta.

gc.DEBUG_COLLECTABLE

Imprimir informações sobre objetos colecionáveis encontrados.

gc.DEBUG_UNCOLLECTABLE

Imprime informações de objetos não colecionáveis encontrados (objetos que não são alcançáveis, mas não podem ser liberados pelo coletor). Esses objetos serão adicionados à lista garbage.

Alterado na versão 3.2: Imprime também o conteúdo da lista garbage em desligamento do interpretador, se não estiver vazia.

gc.DEBUG_SAVEALL

Quando definido, todos os objetos inacessíveis encontrados serão anexados ao lixo em vez de serem liberados. Isso pode ser útil para depurar um programa com vazamento.

gc.DEBUG_LEAK

Os sinalizadores de depuração necessários para o coletor imprimir informações sobre um programa com vazamento (igual a DEBUG_COLLECTABLE | DEBUG_UNCOLLECTABLE | DEBUG_SAVEALL).

inspect — Inspect live objects

Código-fonte: Lib/inspect.py [https://github.com/python/cpython/tree/3.13/Lib/inspect.py]

The inspect module provides several useful functions to help get information about live objects such as modules, classes, methods, functions, tracebacks, frame objects, and code objects. For example, it can help you examine the contents of a class, retrieve the source code of a method, extract and format the argument list for a function, or get all the information you need to display a detailed traceback.

There are four main kinds of services provided by this module: type checking, getting source code, inspecting classes and functions, and examining the interpreter stack.

Tipos e membros

The getmembers() function retrieves the members of an object such as a class or module. The functions whose names begin with “is” are mainly provided as convenient choices for the second argument to getmembers(). They also help you determine when you can expect to find the following special attributes (see Import-related attributes on module objects for module attributes):

Tipo

Atributo

Descrição

class

__doc__

string de documentação

__name__

nome com o qual esta classe foi definida

__qualname__

nome qualificado

__module__

nome do módulo no qual esta classe foi definida

__type_params__

A tuple containing the type parameters of a generic class

método

__doc__

string de documentação

__name__

nome com o qual este método foi definido

__qualname__

nome qualificado

__func__

objeto função contendo implementação de método

__self__

instância para o qual este método está vinculado, ou None.

__module__

nome do módulo no qual este método foi definido

função

__doc__

string de documentação

__name__

nome com o qual esta função foi definida

__qualname__

nome qualificado

__code__

code object containing compiled function bytecode

__defaults__

tuple of any default values for positional or keyword parameters

__kwdefaults__

mapping of any default values for keyword-only parameters

__globals__

global namespace in which this function was defined

__builtins__

builtins namespace

__annotations__

mapping of parameters names to annotations; "return" key is reserved for return annotations.

__type_params__

A tuple containing the type parameters of a generic function

__module__

name of module in which this function was defined

traceback

tb_frame

frame object at this level

tb_lasti

index of last attempted instruction in bytecode

tb_lineno

current line number in Python source code

tb_next

next inner traceback object (called by this level)

quadro

f_back

next outer frame object (this frame’s caller)

f_builtins

builtins namespace seen by this frame

f_code

code object being executed in this frame

f_globals

global namespace seen by this frame

f_lasti

index of last attempted instruction in bytecode

f_lineno

current line number in Python source code

f_locals

local namespace seen by this frame

f_trace

tracing function for this frame, or None

código

co_argcount

number of arguments (not including keyword only arguments, * or ** args)

co_code

string of raw compiled bytecode

co_cellvars

tuple of names of cell variables (referenced by containing scopes)

co_consts

tuple of constants used in the bytecode

co_filename

name of file in which this code object was created

co_firstlineno

number of first line in Python source code

co_flags

bitmap of CO_* flags, read more here

co_lnotab

encoded mapping of line numbers to bytecode indices

co_freevars

tuple of names of free variables (referenced via a function’s closure)

co_posonlyargcount

number of positional only arguments

co_kwonlyargcount

number of keyword only arguments (not including ** arg)

co_name

name with which this code object was defined

co_qualname

fully qualified name with which this code object was defined

co_names

tuple of names other than arguments and function locals

co_nlocals

number of local variables

co_stacksize

virtual machine stack space required

co_varnames

tuple of names of arguments and local variables

gerador

__name__

nome

__qualname__

nome qualificado

gi_frame

quadro

gi_running

is the generator running?

gi_code

código

gi_yieldfrom

object being iterated by yield from, or None

async generator

__name__

nome

__qualname__

nome qualificado

ag_await

object being awaited on, or None

ag_frame

quadro

ag_running

is the generator running?

ag_code

código

corrotina

__name__

nome

__qualname__

nome qualificado

cr_await

object being awaited on, or None

cr_frame

quadro

cr_running

is the coroutine running?

cr_code

código

cr_origin

where coroutine was created, or None. See sys.set_coroutine_origin_tracking_depth()

builtin

__doc__

string de documentação

__name__

original name of this function or method

__qualname__

nome qualificado

__self__

instance to which a method is bound, or None

Alterado na versão 3.5: Add __qualname__ and gi_yieldfrom attributes to generators.

The __name__ attribute of generators is now set from the function name, instead of the code name, and it can now be modified.

Alterado na versão 3.7: Add cr_origin attribute to coroutines.

Alterado na versão 3.10: Add __builtins__ attribute to functions.

inspect.getmembers(object[, predicate])

Return all the members of an object in a list of (name, value) pairs sorted by name. If the optional predicate argument—which will be called with the value object of each member—is supplied, only members for which the predicate returns a true value are included.

Nota

getmembers() will only return class attributes defined in the metaclass when the argument is a class and those attributes have been listed in the metaclass’ custom __dir__().

inspect.getmembers_static(object[, predicate])

Return all the members of an object in a list of (name, value) pairs sorted by name without triggering dynamic lookup via the descriptor protocol, __getattr__ or __getattribute__. Optionally, only return members that satisfy a given predicate.

Nota

getmembers_static() may not be able to retrieve all members that getmembers can fetch (like dynamically created attributes) and may find members that getmembers can’t (like descriptors that raise AttributeError). It can also return descriptor objects instead of instance members in some cases.

Adicionado na versão 3.11.

inspect.getmodulename(path)

Return the name of the module named by the file path, without including the names of enclosing packages. The file extension is checked against all of the entries in importlib.machinery.all_suffixes(). If it matches, the final path component is returned with the extension removed. Otherwise, None is returned.

Note that this function only returns a meaningful name for actual Python modules - paths that potentially refer to Python packages will still return None.

Alterado na versão 3.3: The function is based directly on importlib.

inspect.ismodule(object)

Return True if the object is a module.

inspect.isclass(object)

Return True if the object is a class, whether built-in or created in Python code.

inspect.ismethod(object)

Return True if the object is a bound method written in Python.

inspect.isfunction(object)

Return True if the object is a Python function, which includes functions created by a lambda expression.

inspect.isgeneratorfunction(object)

Return True if the object is a Python generator function.

Alterado na versão 3.8: Functions wrapped in functools.partial() now return True if the wrapped function is a Python generator function.

Alterado na versão 3.13: Functions wrapped in functools.partialmethod() now return True if the wrapped function is a Python generator function.

inspect.isgenerator(object)

Return True if the object is a generator.

inspect.iscoroutinefunction(object)

Return True if the object is a coroutine function (a function defined with an async def syntax), a functools.partial() wrapping a coroutine function, or a sync function marked with markcoroutinefunction().

Adicionado na versão 3.5.

Alterado na versão 3.8: Functions wrapped in functools.partial() now return True if the wrapped function is a coroutine function.

Alterado na versão 3.12: Sync functions marked with markcoroutinefunction() now return True.

Alterado na versão 3.13: Functions wrapped in functools.partialmethod() now return True if the wrapped function is a coroutine function.

inspect.markcoroutinefunction(func)

Decorator to mark a callable as a coroutine function if it would not otherwise be detected by iscoroutinefunction().

This may be of use for sync functions that return a coroutine, if the function is passed to an API that requires iscoroutinefunction().

When possible, using an async def function is preferred. Also acceptable is calling the function and testing the return with iscoroutine().

Adicionado na versão 3.12.

inspect.iscoroutine(object)

Return True if the object is a coroutine created by an async def function.

Adicionado na versão 3.5.

inspect.isawaitable(object)

Return True if the object can be used in await expression.

Can also be used to distinguish generator-based coroutines from regular generators:

import types

def gen():
    yield
@types.coroutine
def gen_coro():
    yield

assert not isawaitable(gen())
assert isawaitable(gen_coro())

Adicionado na versão 3.5.

inspect.isasyncgenfunction(object)

Return True if the object is an asynchronous generator function, for example:

>>> async def agen():
...     yield 1
...
>>> inspect.isasyncgenfunction(agen)
True

Adicionado na versão 3.6.

Alterado na versão 3.8: Functions wrapped in functools.partial() now return True if the wrapped function is an asynchronous generator function.

Alterado na versão 3.13: Functions wrapped in functools.partialmethod() now return True if the wrapped function is a coroutine function.

inspect.isasyncgen(object)

Return True if the object is an asynchronous generator iterator created by an asynchronous generator function.

Adicionado na versão 3.6.

inspect.istraceback(object)

Return True if the object is a traceback.

inspect.isframe(object)

Return True if the object is a frame.

inspect.iscode(object)

Return True if the object is a code.

inspect.isbuiltin(object)

Return True if the object is a built-in function or a bound built-in method.

inspect.ismethodwrapper(object)

Return True if the type of object is a MethodWrapperType.

These are instances of MethodWrapperType, such as __str__(), __eq__() and __repr__().

Adicionado na versão 3.11.

inspect.isroutine(object)

Return True if the object is a user-defined or built-in function or method.

inspect.isabstract(object)

Return True if the object is an abstract base class.

inspect.ismethoddescriptor(object)

Return True if the object is a method descriptor, but not if ismethod(), isclass(), isfunction() or isbuiltin() are true.

This, for example, is true of int.__add__. An object passing this test has a __get__() method, but not a __set__() method or a __delete__() method. Beyond that, the set of attributes varies. A __name__ attribute is usually sensible, and __doc__ often is.

Methods implemented via descriptors that also pass one of the other tests return False from the ismethoddescriptor() test, simply because the other tests promise more – you can, e.g., count on having the __func__ attribute (etc) when an object passes ismethod().

Alterado na versão 3.13: This function no longer incorrectly reports objects with __get__() and __delete__(), but not __set__(), as being method descriptors (such objects are data descriptors, not method descriptors).

inspect.isdatadescriptor(object)

Return True if the object is a data descriptor.

Data descriptors have a __set__ or a __delete__ method. Examples are properties (defined in Python), getsets, and members. The latter two are defined in C and there are more specific tests available for those types, which is robust across Python implementations. Typically, data descriptors will also have __name__ and __doc__ attributes (properties, getsets, and members have both of these attributes), but this is not guaranteed.

inspect.isgetsetdescriptor(object)

Return True if the object is a getset descriptor.

Detalhes da implementação do CPython: getsets are attributes defined in extension modules via PyGetSetDef structures. For Python implementations without such types, this method will always return False.

inspect.ismemberdescriptor(object)

Return True if the object is a member descriptor.

Detalhes da implementação do CPython: Member descriptors are attributes defined in extension modules via PyMemberDef structures. For Python implementations without such types, this method will always return False.

Retrieving source code

inspect.getdoc(object)

Get the documentation string for an object, cleaned up with cleandoc(). If the documentation string for an object is not provided and the object is a class, a method, a property or a descriptor, retrieve the documentation string from the inheritance hierarchy. Return None if the documentation string is invalid or missing.

Alterado na versão 3.5: Strings de documentação agora são herdadas, se não forem sobrescritas.

inspect.getcomments(object)

Return in a single string any lines of comments immediately preceding the object’s source code (for a class, function, or method), or at the top of the Python source file (if the object is a module). If the object’s source code is unavailable, return None. This could happen if the object has been defined in C or the interactive shell.

inspect.getfile(object)

Retorna o nome do arquivo (texto ou binário) no qual um objeto foi definido. Isso falhará com um TypeError se o objeto for um módulo, classe ou função embutidos.

inspect.getmodule(object)

Try to guess which module an object was defined in. Return None if the module cannot be determined.

inspect.getsourcefile(object)

Return the name of the Python source file in which an object was defined or None if no way can be identified to get the source. This will fail with a TypeError if the object is a built-in module, class, or function.

inspect.getsourcelines(object)

Return a list of source lines and starting line number for an object. The argument may be a module, class, method, function, traceback, frame, or code object. The source code is returned as a list of the lines corresponding to the object and the line number indicates where in the original source file the first line of code was found. An OSError is raised if the source code cannot be retrieved. A TypeError is raised if the object is a built-in module, class, or function.

Alterado na versão 3.3: OSError is raised instead of IOError, now an alias of the former.

inspect.getsource(object)

Return the text of the source code for an object. The argument may be a module, class, method, function, traceback, frame, or code object. The source code is returned as a single string. An OSError is raised if the source code cannot be retrieved. A TypeError is raised if the object is a built-in module, class, or function.

Alterado na versão 3.3: OSError is raised instead of IOError, now an alias of the former.

inspect.cleandoc(doc)

Clean up indentation from docstrings that are indented to line up with blocks of code.

All leading whitespace is removed from the first line. Any leading whitespace that can be uniformly removed from the second line onwards is removed. Empty lines at the beginning and end are subsequently removed. Also, all tabs are expanded to spaces.

Introspecting callables with the Signature object

Adicionado na versão 3.3.

The Signature object represents the call signature of a callable object and its return annotation. To retrieve a Signature object, use the signature() function.

inspect.signature(callable, *, follow_wrapped=True, globals=None, locals=None, eval_str=False)

Return a Signature object for the given callable:

>>> from inspect import signature
>>> def foo(a, *, b:int, **kwargs):
...     pass

>>> sig = signature(foo)

>>> str(sig)
'(a, *, b: int, **kwargs)'

>>> str(sig.parameters['b'])
'b: int'

>>> sig.parameters['b'].annotation
<class 'int'>

Accepts a wide range of Python callables, from plain functions and classes to functools.partial() objects.

For objects defined in modules using stringized annotations (from __future__ import annotations), signature() will attempt to automatically un-stringize the annotations using get_annotations(). The globals, locals, and eval_str parameters are passed into get_annotations() when resolving the annotations; see the documentation for get_annotations() for instructions on how to use these parameters.

Raises ValueError if no signature can be provided, and TypeError if that type of object is not supported. Also, if the annotations are stringized, and eval_str is not false, the eval() call(s) to un-stringize the annotations in get_annotations() could potentially raise any kind of exception.

A slash(/) in the signature of a function denotes that the parameters prior to it are positional-only. For more info, see the FAQ entry on positional-only parameters.

Alterado na versão 3.5: The follow_wrapped parameter was added. Pass False to get a signature of callable specifically (callable.__wrapped__ will not be used to unwrap decorated callables.)

Alterado na versão 3.10: The globals, locals, and eval_str parameters were added.

Nota

Some callables may not be introspectable in certain implementations of Python. For example, in CPython, some built-in functions defined in C provide no metadata about their arguments.

Detalhes da implementação do CPython: If the passed object has a __signature__ attribute, we may use it to create the signature. The exact semantics are an implementation detail and are subject to unannounced changes. Consult the source code for current semantics.

class inspect.Signature(parameters=None, *, return_annotation=Signature.empty)

A Signature object represents the call signature of a function and its return annotation. For each parameter accepted by the function it stores a Parameter object in its parameters collection.

The optional parameters argument is a sequence of Parameter objects, which is validated to check that there are no parameters with duplicate names, and that the parameters are in the right order, i.e. positional-only first, then positional-or-keyword, and that parameters with defaults follow parameters without defaults.

The optional return_annotation argument can be an arbitrary Python object. It represents the “return” annotation of the callable.

Signature objects are immutable. Use Signature.replace() or copy.replace() to make a modified copy.

Alterado na versão 3.5: Signature objects are now picklable and hashable.

empty

A special class-level marker to specify absence of a return annotation.

parameters

An ordered mapping of parameters’ names to the corresponding Parameter objects. Parameters appear in strict definition order, including keyword-only parameters.

Alterado na versão 3.7: Python only explicitly guaranteed that it preserved the declaration order of keyword-only parameters as of version 3.7, although in practice this order had always been preserved in Python 3.

return_annotation

The “return” annotation for the callable. If the callable has no “return” annotation, this attribute is set to Signature.empty.

bind(*args, **kwargs)

Create a mapping from positional and keyword arguments to parameters. Returns BoundArguments if *args and **kwargs match the signature, or raises a TypeError.

bind_partial(*args, **kwargs)

Works the same way as Signature.bind(), but allows the omission of some required arguments (mimics functools.partial() behavior.) Returns BoundArguments, or raises a TypeError if the passed arguments do not match the signature.

replace(*[, parameters][, return_annotation])

Create a new Signature instance based on the instance replace() was invoked on. It is possible to pass different parameters and/or return_annotation to override the corresponding properties of the base signature. To remove return_annotation from the copied Signature, pass in Signature.empty.

>>> def test(a, b):
...     pass
...
>>> sig = signature(test)
>>> new_sig = sig.replace(return_annotation="new return anno")
>>> str(new_sig)
"(a, b) -> 'new return anno'"

Signature objects are also supported by the generic function copy.replace().

format(*, max_width=None)

Create a string representation of the Signature object.

If max_width is passed, the method will attempt to fit the signature into lines of at most max_width characters. If the signature is longer than max_width, all parameters will be on separate lines.

Adicionado na versão 3.13.

classmethod from_callable(obj, *, follow_wrapped=True, globals=None, locals=None, eval_str=False)

Return a Signature (or its subclass) object for a given callable obj.

This method simplifies subclassing of Signature:

class MySignature(Signature):
    pass
sig = MySignature.from_callable(sum)
assert isinstance(sig, MySignature)

Its behavior is otherwise identical to that of signature().

Adicionado na versão 3.5.

Alterado na versão 3.10: The globals, locals, and eval_str parameters were added.

class inspect.Parameter(name, kind, *, default=Parameter.empty, annotation=Parameter.empty)

Parameter objects are immutable. Instead of modifying a Parameter object, you can use Parameter.replace() or copy.replace() to create a modified copy.

Alterado na versão 3.5: Parameter objects are now picklable and hashable.

empty

A special class-level marker to specify absence of default values and annotations.

name

The name of the parameter as a string. The name must be a valid Python identifier.

Detalhes da implementação do CPython: CPython generates implicit parameter names of the form .0 on the code objects used to implement comprehensions and generator expressions.

Alterado na versão 3.6: These parameter names are now exposed by this module as names like implicit0.

default

The default value for the parameter. If the parameter has no default value, this attribute is set to Parameter.empty.

annotation

The annotation for the parameter. If the parameter has no annotation, this attribute is set to Parameter.empty.

kind

Describes how argument values are bound to the parameter. The possible values are accessible via Parameter (like Parameter.KEYWORD_ONLY), and support comparison and ordering, in the following order:

Nome

Significado

POSITIONAL_ONLY

Value must be supplied as a positional argument. Positional only parameters are those which appear before a / entry (if present) in a Python function definition.

POSITIONAL_OR_KEYWORD

Value may be supplied as either a keyword or positional argument (this is the standard binding behaviour for functions implemented in Python.)

`*VAR_POSITIONAL*`

A tuple of positional arguments that aren’t bound to any other parameter. This corresponds to a *args parameter in a Python function definition.

KEYWORD_ONLY

Value must be supplied as a keyword argument. Keyword only parameters are those which appear after a * or *args entry in a Python function definition.

VAR_KEYWORD

A dict of keyword arguments that aren’t bound to any other parameter. This corresponds to a **kwargs parameter in a Python function definition.

Example: print all keyword-only arguments without default values:

>>> def foo(a, b, *, c, d=10):
...     pass

>>> sig = signature(foo)
>>> for param in sig.parameters.values():
...     if (param.kind == param.KEYWORD_ONLY and
...                        param.default is param.empty):
...         print('Parameter:', param)
Parameter: c

kind.description

Describes an enum value of Parameter.kind.

Adicionado na versão 3.8.

Example: print all descriptions of arguments:

>>> def foo(a, b, *, c, d=10):
...     pass

>>> sig = signature(foo)
>>> for param in sig.parameters.values():
...     print(param.kind.description)
positional or keyword
positional or keyword
keyword-only
keyword-only

replace(*[, name][, kind][, default][, annotation])

Create a new Parameter instance based on the instance replaced was invoked on. To override a Parameter attribute, pass the corresponding argument. To remove a default value or/and an annotation from a Parameter, pass Parameter.empty.

>>> from inspect import Parameter
>>> param = Parameter('foo', Parameter.KEYWORD_ONLY, default=42)
>>> str(param)
'foo=42'

>>> str(param.replace()) # Will create a shallow copy of 'param'
'foo=42'

>>> str(param.replace(default=Parameter.empty, annotation='spam'))
"foo: 'spam'"

Parameter objects are also supported by the generic function copy.replace().

Alterado na versão 3.4: In Python 3.3 Parameter objects were allowed to have name set to None if their kind was set to POSITIONAL_ONLY. This is no longer permitted.

class inspect.BoundArguments

Result of a Signature.bind() or Signature.bind_partial() call. Holds the mapping of arguments to the function’s parameters.

arguments

A mutable mapping of parameters’ names to arguments’ values. Contains only explicitly bound arguments. Changes in arguments will reflect in args and kwargs.

Should be used in conjunction with Signature.parameters for any argument processing purposes.

Nota

Arguments for which Signature.bind() or Signature.bind_partial() relied on a default value are skipped. However, if needed, use BoundArguments.apply_defaults() to add them.

Alterado na versão 3.9: arguments is now of type dict. Formerly, it was of type collections.OrderedDict.

args

A tuple of positional arguments values. Dynamically computed from the arguments attribute.

kwargs

A dict of keyword arguments values. Dynamically computed from the arguments attribute. Arguments that can be passed positionally are included in args instead.

signature

A reference to the parent Signature object.

apply_defaults()

Set default values for missing arguments.

For variable-positional arguments (*args) the default is an empty tuple.

For variable-keyword arguments (**kwargs) the default is an empty dict.

>>> def foo(a, b='ham', *args): pass
>>> ba = inspect.signature(foo).bind('spam')
>>> ba.apply_defaults()
>>> ba.arguments
{'a': 'spam', 'b': 'ham', 'args': ()}

Adicionado na versão 3.5.

The args and kwargs properties can be used to invoke functions:

def test(a, *, b):
    ...

sig = signature(test)
ba = sig.bind(10, b=20)
test(*ba.args, **ba.kwargs)

Ver também

PEP 362 [https://peps.python.org/pep-0362/] - Function Signature Object.

The detailed specification, implementation details and examples.

Classes e funções

inspect.getclasstree(classes, unique=False)

Arrange the given list of classes into a hierarchy of nested lists. Where a nested list appears, it contains classes derived from the class whose entry immediately precedes the list. Each entry is a 2-tuple containing a class and a tuple of its base classes. If the unique argument is true, exactly one entry appears in the returned structure for each class in the given list. Otherwise, classes using multiple inheritance and their descendants will appear multiple times.

inspect.getfullargspec(func)

Get the names and default values of a Python function’s parameters. A named tuple is returned:

FullArgSpec(args, varargs, varkw, defaults, kwonlyargs, kwonlydefaults, annotations)

args is a list of the positional parameter names. varargs is the name of the * parameter or None if arbitrary positional arguments are not accepted. varkw is the name of the ** parameter or None if arbitrary keyword arguments are not accepted. defaults is an n-tuple of default argument values corresponding to the last n positional parameters, or None if there are no such defaults defined. kwonlyargs is a list of keyword-only parameter names in declaration order. kwonlydefaults is a dictionary mapping parameter names from kwonlyargs to the default values used if no argument is supplied. annotations is a dictionary mapping parameter names to annotations. The special key "return" is used to report the function return value annotation (if any).

Note that signature() and Signature Object provide the recommended API for callable introspection, and support additional behaviours (like positional-only arguments) that are sometimes encountered in extension module APIs. This function is retained primarily for use in code that needs to maintain compatibility with the Python 2 inspect module API.

Alterado na versão 3.4: This function is now based on signature(), but still ignores __wrapped__ attributes and includes the already bound first parameter in the signature output for bound methods.

Alterado na versão 3.6: This method was previously documented as deprecated in favour of signature() in Python 3.5, but that decision has been reversed in order to restore a clearly supported standard interface for single-source Python 2/3 code migrating away from the legacy getargspec() API.

Alterado na versão 3.7: Python only explicitly guaranteed that it preserved the declaration order of keyword-only parameters as of version 3.7, although in practice this order had always been preserved in Python 3.

inspect.getargvalues(frame)

Get information about arguments passed into a particular frame. A named tuple ArgInfo(args, varargs, keywords, locals) is returned. args is a list of the argument names. varargs and keywords are the names of the * and ** arguments or None. locals is the locals dictionary of the given frame.

Nota

This function was inadvertently marked as deprecated in Python 3.5.

inspect.formatargvalues(args[, varargs, varkw, locals, formatarg, formatvarargs, formatvarkw, formatvalue])

Format a pretty argument spec from the four values returned by getargvalues(). The format* arguments are the corresponding optional formatting functions that are called to turn names and values into strings.

Nota

This function was inadvertently marked as deprecated in Python 3.5.

inspect.getmro(cls)

Return a tuple of class cls’s base classes, including cls, in method resolution order. No class appears more than once in this tuple. Note that the method resolution order depends on cls’s type. Unless a very peculiar user-defined metatype is in use, cls will be the first element of the tuple.

inspect.getcallargs(func, /, *args, **kwds)

Bind the args and kwds to the argument names of the Python function or method func, as if it was called with them. For bound methods, bind also the first argument (typically named self) to the associated instance. A dict is returned, mapping the argument names (including the names of the * and ** arguments, if any) to their values from args and kwds. In case of invoking func incorrectly, i.e. whenever func(*args, **kwds) would raise an exception because of incompatible signature, an exception of the same type and the same or similar message is raised. For example:

>>> from inspect import getcallargs
>>> def f(a, b=1, *pos, **named):
...     pass
...
>>> getcallargs(f, 1, 2, 3) == {'a': 1, 'named': {}, 'b': 2, 'pos': (3,)}
True
>>> getcallargs(f, a=2, x=4) == {'a': 2, 'named': {'x': 4}, 'b': 1, 'pos': ()}
True
>>> getcallargs(f)
Traceback (most recent call last):
...
TypeError: f() missing 1 required positional argument: 'a'

Adicionado na versão 3.2.

Obsoleto desde a versão 3.5: Use Signature.bind() and Signature.bind_partial() instead.

inspect.getclosurevars(func)

Get the mapping of external name references in a Python function or method func to their current values. A named tuple ClosureVars(nonlocals, globals, builtins, unbound) is returned. nonlocals maps referenced names to lexical closure variables, globals to the function’s module globals and builtins to the builtins visible from the function body. unbound is the set of names referenced in the function that could not be resolved at all given the current module globals and builtins.

TypeError is raised if func is not a Python function or method.

Adicionado na versão 3.3.

inspect.unwrap(func, *, stop=None)

Get the object wrapped by func. It follows the chain of __wrapped__ attributes returning the last object in the chain.

stop is an optional callback accepting an object in the wrapper chain as its sole argument that allows the unwrapping to be terminated early if the callback returns a true value. If the callback never returns a true value, the last object in the chain is returned as usual. For example, signature() uses this to stop unwrapping if any object in the chain has a __signature__ attribute defined.

ValueError is raised if a cycle is encountered.

Adicionado na versão 3.4.

inspect.get_annotations(obj, *, globals=None, locals=None, eval_str=False)

Compute the annotations dict for an object.

obj may be a callable, class, or module. Passing in an object of any other type raises TypeError.

Returns a dict. get_annotations() returns a new dict every time it’s called; calling it twice on the same object will return two different but equivalent dicts.

This function handles several details for you:

If eval_str is true, values of type str will be un-stringized using eval(). This is intended for use with stringized annotations (from __future__ import annotations).

If obj doesn’t have an annotations dict, returns an empty dict. (Functions and methods always have an annotations dict; classes, modules, and other types of callables may not.)

Ignores inherited annotations on classes. If a class doesn’t have its own annotations dict, returns an empty dict.

All accesses to object members and dict values are done using getattr() and dict.get() for safety.

Always, always, always returns a freshly created dict.

eval_str controls whether or not values of type str are replaced with the result of calling eval() on those values:

If eval_str is true, eval() is called on values of type str. (Note that get_annotations doesn’t catch exceptions; if eval() raises an exception, it will unwind the stack past the get_annotations call.)

If eval_str is false (the default), values of type str are unchanged.

globals and locals are passed in to eval(); see the documentation for eval() for more information. If globals or locals is None, this function may replace that value with a context-specific default, contingent on type(obj):

If obj is a module, globals defaults to obj.__dict__.

If obj is a class, globals defaults to sys.modules[obj.__module__].__dict__ and locals defaults to the obj class namespace.

If obj is a callable, globals defaults to obj.__globals__, although if obj is a wrapped function (using functools.update_wrapper()) it is first unwrapped.

Calling get_annotations is best practice for accessing the annotations dict of any object. See Boas práticas para anotações for more information on annotations best practices.

Adicionado na versão 3.10.

A pilha to interpretador

Some of the following functions return FrameInfo objects. For backwards compatibility these objects allow tuple-like operations on all attributes except positions. This behavior is considered deprecated and may be removed in the future.

class inspect.FrameInfo

frame

The frame object that the record corresponds to.

filename

The file name associated with the code being executed by the frame this record corresponds to.

lineno

The line number of the current line associated with the code being executed by the frame this record corresponds to.

function

The function name that is being executed by the frame this record corresponds to.

code_context

A list of lines of context from the source code that’s being executed by the frame this record corresponds to.

index

The index of the current line being executed in the code_context list.

positions

A dis.Positions object containing the start line number, end line number, start column offset, and end column offset associated with the instruction being executed by the frame this record corresponds to.

Alterado na versão 3.5: Return a named tuple instead of a tuple.

Alterado na versão 3.11: FrameInfo is now a class instance (that is backwards compatible with the previous named tuple).

class inspect.Traceback

filename

The file name associated with the code being executed by the frame this traceback corresponds to.

lineno

The line number of the current line associated with the code being executed by the frame this traceback corresponds to.

function

The function name that is being executed by the frame this traceback corresponds to.

code_context

A list of lines of context from the source code that’s being executed by the frame this traceback corresponds to.

index

The index of the current line being executed in the code_context list.

positions

A dis.Positions object containing the start line number, end line number, start column offset, and end column offset associated with the instruction being executed by the frame this traceback corresponds to.

Alterado na versão 3.11: Traceback is now a class instance (that is backwards compatible with the previous named tuple).

Nota

Keeping references to frame objects, as found in the first element of the frame records these functions return, can cause your program to create reference cycles. Once a reference cycle has been created, the lifespan of all objects which can be accessed from the objects which form the cycle can become much longer even if Python’s optional cycle detector is enabled. If such cycles must be created, it is important to ensure they are explicitly broken to avoid the delayed destruction of objects and increased memory consumption which occurs.

Though the cycle detector will catch these, destruction of the frames (and local variables) can be made deterministic by removing the cycle in a finally clause. This is also important if the cycle detector was disabled when Python was compiled or using gc.disable(). For example:

def handle_stackframe_without_leak():
    frame = inspect.currentframe()
    try:
        # do something with the frame
    finally:
        del frame

If you want to keep the frame around (for example to print a traceback later), you can also break reference cycles by using the frame.clear() method.

The optional context argument supported by most of these functions specifies the number of lines of context to return, which are centered around the current line.

inspect.getframeinfo(frame, context=1)

Get information about a frame or traceback object. A Traceback object is returned.

Alterado na versão 3.11: A Traceback object is returned instead of a named tuple.

inspect.getouterframes(frame, context=1)

Get a list of FrameInfo objects for a frame and all outer frames. These frames represent the calls that lead to the creation of frame. The first entry in the returned list represents frame; the last entry represents the outermost call on frame’s stack.

Alterado na versão 3.5: A list of named tuples FrameInfo(frame, filename, lineno, function, code_context, index) is returned.

Alterado na versão 3.11: A list of FrameInfo objects is returned.

inspect.getinnerframes(traceback, context=1)

Get a list of FrameInfo objects for a traceback’s frame and all inner frames. These frames represent calls made as a consequence of frame. The first entry in the list represents traceback; the last entry represents where the exception was raised.

Alterado na versão 3.5: A list of named tuples FrameInfo(frame, filename, lineno, function, code_context, index) is returned.

Alterado na versão 3.11: A list of FrameInfo objects is returned.

inspect.currentframe()

Return the frame object for the caller’s stack frame.

Detalhes da implementação do CPython: This function relies on Python stack frame support in the interpreter, which isn’t guaranteed to exist in all implementations of Python. If running in an implementation without Python stack frame support this function returns None.

inspect.stack(context=1)

Return a list of FrameInfo objects for the caller’s stack. The first entry in the returned list represents the caller; the last entry represents the outermost call on the stack.

Alterado na versão 3.5: A list of named tuples FrameInfo(frame, filename, lineno, function, code_context, index) is returned.

Alterado na versão 3.11: A list of FrameInfo objects is returned.

inspect.trace(context=1)

Return a list of FrameInfo objects for the stack between the current frame and the frame in which an exception currently being handled was raised in. The first entry in the list represents the caller; the last entry represents where the exception was raised.

Alterado na versão 3.5: A list of named tuples FrameInfo(frame, filename, lineno, function, code_context, index) is returned.

Alterado na versão 3.11: A list of FrameInfo objects is returned.

Fetching attributes statically

Both getattr() and hasattr() can trigger code execution when fetching or checking for the existence of attributes. Descriptors, like properties, will be invoked and __getattr__() and __getattribute__() may be called.

For cases where you want passive introspection, like documentation tools, this can be inconvenient. getattr_static() has the same signature as getattr() but avoids executing code when it fetches attributes.

inspect.getattr_static(obj, attr, default=None)

Retrieve attributes without triggering dynamic lookup via the descriptor protocol, __getattr__() or __getattribute__().

Note: this function may not be able to retrieve all attributes that getattr can fetch (like dynamically created attributes) and may find attributes that getattr can’t (like descriptors that raise AttributeError). It can also return descriptors objects instead of instance members.

If the instance __dict__ is shadowed by another member (for example a property) then this function will be unable to find instance members.

Adicionado na versão 3.2.

getattr_static() does not resolve descriptors, for example slot descriptors or getset descriptors on objects implemented in C. The descriptor object is returned instead of the underlying attribute.

You can handle these with code like the following. Note that for arbitrary getset descriptors invoking these may trigger code execution:

# example code for resolving the builtin descriptor types
class _foo:
    __slots__ = ['foo']

slot_descriptor = type(_foo.foo)
getset_descriptor = type(type(open(__file__)).name)
wrapper_descriptor = type(str.__dict__['__add__'])
descriptor_types = (slot_descriptor, getset_descriptor, wrapper_descriptor)

result = getattr_static(some_object, 'foo')
if type(result) in descriptor_types:
    try:
        result = result.__get__()
    except AttributeError:
        # descriptors can raise AttributeError to
        # indicate there is no underlying value
        # in which case the descriptor itself will
        # have to do
        pass

Current State of Generators, Coroutines, and Asynchronous Generators

When implementing coroutine schedulers and for other advanced uses of generators, it is useful to determine whether a generator is currently executing, is waiting to start or resume or execution, or has already terminated. getgeneratorstate() allows the current state of a generator to be determined easily.

inspect.getgeneratorstate(generator)

Get current state of a generator-iterator.

Possible states are:

GEN_CREATED: Waiting to start execution.

GEN_RUNNING: Currently being executed by the interpreter.

GEN_SUSPENDED: Currently suspended at a yield expression.

GEN_CLOSED: Execution has completed.

Adicionado na versão 3.2.

inspect.getcoroutinestate(coroutine)

Get current state of a coroutine object. The function is intended to be used with coroutine objects created by async def functions, but will accept any coroutine-like object that has cr_running and cr_frame attributes.

Possible states are:

CORO_CREATED: Waiting to start execution.

CORO_RUNNING: Currently being executed by the interpreter.

CORO_SUSPENDED: Currently suspended at an await expression.

CORO_CLOSED: Execution has completed.

Adicionado na versão 3.5.

inspect.getasyncgenstate(agen)

Get current state of an asynchronous generator object. The function is intended to be used with asynchronous iterator objects created by async def functions which use the yield statement, but will accept any asynchronous generator-like object that has ag_running and ag_frame attributes.

Possible states are:

AGEN_CREATED: Waiting to start execution.

AGEN_RUNNING: Currently being executed by the interpreter.

AGEN_SUSPENDED: Currently suspended at a yield expression.

AGEN_CLOSED: Execution has completed.

Adicionado na versão 3.12.

The current internal state of the generator can also be queried. This is mostly useful for testing purposes, to ensure that internal state is being updated as expected:

inspect.getgeneratorlocals(generator)

Get the mapping of live local variables in generator to their current values. A dictionary is returned that maps from variable names to values. This is the equivalent of calling locals() in the body of the generator, and all the same caveats apply.

If generator is a generator with no currently associated frame, then an empty dictionary is returned. TypeError is raised if generator is not a Python generator object.

Detalhes da implementação do CPython: This function relies on the generator exposing a Python stack frame for introspection, which isn’t guaranteed to be the case in all implementations of Python. In such cases, this function will always return an empty dictionary.

Adicionado na versão 3.3.

inspect.getcoroutinelocals(coroutine)

This function is analogous to getgeneratorlocals(), but works for coroutine objects created by async def functions.

Adicionado na versão 3.5.

inspect.getasyncgenlocals(agen)

This function is analogous to getgeneratorlocals(), but works for asynchronous generator objects created by async def functions which use the yield statement.

Adicionado na versão 3.12.

Code Objects Bit Flags

Python code objects have a co_flags attribute, which is a bitmap of the following flags:

inspect.CO_OPTIMIZED

The code object is optimized, using fast locals.

inspect.CO_NEWLOCALS

If set, a new dict will be created for the frame’s f_locals when the code object is executed.

inspect.CO_VARARGS

The code object has a variable positional parameter (*args-like).

inspect.CO_VARKEYWORDS

The code object has a variable keyword parameter (**kwargs-like).

inspect.CO_NESTED

The flag is set when the code object is a nested function.

inspect.CO_GENERATOR

The flag is set when the code object is a generator function, i.e. a generator object is returned when the code object is executed.

inspect.CO_COROUTINE

The flag is set when the code object is a coroutine function. When the code object is executed it returns a coroutine object. See PEP 492 [https://peps.python.org/pep-0492/] for more details.

Adicionado na versão 3.5.

inspect.CO_ITERABLE_COROUTINE

The flag is used to transform generators into generator-based coroutines. Generator objects with this flag can be used in await expression, and can yield from coroutine objects. See PEP 492 [https://peps.python.org/pep-0492/] for more details.

Adicionado na versão 3.5.

inspect.CO_ASYNC_GENERATOR

The flag is set when the code object is an asynchronous generator function. When the code object is executed it returns an asynchronous generator object. See PEP 525 [https://peps.python.org/pep-0525/] for more details.

Adicionado na versão 3.6.

Nota

The flags are specific to CPython, and may not be defined in other Python implementations. Furthermore, the flags are an implementation detail, and can be removed or deprecated in future Python releases. It’s recommended to use public APIs from the inspect module for any introspection needs.

Buffer flags

class inspect.BufferFlags

This is an enum.IntFlag that represents the flags that can be passed to the __buffer__() method of objects implementing the buffer protocol.

The meaning of the flags is explained at Tipos de solicitação do buffer.

SIMPLE

WRITABLE

FORMAT

ND

STRIDES

C_CONTIGUOUS

F_CONTIGUOUS

ANY_CONTIGUOUS

INDIRECT

CONTIG

CONTIG_RO

STRIDED

STRIDED_RO

RECORDS

RECORDS_RO

FULL

FULL_RO

READ

WRITE

Adicionado na versão 3.12.

Interface de linha de comando

The inspect module also provides a basic introspection capability from the command line.

By default, accepts the name of a module and prints the source of that module. A class or function within the module can be printed instead by appended a colon and the qualified name of the target object.

--details

Print information about the specified object rather than the source code

site — Site-specific configuration hook

Código-fonte: Lib/site.py [https://github.com/python/cpython/tree/3.13/Lib/site.py]

Este módulo é importado automaticamente durante a inicialização. A importação automática pode ser suprimida usando a opção -S do interpretador.

Importing this module normally appends site-specific paths to the module search path and adds callables, including help() to the built-in namespace. However, Python startup option -S blocks this and this module can be safely imported with no automatic modifications to the module search path or additions to the builtins. To explicitly trigger the usual site-specific additions, call the main() function.

Alterado na versão 3.3: A importação do módulo usado para acionar a manipulação de caminhos, mesmo ao usar -S.

It starts by constructing up to four directories from a head and a tail part. For the head part, it uses sys.prefix and sys.exec_prefix; empty heads are skipped. For the tail part, it uses the empty string and then lib/site-packages (on Windows) or lib/pythonX.Y[t]/site-packages (on Unix and macOS). (The optional suffix “t” indicates the free threading build, and is appended if "t" is present in the sys.abiflags constant.) For each of the distinct head-tail combinations, it sees if it refers to an existing directory, and if so, adds it to sys.path and also inspects the newly added path for configuration files.

Alterado na versão 3.5: Suporte para o diretório “site-python” foi removido.

Alterado na versão 3.13: On Unix, Free threading Python installations are identified by the “t” suffix in the version-specific directory name, such as lib/python3.13t/.

Se um arquivo chamado “pyvenv.cfg” existir em um diretório acima, então sys.executable, sys.prefix e sys.exec_prefix serão configurados para esse diretório e também será verificado se há site-packages (sys.base_prefix e sys.base_exec_prefix será sempre os prefixos “reais” da instalação do Python). Se “pyvenv.cfg” (um arquivo de configuração de autoinicialização) contiver a chave “include-system-site-packages” configurada para algo diferente de “true” (sem distinção entre maiúsculas e minúsculas), os prefixos no nível do sistema não serão pesquisados quanto ao site-packages; caso contrário, eles irão.

Um arquivo de configuração de caminho é aquele cujo nome tem o formato name.pth e que existe em um dos quatro diretórios mencionados acima; seu conteúdo são itens adicionais (um por linha) a serem adicionados ao sys.path. Itens inexistentes nunca são adicionados ao sys.path e não é verificado se o item se refere a um diretório, e não a um arquivo. Nenhum item é adicionado ao sys.path mais de uma vez. Linhas em branco e linhas iniciadas com # são ignoradas. Linhas iniciadas com import (seguidas de espaço ou tabulação) são executadas.

Nota

Uma linha executável em um arquivo .pth é executada a cada inicialização do Python, independentemente de um módulo em particular ser realmente usado. Seu impacto deve, portanto, ser reduzido ao mínimo. O objetivo principal das linhas executáveis ​​é tornar o(s) módulo(s) correspondente(s) importável (carregar ganchos de importação de terceiros, ajustar PATH etc). Qualquer outra inicialização deve ser feita na importação real de um módulo, se e quando isso acontecer. Limitar um fragmento de código a uma única linha é uma medida deliberada para desencorajar colocar qualquer coisa mais complexa aqui.

Alterado na versão 3.13: The .pth files are now decoded by UTF-8 at first and then by the locale encoding if it fails.

Por exemplo, suponha que sys.prefix e sys.exec_prefix sejam definidos com /usr/local. A biblioteca Python X.Y é instalado em /usr/local/lib/pythonX.Y. Suponha que isso tenha um subdiretório /usr/local/lib/pythonX.Y/site-packages com três subsubdiretórios, foo, bar e spam, e dois caminhos arquivos de configuração, foo.pth e bar.pth. Presuma que foo.pth contém o seguinte:

# foo package configuration

foo
bar
bletch

e que bar.pth contém:

# bar package configuration

bar

Em seguida, os seguintes diretórios específicos da versão são adicionados a sys.path, nesta ordem:

/usr/local/lib/pythonX.Y/site-packages/bar
/usr/local/lib/pythonX.Y/site-packages/foo

Observe que bletch é omitido porque não existe; o diretório bar precede o diretório foo porque bar.pth vem em ordem alfabética antes de foo.pth; e spam é omitido porque não é mencionado em nenhum dos arquivos de configuração de caminho.

sitecustomize

After these path manipulations, an attempt is made to import a module named sitecustomize, which can perform arbitrary site-specific customizations. It is typically created by a system administrator in the site-packages directory. If this import fails with an ImportError or its subclass exception, and the exception’s name attribute equals to 'sitecustomize', it is silently ignored. If Python is started without output streams available, as with pythonw.exe on Windows (which is used by default to start IDLE), attempted output from sitecustomize is ignored. Any other exception causes a silent and perhaps mysterious failure of the process.

usercustomize

After this, an attempt is made to import a module named usercustomize, which can perform arbitrary user-specific customizations, if ENABLE_USER_SITE is true. This file is intended to be created in the user site-packages directory (see below), which is part of sys.path unless disabled by -s. If this import fails with an ImportError or its subclass exception, and the exception’s name attribute equals to 'usercustomize', it is silently ignored.

Note that for some non-Unix systems, sys.prefix and sys.exec_prefix are empty, and the path manipulations are skipped; however the import of sitecustomize and usercustomize is still attempted.

Configuração Readline

On systems that support readline, this module will also import and configure the rlcompleter module, if Python is started in interactive mode and without the -S option. The default behavior is enable tab-completion and to use ~/.python_history as the history save file. To disable it, delete (or override) the sys.__interactivehook__ attribute in your sitecustomize or usercustomize module or your PYTHONSTARTUP file.

Alterado na versão 3.4: Activation of rlcompleter and history was made automatic.

Conteúdo do módulo

site.PREFIXES

A list of prefixes for site-packages directories.

site.ENABLE_USER_SITE

Flag showing the status of the user site-packages directory. True means that it is enabled and was added to sys.path. False means that it was disabled by user request (with -s or PYTHONNOUSERSITE). None means it was disabled for security reasons (mismatch between user or group id and effective id) or by an administrator.

site.USER_SITE

Path to the user site-packages for the running Python. Can be None if getusersitepackages() hasn’t been called yet. Default value is ~/.local/lib/pythonX.Y[t]/site-packages for UNIX and non-framework macOS builds, ~/Library/Python/X.Y/lib/python/site-packages for macOS framework builds, and %APPDATA%\Python\PythonXY\site-packages on Windows. The optional “t” indicates the free-threaded build. This directory is a site directory, which means that .pth files in it will be processed.

site.USER_BASE

Path to the base directory for the user site-packages. Can be None if getuserbase() hasn’t been called yet. Default value is ~/.local for UNIX and macOS non-framework builds, ~/Library/Python/X.Y for macOS framework builds, and %APPDATA%\Python for Windows. This value is used to compute the installation directories for scripts, data files, Python modules, etc. for the user installation scheme. See also PYTHONUSERBASE.

site.main()

Adds all the standard site-specific directories to the module search path. This function is called automatically when this module is imported, unless the Python interpreter was started with the -S flag.

Alterado na versão 3.3: This function used to be called unconditionally.

site.addsitedir(sitedir, known_paths=None)

Add a directory to sys.path and process its .pth files. Typically used in sitecustomize or usercustomize (see above).

site.getsitepackages()

Return a list containing all global site-packages directories.

Adicionado na versão 3.2.

site.getuserbase()

Return the path of the user base directory, USER_BASE. If it is not initialized yet, this function will also set it, respecting PYTHONUSERBASE.

Adicionado na versão 3.2.

site.getusersitepackages()

Return the path of the user-specific site-packages directory, USER_SITE. If it is not initialized yet, this function will also set it, respecting USER_BASE. To determine if the user-specific site-packages was added to sys.path ENABLE_USER_SITE should be used.

Adicionado na versão 3.2.

Interface de linha de comando

The site module also provides a way to get the user directories from the command line:

$ python -m site --user-site
/home/user/.local/lib/python3.11/site-packages

If it is called without arguments, it will print the contents of sys.path on the standard output, followed by the value of USER_BASE and whether the directory exists, then the same thing for USER_SITE, and finally the value of ENABLE_USER_SITE.

--user-base

Print the path to the user base directory.

--user-site

Print the path to the user site-packages directory.

If both options are given, user base and user site will be printed (always in this order), separated by os.pathsep.

If any option is given, the script will exit with one of these values: 0 if the user site-packages directory is enabled, 1 if it was disabled by the user, 2 if it is disabled for security reasons or by an administrator, and a value greater than 2 if there is an error.

Ver também

PEP 370 [https://peps.python.org/pep-0370/] – Diretório site-packages por usuário.

A inicialização do caminho de pesquisa de módulos sys.path – The initialization of sys.path.

Interpretadores Python Personalizados

Os módulos descritos neste capítulo permitem a escrita de interfaces semelhantes ao interpretador interativo da Python. Se você quer um interpretador de Python que suporte algum recurso especial, além do idioma de Python, você deve olhar para o módulo code. (O módulo codeop é de nível inferior, usado para suportar compilação de um pedaço possivelmente incompleto do código Python).

A lista completa de módulos descritos neste capítulo é:

code — Classes bases do interpretador

InteractiveInterpreter

InteractiveConsole

interact()

compile_command()

Objetos de interpretador interativo

runsource()

runcode()

showsyntaxerror()

showtraceback()

write()

Objetos de console Interativo

interact()

push()

resetbuffer()

raw_input()

codeop — Compila código Python

compile_command()

Compile

CommandCompiler

code — Classes bases do interpretador

Código-fonte: Lib/code.py [https://github.com/python/cpython/tree/3.13/Lib/code.py]

O módulo code fornece facilidades para implementar laços de leitura-execução-escrita no código Python. São incluídas duas classes e funções de conveniência que podem ser usadas para criar aplicações que fornecem um prompt de interpretador interativo.

class code.InteractiveInterpreter(locals=None)

Esta classe trata de análise e estado do interpretador (espaço de nomes do usuário); o mesmo não lida com buffer de entrada ou solicitação ou nomeação de arquivo de entrada (o nome do arquivo é sempre passado explicitamente). O argumento opcional locals especifica um mapeamento para usar como espaço de nomes no qual o código será executado; ele é padrão para um dicionário recém-criado com a chave '__name__' definida com '__console__' e a chave '__doc__' definida com None.

class code.InteractiveConsole(locals=None, filename='<console>', local_exit=False)

Emula de forma muito semelhante o comportamento do interpretador Python interativo. Esta classe baseia-se em InteractiveInterpreter e adiciona prompts usando os familiares sys.ps1 e sys.ps2, e buffer de entrada. Se local_exit for verdadeiro, exit() e quit() no console não levantarão SystemExit, mas retornarão ao código de chamada.

Alterado na versão 3.13: Adicionado o parâmetro local_exit.

code.interact(banner=None, readfunc=None, local=None, exitmsg=None, local_exit=False)

Função de conveniência para executar um laço de leitura-execução-impressão. Isto cria uma nova instância de InteractiveConsole e define readfunc para ser usado como o método InteractiveConsole.raw_input(), se fornecido. Se local for fornecido, ele será passado para o construtor InteractiveConsole para uso como espaço de nomes padrão para o laço do interpretador. Se local_exit for fornecido, ele será passado para o construtor InteractiveConsole. O método interact() da instância é então executado com banner e exitmsg passados ​​como banner e mensagem de saída a serem usados, se fornecidos. O objeto console é descartado após o uso.

Alterado na versão 3.6: Parâmetro adicionado exitmsg.

Alterado na versão 3.13: Adicionado o parâmetro local_exit.

code.compile_command(source, filename='<input>', symbol='single')

Esta função é útil para programas que desejam emular o laço principal do interpretador Python (também conhecido como laço de leitura-execução-impressão). A parte complicada é determinar quando o usuário digitou um comando incompleto que pode ser concluído inserindo mais texto (em vez de um comando completo ou um erro de sintaxe). Esta função quase sempre toma a mesma decisão que o laço principal do interpretador real.

source é a string fonte; filename é o nome do arquivo opcional do qual a fonte foi lida, sendo o padrão '<input>'; e symbol é o símbolo opcional de início da gramática, que deve ser 'single' (o padrão), 'eval' ou 'exec'.

Retorna um objeto código (o mesmo que compile(source, filename, symbol)) se o comando for completo e válido; None se o comando estiver incompleto; levanta SyntaxError se o comando estiver completo e contém um erro de sintaxe, ou levanta OverflowError ou ValueError se o comando contiver um literal inválido.

Objetos de interpretador interativo

InteractiveInterpreter.runsource(source, filename='<input>', symbol='single')

Compila e executa alguma fonte no interpretador. Os argumentos são os mesmos de compile_command(); o padrão para filename é '<input>', e para symbol é 'single'. Uma de várias coisas pode acontecer:

A entrada está incorreta; compile_command() levantou uma exceção (SyntaxError ou OverflowError). Um traceback da sintaxe será impresso chamando o método showsyntaxerror(). runsource() retorna False.

A entrada está incompleta e são necessárias mais entradas; compile_command() retornou None. runsource() retorna True.

A entrada está completa; compile_command() retornou um objeto código. O código é executado chamando runcode() (que também lida com exceções de tempo de execução, exceto SystemExit). runsource() retorna False.

O valor de retorno pode ser usado para decidir se usar sys.ps1 ou sys.ps2 para solicitar a próxima linha.

InteractiveInterpreter.runcode(code)

Executa um objeto código. Quando ocorre uma exceção, showtraceback() é chamado para exibir um traceback. Todas as exceções são capturadas, exceto SystemExit, que pode ser propagada.

Uma observação sobre KeyboardInterrupt: esta exceção pode ocorrer em outro lugar neste código e nem sempre pode ser detectada. O chamador deve estar preparado para lidar com isso.

InteractiveInterpreter.showsyntaxerror(filename=None)

Exibe o erro de sintaxe que acabou de ocorrer. Isso não exibe um stack trace (situação da pilha de execução) porque não há um para erros de sintaxe. Se filename for fornecido, ele será inserido na exceção em vez do nome de arquivo padrão fornecido pelo analisador sintático do Python, porque ele sempre usa '<string>' ao ler uma string. A saída é escrita pelo método write().

InteractiveInterpreter.showtraceback()

Exibe a exceção que acabou de ocorrer. Removemos o primeiro item da pilha porque ele está dentro da implementação do objeto interpretador. A saída é escrita pelo método write().

Alterado na versão 3.5: O traceback encadeado completo é exibido em vez de apenas o traceback primário.

InteractiveInterpreter.write(data)

Escreve uma string no fluxo de erro padrão (sys.stderr). As classes derivadas devem substituir isso para fornecer o tratamento de saída apropriado conforme necessário.

Objetos de console Interativo

A classe InteractiveConsole é uma subclasse de InteractiveInterpreter e, portanto, oferece todos os métodos dos objetos interpretadores, bem como as seguintes adições.

InteractiveConsole.interact(banner=None, exitmsg=None)

Emula de forma muito semelhante o console interativo do Python. O argumento opcional banner especifica o banner a ser impresso antes da primeira interação; por padrão ele imprime um banner semelhante ao impresso pelo interpretador Python padrão, seguido pelo nome da classe do objeto console entre parênteses (para não confundir isso com o interpretador real – já que está tão próximo!).

O argumento opcional exitmsg especifica uma mensagem de saída impressa ao sair. Passe a string vazia para suprimir a mensagem de saída. Se exitmsg não for fornecido ou None, uma mensagem padrão será impressa.

Alterado na versão 3.4: Para suprimir a impressão de qualquer banner, passe uma string vazia.

Alterado na versão 3.6: Imprime uma mensagem de saída ao sair.

InteractiveConsole.push(line)

Envia uma linha do texto fonte para o interpretador. A linha não deve ter uma nova linha à direita; pode ter novas linhas internas. A linha é anexada a um buffer e o método runsource() do interpretador é chamado com o conteúdo concatenado do buffer como fonte. Se isso indicar que o comando foi executado ou é inválido, o buffer será redefinido; caso contrário, o comando estará incompleto e o buffer permanecerá como estava após a linha ser anexada. O valor de retorno é True se mais entrada for necessária, False se a linha foi tratada de alguma forma (isto é o mesmo que runsource()).

InteractiveConsole.resetbuffer()

Remove qualquer texto fonte não tratado do buffer de entrada.

InteractiveConsole.raw_input(prompt='')

Escreve um prompt e leia uma linha. A linha retornada não inclui a nova linha final. Quando o usuário insere a sequência de teclas de fim de linha, uma exceção EOFError é levantada. A implementação base lê sys.stdin; uma subclasse pode substituir isso por uma implementação diferente.

codeop — Compila código Python

Código-fonte: Lib/codeop.py [https://github.com/python/cpython/tree/3.13/Lib/codeop.py]

O módulo codeop fornece utilitários sobre os quais o loop de leitura-execução-exibição do Python pode ser emulado, como é feito no módulo code. Como resultado, você provavelmente não deseja usar o módulo diretamente; se você deseja incluir tal loop em seu programa, você provavelmente deseja usar o módulo code.

Há duas partes para esta tarefa:

Ser capaz de dizer se uma linha de entrada completa uma instrução Python: em suma, dizer se deve exibir ‘>>>’ ou ‘...’ em seguida.

Lembrar quais instruções futuras o usuário inseriu, para que as entradas subsequentes possam ser compiladas com essas declarações em vigor.

O módulo codeop fornece uma maneira de fazer cada uma dessas coisas e uma maneira de fazer as duas coisas.

Para fazer apenas a primeira:

codeop.compile_command(source, filename='<input>', symbol='single')

Tenta compilar source, que deve ser uma string de código Python e retornar um objeto código se source for um código Python válido. Nesse caso, o atributo de nome de arquivo do objeto código será filename, cujo padrão é '<input>'. Retorna None se source não é um código Python válido, mas é um prefixo de código Python válido.

Se houver um problema com source, uma exceção será levantada. SyntaxError é levantada se houver sintaxe Python inválida, e OverflowError ou ValueError se houver um literal inválido.

O argumento symbol determina se source é compilado como uma instrução ('single', o padrão), como uma sequência de instruções ('exec') ou como uma expressão ('eval'). Qualquer outro valor fará com que ValueError seja levantada.

Nota

É possível (mas não provável) que o analisador sintático pare de analisar com um resultado bem-sucedido antes de chegar ao final da fonte; neste caso, os símbolos finais podem ser ignorados em vez de causar um erro. Por exemplo, uma barra invertida seguida por duas novas linhas pode ser seguida por lixo arbitrário. Isso será corrigido quando a API para o analisador for melhor.

class codeop.Compile

Instâncias desta classe têm métodos __call__() idênticos em assinatura à função embutida compile(), mas com a diferença de que se a instância compilar o texto do programa contendo uma instrução __future__, a instância se “lembra” e compila todos os textos de programa subsequentes com a instrução em vigor.

class codeop.CommandCompiler

Instâncias desta classe têm métodos __call__() idênticos em assinatura a compile_command(); a diferença é que se a instância compila o texto do programa contendo uma instrução __future__, a instância se “lembra” e compila todos os textos do programa subsequentes com a instrução em vigor.

Importando módulos

Os módulos descritos neste capítulo fornecem novas maneiras de importar outros módulos Python e hooks para personalizar o processo de importação.

A lista completa de módulos descritos neste capítulo é:

zipimport — Import modules from Zip archives

ZipImportError

zipimporter Objects

zipimporter

create_module()

exec_module()

find_spec()

get_code()

get_data()

get_filename()

get_source()

is_package()

load_module()

invalidate_caches()

archive

prefix

Exemplos

pkgutil — Utilitário de extensão de pacote

ModuleInfo

extend_path()

find_loader()

get_importer()

get_loader()

iter_importers()

iter_modules()

walk_packages()

get_data()

resolve_name()

modulefinder — Procura módulos usados por um script

AddPackagePath()

ReplacePackage()

ModuleFinder

report()

run_script()

modules

Exemplo de uso de ModuleFinder

runpy — Locating and executing Python modules

run_module()

run_path()

importlib — A implementação de import

Introdução

Funções

__import__()

import_module()

invalidate_caches()

reload()

importlib.abc – classes base abstratas relacionadas a importação

MetaPathFinder

find_spec()

invalidate_caches()

PathEntryFinder

find_spec()

invalidate_caches()

Loader

create_module()

exec_module()

load_module()

ResourceLoader

get_data()

InspectLoader

get_code()

get_source()

is_package()

source_to_code()

exec_module()

load_module()

ExecutionLoader

get_filename()

FileLoader

name

path

load_module()

get_filename()

get_data()

SourceLoader

path_stats()

path_mtime()

set_data()

get_code()

exec_module()

load_module()

get_source()

is_package()

ResourceReader

open_resource()

resource_path()

is_resource()

contents()

Traversable

name

iterdir()

is_dir()

is_file()

joinpath()

__truediv__()

open()

read_bytes()

read_text()

TraversableResources

files()

importlib.machinery – Importadores e ganchos de caminho

SOURCE_SUFFIXES

DEBUG_BYTECODE_SUFFIXES

OPTIMIZED_BYTECODE_SUFFIXES

BYTECODE_SUFFIXES

EXTENSION_SUFFIXES

all_suffixes()

BuiltinImporter

FrozenImporter

WindowsRegistryFinder

PathFinder

find_spec()

invalidate_caches()

FileFinder

path

find_spec()

invalidate_caches()

path_hook()

SourceFileLoader

name

path

is_package()

path_stats()

set_data()

load_module()

SourcelessFileLoader

name

path

is_package()

get_code()

get_source()

load_module()

ExtensionFileLoader

name

path

create_module()

exec_module()

is_package()

get_code()

get_source()

get_filename()

NamespaceLoader

ModuleSpec

name

loader

origin

submodule_search_locations

loader_state

cached

parent

has_location

AppleFrameworkLoader

name

path

importlib.util – Utility code for importers

MAGIC_NUMBER

cache_from_source()

source_from_cache()

decode_source()

resolve_name()

find_spec()

module_from_spec()

spec_from_loader()

spec_from_file_location()

source_hash()

_incompatible_extension_module_restrictions()

LazyLoader

factory()

Exemplos

Importing programmatically

Checando se o módulo pode ser importado

Importa o arquivo de origem diretamente

Implementing lazy imports

Setting up an importer

Approximating importlib.import_module()

importlib.resources – Leitura, abertura e acesso a recursos de pacotes

Anchor

files()

as_file()

API funcional

open_binary()

open_text()

read_binary()

read_text()

path()

is_resource()

contents()

importlib.resources.abc – Classes base abstratas para recursos

ResourceReader

open_resource()

resource_path()

is_resource()

contents()

Traversable

name

iterdir()

is_dir()

is_file()

joinpath()

__truediv__()

open()

read_bytes()

read_text()

TraversableResources

files()

importlib.metadata – Acessando metadados do pacote

Visão Geral

PackageNotFoundError

API funcional

Pontos de entrada

entry_points()

EntryPoints

EntryPoint

Metadados de distribuição

metadata()

PackageMetadata

Versões de distribuição

version()

Arquivos de distribuição

files()

PackagePath

Requisitos de distribuição

requires()

Mapeando importação pra pacotes de distribuição

packages_distributions()

Distribuições

distribution()

Distribution

Descoberta de distribuição

Estendendo o algoritmo de pesquisa

Exemplo

A inicialização do caminho de pesquisa de módulos sys.path

Ambientes virtuais

Arquivos _pth

Python embarcado

zipimport — Import modules from Zip archives

Source code: Lib/zipimport.py [https://github.com/python/cpython/tree/3.13/Lib/zipimport.py]

This module adds the ability to import Python modules (*.py, *.pyc) and packages from ZIP-format archives. It is usually not needed to use the zipimport module explicitly; it is automatically used by the built-in import mechanism for sys.path items that are paths to ZIP archives.

Typically, sys.path is a list of directory names as strings. This module also allows an item of sys.path to be a string naming a ZIP file archive. The ZIP archive can contain a subdirectory structure to support package imports, and a path within the archive can be specified to only import from a subdirectory. For example, the path example.zip/lib/ would only import from the lib/ subdirectory within the archive.

Any files may be present in the ZIP archive, but importers are only invoked for .py and .pyc files. ZIP import of dynamic modules (.pyd, .so) is disallowed. Note that if an archive only contains .py files, Python will not attempt to modify the archive by adding the corresponding .pyc file, meaning that if a ZIP archive doesn’t contain .pyc files, importing may be rather slow.

Alterado na versão 3.13: ZIP64 is supported

Alterado na versão 3.8: Previously, ZIP archives with an archive comment were not supported.

Ver também

PKZIP Application Note [https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT]

Documentação do formato de arquivo ZIP feita por Phil Katz, criador do formato e dos algoritmos usados.

PEP 273 [https://peps.python.org/pep-0273/] - Importar módulos de arquivos Zip

Written by James C. Ahlstrom, who also provided an implementation. Python 2.3 follows the specification in PEP 273 [https://peps.python.org/pep-0273/], but uses an implementation written by Just van Rossum that uses the import hooks described in PEP 302 [https://peps.python.org/pep-0302/].

importlib - The implementation of the import machinery

Package providing the relevant protocols for all importers to implement.

This module defines an exception:

exception zipimport.ZipImportError

Exception raised by zipimporter objects. It’s a subclass of ImportError, so it can be caught as ImportError, too.

zipimporter Objects

zipimporter is the class for importing ZIP files.

class zipimport.zipimporter(archivepath)

Create a new zipimporter instance. archivepath must be a path to a ZIP file, or to a specific path within a ZIP file. For example, an archivepath of foo/bar.zip/lib will look for modules in the lib directory inside the ZIP file foo/bar.zip (provided that it exists).

ZipImportError is raised if archivepath doesn’t point to a valid ZIP archive.

Alterado na versão 3.12: Methods find_loader() and find_module(), deprecated in 3.10 are now removed. Use find_spec() instead.

create_module(spec)

Implementation of importlib.abc.Loader.create_module() that returns None to explicitly request the default semantics.

Adicionado na versão 3.10.

exec_module(module)

Implementation of importlib.abc.Loader.exec_module().

Adicionado na versão 3.10.

find_spec(fullname, target=None)

An implementation of importlib.abc.PathEntryFinder.find_spec().

Adicionado na versão 3.10.

get_code(fullname)

Return the code object for the specified module. Raise ZipImportError if the module couldn’t be imported.

get_data(pathname)

Return the data associated with pathname. Raise OSError if the file wasn’t found.

Alterado na versão 3.3: IOError costumava ser levantado, agora ele é um codinome para OSError.

get_filename(fullname)

Return the value __file__ would be set to if the specified module was imported. Raise ZipImportError if the module couldn’t be imported.

Adicionado na versão 3.1.

get_source(fullname)

Return the source code for the specified module. Raise ZipImportError if the module couldn’t be found, return None if the archive does contain the module, but has no source for it.

is_package(fullname)

Devolve True se o módulo especificado por fullname é um pacote. Levanta ZipImportError se o módulo não pode ser localizado.

load_module(fullname)

Load the module specified by fullname. fullname must be the fully qualified (dotted) module name. Returns the imported module on success, raises ZipImportError on failure.

Obsoleto desde a versão 3.10: Use exec_module().

invalidate_caches()

Clear out the internal cache of information about files found within the ZIP archive.

Adicionado na versão 3.10.

archive

The file name of the importer’s associated ZIP file, without a possible subpath.

prefix

The subpath within the ZIP file where modules are searched. This is the empty string for zipimporter objects which point to the root of the ZIP file.

The archive and prefix attributes, when combined with a slash, equal the original archivepath argument given to the zipimporter constructor.

Exemplos

Here is an example that imports a module from a ZIP archive - note that the zipimport module is not explicitly used.

$ unzip -l example.zip
Archive:  example.zip
  Length     Date   Time    Name
 --------    ----   ----    ----
     8467  11-26-02 22:30   jwzthreading.py
 --------                   -------
     8467                   1 file
$ ./python
Python 2.3 (#1, Aug 1 2003, 19:54:32)
>>> import sys
>>> sys.path.insert(0, 'example.zip')  # Add .zip file to front of path
>>> import jwzthreading
>>> jwzthreading.__file__
'example.zip/jwzthreading.py'

pkgutil — Utilitário de extensão de pacote

Código-fonte: Lib/pkgutil.py [https://github.com/python/cpython/tree/3.13/Lib/pkgutil.py]

Este módulo fornece utilitários para o sistema de importação, em particular suporte a pacotes.

class pkgutil.ModuleInfo(module_finder, name, ispkg)

Um namedtuple que contém um breve resumo das informações de um módulo.

Adicionado na versão 3.6.

pkgutil.extend_path(path, name)

Estende o caminho de pesquisa para os módulos que compõem um pacote. O uso pretendido é colocar o seguinte código no __init__.py de um pacote:

from pkgutil import extend_path
__path__ = extend_path(__path__, __name__)

For each directory on sys.path that has a subdirectory that matches the package name, add the subdirectory to the package’s __path__. This is useful if one wants to distribute different parts of a single logical package as multiple directories.

It also looks for *.pkg files beginning where * matches the name argument. This feature is similar to *.pth files (see the site module for more information), except that it doesn’t special-case lines starting with import. A *.pkg file is trusted at face value: apart from skipping blank lines and ignoring comments, all entries found in a *.pkg file are added to the path, regardless of whether they exist on the filesystem (this is a feature).

If the input path is not a list (as is the case for frozen packages) it is returned unchanged. The input path is not modified; an extended copy is returned. Items are only appended to the copy at the end.

It is assumed that sys.path is a sequence. Items of sys.path that are not strings referring to existing directories are ignored. Unicode items on sys.path that cause errors when used as filenames may cause this function to raise an exception (in line with os.path.isdir() behavior).

pkgutil.find_loader(fullname)

Retrieve a module loader for the given fullname.

This is a backwards compatibility wrapper around importlib.util.find_spec() that converts most failures to ImportError and only returns the loader rather than the full importlib.machinery.ModuleSpec.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

Alterado na versão 3.4: Updated to be based on PEP 451 [https://peps.python.org/pep-0451/]

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.util.find_spec() instead.

pkgutil.get_importer(path_item)

Retrieve a finder for the given path_item.

The returned finder is cached in sys.path_importer_cache if it was newly created by a path hook.

The cache (or part of it) can be cleared manually if a rescan of sys.path_hooks is necessary.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

pkgutil.get_loader(module_or_name)

Get a loader object for module_or_name.

If the module or package is accessible via the normal import mechanism, a wrapper around the relevant part of that machinery is returned. Returns None if the module cannot be found or imported. If the named module is not already imported, its containing package (if any) is imported, in order to establish the package __path__.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

Alterado na versão 3.4: Updated to be based on PEP 451 [https://peps.python.org/pep-0451/]

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.util.find_spec() instead.

pkgutil.iter_importers(fullname='')

Yield finder objects for the given module name.

If fullname contains a '.', the finders will be for the package containing fullname, otherwise they will be all registered top level finders (i.e. those on both sys.meta_path and sys.path_hooks).

If the named module is in a package, that package is imported as a side effect of invoking this function.

If no module name is specified, all top level finders are produced.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

pkgutil.iter_modules(path=None, prefix='')

Yields ModuleInfo for all submodules on path, or, if path is None, all top-level modules on sys.path.

path should be either None or a list of paths to look for modules in.

prefix is a string to output on the front of every module name on output.

Nota

Only works for a finder which defines an iter_modules() method. This interface is non-standard, so the module also provides implementations for importlib.machinery.FileFinder and zipimport.zipimporter.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

pkgutil.walk_packages(path=None, prefix='', onerror=None)

Yields ModuleInfo for all modules recursively on path, or, if path is None, all accessible modules.

path should be either None or a list of paths to look for modules in.

prefix is a string to output on the front of every module name on output.

Note that this function must import all packages (not all modules!) on the given path, in order to access the __path__ attribute to find submodules.

onerror is a function which gets called with one argument (the name of the package which was being imported) if any exception occurs while trying to import a package. If no onerror function is supplied, ImportErrors are caught and ignored, while all other exceptions are propagated, terminating the search.

Exemplos:

# list all modules python can access
walk_packages()

# list all submodules of ctypes
walk_packages(ctypes.__path__, ctypes.__name__ + '.')

Nota

Only works for a finder which defines an iter_modules() method. This interface is non-standard, so the module also provides implementations for importlib.machinery.FileFinder and zipimport.zipimporter.

Alterado na versão 3.3: Updated to be based directly on importlib rather than relying on the package internal PEP 302 [https://peps.python.org/pep-0302/] import emulation.

pkgutil.get_data(package, resource)

Get a resource from a package.

This is a wrapper for the loader get_data API. The package argument should be the name of a package, in standard module format (foo.bar). The resource argument should be in the form of a relative filename, using / as the path separator. The parent directory name .. is not allowed, and nor is a rooted name (starting with a /).

The function returns a binary string that is the contents of the specified resource.

For packages located in the filesystem, which have already been imported, this is the rough equivalent of:

d = os.path.dirname(sys.modules[package].__file__)
data = open(os.path.join(d, resource), 'rb').read()

If the package cannot be located or loaded, or it uses a loader which does not support get_data, then None is returned. In particular, the loader for namespace packages does not support get_data.

pkgutil.resolve_name(name)

Resolve a name to an object.

This functionality is used in numerous places in the standard library (see bpo-12915 [https://bugs.python.org/issue?@action=redirect&bpo=12915]) - and equivalent functionality is also in widely used third-party packages such as setuptools, Django and Pyramid.

It is expected that name will be a string in one of the following formats, where W is shorthand for a valid Python identifier and dot stands for a literal period in these pseudo-regexes:

W(.W)*

W(.W)*:(W(.W)*)?

The first form is intended for backward compatibility only. It assumes that some part of the dotted name is a package, and the rest is an object somewhere within that package, possibly nested inside other objects. Because the place where the package stops and the object hierarchy starts can’t be inferred by inspection, repeated attempts to import must be done with this form.

In the second form, the caller makes the division point clear through the provision of a single colon: the dotted name to the left of the colon is a package to be imported, and the dotted name to the right is the object hierarchy within that package. Only one import is needed in this form. If it ends with the colon, then a module object is returned.

The function will return an object (which might be a module), or raise one of the following exceptions:

ValueError – if name isn’t in a recognised format.

ImportError – if an import failed when it shouldn’t have.

AttributeError – If a failure occurred when traversing the object hierarchy within the imported package to get to the desired object.

Adicionado na versão 3.9.

modulefinder — Procura módulos usados por um script

Código-fonte: Lib/modulefinder.py [https://github.com/python/cpython/tree/3.13/Lib/modulefinder.py]

Este módulo fornece uma classe ModuleFinder que pode ser usada para determinar o conjunto de módulos importados por um script. O modulefinder.py também pode ser executado como um script, fornecendo o nome do arquivo de um script Python como seu argumento, após o qual um relatório dos módulos importados será impresso.

modulefinder.AddPackagePath(pkg_name, path)

Registra que o pacote chamado pkg_name pode ser encontrado no caminho especificado em path

modulefinder.ReplacePackage(oldname, newname)

Permite especificar que o módulo chamado oldname é de fato o pacote chamado newname.

class modulefinder.ModuleFinder(path=None, debug=0, excludes=[], replace_paths=[])

Esta classe fornece os métodos run_script() e report() para determinar o conjunto de módulos importados por um script. path pode ser uma lista de diretórios para procurar por módulos; se não especificado, sys.path é usado. debug define o nível de depuração; valores mais altos fazem a classe imprimir mensagens de depuração sobre o que está fazendo. excludes é uma lista de nomes de módulos a serem excluídos da análise. replace_paths é uma lista de tuplas (oldpath, newpath) que serão substituídas nos caminhos dos módulos.

report()

Imprime um relatório na saída padrão que lista os módulos importados pelo script e seus caminhos, bem como os módulos que estão faltando ou parecem estar ausentes.

run_script(pathname)

Analisa o conteúdo do arquivo pathname, que deve conter o código Python.

modules

Um nome de módulo de mapeamento de dicionário para módulos. Veja Exemplo de uso de ModuleFinder.

Exemplo de uso de ModuleFinder

O script que será analisado posteriormente (bacon.py):

import re, itertools

try:
    import baconhameggs
except ImportError:
    pass

try:
    import guido.python.ham
except ImportError:
    pass

O script que irá gerar o relatório de bacon.py:

from modulefinder import ModuleFinder

finder = ModuleFinder()
finder.run_script('bacon.py')

print('Loaded modules:')
for name, mod in finder.modules.items():
    print('%s: ' % name, end='')
    print(','.join(list(mod.globalnames.keys())[:3]))

print('-'*50)
print('Modules not imported:')
print('\n'.join(finder.badmodules.keys()))

Exemplo de saída (pode variar dependendo da arquitetura):

Loaded modules:
_types:
copyreg:  _inverted_registry,_slotnames,__all__
re._compiler:  isstring,_sre,_optimize_unicode
_sre:
re._constants:  REPEAT_ONE,makedict,AT_END_LINE
sys:
re:  __module__,finditer,_expand
itertools:
__main__:  re,itertools,baconhameggs
re._parser:  _PATTERNENDERS,SRE_FLAG_UNICODE
array:
types:  __module__,IntType,TypeType
---------------------------------------------------
Modules not imported:
guido.python.ham
baconhameggs

runpy — Locating and executing Python modules

Código-fonte: Lib/runpy.py [https://github.com/python/cpython/tree/3.13/Lib/runpy.py]

O módulo runpy é usado para localizar e executar módulos Python sem importá-los primeiro. Seu principal uso é implementar a opção de linha de comando -m que permite que os scripts sejam localizados usando o espaço de nomes do módulo Python em vez do sistema de arquivos.

Observe que este não é um módulo isolado - todo o código é executado no processo atual, e quaisquer efeitos colaterais (como importações em cache de outros módulos) irão permanecer em vigor após o retorno da função.

Além disso, quaisquer funções e classes definidas pelo código executado não têm garantia de funcionar corretamente após o retorno de uma função runpy. Se essa limitação não for aceitável para um determinado caso de uso, importlib provavelmente será uma escolha mais adequada do que este módulo.

O módulo runpy fornece duas funções:

runpy.run_module(mod_name, init_globals=None, run_name=None, alter_sys=False)

Execute the code of the specified module and return the resulting module’s globals dictionary. The module’s code is first located using the standard import mechanism (refer to PEP 302 [https://peps.python.org/pep-0302/] for details) and then executed in a fresh module namespace.

The mod_name argument should be an absolute module name. If the module name refers to a package rather than a normal module, then that package is imported and the __main__ submodule within that package is then executed and the resulting module globals dictionary returned.

The optional dictionary argument init_globals may be used to pre-populate the module’s globals dictionary before the code is executed. init_globals will not be modified. If any of the special global variables below are defined in init_globals, those definitions are overridden by run_module().

The special global variables __name__, __spec__, __file__, __cached__, __loader__ and __package__ are set in the globals dictionary before the module code is executed. (Note that this is a minimal set of variables - other variables may be set implicitly as an interpreter implementation detail.)

__name__ é definido como run_name se este argumento opcional não for None, para mod_name + '.__main__' se o módulo nomeado for um pacote e para o argumento mod_name caso contrário .

__spec__ will be set appropriately for the actually imported module (that is, __spec__.name will always be mod_name or mod_name + '.__main__', never run_name).

__file__, __cached__, __loader__ e __package__ são definidos como normal com base na especificação do módulo.

Se o argumento alter_sys for fornecido e for avaliado como True, então sys.argv[0] será atualizado com o valor de __file__ e sys.modules[__name__] é atualizado com um objeto de módulo temporário para o módulo que está sendo executado. Ambos sys.argv[0] e sys.modules[__name__] são restaurados para seus valores originais antes que a função retorne.

Note that this manipulation of sys is not thread-safe. Other threads may see the partially initialised module, as well as the altered list of arguments. It is recommended that the sys module be left alone when invoking this function from threaded code.

Ver também

A opção -m oferece funcionalidade equivalente na linha de comando.

Alterado na versão 3.1: Added ability to execute packages by looking for a __main__ submodule.

Alterado na versão 3.2: Adicionada a variável global __cached__ (veja PEP 3147 [https://peps.python.org/pep-3147/]).

Alterado na versão 3.4: Atualizado para aproveitar o recurso de especificação do módulo adicionado por PEP 451 [https://peps.python.org/pep-0451/]. Isso permite que __cached__ seja configurado corretamente para módulos executados desta forma, assim como garante que o nome real do módulo esteja sempre acessível como __spec__.name.

Alterado na versão 3.12: A definição de __cached__, __loader__ e __package__ foi descontinuada. Veja ModuleSpec para alternativas.

runpy.run_path(path_name, init_globals=None, run_name=None)

Execute the code at the named filesystem location and return the resulting module’s globals dictionary. As with a script name supplied to the CPython command line, file_path may refer to a Python source file, a compiled bytecode file or a valid sys.path entry containing a __main__ module (e.g. a zipfile containing a top-level __main__.py file).

For a simple script, the specified code is simply executed in a fresh module namespace. For a valid sys.path entry (typically a zipfile or directory), the entry is first added to the beginning of sys.path. The function then looks for and executes a __main__ module using the updated path. Note that there is no special protection against invoking an existing __main__ entry located elsewhere on sys.path if there is no such module at the specified location.

The optional dictionary argument init_globals may be used to pre-populate the module’s globals dictionary before the code is executed. init_globals will not be modified. If any of the special global variables below are defined in init_globals, those definitions are overridden by run_path().

The special global variables __name__, __spec__, __file__, __cached__, __loader__ and __package__ are set in the globals dictionary before the module code is executed. (Note that this is a minimal set of variables - other variables may be set implicitly as an interpreter implementation detail.)

__name__ é definido como run_name se este argumento opcional não for None e como '<run_path>' caso contrário.

If file_path directly references a script file (whether as source or as precompiled byte code), then __file__ will be set to file_path, and __spec__, __cached__, __loader__ and __package__ will all be set to None.

If file_path is a reference to a valid sys.path entry, then __spec__ will be set appropriately for the imported __main__ module (that is, __spec__.name will always be __main__). __file__, __cached__, __loader__ and __package__ will be set as normal based on the module spec.

A number of alterations are also made to the sys module. Firstly, sys.path may be altered as described above. sys.argv[0] is updated with the value of file_path and sys.modules[__name__] is updated with a temporary module object for the module being executed. All modifications to items in sys are reverted before the function returns.

Note that, unlike run_module(), the alterations made to sys are not optional in this function as these adjustments are essential to allowing the execution of sys.path entries. As the thread-safety limitations still apply, use of this function in threaded code should be either serialised with the import lock or delegated to a separate process.

Ver também

Opções de interface para funcionalidade equivalente na linha de comando (python path/to/script).

Adicionado na versão 3.2.

Alterado na versão 3.4: Updated to take advantage of the module spec feature added by PEP 451 [https://peps.python.org/pep-0451/]. This allows __cached__ to be set correctly in the case where __main__ is imported from a valid sys.path entry rather than being executed directly.

Alterado na versão 3.12: A definição de __cached__, __loader__ e __package__ foi descontinuada.

Ver também

PEP 338 [https://peps.python.org/pep-0338/] – Executando módulos como scripts

PEP escrita e implementada por Nick Coghlan.

PEP 366 [https://peps.python.org/pep-0366/] – Importações relativas explícitas do módulo principal

PEP escrita e implementada por Nick Coghlan.

PEP 451 [https://peps.python.org/pep-0451/] – Um tipo ModuleSpec para o sistema de importação

PEP escrita e implementada por Eric Snow

Linha de comando e ambiente - Detalhes da linha de comando do CPython

A função importlib.import_module()

importlib — A implementação de import

Adicionado na versão 3.1.

Código-fonte: Lib/importlib/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/__init__.py]

Introdução

O pacote importlib tem três propósitos.

Uma é fornecer a implementação da instrução import (e, portanto, por extensão, a função __import__()) no código-fonte Python. Isso fornece uma implementação de import que é portável para qualquer interpretador Python. Isso também fornece uma implementação que é mais fácil de compreender do que aquela implementada em uma linguagem de programação diferente do Python.

Dois, os componentes para implementar import são expostos neste pacote, tornando mais fácil para os usuários criarem seus próprios objetos personalizados (conhecidos genericamente como importador) para participar do processo de importação.

Terceiro, o pacote contém módulos que expõem funcionalidades adicionais para gerenciar aspectos de pacotes Python:

importlib.metadata apresenta acesso a metadados de distribuições de terceiros.

importlib.resources fornece rotinas para acessar “recursos” não codificados de pacotes Python.

Ver também

A instrução import

A referência da linguagem para a instrução import.

Especificação dos pacotes [https://www.python.org/doc/essays/packages/]

Especificação original dos pacotes. Algumas semânticas mudaram desde a redação deste documento (por exemplo, redirecionamento baseado em None em sys.modules).

A função __import__()

A instrução import é um açúcar sintático para esta função.

A inicialização do caminho de pesquisa de módulos sys.path

A inicialização de sys.path.

PEP 235 [https://peps.python.org/pep-0235/]

Importação em plataformas que diferenciam maiúsculo de minúsculo

PEP 263 [https://peps.python.org/pep-0263/]

Definindo codificações do código-fonte do Python

PEP 302 [https://peps.python.org/pep-0302/]

Novos ganchos de importação

PEP 328 [https://peps.python.org/pep-0328/]

Importações: Multilinha e Absoluto/Relativo

PEP 366 [https://peps.python.org/pep-0366/]

Importações relativas explícitas do módulo principal

PEP 420 [https://peps.python.org/pep-0420/]

Pacotes de espaço de nomes implícitos

PEP 451 [https://peps.python.org/pep-0451/]

Um tipo de ModuleSpec para o sistema de importação

PEP 488 [https://peps.python.org/pep-0488/]

Eliminação de arquivos PYO

PEP 489 [https://peps.python.org/pep-0489/]

Inicialização de módulo extensão multifase

PEP 552 [https://peps.python.org/pep-0552/]

pycs determinísticos

PEP 3120 [https://peps.python.org/pep-3120/]

Usando UFT-8 como fonte padrão de codificação

PEP 3147 [https://peps.python.org/pep-3147/]

Diretórios de repositório de PYC

Funções

importlib.__import__(name, globals=None, locals=None, fromlist=(), level=0)

Uma implementação da função embutida __import__().

Nota

A importação programática de módulos deve usar import_module() em vez desta função.

importlib.import_module(name, package=None)

Importa um módulo. O argumento name especifica qual módulo importar em termos absolutos ou relativos (por exemplo, pkg.mod ou ..mod). Se o nome for especificado em termos relativos, então o argumento package deve ser definido como o nome do pacote que atuará como âncora para resolver o nome do pacote (por exemplo, import_module('..mod', 'pkg.subpkg') importará pkg.mod).

A função import_module() atua como um wrapper simplificador em torno de importlib.__import__(). Isso significa que toda a semântica da função é derivada de importlib.__import__(). A diferença mais importante entre essas duas funções é que import_module() retorna o pacote ou módulo especificado (por exemplo, pkg.mod), enquanto __import__() retorna o pacote ou módulo de nível superior (por exemplo, pkg).

Se você estiver importando dinamicamente um módulo que foi criado desde que o interpretador iniciou a execução (por exemplo, criou um arquivo fonte Python), você pode precisar chamar invalidate_caches() para que o novo módulo seja notado pelo sistema de importação.

Alterado na versão 3.3: Os pacotes pai são importados automaticamente.

importlib.invalidate_caches()

Invalida os caches internos dos localizadores armazenados em sys.meta_path. Se um localizador implementar invalidate_caches() então ele será chamado para realizar a invalidação. Esta função deve ser chamada se algum módulo for criado/instalado enquanto seu programa estiver em execução para garantir que todos os localizadores notarão a existência do novo módulo.

Adicionado na versão 3.3.

Alterado na versão 3.10: Pacotes de espaço de nomes criados/instalados em um local sys.path diferente após o mesmo espaço de nomes já ter sido importado são notados.

importlib.reload(module)

Recarrega um module importado anteriormente. O argumento deve ser um objeto módulo, portanto deve ter sido importado com êxito antes. Isso é útil se você editou o arquivo fonte do módulo usando um editor externo e deseja experimentar a nova versão sem sair do interpretador Python. O valor de retorno é o objeto módulo (que pode ser diferente se a reimportação fizer com que um objeto diferente seja colocado em sys.modules).

Quando reload() é executado:

O código do módulo Python é recompilado e o código em nível de módulo é reexecutado, definindo um novo conjunto de objetos que são vinculados a nomes no dicionário do módulo reutilizando o carregador que originalmente carregou o módulo. A função init dos módulos de extensão não é chamada uma segunda vez.

Tal como acontece com todos os outros objetos em Python, os objetos antigos só são recuperados depois que suas contagens de referências caem para zero.

Os nomes no espaço de nomes do módulo são atualizados para apontar para quaisquer objetos novos ou alterados.

Outras referências aos objetos antigos (como nomes externos ao módulo) não são religadas para se referir aos novos objetos e devem ser atualizadas em cada espaço de nomes onde ocorrem, se isso for desejado.

Existem várias outras ressalvas:

Quando um módulo é recarregado, seu dicionário (contendo as variáveis globais do módulo) é retido. As redefinições de nomes vão substituir as definições antigas, portanto isso geralmente não é um problema. Se a nova versão de um módulo não definir um nome definido pela versão antiga, a definição antiga permanecerá. Este recurso pode ser usado para vantagem do módulo se ele mantiver uma tabela global ou cache de objetos – com uma instrução try ele pode testar a presença da tabela e pular sua inicialização se desejar:

try:
    cache
except NameError:
    cache = {}

Geralmente não é muito útil recarregar módulos embutidos ou carregados dinamicamente. Recarregar sys, __main__, builtins e outros módulos principais não é recomendado. Em muitos casos, os módulos de extensão não são projetados para serem inicializados mais de uma vez e podem falhar de maneiras arbitrárias quando recarregados.

Se um módulo importa objetos de outro módulo usando from … import …, chamar reload() para o outro módulo não redefine os objetos importados dele – uma maneira de contornar isso é executar novamente a instrução from, outra é usar import e nomes qualificados (module.name).

Se um módulo instancia instâncias de uma classe, recarregar o módulo que define a classe não afeta as definições de método das instâncias – elas continuam a usar a definição de classe antiga. O mesmo se aplica às classes derivadas.

Adicionado na versão 3.4.

Alterado na versão 3.7: ModuleNotFoundError é levantada quando o módulo que está sendo recarregado não possui um ModuleSpec.

importlib.abc – classes base abstratas relacionadas a importação

Código-fonte: Lib/importlib/abc.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/abc.py]

O módulo importlib.abc contém todas as principais classes base abstratas usadas por import. Algumas subclasses das classes base abstratas principais também são fornecidas para ajudar na implementação dss ABCs principais.

Hierarquia de ABC:

object
 +-- MetaPathFinder
 +-- PathEntryFinder
 +-- Loader
      +-- ResourceLoader --------+
      +-- InspectLoader          |
           +-- ExecutionLoader --+
                                 +-- FileLoader
                                 +-- SourceLoader

class importlib.abc.MetaPathFinder

Uma classe base abstrata que representa um localizador de metacaminho.

Adicionado na versão 3.3.

Alterado na versão 3.10: Não é mais uma subclasse de Finder.

find_spec(fullname, path, target=None)

An abstract method for finding a spec for the specified module. If this is a top-level import, path will be None. Otherwise, this is a search for a subpackage or module and path will be the value of __path__ from the parent package. If a spec cannot be found, None is returned. When passed in, target is a module object that the finder may use to make a more educated guess about what spec to return. importlib.util.spec_from_loader() may be useful for implementing concrete MetaPathFinders.

Adicionado na versão 3.4.

invalidate_caches()

Um método opcional que, quando chamado, deve invalidar qualquer cache interno usado pelo localizador. Usado por importlib.invalidate_caches() ao invalidar os caches de todos os localizadores em sys.meta_path.

Alterado na versão 3.4: Retorna None quando chamado em vez de NotImplemented.

class importlib.abc.PathEntryFinder

Uma classe base abstrata que representa um localizador de entrada de caminho. Embora tenha algumas semelhanças com MetaPathFinder, PathEntryFinder deve ser usado apenas dentro do subsistema de importação baseado em caminho fornecido por importlib.machinery.PathFinder.

Adicionado na versão 3.3.

Alterado na versão 3.10: Não é mais uma subclasse de Finder.

find_spec(fullname, target=None)

Um método abstrato para encontrar um spec para o módulo especificado. O localizador irá procurar pelo módulo apenas dentro do entrada de caminho ao qual ele está atribuído. Se uma especificação não puder ser encontrada, None será retornado. Quando passado, target é um objeto de módulo que o localizador pode usar para fazer uma estimativa mais informada sobre qual especificação retornar. importlib.util.spec_from_loader() pode ser útil para implementar PathEntryFinders concretos.

Adicionado na versão 3.4.

invalidate_caches()

Um método opcional que, quando chamado, deve invalidar qualquer cache interno usado pelo localizador. Usado por importlib.machinery.PathFinder.invalidate_caches() ao invalidar os caches de todos os localizadores em cache.

class importlib.abc.Loader

Uma classe base abstrata para um carregador. Veja PEP 302 [https://peps.python.org/pep-0302/] para a definição exata de um carregador.

Carregadores que desejam oferecer suporte a leitura de recursos devem implementar um método get_resource_reader() conforme especificado por importlib.resources.abc.ResourceReader.

Alterado na versão 3.7: Introduzido o método opcional get_resource_reader().

create_module(spec)

Um método que retorna o objeto do módulo a ser usado ao importar um módulo. Este método pode retornar None, indicando que a semântica padrão de criação do módulo deve ocorrer.

Adicionado na versão 3.4.

Alterado na versão 3.6: Este método não é mais opcional quando exec_module() é definido.

exec_module(module)

Um método abstrato que executa o módulo em seu próprio espaço de nomes quando um módulo é importado ou recarregado. O módulo já deve estar inicializado quando exec_module() for chamado. Quando este método existir, create_module() deve ser definido.

Adicionado na versão 3.4.

Alterado na versão 3.6: create_module() deve ser definido.

load_module(fullname)

Um método legado para carregar um módulo. Se o módulo não puder ser carregado, ImportError será levantada, caso contrário, o módulo carregado será retornado.

Se o módulo solicitado já existir em sys.modules, esse módulo deverá ser usado e recarregado. Caso contrário, o carregador deve criar um novo módulo e inseri-lo em sys.modules antes de qualquer carregamento começar, para evitar a recursão da importação. Se o carregador inseriu um módulo e o carregamento falhar, ele deverá ser removido pelo carregador de sys.modules; módulos já em sys.modules antes do carregador iniciar a execução devem ser deixados sozinhos.

O carregador deve definir vários atributos no módulo (observe que alguns desses atributos podem mudar quando um módulo é recarregado):

module.__name__

module.__file__

module.__cached__ (deprecated)

module.__path__

module.__package__ (deprecated)

module.__loader__ (deprecated)

Quando exec_module() está disponível, então a funcionalidade compatível com versões anteriores é fornecida.

Alterado na versão 3.4: Levanta ImportError quando chamado em vez de NotImplementedError. Funcionalidade fornecida quando exec_module() está disponível.

Obsoleto desde a versão 3.4: A API recomendada para carregar um módulo é exec_module() (e create_module()). Os carregadores devem implementá-lo em vez de load_module(). O mecanismo de importação cuida de todas as outras responsabilidades de load_module() quando exec_module() é implementado.

class importlib.abc.ResourceLoader

Uma classe base abstrata para um carregador que implementa o protocolo opcional PEP 302 [https://peps.python.org/pep-0302/] para carregar recursos arbitrários do back-end de armazenamento.

Obsoleto desde a versão 3.7: Este ABC foi descontinuado em favor do suporte ao carregamento de recursos por meio de importlib.resources.abc.ResourceReader.

abstractmethod get_data(path)

An abstract method to return the bytes for the data located at path. Loaders that have a file-like storage back-end that allows storing arbitrary data can implement this abstract method to give direct access to the data stored. OSError is to be raised if the path cannot be found. The path is expected to be constructed using a module’s __file__ attribute or an item from a package’s __path__.

Alterado na versão 3.4: Levanta OSError em vez de NotImplementedError.

class importlib.abc.InspectLoader

Uma classe base abstrata para um carregador que implementa o protocolo opcional da PEP 302 [https://peps.python.org/pep-0302/] para carregadores que inspecionam módulos.

get_code(fullname)

Retorna o objeto de código para um módulo, ou None se o módulo não tiver um objeto código (como seria o caso, por exemplo, para um módulo embutido). Levanta um ImportError se o carregador não conseguir encontrar o módulo solicitado.

Nota

Embora o método tenha uma implementação padrão, sugere-se que ele seja substituído, se possível, para desempenho.

Alterado na versão 3.4: Não é mais abstrato e uma implementação concreta é fornecida.

abstractmethod get_source(fullname)

Um método abstrato para retornar a fonte de um módulo. Ele é retornado como uma string de texto usando novas linhas universais, traduzindo todos os separadores de linha reconhecidos em caracteres '\n'. Retorna None se nenhuma fonte estiver disponível (por exemplo, um módulo embutido). Levanta ImportError se o carregador não puder encontrar o módulo especificado.

Alterado na versão 3.4: Levanta ImportError em vez de NotImplementedError.

is_package(fullname)

Um método opcional para retornar um valor verdadeiro se o módulo for um pacote, um valor falso caso contrário. ImportError é levantada se o carregador não puder encontrar o módulo.

Alterado na versão 3.4: Levanta ImportError em vez de NotImplementedError.

static source_to_code(data, path='<string>')

Cria um objeto código a partir de código-fonte Python

O argumento data pode ser qualquer coisa a qual a função compile() tenha suporte (por exemplo, string ou bytes). O argumento path deve ser o “caminho” de onde o código-fonte se originou, o que pode ser um conceito abstrato (por exemplo, local em um arquivo zip).

Com o objeto de código subsequente, é possível executá-lo em um módulo executando exec(code, module.__dict__).

Adicionado na versão 3.4.

Alterado na versão 3.5: O método foi tornado estático.

exec_module(module)

Implementação de Loader.exec_module().

Adicionado na versão 3.4.

load_module(fullname)

Implementação de Loader.load_module().

Obsoleto desde a versão 3.4: use exec_module().

class importlib.abc.ExecutionLoader

Uma classe base abstrata que herda de InspectLoader que, quando implementada, ajuda um módulo a ser executado como um script. A ABC representa um protocolo opcional da PEP 302 [https://peps.python.org/pep-0302/].

abstractmethod get_filename(fullname)

An abstract method that is to return the value of __file__ for the specified module. If no path is available, ImportError is raised.

Se o código-fonte estiver disponível, o método deverá retornar o caminho para o arquivo fonte, independentemente de um bytecode ter sido usado para carregar o módulo.

Alterado na versão 3.4: Levanta ImportError em vez de NotImplementedError.

class importlib.abc.FileLoader(fullname, path)

Uma classe base abstrata que herda de ResourceLoader e ExecutionLoader, fornecendo implementações concretas de ResourceLoader.get_data() e ExecutionLoader.get_filename().

O argumento fullname é um nome totalmente resolvido do módulo que o carregador deve manipular. O argumento path é o caminho para o arquivo do módulo.

Adicionado na versão 3.3.

name

O nome do módulo que o carregador pode manipular.

path

Caminho para o arquivo do módulo

load_module(fullname)

Chama load_module() do super.

Obsoleto desde a versão 3.4: Use Loader.exec_module()

abstractmethod get_filename(fullname)

Retorna path.

abstractmethod get_data(path)

Lê caminho como um arquivo binário e retorna os bytes dele.

class importlib.abc.SourceLoader

Uma classe base abstrata para implementar o carregamento de arquivo fonte (e opcionalmente bytecode). A classe herda de ResourceLoader e ExecutionLoader, exigindo a implementação de:

ResourceLoader.get_data()

ExecutionLoader.get_filename()

Deve retornar apenas o caminho para o arquivo fonte; o carregamento sem fonte não é suportado.

Os métodos abstratos definidos por esta classe são para adicionar suporte opcional ao arquivo bytecode. Não implementar esses métodos opcionais (ou fazer com que eles levantem NotImplementedError) faz com que o carregador funcione apenas com código-fonte. Implementar os métodos permite que o carregador funcione com arquivos de código-fonte e bytecode; ele não permite carregamento sem fonte onde apenas o bytecode é fornecido. Arquivos de bytecode são uma otimização para acelerar o carregamento removendo a etapa de análise do compilador do Python e, portanto, nenhuma API específica de bytecode é exposta.

path_stats(path)

Método abstrato opcional que retorna um dict contendo metadados sobre o caminho especificado. As chaves de dicionário suportadas são:

'mtime' (obrigatório): um número inteiro ou de ponto flutuante que representa o tempo de modificação do código-fonte;

'size' (opcional): o tamanho em bytes do código-fonte.

Quaisquer outras chaves no dicionário são ignoradas, para permitir extensões futuras. Se o caminho não puder ser manipulado, OSError é levantada.

Adicionado na versão 3.3.

Alterado na versão 3.4: Levanta OSError em vez de NotImplementedError.

path_mtime(path)

Método abstrato opcional que retorna o horário de modificação do caminho especificado.

Obsoleto desde a versão 3.3: Este método foi descontinuado em favor de path_stats(). Você não precisa implementá-lo, mas ele ainda está disponível para fins de compatibilidade. Levanta OSError se o caminho não puder ser manipulado.

Alterado na versão 3.4: Levanta OSError em vez de NotImplementedError.

set_data(path, data)

Método abstrato opcional que grava os bytes especificados em um caminho de arquivo. Quaisquer diretórios intermediários que não existam devem ser criados automaticamente.

Quando a gravação no caminho falhar porque o caminho é somente leitura (errno.EACCES/PermissionError), não propaga a exceção.

Alterado na versão 3.4: Não mais levanta NotImplementedError quando chamado.

get_code(fullname)

Implementação concreta de InspectLoader.get_code().

exec_module(module)

Implementação concreta de Loader.exec_module().

Adicionado na versão 3.4.

load_module(fullname)

Implementação concreta de Loader.load_module().

Obsoleto desde a versão 3.4: Use exec_module().

get_source(fullname)

Implementação concreta de InspectLoader.get_source().

is_package(fullname)

Implementação concreta de InspectLoader.is_package(). Um módulo é determinado como um pacote se seu caminho de arquivo (conforme fornecido por ExecutionLoader.get_filename()) for um arquivo chamado __init__ quando a extensão do arquivo for removida e o nome do módulo em si não terminar em __init__.

class importlib.abc.ResourceReader

Substituída por TraversableResources

Uma classe base abstrata para fornecer a capacidade de ler recursos.

Da perspectiva deste ABC, um recurso é um artefato binário que é enviado dentro de um pacote. Normalmente isso é algo como um arquivo de dados que fica próximo ao arquivo __init__.py do pacote. O objetivo desta classe é ajudar a abstrair o acesso a tais arquivos de dados para que não importe se o pacote e seu(s) arquivo(s) de dados estão armazenados, por exemplo, em um arquivo zip versus no sistema de arquivos.

Para qualquer um dos métodos desta classe, espera-se que o argumento resource seja um objeto caminho ou similar que representa conceitualmente apenas um nome de arquivo. Isso significa que nenhum caminho de subdiretório deve ser incluído no argumento resource. Isso ocorre porque a localização do pacote para o qual o leitor se destina, atua como o “diretório”. Portanto, a metáfora para diretórios e nomes de arquivos são pacotes e recursos, respectivamente. É também por isso que se espera que as instâncias dessa classe se correlacionem diretamente a um pacote específico (em vez de representar potencialmente vários pacotes ou um módulo).

Carregadores que desejam oferecer suporte à leitura de recursos devem fornecer um método chamado get_resource_reader(nomecompleto) que retorna um objeto implementando esta interface ABC. Se o módulo especificado por nomecompleto não for um pacote, este método deve retornar None. Um objeto compatível com este ABC só deve ser retornado quando o módulo especificado for um pacote.

Adicionado na versão 3.7.

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.resources.abc.TraversableResources.

abstractmethod open_resource(resource)

Retorna um objeto arquivo ou similar aberto para leitura binária de resource.

Se o recurso não puder ser encontrado, FileNotFoundError é levantada.

abstractmethod resource_path(resource)

Retorna o caminho do sistema de arquivos para resource.

Se o recurso não existir concretamente no sistema de arquivos, levanta FileNotFoundError.

abstractmethod is_resource(name)

Retorna True se o name nomeado for considerado um recurso. FileNotFoundError é levantada se name não existir.

abstractmethod contents()

Retorna um iterável de strings sobre o conteúdo do pacote. Observe que não é necessário que todos os nomes retornados pelo iterador sejam recursos reais, por exemplo, é aceitável retornar nomes para os quais is_resource() seria falso.

Permitir que nomes que não são recursos sejam retornados é permitir situações em que a forma como um pacote e seus recursos são armazenados é conhecida a priori e os nomes que não são recursos seriam úteis. Por exemplo, o retorno de nomes de subdiretórios é permitido para que, quando se souber que o pacote e os recursos estão armazenados no sistema de arquivos, esses nomes de subdiretórios possam ser usados diretamente.

O método abstrato retorna um iterável sem itens.

class importlib.abc.Traversable

Um objeto com um subconjunto de métodos de pathlib.Path adequados para percorrer diretórios e abrir arquivos.

Para uma representação do objeto no sistema de arquivos, use importlib.resources.as_file().

Adicionado na versão 3.9.

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.resources.abc.Traversable.

name

Abstrato. O nome base deste objeto sem nenhuma referência pai.

abstractmethod iterdir()

Produz objetos Traversable em self.

abstractmethod is_dir()

Retorna True se self for um diretório.

abstractmethod is_file()

Retorna True se self for um arquivo.

abstractmethod joinpath(child)

Retorna o filho Traversable em self.

abstractmethod __truediv__(child)

Retorna o filho Traversable em self.

abstractmethod open(mode='r', *args, **kwargs)

mode pode ser ‘r’ ou ‘rb’ para abrir como texto ou binário. Retorna um manipulador adequado para leitura (o mesmo que pathlib.Path.open).

Ao abrir como texto, aceita parâmetros de codificação como os aceitos por io.TextIOWrapper.

read_bytes()

Lê o conteúdo de self como bytes.

read_text(encoding=None)

Lê o conteúdo de self como texto.

class importlib.abc.TraversableResources

Uma classe base abstrata para leitores de recursos capaz de servir a interface importlib.resources.files(). Subclasse importlib.resources.abc.ResourceReader e fornece implementações concretas dos métodos abstratos de importlib.resources.abc.ResourceReader. Portanto, qualquer carregador que forneça importlib.abc.TraversableResources também fornece ResourceReader.

Espera-se que os carregadores que desejam oferecer suporte à leitura de recursos implementem essa interface.

Adicionado na versão 3.9.

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.resources.abc.TraversableResources.

abstractmethod files()

Retorna um objeto importlib.resources.abc.Traversable para o pacote carregado.

importlib.machinery – Importadores e ganchos de caminho

Código-fonte: Lib/importlib/machinery.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/machinery.py]

Este módulo contém vários objetos que ajudam o import a localizar e carregar módulos.

importlib.machinery.SOURCE_SUFFIXES

Uma lista de strings representando os sufixos de arquivo reconhecidos para módulos em código-fonte.

Adicionado na versão 3.3.

importlib.machinery.DEBUG_BYTECODE_SUFFIXES

Uma lista de strings representando os sufixos de arquivo para módulos em bytecode não otimizado.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.5: Use BYTECODE_SUFFIXES.

importlib.machinery.OPTIMIZED_BYTECODE_SUFFIXES

Uma lista de strings representando os sufixos de arquivo para módulos em bytecode otimizado.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.5: Use BYTECODE_SUFFIXES.

importlib.machinery.BYTECODE_SUFFIXES

Uma lista de strings representando os sufixos de arquivo reconhecidos para módulos em bytecode (incluindo com ponto no início).

Adicionado na versão 3.3.

Alterado na versão 3.5: O valor não mais depende de __debug__.

importlib.machinery.EXTENSION_SUFFIXES

Uma lista de strings representando os sufixos de arquivo reconhecidos para módulos de extensão.

Adicionado na versão 3.3.

importlib.machinery.all_suffixes()

Retorna uma lista combinada de strings representando todos os sufixos de arquivo para módulos reconhecidos pelo maquinário de importação padrão. Este é um auxiliar para código que simplesmente precisa saber se um caminho de sistema de arquivos potencialmente se refere a um módulo sem precisar de detalhes sobre o tipo de módulo (por exemplo, inspect.getmodulename()).

Adicionado na versão 3.3.

class importlib.machinery.BuiltinImporter

Um importador para módulos embutidos. Todos os módulos embutidos conhecidos estão listados em sys.builtin_module_names. Esta classe implementa os ABCs importlib.abc.MetaPathFinder e importlib.abc.InspectLoader.

Somente métodos de classe são definidos por esta classe para aliviar a necessidade de instanciação.

Alterado na versão 3.5: Como parte da PEP 489 [https://peps.python.org/pep-0489/], o ​​importador embutido agora implementa Loader.create_module() e Loader.exec_module()

class importlib.machinery.FrozenImporter

Um importador para módulos congelados. Esta classe implementa os ABCs importlib.abc.MetaPathFinder e importlib.abc.InspectLoader.

Somente métodos de classe são definidos por esta classe para aliviar a necessidade de instanciação.

Alterado na versão 3.4: Ganhou os métodos create_module() e exec_module().

class importlib.machinery.WindowsRegistryFinder

Localizador para módulos declarados no registro do Windows. Esta classe implementa a ABC importlib.abc.MetaPathFinder.

Somente métodos de classe são definidos por esta classe para aliviar a necessidade de instanciação.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.6: Use a configuração de site em vez disso. Versões futuras do Python podem não habilitar esse localizador por padrão.

class importlib.machinery.PathFinder

Um Localizador para atributos sys.path e pacote __path__. Esta classe implementa a ABC importlib.abc.MetaPathFinder.

Somente métodos de classe são definidos por esta classe para aliviar a necessidade de instanciação.

classmethod find_spec(fullname, path=None, target=None)

Método de classe que tenta encontrar um spec para o módulo especificado por fullname em sys.path ou, se definido, em path. Para cada entrada de caminho pesquisada, sys.path_importer_cache é verificado. Se um objeto não falso for encontrado, ele será usado como o localizador de entrada de caminho para procurar o módulo que está sendo pesquisado. Se nenhuma entrada for encontrada em sys.path_importer_cache, então sys.path_hooks será pesquisado para um localizador para a entrada de caminho e, se encontrado, será armazenado em sys.path_importer_cache junto com a consulta sobre o módulo. Se nenhum localizador for encontrado, então None será armazenado no cache e retornado.

Adicionado na versão 3.4.

Alterado na versão 3.5: Se o diretório de trabalho atual — representado por uma string vazia — não for mais válido, None será retornado, mas nenhum valor será armazenado em cache em sys.path_importer_cache.

classmethod invalidate_caches()

Chama importlib.abc.PathEntryFinder.invalidate_caches() em todos os localizadores armazenados em sys.path_importer_cache que definem o método. Caso contrário, as entradas em sys.path_importer_cache definidas como None são excluídas.

Alterado na versão 3.7: Entradas de None em sys.path_importer_cache são excluídas.

Alterado na versão 3.4: Chama objetos em sys.path_hooks com o diretório de trabalho atual para '' (ou seja, a string vazia).

class importlib.machinery.FileFinder(path, *loader_details)

Uma implementação concreta de importlib.abc.PathEntryFinder que armazena em cache os resultados do sistema de arquivos.

O argumento path é o diretório que o localizador é responsável por pesquisar.

O argumento loader_details é um número variável de tuplas de 2 itens, cada uma contendo um carregador e uma sequência de sufixos de arquivo que o carregador reconhece. Espera-se que os carregadores sejam chamáveis ​​que aceitam dois argumentos do nome do módulo e o caminho para o arquivo encontrado.

O localizador armazenará em cache o conteúdo do diretório conforme necessário, fazendo chamadas de “stat” para cada pesquisa de módulo para verificar se o cache não está desatualizado. Como a obsolescência do cache depende da granularidade das informações de estado do sistema operacional do sistema de arquivos, há uma condição de corrida potencial de busca por um módulo, criação de um novo arquivo e, em seguida, busca pelo módulo que o novo arquivo representa. Se as operações ocorrerem rápido o suficiente para caber na granularidade das chamadas de “stat”, a pesquisa do módulo falhará. Para evitar que isso aconteça, ao criar um módulo dinamicamente, certifique-se de chamar importlib.invalidate_caches().

Adicionado na versão 3.3.

path

O caminho que o localizador irá procurar.

find_spec(fullname, target=None)

Tenta encontrar a especificação para manipular fullname dentro de path.

Adicionado na versão 3.4.

invalidate_caches()

Limpa o cache interno.

classmethod path_hook(*loader_details)

Um método de classe que retorna uma clausura para uso em sys.path_hooks. Uma instância de FileFinder é retornada pela clausura usando o argumento de caminho dado à clausura diretamente e loader_details indiretamente.

Se o argumento para a clausura não for um diretório existente, ImportError será levantada.

class importlib.machinery.SourceFileLoader(fullname, path)

Uma implementação concreta de importlib.abc.SourceLoader subclassificando importlib.abc.FileLoader e fornecendo algumas implementações concretas de outros métodos.

Adicionado na versão 3.3.

name

O nome do módulo que este carregador irá manipular.

path

O caminho para o arquivo fonte.

is_package(fullname)

Retorna True se path parecer ser para um pacote.

path_stats(path)

Implementação concreta de importlib.abc.SourceLoader.path_stats().

set_data(path, data)

Implementação concreta de importlib.abc.SourceLoader.set_data().

load_module(name=None)

Implementação concreta de importlib.abc.Loader.load_module() onde a especificação do nome do módulo para carregar é opcional

Obsoleto desde a versão 3.6: Use importlib.abc.Loader.exec_module().

class importlib.machinery.SourcelessFileLoader(fullname, path)

Uma implementação concreta de importlib.abc.FileLoader que pode importar arquivos de bytecode (ou seja, não existem arquivos de código-fonte).

Observe que o uso direto de arquivos de bytecode (e, portanto, não de arquivos de código-fonte) impede que seus módulos sejam utilizáveis ​​por todas as implementações do Python ou novas versões do Python que alteram o formato do bytecode.

Adicionado na versão 3.3.

name

O nome do módulo que o carregador vai manipular.

path

O caminho para o arquivo de bytecode.

is_package(fullname)

Determina se o módulo é um pacote baseado em path.

get_code(fullname)

Retorna o objeto código para name criado a partir de path.

get_source(fullname)

Retorna None, pois os arquivos de bytecode não têm código-fonte quando este carregador é usado.

load_module(name=None)

Implementação concreta de importlib.abc.Loader.load_module() onde a especificação do nome do módulo para carregar é opcional

Obsoleto desde a versão 3.6: Use importlib.abc.Loader.exec_module().

class importlib.machinery.ExtensionFileLoader(fullname, path)

Uma implementação concreta de importlib.abc.ExecutionLoader para módulos de extensão.

O argumento fullname especifica o nome do módulo ao qual o carregador deve dar suporte. O argumento path é o caminho para o arquivo do módulo de extensão.

Observe que, por padrão, a importação de um módulo de extensão falhará em subinterpretadores se ele não implementar inicialização multifásica (consulte a PEP 489 [https://peps.python.org/pep-0489/]), mesmo que ele seja importado com sucesso.

Adicionado na versão 3.3.

Alterado na versão 3.12: A inicialização multifásica agora é necessária para uso em subinterpretadores.

name

Nome do módulo ao qual o carregador dá suporte.

path

Caminho para o módulo de extensão.

create_module(spec)

Cria o objeto do módulo a partir da especificação fornecida de acordo com a PEP 489 [https://peps.python.org/pep-0489/].

Adicionado na versão 3.5.

exec_module(module)

Inicializa o objeto do módulo fornecido de acordo com a PEP 489 [https://peps.python.org/pep-0489/].

Adicionado na versão 3.5.

is_package(fullname)

Retorna True se o caminho do arquivo aponta para o módulo __init__ de um pacote com base em EXTENSION_SUFFIXES.

get_code(fullname)

Retorna None, pois os módulos de extensão não possuem um objeto código.

get_source(fullname)

Retorna None pois os módulos de extensão não possuem código-fonte.

get_filename(fullname)

Retorna path.

Adicionado na versão 3.4.

class importlib.machinery.NamespaceLoader(name, path, path_finder)

Uma implementação concreta de importlib.abc.InspectLoader para pacotes de espaço de nomes. Este é um apelido para uma classe privada e só é tornado público para introspecção do atributo __loader__ em pacotes de espaço de nomes:

>>> from importlib.machinery import NamespaceLoader
>>> import my_namespace
>>> isinstance(my_namespace.__loader__, NamespaceLoader)
True
>>> import importlib.abc
>>> isinstance(my_namespace.__loader__, importlib.abc.Loader)
True

Adicionado na versão 3.11.

class importlib.machinery.ModuleSpec(name, loader, *, origin=None, loader_state=None, is_package=None)

A specification for a module’s import-system-related state. This is typically exposed as the module’s __spec__ attribute. Many of these attributes are also available directly on a module: for example, module.__spec__.origin == module.__file__. Note, however, that while the values are usually equivalent, they can differ since there is no synchronization between the two objects. For example, it is possible to update the module’s __file__ at runtime and this will not be automatically reflected in the module’s __spec__.origin, and vice versa.

Adicionado na versão 3.4.

name

The module’s fully qualified name (see module.__name__). The finder should always set this attribute to a non-empty string.

loader

The loader used to load the module (see module.__loader__). The finder should always set this attribute.

origin

The location the loader should use to load the module (see module.__file__). For example, for modules loaded from a .py file this is the filename. The finder should always set this attribute to a meaningful value for the loader to use. In the uncommon case that there is not one (like for namespace packages), it should be set to None.

submodule_search_locations

A (possibly empty) sequence of strings enumerating the locations in which a package’s submodules will be found (see module.__path__). Most of the time there will only be a single directory in this list.

The finder should set this attribute to a sequence, even an empty one, to indicate to the import system that the module is a package. It should be set to None for non-package modules. It is set automatically later to a special object for namespace packages.

loader_state

The finder may set this attribute to an object containing additional, module-specific data to use when loading the module. Otherwise it should be set to None.

cached

The filename of a compiled version of the module’s code (see module.__cached__). The finder should always set this attribute but it may be None for modules that do not need compiled code stored.

parent

(Read-only) The fully qualified name of the package the module is in (or the empty string for a top-level module). See module.__package__. If the module is a package then this is the same as name.

has_location

True if the spec’s origin refers to a loadable location, False otherwise. This value impacts how origin is interpreted and how the module’s __file__ is populated.

class importlib.machinery.AppleFrameworkLoader(name, path)

A specialization of importlib.machinery.ExtensionFileLoader that is able to load extension modules in Framework format.

For compatibility with the iOS App Store, all binary modules in an iOS app must be dynamic libraries, contained in a framework with appropriate metadata, stored in the Frameworks folder of the packaged app. There can be only a single binary per framework, and there can be no executable binary material outside the Frameworks folder.

To accommodate this requirement, when running on iOS, extension module binaries are not packaged as .so files on sys.path, but as individual standalone frameworks. To discover those frameworks, this loader is be registered against the .fwork file extension, with a .fwork file acting as a placeholder in the original location of the binary on sys.path. The .fwork file contains the path of the actual binary in the Frameworks folder, relative to the app bundle. To allow for resolving a framework-packaged binary back to the original location, the framework is expected to contain a .origin file that contains the location of the .fwork file, relative to the app bundle.

Por exemplo, considere o caso de uma importação from foo.bar import _whiz, onde _whiz é implementado com o módulo binário sources/foo/bar/_whiz.abi3.so, com sources sendo o local registrado em sys.path, relativo ao pacote da aplicação. Este módulo deve ser distribuído como Frameworks/foo.bar._whiz.framework/foo.bar._whiz (criando o nome do framework a partir do caminho completo de importação do módulo), com um arquivo Info.plist no diretório .framework identificando o binário como um framework. O módulo foo.bar._whiz seria representado no local original com um arquivo marcador sources/foo/bar/_whiz.abi3.fwork, contendo o caminho Frameworks/foo.bar._whiz/foo.bar._whiz. O framework também conteria Frameworks/foo.bar._whiz.framework/foo.bar._whiz.origin, contendo o caminho para o arquivo .fwork.

When a module is loaded with this loader, the __file__ for the module will report as the location of the .fwork file. This allows code to use the __file__ of a module as an anchor for file system traveral. However, the spec origin will reference the location of the actual binary in the .framework folder.

The Xcode project building the app is responsible for converting any .so files from wherever they exist in the PYTHONPATH into frameworks in the Frameworks folder (including stripping extensions from the module file, the addition of framework metadata, and signing the resulting framework), and creating the .fwork and .origin files. This will usually be done with a build step in the Xcode project; see the iOS documentation for details on how to construct this build step.

Adicionado na versão 3.13.

Disponibilidade

name

Nome do módulo ao qual o carregador dá suporte.

path

Path to the .fwork file for the extension module.

importlib.util – Utility code for importers

Source code: Lib/importlib/util.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/util.py]

This module contains the various objects that help in the construction of an importer.

importlib.util.MAGIC_NUMBER

The bytes which represent the bytecode version number. If you need help with loading/writing bytecode then consider importlib.abc.SourceLoader.

Adicionado na versão 3.4.

importlib.util.cache_from_source(path, debug_override=None, *, optimization=None)

Return the PEP 3147 [https://peps.python.org/pep-3147/]/PEP 488 [https://peps.python.org/pep-0488/] path to the byte-compiled file associated with the source path. For example, if path is /foo/bar/baz.py the return value would be /foo/bar/__pycache__/baz.cpython-32.pyc for Python 3.2. The cpython-32 string comes from the current magic tag (see get_tag(); if sys.implementation.cache_tag is not defined then NotImplementedError will be raised).

The optimization parameter is used to specify the optimization level of the bytecode file. An empty string represents no optimization, so /foo/bar/baz.py with an optimization of '' will result in a bytecode path of /foo/bar/__pycache__/baz.cpython-32.pyc. None causes the interpreter’s optimization level to be used. Any other value’s string representation is used, so /foo/bar/baz.py with an optimization of 2 will lead to the bytecode path of /foo/bar/__pycache__/baz.cpython-32.opt-2.pyc. The string representation of optimization can only be alphanumeric, else ValueError is raised.

The debug_override parameter is deprecated and can be used to override the system’s value for __debug__. A True value is the equivalent of setting optimization to the empty string. A False value is the same as setting optimization to 1. If both debug_override an optimization are not None then TypeError is raised.

Adicionado na versão 3.4.

Alterado na versão 3.5: The optimization parameter was added and the debug_override parameter was deprecated.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

importlib.util.source_from_cache(path)

Given the path to a PEP 3147 [https://peps.python.org/pep-3147/] file name, return the associated source code file path. For example, if path is /foo/bar/__pycache__/baz.cpython-32.pyc the returned path would be /foo/bar/baz.py. path need not exist, however if it does not conform to PEP 3147 [https://peps.python.org/pep-3147/] or PEP 488 [https://peps.python.org/pep-0488/] format, a ValueError is raised. If sys.implementation.cache_tag is not defined, NotImplementedError is raised.

Adicionado na versão 3.4.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

importlib.util.decode_source(source_bytes)

Decode the given bytes representing source code and return it as a string with universal newlines (as required by importlib.abc.InspectLoader.get_source()).

Adicionado na versão 3.4.

importlib.util.resolve_name(name, package)

Resolve a relative module name to an absolute one.

If name has no leading dots, then name is simply returned. This allows for usage such as importlib.util.resolve_name('sys', __spec__.parent) without doing a check to see if the package argument is needed.

ImportError is raised if name is a relative module name but package is a false value (e.g. None or the empty string). ImportError is also raised if a relative name would escape its containing package (e.g. requesting ..bacon from within the spam package).

Adicionado na versão 3.3.

Alterado na versão 3.9: To improve consistency with import statements, raise ImportError instead of ValueError for invalid relative import attempts.

importlib.util.find_spec(name, package=None)

Find the spec for a module, optionally relative to the specified package name. If the module is in sys.modules, then sys.modules[name].__spec__ is returned (unless the spec would be None or is not set, in which case ValueError is raised). Otherwise a search using sys.meta_path is done. None is returned if no spec is found.

If name is for a submodule (contains a dot), the parent module is automatically imported.

name and package work the same as for import_module().

Adicionado na versão 3.4.

Alterado na versão 3.7: Raises ModuleNotFoundError instead of AttributeError if package is in fact not a package (i.e. lacks a __path__ attribute).

importlib.util.module_from_spec(spec)

Create a new module based on spec and spec.loader.create_module.

If spec.loader.create_module does not return None, then any pre-existing attributes will not be reset. Also, no AttributeError will be raised if triggered while accessing spec or setting an attribute on the module.

This function is preferred over using types.ModuleType to create a new module as spec is used to set as many import-controlled attributes on the module as possible.

Adicionado na versão 3.5.

importlib.util.spec_from_loader(name, loader, *, origin=None, is_package=None)

A factory function for creating a ModuleSpec instance based on a loader. The parameters have the same meaning as they do for ModuleSpec. The function uses available loader APIs, such as InspectLoader.is_package(), to fill in any missing information on the spec.

Adicionado na versão 3.4.

importlib.util.spec_from_file_location(name, location, *, loader=None, submodule_search_locations=None)

A factory function for creating a ModuleSpec instance based on the path to a file. Missing information will be filled in on the spec by making use of loader APIs and by the implication that the module will be file-based.

Adicionado na versão 3.4.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

importlib.util.source_hash(source_bytes)

Return the hash of source_bytes as bytes. A hash-based .pyc file embeds the source_hash() of the corresponding source file’s contents in its header.

Adicionado na versão 3.7.

importlib.util._incompatible_extension_module_restrictions(*, disable_check)

A context manager that can temporarily skip the compatibility check for extension modules. By default the check is enabled and will fail when a single-phase init module is imported in a subinterpreter. It will also fail for a multi-phase init module that doesn’t explicitly support a per-interpreter GIL, when imported in an interpreter with its own GIL.

Note that this function is meant to accommodate an unusual case; one which is likely to eventually go away. There’s is a pretty good chance this is not what you were looking for.

You can get the same effect as this function by implementing the basic interface of multi-phase init (PEP 489 [https://peps.python.org/pep-0489/]) and lying about support for multiple interpreters (or per-interpreter GIL).

Aviso

Using this function to disable the check can lead to unexpected behavior and even crashes. It should only be used during extension module development.

Adicionado na versão 3.12.

class importlib.util.LazyLoader(loader)

A class which postpones the execution of the loader of a module until the module has an attribute accessed.

This class only works with loaders that define exec_module() as control over what module type is used for the module is required. For those same reasons, the loader’s create_module() method must return None or a type for which its __class__ attribute can be mutated along with not using slots. Finally, modules which substitute the object placed into sys.modules will not work as there is no way to properly replace the module references throughout the interpreter safely; ValueError is raised if such a substitution is detected.

Nota

For projects where startup time is critical, this class allows for potentially minimizing the cost of loading a module if it is never used. For projects where startup time is not essential then use of this class is heavily discouraged due to error messages created during loading being postponed and thus occurring out of context.

Adicionado na versão 3.5.

Alterado na versão 3.6: Began calling create_module(), removing the compatibility warning for importlib.machinery.BuiltinImporter and importlib.machinery.ExtensionFileLoader.

classmethod factory(loader)

A class method which returns a callable that creates a lazy loader. This is meant to be used in situations where the loader is passed by class instead of by instance.

suffixes = importlib.machinery.SOURCE_SUFFIXES
loader = importlib.machinery.SourceFileLoader
lazy_loader = importlib.util.LazyLoader.factory(loader)
finder = importlib.machinery.FileFinder(path, (lazy_loader, suffixes))

Exemplos

Importing programmatically

To programmatically import a module, use importlib.import_module().

import importlib

itertools = importlib.import_module('itertools')

Checando se o módulo pode ser importado

If you need to find out if a module can be imported without actually doing the import, then you should use importlib.util.find_spec().

Note that if name is a submodule (contains a dot), importlib.util.find_spec() will import the parent module.

import importlib.util
import sys

# For illustrative purposes.
name = 'itertools'

if name in sys.modules:
    print(f"{name!r} already in sys.modules")
elif (spec := importlib.util.find_spec(name)) is not None:
    # If you chose to perform the actual import ...
    module = importlib.util.module_from_spec(spec)
    sys.modules[name] = module
    spec.loader.exec_module(module)
    print(f"{name!r} has been imported")
else:
    print(f"can't find the {name!r} module")

Importa o arquivo de origem diretamente

This recipe should be used with caution: it is an approximation of an import statement where the file path is specified directly, rather than sys.path being searched. Alternatives should first be considered first, such as modifying sys.path when a proper module is required, or using runpy.run_path() when the global namespace resulting from running a Python file is appropriate.

To import a Python source file directly from a path, use the following recipe:

import importlib.util
import sys

def import_from_path(module_name, file_path):
    spec = importlib.util.spec_from_file_location(module_name, file_path)
    module = importlib.util.module_from_spec(spec)
    sys.modules[module_name] = module
    spec.loader.exec_module(module)
    return module

# For illustrative purposes only (use of `json` is arbitrary).
import json
file_path = json.__file__
module_name = json.__name__

# Similar outcome as `import json`.
json = import_from_path(module_name, file_path)

Implementing lazy imports

The example below shows how to implement lazy imports:

>>> import importlib.util
>>> import sys
>>> def lazy_import(name):
...     spec = importlib.util.find_spec(name)
...     loader = importlib.util.LazyLoader(spec.loader)
...     spec.loader = loader
...     module = importlib.util.module_from_spec(spec)
...     sys.modules[name] = module
...     loader.exec_module(module)
...     return module
...
>>> lazy_typing = lazy_import("typing")
>>> #lazy_typing is a real module object,
>>> #but it is not loaded in memory yet.
>>> lazy_typing.TYPE_CHECKING
False

Setting up an importer

For deep customizations of import, you typically want to implement an importer. This means managing both the finder and loader side of things. For finders there are two flavours to choose from depending on your needs: a meta path finder or a path entry finder. The former is what you would put on sys.meta_path while the latter is what you create using a path entry hook on sys.path_hooks which works with sys.path entries to potentially create a finder. This example will show you how to register your own importers so that import will use them (for creating an importer for yourself, read the documentation for the appropriate classes defined within this package):

import importlib.machinery
import sys

# For illustrative purposes only.
SpamMetaPathFinder = importlib.machinery.PathFinder
SpamPathEntryFinder = importlib.machinery.FileFinder
loader_details = (importlib.machinery.SourceFileLoader,
                  importlib.machinery.SOURCE_SUFFIXES)

# Setting up a meta path finder.
# Make sure to put the finder in the proper location in the list in terms of
# priority.
sys.meta_path.append(SpamMetaPathFinder)

# Setting up a path entry finder.
# Make sure to put the path hook in the proper location in the list in terms
# of priority.
sys.path_hooks.append(SpamPathEntryFinder.path_hook(loader_details))

Approximating importlib.import_module()

Import itself is implemented in Python code, making it possible to expose most of the import machinery through importlib. The following helps illustrate the various APIs that importlib exposes by providing an approximate implementation of importlib.import_module():

import importlib.util
import sys

def import_module(name, package=None):
    """An approximate implementation of import."""
    absolute_name = importlib.util.resolve_name(name, package)
    try:
        return sys.modules[absolute_name]
    except KeyError:
        pass

    path = None
    if '.' in absolute_name:
        parent_name, _, child_name = absolute_name.rpartition('.')
        parent_module = import_module(parent_name)
        path = parent_module.__spec__.submodule_search_locations
    for finder in sys.meta_path:
        spec = finder.find_spec(absolute_name, path)
        if spec is not None:
            break
    else:
        msg = f'No module named {absolute_name!r}'
        raise ModuleNotFoundError(msg, name=absolute_name)
    module = importlib.util.module_from_spec(spec)
    sys.modules[absolute_name] = module
    spec.loader.exec_module(module)
    if path is not None:
        setattr(parent_module, child_name, module)
    return module

importlib.resources – Leitura, abertura e acesso a recursos de pacotes

Código-fonte: Lib/importlib/resources/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/resources/__init__.py]

Adicionado na versão 3.7.

Esse módulo aproveita o sistema de importação do Python para fornecer acesso a recursos dentro de pacotes.

“Recursos” são recursos de arquivos ou similares associados a um módulo ou pacote em Python. Os recursos podem estar contidos diretamente em um pacote, em um subdiretório contido nesse pacote ou adjacentes a módulos fora de um pacote. Os recursos podem ser de texto ou binários. Como resultado, os códigos-fonte do módulo Python (.py) de um pacote e os artefatos de compilação (pycache) são tecnicamente recursos de fato desse pacote. Na prática, entretanto, os recursos são principalmente os artefatos não-Python expostos especificamente pelo autor do pacote.

Os recursos podem ser abertos ou lidos no modo binário ou de texto.

Os recursos são mais ou menos semelhantes a arquivos dentro de diretórios, embora seja importante ter em mente que isso é apenas uma metáfora. Recursos e pacotes não precisam existir como arquivos e diretórios físicos no sistema de arquivos: por exemplo, um pacote e seus recursos podem ser importados de um arquivo zip usando zipimport.

Nota

Esse módulo fornece funcionalidade semelhante ao Basic Resource Access [https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access] do pkg_resources [https://setuptools.readthedocs.io/en/latest/pkg_resources.html] sem a sobrecarga de desempenho desse pacote. Isso facilita a leitura de recursos incluídos em pacotes, com uma semântica mais estável e consistente.

O backport autônomo desse módulo fornece mais informações sobre uso do importlib.resources [https://importlib-resources.readthedocs.io/en/latest/using.html] e migração do pkg_resources para o importlib.resources [https://importlib-resources.readthedocs.io/en/latest/migration.html].

Loaders que desejam oferecer suporte à leitura de recursos devem implementar um método get_resource_reader(fullname) conforme especificado por importlib.resources.abc.ResourceReader.

class importlib.resources.Anchor

Representa uma âncora para recursos, seja um objeto módulo ou um nome de módulo como uma string. Definido como Union[str, ModuleType].

importlib.resources.files(anchor: Anchor | None = None)

Retorna um objeto Traversable que representa o contêiner de recursos (pense em diretório) e seus recursos (pense em arquivos). Um Traversable pode conter outros contêineres (pense em subdiretórios).

anchor é um Anchor opcional. Se a âncora for um pacote, os recursos são resolvidos a partir desse pacote. Se for um módulo, os recursos são resolvidos ao lado desse módulo (no mesmo pacote ou na raiz do pacote). Se a âncora for omitida, o módulo do chamador é usado.

Adicionado na versão 3.9.

Alterado na versão 3.12: O parâmetro package foi renomeado para anchor. anchor agora pode ser um módulo sem ser pacote e, se omitido, será o módulo do chamador por padrão. package ainda é aceito por compatibilidade, mas irá levantar um DeprecationWarning. Considere passar a posição da âncora de forma posicional ou usar importlib_resources >= 5.10 para uma interface compatível em versões mais antigas do Python.

importlib.resources.as_file(traversable)

Dado um objeto Traversable que representa um arquivo ou diretório, normalmente de importlib.resources.files(), retorna um gerenciador de contexto para uso em uma instrução with. O gerenciador de contexto fornece um objeto pathlib.Path.

Sair do gerenciador de contexto limpa qualquer arquivo ou diretório temporário criado quando o recurso foi extraído, por exemplo, de um arquivo zip.

Use as_file quando os métodos de Traversable (read_text, etc.) forem insuficientes e for necessário um arquivo ou diretório real no sistema de arquivos.

Adicionado na versão 3.9.

Alterado na versão 3.12: Adicionado suporte para traversable representando um diretório.

API funcional

Um conjunto de auxiliares simplificados e compatíveis com versões anteriores está disponível. Estes permitem operações comuns em uma única chamada de função.

Para todas as funções a seguir:

anchor é um Anchor, assim como em files(). Ao contrário do comportamento em files, anchor aqui não pode ser omitido.

path_names são componentes do nome do caminho de um recurso, relativo à âncora. Por exemplo, para obter o texto de um recurso chamado info.txt, use:

importlib.resources.read_text(my_module, "info.txt")

Assim como em Traversable.joinpath, os componentes individuais devem usar barras ordinárias (/) como separadores do caminho. Por exemplo, as seguintes chamadas são equivalentes:

importlib.resources.read_binary(my_module, "pics/painting.png")
importlib.resources.read_binary(my_module, "pics", "painting.png")

Por motivos de compatibilidade com versões anteriores, funções que lêem texto requerem um argumento encoding explícito se múltiplos path_names forem fornecidos. Por exemplo, para obter o texto de info/chapter1.txt, use:

importlib.resources.read_text(my_module, "info", "chapter1.txt",
                              encoding='utf-8')

importlib.resources.open_binary(anchor, *path_names)

Abre o recurso nomeado para leitura binária.

Veja a introdução para detalhes sobre anchor e path_names.

Esta função retorna um objeto BinaryIO, isto é, um fluxo binário aberto para leitura.

Esta função é mais ou menos equivalente a:

files(anchor).joinpath(*path_names).open('rb')

Alterado na versão 3.13: Múltiplos path_names são aceitos.

importlib.resources.open_text(anchor, *path_names, encoding='utf-8', errors='strict')

Abre o recurso nomeado para leitura de texto. Por padrão, o conteúdo é lido como UTF-8 estrito.

Veja a introdução para detalhes sobre anchor e path_names. encoding e errors têm o mesmo significado que na embutida open().

Por motivos de compatibilidade com versões anteriores, o argumento encoding precisa ser passado explicitamente se houver múltiplos path_names. Essa limitação está agendada para ser removida no Python 3.15.

Esta função retorna um objeto TextIO, isto é, um fluxo de texto aberto para leitura.

Esta função é mais ou menos equivalente a:

files(anchor).joinpath(*path_names).open('r', encoding=encoding)

Alterado na versão 3.13: Múltiplos path_names são aceitos. encoding e errors precisam ser fornecidos como argumentos nomeados.

importlib.resources.read_binary(anchor, *path_names)

Lê e retorna o conteúdo do recurso nomeado como bytes.

Veja a introdução para detalhes sobre anchor e path_names.

Esta função é mais ou menos equivalente a:

files(anchor).joinpath(*path_names).read_bytes()

Alterado na versão 3.13: Múltiplos path_names são aceitos.

importlib.resources.read_text(anchor, *path_names, encoding='utf-8', errors='strict')

Lê e retorna o conteúdo do recurso nomeado como str. Por padrão, o conteúdo é lido como UTF-8 estrito.

Veja a introdução para detalhes sobre anchor e path_names. encoding e errors têm o mesmo significado que na embutida open().

Por motivos de compatibilidade com versões anteriores, o argumento encoding precisa ser passado explicitamente se houver múltiplos path_names. Essa limitação está agendada para ser removida no Python 3.15.

Esta função é mais ou menos equivalente a:

files(anchor).joinpath(*path_names).read_text(encoding=encoding)

Alterado na versão 3.13: Múltiplos path_names são aceitos. encoding e errors precisam ser fornecidos como argumentos nomeados.

importlib.resources.path(anchor, *path_names)

Fornece o caminho para o resource como um caminho real do sistema de arquivos. Essa função retorna um gerenciador de contexto para uso em uma instrução with. O gerenciador de contexto fornece um objeto pathlib.Path.

Sair do gerenciador de contexto limpa qualquer arquivo temporário criado, por exemplo quando o recurso precisa ser extraído de um arquivo zip.

Por exemplo, o método stat() requer um caminho real em um sistema de arquivos; ele pode ser usado assim:

with importlib.resources.path(anchor, "resource.txt") as fspath:
    result = fspath.stat()

Veja a introdução para detalhes sobre anchor e path_names.

Esta função é mais ou menos equivalente a:

as_file(files(anchor).joinpath(*path_names))

Alterado na versão 3.13: Múltiplos path_names são aceitos. encoding e errors precisam ser fornecidos como argumentos nomeados.

importlib.resources.is_resource(anchor, *path_names)

Retorna True se o recurso nomeado existe, senão False. Esta função não considera diretórios como sendo recursos.

Veja a introdução para detalhes sobre anchor e path_names.

Esta função é mais ou menos equivalente a:

files(anchor).joinpath(*path_names).is_file()

Alterado na versão 3.13: Múltiplos path_names são aceitos.

importlib.resources.contents(anchor, *path_names)

Retorna um iterável sobre os itens nomeados no pacote ou caminho. O iterável retorna nomes de recursos (por exemplo, arquivos) e outros itens que não recursos (por exemplo, diretórios) como str. O iterável não recorre em subdiretórios.

Veja a introdução para detalhes sobre anchor e path_names.

Esta função é mais ou menos equivalente a:

for resource in files(anchor).joinpath(*path_names).iterdir():
    yield resource.name

Obsoleto desde a versão 3.11: Prefira iterdir() como acima, que oferece mais controle sobre os resultados e funcionalidade mais rica.

importlib.resources.abc – Classes base abstratas para recursos

Código-fonte: Lib/importlib/resources/abc.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/resources/abc.py]

Adicionado na versão 3.11.

class importlib.resources.abc.ResourceReader

Substituída por TraversableResources

Uma classe base abstrata para fornecer a capacidade de ler recursos.

Da perspectiva deste ABC, um recurso é um artefato binário que é enviado dentro de um pacote. Normalmente isso é algo como um arquivo de dados que fica próximo ao arquivo __init__.py do pacote. O objetivo desta classe é ajudar a abstrair o acesso a tais arquivos de dados para que não importe se o pacote e seu(s) arquivo(s) de dados estão armazenados, por exemplo, em um arquivo zip versus no sistema de arquivos.

Para qualquer um dos métodos desta classe, espera-se que o argumento resource seja um objeto caminho ou similar que representa conceitualmente apenas um nome de arquivo. Isso significa que nenhum caminho de subdiretório deve ser incluído no argumento resource. Isso ocorre porque a localização do pacote para o qual o leitor se destina, atua como o “diretório”. Portanto, a metáfora para diretórios e nomes de arquivos são pacotes e recursos, respectivamente. É também por isso que se espera que as instâncias dessa classe se correlacionem diretamente a um pacote específico (em vez de representar potencialmente vários pacotes ou um módulo).

Carregadores que desejam oferecer suporte à leitura de recursos devem fornecer um método chamado get_resource_reader(nomecompleto) que retorna um objeto implementando esta interface ABC. Se o módulo especificado por nomecompleto não for um pacote, este método deve retornar None. Um objeto compatível com este ABC só deve ser retornado quando o módulo especificado for um pacote.

Deprecated since version 3.12, will be removed in version 3.14: Use importlib.resources.abc.TraversableResources.

abstractmethod open_resource(resource)

Retorna um objeto arquivo ou similar aberto para leitura binária de resource.

Se o recurso não puder ser encontrado, FileNotFoundError é levantada.

abstractmethod resource_path(resource)

Retorna o caminho do sistema de arquivos para resource.

Se o recurso não existir concretamente no sistema de arquivos, levanta FileNotFoundError.

abstractmethod is_resource(name)

Retorna True se o name nomeado for considerado um recurso. FileNotFoundError é levantada se name não existir.

abstractmethod contents()

Retorna um iterável de strings sobre o conteúdo do pacote. Observe que não é necessário que todos os nomes retornados pelo iterador sejam recursos reais, por exemplo, é aceitável retornar nomes para os quais is_resource() seria falso.

Permitir que nomes que não são recursos sejam retornados é permitir situações em que a forma como um pacote e seus recursos são armazenados é conhecida a priori e os nomes que não são recursos seriam úteis. Por exemplo, o retorno de nomes de subdiretórios é permitido para que, quando se souber que o pacote e os recursos estão armazenados no sistema de arquivos, esses nomes de subdiretórios possam ser usados diretamente.

O método abstrato retorna um iterável sem itens.

class importlib.resources.abc.Traversable

Um objeto com um subconjunto de métodos de pathlib.Path adequados para percorrer diretórios e abrir arquivos.

Para uma representação do objeto no sistema de arquivos, use importlib.resources.as_file().

name

Abstrato. O nome base deste objeto sem nenhuma referência pai.

abstractmethod iterdir()

Produz objetos Traversable em self.

abstractmethod is_dir()

Retorna True se self for um diretório.

abstractmethod is_file()

Retorna True se self for um arquivo.

abstractmethod joinpath(*pathsegments)

Percorre os diretórios de acordo com pathsegments e retorna o resultado como Traversable.

Cada argumento pathsegments pode conter vários nomes separados por barras (/, posixpath.sep). Por exemplo, os seguintes são equivalentes:

files.joinpath('subdir', 'subsuddir', 'file.txt')
files.joinpath('subdir/subsuddir/file.txt')

Observe que algumas implementações de Traversable podem não ser atualizadas para a versão mais recente do protocolo. Para compatibilidade com tais implementações, forneça um único argumento sem separadores de caminho para cada chamada para joinpath. Por exemplo:

files.joinpath('subdir').joinpath('subsubdir').joinpath('file.txt')

Alterado na versão 3.11: joinpath aceita múltiplos pathsegments, e estes segmentos podem conter barras como separadores de caminho. Anteriormente, apenas um único argumento child era aceito.

abstractmethod __truediv__(child)

Retorna um filho Traversable em si mesmo. Equivalente a joinpath(child).

abstractmethod open(mode='r', *args, **kwargs)

mode pode ser ‘r’ ou ‘rb’ para abrir como texto ou binário. Retorna um manipulador adequado para leitura (o mesmo que pathlib.Path.open).

Ao abrir como texto, aceita parâmetros de codificação como os aceitos por io.TextIOWrapper.

read_bytes()

Lê o conteúdo de self como bytes.

read_text(encoding=None)

Lê o conteúdo de self como texto.

class importlib.resources.abc.TraversableResources

Uma classe base abstrata para leitores de recursos capaz de servir a interface importlib.resources.files(). É uma subclasse de ResourceReader e fornece implementações concretas dos métodos abstratos de ResourceReader. Portanto, qualquer carregador que forneça TraversableResources também fornece ResourceReader.

Espera-se que os carregadores que desejam oferecer suporte à leitura de recursos implementem essa interface.

abstractmethod files()

Retorna um objeto importlib.resources.abc.Traversable para o pacote carregado.

importlib.metadata – Acessando metadados do pacote

Adicionado na versão 3.8.

Alterado na versão 3.10: importlib.metadata não é mais provisório.

Código-fonte: Lib/importlib/metadata/__init__.py [https://github.com/python/cpython/tree/3.13/Lib/importlib/metadata/__init__.py]

importlib.metadata é uma biblioteca que fornece acesso aos metadados de um Pacote de Distribuição [https://packaging.python.org/pt_BR/latest/glossary/#term-Import-Package] instalado, como seus pontos de entrada ou seus nomes de nível superior (Pacotes de Importação [https://packaging.python.org/pt_BR/latest/glossary/#term-Import-Package], módulos, se houver). Construída em parte no sistema de importação do Python, esta biblioteca pretende substituir funcionalidades semelhantes na API de ponto de entrada [https://setuptools.readthedocs.io/en/latest/pkg_resources.html#entry-points] e API de metadados [https://setuptools.readthedocs.io/en/latest/pkg_resources.html#metadata-api] de pkg_resources. Junto com importlib.resources, este pacote pode eliminar a necessidade de usar o pacote pkg_resources mais antigo e menos eficiente.

importlib.metadata opera em pacotes de distribuição de terceiros instalados no diretório site-packages do Python através de ferramentas como pip [https://pypi.org/project/pip/]. Especificamente, ele funciona com distribuições com diretórios dist-info ou egg-info detectáveis, e metadados definidos pelas Especificações de metadados principais [https://packaging.python.org/pt_BR/latest/specifications/core-metadata/#core-metadata].

Importante

Eles não são necessariamente equivalentes ou correspondem 1:1 aos nomes de pacotes de importação de nível superior que podem ser importados dentro do código Python. Um pacote de distribuição pode conter vários pacotes de importação (e módulos únicos), e um pacote de importação de nível superior pode ser mapeado para vários pacotes de distribuição se for um pacote de espaço de nomes. Você pode usar packages_distributions() para obter um mapeamento entre eles.

Por padrão, os metadados de distribuição podem residir no sistema de arquivos ou em arquivos zip em sys.path. Através de um mecanismo de extensão, os metadados podem residir em praticamente qualquer lugar.

Ver também

https://importlib-metadata.readthedocs.io/

A documentação para importlib_metadata, que fornece um backport de importlib.metadata. Isso inclui uma referência de API [https://importlib-metadata.readthedocs.io/en/latest/api.html] para as classes e funções deste módulo, bem como um guia de migração [https://importlib-metadata.readthedocs.io/en/latest/migration.html] para usuários existentes de pkg_resources.

Visão Geral

Digamos que você queira obter a string da versão de um Pacote de Distribuição [https://packaging.python.org/pt_BR/latest/glossary/#term-Distribution-Package] que você instalou usando pip. Começamos criando um ambiente virtual e instalando algo nele:

$ python -m venv example
$ source example/bin/activate
(example) $ python -m pip install wheel

Você pode obter a string de versão para wheel executando o seguinte:

(example) $ python
>>> from importlib.metadata import version
>>> version('wheel')
'0.32.3'

Você também pode obter uma coleção de pontos de entrada selecionáveis pelas propriedades do EntryPoint (normalmente ‘group’ ou ‘name’), como console_scripts, distutils.commands e outros. Cada grupo contém uma coleção de objetos EntryPoint.

Você pode obter os metadados para uma distribuição:

>>> list(metadata('wheel'))
['Metadata-Version', 'Name', 'Version', 'Summary', 'Home-page', 'Author', 'Author-email', 'Maintainer', 'Maintainer-email', 'License', 'Project-URL', 'Project-URL', 'Project-URL', 'Keywords', 'Platform', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Classifier', 'Requires-Python', 'Provides-Extra', 'Requires-Dist', 'Requires-Dist']

Você também pode obter uma número da versão da distribuição, listar seus arquivos constituintes e obter uma lista dos Requisitos de distribuição da distribuição.

exception importlib.metadata.PackageNotFoundError

Subclass of ModuleNotFoundError raised by several functions in this module when queried for a distribution package which is not installed in the current Python environment.

API funcional

Este pacote fornece a seguinte funcionalidade por meio de sua API pública.

Pontos de entrada

importlib.metadata.entry_points(**select_params)

Returns a EntryPoints instance describing entry points for the current environment. Any given keyword parameters are passed to the select() method for comparison to the attributes of the individual entry point definitions.

Note: it is not currently possible to query for entry points based on their EntryPoint.dist attribute (as different Distribution instances do not currently compare equal, even if they have the same attributes)

class importlib.metadata.EntryPoints

Details of a collection of installed entry points.

Also provides a .groups attribute that reports all identifed entry point groups, and a .names attribute that reports all identified entry point names.

class importlib.metadata.EntryPoint

Details of an installed entry point.

Each EntryPoint instance has .name, .group, and .value attributes and a .load() method to resolve the value. There are also .module, .attr, and .extras attributes for getting the components of the .value attribute, and .dist for obtaining information regarding the distribution package that provides the entry point.

Consultar todos os pontos de entrada:

>>> eps = entry_points()

The entry_points() function returns a EntryPoints object, a collection of all EntryPoint objects with names and groups attributes for convenience:

>>> sorted(eps.groups)
['console_scripts', 'distutils.commands', 'distutils.setup_keywords', 'egg_info.writers', 'setuptools.installation']

EntryPoints has a select() method to select entry points matching specific properties. Select entry points in the console_scripts group:

>>> scripts = eps.select(group='console_scripts')

Equivalently, since entry_points() passes keyword arguments through to select:

>>> scripts = entry_points(group='console_scripts')

Escolha um script específico chamado “wheel” (encontrado no projeto wheel):

>>> 'wheel' in scripts.names
True
>>> wheel = scripts['wheel']

De forma equivalente, consulte esse ponto de entrada durante a seleção:

>>> (wheel,) = entry_points(group='console_scripts', name='wheel')
>>> (wheel,) = entry_points().select(group='console_scripts', name='wheel')

Inspecione o ponto de entrada resolvido:

>>> wheel
EntryPoint(name='wheel', value='wheel.cli:main', group='console_scripts')
>>> wheel.module
'wheel.cli'
>>> wheel.attr
'main'
>>> wheel.extras
[]
>>> main = wheel.load()
>>> main
<function main at 0x103528488>

O group e name são valores arbitrários definidos pelo autor do pacote e normalmente um cliente desejará resolver todos os pontos de entrada para um grupo específico. Leia a documentação do setuptools [https://setuptools.pypa.io/en/latest/userguide/entry_point.html] para obter mais informações sobre pontos de entrada, sua definição e uso.

Alterado na versão 3.12: Os pontos de entrada “selecionáveis” foram introduzidos em importlib_metadata 3.6 e Python 3.10. Antes dessas mudanças, entry_points não aceitava parâmetros e sempre retornava um dicionário de pontos de entrada, chaveado por grupo. Com importlib_metadata 5.0 e Python 3.12, entry_points sempre retorna um objeto EntryPoints. Veja backports.entry_points_selectable [https://pypi.org/project/backports.entry_points_selectable/] para opções de compatibilidade.

Alterado na versão 3.13: Objetos EntryPoint não apresentam mais uma interface tupla ou similar (__getitem__()).

Metadados de distribuição

importlib.metadata.metadata(distribution_name)

Return the distribution metadata corresponding to the named distribution package as a PackageMetadata instance.

Raises PackageNotFoundError if the named distribution package is not installed in the current Python environment.

class importlib.metadata.PackageMetadata

A concrete implementation of the

PackageMetadata protocol [https://importlib-metadata.readthedocs.io/en/latest/api.html#importlib_metadata.PackageMetadata].

In addition to providing the defined protocol methods and attributes, subscripting the instance is equivalent to calling the get() method.

Every Distribution Package [https://packaging.python.org/en/latest/glossary/#term-Distribution-Package] includes some metadata, which you can extract using the metadata() function:

>>> wheel_metadata = metadata('wheel')

The keys of the returned data structure name the metadata keywords, and the values are returned unparsed from the distribution metadata:

>>> wheel_metadata['Requires-Python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'

PackageMetadata also presents a json attribute that returns all the metadata in a JSON-compatible form per PEP 566 [https://peps.python.org/pep-0566/]:

>>> wheel_metadata.json['requires_python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'

The full set of available metadata is not described here. See the PyPA Core metadata specification [https://packaging.python.org/en/latest/specifications/core-metadata/#core-metadata] for additional details.

Alterado na versão 3.10: A Description agora é incluída nos metadados quando apresentada através do payload. Os caracteres de continuação de linha foram removidos.

O atributo json foi adicionado.

Versões de distribuição

importlib.metadata.version(distribution_name)

Return the installed distribution package version for the named distribution package.

Raises PackageNotFoundError if the named distribution package is not installed in the current Python environment.

The version() function is the quickest way to get a Distribution Package [https://packaging.python.org/en/latest/glossary/#term-Distribution-Package]’s version number, as a string:

>>> version('wheel')
'0.32.3'

Arquivos de distribuição

importlib.metadata.files(distribution_name)

Return the full set of files contained within the named distribution package.

Raises PackageNotFoundError if the named distribution package is not installed in the current Python environment.

Returns None if the distribution is found but the installation database records reporting the files associated with the distribuion package are missing.

class importlib.metadata.PackagePath

A pathlib.PurePath derived object with additional dist, size, and hash properties corresponding to the distribution package’s installation metadata for that file.

The files() function takes a Distribution Package [https://packaging.python.org/en/latest/glossary/#term-Distribution-Package] name and returns all of the files installed by this distribution. Each file is reported as a PackagePath instance. For example:

>>> util = [p for p in files('wheel') if 'util.py' in str(p)][0]
>>> util
PackagePath('wheel/util.py')
>>> util.size
859
>>> util.dist
<importlib.metadata._hooks.PathDistribution object at 0x101e0cef0>
>>> util.hash
<FileHash mode: sha256 value: bYkw5oMccfazVCoYQwKkkemoVyMAFoR34mmKBx8R1NI>

Uma vez que tenha o arquivo, você também pode ler seu conteúdo:

>>> print(util.read_text())
import base64
import sys
...
def as_bytes(s):
    if isinstance(s, text_type):
        return s.encode('utf-8')
    return s

You can also use the locate() method to get the absolute path to the file:

>>> util.locate()
PosixPath('/home/gustav/example/lib/site-packages/wheel/util.py')

In the case where the metadata file listing files (RECORD or SOURCES.txt) is missing, files() will return None. The caller may wish to wrap calls to files() in always_iterable [https://more-itertools.readthedocs.io/en/stable/api.html#more_itertools.always_iterable] or otherwise guard against this condition if the target distribution is not known to have the metadata present.

Requisitos de distribuição

importlib.metadata.requires(distribution_name)

Return the declared dependency specifiers for the named distribution package.

Raises PackageNotFoundError if the named distribution package is not installed in the current Python environment.

To get the full set of requirements for a Distribution Package [https://packaging.python.org/en/latest/glossary/#term-Distribution-Package], use the requires() function:

>>> requires('wheel')
["pytest (>=3.0.0) ; extra == 'test'", "pytest-cov ; extra == 'test'"]

Mapeando importação pra pacotes de distribuição

importlib.metadata.packages_distributions()

Return a mapping from the top level module and import package names found via sys.meta_path to the names of the distribution packages (if any) that provide the corresponding files.

To allow for namespace packages (which may have members provided by multiple distribution packages), each top level import name maps to a list of distribution names rather than mapping directly to a single name.

Um método conveniente para resolver o nome do Pacote de Distribuição [https://packaging.python.org/pt_BR/latest/glossary/#term-Distribution-Package] (ou nomes, no caso de um pacote de espaço de nomes) que fornece cada módulo Python de nível superior importável ou Pacote de Importação [https://packaging.python.org/pt_BR/latest/glossary/#term-Import-Package]:

>>> packages_distributions()
{'importlib_metadata': ['importlib-metadata'], 'yaml': ['PyYAML'], 'jaraco': ['jaraco.classes', 'jaraco.functools'], ...}

Algumas instalações editáveis não fornecem nomes de nível superior [https://github.com/pypa/packaging-problems/issues/609] e, portanto, esta função não é confiável com tais instalações.

Adicionado na versão 3.10.

Distribuições

importlib.metadata.distribution(distribution_name)

Return a Distribution instance describing the named distribution package.

Raises PackageNotFoundError if the named distribution package is not installed in the current Python environment.

class importlib.metadata.Distribution

Details of an installed distribution package.

Note: different Distribution instances do not currently compare equal, even if they relate to the same installed distribution and accordingly have the same attributes.

While the module level API described above is the most common and convenient usage, you can get all of that information from the Distribution class. Distribution is an abstract object that represents the metadata for a Python Distribution Package [https://packaging.python.org/en/latest/glossary/#term-Distribution-Package]. You can get the concreate Distribution subclass instance for an installed distribution package by calling the distribution() function:

>>> from importlib.metadata import distribution
>>> dist = distribution('wheel')
>>> type(dist)
<class 'importlib.metadata.PathDistribution'>

Thus, an alternative way to get the version number is through the Distribution instance:

>>> dist.version
'0.32.3'

There are all kinds of additional metadata available on Distribution instances:

>>> dist.metadata['Requires-Python']
'>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'
>>> dist.metadata['License']
'MIT'

Para pacotes editáveis, uma propriedade origin pode apresentar metadados conforme a PEP 610 [https://peps.python.org/pep-0610/]:

>>> dist.origin.url
'file:///path/to/wheel-0.32.3.editable-py3-none-any.whl'

The full set of available metadata is not described here. See the PyPA Core metadata specification [https://packaging.python.org/en/latest/specifications/core-metadata/#core-metadata] for additional details.

Adicionado na versão 3.13: A propriedade .origin foi adicionada.

Descoberta de distribuição

Por padrão, este pacote fornece suporte embutido para descoberta de metadados para sistema de arquivos e arquivo zip Pacotes de Distribuição [https://packaging.python.org/pt_BR/latest/glossary/#term-Distribution-Package]. Esta pesquisa do localizador de metadados tem como padrão sys.path, mas varia um pouco na maneira como ela interpreta esses valores em relação a outras mecanismo de importação. Em particular:

importlib.metadata não honra objetos bytes em sys.path.

importlib.metadata irá incidentalmente honrar objetos pathlib.Path em sys.path mesmo que tais valores sejam ignorados para importações.

Estendendo o algoritmo de pesquisa

Como os metadados de Pacote de Distribuição [https://packaging.python.org/pt_BR/latest/glossary/#term-Distribution-Package] não estão disponíveis por meio de pesquisas a sys.path ou carregadores de pacotes diretamente, os metadados de uma distribuição são encontrados através de localizadores do sistema de importação. Para encontrar os metadados de um pacote de distribuição, importlib.metadata consulta a lista de localizadores de metacaminho em sys.meta_path.

Por padrão importlib.metadata instala um localizador para pacotes de distribuição encontrados no sistema de arquivos. Na verdade, esse localizador não encontra nenhuma distribuição, mas pode encontrar seus metadados.

A classe abstrata importlib.abc.MetaPathFinder define a interface esperada dos localizadores pelo sistema de importação do Python. importlib.metadata estende este protocolo procurando por um chamável find_distributions opcional nos localizadores de sys.meta_path e apresenta esta interface estendida como a classe base abstrata DistributionFinder, que define este método abstrato:

@abc.abstractmethod
def find_distributions(context=DistributionFinder.Context()):
    """Return an iterable of all Distribution instances capable of
    loading the metadata for packages for the indicated ``context``.
    """

O objeto DistributionFinder.Context fornece propriedades .path e .name indicando o caminho para pesquisar e o nome a ser correspondido e pode fornecer outro contexto relevante.

O que isso significa na prática é que para prover suporte à localização de metadados de pacotes de distribuição em outros locais fora do sistema de arquivos, crie uma subclasse Distribution e implemente os métodos abstratos. Então, a partir de um localizador personalizado, retorne instâncias deste derivado de Distribution no método find_distributions().

Exemplo

Considere, por exemplo, um localizador personalizado que carrega módulos Python de um banco de dados:

class DatabaseImporter(importlib.abc.MetaPathFinder):
    def __init__(self, db):
        self.db = db

    def find_spec(self, fullname, target=None) -> ModuleSpec:
        return self.db.spec_from_name(fullname)

sys.meta_path.append(DatabaseImporter(connect_db(...)))

Esse importador agora provavelmente fornece módulos importáveis ​​de um banco de dados, mas não fornece metadados ou pontos de entrada. Para que este importador personalizado forneça metadados, ele também precisaria implementar DistributionFinder:

from importlib.metadata import DistributionFinder

class DatabaseImporter(DistributionFinder):
    ...

    def find_distributions(self, context=DistributionFinder.Context()):
        query = dict(name=context.name) if context.name else {}
        for dist_record in self.db.query_distributions(query):
            yield DatabaseDistribution(dist_record)

Desta forma, query_distributions retornaria registros para cada distribuição servida pelo banco de dados correspondente à consulta. Por exemplo, se requests-1.0 estiver no banco de dados, find_distributions produziria um DatabaseDistribution para Context(name='requests') ou Context(name=None).

Por uma questão de simplicidade, este exemplo ignora context.path. O atributo path tem como padrão sys.path e é o conjunto de caminhos de importação a serem considerados na pesquisa. Um DatabaseImporter poderia funcionar potencialmente sem qualquer preocupação com um caminho de pesquisa. Supondo que o importador não faça particionamento, o caminho “path” seria irrelevante. Para ilustrar o propósito de path, o exemplo precisaria ilustrar um DatabaseImporter mais complexo cujo comportamento variasse dependendo de sys.path/PYTHONPATH. Nesse caso, find_distributions deve respeitar o context.path e produzir apenas Distributions pertinentes a esse caminho.

DatabaseDistribution, então, se pareceria com algo como:

class DatabaseDistribution(importlib.metadata.Distribution):
    def __init__(self, record):
        self.record = record

    def read_text(self, filename):
        """
        Read a file like "METADATA" for the current distribution.
        """
        if filename == "METADATA":
            return f"""Name: {self.record.name}
Version: {self.record.version}
"""
        if filename == "entry_points.txt":
            return "\n".join(
              f"""[{ep.group}]\n{ep.name}={ep.value}"""
              for ep in self.record.entry_points)

    def locate_file(self, path):
        raise RuntimeError("This distribution has no file system")

Esta implementação básica deve fornecer metadados e pontos de entrada para pacotes servidos pelo DatabaseImporter, presumindo que o record forneça os atributos .name, .version e .entry_points adequados.

O DatabaseDistribution também pode fornecer outros arquivos de metadados, como RECORD (necessário para Distribution.files) ou substituir a implementação de Distribution.files. Veja o código-fonte para mais inspiração.

A inicialização do caminho de pesquisa de módulos sys.path

Um caminho de pesquisa de módulos é inicializado quando o Python é iniciado. Este caminho de pesquisa de módulos pode ser acessado em sys.path.

A primeira entrada no caminho de pesquisa de módulos é o diretório que contém o script de entrada, se houver. Caso contrário, a primeira entrada é o diretório atual, que é o caso ao executar o console interativo, um comando com -c ou um módulo com -m.

A variável de ambiente PYTHONPATH é frequentemente usada para adicionar diretórios ao caminho de pesquisa. Se esta variável de ambiente for encontrada, o conteúdo será adicionado ao caminho de pesquisa de módulos.

Nota

PYTHONPATH afetará todas as versões/ambientes Python instalados. Tenha cuidado ao definir isso em seu perfil do shell ou em variáveis de ambiente globais. O módulo site oferece técnicas mais diferenciadas, conforme mencionado abaixo.

Os próximos itens adicionados são os diretórios contendo módulos padrão do Python, bem como quaisquer módulos de extensão dos quais esses módulos dependem. Módulos de extensão são arquivos .pyd no Windows e arquivos .so em outras plataformas. O diretório com os módulos Python independentes de plataforma é chamado prefix. O diretório com os módulos de extensão é chamado exec_prefix.

A variável de ambiente PYTHONHOME pode ser usada para definir os locais prefix e exec_prefix. Caso contrário, esses diretórios serão encontrados usando o executável Python como ponto de partida e, em seguida, procurando por vários arquivos e diretórios “de referência”. Observe que todos os links simbólicos são seguidos para que o local real do executável do Python seja usado como ponto de partida da pesquisa. O local do executável do Python é chamado home.

Uma vez que home é determinado, o diretório prefix é encontrado procurando primeiro por pythonmajorversionminorversion.zip (python311.zip). No Windows, o arquivo zip é procurado em home e no Unix espera-se que o arquivo esteja em lib. Observe que o local esperado do arquivo zip é adicionado ao caminho de pesquisa de módulos, mesmo que o arquivo não exista. Se nenhum arquivo for encontrado, o Python no Windows continuará a pesquisa por prefix procurando por Lib\os.py. Python no Unix procurará por lib/pythonmajorversion.minorversion/os.py (lib/python3.11/os.py). No Windows, prefix e exec_prefix são iguais, porém em outras plataformas lib/pythonmajorversion.minorversion/lib-dynload (lib/python3.11/lib-dynload) é pesquisado e usado como âncora para exec_prefix. Em algumas plataformas, lib pode ser lib64 ou outro valor, veja sys.platlibdir e PYTHONPLATLIBDIR.

Uma vez encontrados, prefix e exec_prefix estão disponíveis em sys.prefix e sys.exec_prefix, respectivamente.

Finalmente, o módulo site é processado e os diretórios site-packages são adicionados ao caminho de pesquisa de módulos. Uma maneira comum de personalizar o caminho de pesquisa é criar módulos sitecustomize ou usercustomize conforme descrito na documentação do módulo site.

Nota

Certas opções de linha de comando podem afetar ainda mais os cálculos de caminho. Veja -E, -I, -s e -S para mais detalhes.

Ambientes virtuais

Se Python for executado em um ambiente virtual (conforme descrito em Ambientes virtuais e pacotes), então prefix e exec_prefix são específicos para o ambiente virtual.

Se um arquivo pyvenv.cfg for encontrado juntamente com o principal executável, ou no diretório um nível acima do executável, as seguintes variações se aplicam:

Se home é um caminho absoluto e PYTHONHOME não está definido, o caminho é usado ao invés do caminho ao principal executável quando deduzindo prefix e exec_prefix.

Arquivos _pth

Para substituir completamente sys.path, crie um arquivo ._pth com o mesmo nome da biblioteca compartilhada ou executável (python._pth ou python311._pth). O caminho da biblioteca compartilhada é sempre conhecido no Windows, mas pode não estar disponível em outras plataformas. No arquivo ._pth, especifique uma linha para cada caminho a ser adicionado a sys.path. O arquivo baseado no nome da biblioteca compartilhada substitui aquele baseado no executável, o que permite que os caminhos sejam restritos para qualquer programa que carregue o tempo de execução, se desejado.

Quando o arquivo existe, todos os registros e variáveis de ambiente são ignorados, o modo isolado é ativado, e site não é importado a menos que uma linha do arquivo especifique import site. Caminhos em branco e linhas começando com # são ignorados. Cada caminho pode ser absoluto ou relativo ao local do arquivo. Instruções de importação diferente de site não são permitidas, e código arbitrário não pode ser especificado.

Note que arquivos .pth (sem o sublinhado no início) serão processados normalmente pelo módulo site quando import site tiver sido especificado.

Python embarcado

Se o Python estiver incorporado em outra aplicação, Py_InitializeFromConfig() e a estrutura PyConfig podem ser usados para inicializar o Python. Os detalhes específicos do caminho estão descritos em Python Path Configuration.

Ver também

Encontrando módulos para observações detalhadas do Windows.

Utilizando Python em plataformas Unix para detalhes do Unix.

Serviços da Linguagem Python

O Python fornece vários módulos para ajudar a trabalhar com a linguagem Python. Estes módulos suportam tokenizing, parsing, análise de sintaxe, disassembly de bytecode e várias outras facilidades.

Esses módulos incluem:

ast — Árvores de Sintaxe Abstrata

Gramática Abstrata

Classes de nós

AST

_fields

_field_types

lineno

col_offset

end_lineno

end_col_offset

Nós raízes

Module

Expression

Interactive

FunctionType

Literais

Constant

FormattedValue

JoinedStr

List

Tuple

Set

Dict

Variáveis

Name

Load

Store

Del

Starred

Expressões

Expr

UnaryOp

UAdd

USub

Not

Invert

BinOp

Add

Sub

Mult

Div

FloorDiv

Mod

Pow

LShift

RShift

BitOr

BitXor

BitAnd

MatMult

BoolOp

And

Or

Compare

Eq

NotEq

Lt

LtE

Gt

GtE

Is

IsNot

In

NotIn

Call

keyword

IfExp

Attribute

NamedExpr

Subscrição

Subscript

Slice

Compreensões

ListComp

SetComp

GeneratorExp

DictComp

comprehension

Instruções

Assign

type_comment

AnnAssign

AugAssign

Raise

Assert

Delete

Pass

TypeAlias

Importações

Import

ImportFrom

alias

Fluxo de controle

If

For

type_comment

While

Break

Continue

Try

TryStar

ExceptHandler

With

type_comment

withitem

Correspondência de padrões

Match

match_case

MatchValue

MatchSingleton

MatchSequence

MatchStar

MatchMapping

MatchClass

MatchAs

MatchOr

Parâmetros de tipo

TypeVar

ParamSpec

TypeVarTuple

Definições de função e classe

FunctionDef

type_comment

Lambda

arguments

arg

type_comment

Return

Yield

YieldFrom

Global

Nonlocal

ClassDef

Async e await

AsyncFunctionDef

Await

AsyncFor

AsyncWith

Auxiliares de ast

parse()

unparse()

literal_eval()

get_docstring()

get_source_segment()

fix_missing_locations()

increment_lineno()

copy_location()

iter_fields()

iter_child_nodes()

walk()

NodeVisitor

visit()

generic_visit()

visit_Constant()

NodeTransformer

dump()

Sinalizadores do compilador

PyCF_ALLOW_TOP_LEVEL_AWAIT

PyCF_ONLY_AST

PyCF_OPTIMIZED_AST

PyCF_TYPE_COMMENTS

Uso na linha de comando

symtable — Acesso a tabela de símbolos do compilador

Generating Symbol Tables

symtable()

Examining Symbol Tables

SymbolTableType

MODULE

FUNCTION

CLASS

ANNOTATION

TYPE_ALIAS

TYPE_PARAMETERS

TYPE_VARIABLE

SymbolTable

get_type()

get_id()

get_name()

get_lineno()

is_optimized()

is_nested()

has_children()

get_identifiers()

lookup()

get_symbols()

get_children()

Function

get_parameters()

get_locals()

get_globals()

get_nonlocals()

get_frees()

Class

get_methods()

Symbol

get_name()

is_referenced()

is_imported()

is_parameter()

is_global()

is_nonlocal()

is_declared_global()

is_local()

is_annotated()

is_free()

is_assigned()

is_namespace()

get_namespaces()

get_namespace()

Uso na linha de comando

token — Constantes usadas com árvores de análises do Python

tok_name

ISTERMINAL()

ISNONTERMINAL()

ISEOF()

ENDMARKER

NAME

NUMBER

STRING

NEWLINE

INDENT

DEDENT

LPAR

RPAR

LSQB

RSQB

COLON

COMMA

SEMI

PLUS

MINUS

STAR

SLASH

VBAR

AMPER

LESS

GREATER

EQUAL

DOT

PERCENT

LBRACE

RBRACE

EQEQUAL

NOTEQUAL

LESSEQUAL

GREATEREQUAL

TILDE

CIRCUMFLEX

LEFTSHIFT

RIGHTSHIFT

DOUBLESTAR

PLUSEQUAL

MINEQUAL

STAREQUAL

SLASHEQUAL

PERCENTEQUAL

AMPEREQUAL

VBAREQUAL

CIRCUMFLEXEQUAL

LEFTSHIFTEQUAL

RIGHTSHIFTEQUAL

DOUBLESTAREQUAL

DOUBLESLASH

DOUBLESLASHEQUAL

AT

ATEQUAL

RARROW

ELLIPSIS

COLONEQUAL

EXCLAMATION

OP

TYPE_IGNORE

TYPE_COMMENT

SOFT_KEYWORD

FSTRING_START

FSTRING_MIDDLE

FSTRING_END

COMMENT

NL

ERRORTOKEN

N_TOKENS

NT_OFFSET

ENCODING

keyword — Testando palavras reservadas do Python

iskeyword()

kwlist

issoftkeyword()

softkwlist

tokenize — Tokenizer for Python source

Tokenizando entradas

tokenize()

generate_tokens()

untokenize()

detect_encoding()

open()

TokenError

Uso na linha de comando

Exemplos

tabnanny — Detecção de indentação ambígua

check()

verbose

filename_only

NannyNag

process_tokens()

pyclbr — Suporte a navegador de módulos do Python

readmodule()

readmodule_ex()

Objetos Function

Function

file

module

name

lineno

parent

children

is_async

Objetos Class

Class

file

module

name

lineno

parent

children

super

methods

py_compile — Compila arquivos fonte do Python

PyCompileError

compile()

PycInvalidationMode

TIMESTAMP

CHECKED_HASH

UNCHECKED_HASH

Interface de Linha de Comando

compileall — Compilar bibliotecas do Python para bytecode

Uso na linha de comando

Funções públicas

compile_dir()

compile_file()

compile_path()

dis — Disassembler de bytecode do Python

Interface de linha de comando

Análise de bytecode

Bytecode

from_traceback()

codeobj

first_line

dis()

info()

Funções de análise

code_info()

show_code()

dis()

disassemble()

get_instructions()

findlinestarts()

findlabels()

stack_effect()

Instruções em bytecode do Python

Instruction

opcode

opname

baseopcode

baseopname

arg

oparg

argval

argrepr

offset

start_offset

cache_offset

end_offset

starts_line

line_number

is_jump_target

jump_target

positions

Positions

lineno

end_lineno

col_offset

end_col_offset

Opcode collections

opname

opmap

cmp_op

hasarg

hasconst

hasfree

hasname

hasjump

haslocal

hascompare

hasexc

hasjrel

hasjabs

pickletools — Ferramentas para desenvolvedores pickle

Uso na linha de comando

Opções da linha de comando

Interface programática

dis()

genops()

optimize()

ast — Árvores de Sintaxe Abstrata

Código-fonte: Lib/ast.py [https://github.com/python/cpython/tree/3.13/Lib/ast.py]

O módulo ast ajuda as aplicações Python a processar árvores da gramática de sintaxe abstrata do Python. A sintaxe abstrata em si pode mudar em cada lançamento do Python; este módulo ajuda a descobrir programaticamente como é a gramática atual.

Uma árvore de sintaxe abstrata pode ser gerada passando ast.PyCF_ONLY_AST como um sinalizador para a função embutida compile(), ou usando o auxiliar parse() fornecido neste módulo. O resultado será uma árvore de objetos cujas classes herdam de ast.AST. Uma árvore de sintaxe abstrata pode ser compilada em um objeto código Python usando a função embutida compile().

Gramática Abstrata

A gramática abstrata está atualmente definida da seguinte forma:

-- ASDL's 4 builtin types are:
-- identifier, int, string, constant

module Python
{
    mod = Module(stmt* body, type_ignore* type_ignores)
        | Interactive(stmt* body)
        | Expression(expr body)
        | FunctionType(expr* argtypes, expr returns)

    stmt = FunctionDef(identifier name, arguments args,
                       stmt* body, expr* decorator_list, expr? returns,
                       string? type_comment, type_param* type_params)
          | AsyncFunctionDef(identifier name, arguments args,
                             stmt* body, expr* decorator_list, expr? returns,
                             string? type_comment, type_param* type_params)

          | ClassDef(identifier name,
             expr* bases,
             keyword* keywords,
             stmt* body,
             expr* decorator_list,
             type_param* type_params)
          | Return(expr? value)

          | Delete(expr* targets)
          | Assign(expr* targets, expr value, string? type_comment)
          | TypeAlias(expr name, type_param* type_params, expr value)
          | AugAssign(expr target, operator op, expr value)
          -- 'simple' indicates that we annotate simple name without parens
          | AnnAssign(expr target, expr annotation, expr? value, int simple)

          -- use 'orelse' because else is a keyword in target languages
          | For(expr target, expr iter, stmt* body, stmt* orelse, string? type_comment)
          | AsyncFor(expr target, expr iter, stmt* body, stmt* orelse, string? type_comment)
          | While(expr test, stmt* body, stmt* orelse)
          | If(expr test, stmt* body, stmt* orelse)
          | With(withitem* items, stmt* body, string? type_comment)
          | AsyncWith(withitem* items, stmt* body, string? type_comment)

          | Match(expr subject, match_case* cases)

          | Raise(expr? exc, expr? cause)
          | Try(stmt* body, excepthandler* handlers, stmt* orelse, stmt* finalbody)
          | TryStar(stmt* body, excepthandler* handlers, stmt* orelse, stmt* finalbody)
          | Assert(expr test, expr? msg)

          | Import(alias* names)
          | ImportFrom(identifier? module, alias* names, int? level)

          | Global(identifier* names)
          | Nonlocal(identifier* names)
          | Expr(expr value)
          | Pass | Break | Continue

          -- col_offset is the byte offset in the utf8 string the parser uses
          attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

          -- BoolOp() can use left & right?
    expr = BoolOp(boolop op, expr* values)
         | NamedExpr(expr target, expr value)
         | BinOp(expr left, operator op, expr right)
         | UnaryOp(unaryop op, expr operand)
         | Lambda(arguments args, expr body)
         | IfExp(expr test, expr body, expr orelse)
         | Dict(expr* keys, expr* values)
         | Set(expr* elts)
         | ListComp(expr elt, comprehension* generators)
         | SetComp(expr elt, comprehension* generators)
         | DictComp(expr key, expr value, comprehension* generators)
         | GeneratorExp(expr elt, comprehension* generators)
         -- the grammar constrains where yield expressions can occur
         | Await(expr value)
         | Yield(expr? value)
         | YieldFrom(expr value)
         -- need sequences for compare to distinguish between
         -- x < 4 < 3 and (x < 4) < 3
         | Compare(expr left, cmpop* ops, expr* comparators)
         | Call(expr func, expr* args, keyword* keywords)
         | FormattedValue(expr value, int conversion, expr? format_spec)
         | JoinedStr(expr* values)
         | Constant(constant value, string? kind)

         -- the following expression can appear in assignment context
         | Attribute(expr value, identifier attr, expr_context ctx)
         | Subscript(expr value, expr slice, expr_context ctx)
         | Starred(expr value, expr_context ctx)
         | Name(identifier id, expr_context ctx)
         | List(expr* elts, expr_context ctx)
         | Tuple(expr* elts, expr_context ctx)

         -- can appear only in Subscript
         | Slice(expr? lower, expr? upper, expr? step)

          -- col_offset is the byte offset in the utf8 string the parser uses
          attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

    expr_context = Load | Store | Del

    boolop = And | Or

    operator = Add | Sub | Mult | MatMult | Div | Mod | Pow | LShift
                 | RShift | BitOr | BitXor | BitAnd | FloorDiv

    unaryop = Invert | Not | UAdd | USub

    cmpop = Eq | NotEq | Lt | LtE | Gt | GtE | Is | IsNot | In | NotIn

    comprehension = (expr target, expr iter, expr* ifs, int is_async)

    excepthandler = ExceptHandler(expr? type, identifier? name, stmt* body)
                    attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

    arguments = (arg* posonlyargs, arg* args, arg? vararg, arg* kwonlyargs,
                 expr* kw_defaults, arg? kwarg, expr* defaults)

    arg = (identifier arg, expr? annotation, string? type_comment)
           attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

    -- keyword arguments supplied to call (NULL identifier for **kwargs)
    keyword = (identifier? arg, expr value)
               attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

    -- import name with optional 'as' alias.
    alias = (identifier name, identifier? asname)
             attributes (int lineno, int col_offset, int? end_lineno, int? end_col_offset)

    withitem = (expr context_expr, expr? optional_vars)

    match_case = (pattern pattern, expr? guard, stmt* body)

    pattern = MatchValue(expr value)
            | MatchSingleton(constant value)
            | MatchSequence(pattern* patterns)
            | MatchMapping(expr* keys, pattern* patterns, identifier? rest)
            | MatchClass(expr cls, pattern* patterns, identifier* kwd_attrs, pattern* kwd_patterns)

            | MatchStar(identifier? name)
            -- The optional "rest" MatchMapping parameter handles capturing extra mapping keys

            | MatchAs(pattern? pattern, identifier? name)
            | MatchOr(pattern* patterns)

             attributes (int lineno, int col_offset, int end_lineno, int end_col_offset)

    type_ignore = TypeIgnore(int lineno, string tag)

    type_param = TypeVar(identifier name, expr? bound, expr? default_value)
               | ParamSpec(identifier name, expr? default_value)
               | TypeVarTuple(identifier name, expr? default_value)
               attributes (int lineno, int col_offset, int end_lineno, int end_col_offset)
}

Classes de nós

class ast.AST

Esta é a base de todas as classes de nós de AST. As classes de nós reais são derivadas do arquivo Parser/Python.asdl, que é reproduzido acima. Elas são definidas no módulo C _ast e reexportadas no ast.

Há uma classe definida para cada símbolo do lado esquerdo na gramática abstrata (por exemplo, ast.stmt ou ast.expr). Além disso, existe uma classe definida para cada construtor no lado direito; essas classes herdam das classes para as árvores do lado esquerdo. Por exemplo, ast.BinOp herda de ast.expr. Para regras de produção com alternativas (“somas”), a classe do lado esquerdo é abstrata: apenas instâncias de nós construtores específicos são criadas.

_fields

Cada classe concreta possui um atributo _fields que fornece os nomes de todos os nós filhos.

Cada instância de uma classe concreta tem um atributo para cada nó filho, do tipo definido na gramática. Por exemplo, as instâncias ast.BinOp possuem um atributo left do tipo ast.expr.

Se estes atributos estiverem marcados como opcionais na gramática (usando um ponto de interrogação), o valor pode ser None. Se os atributos puderem ter valor zero ou mais (marcados com um asterisco), os valores serão representados como listas do Python. Todos os atributos possíveis devem estar presentes e ter valores válidos ao compilar uma AST com compile().

_field_types

O atributo _field_types em cada classe concreta é um dicionário que mapeia nomes de campos (como também listado em _fields) para seus tipos.

>>> ast.TypeVar._field_types
{'name': <class 'str'>, 'bound': ast.expr | None, 'default_value': ast.expr | None}

Adicionado na versão 3.13.

lineno

col_offset

end_lineno

end_col_offset

As instâncias das subclasses ast.expr e ast.stmt possuem os atributos lineno, col_offset, end_lineno e end_col_offset. O lineno e end_lineno são o primeiro e o último número de linha do intervalo do texto de origem (indexado em 1, para que a primeira linha seja a linha 1) e o col_offset e end_col_offset são os deslocamentos de byte UTF-8 correspondentes do primeiro e do último tokens que geraram o nó. O deslocamento UTF-8 é registrado porque o analisador sintático usa UTF-8 internamente.

Observe que as posições finais não são exigidas pelo compilador e, portanto, são opcionais. O deslocamento final está após o último símbolo, por exemplo, é possível obter o segmento de origem de um nó de expressão de uma linha usando source_line[node.col_offset : node.end_col_offset].

O construtor de uma classe ast.T analisa seus argumentos da seguinte forma:

Se houver argumentos posicionais, deve haver tantos quanto houver itens em T._fields; eles serão atribuídos como atributos desses nomes.

Se houver argumentos nomeados, eles definirão os atributos dos mesmos nomes para os valores fornecidos.

Por exemplo, para criar e popular um nó ast.UnaryOp, você poderia usar

node = ast.UnaryOp(ast.USub(), ast.Constant(5, lineno=0, col_offset=0),
                   lineno=0, col_offset=0)

Se um campo que é opcional na gramática for omitido do construtor, o padrão é None. Se um campo de lista for omitido, o padrão será a lista vazia. Se um campo do tipo ast.expr_context for omitido, o padrão é Load(). Se qualquer outro campo for omitido, uma DeprecationWarning será levantada e o nó AST não terá este campo. No Python 3.15, esta condição levantará um erro.

Alterado na versão 3.8: A classe ast.Constant é agora usada para todas as constantes.

Alterado na versão 3.9: Os índices simples são representados por seus valores, as fatias estendidas são representadas como tuplas.

Obsoleto desde a versão 3.8: Classes antigas ast.Num, ast.Str, ast.Bytes, ast.NameConstant e ast.Ellipsis ainda estão disponíveis, mas serão removidos em versões futuras do Python. Enquanto isso, instanciá-las retornará uma instância de uma classe diferente.

Obsoleto desde a versão 3.9: Classes antigas ast.Index e ast.ExtSlice ainda estão disponíveis, mas serão removidos em versões futuras do Python. Enquanto isso, instanciá-las retornará uma instância de uma classe diferente.

Deprecated since version 3.13, will be removed in version 3.15: Versões anteriores do Python permitiam a criação de nós AST sem campos obrigatórios. Da mesma forma, os construtores do nó AST permitiam argumentos nomeados arbitrários que eram definidos como atributos do nó AST, mesmo que não correspondessem a nenhum dos campos do nó AST. Este comportamento foi descontinuado e será removido no Python 3.15.

Nota

As descrições das classes de nós específicas exibidas aqui foram inicialmente adaptadas do fantástico projeto Green Tree Snakes [https://greentreesnakes.readthedocs.io/en/latest/] e de todos os seus contribuidores.

Nós raízes

class ast.Module(body, type_ignores)

Um módulo Python, como entrada de arquivo. Tipo de nó gerado por ast.parse() com mode no padrão "exec".

body is a list of the module’s Instruções.

type_ignores is a list of the module’s type ignore comments; see ast.parse() for more details.

>>> print(ast.dump(ast.parse('x = 1'), indent=4))
Module(
    body=[
        Assign(
            targets=[
                Name(id='x', ctx=Store())],
            value=Constant(value=1))])

class ast.Expression(body)

Uma única entrada de expressão Python. Tipo de nó gerado por ast.parse() quando mode é "eval".

body is a single node, one of the expression types.

>>> print(ast.dump(ast.parse('123', mode='eval'), indent=4))
Expression(
    body=Constant(value=123))

class ast.Interactive(body)

Uma única entrada interativa, como em Modo interativo. Tipo de nó gerado por ast.parse() quando mode é "single".

body is a list of statement nodes.

>>> print(ast.dump(ast.parse('x = 1; y = 2', mode='single'), indent=4))
Interactive(
    body=[
        Assign(
            targets=[
                Name(id='x', ctx=Store())],
            value=Constant(value=1)),
        Assign(
            targets=[
                Name(id='y', ctx=Store())],
            value=Constant(value=2))])

class ast.FunctionType(argtypes, returns)

Uma representação de comentários de tipo antigo para funções, já que as versões do Python anteriores a 3.5 não davam suporte às anotações da PEP 484 [https://peps.python.org/pep-0484/]. Tipo de nó gerado por ast.parse() quando mode é "func_type".

Esses comentários de tipo ficariam assim:

def sum_two_number(a, b):
    # type: (int, int) -> int
    return a + b

argtypes is a list of expression nodes.

returns is a single expression node.

>>> print(ast.dump(ast.parse('(int, str) -> List[int]', mode='func_type'), indent=4))
FunctionType(
    argtypes=[
        Name(id='int', ctx=Load()),
        Name(id='str', ctx=Load())],
    returns=Subscript(
        value=Name(id='List', ctx=Load()),
        slice=Name(id='int', ctx=Load()),
        ctx=Load()))

Adicionado na versão 3.8.

Literais

class ast.Constant(value)

Um valor constante. O atributo value do literal Constant contém o objeto Python que ele representa. Os valores representados podem ser tipos simples como um número, string ou None, mas também tipos de contêineres imutáveis (tuplas e frozensets) se todos os seus elementos forem constantes.

>>> print(ast.dump(ast.parse('123', mode='eval'), indent=4))
Expression(
    body=Constant(value=123))

class ast.FormattedValue(value, conversion, format_spec)

Nó que representa um único campo de formatação em uma f-string. Se a string contiver um único campo de formatação e nada mais, o nó poderá ser isolado, caso contrário ele aparecerá em JoinedStr.

value é qualquer nó de expressão (como um literal, uma variável ou uma chamada de função).

conversion é um inteiro:

-1: sem formatação

115: !s formatação de string

114: !r formatação de repr

97: !a formatação ascii

format_spec é um nó JoinedStr que representa a formatação do valor, ou None se nenhum formato foi especificado. Tanto conversion quanto format_spec podem ser configurados ao mesmo tempo.

class ast.JoinedStr(values)

Uma f-string, compreendendo uma série de nós FormattedValue e Constant.

>>> print(ast.dump(ast.parse('f"sin({a}) is {sin(a):.3}"', mode='eval'), indent=4))
Expression(
    body=JoinedStr(
        values=[
            Constant(value='sin('),
            FormattedValue(
                value=Name(id='a', ctx=Load()),
                conversion=-1),
            Constant(value=') is '),
            FormattedValue(
                value=Call(
                    func=Name(id='sin', ctx=Load()),
                    args=[
                        Name(id='a', ctx=Load())]),
                conversion=-1,
                format_spec=JoinedStr(
                    values=[
                        Constant(value='.3')]))]))

class ast.List(elts, ctx)

class ast.Tuple(elts, ctx)

Uma lista ou tupla. elts contém uma lista de nós que representam os elementos. ctx é Store se o contêiner for um alvo de atribuição (ou seja, (x,y)=algumacoisa), e Load caso contrário.

>>> print(ast.dump(ast.parse('[1, 2, 3]', mode='eval'), indent=4))
Expression(
    body=List(
        elts=[
            Constant(value=1),
            Constant(value=2),
            Constant(value=3)],
        ctx=Load()))
>>> print(ast.dump(ast.parse('(1, 2, 3)', mode='eval'), indent=4))
Expression(
    body=Tuple(
        elts=[
            Constant(value=1),
            Constant(value=2),
            Constant(value=3)],
        ctx=Load()))

class ast.Set(elts)

Um conjunto. elts contém uma lista de nós que representam os elementos do conjunto.

>>> print(ast.dump(ast.parse('{1, 2, 3}', mode='eval'), indent=4))
Expression(
    body=Set(
        elts=[
            Constant(value=1),
            Constant(value=2),
            Constant(value=3)]))

class ast.Dict(keys, values)

Um dicionário. keys e values contêm listas de nós que representam as chaves e os valores respectivamente, em ordem correspondente (o que seria retornado ao chamar dictionary.keys() e dictionary.values()).

Ao desempacotar o dicionário usando literais de dicionário, a expressão a ser expandida vai para a lista values, com um None na posição correspondente em keys.

>>> print(ast.dump(ast.parse('{"a":1, **d}', mode='eval'), indent=4))
Expression(
    body=Dict(
        keys=[
            Constant(value='a'),
            None],
        values=[
            Constant(value=1),
            Name(id='d', ctx=Load())]))

Variáveis

class ast.Name(id, ctx)

Um nome de variável. id contém o nome como uma string e ctx é um dos seguintes tipos.

class ast.Load

class ast.Store

class ast.Del

As referências de variáveis podem ser usadas para carregar o valor de uma variável, para atribuir um novo valor a ela ou para excluí-la. As referências de variáveis recebem um contexto para distinguir esses casos.

>>> print(ast.dump(ast.parse('a'), indent=4))
Module(
    body=[
        Expr(
            value=Name(id='a', ctx=Load()))])

>>> print(ast.dump(ast.parse('a = 1'), indent=4))
Module(
    body=[
        Assign(
            targets=[
                Name(id='a', ctx=Store())],
            value=Constant(value=1))])

>>> print(ast.dump(ast.parse('del a'), indent=4))
Module(
    body=[
        Delete(
            targets=[
                Name(id='a', ctx=Del())])])

class ast.Starred(value, ctx)

Uma referência de variável *var. value contém a variável, normalmente um nó Name. Este tipo deve ser usado ao construir um nó Call com *args.

>>> print(ast.dump(ast.parse('a, *b = it'), indent=4))
Module(
    body=[
        Assign(
            targets=[
                Tuple(
                    elts=[
                        Name(id='a', ctx=Store()),
                        Starred(
                            value=Name(id='b', ctx=Store()),
                            ctx=Store())],
                    ctx=Store())],
            value=Name(id='it', ctx=Load()))])

Expressões

class ast.Expr(value)

Quando uma expressão, como uma chamada de função, aparece como uma instrução por si só com seu valor de retorno não usado ou armazenado, ela é encapsulada neste contêiner. value contém um dos outros nós nesta seção, um nó Constant, um Name, um Lambda, um Yield ou YieldFrom.

>>> print(ast.dump(ast.parse('-a'), indent=4))
Module(
    body=[
        Expr(
            value=UnaryOp(
                op=USub(),
                operand=Name(id='a', ctx=Load())))])

class ast.UnaryOp(op, operand)

Uma operação unária. op é o operador e operand qualquer nó de expressão.

class ast.UAdd

class ast.USub

class ast.Not

class ast.Invert

Tokens de operador unário. Not é a palavra reservada not, Invert é o operador ~.

>>> print(ast.dump(ast.parse('not x', mode='eval'), indent=4))
Expression(
    body=UnaryOp(
        op=Not(),
        operand=Name(id='x', ctx=Load())))

class ast.BinOp(left, op, right)

Uma operação binária (como adição ou divisão). op é o operador, e left e right são quaisquer nós de expressão.

>>> print(ast.dump(ast.parse('x + y', mode='eval'), indent=4))
Expression(
    body=BinOp(
        left=Name(id='x', ctx=Load()),
        op=Add(),
        right=Name(id='y', ctx=Load())))

class ast.Add

class ast.Sub

class ast.Mult

class ast.Div

class ast.FloorDiv

class ast.Mod

class ast.Pow

class ast.LShift

class ast.RShift

class ast.BitOr

class ast.BitXor

class ast.BitAnd

class ast.MatMult

Tokens de operador binário.

class ast.BoolOp(op, values)

Uma operação booleana, ‘or’ ou ‘and’. op é Or ou And. values são os valores envolvidos. Operações consecutivas com o mesmo operador, como a or b or c, são recolhidas em um nó com vários valores.

Isso não inclui not, que é um UnaryOp.

>>> print(ast.dump(ast.parse('x or y', mode='eval'), indent=4))
Expression(
    body=BoolOp(
        op=Or(),
        values=[
            Name(id='x', ctx=Load()),
            Name(id='y', ctx=Load())]))

class ast.And

class ast.Or

Tokens de operador booleano.

class ast.Compare(left, ops, comparators)

Uma comparação de dois ou mais valores. left é o primeiro valor na comparação, ops a lista de operadores e comparators a lista de valores após o primeiro elemento na comparação.

>>> print(ast.dump(ast.parse('1 <= a < 10', mode='eval'), indent=4))
Expression(
    body=Compare(
        left=Constant(value=1),
        ops=[
            LtE(),
            Lt()],
        comparators=[
            Name(id='a', ctx=Load()),
            Constant(value=10)]))

class ast.Eq

class ast.NotEq

class ast.Lt

class ast.LtE

class ast.Gt

class ast.GtE

class ast.Is

class ast.IsNot

class ast.In

class ast.NotIn

Tokens de operador de comparação.

class ast.Call(func, args, keywords)

Uma chamada de função. func é a função, que geralmente será um objeto Name ou Attribute. Dos argumentos:

args contém uma lista dos argumentos passados ​​por posição.

keywords contém uma lista de objetos keyword representando argumentos passados como nomeados.

Os argumentos args e keywords são opcionais e padrão para listas vazias.

>>> print(ast.dump(ast.parse('func(a, b=c, *d, **e)', mode='eval'), indent=4))
Expression(
    body=Call(
        func=Name(id='func', ctx=Load()),
        args=[
            Name(id='a', ctx=Load()),
            Starred(
                value=Name(id='d', ctx=Load()),
                ctx=Load())],
        keywords=[
            keyword(
                arg='b',
                value=Name(id='c', ctx=Load())),
            keyword(
                value=Name(id='e', ctx=Load()))]))

class ast.keyword(arg, value)

Um argumento nomeado para uma chamada de função ou definição de classe. arg é uma string bruta do nome do parâmetro, value é um nó para passar.

class ast.IfExp(test, body, orelse)

Uma expressão como a if b else c. Cada campo contém um único nó, portanto, no exemplo a seguir, todos os três são nós Name.

>>> print(ast.dump(ast.parse('a if b else c', mode='eval'), indent=4))
Expression(
    body=IfExp(
        test=Name(id='b', ctx=Load()),
        body=Name(id='a', ctx=Load()),
        orelse=Name(id='c', ctx=Load())))

class ast.Attribute(value, attr, ctx)

Acesso a atributo como, por exemplo, d.keys. value é um nó, normalmente um Name. attr é uma string simples fornecendo o nome do atributo, e ctx é Load, Store ou Del de acordo com como o atributo é acionado sobre.

>>> print(ast.dump(ast.parse('snake.colour', mode='eval'), indent=4))
Expression(
    body=Attribute(
        value=Name(id='snake', ctx=Load()),
        attr='colour',
        ctx=Load()))

class ast.NamedExpr(target, value)

Uma expressão nomeada. Este nó de AST é produzido pelo operador de expressões de atribuição (também conhecido como operador morsa). Ao contrário do nó Assign no qual o primeiro argumento pode ser múltiplos nós, neste caso ambos target e value devem ser nós únicos.

>>> print(ast.dump(ast.parse('(x := 4)', mode='eval'), indent=4))
Expression(
    body=NamedExpr(
        target=Name(id='x', ctx=Store()),
        value=Constant(value=4)))

Adicionado na versão 3.8.

Subscrição

class ast.Subscript(value, slice, ctx)

Um subscrito, como l[1]. value é o objeto subscrito (geralmente sequência ou mapeamento). slice é um índice, fatia ou chave. Pode ser uma Tuple e conter uma Slice. ctx é Load, Store ou Del de acordo com a ação realizada com o subscrito.

>>> print(ast.dump(ast.parse('l[1:2, 3]', mode='eval'), indent=4))
Expression(
    body=Subscript(
        value=Name(id='l', ctx=Load()),
        slice=Tuple(
            elts=[
                Slice(
                    lower=Constant(value=1),
                    upper=Constant(value=2)),
                Constant(value=3)],
            ctx=Load()),
        ctx=Load()))

class ast.Slice(lower, upper, step)

Fatiamento regular (no formato lower:upper ou lower:upper:step). Pode ocorrer apenas dentro do campo slice de Subscript, diretamente ou como um elemento de Tuple.

>>> print(ast.dump(ast.parse('l[1:2]', mode='eval'), indent=4))
Expression(
    body=Subscript(
        value=Name(id='l', ctx=Load()),
        slice=Slice(
            lower=Constant(value=1),
            upper=Constant(value=2)),
        ctx=Load()))

Compreensões

class ast.ListComp(elt, generators)

class ast.SetComp(elt, generators)

class ast.GeneratorExp(elt, generators)

class ast.DictComp(key, value, generators)

Lista e define compreensões, expressões geradoras e compreensões de dicionário. elt (ou key e value) é um único nó que representa a parte que será avaliada para cada item.

generators é uma lista de nós de comprehension.

>>> print(ast.dump(
...     ast.parse('[x for x in numbers]', mode='eval'),
...     indent=4,
... ))
Expression(
    body=ListComp(
        elt=Name(id='x', ctx=Load()),
        generators=[
            comprehension(
                target=Name(id='x', ctx=Store()),
                iter=Name(id='numbers', ctx=Load()),
                is_async=0)]))
>>> print(ast.dump(
...     ast.parse('{x: x**2 for x in numbers}', mode='eval'),
...     indent=4,
... ))
Expression(
    body=DictComp(
        key=Name(id='x', ctx=Load()),
        value=BinOp(
            left=Name(id='x', ctx=Load()),
            op=Pow(),
            right=Constant(value=2)),
        generators=[
            comprehension(
                target=Name(id='x', ctx=Store()),
                iter=Name(id='numbers', ctx=Load()),
                is_async=0)]))
>>> print(ast.dump(
...     ast.parse('{x for x in numbers}', mode='eval'),
...     indent=4,
... ))
Expression(
    body=SetComp(
        elt=Name(id='x', ctx=Load()),
        generators=[
            comprehension(
                target=Name(id='x', ctx=Store()),
                iter=Name(id='numbers', ctx=Load()),
                is_async=0)]))

class ast.comprehension(target, iter, ifs, is_async)

Uma cláusula for em uma compreensão. target é a referência a ser usada para cada elemento - normalmente um nó Name ou Tuple. iter é o objeto sobre o qual iterar. ifs é uma lista de expressões de teste: cada cláusula for pode ter múltiplos ifs.

is_async indica que uma compreensão é assíncrona (usando um async for em vez de for). O valor é um número inteiro (0 ou 1).

>>> print(ast.dump(ast.parse('[ord(c) for line in file for c in line]', mode='eval'),
...                indent=4)) # Multiple comprehensions in one.
Expression(
    body=ListComp(
        elt=Call(
            func=Name(id='ord', ctx=Load()),
            args=[
                Name(id='c', ctx=Load())]),
        generators=[
            comprehension(
                target=Name(id='line', ctx=Store()),
                iter=Name(id='file', ctx=Load()),
                is_async=0),
            comprehension(
                target=Name(id='c', ctx=Store()),
                iter=Name(id='line', ctx=Load()),
                is_async=0)]))

>>> print(ast.dump(ast.parse('(n**2 for n in it if n>5 if n<10)', mode='eval'),
...                indent=4)) # generator comprehension
Expression(
    body=GeneratorExp(
        elt=BinOp(
            left=Name(id='n', ctx=Load()),
            op=Pow(),
            right=Constant(value=2)),
        generators=[
            comprehension(
                target=Name(id='n', ctx=Store()),
                iter=Name(id='it', ctx=Load()),
                ifs=[
                    Compare(
                        left=Name(id='n', ctx=Load()),
                        ops=[
                            Gt()],
                        comparators=[
                            Constant(value=5)]),
                    Compare(
                        left=Name(id='n', ctx=Load()),
                        ops=[
                            Lt()],
                        comparators=[
                            Constant(value=10)])],
                is_async=0)]))

>>> print(ast.dump(ast.parse('[i async for i in soc]', mode='eval'),
...                indent=4)) # Async comprehension
Expression(
    body=ListComp(
        elt=Name(id='i', ctx=Load()),
        generators=[
            comprehension(
                target=Name(id='i', ctx=Store()),
                iter=Name(id='soc', ctx=Load()),
                is_async=1)]))

Instruções

class ast.Assign(targets, value, type_comment)

Uma atribuição. targets é uma lista de nós e value é um único nó.

Vários nós em targets representam a atribuição do mesmo valor a cada um. O desempacotamento é representada colocando uma Tuple ou List dentro de targets.

type_comment

type_comment é uma string opcional com a anotação de tipo como comentário.

>>> print(ast.dump(ast.parse('a = b = 1'), indent=4)) # Multiple assignment
Module(
    body=[
        Assign(
            targets=[
                Name(id='a', ctx=Store()),
                Name(id='b', ctx=Store())],
            value=Constant(value=1))])

>>> print(ast.dump(ast.parse('a,b = c'), indent=4)) # Unpacking
Module(
    body=[
        Assign(
            targets=[
                Tuple(
                    elts=[
                        Name(id='a', ctx=Store()),
                        Name(id='b', ctx=Store())],
                    ctx=Store())],
            value=Name(id='c', ctx=Load()))])

class ast.AnnAssign(target, annotation, value, simple)

Uma atribuição com uma anotação de tipo. target é um nó único e pode ser uma classe Name, Attribute ou Subscript. annotation é a anotação, como um nó Constant ou Name. value é um único nó opcional.

simple is always either 0 (indicating a “complex” target) or 1 (indicating a “simple” target). A “simple” target consists solely of a Name node that does not appear between parentheses; all other targets are considered complex. Only simple targets appear in the __annotations__ dictionary of modules and classes.

>>> print(ast.dump(ast.parse('c: int'), indent=4))
Module(
    body=[
        AnnAssign(
            target=Name(id='c', ctx=Store()),
            annotation=Name(id='int', ctx=Load()),
            simple=1)])

>>> print(ast.dump(ast.parse('(a): int = 1'), indent=4)) # Annotation with parenthesis
Module(
    body=[
        AnnAssign(
            target=Name(id='a', ctx=Store()),
            annotation=Name(id='int', ctx=Load()),
            value=Constant(value=1),
            simple=0)])

>>> print(ast.dump(ast.parse('a.b: int'), indent=4)) # Attribute annotation
Module(
    body=[
        AnnAssign(
            target=Attribute(
                value=Name(id='a', ctx=Load()),
                attr='b',
                ctx=Store()),
            annotation=Name(id='int', ctx=Load()),
            simple=0)])

>>> print(ast.dump(ast.parse('a[1]: int'), indent=4)) # Subscript annotation
Module(
    body=[
        AnnAssign(
            target=Subscript(
                value=Name(id='a', ctx=Load()),
                slice=Constant(value=1),
                ctx=Store()),
            annotation=Name(id='int', ctx=Load()),
            simple=0)])

class ast.AugAssign(target, op, value)

Atribuição aumentada, como a += 1. No exemplo a seguir, target é um nó Name para x (com o contexto Store), op é Add, e value é uma Constant com valor para 1.

O atributo target não pode ser da classe Tuple ou List, diferentemente dos alvos de Assign.

>>> print(ast.dump(ast.parse('x += 2'), indent=4))
Module(
    body=[
        AugAssign(
            target=Name(id='x', ctx=Store()),
            op=Add(),
            value=Constant(value=2))])

class ast.Raise(exc, cause)

Uma instrução raise. exc é o objeto de exceção a ser levantado, normalmente uma Call ou Name, ou None para um raise independente. cause é a parte opcional para y em raise x from y.

>>> print(ast.dump(ast.parse('raise x from y'), indent=4))
Module(
    body=[
        Raise(
            exc=Name(id='x', ctx=Load()),
            cause=Name(id='y', ctx=Load()))])

class ast.Assert(test, msg)

Uma asserção. test contém a condição, como um nó Compare. msg contém a mensagem de falha.

>>> print(ast.dump(ast.parse('assert x,y'), indent=4))
Module(
    body=[
        Assert(
            test=Name(id='x', ctx=Load()),
            msg=Name(id='y', ctx=Load()))])

class ast.Delete(targets)

Representa uma instrução del. targets é uma lista de nós, como nós Name, Attribute ou Subscript.

>>> print(ast.dump(ast.parse('del x,y,z'), indent=4))
Module(
    body=[
        Delete(
            targets=[
                Name(id='x', ctx=Del()),
                Name(id='y', ctx=Del()),
                Name(id='z', ctx=Del())])])

class ast.Pass

Uma instrução pass.

>>> print(ast.dump(ast.parse('pass'), indent=4))
Module(
    body=[
        Pass()])

class ast.TypeAlias(name, type_params, value)

Um apelido de tipo criado através da instrução type. name é o nome do apelido, type_params é uma lista de parâmetros de tipo, e value é o valor do apelido do tipo.

>>> print(ast.dump(ast.parse('type Alias = int'), indent=4))
Module(
    body=[
        TypeAlias(
            name=Name(id='Alias', ctx=Store()),
            value=Name(id='int', ctx=Load()))])

Adicionado na versão 3.12.

Outras instruções que são aplicáveis apenas dentro de funções ou laços são descritas em outras seções.

Importações

class ast.Import(names)

Uma instrução de importação. names é uma lista de nós de alias.

>>> print(ast.dump(ast.parse('import x,y,z'), indent=4))
Module(
    body=[
        Import(
            names=[
                alias(name='x'),
                alias(name='y'),
                alias(name='z')])])

class ast.ImportFrom(module, names, level)

Representa from x import y. module é uma string bruta do nome ‘from’, sem quaisquer pontos iniciais, ou None para instruções como from . import foo. level é um número inteiro que contém o nível da importação relativa (0 significa importação absoluta).

>>> print(ast.dump(ast.parse('from y import x,y,z'), indent=4))
Module(
    body=[
        ImportFrom(
            module='y',
            names=[
                alias(name='x'),
                alias(name='y'),
                alias(name='z')],
            level=0)])

class ast.alias(name, asname)

Ambos os parâmetros são strings brutas dos nomes. asname pode ser None se o nome normal for usado.

>>> print(ast.dump(ast.parse('from ..foo.bar import a as b, c'), indent=4))
Module(
    body=[
        ImportFrom(
            module='foo.bar',
            names=[
                alias(name='a', asname='b'),
                alias(name='c')],
            level=2)])

Fluxo de controle

Nota

Cláusulas opcionais como else são armazenadas como uma lista vazia se não estiverem presentes.

class ast.If(test, body, orelse)

Uma instrução if. test contém um único nó, como um nó Compare. body e orelse contêm, cada um, uma lista de nós.

As cláusulas elif não têm uma representação especial no AST, mas aparecem como nós extras de If dentro da seção orelse da cláusula anterior.

>>> print(ast.dump(ast.parse("""
... if x:
...    ...
... elif y:
...    ...
... else:
...    ...
... """), indent=4))
Module(
    body=[
        If(
            test=Name(id='x', ctx=Load()),
            body=[
                Expr(
                    value=Constant(value=Ellipsis))],
            orelse=[
                If(
                    test=Name(id='y', ctx=Load()),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))],
                    orelse=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

class ast.For(target, iter, body, orelse, type_comment)

Um laço for. target contém as variáveis às quais o laço atribui, como um único nó de Name, Tuple, List, Attribute ou Subscript. iter contém o item a ser repetido, novamente como um único nó. body e orelse contêm listas de nós para executar. Aqueles em orelse são executados se o laço terminar normalmente, ao invés de através de uma instrução break.

type_comment

type_comment é uma string opcional com a anotação de tipo como comentário.

>>> print(ast.dump(ast.parse("""
... for x in y:
...     ...
... else:
...     ...
... """), indent=4))
Module(
    body=[
        For(
            target=Name(id='x', ctx=Store()),
            iter=Name(id='y', ctx=Load()),
            body=[
                Expr(
                    value=Constant(value=Ellipsis))],
            orelse=[
                Expr(
                    value=Constant(value=Ellipsis))])])

class ast.While(test, body, orelse)

Um laço while. test contém a condição, como um nó de Compare.

>> print(ast.dump(ast.parse("""
... while x:
...    ...
... else:
...    ...
... """), indent=4))
Module(
    body=[
        While(
            test=Name(id='x', ctx=Load()),
            body=[
                Expr(
                    value=Constant(value=Ellipsis))],
            orelse=[
                Expr(
                    value=Constant(value=Ellipsis))])])

class ast.Break

class ast.Continue

As instruções break e continue.

>>> print(ast.dump(ast.parse("""\
... for a in b:
...     if a > 5:
...         break
...     else:
...         continue
...
... """), indent=4))
Module(
    body=[
        For(
            target=Name(id='a', ctx=Store()),
            iter=Name(id='b', ctx=Load()),
            body=[
                If(
                    test=Compare(
                        left=Name(id='a', ctx=Load()),
                        ops=[
                            Gt()],
                        comparators=[
                            Constant(value=5)]),
                    body=[
                        Break()],
                    orelse=[
                        Continue()])])])

class ast.Try(body, handlers, orelse, finalbody)

Blocos try. Todos os atributos são uma lista de nós a serem executados, exceto handlers, que é uma lista de nós de ExceptHandler.

>>> print(ast.dump(ast.parse("""
... try:
...    ...
... except Exception:
...    ...
... except OtherException as e:
...    ...
... else:
...    ...
... finally:
...    ...
... """), indent=4))
Module(
    body=[
        Try(
            body=[
                Expr(
                    value=Constant(value=Ellipsis))],
            handlers=[
                ExceptHandler(
                    type=Name(id='Exception', ctx=Load()),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                ExceptHandler(
                    type=Name(id='OtherException', ctx=Load()),
                    name='e',
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])],
            orelse=[
                Expr(
                    value=Constant(value=Ellipsis))],
            finalbody=[
                Expr(
                    value=Constant(value=Ellipsis))])])

class ast.TryStar(body, handlers, orelse, finalbody)

Blocos try que são seguidos por cláusulas except*. Os atributos são os mesmos de Try, mas os nós ExceptHandler em handlers são interpretados como blocos except* em vez de except.

>>> print(ast.dump(ast.parse("""
... try:
...    ...
... except* Exception:
...    ...
... """), indent=4))
Module(
    body=[
        TryStar(
            body=[
                Expr(
                    value=Constant(value=Ellipsis))],
            handlers=[
                ExceptHandler(
                    type=Name(id='Exception', ctx=Load()),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.11.

class ast.ExceptHandler(type, name, body)

Uma única cláusula except. type é o tipo de exceção que irá corresponder, normalmente um nó de Name (ou None para uma cláusula abrangente except:). name é uma string bruta para o nome conter a exceção, ou None se a cláusula não tiver as foo. body é uma lista de nós.

>>> print(ast.dump(ast.parse("""\
... try:
...     a + 1
... except TypeError:
...     pass
... """), indent=4))
Module(
    body=[
        Try(
            body=[
                Expr(
                    value=BinOp(
                        left=Name(id='a', ctx=Load()),
                        op=Add(),
                        right=Constant(value=1)))],
            handlers=[
                ExceptHandler(
                    type=Name(id='TypeError', ctx=Load()),
                    body=[
                        Pass()])])])

class ast.With(items, body, type_comment)

Um bloco with. items é uma lista de nós withitem representando os gerenciadores de contexto, e body é o bloco indentado dentro do contexto.

type_comment

type_comment é uma string opcional com a anotação de tipo como comentário.

class ast.withitem(context_expr, optional_vars)

Um único gerenciador de contexto em um bloco with. context_expr é o gerenciador de contexto, geralmente um nó de Call. optional_vars é um Name, Tuple ou List para a parte as foo, ou None se não for usado.

>>> print(ast.dump(ast.parse("""\
... with a as b, c as d:
...    something(b, d)
... """), indent=4))
Module(
    body=[
        With(
            items=[
                withitem(
                    context_expr=Name(id='a', ctx=Load()),
                    optional_vars=Name(id='b', ctx=Store())),
                withitem(
                    context_expr=Name(id='c', ctx=Load()),
                    optional_vars=Name(id='d', ctx=Store()))],
            body=[
                Expr(
                    value=Call(
                        func=Name(id='something', ctx=Load()),
                        args=[
                            Name(id='b', ctx=Load()),
                            Name(id='d', ctx=Load())]))])])

Correspondência de padrões

class ast.Match(subject, cases)

Uma instrução match. subject contém o assunto da correspondência (o objeto que está sendo comparado com os casos) e cases contém um iterável de nós de match_case com os diferentes casos.

Adicionado na versão 3.10.

class ast.match_case(pattern, guard, body)

Um padrão de caso único em uma instrução match. pattern contém o padrão de correspondência com o qual o assunto será comparado. Observe que os nós AST produzidos para padrões diferem daqueles produzidos para expressões, mesmo quando compartilham a mesma sintaxe.

O atributo guard contém uma expressão que será avaliada se o padrão corresponder ao assunto.

body contém uma lista de nós a serem executados se o padrão corresponder e o resultado da avaliação da expressão de guarda for verdadeiro.

>>> print(ast.dump(ast.parse("""
... match x:
...     case [x] if x>0:
...         ...
...     case tuple():
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchSequence(
                        patterns=[
                            MatchAs(name='x')]),
                    guard=Compare(
                        left=Name(id='x', ctx=Load()),
                        ops=[
                            Gt()],
                        comparators=[
                            Constant(value=0)]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                match_case(
                    pattern=MatchClass(
                        cls=Name(id='tuple', ctx=Load())),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchValue(value)

Um literal de correspondência ou padrão de valor que é comparado por igualdade. value é um nó de expressão. Os nós de valor permitido são restritos conforme descrito na documentação da instrução de correspondência. Este padrão será bem-sucedido se o assunto da correspondência for igual ao valor avaliado.

>>> print(ast.dump(ast.parse("""
... match x:
...     case "Relevant":
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchValue(
                        value=Constant(value='Relevant')),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchSingleton(value)

Um padrão literal de correspondência que compara por identidade. value é o singleton a ser comparado com: None, True ou False. Este padrão será bem-sucedido se o assunto da correspondência for a constante fornecida.

>>> print(ast.dump(ast.parse("""
... match x:
...     case None:
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchSingleton(value=None),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchSequence(patterns)

Um padrão de sequência de correspondência. patterns contém os padrões a serem comparados aos elementos do assunto se o assunto for uma sequência. Corresponde a uma sequência de comprimento variável se um dos subpadrões for um nó MatchStar, caso contrário corresponde a uma sequência de comprimento fixo.

>>> print(ast.dump(ast.parse("""
... match x:
...     case [1, 2]:
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchSequence(
                        patterns=[
                            MatchValue(
                                value=Constant(value=1)),
                            MatchValue(
                                value=Constant(value=2))]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchStar(name)

Corresponde ao restante da sequência em um padrão de sequência de correspondência de comprimento variável. Se name não for None, uma lista contendo os elementos restantes da sequência será vinculada a esse nome se o padrão de sequência geral for bem-sucedido.

>>> print(ast.dump(ast.parse("""
... match x:
...     case [1, 2, *rest]:
...         ...
...     case [*_]:
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchSequence(
                        patterns=[
                            MatchValue(
                                value=Constant(value=1)),
                            MatchValue(
                                value=Constant(value=2)),
                            MatchStar(name='rest')]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                match_case(
                    pattern=MatchSequence(
                        patterns=[
                            MatchStar()]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchMapping(keys, patterns, rest)

Um padrão de mapeamento de correspondência. keys é uma sequência de nós de expressão. patterns é uma sequência correspondente de nós padrão. rest é um nome opcional que pode ser especificado para capturar os elementos restantes do mapeamento. As expressões-chave permitidas são restritas conforme descrito na documentação da instrução match.

Este padrão será bem-sucedido se o assunto for um mapeamento, todas as expressões-chave avaliadas estiverem presentes no mapeamento e o valor correspondente a cada chave corresponder ao subpadrão correspondente. Se rest não for None, um dict contendo os elementos de mapeamento restantes será vinculado a esse nome se o padrão de mapeamento geral for bem-sucedido.

>>> print(ast.dump(ast.parse("""
... match x:
...     case {1: _, 2: _}:
...         ...
...     case {**rest}:
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchMapping(
                        keys=[
                            Constant(value=1),
                            Constant(value=2)],
                        patterns=[
                            MatchAs(),
                            MatchAs()]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                match_case(
                    pattern=MatchMapping(rest='rest'),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchClass(cls, patterns, kwd_attrs, kwd_patterns)

Um padrão de classe de correspondência. cls é uma expressão que fornece a classe nominal a ser correspondida. patterns é uma sequência de nós padrão a serem comparados com a sequência definida pela classe de atributos de correspondência de padrões. kwd_attrs é uma sequência de atributos adicionais a serem correspondidos (especificados como argumentos nomeados no padrão de classe), kwd_patterns são os padrões correspondentes (especificados como valores de argumentos nomeados no padrão de classe).

Esse padrão será bem-sucedido se o assunto for uma instância da classe indicada, todos os padrões posicionais corresponderem aos atributos correspondentes definidos pela classe e quaisquer atributos, passados como argumentos nomeados, especificados corresponderem ao seu padrão correspondente.

Nota: as classes podem definir uma propriedade que retorna self para corresponder um nó padrão à instância que está sendo correspondida. Vários tipos internos também são combinados dessa forma, conforme descrito na documentação da instrução match.

>>> print(ast.dump(ast.parse("""
... match x:
...     case Point2D(0, 0):
...         ...
...     case Point3D(x=0, y=0, z=0):
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchClass(
                        cls=Name(id='Point2D', ctx=Load()),
                        patterns=[
                            MatchValue(
                                value=Constant(value=0)),
                            MatchValue(
                                value=Constant(value=0))]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                match_case(
                    pattern=MatchClass(
                        cls=Name(id='Point3D', ctx=Load()),
                        kwd_attrs=[
                            'x',
                            'y',
                            'z'],
                        kwd_patterns=[
                            MatchValue(
                                value=Constant(value=0)),
                            MatchValue(
                                value=Constant(value=0)),
                            MatchValue(
                                value=Constant(value=0))]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchAs(pattern, name)

Uma correspondência “como padrão”, padrão de captura ou padrão curinga. pattern contém o padrão de correspondência com o qual o assunto será comparado. Se o padrão for None, o nó representa um padrão de captura (ou seja, um nome simples) e sempre terá sucesso.

O atributo name contém o nome que será vinculado se o padrão for bem-sucedido. Se name for None, pattern também deverá ser None e o nó representa o padrão curinga.

>>> print(ast.dump(ast.parse("""
... match x:
...     case [x] as y:
...         ...
...     case _:
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchAs(
                        pattern=MatchSequence(
                            patterns=[
                                MatchAs(name='x')]),
                        name='y'),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))]),
                match_case(
                    pattern=MatchAs(),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

class ast.MatchOr(patterns)

Uma correspondência de “padrão ou”. Um “padrão ou” corresponde cada um de seus subpadrões com o assunto, até que um seja bem-sucedido. O “padrão ou” é então considerado bem-sucedido. Se nenhum dos subpadrões for bem-sucedido, o padrão or falhará. O atributo patterns contém uma lista de nós de padrões de correspondência que serão comparados com o assunto.

>>> print(ast.dump(ast.parse("""
... match x:
...     case [x] | (y):
...         ...
... """), indent=4))
Module(
    body=[
        Match(
            subject=Name(id='x', ctx=Load()),
            cases=[
                match_case(
                    pattern=MatchOr(
                        patterns=[
                            MatchSequence(
                                patterns=[
                                    MatchAs(name='x')]),
                            MatchAs(name='y')]),
                    body=[
                        Expr(
                            value=Constant(value=Ellipsis))])])])

Adicionado na versão 3.10.

Parâmetros de tipo

Parâmetros de tipo podem existir em classes, funções e apelidos de tipo.

class ast.TypeVar(name, bound, default_value)

A typing.TypeVar. name is the name of the type variable. bound is the bound or constraints, if any. If bound is a Tuple, it represents constraints; otherwise it represents the bound. default_value is the default value; if the TypeVar has no default, this attribute will be set to None.

>>> print(ast.dump(ast.parse("type Alias[T: int = bool] = list[T]"), indent=4))
Module(
    body=[
        TypeAlias(
            name=Name(id='Alias', ctx=Store()),
            type_params=[
                TypeVar(
                    name='T',
                    bound=Name(id='int', ctx=Load()),
                    default_value=Name(id='bool', ctx=Load()))],
            value=Subscript(
                value=Name(id='list', ctx=Load()),
                slice=Name(id='T', ctx=Load()),
                ctx=Load()))])

Adicionado na versão 3.12.

Alterado na versão 3.13: Adicionado o parâmetro default_value.

class ast.ParamSpec(name, default_value)

A typing.ParamSpec. name is the name of the parameter specification. default_value is the default value; if the ParamSpec has no default, this attribute will be set to None.

>>> print(ast.dump(ast.parse("type Alias[**P = (int, str)] = Callable[P, int]"), indent=4))
Module(
    body=[
        TypeAlias(
            name=Name(id='Alias', ctx=Store()),
            type_params=[
                ParamSpec(
                    name='P',
                    default_value=Tuple(
                        elts=[
                            Name(id='int', ctx=Load()),
                            Name(id='str', ctx=Load())],
                        ctx=Load()))],
            value=Subscript(
                value=Name(id='Callable', ctx=Load()),
                slice=Tuple(
                    elts=[
                        Name(id='P', ctx=Load()),
                        Name(id='int', ctx=Load())],
                    ctx=Load()),
                ctx=Load()))])

Adicionado na versão 3.12.

Alterado na versão 3.13: Adicionado o parâmetro default_value.

class ast.TypeVarTuple(name, default_value)

A typing.TypeVarTuple. name is the name of the type variable tuple. default_value is the default value; if the TypeVarTuple has no default, this attribute will be set to None.

>>> print(ast.dump(ast.parse("type Alias[*Ts = ()] = tuple[*Ts]"), indent=4))
Module(
    body=[
        TypeAlias(
            name=Name(id='Alias', ctx=Store()),
            type_params=[
                TypeVarTuple(
                    name='Ts',
                    default_value=Tuple(ctx=Load()))],
            value=Subscript(
                value=Name(id='tuple', ctx=Load()),
                slice=Tuple(
                    elts=[
                        Starred(
                            value=Name(id='Ts', ctx=Load()),
                            ctx=Load())],
                    ctx=Load()),
                ctx=Load()))])

Adicionado na versão 3.12.

Alterado na versão 3.13: Adicionado o parâmetro default_value.

Definições de função e classe

class ast.FunctionDef(name, args, body, decorator_list, returns, type_comment, type_params)

Uma definição de função

name é uma string bruta do nome da função.

args é um nó arguments.

body é a lista de nós dentro da função.

decorator_list é a lista de decoradores a serem aplicados, armazenados primeiro na parte externa (ou seja, o primeiro da lista será aplicado por último).

returns é a anotação de retorno.

type_params é uma lista de parâmetros de tipo.

type_comment

type_comment é uma string opcional com a anotação de tipo como comentário.

Alterado na versão 3.12: Adicionado type_params.

class ast.Lambda(args, body)

lambda é uma definição mínima de função que pode ser usada dentro de uma expressão. Ao contrário de FunctionDef, body contém um único nó.

>>> print(ast.dump(ast.parse('lambda x,y: ...'), indent=4))
Module(
    body=[
        Expr(
            value=Lambda(
                args=arguments(
                    args=[
                        arg(arg='x'),
                        arg(arg='y')]),
                body=Constant(value=Ellipsis)))])

class ast.arguments(posonlyargs, args, vararg, kwonlyargs, kw_defaults, kwarg, defaults)

Os argumentos para uma função.

posonlyargs, args e kwonlyargs são listas de nós arg.

vararg e kwarg são nós arg únicos, referindo-se aos parâmetros *args, **kwargs.

kw_defaults é uma lista de valores padrão para argumentos somente-nomeados. Se um for None, o argumento correspondente é necessário.

defaults é uma lista de valores padrão para argumentos que podem ser passados ​​posicionalmente. Se houver menos padrões, eles corresponderão aos últimos n argumentos.

class ast.arg(arg, annotation, type_comment)

Um único argumento em uma lista. arg é uma string bruta do nome do argumento; annotation é sua anotação, como um nó Name.

type_comment

type_comment é uma string opcional com a anotação de tipo como comentário

>>> print(ast.dump(ast.parse("""\
... @decorator1
... @decorator2
... def f(a: 'annotation', b=1, c=2, *d, e, f=3, **g) -> 'return annotation':
...     pass
... """), indent=4))
Module(
    body=[
        FunctionDef(
            name='f',
            args=arguments(
                args=[
                    arg(
                        arg='a',
                        annotation=Constant(value='annotation')),
                    arg(arg='b'),
                    arg(arg='c')],
                vararg=arg(arg='d'),
                kwonlyargs=[
                    arg(arg='e'),
                    arg(arg='f')],
                kw_defaults=[
                    None,
                    Constant(value=3)],
                kwarg=arg(arg='g'),
                defaults=[
                    Constant(value=1),
                    Constant(value=2)]),
            body=[
                Pass()],
            decorator_list=[
                Name(id='decorator1', ctx=Load()),
                Name(id='decorator2', ctx=Load())],
            returns=Constant(value='return annotation'))])

class ast.Return(value)

Uma instrução return.

>>> print(ast.dump(ast.parse('return 4'), indent=4))
Module(
    body=[
        Return(
            value=Constant(value=4))])

class ast.Yield(value)

class ast.YieldFrom(value)

Uma expressão yield ou yield from. Por serem expressões, elas devem ser agrupadas em um nó Expr se o valor enviado de volta não for usado.

>>> print(ast.dump(ast.parse('yield x'), indent=4))
Module(
    body=[
        Expr(
            value=Yield(
                value=Name(id='x', ctx=Load())))])

>>> print(ast.dump(ast.parse('yield from x'), indent=4))
Module(
    body=[
        Expr(
            value=YieldFrom(
                value=Name(id='x', ctx=Load())))])

class ast.Global(names)

class ast.Nonlocal(names)

Instruções global e nonlocal. names é uma lista de strings brutas.

>>> print(ast.dump(ast.parse('global x,y,z'), indent=4))
Module(
    body=[
        Global(
            names=[
                'x',
                'y',
                'z'])])

>>> print(ast.dump(ast.parse('nonlocal x,y,z'), indent=4))
Module(
    body=[
        Nonlocal(
            names=[
                'x',
                'y',
                'z'])])

class ast.ClassDef(name, bases, keywords, body, decorator_list, type_params)

Uma definição de classe

name é uma string bruta para o nome da classe

bases é uma lista de nós para classes base especificadas explicitamente.

keywords is a list of keyword nodes, principally for ‘metaclass’. Other keywords will be passed to the metaclass, as per PEP 3115 [https://peps.python.org/pep-3115/].

body é uma lista de nós que representam o código dentro da definição de classe.

decorator_list é uma lista de nós, como em FunctionDef.

type_params é uma lista de parâmetros de tipo.

>>> print(ast.dump(ast.parse("""\
... @decorator1
... @decorator2
... class Foo(base1, base2, metaclass=meta):
...     pass
... """), indent=4))
Module(
    body=[
        ClassDef(
            name='Foo',
            bases=[
                Name(id='base1', ctx=Load()),
                Name(id='base2', ctx=Load())],
            keywords=[
                keyword(
                    arg='metaclass',
                    value=Name(id='meta', ctx=Load()))],
            body=[
                Pass()],
            decorator_list=[
                Name(id='decorator1', ctx=Load()),
                Name(id='decorator2', ctx=Load())])])

Alterado na versão 3.12: Adicionado type_params.

Async e await

class ast.AsyncFunctionDef(name, args, body, decorator_list, returns, type_comment, type_params)

Uma definição de função async def. Possui os mesmos campos que FunctionDef.

Alterado na versão 3.12: Adicionado type_params.

class ast.Await(value)

Uma expressão await. value é o que ela espera. Válido apenas no corpo de um AsyncFunctionDef.

>>> print(ast.dump(ast.parse("""\
... async def f():
...     await other_func()
... """), indent=4))
Module(
    body=[
        AsyncFunctionDef(
            name='f',
            args=arguments(),
            body=[
                Expr(
                    value=Await(
                        value=Call(
                            func=Name(id='other_func', ctx=Load()))))])])

class ast.AsyncFor(target, iter, body, orelse, type_comment)

class ast.AsyncWith(items, body, type_comment)

Laços async for e gerenciadores de contexto async with. Eles têm os mesmos campos que For e With, respectivamente. Válido apenas no corpo de AsyncFunctionDef.

Nota

Quando uma string é analisada por ast.parse(), os nós operadores (subclasses de ast.operator, ast.unaryop, ast.cmpop, ast.boolop e ast.expr_context) na árvore retornada serão singletons. As alterações em um serão refletidas em todas as outras ocorrências do mesmo valor (por exemplo, ast.Add).

Auxiliares de ast

Além das classes de nós, o módulo ast define essas funções e classes utilitárias para percorrer árvores de sintaxe abstrata:

ast.parse(source, filename='<unknown>', mode='exec', *, type_comments=False, feature_version=None, optimize=-1)

Analisa a fonte como um nó AST. Equivalente a compile(source, filename, mode, flags=FLAGS_VALUE, optimize=optimize), onde FLAGS_VALUE é ast.PyCF_ONLY_AST se optimize <= 0 e ast.PyCF_OPTIMIZED_AST caso contrário.

If type_comments=True is given, the parser is modified to check and return type comments as specified by PEP 484 [https://peps.python.org/pep-0484/] and PEP 526 [https://peps.python.org/pep-0526/]. This is equivalent to adding ast.PyCF_TYPE_COMMENTS to the flags passed to compile(). This will report syntax errors for misplaced type comments. Without this flag, type comments will be ignored, and the type_comment field on selected AST nodes will always be None. In addition, the locations of # type: ignore comments will be returned as the type_ignores attribute of Module (otherwise it is always an empty list).

Além disso, se mode for 'func_type', a sintaxe de entrada é modificada para corresponder a “comentários de tipo de assinatura” de PEP 484 [https://peps.python.org/pep-0484/], por exemplo, (str, int) -> List[str].

Definir feature_version como uma tupla (major, minor) resultará em uma tentativa de “melhor esforço” de análise usando a gramática daquela versão do Python. Por exemplo, definir feature_version=(3, 9) tentará proibir a análise de instruções match. Atualmente major deve ser igual a 3. A versão mais baixa suportada é (3, 7) (e isso pode aumentar em versões futuras do Python); o mais alto é sys.version_info[0:2]. A tentativa de “melhor esforço” significa que não há garantia de que a análise (ou sucesso da análise) seja a mesma que quando executada na versão Python correspondente a feature_version.

Se a fonte contém um caractere nulo (\0), ValueError é levantada.

Aviso

Observe que a análise bem-sucedida do código-fonte em um objeto AST não garante que o código-fonte fornecido seja um código Python válido que pode ser executado, pois a etapa de compilação pode levantar mais exceções SyntaxError. Por exemplo, a fonte return 42 gera um nó AST válido para uma instrução return, mas não pode ser compilado sozinho (precisa estar dentro de um nó de função).

Em particular, ast.parse() não fará nenhuma verificação de escopo, o que a etapa de compilação faz.

Aviso

É possível travar o interpretador Python com uma string suficientemente grande/complexa devido às limitações de profundidade da pilha no compilador de AST do Python.

Alterado na versão 3.8: Adicionado type_comments, mode='func_type' e feature_version.

Alterado na versão 3.13: A versão mínima suportada para feature_version agora é (3, 7). O argumento optimize foi adicionado.

ast.unparse(ast_obj)

Desfaz análise de um objeto ast.AST e gera uma string com código que produziria um objeto ast.AST equivalente se analisado novamente com ast.parse().

Aviso

A string de código produzida não será necessariamente igual ao código original que gerou o objeto ast.AST (sem quaisquer otimizações do compilador, como tuplas/frozensets constantes).

Aviso

Tentar desfazer análise de uma expressão altamente complexa resultaria em RecursionError.

Adicionado na versão 3.9.

ast.literal_eval(node_or_string)

Avalia um nó de expressão ou uma string contendo apenas um literal Python ou uma exibição de contêiner. A string ou nó fornecido pode consistir apenas nas seguintes estruturas literais Python: strings, bytes, números, tuplas, listas, dicionários, conjuntos, booleanos, None e Ellipsis.

Isso pode ser usado para avaliar strings contendo valores Python sem a necessidade de analisar os valores por conta própria. Não é capaz de avaliar expressões arbitrariamente complexas, por exemplo, envolvendo operadores ou indexação.

Esta função foi documentada como “segura” no passado sem definir o que isso significava. Isso foi enganoso. Isso foi projetado especificamente para não executar código Python, ao contrário do eval() mais geral. Não há espaço de nomes, pesquisas de nome ou capacidade de chamada. Mas não está livre de ataques: uma entrada relativamente pequena pode levar ao esgotamento da memória ou ao esgotamento da pilha C, travando o processo. Também existe a possibilidade de negação de serviço por consumo excessivo de CPU em algumas entradas. Portanto, não é recomendado chamá-la em dados não confiáveis.

Aviso

É possível travar o interpretador Python devido às limitações de profundidade da pilha no compilador AST do Python.

Pode levantar ValueError, TypeError, SyntaxError, MemoryError e RecursionError dependendo da entrada malformada.

Alterado na versão 3.2: Agora permite bytes e literais de conjuntos.

Alterado na versão 3.9: Agora oferece suporte à criação de conjuntos vazios com 'set()'.

Alterado na versão 3.10: Para entradas de string, os espaços iniciais e tabulações agora são removidos.

ast.get_docstring(node, clean=True)

Retorna a docstring do node dado (que deve ser um nó FunctionDef, AsyncFunctionDef, ClassDef ou Module) ou None se não tiver uma docstring. Se clean for verdadeiro, limpa o recuo da docstring com inspect.cleandoc().

Alterado na versão 3.5: Não há suporte a AsyncFunctionDef.

ast.get_source_segment(source, node, *, padded=False)

Obtém o segmento de código-fonte do source que gerou o node. Se alguma informação de localização (lineno, end_lineno, col_offset ou end_col_offset) está faltando, retorna None.

Se padded for True, a primeira linha de uma instrução multilinha será preenchida com espaços para corresponder à sua posição original.

Adicionado na versão 3.8.

ast.fix_missing_locations(node)

Quando você compila uma árvore de nós com compile(), o compilador espera atributos lineno e col_offset para cada nó que os suporta. Isso é tedioso para preencher nós gerados, portanto, esse auxiliar adiciona esses atributos recursivamente, onde ainda não estão definidos, definindo-os para os valores do nó pai. Ele funciona recursivamente a partir do node.

ast.increment_lineno(node, n=1)

Incrementa o número da linhas e o número da linha final de cada nó na árvore começando em node em n. Isso é útil para “mover código” para um local diferente em um arquivo.

ast.copy_location(new_node, old_node)

Copia o local de origem (lineno, col_offset, end_lineno e end_col_offset) de old_node para new_node se possível e, então, retorna new_node.

ast.iter_fields(node)

Produz uma tupla de (fieldname, value) para cada campo em node._fields que esteja presente em node.

ast.iter_child_nodes(node)

Produz todos os nós filhos diretos de node, ou seja, todos os campos que são nós e todos os itens de campos que são listas de nós.

ast.walk(node)

Produz recursivamente todos os nós descendentes na árvore começando em node (incluindo o próprio node), em nenhuma ordem especificada. Isso é útil se você quiser apenas modificar nós no lugar e não se importar com o contexto.

class ast.NodeVisitor

Uma classe base de visitante de nó que percorre a árvore de sintaxe abstrata e chama uma função de visitante para cada nó encontrado. Esta função pode retornar um valor que é encaminhado pelo método visit().

Esta classe deve ser uma subclasse, com a subclasse adicionando métodos visitantes.

visit(node)

Visita um nó. A implementação padrão chama o método chamado self.visit_nomedaclasse sendo nomedaclasse o nome da classe do nó, ou generic_visit() se aquele método não existir.

generic_visit(node)

Este visitante chama visit() em todos os filhos do nó.

Observe que nós filhos de nós que possuem um método de visitante personalizado não serão visitados, a menos que o visitante chame generic_visit() ou os visite por conta própria.

visit_Constant(node)

Manipula todos os nós constantes.

Não use o NodeVisitor se você quiser aplicar mudanças nos nós durante a travessia. Para isso existe um visitante especial (NodeTransformer) que permite modificações.

Obsoleto desde a versão 3.8: Os métodos visit_Num(), visit_Str(), visit_Bytes(), visit_NameConstant() e visit_Ellipsis() estão agora descontinuados e não serão chamados em futuras versões do Python. Adicione um método visit_Constant() para lidar com nós de constantes.

class ast.NodeTransformer

A subclasse NodeVisitor que percorre a árvore de sintaxe abstrata e permite a modificação de nós.

O NodeTransformer percorrerá a AST e usará o valor de retorno dos métodos do visitante para substituir ou remover o nó antigo. Se o valor de retorno do método visitante for None, o nó será removido de seu local, caso contrário, ele será substituído pelo valor de retorno. O valor de retorno pode ser o nó original, caso em que não há substituição.

Aqui está um exemplo de transformador que rescreve todas as ocorrências de procuras por nome (foo) para data['foo']:

class RewriteName(NodeTransformer):

    def visit_Name(self, node):
        return Subscript(
            value=Name(id='data', ctx=Load()),
            slice=Constant(value=node.id),
            ctx=node.ctx
        )

Tenha em mente que, se o nó em que você está operando tiver nós filhos, você deve transformar os nós filhos por conta própria ou chamar o método generic_visit() para o nó primeiro.

Para nós que faziam parte de uma coleção de instruções (que se aplica a todos os nós de instrução), o visitante também pode retornar uma lista de nós em vez de apenas um único nó.

Se NodeTransformer introduz novos nós (que não faziam parte da árvore original) sem fornecer informações de localização (como lineno), fix_missing_locations() deve ser chamado com o novo subárvore para recalcular as informações de localização:

tree = ast.parse('foo', mode='eval')
new_tree = fix_missing_locations(RewriteName().visit(tree))

Normalmente você usa o transformador assim:

node = YourTransformer().visit(node)

ast.dump(node, annotate_fields=True, include_attributes=False, *, indent=None, show_empty=False)

Retorne um despejo formatado da árvore em node. Isso é útil principalmente para fins de depuração. Se annotate_fields for verdadeiro (por padrão), a sequência retornada mostrará os nomes e os valores para os campos. Se annotate_fields for falso, a sequência de resultados será mais compacta ao omitir nomes de campos não ambíguos. Atributos como números de linha e deslocamentos de coluna não são despejados por padrão. Se isso for desejado, include_attributes pode ser definido como verdadeiro.

Se indent for um inteiro não negativo ou uma string, então a árvore terá uma saída formatada com este nível de indentação. Um nível de indentação 0, negativo ou "" apenas colocará novas linhas. None (o padrão) seleciona a representação de uma única linha. Usando um inteiro positivo a indentação terá alguns espaços por nível. Se indent for uma string (como "\t"), essa string será usada para indentar cada nível.

Se show_empty for False (o padrão), listas vazias e campos que forem None serão omitidos da saída.

Alterado na versão 3.9: Adicionada a opção indent.

Alterado na versão 3.13: Adicionada a opção show_empty.

>>> print(ast.dump(ast.parse("""\
... async def f():
...     await other_func()
... """), indent=4, show_empty=True))
Module(
    body=[
        AsyncFunctionDef(
            name='f',
            args=arguments(
                posonlyargs=[],
                args=[],
                kwonlyargs=[],
                kw_defaults=[],
                defaults=[]),
            body=[
                Expr(
                    value=Await(
                        value=Call(
                            func=Name(id='other_func', ctx=Load()),
                            args=[],
                            keywords=[])))],
            decorator_list=[],
            type_params=[])],
    type_ignores=[])

Sinalizadores do compilador

Os seguintes sinalizadores podem ser passados para compile() para alterar os efeitos na compilação de um programa:

ast.PyCF_ALLOW_TOP_LEVEL_AWAIT

Habilita suporte para await, async for, async with e compreensões assíncronas de nível superior.

Adicionado na versão 3.8.

ast.PyCF_ONLY_AST

Gera e retorna uma árvore de sintaxe abstrata em vez de retornar um objeto de código compilado.

ast.PyCF_OPTIMIZED_AST

O AST retornado é otimizado de acordo com o argumento optimize em compile() ou ast.parse().

Adicionado na versão 3.13.

ast.PyCF_TYPE_COMMENTS

Habilita suporte para comentários do tipo PEP 484 [https://peps.python.org/pep-0484/] e PEP 526 [https://peps.python.org/pep-0526/] (# type: <type>, # type: ignore <stuff>).

Adicionado na versão 3.8.

Uso na linha de comando

Adicionado na versão 3.9.

O módulo ast pode ser executado como um script na linha de comando. É tão simples quanto:

python -m ast [-m <mode>] [-a] [infile]

As seguintes opções são aceitas:

-h, --help

Mostra a mensagem de ajuda e sai.

-m <mode>

--mode <mode>

Especifica que tipo de código deve ser compilado, como o argumento mode em parse().

--no-type-comments

Não analisa comentários de tipo.

-a, --include-attributes

Inclui atributos como números de linha e deslocamentos de colunas.

-i <indent>

--indent <indent>

indentação de nós em AST (número de espaços).

Se infile for especificado, seu conteúdo será analisado no AST e despejado no stdout. Caso contrário, o conteúdo será lido em stdin.

Ver também

Green Tree Snakes [https://greentreesnakes.readthedocs.io/], um recurso de documentação externo, possui bons detalhes sobre trabalhar com ASTs do Python.

ASTTokens [https://asttokens.readthedocs.io/en/latest/user-guide.html] anota ASTs do Python com as posições de tokens e texto no código-fonte que as gerou. Isso é útil para ferramentas que fazem transformações de código-fonte.

leoAst.py [https://leo-editor.github.io/leo-editor/appendices.html#leoast-py] unifica as visualizações baseadas em token e em árvore de análise de programas python, inserindo links duas vias entre tokens e nós de ast.

LibCST [https://libcst.readthedocs.io/] analisa o código como uma árvore de sintaxe concreta que se parece com uma árvore ast e mantém todos os detalhes de formatação. É útil para construir linters e aplicações de refatoração automatizada (codemod).

Parso [https://parso.readthedocs.io] é um analisador Python que oferece suporte a recuperação de erros e análise de ida e volta para diferentes versões do Python (em várias versões do Python). Parso também é capaz de listar vários erros de sintaxe em seu arquivo Python.

symtable — Acesso a tabela de símbolos do compilador

Código-fonte: Lib/symtable.py [https://github.com/python/cpython/tree/3.13/Lib/symtable.py]

Symbol tables are generated by the compiler from AST just before bytecode is generated. The symbol table is responsible for calculating the scope of every identifier in the code. symtable provides an interface to examine these tables.

Generating Symbol Tables

symtable.symtable(code, filename, compile_type)

Return the toplevel SymbolTable for the Python source code. filename is the name of the file containing the code. compile_type is like the mode argument to compile().

Examining Symbol Tables

class symtable.SymbolTableType

An enumeration indicating the type of a SymbolTable object.

MODULE = "module"

Used for the symbol table of a module.

FUNCTION = "function"

Used for the symbol table of a function.

CLASS = "class"

Used for the symbol table of a class.

The following members refer to different flavors of annotation scopes.

ANNOTATION = "annotation"

Used for annotations if from __future__ import annotations is active.

TYPE_ALIAS = "type alias"

Used for the symbol table of type constructions.

TYPE_PARAMETERS = "type parameters"

Used for the symbol table of generic functions or generic classes.

TYPE_VARIABLE = "type variable"

Used for the symbol table of the bound, the constraint tuple or the default value of a single type variable in the formal sense, i.e., a TypeVar, a TypeVarTuple or a ParamSpec object (the latter two do not support a bound or a constraint tuple).

Adicionado na versão 3.13.

class symtable.SymbolTable

A namespace table for a block. The constructor is not public.

get_type()

Return the type of the symbol table. Possible values are members of the SymbolTableType enumeration.

Alterado na versão 3.12: Added 'annotation', 'TypeVar bound', 'type alias', and 'type parameter' as possible return values.

Alterado na versão 3.13: Return values are members of the SymbolTableType enumeration.

The exact values of the returned string may change in the future, and thus, it is recommended to use SymbolTableType members instead of hard-coded strings.

get_id()

Return the table’s identifier.

get_name()

Return the table’s name. This is the name of the class if the table is for a class, the name of the function if the table is for a function, or 'top' if the table is global (get_type() returns 'module'). For type parameter scopes (which are used for generic classes, functions, and type aliases), it is the name of the underlying class, function, or type alias. For type alias scopes, it is the name of the type alias. For TypeVar bound scopes, it is the name of the TypeVar.

get_lineno()

Return the number of the first line in the block this table represents.

is_optimized()

Return True if the locals in this table can be optimized.

is_nested()

Return True if the block is a nested class or function.

has_children()

Return True if the block has nested namespaces within it. These can be obtained with get_children().

get_identifiers()

Return a view object containing the names of symbols in the table. See the documentation of view objects.

lookup(name)

Lookup name in the table and return a Symbol instance.

get_symbols()

Return a list of Symbol instances for names in the table.

get_children()

Return a list of the nested symbol tables.

class symtable.Function

A namespace for a function or method. This class inherits from SymbolTable.

get_parameters()

Return a tuple containing names of parameters to this function.

get_locals()

Return a tuple containing names of locals in this function.

get_globals()

Return a tuple containing names of globals in this function.

get_nonlocals()

Return a tuple containing names of explicitly declared nonlocals in this function.

get_frees()

Return a tuple containing names of free (closure) variables in this function.

class symtable.Class

A namespace of a class. This class inherits from SymbolTable.

get_methods()

Return a tuple containing the names of method-like functions declared in the class.

Here, the term ‘method’ designates any function defined in the class body via def or async def.

Functions defined in a deeper scope (e.g., in an inner class) are not picked up by get_methods().

Por exemplo:

>>> import symtable
>>> st = symtable.symtable('''
... def outer(): pass
...
... class A:
...    def f():
...        def w(): pass
...
...    def g(self): pass
...
...    @classmethod
...    async def h(cls): pass
...
...    global outer
...    def outer(self): pass
... ''', 'test', 'exec')
>>> class_A = st.get_children()[1]
>>> class_A.get_methods()
('f', 'g', 'h')

Although A().f() raises TypeError at runtime, A.f is still considered as a method-like function.

class symtable.Symbol

An entry in a SymbolTable corresponding to an identifier in the source. The constructor is not public.

get_name()

Return the symbol’s name.

is_referenced()

Return True if the symbol is used in its block.

is_imported()

Return True if the symbol is created from an import statement.

is_parameter()

Return True if the symbol is a parameter.

is_global()

Return True if the symbol is global.

is_nonlocal()

Return True if the symbol is nonlocal.

is_declared_global()

Return True if the symbol is declared global with a global statement.

is_local()

Return True if the symbol is local to its block.

is_annotated()

Return True if the symbol is annotated.

Adicionado na versão 3.6.

is_free()

Return True if the symbol is referenced in its block, but not assigned to.

is_assigned()

Return True if the symbol is assigned to in its block.

is_namespace()

Return True if name binding introduces new namespace.

If the name is used as the target of a function or class statement, this will be true.

Por exemplo:

>>> table = symtable.symtable("def some_func(): pass", "string", "exec")
>>> table.lookup("some_func").is_namespace()
True

Note that a single name can be bound to multiple objects. If the result is True, the name may also be bound to other objects, like an int or list, that does not introduce a new namespace.

get_namespaces()

Return a list of namespaces bound to this name.

get_namespace()

Return the namespace bound to this name. If more than one or no namespace is bound to this name, a ValueError is raised.

Uso na linha de comando

Adicionado na versão 3.13.

O módulo symtable pode ser invocado como um script na linha de comando:

python -m symtable [infile...]

Symbol tables are generated for the specified Python source files and dumped to stdout. If no input file is specified, the content is read from stdin.

token — Constantes usadas com árvores de análises do Python

Código-fonte: Lib/token.py [https://github.com/python/cpython/tree/3.13/Lib/token.py]

Este módulo fornece constantes que representam os valores numéricos dos nós das folhas da árvore de análise (tokens terminais). Consulte o arquivo Grammar/Tokens na distribuição Python para obter as definições dos nomes no contexto da gramática da linguagem. Os valores numéricos específicos para os quais os nomes são mapeados podem mudar entre as versões do Python.

O módulo também fornece um mapeamento de códigos numéricos para nomes e algumas funções. As funções espelham definições nos arquivos de cabeçalho do Python C.

token.tok_name

Dicionário que mapeia os valores numéricos das constantes definidas neste módulo de volta para cadeias de nomes, permitindo que seja gerada uma representação mais legível de árvores de análise.

token.ISTERMINAL(x)

Retorna True para valores de tokens terminais.

token.ISNONTERMINAL(x)

Retorna True para valores de tokens não terminais.

token.ISEOF(x)

Retorna True se x for o marcador que indica o final da entrada.

Os constantes de tokens são:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

Valor de token para "(".

token.RPAR

Valor de token para ")".

token.LSQB

Valor de token para "[".

token.RSQB

Valor de token para "]".

token.COLON

Valor de token para ":".

token.COMMA

Valor de token para ",".

token.SEMI

Valor de token para ";".

token.PLUS

Valor de token para "+".

token.MINUS

Valor de token para "-".

token.STAR

Valor de token para "*".

token.SLASH

Valor de token para "/".

token.VBAR

Valor de token para "|".

token.AMPER

Valor de token para "&".

token.LESS

Valor de token para "<".

token.GREATER

Valor de token para ">".

token.EQUAL

Valor de token para "=".

token.DOT

Valor de token para ".".

token.PERCENT

Valor de token para "%".

token.LBRACE

Valor de token para "{".

token.RBRACE

Valor de token para "}".

token.EQEQUAL

Valor de token para "==".

token.NOTEQUAL

Valor de token para "!=".

token.LESSEQUAL

Valor de token para "<=".

token.GREATEREQUAL

Valor de token para ">=".

token.TILDE

Valor de token para "~".

token.CIRCUMFLEX

Valor de token para "^".

token.LEFTSHIFT

Valor de token para "<<".

token.RIGHTSHIFT

Valor de token para ">>".

token.DOUBLESTAR

Valor de token para "**".

token.PLUSEQUAL

Valor de token para "+=".

token.MINEQUAL

Valor de token para "-=".

token.STAREQUAL

Valor de token para "*=".

token.SLASHEQUAL

Valor de token para "/=".

token.PERCENTEQUAL

Valor de token para "%=".

token.AMPEREQUAL

Valor de token para "&=".

token.VBAREQUAL

Valor de token para "|=".

token.CIRCUMFLEXEQUAL

Valor de token para "^=".

token.LEFTSHIFTEQUAL

Valor de token para "<<=".

token.RIGHTSHIFTEQUAL

Valor de token para ">>=".

token.DOUBLESTAREQUAL

Valor de token para "**=".

token.DOUBLESLASH

Valor de token para "//".

token.DOUBLESLASHEQUAL

Valor de token para "//=".

token.AT

Valor de token para "@".

token.ATEQUAL

Valor de token para "@=".

token.RARROW

Valor de token para "->".

token.ELLIPSIS

Valor de token para "...".

token.COLONEQUAL

Valor de token para ":=".

token.EXCLAMATION

Valor de token para "!".

token.OP

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.FSTRING_START

token.FSTRING_MIDDLE

token.FSTRING_END

token.COMMENT

token.NL

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Os seguintes valores de tipo de token não são usados pelo tokenizador do C, mas são necessários para o módulo tokenize.

token.COMMENT

Valor de token usado para indicar um comentário.

token.NL

Valor de token usado para indicar uma nova linha que não termina. O token NEWLINE indica o fim de uma linha lógica do código Python. Os tokens NL são gerados quando uma linha lógica de código é continuada em várias linhas físicas.

token.ENCODING

Valor de token que indica a codificação usada para decodificar os bytes de origem em texto. O primeiro token retornado por tokenize.tokenize() sempre será um token ENCODING.

token.TYPE_COMMENT

Valor do token indicando que um comentário de tipo foi reconhecido. Esses tokens são produzidos apenas quando ast.parse() é chamado com type_comments=True.

Alterado na versão 3.5: Adicionados os tokens AWAIT e ASYNC.

Alterado na versão 3.7: Adicionados os tokens COMMENT, NL e ENCODING.

Alterado na versão 3.7: Removido os tokens AWAIT e ASYNC. “async” e “await” são agora tokenizados como tokens NAME.

Alterado na versão 3.8: Adicionados TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Adicionados os tokens AWAIT e ASYNC (eles são necessários para dar suporte à análise de versões mais antigas do Python para ast.parse() com feature_version definido como 6 ou inferior).

Alterado na versão 3.13: Removidos novamente os tokens AWAIT e ASYNC.

keyword — Testando palavras reservadas do Python

Código-fonte: Lib/keyword.py [https://github.com/python/cpython/tree/3.13/Lib/keyword.py]

Este módulo permite a um programa Python determinar se uma string é uma palavra reservada ou palavra reservada contextual.

keyword.iskeyword(s)

Retorna True se s for uma palavra reservada do Python.

keyword.kwlist

Sequência contendo todas as palavras reservadas definidas para o interpretador. Se alguma palavra reservada estiver definida para apenas estar ativa quando instruções __future__ específicas tiverem efeito, estas serão incluídas também.

keyword.issoftkeyword(s)

Retorna True se s for uma palavra reservada contextual do Python.

Adicionado na versão 3.9.

keyword.softkwlist

Sequência contendo todas as palavras reservadas contextuais definadas para o interpretador. Se alguma palavra reservada contextual estiver definida para apenas estar ativo quando instruções __future__ tiverem efeito, estas serão incluídas também.

Adicionado na versão 3.9.

tokenize — Tokenizer for Python source

Código-fonte: Lib/tokenize.py [https://github.com/python/cpython/tree/3.13/Lib/tokenize.py]

The tokenize module provides a lexical scanner for Python source code, implemented in Python. The scanner in this module returns comments as tokens as well, making it useful for implementing “pretty-printers”, including colorizers for on-screen displays.

To simplify token stream handling, all operator and delimiter tokens and Ellipsis are returned using the generic OP token type. The exact type can be determined by checking the exact_type property on the named tuple returned from tokenize.tokenize().

Aviso

Note that the functions in this module are only designed to parse syntactically valid Python code (code that does not raise when parsed using ast.parse()). The behavior of the functions in this module is undefined when providing invalid Python code and it can change at any point.

Tokenizando entradas

The primary entry point is a generator:

tokenize.tokenize(readline)

The tokenize() generator requires one argument, readline, which must be a callable object which provides the same interface as the io.IOBase.readline() method of file objects. Each call to the function should return one line of input as bytes.

The generator produces 5-tuples with these members: the token type; the token string; a 2-tuple (srow, scol) of ints specifying the row and column where the token begins in the source; a 2-tuple (erow, ecol) of ints specifying the row and column where the token ends in the source; and the line on which the token was found. The line passed (the last tuple item) is the physical line. The 5 tuple is returned as a named tuple with the field names: type string start end line.

The returned named tuple has an additional property named exact_type that contains the exact operator type for OP tokens. For all other token types exact_type equals the named tuple type field.

Alterado na versão 3.1: Adiciona suporte para tuplas nomeadas.

Alterado na versão 3.3: Added support for exact_type.

tokenize() determines the source encoding of the file by looking for a UTF-8 BOM or encoding cookie, according to PEP 263 [https://peps.python.org/pep-0263/].

tokenize.generate_tokens(readline)

Tokenize a source reading unicode strings instead of bytes.

Like tokenize(), the readline argument is a callable returning a single line of input. However, generate_tokens() expects readline to return a str object rather than bytes.

The result is an iterator yielding named tuples, exactly like tokenize(). It does not yield an ENCODING token.

All constants from the token module are also exported from tokenize.

Another function is provided to reverse the tokenization process. This is useful for creating tools that tokenize a script, modify the token stream, and write back the modified script.

tokenize.untokenize(iterable)

Converts tokens back into Python source code. The iterable must return sequences with at least two elements, the token type and the token string. Any additional sequence elements are ignored.

The reconstructed script is returned as a single string. The result is guaranteed to tokenize back to match the input so that the conversion is lossless and round-trips are assured. The guarantee applies only to the token type and token string as the spacing between tokens (column positions) may change.

It returns bytes, encoded using the ENCODING token, which is the first token sequence output by tokenize(). If there is no encoding token in the input, it returns a str instead.

tokenize() needs to detect the encoding of source files it tokenizes. The function it uses to do this is available:

tokenize.detect_encoding(readline)

The detect_encoding() function is used to detect the encoding that should be used to decode a Python source file. It requires one argument, readline, in the same way as the tokenize() generator.

It will call readline a maximum of twice, and return the encoding used (as a string) and a list of any lines (not decoded from bytes) it has read in.

It detects the encoding from the presence of a UTF-8 BOM or an encoding cookie as specified in PEP 263 [https://peps.python.org/pep-0263/]. If both a BOM and a cookie are present, but disagree, a SyntaxError will be raised. Note that if the BOM is found, 'utf-8-sig' will be returned as an encoding.

If no encoding is specified, then the default of 'utf-8' will be returned.

Use open() to open Python source files: it uses detect_encoding() to detect the file encoding.

tokenize.open(filename)

Open a file in read only mode using the encoding detected by detect_encoding().

Adicionado na versão 3.2.

exception tokenize.TokenError

Raised when either a docstring or expression that may be split over several lines is not completed anywhere in the file, for example:

"""Beginning of
docstring

ou:

[1,
 2,
 3

Uso na linha de comando

Adicionado na versão 3.3.

The tokenize module can be executed as a script from the command line. It is as simple as:

python -m tokenize [-e] [filename.py]

As seguintes opções são aceitas:

-h, --help

show this help message and exit

-e, --exact

display token names using the exact type

If filename.py is specified its contents are tokenized to stdout. Otherwise, tokenization is performed on stdin.

Exemplos

Example of a script rewriter that transforms float literals into Decimal objects:

from tokenize import tokenize, untokenize, NUMBER, STRING, NAME, OP
from io import BytesIO

def decistmt(s):
    """Substitute Decimals for floats in a string of statements.

    >>> from decimal import Decimal
    >>> s = 'print(+21.3e-5*-.1234/81.7)'
    >>> decistmt(s)
    "print (+Decimal ('21.3e-5')*-Decimal ('.1234')/Decimal ('81.7'))"

    The format of the exponent is inherited from the platform C library.
    Known cases are "e-007" (Windows) and "e-07" (not Windows).  Since
    we're only showing 12 digits, and the 13th isn't close to 5, the
    rest of the output should be platform-independent.

    >>> exec(s)  #doctest: +ELLIPSIS
    -3.21716034272e-0...7

    Output from calculations with Decimal should be identical across all
    platforms.

    >>> exec(decistmt(s))
    -3.217160342717258261933904529E-7
    """
    result = []
    g = tokenize(BytesIO(s.encode('utf-8')).readline)  # tokenize the string
    for toknum, tokval, _, _, _ in g:
        if toknum == NUMBER and '.' in tokval:  # replace NUMBER tokens
            result.extend([
                (NAME, 'Decimal'),
                (OP, '('),
                (STRING, repr(tokval)),
                (OP, ')')
            ])
        else:
            result.append((toknum, tokval))
    return untokenize(result).decode('utf-8')

Example of tokenizing from the command line. The script:

def say_hello():
    print("Hello, World!")

say_hello()

will be tokenized to the following output where the first column is the range of the line/column coordinates where the token is found, the second column is the name of the token, and the final column is the value of the token (if any)

$ python -m tokenize hello.py
0,0-0,0:            ENCODING       'utf-8'
1,0-1,3:            NAME           'def'
1,4-1,13:           NAME           'say_hello'
1,13-1,14:          OP             '('
1,14-1,15:          OP             ')'
1,15-1,16:          OP             ':'
1,16-1,17:          NEWLINE        '\n'
2,0-2,4:            INDENT         '    '
2,4-2,9:            NAME           'print'
2,9-2,10:           OP             '('
2,10-2,25:          STRING         '"Hello, World!"'
2,25-2,26:          OP             ')'
2,26-2,27:          NEWLINE        '\n'
3,0-3,1:            NL             '\n'
4,0-4,0:            DEDENT         ''
4,0-4,9:            NAME           'say_hello'
4,9-4,10:           OP             '('
4,10-4,11:          OP             ')'
4,11-4,12:          NEWLINE        '\n'
5,0-5,0:            ENDMARKER      ''

The exact token type names can be displayed using the -e option:

$ python -m tokenize -e hello.py
0,0-0,0:            ENCODING       'utf-8'
1,0-1,3:            NAME           'def'
1,4-1,13:           NAME           'say_hello'
1,13-1,14:          LPAR           '('
1,14-1,15:          RPAR           ')'
1,15-1,16:          COLON          ':'
1,16-1,17:          NEWLINE        '\n'
2,0-2,4:            INDENT         '    '
2,4-2,9:            NAME           'print'
2,9-2,10:           LPAR           '('
2,10-2,25:          STRING         '"Hello, World!"'
2,25-2,26:          RPAR           ')'
2,26-2,27:          NEWLINE        '\n'
3,0-3,1:            NL             '\n'
4,0-4,0:            DEDENT         ''
4,0-4,9:            NAME           'say_hello'
4,9-4,10:           LPAR           '('
4,10-4,11:          RPAR           ')'
4,11-4,12:          NEWLINE        '\n'
5,0-5,0:            ENDMARKER      ''

Example of tokenizing a file programmatically, reading unicode strings instead of bytes with generate_tokens():

import tokenize

with tokenize.open('hello.py') as f:
    tokens = tokenize.generate_tokens(f.readline)
    for token in tokens:
        print(token)

Or reading bytes directly with tokenize():

import tokenize

with open('hello.py', 'rb') as f:
    tokens = tokenize.tokenize(f.readline)
    for token in tokens:
        print(token)

tabnanny — Detecção de indentação ambígua

Código-fonte: Lib/tabnanny.py [https://github.com/python/cpython/tree/3.13/Lib/tabnanny.py]

Por enquanto, este módulo deve ser chamado como um script. No entanto, é possível importá-lo para um IDE e usar a função check() descrita abaixo.

Nota

A API fornecida por este módulo provavelmente mudará em versões futuras; essas mudanças podem não ser compatíveis com versões anteriores.

tabnanny.check(file_or_dir)

Se file_or_dir for um diretório e não um link simbólico, desce recursivamente a árvore de diretórios nomeada por file_or_dir, verificando todos os arquivos .py ao longo do caminho. Se file_or_dir for um arquivo-fonte comum do Python, ele será verificado quanto a problemas relacionados ao espaço em branco. As mensagens de diagnóstico são gravadas na saída padrão usando a função print().

tabnanny.verbose

Sinalizador indicando se as mensagens detalhadas devem ser impressas. Isso é incrementado pela opção -v se chamado como um script.

tabnanny.filename_only

Sinalizador indicando se os nomes dos arquivos devem ser impressos apenas com problemas relacionados a espaços em branco. Isso é definido como true pela opção -q se chamado como um script.

exception tabnanny.NannyNag

Levantada por process_tokens() se detectar um recuo ambíguo. Capturado e manipulado em check().

tabnanny.process_tokens(tokens)

Esta função é usada por check() para processar os tokens gerados pelo módulo tokenize.

Ver também

Módulo tokenize

Scanner léxico para código-fonte Python.

pyclbr — Suporte a navegador de módulos do Python

Código-fonte: Lib/pyclbr.py [https://github.com/python/cpython/tree/3.13/Lib/pyclbr.py]

O módulo pyclbr fornece informações limitadas sobre as funções, classes e métodos definidos em um módulo codificado em Python. As informações são suficientes para implementar um navegador de módulos. As informações são extraídas do código-fonte do Python em vez de importar o módulo, portanto, este módulo é seguro para uso com código não confiável. Essa restrição torna impossível o uso deste módulo com módulos não implementados no Python, incluindo todos os módulos de extensão padrão e opcionais.

pyclbr.readmodule(module, path=None)

Retorna um dicionário que mapeia os nomes de classe no nível do módulo aos descritores de classe. Se possível, descritores para classes base importadas estão incluídos. O parâmetro module é uma string com o nome do módulo a ser lido; pode ser o nome de um módulo dentro de um pacote. Se fornecido, path é uma sequência de caminhos de diretório anexada a sys.path, que é usada para localizar o código-fonte do módulo.

Esta função é a interface original e é mantida apenas para compatibilidade reversa. Ela retorna uma versão filtrada da seguinte.

pyclbr.readmodule_ex(module, path=None)

Retorna uma árvore baseada em dicionário que contém uma função ou descritores de classe para cada função e classe definida no módulo com uma instrução def ou class. O dicionário retornado mapeia os nomes das funções e das classes no nível do módulo para seus descritores. Objetos aninhados são inseridos no dicionário filho de seus pais. Como em readmodule, module nomeia o módulo a ser lido e path é anexado ao sys.path. Se o módulo que está sendo lido for um pacote, o dicionário retornado terá uma chave '__path__' cujo valor é uma lista que contém o caminho de pesquisa do pacote.

Adicionado na versão 3.7: Descritores para definições aninhadas. Eles são acessados através do novo atributo filho. Cada um tem um novo atributo pai.

Os descritores retornados por essas funções são instâncias das classes Function e Class. Não se espera que os usuários criem instâncias dessas classes.

Objetos Function

class pyclbr.Function

Instâncias da classe Function descrevem funções definidas por instruções def. Elas têm os seguintes atributos:

file

Nome do arquivo no qual a função está definida.

module

O nome do módulo que define a função descrita.

name

O nome da função.

lineno

O número da linha no arquivo em que a definição é iniciada.

parent

Para funções de nível superior, None. Para funções aninhadas, o pai.

Adicionado na versão 3.7.

children

Um dicionário que mapeia nomes para descritores para funções e classes aninhadas.

Adicionado na versão 3.7.

is_async

True para funções que são definidas com o prefixo async. Caso contrário, False.

Adicionado na versão 3.10.

Objetos Class

class pyclbr.Class

Instâncias da classe Class descrevem classes definidas por instruções class. Elas têm os mesmos atributos que Functions e mais dois.

file

Nome do arquivo no qual a classe está definida.

module

O nome do módulo que define a classe descrita.

name

O nome da classe.

lineno

O número da linha no arquivo em que a definição é iniciada.

parent

Para classes de nível superior, None. Para classes aninhadas, o pai.

Adicionado na versão 3.7.

children

Um dicionário que mapeia nomes para descritores para funções e classes aninhadas.

Adicionado na versão 3.7.

super

Uma lista de objetos Class que descreve as classes base imediatas da classe que está sendo descrita. Classes nomeadas como superclasses, mas que não podem ser descobertas por readmodule_ex() são listadas como uma string com o nome da classe em vez de como objetos de Class.

methods

Um dicionário que mapeia nomes de métodos para números de linha. Isso pode ser derivado do dicionário children mais novo, mas permanece para compatibilidade retroativa.

py_compile — Compila arquivos fonte do Python

Código-fonte: Lib/py_compile.py [https://github.com/python/cpython/tree/3.13/Lib/py_compile.py]

O módulo py_compile fornece uma função para gerar um arquivo de bytecode a partir de um arquivo fonte, e outra função usada quando o arquivo fonte do módulo é chamado como um script.

Embora nem sempre seja necessária, essa função pode ser útil ao instalar módulos para uso compartilhado, especialmente se alguns usuários não tiverem permissão para gravar os arquivos de cache de bytecodes no diretório que contém o código-fonte.

exception py_compile.PyCompileError

Exceção levantada quando ocorre um erro ao tentar compilar o arquivo.

py_compile.compile(file, cfile=None, dfile=None, doraise=False, optimize=-1, invalidation_mode=PycInvalidationMode.TIMESTAMP, quiet=0)

Compila um arquivo fonte para bytecode e grava o arquivo de cache de bytecode. O código-fonte é carregado a partir do arquivo chamado file. O bytecode é gravado em cfile, cujo padrão é o caminho PEP 3147 [https://peps.python.org/pep-3147/]/PEP 488 [https://peps.python.org/pep-0488/], terminando em .pyc. Por exemplo, se file for /foo/bar/baz.py, o cfile será padronizado como /foo/bar/__pycache__/baz.cpython-32.pyc para o Python 3.2. Se dfile for especificado, ele será usado em vez de file como o nome do arquivo fonte do qual as linhas de origem são obtidas para exibição em tracebacks de exceção. Se doraise for verdadeiro, a PyCompileError será levantada quando um erro for encontrado durante a compilação de file. Se doraise for false (o padrão), uma string de erros será gravada em sys.stderr, mas nenhuma exceção será levantada. Essa função retorna o caminho para o arquivo compilado em bytes, ou seja, qualquer valor cfile foi usado.

Os argumentos doraise e quiet determinam como os erros são tratados durante a compilação do arquivo. Se quiet for 0 ou 1 e doraise for false, o comportamento padrão será ativado: uma string de erros será gravada em sys.stderr e a função retornará None em vez de um caminho. Se doraise for verdadeiro, uma PyCompileError será levantada. No entanto, se quiet for 2, nenhuma mensagem será escrita e doraise não terá efeito.

Se o caminho que cfile se tornar (especificado ou computado explicitamente) for um link simbólico ou um arquivo não regular, FileExistsError será levantada. Isso serve como um aviso de que a importação transformará esses caminhos em arquivos regulares se for permitido gravar arquivos compilados em bytes nesses caminhos. Esse é um efeito colateral da importação usando a renomeação de arquivo para colocar o arquivo final compilado em bytecode para evitar problemas de gravação simultânea de arquivos.

optimize controla o nível de otimização e é passado para a função embutida compile(). O padrão de -1 seleciona o nível de otimização do interpretador atual.

invalidation_mode deve ser um membro da enum PycInvalidationMode e controla como o cache do bytecode gerado é invalidado em tempo de execução. O padrão é PycInvalidationMode.CHECKED_HASH se a variável de ambiente SOURCE_DATE_EPOCH estiver configurada, caso contrário, o padrão é PycInvalidationMode.TIMESTAMP.

Alterado na versão 3.2: Alterado o valor padrão de cfile para ficar em conformidade com a PEP 3147 [https://peps.python.org/pep-3147/]. O padrão anterior era file + 'c' ('o' se a otimização estivesse ativada). Também foi adicionado o parâmetro optimize.

Alterado na versão 3.4: Alterado o código para usar importlib para a gravação do arquivo de cache do bytecode. Isso significa que a semântica de criação/gravação de arquivo agora corresponde ao que importlib faz, por exemplo, permissões, semântica de gravação e movimentação, etc. Também foi adicionada a ressalva de que FileExistsError é levantada se cfile for um link simbólico ou um arquivo não regular.

Alterado na versão 3.7: O parâmetro invalidation_mode foi adicionado conforme especificado em PEP 552 [https://peps.python.org/pep-0552/]. Se a variável de ambiente SOURCE_DATE_EPOCH estiver configurada, invalidation_mode será forçado a PycInvalidationMode.CHECKED_HASH.

Alterado na versão 3.7.2: A variável de ambiente SOURCE_DATE_EPOCH não substitui mais o valor do argumento invalidation_mode e, em vez disso, determina seu valor padrão.

Alterado na versão 3.8: O parâmetro quiet foi adicionado.

class py_compile.PycInvalidationMode

Uma enumeração de métodos possíveis que o interpretador pode usar para determinar se um arquivo de bytecode está atualizado com um arquivo fonte. O arquivo .pyc indica o modo de invalidação desejado em seu cabeçalho. Veja Invalidação de bytecode em cache para obter mais informações sobre como o Python invalida arquivos .pyc em tempo de execução.

Adicionado na versão 3.7.

TIMESTAMP

O arquivo .pyc inclui o carimbo de data e hora e o tamanho do arquivo fonte, que o Python comparará com os metadados do arquivo fonte no tempo de execução para determinar se o arquivo .pyc precisa ser gerado novamente.

CHECKED_HASH

O arquivo .pyc inclui um hash do conteúdo do arquivo fonte, com o qual o Python comparará o fonte em tempo de execução para determinar se o arquivo .pyc precisa ser gerado novamente.

UNCHECKED_HASH

Como CHECKED_HASH, o arquivo .pyc inclui um hash do conteúdo do arquivo fonte. No entanto, em tempo de execução, o Python presumirá que o arquivo .pyc está atualizado e não validará o .pyc contra o arquivo fonte.

Essa opção é útil quando os .pycs são atualizados por algum sistema externo ao Python, como um sistema de compilação.

Interface de Linha de Comando

Este módulo pode ser invocado como um script para compilar vários arquivos fonte. Os arquivos nomeados em filenames são compilados e o bytecode resultante é armazenado em cache da maneira normal. Este programa não pesquisa uma estrutura de diretórios para localizar arquivos de origem; ele apenas compila arquivos nomeados explicitamente. O status de saída será diferente de zero se um dos arquivos não puder ser compilado.

<file> ... <fileN>

-

Argumentos posicionais são arquivos para compilar. Se - for o único parâmetro, a lista de arquivos será obtida da entrada padrão.

-q, --quiet

Suprime a saída de erros.

Alterado na versão 3.2: Adicionado suporte a -.

Alterado na versão 3.10: Adicionado suporte a -q.

Ver também

Módulo compileall

Utilitários para compilar todos os arquivos fontes Python em uma árvore de diretórios.

compileall — Compilar bibliotecas do Python para bytecode

Código-fonte: Lib/compileall.py [https://github.com/python/cpython/tree/3.13/Lib/compileall.py]

Este módulo fornece algumas funções utilitárias para dar suporte à instalação de bibliotecas Python. Essas funções compilam arquivos fonte Python em uma árvore de diretórios. Este módulo pode ser usado para criar os arquivos de bytecodes em cache no momento da instalação da biblioteca, o que os torna disponíveis para uso mesmo por usuários que não têm permissão de gravação nos diretórios da biblioteca.

Disponibilidade

Este módulo não funciona ou não está disponível em WebAssembly. Veja Plataformas WebAssembly para mais informações.

Uso na linha de comando

Este módulo pode funcionar como um script (usando python -m compileall) para compilar fontes do Python.

directory ...

file ...

Argumentos posicionais são arquivos a serem compilados ou diretórios que contêm arquivos de origem, percorridos recursivamente. Se nenhum argumento for fornecido, comporta-se como se a linha de comando fosse -l <diretórios do sys.path>.

-l

Não atua recursivamente em subdiretórios, apenas compila arquivos de código-fonte diretamente contidos nos diretórios nomeados ou implícitos.

-f

Força a recompilação, mesmo que os carimbos de data e hora estejam atualizados.

-q

Não imprime a lista de arquivos compilados. Se passado uma vez, as mensagens de erro ainda serão impressas. Se passado duas vezes (-qq), toda a saída é suprimida.

-d destdir

Diretório anexado ao caminho de cada arquivo que está sendo compilado. Isso aparecerá nos tracebacks em tempo de compilação e também será compilado no arquivo de bytecode, onde será usado em tracebacks e outras mensagens nos casos em que o arquivo de origem não exista no momento em que o arquivo de bytecode for executado.

-s strip_prefix

-p prepend_prefix

Remove (-s) ou acrescenta (-p) o prefixo especificado dos caminhos gravados nos arquivos .pyc. Não pode ser combinado com -d.

-x regex

A expressão regular regex é usada para pesquisar o caminho completo para cada arquivo considerado para compilação e, se a regex produzir uma correspondência, o arquivo será ignorado.

-i list

Lê o arquivo list e adicione cada linha que ele contém à lista de arquivos e diretórios a serem compilados. Se list for -, lê as linhas do stdin.

-b

Escreve os arquivos de bytecode em seus locais e nomes legados, que podem sobrescrever arquivos de bytecode criados por outra versão do Python. O padrão é gravar arquivos em seus locais e nomes do PEP 3147 [https://peps.python.org/pep-3147/], o que permite que arquivos de bytecode de várias versões do Python coexistam.

-r

Controla o nível máximo de recursão para subdiretórios. Se isso for dado, a opção -l não será levada em consideração. python -m compileall <diretório> -r 0 é equivalente a python -m compileall <diretório> -l.

-j N

Usa N workers para compilar os arquivos dentro do diretório especificado. Se 0 for usado, o resultado de os.process_cpu_count() será usado.

--invalidation-mode [timestamp|checked-hash|unchecked-hash]

Controla como os arquivos de bytecode gerados são invalidados no tempo de execução. O valor timestamp significa que os arquivos .pyc com o carimbo de data/hora do fonte e o tamanho incorporado serão gerados. Os valores selected-hash e unchecked-hash fazem com que os pycs baseados em hash sejam gerados. Arquivos pycs baseados em hash incorporam um hash do conteúdo do arquivo fonte em vez de um carimbo de data/hora. Veja Invalidação de bytecode em cache para obter mais informações sobre como o Python valida os arquivos de cache do bytecode em tempo de execução. O padrão é timestamp se a variável de ambiente SOURCE_DATE_EPOCH não estiver configurada e selected-hash se a variável de ambiente SOURCE_DATE_EPOCH estiver configurada.

-o level

Compila com o nível de otimização fornecido. Pode ser usado várias vezes para compilar para vários níveis por vez (por exemplo, compileall -o 1 -o 2).

-e dir

Ignora links simbólicos que apontam para fora do diretório especificado.

--hardlink-dupes

Se dois arquivos .pyc com nível de otimização diferente tiverem o mesmo conteúdo, usa links físicos para consolidar arquivos duplicados.

Alterado na versão 3.2: Adicionadas as opções -i, -b e -h.

Alterado na versão 3.5: Adicionadas as opções -j, -r e -qq. A opção -q foi alterada para um valor multinível. -b sempre produzirá um arquivo de bytecodes que termina em .pyc, nunca em .pyo.

Alterado na versão 3.7: Adicionada a opção --invalidation-mode.

Alterado na versão 3.9: Adicionadas as opções -s, -p, -e e --hardlink-dupes. Aumentado o limite de recursão padrão de 10 para sys.getrecursionlimit(). Adicionada a possibilidade de especificar a opção -o várias vezes.

Não há opção na linha de comando para controlar o nível de otimização usado pela função compile() porque o próprio interpretador Python já fornece a opção: python -O -m compileall.

Da mesma forma, a função compile() respeita a configuração sys.pycache_prefix. O cache do bytecode gerado somente será útil se compile() for executado com o mesmo sys.pycache_prefix (se houver) que será usado em tempo de execução.

Funções públicas

compileall.compile_dir(dir, maxlevels=sys.getrecursionlimit(), ddir=None, force=False, rx=None, quiet=0, legacy=False, optimize=-1, workers=1, invalidation_mode=None, *, stripdir=None, prependdir=None, limit_sl_dest=None, hardlink_dupes=False)

Desce recursivamente a árvore de diretórios nomeada por dir, compilando todos os arquivos .py ao longo do caminho. Retorna um valor verdadeiro se todos os arquivos forem compilados com êxito e um valor falso caso contrário.

O parâmetro maxlevels é usado para limitar a profundidade da recursão; o padrão é sys.getrecursionlimit().

Se ddir for fornecido, ele será anexado ao caminho de cada arquivo que está sendo compilado para uso em tracebacks em tempo de compilação e também será compilado no arquivo de bytecode, onde será usado em tracebacks e outras mensagens nos casos em que o arquivo de origem não existe no momento em que o arquivo de bytecode é executado.

Se force for verdadeiro, os módulos serão recompilados, mesmo que os carimbos de data e hora estejam atualizados.

Se rx for fornecido, seu método search será chamado no caminho completo para cada arquivo considerado para compilação e, se retornar um valor verdadeiro, o arquivo será ignorado. Isso pode ser usado para excluir arquivos correspondendo a uma expressão regular, dado como um objeto re.Pattern.

Se quiet for False ou 0 (o padrão), os nomes dos arquivos e outras informações serão impressos com o padrão. Definido como 1, apenas os erros são impressos. Definido como 2, toda a saída é suprimida.

Se legacy for verdadeiro, os arquivos de bytecodes serão gravados em seus locais e nomes herdados, o que poderá sobrescrever arquivos de bytecodes criados por outra versão do Python. O padrão é gravar arquivos em seus locais e nomes do PEP 3147 [https://peps.python.org/pep-3147/], o que permite que arquivos de bytecodes de várias versões do Python coexistam.

optimize especifica o nível de otimização para o compilador. Ele é passado para a função embutida compile(). Aceita também uma sequência de níveis de otimização que levam a várias compilações de um arquivo .py em uma chamada.

O argumento workers especifica quantos workers são usados para compilar arquivos em paralelo. O padrão é não usar vários workers. Se a plataforma não puder usar vários workers e o argumento workers for fornecido, a compilação sequencial será usada como reserva. Se workers for 0, o número de núcleos no sistema é usado. Se workers for menor que 0, a ValueError será levantada.

invalidation_mode deve ser um membro de enum py_compile.PycInvalidationMode e controla como os pycs gerados são invalidados em tempo de execução.

Os argumentos stripdir, prependdir e limit_sl_dest correspondem às opções -s, -p e -e descrita acima. eles podem ser especificados como str ou os.PathLike.

Se hardlink_dupes for verdadeiro e dois arquivos .pyc com nível de otimização diferente tiverem o mesmo conteúdo, usa links físicos para consolidar arquivos duplicados.

Alterado na versão 3.2: Adicionado os parâmetros legacy e optimize.

Alterado na versão 3.5: Adicionado o parâmetro workers.

Alterado na versão 3.5: O parâmetro quiet foi alterado para um valor multinível.

Alterado na versão 3.5: O parâmetro legacy grava apenas arquivos .pyc, não os arquivos .pyo, independentemente do valor de optimize.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

Alterado na versão 3.7: O parâmetro invalidation_mode foi adicionado.

Alterado na versão 3.7.2: O valor padrão do parâmetro invalidation_mode é atualizado para None.

Alterado na versão 3.8: A definição de workers como 0 agora escolhe o número ideal de núcleos.

Alterado na versão 3.9: Adicionados os argumentos stripdir, prependdir, limit_sl_dest e hardlink_dupes. O valor padrão de maxlevels foi alterado de 10 para sys.getrecursionlimit()

compileall.compile_file(fullname, ddir=None, force=False, rx=None, quiet=0, legacy=False, optimize=-1, invalidation_mode=None, *, stripdir=None, prependdir=None, limit_sl_dest=None, hardlink_dupes=False)

Compila o arquivo com o caminho fullname. Retorna um valor verdadeiro se o arquivo compilado com êxito e um valor falso caso contrário.

Se ddir for fornecido, ele será anexado ao caminho do arquivo que está sendo compilado para uso em rastreamentos em tempo de compilação e também será compilado no arquivo de bytecode, onde será usado em tracebacks e outras mensagens nos casos em que o arquivo fonte não existe no momento em que o arquivo de bytecode é executado.

Se rx for fornecido, seu método search passará o nome do caminho completo para o arquivo que está sendo compilado e, se retornar um valor verdadeiro, o arquivo não será compilado e True será retornado. Isso pode ser usado para excluir arquivos correspondendo a uma expressão regular, dado como um objeto re.Pattern.

Se quiet for False ou 0 (o padrão), os nomes dos arquivos e outras informações serão impressos com o padrão. Definido como 1, apenas os erros são impressos. Definido como 2, toda a saída é suprimida.

Se legacy for verdadeiro, os arquivos de bytecodes serão gravados em seus locais e nomes herdados, o que poderá sobrescrever arquivos de bytecodes criados por outra versão do Python. O padrão é gravar arquivos em seus locais e nomes do PEP 3147 [https://peps.python.org/pep-3147/], o que permite que arquivos de bytecodes de várias versões do Python coexistam.

optimize especifica o nível de otimização para o compilador. Ele é passado para a função embutida compile(). Aceita também uma sequência de níveis de otimização que levam a várias compilações de um arquivo .py em uma chamada.

invalidation_mode deve ser um membro de enum py_compile.PycInvalidationMode e controla como os pycs gerados são invalidados em tempo de execução.

Os argumentos stripdir, prependdir e limit_sl_dest correspondem às opções -s, -p e -e descrita acima. eles podem ser especificados como str ou os.PathLike.

Se hardlink_dupes for verdadeiro e dois arquivos .pyc com nível de otimização diferente tiverem o mesmo conteúdo, usa links físicos para consolidar arquivos duplicados.

Adicionado na versão 3.2.

Alterado na versão 3.5: O parâmetro quiet foi alterado para um valor multinível.

Alterado na versão 3.5: O parâmetro legacy grava apenas arquivos .pyc, não os arquivos .pyo, independentemente do valor de optimize.

Alterado na versão 3.7: O parâmetro invalidation_mode foi adicionado.

Alterado na versão 3.7.2: O valor padrão do parâmetro invalidation_mode é atualizado para None.

Alterado na versão 3.9: Adicionados os argumentos stripdir, prependdir, limit_sl_dest e hardlink_dupes.

compileall.compile_path(skip_curdir=True, maxlevels=0, force=False, quiet=0, legacy=False, optimize=-1, invalidation_mode=None)

Compila Byte para bytecodes todos os arquivos .py encontrados ao longo de sys.path. Retorna um valor verdadeiro se todos os arquivos forem compilados com êxito e um valor falso caso contrário.

Se skip_curdir for verdadeiro (o padrão), o diretório atual não será incluído na pesquisa. Todos os outros parâmetros são passados para a função compile_dir(). Note que, ao contrário das outras funções de compilação, maxlevels é padronizado como 0.

Alterado na versão 3.2: Adicionado os parâmetros legacy e optimize.

Alterado na versão 3.5: O parâmetro quiet foi alterado para um valor multinível.

Alterado na versão 3.5: O parâmetro legacy grava apenas arquivos .pyc, não os arquivos .pyo, independentemente do valor de optimize.

Alterado na versão 3.7: O parâmetro invalidation_mode foi adicionado.

Alterado na versão 3.7.2: O valor padrão do parâmetro invalidation_mode é atualizado para None.

Para forçar uma recompilação de todos os arquivos .py no subdiretório Lib/ e todos os seus subdiretórios:

import compileall

compileall.compile_dir('Lib/', force=True)

# Efetua a mesma compilação, excluindo arquivos em diretórios .svn.
import re
compileall.compile_dir('Lib/', rx=re.compile(r'[/\\][.]svn'), force=True)

# Objetos pathlib.Path também podem ser usados.
import pathlib
compileall.compile_dir(pathlib.Path('Lib/'), force=True)

Ver também

Módulo py_compile

Compila para bytecode um único arquivo fonte.

dis — Disassembler de bytecode do Python

Código-fonte: Lib/dis.py [https://github.com/python/cpython/tree/3.13/Lib/dis.py]

O módulo dis oferece suporte à análise de bytecode do CPython, desmontando-o. O bytecode do CPython que o módulo leva como entrada é definido no arquivo Include/opcode.h e usado pelo compilador e pelo interpretador.

Detalhes da implementação do CPython: O bytecode é um detalhe de implementação do interpretador CPython. Não há garantias de que bytecodes não serão adicionados, removidos ou alterados entre as versões do Python. O uso deste módulo não deve ser considerado que funcionará em todas as VMs do Python ou mesmo versões do Python.

Alterado na versão 3.6: Cada instrução ocupa 2 bytes. Anteriormente, o número de bytes variava de acordo com a instrução.

Alterado na versão 3.10: O argumento para instruções de pulo, tratamento de exceção e laço é agora o deslocamento em instruções, ao invés de em bytes.

Alterado na versão 3.11: Algumas instruções vêm acompanhadas de uma ou mais entradas de cache em linha, as quais assumem a forma de instruções CACHE. Tais instruções são escondidas por padrão, mas podem ser visualizadas passando show_caches=True para qualquer utilidade do dis. Além disso, o interpretador agora adapta o bytecode para especializá-lo a diferentes condições de tempo de execução. O bytecode adaptativo pode ser visualizado passando adaptive=True.

Alterado na versão 3.12: O argumento de um pulo é o deslocamento da instrução alvo relativo à instrução que aparece imediatamente após as entradas CACHE da instrução de pulo.

Como consequência, a presença de instruções CACHE é transparente para pulos adiante, mas precisa ser considerada ao lidar com pulos para trás.

Alterado na versão 3.13: A saída agora mostra rótulos lógicos ao invés dos deslocamentos das instruções para alvos de pulos e de tratadores de exceções. A opção de linha de comando -O e o argumento show_offsets foram adicionados.

Exemplo: Dada a função myfunc():

def myfunc(alist):
    return len(alist)

o comando a seguir pode ser usado para mostrar a desconstrução de myfunc():

>>> dis.dis(myfunc)
  2           RESUME                   0

  3           LOAD_GLOBAL              1 (len + NULL)
              LOAD_FAST                0 (alist)
              CALL                     1
              RETURN_VALUE

(O “2” é o número da linha).

Interface de linha de comando

O módulo dis pode ser invocado como um script na linha de comando:

python -m dis [-h] [-C] [-O] [infile]

As seguintes opções são aceitas:

-h, --help

Exibe o modo de uso e sai.

-C, --show-caches

Mostra caches em linha

-O, --show-offsets

Mostra os deslocamentos das instruções

Se infile for especificada, o seu código desmontado será escrito no stdout. Caso contrário, será feito o desmonte da compilação do código-fonte recebido do stdin.

Análise de bytecode

Adicionado na versão 3.4.

A API de análise de bytecode permite que partes do código Python sejam encapsuladas em um objeto Bytecode que facilite o acesso aos detalhes do código compilado.

class dis.Bytecode(x, *, first_line=None, current_offset=None, show_caches=False, adaptive=False, show_offsets=False)

Analisa o bytecode correspondente a uma função, um gerador, um gerador assíncrono, uma corrotina, um método, uma string de código-fonte, ou um objeto de código (conforme retornado por compile()).

Esta é um invólucro de conveniência que encapsula muitas das funções listadas abaixo, principalmente a get_instructions(), já que iterar sobre sobre uma instância de Bytecode produz operações bytecode como instâncias de Instruction.

Se first_line não for None, ele indica o número de linha que deve ser reportado para a primeira linha de código-fonte no código desmontado. Caso contrário, a informação de linha de código-fonte (se houver) é extraída diretamente da desconstrução do objeto de código.

Se current_offset não for None, ele é um deslocamento em instruções no código desconstruído. Definir este argumento significa que o dis() vai mostrar um marcador de “instrução atual” sobre o opcode especificado.

Se show_caches for True, o dis() vai exibir entradas de cache em linha usadas pelo interpretador para especializar o bytecode.

Se adaptive for True, o dis() vai exibir bytecode especializado que pode ser diferente do bytecode original.

Se show_offsets for True, o dis() vai incluir deslocamentos em instruções na saída.

classmethod from_traceback(tb, *, show_caches=False)

Constrói uma instância de Bytecode a partir do traceback fornecido, definindo current_offset apontando para a instrução responsável pela exceção.

codeobj

O objeto de código compilado.

first_line

A primeira linha de código-fonte do objeto de código (caso disponível).

dis()

Retorna uma visualização formatada das operações em bytecode (as mesmas que seriam impressas pela dis.dis(), mas retornadas como uma string multilinha).

info()

Retorna uma string multilinha formatada com informação detalhada sobre o objeto de código, como code_info().

Alterado na versão 3.7: Este método agora lida com objetos de corrotina e de gerador assíncrono.

Alterado na versão 3.11: Adicionados os parâmetros show_caches e adaptive.

Exemplo:

>>> bytecode = dis.Bytecode(myfunc)
>>> for instr in bytecode:
...     print(instr.opname)
...
RESUME
LOAD_GLOBAL
LOAD_FAST
CALL
RETURN_VALUE

Funções de análise

O módulo dis também define as seguintes funções que convertem a entrada diretamente para a saída desejada. Elas podem ser úteis se somente uma única operação está sendo feita, de forma que o objeto de análise intermediário não é útil:

dis.code_info(x)

Retorna uma string multilinha formatada com informação detalhada sobre o objeto de código correspondente à função, gerador, gerador assíncrono, corrotina, método, string de código-fonte ou objeto de código fornecido.

Observe que o conteúdo exato de strings de informação de código são altamente dependentes da implementação e podem mudar de forma arbitrária através de VMs Python ou lançamentos do Python.

Adicionado na versão 3.2.

Alterado na versão 3.7: Este método agora lida com objetos de corrotina e de gerador assíncrono.

dis.show_code(x, *, file=None)

Imprime no arquivo file (ou sys.stdout caso file não seja especificado) informações detalhadas sobre o objeto de código correspondente à função, método, string de código-fonte fornecido.

Este é um atalho conveniente para print(code_info(x), file=file), destinado à exploração interativa no prompt do interpretador.

Adicionado na versão 3.2.

Alterado na versão 3.4: Adicionado o parâmetro file.

dis.dis(x=None, *, file=None, depth=None, show_caches=False, adaptive=False)

Desmonta o objeto x. x pode denotar um módulo, uma classe, um método, uma função, um gerador, um gerador assíncrono, uma corrotina, um objeto de código, uma string de código-fonte ou uma sequência de bytes contendo bytecode bruto. Para um módulo, são desmontadas todas as funções. Para uma classe, são desmontados todos os métodos (incluindo métodos de classe e estáticos). Para um objeto de código ou sequência de bytecodes brutos, é impressa uma linha para cada instrução de bytecode. Além disso, objetos de código aninhados são desmontados recursivamente. Estes podem incluir expressões geradoras, funções aninhadas, corpos de classes aninhadas, e objetos de código usados para escopos de anotação. Strings são compiladas para objetos de código com a função embutida compile() antes de serem desmontadas. Se nenhum objeto for fornecido, o último traceback é desmontado.

O resultado é escrito como texto no arquivo file caso tenha sido fornecido como argumento, ou para sys.stdout caso contrário.

A profundidade máxima de recursão é limitada por depth a menos que seja None. depth=0 significa não fazer recursão.

Se show_caches for True, essa função vai exibir entradas de cache em linha usadas pelo interpretador para especializar o bytecode.

Se adaptive for True, essa função vai exibir bytecode especializado que pode ser diferente do bytecode original.

Alterado na versão 3.4: Adicionado o parâmetro file.

Alterado na versão 3.7: Foi implementada a desmontagem recursiva, e adicionado o parâmetro depth.

Alterado na versão 3.7: Este método agora lida com objetos de corrotina e de gerador assíncrono.

Alterado na versão 3.11: Adicionados os parâmetros show_caches e adaptive.

distb(tb=None, *, file=None, show_caches=False, adaptive=False,

show_offset=False)

Desmonta a função no topo da pilha de um traceback, usando o último traceback caso nenhum tenha sido passado. A instrução que causou a exceção é indicada.

O resultado é escrito como texto no arquivo file caso tenha sido fornecido como argumento, ou para sys.stdout caso contrário.

Alterado na versão 3.4: Adicionado o parâmetro file.

Alterado na versão 3.11: Adicionados os parâmetros show_caches e adaptive.

Alterado na versão 3.13: Foi adicionado o parâmetro show_offsets.

dis.disassemble(code, lasti=-1, *, file=None, show_caches=False, adaptive=False)

disco(code, lasti=-1, *, file=None, show_caches=False, adaptive=False,

show_offsets=False)

Desmonta um objeto de código, indicando a última instrução se lasti tiver sido fornecido. A saída é dividida em colunas da seguinte forma:

o número da linha, para a primeira instrução de cada linha

a instrução atual, indicada por -->,

um rótulo da instrução, indicado com >>,

o endereço da instrução

o nome do código da operação,

os parâmetros da operação, e

a interpretação dos parâmetros, em parênteses.

A interpretação dos parâmetros reconhece nomes de variáveis locais e globais, valores de constantes, alvos de ramificações, e operadores de comparação.

O resultado é escrito como texto no arquivo file caso tenha sido fornecido como argumento, ou para sys.stdout caso contrário.

Alterado na versão 3.4: Adicionado o parâmetro file.

Alterado na versão 3.11: Adicionados os parâmetros show_caches e adaptive.

Alterado na versão 3.13: Foi adicionado o parâmetro show_offsets.

dis.get_instructions(x, *, first_line=None, show_caches=False, adaptive=False)

Retorna um iterador sobre as instruções na função, método, string de código-fonte ou objeto de código fornecido.

O iterador gera uma série de tuplas nomeadas Instruction contendo detalhes de cada operação no código fornecido.

Se first_line não for None, ele indica o número de linha que deve ser reportado para a primeira linha de código-fonte no código desmontado. Caso contrário, a informação de linha de código-fonte (se houver) é extraída diretamente da desconstrução do objeto de código.

O parâmetro adaptive funciona assim como na função dis().

Adicionado na versão 3.4.

Alterado na versão 3.11: Adicionados os parâmetros show_caches e adaptive.

Alterado na versão 3.13: O parâmetro show_caches foi descontinuado e não tem mais efeito. O iterador gera as instâncias da Instruction com o campo cache_info populado (independentemente do valor de show_caches) e não gera mais items separados para as entradas de cache.

dis.findlinestarts(code)

Essa função geradora usa o método co_lines() do objeto de código code para encontrar as posições que correspondem aos inícios de cada linha do código-fonte. Elas são geradas em pares (offset, lineno).

Alterado na versão 3.6: Números de linhas podem ser decrescentes. Antes, eles eram sempre crescentes.

Alterado na versão 3.10: O método co_lines() da PEP 626 [https://peps.python.org/pep-0626/] é usado ao invés dos atributos co_firstlineno e co_lnotab do objeto de código.

Alterado na versão 3.13: Números de linha podem ser None para bytecode que não corresponde a um código-fonte.

dis.findlabels(code)

Detecta todas as posições na string de bytecode compilado bruto code que são alvos de pulos, e as retorna em uma lista.

dis.stack_effect(opcode, oparg=None, *, jump=None)

Calcula o efeito que o opcode com argumento oparg tem na pilha.

Se a operação tiver um alvo de pulo e jump for True, stack_effect() vai retornar o efeito na pilha de realizar o pulo. Se jump for False, ela vai retornar o efeito na pilha de não pular. E se jump for None (o padrão), vai retornar o efeito máximo na pilha dentre os dois casos.

Adicionado na versão 3.4.

Alterado na versão 3.8: Adicionado o parâmetro jump.

Alterado na versão 3.13: Se oparg for omitido (ou None), agora é retornado o efeito na pilha para o caso oparg=0. Anteriormente isso era um erro caso o opcode usasse o seu argumento. Além disso, agora não é mais um erro passar um inteiro como oparg quando o opcode não o usa; o oparg nesse caso é ignorado.

Instruções em bytecode do Python

A função get_instructions() e a classe Bytecode fornecem detalhes de instruções de bytecode como instâncias de Instruction:

class dis.Instruction

Detalhes de uma operação em bytecode

opcode

código numérico da operação, correspondendo aos valores dos opcodes listados abaixo e aos valores dos bytecodes nas Opcode collections.

opname

nome legível por humanos para a operação

baseopcode

código numérico para a operação base caso a operação seja especializada; caso contrário, igual ao opcode

baseopname

nome legível por humanos para a operação base caso a operação seja especializada; caso contrário, igual ao opname

arg

argumento numérico para a operação (se houver), caso contrário None

oparg

apelido para arg

argval

valor resolvido do argumento (se houver), caso contrário None

argrepr

descrição legível por humanos do argumento da operação (se houver), caso contrário uma string vazia.

offset

índice de início da operação dentro da sequência de bytecodes

start_offset

índice de início da operação dentro da sequência de bytecodes, incluindo as operações de EXTENDED_ARG prefixadas, caso presentes; caso contrário, igual a offset

cache_offset

índice de início das entradas de cache que seguem a operação

end_offset

índice de fim das entradas de cache que seguem a operação

starts_line

True se esse opcode inicia uma linha, False caso contrário

line_number

linha de código-fonte associada a esse opcode (se houver), senão None

is_jump_target

True se algum outro código pula para cá, senão False

jump_target

índice do bytecode que é alvo do pulo caso essa seja uma operação de pulo, caso contrário None

positions

objeto dis.Positions contendo os pontos de início e fim cobertos por esta instrução.

Adicionado na versão 3.4.

Alterado na versão 3.11: Adicionado o campo positions.

Alterado na versão 3.13: Alterado o campo starts_line.

Adicionados os campos start_offset, cache_offset, end_offset, baseopname, baseopcode, jump_target, oparg, line_number e cache_info.

class dis.Positions

Caso a informação não esteja disponível, alguns campos podem ser None.

lineno

end_lineno

col_offset

end_col_offset

Adicionado na versão 3.11.

O compilador de Python atualmente gera as seguintes instruções de bytecode.

Instruções gerais

A seguir, vamos usar STACK para nos referirmos à pilha do interpretador, e vamos descrever operações nela como se ela fosse uma lista do Python. Nessa linguagem, STACK[-1] é o topo da pilha.

NOP

Código para não fazer nada. Usado como espaço reservado pelo otimizador de bytecode, e para gerar eventos de rastreamento de linha.

POP_TOP

Remove o item no topo da pilha:

STACK.pop()

END_FOR

Remove o item no topo da pilha. Equivalente a POP_TOP. Usado como limpeza ao final de laços, o que explica o nome.

Adicionado na versão 3.12.

END_SEND

Implementa del STACK[-2]. Usado como limpeza quando um gerador termina.

Adicionado na versão 3.12.

COPY(i)

Coloca o i-ésimo item no topo da pilha sem removê-lo da sua posição original:

assert i > 0
STACK.append(STACK[-i])

Adicionado na versão 3.11.

SWAP(i)

Troca o topo da pilha de lugar com o i-ésimo elemento.

STACK[-i], STACK[-1] = STACK[-1], STACK[-i]

Adicionado na versão 3.11.

CACHE

Ao invés de ser uma instrução de fato, este opcode é usado para demarcar espaço extra para o interpretador armazernar dados úteis diretamente no próprio bytecode. É escondido automaticamente por todas as utilidades do dis, mas pode ser visualizado com show_caches=True.

Do ponto de vista lógico, este espaço faz parte da instrução anterior. Muitos opcodes esperam ser seguidos por um número exato de caches, e instruem o interpretador a pulá-los em tempo de execução.

Caches populados podem se parecer com qualquer instrução, de forma que ler ou modificar bytecode adaptativo bruto contendo dados “quickened” requer muito cuidado.

Adicionado na versão 3.11.

Operações unárias

Operações unárias tiram o topo da pilha, aplicam a operação, e põem o resultado de volta na pilha.

UNARY_NEGATIVE

Implementa STACK[-1] = -STACK[-1].

UNARY_NOT

Implementa STACK[-1] = not STACK[-1].

Alterado na versão 3.13: Essa instrução agora requer que o operando seja exatamente do tipo bool.

UNARY_INVERT

Implementa STACK[-1] = ~STACK[-1].

GET_ITER

Implementa STACK[-1] = iter(STACK[-1]).

GET_YIELD_FROM_ITER

Se STACK[-1] for um iterador gerador ou um objeto corrotina, nada acontece. Caso contrário, implementa STACK[-1] = iter(STACK[-1]).

Adicionado na versão 3.5.

TO_BOOL

Implementa STACK[-1] = bool(STACK[-1]).

Adicionado na versão 3.13.

Operações binárias e internas

Operações binárias removem os dois itens no topo da pilha (STACK[-1] e STACK[-2]). A operação é realizada, e o resultado é colocado de volta na pilha.

As operações internas são como as operações binárias, só que a operação é feita internamente caso suportado por STACK[-2], e o STACK[-1] resultante pode ser (mas não necessariamente é) o STACK[-2] original.

BINARY_OP(op)

Implementa os operadores binários e locais (depende do valor de op):

rhs = STACK.pop()
lhs = STACK.pop()
STACK.append(lhs op rhs)

Adicionado na versão 3.11.

BINARY_SUBSCR

Implementa:

key = STACK.pop()
container = STACK.pop()
STACK.append(container[key])

STORE_SUBSCR

Implementa:

key = STACK.pop()
container = STACK.pop()
value = STACK.pop()
container[key] = value

DELETE_SUBSCR

Implementa:

key = STACK.pop()
container = STACK.pop()
del container[key]

BINARY_SLICE

Implementa:

end = STACK.pop()
start = STACK.pop()
container = STACK.pop()
STACK.append(container[start:end])

Adicionado na versão 3.12.

STORE_SLICE

Implementa:

end = STACK.pop()
start = STACK.pop()
container = STACK.pop()
values = STACK.pop()
container[start:end] = value

Adicionado na versão 3.12.

Opcodes para corrotinas

GET_AWAITABLE(where)

Implementa STACK[-1] = get_awaitable(STACK[-1]), onde get_awaitable(o) retorna o se o for um objeto de corrotina ou um gerador com o sinalizador CO_ITERABLE_COROUTINE, ou então resolve o.__await__.

Se o operando where não for zero, ele indica onde a instrução ocorre:

1: Após uma chamada a __aenter__

2: Após uma chamada a __aexit__

Adicionado na versão 3.5.

Alterado na versão 3.11: Anteriormente, esta instrução não tinha um oparg.

GET_AITER

Implementa STACK[-1] = STACK[-1].__aiter__().

Adicionado na versão 3.5.

Alterado na versão 3.7: Não é mais aceitado que o __aiter__ retorne objetos aguardáveis.

GET_ANEXT

Implementa STACK.append(get_awaitable(STACK[-1].__anext__())). Veja GET_AWAITABLE para o significado de get_awaitable.

Adicionado na versão 3.5.

END_ASYNC_FOR

Termina um laço async for. Trata exceções levantadas ao aguardar um item seguinte. A pilha contém o iterável async em STACK[-2] e a exceção levantada em STACK[-1]. Ambos são retirados. Se a exceção não for StopAsyncIteration, ela é re-levantada.

Adicionado na versão 3.8.

Alterado na versão 3.11: A representação da exceção na pilha consiste agora de um item, ao invés de três.

CLEANUP_THROW

Trata uma exceção levantada durante um chamada a throw() ou close() através do quadro atual. Se STACK[-1] for uma instância de StopIteration, remove três valores da pilha e põe de volta o seu membro value. Caso contrário, re-levanta STACK[-1].

Adicionado na versão 3.12.

BEFORE_ASYNC_WITH

Resolve os métodos especiais __aenter__ e __aexit__ de STACK[-1]. Põe na pilha __aexit__ e o resultado de __aenter__():

STACK.extend((__aexit__, __aenter__())

Adicionado na versão 3.5.

Opcodes genéricos

SET_ADD(i)

Implementa:

item = STACK.pop()
set.add(STACK[-i], item)

Usado para implementar compreensões de conjuntos.

LIST_APPEND(i)

Implementa:

item = STACK.pop()
list.append(STACK[-i], item)

Usado para implementar compreensões de lista.

MAP_ADD(i)

Implementa:

value = STACK.pop()
key = STACK.pop()
dict.__setitem__(STACK[-i], key, value)

Usado para implementar compreensões de dicionário.

Adicionado na versão 3.1.

Alterado na versão 3.8: O valor do mapa é STACK[-1], e a sua chave, STACK[-2]. Antes, eles estavam ao contrário.

Para as instruções SET_ADD, LIST_APPEND e MAP_ADD, o valor ou par chave/valor é removido da pilha, mas o objeto de contêiner continua na pilha para que ele esteja disponível para as iterações seguintes do laço.

RETURN_VALUE

Retorna STACK[-1] para quem chamou a função.

RETURN_CONST(consti)

Retorna co_consts[consti] para quem chamou a função.

Adicionado na versão 3.12.

YIELD_VALUE

Gera STACK.pop() a partir de um gerador.

Alterado na versão 3.11: oparg definido como sendo a profundidade da pilha.

Alterado na versão 3.12: oparg definido como sendo a profundidade do bloco exception, para o fechamento eficiente de geradores.

Alterado na versão 3.13: oparg é 1 caso esta instrução seja parte de um yield-from ou await, e 0 caso contrário.

SETUP_ANNOTATIONS

Verifica se __annotations__ está definido em locals() e, se não estiver, é inicializado como um dict vazio. Este opcode é emitido somente se o corpo de uma classe ou módulo contém anotações de variáveis estaticamente.

Adicionado na versão 3.6.

POP_EXCEPT

Remove o valor no topo da pilha, o qual é usado para restaurar o estado de exceção.

Alterado na versão 3.11: A representação da exceção na pilha consiste agora de um item, ao invés de três.

RERAISE

Re-levanta a exceção que se encontra no topo da pilha. Se o oparg não for zero, remove um valor adicional do topo da pilha, o qual é atribuído ao f_lasti` do quadro atual.

Adicionado na versão 3.9.

Alterado na versão 3.11: A representação da exceção na pilha consiste agora de um item, ao invés de três.

PUSH_EXC_INFO

Remove um valor do topo da pilha. Põe a exceção atual no topo da pilha. Põe de volta no topo da pilha o valor que foi removido inicialmente. Usado em tratadores de exceções.

Adicionado na versão 3.11.

CHECK_EXC_MATCH

Verifica correspondências de exceções em except. Testa de STACK[-2] é uma exceção que corresponde a STACK[-1]. Remove STACK[-1] do topo da pilha, e põe no seu lugar o resultado booleano do teste.

Adicionado na versão 3.11.

CHECK_EG_MATCH

Verifica correspondências de exceções em except*. Aplica split(STACK[-1]) no grupo de exceções que representa STACK[-2].

No caso de uma correspondência, remove dois itens do topo da pilha e põe nela o subgrupo que falhou a correspondência (None caso a correspondência tenha sido total), seguido pelo subgrupo que correspondeu. Quando não há correspondência nenhuma, remove um item (o tipo da correspondêcia) e põe None no seu lugar.

Adicionado na versão 3.11.

WITH_EXCEPT_START

Chama a função na posição 4 da pilha com argumentos (tipo, val, tb) representando a exceção no topo da pilha. Usado para implementar a chamada context_manager.__exit__(*exc_info()) quando uma exceção ocorreu em uma instrução with.

Adicionado na versão 3.9.

Alterado na versão 3.11: A função __exit__ fica agora na posição 4 pilha, ao invés da 7. A representação da exceção pilha consiste agora de um item, não três.

LOAD_ASSERTION_ERROR

Põe AssertionError no topo da pilha. Usado pela instrução assert.

Adicionado na versão 3.9.

LOAD_BUILD_CLASS

Põe a função builtins.__build_class__() no topo da pilha. Ela será chamada posteriormente para construir uma classe.

BEFORE_WITH

Este opcode realiza várias operações antes do início de um bloco “with”. Primeiro, ele carrega o __exit__() do gerenciador de contexto e o coloca no topo da pilha para ser usado posteriormente pela WITH_EXCEPT_START. Então, o método __enter__() é chamado. Por fim, o resultado do __enter__() é posto no topo da pilha.

Adicionado na versão 3.11.

GET_LEN

Perform STACK.append(len(STACK[-1])). Used in match statements where comparison with structure of pattern is needed.

Adicionado na versão 3.10.

MATCH_MAPPING

Se STACK[-1] for uma instância de collections.abc.Mapping (ou, de forma mais técnica: se tiver o sinalizador Py_TPFLAGS_MAPPING definido no seu tp_flags), põe True no topo da pilha. Caso contrário, põe False.

Adicionado na versão 3.10.

MATCH_SEQUENCE

Se STACK[-1] for uma instância de collections.abc.Sequence e não for uma instância de str/bytes/bytearray (ou, de forma mais técnica: se tiver o sinalizador Py_TPFLAGS_SEQUENCE definido no seu tp_flags), põe True no topo da pilha. Caso contrário, põe False.

Adicionado na versão 3.10.

MATCH_KEYS

STACK[-1] é uma tupla de chaves de um mapeamento, e STACK[-2] é o sujeito de uma correspondência. Se STACK[-2] contiver todas as chaves em STACK[-1], põe no topo da pilha um tuple contendo os valores correspondentes. Caso contrário, põe None.

Adicionado na versão 3.10.

Alterado na versão 3.11: Anteriormente, essa instrução também colocava na pilha um valor booleano indicando sucesso (True) ou falha (False).

STORE_NAME(namei)

Implementa name = STACK.pop(). namei é o índice de name no atributo co_names do objeto de código. O compilador tenta usar STORE_FAST ou STORE_GLOBAL se possível.

DELETE_NAME(namei)

Implementa del name, onde namei é o índice no atributo co_names do objeto de código.

UNPACK_SEQUENCE(count)

Desempacota STACK[-1] em count valores individuais, os quais são postos na pilha da direita para a esquerda. Requer que haja exatamente count valores:

assert(len(STACK[-1]) == count)
STACK.extend(STACK.pop()[:-count-1:-1])

UNPACK_EX(counts)

Implementa atribuição com um alvo estrelado: desempacota o iterável STACK[-1] em valores individuais, sendo que pode haver menos valores do que itens no iterável: um dos novos valores será a lista de todos os itens que sobraram.

A quantidade de valores antes e após o valor que será a lista é limitada a 255.

A quantidade de valores antes do valor lista é passada no argumento do opcode. A quantidade de valores após a lista, se houver, é passada usando um EXTENDED_ARG. A consequência é que o argumento pode ser visto como um valor de dois bytes, onde o byte “de baixo” de counts é a quantidade de valores antes do valor lista, e o byte “de cima” de counts, a quantidade após.

Os valores extraídos são postos na pilha da direita para a esquerda, ou seja, após executar a, *b, c = d os valores serão armazenados como STACK.extend((a, b, c)).

STORE_ATTR(namei)

Implementa:

obj = STACK.pop()
value = STACK.pop()
obj.name = value

onde namei é o índice do nome no co_names do objeto de código.

DELETE_ATTR(namei)

Implementa:

obj = STACK.pop()
del obj.name

onde namei é o índice do nome no co_names do objeto de código.

STORE_GLOBAL(namei)

Funciona como o STORE_NAME, mas o nome é armazenado com um nome global.

DELETE_GLOBAL(namei)

Funciona como o DELETE_NAME, mas deleta um nome global.

LOAD_CONST(consti)

Põe co_consts[consti] no topo da pilha.

LOAD_NAME(namei)

Põe no topo da pilha o valor associado a co_names[namei]. O nome é procurado nos locais, nos globais, e então nos embutidos.

LOAD_LOCALS

Pushes a reference to the locals dictionary onto the stack. This is used to prepare namespace dictionaries for LOAD_FROM_DICT_OR_DEREF and LOAD_FROM_DICT_OR_GLOBALS.

Adicionado na versão 3.12.

LOAD_FROM_DICT_OR_GLOBALS(i)

Pops a mapping off the stack and looks up the value for co_names[namei]. If the name is not found there, looks it up in the globals and then the builtins, similar to LOAD_GLOBAL. This is used for loading global variables in annotation scopes within class bodies.

Adicionado na versão 3.12.

BUILD_TUPLE(count)

Creates a tuple consuming count items from the stack, and pushes the resulting tuple onto the stack:

if count == 0:
    value = ()
else:
    value = tuple(STACK[-count:])
    STACK = STACK[:-count]

STACK.append(value)

BUILD_LIST(count)

Works as BUILD_TUPLE, but creates a list.

BUILD_SET(count)

Works as BUILD_TUPLE, but creates a set.

BUILD_MAP(count)

Pushes a new dictionary object onto the stack. Pops 2 * count items so that the dictionary holds count entries: {..., STACK[-4]: STACK[-3], STACK[-2]: STACK[-1]}.

Alterado na versão 3.5: The dictionary is created from stack items instead of creating an empty dictionary pre-sized to hold count items.

BUILD_CONST_KEY_MAP(count)

The version of BUILD_MAP specialized for constant keys. Pops the top element on the stack which contains a tuple of keys, then starting from STACK[-2], pops count values to form values in the built dictionary.

Adicionado na versão 3.6.

BUILD_STRING(count)

Concatenates count strings from the stack and pushes the resulting string onto the stack.

Adicionado na versão 3.6.

LIST_EXTEND(i)

Implementa:

seq = STACK.pop()
list.extend(STACK[-i], seq)

Used to build lists.

Adicionado na versão 3.9.

SET_UPDATE(i)

Implementa:

seq = STACK.pop()
set.update(STACK[-i], seq)

Used to build sets.

Adicionado na versão 3.9.

DICT_UPDATE(i)

Implementa:

map = STACK.pop()
dict.update(STACK[-i], map)

Used to build dicts.

Adicionado na versão 3.9.

DICT_MERGE(i)

Like DICT_UPDATE but raises an exception for duplicate keys.

Adicionado na versão 3.9.

LOAD_ATTR(namei)

If the low bit of namei is not set, this replaces STACK[-1] with getattr(STACK[-1], co_names[namei>>1]).

If the low bit of namei is set, this will attempt to load a method named co_names[namei>>1] from the STACK[-1] object. STACK[-1] is popped. This bytecode distinguishes two cases: if STACK[-1] has a method with the correct name, the bytecode pushes the unbound method and STACK[-1]. STACK[-1] will be used as the first argument (self) by CALL or CALL_KW when calling the unbound method. Otherwise, NULL and the object returned by the attribute lookup are pushed.

Alterado na versão 3.12: If the low bit of namei is set, then a NULL or self is pushed to the stack before the attribute or unbound method respectively.

LOAD_SUPER_ATTR(namei)

This opcode implements super(), both in its zero-argument and two-argument forms (e.g. super().method(), super().attr and super(cls, self).method(), super(cls, self).attr).

It pops three values from the stack (from top of stack down):

self: the first argument to the current method

cls: the class within which the current method was defined

the global super

With respect to its argument, it works similarly to LOAD_ATTR, except that namei is shifted left by 2 bits instead of 1.

The low bit of namei signals to attempt a method load, as with LOAD_ATTR, which results in pushing NULL and the loaded method. When it is unset a single value is pushed to the stack.

The second-low bit of namei, if set, means that this was a two-argument call to super() (unset means zero-argument).

Adicionado na versão 3.12.

COMPARE_OP(opname)

Performs a Boolean operation. The operation name can be found in cmp_op[opname >> 5]. If the fifth-lowest bit of opname is set (opname & 16), the result should be coerced to bool.

Alterado na versão 3.13: The fifth-lowest bit of the oparg now indicates a forced conversion to bool.

IS_OP(invert)

Performs is comparison, or is not if invert is 1.

Adicionado na versão 3.9.

CONTAINS_OP(invert)

Performs in comparison, or not in if invert is 1.

Adicionado na versão 3.9.

IMPORT_NAME(namei)

Imports the module co_names[namei]. STACK[-1] and STACK[-2] are popped and provide the fromlist and level arguments of __import__(). The module object is pushed onto the stack. The current namespace is not affected: for a proper import statement, a subsequent STORE_FAST instruction modifies the namespace.

IMPORT_FROM(namei)

Loads the attribute co_names[namei] from the module found in STACK[-1]. The resulting object is pushed onto the stack, to be subsequently stored by a STORE_FAST instruction.

JUMP_FORWARD(delta)

Increments bytecode counter by delta.

JUMP_BACKWARD(delta)

Decrements bytecode counter by delta. Checks for interrupts.

Adicionado na versão 3.11.

JUMP_BACKWARD_NO_INTERRUPT(delta)

Decrements bytecode counter by delta. Does not check for interrupts.

Adicionado na versão 3.11.

POP_JUMP_IF_TRUE(delta)

If STACK[-1] is true, increments the bytecode counter by delta. STACK[-1] is popped.

Alterado na versão 3.11: The oparg is now a relative delta rather than an absolute target. This opcode is a pseudo-instruction, replaced in final bytecode by the directed versions (forward/backward).

Alterado na versão 3.12: This is no longer a pseudo-instruction.

Alterado na versão 3.13: Essa instrução agora requer que o operando seja exatamente do tipo bool.

POP_JUMP_IF_FALSE(delta)

If STACK[-1] is false, increments the bytecode counter by delta. STACK[-1] is popped.

Alterado na versão 3.11: The oparg is now a relative delta rather than an absolute target. This opcode is a pseudo-instruction, replaced in final bytecode by the directed versions (forward/backward).

Alterado na versão 3.12: This is no longer a pseudo-instruction.

Alterado na versão 3.13: Essa instrução agora requer que o operando seja exatamente do tipo bool.

POP_JUMP_IF_NOT_NONE(delta)

If STACK[-1] is not None, increments the bytecode counter by delta. STACK[-1] is popped.

This opcode is a pseudo-instruction, replaced in final bytecode by the directed versions (forward/backward).

Adicionado na versão 3.11.

Alterado na versão 3.12: This is no longer a pseudo-instruction.

POP_JUMP_IF_NONE(delta)

If STACK[-1] is None, increments the bytecode counter by delta. STACK[-1] is popped.

This opcode is a pseudo-instruction, replaced in final bytecode by the directed versions (forward/backward).

Adicionado na versão 3.11.

Alterado na versão 3.12: This is no longer a pseudo-instruction.

FOR_ITER(delta)

STACK[-1] is an iterator. Call its __next__() method. If this yields a new value, push it on the stack (leaving the iterator below it). If the iterator indicates it is exhausted then the byte code counter is incremented by delta.

Alterado na versão 3.12: Up until 3.11 the iterator was popped when it was exhausted.

LOAD_GLOBAL(namei)

Loads the global named co_names[namei>>1] onto the stack.

Alterado na versão 3.11: If the low bit of namei is set, then a NULL is pushed to the stack before the global variable.

LOAD_FAST(var_num)

Pushes a reference to the local co_varnames[var_num] onto the stack.

Alterado na versão 3.12: This opcode is now only used in situations where the local variable is guaranteed to be initialized. It cannot raise UnboundLocalError.

LOAD_FAST_CHECK(var_num)

Pushes a reference to the local co_varnames[var_num] onto the stack, raising an UnboundLocalError if the local variable has not been initialized.

Adicionado na versão 3.12.

LOAD_FAST_AND_CLEAR(var_num)

Pushes a reference to the local co_varnames[var_num] onto the stack (or pushes NULL onto the stack if the local variable has not been initialized) and sets co_varnames[var_num] to NULL.

Adicionado na versão 3.12.

STORE_FAST(var_num)

Stores STACK.pop() into the local co_varnames[var_num].

DELETE_FAST(var_num)

Deletes local co_varnames[var_num].

MAKE_CELL(i)

Creates a new cell in slot i. If that slot is nonempty then that value is stored into the new cell.

Adicionado na versão 3.11.

LOAD_DEREF(i)

Loads the cell contained in slot i of the “fast locals” storage. Pushes a reference to the object the cell contains on the stack.

Alterado na versão 3.11: i is no longer offset by the length of co_varnames.

LOAD_FROM_DICT_OR_DEREF(i)

Pops a mapping off the stack and looks up the name associated with slot i of the “fast locals” storage in this mapping. If the name is not found there, loads it from the cell contained in slot i, similar to LOAD_DEREF. This is used for loading closure variables in class bodies (which previously used LOAD_CLASSDEREF) and in annotation scopes within class bodies.

Adicionado na versão 3.12.

STORE_DEREF(i)

Stores STACK.pop() into the cell contained in slot i of the “fast locals” storage.

Alterado na versão 3.11: i is no longer offset by the length of co_varnames.

DELETE_DEREF(i)

Empties the cell contained in slot i of the “fast locals” storage. Used by the del statement.

Adicionado na versão 3.2.

Alterado na versão 3.11: i is no longer offset by the length of co_varnames.

COPY_FREE_VARS(n)

Copies the n free (closure) variables from the closure into the frame. Removes the need for special code on the caller’s side when calling closures.

Adicionado na versão 3.11.

RAISE_VARARGS(argc)

Raises an exception using one of the 3 forms of the raise statement, depending on the value of argc:

0: raise (re-raise previous exception)

1: raise STACK[-1] (raise exception instance or type at STACK[-1])

2: raise STACK[-2] from STACK[-1] (raise exception instance or type at STACK[-2] with __cause__ set to STACK[-1])

CALL(argc)

Calls a callable object with the number of arguments specified by argc. On the stack are (in ascending order):

The callable

self or NULL

The remaining positional arguments

argc is the total of the positional arguments, excluding self.

CALL pops all arguments and the callable object off the stack, calls the callable object with those arguments, and pushes the return value returned by the callable object.

Adicionado na versão 3.11.

Alterado na versão 3.13: The callable now always appears at the same position on the stack.

Alterado na versão 3.13: Calls with keyword arguments are now handled by CALL_KW.

CALL_KW(argc)

Calls a callable object with the number of arguments specified by argc, including one or more named arguments. On the stack are (in ascending order):

The callable

self or NULL

The remaining positional arguments

The named arguments

A tuple of keyword argument names

argc is the total of the positional and named arguments, excluding self. The length of the tuple of keyword argument names is the number of named arguments.

CALL_KW pops all arguments, the keyword names, and the callable object off the stack, calls the callable object with those arguments, and pushes the return value returned by the callable object.

Adicionado na versão 3.13.

CALL_FUNCTION_EX(flags)

Calls a callable object with variable set of positional and keyword arguments. If the lowest bit of flags is set, the top of the stack contains a mapping object containing additional keyword arguments. Before the callable is called, the mapping object and iterable object are each “unpacked” and their contents passed in as keyword and positional arguments respectively. CALL_FUNCTION_EX pops all arguments and the callable object off the stack, calls the callable object with those arguments, and pushes the return value returned by the callable object.

Adicionado na versão 3.6.

PUSH_NULL

Pushes a NULL to the stack. Used in the call sequence to match the NULL pushed by LOAD_METHOD for non-method calls.

Adicionado na versão 3.11.

MAKE_FUNCTION

Pushes a new function object on the stack built from the code object at STACK[1].

Alterado na versão 3.10: Flag value 0x04 is a tuple of strings instead of dictionary

Alterado na versão 3.11: Qualified name at STACK[-1] was removed.

Alterado na versão 3.13: Extra function attributes on the stack, signaled by oparg flags, were removed. They now use SET_FUNCTION_ATTRIBUTE.

SET_FUNCTION_ATTRIBUTE(flag)

Sets an attribute on a function object. Expects the function at STACK[-1] and the attribute value to set at STACK[-2]; consumes both and leaves the function at STACK[-1]. The flag determines which attribute to set:

0x01 a tuple of default values for positional-only and positional-or-keyword parameters in positional order

0x02 a dictionary of keyword-only parameters’ default values

0x04 a tuple of strings containing parameters’ annotations

0x08 a tuple containing cells for free variables, making a closure

Adicionado na versão 3.13.

BUILD_SLICE(argc)

Pushes a slice object on the stack. argc must be 2 or 3. If it is 2, implements:

end = STACK.pop()
start = STACK.pop()
STACK.append(slice(start, end))

if it is 3, implements:

step = STACK.pop()
end = STACK.pop()
start = STACK.pop()
STACK.append(slice(start, end, step))

See the slice() built-in function for more information.

EXTENDED_ARG(ext)

Prefixes any opcode which has an argument too big to fit into the default one byte. ext holds an additional byte which act as higher bits in the argument. For each opcode, at most three prefixal EXTENDED_ARG are allowed, forming an argument from two-byte to four-byte.

CONVERT_VALUE(oparg)

Convert value to a string, depending on oparg:

value = STACK.pop()
result = func(value)
STACK.append(result)

oparg == 1: call str() on value

oparg == 2: call repr() on value

oparg == 3: call ascii() on value

Used for implementing formatted literal strings (f-strings).

Adicionado na versão 3.13.

FORMAT_SIMPLE

Formats the value on top of stack:

value = STACK.pop()
result = value.__format__("")
STACK.append(result)

Used for implementing formatted literal strings (f-strings).

Adicionado na versão 3.13.

FORMAT_SPEC

Formats the given value with the given format spec:

spec = STACK.pop()
value = STACK.pop()
result = value.__format__(spec)
STACK.append(result)

Used for implementing formatted literal strings (f-strings).

Adicionado na versão 3.13.

MATCH_CLASS(count)

STACK[-1] is a tuple of keyword attribute names, STACK[-2] is the class being matched against, and STACK[-3] is the match subject. count is the number of positional sub-patterns.

Pop STACK[-1], STACK[-2], and STACK[-3]. If STACK[-3] is an instance of STACK[-2] and has the positional and keyword attributes required by count and STACK[-1], push a tuple of extracted attributes. Otherwise, push None.

Adicionado na versão 3.10.

Alterado na versão 3.11: Anteriormente, essa instrução também colocava na pilha um valor booleano indicando sucesso (True) ou falha (False).

RESUME(context)

A no-op. Performs internal tracing, debugging and optimization checks.

The context oparand consists of two parts. The lowest two bits indicate where the RESUME occurs:

0 The start of a function, which is neither a generator, coroutine nor an async generator

1 Depois de uma expressão yield

2 After a yield from expression

3 Depois de uma expressão await

The next bit is 1 if the RESUME is at except-depth 1, and 0 otherwise.

Adicionado na versão 3.11.

Alterado na versão 3.13: The oparg value changed to include information about except-depth

RETURN_GENERATOR

Create a generator, coroutine, or async generator from the current frame. Used as first opcode of in code object for the above mentioned callables. Clear the current frame and return the newly created generator.

Adicionado na versão 3.11.

SEND(delta)

Equivalent to STACK[-1] = STACK[-2].send(STACK[-1]). Used in yield from and await statements.

If the call raises StopIteration, pop the top value from the stack, push the exception’s value attribute, and increment the bytecode counter by delta.

Adicionado na versão 3.11.

HAVE_ARGUMENT

This is not really an opcode. It identifies the dividing line between opcodes in the range [0,255] which don’t use their argument and those that do (< HAVE_ARGUMENT and >= HAVE_ARGUMENT, respectively).

If your application uses pseudo instructions or specialized instructions, use the hasarg collection instead.

Alterado na versão 3.6: Now every instruction has an argument, but opcodes < HAVE_ARGUMENT ignore it. Before, only opcodes >= HAVE_ARGUMENT had an argument.

Alterado na versão 3.12: Pseudo instructions were added to the dis module, and for them it is not true that comparison with HAVE_ARGUMENT indicates whether they use their arg.

Obsoleto desde a versão 3.13: Use hasarg instead.

CALL_INTRINSIC_1

Calls an intrinsic function with one argument. Passes STACK[-1] as the argument and sets STACK[-1] to the result. Used to implement functionality that is not performance critical.

The operand determines which intrinsic function is called:

Operand

Descrição

INTRINSIC_1_INVALID

Not valid

INTRINSIC_PRINT

Prints the argument to standard out. Used in the REPL.

INTRINSIC_IMPORT_STAR

Performs import * for the named module.

INTRINSIC_STOPITERATION_ERROR

Extracts the return value from a StopIteration exception.

INTRINSIC_ASYNC_GEN_WRAP

Wraps an async generator value

INTRINSIC_UNARY_POSITIVE

Performs the unary + operation

INTRINSIC_LIST_TO_TUPLE

Converts a list to a tuple

INTRINSIC_TYPEVAR

Cria um typing.TypeVar

INTRINSIC_PARAMSPEC

Cria um typing.ParamSpec

INTRINSIC_TYPEVARTUPLE

Cria um typing.TypeVarTuple

INTRINSIC_SUBSCRIPT_GENERIC

Returns typing.Generic subscripted with the argument

INTRINSIC_TYPEALIAS

Creates a typing.TypeAliasType; used in the type statement. The argument is a tuple of the type alias’s name, type parameters, and value.

Adicionado na versão 3.12.

CALL_INTRINSIC_2

Calls an intrinsic function with two arguments. Used to implement functionality that is not performance critical:

arg2 = STACK.pop()
arg1 = STACK.pop()
result = intrinsic2(arg1, arg2)
STACK.append(result)

The operand determines which intrinsic function is called:

Operand

Descrição

INTRINSIC_2_INVALID

Not valid

INTRINSIC_PREP_RERAISE_STAR

Calculates the ExceptionGroup to raise from a try-except*.

INTRINSIC_TYPEVAR_WITH_BOUND

Creates a typing.TypeVar with a bound.

INTRINSIC_TYPEVAR_WITH_CONSTRAINTS

Creates a typing.TypeVar with constraints.

INTRINSIC_SET_FUNCTION_TYPE_PARAMS

Sets the __type_params__ attribute of a function.

Adicionado na versão 3.12.

Pseudo-instructions

These opcodes do not appear in Python bytecode. They are used by the compiler but are replaced by real opcodes or removed before bytecode is generated.

SETUP_FINALLY(target)

Set up an exception handler for the following code block. If an exception occurs, the value stack level is restored to its current state and control is transferred to the exception handler at target.

SETUP_CLEANUP(target)

Like SETUP_FINALLY, but in case of an exception also pushes the last instruction (lasti) to the stack so that RERAISE can restore it. If an exception occurs, the value stack level and the last instruction on the frame are restored to their current state, and control is transferred to the exception handler at target.

SETUP_WITH(target)

Like SETUP_CLEANUP, but in case of an exception one more item is popped from the stack before control is transferred to the exception handler at target.

This variant is used in with and async with constructs, which push the return value of the context manager’s __enter__() or __aenter__() to the stack.

POP_BLOCK

Marks the end of the code block associated with the last SETUP_FINALLY, SETUP_CLEANUP or SETUP_WITH.

JUMP

JUMP_NO_INTERRUPT

Undirected relative jump instructions which are replaced by their directed (forward/backward) counterparts by the assembler.

LOAD_CLOSURE(i)

Pushes a reference to the cell contained in slot i of the “fast locals” storage.

Note that LOAD_CLOSURE is replaced with LOAD_FAST in the assembler.

Alterado na versão 3.13: This opcode is now a pseudo-instruction.

LOAD_METHOD

Optimized unbound method lookup. Emitted as a LOAD_ATTR opcode with a flag set in the arg.

Opcode collections

These collections are provided for automatic introspection of bytecode instructions:

Alterado na versão 3.12: The collections now contain pseudo instructions and instrumented instructions as well. These are opcodes with values >= MIN_PSEUDO_OPCODE and >= MIN_INSTRUMENTED_OPCODE.

dis.opname

Sequence of operation names, indexable using the bytecode.

dis.opmap

Dictionary mapping operation names to bytecodes.

dis.cmp_op

Sequence of all compare operation names.

dis.hasarg

Sequence of bytecodes that use their argument.

Adicionado na versão 3.12.

dis.hasconst

Sequence of bytecodes that access a constant.

dis.hasfree

Sequence of bytecodes that access a free (closure) variable. ‘free’ in this context refers to names in the current scope that are referenced by inner scopes or names in outer scopes that are referenced from this scope. It does not include references to global or builtin scopes.

dis.hasname

Sequence of bytecodes that access an attribute by name.

dis.hasjump

Sequence of bytecodes that have a jump target. All jumps are relative.

Adicionado na versão 3.13.

dis.haslocal

Sequence of bytecodes that access a local variable.

dis.hascompare

Sequence of bytecodes of Boolean operations.

dis.hasexc

Sequence of bytecodes that set an exception handler.

Adicionado na versão 3.12.

dis.hasjrel

Sequence of bytecodes that have a relative jump target.

Obsoleto desde a versão 3.13: All jumps are now relative. Use hasjump.

dis.hasjabs

Sequence of bytecodes that have an absolute jump target.

Obsoleto desde a versão 3.13: All jumps are now relative. This list is empty.

pickletools — Ferramentas para desenvolvedores pickle

Código-fonte: Lib/pickletools.py [https://github.com/python/cpython/tree/3.13/Lib/pickletools.py]

Este módulo contém várias constantes relacionadas aos detalhes íntimos do módulo pickle, alguns comentários extensos sobre a implementação e algumas funções úteis para analisar dados em conserva. O conteúdo deste módulo é útil para desenvolvedores do núcleo Python que estão trabalhando no pickle; usuários comuns do módulo pickle provavelmente não acharão o módulo pickletools relevante.

Uso na linha de comando

Adicionado na versão 3.2.

Quando chamado a partir da linha de comando, python -m pickletools irá desmontar o conteúdo de um ou mais arquivos pickle. Note que se você quiser ver o objeto Python armazenado serializado em pickle ao invés dos detalhes do formato pickle, você pode usar -m pickle. No entanto, quando o arquivo serializado em pickle que você deseja examinar vem de uma fonte não confiável, -m pickletools é uma opção mais segura porque não executa bytecode pickle.

Por exemplo, com uma tupla (1, 2) tratada com pickling no arquivo x.pickle:

$ python -m pickle x.pickle
(1, 2)

$ python -m pickletools x.pickle
    0: \x80 PROTO      3
    2: K    BININT1    1
    4: K    BININT1    2
    6: \x86 TUPLE2
    7: q    BINPUT     0
    9: .    STOP
highest protocol among opcodes = 2

Opções da linha de comando

-a, --annotate

Anota cada linha com uma descrição curta do código de operação.

-o, --output=<file>

Nome de um arquivo no qual a saída deve ser escrita.

-l, --indentlevel=<num>

O número de espaços em branco para indentar um novo nível MARK.

-m, --memo

Quando vários objetos são desmontados, preserva memo entre as desmontagens.

-p, --preamble=<preamble>

Quando mais de um arquivo serializado em pickle for especificado, imprime o preâmbulo fornecido antes de cada desmontagem.

Interface programática

pickletools.dis(pickle, out=None, memo=None, indentlevel=4, annotate=0)

Produz uma desmontagem simbólica do pickle para o objeto arquivo ou similar out, tendo como padrão sys.stdout. pickle pode ser uma string ou um objeto arquivo ou similar. memo pode ser um dicionário Python que será usado como memo do pickle; ele pode ser usado para realizar desmontagens em várias serializações com pickle criadas pelo mesmo pickler. Níveis sucessivos, indicados por códigos de operação MARK no fluxo, são indentados por espaços indentlevel. Se um valor diferente de zero for fornecido para annotate, cada código de operação na saída será anotado com uma breve descrição. O valor de annotate é usado como uma dica para a coluna onde a anotação deve começar.

Alterado na versão 3.2: Adicionado o parâmetro annotate.

pickletools.genops(pickle)

Fornece um iterador sobre todos os códigos de operação em uma serialização com pickle, retornando uma sequência de triplos (opcode, arg, pos). opcode é uma instância de uma classe OpcodeInfo; arg é o valor decodificado, como um objeto Python, do argumento do opcode; pos é a posição em que este código de operação está localizado. pickle pode ser uma string ou um objeto arquivo ou similar.

pickletools.optimize(picklestring)

Retorna uma nova string pickle equivalente após eliminar códigos de operação PUT não utilizados. O pickle otimizado é mais curto, leva menos tempo de transmissão, requer menos espaço de armazenamento e efetua unpickling com mais eficiência.

Serviços Específicos do MS Windows

Este capítulo descreve módulos que estão disponíveis somente na plataformas MS Windows.

msvcrt — Useful routines from the MS VC++ runtime

Operações com arquivos

locking()

LK_LOCK

LK_RLCK

LK_NBLCK

LK_NBRLCK

LK_UNLCK

setmode()

open_osfhandle()

get_osfhandle()

E/S de console

kbhit()

getch()

getwch()

getche()

getwche()

putch()

putwch()

ungetch()

ungetwch()

Outras funções

heapmin()

set_error_mode()

OUT_TO_DEFAULT

OUT_TO_STDERR

OUT_TO_MSGBOX

REPORT_ERRMODE

CrtSetReportMode()

CrtSetReportFile()

CRT_WARN

CRT_ERROR

CRT_ASSERT

CRTDBG_MODE_DEBUG

CRTDBG_MODE_FILE

CRTDBG_MODE_WNDW

CRTDBG_REPORT_MODE

CRT_ASSEMBLY_VERSION

VC_ASSEMBLY_PUBLICKEYTOKEN

LIBRARIES_ASSEMBLY_NAME_PREFIX

winreg — Windows registry access

Funções

CloseKey()

ConnectRegistry()

CreateKey()

CreateKeyEx()

DeleteKey()

DeleteKeyEx()

DeleteValue()

EnumKey()

EnumValue()

ExpandEnvironmentStrings()

FlushKey()

LoadKey()

OpenKey()

OpenKeyEx()

QueryInfoKey()

QueryValue()

QueryValueEx()

SaveKey()

SetValue()

SetValueEx()

DisableReflectionKey()

EnableReflectionKey()

QueryReflectionKey()

Constantes

HKEY_* Constants

HKEY_CLASSES_ROOT

HKEY_CURRENT_USER

HKEY_LOCAL_MACHINE

HKEY_USERS

HKEY_PERFORMANCE_DATA

HKEY_CURRENT_CONFIG

HKEY_DYN_DATA

Access Rights

KEY_ALL_ACCESS

KEY_WRITE

KEY_READ

KEY_EXECUTE

KEY_QUERY_VALUE

KEY_SET_VALUE

KEY_CREATE_SUB_KEY

KEY_ENUMERATE_SUB_KEYS

KEY_NOTIFY

KEY_CREATE_LINK

64-bit Specific

KEY_WOW64_64KEY

KEY_WOW64_32KEY

Value Types

REG_BINARY

REG_DWORD

REG_DWORD_LITTLE_ENDIAN

REG_DWORD_BIG_ENDIAN

REG_EXPAND_SZ

REG_LINK

REG_MULTI_SZ

REG_NONE

REG_QWORD

REG_QWORD_LITTLE_ENDIAN

REG_RESOURCE_LIST

REG_FULL_RESOURCE_DESCRIPTOR

REG_RESOURCE_REQUIREMENTS_LIST

REG_SZ

Registry Handle Objects

Close()

Detach()

__enter__()

__exit__()

winsound — Sound-playing interface for Windows

Beep()

PlaySound()

MessageBeep()

SND_FILENAME

SND_ALIAS

SND_LOOP

SND_MEMORY

SND_PURGE

SND_ASYNC

SND_NODEFAULT

SND_NOSTOP

SND_NOWAIT

MB_ICONASTERISK

MB_ICONEXCLAMATION

MB_ICONHAND

MB_ICONQUESTION

MB_OK

msvcrt — Useful routines from the MS VC++ runtime

These functions provide access to some useful capabilities on Windows platforms. Some higher-level modules use these functions to build the Windows implementations of their services. For example, the getpass module uses this in the implementation of the getpass() function.

Mais documentação sobre essas funções pode ser encontrada na documentação da API da plataforma.

O módulo implementa as variantes normal e ampla de caracteres da API de E/S do console. A API normal lida apenas com caracteres ASCII e é de uso limitado para aplicativos internacionalizados. A API ampla de caracteres deve ser usada sempre que possível.

Alterado na versão 3.3: As operações neste módulo agora levantam OSError onde IOError foi levantado.

Operações com arquivos

msvcrt.locking(fd, mode, nbytes)

Lock part of a file based on file descriptor fd from the C runtime. Raises OSError on failure. The locked region of the file extends from the current file position for nbytes bytes, and may continue beyond the end of the file. mode must be one of the LK_* constants listed below. Multiple regions in a file may be locked at the same time, but may not overlap. Adjacent regions are not merged; they must be unlocked individually.

Levanta um evento de auditoria msvcrt.locking com os argumentos fd, mode, nbytes.

msvcrt.LK_LOCK

msvcrt.LK_RLCK

Locks the specified bytes. If the bytes cannot be locked, the program immediately tries again after 1 second. If, after 10 attempts, the bytes cannot be locked, OSError is raised.

msvcrt.LK_NBLCK

msvcrt.LK_NBRLCK

Trava os bytes especificados. Se os bytes não puderem ser travados, uma exceção OSError é levantada.

msvcrt.LK_UNLCK

Destrava os bytes especificados, que devem ter sido travados anteriormente.

msvcrt.setmode(fd, flags)

Defina o modo de conversão de final de linha para o descritor de arquivo fd. Para configurá-lo no modo de texto, flags deve ser os.O_TEXT; para binário, deve ser os.O_BINARY.

msvcrt.open_osfhandle(handle, flags)

Create a C runtime file descriptor from the file handle handle. The flags parameter should be a bitwise OR of os.O_APPEND, os.O_RDONLY, os.O_TEXT and os.O_NOINHERIT. The returned file descriptor may be used as a parameter to os.fdopen() to create a file object.

The file descriptor is inheritable by default. Pass os.O_NOINHERIT flag to make it non inheritable.

Levanta um evento de auditoria msvcrt.open_osfhandle com os argumentos handle, flags.

msvcrt.get_osfhandle(fd)

Return the file handle for the file descriptor fd. Raises OSError if fd is not recognized.

Levanta um evento de auditoria msvcrt.get_osfhandle com o argumento fd.

E/S de console

msvcrt.kbhit()

Returns a nonzero value if a keypress is waiting to be read. Otherwise, return 0.

msvcrt.getch()

Read a keypress and return the resulting character as a byte string. Nothing is echoed to the console. This call will block if a keypress is not already available, but will not wait for Enter to be pressed. If the pressed key was a special function key, this will return '\000' or '\xe0'; the next call will return the keycode. The Control-C keypress cannot be read with this function.

msvcrt.getwch()

Variante com caractere largo de getch(), retornando um valor Unicode.

msvcrt.getche()

Similar to getch(), but the keypress will be echoed if it represents a printable character.

msvcrt.getwche()

Variante com caractere largo de getche(), retornando um valor Unicode.

msvcrt.putch(char)

Imprime a string de bytes char no console sem armazenar em buffer.

msvcrt.putwch(unicode_char)

Variante com caractere largo de putch(), retornando um valor Unicode.

msvcrt.ungetch(char)

Faz com que a string de bytes char seja “empurrada” para o buffer do console; será o próximo caractere lido por getch() ou getche().

msvcrt.ungetwch(unicode_char)

Variante com caractere largo de ungetch(), retornando um valor Unicode.

Outras funções

msvcrt.heapmin()

Força o heap malloc() a ser limpado e retorna os blocos não utilizados ao sistema operacional. Em caso de falha, isso levanta OSError.

msvcrt.set_error_mode(mode)

Changes the location where the C runtime writes an error message for an error that might end the program. mode must be one of the OUT_* constants listed below or REPORT_ERRMODE. Returns the old setting or -1 if an error occurs. Only available in debug build of Python.

msvcrt.OUT_TO_DEFAULT

Error sink is determined by the app’s type. Only available in debug build of Python.

msvcrt.OUT_TO_STDERR

Error sink is a standard error. Only available in debug build of Python.

msvcrt.OUT_TO_MSGBOX

Error sink is a message box. Only available in debug build of Python.

msvcrt.REPORT_ERRMODE

Report the current error mode value. Only available in debug build of Python.

msvcrt.CrtSetReportMode(type, mode)

Specifies the destination or destinations for a specific report type generated by _CrtDbgReport() in the MS VC++ runtime. type must be one of the CRT_* constants listed below. mode must be one of the CRTDBG_* constants listed below. Only available in debug build of Python.

msvcrt.CrtSetReportFile(type, file)

After you use CrtSetReportMode() to specify CRTDBG_MODE_FILE, you can specify the file handle to receive the message text. type must be one of the CRT_* constants listed below. file should be the file handle your want specified. Only available in debug build of Python.

msvcrt.CRT_WARN

Warnings, messages, and information that doesn’t need immediate attention.

msvcrt.CRT_ERROR

Errors, unrecoverable problems, and issues that require immediate attention.

msvcrt.CRT_ASSERT

Assertion failures.

msvcrt.CRTDBG_MODE_DEBUG

Writes the message to the debugger’s output window.

msvcrt.CRTDBG_MODE_FILE

Writes the message to a user-supplied file handle. CrtSetReportFile() should be called to define the specific file or stream to use as the destination.

msvcrt.CRTDBG_MODE_WNDW

Creates a message box to display the message along with the Abort, Retry, and Ignore buttons.

msvcrt.CRTDBG_REPORT_MODE

Returns current mode for the specified type.

msvcrt.CRT_ASSEMBLY_VERSION

A versão do CRT Assembly, do arquivo de cabeçalho crtassem.h.

msvcrt.VC_ASSEMBLY_PUBLICKEYTOKEN

O token da chave pública do VC Assembly, do arquivo de cabeçalho crtassem.h.

msvcrt.LIBRARIES_ASSEMBLY_NAME_PREFIX

O prefixo do nome de Libraries Assembly, do arquivo de cabeçalho crtassem.h.

winreg — Windows registry access

These functions expose the Windows registry API to Python. Instead of using an integer as the registry handle, a handle object is used to ensure that the handles are closed correctly, even if the programmer neglects to explicitly close them.

Alterado na versão 3.3: Várias funções neste módulo costumavam levantar um WindowsError , que agora é um apelido de OSError.

Funções

This module offers the following functions:

winreg.CloseKey(hkey)

Closes a previously opened registry key. The hkey argument specifies a previously opened key.

Nota

If hkey is not closed using this method (or via hkey.Close()), it is closed when the hkey object is destroyed by Python.

winreg.ConnectRegistry(computer_name, key)

Establishes a connection to a predefined registry handle on another computer, and returns a handle object.

computer_name is the name of the remote computer, of the form r"\\computername". If None, the local computer is used.

key is the predefined handle to connect to.

The return value is the handle of the opened key. If the function fails, an OSError exception is raised.

Levanta um evento de auditoria winreg.ConnectRegistry com os argumentos computer_name, key.

Alterado na versão 3.3: See above.

winreg.CreateKey(key, sub_key)

Creates or opens the specified key, returning a handle object.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that names the key this method opens or creates.

If key is one of the predefined keys, sub_key may be None. In that case, the handle returned is the same key handle passed in to the function.

If the key already exists, this function opens the existing key.

The return value is the handle of the opened key. If the function fails, an OSError exception is raised.

Levanta um evento de auditoria winreg.CreateKey com os argumentos key, sub_key, access.

Levanta um evento de auditoria winreg.OpenKey/result com o argumento key.

Alterado na versão 3.3: See above.

winreg.CreateKeyEx(key, sub_key, reserved=0, access=KEY_WRITE)

Creates or opens the specified key, returning a handle object.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that names the key this method opens or creates.

reserved is a reserved integer, and must be zero. The default is zero.

access is an integer that specifies an access mask that describes the desired security access for the key. Default is KEY_WRITE. See Access Rights for other allowed values.

If key is one of the predefined keys, sub_key may be None. In that case, the handle returned is the same key handle passed in to the function.

If the key already exists, this function opens the existing key.

The return value is the handle of the opened key. If the function fails, an OSError exception is raised.

Levanta um evento de auditoria winreg.CreateKey com os argumentos key, sub_key, access.

Levanta um evento de auditoria winreg.OpenKey/result com o argumento key.

Adicionado na versão 3.2.

Alterado na versão 3.3: See above.

winreg.DeleteKey(key, sub_key)

Exclui a chave especificada.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that must be a subkey of the key identified by the key parameter. This value must not be None, and the key may not have subkeys.

This method can not delete keys with subkeys.

If the method succeeds, the entire key, including all of its values, is removed. If the method fails, an OSError exception is raised.

Levanta um evento de auditoria winreg.DeleteKey com os argumentos key, sub_key, access.

Alterado na versão 3.3: See above.

winreg.DeleteKeyEx(key, sub_key, access=KEY_WOW64_64KEY, reserved=0)

Exclui a chave especificada.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that must be a subkey of the key identified by the key parameter. This value must not be None, and the key may not have subkeys.

reserved is a reserved integer, and must be zero. The default is zero.

access is an integer that specifies an access mask that describes the desired security access for the key. Default is KEY_WOW64_64KEY. On 32-bit Windows, the WOW64 constants are ignored. See Access Rights for other allowed values.

This method can not delete keys with subkeys.

If the method succeeds, the entire key, including all of its values, is removed. If the method fails, an OSError exception is raised.

On unsupported Windows versions, NotImplementedError is raised.

Levanta um evento de auditoria winreg.DeleteKey com os argumentos key, sub_key, access.

Adicionado na versão 3.2.

Alterado na versão 3.3: See above.

winreg.DeleteValue(key, value)

Removes a named value from a registry key.

key is an already open key, or one of the predefined HKEY_* constants.

value is a string that identifies the value to remove.

Levanta um evento de auditoria winreg.DeleteValue com os argumentos key, value.

winreg.EnumKey(key, index)

Enumerates subkeys of an open registry key, returning a string.

key is an already open key, or one of the predefined HKEY_* constants.

index is an integer that identifies the index of the key to retrieve.

The function retrieves the name of one subkey each time it is called. It is typically called repeatedly until an OSError exception is raised, indicating, no more values are available.

Levanta um evento de auditoria winreg.EnumKey com os argumentos key, index.

Alterado na versão 3.3: See above.

winreg.EnumValue(key, index)

Enumerates values of an open registry key, returning a tuple.

key is an already open key, or one of the predefined HKEY_* constants.

index is an integer that identifies the index of the value to retrieve.

The function retrieves the name of one subkey each time it is called. It is typically called repeatedly, until an OSError exception is raised, indicating no more values.

The result is a tuple of 3 items:

Índice

Significado

0

A string that identifies the value name

1

An object that holds the value data, and whose type depends on the underlying registry type

2

An integer that identifies the type of the value data (see table in docs for SetValueEx())

Levanta um evento de auditoria winreg.EnumValue com os argumentos key, index.

Alterado na versão 3.3: See above.

winreg.ExpandEnvironmentStrings(str)

Expands environment variable placeholders %NAME% in strings like REG_EXPAND_SZ:

>>> ExpandEnvironmentStrings('%windir%')
'C:\\Windows'

Levanta um evento de auditoria winreg.ExpandEnvironmentStrings com o argumento str.

winreg.FlushKey(key)

Writes all the attributes of a key to the registry.

key is an already open key, or one of the predefined HKEY_* constants.

It is not necessary to call FlushKey() to change a key. Registry changes are flushed to disk by the registry using its lazy flusher. Registry changes are also flushed to disk at system shutdown. Unlike CloseKey(), the FlushKey() method returns only when all the data has been written to the registry. An application should only call FlushKey() if it requires absolute certainty that registry changes are on disk.

Nota

If you don’t know whether a FlushKey() call is required, it probably isn’t.

winreg.LoadKey(key, sub_key, file_name)

Creates a subkey under the specified key and stores registration information from a specified file into that subkey.

key is a handle returned by ConnectRegistry() or one of the constants HKEY_USERS or HKEY_LOCAL_MACHINE.

sub_key is a string that identifies the subkey to load.

file_name is the name of the file to load registry data from. This file must have been created with the SaveKey() function. Under the file allocation table (FAT) file system, the filename may not have an extension.

A call to LoadKey() fails if the calling process does not have the SE_RESTORE_PRIVILEGE privilege. Note that privileges are different from permissions – see the RegLoadKey documentation [https://msdn.microsoft.com/en-us/library/ms724889%28v=VS.85%29.aspx] for more details.

If key is a handle returned by ConnectRegistry(), then the path specified in file_name is relative to the remote computer.

Levanta um evento de auditoria winreg.LoadKey com os argumentos key, sub_key, file_name.

winreg.OpenKey(key, sub_key, reserved=0, access=KEY_READ)

winreg.OpenKeyEx(key, sub_key, reserved=0, access=KEY_READ)

Opens the specified key, returning a handle object.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that identifies the sub_key to open.

reserved is a reserved integer, and must be zero. The default is zero.

access is an integer that specifies an access mask that describes the desired security access for the key. Default is KEY_READ. See Access Rights for other allowed values.

The result is a new handle to the specified key.

If the function fails, OSError is raised.

Levanta um evento de auditoria winreg.OpenKey com os argumentos key, sub_key, access.

Levanta um evento de auditoria winreg.OpenKey/result com o argumento key.

Alterado na versão 3.2: Allow the use of named arguments.

Alterado na versão 3.3: See above.

winreg.QueryInfoKey(key)

Returns information about a key, as a tuple.

key is an already open key, or one of the predefined HKEY_* constants.

The result is a tuple of 3 items:

Índice

Significado

0

An integer giving the number of sub keys this key has.

1

An integer giving the number of values this key has.

2

An integer giving when the key was last modified (if available) as 100’s of nanoseconds since Jan 1, 1601.

Levanta um evento de auditoria winreg.QueryInfoKey com o argumento key.

winreg.QueryValue(key, sub_key)

Retrieves the unnamed value for a key, as a string.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that holds the name of the subkey with which the value is associated. If this parameter is None or empty, the function retrieves the value set by the SetValue() method for the key identified by key.

Values in the registry have name, type, and data components. This method retrieves the data for a key’s first value that has a NULL name. But the underlying API call doesn’t return the type, so always use QueryValueEx() if possible.

Levanta um evento de auditoria winreg.QueryValue com os argumentos key, sub_key, value_name.

winreg.QueryValueEx(key, value_name)

Retrieves the type and data for a specified value name associated with an open registry key.

key is an already open key, or one of the predefined HKEY_* constants.

value_name is a string indicating the value to query.

The result is a tuple of 2 items:

Índice

Significado

0

The value of the registry item.

1

An integer giving the registry type for this value (see table in docs for SetValueEx())

Levanta um evento de auditoria winreg.QueryValue com os argumentos key, sub_key, value_name.

winreg.SaveKey(key, file_name)

Saves the specified key, and all its subkeys to the specified file.

key is an already open key, or one of the predefined HKEY_* constants.

file_name is the name of the file to save registry data to. This file cannot already exist. If this filename includes an extension, it cannot be used on file allocation table (FAT) file systems by the LoadKey() method.

If key represents a key on a remote computer, the path described by file_name is relative to the remote computer. The caller of this method must possess the SeBackupPrivilege security privilege. Note that privileges are different than permissions – see the Conflicts Between User Rights and Permissions documentation [https://msdn.microsoft.com/en-us/library/ms724878%28v=VS.85%29.aspx] for more details.

This function passes NULL for security_attributes to the API.

Levanta um evento de auditoria winreg.SaveKey com os argumentos key, file_name.

winreg.SetValue(key, sub_key, type, value)

Associates a value with a specified key.

key is an already open key, or one of the predefined HKEY_* constants.

sub_key is a string that names the subkey with which the value is associated.

type is an integer that specifies the type of the data. Currently this must be REG_SZ, meaning only strings are supported. Use the SetValueEx() function for support for other data types.

value is a string that specifies the new value.

If the key specified by the sub_key parameter does not exist, the SetValue function creates it.

Value lengths are limited by available memory. Long values (more than 2048 bytes) should be stored as files with the filenames stored in the configuration registry. This helps the registry perform efficiently.

The key identified by the key parameter must have been opened with KEY_SET_VALUE access.

Levanta um evento de auditoria winreg.SetValue com os argumentos key, sub_key, type, value.

winreg.SetValueEx(key, value_name, reserved, type, value)

Stores data in the value field of an open registry key.

key is an already open key, or one of the predefined HKEY_* constants.

value_name is a string that names the subkey with which the value is associated.

reserved can be anything – zero is always passed to the API.

type is an integer that specifies the type of the data. See Value Types for the available types.

value is a string that specifies the new value.

This method can also set additional value and type information for the specified key. The key identified by the key parameter must have been opened with KEY_SET_VALUE access.

To open the key, use the CreateKey() or OpenKey() methods.

Value lengths are limited by available memory. Long values (more than 2048 bytes) should be stored as files with the filenames stored in the configuration registry. This helps the registry perform efficiently.

Levanta um evento de auditoria winreg.SetValue com os argumentos key, sub_key, type, value.

winreg.DisableReflectionKey(key)

Disables registry reflection for 32-bit processes running on a 64-bit operating system.

key is an already open key, or one of the predefined HKEY_* constants.

Will generally raise NotImplementedError if executed on a 32-bit operating system.

If the key is not on the reflection list, the function succeeds but has no effect. Disabling reflection for a key does not affect reflection of any subkeys.

Levanta um evento de auditoria winreg.DisableReflectionKey com o argumento key.

winreg.EnableReflectionKey(key)

Restores registry reflection for the specified disabled key.

key is an already open key, or one of the predefined HKEY_* constants.

Will generally raise NotImplementedError if executed on a 32-bit operating system.

Restoring reflection for a key does not affect reflection of any subkeys.

Levanta um evento de auditoria winreg.EnableReflectionKey com o argumento key.

winreg.QueryReflectionKey(key)

Determines the reflection state for the specified key.

key is an already open key, or one of the predefined HKEY_* constants.

Returns True if reflection is disabled.

Will generally raise NotImplementedError if executed on a 32-bit operating system.

Levanta um evento de auditoria winreg.QueryReflectionKey com o argumento key.

Constantes

The following constants are defined for use in many winreg functions.

HKEY_* Constants

winreg.HKEY_CLASSES_ROOT

Registry entries subordinate to this key define types (or classes) of documents and the properties associated with those types. Shell and COM applications use the information stored under this key.

winreg.HKEY_CURRENT_USER

Registry entries subordinate to this key define the preferences of the current user. These preferences include the settings of environment variables, data about program groups, colors, printers, network connections, and application preferences.

winreg.HKEY_LOCAL_MACHINE

Registry entries subordinate to this key define the physical state of the computer, including data about the bus type, system memory, and installed hardware and software.

winreg.HKEY_USERS

Registry entries subordinate to this key define the default user configuration for new users on the local computer and the user configuration for the current user.

winreg.HKEY_PERFORMANCE_DATA

Registry entries subordinate to this key allow you to access performance data. The data is not actually stored in the registry; the registry functions cause the system to collect the data from its source.

winreg.HKEY_CURRENT_CONFIG

Contains information about the current hardware profile of the local computer system.

winreg.HKEY_DYN_DATA

This key is not used in versions of Windows after 98.

Access Rights

For more information, see Registry Key Security and Access [https://msdn.microsoft.com/en-us/library/ms724878%28v=VS.85%29.aspx].

winreg.KEY_ALL_ACCESS

Combines the STANDARD_RIGHTS_REQUIRED, KEY_QUERY_VALUE, KEY_SET_VALUE, KEY_CREATE_SUB_KEY, KEY_ENUMERATE_SUB_KEYS, KEY_NOTIFY, and KEY_CREATE_LINK access rights.

winreg.KEY_WRITE

Combines the STANDARD_RIGHTS_WRITE, KEY_SET_VALUE, and KEY_CREATE_SUB_KEY access rights.

winreg.KEY_READ

Combines the STANDARD_RIGHTS_READ, KEY_QUERY_VALUE, KEY_ENUMERATE_SUB_KEYS, and KEY_NOTIFY values.

winreg.KEY_EXECUTE

Equivalent to KEY_READ.

winreg.KEY_QUERY_VALUE

Required to query the values of a registry key.

winreg.KEY_SET_VALUE

Required to create, delete, or set a registry value.

winreg.KEY_CREATE_SUB_KEY

Required to create a subkey of a registry key.

winreg.KEY_ENUMERATE_SUB_KEYS

Required to enumerate the subkeys of a registry key.

winreg.KEY_NOTIFY

Required to request change notifications for a registry key or for subkeys of a registry key.

winreg.KEY_CREATE_LINK

Reserved for system use.

64-bit Specific

For more information, see Accessing an Alternate Registry View [https://msdn.microsoft.com/en-us/library/aa384129(v=VS.85).aspx].

winreg.KEY_WOW64_64KEY

Indicates that an application on 64-bit Windows should operate on the 64-bit registry view. On 32-bit Windows, this constant is ignored.

winreg.KEY_WOW64_32KEY

Indicates that an application on 64-bit Windows should operate on the 32-bit registry view. On 32-bit Windows, this constant is ignored.

Value Types

For more information, see Registry Value Types [https://msdn.microsoft.com/en-us/library/ms724884%28v=VS.85%29.aspx].

winreg.REG_BINARY

Binary data in any form.

winreg.REG_DWORD

Número de 32 bits.

winreg.REG_DWORD_LITTLE_ENDIAN

A 32-bit number in little-endian format. Equivalent to REG_DWORD.

winreg.REG_DWORD_BIG_ENDIAN

A 32-bit number in big-endian format.

winreg.REG_EXPAND_SZ

Null-terminated string containing references to environment variables (%PATH%).

winreg.REG_LINK

A Unicode symbolic link.

winreg.REG_MULTI_SZ

A sequence of null-terminated strings, terminated by two null characters. (Python handles this termination automatically.)

winreg.REG_NONE

No defined value type.

winreg.REG_QWORD

A 64-bit number.

Adicionado na versão 3.6.

winreg.REG_QWORD_LITTLE_ENDIAN

A 64-bit number in little-endian format. Equivalent to REG_QWORD.

Adicionado na versão 3.6.

winreg.REG_RESOURCE_LIST

A device-driver resource list.

winreg.REG_FULL_RESOURCE_DESCRIPTOR

A hardware setting.

winreg.REG_RESOURCE_REQUIREMENTS_LIST

A hardware resource list.

winreg.REG_SZ

A null-terminated string.

Registry Handle Objects

This object wraps a Windows HKEY object, automatically closing it when the object is destroyed. To guarantee cleanup, you can call either the Close() method on the object, or the CloseKey() function.

All registry functions in this module return one of these objects.

All registry functions in this module which accept a handle object also accept an integer, however, use of the handle object is encouraged.

Handle objects provide semantics for __bool__() – thus

if handle:
    print("Yes")

will print Yes if the handle is currently valid (has not been closed or detached).

The object also support comparison semantics, so handle objects will compare true if they both reference the same underlying Windows handle value.

Handle objects can be converted to an integer (e.g., using the built-in int() function), in which case the underlying Windows handle value is returned. You can also use the Detach() method to return the integer handle, and also disconnect the Windows handle from the handle object.

PyHKEY.Close()

Closes the underlying Windows handle.

If the handle is already closed, no error is raised.

PyHKEY.Detach()

Detaches the Windows handle from the handle object.

The result is an integer that holds the value of the handle before it is detached. If the handle is already detached or closed, this will return zero.

After calling this function, the handle is effectively invalidated, but the handle is not closed. You would call this function when you need the underlying Win32 handle to exist beyond the lifetime of the handle object.

Levanta um evento de auditoria winreg.PyHKEY.Detach com o argumento key.

PyHKEY.__enter__()

PyHKEY.__exit__(*exc_info)

The HKEY object implements __enter__() and __exit__() and thus supports the context protocol for the with statement:

with OpenKey(HKEY_LOCAL_MACHINE, "foo") as key:
    ...  # work with key

will automatically close key when control leaves the with block.

winsound — Sound-playing interface for Windows

O módulo winsound fornece acesso ao mecanismo básico de reprodução de som fornecido pelas plataformas Windows. Inclui funções e várias constantes.

winsound.Beep(frequency, duration)

Emite um bipe no alto-falante do PC. O parâmetro frequency especifica a frequência, em hertz, do som e deve estar no intervalo de 37 a 32.767. O parâmetro duration especifica o número de milissegundos que o som deve durar. Se o sistema não conseguir emitir um bipe no alto-falante, RuntimeError é levantado.

winsound.PlaySound(sound, flags)

Call the underlying PlaySound() function from the Platform API. The sound parameter may be a filename, a system sound alias, audio data as a bytes-like object, or None. Its interpretation depends on the value of flags, which can be a bitwise ORed combination of the constants described below. If the sound parameter is None, any currently playing waveform sound is stopped. If the system indicates an error, RuntimeError is raised.

winsound.MessageBeep(type=MB_OK)

Call the underlying MessageBeep() function from the Platform API. This plays a sound as specified in the registry. The type argument specifies which sound to play; possible values are -1, MB_ICONASTERISK, MB_ICONEXCLAMATION, MB_ICONHAND, MB_ICONQUESTION, and MB_OK, all described below. The value -1 produces a “simple beep”; this is the final fallback if a sound cannot be played otherwise. If the system indicates an error, RuntimeError is raised.

winsound.SND_FILENAME

The sound parameter is the name of a WAV file. Do not use with SND_ALIAS.

winsound.SND_ALIAS

The sound parameter is a sound association name from the registry. If the registry contains no such name, play the system default sound unless SND_NODEFAULT is also specified. If no default sound is registered, raise RuntimeError. Do not use with SND_FILENAME.

All Win32 systems support at least the following; most systems support many more:

PlaySound() name

Corresponding Control Panel Sound name

'SystemAsterisk'

Asterisk

'SystemExclamation'

Exclamation

'SystemExit'

Exit Windows

'SystemHand'

Critical Stop

'SystemQuestion'

Question

Por exemplo:

import winsound
# Play Windows exit sound.
winsound.PlaySound("SystemExit", winsound.SND_ALIAS)

# Probably play Windows default sound, if any is registered (because
# "*" probably isn't the registered name of any sound).
winsound.PlaySound("*", winsound.SND_ALIAS)

winsound.SND_LOOP

Play the sound repeatedly. The SND_ASYNC flag must also be used to avoid blocking. Cannot be used with SND_MEMORY.

winsound.SND_MEMORY

The sound parameter to PlaySound() is a memory image of a WAV file, as a bytes-like object.

Nota

This module does not support playing from a memory image asynchronously, so a combination of this flag and SND_ASYNC will raise RuntimeError.

winsound.SND_PURGE

Stop playing all instances of the specified sound.

Nota

This flag is not supported on modern Windows platforms.

winsound.SND_ASYNC

Return immediately, allowing sounds to play asynchronously.

winsound.SND_NODEFAULT

If the specified sound cannot be found, do not play the system default sound.

winsound.SND_NOSTOP

Do not interrupt sounds currently playing.

winsound.SND_NOWAIT

Return immediately if the sound driver is busy.

Nota

This flag is not supported on modern Windows platforms.

winsound.MB_ICONASTERISK

Play the SystemDefault sound.

winsound.MB_ICONEXCLAMATION

Play the SystemExclamation sound.

winsound.MB_ICONHAND

Play the SystemHand sound.

winsound.MB_ICONQUESTION

Play the SystemQuestion sound.

winsound.MB_OK

Play the SystemDefault sound.

Serviços Específicos Unix

Os módulos descritos neste capítulo fornecem interfaces para recursos que são exclusivos do sistema operacional Unix ou, em alguns casos, para algumas ou várias variantes do mesmo. Aqui está uma visão geral:

posix — As chamadas de sistema mais comuns do POSIX

Suporte a arquivos grandes

Conteúdo notável do módulo

environ

pwd — A senha do banco de dados

getpwuid()

getpwnam()

getpwall()

grp — The group database

getgrgid()

getgrnam()

getgrall()

termios — Controle de tty no estilo POSIX

tcgetattr()

tcsetattr()

TCSANOW

TCSADRAIN

TCSAFLUSH

tcsendbreak()

tcdrain()

tcflush()

tcflow()

tcgetwinsize()

tcsetwinsize()

Exemplo

tty — Funções de controle de terminal

cfmakeraw()

cfmakecbreak()

setraw()

setcbreak()

pty — Utilitários de pseudoterminal

fork()

openpty()

spawn()

Exemplo

fcntl — The fcntl and ioctl system calls

fcntl()

ioctl()

flock()

lockf()

LOCK_UN

LOCK_SH

LOCK_EX

LOCK_NB

resource — Resource usage information

error

Resource Limits

RLIM_INFINITY

getrlimit()

setrlimit()

prlimit()

RLIMIT_CORE

RLIMIT_CPU

RLIMIT_FSIZE

RLIMIT_DATA

RLIMIT_STACK

RLIMIT_RSS

RLIMIT_NPROC

RLIMIT_NOFILE

RLIMIT_OFILE

RLIMIT_MEMLOCK

RLIMIT_VMEM

RLIMIT_AS

RLIMIT_MSGQUEUE

RLIMIT_NICE

RLIMIT_RTPRIO

RLIMIT_RTTIME

RLIMIT_SIGPENDING

RLIMIT_SBSIZE

RLIMIT_SWAP

RLIMIT_NPTS

RLIMIT_KQUEUES

Resource Usage

getrusage()

getpagesize()

RUSAGE_SELF

RUSAGE_CHILDREN

RUSAGE_BOTH

RUSAGE_THREAD

syslog — Rotinas da biblioteca syslog do Unix

syslog()

openlog()

closelog()

setlogmask()

LOG_EMERG

LOG_ALERT

LOG_CRIT

LOG_ERR

LOG_WARNING

LOG_NOTICE

LOG_INFO

LOG_DEBUG

LOG_AUTH

LOG_AUTHPRIV

LOG_CRON

LOG_DAEMON

LOG_FTP

LOG_INSTALL

LOG_KERN

LOG_LAUNCHD

LOG_LPR

LOG_MAIL

LOG_NETINFO

LOG_NEWS

LOG_RAS

LOG_REMOTEAUTH

LOG_SYSLOG

LOG_USER

LOG_UUCP

LOG_LOCAL0

LOG_LOCAL1

LOG_LOCAL2

LOG_LOCAL3

LOG_LOCAL4

LOG_LOCAL5

LOG_LOCAL6

LOG_LOCAL7

LOG_PID

LOG_CONS

LOG_NDELAY

LOG_ODELAY

LOG_NOWAIT

LOG_PERROR

Exemplos

Exemplo simples

posix — As chamadas de sistema mais comuns do POSIX

Este módulo fornece acesso à funcionalidade do sistema operacional padronizada pelo padrão C e pelo padrão POSIX (uma interface Unix levemente disfarçada).

Disponibilidade

Não importe este módulo diretamente. Em vez disso, importe o módulo os, que fornece uma versão portátil dessa interface. No Unix, o módulo os fornece um superconjunto da interface posix. Em sistemas operacionais não Unix, o módulo posix não está disponível, mas um subconjunto está sempre disponível na interface os. Uma vez que os é importado, seu uso não causa penalidade de desempenho em comparação com posix. Além disso, os fornece algumas funcionalidades adicionais, como chamar automaticamente putenv() quando uma entrada em os.environ é alterada.

Erros são relatados como exceções. As exceções usuais são dadas para erros de tipo, enquanto os erros relatados pelas chamadas do sistema levantam OSError.

Suporte a arquivos grandes

Vários sistemas operacionais (incluindo AIX e Solaris) fornecem suporte a arquivos maiores que 2 GiB a partir de um modelo de programação C em que int e long são valores de 32 bits. Isso geralmente é realizado definindo o tamanho relevante e os tipos de deslocamento como valores de 64 bits. Esses arquivos às vezes são chamados de arquivos grandes.

O suporte a arquivos grandes é ativado no Python quando o tamanho de um off_t é maior que a long e long long é pelo menos tão grande quanto um off_t. Pode ser necessário configurar e compilar o Python com certos sinalizadores do compilador para ativar esse modo. Por exemplo, com o Solaris 2.6 e 2.7, você precisa fazer algo como:

CFLAGS="`getconf LFS_CFLAGS`" OPT="-g -O2 $CFLAGS" \
        ./configure

Em sistemas Linux com capacidade para arquivos grandes, isso pode funcionar:

CFLAGS='-D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64' OPT="-g -O2 $CFLAGS" \
        ./configure

Conteúdo notável do módulo

Além de muitas funções descritas na documentação do módulo os, posix define o seguinte item de dados:

posix.environ

Um dicionário que representa o ambiente de strings no momento em que o interpretador foi iniciado. Chaves e valores são bytes no Unix e str no Windows. Por exemplo, environ[b'HOME'] (environ['HOME'] no Windows) é o nome do caminho do diretório inicial, equivalente a getenv("HOME") em C .

A modificação deste dicionário não afeta o ambiente de strings passado por execv(), popen() ou system(). Se você precisar alterar o ambiente, passe environ para execve() ou adicione atribuições de variável e instruções de exportação para a string de comando para system() ou popen().

Alterado na versão 3.2: No Unix, chaves e valores são bytes.

Nota

O módulo os fornece uma implementação alternativa de environ que atualiza o ambiente ao ocorrerem modificações. Observe também que a atualização de os.environ tornará este dicionário obsoleto. O uso do módulo os é recomendado sobre o acesso direto ao módulo posix.

pwd — A senha do banco de dados

Este módulo provê acesso ao banco de dados das contas de usuário do sistema e suas respectivas senhas. Isto está disponível para todas as versões do Unix.

Disponibilidade

As entradas do banco de dados de senhas são reportadas como um objeto do tipo tupla, cujos atributos correspondem aos membros da estrutura passwd (Campos dos atributos abaixo, veja <pwd.h>):

Índice

Atributo

Significado

0

pw_name

Nome de login

1

pw_passwd

Senha encriptada opcional

2

pw_uid

ID numérico do usuário

3

pw_gid

ID numérico do grupo

4

pw_gecos

Nome do usuário ou campor de comentário

5

pw_dir

Diretório home do usuário

6

pw_shell

Interpretador de comandos do usuário

O uid e o gid são números inteiros, e os outros são strings. KeyError é levando se o campo requerido não puder ser encontrado.

Nota

Em Unix tradicional, o campo pw_passwd geralmente contém uma senha encriptada com um algoritmo derivado de DES. No entanto, a maioria dos sistemas tipo Unix modernos usam o chamado sistema shadow password. Nesses Unixes o campo pw_passwd só contém um asterisco ('*') ou a letra 'x' e a senha encriptada é guardada no arquivo /etc/shadow o qual não é permitido o acesso irrestrito a leitura. Se o campo pw_passwd contém alguma coisa útil dependerá do sistema.

Isto define os seguintes itens

pwd.getpwuid(uid)

Retorna a entrada do banco de dados de senhas para um dado ID de usuário

pwd.getpwnam(name)

Retorna a entrada do banco de dados de senhas para um dado nome de usuário

pwd.getpwall()

Retorna uma lista de todos as entradas disponíveis no banco de dados de senhas, em uma ordem arbitrária.

Ver também

Módulo grp

Uma interface para o banco de dados do grupo, similar a esta.

grp — The group database

This module provides access to the Unix group database. It is available on all Unix versions.

Disponibilidade

Group database entries are reported as a tuple-like object, whose attributes correspond to the members of the group structure (Attribute field below, see <grp.h>):

Índice

Atributo

Significado

0

gr_name

o nome do grupo

1

gr_passwd

the (encrypted) group password; often empty

2

gr_gid

O ID numérico do grupo

3

gr_mem

all the group member’s user names

The gid is an integer, name and password are strings, and the member list is a list of strings. (Note that most users are not explicitly listed as members of the group they are in according to the password database. Check both databases to get complete membership information. Also note that a gr_name that starts with a + or - is likely to be a YP/NIS reference and may not be accessible via getgrnam() or getgrgid().)

Isto define os seguintes itens

grp.getgrgid(id)

Return the group database entry for the given numeric group ID. KeyError is raised if the entry asked for cannot be found.

Alterado na versão 3.10: TypeError is raised for non-integer arguments like floats or strings.

grp.getgrnam(name)

Return the group database entry for the given group name. KeyError is raised if the entry asked for cannot be found.

grp.getgrall()

Return a list of all available group entries, in arbitrary order.

Ver também

Módulo pwd

An interface to the user database, similar to this.

termios — Controle de tty no estilo POSIX

Este módulo fornece uma interface para as chamadas POSIX para controle de E/S do tty. Para uma descrição completa dessas chamadas, consulte a página de manual Unix termios(3) [https://manpages.debian.org/termios(3)]. Está disponível apenas para as versões Unix que tenham suporte ao controle de E/S de tty no estilo POSIX do termios configurado durante a instalação.

Disponibilidade

Todas as funções neste módulo usam um descritor de arquivo fd como seu primeiro argumento. Pode ser um descritor de arquivo de tipo inteiro, como retornado por sys.stdin.fileno(), ou um objeto arquivo, como o próprio sys.stdin.

Este módulo também define todas as constantes necessárias para trabalhar com as funções fornecidas aqui; estes têm o mesmo nome de seus equivalentes em C. Consulte a documentação do sistema para mais informações sobre o uso dessas interfaces de controle de terminal.

O módulo define as seguintes funções:

termios.tcgetattr(fd)

Retorna uma lista contendo os atributos tty para o descritor de arquivo fd, da seguinte forma: [iflag, oflag, cflag, lflag, ispeed, ospeed, cc] onde cc é uma lista dos caracteres especiais do tty (cada uma string de comprimento 1, exceto os itens com índices VMIN e VTIME, que são números inteiros quando esses campos são definidos). A interpretação dos sinalizadores e as velocidades, bem como a indexação no vetor cc, devem ser feitas usando as constantes simbólicas definidas no módulo termios.

termios.tcsetattr(fd, when, attributes)

Define os atributos do tty para descritor de arquivo fd a partir de attributes, que é uma lista como a retornada por tcgetattr(). O argumento when determina quando os atributos são alterados:

termios.TCSANOW

Altera os atributos imediatamente.

termios.TCSADRAIN

Altera os atributos depois de transmitir todas as saídas enfileiradas.

termios.TCSAFLUSH

Altera os atributos depois de transmitir todas as saídas enfileiradas e descartar todas as entradas enfileiradas.

termios.tcsendbreak(fd, duration)

Envia uma quebra no descritor de arquivo fd. Uma duração zero, representada por duration, envia uma pausa por 0,25 a 0,5 segundos; duration com valor diferente de zero tem um significado dependente do sistema.

termios.tcdrain(fd)

Aguarda até que toda a saída escrita no descritor de arquivo fd seja transmitida.

termios.tcflush(fd, queue)

Descarta dados na fila no descritor de arquivo fd. O seletor queue especifica qual fila: TCIFLUSH para a fila de entrada, TCOFLUSH para a fila de saída ou TCIOFLUSH para as duas filas.

termios.tcflow(fd, action)

Suspende ou retoma a entrada ou saída no descritor de arquivo fd. O argumento action pode ser TCOOFF para suspender a saída, TCOON para reiniciar a saída, TCIOFF para suspender a entrada ou TCION para reiniciar a entrada.

termios.tcgetwinsize(fd)

Retorna uma tupla (ws_row, ws_col) contendo o tamanho da janela de terminal para o descritor de arquivo fd. Requer termios.TIOCGWINSZ ou termios.TIOCGSIZE.

Adicionado na versão 3.11.

termios.tcsetwinsize(fd, winsize)

Define o tamanho da janela de terminal para o descritor de arquivo fd de winsize, que é uma tupla de dois elementos (ws_row, ws_col) como a retornada por tcgetwinsize(). Requer pelo menos um dos pares (termios.TIOCGWINSZ, termios.TIOCSWINSZ); (termios.TIOCGSIZE, termios.TIOCSSIZE) a ser definido.

Adicionado na versão 3.11.

Ver também

Módulo tty

Funções de conveniência para operações comuns de controle de terminal.

Exemplo

Aqui está uma função que solicita uma senha com o eco desativado. Observe a técnica usando uma chamada separada tcgetattr() e uma instrução try … finally para garantir que os atributos tty antigos sejam restaurados exatamente, aconteça o que acontecer:

def getpass(prompt="Senha: "):
    import termios, sys
    fd = sys.stdin.fileno()
    old = termios.tcgetattr(fd)
    new = termios.tcgetattr(fd)
    new[3] = new[3] & ~termios.ECHO          # lflags
    try:
        termios.tcsetattr(fd, termios.TCSADRAIN, new)
        passwd = input(prompt)
    finally:
        termios.tcsetattr(fd, termios.TCSADRAIN, old)
    return passwd

tty — Funções de controle de terminal

Código-fonte: Lib/tty.py [https://github.com/python/cpython/tree/3.13/Lib/tty.py]

O módulo tty define funções para colocar o tty nos modos de cbreak e não tratados (raw).

Disponibilidade

Por requerer o módulo termios, ele funcionará apenas no Unix.

O módulo tty define as seguintes funções:

tty.cfmakeraw(mode)

Converte a lista de atributos de tty mode, que é uma lista como a retornada por termios.tcgetattr(), para a de um tty em modo raw.

Adicionado na versão 3.12.

tty.cfmakecbreak(mode)

Converte a lista de atributos de tty mode, que é uma lista como a retornada por termios.tcgetattr(), para a de um tty em modo cbreak.

Isto limpa os sinalizadores de modo local ECHO e ICANON em mode bem como configura a entrada mínima para 1 byte sem atraso.

Adicionado na versão 3.12.

Alterado na versão 3.12.2: O sinalizador ICRNL não está mais limpo. Isso corresponde ao comportamento stty cbreak do Linux e macOS e ao que setcbreak() historicamente fez.

tty.setraw(fd, when=termios.TCSAFLUSH)

Altera o modo do descritor de arquivo fd para raw. Se when for omitido, o padrão é termios.TCSAFLUSH, e é passado para termios.tcsetattr(). O retorna valor de termios.tcgetattr() é salvo antes de definir fd para o modo raw; esse valor é retornado.

Alterado na versão 3.12: O valor de retorno agora é o atributos originais do tty, em vez de None.

tty.setcbreak(fd, when=termios.TCSAFLUSH)

Altera o modo de descritor de arquivo fd para cbreak. Se when for omitido, o padrão é termios.TCSAFLUSH, e é passado para termios.tcsetattr(). O retorna valor de termios.tcgetattr() é salvo antes de definir fd para o modo cbreak; esse valor é retornado.

Isto limpa os sinalizadores de modo local ECHO e ICANON bem como configura a entrada mínima para 1 byte sem atraso.

Alterado na versão 3.12: O valor de retorno agora é o atributos originais do tty, em vez de None.

Alterado na versão 3.12.2: O sinalizador ICRNL não está mais limpo. Isso restaura o comportamento do Python 3.11 e anteriores, além de corresponder ao que Linux, macOS e BSDs descrevem em suas páginas de manual stty(1) em relação ao modo cbreak.

Ver também

Módulo termios

Interface baixo nível para controle de terminal.

pty — Utilitários de pseudoterminal

Código-fonte: Lib/pty.py [https://github.com/python/cpython/tree/3.13/Lib/pty.py]

O módulo pty define operações para lidar com o conceito de pseudoterminal: iniciar outro processo e poder gravar e ler de seu terminal de controle programaticamente.

Disponibilidade

O tratamento do pseudoterminal é altamente dependente da plataforma. Esse código foi testado principalmente no Linux, no FreeBSD e no macOS (supõe-se que funcione em outras plataformas POSIX, mas não foi testado exaustivamente).

O módulo pty define as seguintes funções:

pty.fork()

Faz um fork. Conecta o terminal de controle do filho a um pseudoterminal. O valor de retorno é (pid, fd). Observe que a criança recebe pid 0 e o fd é inválido. O valor de retorno do pai é o pid do filho, e o fd é um descritor de arquivo conectado ao terminal de controle do filho (e também à entrada e à saída padrão do filho).

Aviso

No macOS, o uso desta função é inseguro quando combinado com o uso de APIs de sistema de nível superior, e isso inclui o uso de urllib.request.

pty.openpty()

Abre um novo par de pseudoterminais, usando os.openpty(), se possível, ou código de emulação para sistemas genérico Unix . Retorna um par de descritores de arquivo (master, slave), para a extremidade mestre e escrava, respectivamente.

pty.spawn(argv[, master_read[, stdin_read]])

Gera um processo e conecta seu terminal de controle com o E/S padrão do processo atual. Isso é frequentemente usado para confundir programas que insistem em ler no terminal de controle. Espera-se que o processo gerado por trás do pty acabe sendo encerrado e, quando isso acontecer, o spawn é retornado.

Um laço copia o STDIN do processo atual para o filho e os dados recebidos do filho para o STDOUT do site processar atual. Não é sinalizado para o filho se o STDIN do processar atual fechar.

As funções master_read e o stdin_read recebem um descritor de arquivo do qual devem ler e devem sempre retorna uma string de bytes. Para forçar spawn retornar antes que o processo filho saia, um byte vazio vetor deve ser retornado para sinalizar o fim do arquivo.

A implementação padrão para ambos os funções vai ler e retornar até 1024 bytes cada vez que a função for chamada. A função de retorno master_read é passada para o descritor de arquivo mestre do pseudoterminal para ler a saída do processo filho, e ao stdin_read é passado o descritor de arquivo 0, para ler a entrada padrão do processo pai.

Retornar uma string de bytes vazia de qualquer uma das funções de retorno é interpretado como uma condição de fim de vida (EOF), e que a função de retorno não será chamada depois disso. Se stdin_read sinalizar EOF, o terminal de controle não poderá mais se comunicar com o processo pai OU o processo filho. A menos que o filho processar seja encerrado sem nenhuma entrada, spawn vai então fazer o laço para sempre. Se master_read sinalizar EOF, os mesmos comportamento resultados (pelo menos no Linux).

Retorna o valor de status de saída de os.waitpid() no processo filho.

os.waitstatus_to_exitcode() pode ser usado para converter o status de saída em um código de saída.

Levanta um evento de auditoria pty.spawn com o argumento argv.

Alterado na versão 3.4: spawn() agora retorna o valor de status de os.waitpid() no processo filho.

Exemplo

O programa a seguir funciona como o comando Unix script(1) [https://manpages.debian.org/script(1)] , usando um pseudoterminal para registrar todas as entradas e saídas de uma sessão de terminal em um “script”.

import argparse
import os
import pty
import sys
import time

parser = argparse.ArgumentParser()
parser.add_argument('-a', dest='append', action='store_true')
parser.add_argument('-p', dest='use_python', action='store_true')
parser.add_argument('filename', nargs='?', default='typescript')
options = parser.parse_args()

shell = sys.executable if options.use_python else os.environ.get('SHELL', 'sh')
filename = options.filename
mode = 'ab' if options.append else 'wb'

with open(filename, mode) as script:
    def read(fd):
        data = os.read(fd, 1024)
        script.write(data)
        return data

    print('Script started, file is', filename)
    script.write(('Script started on %s\n' % time.asctime()).encode())

    pty.spawn(shell, read)

    script.write(('Script done on %s\n' % time.asctime()).encode())
    print('Script done, file is', filename)

fcntl — The fcntl and ioctl system calls

This module performs file and I/O control on file descriptors. It is an interface to the fcntl() and ioctl() Unix routines. See the fcntl(2) [https://manpages.debian.org/fcntl(2)] and ioctl(2) [https://manpages.debian.org/ioctl(2)] Unix manual pages for full details.

Disponibilidade

All functions in this module take a file descriptor fd as their first argument. This can be an integer file descriptor, such as returned by sys.stdin.fileno(), or an io.IOBase object, such as sys.stdin itself, which provides a fileno() that returns a genuine file descriptor.

Alterado na versão 3.3: Operations in this module used to raise an IOError where they now raise an OSError.

Alterado na versão 3.8: The fcntl module now contains F_ADD_SEALS, F_GET_SEALS, and F_SEAL_* constants for sealing of os.memfd_create() file descriptors.

Alterado na versão 3.9: On macOS, the fcntl module exposes the F_GETPATH constant, which obtains the path of a file from a file descriptor. On Linux(>=3.15), the fcntl module exposes the F_OFD_GETLK, F_OFD_SETLK and F_OFD_SETLKW constants, which are used when working with open file description locks.

Alterado na versão 3.10: On Linux >= 2.6.11, the fcntl module exposes the F_GETPIPE_SZ and F_SETPIPE_SZ constants, which allow to check and modify a pipe’s size respectively.

Alterado na versão 3.11: On FreeBSD, the fcntl module exposes the F_DUP2FD and F_DUP2FD_CLOEXEC constants, which allow to duplicate a file descriptor, the latter setting FD_CLOEXEC flag in addition.

Alterado na versão 3.12: On Linux >= 4.5, the fcntl module exposes the FICLONE and FICLONERANGE constants, which allow to share some data of one file with another file by reflinking on some filesystems (e.g., btrfs, OCFS2, and XFS). This behavior is commonly referred to as “copy-on-write”.

Alterado na versão 3.13: On Linux >= 2.6.32, the fcntl module exposes the F_GETOWN_EX, F_SETOWN_EX, F_OWNER_TID, F_OWNER_PID, F_OWNER_PGRP constants, which allow to direct I/O availability signals to a specific thread, process, or process group. On Linux >= 4.13, the fcntl module exposes the F_GET_RW_HINT, F_SET_RW_HINT, F_GET_FILE_RW_HINT, F_SET_FILE_RW_HINT, and RWH_WRITE_LIFE_* constants, which allow to inform the kernel about the relative expected lifetime of writes on a given inode or via a particular open file description. On Linux >= 5.1 and NetBSD, the fcntl module exposes the F_SEAL_FUTURE_WRITE constant for use with F_ADD_SEALS and F_GET_SEALS operations. On FreeBSD, the fcntl module exposes the F_READAHEAD, F_ISUNIONSTACK, and F_KINFO constants. On macOS and FreeBSD, the fcntl module exposes the F_RDAHEAD constant. On NetBSD and AIX, the fcntl module exposes the F_CLOSEM constant. On NetBSD, the fcntl module exposes the F_MAXFD constant. On macOS and NetBSD, the fcntl module exposes the F_GETNOSIGPIPE and F_SETNOSIGPIPE constant.

O módulo define as seguintes funções:

fcntl.fcntl(fd, cmd, arg=0)

Perform the operation cmd on file descriptor fd (file objects providing a fileno() method are accepted as well). The values used for cmd are operating system dependent, and are available as constants in the fcntl module, using the same names as used in the relevant C header files. The argument arg can either be an integer value, or a bytes object. With an integer value, the return value of this function is the integer return value of the C fcntl() call. When the argument is bytes it represents a binary structure, e.g. created by struct.pack(). The binary data is copied to a buffer whose address is passed to the C fcntl() call. The return value after a successful call is the contents of the buffer, converted to a bytes object. The length of the returned object will be the same as the length of the arg argument. This is limited to 1024 bytes. If the information returned in the buffer by the operating system is larger than 1024 bytes, this is most likely to result in a segmentation violation or a more subtle data corruption.

If the fcntl() call fails, an OSError is raised.

Levanta um evento de auditoria fcntl.fcntl com os argumentos fd, cmd, arg.

fcntl.ioctl(fd, request, arg=0, mutate_flag=True)

This function is identical to the fcntl() function, except that the argument handling is even more complicated.

The request parameter is limited to values that can fit in 32-bits. Additional constants of interest for use as the request argument can be found in the termios module, under the same names as used in the relevant C header files.

The parameter arg can be one of an integer, an object supporting the read-only buffer interface (like bytes) or an object supporting the read-write buffer interface (like bytearray).

In all but the last case, behaviour is as for the fcntl() function.

If a mutable buffer is passed, then the behaviour is determined by the value of the mutate_flag parameter.

If it is false, the buffer’s mutability is ignored and behaviour is as for a read-only buffer, except that the 1024 byte limit mentioned above is avoided – so long as the buffer you pass is at least as long as what the operating system wants to put there, things should work.

If mutate_flag is true (the default), then the buffer is (in effect) passed to the underlying ioctl() system call, the latter’s return code is passed back to the calling Python, and the buffer’s new contents reflect the action of the ioctl(). This is a slight simplification, because if the supplied buffer is less than 1024 bytes long it is first copied into a static buffer 1024 bytes long which is then passed to ioctl() and copied back into the supplied buffer.

If the ioctl() call fails, an OSError exception is raised.

Um exemplo:

>>> import array, fcntl, struct, termios, os
>>> os.getpgrp()
13341
>>> struct.unpack('h', fcntl.ioctl(0, termios.TIOCGPGRP, "  "))[0]
13341
>>> buf = array.array('h', [0])
>>> fcntl.ioctl(0, termios.TIOCGPGRP, buf, 1)
0
>>> buf
array('h', [13341])

Levanta um evento de auditoria fcntl.ioctl com os argumentos fd, request, arg.

fcntl.flock(fd, operation)

Perform the lock operation operation on file descriptor fd (file objects providing a fileno() method are accepted as well). See the Unix manual flock(2) [https://manpages.debian.org/flock(2)] for details. (On some systems, this function is emulated using fcntl().)

If the flock() call fails, an OSError exception is raised.

Levanta um evento de auditoria fcntl.flock com os argumentos fd e operation.

fcntl.lockf(fd, cmd, len=0, start=0, whence=0)

This is essentially a wrapper around the fcntl() locking calls. fd is the file descriptor (file objects providing a fileno() method are accepted as well) of the file to lock or unlock, and cmd is one of the following values:

fcntl.LOCK_UN

Release an existing lock.

fcntl.LOCK_SH

Acquire a shared lock.

fcntl.LOCK_EX

Acquire an exclusive lock.

fcntl.LOCK_NB

Bitwise OR with any of the other three LOCK_* constants to make the request non-blocking.

If LOCK_NB is used and the lock cannot be acquired, an OSError will be raised and the exception will have an errno attribute set to EACCES or EAGAIN (depending on the operating system; for portability, check for both values). On at least some systems, LOCK_EX can only be used if the file descriptor refers to a file opened for writing.

len is the number of bytes to lock, start is the byte offset at which the lock starts, relative to whence, and whence is as with io.IOBase.seek(), specifically:

0 – relative to the start of the file (os.SEEK_SET)

1 – relative to the current buffer position (os.SEEK_CUR)

2 – relative to the end of the file (os.SEEK_END)

The default for start is 0, which means to start at the beginning of the file. The default for len is 0 which means to lock to the end of the file. The default for whence is also 0.

Levanta um evento de auditoria fcntl.lockf com os argumentos fd, cmd, len, start, whence.

Examples (all on a SVR4 compliant system):

import struct, fcntl, os

f = open(...)
rv = fcntl.fcntl(f, fcntl.F_SETFL, os.O_NDELAY)

lockdata = struct.pack('hhllhh', fcntl.F_WRLCK, 0, 0, 0, 0, 0)
rv = fcntl.fcntl(f, fcntl.F_SETLKW, lockdata)

Note that in the first example the return value variable rv will hold an integer value; in the second example it will hold a bytes object. The structure lay-out for the lockdata variable is system dependent — therefore using the flock() call may be better.

Ver também

Módulo os

If the locking flags O_SHLOCK and O_EXLOCK are present in the os module (on BSD only), the os.open() function provides an alternative to the lockf() and flock() functions.

resource — Resource usage information

This module provides basic mechanisms for measuring and controlling system resources utilized by a program.

Disponibilidade

Symbolic constants are used to specify particular system resources and to request usage information about either the current process or its children.

An OSError is raised on syscall failure.

exception resource.error

Um apelido descontinuado de OSError.

Alterado na versão 3.3: Seguindo a PEP 3151 [https://peps.python.org/pep-3151/], esta classe foi transformada em um apelido de OSError.

Resource Limits

Resources usage can be limited using the setrlimit() function described below. Each resource is controlled by a pair of limits: a soft limit and a hard limit. The soft limit is the current limit, and may be lowered or raised by a process over time. The soft limit can never exceed the hard limit. The hard limit can be lowered to any value greater than the soft limit, but not raised. (Only processes with the effective UID of the super-user can raise a hard limit.)

The specific resources that can be limited are system dependent. They are described in the getrlimit(2) [https://manpages.debian.org/getrlimit(2)] man page. The resources listed below are supported when the underlying operating system supports them; resources which cannot be checked or controlled by the operating system are not defined in this module for those platforms.

resource.RLIM_INFINITY

Constant used to represent the limit for an unlimited resource.

resource.getrlimit(resource)

Returns a tuple (soft, hard) with the current soft and hard limits of resource. Raises ValueError if an invalid resource is specified, or error if the underlying system call fails unexpectedly.

resource.setrlimit(resource, limits)

Sets new limits of consumption of resource. The limits argument must be a tuple (soft, hard) of two integers describing the new limits. A value of RLIM_INFINITY can be used to request a limit that is unlimited.

Raises ValueError if an invalid resource is specified, if the new soft limit exceeds the hard limit, or if a process tries to raise its hard limit. Specifying a limit of RLIM_INFINITY when the hard or system limit for that resource is not unlimited will result in a ValueError. A process with the effective UID of super-user can request any valid limit value, including unlimited, but ValueError will still be raised if the requested limit exceeds the system imposed limit.

setrlimit may also raise error if the underlying system call fails.

VxWorks only supports setting RLIMIT_NOFILE.

Levanta um evento de auditoria resource.setrlimit com os argumentos resource, limits.

resource.prlimit(pid, resource[, limits])

Combines setrlimit() and getrlimit() in one function and supports to get and set the resources limits of an arbitrary process. If pid is 0, then the call applies to the current process. resource and limits have the same meaning as in setrlimit(), except that limits is optional.

When limits is not given the function returns the resource limit of the process pid. When limits is given the resource limit of the process is set and the former resource limit is returned.

Raises ProcessLookupError when pid can’t be found and PermissionError when the user doesn’t have CAP_SYS_RESOURCE for the process.

Levanta um evento de auditoria resource.prlimit com os argumentos pid, resource, limits.

Disponibilidade

Adicionado na versão 3.4.

These symbols define resources whose consumption can be controlled using the setrlimit() and getrlimit() functions described below. The values of these symbols are exactly the constants used by C programs.

The Unix man page for getrlimit(2) [https://manpages.debian.org/getrlimit(2)] lists the available resources. Note that not all systems use the same symbol or same value to denote the same resource. This module does not attempt to mask platform differences — symbols not defined for a platform will not be available from this module on that platform.

resource.RLIMIT_CORE

The maximum size (in bytes) of a core file that the current process can create. This may result in the creation of a partial core file if a larger core would be required to contain the entire process image.

resource.RLIMIT_CPU

The maximum amount of processor time (in seconds) that a process can use. If this limit is exceeded, a SIGXCPU signal is sent to the process. (See the signal module documentation for information about how to catch this signal and do something useful, e.g. flush open files to disk.)

resource.RLIMIT_FSIZE

The maximum size of a file which the process may create.

resource.RLIMIT_DATA

The maximum size (in bytes) of the process’s heap.

resource.RLIMIT_STACK

The maximum size (in bytes) of the call stack for the current process. This only affects the stack of the main thread in a multi-threaded process.

resource.RLIMIT_RSS

The maximum resident set size that should be made available to the process.

resource.RLIMIT_NPROC

The maximum number of processes the current process may create.

resource.RLIMIT_NOFILE

The maximum number of open file descriptors for the current process.

resource.RLIMIT_OFILE

The BSD name for RLIMIT_NOFILE.

resource.RLIMIT_MEMLOCK

The maximum address space which may be locked in memory.

resource.RLIMIT_VMEM

The largest area of mapped memory which the process may occupy.

Disponibilidade

resource.RLIMIT_AS

The maximum area (in bytes) of address space which may be taken by the process.

resource.RLIMIT_MSGQUEUE

The number of bytes that can be allocated for POSIX message queues.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_NICE

The ceiling for the process’s nice level (calculated as 20 - rlim_cur).

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_RTPRIO

The ceiling of the real-time priority.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_RTTIME

The time limit (in microseconds) on CPU time that a process can spend under real-time scheduling without making a blocking syscall.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_SIGPENDING

The number of signals which the process may queue.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_SBSIZE

The maximum size (in bytes) of socket buffer usage for this user. This limits the amount of network memory, and hence the amount of mbufs, that this user may hold at any time.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_SWAP

The maximum size (in bytes) of the swap space that may be reserved or used by all of this user id’s processes. This limit is enforced only if bit 1 of the vm.overcommit sysctl is set. Please see tuning(7) [https://man.freebsd.org/cgi/man.cgi?query=tuning&sektion=7] for a complete description of this sysctl.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_NPTS

The maximum number of pseudo-terminals created by this user id.

Disponibilidade

Adicionado na versão 3.4.

resource.RLIMIT_KQUEUES

The maximum number of kqueues this user id is allowed to create.

Disponibilidade

Adicionado na versão 3.10.

Resource Usage

These functions are used to retrieve resource usage information:

resource.getrusage(who)

This function returns an object that describes the resources consumed by either the current process or its children, as specified by the who parameter. The who parameter should be specified using one of the RUSAGE_* constants described below.

Um exemplo simples:

from resource import *
import time

# a non CPU-bound task
time.sleep(3)
print(getrusage(RUSAGE_SELF))

# a CPU-bound task
for i in range(10 ** 8):
   _ = 1 + 1
print(getrusage(RUSAGE_SELF))

The fields of the return value each describe how a particular system resource has been used, e.g. amount of time spent running is user mode or number of times the process was swapped out of main memory. Some values are dependent on the clock tick internal, e.g. the amount of memory the process is using.

For backward compatibility, the return value is also accessible as a tuple of 16 elements.

The fields ru_utime and ru_stime of the return value are floating-point values representing the amount of time spent executing in user mode and the amount of time spent executing in system mode, respectively. The remaining values are integers. Consult the getrusage(2) [https://manpages.debian.org/getrusage(2)] man page for detailed information about these values. A brief summary is presented here:

Índice

Campo

Resource

0

ru_utime

time in user mode (float seconds)

1

ru_stime

time in system mode (float seconds)

2

ru_maxrss

maximum resident set size

3

ru_ixrss

shared memory size

4

ru_idrss

unshared memory size

5

ru_isrss

unshared stack size

6

ru_minflt

page faults not requiring I/O

7

ru_majflt

page faults requiring I/O

8

ru_nswap

number of swap outs

9

ru_inblock

block input operations

10

ru_oublock

block output operations

11

ru_msgsnd

messages sent

12

ru_msgrcv

messages received

13

ru_nsignals

signals received

14

ru_nvcsw

voluntary context switches

15

ru_nivcsw

involuntary context switches

This function will raise a ValueError if an invalid who parameter is specified. It may also raise error exception in unusual circumstances.

resource.getpagesize()

Returns the number of bytes in a system page. (This need not be the same as the hardware page size.)

The following RUSAGE_* symbols are passed to the getrusage() function to specify which processes information should be provided for.

resource.RUSAGE_SELF

Pass to getrusage() to request resources consumed by the calling process, which is the sum of resources used by all threads in the process.

resource.RUSAGE_CHILDREN

Pass to getrusage() to request resources consumed by child processes of the calling process which have been terminated and waited for.

resource.RUSAGE_BOTH

Pass to getrusage() to request resources consumed by both the current process and child processes. May not be available on all systems.

resource.RUSAGE_THREAD

Pass to getrusage() to request resources consumed by the current thread. May not be available on all systems.

Adicionado na versão 3.2.

syslog — Rotinas da biblioteca syslog do Unix

Este módulo fornece uma interface para as rotinas da biblioteca syslog do Unix. Consulte as páginas de manual do Unix para uma descrição detalhada do recurso syslog.

Disponibilidade

Este módulo é uma camada para a família de rotinas syslog do sistema. Uma biblioteca Python pura que pode se comunicar com um servidor syslog está disponível no módulo logging.handlers como SysLogHandler.

O módulo define as seguintes funções:

syslog.syslog(message)

syslog.syslog(priority, message)

Envia a string message para o registrador do sistema. Uma nova linha final é adicionada, se necessário. Cada mensagem é marcada com uma prioridade composta por um facility e um level. O argumento opcional priority, cujo padrão é LOG_INFO, determina a prioridade da mensagem. Se a facilidade não está codificada em priority usando o OU lógico (LOG_INFO | LOG_USER), o valor dado na chamada openlog() é usado.

Se openlog() não foi chamado antes da chamada para syslog(), openlog() será chamado sem argumentos.

Levanta um evento de auditoria syslog.syslog com os argumentos priority, message.

Alterado na versão 3.2: Nas versões anteriores, openlog() não seria chamado automaticamente se não fosse chamado antes da chamada para syslog(), adiando a implementação do syslog para chamar openlog().

Alterado na versão 3.12: Esta função é restrita em subinterpretadores. (Apenas o código que executa em vários interpretadores é afetado e a restrição não é relevante para a maioria dos usuários.) openlog() deve ser chamado no interpretador principal antes de syslog() pode ser usado em um subinterpretador. Caso contrário, vai levantar RuntimeError.

syslog.openlog([ident[, logoption[, facility]]])

As opções de log das chamadas subsequentes syslog() podem ser definidas chamando openlog(). syslog() irá chamar openlog() sem argumentos se o log não estiver aberto no momento.

O argumento nomeado opcional ident é uma string que é prefixada a cada mensagem, e o padrão é sys.argv[0] com os componentes do caminho inicial removidos. O argumento nomeado opcional logoption (o padrão é 0) é um campo de bits – veja abaixo os valores possíveis para combinar. O argumento nomeado opcional facility (o padrão é LOG_USER) define o recurso padrão para mensagens que não possuem um recurso explicitamente codificado.

Levanta um evento de auditoria syslog.openlog com os argumentos ident, logoption, facility.

Alterado na versão 3.2: Nas versões anteriores, os argumentos nomeados não eram permitidos e ident era obrigatório.

Alterado na versão 3.12: Esta função é restrita em subinterpretadores. (Apenas o código que executa em vários interpretadores é afetado e a restrição não é relevante para a maioria dos usuários.) Isso deve ser chamado no interpretador principal.Vai levantar RuntimeError se chamado em um subinterpretador.

syslog.closelog()

Redefine os valores do módulo syslog e chama a biblioteca de sistema closelog().

Isso faz com que o módulo se comporte como quando importado inicialmente. Por exemplo, openlog() será chamado na primeira chamada syslog() (se openlog() ainda não foi chamado), e ident e outro openlog() os parâmetros são redefinidos para os padrões.

Levanta um evento de auditoria syslog.closelog sem argumentos.

Alterado na versão 3.12: Esta função é restrita em subinterpretadores. (Apenas o código que executa em vários interpretadores é afetado e a restrição não é relevante para a maioria dos usuários.) Isso deve ser chamado no interpretador principal.Vai levantar RuntimeError se chamado em um subinterpretador.

syslog.setlogmask(maskpri)

Define a máscara de prioridade como maskpri e retorna o valor da máscara anterior. Chamadas para syslog() com um nível de prioridade não definido em maskpri são ignoradas. O padrão é registrar todas as prioridades. A função LOG_MASK(pri) calcula a máscara para a prioridade individual pri. A função LOG_UPTO(pri) calcula a máscara para todas as prioridades até e incluindo pri.

Levanta um evento de auditoria syslog.setlogmask com o argumento maskpri.

O módulo define as seguintes constantes:

syslog.LOG_EMERG

syslog.LOG_ALERT

syslog.LOG_CRIT

syslog.LOG_ERR

syslog.LOG_WARNING

syslog.LOG_NOTICE

syslog.LOG_INFO

syslog.LOG_DEBUG

Níveis de prioridade (alto a baixo).

syslog.LOG_AUTH

syslog.LOG_AUTHPRIV

syslog.LOG_CRON

syslog.LOG_DAEMON

syslog.LOG_FTP

syslog.LOG_INSTALL

syslog.LOG_KERN

syslog.LOG_LAUNCHD

syslog.LOG_LPR

syslog.LOG_MAIL

syslog.LOG_NETINFO

syslog.LOG_NEWS

syslog.LOG_RAS

syslog.LOG_REMOTEAUTH

syslog.LOG_SYSLOG

syslog.LOG_USER

syslog.LOG_UUCP

syslog.LOG_LOCAL0

syslog.LOG_LOCAL1

syslog.LOG_LOCAL2

syslog.LOG_LOCAL3

syslog.LOG_LOCAL4

syslog.LOG_LOCAL5

syslog.LOG_LOCAL6

syslog.LOG_LOCAL7

Facilidades, dependendo da disponibilidade em <syslog.h> para LOG_AUTHPRIV, LOG_FTP, LOG_NETINFO, LOG_REMOTEAUTH, LOG_INSTALL e LOG_RAS.

Alterado na versão 3.13: Adicionados LOG_FTP, LOG_NETINFO, LOG_REMOTEAUTH, LOG_INSTALL, LOG_RAS e LOG_LAUNCHD.

syslog.LOG_PID

syslog.LOG_CONS

syslog.LOG_NDELAY

syslog.LOG_ODELAY

syslog.LOG_NOWAIT

syslog.LOG_PERROR

Opções de log, dependendo da disponibilidade em <syslog.h> para LOG_ODELAY, LOG_NOWAIT e LOG_PERROR.

Exemplos

Exemplo simples

Um conjunto simples de exemplos:

import syslog

syslog.syslog('Processing started')
if error:
    syslog.syslog(syslog.LOG_ERR, 'Processing started')

Um exemplo de configuração de algumas opções de log, isso incluiria o ID do processo nas mensagens registradas e escreveria as mensagens no recurso de destino usado para o log de correio:

syslog.openlog(logoption=syslog.LOG_PID, facility=syslog.LOG_MAIL)
syslog.syslog('E-mail processing initiated...')

Interface de linha de comando (CLI) de módulos

Os seguintes módulos têm uma interface de linha de comando.

ast

asyncio

base64

calendar

code

compileall

cProfile: veja profile

difflib

dis

doctest

encodings.rot_13

ensurepip

filecmp

fileinput

ftplib

gzip

http.server

idlelib

inspect

json.tool

mimetypes

pdb

pickle

pickletools

platform

poplib

profile

pstats

py_compile

pyclbr

pydoc

quopri

random

runpy

site

sqlite3

symtable

sysconfig

tabnanny

tarfile

this

timeit

tokenize

trace

turtledemo

unittest

uuid

venv

webbrowser

zipapp

zipfile

Consulte também a interface de linha de comando do Python.

Módulos substituídos

Os módulos descritos neste capítulo são descontinuados ou suavemente descontinuados e mantidos apenas para compatibilidade com versões anteriores. Eles foram substituídos por outros módulos.

getopt — Analisador sintático no estilo C para opções de linha de comando

optparse — Parser for command line options

getopt — Analisador sintático no estilo C para opções de linha de comando

Código-fonte: Lib/getopt.py [https://github.com/python/cpython/tree/3.13/Lib/getopt.py]

Obsoleto desde a versão 3.13: O módulo getopt está suavemente descontinuado e não será mais desenvolvido; o desenvolvimento continuará com o módulo argparse.

Nota

O módulo getopt é um analisador sintático para opções de linha de comando cuja API é projetada para ser familiar aos usuários da função C getopt(). Os usuários que não estão familiarizados com a função C getopt() ou que gostariam de escrever menos código e obter mensagens de ajuda e de erro melhores devem considerar o uso do módulo argparse.

Este módulo ajuda os scripts a analisar os argumentos da linha de comando em sys.argv. Ele suporta as mesmas convenções da função Unix getopt() (incluindo os significados especiais de argumentos da forma ‘-’ e ‘--‘). Longas opções semelhantes às suportadas pelo software GNU também podem ser usadas por meio de um terceiro argumento opcional.

Este módulo fornece duas funções e uma exceção:

getopt.getopt(args, shortopts, longopts=[])

Analisa opções de linha de comando e lista de parâmetros. args é a lista de argumentos a ser analisada, sem a referência inicial para o programa em execução. Normalmente, isso significa sys.argv[1:]. shortopts é a string de letras de opção que o script deseja reconhecer, com opções que requerem um argumento seguido por dois pontos (':'; ou seja, o mesmo formato que Unix getopt() usa).

Nota

Ao contrário do GNU getopt(), após um argumento sem opção, todos os argumentos adicionais são considerados também sem opção. Isso é semelhante à maneira como os sistemas Unix não GNU funcionam.

longopts, se especificado, deve ser uma lista de strings com os nomes das opções longas que devem ser suportadas. Os caracteres '--' no início não devem ser incluídos no nome da opção. Opções longas que requerem um argumento devem ser seguidas por um sinal de igual ('='). Argumentos opcionais não são suportados. Para aceitar apenas opções longas, shortopts deve ser uma string vazia. Opções longas na linha de comando podem ser reconhecidas, desde que forneçam um prefixo do nome da opção que corresponda exatamente a uma das opções aceitas. Por exemplo, se longopts for ['foo', 'frob'], a opção --fo irá corresponder a --foo, mas --f não corresponderá exclusivamente, então GetoptError será levantada.

O valor de retorno consiste em dois elementos: o primeiro é uma lista de pares (option, value); a segunda é a lista de argumentos de programa restantes depois que a lista de opções foi removida (esta é uma fatia ao final de args). Cada par de opção e valor retornado tem a opção como seu primeiro elemento, prefixado com um hífen para opções curtas (por exemplo, '-x') ou dois hifenes para opções longas (por exemplo, '--long-option'), e o argumento da opção como seu segundo elemento, ou uma string vazia se a opção não tiver argumento. As opções ocorrem na lista na mesma ordem em que foram encontradas, permitindo assim múltiplas ocorrências. Opções longas e curtas podem ser misturadas.

getopt.gnu_getopt(args, shortopts, longopts=[])

Esta função funciona como getopt(), exceto que o modo de digitalização do estilo GNU é usado por padrão. Isso significa que os argumentos de opção e não opção podem ser misturados. A função getopt() interrompe o processamento das opções assim que um argumento não opcional é encontrado.

Se o primeiro caractere da string de opção for '+', ou se a variável de ambiente POSIXLY_CORRECT estiver definida, então o processamento da opção para assim que um argumento não opcional for encontrado.

exception getopt.GetoptError

Isso é levantado quando uma opção não reconhecida é encontrada na lista de argumentos ou quando uma opção que requer um argumento não é fornecida. O argumento para a exceção é uma string que indica a causa do erro. Para opções longas, um argumento dado a uma opção que não requer uma também fará com que essa exceção seja levantada. Os atributos msg e opt fornecem a mensagem de erro e a opção relacionada; se não houver uma opção específica à qual a exceção se relaciona, opt é uma string vazia.

exception getopt.error

Apelido para GetoptError; para compatibilidade reversa.

Um exemplo usando apenas opções de estilo Unix:

>>> import getopt
>>> args = '-a -b -cfoo -d bar a1 a2'.split()
>>> args
['-a', '-b', '-cfoo', '-d', 'bar', 'a1', 'a2']
>>> optlist, args = getopt.getopt(args, 'abc:d:')
>>> optlist
[('-a', ''), ('-b', ''), ('-c', 'foo'), ('-d', 'bar')]
>>> args
['a1', 'a2']

Usar nomes de opções longos é igualmente fácil:

>>> s = '--condition=foo --testing --output-file abc.def -x a1 a2'
>>> args = s.split()
>>> args
['--condition=foo', '--testing', '--output-file', 'abc.def', '-x', 'a1', 'a2']
>>> optlist, args = getopt.getopt(args, 'x', [
...     'condition=', 'output-file=', 'testing'])
>>> optlist
[('--condition', 'foo'), ('--testing', ''), ('--output-file', 'abc.def'), ('-x', '')]
>>> args
['a1', 'a2']

Em um script, o uso típico é algo assim:

import getopt, sys

def main():
    try:
        opts, args = getopt.getopt(sys.argv[1:], "ho:v", ["help", "output="])
    except getopt.GetoptError as err:
        # print help information and exit:
        print(err)  # will print something like "option -a not recognized"
        usage()
        sys.exit(2)
    output = None
    verbose = False
    for o, a in opts:
        if o == "-v":
            verbose = True
        elif o in ("-h", "--help"):
            usage()
            sys.exit()
        elif o in ("-o", "--output"):
            output = a
        else:
            assert False, "unhandled option"
    # ...

if __name__ == "__main__":
    main()

Observe que uma interface de linha de comando equivalente pode ser produzida com menos código e mais mensagens de erro de ajuda e erro informativas usando o módulo argparse:

import argparse

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('-o', '--output')
    parser.add_argument('-v', dest='verbose', action='store_true')
    args = parser.parse_args()
    # ... do something with args.output ...
    # ... do something with args.verbose ..

Ver também

Módulo argparse

Alternativa de opção de linha de comando e biblioteca de análise de argumento.

optparse — Parser for command line options

Código-fonte: Lib/optparse.py [https://github.com/python/cpython/tree/3.13/Lib/optparse.py]

Obsoleto desde a versão 3.2: The optparse module is soft deprecated and will not be developed further; development will continue with the argparse module.

optparse is a more convenient, flexible, and powerful library for parsing command-line options than the old getopt module. optparse uses a more declarative style of command-line parsing: you create an instance of OptionParser, populate it with options, and parse the command line. optparse allows users to specify options in the conventional GNU/POSIX syntax, and additionally generates usage and help messages for you.

Here’s an example of using optparse in a simple script:

from optparse import OptionParser
...
parser = OptionParser()
parser.add_option("-f", "--file", dest="filename",
                  help="write report to FILE", metavar="FILE")
parser.add_option("-q", "--quiet",
                  action="store_false", dest="verbose", default=True,
                  help="don't print status messages to stdout")

(options, args) = parser.parse_args()

With these few lines of code, users of your script can now do the “usual thing” on the command-line, for example:

<yourscript> --file=outfile -q

As it parses the command line, optparse sets attributes of the options object returned by parse_args() based on user-supplied command-line values. When parse_args() returns from parsing this command line, options.filename will be "outfile" and options.verbose will be False. optparse supports both long and short options, allows short options to be merged together, and allows options to be associated with their arguments in a variety of ways. Thus, the following command lines are all equivalent to the above example:

<yourscript> -f outfile --quiet
<yourscript> --quiet --file outfile
<yourscript> -q -foutfile
<yourscript> -qfoutfile

Additionally, users can run one of the following

<yourscript> -h
<yourscript> --help

and optparse will print out a brief summary of your script’s options:

Usage: <yourscript> [options]

Options:
  -h, --help            show this help message and exit
  -f FILE, --file=FILE  write report to FILE
  -q, --quiet           don't print status messages to stdout

where the value of yourscript is determined at runtime (normally from sys.argv[0]).

Contexto

optparse was explicitly designed to encourage the creation of programs with straightforward, conventional command-line interfaces. To that end, it supports only the most common command-line syntax and semantics conventionally used under Unix. If you are unfamiliar with these conventions, read this section to acquaint yourself with them.

Terminology

argumento

a string entered on the command-line, and passed by the shell to execl() or execv(). In Python, arguments are elements of sys.argv[1:] (sys.argv[0] is the name of the program being executed). Unix shells also use the term “word”.

It is occasionally desirable to substitute an argument list other than sys.argv[1:], so you should read “argument” as “an element of sys.argv[1:], or of some other list provided as a substitute for sys.argv[1:]”.

option

an argument used to supply extra information to guide or customize the execution of a program. There are many different syntaxes for options; the traditional Unix syntax is a hyphen (“-”) followed by a single letter, e.g. -x or -F. Also, traditional Unix syntax allows multiple options to be merged into a single argument, e.g. -x -F is equivalent to -xF. The GNU project introduced -- followed by a series of hyphen-separated words, e.g. --file or --dry-run. These are the only two option syntaxes provided by optparse.

Some other option syntaxes that the world has seen include:

a hyphen followed by a few letters, e.g. -pf (this is not the same as multiple options merged into a single argument)

a hyphen followed by a whole word, e.g. -file (this is technically equivalent to the previous syntax, but they aren’t usually seen in the same program)

a plus sign followed by a single letter, or a few letters, or a word, e.g. +f, +rgb

a slash followed by a letter, or a few letters, or a word, e.g. /f, /file

These option syntaxes are not supported by optparse, and they never will be. This is deliberate: the first three are non-standard on any environment, and the last only makes sense if you’re exclusively targeting Windows or certain legacy platforms (e.g. VMS, MS-DOS).

option argument

an argument that follows an option, is closely associated with that option, and is consumed from the argument list when that option is. With optparse, option arguments may either be in a separate argument from their option:

-f foo
--file foo

or included in the same argument:

-ffoo
--file=foo

Typically, a given option either takes an argument or it doesn’t. Lots of people want an “optional option arguments” feature, meaning that some options will take an argument if they see it, and won’t if they don’t. This is somewhat controversial, because it makes parsing ambiguous: if -a takes an optional argument and -b is another option entirely, how do we interpret -ab? Because of this ambiguity, optparse does not support this feature.

argumento posicional

something leftover in the argument list after options have been parsed, i.e. after options and their arguments have been parsed and removed from the argument list.

required option

an option that must be supplied on the command-line; note that the phrase “required option” is self-contradictory in English. optparse doesn’t prevent you from implementing required options, but doesn’t give you much help at it either.

For example, consider this hypothetical command-line:

prog -v --report report.txt foo bar

-v and --report are both options. Assuming that --report takes one argument, report.txt is an option argument. foo and bar are positional arguments.

What are options for?

Options are used to provide extra information to tune or customize the execution of a program. In case it wasn’t clear, options are usually optional. A program should be able to run just fine with no options whatsoever. (Pick a random program from the Unix or GNU toolsets. Can it run without any options at all and still make sense? The main exceptions are find, tar, and dd—all of which are mutant oddballs that have been rightly criticized for their non-standard syntax and confusing interfaces.)

Lots of people want their programs to have “required options”. Think about it. If it’s required, then it’s not optional! If there is a piece of information that your program absolutely requires in order to run successfully, that’s what positional arguments are for.

As an example of good command-line interface design, consider the humble cp utility, for copying files. It doesn’t make much sense to try to copy files without supplying a destination and at least one source. Hence, cp fails if you run it with no arguments. However, it has a flexible, useful syntax that does not require any options at all:

cp SOURCE DEST
cp SOURCE ... DEST-DIR

You can get pretty far with just that. Most cp implementations provide a bunch of options to tweak exactly how the files are copied: you can preserve mode and modification time, avoid following symlinks, ask before clobbering existing files, etc. But none of this distracts from the core mission of cp, which is to copy either one file to another, or several files to another directory.

What are positional arguments for?

Positional arguments are for those pieces of information that your program absolutely, positively requires to run.

A good user interface should have as few absolute requirements as possible. If your program requires 17 distinct pieces of information in order to run successfully, it doesn’t much matter how you get that information from the user—most people will give up and walk away before they successfully run the program. This applies whether the user interface is a command-line, a configuration file, or a GUI: if you make that many demands on your users, most of them will simply give up.

In short, try to minimize the amount of information that users are absolutely required to supply—use sensible defaults whenever possible. Of course, you also want to make your programs reasonably flexible. That’s what options are for. Again, it doesn’t matter if they are entries in a config file, widgets in the “Preferences” dialog of a GUI, or command-line options—the more options you implement, the more flexible your program is, and the more complicated its implementation becomes. Too much flexibility has drawbacks as well, of course; too many options can overwhelm users and make your code much harder to maintain.

Tutorial

While optparse is quite flexible and powerful, it’s also straightforward to use in most cases. This section covers the code patterns that are common to any optparse-based program.

First, you need to import the OptionParser class; then, early in the main program, create an OptionParser instance:

from optparse import OptionParser
...
parser = OptionParser()

Then you can start defining options. The basic syntax is:

parser.add_option(opt_str, ...,
                  attr=value, ...)

Each option has one or more option strings, such as -f or --file, and several option attributes that tell optparse what to expect and what to do when it encounters that option on the command line.

Typically, each option will have one short option string and one long option string, e.g.:

parser.add_option("-f", "--file", ...)

You’re free to define as many short option strings and as many long option strings as you like (including zero), as long as there is at least one option string overall.

The option strings passed to OptionParser.add_option() are effectively labels for the option defined by that call. For brevity, we will frequently refer to encountering an option on the command line; in reality, optparse encounters option strings and looks up options from them.

Once all of your options are defined, instruct optparse to parse your program’s command line:

(options, args) = parser.parse_args()

(If you like, you can pass a custom argument list to parse_args(), but that’s rarely necessary: by default it uses sys.argv[1:].)

parse_args() returns two values:

options, an object containing values for all of your options—e.g. if --file takes a single string argument, then options.file will be the filename supplied by the user, or None if the user did not supply that option

args, the list of positional arguments leftover after parsing options

This tutorial section only covers the four most important option attributes: action, type, dest (destination), and help. Of these, action is the most fundamental.

Understanding option actions

Actions tell optparse what to do when it encounters an option on the command line. There is a fixed set of actions hard-coded into optparse; adding new actions is an advanced topic covered in section Extending optparse. Most actions tell optparse to store a value in some variable—for example, take a string from the command line and store it in an attribute of options.

If you don’t specify an option action, optparse defaults to store.

The store action

The most common option action is store, which tells optparse to take the next argument (or the remainder of the current argument), ensure that it is of the correct type, and store it to your chosen destination.

Por exemplo:

parser.add_option("-f", "--file",
                  action="store", type="string", dest="filename")

Now let’s make up a fake command line and ask optparse to parse it:

args = ["-f", "foo.txt"]
(options, args) = parser.parse_args(args)

When optparse sees the option string -f, it consumes the next argument, foo.txt, and stores it in options.filename. So, after this call to parse_args(), options.filename is "foo.txt".

Some other option types supported by optparse are int and float. Here’s an option that expects an integer argument:

parser.add_option("-n", type="int", dest="num")

Note that this option has no long option string, which is perfectly acceptable. Also, there’s no explicit action, since the default is store.

Let’s parse another fake command-line. This time, we’ll jam the option argument right up against the option: since -n42 (one argument) is equivalent to -n 42 (two arguments), the code

(options, args) = parser.parse_args(["-n42"])
print(options.num)

will print 42.

If you don’t specify a type, optparse assumes string. Combined with the fact that the default action is store, that means our first example can be a lot shorter:

parser.add_option("-f", "--file", dest="filename")

If you don’t supply a destination, optparse figures out a sensible default from the option strings: if the first long option string is --foo-bar, then the default destination is foo_bar. If there are no long option strings, optparse looks at the first short option string: the default destination for -f is f.

optparse also includes the built-in complex type. Adding types is covered in section Extending optparse.

Handling boolean (flag) options

Flag options—set a variable to true or false when a particular option is seen—are quite common. optparse supports them with two separate actions, store_true and store_false. For example, you might have a verbose flag that is turned on with -v and off with -q:

parser.add_option("-v", action="store_true", dest="verbose")
parser.add_option("-q", action="store_false", dest="verbose")

Here we have two different options with the same destination, which is perfectly OK. (It just means you have to be a bit careful when setting default values—see below.)

When optparse encounters -v on the command line, it sets options.verbose to True; when it encounters -q, options.verbose is set to False.

Outras Ações

Some other actions supported by optparse are:

"store_const"

store a constant value, pre-set via Option.const

"append"

append this option’s argument to a list

"count"

increment a counter by one

"callback"

call a specified function

These are covered in section Reference Guide, and section Option Callbacks.

Default values

All of the above examples involve setting some variable (the “destination”) when certain command-line options are seen. What happens if those options are never seen? Since we didn’t supply any defaults, they are all set to None. This is usually fine, but sometimes you want more control. optparse lets you supply a default value for each destination, which is assigned before the command line is parsed.

First, consider the verbose/quiet example. If we want optparse to set verbose to True unless -q is seen, then we can do this:

parser.add_option("-v", action="store_true", dest="verbose", default=True)
parser.add_option("-q", action="store_false", dest="verbose")

Since default values apply to the destination rather than to any particular option, and these two options happen to have the same destination, this is exactly equivalent:

parser.add_option("-v", action="store_true", dest="verbose")
parser.add_option("-q", action="store_false", dest="verbose", default=True)

Consider this:

parser.add_option("-v", action="store_true", dest="verbose", default=False)
parser.add_option("-q", action="store_false", dest="verbose", default=True)

Again, the default value for verbose will be True: the last default value supplied for any particular destination is the one that counts.

A clearer way to specify default values is the set_defaults() method of OptionParser, which you can call at any time before calling parse_args():

parser.set_defaults(verbose=True)
parser.add_option(...)
(options, args) = parser.parse_args()

As before, the last value specified for a given option destination is the one that counts. For clarity, try to use one method or the other of setting default values, not both.

Generating help

optparse’s ability to generate help and usage text automatically is useful for creating user-friendly command-line interfaces. All you have to do is supply a help value for each option, and optionally a short usage message for your whole program. Here’s an OptionParser populated with user-friendly (documented) options:

usage = "usage: %prog [options] arg1 arg2"
parser = OptionParser(usage=usage)
parser.add_option("-v", "--verbose",
                  action="store_true", dest="verbose", default=True,
                  help="make lots of noise [default]")
parser.add_option("-q", "--quiet",
                  action="store_false", dest="verbose",
                  help="be vewwy quiet (I'm hunting wabbits)")
parser.add_option("-f", "--filename",
                  metavar="FILE", help="write output to FILE")
parser.add_option("-m", "--mode",
                  default="intermediate",
                  help="interaction mode: novice, intermediate, "
                       "or expert [default: %default]")

If optparse encounters either -h or --help on the command-line, or if you just call parser.print_help(), it prints the following to standard output:

Usage: <yourscript> [options] arg1 arg2

Options:
  -h, --help            show this help message and exit
  -v, --verbose         make lots of noise [default]
  -q, --quiet           be vewwy quiet (I'm hunting wabbits)
  -f FILE, --filename=FILE
                        write output to FILE
  -m MODE, --mode=MODE  interaction mode: novice, intermediate, or
                        expert [default: intermediate]

(If the help output is triggered by a help option, optparse exits after printing the help text.)

There’s a lot going on here to help optparse generate the best possible help message:

the script defines its own usage message:

usage = "usage: %prog [options] arg1 arg2"

optparse expands %prog in the usage string to the name of the current program, i.e. os.path.basename(sys.argv[0]). The expanded string is then printed before the detailed option help.

If you don’t supply a usage string, optparse uses a bland but sensible default: "Usage: %prog [options]", which is fine if your script doesn’t take any positional arguments.

every option defines a help string, and doesn’t worry about line-wrapping—optparse takes care of wrapping lines and making the help output look good.

options that take a value indicate this fact in their automatically generated help message, e.g. for the “mode” option:

-m MODE, --mode=MODE

Here, “MODE” is called the meta-variable: it stands for the argument that the user is expected to supply to -m/--mode. By default, optparse converts the destination variable name to uppercase and uses that for the meta-variable. Sometimes, that’s not what you want—for example, the --filename option explicitly sets metavar="FILE", resulting in this automatically generated option description:

-f FILE, --filename=FILE

This is important for more than just saving space, though: the manually written help text uses the meta-variable FILE to clue the user in that there’s a connection between the semi-formal syntax -f FILE and the informal semantic description “write output to FILE”. This is a simple but effective way to make your help text a lot clearer and more useful for end users.

options that have a default value can include %default in the help string—optparse will replace it with str() of the option’s default value. If an option has no default value (or the default value is None), %default expands to none.

Grouping Options

When dealing with many options, it is convenient to group these options for better help output. An OptionParser can contain several option groups, each of which can contain several options.

An option group is obtained using the class OptionGroup:

class optparse.OptionGroup(parser, title, description=None)

where

parser is the OptionParser instance the group will be inserted in to

title is the group title

description, optional, is a long description of the group

OptionGroup inherits from OptionContainer (like OptionParser) and so the add_option() method can be used to add an option to the group.

Once all the options are declared, using the OptionParser method add_option_group() the group is added to the previously defined parser.

Continuing with the parser defined in the previous section, adding an OptionGroup to a parser is easy:

group = OptionGroup(parser, "Dangerous Options",
                    "Caution: use these options at your own risk.  "
                    "It is believed that some of them bite.")
group.add_option("-g", action="store_true", help="Group option.")
parser.add_option_group(group)

This would result in the following help output:

Usage: <yourscript> [options] arg1 arg2

Options:
  -h, --help            show this help message and exit
  -v, --verbose         make lots of noise [default]
  -q, --quiet           be vewwy quiet (I'm hunting wabbits)
  -f FILE, --filename=FILE
                        write output to FILE
  -m MODE, --mode=MODE  interaction mode: novice, intermediate, or
                        expert [default: intermediate]

  Dangerous Options:
    Caution: use these options at your own risk.  It is believed that some
    of them bite.

    -g                  Group option.

A bit more complete example might involve using more than one group: still extending the previous example:

group = OptionGroup(parser, "Dangerous Options",
                    "Caution: use these options at your own risk.  "
                    "It is believed that some of them bite.")
group.add_option("-g", action="store_true", help="Group option.")
parser.add_option_group(group)

group = OptionGroup(parser, "Debug Options")
group.add_option("-d", "--debug", action="store_true",
                 help="Print debug information")
group.add_option("-s", "--sql", action="store_true",
                 help="Print all SQL statements executed")
group.add_option("-e", action="store_true", help="Print every action done")
parser.add_option_group(group)

that results in the following output:

Usage: <yourscript> [options] arg1 arg2

Options:
  -h, --help            show this help message and exit
  -v, --verbose         make lots of noise [default]
  -q, --quiet           be vewwy quiet (I'm hunting wabbits)
  -f FILE, --filename=FILE
                        write output to FILE
  -m MODE, --mode=MODE  interaction mode: novice, intermediate, or expert
                        [default: intermediate]

  Dangerous Options:
    Caution: use these options at your own risk.  It is believed that some
    of them bite.

    -g                  Group option.

  Debug Options:
    -d, --debug         Print debug information
    -s, --sql           Print all SQL statements executed
    -e                  Print every action done

Another interesting method, in particular when working programmatically with option groups is:

OptionParser.get_option_group(opt_str)

Return the OptionGroup to which the short or long option string opt_str (e.g. '-o' or '--option') belongs. If there’s no such OptionGroup, return None.

Printing a version string

Similar to the brief usage string, optparse can also print a version string for your program. You have to supply the string as the version argument to OptionParser:

parser = OptionParser(usage="%prog [-f] [-q]", version="%prog 1.0")

%prog is expanded just like it is in usage. Apart from that, version can contain anything you like. When you supply it, optparse automatically adds a --version option to your parser. If it encounters this option on the command line, it expands your version string (by replacing %prog), prints it to stdout, and exits.

For example, if your script is called /usr/bin/foo:

$ /usr/bin/foo --version
foo 1.0

The following two methods can be used to print and get the version string:

OptionParser.print_version(file=None)

Print the version message for the current program (self.version) to file (default stdout). As with print_usage(), any occurrence of %prog in self.version is replaced with the name of the current program. Does nothing if self.version is empty or undefined.

OptionParser.get_version()

Same as print_version() but returns the version string instead of printing it.

How optparse handles errors

There are two broad classes of errors that optparse has to worry about: programmer errors and user errors. Programmer errors are usually erroneous calls to OptionParser.add_option(), e.g. invalid option strings, unknown option attributes, missing option attributes, etc. These are dealt with in the usual way: raise an exception (either optparse.OptionError or TypeError) and let the program crash.

Handling user errors is much more important, since they are guaranteed to happen no matter how stable your code is. optparse can automatically detect some user errors, such as bad option arguments (passing -n 4x where -n takes an integer argument), missing arguments (-n at the end of the command line, where -n takes an argument of any type). Also, you can call OptionParser.error() to signal an application-defined error condition:

(options, args) = parser.parse_args()
...
if options.a and options.b:
    parser.error("options -a and -b are mutually exclusive")

In either case, optparse handles the error the same way: it prints the program’s usage message and an error message to standard error and exits with error status 2.

Consider the first example above, where the user passes 4x to an option that takes an integer:

$ /usr/bin/foo -n 4x
Usage: foo [options]

foo: error: option -n: invalid integer value: '4x'

Or, where the user fails to pass a value at all:

$ /usr/bin/foo -n
Usage: foo [options]

foo: error: -n option requires an argument

optparse-generated error messages take care always to mention the option involved in the error; be sure to do the same when calling OptionParser.error() from your application code.

If optparse’s default error-handling behaviour does not suit your needs, you’ll need to subclass OptionParser and override its exit() and/or error() methods.

Putting it all together

Here’s what optparse-based scripts usually look like:

from optparse import OptionParser
...
def main():
    usage = "usage: %prog [options] arg"
    parser = OptionParser(usage)
    parser.add_option("-f", "--file", dest="filename",
                      help="read data from FILENAME")
    parser.add_option("-v", "--verbose",
                      action="store_true", dest="verbose")
    parser.add_option("-q", "--quiet",
                      action="store_false", dest="verbose")
    ...
    (options, args) = parser.parse_args()
    if len(args) != 1:
        parser.error("incorrect number of arguments")
    if options.verbose:
        print("reading %s..." % options.filename)
    ...

if __name__ == "__main__":
    main()

Reference Guide

Creating the parser

The first step in using optparse is to create an OptionParser instance.

class optparse.OptionParser(...)

The OptionParser constructor has no required arguments, but a number of optional keyword arguments. You should always pass them as keyword arguments, i.e. do not rely on the order in which the arguments are declared.

usage (default: "%prog [options]")

The usage summary to print when your program is run incorrectly or with a help option. When optparse prints the usage string, it expands %prog to os.path.basename(sys.argv[0]) (or to prog if you passed that keyword argument). To suppress a usage message, pass the special value optparse.SUPPRESS_USAGE.

option_list (default: [])

A list of Option objects to populate the parser with. The options in option_list are added after any options in standard_option_list (a class attribute that may be set by OptionParser subclasses), but before any version or help options. Deprecated; use add_option() after creating the parser instead.

option_class (default: optparse.Option)

Class to use when adding options to the parser in add_option().

version (default: None)

A version string to print when the user supplies a version option. If you supply a true value for version, optparse automatically adds a version option with the single option string --version. The substring %prog is expanded the same as for usage.

conflict_handler (default: "error")

Specifies what to do when options with conflicting option strings are added to the parser; see section Conflicts between options.

description (default: None)

A paragraph of text giving a brief overview of your program. optparse reformats this paragraph to fit the current terminal width and prints it when the user requests help (after usage, but before the list of options).

formatter (default: a new IndentedHelpFormatter)

An instance of optparse.HelpFormatter that will be used for printing help text. optparse provides two concrete classes for this purpose: IndentedHelpFormatter and TitledHelpFormatter.

add_help_option (default: True)

If true, optparse will add a help option (with option strings -h and --help) to the parser.

prog

The string to use when expanding %prog in usage and version instead of os.path.basename(sys.argv[0]).

epilog (default: None)

A paragraph of help text to print after the option help.

Populating the parser

There are several ways to populate the parser with options. The preferred way is by using OptionParser.add_option(), as shown in section Tutorial. add_option() can be called in one of two ways:

pass it an Option instance (as returned by make_option())

pass it any combination of positional and keyword arguments that are acceptable to make_option() (i.e., to the Option constructor), and it will create the Option instance for you

The other alternative is to pass a list of pre-constructed Option instances to the OptionParser constructor, as in:

option_list = [
    make_option("-f", "--filename",
                action="store", type="string", dest="filename"),
    make_option("-q", "--quiet",
                action="store_false", dest="verbose"),
    ]
parser = OptionParser(option_list=option_list)

(make_option() is a factory function for creating Option instances; currently it is an alias for the Option constructor. A future version of optparse may split Option into several classes, and make_option() will pick the right class to instantiate. Do not instantiate Option directly.)

Defining options

Each Option instance represents a set of synonymous command-line option strings, e.g. -f and --file. You can specify any number of short or long option strings, but you must specify at least one overall option string.

The canonical way to create an Option instance is with the add_option() method of OptionParser.

OptionParser.add_option(option)

OptionParser.add_option(*opt_str, attr=value, ...)

To define an option with only a short option string:

parser.add_option("-f", attr=value, ...)

And to define an option with only a long option string:

parser.add_option("--foo", attr=value, ...)

The keyword arguments define attributes of the new Option object. The most important option attribute is action, and it largely determines which other attributes are relevant or required. If you pass irrelevant option attributes, or fail to pass required ones, optparse raises an OptionError exception explaining your mistake.

An option’s action determines what optparse does when it encounters this option on the command-line. The standard option actions hard-coded into optparse are:

"store"

store this option’s argument (default)

"store_const"

store a constant value, pre-set via Option.const

"store_true"

store True

"store_false"

store False

"append"

append this option’s argument to a list

"append_const"

append a constant value to a list, pre-set via Option.const

"count"

increment a counter by one

"callback"

call a specified function

"help"

print a usage message including all options and the documentation for them

(If you don’t supply an action, the default is "store". For this action, you may also supply type and dest option attributes; see Standard option actions.)

As you can see, most actions involve storing or updating a value somewhere. optparse always creates a special object for this, conventionally called options, which is an instance of optparse.Values.

class optparse.Values

An object holding parsed argument names and values as attributes. Normally created by calling when calling OptionParser.parse_args(), and can be overridden by a custom subclass passed to the values argument of OptionParser.parse_args() (as described in Análise de argumentos).

Option arguments (and various other values) are stored as attributes of this object, according to the dest (destination) option attribute.

For example, when you call

parser.parse_args()

one of the first things optparse does is create the options object:

options = Values()

If one of the options in this parser is defined with

parser.add_option("-f", "--file", action="store", type="string", dest="filename")

and the command-line being parsed includes any of the following:

-ffoo
-f foo
--file=foo
--file foo

then optparse, on seeing this option, will do the equivalent of

options.filename = "foo"

The type and dest option attributes are almost as important as action, but action is the only one that makes sense for all options.

Option attributes

class optparse.Option

A single command line argument, with various attributes passed by keyword to the constructor. Normally created with OptionParser.add_option() rather than directly, and can be overridden by a custom class via the option_class argument to OptionParser.

The following option attributes may be passed as keyword arguments to OptionParser.add_option(). If you pass an option attribute that is not relevant to a particular option, or fail to pass a required option attribute, optparse raises OptionError.

Option.action

(default: "store")

Determines optparse’s behaviour when this option is seen on the command line; the available options are documented here.

Option.type

(default: "string")

The argument type expected by this option (e.g., "string" or "int"); the available option types are documented here.

Option.dest

(default: derived from option strings)

If the option’s action implies writing or modifying a value somewhere, this tells optparse where to write it: dest names an attribute of the options object that optparse builds as it parses the command line.

Option.default

The value to use for this option’s destination if the option is not seen on the command line. See also OptionParser.set_defaults().

Option.nargs

(default: 1)

How many arguments of type type should be consumed when this option is seen. If > 1, optparse will store a tuple of values to dest.

Option.const

For actions that store a constant value, the constant value to store.

Option.choices

For options of type "choice", the list of strings the user may choose from.

Option.callback

For options with action "callback", the callable to call when this option is seen. See section Option Callbacks for detail on the arguments passed to the callable.

Option.callback_args

Option.callback_kwargs

Additional positional and keyword arguments to pass to callback after the four standard callback arguments.

Option.help

Help text to print for this option when listing all available options after the user supplies a help option (such as --help). If no help text is supplied, the option will be listed without help text. To hide this option, use the special value optparse.SUPPRESS_HELP.

Option.metavar

(default: derived from option strings)

Stand-in for the option argument(s) to use when printing help text. See section Tutorial for an example.

Standard option actions

The various option actions all have slightly different requirements and effects. Most actions have several relevant option attributes which you may specify to guide optparse’s behaviour; a few have required attributes, which you must specify for any option using that action.

"store" [relevant: type, dest, nargs, choices]

The option must be followed by an argument, which is converted to a value according to type and stored in dest. If nargs > 1, multiple arguments will be consumed from the command line; all will be converted according to type and stored to dest as a tuple. See the Standard option types section.

If choices is supplied (a list or tuple of strings), the type defaults to "choice".

If type is not supplied, it defaults to "string".

If dest is not supplied, optparse derives a destination from the first long option string (e.g., --foo-bar implies foo_bar). If there are no long option strings, optparse derives a destination from the first short option string (e.g., -f implies f).

Exemplo:

parser.add_option("-f")
parser.add_option("-p", type="float", nargs=3, dest="point")

As it parses the command line

-f foo.txt -p 1 -3.5 4 -fbar.txt

optparse will set

options.f = "foo.txt"
options.point = (1.0, -3.5, 4.0)
options.f = "bar.txt"

"store_const" [required: const; relevant: dest]

The value const is stored in dest.

Exemplo:

parser.add_option("-q", "--quiet",
                  action="store_const", const=0, dest="verbose")
parser.add_option("-v", "--verbose",
                  action="store_const", const=1, dest="verbose")
parser.add_option("--noisy",
                  action="store_const", const=2, dest="verbose")

If --noisy is seen, optparse will set

options.verbose = 2

"store_true" [relevant: dest]

A special case of "store_const" that stores True to dest.

"store_false" [relevant: dest]

Like "store_true", but stores False.

Exemplo:

parser.add_option("--clobber", action="store_true", dest="clobber")
parser.add_option("--no-clobber", action="store_false", dest="clobber")

"append" [relevant: type, dest, nargs, choices]

The option must be followed by an argument, which is appended to the list in dest. If no default value for dest is supplied, an empty list is automatically created when optparse first encounters this option on the command-line. If nargs > 1, multiple arguments are consumed, and a tuple of length nargs is appended to dest.

The defaults for type and dest are the same as for the "store" action.

Exemplo:

parser.add_option("-t", "--tracks", action="append", type="int")

If -t3 is seen on the command-line, optparse does the equivalent of:

options.tracks = []
options.tracks.append(int("3"))

If, a little later on, --tracks=4 is seen, it does:

options.tracks.append(int("4"))

The append action calls the append method on the current value of the option. This means that any default value specified must have an append method. It also means that if the default value is non-empty, the default elements will be present in the parsed value for the option, with any values from the command line appended after those default values:

>>> parser.add_option("--files", action="append", default=['~/.mypkg/defaults'])
>>> opts, args = parser.parse_args(['--files', 'overrides.mypkg'])
>>> opts.files
['~/.mypkg/defaults', 'overrides.mypkg']

"append_const" [required: const; relevant: dest]

Like "store_const", but the value const is appended to dest; as with "append", dest defaults to None, and an empty list is automatically created the first time the option is encountered.

"count" [relevant: dest]

Increment the integer stored at dest. If no default value is supplied, dest is set to zero before being incremented the first time.

Exemplo:

parser.add_option("-v", action="count", dest="verbosity")

The first time -v is seen on the command line, optparse does the equivalent of:

options.verbosity = 0
options.verbosity += 1

Every subsequent occurrence of -v results in

options.verbosity += 1

"callback" [required: callback; relevant: type, nargs, callback_args, callback_kwargs]

Call the function specified by callback, which is called as

func(option, opt_str, value, parser, *args, **kwargs)

See section Option Callbacks for more detail.

"help"

Prints a complete help message for all the options in the current option parser. The help message is constructed from the usage string passed to OptionParser’s constructor and the help string passed to every option.

If no help string is supplied for an option, it will still be listed in the help message. To omit an option entirely, use the special value optparse.SUPPRESS_HELP.

optparse automatically adds a help option to all OptionParsers, so you do not normally need to create one.

Exemplo:

from optparse import OptionParser, SUPPRESS_HELP

# usually, a help option is added automatically, but that can
# be suppressed using the add_help_option argument
parser = OptionParser(add_help_option=False)

parser.add_option("-h", "--help", action="help")
parser.add_option("-v", action="store_true", dest="verbose",
                  help="Be moderately verbose")
parser.add_option("--file", dest="filename",
                  help="Input file to read data from")
parser.add_option("--secret", help=SUPPRESS_HELP)

If optparse sees either -h or --help on the command line, it will print something like the following help message to stdout (assuming sys.argv[0] is "foo.py"):

Usage: foo.py [options]

Options:
  -h, --help        Show this help message and exit
  -v                Be moderately verbose
  --file=FILENAME   Input file to read data from

After printing the help message, optparse terminates your process with sys.exit(0).

"version"

Prints the version number supplied to the OptionParser to stdout and exits. The version number is actually formatted and printed by the print_version() method of OptionParser. Generally only relevant if the version argument is supplied to the OptionParser constructor. As with help options, you will rarely create version options, since optparse automatically adds them when needed.

Standard option types

optparse has five built-in option types: "string", "int", "choice", "float" and "complex". If you need to add new option types, see section Extending optparse.

Arguments to string options are not checked or converted in any way: the text on the command line is stored in the destination (or passed to the callback) as-is.

Integer arguments (type "int") are parsed as follows:

if the number starts with 0x, it is parsed as a hexadecimal number

if the number starts with 0, it is parsed as an octal number

if the number starts with 0b, it is parsed as a binary number

otherwise, the number is parsed as a decimal number

The conversion is done by calling int() with the appropriate base (2, 8, 10, or 16). If this fails, so will optparse, although with a more useful error message.

"float" and "complex" option arguments are converted directly with float() and complex(), with similar error-handling.

"choice" options are a subtype of "string" options. The choices option attribute (a sequence of strings) defines the set of allowed option arguments. optparse.check_choice() compares user-supplied option arguments against this master list and raises OptionValueError if an invalid string is given.

Análise de argumentos

The whole point of creating and populating an OptionParser is to call its parse_args() method.

OptionParser.parse_args(args=None, values=None)

Parse the command-line options found in args.

The input parameters are

args

the list of arguments to process (default: sys.argv[1:])

values

a Values object to store option arguments in (default: a new instance of Values) – if you give an existing object, the option defaults will not be initialized on it

and the return value is a pair (options, args) where

options

the same object that was passed in as values, or the optparse.Values instance created by optparse

args

the leftover positional arguments after all options have been processed

The most common usage is to supply neither keyword argument. If you supply values, it will be modified with repeated setattr() calls (roughly one for every option argument stored to an option destination) and returned by parse_args().

If parse_args() encounters any errors in the argument list, it calls the OptionParser’s error() method with an appropriate end-user error message. This ultimately terminates your process with an exit status of 2 (the traditional Unix exit status for command-line errors).

Querying and manipulating your option parser

The default behavior of the option parser can be customized slightly, and you can also poke around your option parser and see what’s there. OptionParser provides several methods to help you out:

OptionParser.disable_interspersed_args()

Set parsing to stop on the first non-option. For example, if -a and -b are both simple options that take no arguments, optparse normally accepts this syntax:

prog -a arg1 -b arg2

and treats it as equivalent to

prog -a -b arg1 arg2

To disable this feature, call disable_interspersed_args(). This restores traditional Unix syntax, where option parsing stops with the first non-option argument.

Use this if you have a command processor which runs another command which has options of its own and you want to make sure these options don’t get confused. For example, each command might have a different set of options.

OptionParser.enable_interspersed_args()

Set parsing to not stop on the first non-option, allowing interspersing switches with command arguments. This is the default behavior.

OptionParser.get_option(opt_str)

Returns the Option instance with the option string opt_str, or None if no options have that option string.

OptionParser.has_option(opt_str)

Return True if the OptionParser has an option with option string opt_str (e.g., -q or --verbose).

OptionParser.remove_option(opt_str)

If the OptionParser has an option corresponding to opt_str, that option is removed. If that option provided any other option strings, all of those option strings become invalid. If opt_str does not occur in any option belonging to this OptionParser, raises ValueError.

Conflicts between options

If you’re not careful, it’s easy to define options with conflicting option strings:

parser.add_option("-n", "--dry-run", ...)
...
parser.add_option("-n", "--noisy", ...)

(This is particularly true if you’ve defined your own OptionParser subclass with some standard options.)

Every time you add an option, optparse checks for conflicts with existing options. If it finds any, it invokes the current conflict-handling mechanism. You can set the conflict-handling mechanism either in the constructor:

parser = OptionParser(..., conflict_handler=handler)

or with a separate call:

parser.set_conflict_handler(handler)

The available conflict handlers are:

"error" (default)

assume option conflicts are a programming error and raise OptionConflictError

"resolve"

resolve option conflicts intelligently (see below)

As an example, let’s define an OptionParser that resolves conflicts intelligently and add conflicting options to it:

parser = OptionParser(conflict_handler="resolve")
parser.add_option("-n", "--dry-run", ..., help="do no harm")
parser.add_option("-n", "--noisy", ..., help="be noisy")

At this point, optparse detects that a previously added option is already using the -n option string. Since conflict_handler is "resolve", it resolves the situation by removing -n from the earlier option’s list of option strings. Now --dry-run is the only way for the user to activate that option. If the user asks for help, the help message will reflect that:

Options:
  --dry-run     do no harm
  ...
  -n, --noisy   be noisy

It’s possible to whittle away the option strings for a previously added option until there are none left, and the user has no way of invoking that option from the command-line. In that case, optparse removes that option completely, so it doesn’t show up in help text or anywhere else. Carrying on with our existing OptionParser:

parser.add_option("--dry-run", ..., help="new dry-run option")

At this point, the original -n/--dry-run option is no longer accessible, so optparse removes it, leaving this help text:

Options:
  ...
  -n, --noisy   be noisy
  --dry-run     new dry-run option

Cleanup

OptionParser instances have several cyclic references. This should not be a problem for Python’s garbage collector, but you may wish to break the cyclic references explicitly by calling destroy() on your OptionParser once you are done with it. This is particularly useful in long-running applications where large object graphs are reachable from your OptionParser.

Other methods

OptionParser supports several other public methods:

OptionParser.set_usage(usage)

Set the usage string according to the rules described above for the usage constructor keyword argument. Passing None sets the default usage string; use optparse.SUPPRESS_USAGE to suppress a usage message.

OptionParser.print_usage(file=None)

Print the usage message for the current program (self.usage) to file (default stdout). Any occurrence of the string %prog in self.usage is replaced with the name of the current program. Does nothing if self.usage is empty or not defined.

OptionParser.get_usage()

Same as print_usage() but returns the usage string instead of printing it.

OptionParser.set_defaults(dest=value, ...)

Set default values for several option destinations at once. Using set_defaults() is the preferred way to set default values for options, since multiple options can share the same destination. For example, if several “mode” options all set the same destination, any one of them can set the default, and the last one wins:

parser.add_option("--advanced", action="store_const",
                  dest="mode", const="advanced",
                  default="novice")    # overridden below
parser.add_option("--novice", action="store_const",
                  dest="mode", const="novice",
                  default="advanced")  # overrides above setting

To avoid this confusion, use set_defaults():

parser.set_defaults(mode="advanced")
parser.add_option("--advanced", action="store_const",
                  dest="mode", const="advanced")
parser.add_option("--novice", action="store_const",
                  dest="mode", const="novice")

Option Callbacks

When optparse’s built-in actions and types aren’t quite enough for your needs, you have two choices: extend optparse or define a callback option. Extending optparse is more general, but overkill for a lot of simple cases. Quite often a simple callback is all you need.

There are two steps to defining a callback option:

define the option itself using the "callback" action

write the callback; this is a function (or method) that takes at least four arguments, as described below

Defining a callback option

As always, the easiest way to define a callback option is by using the OptionParser.add_option() method. Apart from action, the only option attribute you must specify is callback, the function to call:

parser.add_option("-c", action="callback", callback=my_callback)

callback is a function (or other callable object), so you must have already defined my_callback() when you create this callback option. In this simple case, optparse doesn’t even know if -c takes any arguments, which usually means that the option takes no arguments—the mere presence of -c on the command-line is all it needs to know. In some circumstances, though, you might want your callback to consume an arbitrary number of command-line arguments. This is where writing callbacks gets tricky; it’s covered later in this section.

optparse always passes four particular arguments to your callback, and it will only pass additional arguments if you specify them via callback_args and callback_kwargs. Thus, the minimal callback function signature is:

def my_callback(option, opt, value, parser):

The four arguments to a callback are described below.

There are several other option attributes that you can supply when you define a callback option:

type

has its usual meaning: as with the "store" or "append" actions, it instructs optparse to consume one argument and convert it to type. Rather than storing the converted value(s) anywhere, though, optparse passes it to your callback function.

nargs

also has its usual meaning: if it is supplied and > 1, optparse will consume nargs arguments, each of which must be convertible to type. It then passes a tuple of converted values to your callback.

callback_args

a tuple of extra positional arguments to pass to the callback

callback_kwargs

a dictionary of extra keyword arguments to pass to the callback

How callbacks are called

All callbacks are called as follows:

func(option, opt_str, value, parser, *args, **kwargs)

where

option

is the Option instance that’s calling the callback

opt_str

is the option string seen on the command-line that’s triggering the callback. (If an abbreviated long option was used, opt_str will be the full, canonical option string—e.g. if the user puts --foo on the command-line as an abbreviation for --foobar, then opt_str will be "--foobar".)

value

is the argument to this option seen on the command-line. optparse will only expect an argument if type is set; the type of value will be the type implied by the option’s type. If type for this option is None (no argument expected), then value will be None. If nargs > 1, value will be a tuple of values of the appropriate type.

parser

is the OptionParser instance driving the whole thing, mainly useful because you can access some other interesting data through its instance attributes:

parser.largs

the current list of leftover arguments, ie. arguments that have been consumed but are neither options nor option arguments. Feel free to modify parser.largs, e.g. by adding more arguments to it. (This list will become args, the second return value of parse_args().)

parser.rargs

the current list of remaining arguments, ie. with opt_str and value (if applicable) removed, and only the arguments following them still there. Feel free to modify parser.rargs, e.g. by consuming more arguments.

parser.values

the object where option values are by default stored (an instance of optparse.OptionValues). This lets callbacks use the same mechanism as the rest of optparse for storing option values; you don’t need to mess around with globals or closures. You can also access or modify the value(s) of any options already encountered on the command-line.

args

is a tuple of arbitrary positional arguments supplied via the callback_args option attribute.

kwargs

is a dictionary of arbitrary keyword arguments supplied via callback_kwargs.

Raising errors in a callback

The callback function should raise OptionValueError if there are any problems with the option or its argument(s). optparse catches this and terminates the program, printing the error message you supply to stderr. Your message should be clear, concise, accurate, and mention the option at fault. Otherwise, the user will have a hard time figuring out what they did wrong.

Callback example 1: trivial callback

Here’s an example of a callback option that takes no arguments, and simply records that the option was seen:

def record_foo_seen(option, opt_str, value, parser):
    parser.values.saw_foo = True

parser.add_option("--foo", action="callback", callback=record_foo_seen)

Of course, you could do that with the "store_true" action.

Callback example 2: check option order

Here’s a slightly more interesting example: record the fact that -a is seen, but blow up if it comes after -b in the command-line.

def check_order(option, opt_str, value, parser):
    if parser.values.b:
        raise OptionValueError("can't use -a after -b")
    parser.values.a = 1
...
parser.add_option("-a", action="callback", callback=check_order)
parser.add_option("-b", action="store_true", dest="b")

Callback example 3: check option order (generalized)

If you want to reuse this callback for several similar options (set a flag, but blow up if -b has already been seen), it needs a bit of work: the error message and the flag that it sets must be generalized.

def check_order(option, opt_str, value, parser):
    if parser.values.b:
        raise OptionValueError("can't use %s after -b" % opt_str)
    setattr(parser.values, option.dest, 1)
...
parser.add_option("-a", action="callback", callback=check_order, dest='a')
parser.add_option("-b", action="store_true", dest="b")
parser.add_option("-c", action="callback", callback=check_order, dest='c')

Callback example 4: check arbitrary condition

Of course, you could put any condition in there—you’re not limited to checking the values of already-defined options. For example, if you have options that should not be called when the moon is full, all you have to do is this:

def check_moon(option, opt_str, value, parser):
    if is_moon_full():
        raise OptionValueError("%s option invalid when moon is full"
                               % opt_str)
    setattr(parser.values, option.dest, 1)
...
parser.add_option("--foo",
                  action="callback", callback=check_moon, dest="foo")

(The definition of is_moon_full() is left as an exercise for the reader.)

Callback example 5: fixed arguments

Things get slightly more interesting when you define callback options that take a fixed number of arguments. Specifying that a callback option takes arguments is similar to defining a "store" or "append" option: if you define type, then the option takes one argument that must be convertible to that type; if you further define nargs, then the option takes nargs arguments.

Here’s an example that just emulates the standard "store" action:

def store_value(option, opt_str, value, parser):
    setattr(parser.values, option.dest, value)
...
parser.add_option("--foo",
                  action="callback", callback=store_value,
                  type="int", nargs=3, dest="foo")

Note that optparse takes care of consuming 3 arguments and converting them to integers for you; all you have to do is store them. (Or whatever; obviously you don’t need a callback for this example.)

Callback example 6: variable arguments

Things get hairy when you want an option to take a variable number of arguments. For this case, you must write a callback, as optparse doesn’t provide any built-in capabilities for it. And you have to deal with certain intricacies of conventional Unix command-line parsing that optparse normally handles for you. In particular, callbacks should implement the conventional rules for bare -- and - arguments:

either -- or - can be option arguments

bare -- (if not the argument to some option): halt command-line processing and discard the --

bare - (if not the argument to some option): halt command-line processing but keep the - (append it to parser.largs)

If you want an option that takes a variable number of arguments, there are several subtle, tricky issues to worry about. The exact implementation you choose will be based on which trade-offs you’re willing to make for your application (which is why optparse doesn’t support this sort of thing directly).

Nevertheless, here’s a stab at a callback for an option with variable arguments:

def vararg_callback(option, opt_str, value, parser):
    assert value is None
    value = []

    def floatable(str):
        try:
            float(str)
            return True
        except ValueError:
            return False

    for arg in parser.rargs:
        # stop on --foo like options
        if arg[:2] == "--" and len(arg) > 2:
            break
        # stop on -a, but not on -3 or -3.0
        if arg[:1] == "-" and len(arg) > 1 and not floatable(arg):
            break
        value.append(arg)

    del parser.rargs[:len(value)]
    setattr(parser.values, option.dest, value)

...
parser.add_option("-c", "--callback", dest="vararg_attr",
                  action="callback", callback=vararg_callback)

Extending optparse

Since the two major controlling factors in how optparse interprets command-line options are the action and type of each option, the most likely direction of extension is to add new actions and new types.

Adding new types

To add new types, you need to define your own subclass of optparse’s Option class. This class has a couple of attributes that define optparse’s types: TYPES and TYPE_CHECKER.

Option.TYPES

A tuple of type names; in your subclass, simply define a new tuple TYPES that builds on the standard one.

Option.TYPE_CHECKER

A dictionary mapping type names to type-checking functions. A type-checking function has the following signature:

def check_mytype(option, opt, value)

where option is an Option instance, opt is an option string (e.g., -f), and value is the string from the command line that must be checked and converted to your desired type. check_mytype() should return an object of the hypothetical type mytype. The value returned by a type-checking function will wind up in the OptionValues instance returned by OptionParser.parse_args(), or be passed to a callback as the value parameter.

Your type-checking function should raise OptionValueError if it encounters any problems. OptionValueError takes a single string argument, which is passed as-is to OptionParser’s error() method, which in turn prepends the program name and the string "error:" and prints everything to stderr before terminating the process.

Here’s a silly example that demonstrates adding a "complex" option type to parse Python-style complex numbers on the command line. (This is even sillier than it used to be, because optparse 1.3 added built-in support for complex numbers, but never mind.)

First, the necessary imports:

from copy import copy
from optparse import Option, OptionValueError

You need to define your type-checker first, since it’s referred to later (in the TYPE_CHECKER class attribute of your Option subclass):

def check_complex(option, opt, value):
    try:
        return complex(value)
    except ValueError:
        raise OptionValueError(
            "option %s: invalid complex value: %r" % (opt, value))

Finally, the Option subclass:

class MyOption (Option):
    TYPES = Option.TYPES + ("complex",)
    TYPE_CHECKER = copy(Option.TYPE_CHECKER)
    TYPE_CHECKER["complex"] = check_complex

(If we didn’t make a copy() of Option.TYPE_CHECKER, we would end up modifying the TYPE_CHECKER attribute of optparse’s Option class. This being Python, nothing stops you from doing that except good manners and common sense.)

That’s it! Now you can write a script that uses the new option type just like any other optparse-based script, except you have to instruct your OptionParser to use MyOption instead of Option:

parser = OptionParser(option_class=MyOption)
parser.add_option("-c", type="complex")

Alternately, you can build your own option list and pass it to OptionParser; if you don’t use add_option() in the above way, you don’t need to tell OptionParser which option class to use:

option_list = [MyOption("-c", action="store", type="complex", dest="c")]
parser = OptionParser(option_list=option_list)

Adding new actions

Adding new actions is a bit trickier, because you have to understand that optparse has a couple of classifications for actions:

“store” actions

actions that result in optparse storing a value to an attribute of the current OptionValues instance; these options require a dest attribute to be supplied to the Option constructor.

“typed” actions

actions that take a value from the command line and expect it to be of a certain type; or rather, a string that can be converted to a certain type. These options require a type attribute to the Option constructor.

These are overlapping sets: some default “store” actions are "store", "store_const", "append", and "count", while the default “typed” actions are "store", "append", and "callback".

When you add an action, you need to categorize it by listing it in at least one of the following class attributes of Option (all are lists of strings):

Option.ACTIONS

All actions must be listed in ACTIONS.

Option.STORE_ACTIONS

“store” actions are additionally listed here.

Option.TYPED_ACTIONS

“typed” actions are additionally listed here.

Option.ALWAYS_TYPED_ACTIONS

Actions that always take a type (i.e. whose options always take a value) are additionally listed here. The only effect of this is that optparse assigns the default type, "string", to options with no explicit type whose action is listed in ALWAYS_TYPED_ACTIONS.

In order to actually implement your new action, you must override Option’s take_action() method and add a case that recognizes your action.

For example, let’s add an "extend" action. This is similar to the standard "append" action, but instead of taking a single value from the command-line and appending it to an existing list, "extend" will take multiple values in a single comma-delimited string, and extend an existing list with them. That is, if --names is an "extend" option of type "string", the command line

--names=foo,bar --names blah --names ding,dong

would result in a list

["foo", "bar", "blah", "ding", "dong"]

Again we define a subclass of Option:

class MyOption(Option):

    ACTIONS = Option.ACTIONS + ("extend",)
    STORE_ACTIONS = Option.STORE_ACTIONS + ("extend",)
    TYPED_ACTIONS = Option.TYPED_ACTIONS + ("extend",)
    ALWAYS_TYPED_ACTIONS = Option.ALWAYS_TYPED_ACTIONS + ("extend",)

    def take_action(self, action, dest, opt, value, values, parser):
        if action == "extend":
            lvalue = value.split(",")
            values.ensure_value(dest, []).extend(lvalue)
        else:
            Option.take_action(
                self, action, dest, opt, value, values, parser)

Features of note:

"extend" both expects a value on the command-line and stores that value somewhere, so it goes in both STORE_ACTIONS and TYPED_ACTIONS.

to ensure that optparse assigns the default type of "string" to "extend" actions, we put the "extend" action in ALWAYS_TYPED_ACTIONS as well.

MyOption.take_action() implements just this one new action, and passes control back to Option.take_action() for the standard optparse actions.

values is an instance of the optparse_parser.Values class, which provides the very useful ensure_value() method. ensure_value() is essentially getattr() with a safety valve; it is called as

values.ensure_value(attr, value)

If the attr attribute of values doesn’t exist or is None, then ensure_value() first sets it to value, and then returns value. This is very handy for actions like "extend", "append", and "count", all of which accumulate data in a variable and expect that variable to be of a certain type (a list for the first two, an integer for the latter). Using ensure_value() means that scripts using your action don’t have to worry about setting a default value for the option destinations in question; they can just leave the default as None and ensure_value() will take care of getting it right when it’s needed.

Exceções

exception optparse.OptionError

Raised if an Option instance is created with invalid or inconsistent arguments.

exception optparse.OptionConflictError

Raised if conflicting options are added to an OptionParser.

exception optparse.OptionValueError

Raised if an invalid option value is encountered on the command line.

exception optparse.BadOptionError

Raised if an invalid option is passed on the command line.

exception optparse.AmbiguousOptionError

Raised if an ambiguous option is passed on the command line.

Considerações de segurança

Os módulos a seguir têm considerações de segurança específicas:

base64: considerações de segurança do base64 na RFC 4648 [https://datatracker.ietf.org/doc/html/rfc4648.html]

hashlib: todos os construtores usam um argumento somente-nomeado “usedforsecurity”, desativando algoritmos conhecidos não seguros e bloqueados

http.server não é adequado para uso em produção, implementando apenas verificações básicas de segurança. Veja as considerações de segurança.

logging: configuração do Logging usa eval()

multiprocessing: Connection.recv() usa pickle

pickle: Restringindo globais no pickle

random não deve ser usado para o propósito de segurança. Em vez disso, use secrets

shelve: shelve é baseado no pickle e, portanto, inadequado para lidar com fontes não confiáveis

ssl: Considerações de segurança de SSL/TLS

subprocess: Considerações de segurança de Subprocess

tempfile: mktemp foi descontinuado em razão de vulnerabilidade de condições de corrida

xml: Vulnerabilidades no XML

zipfile: Arquivos .zip preparados de forma maliciosa podem causar esgotamento do volume do disco

A opção de linha de comando -I pode ser usada para executar o Python no modo isolado. Quando não pode ser usado, a opção -P ou a variável de ambiente PYTHONSAFEPATH pode ser usada para não preceder um caminho potencialmente inseguro para sys.path como o diretório atual, o diretório do script ou uma string vazia.

Estendendo e Incorporando o Interpretador Python

Neste documento descreveremos o desenvolvimento de módulos com C ou C++ para adicionar recursos ao interpretador Python criando novos módulos. Esses módulos podem não somente definir novas funções, mas também novos tipos de objetos e seu conjunto de métodos. O documento também descreve como incorporar o interpretador Python em outro aplicativo, de forma a utilizá-lo como sendo um idiota estendido. Por fim, estudaremos como podemos compilar e fazer a vinculação dos módulos de extensão para que estes possam ser carregados dinamicamente (em tempo de execução) pelo interpretador, caso o sistema operacional subjacente suportar esse recurso.

Este documento pressupõe conhecimentos básicos sobre Python. Para uma introdução informal à linguagem, consulte O tutorial de Python. A Referência da Linguagem Python fornece uma definição mais formal da linguagem. A Biblioteca Padrão do Python documenta os tipos, funções e módulos de objetos existentes (embutidos e escritos em Python) que dão à linguagem sua ampla gama de aplicações.

Para uma descrição detalhada de toda a API Python/C, consulte o Manual de referência da API Python/C separado.

Ferramentas de terceiros recomendadas

Esse guia cobre apenas as ferramentas básicas para a criação de extensões fornecidas como parte desta versão do CPython. Ferramentas de terceiros como Cython [https://cython.org/], cffi [https://cffi.readthedocs.io], SWIG [https://www.swig.org] e Numba [https://numba.pydata.org/] oferecem abordagens mais simples e sofisticadas para criar extensões C e C++ para Python.

Ver também

Guia do Usuário de Empacotamento do Python: Extensões Binárias [https://packaging.python.org/guides/packaging-binary-extensions/]

O Guia do Usuário de Empacotamento do Python não abrange apenas várias ferramentas disponíveis que simplificam a criação de extensões binárias, mas também discute os vários motivos pelos quais a criação de um módulo de extensão pode ser desejável em primeiro lugar.

Criando extensões sem ferramentas de terceiros

Esta seção do guia aborda a criação de extensões C e C++ sem assistência de ferramentas de terceiros. Destina-se principalmente aos criadores dessas ferramentas, em vez de ser uma maneira recomendada de criar suas próprias extensões C.

1. Estendendo Python com C ou C++

1.1. Um Exemplo Simples

1.2. Intermezzo: Errors and Exceptions

1.3. Back to the Example

1.4. The Module’s Method Table and Initialization Function

1.5. Compilation and Linkage

1.6. Calling Python Functions from C

1.7. Extracting Parameters in Extension Functions

1.8. Keyword Parameters for Extension Functions

1.9. Building Arbitrary Values

1.10. Contagens de referências

1.11. Writing Extensions in C++

1.12. Providing a C API for an Extension Module

2. Definindo Tipos de Extensão: Tutorial

2.1. O básico

2.2. Adicionando dados e métodos ao exemplo básico

2.3. Fornecendo controle mais preciso sobre atributos de dados

2.4. Apoiando a coleta de lixo cíclica

2.5. Criando subclasses de outros tipos

3. Defining Extension Types: Assorted Topics

3.1. Finalization and De-allocation

3.2. Object Presentation

3.3. Attribute Management

3.4. Object Comparison

3.5. Abstract Protocol Support

3.6. Weak Reference Support

3.7. More Suggestions

4. Construindo extensões C e C++

4.1. Construindo extensões C e C ++ com setuptools

5. Construindo Extensões C e C++ no Windows

5.1. Uma abordagem de livro de receitas

5.2. Diferenças entre o Unix e o Windows

5.3. Usando DLLs na prática

Incorporando o tempo de execução do CPython em uma aplicação maior

Às vezes, em vez de criar uma extensão que é executada dentro do interpretador Python como a aplicação principal, é desejável incorporar o tempo de execução do CPython em uma aplicação maior. Esta seção aborda alguns dos detalhes envolvidos para fazer isso com êxito.

1. Incorporando o Python numa Outra Aplicação

1.1. Very High Level Embedding

1.2. Beyond Very High Level Embedding: An overview

1.3. Pure Embedding

1.4. Extending Embedded Python

1.5. Embedding Python in C++

1.6. Compiling and Linking under Unix-like systems

1. Estendendo Python com C ou C++

É muito fácil adicionar novos módulos embutidos ao Python, se você souber programar em C. Você pode adicionar módulos de extensão para fazer duas coisas que não podem ser feitas diretamente no Python: eles podem implementar novos nos tipos de objetos embutidos e eles podem chamar funções da biblioteca C e chamadas do sistema.

Para dar suporte a extensões, a API do Python API (Application Programmers Interface) define um conjunto de funções, macros e variáveis que fornecem acesso à maior parte dos aspectos do sistema de tempo de execução do Python. A API do Python pode ser incorporada em um arquivo fonte em C com a inclusão do cabeçalho "Python.h".

A compilação de um módulo de extensão depende do uso pretendido e da configuração do sistema; detalhes serão dados nos próximos capítulos.

Nota

A interface de extensões em C é específica para o CPython, e módulos de extensão não funcionam em outras implementações do Python. Em muitos casos, é possível evitar a criação destas extensões em C e preservar a portabilidade para outras implementações. Por exemplo, se o seu caso de uso for o de fazer chamadas a funções em bibliotecas C ou chamadas de sistema, considere utilizar o módulo ctypes ou a biblioteca cffi [https://cffi.readthedocs.io/] ao invés de escrever código C personalizado. Esses módulos permitem escrever código Python que pode interoperar com código C e que é mais portável entre implementações do Python do que escrever e compilar um módulo de extensão em C.

1.1. Um Exemplo Simples

Vamos criar um módulo de extensão chamado spam (a comida favorita dos fãs de Monty Python…) e digamos que nosso objetivo seja criar uma interface em Python para a função da biblioteca C system() [1]. Essa função toma uma string de caracteres terminada em nulo como argumento e retorna um número inteiro. Queremos que essa função seja chamável a partir do Python como abaixo:

>>> import spam
>>> status = spam.system("ls -l")

Comece criando um arquivo chamado spammodule.c. (Historicamente, se um módulo for chamado spam, o arquivo C contendo sua implementação é chamado spammodule.c; se o nome do módulo for muito longo, como spammify, o nome do arquivo pode ser só spammify.c.)

As duas primeiras linhas do nosso arquivo podem ser:

#define PY_SSIZE_T_CLEAN
#include <Python.h>

o que carrega a API do Python (você pode adicionar um comentário descrevendo o propósito do módulo e uma nota de copyright, se desejar).

Nota

Uma vez que Python pode definir algumas definições de pré-processador que afetam os cabeçalhos padrão em alguns sistemas, você deve incluir Python.h antes de quaisquer cabeçalhos padrão serem incluídos.

#define PY_SSIZE_T_CLEAN was used to indicate that Py_ssize_t should be used in some APIs instead of int. It is not necessary since Python 3.13, but we keep it here for backward compatibility. See Strings e buffers for a description of this macro.

All user-visible symbols defined by Python.h have a prefix of Py or PY, except those defined in standard header files. For convenience, and since they are used extensively by the Python interpreter, "Python.h" includes a few standard header files: <stdio.h>, <string.h>, <errno.h>, and <stdlib.h>. If the latter header file does not exist on your system, it declares the functions malloc(), free() and realloc() directly.

The next thing we add to our module file is the C function that will be called when the Python expression spam.system(string) is evaluated (we’ll see shortly how it ends up being called):

static PyObject *
spam_system(PyObject *self, PyObject *args)
{
    const char *command;
    int sts;

    if (!PyArg_ParseTuple(args, "s", &command))
        return NULL;
    sts = system(command);
    return PyLong_FromLong(sts);
}

There is a straightforward translation from the argument list in Python (for example, the single expression "ls -l") to the arguments passed to the C function. The C function always has two arguments, conventionally named self and args.

The self argument points to the module object for module-level functions; for a method it would point to the object instance.

The args argument will be a pointer to a Python tuple object containing the arguments. Each item of the tuple corresponds to an argument in the call’s argument list. The arguments are Python objects — in order to do anything with them in our C function we have to convert them to C values. The function PyArg_ParseTuple() in the Python API checks the argument types and converts them to C values. It uses a template string to determine the required types of the arguments as well as the types of the C variables into which to store the converted values. More about this later.

PyArg_ParseTuple() returns true (nonzero) if all arguments have the right type and its components have been stored in the variables whose addresses are passed. It returns false (zero) if an invalid argument list was passed. In the latter case it also raises an appropriate exception so the calling function can return NULL immediately (as we saw in the example).

1.2. Intermezzo: Errors and Exceptions

An important convention throughout the Python interpreter is the following: when a function fails, it should set an exception condition and return an error value (usually -1 or a NULL pointer). Exception information is stored in three members of the interpreter’s thread state. These are NULL if there is no exception. Otherwise they are the C equivalents of the members of the Python tuple returned by sys.exc_info(). These are the exception type, exception instance, and a traceback object. It is important to know about them to understand how errors are passed around.

The Python API defines a number of functions to set various types of exceptions.

The most common one is PyErr_SetString(). Its arguments are an exception object and a C string. The exception object is usually a predefined object like PyExc_ZeroDivisionError. The C string indicates the cause of the error and is converted to a Python string object and stored as the “associated value” of the exception.

Another useful function is PyErr_SetFromErrno(), which only takes an exception argument and constructs the associated value by inspection of the global variable errno. The most general function is PyErr_SetObject(), which takes two object arguments, the exception and its associated value. You don’t need to Py_INCREF() the objects passed to any of these functions.

You can test non-destructively whether an exception has been set with PyErr_Occurred(). This returns the current exception object, or NULL if no exception has occurred. You normally don’t need to call PyErr_Occurred() to see whether an error occurred in a function call, since you should be able to tell from the return value.

When a function f that calls another function g detects that the latter fails, f should itself return an error value (usually NULL or -1). It should not call one of the PyErr_* functions — one has already been called by g. f’s caller is then supposed to also return an error indication to its caller, again without calling PyErr_*, and so on — the most detailed cause of the error was already reported by the function that first detected it. Once the error reaches the Python interpreter’s main loop, this aborts the currently executing Python code and tries to find an exception handler specified by the Python programmer.

(There are situations where a module can actually give a more detailed error message by calling another PyErr_* function, and in such cases it is fine to do so. As a general rule, however, this is not necessary, and can cause information about the cause of the error to be lost: most operations can fail for a variety of reasons.)

To ignore an exception set by a function call that failed, the exception condition must be cleared explicitly by calling PyErr_Clear(). The only time C code should call PyErr_Clear() is if it doesn’t want to pass the error on to the interpreter but wants to handle it completely by itself (possibly by trying something else, or pretending nothing went wrong).

Every failing malloc() call must be turned into an exception — the direct caller of malloc() (or realloc()) must call PyErr_NoMemory() and return a failure indicator itself. All the object-creating functions (for example, PyLong_FromLong()) already do this, so this note is only relevant to those who call malloc() directly.

Also note that, with the important exception of PyArg_ParseTuple() and friends, functions that return an integer status usually return a positive value or zero for success and -1 for failure, like Unix system calls.

Finally, be careful to clean up garbage (by making Py_XDECREF() or Py_DECREF() calls for objects you have already created) when you return an error indicator!

The choice of which exception to raise is entirely yours. There are predeclared C objects corresponding to all built-in Python exceptions, such as PyExc_ZeroDivisionError, which you can use directly. Of course, you should choose exceptions wisely — don’t use PyExc_TypeError to mean that a file couldn’t be opened (that should probably be PyExc_OSError). If something’s wrong with the argument list, the PyArg_ParseTuple() function usually raises PyExc_TypeError. If you have an argument whose value must be in a particular range or must satisfy other conditions, PyExc_ValueError is appropriate.

You can also define a new exception that is unique to your module. For this, you usually declare a static object variable at the beginning of your file:

static PyObject *SpamError;

and initialize it in your module’s initialization function (PyInit_spam()) with an exception object:

PyMODINIT_FUNC
PyInit_spam(void)
{
    PyObject *m;

    m = PyModule_Create(&spammodule);
    if (m == NULL)
        return NULL;

    SpamError = PyErr_NewException("spam.error", NULL, NULL);
    if (PyModule_AddObjectRef(m, "error", SpamError) < 0) {
        Py_CLEAR(SpamError);
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

Note that the Python name for the exception object is spam.error. The PyErr_NewException() function may create a class with the base class being Exception (unless another class is passed in instead of NULL), described in Exceções embutidas.

Note also that the SpamError variable retains a reference to the newly created exception class; this is intentional! Since the exception could be removed from the module by external code, an owned reference to the class is needed to ensure that it will not be discarded, causing SpamError to become a dangling pointer. Should it become a dangling pointer, C code which raises the exception could cause a core dump or other unintended side effects.

We discuss the use of PyMODINIT_FUNC as a function return type later in this sample.

The spam.error exception can be raised in your extension module using a call to PyErr_SetString() as shown below:

static PyObject *
spam_system(PyObject *self, PyObject *args)
{
    const char *command;
    int sts;

    if (!PyArg_ParseTuple(args, "s", &command))
        return NULL;
    sts = system(command);
    if (sts < 0) {
        PyErr_SetString(SpamError, "System command failed");
        return NULL;
    }
    return PyLong_FromLong(sts);
}

1.3. Back to the Example

Going back to our example function, you should now be able to understand this statement:

if (!PyArg_ParseTuple(args, "s", &command))
    return NULL;

It returns NULL (the error indicator for functions returning object pointers) if an error is detected in the argument list, relying on the exception set by PyArg_ParseTuple(). Otherwise the string value of the argument has been copied to the local variable command. This is a pointer assignment and you are not supposed to modify the string to which it points (so in Standard C, the variable command should properly be declared as const char *command).

The next statement is a call to the Unix function system(), passing it the string we just got from PyArg_ParseTuple():

sts = system(command);

Our spam.system() function must return the value of sts as a Python object. This is done using the function PyLong_FromLong().

return PyLong_FromLong(sts);

In this case, it will return an integer object. (Yes, even integers are objects on the heap in Python!)

If you have a C function that returns no useful argument (a function returning void), the corresponding Python function must return None. You need this idiom to do so (which is implemented by the Py_RETURN_NONE macro):

Py_INCREF(Py_None);
return Py_None;

Py_None is the C name for the special Python object None. It is a genuine Python object rather than a NULL pointer, which means “error” in most contexts, as we have seen.

1.4. The Module’s Method Table and Initialization Function

I promised to show how spam_system() is called from Python programs. First, we need to list its name and address in a “method table”:

static PyMethodDef SpamMethods[] = {
    ...
    {"system",  spam_system, METH_VARARGS,
     "Execute a shell command."},
    ...
    {NULL, NULL, 0, NULL}        /* Sentinel */
};

Note the third entry (METH_VARARGS). This is a flag telling the interpreter the calling convention to be used for the C function. It should normally always be METH_VARARGS or METH_VARARGS | METH_KEYWORDS; a value of 0 means that an obsolete variant of PyArg_ParseTuple() is used.

When using only METH_VARARGS, the function should expect the Python-level parameters to be passed in as a tuple acceptable for parsing via PyArg_ParseTuple(); more information on this function is provided below.

The METH_KEYWORDS bit may be set in the third field if keyword arguments should be passed to the function. In this case, the C function should accept a third PyObject * parameter which will be a dictionary of keywords. Use PyArg_ParseTupleAndKeywords() to parse the arguments to such a function.

The method table must be referenced in the module definition structure:

static struct PyModuleDef spammodule = {
    PyModuleDef_HEAD_INIT,
    "spam",   /* name of module */
    spam_doc, /* module documentation, may be NULL */
    -1,       /* size of per-interpreter state of the module,
                 or -1 if the module keeps state in global variables. */
    SpamMethods
};

This structure, in turn, must be passed to the interpreter in the module’s initialization function. The initialization function must be named PyInit_name(), where name is the name of the module, and should be the only non-static item defined in the module file:

PyMODINIT_FUNC
PyInit_spam(void)
{
    return PyModule_Create(&spammodule);
}

Note that PyMODINIT_FUNC declares the function as PyObject * return type, declares any special linkage declarations required by the platform, and for C++ declares the function as extern "C".

When the Python program imports module spam for the first time, PyInit_spam() is called. (See below for comments about embedding Python.) It calls PyModule_Create(), which returns a module object, and inserts built-in function objects into the newly created module based upon the table (an array of PyMethodDef structures) found in the module definition. PyModule_Create() returns a pointer to the module object that it creates. It may abort with a fatal error for certain errors, or return NULL if the module could not be initialized satisfactorily. The init function must return the module object to its caller, so that it then gets inserted into sys.modules.

When embedding Python, the PyInit_spam() function is not called automatically unless there’s an entry in the PyImport_Inittab table. To add the module to the initialization table, use PyImport_AppendInittab(), optionally followed by an import of the module:

#define PY_SSIZE_T_CLEAN
#include <Python.h>

int
main(int argc, char *argv[])
{
    PyStatus status;
    PyConfig config;
    PyConfig_InitPythonConfig(&config);

    /* Add a built-in module, before Py_Initialize */
    if (PyImport_AppendInittab("spam", PyInit_spam) == -1) {
        fprintf(stderr, "Error: could not extend in-built modules table\n");
        exit(1);
    }

    /* Pass argv[0] to the Python interpreter */
    status = PyConfig_SetBytesString(&config, &config.program_name, argv[0]);
    if (PyStatus_Exception(status)) {
        goto exception;
    }

    /* Initialize the Python interpreter.  Required.
       If this step fails, it will be a fatal error. */
    status = Py_InitializeFromConfig(&config);
    if (PyStatus_Exception(status)) {
        goto exception;
    }
    PyConfig_Clear(&config);

    /* Optionally import the module; alternatively,
       import can be deferred until the embedded script
       imports it. */
    PyObject *pmodule = PyImport_ImportModule("spam");
    if (!pmodule) {
        PyErr_Print();
        fprintf(stderr, "Error: could not import module 'spam'\n");
    }

    // ... use Python C API here ...

    return 0;

  exception:
     PyConfig_Clear(&config);
     Py_ExitStatusException(status);
}

Nota

Removing entries from sys.modules or importing compiled modules into multiple interpreters within a process (or following a fork() without an intervening exec()) can create problems for some extension modules. Extension module authors should exercise caution when initializing internal data structures.

A more substantial example module is included in the Python source distribution as Modules/xxmodule.c. This file may be used as a template or simply read as an example.

Nota

Unlike our spam example, xxmodule uses multi-phase initialization (new in Python 3.5), where a PyModuleDef structure is returned from PyInit_spam, and creation of the module is left to the import machinery. For details on multi-phase initialization, see PEP 489 [https://peps.python.org/pep-0489/].

1.5. Compilation and Linkage

There are two more things to do before you can use your new extension: compiling and linking it with the Python system. If you use dynamic loading, the details may depend on the style of dynamic loading your system uses; see the chapters about building extension modules (chapter Construindo extensões C e C++) and additional information that pertains only to building on Windows (chapter Construindo Extensões C e C++ no Windows) for more information about this.

If you can’t use dynamic loading, or if you want to make your module a permanent part of the Python interpreter, you will have to change the configuration setup and rebuild the interpreter. Luckily, this is very simple on Unix: just place your file (spammodule.c for example) in the Modules/ directory of an unpacked source distribution, add a line to the file Modules/Setup.local describing your file:

spam spammodule.o

and rebuild the interpreter by running make in the toplevel directory. You can also run make in the Modules/ subdirectory, but then you must first rebuild Makefile there by running ‘make Makefile’. (This is necessary each time you change the Setup file.)

If your module requires additional libraries to link with, these can be listed on the line in the configuration file as well, for instance:

spam spammodule.o -lX11

1.6. Calling Python Functions from C

So far we have concentrated on making C functions callable from Python. The reverse is also useful: calling Python functions from C. This is especially the case for libraries that support so-called “callback” functions. If a C interface makes use of callbacks, the equivalent Python often needs to provide a callback mechanism to the Python programmer; the implementation will require calling the Python callback functions from a C callback. Other uses are also imaginable.

Fortunately, the Python interpreter is easily called recursively, and there is a standard interface to call a Python function. (I won’t dwell on how to call the Python parser with a particular string as input — if you’re interested, have a look at the implementation of the -c command line option in Modules/main.c from the Python source code.)

Calling a Python function is easy. First, the Python program must somehow pass you the Python function object. You should provide a function (or some other interface) to do this. When this function is called, save a pointer to the Python function object (be careful to Py_INCREF() it!) in a global variable — or wherever you see fit. For example, the following function might be part of a module definition:

static PyObject *my_callback = NULL;

static PyObject *
my_set_callback(PyObject *dummy, PyObject *args)
{
    PyObject *result = NULL;
    PyObject *temp;

    if (PyArg_ParseTuple(args, "O:set_callback", &temp)) {
        if (!PyCallable_Check(temp)) {
            PyErr_SetString(PyExc_TypeError, "parameter must be callable");
            return NULL;
        }
        Py_XINCREF(temp);         /* Add a reference to new callback */
        Py_XDECREF(my_callback);  /* Dispose of previous callback */
        my_callback = temp;       /* Remember new callback */
        /* Boilerplate to return "None" */
        Py_INCREF(Py_None);
        result = Py_None;
    }
    return result;
}

This function must be registered with the interpreter using the METH_VARARGS flag; this is described in section The Module’s Method Table and Initialization Function. The PyArg_ParseTuple() function and its arguments are documented in section Extracting Parameters in Extension Functions.

The macros Py_XINCREF() and Py_XDECREF() increment/decrement the reference count of an object and are safe in the presence of NULL pointers (but note that temp will not be NULL in this context). More info on them in section Contagens de referências.

Later, when it is time to call the function, you call the C function PyObject_CallObject(). This function has two arguments, both pointers to arbitrary Python objects: the Python function, and the argument list. The argument list must always be a tuple object, whose length is the number of arguments. To call the Python function with no arguments, pass in NULL, or an empty tuple; to call it with one argument, pass a singleton tuple. Py_BuildValue() returns a tuple when its format string consists of zero or more format codes between parentheses. For example:

int arg;
PyObject *arglist;
PyObject *result;
...
arg = 123;
...
/* Time to call the callback */
arglist = Py_BuildValue("(i)", arg);
result = PyObject_CallObject(my_callback, arglist);
Py_DECREF(arglist);

PyObject_CallObject() returns a Python object pointer: this is the return value of the Python function. PyObject_CallObject() is “reference-count-neutral” with respect to its arguments. In the example a new tuple was created to serve as the argument list, which is Py_DECREF()-ed immediately after the PyObject_CallObject() call.

The return value of PyObject_CallObject() is “new”: either it is a brand new object, or it is an existing object whose reference count has been incremented. So, unless you want to save it in a global variable, you should somehow Py_DECREF() the result, even (especially!) if you are not interested in its value.

Before you do this, however, it is important to check that the return value isn’t NULL. If it is, the Python function terminated by raising an exception. If the C code that called PyObject_CallObject() is called from Python, it should now return an error indication to its Python caller, so the interpreter can print a stack trace, or the calling Python code can handle the exception. If this is not possible or desirable, the exception should be cleared by calling PyErr_Clear(). For example:

if (result == NULL)
    return NULL; /* Pass error back */
...use result...
Py_DECREF(result);

Depending on the desired interface to the Python callback function, you may also have to provide an argument list to PyObject_CallObject(). In some cases the argument list is also provided by the Python program, through the same interface that specified the callback function. It can then be saved and used in the same manner as the function object. In other cases, you may have to construct a new tuple to pass as the argument list. The simplest way to do this is to call Py_BuildValue(). For example, if you want to pass an integral event code, you might use the following code:

PyObject *arglist;
...
arglist = Py_BuildValue("(l)", eventcode);
result = PyObject_CallObject(my_callback, arglist);
Py_DECREF(arglist);
if (result == NULL)
    return NULL; /* Pass error back */
/* Here maybe use the result */
Py_DECREF(result);

Note the placement of Py_DECREF(arglist) immediately after the call, before the error check! Also note that strictly speaking this code is not complete: Py_BuildValue() may run out of memory, and this should be checked.

You may also call a function with keyword arguments by using PyObject_Call(), which supports arguments and keyword arguments. As in the above example, we use Py_BuildValue() to construct the dictionary.

PyObject *dict;
...
dict = Py_BuildValue("{s:i}", "name", val);
result = PyObject_Call(my_callback, NULL, dict);
Py_DECREF(dict);
if (result == NULL)
    return NULL; /* Pass error back */
/* Here maybe use the result */
Py_DECREF(result);

1.7. Extracting Parameters in Extension Functions

The PyArg_ParseTuple() function is declared as follows:

int PyArg_ParseTuple(PyObject *arg, const char *format, ...);

The arg argument must be a tuple object containing an argument list passed from Python to a C function. The format argument must be a format string, whose syntax is explained in Análise de argumentos e construção de valores in the Python/C API Reference Manual. The remaining arguments must be addresses of variables whose type is determined by the format string.

Note that while PyArg_ParseTuple() checks that the Python arguments have the required types, it cannot check the validity of the addresses of C variables passed to the call: if you make mistakes there, your code will probably crash or at least overwrite random bits in memory. So be careful!

Note que quaisquer referências a objeto Python que são fornecidas ao chamador são referências emprestadas; não decremente a contagem de referências delas!

Some example calls:

#define PY_SSIZE_T_CLEAN
#include <Python.h>

int ok;
int i, j;
long k, l;
const char *s;
Py_ssize_t size;

ok = PyArg_ParseTuple(args, ""); /* No arguments */
    /* Python call: f() */

ok = PyArg_ParseTuple(args, "s", &s); /* A string */
    /* Possible Python call: f('whoops!') */

ok = PyArg_ParseTuple(args, "lls", &k, &l, &s); /* Two longs and a string */
    /* Possible Python call: f(1, 2, 'three') */

ok = PyArg_ParseTuple(args, "(ii)s#", &i, &j, &s, &size);
    /* A pair of ints and a string, whose size is also returned */
    /* Possible Python call: f((1, 2), 'three') */

{
    const char *file;
    const char *mode = "r";
    int bufsize = 0;
    ok = PyArg_ParseTuple(args, "s|si", &file, &mode, &bufsize);
    /* A string, and optionally another string and an integer */
    /* Possible Python calls:
       f('spam')
       f('spam', 'w')
       f('spam', 'wb', 100000) */
}

{
    int left, top, right, bottom, h, v;
    ok = PyArg_ParseTuple(args, "((ii)(ii))(ii)",
             &left, &top, &right, &bottom, &h, &v);
    /* A rectangle and a point */
    /* Possible Python call:
       f(((0, 0), (400, 300)), (10, 10)) */
}

{
    Py_complex c;
    ok = PyArg_ParseTuple(args, "D:myfunction", &c);
    /* a complex, also providing a function name for errors */
    /* Possible Python call: myfunction(1+2j) */
}

1.8. Keyword Parameters for Extension Functions

The PyArg_ParseTupleAndKeywords() function is declared as follows:

int PyArg_ParseTupleAndKeywords(PyObject *arg, PyObject *kwdict,
                                const char *format, char * const *kwlist, ...);

The arg and format parameters are identical to those of the PyArg_ParseTuple() function. The kwdict parameter is the dictionary of keywords received as the third parameter from the Python runtime. The kwlist parameter is a NULL-terminated list of strings which identify the parameters; the names are matched with the type information from format from left to right. On success, PyArg_ParseTupleAndKeywords() returns true, otherwise it returns false and raises an appropriate exception.

Nota

Nested tuples cannot be parsed when using keyword arguments! Keyword parameters passed in which are not present in the kwlist will cause TypeError to be raised.

Here is an example module which uses keywords, based on an example by Geoff Philbrick (philbrick@hks.com):

#define PY_SSIZE_T_CLEAN
#include <Python.h>

static PyObject *
keywdarg_parrot(PyObject *self, PyObject *args, PyObject *keywds)
{
    int voltage;
    const char *state = "a stiff";
    const char *action = "voom";
    const char *type = "Norwegian Blue";

    static char *kwlist[] = {"voltage", "state", "action", "type", NULL};

    if (!PyArg_ParseTupleAndKeywords(args, keywds, "i|sss", kwlist,
                                     &voltage, &state, &action, &type))
        return NULL;

    printf("-- This parrot wouldn't %s if you put %i Volts through it.\n",
           action, voltage);
    printf("-- Lovely plumage, the %s -- It's %s!\n", type, state);

    Py_RETURN_NONE;
}

static PyMethodDef keywdarg_methods[] = {
    /* The cast of the function is necessary since PyCFunction values
     * only take two PyObject* parameters, and keywdarg_parrot() takes
     * three.
     */
    {"parrot", (PyCFunction)(void(*)(void))keywdarg_parrot, METH_VARARGS | METH_KEYWORDS,
     "Print a lovely skit to standard output."},
    {NULL, NULL, 0, NULL}   /* sentinel */
};

static struct PyModuleDef keywdargmodule = {
    PyModuleDef_HEAD_INIT,
    "keywdarg",
    NULL,
    -1,
    keywdarg_methods
};

PyMODINIT_FUNC
PyInit_keywdarg(void)
{
    return PyModule_Create(&keywdargmodule);
}

1.9. Building Arbitrary Values

This function is the counterpart to PyArg_ParseTuple(). It is declared as follows:

PyObject *Py_BuildValue(const char *format, ...);

It recognizes a set of format units similar to the ones recognized by PyArg_ParseTuple(), but the arguments (which are input to the function, not output) must not be pointers, just values. It returns a new Python object, suitable for returning from a C function called from Python.

One difference with PyArg_ParseTuple(): while the latter requires its first argument to be a tuple (since Python argument lists are always represented as tuples internally), Py_BuildValue() does not always build a tuple. It builds a tuple only if its format string contains two or more format units. If the format string is empty, it returns None; if it contains exactly one format unit, it returns whatever object is described by that format unit. To force it to return a tuple of size 0 or one, parenthesize the format string.

Examples (to the left the call, to the right the resulting Python value):

Py_BuildValue("")                        None
Py_BuildValue("i", 123)                  123
Py_BuildValue("iii", 123, 456, 789)      (123, 456, 789)
Py_BuildValue("s", "hello")              'hello'
Py_BuildValue("y", "hello")              b'hello'
Py_BuildValue("ss", "hello", "world")    ('hello', 'world')
Py_BuildValue("s#", "hello", 4)          'hell'
Py_BuildValue("y#", "hello", 4)          b'hell'
Py_BuildValue("()")                      ()
Py_BuildValue("(i)", 123)                (123,)
Py_BuildValue("(ii)", 123, 456)          (123, 456)
Py_BuildValue("(i,i)", 123, 456)         (123, 456)
Py_BuildValue("[i,i]", 123, 456)         [123, 456]
Py_BuildValue("{s:i,s:i}",
              "abc", 123, "def", 456)    {'abc': 123, 'def': 456}
Py_BuildValue("((ii)(ii)) (ii)",
              1, 2, 3, 4, 5, 6)          (((1, 2), (3, 4)), (5, 6))

1.10. Contagens de referências

In languages like C or C++, the programmer is responsible for dynamic allocation and deallocation of memory on the heap. In C, this is done using the functions malloc() and free(). In C++, the operators new and delete are used with essentially the same meaning and we’ll restrict the following discussion to the C case.

Every block of memory allocated with malloc() should eventually be returned to the pool of available memory by exactly one call to free(). It is important to call free() at the right time. If a block’s address is forgotten but free() is not called for it, the memory it occupies cannot be reused until the program terminates. This is called a memory leak. On the other hand, if a program calls free() for a block and then continues to use the block, it creates a conflict with reuse of the block through another malloc() call. This is called using freed memory. It has the same bad consequences as referencing uninitialized data — core dumps, wrong results, mysterious crashes.

Common causes of memory leaks are unusual paths through the code. For instance, a function may allocate a block of memory, do some calculation, and then free the block again. Now a change in the requirements for the function may add a test to the calculation that detects an error condition and can return prematurely from the function. It’s easy to forget to free the allocated memory block when taking this premature exit, especially when it is added later to the code. Such leaks, once introduced, often go undetected for a long time: the error exit is taken only in a small fraction of all calls, and most modern machines have plenty of virtual memory, so the leak only becomes apparent in a long-running process that uses the leaking function frequently. Therefore, it’s important to prevent leaks from happening by having a coding convention or strategy that minimizes this kind of errors.

Since Python makes heavy use of malloc() and free(), it needs a strategy to avoid memory leaks as well as the use of freed memory. The chosen method is called reference counting. The principle is simple: every object contains a counter, which is incremented when a reference to the object is stored somewhere, and which is decremented when a reference to it is deleted. When the counter reaches zero, the last reference to the object has been deleted and the object is freed.

An alternative strategy is called automatic garbage collection. (Sometimes, reference counting is also referred to as a garbage collection strategy, hence my use of “automatic” to distinguish the two.) The big advantage of automatic garbage collection is that the user doesn’t need to call free() explicitly. (Another claimed advantage is an improvement in speed or memory usage — this is no hard fact however.) The disadvantage is that for C, there is no truly portable automatic garbage collector, while reference counting can be implemented portably (as long as the functions malloc() and free() are available — which the C Standard guarantees). Maybe some day a sufficiently portable automatic garbage collector will be available for C. Until then, we’ll have to live with reference counts.

While Python uses the traditional reference counting implementation, it also offers a cycle detector that works to detect reference cycles. This allows applications to not worry about creating direct or indirect circular references; these are the weakness of garbage collection implemented using only reference counting. Reference cycles consist of objects which contain (possibly indirect) references to themselves, so that each object in the cycle has a reference count which is non-zero. Typical reference counting implementations are not able to reclaim the memory belonging to any objects in a reference cycle, or referenced from the objects in the cycle, even though there are no further references to the cycle itself.

The cycle detector is able to detect garbage cycles and can reclaim them. The gc module exposes a way to run the detector (the collect() function), as well as configuration interfaces and the ability to disable the detector at runtime.

1.10.1. Reference Counting in Python

There are two macros, Py_INCREF(x) and Py_DECREF(x), which handle the incrementing and decrementing of the reference count. Py_DECREF() also frees the object when the count reaches zero. For flexibility, it doesn’t call free() directly — rather, it makes a call through a function pointer in the object’s type object. For this purpose (and others), every object also contains a pointer to its type object.

The big question now remains: when to use Py_INCREF(x) and Py_DECREF(x)? Let’s first introduce some terms. Nobody “owns” an object; however, you can own a reference to an object. An object’s reference count is now defined as the number of owned references to it. The owner of a reference is responsible for calling Py_DECREF() when the reference is no longer needed. Ownership of a reference can be transferred. There are three ways to dispose of an owned reference: pass it on, store it, or call Py_DECREF(). Forgetting to dispose of an owned reference creates a memory leak.

It is also possible to borrow [2] a reference to an object. The borrower of a reference should not call Py_DECREF(). The borrower must not hold on to the object longer than the owner from which it was borrowed. Using a borrowed reference after the owner has disposed of it risks using freed memory and should be avoided completely [3].

The advantage of borrowing over owning a reference is that you don’t need to take care of disposing of the reference on all possible paths through the code — in other words, with a borrowed reference you don’t run the risk of leaking when a premature exit is taken. The disadvantage of borrowing over owning is that there are some subtle situations where in seemingly correct code a borrowed reference can be used after the owner from which it was borrowed has in fact disposed of it.

A borrowed reference can be changed into an owned reference by calling Py_INCREF(). This does not affect the status of the owner from which the reference was borrowed — it creates a new owned reference, and gives full owner responsibilities (the new owner must dispose of the reference properly, as well as the previous owner).

1.10.2. Ownership Rules

Whenever an object reference is passed into or out of a function, it is part of the function’s interface specification whether ownership is transferred with the reference or not.

Most functions that return a reference to an object pass on ownership with the reference. In particular, all functions whose function it is to create a new object, such as PyLong_FromLong() and Py_BuildValue(), pass ownership to the receiver. Even if the object is not actually new, you still receive ownership of a new reference to that object. For instance, PyLong_FromLong() maintains a cache of popular values and can return a reference to a cached item.

Many functions that extract objects from other objects also transfer ownership with the reference, for instance PyObject_GetAttrString(). The picture is less clear, here, however, since a few common routines are exceptions: PyTuple_GetItem(), PyList_GetItem(), PyDict_GetItem(), and PyDict_GetItemString() all return references that you borrow from the tuple, list or dictionary.

The function PyImport_AddModule() also returns a borrowed reference, even though it may actually create the object it returns: this is possible because an owned reference to the object is stored in sys.modules.

When you pass an object reference into another function, in general, the function borrows the reference from you — if it needs to store it, it will use Py_INCREF() to become an independent owner. There are exactly two important exceptions to this rule: PyTuple_SetItem() and PyList_SetItem(). These functions take over ownership of the item passed to them — even if they fail! (Note that PyDict_SetItem() and friends don’t take over ownership — they are “normal.”)

When a C function is called from Python, it borrows references to its arguments from the caller. The caller owns a reference to the object, so the borrowed reference’s lifetime is guaranteed until the function returns. Only when such a borrowed reference must be stored or passed on, it must be turned into an owned reference by calling Py_INCREF().

The object reference returned from a C function that is called from Python must be an owned reference — ownership is transferred from the function to its caller.

1.10.3. Thin Ice

There are a few situations where seemingly harmless use of a borrowed reference can lead to problems. These all have to do with implicit invocations of the interpreter, which can cause the owner of a reference to dispose of it.

The first and most important case to know about is using Py_DECREF() on an unrelated object while borrowing a reference to a list item. For instance:

void
bug(PyObject *list)
{
    PyObject *item = PyList_GetItem(list, 0);

    PyList_SetItem(list, 1, PyLong_FromLong(0L));
    PyObject_Print(item, stdout, 0); /* BUG! */
}

This function first borrows a reference to list[0], then replaces list[1] with the value 0, and finally prints the borrowed reference. Looks harmless, right? But it’s not!

Let’s follow the control flow into PyList_SetItem(). The list owns references to all its items, so when item 1 is replaced, it has to dispose of the original item 1. Now let’s suppose the original item 1 was an instance of a user-defined class, and let’s further suppose that the class defined a __del__() method. If this class instance has a reference count of 1, disposing of it will call its __del__() method.

Since it is written in Python, the __del__() method can execute arbitrary Python code. Could it perhaps do something to invalidate the reference to item in bug()? You bet! Assuming that the list passed into bug() is accessible to the __del__() method, it could execute a statement to the effect of del list[0], and assuming this was the last reference to that object, it would free the memory associated with it, thereby invalidating item.

The solution, once you know the source of the problem, is easy: temporarily increment the reference count. The correct version of the function reads:

void
no_bug(PyObject *list)
{
    PyObject *item = PyList_GetItem(list, 0);

    Py_INCREF(item);
    PyList_SetItem(list, 1, PyLong_FromLong(0L));
    PyObject_Print(item, stdout, 0);
    Py_DECREF(item);
}

This is a true story. An older version of Python contained variants of this bug and someone spent a considerable amount of time in a C debugger to figure out why his __del__() methods would fail…

The second case of problems with a borrowed reference is a variant involving threads. Normally, multiple threads in the Python interpreter can’t get in each other’s way, because there is a global lock protecting Python’s entire object space. However, it is possible to temporarily release this lock using the macro Py_BEGIN_ALLOW_THREADS, and to re-acquire it using Py_END_ALLOW_THREADS. This is common around blocking I/O calls, to let other threads use the processor while waiting for the I/O to complete. Obviously, the following function has the same problem as the previous one:

void
bug(PyObject *list)
{
    PyObject *item = PyList_GetItem(list, 0);
    Py_BEGIN_ALLOW_THREADS
    ...some blocking I/O call...
    Py_END_ALLOW_THREADS
    PyObject_Print(item, stdout, 0); /* BUG! */
}

1.10.4. NULL Pointers

In general, functions that take object references as arguments do not expect you to pass them NULL pointers, and will dump core (or cause later core dumps) if you do so. Functions that return object references generally return NULL only to indicate that an exception occurred. The reason for not testing for NULL arguments is that functions often pass the objects they receive on to other function — if each function were to test for NULL, there would be a lot of redundant tests and the code would run more slowly.

It is better to test for NULL only at the “source:” when a pointer that may be NULL is received, for example, from malloc() or from a function that may raise an exception.

The macros Py_INCREF() and Py_DECREF() do not check for NULL pointers — however, their variants Py_XINCREF() and Py_XDECREF() do.

The macros for checking for a particular object type (Pytype_Check()) don’t check for NULL pointers — again, there is much code that calls several of these in a row to test an object against various different expected types, and this would generate redundant tests. There are no variants with NULL checking.

The C function calling mechanism guarantees that the argument list passed to C functions (args in the examples) is never NULL — in fact it guarantees that it is always a tuple [4].

It is a severe error to ever let a NULL pointer “escape” to the Python user.

1.11. Writing Extensions in C++

It is possible to write extension modules in C++. Some restrictions apply. If the main program (the Python interpreter) is compiled and linked by the C compiler, global or static objects with constructors cannot be used. This is not a problem if the main program is linked by the C++ compiler. Functions that will be called by the Python interpreter (in particular, module initialization functions) have to be declared using extern "C". It is unnecessary to enclose the Python header files in extern "C" {...} — they use this form already if the symbol __cplusplus is defined (all recent C++ compilers define this symbol).

1.12. Providing a C API for an Extension Module

Many extension modules just provide new functions and types to be used from Python, but sometimes the code in an extension module can be useful for other extension modules. For example, an extension module could implement a type “collection” which works like lists without order. Just like the standard Python list type has a C API which permits extension modules to create and manipulate lists, this new collection type should have a set of C functions for direct manipulation from other extension modules.

At first sight this seems easy: just write the functions (without declaring them static, of course), provide an appropriate header file, and document the C API. And in fact this would work if all extension modules were always linked statically with the Python interpreter. When modules are used as shared libraries, however, the symbols defined in one module may not be visible to another module. The details of visibility depend on the operating system; some systems use one global namespace for the Python interpreter and all extension modules (Windows, for example), whereas others require an explicit list of imported symbols at module link time (AIX is one example), or offer a choice of different strategies (most Unices). And even if symbols are globally visible, the module whose functions one wishes to call might not have been loaded yet!

Portability therefore requires not to make any assumptions about symbol visibility. This means that all symbols in extension modules should be declared static, except for the module’s initialization function, in order to avoid name clashes with other extension modules (as discussed in section The Module’s Method Table and Initialization Function). And it means that symbols that should be accessible from other extension modules must be exported in a different way.

Python provides a special mechanism to pass C-level information (pointers) from one extension module to another one: Capsules. A Capsule is a Python data type which stores a pointer (void*). Capsules can only be created and accessed via their C API, but they can be passed around like any other Python object. In particular, they can be assigned to a name in an extension module’s namespace. Other extension modules can then import this module, retrieve the value of this name, and then retrieve the pointer from the Capsule.

There are many ways in which Capsules can be used to export the C API of an extension module. Each function could get its own Capsule, or all C API pointers could be stored in an array whose address is published in a Capsule. And the various tasks of storing and retrieving the pointers can be distributed in different ways between the module providing the code and the client modules.

Whichever method you choose, it’s important to name your Capsules properly. The function PyCapsule_New() takes a name parameter (const char*); you’re permitted to pass in a NULL name, but we strongly encourage you to specify a name. Properly named Capsules provide a degree of runtime type-safety; there is no feasible way to tell one unnamed Capsule from another.

In particular, Capsules used to expose C APIs should be given a name following this convention:

modulename.attributename

The convenience function PyCapsule_Import() makes it easy to load a C API provided via a Capsule, but only if the Capsule’s name matches this convention. This behavior gives C API users a high degree of certainty that the Capsule they load contains the correct C API.

The following example demonstrates an approach that puts most of the burden on the writer of the exporting module, which is appropriate for commonly used library modules. It stores all C API pointers (just one in the example!) in an array of void pointers which becomes the value of a Capsule. The header file corresponding to the module provides a macro that takes care of importing the module and retrieving its C API pointers; client modules only have to call this macro before accessing the C API.

The exporting module is a modification of the spam module from section Um Exemplo Simples. The function spam.system() does not call the C library function system() directly, but a function PySpam_System(), which would of course do something more complicated in reality (such as adding “spam” to every command). This function PySpam_System() is also exported to other extension modules.

The function PySpam_System() is a plain C function, declared static like everything else:

static int
PySpam_System(const char *command)
{
    return system(command);
}

The function spam_system() is modified in a trivial way:

static PyObject *
spam_system(PyObject *self, PyObject *args)
{
    const char *command;
    int sts;

    if (!PyArg_ParseTuple(args, "s", &command))
        return NULL;
    sts = PySpam_System(command);
    return PyLong_FromLong(sts);
}

In the beginning of the module, right after the line

#include <Python.h>

two more lines must be added:

#define SPAM_MODULE
#include "spammodule.h"

The #define is used to tell the header file that it is being included in the exporting module, not a client module. Finally, the module’s initialization function must take care of initializing the C API pointer array:

PyMODINIT_FUNC
PyInit_spam(void)
{
    PyObject *m;
    static void *PySpam_API[PySpam_API_pointers];
    PyObject *c_api_object;

    m = PyModule_Create(&spammodule);
    if (m == NULL)
        return NULL;

    /* Initialize the C API pointer array */
    PySpam_API[PySpam_System_NUM] = (void *)PySpam_System;

    /* Create a Capsule containing the API pointer array's address */
    c_api_object = PyCapsule_New((void *)PySpam_API, "spam._C_API", NULL);

    if (PyModule_Add(m, "_C_API", c_api_object) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

Note that PySpam_API is declared static; otherwise the pointer array would disappear when PyInit_spam() terminates!

The bulk of the work is in the header file spammodule.h, which looks like this:

#ifndef Py_SPAMMODULE_H
#define Py_SPAMMODULE_H
#ifdef __cplusplus
extern "C" {
#endif

/* Header file for spammodule */

/* C API functions */
#define PySpam_System_NUM 0
#define PySpam_System_RETURN int
#define PySpam_System_PROTO (const char *command)

/* Total number of C API pointers */
#define PySpam_API_pointers 1

#ifdef SPAM_MODULE
/* This section is used when compiling spammodule.c */

static PySpam_System_RETURN PySpam_System PySpam_System_PROTO;

#else
/* This section is used in modules that use spammodule's API */

static void **PySpam_API;

#define PySpam_System \
 (*(PySpam_System_RETURN (*)PySpam_System_PROTO) PySpam_API[PySpam_System_NUM])

/* Return -1 on error, 0 on success.
 * PyCapsule_Import will set an exception if there's an error.
 */
static int
import_spam(void)
{
    PySpam_API = (void **)PyCapsule_Import("spam._C_API", 0);
    return (PySpam_API != NULL) ? 0 : -1;
}

#endif

#ifdef __cplusplus
}
#endif

#endif /* !defined(Py_SPAMMODULE_H) */

All that a client module must do in order to have access to the function PySpam_System() is to call the function (or rather macro) import_spam() in its initialization function:

PyMODINIT_FUNC
PyInit_client(void)
{
    PyObject *m;

    m = PyModule_Create(&clientmodule);
    if (m == NULL)
        return NULL;
    if (import_spam() < 0)
        return NULL;
    /* additional initialization can happen here */
    return m;
}

The main disadvantage of this approach is that the file spammodule.h is rather complicated. However, the basic structure is the same for each function that is exported, so it has to be learned only once.

Finally it should be mentioned that Capsules offer additional functionality, which is especially useful for memory allocation and deallocation of the pointer stored in a Capsule. The details are described in the Python/C API Reference Manual in the section Capsules and in the implementation of Capsules (files Include/pycapsule.h and Objects/pycapsule.c in the Python source code distribution).

Notas de rodapé

[1]

An interface for this function already exists in the standard module os — it was chosen as a simple and straightforward example.

[2]

The metaphor of “borrowing” a reference is not completely correct: the owner still has a copy of the reference.

[3]

Checking that the reference count is at least 1 does not work — the reference count itself could be in freed memory and may thus be reused for another object!

[4]

These guarantees don’t hold when you use the “old” style calling convention — this is still found in much existing code.

2. Definindo Tipos de Extensão: Tutorial

O Python permite que o gravador de um módulo de extensão C defina novos tipos que podem ser manipulados a partir do código Python, da mesma forma que os tipos embutidos str e list. O código para todos os tipos de extensão segue um padrão, mas há alguns detalhes que você precisa entender antes de começar. Este documento é uma introdução suave ao tópico.

2.1. O básico

The CPython runtime sees all Python objects as variables of type PyObject*, which serves as a “base type” for all Python objects. The PyObject structure itself only contains the object’s reference count and a pointer to the object’s “type object”. This is where the action is; the type object determines which (C) functions get called by the interpreter when, for instance, an attribute gets looked up on an object, a method called, or it is multiplied by another object. These C functions are called “type methods”.

Então, se você quiser definir um novo tipo de extensão, você precisa criar um novo objeto de tipo.

This sort of thing can only be explained by example, so here’s a minimal, but complete, module that defines a new type named Custom inside a C extension module custom:

Nota

What we’re showing here is the traditional way of defining static extension types. It should be adequate for most uses. The C API also allows defining heap-allocated extension types using the PyType_FromSpec() function, which isn’t covered in this tutorial.

#define PY_SSIZE_T_CLEAN
#include <Python.h>

typedef struct {
    PyObject_HEAD
    /* Type-specific fields go here. */
} CustomObject;

static PyTypeObject CustomType = {
    .ob_base = PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "custom.Custom",
    .tp_doc = PyDoc_STR("Custom objects"),
    .tp_basicsize = sizeof(CustomObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT,
    .tp_new = PyType_GenericNew,
};

static PyModuleDef custommodule = {
    .m_base = PyModuleDef_HEAD_INIT,
    .m_name = "custom",
    .m_doc = "Example module that creates an extension type.",
    .m_size = -1,
};

PyMODINIT_FUNC
PyInit_custom(void)
{
    PyObject *m;
    if (PyType_Ready(&CustomType) < 0)
        return NULL;

    m = PyModule_Create(&custommodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "Custom", (PyObject *) &CustomType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

Agora isso é um pouco para ser absorvido de uma só vez, mas esperamos que os bits pareçam familiares no capítulo anterior. Este arquivo define três coisas:

What a Custom object contains: this is the CustomObject struct, which is allocated once for each Custom instance.

How the Custom type behaves: this is the CustomType struct, which defines a set of flags and function pointers that the interpreter inspects when specific operations are requested.

How to initialize the custom module: this is the PyInit_custom function and the associated custommodule struct.

O primeiro bit é

typedef struct {
    PyObject_HEAD
} CustomObject;

This is what a Custom object will contain. PyObject_HEAD is mandatory at the start of each object struct and defines a field called ob_base of type PyObject, containing a pointer to a type object and a reference count (these can be accessed using the macros Py_TYPE and Py_REFCNT respectively). The reason for the macro is to abstract away the layout and to enable additional fields in debug builds.

Nota

There is no semicolon above after the PyObject_HEAD macro. Be wary of adding one by accident: some compilers will complain.

Of course, objects generally store additional data besides the standard PyObject_HEAD boilerplate; for example, here is the definition for standard Python floats:

typedef struct {
    PyObject_HEAD
    double ob_fval;
} PyFloatObject;

O segundo bit é a definição do objeto de tipo.

static PyTypeObject CustomType = {
    .ob_base = PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "custom.Custom",
    .tp_doc = PyDoc_STR("Custom objects"),
    .tp_basicsize = sizeof(CustomObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT,
    .tp_new = PyType_GenericNew,
};

Nota

We recommend using C99-style designated initializers as above, to avoid listing all the PyTypeObject fields that you don’t care about and also to avoid caring about the fields’ declaration order.

The actual definition of PyTypeObject in object.h has many more fields than the definition above. The remaining fields will be filled with zeros by the C compiler, and it’s common practice to not specify them explicitly unless you need them.

Vamos separá-lo, um campo de cada vez

.ob_base = PyVarObject_HEAD_INIT(NULL, 0)

This line is mandatory boilerplate to initialize the ob_base field mentioned above.

.tp_name = "custom.Custom",

The name of our type. This will appear in the default textual representation of our objects and in some error messages, for example:

>>> "" + custom.Custom()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: can only concatenate str (not "custom.Custom") to str

Note that the name is a dotted name that includes both the module name and the name of the type within the module. The module in this case is custom and the type is Custom, so we set the type name to custom.Custom. Using the real dotted import path is important to make your type compatible with the pydoc and pickle modules.

.tp_basicsize = sizeof(CustomObject),
.tp_itemsize = 0,

This is so that Python knows how much memory to allocate when creating new Custom instances. tp_itemsize is only used for variable-sized objects and should otherwise be zero.

Nota

If you want your type to be subclassable from Python, and your type has the same tp_basicsize as its base type, you may have problems with multiple inheritance. A Python subclass of your type will have to list your type first in its __bases__, or else it will not be able to call your type’s __new__() method without getting an error. You can avoid this problem by ensuring that your type has a larger value for tp_basicsize than its base type does. Most of the time, this will be true anyway, because either your base type will be object, or else you will be adding data members to your base type, and therefore increasing its size.

We set the class flags to Py_TPFLAGS_DEFAULT.

.tp_flags = Py_TPFLAGS_DEFAULT,

All types should include this constant in their flags. It enables all of the members defined until at least Python 3.3. If you need further members, you will need to OR the corresponding flags.

We provide a doc string for the type in tp_doc.

.tp_doc = PyDoc_STR("Custom objects"),

To enable object creation, we have to provide a tp_new handler. This is the equivalent of the Python method __new__(), but has to be specified explicitly. In this case, we can just use the default implementation provided by the API function PyType_GenericNew().

.tp_new = PyType_GenericNew,

Everything else in the file should be familiar, except for some code in PyInit_custom():

if (PyType_Ready(&CustomType) < 0)
    return;

This initializes the Custom type, filling in a number of members to the appropriate default values, including ob_type that we initially set to NULL.

if (PyModule_AddObjectRef(m, "Custom", (PyObject *) &CustomType) < 0) {
    Py_DECREF(m);
    return NULL;
}

This adds the type to the module dictionary. This allows us to create Custom instances by calling the Custom class:

>>> import custom
>>> mycustom = custom.Custom()

That’s it! All that remains is to build it; put the above code in a file called custom.c,

[build-system]
requires = ["setuptools"]
build-backend = "setuptools.build_meta"

[project]
name = "custom"
version = "1"

in a file called pyproject.toml, and

from setuptools import Extension, setup
setup(ext_modules=[Extension("custom", ["custom.c"])])

in a file called setup.py; then typing

$ python -m pip install .

in a shell should produce a file custom.so in a subdirectory and install it; now fire up Python — you should be able to import custom and play around with Custom objects.

Isso não foi tão difícil, foi?

Naturalmente, o tipo personalizado atual é bastante desinteressante. Não tem dados e não faz nada. Não pode nem ser subclassificado.

2.2. Adicionando dados e métodos ao exemplo básico

Let’s extend the basic example to add some data and methods. Let’s also make the type usable as a base class. We’ll create a new module, custom2 that adds these capabilities:

#define PY_SSIZE_T_CLEAN
#include <Python.h>
#include <stddef.h> /* for offsetof() */

typedef struct {
    PyObject_HEAD
    PyObject *first; /* first name */
    PyObject *last;  /* last name */
    int number;
} CustomObject;

static void
Custom_dealloc(CustomObject *self)
{
    Py_XDECREF(self->first);
    Py_XDECREF(self->last);
    Py_TYPE(self)->tp_free((PyObject *) self);
}

static PyObject *
Custom_new(PyTypeObject *type, PyObject *args, PyObject *kwds)
{
    CustomObject *self;
    self = (CustomObject *) type->tp_alloc(type, 0);
    if (self != NULL) {
        self->first = PyUnicode_FromString("");
        if (self->first == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->last = PyUnicode_FromString("");
        if (self->last == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->number = 0;
    }
    return (PyObject *) self;
}

static int
Custom_init(CustomObject *self, PyObject *args, PyObject *kwds)
{
    static char *kwlist[] = {"first", "last", "number", NULL};
    PyObject *first = NULL, *last = NULL;

    if (!PyArg_ParseTupleAndKeywords(args, kwds, "|OOi", kwlist,
                                     &first, &last,
                                     &self->number))
        return -1;

    if (first) {
        Py_XSETREF(self->first, Py_NewRef(first));
    }
    if (last) {
        Py_XSETREF(self->last, Py_NewRef(last));
    }
    return 0;
}

static PyMemberDef Custom_members[] = {
    {"first", Py_T_OBJECT_EX, offsetof(CustomObject, first), 0,
     "first name"},
    {"last", Py_T_OBJECT_EX, offsetof(CustomObject, last), 0,
     "last name"},
    {"number", Py_T_INT, offsetof(CustomObject, number), 0,
     "custom number"},
    {NULL}  /* Sentinel */
};

static PyObject *
Custom_name(CustomObject *self, PyObject *Py_UNUSED(ignored))
{
    if (self->first == NULL) {
        PyErr_SetString(PyExc_AttributeError, "first");
        return NULL;
    }
    if (self->last == NULL) {
        PyErr_SetString(PyExc_AttributeError, "last");
        return NULL;
    }
    return PyUnicode_FromFormat("%S %S", self->first, self->last);
}

static PyMethodDef Custom_methods[] = {
    {"name", (PyCFunction) Custom_name, METH_NOARGS,
     "Return the name, combining the first and last name"
    },
    {NULL}  /* Sentinel */
};

static PyTypeObject CustomType = {
    .ob_base = PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "custom2.Custom",
    .tp_doc = PyDoc_STR("Custom objects"),
    .tp_basicsize = sizeof(CustomObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE,
    .tp_new = Custom_new,
    .tp_init = (initproc) Custom_init,
    .tp_dealloc = (destructor) Custom_dealloc,
    .tp_members = Custom_members,
    .tp_methods = Custom_methods,
};

static PyModuleDef custommodule = {
    .m_base =PyModuleDef_HEAD_INIT,
    .m_name = "custom2",
    .m_doc = "Example module that creates an extension type.",
    .m_size = -1,
};

PyMODINIT_FUNC
PyInit_custom2(void)
{
    PyObject *m;
    if (PyType_Ready(&CustomType) < 0)
        return NULL;

    m = PyModule_Create(&custommodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "Custom", (PyObject *) &CustomType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

Esta versão do módulo possui várias alterações.

The Custom type now has three data attributes in its C struct, first, last, and number. The first and last variables are Python strings containing first and last names. The number attribute is a C integer.

A estrutura do objeto é atualizada de acordo

typedef struct {
    PyObject_HEAD
    PyObject *first; /* first name */
    PyObject *last;  /* last name */
    int number;
} CustomObject;

Because we now have data to manage, we have to be more careful about object allocation and deallocation. At a minimum, we need a deallocation method:

static void
Custom_dealloc(CustomObject *self)
{
    Py_XDECREF(self->first);
    Py_XDECREF(self->last);
    Py_TYPE(self)->tp_free((PyObject *) self);
}

which is assigned to the tp_dealloc member:

.tp_dealloc = (destructor) Custom_dealloc,

This method first clears the reference counts of the two Python attributes. Py_XDECREF() correctly handles the case where its argument is NULL (which might happen here if tp_new failed midway). It then calls the tp_free member of the object’s type (computed by Py_TYPE(self)) to free the object’s memory. Note that the object’s type might not be CustomType, because the object may be an instance of a subclass.

Nota

The explicit cast to destructor above is needed because we defined Custom_dealloc to take a CustomObject * argument, but the tp_dealloc function pointer expects to receive a PyObject * argument. Otherwise, the compiler will emit a warning. This is object-oriented polymorphism, in C!

We want to make sure that the first and last names are initialized to empty strings, so we provide a tp_new implementation:

static PyObject *
Custom_new(PyTypeObject *type, PyObject *args, PyObject *kwds)
{
    CustomObject *self;
    self = (CustomObject *) type->tp_alloc(type, 0);
    if (self != NULL) {
        self->first = PyUnicode_FromString("");
        if (self->first == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->last = PyUnicode_FromString("");
        if (self->last == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->number = 0;
    }
    return (PyObject *) self;
}

and install it in the tp_new member:

.tp_new = Custom_new,

The tp_new handler is responsible for creating (as opposed to initializing) objects of the type. It is exposed in Python as the __new__() method. It is not required to define a tp_new member, and indeed many extension types will simply reuse PyType_GenericNew() as done in the first version of the Custom type above. In this case, we use the tp_new handler to initialize the first and last attributes to non-NULL default values.

tp_new is passed the type being instantiated (not necessarily CustomType, if a subclass is instantiated) and any arguments passed when the type was called, and is expected to return the instance created. tp_new handlers always accept positional and keyword arguments, but they often ignore the arguments, leaving the argument handling to initializer (a.k.a. tp_init in C or __init__ in Python) methods.

Nota

tp_new shouldn’t call tp_init explicitly, as the interpreter will do it itself.

The tp_new implementation calls the tp_alloc slot to allocate memory:

self = (CustomObject *) type->tp_alloc(type, 0);

Since memory allocation may fail, we must check the tp_alloc result against NULL before proceeding.

Nota

We didn’t fill the tp_alloc slot ourselves. Rather PyType_Ready() fills it for us by inheriting it from our base class, which is object by default. Most types use the default allocation strategy.

Nota

If you are creating a co-operative tp_new (one that calls a base type’s tp_new or __new__()), you must not try to determine what method to call using method resolution order at runtime. Always statically determine what type you are going to call, and call its tp_new directly, or via type->tp_base->tp_new. If you do not do this, Python subclasses of your type that also inherit from other Python-defined classes may not work correctly. (Specifically, you may not be able to create instances of such subclasses without getting a TypeError.)

We also define an initialization function which accepts arguments to provide initial values for our instance:

static int
Custom_init(CustomObject *self, PyObject *args, PyObject *kwds)
{
    static char *kwlist[] = {"first", "last", "number", NULL};
    PyObject *first = NULL, *last = NULL, *tmp;

    if (!PyArg_ParseTupleAndKeywords(args, kwds, "|OOi", kwlist,
                                     &first, &last,
                                     &self->number))
        return -1;

    if (first) {
        tmp = self->first;
        Py_INCREF(first);
        self->first = first;
        Py_XDECREF(tmp);
    }
    if (last) {
        tmp = self->last;
        Py_INCREF(last);
        self->last = last;
        Py_XDECREF(tmp);
    }
    return 0;
}

by filling the tp_init slot.

.tp_init = (initproc) Custom_init,

The tp_init slot is exposed in Python as the __init__() method. It is used to initialize an object after it’s created. Initializers always accept positional and keyword arguments, and they should return either 0 on success or -1 on error.

Unlike the tp_new handler, there is no guarantee that tp_init is called at all (for example, the pickle module by default doesn’t call __init__() on unpickled instances). It can also be called multiple times. Anyone can call the __init__() method on our objects. For this reason, we have to be extra careful when assigning the new attribute values. We might be tempted, for example to assign the first member like this:

if (first) {
    Py_XDECREF(self->first);
    Py_INCREF(first);
    self->first = first;
}

But this would be risky. Our type doesn’t restrict the type of the first member, so it could be any kind of object. It could have a destructor that causes code to be executed that tries to access the first member; or that destructor could release the Global interpreter Lock and let arbitrary code run in other threads that accesses and modifies our object.

Para sermos paranoicos e nos protegermos contra essa possibilidade, quase sempre realocamos os membros antes de decrementar suas contagens de referência. Quando não temos que fazer isso?

quando sabemos absolutamente que a contagem de referência é maior que 1;

when we know that deallocation of the object [1] will neither release the GIL nor cause any calls back into our type’s code;

when decrementing a reference count in a tp_dealloc handler on a type which doesn’t support cyclic garbage collection [2].

We want to expose our instance variables as attributes. There are a number of ways to do that. The simplest way is to define member definitions:

static PyMemberDef Custom_members[] = {
    {"first", Py_T_OBJECT_EX, offsetof(CustomObject, first), 0,
     "first name"},
    {"last", Py_T_OBJECT_EX, offsetof(CustomObject, last), 0,
     "last name"},
    {"number", Py_T_INT, offsetof(CustomObject, number), 0,
     "custom number"},
    {NULL}  /* Sentinel */
};

and put the definitions in the tp_members slot:

.tp_members = Custom_members,

Each member definition has a member name, type, offset, access flags and documentation string. See the Generic Attribute Management section below for details.

A disadvantage of this approach is that it doesn’t provide a way to restrict the types of objects that can be assigned to the Python attributes. We expect the first and last names to be strings, but any Python objects can be assigned. Further, the attributes can be deleted, setting the C pointers to NULL. Even though we can make sure the members are initialized to non-NULL values, the members can be set to NULL if the attributes are deleted.

We define a single method, Custom.name(), that outputs the objects name as the concatenation of the first and last names.

static PyObject *
Custom_name(CustomObject *self, PyObject *Py_UNUSED(ignored))
{
    if (self->first == NULL) {
        PyErr_SetString(PyExc_AttributeError, "first");
        return NULL;
    }
    if (self->last == NULL) {
        PyErr_SetString(PyExc_AttributeError, "last");
        return NULL;
    }
    return PyUnicode_FromFormat("%S %S", self->first, self->last);
}

The method is implemented as a C function that takes a Custom (or Custom subclass) instance as the first argument. Methods always take an instance as the first argument. Methods often take positional and keyword arguments as well, but in this case we don’t take any and don’t need to accept a positional argument tuple or keyword argument dictionary. This method is equivalent to the Python method:

def name(self):
    return "%s %s" % (self.first, self.last)

Note that we have to check for the possibility that our first and last members are NULL. This is because they can be deleted, in which case they are set to NULL. It would be better to prevent deletion of these attributes and to restrict the attribute values to be strings. We’ll see how to do that in the next section.

Agora que definimos o método, precisamos criar uma array de definições de métodos:

static PyMethodDef Custom_methods[] = {
    {"name", (PyCFunction) Custom_name, METH_NOARGS,
     "Return the name, combining the first and last name"
    },
    {NULL}  /* Sentinel */
};

(note that we used the METH_NOARGS flag to indicate that the method is expecting no arguments other than self)

and assign it to the tp_methods slot:

.tp_methods = Custom_methods,

Finally, we’ll make our type usable as a base class for subclassing. We’ve written our methods carefully so far so that they don’t make any assumptions about the type of the object being created or used, so all we need to do is to add the Py_TPFLAGS_BASETYPE to our class flag definition:

.tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE,

We rename PyInit_custom() to PyInit_custom2(), update the module name in the PyModuleDef struct, and update the full class name in the PyTypeObject struct.

Finally, we update our setup.py file to include the new module,

from setuptools import Extension, setup
setup(ext_modules=[
    Extension("custom", ["custom.c"]),
    Extension("custom2", ["custom2.c"]),
])

and then we re-install so that we can import custom2:

$ python -m pip install .

2.3. Fornecendo controle mais preciso sobre atributos de dados

In this section, we’ll provide finer control over how the first and last attributes are set in the Custom example. In the previous version of our module, the instance variables first and last could be set to non-string values or even deleted. We want to make sure that these attributes always contain strings.

#define PY_SSIZE_T_CLEAN
#include <Python.h>
#include <stddef.h> /* for offsetof() */

typedef struct {
    PyObject_HEAD
    PyObject *first; /* first name */
    PyObject *last;  /* last name */
    int number;
} CustomObject;

static void
Custom_dealloc(CustomObject *self)
{
    Py_XDECREF(self->first);
    Py_XDECREF(self->last);
    Py_TYPE(self)->tp_free((PyObject *) self);
}

static PyObject *
Custom_new(PyTypeObject *type, PyObject *args, PyObject *kwds)
{
    CustomObject *self;
    self = (CustomObject *) type->tp_alloc(type, 0);
    if (self != NULL) {
        self->first = PyUnicode_FromString("");
        if (self->first == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->last = PyUnicode_FromString("");
        if (self->last == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->number = 0;
    }
    return (PyObject *) self;
}

static int
Custom_init(CustomObject *self, PyObject *args, PyObject *kwds)
{
    static char *kwlist[] = {"first", "last", "number", NULL};
    PyObject *first = NULL, *last = NULL;

    if (!PyArg_ParseTupleAndKeywords(args, kwds, "|UUi", kwlist,
                                     &first, &last,
                                     &self->number))
        return -1;

    if (first) {
        Py_SETREF(self->first, Py_NewRef(first));
    }
    if (last) {
        Py_SETREF(self->last, Py_NewRef(last));
    }
    return 0;
}

static PyMemberDef Custom_members[] = {
    {"number", Py_T_INT, offsetof(CustomObject, number), 0,
     "custom number"},
    {NULL}  /* Sentinel */
};

static PyObject *
Custom_getfirst(CustomObject *self, void *closure)
{
    return Py_NewRef(self->first);
}

static int
Custom_setfirst(CustomObject *self, PyObject *value, void *closure)
{
    if (value == NULL) {
        PyErr_SetString(PyExc_TypeError, "Cannot delete the first attribute");
        return -1;
    }
    if (!PyUnicode_Check(value)) {
        PyErr_SetString(PyExc_TypeError,
                        "The first attribute value must be a string");
        return -1;
    }
    Py_SETREF(self->first, Py_NewRef(value));
    return 0;
}

static PyObject *
Custom_getlast(CustomObject *self, void *closure)
{
    return Py_NewRef(self->last);
}

static int
Custom_setlast(CustomObject *self, PyObject *value, void *closure)
{
    if (value == NULL) {
        PyErr_SetString(PyExc_TypeError, "Cannot delete the last attribute");
        return -1;
    }
    if (!PyUnicode_Check(value)) {
        PyErr_SetString(PyExc_TypeError,
                        "The last attribute value must be a string");
        return -1;
    }
    Py_SETREF(self->last, Py_NewRef(value));
    return 0;
}

static PyGetSetDef Custom_getsetters[] = {
    {"first", (getter) Custom_getfirst, (setter) Custom_setfirst,
     "first name", NULL},
    {"last", (getter) Custom_getlast, (setter) Custom_setlast,
     "last name", NULL},
    {NULL}  /* Sentinel */
};

static PyObject *
Custom_name(CustomObject *self, PyObject *Py_UNUSED(ignored))
{
    return PyUnicode_FromFormat("%S %S", self->first, self->last);
}

static PyMethodDef Custom_methods[] = {
    {"name", (PyCFunction) Custom_name, METH_NOARGS,
     "Return the name, combining the first and last name"
    },
    {NULL}  /* Sentinel */
};

static PyTypeObject CustomType = {
    .ob_base = PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "custom3.Custom",
    .tp_doc = PyDoc_STR("Custom objects"),
    .tp_basicsize = sizeof(CustomObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE,
    .tp_new = Custom_new,
    .tp_init = (initproc) Custom_init,
    .tp_dealloc = (destructor) Custom_dealloc,
    .tp_members = Custom_members,
    .tp_methods = Custom_methods,
    .tp_getset = Custom_getsetters,
};

static PyModuleDef custommodule = {
    .m_base = PyModuleDef_HEAD_INIT,
    .m_name = "custom3",
    .m_doc = "Example module that creates an extension type.",
    .m_size = -1,
};

PyMODINIT_FUNC
PyInit_custom3(void)
{
    PyObject *m;
    if (PyType_Ready(&CustomType) < 0)
        return NULL;

    m = PyModule_Create(&custommodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "Custom", (PyObject *) &CustomType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

To provide greater control, over the first and last attributes, we’ll use custom getter and setter functions. Here are the functions for getting and setting the first attribute:

static PyObject *
Custom_getfirst(CustomObject *self, void *closure)
{
    Py_INCREF(self->first);
    return self->first;
}

static int
Custom_setfirst(CustomObject *self, PyObject *value, void *closure)
{
    PyObject *tmp;
    if (value == NULL) {
        PyErr_SetString(PyExc_TypeError, "Cannot delete the first attribute");
        return -1;
    }
    if (!PyUnicode_Check(value)) {
        PyErr_SetString(PyExc_TypeError,
                        "The first attribute value must be a string");
        return -1;
    }
    tmp = self->first;
    Py_INCREF(value);
    self->first = value;
    Py_DECREF(tmp);
    return 0;
}

The getter function is passed a Custom object and a “closure”, which is a void pointer. In this case, the closure is ignored. (The closure supports an advanced usage in which definition data is passed to the getter and setter. This could, for example, be used to allow a single set of getter and setter functions that decide the attribute to get or set based on data in the closure.)

The setter function is passed the Custom object, the new value, and the closure. The new value may be NULL, in which case the attribute is being deleted. In our setter, we raise an error if the attribute is deleted or if its new value is not a string.

We create an array of PyGetSetDef structures:

static PyGetSetDef Custom_getsetters[] = {
    {"first", (getter) Custom_getfirst, (setter) Custom_setfirst,
     "first name", NULL},
    {"last", (getter) Custom_getlast, (setter) Custom_setlast,
     "last name", NULL},
    {NULL}  /* Sentinel */
};

e registra isso num slot tp_getset:

.tp_getset = Custom_getsetters,

The last item in a PyGetSetDef structure is the “closure” mentioned above. In this case, we aren’t using a closure, so we just pass NULL.

Também removemos as definições de membros para esses atributos:

static PyMemberDef Custom_members[] = {
    {"number", Py_T_INT, offsetof(CustomObject, number), 0,
     "custom number"},
    {NULL}  /* Sentinel */
};

We also need to update the tp_init handler to only allow strings [3] to be passed:

static int
Custom_init(CustomObject *self, PyObject *args, PyObject *kwds)
{
    static char *kwlist[] = {"first", "last", "number", NULL};
    PyObject *first = NULL, *last = NULL, *tmp;

    if (!PyArg_ParseTupleAndKeywords(args, kwds, "|UUi", kwlist,
                                     &first, &last,
                                     &self->number))
        return -1;

    if (first) {
        tmp = self->first;
        Py_INCREF(first);
        self->first = first;
        Py_DECREF(tmp);
    }
    if (last) {
        tmp = self->last;
        Py_INCREF(last);
        self->last = last;
        Py_DECREF(tmp);
    }
    return 0;
}

With these changes, we can assure that the first and last members are never NULL so we can remove checks for NULL values in almost all cases. This means that most of the Py_XDECREF() calls can be converted to Py_DECREF() calls. The only place we can’t change these calls is in the tp_dealloc implementation, where there is the possibility that the initialization of these members failed in tp_new.

We also rename the module initialization function and module name in the initialization function, as we did before, and we add an extra definition to the setup.py file.

2.4. Apoiando a coleta de lixo cíclica

Python has a cyclic garbage collector (GC) that can identify unneeded objects even when their reference counts are not zero. This can happen when objects are involved in cycles. For example, consider:

>>> l = []
>>> l.append(l)
>>> del l

In this example, we create a list that contains itself. When we delete it, it still has a reference from itself. Its reference count doesn’t drop to zero. Fortunately, Python’s cyclic garbage collector will eventually figure out that the list is garbage and free it.

In the second version of the Custom example, we allowed any kind of object to be stored in the first or last attributes [4]. Besides, in the second and third versions, we allowed subclassing Custom, and subclasses may add arbitrary attributes. For any of those two reasons, Custom objects can participate in cycles:

>>> import custom3
>>> class Derived(custom3.Custom): pass
...
>>> n = Derived()
>>> n.some_attribute = n

To allow a Custom instance participating in a reference cycle to be properly detected and collected by the cyclic GC, our Custom type needs to fill two additional slots and to enable a flag that enables these slots:

#define PY_SSIZE_T_CLEAN
#include <Python.h>
#include <stddef.h> /* for offsetof() */

typedef struct {
    PyObject_HEAD
    PyObject *first; /* first name */
    PyObject *last;  /* last name */
    int number;
} CustomObject;

static int
Custom_traverse(CustomObject *self, visitproc visit, void *arg)
{
    Py_VISIT(self->first);
    Py_VISIT(self->last);
    return 0;
}

static int
Custom_clear(CustomObject *self)
{
    Py_CLEAR(self->first);
    Py_CLEAR(self->last);
    return 0;
}

static void
Custom_dealloc(CustomObject *self)
{
    PyObject_GC_UnTrack(self);
    Custom_clear(self);
    Py_TYPE(self)->tp_free((PyObject *) self);
}

static PyObject *
Custom_new(PyTypeObject *type, PyObject *args, PyObject *kwds)
{
    CustomObject *self;
    self = (CustomObject *) type->tp_alloc(type, 0);
    if (self != NULL) {
        self->first = PyUnicode_FromString("");
        if (self->first == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->last = PyUnicode_FromString("");
        if (self->last == NULL) {
            Py_DECREF(self);
            return NULL;
        }
        self->number = 0;
    }
    return (PyObject *) self;
}

static int
Custom_init(CustomObject *self, PyObject *args, PyObject *kwds)
{
    static char *kwlist[] = {"first", "last", "number", NULL};
    PyObject *first = NULL, *last = NULL;

    if (!PyArg_ParseTupleAndKeywords(args, kwds, "|UUi", kwlist,
                                     &first, &last,
                                     &self->number))
        return -1;

    if (first) {
        Py_SETREF(self->first, Py_NewRef(first));
    }
    if (last) {
        Py_SETREF(self->last, Py_NewRef(last));
    }
    return 0;
}

static PyMemberDef Custom_members[] = {
    {"number", Py_T_INT, offsetof(CustomObject, number), 0,
     "custom number"},
    {NULL}  /* Sentinel */
};

static PyObject *
Custom_getfirst(CustomObject *self, void *closure)
{
    return Py_NewRef(self->first);
}

static int
Custom_setfirst(CustomObject *self, PyObject *value, void *closure)
{
    if (value == NULL) {
        PyErr_SetString(PyExc_TypeError, "Cannot delete the first attribute");
        return -1;
    }
    if (!PyUnicode_Check(value)) {
        PyErr_SetString(PyExc_TypeError,
                        "The first attribute value must be a string");
        return -1;
    }
    Py_XSETREF(self->first, Py_NewRef(value));
    return 0;
}

static PyObject *
Custom_getlast(CustomObject *self, void *closure)
{
    return Py_NewRef(self->last);
}

static int
Custom_setlast(CustomObject *self, PyObject *value, void *closure)
{
    if (value == NULL) {
        PyErr_SetString(PyExc_TypeError, "Cannot delete the last attribute");
        return -1;
    }
    if (!PyUnicode_Check(value)) {
        PyErr_SetString(PyExc_TypeError,
                        "The last attribute value must be a string");
        return -1;
    }
    Py_XSETREF(self->last, Py_NewRef(value));
    return 0;
}

static PyGetSetDef Custom_getsetters[] = {
    {"first", (getter) Custom_getfirst, (setter) Custom_setfirst,
     "first name", NULL},
    {"last", (getter) Custom_getlast, (setter) Custom_setlast,
     "last name", NULL},
    {NULL}  /* Sentinel */
};

static PyObject *
Custom_name(CustomObject *self, PyObject *Py_UNUSED(ignored))
{
    return PyUnicode_FromFormat("%S %S", self->first, self->last);
}

static PyMethodDef Custom_methods[] = {
    {"name", (PyCFunction) Custom_name, METH_NOARGS,
     "Return the name, combining the first and last name"
    },
    {NULL}  /* Sentinel */
};

static PyTypeObject CustomType = {
    .ob_base = PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "custom4.Custom",
    .tp_doc = PyDoc_STR("Custom objects"),
    .tp_basicsize = sizeof(CustomObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE | Py_TPFLAGS_HAVE_GC,
    .tp_new = Custom_new,
    .tp_init = (initproc) Custom_init,
    .tp_dealloc = (destructor) Custom_dealloc,
    .tp_traverse = (traverseproc) Custom_traverse,
    .tp_clear = (inquiry) Custom_clear,
    .tp_members = Custom_members,
    .tp_methods = Custom_methods,
    .tp_getset = Custom_getsetters,
};

static PyModuleDef custommodule = {
    .m_base = PyModuleDef_HEAD_INIT,
    .m_name = "custom4",
    .m_doc = "Example module that creates an extension type.",
    .m_size = -1,
};

PyMODINIT_FUNC
PyInit_custom4(void)
{
    PyObject *m;
    if (PyType_Ready(&CustomType) < 0)
        return NULL;

    m = PyModule_Create(&custommodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "Custom", (PyObject *) &CustomType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

First, the traversal method lets the cyclic GC know about subobjects that could participate in cycles:

static int
Custom_traverse(CustomObject *self, visitproc visit, void *arg)
{
    int vret;
    if (self->first) {
        vret = visit(self->first, arg);
        if (vret != 0)
            return vret;
    }
    if (self->last) {
        vret = visit(self->last, arg);
        if (vret != 0)
            return vret;
    }
    return 0;
}

For each subobject that can participate in cycles, we need to call the visit() function, which is passed to the traversal method. The visit() function takes as arguments the subobject and the extra argument arg passed to the traversal method. It returns an integer value that must be returned if it is non-zero.

Python provides a Py_VISIT() macro that automates calling visit functions. With Py_VISIT(), we can minimize the amount of boilerplate in Custom_traverse:

static int
Custom_traverse(CustomObject *self, visitproc visit, void *arg)
{
    Py_VISIT(self->first);
    Py_VISIT(self->last);
    return 0;
}

Nota

The tp_traverse implementation must name its arguments exactly visit and arg in order to use Py_VISIT().

Second, we need to provide a method for clearing any subobjects that can participate in cycles:

static int
Custom_clear(CustomObject *self)
{
    Py_CLEAR(self->first);
    Py_CLEAR(self->last);
    return 0;
}

Notice the use of the Py_CLEAR() macro. It is the recommended and safe way to clear data attributes of arbitrary types while decrementing their reference counts. If you were to call Py_XDECREF() instead on the attribute before setting it to NULL, there is a possibility that the attribute’s destructor would call back into code that reads the attribute again (especially if there is a reference cycle).

Nota

You could emulate Py_CLEAR() by writing:

PyObject *tmp;
tmp = self->first;
self->first = NULL;
Py_XDECREF(tmp);

Nevertheless, it is much easier and less error-prone to always use Py_CLEAR() when deleting an attribute. Don’t try to micro-optimize at the expense of robustness!

The deallocator Custom_dealloc may call arbitrary code when clearing attributes. It means the circular GC can be triggered inside the function. Since the GC assumes reference count is not zero, we need to untrack the object from the GC by calling PyObject_GC_UnTrack() before clearing members. Here is our reimplemented deallocator using PyObject_GC_UnTrack() and Custom_clear:

static void
Custom_dealloc(CustomObject *self)
{
    PyObject_GC_UnTrack(self);
    Custom_clear(self);
    Py_TYPE(self)->tp_free((PyObject *) self);
}

Finally, we add the Py_TPFLAGS_HAVE_GC flag to the class flags:

.tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE | Py_TPFLAGS_HAVE_GC,

That’s pretty much it. If we had written custom tp_alloc or tp_free handlers, we’d need to modify them for cyclic garbage collection. Most extensions will use the versions automatically provided.

2.5. Criando subclasses de outros tipos

It is possible to create new extension types that are derived from existing types. It is easiest to inherit from the built in types, since an extension can easily use the PyTypeObject it needs. It can be difficult to share these PyTypeObject structures between extension modules.

In this example we will create a SubList type that inherits from the built-in list type. The new type will be completely compatible with regular lists, but will have an additional increment() method that increases an internal counter:

>>> import sublist
>>> s = sublist.SubList(range(3))
>>> s.extend(s)
>>> print(len(s))
6
>>> print(s.increment())
1
>>> print(s.increment())
2

#define PY_SSIZE_T_CLEAN
#include <Python.h>

typedef struct {
    PyListObject list;
    int state;
} SubListObject;

static PyObject *
SubList_increment(SubListObject *self, PyObject *unused)
{
    self->state++;
    return PyLong_FromLong(self->state);
}

static PyMethodDef SubList_methods[] = {
    {"increment", (PyCFunction) SubList_increment, METH_NOARGS,
     PyDoc_STR("increment state counter")},
    {NULL},
};

static int
SubList_init(SubListObject *self, PyObject *args, PyObject *kwds)
{
    if (PyList_Type.tp_init((PyObject *) self, args, kwds) < 0)
        return -1;
    self->state = 0;
    return 0;
}

static PyTypeObject SubListType = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "sublist.SubList",
    .tp_doc = PyDoc_STR("SubList objects"),
    .tp_basicsize = sizeof(SubListObject),
    .tp_itemsize = 0,
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE,
    .tp_init = (initproc) SubList_init,
    .tp_methods = SubList_methods,
};

static PyModuleDef sublistmodule = {
    PyModuleDef_HEAD_INIT,
    .m_name = "sublist",
    .m_doc = "Example module that creates an extension type.",
    .m_size = -1,
};

PyMODINIT_FUNC
PyInit_sublist(void)
{
    PyObject *m;
    SubListType.tp_base = &PyList_Type;
    if (PyType_Ready(&SubListType) < 0)
        return NULL;

    m = PyModule_Create(&sublistmodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "SubList", (PyObject *) &SubListType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

As you can see, the source code closely resembles the Custom examples in previous sections. We will break down the main differences between them.

typedef struct {
    PyListObject list;
    int state;
} SubListObject;

The primary difference for derived type objects is that the base type’s object structure must be the first value. The base type will already include the PyObject_HEAD() at the beginning of its structure.

When a Python object is a SubList instance, its PyObject * pointer can be safely cast to both PyListObject * and SubListObject *:

static int
SubList_init(SubListObject *self, PyObject *args, PyObject *kwds)
{
    if (PyList_Type.tp_init((PyObject *) self, args, kwds) < 0)
        return -1;
    self->state = 0;
    return 0;
}

We see above how to call through to the __init__() method of the base type.

This pattern is important when writing a type with custom tp_new and tp_dealloc members. The tp_new handler should not actually create the memory for the object with its tp_alloc, but let the base class handle it by calling its own tp_new.

The PyTypeObject struct supports a tp_base specifying the type’s concrete base class. Due to cross-platform compiler issues, you can’t fill that field directly with a reference to PyList_Type; it should be done later in the module initialization function:

PyMODINIT_FUNC
PyInit_sublist(void)
{
    PyObject* m;
    SubListType.tp_base = &PyList_Type;
    if (PyType_Ready(&SubListType) < 0)
        return NULL;

    m = PyModule_Create(&sublistmodule);
    if (m == NULL)
        return NULL;

    if (PyModule_AddObjectRef(m, "SubList", (PyObject *) &SubListType) < 0) {
        Py_DECREF(m);
        return NULL;
    }

    return m;
}

Before calling PyType_Ready(), the type structure must have the tp_base slot filled in. When we are deriving an existing type, it is not necessary to fill out the tp_alloc slot with PyType_GenericNew() – the allocation function from the base type will be inherited.

After that, calling PyType_Ready() and adding the type object to the module is the same as with the basic Custom examples.

Notas de rodapé

[1]

Isso é verdade quando sabemos que o objeto é um tipo básico, como uma string ou um float.

[2]

We relied on this in the tp_dealloc handler in this example, because our type doesn’t support garbage collection.

[3]

Agora sabemos que o primeiro e último membros são strings, então talvez pudéssemos ter menos cuidado com a diminuição de suas contagens de referência, no entanto, aceitamos instâncias de subclasses de string. Mesmo que a desalocação de cadeias normais não retorne aos nossos objetos, não podemos garantir que a desalocação de uma instância de uma subclasse de cadeias de caracteres não retornará aos nossos objetos.

[4]

Além disso, mesmo com nossos atributos restritos a instâncias de strings, o usuário poderia passar arbitrariamente subclasses str e, portanto, ainda criar ciclos de referência.

3. Defining Extension Types: Assorted Topics

This section aims to give a quick fly-by on the various type methods you can implement and what they do.

Here is the definition of PyTypeObject, with some fields only used in debug builds omitted:

typedef struct _typeobject {
    PyObject_VAR_HEAD
    const char *tp_name; /* For printing, in format "<module>.<name>" */
    Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */

    /* Methods to implement standard operations */

    destructor tp_dealloc;
    Py_ssize_t tp_vectorcall_offset;
    getattrfunc tp_getattr;
    setattrfunc tp_setattr;
    PyAsyncMethods *tp_as_async; /* formerly known as tp_compare (Python 2)
                                    or tp_reserved (Python 3) */
    reprfunc tp_repr;

    /* Method suites for standard classes */

    PyNumberMethods *tp_as_number;
    PySequenceMethods *tp_as_sequence;
    PyMappingMethods *tp_as_mapping;

    /* More standard operations (here for binary compatibility) */

    hashfunc tp_hash;
    ternaryfunc tp_call;
    reprfunc tp_str;
    getattrofunc tp_getattro;
    setattrofunc tp_setattro;

    /* Functions to access object as input/output buffer */
    PyBufferProcs *tp_as_buffer;

    /* Flags to define presence of optional/expanded features */
    unsigned long tp_flags;

    const char *tp_doc; /* Documentation string */

    /* Assigned meaning in release 2.0 */
    /* call function for all accessible objects */
    traverseproc tp_traverse;

    /* delete references to contained objects */
    inquiry tp_clear;

    /* Assigned meaning in release 2.1 */
    /* rich comparisons */
    richcmpfunc tp_richcompare;

    /* weak reference enabler */
    Py_ssize_t tp_weaklistoffset;

    /* Iterators */
    getiterfunc tp_iter;
    iternextfunc tp_iternext;

    /* Attribute descriptor and subclassing stuff */
    struct PyMethodDef *tp_methods;
    struct PyMemberDef *tp_members;
    struct PyGetSetDef *tp_getset;
    // Strong reference on a heap type, borrowed reference on a static type
    struct _typeobject *tp_base;
    PyObject *tp_dict;
    descrgetfunc tp_descr_get;
    descrsetfunc tp_descr_set;
    Py_ssize_t tp_dictoffset;
    initproc tp_init;
    allocfunc tp_alloc;
    newfunc tp_new;
    freefunc tp_free; /* Low-level free-memory routine */
    inquiry tp_is_gc; /* For PyObject_IS_GC */
    PyObject *tp_bases;
    PyObject *tp_mro; /* method resolution order */
    PyObject *tp_cache;
    PyObject *tp_subclasses;
    PyObject *tp_weaklist;
    destructor tp_del;

    /* Type attribute cache version tag. Added in version 2.6 */
    unsigned int tp_version_tag;

    destructor tp_finalize;
    vectorcallfunc tp_vectorcall;

    /* bitset of which type-watchers care about this type */
    unsigned char tp_watched;
} PyTypeObject;

Now that’s a lot of methods. Don’t worry too much though – if you have a type you want to define, the chances are very good that you will only implement a handful of these.

As you probably expect by now, we’re going to go over this and give more information about the various handlers. We won’t go in the order they are defined in the structure, because there is a lot of historical baggage that impacts the ordering of the fields. It’s often easiest to find an example that includes the fields you need and then change the values to suit your new type.

const char *tp_name; /* For printing */

The name of the type – as mentioned in the previous chapter, this will appear in various places, almost entirely for diagnostic purposes. Try to choose something that will be helpful in such a situation!

Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */

These fields tell the runtime how much memory to allocate when new objects of this type are created. Python has some built-in support for variable length structures (think: strings, tuples) which is where the tp_itemsize field comes in. This will be dealt with later.

const char *tp_doc;

Here you can put a string (or its address) that you want returned when the Python script references obj.__doc__ to retrieve the doc string.

Now we come to the basic type methods – the ones most extension types will implement.

3.1. Finalization and De-allocation

destructor tp_dealloc;

This function is called when the reference count of the instance of your type is reduced to zero and the Python interpreter wants to reclaim it. If your type has memory to free or other clean-up to perform, you can put it here. The object itself needs to be freed here as well. Here is an example of this function:

static void
newdatatype_dealloc(newdatatypeobject *obj)
{
    free(obj->obj_UnderlyingDatatypePtr);
    Py_TYPE(obj)->tp_free((PyObject *)obj);
}

If your type supports garbage collection, the destructor should call PyObject_GC_UnTrack() before clearing any member fields:

static void
newdatatype_dealloc(newdatatypeobject *obj)
{
    PyObject_GC_UnTrack(obj);
    Py_CLEAR(obj->other_obj);
    ...
    Py_TYPE(obj)->tp_free((PyObject *)obj);
}

One important requirement of the deallocator function is that it leaves any pending exceptions alone. This is important since deallocators are frequently called as the interpreter unwinds the Python stack; when the stack is unwound due to an exception (rather than normal returns), nothing is done to protect the deallocators from seeing that an exception has already been set. Any actions which a deallocator performs which may cause additional Python code to be executed may detect that an exception has been set. This can lead to misleading errors from the interpreter. The proper way to protect against this is to save a pending exception before performing the unsafe action, and restoring it when done. This can be done using the PyErr_Fetch() and PyErr_Restore() functions:

static void
my_dealloc(PyObject *obj)
{
    MyObject *self = (MyObject *) obj;
    PyObject *cbresult;

    if (self->my_callback != NULL) {
        PyObject *err_type, *err_value, *err_traceback;

        /* This saves the current exception state */
        PyErr_Fetch(&err_type, &err_value, &err_traceback);

        cbresult = PyObject_CallNoArgs(self->my_callback);
        if (cbresult == NULL)
            PyErr_WriteUnraisable(self->my_callback);
        else
            Py_DECREF(cbresult);

        /* This restores the saved exception state */
        PyErr_Restore(err_type, err_value, err_traceback);

        Py_DECREF(self->my_callback);
    }
    Py_TYPE(obj)->tp_free((PyObject*)self);
}

Nota

There are limitations to what you can safely do in a deallocator function. First, if your type supports garbage collection (using tp_traverse and/or tp_clear), some of the object’s members can have been cleared or finalized by the time tp_dealloc is called. Second, in tp_dealloc, your object is in an unstable state: its reference count is equal to zero. Any call to a non-trivial object or API (as in the example above) might end up calling tp_dealloc again, causing a double free and a crash.

Starting with Python 3.4, it is recommended not to put any complex finalization code in tp_dealloc, and instead use the new tp_finalize type method.

Ver também

PEP 442 [https://peps.python.org/pep-0442/] explains the new finalization scheme.

3.2. Object Presentation

In Python, there are two ways to generate a textual representation of an object: the repr() function, and the str() function. (The print() function just calls str().) These handlers are both optional.

reprfunc tp_repr;
reprfunc tp_str;

The tp_repr handler should return a string object containing a representation of the instance for which it is called. Here is a simple example:

static PyObject *
newdatatype_repr(newdatatypeobject *obj)
{
    return PyUnicode_FromFormat("Repr-ified_newdatatype{{size:%d}}",
                                obj->obj_UnderlyingDatatypePtr->size);
}

If no tp_repr handler is specified, the interpreter will supply a representation that uses the type’s tp_name and a uniquely identifying value for the object.

The tp_str handler is to str() what the tp_repr handler described above is to repr(); that is, it is called when Python code calls str() on an instance of your object. Its implementation is very similar to the tp_repr function, but the resulting string is intended for human consumption. If tp_str is not specified, the tp_repr handler is used instead.

Here is a simple example:

static PyObject *
newdatatype_str(newdatatypeobject *obj)
{
    return PyUnicode_FromFormat("Stringified_newdatatype{{size:%d}}",
                                obj->obj_UnderlyingDatatypePtr->size);
}

3.3. Attribute Management

For every object which can support attributes, the corresponding type must provide the functions that control how the attributes are resolved. There needs to be a function which can retrieve attributes (if any are defined), and another to set attributes (if setting attributes is allowed). Removing an attribute is a special case, for which the new value passed to the handler is NULL.

Python supports two pairs of attribute handlers; a type that supports attributes only needs to implement the functions for one pair. The difference is that one pair takes the name of the attribute as a char*, while the other accepts a PyObject*. Each type can use whichever pair makes more sense for the implementation’s convenience.

getattrfunc  tp_getattr;        /* char * version */
setattrfunc  tp_setattr;
/* ... */
getattrofunc tp_getattro;       /* PyObject * version */
setattrofunc tp_setattro;

If accessing attributes of an object is always a simple operation (this will be explained shortly), there are generic implementations which can be used to provide the PyObject* version of the attribute management functions. The actual need for type-specific attribute handlers almost completely disappeared starting with Python 2.2, though there are many examples which have not been updated to use some of the new generic mechanism that is available.

3.3.1. Generic Attribute Management

Most extension types only use simple attributes. So, what makes the attributes simple? There are only a couple of conditions that must be met:

The name of the attributes must be known when PyType_Ready() is called.

No special processing is needed to record that an attribute was looked up or set, nor do actions need to be taken based on the value.

Note that this list does not place any restrictions on the values of the attributes, when the values are computed, or how relevant data is stored.

When PyType_Ready() is called, it uses three tables referenced by the type object to create descriptors which are placed in the dictionary of the type object. Each descriptor controls access to one attribute of the instance object. Each of the tables is optional; if all three are NULL, instances of the type will only have attributes that are inherited from their base type, and should leave the tp_getattro and tp_setattro fields NULL as well, allowing the base type to handle attributes.

The tables are declared as three fields of the type object:

struct PyMethodDef *tp_methods;
struct PyMemberDef *tp_members;
struct PyGetSetDef *tp_getset;

If tp_methods is not NULL, it must refer to an array of PyMethodDef structures. Each entry in the table is an instance of this structure:

typedef struct PyMethodDef {
    const char  *ml_name;       /* method name */
    PyCFunction  ml_meth;       /* implementation function */
    int          ml_flags;      /* flags */
    const char  *ml_doc;        /* docstring */
} PyMethodDef;

One entry should be defined for each method provided by the type; no entries are needed for methods inherited from a base type. One additional entry is needed at the end; it is a sentinel that marks the end of the array. The ml_name field of the sentinel must be NULL.

The second table is used to define attributes which map directly to data stored in the instance. A variety of primitive C types are supported, and access may be read-only or read-write. The structures in the table are defined as:

typedef struct PyMemberDef {
    const char *name;
    int         type;
    int         offset;
    int         flags;
    const char *doc;
} PyMemberDef;

For each entry in the table, a descriptor will be constructed and added to the type which will be able to extract a value from the instance structure. The type field should contain a type code like Py_T_INT or Py_T_DOUBLE; the value will be used to determine how to convert Python values to and from C values. The flags field is used to store flags which control how the attribute can be accessed: you can set it to Py_READONLY to prevent Python code from setting it.

An interesting advantage of using the tp_members table to build descriptors that are used at runtime is that any attribute defined this way can have an associated doc string simply by providing the text in the table. An application can use the introspection API to retrieve the descriptor from the class object, and get the doc string using its __doc__ attribute.

As with the tp_methods table, a sentinel entry with a ml_name value of NULL is required.

3.3.2. Type-specific Attribute Management

For simplicity, only the char* version will be demonstrated here; the type of the name parameter is the only difference between the char* and PyObject* flavors of the interface. This example effectively does the same thing as the generic example above, but does not use the generic support added in Python 2.2. It explains how the handler functions are called, so that if you do need to extend their functionality, you’ll understand what needs to be done.

The tp_getattr handler is called when the object requires an attribute look-up. It is called in the same situations where the __getattr__() method of a class would be called.

Aqui está um exemplo:

static PyObject *
newdatatype_getattr(newdatatypeobject *obj, char *name)
{
    if (strcmp(name, "data") == 0)
    {
        return PyLong_FromLong(obj->data);
    }

    PyErr_Format(PyExc_AttributeError,
                 "'%.100s' object has no attribute '%.400s'",
                 Py_TYPE(obj)->tp_name, name);
    return NULL;
}

The tp_setattr handler is called when the __setattr__() or __delattr__() method of a class instance would be called. When an attribute should be deleted, the third parameter will be NULL. Here is an example that simply raises an exception; if this were really all you wanted, the tp_setattr handler should be set to NULL.

static int
newdatatype_setattr(newdatatypeobject *obj, char *name, PyObject *v)
{
    PyErr_Format(PyExc_RuntimeError, "Read-only attribute: %s", name);
    return -1;
}

3.4. Object Comparison

richcmpfunc tp_richcompare;

The tp_richcompare handler is called when comparisons are needed. It is analogous to the rich comparison methods, like __lt__(), and also called by PyObject_RichCompare() and PyObject_RichCompareBool().

This function is called with two Python objects and the operator as arguments, where the operator is one of Py_EQ, Py_NE, Py_LE, Py_GE, Py_LT or Py_GT. It should compare the two objects with respect to the specified operator and return Py_True or Py_False if the comparison is successful, Py_NotImplemented to indicate that comparison is not implemented and the other object’s comparison method should be tried, or NULL if an exception was set.

Here is a sample implementation, for a datatype that is considered equal if the size of an internal pointer is equal:

static PyObject *
newdatatype_richcmp(newdatatypeobject *obj1, newdatatypeobject *obj2, int op)
{
    PyObject *result;
    int c, size1, size2;

    /* code to make sure that both arguments are of type
       newdatatype omitted */

    size1 = obj1->obj_UnderlyingDatatypePtr->size;
    size2 = obj2->obj_UnderlyingDatatypePtr->size;

    switch (op) {
    case Py_LT: c = size1 <  size2; break;
    case Py_LE: c = size1 <= size2; break;
    case Py_EQ: c = size1 == size2; break;
    case Py_NE: c = size1 != size2; break;
    case Py_GT: c = size1 >  size2; break;
    case Py_GE: c = size1 >= size2; break;
    }
    result = c ? Py_True : Py_False;
    Py_INCREF(result);
    return result;
 }

3.5. Abstract Protocol Support

Python supports a variety of abstract ‘protocols;’ the specific interfaces provided to use these interfaces are documented in Camada de Objetos Abstratos.

A number of these abstract interfaces were defined early in the development of the Python implementation. In particular, the number, mapping, and sequence protocols have been part of Python since the beginning. Other protocols have been added over time. For protocols which depend on several handler routines from the type implementation, the older protocols have been defined as optional blocks of handlers referenced by the type object. For newer protocols there are additional slots in the main type object, with a flag bit being set to indicate that the slots are present and should be checked by the interpreter. (The flag bit does not indicate that the slot values are non-NULL. The flag may be set to indicate the presence of a slot, but a slot may still be unfilled.)

PyNumberMethods   *tp_as_number;
PySequenceMethods *tp_as_sequence;
PyMappingMethods  *tp_as_mapping;

If you wish your object to be able to act like a number, a sequence, or a mapping object, then you place the address of a structure that implements the C type PyNumberMethods, PySequenceMethods, or PyMappingMethods, respectively. It is up to you to fill in this structure with appropriate values. You can find examples of the use of each of these in the Objects directory of the Python source distribution.

hashfunc tp_hash;

This function, if you choose to provide it, should return a hash number for an instance of your data type. Here is a simple example:

static Py_hash_t
newdatatype_hash(newdatatypeobject *obj)
{
    Py_hash_t result;
    result = obj->some_size + 32767 * obj->some_number;
    if (result == -1)
       result = -2;
    return result;
}

Py_hash_t is a signed integer type with a platform-varying width. Returning -1 from tp_hash indicates an error, which is why you should be careful to avoid returning it when hash computation is successful, as seen above.

ternaryfunc tp_call;

This function is called when an instance of your data type is “called”, for example, if obj1 is an instance of your data type and the Python script contains obj1('hello'), the tp_call handler is invoked.

This function takes three arguments:

self is the instance of the data type which is the subject of the call. If the call is obj1('hello'), then self is obj1.

args is a tuple containing the arguments to the call. You can use PyArg_ParseTuple() to extract the arguments.

kwds is a dictionary of keyword arguments that were passed. If this is non-NULL and you support keyword arguments, use PyArg_ParseTupleAndKeywords() to extract the arguments. If you do not want to support keyword arguments and this is non-NULL, raise a TypeError with a message saying that keyword arguments are not supported.

Here is a toy tp_call implementation:

static PyObject *
newdatatype_call(newdatatypeobject *obj, PyObject *args, PyObject *kwds)
{
    PyObject *result;
    const char *arg1;
    const char *arg2;
    const char *arg3;

    if (!PyArg_ParseTuple(args, "sss:call", &arg1, &arg2, &arg3)) {
        return NULL;
    }
    result = PyUnicode_FromFormat(
        "Returning -- value: [%d] arg1: [%s] arg2: [%s] arg3: [%s]\n",
        obj->obj_UnderlyingDatatypePtr->size,
        arg1, arg2, arg3);
    return result;
}

/* Iterators */
getiterfunc tp_iter;
iternextfunc tp_iternext;

These functions provide support for the iterator protocol. Both handlers take exactly one parameter, the instance for which they are being called, and return a new reference. In the case of an error, they should set an exception and return NULL. tp_iter corresponds to the Python __iter__() method, while tp_iternext corresponds to the Python __next__() method.

Any iterable object must implement the tp_iter handler, which must return an iterator object. Here the same guidelines apply as for Python classes:

For collections (such as lists and tuples) which can support multiple independent iterators, a new iterator should be created and returned by each call to tp_iter.

Objects which can only be iterated over once (usually due to side effects of iteration, such as file objects) can implement tp_iter by returning a new reference to themselves – and should also therefore implement the tp_iternext handler.

Any iterator object should implement both tp_iter and tp_iternext. An iterator’s tp_iter handler should return a new reference to the iterator. Its tp_iternext handler should return a new reference to the next object in the iteration, if there is one. If the iteration has reached the end, tp_iternext may return NULL without setting an exception, or it may set StopIteration in addition to returning NULL; avoiding the exception can yield slightly better performance. If an actual error occurs, tp_iternext should always set an exception and return NULL.

3.6. Weak Reference Support

One of the goals of Python’s weak reference implementation is to allow any type to participate in the weak reference mechanism without incurring the overhead on performance-critical objects (such as numbers).

Ver também

Documentação do módulo weakref.

For an object to be weakly referenceable, the extension type must set the Py_TPFLAGS_MANAGED_WEAKREF bit of the tp_flags field. The legacy tp_weaklistoffset field should be left as zero.

Concretely, here is how the statically declared type object would look:

static PyTypeObject TrivialType = {
    PyVarObject_HEAD_INIT(NULL, 0)
    /* ... other members omitted for brevity ... */
    .tp_flags = Py_TPFLAGS_MANAGED_WEAKREF | ...,
};

The only further addition is that tp_dealloc needs to clear any weak references (by calling PyObject_ClearWeakRefs()):

static void
Trivial_dealloc(TrivialObject *self)
{
    /* Clear weakrefs first before calling any destructors */
    PyObject_ClearWeakRefs((PyObject *) self);
    /* ... remainder of destruction code omitted for brevity ... */
    Py_TYPE(self)->tp_free((PyObject *) self);
}

3.7. More Suggestions

In order to learn how to implement any specific method for your new data type, get the CPython source code. Go to the Objects directory, then search the C source files for tp_ plus the function you want (for example, tp_richcompare). You will find examples of the function you want to implement.

When you need to verify that an object is a concrete instance of the type you are implementing, use the PyObject_TypeCheck() function. A sample of its use might be something like the following:

if (!PyObject_TypeCheck(some_object, &MyType)) {
    PyErr_SetString(PyExc_TypeError, "arg #1 not a mything");
    return NULL;
}

Ver também

Download CPython source releases.

https://www.python.org/downloads/source/

The CPython project on GitHub, where the CPython source code is developed.

https://github.com/python/cpython

4. Construindo extensões C e C++

Uma extensão C para CPython é uma biblioteca compartilhada (por exemplo, um arquivo .so no Linux, .pyd no Windows), que exporta uma função de inicialização.

Para ser importável, a biblioteca compartilhada deve estar disponível em PYTHONPATH, e deve ser nomeada após o nome do módulo, com uma extensão apropriada. Ao usar setuptools, o nome do arquivo correto é gerado automaticamente.

A função de inicialização tem a assinatura:

PyObject *PyInit_modulename(void)

Ela retorna um módulo totalmente inicializado ou uma instância de PyModuleDef. Veja Inicializando módulos C para detalhes.

Para módulos com nomes somente ASCII, a função deve ser nomeada PyInit_<nomemódulo>, com <nomemódulo> substituído pelo nome do módulo. Ao usar Inicialização multifásica, nomes de módulos não ASCII são permitidos. Neste caso, o nome da função de inicialização é PyInitU_<nomemódulo>, com <nomemódulo> codificado usando a codificação punycode do Python com hifenes substituídos por sublinhados. Em Python:

def nome_func_iniciadora(nome):
    try:
        sufixo = b'_' + nome.encode('ascii')
    except UnicodeEncodeError:
        sufixo = b'U_' + nome.encode('punycode').replace(b'-', b'_')
    return b'PyInit' + sufixo

É possível exportar vários módulos de uma única biblioteca compartilhada, definindo várias funções de inicialização. No entanto, importá-los requer o uso de links simbólicos ou um importador personalizado, porque por padrão apenas a função correspondente ao nome do arquivo é encontrada. Veja a seção “Multiple modules in one library” na PEP 489 [https://peps.python.org/pep-0489/] para detalhes.

4.1. Construindo extensões C e C ++ com setuptools

O Python 3.12 e mais recente não vêm mais com distutils. Consulte a documentação setuptools em https://setuptools.readthedocs.io/en/latest/setuptools.html para saber mais sobre como construir e distribuir extensões C/C++ com setuptools.

5. Construindo Extensões C e C++ no Windows

Este capítulo explica brevemente como criar um módulo de extensão do Windows para Python usando o Microsoft Visual C++ e segue com informações mais detalhadas sobre como ele funciona. O material explicativo é útil para o programador do Windows aprender a construir extensões Python e o programador Unix interessado em produzir software que possa ser construído com sucesso no Unix e no Windows.

Os autores de módulos são encorajados a usar a abordagem distutils para construir módulos de extensão, em vez daquele descrito nesta seção. Você ainda precisará do compilador C que foi usado para construir o Python; normalmente o Microsoft Visual C++.

Nota

Este capítulo menciona vários nomes de arquivos que incluem um número de versão do Python codificado. Esses nomes de arquivos são representados com o número da versão mostrado como XY; na prática, 'X' será o número da versão principal e 'Y' será o número da versão secundária da versão do Python com a qual você está trabalhando. Por exemplo, se você estiver usando o Python 2.2.1, XY será 22.

5.1. Uma abordagem de livro de receitas

Existem duas abordagens para construir módulos de extensão no Windows, assim como no Unix: use o pacote setuptools para controlar o processo de construção ou faça as coisas manualmente. A abordagem setuptools funciona bem para a maioria das extensões; documentação sobre o uso de setuptools para construir e empacotar módulos de extensão está disponível em Construindo extensões C e C ++ com setuptools. Se você achar que realmente precisa fazer as coisas manualmente, pode ser instrutivo estudar o arquivo do projeto para o módulo de biblioteca padrão winsound [https://github.com/python/cpython/tree/3.13/PCbuild/winsound.vcxproj].

5.2. Diferenças entre o Unix e o Windows

O Unix e o Windows usam paradigmas completamente diferentes para o carregamento do código em tempo de execução. Antes de tentar construir um módulo que possa ser carregado dinamicamente, esteja ciente de como o seu sistema funciona.

No Unix, um arquivo de objeto compartilhado (.so) contém código a ser usado pelo programa e também os nomes de funções e dados que ele espera encontrar no programa. Quando o arquivo é associado ao programa, todas as referências a essas funções e dados no código do arquivo são alteradas para apontar para os locais reais no programa em que as funções e os dados são colocados na memória. Isso é basicamente uma operação de vinculação.

No Windows, um arquivo de biblioteca de vínculo dinâmico (.dll) não possui referências pendentes. Em vez disso, um acesso a funções ou dados passa por uma tabela de pesquisa. Portanto, o código DLL não precisa ser corrigido no tempo de execução para se referir à memória do programa; em vez disso, o código já usa a tabela de pesquisa da DLL e a tabela de pesquisa é modificada em tempo de execução para apontar para as funções e dados.

No Unix, existe apenas um tipo de arquivo de biblioteca (.a) que contém código de vários arquivos de objetos (.o). Durante a etapa da vinculação para criar um arquivo de objeto compartilhado (.so), o vinculador pode achar que não sabe onde um identificador está definido. O vinculador procurará nos arquivos de objeto nas bibliotecas; se encontrar, incluirá todo o código desse arquivo de objeto.

No Windows, existem dois tipos de biblioteca, uma biblioteca estática e uma biblioteca de importação (ambas chamadas .lib). Uma biblioteca estática é como um arquivo Unix .a; contém código a ser incluído conforme necessário. Uma biblioteca de importação é basicamente usada apenas para garantir ao vinculador que um determinado identificador é legal e estará presente no programa quando a DLL for carregada. Portanto, o vinculador usa as informações da biblioteca de importação para construir a tabela de pesquisa para o uso de identificadores que não estão incluídos na DLL. Quando uma aplicação ou uma DLL é vinculado, pode ser gerada uma biblioteca de importação, que precisará ser usada para todas as DLLs futuras que dependem dos símbolos na aplicação ou DLL.

Suponha que você esteja construindo dois módulos de carregamento dinâmico, B e C, que devem compartilhar outro bloco de código A. No Unix, você não passaria A.a ao vinculador para B.so e C.so; isso faria com que fosse incluído duas vezes, para que B e C tivessem sua própria cópia. No Windows, a construção A.dll também construirá A.lib. Você passa A.lib ao vinculador para B e C. A.lib não contém código; apenas contém informações que serão usadas em tempo de execução para acessar o código de A.

No Windows, usar uma biblioteca de importação é como usar import spam; fornece acesso aos nomes de spam, mas não cria uma cópia separada. No Unix, vincular a uma biblioteca é mais como from spam import *; ele cria uma cópia separada.

5.3. Usando DLLs na prática

O Python para Windows é criado no Microsoft Visual C++; o uso de outros compiladores pode ou não funcionar. O restante desta seção é específico do MSVC++.

Ao criar DLLs no Windows, você deve passar pythonXY.lib para o vinculador. Para construir duas DLLs, spam e ni (que usa funções C encontradas em spam), você pode usar estes comandos:

cl /LD /I/python/include spam.c ../libs/pythonXY.lib
cl /LD /I/python/include ni.c spam.lib ../libs/pythonXY.lib

O primeiro comando criou três arquivos: spam.obj, spam.dll e spam.lib. O spam.dll não contém nenhuma função Python (como PyArg_ParseTuple()), mas sabe como encontrar o código Python graças a pythonXY.lib.

O segundo comando criou ni.dll (e .obj e .lib), que sabe como encontrar as funções necessárias do spam e também do executável do Python.

Nem todo identificador é exportado para a tabela de pesquisa. Se você deseja que outros módulos (incluindo Python) possam ver seus identificadores, é necessário dizer _declspec(dllexport), como em void _declspec(dllexport) initspam(void) ou PyObject _declspec(dllexport) *NiGetSpamData(void).

O Developer Studio incluirá muitas bibliotecas importadas que você realmente não precisa, adicionando cerca de 100K ao seu executável. Para se livrar delas, use a caixa de diálogo de configurações do projeto, na aba vincular, para especificar ignorar bibliotecas padrão. Adicione o msvcrtxx.lib correto à lista de bibliotecas.

1. Incorporando o Python numa Outra Aplicação

Os capítulos anteriores discutiram como estender o Python, ou seja, como expandir a funcionalidade do Python anexando uma biblioteca de funções em C a ele. Também é possível fazer o inverso: enriquecer sua aplicação em C/C++ incorporando o Python nela. A incorporação fornece à sua aplicação a capacidade de implementar parte da funcionalidade da aplicação em Python em vez de C ou C++. Isso pode ser usado para diversos propósitos; um exemplo seria permitir que os usuários personalizem a aplicação de acordo com suas necessidades escrevendo alguns scripts em Python. Você também pode usá-la se parte da funcionalidade puder ser escrita em Python mais facilmente.

Incorporar o Python é semelhante a estendê-lo, mas não exatamente. A diferença é que, ao estender o Python, o programa principal da aplicação ainda é o interpretador Python, enquanto que, se você incorporar o Python, o programa principal pode não ter nada a ver com o Python — em vez disso, algumas partes da aplicação chamam ocasionalmente o interpretador Python para executar algum código Python.

So if you are embedding Python, you are providing your own main program. One of the things this main program has to do is initialize the Python interpreter. At the very least, you have to call the function Py_Initialize(). There are optional calls to pass command line arguments to Python. Then later you can call the interpreter from any part of the application.

There are several different ways to call the interpreter: you can pass a string containing Python statements to PyRun_SimpleString(), or you can pass a stdio file pointer and a file name (for identification in error messages only) to PyRun_SimpleFile(). You can also call the lower-level operations described in the previous chapters to construct and use Python objects.

Ver também

Manual de referência da API Python/C

The details of Python’s C interface are given in this manual. A great deal of necessary information can be found here.

1.1. Very High Level Embedding

The simplest form of embedding Python is the use of the very high level interface. This interface is intended to execute a Python script without needing to interact with the application directly. This can for example be used to perform some operation on a file.

#define PY_SSIZE_T_CLEAN
#include <Python.h>

int
main(int argc, char *argv[])
{
    PyStatus status;
    PyConfig config;
    PyConfig_InitPythonConfig(&config);

    /* optional but recommended */
    status = PyConfig_SetBytesString(&config, &config.program_name, argv[0]);
    if (PyStatus_Exception(status)) {
        goto exception;
    }

    status = Py_InitializeFromConfig(&config);
    if (PyStatus_Exception(status)) {
        goto exception;
    }
    PyConfig_Clear(&config);

    PyRun_SimpleString("from time import time,ctime\n"
                       "print('Today is', ctime(time()))\n");
    if (Py_FinalizeEx() < 0) {
        exit(120);
    }
    return 0;

  exception:
     PyConfig_Clear(&config);
     Py_ExitStatusException(status);
}

Nota

#define PY_SSIZE_T_CLEAN was used to indicate that Py_ssize_t should be used in some APIs instead of int. It is not necessary since Python 3.13, but we keep it here for backward compatibility. See Strings e buffers for a description of this macro.

Setting PyConfig.program_name should be called before Py_InitializeFromConfig() to inform the interpreter about paths to Python run-time libraries. Next, the Python interpreter is initialized with Py_Initialize(), followed by the execution of a hard-coded Python script that prints the date and time. Afterwards, the Py_FinalizeEx() call shuts the interpreter down, followed by the end of the program. In a real program, you may want to get the Python script from another source, perhaps a text-editor routine, a file, or a database. Getting the Python code from a file can better be done by using the PyRun_SimpleFile() function, which saves you the trouble of allocating memory space and loading the file contents.

1.2. Beyond Very High Level Embedding: An overview

The high level interface gives you the ability to execute arbitrary pieces of Python code from your application, but exchanging data values is quite cumbersome to say the least. If you want that, you should use lower level calls. At the cost of having to write more C code, you can achieve almost anything.

It should be noted that extending Python and embedding Python is quite the same activity, despite the different intent. Most topics discussed in the previous chapters are still valid. To show this, consider what the extension code from Python to C really does:

Convert data values from Python to C,

Perform a function call to a C routine using the converted values, and

Convert the data values from the call from C to Python.

When embedding Python, the interface code does:

Convert data values from C to Python,

Perform a function call to a Python interface routine using the converted values, and

Convert the data values from the call from Python to C.

As you can see, the data conversion steps are simply swapped to accommodate the different direction of the cross-language transfer. The only difference is the routine that you call between both data conversions. When extending, you call a C routine, when embedding, you call a Python routine.

This chapter will not discuss how to convert data from Python to C and vice versa. Also, proper use of references and dealing with errors is assumed to be understood. Since these aspects do not differ from extending the interpreter, you can refer to earlier chapters for the required information.

1.3. Pure Embedding

The first program aims to execute a function in a Python script. Like in the section about the very high level interface, the Python interpreter does not directly interact with the application (but that will change in the next section).

The code to run a function defined in a Python script is:

#define PY_SSIZE_T_CLEAN
#include <Python.h>

int
main(int argc, char *argv[])
{
    PyObject *pName, *pModule, *pFunc;
    PyObject *pArgs, *pValue;
    int i;

    if (argc < 3) {
        fprintf(stderr,"Usage: call pythonfile funcname [args]\n");
        return 1;
    }

    Py_Initialize();
    pName = PyUnicode_DecodeFSDefault(argv[1]);
    /* Error checking of pName left out */

    pModule = PyImport_Import(pName);
    Py_DECREF(pName);

    if (pModule != NULL) {
        pFunc = PyObject_GetAttrString(pModule, argv[2]);
        /* pFunc is a new reference */

        if (pFunc && PyCallable_Check(pFunc)) {
            pArgs = PyTuple_New(argc - 3);
            for (i = 0; i < argc - 3; ++i) {
                pValue = PyLong_FromLong(atoi(argv[i + 3]));
                if (!pValue) {
                    Py_DECREF(pArgs);
                    Py_DECREF(pModule);
                    fprintf(stderr, "Cannot convert argument\n");
                    return 1;
                }
                /* pValue reference stolen here: */
                PyTuple_SetItem(pArgs, i, pValue);
            }
            pValue = PyObject_CallObject(pFunc, pArgs);
            Py_DECREF(pArgs);
            if (pValue != NULL) {
                printf("Result of call: %ld\n", PyLong_AsLong(pValue));
                Py_DECREF(pValue);
            }
            else {
                Py_DECREF(pFunc);
                Py_DECREF(pModule);
                PyErr_Print();
                fprintf(stderr,"Call failed\n");
                return 1;
            }
        }
        else {
            if (PyErr_Occurred())
                PyErr_Print();
            fprintf(stderr, "Cannot find function \"%s\"\n", argv[2]);
        }
        Py_XDECREF(pFunc);
        Py_DECREF(pModule);
    }
    else {
        PyErr_Print();
        fprintf(stderr, "Failed to load \"%s\"\n", argv[1]);
        return 1;
    }
    if (Py_FinalizeEx() < 0) {
        return 120;
    }
    return 0;
}

This code loads a Python script using argv[1], and calls the function named in argv[2]. Its integer arguments are the other values of the argv array. If you compile and link this program (let’s call the finished executable call), and use it to execute a Python script, such as:

def multiply(a,b):
    print("Will compute", a, "times", b)
    c = 0
    for i in range(0, a):
        c = c + b
    return c

then the result should be:

$ call multiply multiply 3 2
Will compute 3 times 2
Result of call: 6

Although the program is quite large for its functionality, most of the code is for data conversion between Python and C, and for error reporting. The interesting part with respect to embedding Python starts with

Py_Initialize();
pName = PyUnicode_DecodeFSDefault(argv[1]);
/* Error checking of pName left out */
pModule = PyImport_Import(pName);

After initializing the interpreter, the script is loaded using PyImport_Import(). This routine needs a Python string as its argument, which is constructed using the PyUnicode_FromString() data conversion routine.

pFunc = PyObject_GetAttrString(pModule, argv[2]);
/* pFunc is a new reference */

if (pFunc && PyCallable_Check(pFunc)) {
    ...
}
Py_XDECREF(pFunc);

Once the script is loaded, the name we’re looking for is retrieved using PyObject_GetAttrString(). If the name exists, and the object returned is callable, you can safely assume that it is a function. The program then proceeds by constructing a tuple of arguments as normal. The call to the Python function is then made with:

pValue = PyObject_CallObject(pFunc, pArgs);

Upon return of the function, pValue is either NULL or it contains a reference to the return value of the function. Be sure to release the reference after examining the value.

1.4. Extending Embedded Python

Until now, the embedded Python interpreter had no access to functionality from the application itself. The Python API allows this by extending the embedded interpreter. That is, the embedded interpreter gets extended with routines provided by the application. While it sounds complex, it is not so bad. Simply forget for a while that the application starts the Python interpreter. Instead, consider the application to be a set of subroutines, and write some glue code that gives Python access to those routines, just like you would write a normal Python extension. For example:

static int numargs=0;

/* Return the number of arguments of the application command line */
static PyObject*
emb_numargs(PyObject *self, PyObject *args)
{
    if(!PyArg_ParseTuple(args, ":numargs"))
        return NULL;
    return PyLong_FromLong(numargs);
}

static PyMethodDef EmbMethods[] = {
    {"numargs", emb_numargs, METH_VARARGS,
     "Return the number of arguments received by the process."},
    {NULL, NULL, 0, NULL}
};

static PyModuleDef EmbModule = {
    PyModuleDef_HEAD_INIT, "emb", NULL, -1, EmbMethods,
    NULL, NULL, NULL, NULL
};

static PyObject*
PyInit_emb(void)
{
    return PyModule_Create(&EmbModule);
}

Insert the above code just above the main() function. Also, insert the following two statements before the call to Py_Initialize():

numargs = argc;
PyImport_AppendInittab("emb", &PyInit_emb);

These two lines initialize the numargs variable, and make the emb.numargs() function accessible to the embedded Python interpreter. With these extensions, the Python script can do things like

import emb
print("Number of arguments", emb.numargs())

In a real application, the methods will expose an API of the application to Python.

1.5. Embedding Python in C++

It is also possible to embed Python in a C++ program; precisely how this is done will depend on the details of the C++ system used; in general you will need to write the main program in C++, and use the C++ compiler to compile and link your program. There is no need to recompile Python itself using C++.

1.6. Compiling and Linking under Unix-like systems

It is not necessarily trivial to find the right flags to pass to your compiler (and linker) in order to embed the Python interpreter into your application, particularly because Python needs to load library modules implemented as C dynamic extensions (.so files) linked against it.

To find out the required compiler and linker flags, you can execute the pythonX.Y-config script which is generated as part of the installation process (a python3-config script may also be available). This script has several options, of which the following will be directly useful to you:

pythonX.Y-config --cflags will give you the recommended flags when compiling:

$ /opt/bin/python3.11-config --cflags
-I/opt/include/python3.11 -I/opt/include/python3.11 -Wsign-compare  -DNDEBUG -g -fwrapv -O3 -Wall

pythonX.Y-config --ldflags --embed will give you the recommended flags when linking:

$ /opt/bin/python3.11-config --ldflags --embed
-L/opt/lib/python3.11/config-3.11-x86_64-linux-gnu -L/opt/lib -lpython3.11 -lpthread -ldl  -lutil -lm

Nota

To avoid confusion between several Python installations (and especially between the system Python and your own compiled Python), it is recommended that you use the absolute path to pythonX.Y-config, as in the above example.

If this procedure doesn’t work for you (it is not guaranteed to work for all Unix-like platforms; however, we welcome bug reports) you will have to read your system’s documentation about dynamic linking and/or examine Python’s Makefile (use sysconfig.get_makefile_filename() to find its location) and compilation options. In this case, the sysconfig module is a useful tool to programmatically extract the configuration values that you will want to combine together. For example:

>>> import sysconfig
>>> sysconfig.get_config_var('LIBS')
'-lpthread -ldl  -lutil'
>>> sysconfig.get_config_var('LINKFORSHARED')
'-Xlinker -export-dynamic'

Manual de referência da API Python/C

Este manual documenta a API usada por programadores C e C++ que desejam escrever módulos de extensões ou embutir Python. É um complemento para Estendendo e Incorporando o Interpretador Python, que descreve os princípios gerais da escrita de extensões mas não documenta as funções da API em detalhes.

Introdução

Padrões de codificação

Arquivos de inclusão

Macros úteis

Objetos, tipos e contagens de referências

Exceções

Incorporando Python

Compilações de depuração

Estabilidade da API C

API C Instável

Interface Binária de Aplicação Estável

Considerações da plataforma

Conteúdo da API Limitada

A camada de Mais Alto Nível

Contagem de Referências

Manipulando Exceções

Impressão e limpeza

Lançando exceções

Emitindo advertências

Consultando o indicador de erro

Tratamento de sinal

Classes de exceção

Objeto Exceção

Objetos de exceção Unicode

Controle de recursão

Exceções Padrão

Categorias de aviso padrão

Utilitários

Utilitários do sistema operacional

System Functions

Process Control

Importando módulos

Suporte a marshalling de dados

Análise de argumentos e construção de valores

Conversão e formação de strings

API do PyHash

Reflexão

Registro de codec e funções de suporte

API C PyTime

Suporte a Mapas do Perf

Camada de Objetos Abstratos

Protocolo de objeto

Protocolo de chamada

Protocolo de número

Protocolo de sequência

Protocolo de mapeamento

Protocolo Iterador

Protocolo de Buffer

Camada de Objetos Concretos

Objetos Fundamentais

Objetos Numéricos

Objetos Sequência

Coleções

Objetos Função

Outros Objetos

Inicialização, finalização e threads

Antes da inicialização do Python

Variáveis de configuração global

Inicializando e encerrando o interpretador

Process-wide parameters

Thread State and the Global Interpreter Lock

Sub-interpreter support

Notificações assíncronas

Profiling and Tracing

Reference tracing

Advanced Debugger Support

Thread Local Storage Support

Synchronization Primitives

Configuração de Inicialização do Python

Exemplo

PyWideStringList

PyStatus

PyPreConfig

Pré-inicializar Python com PyPreConfig

PyConfig

Initialization with PyConfig

Isolated Configuration

Configuração do Python

Python Path Configuration

Py_GetArgcArgv()

Multi-Phase Initialization Private Provisional API

Gerenciamento de Memória

Visão Geral

Allocator Domains

Raw Memory Interface

Interface da Memória

Alocadores de objeto

Alocadores de memória padrão

Alocadores de memória

Debug hooks on the Python memory allocators

The pymalloc allocator

The mimalloc allocator

tracemalloc C API

Exemplos

Suporte a implementação de Objetos

Alocando Objetos na Pilha

Estruturas comuns de objetos

Objetos tipo

Number Object Structures

Mapping Object Structures

Sequence Object Structures

Buffer Object Structures

Async Object Structures

Slot Type typedefs

Exemplos

Suporte a Coleta Cíclica de Lixo

API e Versionamento de ABI

API C de Monitoramento

Gerando Eventos de Execução

Gerenciando o Estado de um Monitoramento

Introdução

A Interface de Programação de Aplicações (API) para Python fornece aos programadores C e C++ acesso ao interpretador Python em uma variedade de níveis. A API pode ser usada igualmente em C++, mas, para abreviar, geralmente é chamada de API Python/C. Existem dois motivos fundamentalmente diferentes para usar a API Python/C. A primeira razão é escrever módulos de extensão para propósitos específicos; esses são módulos C que estendem o interpretador Python. Este é provavelmente o uso mais comum. O segundo motivo é usar Python como um componente em uma aplicação maior; esta técnica é geralmente referida como incorporação Python em uma aplicação.

Escrever um módulo de extensão é um processo relativamente bem compreendido, no qual uma abordagem de “livro de receitas” funciona bem. Existem várias ferramentas que automatizam o processo até certo ponto. Embora as pessoas tenham incorporado o Python em outras aplicações desde sua existência inicial, o processo de incorporação do Python é menos direto do que escrever uma extensão.

Muitas funções da API são úteis independentemente de você estar incorporando ou estendendo o Python; além disso, a maioria das aplicações que incorporam Python também precisará fornecer uma extensão customizada, portanto, é provavelmente uma boa ideia se familiarizar com a escrita de uma extensão antes de tentar incorporar Python em uma aplicação real.

Padrões de codificação

Se você estiver escrevendo código C para inclusão no CPython, deve seguir as diretrizes e padrões definidos na PEP 7 [https://peps.python.org/pep-0007/]. Essas diretrizes se aplicam independentemente da versão do Python com a qual você está contribuindo. Seguir essas convenções não é necessário para seus próprios módulos de extensão de terceiros, a menos que você eventualmente espere contribuí-los para o Python.

Arquivos de inclusão

Todas as definições de função, tipo e macro necessárias para usar a API Python/C estão incluídas em seu código pela seguinte linha:

#define PY_SSIZE_T_CLEAN
#include <Python.h>

Isso implica a inclusão dos seguintes cabeçalhos padrão: <stdio.h>, <string.h>, <errno.h>, <limits.h>, <assert.h> e <stdlib.h> (se disponível).

Nota

Uma vez que Python pode definir algumas definições de pré-processador que afetam os cabeçalhos padrão em alguns sistemas, você deve incluir Python.h antes de quaisquer cabeçalhos padrão serem incluídos.

É recomendável sempre definir PY_SSIZE_T_CLEAN antes de incluir Python.h. Veja Análise de argumentos e construção de valores para uma descrição desta macro.

Todos os nomes visíveis ao usuário definidos por Python.h (exceto aqueles definidos pelos cabeçalhos padrão incluídos) têm um dos prefixos Py ou _Py. Nomes começando com _Py são para uso interno pela implementação Python e não devem ser usados por escritores de extensão. Os nomes dos membros da estrutura não têm um prefixo reservado.

Nota

O código do usuário nunca deve definir nomes que começam com Py ou _Py. Isso confunde o leitor e coloca em risco a portabilidade do código do usuário para versões futuras do Python, que podem definir nomes adicionais começando com um desses prefixos.

Os arquivos de cabeçalho são normalmente instalados com Python. No Unix, eles estão localizados nos diretórios prefix/include/pythonversion/ e exec_prefix/include/pythonversion/, onde prefix e exec_prefix são definidos pelos parâmetros correspondentes ao script configure e version do Python é '%d.%d' % sys.version_info[:2]. No Windows, os cabeçalhos são instalados em prefix/include, onde prefix é o diretório de instalação especificado para o instalador.

Para incluir os cabeçalhos, coloque os dois diretórios (se diferentes) no caminho de pesquisa do compilador para as inclusões. Não coloque os diretórios pais no caminho de busca e então use #include <pythonX.Y/Python.h>; isto irá quebrar em compilações multiplataforma, uma vez que os cabeçalhos independentes da plataforma em prefix incluem os cabeçalhos específicos da plataforma de exec_prefix.

Os usuários de C++ devem notar que embora a API seja definida inteiramente usando C, os arquivos de cabeçalho declaram apropriadamente os pontos de entrada como extern "C". Como resultado, não há necessidade de fazer nada especial para usar a API do C++.

Macros úteis

Diversas macros úteis são definidas nos arquivos de cabeçalho do Python. Muitas são definidas mais próximas de onde são úteis (por exemplo, Py_RETURN_NONE). Outras de utilidade mais geral são definidas aqui. Esta não é necessariamente uma lista completa.

PyMODINIT_FUNC

Declara uma função de inicialização do módulo de extensão PyInit. O tipo de retorno da função é PyObject*. A macro declara quaisquer declarações de ligação especial necessárias pela plataforma e, para C++, declara a função como extern "C".

A função de inicialização deve ser nomeada PyInit_name, onde name é o nome do módulo, e deve ser o único item não-static definido no arquivo do módulo. Exemplo:

static struct PyModuleDef spam_module = {
    PyModuleDef_HEAD_INIT,
    .m_name = "spam",
    ...
};

PyMODINIT_FUNC
PyInit_spam(void)
{
    return PyModule_Create(&spam_module);
}

Py_ABS(x)

Retorna o valor absoluto de x.

Adicionado na versão 3.3.

Py_ALWAYS_INLINE

Pede ao compilador para sempre embutir uma função em linha estática. O compilador pode ignorá-lo e decide não inserir a função.

Ele pode ser usado para inserir funções em linha estáticas críticas de desempenho ao compilar Python no modo de depuração com função de inserir em linha desabilitada. Por exemplo, o MSC desabilita a função de inserir em linha ao compilar no modo de depuração.

Marcar cegamente uma função em linha estática com Py_ALWAYS_INLINE pode resultar em desempenhos piores (devido ao aumento do tamanho do código, por exemplo). O compilador geralmente é mais inteligente que o desenvolvedor para a análise de custo/benefício.

Se o Python tiver sido compilado em modo de depuração (se a macro Py_DEBUG estiver definida), a macro Py_ALWAYS_INLINE não fará nada.

Deve ser especificado antes do tipo de retorno da função. Uso:

static inline Py_ALWAYS_INLINE int random(void) { return 4; }

Adicionado na versão 3.11.

Py_CHARMASK(c)

O argumento deve ser um caractere ou um número inteiro no intervalo [-128, 127] ou [0, 255]. Esta macro retorna c convertido em um unsigned char.

Py_DEPRECATED(version)

Use isso para declarações descontinuadas. A macro deve ser colocada antes do nome do símbolo.

Exemplo:

Py_DEPRECATED(3.8) PyAPI_FUNC(int) Py_OldFunction(void);

Alterado na versão 3.8: Suporte a MSVC foi adicionado.

Py_GETENV(s)

Como getenv(s), mas retorna NULL se a opção -E foi passada na linha de comando (veja PyConfig.use_environment).

Py_MAX(x, y)

Retorna o valor máximo entre x e y.

Adicionado na versão 3.3.

Py_MEMBER_SIZE(type, member)

Retorna o tamanho do member de uma estrutura (type) em bytes.

Adicionado na versão 3.6.

Py_MIN(x, y)

Retorna o valor mínimo entre x e y.

Adicionado na versão 3.3.

Py_NO_INLINE

Desabilita a inserção em linha em uma função. Por exemplo, isso reduz o consumo da pilha C: útil em compilações LTO+PGO que faz uso intenso de inserção em linha de código (veja bpo-33720 [https://bugs.python.org/issue?@action=redirect&bpo=33720]).

Uso:

Py_NO_INLINE static int random(void) { return 4; }

Adicionado na versão 3.11.

Py_STRINGIFY(x)

Converte x para uma string C. Por exemplo, Py_STRINGIFY(123) retorna "123".

Adicionado na versão 3.4.

Py_UNREACHABLE()

Use isso quando você tiver um caminho de código que não pode ser alcançado por design. Por exemplo, na cláusula default: em uma instrução switch para a qual todos os valores possíveis são incluídos nas instruções case. Use isto em lugares onde você pode ficar tentado a colocar uma chamada assert(0) ou abort().

No modo de lançamento, a macro ajuda o compilador a otimizar o código e evita um aviso sobre código inacessível. Por exemplo, a macro é implementada com __builtin_unreachable() no GCC em modo de lançamento.

Um uso para Py_UNREACHABLE() é seguir uma chamada de uma função que nunca retorna, mas que não é declarada com _Py_NO_RETURN.

Se um caminho de código for um código muito improvável, mas puder ser alcançado em casos excepcionais, esta macro não deve ser usada. Por exemplo, sob condição de pouca memória ou se uma chamada de sistema retornar um valor fora do intervalo esperado. Nesse caso, é melhor relatar o erro ao chamador. Se o erro não puder ser reportado ao chamador, Py_FatalError() pode ser usada.

Adicionado na versão 3.7.

Py_UNUSED(arg)

Use isso para argumentos não usados em uma definição de função para silenciar avisos do compilador. Exemplo: int func(int a, int Py_UNUSED(b)) { return a; }.

Adicionado na versão 3.4.

PyDoc_STRVAR(name, str)

Cria uma variável com o nome name que pode ser usada em docstrings. Se o Python for compilado sem docstrings, o valor estará vazio.

Use PyDoc_STRVAR para docstrings para ter suporte à compilação do Python sem docstrings, conforme especificado em PEP 7 [https://peps.python.org/pep-0007/].

Exemplo:

PyDoc_STRVAR(pop_doc, "Remove and return the rightmost element.");

static PyMethodDef deque_methods[] = {
    // ...
    {"pop", (PyCFunction)deque_pop, METH_NOARGS, pop_doc},
    // ...
}

PyDoc_STR(str)

Cria uma docstring para a string de entrada fornecida ou uma string vazia se docstrings estiverem desabilitadas.

Use PyDoc_STR ao especificar docstrings para ter suporte à compilação do Python sem docstrings, conforme especificado em PEP 7 [https://peps.python.org/pep-0007/].

Exemplo:

static PyMethodDef pysqlite_row_methods[] = {
    {"keys", (PyCFunction)pysqlite_row_keys, METH_NOARGS,
        PyDoc_STR("Returns the keys of the row.")},
    {NULL, NULL}
};

Objetos, tipos e contagens de referências

A maioria das funções da API Python/C tem um ou mais argumentos, bem como um valor de retorno do tipo PyObject*. Este tipo é um ponteiro para um tipo de dados opaco que representa um objeto Python arbitrário. Como todos os tipos de objeto Python são tratados da mesma maneira pela linguagem Python na maioria das situações (por exemplo, atribuições, regras de escopo e passagem de argumento), é adequado que eles sejam representados por um único tipo C. Quase todos os objetos Python vivem na pilha: você nunca declara uma variável automática ou estática do tipo PyObject, variáveis de apenas ponteiro do tipo PyObject* podem ser declaradas. A única exceção são os objetos de tipo; uma vez que estes nunca devem ser desalocados, eles são normalmente objetos estáticos PyTypeObject.

Todos os objetos Python (mesmo inteiros Python) têm um tipo e uma contagem de referências. O tipo de um objeto determina que tipo de objeto ele é (por exemplo, um número inteiro, uma lista ou uma função definida pelo usuário; existem muitos mais, conforme explicado em A hierarquia de tipos padrão). Para cada um dos tipos conhecidos, há uma macro para verificar se um objeto é desse tipo; por exemplo, PyList_Check(a) é verdadeiro se (e somente se) o objeto apontado por a for uma lista Python.

Contagens de referências

The reference count is important because today’s computers have a finite (and often severely limited) memory size; it counts how many different places there are that have a strong reference to an object. Such a place could be another object, or a global (or static) C variable, or a local variable in some C function. When the last strong reference to an object is released (i.e. its reference count becomes zero), the object is deallocated. If it contains references to other objects, those references are released. Those other objects may be deallocated in turn, if there are no more references to them, and so on. (There’s an obvious problem with objects that reference each other here; for now, the solution is “don’t do that.”)

Reference counts are always manipulated explicitly. The normal way is to use the macro Py_INCREF() to take a new reference to an object (i.e. increment its reference count by one), and Py_DECREF() to release that reference (i.e. decrement the reference count by one). The Py_DECREF() macro is considerably more complex than the incref one, since it must check whether the reference count becomes zero and then cause the object’s deallocator to be called. The deallocator is a function pointer contained in the object’s type structure. The type-specific deallocator takes care of releasing references for other objects contained in the object if this is a compound object type, such as a list, as well as performing any additional finalization that’s needed. There’s no chance that the reference count can overflow; at least as many bits are used to hold the reference count as there are distinct memory locations in virtual memory (assuming sizeof(Py_ssize_t) >= sizeof(void*)). Thus, the reference count increment is a simple operation.

It is not necessary to hold a strong reference (i.e. increment the reference count) for every local variable that contains a pointer to an object. In theory, the object’s reference count goes up by one when the variable is made to point to it and it goes down by one when the variable goes out of scope. However, these two cancel each other out, so at the end the reference count hasn’t changed. The only real reason to use the reference count is to prevent the object from being deallocated as long as our variable is pointing to it. If we know that there is at least one other reference to the object that lives at least as long as our variable, there is no need to take a new strong reference (i.e. increment the reference count) temporarily. An important situation where this arises is in objects that are passed as arguments to C functions in an extension module that are called from Python; the call mechanism guarantees to hold a reference to every argument for the duration of the call.

However, a common pitfall is to extract an object from a list and hold on to it for a while without taking a new reference. Some other operation might conceivably remove the object from the list, releasing that reference, and possibly deallocating it. The real danger is that innocent-looking operations may invoke arbitrary Python code which could do this; there is a code path which allows control to flow back to the user from a Py_DECREF(), so almost any operation is potentially dangerous.

A safe approach is to always use the generic operations (functions whose name begins with PyObject_, PyNumber_, PySequence_ or PyMapping_). These operations always create a new strong reference (i.e. increment the reference count) of the object they return. This leaves the caller with the responsibility to call Py_DECREF() when they are done with the result; this soon becomes second nature.

Detalhes da contagem de referências

The reference count behavior of functions in the Python/C API is best explained in terms of ownership of references. Ownership pertains to references, never to objects (objects are not owned: they are always shared). “Owning a reference” means being responsible for calling Py_DECREF on it when the reference is no longer needed. Ownership can also be transferred, meaning that the code that receives ownership of the reference then becomes responsible for eventually releasing it by calling Py_DECREF() or Py_XDECREF() when it’s no longer needed—or passing on this responsibility (usually to its caller). When a function passes ownership of a reference on to its caller, the caller is said to receive a new reference. When no ownership is transferred, the caller is said to borrow the reference. Nothing needs to be done for a borrowed reference.

Por outro lado, quando uma função de chamada passa uma referência a um objeto, há duas possibilidades: a função rouba uma referência ao objeto, ou não. Roubar uma referência significa que quando você passa uma referência para uma função, essa função presume que agora ela possui essa referência e você não é mais responsável por ela.

Poucas funções roubam referências; as duas exceções notáveis são PyList_SetItem() e PyTuple_SetItem(), que roubam uma referência para o item (mas não para a tupla ou lista na qual o item é colocado!). Essas funções foram projetadas para roubar uma referência devido a um idioma comum para preencher uma tupla ou lista com objetos recém-criados; por exemplo, o código para criar a tupla (1, 2, "three") pode ser parecido com isto (esquecendo o tratamento de erros por enquanto; uma maneira melhor de codificar isso é mostrada abaixo):

PyObject *t;

t = PyTuple_New(3);
PyTuple_SetItem(t, 0, PyLong_FromLong(1L));
PyTuple_SetItem(t, 1, PyLong_FromLong(2L));
PyTuple_SetItem(t, 2, PyUnicode_FromString("three"));

Aqui, PyLong_FromLong() retorna uma nova referência que é imediatamente roubada por PyTuple_SetItem(). Quando você quiser continuar usando um objeto, embora a referência a ele seja roubada, use Py_INCREF() para obter outra referência antes de chamar a função de roubo de referência.

A propósito, PyTuple_SetItem() é a única maneira de definir itens de tupla; PySequence_SetItem() e PyObject_SetItem() se recusam a fazer isso, pois tuplas são um tipo de dados imutável. Você só deve usar PyTuple_SetItem() para tuplas que você mesmo está criando.

O código equivalente para preencher uma lista pode ser escrita usando PyList_New() e PyList_SetItem().

No entanto, na prática, você raramente usará essas maneiras de criar e preencher uma tupla ou lista. Existe uma função genérica, Py_BuildValue(), que pode criar objetos mais comuns a partir de valores C, dirigidos por uma string de formato. Por exemplo, os dois blocos de código acima podem ser substituídos pelos seguintes (que também cuidam da verificação de erros):

PyObject *tuple, *list;

tuple = Py_BuildValue("(iis)", 1, 2, "three");
list = Py_BuildValue("[iis]", 1, 2, "three");

It is much more common to use PyObject_SetItem() and friends with items whose references you are only borrowing, like arguments that were passed in to the function you are writing. In that case, their behaviour regarding references is much saner, since you don’t have to take a new reference just so you can give that reference away (“have it be stolen”). For example, this function sets all items of a list (actually, any mutable sequence) to a given item:

int
set_all(PyObject *target, PyObject *item)
{
    Py_ssize_t i, n;

    n = PyObject_Length(target);
    if (n < 0)
        return -1;
    for (i = 0; i < n; i++) {
        PyObject *index = PyLong_FromSsize_t(i);
        if (!index)
            return -1;
        if (PyObject_SetItem(target, index, item) < 0) {
            Py_DECREF(index);
            return -1;
        }
        Py_DECREF(index);
    }
    return 0;
}

A situação é ligeiramente diferente para os valores de retorno da função. Embora passar uma referência para a maioria das funções não altere suas responsabilidades de propriedade para aquela referência, muitas funções que retornam uma referência a um objeto fornecem a propriedade da referência. O motivo é simples: em muitos casos, o objeto retornado é criado instantaneamente e a referência que você obtém é a única referência ao objeto. Portanto, as funções genéricas que retornam referências a objetos, como PyObject_GetItem() e PySequence_GetItem(), sempre retornam uma nova referência (o chamador torna-se o dono da referência).

É importante perceber que se você possui uma referência retornada por uma função depende de qual função você chama apenas — a plumagem (o tipo do objeto passado como um argumento para a função) não entra nela! Assim, se você extrair um item de uma lista usando PyList_GetItem(), você não possui a referência — mas se obtiver o mesmo item da mesma lista usando PySequence_GetItem() (que leva exatamente os mesmos argumentos), você possui uma referência ao objeto retornado.

Aqui está um exemplo de como você poderia escrever uma função que calcula a soma dos itens em uma lista de inteiros; uma vez usando PyList_GetItem(), e uma vez usando PySequence_GetItem().

long
sum_list(PyObject *list)
{
    Py_ssize_t i, n;
    long total = 0, value;
    PyObject *item;

    n = PyList_Size(list);
    if (n < 0)
        return -1; /* Not a list */
    for (i = 0; i < n; i++) {
        item = PyList_GetItem(list, i); /* Can't fail */
        if (!PyLong_Check(item)) continue; /* Skip non-integers */
        value = PyLong_AsLong(item);
        if (value == -1 && PyErr_Occurred())
            /* Integer too big to fit in a C long, bail out */
            return -1;
        total += value;
    }
    return total;
}

long
sum_sequence(PyObject *sequence)
{
    Py_ssize_t i, n;
    long total = 0, value;
    PyObject *item;
    n = PySequence_Length(sequence);
    if (n < 0)
        return -1; /* Has no length */
    for (i = 0; i < n; i++) {
        item = PySequence_GetItem(sequence, i);
        if (item == NULL)
            return -1; /* Not a sequence, or other failure */
        if (PyLong_Check(item)) {
            value = PyLong_AsLong(item);
            Py_DECREF(item);
            if (value == -1 && PyErr_Occurred())
                /* Integer too big to fit in a C long, bail out */
                return -1;
            total += value;
        }
        else {
            Py_DECREF(item); /* Discard reference ownership */
        }
    }
    return total;
}

Tipos

Existem alguns outros tipos de dados que desempenham um papel significativo na API Python/C; a maioria são tipos C simples, como int, long, double e char*. Alguns tipos de estrutura são usados para descrever tabelas estáticas usadas para listar as funções exportadas por um módulo ou os atributos de dados de um novo tipo de objeto, e outro é usado para descrever o valor de um número complexo. Eles serão discutidos junto com as funções que os utilizam.

type Py_ssize_t

Parte da ABI Estável.

Um tipo integral assinado tal que sizeof(Py_ssize_t) == sizeof(size_t). C99 não define tal coisa diretamente (size_t é um tipo integral não assinado). Veja PEP 353 [https://peps.python.org/pep-0353/] para mais detalhes. PY_SSIZE_T_MAX é o maior valor positivo do tipo Py_ssize_t.

Exceções

O programador Python só precisa lidar com exceções se o tratamento de erros específico for necessário; as exceções não tratadas são propagadas automaticamente para o chamador, depois para o chamador e assim por diante, até chegarem ao interpretador de nível superior, onde são relatadas ao usuário acompanhadas por um traceback (situação da pilha de execução).

Para programadores C, entretanto, a verificação de erros sempre deve ser explícita. Todas as funções na API Python/C podem levantar exceções, a menos que uma declaração explícita seja feita de outra forma na documentação de uma função. Em geral, quando uma função encontra um erro, ela define uma exceção, descarta todas as referências de objeto de sua propriedade e retorna um indicador de erro. Se não for documentado de outra forma, este indicador é NULL ou -1, dependendo do tipo de retorno da função. Algumas funções retornam um resultado booleano verdadeiro/falso, com falso indicando um erro. Muito poucas funções não retornam nenhum indicador de erro explícito ou têm um valor de retorno ambíguo e requerem teste explícito para erros com PyErr_Occurred(). Essas exceções são sempre documentadas explicitamente.

O estado de exceção é mantido no armazenamento por thread (isso é equivalente a usar o armazenamento global em uma aplicação sem thread). Uma thread pode estar em um de dois estados: ocorreu uma exceção ou não. A função PyErr_Occurred() pode ser usada para verificar isso: ela retorna uma referência emprestada ao objeto do tipo de exceção quando uma exceção ocorreu, e NULL caso contrário. Existem várias funções para definir o estado de exceção: PyErr_SetString() é a função mais comum (embora não a mais geral) para definir o estado de exceção, e PyErr_Clear() limpa o estado da exceção.

O estado de exceção completo consiste em três objetos (todos os quais podem ser NULL): o tipo de exceção, o valor de exceção correspondente e o traceback. Eles têm os mesmos significados que o resultado do Python de sys.exc_info(); no entanto, eles não são os mesmos: os objetos Python representam a última exceção sendo tratada por uma instrução Python try … except, enquanto o estado de exceção de nível C só existe enquanto uma exceção está sendo transmitido entre funções C até atingir o loop principal do interpretador de bytecode Python, que se encarrega de transferi-lo para sys.exc_info() e amigos.

Observe que a partir do Python 1.5, a maneira preferida e segura para thread para acessar o estado de exceção do código Python é chamar a função sys.exc_info(), que retorna o estado de exceção por thread para o código Python. Além disso, a semântica de ambas as maneiras de acessar o estado de exceção mudou, de modo que uma função que captura uma exceção salvará e restaurará o estado de exceção de seu segmento de modo a preservar o estado de exceção de seu chamador. Isso evita bugs comuns no código de tratamento de exceções causados por uma função aparentemente inocente sobrescrevendo a exceção sendo tratada; também reduz a extensão da vida útil frequentemente indesejada para objetos que são referenciados pelos quadros de pilha no traceback.

Como princípio geral, uma função que chama outra função para realizar alguma tarefa deve verificar se a função chamada levantou uma exceção e, em caso afirmativo, passar o estado da exceção para seu chamador. Ele deve descartar todas as referências de objeto que possui e retornar um indicador de erro, mas não deve definir outra exceção — que sobrescreveria a exceção que acabou de ser gerada e perderia informações importantes sobre a causa exata do erro.

A simple example of detecting exceptions and passing them on is shown in the sum_sequence() example above. It so happens that this example doesn’t need to clean up any owned references when it detects an error. The following example function shows some error cleanup. First, to remind you why you like Python, we show the equivalent Python code:

def incr_item(dict, key):
    try:
        item = dict[key]
    except KeyError:
        item = 0
    dict[key] = item + 1

Aqui está o código C correspondente, em toda sua glória:

int
incr_item(PyObject *dict, PyObject *key)
{
    /* Objects all initialized to NULL for Py_XDECREF */
    PyObject *item = NULL, *const_one = NULL, *incremented_item = NULL;
    int rv = -1; /* Return value initialized to -1 (failure) */

    item = PyObject_GetItem(dict, key);
    if (item == NULL) {
        /* Handle KeyError only: */
        if (!PyErr_ExceptionMatches(PyExc_KeyError))
            goto error;

        /* Clear the error and use zero: */
        PyErr_Clear();
        item = PyLong_FromLong(0L);
        if (item == NULL)
            goto error;
    }
    const_one = PyLong_FromLong(1L);
    if (const_one == NULL)
        goto error;

    incremented_item = PyNumber_Add(item, const_one);
    if (incremented_item == NULL)
        goto error;

    if (PyObject_SetItem(dict, key, incremented_item) < 0)
        goto error;
    rv = 0; /* Success */
    /* Continue with cleanup code */

 error:
    /* Cleanup code, shared by success and failure path */

    /* Use Py_XDECREF() to ignore NULL references */
    Py_XDECREF(item);
    Py_XDECREF(const_one);
    Py_XDECREF(incremented_item);

    return rv; /* -1 for error, 0 for success */
}

Este exemplo representa um uso endossado da instrução goto em C! Ele ilustra o uso de PyErr_ExceptionMatches() e PyErr_Clear() para lidar com exceções específicas, e o uso de Py_XDECREF() para descartar referências de propriedade que podem ser NULL (observe o 'X' no nome; Py_DECREF() travaria quando confrontado com uma referência NULL). É importante que as variáveis usadas para manter as referências de propriedade sejam inicializadas com NULL para que isso funcione; da mesma forma, o valor de retorno proposto é inicializado para -1 (falha) e apenas definido para sucesso após a chamada final feita ser bem sucedida.

Incorporando Python

A única tarefa importante com a qual apenas os incorporadores (em oposição aos escritores de extensão) do interpretador Python precisam se preocupar é a inicialização e, possivelmente, a finalização do interpretador Python. A maior parte da funcionalidade do interpretador só pode ser usada após a inicialização do interpretador.

A função de inicialização básica é Py_Initialize(). Isso inicializa a tabela de módulos carregados e cria os módulos fundamentais builtins, __main__ e sys. Ela também inicializa o caminho de pesquisa de módulos (sys.path).

Py_Initialize() não define a “lista de argumentos de script” (sys.argv). Se esta variável for necessária para o código Python que será executado posteriormente, PyConfig.argv e PyConfig.parse_argv devem estar definidas; veja Configuração de inicialização do Python.

Na maioria dos sistemas (em particular, no Unix e no Windows, embora os detalhes sejam ligeiramente diferentes), Py_Initialize() calcula o caminho de pesquisa de módulos com base em sua melhor estimativa para a localização do executável do interpretador Python padrão, presumindo que a biblioteca Python é encontrada em um local fixo em relação ao executável do interpretador Python. Em particular, ele procura por um diretório chamado lib/pythonX.Y relativo ao diretório pai onde o executável chamado python é encontrado no caminho de pesquisa de comandos do shell (a variável de ambiente PATH).

Por exemplo, se o executável Python for encontrado em /usr/local/bin/python, ele presumirá que as bibliotecas estão em /usr/local/lib/pythonX.Y. (Na verdade, este caminho particular também é o local reserva, usado quando nenhum arquivo executável chamado python é encontrado ao longo de PATH.) O usuário pode substituir este comportamento definindo a variável de ambiente PYTHONHOME, ou insira diretórios adicionais na frente do caminho padrão definindo PYTHONPATH.

The embedding application can steer the search by setting PyConfig.program_name before calling Py_InitializeFromConfig(). Note that PYTHONHOME still overrides this and PYTHONPATH is still inserted in front of the standard path. An application that requires total control has to provide its own implementation of Py_GetPath(), Py_GetPrefix(), Py_GetExecPrefix(), and Py_GetProgramFullPath() (all defined in Modules/getpath.c).

Às vezes, é desejável “desinicializar” o Python. Por exemplo, a aplicação pode querer iniciar novamente (fazer outra chamada para Py_Initialize()) ou a aplicação simplesmente termina com o uso de Python e deseja liberar memória alocada pelo Python. Isso pode ser feito chamando Py_FinalizeEx(). A função Py_IsInitialized() retorna verdadeiro se o Python está atualmente no estado inicializado. Mais informações sobre essas funções são fornecidas em um capítulo posterior. Observe que Py_FinalizeEx() não libera toda a memória alocada pelo interpretador Python, por exemplo, a memória alocada por módulos de extensão atualmente não pode ser liberada.

Compilações de depuração

Python pode ser compilado com várias macros para permitir verificações extras do interpretador e módulos de extensão. Essas verificações tendem a adicionar uma grande quantidade de sobrecarga ao tempo de execução, portanto, não são habilitadas por padrão.

Uma lista completa dos vários tipos de compilações de depuração está no arquivo Misc/SpecialBuilds.txt na distribuição do código-fonte do Python. Estão disponíveis compilações que oferecem suporte ao rastreamento de contagens de referências, depuração do alocador de memória ou criação de perfil de baixo nível do laço do interpretador principal. Apenas as compilações usadas com mais frequência serão descritas no restante desta seção.

Py_DEBUG

Compiling the interpreter with the Py_DEBUG macro defined produces what is generally meant by a debug build of Python. Py_DEBUG is enabled in the Unix build by adding --with-pydebug to the ./configure command. It is also implied by the presence of the not-Python-specific _DEBUG macro. When Py_DEBUG is enabled in the Unix build, compiler optimization is disabled.

Além da depuração de contagem de referências descrita abaixo, verificações extras são realizadas, consulte Compilação de Depuração do Python.

Definir Py_TRACE_REFS habilita o rastreamento de referência (veja a opção opção --with-trace-refs de configure). Quando definida, uma lista circular duplamente vinculada de objetos ativos é mantida adicionando dois campos extras a cada PyObject. As alocações totais também são rastreadas. Ao sair, todas as referências existentes são impressas. (No modo interativo, isso acontece após cada instrução executada pelo interpretador.)

Consulte Misc/SpecialBuilds.txt na distribuição do código-fonte Python para informações mais detalhadas.

Estabilidade da API C

A menos que documentado de outra forma, a API C do Python é coberta pela Política de Compatibilidade com versões anteriores, PEP 387 [https://peps.python.org/pep-0387/]. A maioria das alterações são compatíveis com a fonte (normalmente adicionando apenas uma nova API). A alteração ou remoção da API existente só é feita após um período de descontinuação ou para corrigir problemas sérios.

A Interface Binária de Aplicação (ABI) do CPython é compatível para frente e para trás através de uma versão menor (se elas forem compiladas da mesma maneira; veja Considerações da plataforma abaixo). Portanto, o código compilado para Python 3.10.0 funcionará em 3.10.8 e vice-versa, mas precisará ser compilado separadamente para 3.9.x e 3.11.x.

Existem dois níveis de API C com diferentes expectativas de estabilidade:

API Instável (“Unstable API”), pode mudar em versões menores sem período de depreciação. É marcado pelo prefixo PyUnstable nos nomes.

API Limitada (“Limited API”), é compatível em várias versões menores. Quando Py_LIMITED_API é definido, apenas este subconjunto é exposto de Python.h.

Elas são discutidas em mais detalhes abaixo.

Nomes prefixados por um sublinhado, como _Py_InternalState, são APIs privadas que podem ser alteradas sem aviso prévio, mesmo em lançamentos de correção. Se você precisa usar essa API, considere entrar em contato com os desenvolvedores do CPython [https://discuss.python.org/c/core-dev/c-api/30] para discutir a adição de uma API pública para o seu caso de uso.

API C Instável

Qualquer API nomeada com o prefixo “PyUnstable” expõe detalhes de implementação do CPython e pode mudar em cada versão menor (por exemplo, de 3.9 para 3.10) sem nenhum aviso de depreciação. No entanto, não mudará em uma versão de correção de bugs (por exemplo, de 3.10.0 para 3.10.1).

É geralmente destinado a ferramentas especializadas de baixo nível, como depuradores.

Projetos que utilizam esta API são esperados para seguir o desenvolvimento do CPython e dedicar esforço extra para se ajustar às mudanças.

Interface Binária de Aplicação Estável

Para simplificar, este documento fala sobre extensões, mas a API Limitada e a ABI Estável funcionam da mesma maneira para todos os usos da API – por exemplo, embutir o Python.

API C Limitada

Python 3.2 introduziu a API Limitada, um subconjunto da API C do Python. Extensões que apenas usam o Limited API podem ser compiladas uma vez e funcionar com várias versões do Python. Os conteúdos da API Limitada estão listados abaixo.

Py_LIMITED_API

Defina essa macro antes de incluir Python.h para optar por usar apenas a API Limitada e selecionar a versão da API Limitada.

Defina Py_LIMITED_API com o valor de PY_VERSION_HEX correspondente à versão mais baixa do Python que sua extensão suporta. A extensão funcionará sem recompilação com todas as versões do Python 3 a partir da especificada e poderá usar a API Limitada introduzida até aquela versão.

Em vez de usar diretamente a macro PY_VERSION_HEX, codifique uma versão menor mínima (por exemplo, 0x030A0000 para o Python 3.10) para garantir estabilidade ao compilar com versões futuras do Python.

Você também pode definir Py_LIMITED_API como 3. Isso funciona da mesma forma que 0x03020000 (Python 3.2, a versão que introduziu a API Limitada).

ABI Estável

Para habilitar isso, o Python fornece uma ABI estável: um conjunto de símbolos que permanecerão compatíveis em todas as versões do Python 3.x.

A ABI Estável contém símbolos expostos na API Limitada, mas também outros – por exemplo, funções necessárias para suportar versões mais antigas da API Limitada.

No Windows, as extensões que usam a ABI Estável devem ser vinculadas a python3.dll em vez de uma biblioteca específica de versão, como python39.dll.

Em algumas plataformas, o Python procurará e carregará arquivos de biblioteca compartilhada com o nome marcado como abi3 (por exemplo, meumódulo.abi3.so). Ele não verifica se essas extensões estão em conformidade com uma ABI Estável. O usuário (ou suas ferramentas de empacotamento) precisa garantir que, por exemplo, as extensões construídas com a API Limitada 3.10+ não sejam instaladas em versões mais baixas do Python.

Todas as funções na ABI estável estão presentes como funções na biblioteca compartilhada do Python, não apenas como macros. Isso as torna utilizáveis em linguagens que não utilizam o pré-processador C.

Escopo e Desempenho da API Limitada

O objetivo da API Limitada é permitir tudo o que é possível com a API C completa, mas possivelmente com uma penalidade de desempenho.

Por exemplo, enquanto PyList_GetItem() está disponível, sua variante de macro “insegura” PyList_GET_ITEM() não está. A macro pode ser mais rápida porque pode depender de detalhes de implementação específicos da versão do objeto da lista.

Sem a definição de Py_LIMITED_API, algumas funções da API C são colocadas “inline” ou substituídas por macros. Definir Py_LIMITED_API desativa esse inline, permitindo estabilidade à medida que as estruturas de dados do Python são aprimoradas, mas possivelmente reduzindo o desempenho.

Ao deixar de fora a definição Py_LIMITED_API, é possível compilar uma extensão da API Limitada com uma ABI específica da versão. Isso pode melhorar o desempenho para essa versão do Python, mas limitará a compatibilidade. Compilar com Py_LIMITED_API vai produzir uma extensão que pode ser distribuída quando uma específica da versão não estiver disponível – por exemplo, para pré-lançamentos de uma próxima versão do Python.

Limitações da API Limitada

Observe que compilar com Py_LIMITED_API não é uma garantia completa de que o código esteja em conformidade com a API Limitada ou com a ABI Estável. Py_LIMITED_API abrange apenas definições, mas uma API também inclui outras questões, como semântica esperada.

Uma questão que Py_LIMITED_API não protege é a chamada de uma função com argumentos inválidos em uma versão inferior do Python. Por exemplo, considere uma função que começa a aceitar NULL como argumento. No Python 3.9, NULL agora seleciona um comportamento padrão, mas no Python 3.8, o argumento será usado diretamente, causando uma referência NULL e uma falha. Um argumento similar funciona para campos de estruturas.

Outra questão é que alguns campos de estrutura não estão atualmente ocultos quando Py_LIMITED_API é definido, mesmo que eles façam parte da API Limitada.

Por esses motivos, recomendamos testar uma extensão com todas as versões menores do Python que ela oferece suporte e, preferencialmente, construir com a versão mais baixa dessas.

Também recomendamos revisar a documentação de todas as APIs utilizadas para verificar se ela faz parte explicitamente da API Limitada. Mesmo com a definição de Py_LIMITED_API, algumas declarações privadas são expostas por razões técnicas (ou até mesmo acidentalmente, como bugs).

Também observe que a API Limitada não é necessariamente estável: compilar com Py_LIMITED_API com Python 3.8 significa que a extensão será executada com Python 3.12, mas não necessariamente será compilada com Python 3.12. Em particular, partes da API Limitada podem ser descontinuadas e removidas, desde que a ABI Estável permaneça estável.

Considerações da plataforma

A estabilidade da ABI depende não apenas do Python, mas também do compilador utilizado, das bibliotecas de nível inferior e das opções do compilador. Para os fins da ABI Estável, esses detalhes definem uma “plataforma”. Geralmente, eles dependem do tipo de sistema operacional e da arquitetura do processador.

É responsabilidade de cada distribuidor particular do Python garantir que todas as versões do Python em uma plataforma específica sejam construídas de forma a não quebrar a ABI estável. Isso é válido para as versões do Windows e macOS disponibilizadas pela python.org e por muitos distribuidores terceiros.

Conteúdo da API Limitada

Atualmente, a API Limitada inclui os seguintes itens:

PY_VECTORCALL_ARGUMENTS_OFFSET

PyAIter_Check()

PyArg_Parse()

PyArg_ParseTuple()

PyArg_ParseTupleAndKeywords()

PyArg_UnpackTuple()

PyArg_VaParse()

PyArg_VaParseTupleAndKeywords()

PyArg_ValidateKeywordArguments()

PyBaseObject_Type

PyBool_FromLong()

PyBool_Type

PyBuffer_FillContiguousStrides()

PyBuffer_FillInfo()

PyBuffer_FromContiguous()

PyBuffer_GetPointer()

PyBuffer_IsContiguous()

PyBuffer_Release()

PyBuffer_SizeFromFormat()

PyBuffer_ToContiguous()

PyByteArrayIter_Type

PyByteArray_AsString()

PyByteArray_Concat()

PyByteArray_FromObject()

PyByteArray_FromStringAndSize()

PyByteArray_Resize()

PyByteArray_Size()

PyByteArray_Type

PyBytesIter_Type

PyBytes_AsString()

PyBytes_AsStringAndSize()

PyBytes_Concat()

PyBytes_ConcatAndDel()

PyBytes_DecodeEscape()

PyBytes_FromFormat()

PyBytes_FromFormatV()

PyBytes_FromObject()

PyBytes_FromString()

PyBytes_FromStringAndSize()

PyBytes_Repr()

PyBytes_Size()

PyBytes_Type

PyCFunction

PyCFunctionFast

PyCFunctionFastWithKeywords

PyCFunctionWithKeywords

PyCFunction_GetFlags()

PyCFunction_GetFunction()

PyCFunction_GetSelf()

PyCFunction_New()

PyCFunction_NewEx()

PyCFunction_Type

PyCMethod_New()

PyCallIter_New()

PyCallIter_Type

PyCallable_Check()

PyCapsule_Destructor

PyCapsule_GetContext()

PyCapsule_GetDestructor()

PyCapsule_GetName()

PyCapsule_GetPointer()

PyCapsule_Import()

PyCapsule_IsValid()

PyCapsule_New()

PyCapsule_SetContext()

PyCapsule_SetDestructor()

PyCapsule_SetName()

PyCapsule_SetPointer()

PyCapsule_Type

PyClassMethodDescr_Type

PyCodec_BackslashReplaceErrors()

PyCodec_Decode()

PyCodec_Decoder()

PyCodec_Encode()

PyCodec_Encoder()

PyCodec_IgnoreErrors()

PyCodec_IncrementalDecoder()

PyCodec_IncrementalEncoder()

PyCodec_KnownEncoding()

PyCodec_LookupError()

PyCodec_NameReplaceErrors()

PyCodec_Register()

PyCodec_RegisterError()

PyCodec_ReplaceErrors()

PyCodec_StreamReader()

PyCodec_StreamWriter()

PyCodec_StrictErrors()

PyCodec_Unregister()

PyCodec_XMLCharRefReplaceErrors()

PyComplex_FromDoubles()

PyComplex_ImagAsDouble()

PyComplex_RealAsDouble()

PyComplex_Type

PyDescr_NewClassMethod()

PyDescr_NewGetSet()

PyDescr_NewMember()

PyDescr_NewMethod()

PyDictItems_Type

PyDictIterItem_Type

PyDictIterKey_Type

PyDictIterValue_Type

PyDictKeys_Type

PyDictProxy_New()

PyDictProxy_Type

PyDictRevIterItem_Type

PyDictRevIterKey_Type

PyDictRevIterValue_Type

PyDictValues_Type

PyDict_Clear()

PyDict_Contains()

PyDict_Copy()

PyDict_DelItem()

PyDict_DelItemString()

PyDict_GetItem()

PyDict_GetItemRef()

PyDict_GetItemString()

PyDict_GetItemStringRef()

PyDict_GetItemWithError()

PyDict_Items()

PyDict_Keys()

PyDict_Merge()

PyDict_MergeFromSeq2()

PyDict_New()

PyDict_Next()

PyDict_SetItem()

PyDict_SetItemString()

PyDict_Size()

PyDict_Type

PyDict_Update()

PyDict_Values()

PyEllipsis_Type

PyEnum_Type

PyErr_BadArgument()

PyErr_BadInternalCall()

PyErr_CheckSignals()

PyErr_Clear()

PyErr_Display()

PyErr_DisplayException()

PyErr_ExceptionMatches()

PyErr_Fetch()

PyErr_Format()

PyErr_FormatV()

PyErr_GetExcInfo()

PyErr_GetHandledException()

PyErr_GetRaisedException()

PyErr_GivenExceptionMatches()

PyErr_NewException()

PyErr_NewExceptionWithDoc()

PyErr_NoMemory()

PyErr_NormalizeException()

PyErr_Occurred()

PyErr_Print()

PyErr_PrintEx()

PyErr_ProgramText()

PyErr_ResourceWarning()

PyErr_Restore()

PyErr_SetExcFromWindowsErr()

PyErr_SetExcFromWindowsErrWithFilename()

PyErr_SetExcFromWindowsErrWithFilenameObject()

PyErr_SetExcFromWindowsErrWithFilenameObjects()

PyErr_SetExcInfo()

PyErr_SetFromErrno()

PyErr_SetFromErrnoWithFilename()

PyErr_SetFromErrnoWithFilenameObject()

PyErr_SetFromErrnoWithFilenameObjects()

PyErr_SetFromWindowsErr()

PyErr_SetFromWindowsErrWithFilename()

PyErr_SetHandledException()

PyErr_SetImportError()

PyErr_SetImportErrorSubclass()

PyErr_SetInterrupt()

PyErr_SetInterruptEx()

PyErr_SetNone()

PyErr_SetObject()

PyErr_SetRaisedException()

PyErr_SetString()

PyErr_SyntaxLocation()

PyErr_SyntaxLocationEx()

PyErr_WarnEx()

PyErr_WarnExplicit()

PyErr_WarnFormat()

PyErr_WriteUnraisable()

PyEval_AcquireThread()

PyEval_EvalCode()

PyEval_EvalCodeEx()

PyEval_EvalFrame()

PyEval_EvalFrameEx()

PyEval_GetBuiltins()

PyEval_GetFrame()

PyEval_GetFrameBuiltins()

PyEval_GetFrameGlobals()

PyEval_GetFrameLocals()

PyEval_GetFuncDesc()

PyEval_GetFuncName()

PyEval_GetGlobals()

PyEval_GetLocals()

PyEval_InitThreads()

PyEval_ReleaseThread()

PyEval_RestoreThread()

PyEval_SaveThread()

PyExc_ArithmeticError

PyExc_AssertionError

PyExc_AttributeError

PyExc_BaseException

PyExc_BaseExceptionGroup

PyExc_BlockingIOError

PyExc_BrokenPipeError

PyExc_BufferError

PyExc_BytesWarning

PyExc_ChildProcessError

PyExc_ConnectionAbortedError

PyExc_ConnectionError

PyExc_ConnectionRefusedError

PyExc_ConnectionResetError

PyExc_DeprecationWarning

PyExc_EOFError

PyExc_EncodingWarning

PyExc_EnvironmentError

PyExc_Exception

PyExc_FileExistsError

PyExc_FileNotFoundError

PyExc_FloatingPointError

PyExc_FutureWarning

PyExc_GeneratorExit

PyExc_IOError

PyExc_ImportError

PyExc_ImportWarning

PyExc_IndentationError

PyExc_IndexError

PyExc_InterruptedError

PyExc_IsADirectoryError

PyExc_KeyError

PyExc_KeyboardInterrupt

PyExc_LookupError

PyExc_MemoryError

PyExc_ModuleNotFoundError

PyExc_NameError

PyExc_NotADirectoryError

PyExc_NotImplementedError

PyExc_OSError

PyExc_OverflowError

PyExc_PendingDeprecationWarning

PyExc_PermissionError

PyExc_ProcessLookupError

PyExc_RecursionError

PyExc_ReferenceError

PyExc_ResourceWarning

PyExc_RuntimeError

PyExc_RuntimeWarning

PyExc_StopAsyncIteration

PyExc_StopIteration

PyExc_SyntaxError

PyExc_SyntaxWarning

PyExc_SystemError

PyExc_SystemExit

PyExc_TabError

PyExc_TimeoutError

PyExc_TypeError

PyExc_UnboundLocalError

PyExc_UnicodeDecodeError

PyExc_UnicodeEncodeError

PyExc_UnicodeError

PyExc_UnicodeTranslateError

PyExc_UnicodeWarning

PyExc_UserWarning

PyExc_ValueError

PyExc_Warning

PyExc_WindowsError

PyExc_ZeroDivisionError

PyExceptionClass_Name()

PyException_GetArgs()

PyException_GetCause()

PyException_GetContext()

PyException_GetTraceback()

PyException_SetArgs()

PyException_SetCause()

PyException_SetContext()

PyException_SetTraceback()

PyFile_FromFd()

PyFile_GetLine()

PyFile_WriteObject()

PyFile_WriteString()

PyFilter_Type

PyFloat_AsDouble()

PyFloat_FromDouble()

PyFloat_FromString()

PyFloat_GetInfo()

PyFloat_GetMax()

PyFloat_GetMin()

PyFloat_Type

PyFrameObject

PyFrame_GetCode()

PyFrame_GetLineNumber()

PyFrozenSet_New()

PyFrozenSet_Type

PyGC_Collect()

PyGC_Disable()

PyGC_Enable()

PyGC_IsEnabled()

PyGILState_Ensure()

PyGILState_GetThisThreadState()

PyGILState_Release()

PyGILState_STATE

PyGetSetDef

PyGetSetDescr_Type

PyImport_AddModule()

PyImport_AddModuleObject()

PyImport_AddModuleRef()

PyImport_AppendInittab()

PyImport_ExecCodeModule()

PyImport_ExecCodeModuleEx()

PyImport_ExecCodeModuleObject()

PyImport_ExecCodeModuleWithPathnames()

PyImport_GetImporter()

PyImport_GetMagicNumber()

PyImport_GetMagicTag()

PyImport_GetModule()

PyImport_GetModuleDict()

PyImport_Import()

PyImport_ImportFrozenModule()

PyImport_ImportFrozenModuleObject()

PyImport_ImportModule()

PyImport_ImportModuleLevel()

PyImport_ImportModuleLevelObject()

PyImport_ImportModuleNoBlock()

PyImport_ReloadModule()

PyIndex_Check()

PyInterpreterState

PyInterpreterState_Clear()

PyInterpreterState_Delete()

PyInterpreterState_Get()

PyInterpreterState_GetDict()

PyInterpreterState_GetID()

PyInterpreterState_New()

PyIter_Check()

PyIter_Next()

PyIter_Send()

PyListIter_Type

PyListRevIter_Type

PyList_Append()

PyList_AsTuple()

PyList_GetItem()

PyList_GetItemRef()

PyList_GetSlice()

PyList_Insert()

PyList_New()

PyList_Reverse()

PyList_SetItem()

PyList_SetSlice()

PyList_Size()

PyList_Sort()

PyList_Type

PyLongObject

PyLongRangeIter_Type

PyLong_AsDouble()

PyLong_AsInt()

PyLong_AsLong()

PyLong_AsLongAndOverflow()

PyLong_AsLongLong()

PyLong_AsLongLongAndOverflow()

PyLong_AsSize_t()

PyLong_AsSsize_t()

PyLong_AsUnsignedLong()

PyLong_AsUnsignedLongLong()

PyLong_AsUnsignedLongLongMask()

PyLong_AsUnsignedLongMask()

PyLong_AsVoidPtr()

PyLong_FromDouble()

PyLong_FromLong()

PyLong_FromLongLong()

PyLong_FromSize_t()

PyLong_FromSsize_t()

PyLong_FromString()

PyLong_FromUnsignedLong()

PyLong_FromUnsignedLongLong()

PyLong_FromVoidPtr()

PyLong_GetInfo()

PyLong_Type

PyMap_Type

PyMapping_Check()

PyMapping_GetItemString()

PyMapping_GetOptionalItem()

PyMapping_GetOptionalItemString()

PyMapping_HasKey()

PyMapping_HasKeyString()

PyMapping_HasKeyStringWithError()

PyMapping_HasKeyWithError()

PyMapping_Items()

PyMapping_Keys()

PyMapping_Length()

PyMapping_SetItemString()

PyMapping_Size()

PyMapping_Values()

PyMem_Calloc()

PyMem_Free()

PyMem_Malloc()

PyMem_RawCalloc()

PyMem_RawFree()

PyMem_RawMalloc()

PyMem_RawRealloc()

PyMem_Realloc()

PyMemberDef

PyMemberDescr_Type

PyMember_GetOne()

PyMember_SetOne()

PyMemoryView_FromBuffer()

PyMemoryView_FromMemory()

PyMemoryView_FromObject()

PyMemoryView_GetContiguous()

PyMemoryView_Type

PyMethodDef

PyMethodDescr_Type

PyModuleDef

PyModuleDef_Base

PyModuleDef_Init()

PyModuleDef_Type

PyModule_Add()

PyModule_AddFunctions()

PyModule_AddIntConstant()

PyModule_AddObject()

PyModule_AddObjectRef()

PyModule_AddStringConstant()

PyModule_AddType()

PyModule_Create2()

PyModule_ExecDef()

PyModule_FromDefAndSpec2()

PyModule_GetDef()

PyModule_GetDict()

PyModule_GetFilename()

PyModule_GetFilenameObject()

PyModule_GetName()

PyModule_GetNameObject()

PyModule_GetState()

PyModule_New()

PyModule_NewObject()

PyModule_SetDocString()

PyModule_Type

PyNumber_Absolute()

PyNumber_Add()

PyNumber_And()

PyNumber_AsSsize_t()

PyNumber_Check()

PyNumber_Divmod()

PyNumber_Float()

PyNumber_FloorDivide()

PyNumber_InPlaceAdd()

PyNumber_InPlaceAnd()

PyNumber_InPlaceFloorDivide()

PyNumber_InPlaceLshift()

PyNumber_InPlaceMatrixMultiply()

PyNumber_InPlaceMultiply()

PyNumber_InPlaceOr()

PyNumber_InPlacePower()

PyNumber_InPlaceRemainder()

PyNumber_InPlaceRshift()

PyNumber_InPlaceSubtract()

PyNumber_InPlaceTrueDivide()

PyNumber_InPlaceXor()

PyNumber_Index()

PyNumber_Invert()

PyNumber_Long()

PyNumber_Lshift()

PyNumber_MatrixMultiply()

PyNumber_Multiply()

PyNumber_Negative()

PyNumber_Or()

PyNumber_Positive()

PyNumber_Power()

PyNumber_Remainder()

PyNumber_Rshift()

PyNumber_Subtract()

PyNumber_ToBase()

PyNumber_TrueDivide()

PyNumber_Xor()

PyOS_AfterFork()

PyOS_AfterFork_Child()

PyOS_AfterFork_Parent()

PyOS_BeforeFork()

PyOS_CheckStack()

PyOS_FSPath()

PyOS_InputHook

PyOS_InterruptOccurred()

PyOS_double_to_string()

PyOS_getsig()

PyOS_mystricmp()

PyOS_mystrnicmp()

PyOS_setsig()

PyOS_sighandler_t

PyOS_snprintf()

PyOS_string_to_double()

PyOS_strtol()

PyOS_strtoul()

PyOS_vsnprintf()

PyObject

PyObject.ob_refcnt

PyObject.ob_type

PyObject_ASCII()

PyObject_AsFileDescriptor()

PyObject_Bytes()

PyObject_Call()

PyObject_CallFunction()

PyObject_CallFunctionObjArgs()

PyObject_CallMethod()

PyObject_CallMethodObjArgs()

PyObject_CallNoArgs()

PyObject_CallObject()

PyObject_Calloc()

PyObject_CheckBuffer()

PyObject_ClearWeakRefs()

PyObject_CopyData()

PyObject_DelAttr()

PyObject_DelAttrString()

PyObject_DelItem()

PyObject_DelItemString()

PyObject_Dir()

PyObject_Format()

PyObject_Free()

PyObject_GC_Del()

PyObject_GC_IsFinalized()

PyObject_GC_IsTracked()

PyObject_GC_Track()

PyObject_GC_UnTrack()

PyObject_GenericGetAttr()

PyObject_GenericGetDict()

PyObject_GenericSetAttr()

PyObject_GenericSetDict()

PyObject_GetAIter()

PyObject_GetAttr()

PyObject_GetAttrString()

PyObject_GetBuffer()

PyObject_GetItem()

PyObject_GetIter()

PyObject_GetOptionalAttr()

PyObject_GetOptionalAttrString()

PyObject_GetTypeData()

PyObject_HasAttr()

PyObject_HasAttrString()

PyObject_HasAttrStringWithError()

PyObject_HasAttrWithError()

PyObject_Hash()

PyObject_HashNotImplemented()

PyObject_Init()

PyObject_InitVar()

PyObject_IsInstance()

PyObject_IsSubclass()

PyObject_IsTrue()

PyObject_Length()

PyObject_Malloc()

PyObject_Not()

PyObject_Realloc()

PyObject_Repr()

PyObject_RichCompare()

PyObject_RichCompareBool()

PyObject_SelfIter()

PyObject_SetAttr()

PyObject_SetAttrString()

PyObject_SetItem()

PyObject_Size()

PyObject_Str()

PyObject_Type()

PyObject_Vectorcall()

PyObject_VectorcallMethod()

PyProperty_Type

PyRangeIter_Type

PyRange_Type

PyReversed_Type

PySeqIter_New()

PySeqIter_Type

PySequence_Check()

PySequence_Concat()

PySequence_Contains()

PySequence_Count()

PySequence_DelItem()

PySequence_DelSlice()

PySequence_Fast()

PySequence_GetItem()

PySequence_GetSlice()

PySequence_In()

PySequence_InPlaceConcat()

PySequence_InPlaceRepeat()

PySequence_Index()

PySequence_Length()

PySequence_List()

PySequence_Repeat()

PySequence_SetItem()

PySequence_SetSlice()

PySequence_Size()

PySequence_Tuple()

PySetIter_Type

PySet_Add()

PySet_Clear()

PySet_Contains()

PySet_Discard()

PySet_New()

PySet_Pop()

PySet_Size()

PySet_Type

PySlice_AdjustIndices()

PySlice_GetIndices()

PySlice_GetIndicesEx()

PySlice_New()

PySlice_Type

PySlice_Unpack()

PyState_AddModule()

PyState_FindModule()

PyState_RemoveModule()

PyStructSequence_Desc

PyStructSequence_Field

PyStructSequence_GetItem()

PyStructSequence_New()

PyStructSequence_NewType()

PyStructSequence_SetItem()

PyStructSequence_UnnamedField

PySuper_Type

PySys_Audit()

PySys_AuditTuple()

PySys_FormatStderr()

PySys_FormatStdout()

PySys_GetObject()

PySys_GetXOptions()

PySys_ResetWarnOptions()

PySys_SetArgv()

PySys_SetArgvEx()

PySys_SetObject()

PySys_WriteStderr()

PySys_WriteStdout()

PyThreadState

PyThreadState_Clear()

PyThreadState_Delete()

PyThreadState_Get()

PyThreadState_GetDict()

PyThreadState_GetFrame()

PyThreadState_GetID()

PyThreadState_GetInterpreter()

PyThreadState_New()

PyThreadState_SetAsyncExc()

PyThreadState_Swap()

PyThread_GetInfo()

PyThread_ReInitTLS()

PyThread_acquire_lock()

PyThread_acquire_lock_timed()

PyThread_allocate_lock()

PyThread_create_key()

PyThread_delete_key()

PyThread_delete_key_value()

PyThread_exit_thread()

PyThread_free_lock()

PyThread_get_key_value()

PyThread_get_stacksize()

PyThread_get_thread_ident()

PyThread_get_thread_native_id()

PyThread_init_thread()

PyThread_release_lock()

PyThread_set_key_value()

PyThread_set_stacksize()

PyThread_start_new_thread()

PyThread_tss_alloc()

PyThread_tss_create()

PyThread_tss_delete()

PyThread_tss_free()

PyThread_tss_get()

PyThread_tss_is_created()

PyThread_tss_set()

PyTraceBack_Here()

PyTraceBack_Print()

PyTraceBack_Type

PyTupleIter_Type

PyTuple_GetItem()

PyTuple_GetSlice()

PyTuple_New()

PyTuple_Pack()

PyTuple_SetItem()

PyTuple_Size()

PyTuple_Type

PyTypeObject

PyType_ClearCache()

PyType_FromMetaclass()

PyType_FromModuleAndSpec()

PyType_FromSpec()

PyType_FromSpecWithBases()

PyType_GenericAlloc()

PyType_GenericNew()

PyType_GetFlags()

PyType_GetFullyQualifiedName()

PyType_GetModule()

PyType_GetModuleByDef()

PyType_GetModuleName()

PyType_GetModuleState()

PyType_GetName()

PyType_GetQualName()

PyType_GetSlot()

PyType_GetTypeDataSize()

PyType_IsSubtype()

PyType_Modified()

PyType_Ready()

PyType_Slot

PyType_Spec

PyType_Type

PyUnicodeDecodeError_Create()

PyUnicodeDecodeError_GetEncoding()

PyUnicodeDecodeError_GetEnd()

PyUnicodeDecodeError_GetObject()

PyUnicodeDecodeError_GetReason()

PyUnicodeDecodeError_GetStart()

PyUnicodeDecodeError_SetEnd()

PyUnicodeDecodeError_SetReason()

PyUnicodeDecodeError_SetStart()

PyUnicodeEncodeError_GetEncoding()

PyUnicodeEncodeError_GetEnd()

PyUnicodeEncodeError_GetObject()

PyUnicodeEncodeError_GetReason()

PyUnicodeEncodeError_GetStart()

PyUnicodeEncodeError_SetEnd()

PyUnicodeEncodeError_SetReason()

PyUnicodeEncodeError_SetStart()

PyUnicodeIter_Type

PyUnicodeTranslateError_GetEnd()

PyUnicodeTranslateError_GetObject()

PyUnicodeTranslateError_GetReason()

PyUnicodeTranslateError_GetStart()

PyUnicodeTranslateError_SetEnd()

PyUnicodeTranslateError_SetReason()

PyUnicodeTranslateError_SetStart()

PyUnicode_Append()

PyUnicode_AppendAndDel()

PyUnicode_AsASCIIString()

PyUnicode_AsCharmapString()

PyUnicode_AsDecodedObject()

PyUnicode_AsDecodedUnicode()

PyUnicode_AsEncodedObject()

PyUnicode_AsEncodedString()

PyUnicode_AsEncodedUnicode()

PyUnicode_AsLatin1String()

PyUnicode_AsMBCSString()

PyUnicode_AsRawUnicodeEscapeString()

PyUnicode_AsUCS4()

PyUnicode_AsUCS4Copy()

PyUnicode_AsUTF16String()

PyUnicode_AsUTF32String()

PyUnicode_AsUTF8AndSize()

PyUnicode_AsUTF8String()

PyUnicode_AsUnicodeEscapeString()

PyUnicode_AsWideChar()

PyUnicode_AsWideCharString()

PyUnicode_BuildEncodingMap()

PyUnicode_Compare()

PyUnicode_CompareWithASCIIString()

PyUnicode_Concat()

PyUnicode_Contains()

PyUnicode_Count()

PyUnicode_Decode()

PyUnicode_DecodeASCII()

PyUnicode_DecodeCharmap()

PyUnicode_DecodeCodePageStateful()

PyUnicode_DecodeFSDefault()

PyUnicode_DecodeFSDefaultAndSize()

PyUnicode_DecodeLatin1()

PyUnicode_DecodeLocale()

PyUnicode_DecodeLocaleAndSize()

PyUnicode_DecodeMBCS()

PyUnicode_DecodeMBCSStateful()

PyUnicode_DecodeRawUnicodeEscape()

PyUnicode_DecodeUTF16()

PyUnicode_DecodeUTF16Stateful()

PyUnicode_DecodeUTF32()

PyUnicode_DecodeUTF32Stateful()

PyUnicode_DecodeUTF7()

PyUnicode_DecodeUTF7Stateful()

PyUnicode_DecodeUTF8()

PyUnicode_DecodeUTF8Stateful()

PyUnicode_DecodeUnicodeEscape()

PyUnicode_EncodeCodePage()

PyUnicode_EncodeFSDefault()

PyUnicode_EncodeLocale()

PyUnicode_EqualToUTF8()

PyUnicode_EqualToUTF8AndSize()

PyUnicode_FSConverter()

PyUnicode_FSDecoder()

PyUnicode_Find()

PyUnicode_FindChar()

PyUnicode_Format()

PyUnicode_FromEncodedObject()

PyUnicode_FromFormat()

PyUnicode_FromFormatV()

PyUnicode_FromObject()

PyUnicode_FromOrdinal()

PyUnicode_FromString()

PyUnicode_FromStringAndSize()

PyUnicode_FromWideChar()

PyUnicode_GetDefaultEncoding()

PyUnicode_GetLength()

PyUnicode_InternFromString()

PyUnicode_InternInPlace()

PyUnicode_IsIdentifier()

PyUnicode_Join()

PyUnicode_Partition()

PyUnicode_RPartition()

PyUnicode_RSplit()

PyUnicode_ReadChar()

PyUnicode_Replace()

PyUnicode_Resize()

PyUnicode_RichCompare()

PyUnicode_Split()

PyUnicode_Splitlines()

PyUnicode_Substring()

PyUnicode_Tailmatch()

PyUnicode_Translate()

PyUnicode_Type

PyUnicode_WriteChar()

PyVarObject

PyVarObject.ob_base

PyVarObject.ob_size

PyVectorcall_Call()

PyVectorcall_NARGS()

PyWeakReference

PyWeakref_GetObject()

PyWeakref_GetRef()

PyWeakref_NewProxy()

PyWeakref_NewRef()

PyWrapperDescr_Type

PyWrapper_New()

PyZip_Type

Py_AddPendingCall()

Py_AtExit()

Py_BEGIN_ALLOW_THREADS

Py_BLOCK_THREADS

Py_BuildValue()

Py_BytesMain()

Py_CompileString()

Py_DecRef()

Py_DecodeLocale()

Py_END_ALLOW_THREADS

Py_EncodeLocale()

Py_EndInterpreter()

Py_EnterRecursiveCall()

Py_Exit()

Py_FatalError()

Py_FileSystemDefaultEncodeErrors

Py_FileSystemDefaultEncoding

Py_Finalize()

Py_FinalizeEx()

Py_GenericAlias()

Py_GenericAliasType

Py_GetBuildInfo()

Py_GetCompiler()

Py_GetConstant()

Py_GetConstantBorrowed()

Py_GetCopyright()

Py_GetExecPrefix()

Py_GetPath()

Py_GetPlatform()

Py_GetPrefix()

Py_GetProgramFullPath()

Py_GetProgramName()

Py_GetPythonHome()

Py_GetRecursionLimit()

Py_GetVersion()

Py_HasFileSystemDefaultEncoding

Py_IncRef()

Py_Initialize()

Py_InitializeEx()

Py_Is()

Py_IsFalse()

Py_IsFinalizing()

Py_IsInitialized()

Py_IsNone()

Py_IsTrue()

Py_LeaveRecursiveCall()

Py_Main()

Py_MakePendingCalls()

Py_NewInterpreter()

Py_NewRef()

Py_ReprEnter()

Py_ReprLeave()

Py_SetProgramName()

Py_SetPythonHome()

Py_SetRecursionLimit()

Py_UCS4

Py_UNBLOCK_THREADS

Py_UTF8Mode

Py_VaBuildValue()

Py_Version

Py_XNewRef()

Py_buffer

Py_intptr_t

Py_ssize_t

Py_uintptr_t

allocfunc

binaryfunc

descrgetfunc

descrsetfunc

destructor

getattrfunc

getattrofunc

getbufferproc

getiterfunc

getter

hashfunc

initproc

inquiry

iternextfunc

lenfunc

newfunc

objobjargproc

objobjproc

releasebufferproc

reprfunc

richcmpfunc

setattrfunc

setattrofunc

setter

ssizeargfunc

ssizeobjargproc

ssizessizeargfunc

ssizessizeobjargproc

symtable

ternaryfunc

traverseproc

unaryfunc

vectorcallfunc

visitproc

A camada de Mais Alto Nível

The functions in this chapter will let you execute Python source code given in a file or a buffer, but they will not let you interact in a more detailed way with the interpreter.

Several of these functions accept a start symbol from the grammar as a parameter. The available start symbols are Py_eval_input, Py_file_input, and Py_single_input. These are described following the functions which accept them as parameters.

Note also that several of these functions take FILE* parameters. One particular issue which needs to be handled carefully is that the FILE structure for different C libraries can be different and incompatible. Under Windows (at least), it is possible for dynamically linked extensions to actually use different libraries, so care should be taken that FILE* parameters are only passed to these functions if it is certain that they were created by the same library that the Python runtime is using.

int PyRun_AnyFile(FILE *fp, const char *filename)

This is a simplified interface to PyRun_AnyFileExFlags() below, leaving closeit set to 0 and flags set to NULL.

int PyRun_AnyFileFlags(FILE *fp, const char *filename, PyCompilerFlags *flags)

This is a simplified interface to PyRun_AnyFileExFlags() below, leaving the closeit argument set to 0.

int PyRun_AnyFileEx(FILE *fp, const char *filename, int closeit)

This is a simplified interface to PyRun_AnyFileExFlags() below, leaving the flags argument set to NULL.

int PyRun_AnyFileExFlags(FILE *fp, const char *filename, int closeit, PyCompilerFlags *flags)

If fp refers to a file associated with an interactive device (console or terminal input or Unix pseudo-terminal), return the value of PyRun_InteractiveLoop(), otherwise return the result of PyRun_SimpleFile(). filename is decoded from the filesystem encoding (sys.getfilesystemencoding()). If filename is NULL, this function uses "???" as the filename. If closeit is true, the file is closed before PyRun_SimpleFileExFlags() returns.

int PyRun_SimpleString(const char *command)

This is a simplified interface to PyRun_SimpleStringFlags() below, leaving the PyCompilerFlags* argument set to NULL.

int PyRun_SimpleStringFlags(const char *command, PyCompilerFlags *flags)

Executes the Python source code from command in the __main__ module according to the flags argument. If __main__ does not already exist, it is created. Returns 0 on success or -1 if an exception was raised. If there was an error, there is no way to get the exception information. For the meaning of flags, see below.

Note that if an otherwise unhandled SystemExit is raised, this function will not return -1, but exit the process, as long as PyConfig.inspect is zero.

int PyRun_SimpleFile(FILE *fp, const char *filename)

This is a simplified interface to PyRun_SimpleFileExFlags() below, leaving closeit set to 0 and flags set to NULL.

int PyRun_SimpleFileEx(FILE *fp, const char *filename, int closeit)

This is a simplified interface to PyRun_SimpleFileExFlags() below, leaving flags set to NULL.

int PyRun_SimpleFileExFlags(FILE *fp, const char *filename, int closeit, PyCompilerFlags *flags)

Similar to PyRun_SimpleStringFlags(), but the Python source code is read from fp instead of an in-memory string. filename should be the name of the file, it is decoded from filesystem encoding and error handler. If closeit is true, the file is closed before PyRun_SimpleFileExFlags() returns.

Nota

On Windows, fp should be opened as binary mode (e.g. fopen(filename, "rb")). Otherwise, Python may not handle script file with LF line ending correctly.

int PyRun_InteractiveOne(FILE *fp, const char *filename)

This is a simplified interface to PyRun_InteractiveOneFlags() below, leaving flags set to NULL.

int PyRun_InteractiveOneFlags(FILE *fp, const char *filename, PyCompilerFlags *flags)

Read and execute a single statement from a file associated with an interactive device according to the flags argument. The user will be prompted using sys.ps1 and sys.ps2. filename is decoded from the filesystem encoding and error handler.

Returns 0 when the input was executed successfully, -1 if there was an exception, or an error code from the errcode.h include file distributed as part of Python if there was a parse error. (Note that errcode.h is not included by Python.h, so must be included specifically if needed.)

int PyRun_InteractiveLoop(FILE *fp, const char *filename)

This is a simplified interface to PyRun_InteractiveLoopFlags() below, leaving flags set to NULL.

int PyRun_InteractiveLoopFlags(FILE *fp, const char *filename, PyCompilerFlags *flags)

Read and execute statements from a file associated with an interactive device until EOF is reached. The user will be prompted using sys.ps1 and sys.ps2. filename is decoded from the filesystem encoding and error handler. Returns 0 at EOF or a negative number upon failure.

int (*PyOS_InputHook)(void)

Parte da ABI Estável.

Can be set to point to a function with the prototype int func(void). The function will be called when Python’s interpreter prompt is about to become idle and wait for user input from the terminal. The return value is ignored. Overriding this hook can be used to integrate the interpreter’s prompt with other event loops, as done in the Modules/_tkinter.c in the Python source code.

Alterado na versão 3.12: This function is only called from the main interpreter.

char *(*PyOS_ReadlineFunctionPointer)(FILE*, FILE*, const char*)

Can be set to point to a function with the prototype char *func(FILE *stdin, FILE *stdout, char *prompt), overriding the default function used to read a single line of input at the interpreter’s prompt. The function is expected to output the string prompt if it’s not NULL, and then read a line of input from the provided standard input file, returning the resulting string. For example, The readline module sets this hook to provide line-editing and tab-completion features.

The result must be a string allocated by PyMem_RawMalloc() or PyMem_RawRealloc(), or NULL if an error occurred.

Alterado na versão 3.4: The result must be allocated by PyMem_RawMalloc() or PyMem_RawRealloc(), instead of being allocated by PyMem_Malloc() or PyMem_Realloc().

Alterado na versão 3.12: This function is only called from the main interpreter.

PyObject *PyRun_String(const char *str, int start, PyObject *globals, PyObject *locals)

Retorna valor: Nova referência.

This is a simplified interface to PyRun_StringFlags() below, leaving flags set to NULL.

PyObject *PyRun_StringFlags(const char *str, int start, PyObject *globals, PyObject *locals, PyCompilerFlags *flags)

Retorna valor: Nova referência.

Execute Python source code from str in the context specified by the objects globals and locals with the compiler flags specified by flags. globals must be a dictionary; locals can be any object that implements the mapping protocol. The parameter start specifies the start token that should be used to parse the source code.

Returns the result of executing the code as a Python object, or NULL if an exception was raised.

PyObject *PyRun_File(FILE *fp, const char *filename, int start, PyObject *globals, PyObject *locals)

Retorna valor: Nova referência.

This is a simplified interface to PyRun_FileExFlags() below, leaving closeit set to 0 and flags set to NULL.

PyObject *PyRun_FileEx(FILE *fp, const char *filename, int start, PyObject *globals, PyObject *locals, int closeit)

Retorna valor: Nova referência.

This is a simplified interface to PyRun_FileExFlags() below, leaving flags set to NULL.

PyObject *PyRun_FileFlags(FILE *fp, const char *filename, int start, PyObject *globals, PyObject *locals, PyCompilerFlags *flags)

Retorna valor: Nova referência.

This is a simplified interface to PyRun_FileExFlags() below, leaving closeit set to 0.

PyObject *PyRun_FileExFlags(FILE *fp, const char *filename, int start, PyObject *globals, PyObject *locals, int closeit, PyCompilerFlags *flags)

Retorna valor: Nova referência.

Similar to PyRun_StringFlags(), but the Python source code is read from fp instead of an in-memory string. filename should be the name of the file, it is decoded from the filesystem encoding and error handler. If closeit is true, the file is closed before PyRun_FileExFlags() returns.

PyObject *Py_CompileString(const char *str, const char *filename, int start)

Retorna valor: Nova referência. Parte da ABI Estável.

This is a simplified interface to Py_CompileStringFlags() below, leaving flags set to NULL.

PyObject *Py_CompileStringFlags(const char *str, const char *filename, int start, PyCompilerFlags *flags)

Retorna valor: Nova referência.

This is a simplified interface to Py_CompileStringExFlags() below, with optimize set to -1.

PyObject *Py_CompileStringObject(const char *str, PyObject *filename, int start, PyCompilerFlags *flags, int optimize)

Retorna valor: Nova referência.

Parse and compile the Python source code in str, returning the resulting code object. The start token is given by start; this can be used to constrain the code which can be compiled and should be Py_eval_input, Py_file_input, or Py_single_input. The filename specified by filename is used to construct the code object and may appear in tracebacks or SyntaxError exception messages. This returns NULL if the code cannot be parsed or compiled.

The integer optimize specifies the optimization level of the compiler; a value of -1 selects the optimization level of the interpreter as given by -O options. Explicit levels are 0 (no optimization; __debug__ is true), 1 (asserts are removed, __debug__ is false) or 2 (docstrings are removed too).

Adicionado na versão 3.4.

PyObject *Py_CompileStringExFlags(const char *str, const char *filename, int start, PyCompilerFlags *flags, int optimize)

Retorna valor: Nova referência.

Like Py_CompileStringObject(), but filename is a byte string decoded from the filesystem encoding and error handler.

Adicionado na versão 3.2.

PyObject *PyEval_EvalCode(PyObject *co, PyObject *globals, PyObject *locals)

Retorna valor: Nova referência. Parte da ABI Estável.

This is a simplified interface to PyEval_EvalCodeEx(), with just the code object, and global and local variables. The other arguments are set to NULL.

PyObject *PyEval_EvalCodeEx(PyObject *co, PyObject *globals, PyObject *locals, PyObject *const *args, int argcount, PyObject *const *kws, int kwcount, PyObject *const *defs, int defcount, PyObject *kwdefs, PyObject *closure)

Retorna valor: Nova referência. Parte da ABI Estável.

Avalia um objeto código pré-compilado, dado um ambiente particular para sua avaliação. Este ambiente consiste em um dicionário de variáveis ​​globais, um objeto mapeamento de variáveis ​​locais, vetores de argumentos, nomeados e padrões, um dicionário de valores padrões para argumentos somente-nomeados e uma tupla de clausura de células.

PyObject *PyEval_EvalFrame(PyFrameObject *f)

Retorna valor: Nova referência. Parte da ABI Estável.

Evaluate an execution frame. This is a simplified interface to PyEval_EvalFrameEx(), for backward compatibility.

PyObject *PyEval_EvalFrameEx(PyFrameObject *f, int throwflag)

Retorna valor: Nova referência. Parte da ABI Estável.

This is the main, unvarnished function of Python interpretation. The code object associated with the execution frame f is executed, interpreting bytecode and executing calls as needed. The additional throwflag parameter can mostly be ignored - if true, then it causes an exception to immediately be thrown; this is used for the throw() methods of generator objects.

Alterado na versão 3.4: Essa função agora inclui uma asserção de depuração para ajudar a garantir que ela não descarte silenciosamente uma exceção ativa.

int PyEval_MergeCompilerFlags(PyCompilerFlags *cf)

This function changes the flags of the current evaluation frame, and returns true on success, false on failure.

int Py_eval_input

The start symbol from the Python grammar for isolated expressions; for use with Py_CompileString().

int Py_file_input

The start symbol from the Python grammar for sequences of statements as read from a file or other source; for use with Py_CompileString(). This is the symbol to use when compiling arbitrarily long Python source code.

int Py_single_input

The start symbol from the Python grammar for a single statement; for use with Py_CompileString(). This is the symbol used for the interactive interpreter loop.

struct PyCompilerFlags

This is the structure used to hold compiler flags. In cases where code is only being compiled, it is passed as int flags, and in cases where code is being executed, it is passed as PyCompilerFlags *flags. In this case, from __future__ import can modify flags.

Whenever PyCompilerFlags *flags is NULL, cf_flags is treated as equal to 0, and any modification due to from __future__ import is discarded.

int cf_flags

Compiler flags.

int cf_feature_version

cf_feature_version is the minor Python version. It should be initialized to PY_MINOR_VERSION.

The field is ignored by default, it is used if and only if PyCF_ONLY_AST flag is set in cf_flags.

Alterado na versão 3.8: Added cf_feature_version field.

int CO_FUTURE_DIVISION

This bit can be set in flags to cause division operator / to be interpreted as “true division” according to PEP 238 [https://peps.python.org/pep-0238/].

Contagem de Referências

The functions and macros in this section are used for managing reference counts of Python objects.

Py_ssize_t Py_REFCNT(PyObject *o)

Get the reference count of the Python object o.

Observe que o valor retornado pode não refletir realmente quantas referências ao objeto são realmente mantidas. Por exemplo, alguns objetos são imortais e têm uma refcount muito alta que não reflete o número real de referências. Consequentemente, não confie no valor retornado para ser preciso, exceto um valor de 0 ou 1.

Use the Py_SET_REFCNT() function to set an object reference count.

Alterado na versão 3.10: Py_REFCNT() is changed to the inline static function.

Alterado na versão 3.11: The parameter type is no longer const PyObject*.

void Py_SET_REFCNT(PyObject *o, Py_ssize_t refcnt)

Set the object o reference counter to refcnt.

Em uma construção do Python com threads threads livres, se refcnt for maior que UINT32_MAX, o objeto será transformado em imortal.

This function has no effect on immortal objects.

Adicionado na versão 3.9.

Alterado na versão 3.12: Immortal objects are not modified.

void Py_INCREF(PyObject *o)

Indicate taking a new strong reference to object o, indicating it is in use and should not be destroyed.

This function has no effect on immortal objects.

This function is usually used to convert a borrowed reference to a strong reference in-place. The Py_NewRef() function can be used to create a new strong reference.

When done using the object, release is by calling Py_DECREF().

The object must not be NULL; if you aren’t sure that it isn’t NULL, use Py_XINCREF().

Do not expect this function to actually modify o in any way. For at least some objects [https://peps.python.org/pep-0683/], this function has no effect.

Alterado na versão 3.12: Immortal objects are not modified.

void Py_XINCREF(PyObject *o)

Similar to Py_INCREF(), but the object o can be NULL, in which case this has no effect.

See also Py_XNewRef().

PyObject *Py_NewRef(PyObject *o)

Parte da ABI Estável desde a versão 3.10.

Create a new strong reference to an object: call Py_INCREF() on o and return the object o.

When the strong reference is no longer needed, Py_DECREF() should be called on it to release the reference.

The object o must not be NULL; use Py_XNewRef() if o can be NULL.

Por exemplo:

Py_INCREF(obj);
self->attr = obj;

can be written as:

self->attr = Py_NewRef(obj);

See also Py_INCREF().

Adicionado na versão 3.10.

PyObject *Py_XNewRef(PyObject *o)

Parte da ABI Estável desde a versão 3.10.

Similar to Py_NewRef(), but the object o can be NULL.

If the object o is NULL, the function just returns NULL.

Adicionado na versão 3.10.

void Py_DECREF(PyObject *o)

Release a strong reference to object o, indicating the reference is no longer used.

This function has no effect on immortal objects.

Once the last strong reference is released (i.e. the object’s reference count reaches 0), the object’s type’s deallocation function (which must not be NULL) is invoked.

This function is usually used to delete a strong reference before exiting its scope.

The object must not be NULL; if you aren’t sure that it isn’t NULL, use Py_XDECREF().

Do not expect this function to actually modify o in any way. For at least some objects [https://peps.python.org/pep-0683/], this function has no effect.

Aviso

The deallocation function can cause arbitrary Python code to be invoked (e.g. when a class instance with a __del__() method is deallocated). While exceptions in such code are not propagated, the executed code has free access to all Python global variables. This means that any object that is reachable from a global variable should be in a consistent state before Py_DECREF() is invoked. For example, code to delete an object from a list should copy a reference to the deleted object in a temporary variable, update the list data structure, and then call Py_DECREF() for the temporary variable.

Alterado na versão 3.12: Immortal objects are not modified.

void Py_XDECREF(PyObject *o)

Similar to Py_DECREF(), but the object o can be NULL, in which case this has no effect. The same warning from Py_DECREF() applies here as well.

void Py_CLEAR(PyObject *o)

Release a strong reference for object o. The object may be NULL, in which case the macro has no effect; otherwise the effect is the same as for Py_DECREF(), except that the argument is also set to NULL. The warning for Py_DECREF() does not apply with respect to the object passed because the macro carefully uses a temporary variable and sets the argument to NULL before releasing the reference.

It is a good idea to use this macro whenever releasing a reference to an object that might be traversed during garbage collection.

Alterado na versão 3.12: The macro argument is now only evaluated once. If the argument has side effects, these are no longer duplicated.

void Py_IncRef(PyObject *o)

Parte da ABI Estável.

Indicate taking a new strong reference to object o. A function version of Py_XINCREF(). It can be used for runtime dynamic embedding of Python.

void Py_DecRef(PyObject *o)

Parte da ABI Estável.

Release a strong reference to object o. A function version of Py_XDECREF(). It can be used for runtime dynamic embedding of Python.

Py_SETREF(dst, src)

Macro safely releasing a strong reference to object dst and setting dst to src.

As in case of Py_CLEAR(), “the obvious” code can be deadly:

Py_DECREF(dst);
dst = src;

The safe way is:

Py_SETREF(dst, src);

That arranges to set dst to src _before_ releasing the reference to the old value of dst, so that any code triggered as a side-effect of dst getting torn down no longer believes dst points to a valid object.

Adicionado na versão 3.6.

Alterado na versão 3.12: The macro arguments are now only evaluated once. If an argument has side effects, these are no longer duplicated.

Py_XSETREF(dst, src)

Variant of Py_SETREF macro that uses Py_XDECREF() instead of Py_DECREF().

Adicionado na versão 3.6.

Alterado na versão 3.12: The macro arguments are now only evaluated once. If an argument has side effects, these are no longer duplicated.

Manipulando Exceções

As funções descritas nesse capítulo permitem você tratar e gerar exceções em Python. É importante entender alguns princípios básicos no tratamento de exceção no Python. Funciona de forma parecida com a variável POSIX errno: existe um indicador global (por thread) do último erro ocorrido. A maioria das funções da API C não limpa isso com êxito, mas indica a causa do erro na falha. A maioria das funções da API retorna um indicador de erro, geralmente, NULL se eles devem retornar um ponteiro, ou -1 se retornarem um inteiro (exceção: as funções PyArg_* retornam 1 para sucesso e 0 para falha).

Concretamente, o indicador de erro consiste em três ponteiros de objeto: o tipo da exceção, o valor da exceção e o objeto de traceback. Qualquer um desses ponteiros pode ser NULL se não definido (embora algumas combinações sejam proibidas, por exemplo, você não pode ter um retorno não NULL se o tipo de exceção for NULL).

Quando uma função deve falhar porque devido à falha de alguma função que ela chamou, ela geralmente não define o indicador de erro; a função que ela chamou já o definiu. Ela é responsável por manipular o erro e limpar a exceção ou retornar após limpar todos os recursos que possui (como referências a objetos ou alocações de memória); ela não deve continuar normalmente se não estiver preparada para lidar com o erro. Se estiver retornando devido a um erro, é importante indicar ao chamador que um erro foi definido. Se o erro não for manipulado ou propagado com cuidado, chamadas adicionais para a API Python/C podem não se comportar conforme o esperado e podem falhar de maneiras misteriosas.

Nota

The error indicator is not the result of sys.exc_info(). The former corresponds to an exception that is not yet caught (and is therefore still propagating), while the latter returns an exception after it is caught (and has therefore stopped propagating).

Impressão e limpeza

void PyErr_Clear()

Parte da ABI Estável.

Limpe o indicador de erro. Se o indicador de erro não estiver definido, não haverá efeito.

void PyErr_PrintEx(int set_sys_last_vars)

Parte da ABI Estável.

Print a standard traceback to sys.stderr and clear the error indicator. Unless the error is a SystemExit, in that case no traceback is printed and the Python process will exit with the error code specified by the SystemExit instance.

Chame esta função apenas quando o indicador de erro estiver definido. Caso contrário, causará um erro fatal!

If set_sys_last_vars is nonzero, the variable sys.last_exc is set to the printed exception. For backwards compatibility, the deprecated variables sys.last_type, sys.last_value and sys.last_traceback are also set to the type, value and traceback of this exception, respectively.

Alterado na versão 3.12: The setting of sys.last_exc was added.

void PyErr_Print()

Parte da ABI Estável.

Apelido para PyErr_PrintEx(1).

void PyErr_WriteUnraisable(PyObject *obj)

Parte da ABI Estável.

Chama sys.unraisablehook() usando a exceção atual e o argumento obj.

This utility function prints a warning message to sys.stderr when an exception has been set but it is impossible for the interpreter to actually raise the exception. It is used, for example, when an exception occurs in an __del__() method.

The function is called with a single argument obj that identifies the context in which the unraisable exception occurred. If possible, the repr of obj will be printed in the warning message. If obj is NULL, only the traceback is printed.

Uma exceção deve ser definida ao chamar essa função.

Alterado na versão 3.4: Exibe o traceback (situação da pilha de execução). Exibe apenas o traceback se obj for NULL.

Alterado na versão 3.8: Utiliza sys.unraisablehook().

void PyErr_FormatUnraisable(const char *format, ...)

Similar to PyErr_WriteUnraisable(), but the format and subsequent parameters help format the warning message; they have the same meaning and values as in PyUnicode_FromFormat(). PyErr_WriteUnraisable(obj) is roughly equivalent to PyErr_FormatUnraisable("Exception ignored in: %R", obj). If format is NULL, only the traceback is printed.

Adicionado na versão 3.13.

void PyErr_DisplayException(PyObject *exc)

Parte da ABI Estável desde a versão 3.12.

Print the standard traceback display of exc to sys.stderr, including chained exceptions and notes.

Adicionado na versão 3.12.

Lançando exceções

Essas funções ajudam a definir o indicador de erro do thread. Por conveniência, algumas dessas funções sempre retornam um ponteiro NULL ao usar instrução com return.

void PyErr_SetString(PyObject *type, const char *message)

Parte da ABI Estável.

This is the most common way to set the error indicator. The first argument specifies the exception type; it is normally one of the standard exceptions, e.g. PyExc_RuntimeError. You need not create a new strong reference to it (e.g. with Py_INCREF()). The second argument is an error message; it is decoded from 'utf-8'.

void PyErr_SetObject(PyObject *type, PyObject *value)

Parte da ABI Estável.

Essa função é semelhante à PyErr_SetString() mas permite especificar um objeto Python arbitrário para o valor da exceção.

PyObject *PyErr_Format(PyObject *exception, const char *format, ...)

Retorna valor: Sempre NULL. Parte da ABI Estável.

This function sets the error indicator and returns NULL. exception should be a Python exception class. The format and subsequent parameters help format the error message; they have the same meaning and values as in PyUnicode_FromFormat(). format is an ASCII-encoded string.

PyObject *PyErr_FormatV(PyObject *exception, const char *format, va_list vargs)

Retorna valor: Sempre NULL. Parte da ABI Estável desde a versão 3.5.

Igual a PyErr_Format(), mas usando o argumento va_list em vez de um número variável de argumentos.

Adicionado na versão 3.5.

void PyErr_SetNone(PyObject *type)

Parte da ABI Estável.

Isso é uma abreviação para PyErr_SetObject(type, Py_None).

int PyErr_BadArgument()

Parte da ABI Estável.

This is a shorthand for PyErr_SetString(PyExc_TypeError, message), where message indicates that a built-in operation was invoked with an illegal argument. It is mostly for internal use.

PyObject *PyErr_NoMemory()

Retorna valor: Sempre NULL. Parte da ABI Estável.

Essa é uma abreviação para PyErr_SetNone(PyExc_MemoryError); que retorna NULL  para que uma função de alocação de objeto possa escrever return PyErr_NoMemory();  quando ficar sem memória.

PyObject *PyErr_SetFromErrno(PyObject *type)

Retorna valor: Sempre NULL. Parte da ABI Estável.

This is a convenience function to raise an exception when a C library function has returned an error and set the C variable errno. It constructs a tuple object whose first item is the integer errno value and whose second item is the corresponding error message (gotten from strerror()), and then calls PyErr_SetObject(type, object). On Unix, when the errno value is EINTR, indicating an interrupted system call, this calls PyErr_CheckSignals(), and if that set the error indicator, leaves it set to that. The function always returns NULL, so a wrapper function around a system call can write return PyErr_SetFromErrno(type); when the system call returns an error.

PyObject *PyErr_SetFromErrnoWithFilenameObject(PyObject *type, PyObject *filenameObject)

Retorna valor: Sempre NULL. Parte da ABI Estável.

Similar to PyErr_SetFromErrno(), with the additional behavior that if filenameObject is not NULL, it is passed to the constructor of type as a third parameter. In the case of OSError exception, this is used to define the filename attribute of the exception instance.

PyObject *PyErr_SetFromErrnoWithFilenameObjects(PyObject *type, PyObject *filenameObject, PyObject *filenameObject2)

Retorna valor: Sempre NULL. Parte da ABI Estável desde a versão 3.7.

Similar to PyErr_SetFromErrnoWithFilenameObject(), but takes a second filename object, for raising errors when a function that takes two filenames fails.

Adicionado na versão 3.4.

PyObject *PyErr_SetFromErrnoWithFilename(PyObject *type, const char *filename)

Retorna valor: Sempre NULL. Parte da ABI Estável.

Similar to PyErr_SetFromErrnoWithFilenameObject(), but the filename is given as a C string. filename is decoded from the filesystem encoding and error handler.

PyObject *PyErr_SetFromWindowsErr(int ierr)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

This is a convenience function to raise OSError. If called with ierr of 0, the error code returned by a call to GetLastError() is used instead. It calls the Win32 function FormatMessage() to retrieve the Windows description of error code given by ierr or GetLastError(), then it constructs a OSError object with the winerror attribute set to the error code, the strerror attribute set to the corresponding error message (gotten from FormatMessage()), and then calls PyErr_SetObject(PyExc_OSError, object). This function always returns NULL.

Disponibilidade

PyObject *PyErr_SetExcFromWindowsErr(PyObject *type, int ierr)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

Similar to PyErr_SetFromWindowsErr(), with an additional parameter specifying the exception type to be raised.

Disponibilidade

PyObject *PyErr_SetFromWindowsErrWithFilename(int ierr, const char *filename)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

Similar to PyErr_SetFromWindowsErr(), with the additional behavior that if filename is not NULL, it is decoded from the filesystem encoding (os.fsdecode()) and passed to the constructor of OSError as a third parameter to be used to define the filename attribute of the exception instance.

Disponibilidade

PyObject *PyErr_SetExcFromWindowsErrWithFilenameObject(PyObject *type, int ierr, PyObject *filename)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

Similar to PyErr_SetExcFromWindowsErr(), with the additional behavior that if filename is not NULL, it is passed to the constructor of OSError as a third parameter to be used to define the filename attribute of the exception instance.

Disponibilidade

PyObject *PyErr_SetExcFromWindowsErrWithFilenameObjects(PyObject *type, int ierr, PyObject *filename, PyObject *filename2)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

Similar à PyErr_SetExcFromWindowsErrWithFilenameObject(), mas aceita um segundo caminho do objeto.

Disponibilidade

Adicionado na versão 3.4.

PyObject *PyErr_SetExcFromWindowsErrWithFilename(PyObject *type, int ierr, const char *filename)

Retorna valor: Sempre NULL. Parte da ABI Estável on Windows desde a versão 3.7.

Similar à PyErr_SetFromWindowsErrWithFilename(), com um parâmetro adicional especificando o tipo de exceção a ser gerado.

Disponibilidade

PyObject *PyErr_SetImportError(PyObject *msg, PyObject *name, PyObject *path)

Retorna valor: Sempre NULL. Parte da ABI Estável desde a versão 3.7.

This is a convenience function to raise ImportError. msg will be set as the exception’s message string. name and path, both of which can be NULL, will be set as the ImportError’s respective name and path attributes.

Adicionado na versão 3.3.

PyObject *PyErr_SetImportErrorSubclass(PyObject *exception, PyObject *msg, PyObject *name, PyObject *path)

Retorna valor: Sempre NULL. Parte da ABI Estável desde a versão 3.6.

Muito parecido com PyErr_SetImportError() mas a função permite especificar uma subclasse de ImportError para levantar uma exceção.

Adicionado na versão 3.6.

void PyErr_SyntaxLocationObject(PyObject *filename, int lineno, int col_offset)

Set file, line, and offset information for the current exception. If the current exception is not a SyntaxError, then it sets additional attributes, which make the exception printing subsystem think the exception is a SyntaxError.

Adicionado na versão 3.4.

void PyErr_SyntaxLocationEx(const char *filename, int lineno, int col_offset)

Parte da ABI Estável desde a versão 3.7.

Like PyErr_SyntaxLocationObject(), but filename is a byte string decoded from the filesystem encoding and error handler.

Adicionado na versão 3.2.

void PyErr_SyntaxLocation(const char *filename, int lineno)

Parte da ABI Estável.

Like PyErr_SyntaxLocationEx(), but the col_offset parameter is omitted.

void PyErr_BadInternalCall()

Parte da ABI Estável.

This is a shorthand for PyErr_SetString(PyExc_SystemError, message), where message indicates that an internal operation (e.g. a Python/C API function) was invoked with an illegal argument. It is mostly for internal use.

Emitindo advertências

Use these functions to issue warnings from C code. They mirror similar functions exported by the Python warnings module. They normally print a warning message to sys.stderr; however, it is also possible that the user has specified that warnings are to be turned into errors, and in that case they will raise an exception. It is also possible that the functions raise an exception because of a problem with the warning machinery. The return value is 0 if no exception is raised, or -1 if an exception is raised. (It is not possible to determine whether a warning message is actually printed, nor what the reason is for the exception; this is intentional.) If an exception is raised, the caller should do its normal exception handling (for example, Py_DECREF() owned references and return an error value).

int PyErr_WarnEx(PyObject *category, const char *message, Py_ssize_t stack_level)

Parte da ABI Estável.

Issue a warning message. The category argument is a warning category (see below) or NULL; the message argument is a UTF-8 encoded string. stack_level is a positive number giving a number of stack frames; the warning will be issued from the currently executing line of code in that stack frame. A stack_level of 1 is the function calling PyErr_WarnEx(), 2 is the function above that, and so forth.

Warning categories must be subclasses of PyExc_Warning; PyExc_Warning is a subclass of PyExc_Exception; the default warning category is PyExc_RuntimeWarning. The standard Python warning categories are available as global variables whose names are enumerated at Categorias de aviso padrão.

For information about warning control, see the documentation for the warnings module and the -W option in the command line documentation. There is no C API for warning control.

int PyErr_WarnExplicitObject(PyObject *category, PyObject *message, PyObject *filename, int lineno, PyObject *module, PyObject *registry)

Issue a warning message with explicit control over all warning attributes. This is a straightforward wrapper around the Python function warnings.warn_explicit(); see there for more information. The module and registry arguments may be set to NULL to get the default effect described there.

Adicionado na versão 3.4.

int PyErr_WarnExplicit(PyObject *category, const char *message, const char *filename, int lineno, const char *module, PyObject *registry)

Parte da ABI Estável.

Similar to PyErr_WarnExplicitObject() except that message and module are UTF-8 encoded strings, and filename is decoded from the filesystem encoding and error handler.

int PyErr_WarnFormat(PyObject *category, Py_ssize_t stack_level, const char *format, ...)

Parte da ABI Estável.

Function similar to PyErr_WarnEx(), but use PyUnicode_FromFormat() to format the warning message. format is an ASCII-encoded string.

Adicionado na versão 3.2.

int PyErr_ResourceWarning(PyObject *source, Py_ssize_t stack_level, const char *format, ...)

Parte da ABI Estável desde a versão 3.6.

Function similar to PyErr_WarnFormat(), but category is ResourceWarning and it passes source to warnings.WarningMessage.

Adicionado na versão 3.6.

Consultando o indicador de erro

PyObject *PyErr_Occurred()

Retorna valor: Referência emprestada. Parte da ABI Estável.

Test whether the error indicator is set. If set, return the exception type (the first argument to the last call to one of the PyErr_Set* functions or to PyErr_Restore()). If not set, return NULL. You do not own a reference to the return value, so you do not need to Py_DECREF() it.

The caller must hold the GIL.

Nota

Do not compare the return value to a specific exception; use PyErr_ExceptionMatches() instead, shown below. (The comparison could easily fail since the exception may be an instance instead of a class, in the case of a class exception, or it may be a subclass of the expected exception.)

int PyErr_ExceptionMatches(PyObject *exc)

Parte da ABI Estável.

Equivalent to PyErr_GivenExceptionMatches(PyErr_Occurred(), exc). This should only be called when an exception is actually set; a memory access violation will occur if no exception has been raised.

int PyErr_GivenExceptionMatches(PyObject *given, PyObject *exc)

Parte da ABI Estável.

Return true if the given exception matches the exception type in exc. If exc is a class object, this also returns true when given is an instance of a subclass. If exc is a tuple, all exception types in the tuple (and recursively in subtuples) are searched for a match.

PyObject *PyErr_GetRaisedException(void)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.12.

Return the exception currently being raised, clearing the error indicator at the same time. Return NULL if the error indicator is not set.

This function is used by code that needs to catch exceptions, or code that needs to save and restore the error indicator temporarily.

Por exemplo:

{
   PyObject *exc = PyErr_GetRaisedException();

   /* ... code that might produce other errors ... */

   PyErr_SetRaisedException(exc);
}

Ver também

PyErr_GetHandledException(), to save the exception currently being handled.

Adicionado na versão 3.12.

void PyErr_SetRaisedException(PyObject *exc)

Parte da ABI Estável desde a versão 3.12.

Set exc as the exception currently being raised, clearing the existing exception if one is set.

Aviso

This call steals a reference to exc, which must be a valid exception.

Adicionado na versão 3.12.

void PyErr_Fetch(PyObject **ptype, PyObject **pvalue, PyObject **ptraceback)

Parte da ABI Estável.

Obsoleto desde a versão 3.12: Use PyErr_GetRaisedException() instead.

Retrieve the error indicator into three variables whose addresses are passed. If the error indicator is not set, set all three variables to NULL. If it is set, it will be cleared and you own a reference to each object retrieved. The value and traceback object may be NULL even when the type object is not.

Nota

This function is normally only used by legacy code that needs to catch exceptions or save and restore the error indicator temporarily.

Por exemplo:

{
   PyObject *type, *value, *traceback;
   PyErr_Fetch(&type, &value, &traceback);

   /* ... code that might produce other errors ... */

   PyErr_Restore(type, value, traceback);
}

void PyErr_Restore(PyObject *type, PyObject *value, PyObject *traceback)

Parte da ABI Estável.

Obsoleto desde a versão 3.12: Use PyErr_SetRaisedException() instead.

Set the error indicator from the three objects, type, value, and traceback, clearing the existing exception if one is set. If the objects are NULL, the error indicator is cleared. Do not pass a NULL type and non-NULL value or traceback. The exception type should be a class. Do not pass an invalid exception type or value. (Violating these rules will cause subtle problems later.) This call takes away a reference to each object: you must own a reference to each object before the call and after the call you no longer own these references. (If you don’t understand this, don’t use this function. I warned you.)

Nota

This function is normally only used by legacy code that needs to save and restore the error indicator temporarily. Use PyErr_Fetch() to save the current error indicator.

void PyErr_NormalizeException(PyObject **exc, PyObject **val, PyObject **tb)

Parte da ABI Estável.

Obsoleto desde a versão 3.12: Use PyErr_GetRaisedException() instead, to avoid any possible de-normalization.

Under certain circumstances, the values returned by PyErr_Fetch() below can be “unnormalized”, meaning that *exc is a class object but *val is not an instance of the same class. This function can be used to instantiate the class in that case. If the values are already normalized, nothing happens. The delayed normalization is implemented to improve performance.

Nota

This function does not implicitly set the __traceback__ attribute on the exception value. If setting the traceback appropriately is desired, the following additional snippet is needed:

if (tb != NULL) {
  PyException_SetTraceback(val, tb);
}

PyObject *PyErr_GetHandledException(void)

Parte da ABI Estável desde a versão 3.11.

Retrieve the active exception instance, as would be returned by sys.exception(). This refers to an exception that was already caught, not to an exception that was freshly raised. Returns a new reference to the exception or NULL. Does not modify the interpreter’s exception state.

Nota

This function is not normally used by code that wants to handle exceptions. Rather, it can be used when code needs to save and restore the exception state temporarily. Use PyErr_SetHandledException() to restore or clear the exception state.

Adicionado na versão 3.11.

void PyErr_SetHandledException(PyObject *exc)

Parte da ABI Estável desde a versão 3.11.

Set the active exception, as known from sys.exception(). This refers to an exception that was already caught, not to an exception that was freshly raised. To clear the exception state, pass NULL.

Nota

This function is not normally used by code that wants to handle exceptions. Rather, it can be used when code needs to save and restore the exception state temporarily. Use PyErr_GetHandledException() to get the exception state.

Adicionado na versão 3.11.

void PyErr_GetExcInfo(PyObject **ptype, PyObject **pvalue, PyObject **ptraceback)

Parte da ABI Estável desde a versão 3.7.

Retrieve the old-style representation of the exception info, as known from sys.exc_info(). This refers to an exception that was already caught, not to an exception that was freshly raised. Returns new references for the three objects, any of which may be NULL. Does not modify the exception info state. This function is kept for backwards compatibility. Prefer using PyErr_GetHandledException().

Nota

This function is not normally used by code that wants to handle exceptions. Rather, it can be used when code needs to save and restore the exception state temporarily. Use PyErr_SetExcInfo() to restore or clear the exception state.

Adicionado na versão 3.3.

void PyErr_SetExcInfo(PyObject *type, PyObject *value, PyObject *traceback)

Parte da ABI Estável desde a versão 3.7.

Set the exception info, as known from sys.exc_info(). This refers to an exception that was already caught, not to an exception that was freshly raised. This function steals the references of the arguments. To clear the exception state, pass NULL for all three arguments. This function is kept for backwards compatibility. Prefer using PyErr_SetHandledException().

Nota

This function is not normally used by code that wants to handle exceptions. Rather, it can be used when code needs to save and restore the exception state temporarily. Use PyErr_GetExcInfo() to read the exception state.

Adicionado na versão 3.3.

Alterado na versão 3.11: The type and traceback arguments are no longer used and can be NULL. The interpreter now derives them from the exception instance (the value argument). The function still steals references of all three arguments.

Tratamento de sinal

int PyErr_CheckSignals()

Parte da ABI Estável.

Essa função interage com o manipulador de sinais do Python.

If the function is called from the main thread and under the main Python interpreter, it checks whether a signal has been sent to the processes and if so, invokes the corresponding signal handler. If the signal module is supported, this can invoke a signal handler written in Python.

The function attempts to handle all pending signals, and then returns 0. However, if a Python signal handler raises an exception, the error indicator is set and the function returns -1 immediately (such that other pending signals may not have been handled yet: they will be on the next PyErr_CheckSignals() invocation).

If the function is called from a non-main thread, or under a non-main Python interpreter, it does nothing and returns 0.

This function can be called by long-running C code that wants to be interruptible by user requests (such as by pressing Ctrl-C).

Nota

The default Python signal handler for SIGINT raises the KeyboardInterrupt exception.

void PyErr_SetInterrupt()

Parte da ABI Estável.

Simulate the effect of a SIGINT signal arriving. This is equivalent to PyErr_SetInterruptEx(SIGINT).

Nota

This function is async-signal-safe. It can be called without the GIL and from a C signal handler.

int PyErr_SetInterruptEx(int signum)

Parte da ABI Estável desde a versão 3.10.

Simulate the effect of a signal arriving. The next time PyErr_CheckSignals() is called, the Python signal handler for the given signal number will be called.

This function can be called by C code that sets up its own signal handling and wants Python signal handlers to be invoked as expected when an interruption is requested (for example when the user presses Ctrl-C to interrupt an operation).

If the given signal isn’t handled by Python (it was set to signal.SIG_DFL or signal.SIG_IGN), it will be ignored.

If signum is outside of the allowed range of signal numbers, -1 is returned. Otherwise, 0 is returned. The error indicator is never changed by this function.

Nota

This function is async-signal-safe. It can be called without the GIL and from a C signal handler.

Adicionado na versão 3.10.

int PySignal_SetWakeupFd(int fd)

This utility function specifies a file descriptor to which the signal number is written as a single byte whenever a signal is received. fd must be non-blocking. It returns the previous such file descriptor.

O valor -1 desabilita o recurso; este é o estado inicial. Isso é equivalente à signal.set_wakeup_fd() em Python, mas sem nenhuma verificação de erro. fd deve ser um descritor de arquivo válido. A função só deve ser chamada a partir da thread principal.

Alterado na versão 3.5: No Windows, a função agora também suporta manipuladores de socket.

Classes de exceção

PyObject *PyErr_NewException(const char *name, PyObject *base, PyObject *dict)

Retorna valor: Nova referência. Parte da ABI Estável.

This utility function creates and returns a new exception class. The name argument must be the name of the new exception, a C string of the form module.classname. The base and dict arguments are normally NULL. This creates a class object derived from Exception (accessible in C as PyExc_Exception).

The __module__ attribute of the new class is set to the first part (up to the last dot) of the name argument, and the class name is set to the last part (after the last dot). The base argument can be used to specify alternate base classes; it can either be only one class or a tuple of classes. The dict argument can be used to specify a dictionary of class variables and methods.

PyObject *PyErr_NewExceptionWithDoc(const char *name, const char *doc, PyObject *base, PyObject *dict)

Retorna valor: Nova referência. Parte da ABI Estável.

Same as PyErr_NewException(), except that the new exception class can easily be given a docstring: If doc is non-NULL, it will be used as the docstring for the exception class.

Adicionado na versão 3.2.

Objeto Exceção

PyObject *PyException_GetTraceback(PyObject *ex)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the traceback associated with the exception as a new reference, as accessible from Python through the __traceback__ attribute. If there is no traceback associated, this returns NULL.

int PyException_SetTraceback(PyObject *ex, PyObject *tb)

Parte da ABI Estável.

Defina o retorno traceback (situação da pilha de execução) associado à exceção como tb. Use Py_None para limpá-lo.

PyObject *PyException_GetContext(PyObject *ex)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the context (another exception instance during whose handling ex was raised) associated with the exception as a new reference, as accessible from Python through the __context__ attribute. If there is no context associated, this returns NULL.

void PyException_SetContext(PyObject *ex, PyObject *ctx)

Parte da ABI Estável.

Set the context associated with the exception to ctx. Use NULL to clear it. There is no type check to make sure that ctx is an exception instance. This steals a reference to ctx.

PyObject *PyException_GetCause(PyObject *ex)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the cause (either an exception instance, or None, set by raise ... from ...) associated with the exception as a new reference, as accessible from Python through the __cause__ attribute.

void PyException_SetCause(PyObject *ex, PyObject *cause)

Parte da ABI Estável.

Set the cause associated with the exception to cause. Use NULL to clear it. There is no type check to make sure that cause is either an exception instance or None. This steals a reference to cause.

The __suppress_context__ attribute is implicitly set to True by this function.

PyObject *PyException_GetArgs(PyObject *ex)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.12.

Return args of exception ex.

void PyException_SetArgs(PyObject *ex, PyObject *args)

Parte da ABI Estável desde a versão 3.12.

Set args of exception ex to args.

PyObject *PyUnstable_Exc_PrepReraiseStar(PyObject *orig, PyObject *excs)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Implement part of the interpreter’s implementation of except*. orig is the original exception that was caught, and excs is the list of the exceptions that need to be raised. This list contains the unhandled part of orig, if any, as well as the exceptions that were raised from the except* clauses (so they have a different traceback from orig) and those that were reraised (and have the same traceback as orig). Return the ExceptionGroup that needs to be reraised in the end, or None if there is nothing to reraise.

Adicionado na versão 3.12.

Objetos de exceção Unicode

As seguintes funções são usadas para criar e modificar exceções Unicode de C.

PyObject *PyUnicodeDecodeError_Create(const char *encoding, const char *object, Py_ssize_t length, Py_ssize_t start, Py_ssize_t end, const char *reason)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a UnicodeDecodeError object with the attributes encoding, object, length, start, end and reason. encoding and reason are UTF-8 encoded strings.

PyObject *PyUnicodeDecodeError_GetEncoding(PyObject *exc)

PyObject *PyUnicodeEncodeError_GetEncoding(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o atributo * encoding* dado no objeto da exceção.

PyObject *PyUnicodeDecodeError_GetObject(PyObject *exc)

PyObject *PyUnicodeEncodeError_GetObject(PyObject *exc)

PyObject *PyUnicodeTranslateError_GetObject(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o atributo object dado no objeto da exceção.

int PyUnicodeDecodeError_GetStart(PyObject *exc, Py_ssize_t *start)

int PyUnicodeEncodeError_GetStart(PyObject *exc, Py_ssize_t *start)

int PyUnicodeTranslateError_GetStart(PyObject *exc, Py_ssize_t *start)

Parte da ABI Estável.

Obtém o atributo start do objeto da exceção coloca-o em *start. start não deve ser NULL. Retorna 0 se não der erro, -1 caso dê erro.

int PyUnicodeDecodeError_SetStart(PyObject *exc, Py_ssize_t start)

int PyUnicodeEncodeError_SetStart(PyObject *exc, Py_ssize_t start)

int PyUnicodeTranslateError_SetStart(PyObject *exc, Py_ssize_t start)

Parte da ABI Estável.

Define o atributo start dado no objeto de exceção start. Em caso de sucesso, retorna 0, em caso de falha, retorna -1.

int PyUnicodeDecodeError_GetEnd(PyObject *exc, Py_ssize_t *end)

int PyUnicodeEncodeError_GetEnd(PyObject *exc, Py_ssize_t *end)

int PyUnicodeTranslateError_GetEnd(PyObject *exc, Py_ssize_t *end)

Parte da ABI Estável.

Obtenha o atributo end dado no objeto de exceção e coloque *end. O end não deve ser NULL. Em caso de sucesso, retorna 0, em caso de falha, retorna -1.

int PyUnicodeDecodeError_SetEnd(PyObject *exc, Py_ssize_t end)

int PyUnicodeEncodeError_SetEnd(PyObject *exc, Py_ssize_t end)

int PyUnicodeTranslateError_SetEnd(PyObject *exc, Py_ssize_t end)

Parte da ABI Estável.

Set the end attribute of the given exception object to end. Return 0 on success, -1 on failure.

PyObject *PyUnicodeDecodeError_GetReason(PyObject *exc)

PyObject *PyUnicodeEncodeError_GetReason(PyObject *exc)

PyObject *PyUnicodeTranslateError_GetReason(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o atributo reason dado no objeto da exceção.

int PyUnicodeDecodeError_SetReason(PyObject *exc, const char *reason)

int PyUnicodeEncodeError_SetReason(PyObject *exc, const char *reason)

int PyUnicodeTranslateError_SetReason(PyObject *exc, const char *reason)

Parte da ABI Estável.

Set the reason attribute of the given exception object to reason. Return 0 on success, -1 on failure.

Controle de recursão

These two functions provide a way to perform safe recursive calls at the C level, both in the core and in extension modules. They are needed if the recursive code does not necessarily invoke Python code (which tracks its recursion depth automatically). They are also not needed for tp_call implementations because the call protocol takes care of recursion handling.

int Py_EnterRecursiveCall(const char *where)

Parte da ABI Estável desde a versão 3.9.

Marca um ponto em que a chamada recursiva em nível C está prestes a ser executada.

If USE_STACKCHECK is defined, this function checks if the OS stack overflowed using PyOS_CheckStack(). If this is the case, it sets a MemoryError and returns a nonzero value.

The function then checks if the recursion limit is reached. If this is the case, a RecursionError is set and a nonzero value is returned. Otherwise, zero is returned.

where should be a UTF-8 encoded string such as " in instance check" to be concatenated to the RecursionError message caused by the recursion depth limit.

Alterado na versão 3.9: This function is now also available in the limited API.

void Py_LeaveRecursiveCall(void)

Parte da ABI Estável desde a versão 3.9.

Ends a Py_EnterRecursiveCall(). Must be called once for each successful invocation of Py_EnterRecursiveCall().

Alterado na versão 3.9: This function is now also available in the limited API.

Properly implementing tp_repr for container types requires special recursion handling. In addition to protecting the stack, tp_repr also needs to track objects to prevent cycles. The following two functions facilitate this functionality. Effectively, these are the C equivalent to reprlib.recursive_repr().

int Py_ReprEnter(PyObject *object)

Parte da ABI Estável.

Chamado no início da implementação tp_repr para detectar ciclos.

If the object has already been processed, the function returns a positive integer. In that case the tp_repr implementation should return a string object indicating a cycle. As examples, dict objects return {...} and list objects return [...].

A função retornará um inteiro negativo se o limite da recursão for atingido. Nesse caso a implementação tp_repr deverá, normalmente,. retornar NULL.

Caso contrário, a função retorna zero e a implementação tp_repr poderá continuar normalmente.

void Py_ReprLeave(PyObject *object)

Parte da ABI Estável.

Termina a Py_ReprEnter(). Deve ser chamado uma vez para cada chamada de Py_ReprEnter() que retorna zero.

Exceções Padrão

All standard Python exceptions are available as global variables whose names are PyExc_ followed by the Python exception name. These have the type PyObject*; they are all class objects. For completeness, here are all the variables:

Nome C

Nome Python

Notas

PyExc_BaseException

BaseException

[1]

PyExc_Exception

Exception

[1]

PyExc_ArithmeticError

ArithmeticError

[1]

PyExc_AssertionError

AssertionError

PyExc_AttributeError

AttributeError

PyExc_BlockingIOError

BlockingIOError

PyExc_BrokenPipeError

BrokenPipeError

PyExc_BufferError

BufferError

PyExc_ChildProcessError

ChildProcessError

PyExc_ConnectionAbortedError

ConnectionAbortedError

PyExc_ConnectionError

ConnectionError

PyExc_ConnectionRefusedError

ConnectionRefusedError

PyExc_ConnectionResetError

ConnectionResetError

PyExc_EOFError

EOFError

PyExc_FileExistsError

FileExistsError

PyExc_FileNotFoundError

FileNotFoundError

PyExc_FloatingPointError

FloatingPointError

PyExc_GeneratorExit

GeneratorExit

PyExc_ImportError

ImportError

PyExc_IndentationError

IndentationError

PyExc_IndexError

IndexError

PyExc_InterruptedError

InterruptedError

PyExc_IsADirectoryError

IsADirectoryError

PyExc_KeyError

KeyError

PyExc_KeyboardInterrupt

KeyboardInterrupt

PyExc_LookupError

LookupError

[1]

PyExc_MemoryError

MemoryError

PyExc_ModuleNotFoundError

ModuleNotFoundError

PyExc_NameError

NameError

PyExc_NotADirectoryError

NotADirectoryError

PyExc_NotImplementedError

NotImplementedError

PyExc_OSError

OSError

[1]

PyExc_OverflowError

OverflowError

PyExc_PermissionError

PermissionError

PyExc_ProcessLookupError

ProcessLookupError

PyExc_PythonFinalizationError

PythonFinalizationError

PyExc_RecursionError

RecursionError

PyExc_ReferenceError

ReferenceError

PyExc_RuntimeError

RuntimeError

PyExc_StopAsyncIteration

StopAsyncIteration

PyExc_StopIteration

StopIteration

PyExc_SyntaxError

SyntaxError

PyExc_SystemError

SystemError

PyExc_SystemExit

SystemExit

PyExc_TabError

TabError

PyExc_TimeoutError

TimeoutError

PyExc_TypeError

TypeError

PyExc_UnboundLocalError

UnboundLocalError

PyExc_UnicodeDecodeError

UnicodeDecodeError

PyExc_UnicodeEncodeError

UnicodeEncodeError

PyExc_UnicodeError

UnicodeError

PyExc_UnicodeTranslateError

UnicodeTranslateError

PyExc_ValueError

ValueError

PyExc_ZeroDivisionError

ZeroDivisionError

Adicionado na versão 3.3: PyExc_BlockingIOError, PyExc_BrokenPipeError, PyExc_ChildProcessError, PyExc_ConnectionError, PyExc_ConnectionAbortedError, PyExc_ConnectionRefusedError, PyExc_ConnectionResetError, PyExc_FileExistsError, PyExc_FileNotFoundError, PyExc_InterruptedError, PyExc_IsADirectoryError, PyExc_NotADirectoryError, PyExc_PermissionError, PyExc_ProcessLookupError e PyExc_TimeoutError foram introduzidos seguindo a PEP 3151 [https://peps.python.org/pep-3151/].

Adicionado na versão 3.5: PyExc_StopAsyncIteration e PyExc_RecursionError.

Adicionado na versão 3.6: PyExc_ModuleNotFoundError.

Esses são os aliases de compatibilidade para PyExc_OSError:

Nome C

Notas

PyExc_EnvironmentError

PyExc_IOError

PyExc_WindowsError

[2]

Alterado na versão 3.3: Esses aliases costumavam ser tipos de exceção separados.

Notas:

[1] (1,2,3,4,5)

Esta é uma classe base para outras exceções padrão.

[2]

Defina apenas no Windows; proteja o código que usa isso testando se a macro do pré-processador MS_WINDOWS está definida.

Categorias de aviso padrão

All standard Python warning categories are available as global variables whose names are PyExc_ followed by the Python exception name. These have the type PyObject*; they are all class objects. For completeness, here are all the variables:

Nome C

Nome Python

Notas

PyExc_Warning

Warning

[3]

PyExc_BytesWarning

BytesWarning

PyExc_DeprecationWarning

DeprecationWarning

PyExc_FutureWarning

FutureWarning

PyExc_ImportWarning

ImportWarning

PyExc_PendingDeprecationWarning

PendingDeprecationWarning

PyExc_ResourceWarning

ResourceWarning

PyExc_RuntimeWarning

RuntimeWarning

PyExc_SyntaxWarning

SyntaxWarning

PyExc_UnicodeWarning

UnicodeWarning

PyExc_UserWarning

UserWarning

Adicionado na versão 3.2: PyExc_ResourceWarning.

Notas:

[3]

Esta é uma classe base para outras categorias de aviso padrão.

Utilitários

As funções neste capítulo executam várias tarefas de utilidade pública, desde ajudar o código C a ser mais portátil em plataformas, usando módulos Python de C, como também, a analise de argumentos de função e a construção de valores Python a partir de valores C.

Utilitários do sistema operacional

System Functions

Process Control

Importando módulos

Suporte a marshalling de dados

Análise de argumentos e construção de valores

Análise de argumentos

Strings e buffers

Números

Outros objetos

Funções da API

Construindo valores

Conversão e formação de strings

API do PyHash

Reflexão

Registro de codec e funções de suporte

API de pesquisa de codec

API de registro de tratamentos de erros de decodificação Unicode

API C PyTime

Tipos

Funções de relógio

Funções de relógio brutas

Funções de conversão

Suporte a Mapas do Perf

Utilitários do sistema operacional

PyObject *PyOS_FSPath(PyObject *path)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.6.

Retorna a representação do sistema de arquivos para path. Se o objeto for um objeto str ou bytes, então uma nova referência forte é retornada. Se o objeto implementa a interface os.PathLike, então __fspath__() é retornado desde que seja um objeto str ou bytes. Caso contrário, TypeError é levantada e NULL é retornado.

Adicionado na versão 3.6.

int Py_FdIsInteractive(FILE *fp, const char *filename)

Retorna verdadeiro (não zero) se o arquivo padrão de E/S fp com o nome filename for considerado interativo. Este é o caso dos arquivos para os quais isatty(fileno(fp)) é verdade. Se PyConfig.interactive for não zero, esta função também retorna true se o ponteiro filename for NULL ou se o nome for igual a uma das strings '<stdin>' ou '???'.

Esta função não deve ser chamada antes da inicialização do Python.

void PyOS_BeforeFork()

Parte da ABI Estável on platforms with fork() desde a versão 3.7.

Função para preparar algum estado interno antes de ser feito um fork do processo. Isso deve ser chamado antes de chamar fork() ou qualquer função semelhante que clone o processo atual. Disponível apenas em sistemas onde fork() é definido.

Aviso

A chamada C fork() só deve ser feita a partir da thread “main” (do interpretador “main”). O mesmo vale para PyOS_BeforeFork().

Adicionado na versão 3.7.

void PyOS_AfterFork_Parent()

Parte da ABI Estável on platforms with fork() desde a versão 3.7.

Função para atualizar algum estado interno depois de ser feito um fork do processo. Isso deve ser chamado a partir do processo pai depois de chamar fork() ou qualquer função semelhante que clone o processo atual, independentemente da clonagem do processo ter sido bem-sucedida ou não. Disponível apenas em sistemas onde fork() é definido.

Aviso

A chamada C fork() só deve ser feita a partir da thread “main” (do interpretador “main”). O mesmo vale para PyOS_AfterFork_Parent().

Adicionado na versão 3.7.

void PyOS_AfterFork_Child()

Parte da ABI Estável on platforms with fork() desde a versão 3.7.

Função para atualizar o estado interno do interpretador depois de ser feito um fork do processo. Isso deve ser chamado a partir do processo filho depois de chamar fork() ou qualquer função semelhante que clone o processo atual, se houver alguma chance do processo ter uma chamada de retorno para o interpretador Python. Disponível apenas em sistemas onde fork() é definido.

Aviso

A chamada C fork() só deve ser feita a partir da thread “main” (do interpretador “main”). O mesmo vale para PyOS_AfterFork_Child().

Adicionado na versão 3.7.

Ver também

os.register_at_fork() permite registrar funções personalizadas do Python para serem chamadas por PyOS_BeforeFork(), PyOS_AfterFork_Parent() e PyOS_AfterFork_Child().

void PyOS_AfterFork()

Parte da ABI Estável on platforms with fork().

Função para atualizar algum estado interno após ser feito um fork de processo; isso deve ser chamado no novo processo se o interpretador do Python continuar a ser usado. Se um novo executável é carregado no novo processo, esta função não precisa ser chamada.

Obsoleto desde a versão 3.7: Esta função foi sucedida por PyOS_AfterFork_Child().

int PyOS_CheckStack()

Parte da ABI Estável on platforms with USE_STACKCHECK desde a versão 3.7.

Retorna verdadeiro quando o interpretador fica sem espaço na pilha. Esta é uma verificação confiável, mas só está disponível quando USE_STACKCHECK é definido (atualmente em certas versões do Windows usando o compilador Microsoft Visual C++). USE_STACKCHECK será definido automaticamente; você nunca deve alterar a definição em seu próprio código.

typedef void (*PyOS_sighandler_t)(int)

Parte da ABI Estável.

PyOS_sighandler_t PyOS_getsig(int i)

Parte da ABI Estável.

Retorna o manipulador de sinal atual para o sinal i. Este é um invólucro fino em torno de sigaction() ou signal(). Não chame essas funções diretamente!

PyOS_sighandler_t PyOS_setsig(int i, PyOS_sighandler_t h)

Parte da ABI Estável.

Define o manipulador de sinal para o sinal i como h; retornar o manipulador de sinal antigo. Este é um invólucro fino em torno de sigaction() ou signal(). Não chame essas funções diretamente!

wchar_t *Py_DecodeLocale(const char *arg, size_t *size)

Parte da ABI Estável desde a versão 3.7.

Aviso

Esta função não deve ser chamada diretamente: use a API PyConfig com a função PyConfig_SetBytesString() que garante que Python esteja pré-inicializado.

Esta função não deve ser chamada antes de Python estar pré-inicializado e para que a localidade LC_CTYPE seja configurada corretamente: consulte a função Py_PreInitialize().

Decodifica uma string de bytes do tratador de erros e codificação do sistema de arquivos. Se o tratador de erros for o tratador de errors surrogateescape, bytes não decodificáveis ​​são decodificados como caracteres no intervalo U+DC80..U+DCFF; e se uma string de bytes puder ser decodificada como um caractere substituto, os bytes são escapados usando o tratador de erros surrogateescape em vez de decodificá-los.

Retorna um ponteiro para uma string de caracteres largos recém-alocada, usa PyMem_RawFree() para liberar a memória. Se o tamanho não for NULL, escreve o número de caracteres largos excluindo o caractere nulo em *size

Retorna NULL em erro de decodificação ou erro de alocação de memória. Se size não for NULL, *size é definido como (size_t)-1 em erro de memória ou definido como (size_t)-2 em erro de decodificação.

tratador de erros e codificação do sistema de arquivos são selecionados por PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors de PyConfig.

Erros de decodificação nunca devem acontecer, a menos que haja um bug na biblioteca C.

Use a função Py_EncodeLocale() para codificar a string de caracteres de volta para uma string de bytes.

Ver também

As funções PyUnicode_DecodeFSDefaultAndSize() e PyUnicode_DecodeLocaleAndSize().

Adicionado na versão 3.5.

Alterado na versão 3.7: A função agora usa a codificação UTF-8 no Modo UTF-8 do Python.

Alterado na versão 3.8: A função agora usa a codificação UTF-8 no Windows se PyPreConfig.legacy_windows_fs_encoding for zero;

char *Py_EncodeLocale(const wchar_t *text, size_t *error_pos)

Parte da ABI Estável desde a versão 3.7.

Encode a wide character string to the filesystem encoding and error handler. If the error handler is surrogateescape error handler, surrogate characters in the range U+DC80..U+DCFF are converted to bytes 0x80..0xFF.

Return a pointer to a newly allocated byte string, use PyMem_Free() to free the memory. Return NULL on encoding error or memory allocation error.

If error_pos is not NULL, *error_pos is set to (size_t)-1 on success, or set to the index of the invalid character on encoding error.

tratador de erros e codificação do sistema de arquivos são selecionados por PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors de PyConfig.

Use the Py_DecodeLocale() function to decode the bytes string back to a wide character string.

Aviso

Esta função não deve ser chamada antes de Python estar pré-inicializado e para que a localidade LC_CTYPE seja configurada corretamente: consulte a função Py_PreInitialize().

Ver também

The PyUnicode_EncodeFSDefault() and PyUnicode_EncodeLocale() functions.

Adicionado na versão 3.5.

Alterado na versão 3.7: A função agora usa a codificação UTF-8 no Modo UTF-8 do Python.

Alterado na versão 3.8: The function now uses the UTF-8 encoding on Windows if PyPreConfig.legacy_windows_fs_encoding is zero.

System Functions

These are utility functions that make functionality from the sys module accessible to C code. They all work with the current interpreter thread’s sys module’s dict, which is contained in the internal thread state structure.

PyObject *PySys_GetObject(const char *name)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Return the object name from the sys module or NULL if it does not exist, without setting an exception.

int PySys_SetObject(const char *name, PyObject *v)

Parte da ABI Estável.

Set name in the sys module to v unless v is NULL, in which case name is deleted from the sys module. Returns 0 on success, -1 on error.

void PySys_ResetWarnOptions()

Parte da ABI Estável.

Reset sys.warnoptions to an empty list. This function may be called prior to Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Clear sys.warnoptions and warnings.filters instead.

void PySys_WriteStdout(const char *format, ...)

Parte da ABI Estável.

Write the output string described by format to sys.stdout. No exceptions are raised, even if truncation occurs (see below).

format should limit the total size of the formatted output string to 1000 bytes or less – after 1000 bytes, the output string is truncated. In particular, this means that no unrestricted “%s” formats should occur; these should be limited using “%.<N>s” where <N> is a decimal number calculated so that <N> plus the maximum size of other formatted text does not exceed 1000 bytes. Also watch out for “%f”, which can print hundreds of digits for very large numbers.

If a problem occurs, or sys.stdout is unset, the formatted message is written to the real (C level) stdout.

void PySys_WriteStderr(const char *format, ...)

Parte da ABI Estável.

As PySys_WriteStdout(), but write to sys.stderr or stderr instead.

void PySys_FormatStdout(const char *format, ...)

Parte da ABI Estável.

Function similar to PySys_WriteStdout() but format the message using PyUnicode_FromFormatV() and don’t truncate the message to an arbitrary length.

Adicionado na versão 3.2.

void PySys_FormatStderr(const char *format, ...)

Parte da ABI Estável.

As PySys_FormatStdout(), but write to sys.stderr or stderr instead.

Adicionado na versão 3.2.

PyObject *PySys_GetXOptions()

Retorna valor: Referência emprestada. Parte da ABI Estável desde a versão 3.7.

Return the current dictionary of -X options, similarly to sys._xoptions. On error, NULL is returned and an exception is set.

Adicionado na versão 3.2.

int PySys_Audit(const char *event, const char *format, ...)

Parte da ABI Estável desde a versão 3.13.

Raise an auditing event with any active hooks. Return zero for success and non-zero with an exception set on failure.

The event string argument must not be NULL.

If any hooks have been added, format and other arguments will be used to construct a tuple to pass. Apart from N, the same format characters as used in Py_BuildValue() are available. If the built value is not a tuple, it will be added into a single-element tuple.

The N format option must not be used. It consumes a reference, but since there is no way to know whether arguments to this function will be consumed, using it may cause reference leaks.

Note that # format characters should always be treated as Py_ssize_t, regardless of whether PY_SSIZE_T_CLEAN was defined.

sys.audit() performs the same function from Python code.

See also PySys_AuditTuple().

Adicionado na versão 3.8.

Alterado na versão 3.8.2: Require Py_ssize_t for # format characters. Previously, an unavoidable deprecation warning was raised.

int PySys_AuditTuple(const char *event, PyObject *args)

Parte da ABI Estável desde a versão 3.13.

Similar to PySys_Audit(), but pass arguments as a Python object. args must be a tuple. To pass no arguments, args can be NULL.

Adicionado na versão 3.13.

int PySys_AddAuditHook(Py_AuditHookFunction hook, void *userData)

Append the callable hook to the list of active auditing hooks. Return zero on success and non-zero on failure. If the runtime has been initialized, also set an error on failure. Hooks added through this API are called for all interpreters created by the runtime.

O ponteiro userData é passado para a função de gancho. Como as funções de gancho podem ser chamadas de diferentes tempos de execução, esse ponteiro não deve se referir diretamente ao estado do Python.

This function is safe to call before Py_Initialize(). When called after runtime initialization, existing audit hooks are notified and may silently abort the operation by raising an error subclassed from Exception (other errors will not be silenced).

The hook function is always called with the GIL held by the Python interpreter that raised the event.

See PEP 578 [https://peps.python.org/pep-0578/] for a detailed description of auditing. Functions in the runtime and standard library that raise events are listed in the audit events table. Details are in each function’s documentation.

If the interpreter is initialized, this function raises an auditing event sys.addaudithook with no arguments. If any existing hooks raise an exception derived from Exception, the new hook will not be added and the exception is cleared. As a result, callers cannot assume that their hook has been added unless they control all existing hooks.

typedef int (*Py_AuditHookFunction)(const char *event, PyObject *args, void *userData)

The type of the hook function. event is the C string event argument passed to PySys_Audit() or PySys_AuditTuple(). args is guaranteed to be a PyTupleObject. userData is the argument passed to PySys_AddAuditHook().

Adicionado na versão 3.8.

Process Control

void Py_FatalError(const char *message)

Parte da ABI Estável.

Print a fatal error message and kill the process. No cleanup is performed. This function should only be invoked when a condition is detected that would make it dangerous to continue using the Python interpreter; e.g., when the object administration appears to be corrupted. On Unix, the standard C library function abort() is called which will attempt to produce a core file.

The Py_FatalError() function is replaced with a macro which logs automatically the name of the current function, unless the Py_LIMITED_API macro is defined.

Alterado na versão 3.9: Log the function name automatically.

void Py_Exit(int status)

Parte da ABI Estável.

Exit the current process. This calls Py_FinalizeEx() and then calls the standard C library function exit(status). If Py_FinalizeEx() indicates an error, the exit status is set to 120.

Alterado na versão 3.6: Errors from finalization no longer ignored.

int Py_AtExit(void (*func)())

Parte da ABI Estável.

Register a cleanup function to be called by Py_FinalizeEx(). The cleanup function will be called with no arguments and should return no value. At most 32 cleanup functions can be registered. When the registration is successful, Py_AtExit() returns 0; on failure, it returns -1. The cleanup function registered last is called first. Each cleanup function will be called at most once. Since Python’s internal finalization will have completed before the cleanup function, no Python APIs should be called by func.

Importando módulos

PyObject *PyImport_ImportModule(const char *name)

Retorna valor: Nova referência. Parte da ABI Estável.

This is a wrapper around PyImport_Import() which takes a const char* as an argument instead of a PyObject*.

PyObject *PyImport_ImportModuleNoBlock(const char *name)

Retorna valor: Nova referência. Parte da ABI Estável.

Esta função é um alias descontinuado de PyImport_ImportModule().

Alterado na versão 3.3: Essa função falhava em alguns casos, quando a trava de importação era mantida por outra thread. No Python 3.3, no entanto, o esquema de trava mudou passando a ser de travas por módulo na maior parte, dessa forma, o comportamento especial dessa função não é mais necessário.

Deprecated since version 3.13, will be removed in version 3.15: Use PyImport_ImportModule() instead.

PyObject *PyImport_ImportModuleEx(const char *name, PyObject *globals, PyObject *locals, PyObject *fromlist)

Retorna valor: Nova referência.

Importa um módulo. Isso é melhor descrito referindo-se à função embutida do Python __import__().

O valor de retorno é uma nova referência ao módulo importado ou pacote de nível superior, ou NULL com uma exceção definida em caso de falha. Como para __import__(), o valor de retorno quando um submódulo de um pacote é solicitado é normalmente o pacote de nível superior, a menos que um fromlist não vazio seja fornecido.

As importações com falhas removem objetos incompletos do módulo, como em PyImport_ImportModule().

PyObject *PyImport_ImportModuleLevelObject(PyObject *name, PyObject *globals, PyObject *locals, PyObject *fromlist, int level)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Importa um módulo. Isso é melhor descrito referindo-se à função embutida do Python __import__(), já que a função padrão __import__() chama essa função diretamente.

O valor de retorno é uma nova referência ao módulo importado ou pacote de nível superior, ou NULL com uma exceção definida em caso de falha. Como para __import__(), o valor de retorno quando um submódulo de um pacote é solicitado é normalmente o pacote de nível superior, a menos que um fromlist não vazio seja fornecido.

Adicionado na versão 3.3.

PyObject *PyImport_ImportModuleLevel(const char *name, PyObject *globals, PyObject *locals, PyObject *fromlist, int level)

Retorna valor: Nova referência. Parte da ABI Estável.

Semelhante para PyImport_ImportModuleLevelObject(), mas o nome é uma string codificada em UTF-8 de um objeto Unicode.

Alterado na versão 3.3: Valores negativos para level não são mais aceitos.

PyObject *PyImport_Import(PyObject *name)

Retorna valor: Nova referência. Parte da ABI Estável.

Essa é uma interface de alto nível que chama a atual “função auxiliar de importação” (com um level explícito de 0, significando importação absoluta). Invoca a função __import__() a partir de __builtins__ da global atual. Isso significa que a importação é feita usando quaisquer extras de importação instalados no ambiente atual.

Esta função sempre usa importações absolutas.

PyObject *PyImport_ReloadModule(PyObject *m)

Retorna valor: Nova referência. Parte da ABI Estável.

Recarrega um módulo. Retorna uma nova referência para o módulo recarregado, ou NULL com uma exceção definida em caso de falha (o módulo ainda existe neste caso).

PyObject *PyImport_AddModuleRef(const char *name)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.13.

Return the module object corresponding to a module name.

The name argument may be of the form package.module. First check the modules dictionary if there’s one there, and if not, create a new one and insert it in the modules dictionary.

Return a strong reference to the module on success. Return NULL with an exception set on failure.

The module name name is decoded from UTF-8.

This function does not load or import the module; if the module wasn’t already loaded, you will get an empty module object. Use PyImport_ImportModule() or one of its variants to import a module. Package structures implied by a dotted name for name are not created if not already present.

Adicionado na versão 3.13.

PyObject *PyImport_AddModuleObject(PyObject *name)

Retorna valor: Referência emprestada. Parte da ABI Estável desde a versão 3.7.

Similar to PyImport_AddModuleRef(), but return a borrowed reference and name is a Python str object.

Adicionado na versão 3.3.

PyObject *PyImport_AddModule(const char *name)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Similar to PyImport_AddModuleRef(), but return a borrowed reference.

PyObject *PyImport_ExecCodeModule(const char *name, PyObject *co)

Retorna valor: Nova referência. Parte da ABI Estável.

Given a module name (possibly of the form package.module) and a code object read from a Python bytecode file or obtained from the built-in function compile(), load the module. Return a new reference to the module object, or NULL with an exception set if an error occurred. name is removed from sys.modules in error cases, even if name was already in sys.modules on entry to PyImport_ExecCodeModule(). Leaving incompletely initialized modules in sys.modules is dangerous, as imports of such modules have no way to know that the module object is an unknown (and probably damaged with respect to the module author’s intents) state.

The module’s __spec__ and __loader__ will be set, if not set already, with the appropriate values. The spec’s loader will be set to the module’s __loader__ (if set) and to an instance of SourceFileLoader otherwise.

The module’s __file__ attribute will be set to the code object’s co_filename. If applicable, __cached__ will also be set.

Esta função recarregará o módulo se este já tiver sido importado. Veja PyImport_ReloadModule() para forma desejada de recarregar um módulo.

Se name apontar para um nome pontilhado no formato de package.module, quaisquer estruturas de pacote ainda não criadas ainda não serão criadas.

Veja também PyImport_ExecCodeModuleEx() e PyImport_ExecCodeModuleWithPathnames().

Alterado na versão 3.12: The setting of __cached__ and __loader__ is deprecated. See ModuleSpec for alternatives.

PyObject *PyImport_ExecCodeModuleEx(const char *name, PyObject *co, const char *pathname)

Retorna valor: Nova referência. Parte da ABI Estável.

Like PyImport_ExecCodeModule(), but the __file__ attribute of the module object is set to pathname if it is non-NULL.

Veja também PyImport_ExecCodeModuleWithPathnames().

PyObject *PyImport_ExecCodeModuleObject(PyObject *name, PyObject *co, PyObject *pathname, PyObject *cpathname)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Like PyImport_ExecCodeModuleEx(), but the __cached__ attribute of the module object is set to cpathname if it is non-NULL. Of the three functions, this is the preferred one to use.

Adicionado na versão 3.3.

Alterado na versão 3.12: Setting __cached__ is deprecated. See ModuleSpec for alternatives.

PyObject *PyImport_ExecCodeModuleWithPathnames(const char *name, PyObject *co, const char *pathname, const char *cpathname)

Retorna valor: Nova referência. Parte da ABI Estável.

Como PyImport_ExecCodeModuleObject(), mas name, pathname e cpathname são strings codificadas em UTF-8. Também são feitas tentativas para descobrir qual valor para pathname deve ser de cpathname se o primeiro estiver definido como NULL.

Adicionado na versão 3.2.

Alterado na versão 3.3: Uses imp.source_from_cache() in calculating the source path if only the bytecode path is provided.

Alterado na versão 3.12: No longer uses the removed imp module.

long PyImport_GetMagicNumber()

Parte da ABI Estável.

Retorna o número mágico para arquivos de bytecode Python (também conhecido como arquivo .pyc). O número mágico deve estar presente nos primeiros quatro bytes do arquivo bytecode, na ordem de bytes little-endian. Retorna -1 em caso de erro.

Alterado na versão 3.3: Retorna o valor de -1 no caso de falha.

const char *PyImport_GetMagicTag()

Parte da ABI Estável.

Retorna a string de tag mágica para nomes de arquivo de bytecode Python no formato de PEP 3147 [https://peps.python.org/pep-3147/]. Tenha em mente que o valor em sys.implementation.cache_tag é autoritativo e deve ser usado no lugar desta função.

Adicionado na versão 3.2.

PyObject *PyImport_GetModuleDict()

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna o dicionário usado para a administração do módulo (também conhecido como sys.modules). Observe que esta é uma variável por interpretador.

PyObject *PyImport_GetModule(PyObject *name)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.8.

Retorna o módulo já importado com o nome fornecido. Se o módulo ainda não foi importado, retorna NULL, mas não define um erro. Retorna NULL e define um erro se a pesquisa falhar.

Adicionado na versão 3.7.

PyObject *PyImport_GetImporter(PyObject *path)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a finder object for a sys.path/pkg.__path__ item path, possibly by fetching it from the sys.path_importer_cache dict. If it wasn’t yet cached, traverse sys.path_hooks until a hook is found that can handle the path item. Return None if no hook could; this tells our caller that the path based finder could not find a finder for this path item. Cache the result in sys.path_importer_cache. Return a new reference to the finder object.

int PyImport_ImportFrozenModuleObject(PyObject *name)

Parte da ABI Estável desde a versão 3.7.

Carrega um módulo congelado chamado name. Retorna 1 para sucesso, 0 se o módulo não for encontrado e -1 com uma exceção definida se a inicialização falhar. Para acessar o módulo importado em um carregamento bem-sucedido, use PyImport_ImportModule(). (Observe o nome incorreto — esta função recarregaria o módulo se ele já tivesse sido importado.)

Adicionado na versão 3.3.

Alterado na versão 3.4: O atributo __file__ não está mais definido no módulo.

int PyImport_ImportFrozenModule(const char *name)

Parte da ABI Estável.

Semelhante a PyImport_ImportFrozenModuleObject(), mas o nome é uma string codificada em UTF-8 em vez de um objeto Unicode.

struct _frozen

Esta é a definição do tipo de estrutura para descritores de módulo congelados, conforme gerado pelo utilitário freeze (veja Tools/freeze/ na distribuição fonte do Python). Sua definição, encontrada em Include/import.h, é:

struct _frozen {
    const char *name;
    const unsigned char *code;
    int size;
    bool is_package;
};

Alterado na versão 3.11: O novo campo is_package indica se o módulo é um pacote ou não. Isso substitui a configuração do campo size para um valor negativo.

const struct _frozen *PyImport_FrozenModules

Este ponteiro é inicializado para apontar para um vetor de registros de _frozen, terminado por um cujos membros são todos NULL ou zero. Quando um módulo congelado é importado, ele é pesquisado nesta tabela. O código de terceiros pode fazer truques com isso para fornecer uma coleção criada dinamicamente de módulos congelados.

int PyImport_AppendInittab(const char *name, PyObject *(*initfunc)(void))

Parte da ABI Estável.

Adiciona um único módulo à tabela existente de módulos embutidos. Este é um invólucro prático em torno de PyImport_ExtendInittab(), retornando -1 se a tabela não puder ser estendida. O novo módulo pode ser importado pelo nome name e usa a função initfunc como a função de inicialização chamada na primeira tentativa de importação. Deve ser chamado antes de Py_Initialize().

struct _inittab

Structure describing a single entry in the list of built-in modules. Programs which embed Python may use an array of these structures in conjunction with PyImport_ExtendInittab() to provide additional built-in modules. The structure consists of two members:

const char *name

The module name, as an ASCII encoded string.

PyObject *(*initfunc)(void)

Initialization function for a module built into the interpreter.

int PyImport_ExtendInittab(struct _inittab *newtab)

Add a collection of modules to the table of built-in modules. The newtab array must end with a sentinel entry which contains NULL for the name field; failure to provide the sentinel value can result in a memory fault. Returns 0 on success or -1 if insufficient memory could be allocated to extend the internal table. In the event of failure, no modules are added to the internal table. This must be called before Py_Initialize().

Se Python é inicializado várias vezes, PyImport_AppendInittab() ou PyImport_ExtendInittab() devem ser chamados antes de cada inicialização do Python.

Suporte a marshalling de dados

Essas rotinas permitem que o código C trabalhe com objetos serializados usando o mesmo formato de dados que o módulo marshal. Existem funções para gravar dados no formato de serialização e funções adicionais que podem ser usadas para ler os dados novamente. Os arquivos usados para armazenar dados empacotados devem ser abertos no modo binário.

Os valores numéricos são armazenados primeiro com o byte menos significativo.

O módulo oferece suporte a duas versões do formato de dados: a versão 0 é a versão histórica, a versão 1 compartilha strings internas no arquivo e após a desserialização. A versão 2 usa um formato binário para números de ponto flutuante. Py_MARSHAL_VERSION indica o formato do arquivo atual (atualmente 2).

void PyMarshal_WriteLongToFile(long value, FILE *file, int version)

Aplica marshalling em um inteiro long, value, para file. Isso escreverá apenas os 32 bits menos significativos de value; independentemente do tamanho do tipo nativo long. version indica o formato do arquivo.

Esta função pode falhar, caso em que define o indicador de erro. Use PyErr_Occurred() para verificar isso.

void PyMarshal_WriteObjectToFile(PyObject *value, FILE *file, int version)

Aplica marshalling em um objeto Python, value, para file. version indica o formato do arquivo.

Esta função pode falhar, caso em que define o indicador de erro. Use PyErr_Occurred() para verificar isso.

PyObject *PyMarshal_WriteObjectToString(PyObject *value, int version)

Retorna valor: Nova referência.

Retorna um objeto de bytes que contém a representação pós-marshalling de value. version indica o formato do arquivo.

As seguintes funções permitem que os valores pós-marshalling sejam lidos novamente.

long PyMarshal_ReadLongFromFile(FILE *file)

Retorna um long C do fluxo de dados em um FILE* aberto para leitura. Somente um valor de 32 bits pode ser lido usando essa função, independentemente do tamanho nativo de long.

Em caso de erro, define a exceção apropriada (EOFError) e retorna -1.

int PyMarshal_ReadShortFromFile(FILE *file)

Retorna um short C do fluxo de dados em um FILE* aberto para leitura. Somente um valor de 16 bits pode ser lido usando essa função, independentemente do tamanho nativo de short.

Em caso de erro, define a exceção apropriada (EOFError) e retorna -1.

PyObject *PyMarshal_ReadObjectFromFile(FILE *file)

Retorna valor: Nova referência.

Retorna um objeto Python do fluxo de dados em um FILE* aberto para leitura.

Em caso de erro, define a exceção apropriada (EOFError, ValueError ou TypeError) e retorna NULL.

PyObject *PyMarshal_ReadLastObjectFromFile(FILE *file)

Retorna valor: Nova referência.

Retorna um objeto Python do fluxo de dados em um FILE* aberto para leitura. Diferentemente de PyMarshal_ReadObjectFromFile(), essa função presume que nenhum objeto adicional será lido do arquivo, permitindo que ela carregue agressivamente os dados do arquivo na memória, para que a desserialização possa operar a partir de dados na memória em vez de ler um byte por vez do arquivo. Use essas variantes apenas se tiver certeza de que não estará lendo mais nada do arquivo.

Em caso de erro, define a exceção apropriada (EOFError, ValueError ou TypeError) e retorna NULL.

PyObject *PyMarshal_ReadObjectFromString(const char *data, Py_ssize_t len)

Retorna valor: Nova referência.

Retorna um objeto Python do fluxo de dados em um buffer de bytes contendo len bytes apontados por data.

Em caso de erro, define a exceção apropriada (EOFError, ValueError ou TypeError) e retorna NULL.

Análise de argumentos e construção de valores

Essas funções são úteis ao criar funções e métodos das suas extensões. Informações adicionais e exemplos estão disponíveis em Estendendo e Incorporando o Interpretador Python.

As três primeiras funções descritas, PyArg_ParseTuple(), PyArg_ParseTupleAndKeywords(), e PyArg_Parse(), todas usam a string de formatação que informam à função sobre os argumentos esperados. As strings de formato usam a mesma sintaxe para cada uma dessas funções.

Análise de argumentos

Uma string de formato consiste em zero ou mais “unidades de formato”. Uma unidade de formato descreve um objeto Python; geralmente é um único caractere ou uma sequência entre parênteses de unidades de formato. Com algumas poucas exceções, uma unidade de formato que não é uma sequência entre parênteses normalmente corresponde a um único argumento de endereço para essas funções. Na descrição a seguir, a forma citada é a unidade de formato; a entrada em parênteses ( ) é o tipo de objeto Python que corresponde à unidade de formato; e a entrada em colchetes [ ] é o tipo da variável(s) C cujo endereço deve ser passado.

Strings e buffers

Nota

No Python 3.12 e anteriores, a macro PY_SSIZE_T_CLEAN deve ser definida antes da inclusão de Python.h para usar todas as variantes no formato # (s#, y#, etc.) explicadas abaixo. Isso não é necessário no Python 3.13 e posteriores.

Esses formatos permitem acessar um objeto como um pedaço contíguo de memória. Você não precisa fornecer armazenamento bruto para a área de unicode ou bytes retornada.

Salvo indicação em contrário, os buffers não são terminados em NUL.

Existem três maneiras pelas quais strings e buffers podem ser convertidos em C:

Formatos como y* e s* estão dentro de uma estrutura Py_buffer. Isso bloqueia o buffer subjacente para que o chamador possa posteriormente usar o buffer, mesmo dentro de um bloco Py_BEGIN_ALLOW_THREADS sem que haja o risco de que dados mutáveis sejam redimensionados ou destruídos. Dessa forma, você precisa chamar PyBuffer_Release() depois de ter concluído o processamento de dados (ou em qualquer caso de interrupção precoce).

Os formatos es, es#, et e et# alocam o buffer resultante. Você precisa chamar PyMem_Free() depois de ter concluído o processamento de dados (ou em qualquer caso de interrupção precoce).

Outros formatos usam um str ou um objeto byte ou similar somente leitura, como bytes, e fornecem um ponteiro const char * para seu buffer. Nesse caso, o buffer é “emprestado”: ele é gerenciado pelo objeto Python correspondente e compartilha o tempo de vida desse objeto. Você mesmo não precisará liberar nenhuma memória.

Para garantir que o buffer subjacente possa ser emprestado com segurança, o campo PyBufferProcs.bf_releasebuffer do objeto deve ser NULL. Isso não permite objetos mutáveis comuns, como bytearray, mas também alguns objetos somente leitura, como memoryview ou bytes.

Além desse requisito bf_releasebuffer, não há nenhuma verificação para saber se o objeto de entrada é imutável (por exemplo, se ele atenderia a uma solicitação de um buffer gravável ou se outro thread pode alterar os dados).

s (str) [const char *]

Converte um objeto Unicode para um ponteiro em C para uma string. Um ponteiro para uma string existente é armazenado na variável do ponteiro do caractere cujo o endereço que você está passando. A string em C é terminada em NULO. A string no Python não deve conter pontos de código nulo embutidos; se isso acontecer, uma exceção ValueError é levantada. Objetos Unicode são convertidos para strings em C usando a codificação 'utf-8'. Se essa conversão falhar, uma exceção UnicodeError é levantada.

Nota

Esse formato não aceita objetos byte ou similar. Se você quer aceitar caminhos de arquivos do sistema e convertê-los para strings em C, é preferível que use o formato O& com PyUnicode_FSConverter() como conversor.

Alterado na versão 3.5: Anteriormente, a exceção TypeError era levantada quando pontos de código nulo embutidos em string Python eram encontrados.

s* (str ou objeto byte ou similar) [Py_buffer]

Esse formato aceita tanto objetos Unicode quanto objetos byte ou similar. Preenche uma estrutura Py_buffer fornecida pelo chamador. Nesse caso, a string em C resultante pode conter bytes NUL embutidos. Objetos Unicode são convertidos para strings em C usando codificação 'utf-8'.

s# (str, objeto byte ou similar somente leitura) [const char *, Py_ssize_t]

Como s*, exceto que não fornece um buffer emprestado. O resultado é armazenado em duas variáveis em C, a primeira é um ponteiro para uma string em C, a segunda é o tamanho. A string pode conter bytes nulos embutidos. Objetos Unicode são convertidos para strings em C usando codificação 'utf-8'.

z (str ou None) [const char *]

Como s, mas o objeto Python também pode ser None, nesse caso o ponteiro C é definido como NULL.

z* (str, objeto byte ou similar ou None) [Py_buffer]

Como s*, mas o objeto Python também pode ser None, nesse caso o membro buf da estrutura Py_buffer é definido como NULL.

z# (str, objeto byte ou similar somente leitura ou None) [const char *, Py_ssize_t]

Como s#, mas o objeto Python também pode ser None, nesse caso o ponteiro C é definido como NULL.

y (objeto byte ou similar somente leitura) [const char *]

Este formato converte um objeto byte ou similar para um ponteiro C para uma string de caracteres emprestada; não aceita objetos Unicode. O buffer de bytes não pode conter bytes nulos embutidos; se isso ocorrer uma exceção ValueError será levantada.

Alterado na versão 3.5: Anteriormente, a exceção TypeError era levantada quando pontos de código nulo embutidos em string Python eram encontrados no buffer de bytes.

y* (objeto byte ou similar) [Py_buffer]

Esta variante em s* não aceita objetos unicode, apenas objetos byte ou similar. Esta é a maneira recomendada para aceitar dados binários.

y# (objeto byte ou similar somente leitura) [const char *, Py_ssize_t]

Esta variação de s# não aceita objetos Unicode, apenas objetos byte ou similar.

S (bytes) [PyBytesObject *]

Exige que o objeto Python seja um objeto bytes, sem tentar nenhuma conversão. Levanta TypeError se o objeto não for um objeto byte. A variável C pode ser declarada como PyObject*.

Y (bytearray) [PyByteArrayObject *]

Exige que o objeto Python seja um objeto bytearray, sem aceitar qualquer conversão. Levanta TypeError se o objeto não é um objeto bytearray. A variável C apenas pode ser declarada como PyObject*.

U (str) [PyObject *]

Exige que o objeto python seja um objeto Unicode, sem tentar alguma conversão. Levanta TypeError se o objeto não for um objeto Unicode. A variável C deve ser declarada como PyObject*.

w* (objeto byte ou similar de leitura e escrita) [Py_buffer]

Este formato aceita qualquer objeto que implemente a interface do buffer de leitura e escrita. Ele preenche uma estrutura Py_buffer fornecida pelo chamador. O buffer pode conter bytes nulos incorporados. O chamador deve chamar PyBuffer_Release() quando isso for feito com o buffer.

es (str) [const char *encoding, char **buffer]

Esta variante em s é utilizada para codificação do Unicode em um buffer de caracteres. Ele só funciona para dados codificados sem NUL bytes incorporados.

Este formato exige dois argumentos. O primeiro é usado apenas como entrada e deve ser a const char* que aponta para o nome de uma codificação como uma string terminada em NUL ou NULL, nesse caso a codificação 'utf-8' é usada. Uma exceção é levantada se a codificação nomeada não for conhecida pelo Python. O segundo argumento deve ser um char**; o valor do ponteiro a que ele faz referência será definido como um buffer com o conteúdo do texto do argumento. O texto será codificado na codificação especificada pelo primeiro argumento.

PyArg_ParseTuple() alocará um buffer do tamanho necessário, copiará os dados codificados nesse buffer e ajustará *buffer para referenciar o armazenamento recém-alocado. O chamador é responsável por chamar PyMem_Free() para liberar o buffer alocado após o uso.

et (str, bytes ou bytearray) [const char *encoding, char **buffer]

O mesmo que es, exceto que os objetos strings de bytes são passados ​​sem os recodificar. Em vez disso, a implementação presume que o objeto string de bytes usa a codificação passada como parâmetro.

es# (str) [const char *encoding, char **buffer, Py_ssize_t *buffer_length]

Essa variante em s# é usada para codificar Unicode em um buffer de caracteres. Diferente do formato es, essa variante permite a entrada de dados que contêm caracteres NUL.

Exige três argumentos. O primeiro é usado apenas como entrada e deve ser a const char* que aponta para o nome de uma codificação como uma string terminada em NUL ou NULL, nesse caso a codificação 'utf-8' é usada. Uma exceção será gerada se a codificação nomeada não for conhecida pelo Python. O segundo argumento deve ser um char**; o valor do ponteiro a que ele faz referência será definido como um buffer com o conteúdo do texto do argumento. O texto será codificado na codificação especificada pelo primeiro argumento. O terceiro argumento deve ser um ponteiro para um número inteiro; o número inteiro referenciado será definido como o número de bytes no buffer de saída.

Há dois modos de operação:

Se *buffer apontar um ponteiro NULL, a função irá alocar um buffer do tamanho necessário, copiar os dados codificados para dentro desse buffer e configurar *buffer para referenciar o novo armazenamento alocado. O chamador é responsável por chamar PyMem_Free() para liberar o buffer alocado após o uso.

Se *buffer apontar para um ponteiro que não seja NULL (um buffer já alocado), PyArg_ParseTuple() irá usar essa localização como buffer e interpretar o valor inicial de *buffer_length como sendo o tamanho do buffer. Depois ela vai copiar os dados codificados para dentro do buffer e terminá-lo com NUL. Se o buffer não for suficientemente grande, um ValueError será definido.

Em ambos os casos, o *buffer_length é definido como o comprimento dos dados codificados sem o byte NUL à direita.

et# (str, bytes ou bytearray) [const char *encoding, char **buffer, Py_ssize_t *buffer_length]

O mesmo que es#, exceto que os objetos strings de bytes são passados ​​sem que sejam recodificados. Em vez disso, a implementação presume que o objeto string de bytes usa a codificação passada como parâmetro.

Alterado na versão 3.12: u, u#, Z e Z# foram removidos porque usavam uma representação herdada de Py_UNICODE*.

Números

b (int) [unsigned char]

Converte um inteiro Python não negativo em um inteiro pequeno sem sinal (unsigned tiny int), armazenado em um unsigned char do C.

B (int) [unsigned char]

Converte um inteiro Python para um inteiro pequeno (tiny int) sem verificação de estouro, armazenado em um unsigned char do C.

h (int) [short int]

Converte um inteiro Python para um short int do C.

H (int) [unsigned short int]

Converte um inteiro Python para um unsigned short int do C, sem verificação de estouro.

i (int) [int]

Converte um inteiro Python para um int simples do C.

I (int) [unsigned int]

Converte um inteiro Python para um unsigned int do C, sem verificação de estouro.

l (int) [long int]

Converte um inteiro Python para um long int do C.

k (int) [unsigned long]

Converte um inteiro Python para um unsigned long do C sem verificação de estouro.

L (int) [longo longo]

Converte um inteiro Python para um long long do C.

K (int) [unsigned long long]

Converte um inteiro Python para um unsigned long long do C sem verificação de estouro.

n (int) [Py_ssize_t]

Converte um inteiro Python para um Py_ssize_t do C.

c (bytes ou bytearray de comprimento 1) [char]

Converte um byte Python, representado com um objeto byte ou bytearray de comprimento 1, para um char do C.

Alterado na versão 3.3: Permite objetos bytearray.

C (str de comprimento 1) [int]

Converte um caractere Python, representado como uma str objeto de comprimento 1, para um int do C

f` (float) [float]

Converte um número de ponto flutuante Python para um float do C.

d (float) [double]

Converte um número de ponto flutuante Python para um double do C.

D (complex) [Py_complex]

Converte um número complexo Python para uma estrutura C Py_complex

Outros objetos

O (objeto) [PyObject*]

Armazena um objeto Python (sem qualquer conversão) em um ponteiro de objeto C. O programa C então recebe o objeto real que foi passado. Uma nova referência forte ao objeto não é criado (isto é sua contagem de referências não é aumentada). O ponteiro armazenado não é NULL.

O! (objeto) [typeobject, PyObject *]

Armazena um objeto Python em um ponteiro de objeto C. Isso é similar a O, mas usa dois argumentos C: o primeiro é o endereço de um objeto do tipo Python, o segundo é um endereço da variável C (de tipo PyObject*) no qual o ponteiro do objeto está armazenado. Se o objeto Python não tiver o tipo necessário, TypeError é levantada.

O& (objeto) [converter, anything]

Converte um objeto Python em uma variável C através de uma função converter. Isso leva dois argumentos: o primeiro é a função, o segundo é o endereço da variável C (de tipo arbitrário), convertendo para void*. A função converter por sua vez, é chamada da seguinte maneira:

status = converter(object, address);

onde object é o objeto Python a ser convertido e address é o argumento void* que foi passado para a função PyArg_Parse*. O status retornado deve ser 1 para uma conversão bem-sucedida e 0 se a conversão falhar. Quando a conversão falha, a função converter deve levantar uma exceção e deixar o conteúdo de address inalterado.

Se o converter retornar Py_CLEANUP_SUPPORTED, ele poderá ser chamado uma segunda vez se a análise do argumento eventualmente falhar, dando ao conversor a chance de liberar qualquer memória que já havia alocado. Nesta segunda chamada, o parâmetro object será NULL; address terá o mesmo valor que na chamada original.

Alterado na versão 3.1: 109 Py_CLEANUP_SUPPORTED foi adicionado.

p (bool) [int]

Testa o valor transmitido para a verdade (um booleano predicado) e converte o resultado em seu valor inteiro C verdadeiro/falso equivalente. Define o int como 1 se a expressão for verdadeira e 0 se for falsa. Isso aceita qualquer valor válido do Python. Veja Teste do valor verdade para obter mais informações sobre como o Python testa valores para a verdade.

Adicionado na versão 3.3.

(items) (tuple) [matching-items]

O objeto deve ser uma sequência Python cujo comprimento seja o número de unidades de formato em items. Os argumentos C devem corresponder às unidades de formato individuais em items. As unidades de formato para sequências podem ser aninhadas.

É possível passar inteiros “long” (inteiros em que o valor excede a constante da plataforma LONG_MAX) contudo nenhuma checagem de intervalo é propriamente feita – os bits mais significativos são silenciosamente truncados quando o campo de recebimento é muito pequeno para receber o valor (na verdade, a semântica é herdada de downcasts no C – seu raio de ação pode variar).

Alguns outros caracteres possuem significados na string de formatação. Isso pode não ocorrer dentro de parênteses aninhados. Eles são:

|

Indica que os argumentos restantes na lista de argumentos do Python são opcionais. As variáveis C correspondentes a argumentos opcionais devem ser inicializadas para seus valores padrão — quando um argumento opcional não é especificado, PyArg_ParseTuple() não toca no conteúdo da(s) variável(eis) C correspondente(s).

$

PyArg_ParseTupleAndKeywords() apenas: Indica que os argumentos restantes na lista de argumentos do Python são somente-nomeados. Atualmente, todos os argumentos somente-nomeados devem ser também argumentos opcionais, então | deve sempre ser especificado antes de $ na string de formatação.

Adicionado na versão 3.3.

:

A lista de unidades de formatação acaba aqui; a string após os dois pontos é usada como o nome da função nas mensagens de erro (o “valor associado” da exceção que PyArg_ParseTuple() levanta).

;

A lista de unidades de formatação acaba aqui; a string após o ponto e vírgula é usada como a mensagem de erro ao invés da mensagem de erro padrão. : e ; se excluem mutuamente.

Note que quaisquer referências a objeto Python que são fornecidas ao chamador são referências emprestadas; não libera-as (isto é, não decremente a contagem de referências delas)!

Argumentos adicionais passados para essas funções devem ser endereços de variáveis cujo tipo é determinado pela string de formatação; estes são usados para armazenar valores vindos da tupla de entrada. Existem alguns casos, como descrito na lista de unidades de formatação acima, onde esses parâmetros são usados como valores de entrada; eles devem concordar com o que é especificado para a unidade de formatação correspondente nesse caso.

Para a conversão funcionar, o objeto arg deve corresponder ao formato e o formato deve estar completo. Em caso de sucesso, as funções PyArg_Parse* retornam verdadeiro, caso contrário retornam falso e levantam uma exceção apropriada. Quando as funções PyArg_Parse* falham devido a uma falha de conversão em uma das unidades de formatação, as variáveis nos endereços correspondentes àquela unidade e às unidades de formatação seguintes são deixadas intocadas.

Funções da API

int PyArg_ParseTuple(PyObject *args, const char *format, ...)

Parte da ABI Estável.

Analisa os parâmetros de uma função que recebe apenas parâmetros posicionais em variáveis locais. Retorna verdadeiro em caso de sucesso; em caso de falha, retorna falso e levanta a exceção apropriada.

int PyArg_VaParse(PyObject *args, const char *format, va_list vargs)

Parte da ABI Estável.

Idêntico a PyArg_ParseTuple(), exceto que aceita uma va_list ao invés de um número variável de argumentos.

int PyArg_ParseTupleAndKeywords(PyObject *args, PyObject *kw, const char *format, char *const *keywords, ...)

Parte da ABI Estável.

Analisa os parâmetros de uma função que aceita tanto parâmetros posicionais quando parâmetros nomeados e os converte em variáveis locais. O argumento keywords é um array terminado em NULL de nomes de parâmetros nomeados especificados como strings C codificadas em ASCII ou UTF-8 e terminadas com nulo. Nomes vazios representam parâmetros somente-posicional. Retorna verdadeiro em caso de sucesso; em caso de falha, retorna falso e levanta a exceção apropriada.

Nota

A declaração do parâmetro keywords é char *const* em C e const char *const* em C++. Isso pode ser substituído com a macro PY_CXX_CONST.

Alterado na versão 3.6: Adicionado suporte para positional-only parameters.

Alterado na versão 3.13: O parâmetro keywords é agora do tipo char *const* em C e const char *const* em C++, no lugar de char**. Adicionado suporte para nomes de parâmetros nomeados não-ASCII.

int PyArg_VaParseTupleAndKeywords(PyObject *args, PyObject *kw, const char *format, char *const *keywords, va_list vargs)

Parte da ABI Estável.

Idêntico a PyArg_ParseTupleAndKeywords(), exceto que aceita uma va_list ao invés de um número variável de argumentos.

int PyArg_ValidateKeywordArguments(PyObject*)

Parte da ABI Estável.

Garante que as chaves no dicionário de argumento de palavras reservadas são strings. Isso só é necessário se PyArg_ParseTupleAndKeywords() não é usado, já que o último já faz essa checagem.

Adicionado na versão 3.2.

int PyArg_Parse(PyObject *args, const char *format, ...)

Parte da ABI Estável.

Analisa o parâmetro de uma função que recebe um único parâmetro posicional e o converte em uma variável local. Retorna verdadeiro em caso de sucesso; em caso de falha, retorna falso e levanta a exceção apropriada.

Exemplo:

// Função usando a convenção de chamada ao método METH_O
static PyObject*
my_function(PyObject *module, PyObject *arg)
{
    int value;
    if (!PyArg_Parse(arg, "i:my_function", &value)) {
        return NULL;
    }
    // ... usar valor ...
}

int PyArg_UnpackTuple(PyObject *args, const char *name, Py_ssize_t min, Py_ssize_t max, ...)

Parte da ABI Estável.

Uma forma mais simples de recuperação de parâmetro que não usa uma string de formato para especificar os tipos de argumentos. Funções que usam este método para recuperar seus parâmetros devem ser declaradas como METH_VARARGS em tabelas de função ou método. A tupla contendo os parâmetros reais deve ser passada como args; deve realmente ser uma tupla. O comprimento da tupla deve ser de pelo menos min e não mais do que max; min e max podem ser iguais. Argumentos adicionais devem ser passados para a função, cada um dos quais deve ser um ponteiro para uma variável PyObject*; eles serão preenchidos com os valores de args; eles conterão referências emprestadas. As variáveis que correspondem a parâmetros opcionais não fornecidos por args não serão preenchidas; estes devem ser inicializados pelo chamador. Esta função retorna verdadeiro em caso de sucesso e falso se args não for uma tupla ou contiver o número incorreto de elementos; uma exceção será definida se houver uma falha.

Este é um exemplo do uso dessa função, tirado das fontes do módulo auxiliar para referências fracas _weakref:

static PyObject *
weakref_ref(PyObject *self, PyObject *args)
{
    PyObject *object;
    PyObject *callback = NULL;
    PyObject *result = NULL;

    if (PyArg_UnpackTuple(args, "ref", 1, 2, &object, &callback)) {
        result = PyWeakref_NewRef(object, callback);
    }
    return result;
}

A chamada à PyArg_UnpackTuple() neste exemplo é inteiramente equivalente à chamada para PyArg_ParseTuple():

PyArg_ParseTuple(args, "O|O:ref", &object, &callback)

PY_CXX_CONST

O valor para ser inserido, se houver, antes de char *const* na declaração do parâmetro keywords das funções PyArg_ParseTupleAndKeywords() e PyArg_VaParseTupleAndKeywords(). Por padrão, é vazio para C e const for C++ (const char *const*). Para substituir, defina o valor desejado antes de incluir Python.h.

Adicionado na versão 3.13.

Construindo valores

PyObject *Py_BuildValue(const char *format, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um novo valor baseado em uma string de formatação similar àquelas aceitas pela família de funções PyArg_Parse* e uma sequência de valores. Retorna o valor ou NULL em caso de erro; uma exceção será levantada se NULL for retornado.

Py_BuildValue() não constrói sempre uma tupla. Ela constrói uma tupla apenas se a sua string de formatação contém duas ou mais unidades de formatação. Se a string de formatação estiver vazia, ela retorna None; se ela contém exatamente uma unidade de formatação, ela retorna qualquer que seja o objeto que for descrito pela unidade de formatação. Para forçar ela a retornar uma tupla de tamanho 0 ou um, use parênteses na string de formatação.

Quando buffers de memória são passados como parâmetros para fornecer dados para construir objetos, como nos formatos s e s#, os dados necessários são copiados. Buffers fornecidos pelo chamador nunca são referenciados pelos objetos criados por Py_BuildValue(). Em outras palavras, se o seu código invoca malloc() e passa a memória alocada para Py_BuildValue(), seu código é responsável por chamar free() para aquela memória uma vez que Py_BuildValue() tiver retornado.

Na descrição a seguir, a forma entre aspas é a unidade de formatação; a entrada em parênteses (arredondado) é o tipo do objeto Python que a unidade de formatação irá retornar; e a entrada em colchetes [quadrado] é o tipo do(s) valor(es) C a ser(em) passado(s).

Os caracteres de espaço, tab, dois pontos e vírgula são ignorados em strings de formatação (mas não dentro de unidades de formatação como s#). Isso pode ser usado para tornar strings de formatação longas um pouco mais legíveis.

s (str ou None) [const char *]

Converte uma string C terminada em NULL em um objeto Python str usando codificação 'utf-8'. Se o ponteiro da string C é NULL, None é usado.

s# (str ou None) [const char *, Py_ssize_t]

Converte uma string C e seu comprimento em um objeto Python str usando a codificação 'utf-8'. Se o ponteiro da string C é NULL, o comprimento é ignorado e None é retornado.

y (bytes) [const char *]

Isso converte uma string C para um objeto Python bytes. Se o ponteiro da string C é NULL, None é retornado.

y# (bytes) [const char *, Py_ssize_t]

Isso converte uma string C e seu comprimento para um objeto Python. Se o ponteiro da string C é NULL, None é retornado.

z (str ou None) [const char *]

O mesmo de s.

z# (str ou None) [const char *, Py_ssize_t]

O mesmo de s#.

u (str) [const wchar_t *]

Converte um buffer terminado por null wchar_t de dados Unicode (UTF-16 ou UCS-4) para um objeto Python Unicode. Se o ponteiro do buffer Unicode é NULL, None é retornado.

u# (str) [const wchar_t *, Py_ssize_t]

Converte um buffer de dados Unicode (UTF-17 ou UCS-4) e seu comprimento em um objeto Python Unicode. Se o ponteiro do buffer Unicode é NULL, o comprimento é ignorado e None é retornado.

U (str ou None) [const char *]

O mesmo de s.

U# (str ou None) [const char *, Py_ssize_t]

O mesmo de s#.

i (int) [int]

Converte um simples int do C em um objeto inteiro do Python.

b (int) [char]

Converte um simples char do C em um objeto inteiro do Python.

h (int) [short int]

Converte um simples short int do C em um objeto inteiro do Python.

l (int) [long int]

Converte um long int do C em um objeto inteiro do Python.

B (int) [unsigned char]

Converte um unsigned char do C em um objeto inteiro do Python.

H (int) [unsigned short int]

Converte um unsigned short int do C em um objeto inteiro do Python.

I (int) [unsigned int]

Converte um unsigned int do C em um objeto inteiro do Python.

k (int) [unsigned long]

Converte um unsigned long do C em um objeto inteiro do Python.

L (int) [longo longo]

Converte um long long do C em um objeto inteiro do Python.

K (int) [unsigned long long]

Converte um unsigned long long do C em um objeto inteiro do Python.

n (int) [Py_ssize_t]

Converte um Py_ssize_t do C em um objeto inteiro do Python.

c (bytes de comprimento 1) [char]

Converte um int representando um byte do C em um objeto bytes de comprimento 1 do Python.

C (str de comprimento 1) [int]

Converte um int representando um caractere do C em um objeto str de comprimento 1 do Python.

d (float) [double]

Converte um double do C em um número ponto flutuante do Python.

f` (float) [float]

Converte um float do C em um número ponto flutuante do Python.

D (complex) [Py_complex *]

Converte uma estrutura Py_complex do C em um número complexo do Python.

O (objeto) [PyObject*]

Passa um objeto Python intocado, mas cria uma nova referência forte a ele (isto é, sua contagem de referências é incrementada por um). Se o objeto passado é um ponteiro NULL, presume-se que isso foi causado porque a chamada que produziu o argumento encontrou um erro e definiu uma exceção. Portanto, Py_BuildValue() irá retornar NULL mas não irá levantar uma exceção. Se nenhuma exceção foi levantada ainda, SystemError é definida.

S (objeto) [PyObject *]

O mesmo que O.

N (objeto) [PyObject *]

O mesmo que O, exceto que não cria uma nova referência forte. Útil quando o objeto é criado por uma chamada a um construtor de objeto na lista de argumento.

O& (objeto) [converter, anything]

Converte anything para um objeto Python através de uma função converter. A função é chamada com anything (que deve ser compatível com o void*) como argumento e deve retornar um “novo” objeto Python, ou NULL se um erro ocorreu.

(items) (tuple) [matching-items]

Converte uma sequência de valores C para uma tupla Python com o mesmo número de itens.

[items] (list) [matching-items]

Converte uma sequência de valores C para uma lista Python com o mesmo número de itens.

{items} (dict) [matching-items]

Converte uma sequência de valores C para um dicionário Python. Cada par de valores consecutivos do C adiciona um item ao dicionário, servindo como chave e valor, respectivamente.

Se existir um erro na string de formatação, a exceção SystemError é definida e NULL é retornado.

PyObject *Py_VaBuildValue(const char *format, va_list vargs)

Retorna valor: Nova referência. Parte da ABI Estável.

Idêntico a Py_BuildValue(), exceto que aceita uma va_list ao invés de um número variável de argumentos.

Conversão e formação de strings

Funções para conversão de números e saída formatada de strings.

int PyOS_snprintf(char *str, size_t size, const char *format, ...)

Parte da ABI Estável.

Saída não superior a size bytes para str de acordo com a string de formato format e os argumentos extras. Veja a página man do Unix snprintf(3) [https://manpages.debian.org/snprintf(3)].

int PyOS_vsnprintf(char *str, size_t size, const char *format, va_list va)

Parte da ABI Estável.

Saída não superior a size bytes para str de acordo com o string de formato format e a variável argumento de lista va. Página man do Unix vsnprintf(3) [https://manpages.debian.org/vsnprintf(3)].

PyOS_snprintf() e PyOS_vsnprintf() envolvem as funções snprintf() e vsnprintf() da biblioteca Standard C. Seu objetivo é garantir um comportamento consistente em casos extremos, o que as funções do Standard C não garantem.

Os invólucros garantem que str[size-1] seja sempre '\0' no retorno. Eles nunca escrevem mais do que size bytes (incluindo o '\0' ao final) em str. Ambas as funções exigem que str != NULL, size > 0, format != NULL e size < INT_MAX. Note que isso significa que não há equivalente ao n = snprintf(NULL, 0, ...) do C99 que determinaria o tamanho de buffer necessário.

O valor de retorno (rv) para essas funções deve ser interpretado da seguinte forma:

Quando 0 <= rv < size, a conversão de saída foi bem-sucedida e os caracteres de rv foram escritos em str (excluindo o '\0' byte em str[rv]).

Quando rv >= size, a conversão de saída foi truncada e um buffer com rv + 1 bytes teria sido necessário para ter sucesso. str[size-1] é '\0' neste caso.

Quando rv < 0, “aconteceu algo de errado.” str[size-1] é '\0' neste caso também, mas o resto de str é indefinido. A causa exata do erro depende da plataforma subjacente.

As funções a seguir fornecem strings independentes de localidade para conversões de números.

unsigned long PyOS_strtoul(const char *str, char **ptr, int base)

Parte da ABI Estável.

Converte a parte inicial da string em str para um valor unsigned long de acordo com a base fornecida, que deve estar entre 2 e 36 inclusive, ou ser o valor especial 0.

Espaços em branco iniciais e diferenciação entre caracteres maiúsculos e minúsculos são ignorados. Se base for zero, procura um 0b, 0o ou 0x inicial para informar qual base. Se estes estiverem ausentes, o padrão é 10. Base deve ser 0 ou entre 2 e 36 (inclusive). Se ptr não for NULL, conterá um ponteiro para o fim da varredura.

Se o valor convertido ficar fora do intervalo do tipo de retorno correspondente, ocorrerá um erro de intervalo (errno é definido como ERANGE) e ULONG_MAX será retornado. Se nenhuma conversão puder ser realizada, 0 será retornado.

Veja também a página man do Unix strtoul(3) [https://manpages.debian.org/strtoul(3)].

Adicionado na versão 3.2.

long PyOS_strtol(const char *str, char **ptr, int base)

Parte da ABI Estável.

Converte a parte inicial da string em str para um valor long de acordo com a base fornecida, que deve estar entre 2 e 36 inclusive, ou ser o valor especial 0.

O mesmo que PyOS_strtoul(), mas retorna um valor long e LONG_MAX em caso de estouro.

Veja também a página man do Unix strtol(3) [https://manpages.debian.org/strtol(3)].

Adicionado na versão 3.2.

double PyOS_string_to_double(const char *s, char **endptr, PyObject *overflow_exception)

Parte da ABI Estável.

Converte uma string s em double, levantando uma exceção Python em caso de falha. O conjunto de strings aceitas corresponde ao conjunto de strings aceito pelo construtor float() do Python, exceto que s não deve ter espaços em branco à esquerda ou à direita. A conversão é independente da localidade atual.

Se endptr for NULL, converte a string inteira. Levanta ValueError e retorna -1.0 se a string não for uma representação válida de um número de ponto flutuante.

Se endptr não for NULL, converte o máximo possível da string e define *endptr para apontar para o primeiro caractere não convertido. Se nenhum segmento inicial da string for a representação válida de um número de ponto flutuante, define *endptr para apontar para o início da string, levanta ValueError e retorna -1.0.

Se s representa um valor que é muito grande para armazenar em um ponto flutuante (por exemplo, "1e500" é uma string assim em muitas plataformas), então se overflow_exception for NULL retorna Py_HUGE_VAL (com um sinal apropriado) e não define nenhuma exceção. Caso contrário, overflow_exception deve apontar para um objeto de exceção Python; levanta essa exceção e retorna -1.0. Em ambos os casos, define *endptr para apontar para o primeiro caractere após o valor convertido.

Se qualquer outro erro ocorrer durante a conversão (por exemplo, um erro de falta de memória), define a exceção Python apropriada e retorna -1.0.

Adicionado na versão 3.1.

char *PyOS_double_to_string(double val, char format_code, int precision, int flags, int *ptype)

Parte da ABI Estável.

Converte um val double para uma string usando format_code, precision e flags fornecidos.

format_code deve ser um entre 'e', 'E', 'f', 'F', 'g', 'G' ou 'r'. Para 'r', a precisão precision fornecida deve ser 0 e é ignorada. O código de formato 'r' especifica o formato padrão de repr().

flags pode ser zero ou mais de valores Py_DTSF_SIGN, Py_DTSF_ADD_DOT_0 ou Py_DTSF_ALT, alternados por operador lógico OU:

Py_DTSF_SIGN significa sempre preceder a string retornada com um caractere de sinal, mesmo se val não for negativo.

Py_DTSF_ADD_DOT_0 significa garantir que a string retornada não se pareça com um inteiro.

Py_DTSF_ALT significa aplicar regras de formatação “alternativas”. Veja a documentação para o especificador '#' de PyOS_snprintf() para detalhes.

Se type não for NULL, então o valor para o qual ele aponta será definido como um dos Py_DTST_FINITE, Py_DTST_INFINITE ou Py_DTST_NAN, significando que val é um número finito, um número infinito ou não um número, respectivamente.

O valor de retorno é um ponteiro para buffer com a string convertida ou NULL se a conversão falhou. O chamador é responsável por liberar a string retornada chamando PyMem_Free().

Adicionado na versão 3.1.

int PyOS_stricmp(const char *s1, const char *s2)

Comparação de strings sem diferença entre maiúsculas e minúsculas. A função funciona quase de forma idêntica a strcmp() exceto que ignora a diferença entre maiúsculas e minúsculas.

int PyOS_strnicmp(const char *s1, const char *s2, Py_ssize_t size)

Comparação de strings sem diferença entre maiúsculas e minúsculas. A função funciona quase de forma idêntica a strncmp() exceto que ignora a diferença entre maiúsculas e minúsculas.

API do PyHash

Veja também o membro PyTypeObject.tp_hash e Hashing de tipos numéricos.

type Py_hash_t

Tipo de valor do hash: inteiro com sinal.

Adicionado na versão 3.2.

type Py_uhash_t

Tipo de valor do hash: inteiro sem sinal.

Adicionado na versão 3.2.

PyHASH_MODULUS

O primo de Mersenne [https://pt.wikipedia.org/wiki/Primo_de_Mersenne] P = 2**n -1, usado para esquema de hash numérico.

Adicionado na versão 3.13.

PyHASH_BITS

O expoente n de P em PyHASH_MODULUS.

Adicionado na versão 3.13.

PyHASH_MULTIPLIER

Multiplicador de primo usado em strings e vários outros hashes.

Adicionado na versão 3.13.

PyHASH_INF

O valor de hash retornado para um infinito positivo.

Adicionado na versão 3.13.

PyHASH_IMAG

O multiplicador usado para a parte imaginária de um número complexo.

Adicionado na versão 3.13.

type PyHash_FuncDef

Definição de função de hash usada por PyHash_GetFuncDef().

const char *name

Nome de função hash (string codificada em UTF-8).

const int hash_bits

Tamanho interno do valor do hash em bits.

const int seed_bits

Tamanho da entrada de seed em bits.

Adicionado na versão 3.4.

PyHash_FuncDef *PyHash_GetFuncDef(void)

Obtém a definição de função de hash.

Ver também

PEP 456 [https://peps.python.org/pep-0456/] “Algoritmo de hash seguro e intercambiável”.

Adicionado na versão 3.4.

Py_hash_t Py_HashPointer(const void *ptr)

Hash de um valor de ponteiro: processa o valor do ponteiro como um inteiro (converte-o para uintptr_t internamente). O ponteiro não é desreferenciado.

A função não pode falhar: ela não pode retornar -1.

Adicionado na versão 3.13.

Py_hash_t PyObject_GenericHash(PyObject *obj)

Função de hash genérica que deve ser colocada no slot tp_hash de um objeto de tipo. Seu resultado depende apenas da identidade do objeto.

Detalhes da implementação do CPython: No CPython, é equivalente a Py_HashPointer().

Adicionado na versão 3.13.

Reflexão

PyObject *PyEval_GetBuiltins(void)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Obsoleto desde a versão 3.13: Use PyEval_GetFrameBuiltins().

Retorna um dicionário dos componentes embutidos no quadro de execução atual ou o interpretador do estado da thread, se nenhum quadro estiver em execução no momento.

PyObject *PyEval_GetLocals(void)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Obsoleto desde a versão 3.13: Use PyEval_GetFrameLocals() para obter o mesmo comportamento que chamar locals() no código Python, ou então chame PyFrame_GetLocals() no resultado de PyEval_GetFrame() para acessar o atributo f_locals do quadro atualmente em execução.

Retorna um mapeamento fornecendo acesso às variáveis locais no quadro de execução atual ou NULL se nenhum quadro estiver sendo executado no momento.

Consulte locals() para detalhes do mapeamento retornado em diferentes escopos.

Como esta função retorna uma referência emprestada, o dicionário retornado para escopos otimizados é armazenado em cache no objeto frame e permanecerá ativo enquanto o objeto frame o fizer. Ao contrário de PyEval_GetFrameLocals() e locals(), chamadas subsequentes para esta função no mesmo quadro atualizarão o conteúdo do dicionário em cache para refletir as mudanças no estado das variáveis ​​locais em vez de retornar um novo snapshot.

Alterado na versão 3.13: Como parte da PEP 667 [https://peps.python.org/pep-0667/], PyFrame_GetLocals(), locals() e FrameType.f_locals não fazem mais uso do dicionário de cache compartilhado. Consulte a entrada de O Que Há de Novo para detalhes adicionais.

PyObject *PyEval_GetGlobals(void)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Obsoleto desde a versão 3.13: Use PyEval_GetFrameGlobals().

Retorna um dicionário das variáveis globais no quadro de execução atual ou NULL se nenhum quadro estiver sendo executado no momento.

PyFrameObject *PyEval_GetFrame(void)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna o quadro do estado atual da thread, que é NULL se nenhum quadro estiver em execução no momento.

Veja também PyThreadState_GetFrame().

PyObject *PyEval_GetFrameBuiltins(void)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.13.

Retorna um dicionário dos componentes embutidos no quadro de execução atual ou o interpretador do estado da thread, se nenhum quadro estiver em execução no momento.

Adicionado na versão 3.13.

PyObject *PyEval_GetFrameLocals(void)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.13.

Retorna um dicionário das variáveis locais no quadro de execução atual ou NULL se nenhum quadro estiver sendo executado no momento. Equivalente a chamar locals() em código Python.

Para acessar f_locals no quadro atual sem fazer um snapshot independente em escopos otimizados, chame PyFrame_GetLocals() no resultado de PyEval_GetFrame().

Adicionado na versão 3.13.

PyObject *PyEval_GetFrameGlobals(void)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.13.

Retorna um dicionário das variáveis globais no quadro de execução atual ou NULL se nenhum quadro estiver sendo executado no momento. Equivalente a chamar globals() em código Python.

Adicionado na versão 3.13.

const char *PyEval_GetFuncName(PyObject *func)

Parte da ABI Estável.

Retorna o nome de func se for uma função, classe ou objeto de instância, senão o nome do tipo da func.

const char *PyEval_GetFuncDesc(PyObject *func)

Parte da ABI Estável.

Retorna uma sequência de caracteres de descrição, dependendo do tipo de func. Os valores de retorno incluem “()” para funções e métodos, “ constructor”, “ instance” e “ object”.. Concatenado com o resultado de PyEval_GetFuncName(), o resultado será uma descrição de func.

Registro de codec e funções de suporte

int PyCodec_Register(PyObject *search_function)

Parte da ABI Estável.

Registra uma nova função de busca de codec.

Como efeito colateral, tenta carregar o pacote encodings, se isso ainda não tiver sido feito, com o propósito de garantir que ele sempre seja o primeiro na lista de funções de busca.

int PyCodec_Unregister(PyObject *search_function)

Parte da ABI Estável desde a versão 3.10.

Cancela o registro de uma função de busca de codec e limpa o cache de registro. Se a função de busca não está registrada, não faz nada. Retorna 0 no sucesso. Levanta uma exceção e retorna -1 em caso de erro.

Adicionado na versão 3.10.

int PyCodec_KnownEncoding(const char *encoding)

Parte da ABI Estável.

Retorna 1 ou 0 dependendo se há um codec registrado para a dada codificação encoding. Essa função sempre é bem-sucedida.

PyObject *PyCodec_Encode(PyObject *object, const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

API de codificação baseada em codec genérico.

object é passado através da função de codificação encontrada para a codificação fornecida por meio de encoding, usando o método de tratamento de erros definido por errors. errors pode ser NULL para usar o método padrão definido para o codec. Levanta um LookupError se nenhum codificador puder ser encontrado.

PyObject *PyCodec_Decode(PyObject *object, const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

API de decodificação baseada em decodificador genérico.

object é passado através da função de decodificação encontrada para a codificação fornecida por meio de encoding, usando o método de tratamento de erros definido por errors. errors pode ser NULL para usar o método padrão definido para o codec. Levanta um LookupError se nenhum codificador puder ser encontrado.

API de pesquisa de codec

Nas funções a seguir, a string encoding é pesquisada com todos os caracteres sendo convertidos para minúsculo, o que faz com que as codificações pesquisadas por esse mecanismo não façam distinção entre maiúsculas e minúsculas. Se nenhum codec for encontrado, um KeyError é definido e NULL é retornado.

PyObject *PyCodec_Encoder(const char *encoding)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém uma função de codificação para o encoding dado.

PyObject *PyCodec_Decoder(const char *encoding)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém uma função de decodificação para o encoding dado.

PyObject *PyCodec_IncrementalEncoder(const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém um objeto IncrementalEncoder para o encoding dado.

PyObject *PyCodec_IncrementalDecoder(const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém um objeto IncrementalDecoder para o encoding dado.

PyObject *PyCodec_StreamReader(const char *encoding, PyObject *stream, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém uma função de fábrica StreamReader para o encoding dado.

PyObject *PyCodec_StreamWriter(const char *encoding, PyObject *stream, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Obtém uma função de fábrica StreamWriter para o encoding dado.

API de registro de tratamentos de erros de decodificação Unicode

int PyCodec_RegisterError(const char *name, PyObject *error)

Parte da ABI Estável.

Registra a função de retorno de chamada de tratamento de erro para o nome fornecido. Esta chamada de função é invocada por um codificador quando encontra caracteres/bytes indecodificáveis e nome é especificado como o parâmetro de erro na chamada da função de codificação/decodificação.

O retorno de chamada obtém um único argumento, uma instância de UnicodeEncodeError, UnicodeDecodeError ou UnicodeTranslateError que contém informações sobre a sequencia problemática de caracteres ou bytes e seu deslocamento na string original (consulte Objetos de exceção Unicode para funções que extraem essa informação). A função de retorno de chamada deve levantar a exceção dada, ou retornar uma tupla de dois itens contendo a substituição para a sequência problemática, e um inteiro fornecendo o deslocamento na string original na qual a codificação/decodificação deve ser retomada.

Retorna 0 em caso de sucesso, -1 em caso de erro.

PyObject *PyCodec_LookupError(const char *name)

Retorna valor: Nova referência. Parte da ABI Estável.

Pesquisa a função de retorno de chamada de tratamento de erros registrada em name. Como um caso especial, NULL pode ser passado; nesse caso, o erro no tratamento de retorno de chamada para “strict” será retornado.

PyObject *PyCodec_StrictErrors(PyObject *exc)

Retorna valor: Sempre NULL. Parte da ABI Estável.

Levanta exc como uma exceção.

PyObject *PyCodec_IgnoreErrors(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Ignora o erro de unicode, ignorando a entrada que causou o erro.

PyObject *PyCodec_ReplaceErrors(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Substitui o erro de unicode por ? ou U+FFFD.

PyObject *PyCodec_XMLCharRefReplaceErrors(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Substitui o erro de unicode por caracteres da referência XML.

PyObject *PyCodec_BackslashReplaceErrors(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável.

Substitui o erro de unicode com escapes de barra invertida (\x, \u e \U).

PyObject *PyCodec_NameReplaceErrors(PyObject *exc)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Substitui os erros de codificação unicode com escapes \N{...}.

Adicionado na versão 3.5.

API C PyTime

Adicionado na versão 3.13.

A API C de relógios provê acesso a relógios do sistema. Ela é similar ao módulo Python time.

Para uma API C relacionada ao módulo datetime, veja Objetos DateTime.

Tipos

type PyTime_t

Um registro de data e hora ou uma duração em nanossegundos, representados como um inteiro de 64 bits com sinal.

O ponto de referência para registros de data e hora depende do relógio usado. Por exemplo, PyTime_Time() retorna registros relativos à época UNIX.

É suportada uma amplitude em torno de [-292.3 anos; +292.3 anos]. Usando o início da época UNIX (1º de Janeiro de 1970) como referência, a gama de datas suportadas é em torno de [1677-09-21; 2262-04-11]. Os limites exatos são expostos como constantes:

PyTime_t PyTime_MIN

Valor mínimo de PyTime_t.

PyTime_t PyTime_MAX

Valor máximo de PyTime_t.

Funções de relógio

As funções a seguir aceitam um ponteiro para PyTime_t ao qual elas atribuem o valor de um determinado relógio. Detalhes de cada relógio estão disponíveis nas documentações das funções Python correspondentes.

As funções retornam 0 em caso de sucesso, ou -1 (com uma exceção definida) em caso de falha.

Em caso de estouro de inteiros, elas definem a exceção PyExc_OverflowError e definem *result como o valor limitado ao intervalo [PyTime_MIN; PyTime_MAX]. (Em sistemas atuais, estouros de inteiros são provavelmente causados por uma má configuração do tempo do sistema).

Como qualquer outra API C (se não especificado o contrário), as funções devem ser chamadas sob posse da GIL.

int PyTime_Monotonic(PyTime_t *result)

Lê o relógio monótono. Veja time.monotonic() para detalhes importantes sobre este relógio.

int PyTime_PerfCounter(PyTime_t *result)

Lê o contador de desempenho. Veja time.perf_counter() para detalhes importantes sobre este relógio.

int PyTime_Time(PyTime_t *result)

Lê o “relógio de parede”. Veja time.time() para detalhes importantes sobre este relógio.

Funções de relógio brutas

Similares às funções de relógio, mas não definem uma exceção em condições de erro, e não requerem que o chamador possua a trava GIL.

Em caso de sucesso, as funções retornam 0.

Em caso de falha, elas definem *result como 0 e retornam -1, sem definir uma exceção. Para acessar a causa do erro, obtenha a GIL e chame a função regular (sem o sufixo Raw). Obserrve que a função regular pode ser bem-sucedida mesmo após a bruta falhar.

int PyTime_MonotonicRaw(PyTime_t *result)

Similar a PyTime_Monotonic(), mas não define uma exceção em caso de erro, e não exige a posse da GIL.

int PyTime_PerfCounterRaw(PyTime_t *result)

Similar a PyTime_PerfCounter(), mas não define uma exceção em caso de erro e não requer a posse da GIL.

int PyTime_TimeRaw(PyTime_t *result)

Similar a PyTime_Time(), mas não define uma exceção em caso de erro e não requer a posse da GIL.

Funções de conversão

double PyTime_AsSecondsDouble(PyTime_t t)

Converte um registro de data e hora para uma quantidade de segundos como um double C.

Esta função nunca falha, mas note que double tem acurácia limitada para valores grandes.

Suporte a Mapas do Perf

Em plataformas suportadas (no momento em que este livro foi escrito, apenas Linux), o tempo de execução pode tirar vantagem dos arquivos de mapa perf para tornar as funções Python visíveis para uma ferramenta de perfilação externa (como perf [https://perf.wiki.kernel.org/index.php/Main_Page]). Um processo em execução pode criar um arquivo no diretório /tmp, que contém entradas que podem mapear uma seção de código executável para um nome. Esta interface é descrita na documentação da ferramenta Linux Perf [https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/tools/perf/Documentation/jit-interface.txt].

Em Python, essas APIs auxiliares podem ser usadas por bibliotecas e recursos que dependem da geração de código de máquina dinamicamente.

Observe que manter a trava global do interpretador (GIL) não é necessário para essas APIs.

int PyUnstable_PerfMapState_Init(void)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Abre o arquivo /tmp/perf-$pid.map, a menos que já esteja aberto, e cria uma trava para garantir escritas seguras para thread no arquivo (desde que as escritas sejam feitas através de PyUnstable_WritePerfMapEntry() ). Normalmente, não há necessidade de chamar isso explicitamente; basta usar PyUnstable_WritePerfMapEntry() e ele inicializará o estado na primeira chamada.

Retorna 0 em caso de sucesso, -1 em caso de falha ao criar/abrir o arquivo de mapa de desempenho ou -2 em caso de falha na criação de uma trava. Verifique errno para mais informações sobre a causa de uma falha.

int PyUnstable_WritePerfMapEntry(const void *code_addr, unsigned int code_size, const char *entry_name)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Escreve uma única entrada no arquivo /tmp/perf-$pid.map. Esta função é segura para thread. Aqui está a aparência de um exemplo de entrada:

# endereço  tamanho  nome
7f3529fcf759 b     py::bar:/run/t.py

Chamará PyUnstable_PerfMapState_Init() antes de escrever a entrada, se o arquivo de mapa de desempenho ainda não estiver aberto. Retorna 0 em caso de sucesso ou os mesmos códigos de erro que PyUnstable_PerfMapState_Init() em caso de falha.

void PyUnstable_PerfMapState_Fini(void)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Fecha o arquivo de mapa do perf aberto por PyUnstable_PerfMapState_Init(). Isso é chamado pelo próprio tempo de execução durante o desligamento do interpretador. Em geral, não deve haver motivo para chamar isso explicitamente, exceto para lidar com cenários específicos, como bifurcação.

Camada de Objetos Abstratos

As funções neste capítulo interagem com objetos Python independentemente do seu tipo, ou com classes amplas de tipos de objetos (por exemplo, todos os tipos numéricos ou todos os tipos de sequência). Quando usadas em tipos de objetos para os quais não se aplicam, elas irão levantar uma exceção Python.

Não é possível usar essas funções em objetos que não foram inicializados corretamente, como um objeto de lista criado por PyList_New(), mas cujos itens ainda não foram definidos para algum valor diferente de NULL.

Protocolo de objeto

Protocolo de chamada

O protocolo tp_call

O protocolo vectorcall

Controle de recursão

API de suporte à chamada de vetores

API de chamada de objetos

API de suporte a chamadas

Protocolo de número

Protocolo de sequência

Protocolo de mapeamento

Protocolo Iterador

Protocolo de Buffer

Estrutura de Buffer

Tipos de solicitação do buffer

campos independentes do pedido

apenas em formato

forma, avanços, suboffsets

requisições contíguas

requisições compostas

Vetores Complexos

Estilo NumPy: forma e avanços

Estilo-PIL: forma, avanços e suboffsets

Funções relacionadas ao Buffer

Protocolo de objeto

PyObject *Py_GetConstant(unsigned int constant_id)

Parte da ABI Estável desde a versão 3.13.

Obtém uma referência forte para uma constante.

Define uma exceção e retorna NULL se constant_id for inválido.

constant_id deve ser um destes identificadores constantes:

Identificador da constante

Valor

Objeto retornado

Py_CONSTANT_NONE

0

None

Py_CONSTANT_FALSE

1

False

Py_CONSTANT_TRUE

2

True

Py_CONSTANT_ELLIPSIS

3

Ellipsis

Py_CONSTANT_NOT_IMPLEMENTED

4

NotImplemented

Py_CONSTANT_ZERO

5

0

Py_CONSTANT_ONE

6

1

Py_CONSTANT_EMPTY_STR

7

''

Py_CONSTANT_EMPTY_BYTES

8

b''

Py_CONSTANT_EMPTY_TUPLE

9

()

Valores numéricos são fornecidos apenas para projetos que não podem usar identificadores constantes.

Adicionado na versão 3.13.

Detalhes da implementação do CPython: No CPython, todas essas constantes são imortais.

PyObject *Py_GetConstantBorrowed(unsigned int constant_id)

Parte da ABI Estável desde a versão 3.13.

Semelhante a Py_GetConstant(), mas retorna uma referência emprestada.

Esta função destina-se principalmente à compatibilidade com versões anteriores: usar Py_GetConstant() é recomendado para novo código.

A referência é emprestada do interpretador e é válida até a finalização do interpretador.

Adicionado na versão 3.13.

PyObject *Py_NotImplemented

O singleton NotImplemented, usado para sinalizar que uma operação não foi implementada para a combinação de tipo fornecida.

Py_RETURN_NOTIMPLEMENTED

Manipula adequadamente o retorno de Py_NotImplemented de dentro de uma função C (ou seja, cria uma nova referência forte para NotImplemented e retorna-a).

Py_PRINT_RAW

Sinaliza a ser usado com múltiplas funções que imprimem o objeto (como PyObject_Print() e PyFile_WriteObject()). Se passada, esta função usaria o str() do objeto em vez do repr().

int PyObject_Print(PyObject *o, FILE *fp, int flags)

Print an object o, on file fp. Returns -1 on error. The flags argument is used to enable certain printing options. The only option currently supported is Py_PRINT_RAW; if given, the str() of the object is written instead of the repr().

int PyObject_HasAttrWithError(PyObject *o, const char *attr_name)

Parte da ABI Estável desde a versão 3.13.

Returns 1 if o has the attribute attr_name, and 0 otherwise. This is equivalent to the Python expression hasattr(o, attr_name). On failure, return -1.

Adicionado na versão 3.13.

int PyObject_HasAttrStringWithError(PyObject *o, const char *attr_name)

Parte da ABI Estável desde a versão 3.13.

This is the same as PyObject_HasAttrWithError(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

Adicionado na versão 3.13.

int PyObject_HasAttr(PyObject *o, PyObject *attr_name)

Parte da ABI Estável.

Returns 1 if o has the attribute attr_name, and 0 otherwise. This function always succeeds.

Nota

Exceptions that occur when this calls __getattr__() and __getattribute__() methods are silently ignored. For proper error handling, use PyObject_HasAttrWithError(), PyObject_GetOptionalAttr() or PyObject_GetAttr() instead.

int PyObject_HasAttrString(PyObject *o, const char *attr_name)

Parte da ABI Estável.

This is the same as PyObject_HasAttr(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

Nota

Exceptions that occur when this calls __getattr__() and __getattribute__() methods or while creating the temporary str object are silently ignored. For proper error handling, use PyObject_HasAttrStringWithError(), PyObject_GetOptionalAttrString() or PyObject_GetAttrString() instead.

PyObject *PyObject_GetAttr(PyObject *o, PyObject *attr_name)

Retorna valor: Nova referência. Parte da ABI Estável.

Retrieve an attribute named attr_name from object o. Returns the attribute value on success, or NULL on failure. This is the equivalent of the Python expression o.attr_name.

If the missing attribute should not be treated as a failure, you can use PyObject_GetOptionalAttr() instead.

PyObject *PyObject_GetAttrString(PyObject *o, const char *attr_name)

Retorna valor: Nova referência. Parte da ABI Estável.

This is the same as PyObject_GetAttr(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

If the missing attribute should not be treated as a failure, you can use PyObject_GetOptionalAttrString() instead.

int PyObject_GetOptionalAttr(PyObject *obj, PyObject *attr_name, PyObject **result);

Parte da ABI Estável desde a versão 3.13.

Variant of PyObject_GetAttr() which doesn’t raise AttributeError if the attribute is not found.

If the attribute is found, return 1 and set *result to a new strong reference to the attribute. If the attribute is not found, return 0 and set *result to NULL; the AttributeError is silenced. If an error other than AttributeError is raised, return -1 and set *result to NULL.

Adicionado na versão 3.13.

int PyObject_GetOptionalAttrString(PyObject *obj, const char *attr_name, PyObject **result);

Parte da ABI Estável desde a versão 3.13.

This is the same as PyObject_GetOptionalAttr(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

Adicionado na versão 3.13.

PyObject *PyObject_GenericGetAttr(PyObject *o, PyObject *name)

Retorna valor: Nova referência. Parte da ABI Estável.

Generic attribute getter function that is meant to be put into a type object’s tp_getattro slot. It looks for a descriptor in the dictionary of classes in the object’s MRO as well as an attribute in the object’s __dict__ (if present). As outlined in Implementando descritores, data descriptors take preference over instance attributes, while non-data descriptors don’t. Otherwise, an AttributeError is raised.

int PyObject_SetAttr(PyObject *o, PyObject *attr_name, PyObject *v)

Parte da ABI Estável.

Set the value of the attribute named attr_name, for object o, to the value v. Raise an exception and return -1 on failure; return 0 on success. This is the equivalent of the Python statement o.attr_name = v.

If v is NULL, the attribute is deleted. This behaviour is deprecated in favour of using PyObject_DelAttr(), but there are currently no plans to remove it.

int PyObject_SetAttrString(PyObject *o, const char *attr_name, PyObject *v)

Parte da ABI Estável.

This is the same as PyObject_SetAttr(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

If v is NULL, the attribute is deleted, but this feature is deprecated in favour of using PyObject_DelAttrString().

The number of different attribute names passed to this function should be kept small, usually by using a statically allocated string as attr_name. For attribute names that aren’t known at compile time, prefer calling PyUnicode_FromString() and PyObject_SetAttr() directly. For more details, see PyUnicode_InternFromString(), which may be used internally to create a key object.

int PyObject_GenericSetAttr(PyObject *o, PyObject *name, PyObject *value)

Parte da ABI Estável.

Generic attribute setter and deleter function that is meant to be put into a type object’s tp_setattro slot. It looks for a data descriptor in the dictionary of classes in the object’s MRO, and if found it takes preference over setting or deleting the attribute in the instance dictionary. Otherwise, the attribute is set or deleted in the object’s __dict__ (if present). On success, 0 is returned, otherwise an AttributeError is raised and -1 is returned.

int PyObject_DelAttr(PyObject *o, PyObject *attr_name)

Parte da ABI Estável desde a versão 3.13.

Delete attribute named attr_name, for object o. Returns -1 on failure. This is the equivalent of the Python statement del o.attr_name.

int PyObject_DelAttrString(PyObject *o, const char *attr_name)

Parte da ABI Estável desde a versão 3.13.

This is the same as PyObject_DelAttr(), but attr_name is specified as a const char* UTF-8 encoded bytes string, rather than a PyObject*.

The number of different attribute names passed to this function should be kept small, usually by using a statically allocated string as attr_name. For attribute names that aren’t known at compile time, prefer calling PyUnicode_FromString() and PyObject_DelAttr() directly. For more details, see PyUnicode_InternFromString(), which may be used internally to create a key object for lookup.

PyObject *PyObject_GenericGetDict(PyObject *o, void *context)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.10.

A generic implementation for the getter of a __dict__ descriptor. It creates the dictionary if necessary.

This function may also be called to get the __dict__ of the object o. Pass NULL for context when calling it. Since this function may need to allocate memory for the dictionary, it may be more efficient to call PyObject_GetAttr() when accessing an attribute on the object.

On failure, returns NULL with an exception set.

Adicionado na versão 3.3.

int PyObject_GenericSetDict(PyObject *o, PyObject *value, void *context)

Parte da ABI Estável desde a versão 3.7.

A generic implementation for the setter of a __dict__ descriptor. This implementation does not allow the dictionary to be deleted.

Adicionado na versão 3.3.

PyObject **_PyObject_GetDictPtr(PyObject *obj)

Return a pointer to __dict__ of the object obj. If there is no __dict__, return NULL without setting an exception.

This function may need to allocate memory for the dictionary, so it may be more efficient to call PyObject_GetAttr() when accessing an attribute on the object.

PyObject *PyObject_RichCompare(PyObject *o1, PyObject *o2, int opid)

Retorna valor: Nova referência. Parte da ABI Estável.

Compare the values of o1 and o2 using the operation specified by opid, which must be one of Py_LT, Py_LE, Py_EQ, Py_NE, Py_GT, or Py_GE, corresponding to <, <=, ==, !=, >, or >= respectively. This is the equivalent of the Python expression o1 op o2, where op is the operator corresponding to opid. Returns the value of the comparison on success, or NULL on failure.

int PyObject_RichCompareBool(PyObject *o1, PyObject *o2, int opid)

Parte da ABI Estável.

Compare the values of o1 and o2 using the operation specified by opid, like PyObject_RichCompare(), but returns -1 on error, 0 if the result is false, 1 otherwise.

Nota

If o1 and o2 are the same object, PyObject_RichCompareBool() will always return 1 for Py_EQ and 0 for Py_NE.

PyObject *PyObject_Format(PyObject *obj, PyObject *format_spec)

Parte da ABI Estável.

Format obj using format_spec. This is equivalent to the Python expression format(obj, format_spec).

format_spec may be NULL. In this case the call is equivalent to format(obj). Returns the formatted string on success, NULL on failure.

PyObject *PyObject_Repr(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Compute a string representation of object o. Returns the string representation on success, NULL on failure. This is the equivalent of the Python expression repr(o). Called by the repr() built-in function.

Alterado na versão 3.4: Essa função agora inclui uma asserção de depuração para ajudar a garantir que ela não descarte silenciosamente uma exceção ativa.

PyObject *PyObject_ASCII(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

As PyObject_Repr(), compute a string representation of object o, but escape the non-ASCII characters in the string returned by PyObject_Repr() with \x, \u or \U escapes. This generates a string similar to that returned by PyObject_Repr() in Python 2. Called by the ascii() built-in function.

PyObject *PyObject_Str(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Compute a string representation of object o. Returns the string representation on success, NULL on failure. This is the equivalent of the Python expression str(o). Called by the str() built-in function and, therefore, by the print() function.

Alterado na versão 3.4: Essa função agora inclui uma asserção de depuração para ajudar a garantir que ela não descarte silenciosamente uma exceção ativa.

PyObject *PyObject_Bytes(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Compute a bytes representation of object o. NULL is returned on failure and a bytes object on success. This is equivalent to the Python expression bytes(o), when o is not an integer. Unlike bytes(o), a TypeError is raised when o is an integer instead of a zero-initialized bytes object.

int PyObject_IsSubclass(PyObject *derived, PyObject *cls)

Parte da ABI Estável.

Return 1 if the class derived is identical to or derived from the class cls, otherwise return 0. In case of an error, return -1.

If cls is a tuple, the check will be done against every entry in cls. The result will be 1 when at least one of the checks returns 1, otherwise it will be 0.

If cls has a __subclasscheck__() method, it will be called to determine the subclass status as described in PEP 3119 [https://peps.python.org/pep-3119/]. Otherwise, derived is a subclass of cls if it is a direct or indirect subclass, i.e. contained in cls.__mro__.

Normally only class objects, i.e. instances of type or a derived class, are considered classes. However, objects can override this by having a __bases__ attribute (which must be a tuple of base classes).

int PyObject_IsInstance(PyObject *inst, PyObject *cls)

Parte da ABI Estável.

Return 1 if inst is an instance of the class cls or a subclass of cls, or 0 if not. On error, returns -1 and sets an exception.

If cls is a tuple, the check will be done against every entry in cls. The result will be 1 when at least one of the checks returns 1, otherwise it will be 0.

If cls has a __instancecheck__() method, it will be called to determine the subclass status as described in PEP 3119 [https://peps.python.org/pep-3119/]. Otherwise, inst is an instance of cls if its class is a subclass of cls.

An instance inst can override what is considered its class by having a __class__ attribute.

An object cls can override if it is considered a class, and what its base classes are, by having a __bases__ attribute (which must be a tuple of base classes).

Py_hash_t PyObject_Hash(PyObject *o)

Parte da ABI Estável.

Compute and return the hash value of an object o. On failure, return -1. This is the equivalent of the Python expression hash(o).

Alterado na versão 3.2: The return type is now Py_hash_t. This is a signed integer the same size as Py_ssize_t.

Py_hash_t PyObject_HashNotImplemented(PyObject *o)

Parte da ABI Estável.

Set a TypeError indicating that type(o) is not hashable and return -1. This function receives special treatment when stored in a tp_hash slot, allowing a type to explicitly indicate to the interpreter that it is not hashable.

int PyObject_IsTrue(PyObject *o)

Parte da ABI Estável.

Returns 1 if the object o is considered to be true, and 0 otherwise. This is equivalent to the Python expression not not o. On failure, return -1.

int PyObject_Not(PyObject *o)

Parte da ABI Estável.

Returns 0 if the object o is considered to be true, and 1 otherwise. This is equivalent to the Python expression not o. On failure, return -1.

PyObject *PyObject_Type(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

When o is non-NULL, returns a type object corresponding to the object type of object o. On failure, raises SystemError and returns NULL. This is equivalent to the Python expression type(o). This function creates a new strong reference to the return value. There’s really no reason to use this function instead of the Py_TYPE() function, which returns a pointer of type PyTypeObject*, except when a new strong reference is needed.

int PyObject_TypeCheck(PyObject *o, PyTypeObject *type)

Return non-zero if the object o is of type type or a subtype of type, and 0 otherwise. Both parameters must be non-NULL.

Py_ssize_t PyObject_Size(PyObject *o)

Py_ssize_t PyObject_Length(PyObject *o)

Parte da ABI Estável.

Return the length of object o. If the object o provides either the sequence and mapping protocols, the sequence length is returned. On error, -1 is returned. This is the equivalent to the Python expression len(o).

Py_ssize_t PyObject_LengthHint(PyObject *o, Py_ssize_t defaultvalue)

Return an estimated length for the object o. First try to return its actual length, then an estimate using __length_hint__(), and finally return the default value. On error return -1. This is the equivalent to the Python expression operator.length_hint(o, defaultvalue).

Adicionado na versão 3.4.

PyObject *PyObject_GetItem(PyObject *o, PyObject *key)

Retorna valor: Nova referência. Parte da ABI Estável.

Return element of o corresponding to the object key or NULL on failure. This is the equivalent of the Python expression o[key].

int PyObject_SetItem(PyObject *o, PyObject *key, PyObject *v)

Parte da ABI Estável.

Map the object key to the value v. Raise an exception and return -1 on failure; return 0 on success. This is the equivalent of the Python statement o[key] = v. This function does not steal a reference to v.

int PyObject_DelItem(PyObject *o, PyObject *key)

Parte da ABI Estável.

Remove the mapping for the object key from the object o. Return -1 on failure. This is equivalent to the Python statement del o[key].

PyObject *PyObject_Dir(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

This is equivalent to the Python expression dir(o), returning a (possibly empty) list of strings appropriate for the object argument, or NULL if there was an error. If the argument is NULL, this is like the Python dir(), returning the names of the current locals; in this case, if no execution frame is active then NULL is returned but PyErr_Occurred() will return false.

PyObject *PyObject_GetIter(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

This is equivalent to the Python expression iter(o). It returns a new iterator for the object argument, or the object itself if the object is already an iterator. Raises TypeError and returns NULL if the object cannot be iterated.

PyObject *PyObject_GetAIter(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.10.

This is the equivalent to the Python expression aiter(o). Takes an AsyncIterable object and returns an AsyncIterator for it. This is typically a new iterator but if the argument is an AsyncIterator, this returns itself. Raises TypeError and returns NULL if the object cannot be iterated.

Adicionado na versão 3.10.

void *PyObject_GetTypeData(PyObject *o, PyTypeObject *cls)

Parte da ABI Estável desde a versão 3.12.

Get a pointer to subclass-specific data reserved for cls.

The object o must be an instance of cls, and cls must have been created using negative PyType_Spec.basicsize. Python does not check this.

On error, set an exception and return NULL.

Adicionado na versão 3.12.

Py_ssize_t PyType_GetTypeDataSize(PyTypeObject *cls)

Parte da ABI Estável desde a versão 3.12.

Return the size of the instance memory space reserved for cls, i.e. the size of the memory PyObject_GetTypeData() returns.

This may be larger than requested using -PyType_Spec.basicsize; it is safe to use this larger size (e.g. with memset()).

The type cls must have been created using negative PyType_Spec.basicsize. Python does not check this.

On error, set an exception and return a negative value.

Adicionado na versão 3.12.

void *PyObject_GetItemData(PyObject *o)

Get a pointer to per-item data for a class with Py_TPFLAGS_ITEMS_AT_END.

On error, set an exception and return NULL. TypeError is raised if o does not have Py_TPFLAGS_ITEMS_AT_END set.

Adicionado na versão 3.12.

int PyObject_VisitManagedDict(PyObject *obj, visitproc visit, void *arg)

Visit the managed dictionary of obj.

This function must only be called in a traverse function of the type which has the Py_TPFLAGS_MANAGED_DICT flag set.

Adicionado na versão 3.13.

void PyObject_ClearManagedDict(PyObject *obj)

Clear the managed dictionary of obj.

This function must only be called in a traverse function of the type which has the Py_TPFLAGS_MANAGED_DICT flag set.

Adicionado na versão 3.13.

Protocolo de chamada

O CPython permite dois protocolos de chamada: tp_call e vectorcall.

O protocolo tp_call

Instâncias de classe que definem tp_call são chamáveis. A assinatura do slot é:

PyObject *tp_call(PyObject *callable, PyObject *args, PyObject *kwargs);

Uma chamada é feita usando uma tupla para os argumentos posicionais e um dicionário para os argumentos nomeados, similar a callable(*args, **kwargs) no Python. args não pode ser nulo (utilize uma tupla vazia se não houver argumentos), mas kwargs pode ser NULL se não houver argumentos nomeados.

Esta convenção não é somente usada por tp_call: tp_new e tp_init também passam argumento dessa forma.

Para chamar um objeto, use PyObject_Call() ou outra call API.

O protocolo vectorcall

Adicionado na versão 3.9.

O protocolo vectorcall foi introduzido pela PEP 590 [https://peps.python.org/pep-0590/] como um protocolo adicional para tornar invocações mais eficientes.

Como regra de bolso. CPython vai preferir o vectorcall para invocações internas se o chamável suportar. Entretanto, isso não é uma regra rígida. Ademais, alguma extensões de terceiros usam diretamente tp_call (em vez de utilizar PyObject_Call()). Portanto, uma classe que suporta vectorcall precisa também implementar tp_call. Além disso, o chamável precisa se comportar da mesma forma independe de qual protocolo é utilizado. A forma recomendada de alcançar isso é definindo tp_call para PyVectorcall_Call(). Vale a pena repetir:

Aviso

Uma classe que suporte vectorcall também precisa implementar tp_call com a mesma semântica.

Alterado na versão 3.12: O sinalizador Py_TPFLAGS_HAVE_VECTORCALL agora é removida da classe quando o método __call__() está reatribuído. (Internamente, isso apenas define tp_call, e portanto, pode fazê-lo comportar-se de forma diferente da função vetorcall. Em versões anteriores do Python, vectorcall só deve ser usado com tipos imutáveis ou estáticos.

Uma classe não deve implementar vectorcall se for mais lento que tp_call. Por exemplo, se o chamador precisa converter os argumentos para uma tupla args e um dicionário kwargs de qualquer forma, então não é necessário implementar vectorcall.

Classes podem implementar o protocolo vectorcall ativando o sinalizador Py_TPFLAGS_HAVE_VECTORCALL e configurando tp_vectorcall_offset para o offset dentro da estrutura do objeto onde uma vectorcallfunc aparece. Este é um ponteiro para uma função com a seguinte assinatura:

typedef PyObject *(*vectorcallfunc)(PyObject *callable, PyObject *const *args, size_t nargsf, PyObject *kwnames)

Parte da ABI Estável desde a versão 3.12.

callable é o objeto sendo chamado.

args é um array C formado pelos argumentos posicionais seguidos de

valores dos argumentos nomeados. Este pode ser NULL se não existirem argumentos.

nargsf é o número de argumentos posicionais somado á possível

Sinalizador PY_VECTORCALL_ARGUMENTS_OFFSET. Para obter o número real de argumentos posicionais de nargsf, use PyVectorcall_NARGS().

kwnames é uma tupla contendo os nomes dos argumentos nomeados;

em outras palavras, as chaves do dicionário kwargs. Estes nomes devem ser strings (instâncias de str ou uma subclasse) e eles devem ser únicos. Se não existem argumentos nomeados, então kwnames deve então ser NULL.

PY_VECTORCALL_ARGUMENTS_OFFSET

Parte da ABI Estável desde a versão 3.12.

Se esse sinalizador é definido em um argumento nargsf do vectorcall, deve ser permitido ao chamado temporariamente mudar args[-1]. Em outras palavras, args aponta para o argumento 1 (não 0) no vetor alocado. O chamado deve restaurar o valor de args[-1] antes de retornar.

Para PyObject_VectorcallMethod(), este sinalizador significa que args[0] pode ser alterado.

Sempre que podem realizar a um custo tão baixo (sem alocações adicionais), invocadores são encorajados a usar PY_VECTORCALL_ARGUMENTS_OFFSET. Isso permitirá invocados como métodos vinculados a instâncias fazerem suas próprias invocações (o que inclui um argumento self) muito eficientemente.

Adicionado na versão 3.8.

Para invocar um objeto que implementa vectorcall, utilize a função call API como qualquer outra invocável. PyObject_Vectorcall() será normalmente mais eficiente.

Controle de recursão

Quando utilizando tp_call, invocadores não precisam se preocupar sobre recursão: CPython usa Py_EnterRecursiveCall() e Py_LeaveRecursiveCall() para chamadas utilizando tp_call.

Por questão de eficiência, este não é o caso de chamadas utilizando o vectorcall: o que chama deve utilizar Py_EnterRecursiveCall e Py_LeaveRecursiveCall se necessário.

API de suporte à chamada de vetores

Py_ssize_t PyVectorcall_NARGS(size_t nargsf)

Parte da ABI Estável desde a versão 3.12.

Dado um argumento de chamada de vetor nargsf, retorna o número real de argumentos. Atualmente equivalente a:

(Py_ssize_t)(nargsf & ~PY_VECTORCALL_ARGUMENTS_OFFSET)

Entretanto, a função PyVectorcall_NARGS deve ser usada para permitir para futuras extensões.

Adicionado na versão 3.8.

vectorcallfunc PyVectorcall_Function(PyObject *op)

Se op não suporta o protocolo de chamada de vetor (seja porque o tipo ou a instância específica não suportam), retorne NULL. Se não, retorne o ponteiro da função chamada de vetor armazenado em op. Esta função nunca levanta uma exceção.

É mais útil checar se op suporta ou não chamada de vetor, o que pode ser feito checando PyVectorcall_Function(op) != NULL.

Adicionado na versão 3.9.

PyObject *PyVectorcall_Call(PyObject *callable, PyObject *tuple, PyObject *dict)

Parte da ABI Estável desde a versão 3.12.

Chama o vectorcallfunc de callable com argumentos posicionais e nomeados dados em uma tupla e dicionário, respectivamente.

Esta é uma função especializada, feita para ser colocada no slot tp_call ou usada em uma implementação de tp_call. Ela não verifica o sinalizador Py_TPFLAGS_HAVE_VECTORCALL e não retorna para tp_call.

Adicionado na versão 3.8.

API de chamada de objetos

Várias funções estão disponíveis para chamar um objeto Python. Cada uma converte seus argumentos para uma convenção suportada pelo objeto chamado – seja tp_call ou chamada de vetor. Para fazer o mínimo possível de conversões, escolha um que melhor se adapte ao formato de dados que você tem disponível.

A tabela a seguir resume as funções disponíveis; por favor, veja a documentação individual para detalhes.

Função

chamável

args

kwargs

PyObject_Call()

PyObject *

tupla

dict/NULL

PyObject_CallNoArgs()

PyObject *

—

—

PyObject_CallOneArg()

PyObject *

1 objeto

—

PyObject_CallObject()

PyObject *

tupla/NULL

—

PyObject_CallFunction()

PyObject *

formato

—

PyObject_CallMethod()

obj + char*

formato

—

PyObject_CallFunctionObjArgs()

PyObject *

variádica

—

PyObject_CallMethodObjArgs()

obj + nome

variádica

—

PyObject_CallMethodNoArgs()

obj + nome

—

—

PyObject_CallMethodOneArg()

obj + nome

1 objeto

—

PyObject_Vectorcall()

PyObject *

vectorcall

vectorcall

PyObject_VectorcallDict()

PyObject *

vectorcall

dict/NULL

PyObject_VectorcallMethod()

arg + nome

vectorcall

vectorcall

PyObject *PyObject_Call(PyObject *callable, PyObject *args, PyObject *kwargs)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama um objeto Python chamável de callable, com argumentos dados pela tupla args, e argumentos nomeados dados pelo dicionário kwargs.

args não deve ser NULL; use uma tupla vazia se não precisar de argumentos. Se nenhum argumento nomeado é necessário, kwargs pode ser NULL.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Esse é o equivalente da expressão Python: callable(*args, **kwargs).

PyObject *PyObject_CallNoArgs(PyObject *callable)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.10.

Chama um objeto Python chamável de callable sem nenhum argumento. É o jeito mais eficiente de chamar um objeto Python sem nenhum argumento.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

PyObject *PyObject_CallOneArg(PyObject *callable, PyObject *arg)

Retorna valor: Nova referência.

Chama um objeto Python chamável de callable com exatamente 1 argumento posicional arg e nenhum argumento nomeado.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

PyObject *PyObject_CallObject(PyObject *callable, PyObject *args)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama um objeto Python chamável de callable com argumentos dados pela tupla args. Se nenhum argumento é necessário, args pode ser NULL.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Este é o equivalente da expressão Python: callable(*args).

PyObject *PyObject_CallFunction(PyObject *callable, const char *format, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama um objeto Python chamável de callable, com um número variável de argumentos C. Os argumentos C são descritos usando uma string de estilo no formato Py_BuildValue(). O formato pode ser NULL, indicando que nenhum argumento foi provido.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Este é o equivalente da expressão Python: callable(*args).

Note que se você apenas passa argumentos PyObject*, PyObject_CallFunctionObjArgs() é uma alternativa mais rápida.

Alterado na versão 3.4: O tipo de format foi mudado de char *.

PyObject *PyObject_CallMethod(PyObject *obj, const char *name, const char *format, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama o método chamado name do objeto obj com um número variável de argumentos C. Os argumentos C são descritos com uma string de formato Py_BuildValue() que deve produzir uma tupla.

O formato pode ser NULL, indicado que nenhum argumento foi provido.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Este é o equivalente da expressão Python: obj.name(arg1, arg2, ...).

Note que se você apenas passa argumentos PyObject*, PyObject_CallMethodObjArgs() é uma alternativa mais rápida.

Alterado na versão 3.4: Os tipos de name e format foram mudados de char *.

PyObject *PyObject_CallFunctionObjArgs(PyObject *callable, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama um objeto Python chamável de callable, com um número variável de argumentos PyObject*. Os argumentos são providos como um número variável de parâmetros seguidos por um NULL.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Este é o equivalente da expressão Python: callable(arg1, arg2, ...).

PyObject *PyObject_CallMethodObjArgs(PyObject *obj, PyObject *name, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Chama um método do objeto Python obj, onde o nome do método é dado como um objeto string Python em name. É chamado com um número variável de argumentos PyObject*. Os argumentos são providos como um número variável de parâmetros seguidos por um NULL.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

PyObject *PyObject_CallMethodNoArgs(PyObject *obj, PyObject *name)

Chama um método do objeto Python obj sem argumentos, onde o nome do método é fornecido como um objeto string do Python em name.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

PyObject *PyObject_CallMethodOneArg(PyObject *obj, PyObject *name, PyObject *arg)

Chama um método do objeto Python obj com um argumento posicional arg, onde o nome do método é fornecido como um objeto string do Python em name.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

PyObject *PyObject_Vectorcall(PyObject *callable, PyObject *const *args, size_t nargsf, PyObject *kwnames)

Parte da ABI Estável desde a versão 3.12.

Chama um objeto Python chamável callable. Os argumentos são os mesmos de vectorcallfunc. Se callable tiver suporte a vectorcall, isso chamará diretamente a função vectorcall armazenada em callable.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

PyObject *PyObject_VectorcallDict(PyObject *callable, PyObject *const *args, size_t nargsf, PyObject *kwdict)

Chama callable com argumentos posicionais passados exatamente como no protocolo vectorcall, mas com argumentos nomeados passados como um dicionário kwdict. O array args contém apenas os argumentos posicionais.

Independentemente de qual protocolo é usado internamente, uma conversão de argumentos precisa ser feita. Portanto, esta função só deve ser usada se o chamador já tiver um dicionário pronto para usar para os argumentos nomeados, mas não uma tupla para os argumentos posicionais.

Adicionado na versão 3.9.

PyObject *PyObject_VectorcallMethod(PyObject *name, PyObject *const *args, size_t nargsf, PyObject *kwnames)

Parte da ABI Estável desde a versão 3.12.

Chama um método usando a convenção de chamada vectorcall. O nome do método é dado como uma string Python name. O objeto cujo método é chamado é args[0], e o array args começando em args[1] representa os argumentos da chamada. Deve haver pelo menos um argumento posicional. nargsf é o número de argumentos posicionais incluindo args[0], mais PY_VECTORCALL_ARGUMENTS_OFFSET se o valor de args[0] puder ser alterado temporariamente. Argumentos nomeados podem ser passados como em PyObject_Vectorcall().

Se o objeto tem o recurso Py_TPFLAGS_METHOD_DESCRIPTOR, isso irá chamar o objeto de método não vinculado com o vetor args inteiro como argumentos.

Retorna o resultado da chamada em sucesso, ou levanta uma exceção e retorna NULL em caso de falha.

Adicionado na versão 3.9.

API de suporte a chamadas

int PyCallable_Check(PyObject *o)

Parte da ABI Estável.

Determine se o objeto o é chamável. Devolva 1 se o objeto é chamável e 0 caso contrário. Esta função sempre tem êxito.

Protocolo de número

int PyNumber_Check(PyObject *o)

Parte da ABI Estável.

Retorna 1 se o objeto o fornece protocolos numéricos; caso contrário, retorna falso. Esta função sempre tem sucesso.

Alterado na versão 3.8: Retorna 1 se o for um número inteiro de índice.

PyObject *PyNumber_Add(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o resultado da adição de o1 e o2, ou NULL em caso de falha. Este é o equivalente da expressão Python o1 + o2.

PyObject *PyNumber_Subtract(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o resultado da subtração de o2 por o1, ou NULL em caso de falha. Este é o equivalente da expressão Python o1 - o2.

PyObject *PyNumber_Multiply(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o resultado da multiplicação de o1 e o2, ou NULL em caso de falha. Este é o equivalente da expressão Python o1 * o2.

PyObject *PyNumber_MatrixMultiply(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Retorna o resultado da multiplicação da matriz em o1 e o2, ou NULL em caso de falha. Este é o equivalente da expressão Python o1 @ o2.

Adicionado na versão 3.5.

PyObject *PyNumber_FloorDivide(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the floor of o1 divided by o2, or NULL on failure. This is the equivalent of the Python expression o1 // o2.

PyObject *PyNumber_TrueDivide(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a reasonable approximation for the mathematical value of o1 divided by o2, or NULL on failure. The return value is “approximate” because binary floating-point numbers are approximate; it is not possible to represent all real numbers in base two. This function can return a floating-point value when passed two integers. This is the equivalent of the Python expression o1 / o2.

PyObject *PyNumber_Remainder(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the remainder of dividing o1 by o2, or NULL on failure. This is the equivalent of the Python expression o1 % o2.

PyObject *PyNumber_Divmod(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

See the built-in function divmod(). Returns NULL on failure. This is the equivalent of the Python expression divmod(o1, o2).

PyObject *PyNumber_Power(PyObject *o1, PyObject *o2, PyObject *o3)

Retorna valor: Nova referência. Parte da ABI Estável.

See the built-in function pow(). Returns NULL on failure. This is the equivalent of the Python expression pow(o1, o2, o3), where o3 is optional. If o3 is to be ignored, pass Py_None in its place (passing NULL for o3 would cause an illegal memory access).

PyObject *PyNumber_Negative(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the negation of o on success, or NULL on failure. This is the equivalent of the Python expression -o.

PyObject *PyNumber_Positive(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns o on success, or NULL on failure. This is the equivalent of the Python expression +o.

PyObject *PyNumber_Absolute(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the absolute value of o, or NULL on failure. This is the equivalent of the Python expression abs(o).

PyObject *PyNumber_Invert(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the bitwise negation of o on success, or NULL on failure. This is the equivalent of the Python expression ~o.

PyObject *PyNumber_Lshift(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of left shifting o1 by o2 on success, or NULL on failure. This is the equivalent of the Python expression o1 << o2.

PyObject *PyNumber_Rshift(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of right shifting o1 by o2 on success, or NULL on failure. This is the equivalent of the Python expression o1 >> o2.

PyObject *PyNumber_And(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise and” of o1 and o2 on success and NULL on failure. This is the equivalent of the Python expression o1 & o2.

PyObject *PyNumber_Xor(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise exclusive or” of o1 by o2 on success, or NULL on failure. This is the equivalent of the Python expression o1 ^ o2.

PyObject *PyNumber_Or(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise or” of o1 and o2 on success, or NULL on failure. This is the equivalent of the Python expression o1 | o2.

PyObject *PyNumber_InPlaceAdd(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of adding o1 and o2, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 += o2.

PyObject *PyNumber_InPlaceSubtract(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of subtracting o2 from o1, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 -= o2.

PyObject *PyNumber_InPlaceMultiply(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of multiplying o1 and o2, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 *= o2.

PyObject *PyNumber_InPlaceMatrixMultiply(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Returns the result of matrix multiplication on o1 and o2, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 @= o2.

Adicionado na versão 3.5.

PyObject *PyNumber_InPlaceFloorDivide(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the mathematical floor of dividing o1 by o2, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 //= o2.

PyObject *PyNumber_InPlaceTrueDivide(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a reasonable approximation for the mathematical value of o1 divided by o2, or NULL on failure. The return value is “approximate” because binary floating-point numbers are approximate; it is not possible to represent all real numbers in base two. This function can return a floating-point value when passed two integers. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 /= o2.

PyObject *PyNumber_InPlaceRemainder(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the remainder of dividing o1 by o2, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 %= o2.

PyObject *PyNumber_InPlacePower(PyObject *o1, PyObject *o2, PyObject *o3)

Retorna valor: Nova referência. Parte da ABI Estável.

See the built-in function pow(). Returns NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 **= o2 when o3 is Py_None, or an in-place variant of pow(o1, o2, o3) otherwise. If o3 is to be ignored, pass Py_None in its place (passing NULL for o3 would cause an illegal memory access).

PyObject *PyNumber_InPlaceLshift(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of left shifting o1 by o2 on success, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 <<= o2.

PyObject *PyNumber_InPlaceRshift(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the result of right shifting o1 by o2 on success, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 >>= o2.

PyObject *PyNumber_InPlaceAnd(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise and” of o1 and o2 on success and NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 &= o2.

PyObject *PyNumber_InPlaceXor(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise exclusive or” of o1 by o2 on success, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 ^= o2.

PyObject *PyNumber_InPlaceOr(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the “bitwise or” of o1 and o2 on success, or NULL on failure. The operation is done in-place when o1 supports it. This is the equivalent of the Python statement o1 |= o2.

PyObject *PyNumber_Long(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the o converted to an integer object on success, or NULL on failure. This is the equivalent of the Python expression int(o).

PyObject *PyNumber_Float(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the o converted to a float object on success, or NULL on failure. This is the equivalent of the Python expression float(o).

PyObject *PyNumber_Index(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the o converted to a Python int on success or NULL with a TypeError exception raised on failure.

Alterado na versão 3.10: O resultado sempre tem o tipo exato int. Anteriormente, o resultado poderia ter sido uma instância de uma subclasse de int.

PyObject *PyNumber_ToBase(PyObject *n, int base)

Retorna valor: Nova referência. Parte da ABI Estável.

Returns the integer n converted to base base as a string. The base argument must be one of 2, 8, 10, or 16. For base 2, 8, or 16, the returned string is prefixed with a base marker of '0b', '0o', or '0x', respectively. If n is not a Python int, it is converted with PyNumber_Index() first.

Py_ssize_t PyNumber_AsSsize_t(PyObject *o, PyObject *exc)

Parte da ABI Estável.

Returns o converted to a Py_ssize_t value if o can be interpreted as an integer. If the call fails, an exception is raised and -1 is returned.

If o can be converted to a Python int but the attempt to convert to a Py_ssize_t value would raise an OverflowError, then the exc argument is the type of exception that will be raised (usually IndexError or OverflowError). If exc is NULL, then the exception is cleared and the value is clipped to PY_SSIZE_T_MIN for a negative integer or PY_SSIZE_T_MAX for a positive integer.

int PyIndex_Check(PyObject *o)

Parte da ABI Estável desde a versão 3.8.

Returns 1 if o is an index integer (has the nb_index slot of the tp_as_number structure filled in), and 0 otherwise. This function always succeeds.

Protocolo de sequência

int PySequence_Check(PyObject *o)

Parte da ABI Estável.

Retorna 1 se o objeto fornecer o protocolo de sequência e 0 caso contrário. Note que ele retorna 1 para classes Python com um método __getitem__() a menos que sejam subclasses de dict já que no caso geral é impossível determinar que tipo de chaves a classe provê. Esta função sempre obtém sucesso.

Py_ssize_t PySequence_Size(PyObject *o)

Py_ssize_t PySequence_Length(PyObject *o)

Parte da ABI Estável.

Retorna o número de objetos na sequência o em caso de sucesso, ou -1 em caso de falha. Equivale à expressão Python len(o).

PyObject *PySequence_Concat(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna a concatenação de o1 e o2 em caso de sucesso, e NULL em caso de falha. Equivale à expressão Python o1 + o2.

PyObject *PySequence_Repeat(PyObject *o, Py_ssize_t count)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o resultado da repetição do objeto sequência o count vezes ou NULL em caso de falha. Equivale à expressão Python o * count.

PyObject *PySequence_InPlaceConcat(PyObject *o1, PyObject *o2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna a concatenação de o1 e o2 em caso de sucesso, e NULL em caso de falha. A operação é feita localmente se o1 permitir. Equivale à expressão Python o1 += o2.

PyObject *PySequence_InPlaceRepeat(PyObject *o, Py_ssize_t count)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o resultado da repetição do objeto sequência o count vezes ou NULL em caso de falha. A operação é feita localmente se o permitir. Equivale à expressão Python o *= count.

PyObject *PySequence_GetItem(PyObject *o, Py_ssize_t i)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o elemento i de o ou NULL em caso de falha. Equivale à expressão Python o[i].

PyObject *PySequence_GetSlice(PyObject *o, Py_ssize_t i1, Py_ssize_t i2)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna a fatia do objeto sequência o entre i1 e i2, ou NULL em caso de falha. Equivale à expressão Python o[i1:i2].

int PySequence_SetItem(PyObject *o, Py_ssize_t i, PyObject *v)

Parte da ABI Estável.

Atribui o objeto v ao elemento i de o. Levanta uma exceção e retorna -1 em caso de falha; retorna 0 em caso de sucesso. Esta função não rouba uma referência a v. Equivale à instrução Python o[i]=v.

Se v for NULL, o elemento será removido, mas este recurso foi descontinuado em favor do uso de PySequence_DelItem().

int PySequence_DelItem(PyObject *o, Py_ssize_t i)

Parte da ABI Estável.

Exclui o elemento i do objeto o. Retorna -1 em caso de falha. Equivale à instrução Python del o[i].

int PySequence_SetSlice(PyObject *o, Py_ssize_t i1, Py_ssize_t i2, PyObject *v)

Parte da ABI Estável.

Atribui o objeto sequência v à fatia no objeto sequência o de i1 a i2. Equivale à instrução Python o[i1:i2] = v.

int PySequence_DelSlice(PyObject *o, Py_ssize_t i1, Py_ssize_t i2)

Parte da ABI Estável.

Exclui a fatia no objeto sequência o de i1 a i2. Retorna -1 em caso de falha. Equivale à instrução Python del o[i1:i2].

Py_ssize_t PySequence_Count(PyObject *o, PyObject *value)

Parte da ABI Estável.

Retorna a quantidade de ocorrências de value em o, isto é, retorna a quantidade de chaves onde o[key] == value. Em caso de falha, retorna -1. Equivale à expressão Python o.count(value).

int PySequence_Contains(PyObject *o, PyObject *value)

Parte da ABI Estável.

Determina se o contém value. Se um item em o for igual a value, retorna 1, senão, retorna 0. Em caso de erro, retorna -1. Equivale à expressão Python value in o.

Py_ssize_t PySequence_Index(PyObject *o, PyObject *value)

Parte da ABI Estável.

Retorna o primeiro índice i tal que o[i] == value. Em caso de erro, retorna -1. Equivale à expressão Python o.index(value).

PyObject *PySequence_List(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um objeto lista com o mesmo conteúdo da sequência ou iterável o, ou NULL em caso de falha. Garante-se que a lista retornada será nova. Equivale à expressão Python list(o).

PyObject *PySequence_Tuple(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o objeto tupla com o mesmo conteúdo da sequência ou iterável o, ou NULL em caso de falha. Se o for uma tupla, retorna uma nova referência. Senão, uma tupla será construída com o conteúdo apropriado. Equivale à expressão Python tuple(o).

PyObject *PySequence_Fast(PyObject *o, const char *m)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna a sequência ou iterável o como um objeto usável por outras funções da família PySequence_Fast*. Se o objeto não for uma sequência ou iterável, levanta TypeError com m sendo o texto da mensagem. Retorna NULL em caso de falha.

As funções PySequence_Fast* têm esse nome porque presumem que o é um PyTupleObject ou um PyListObject e porque acessam os campos de dados de o diretamente.

Como detalhe de implementação de CPython, se o já for uma sequência ou lista, ele será retornado.

Py_ssize_t PySequence_Fast_GET_SIZE(PyObject *o)

Retorna o comprimento de o, presumindo que o foi retornado por PySequence_Fast() e que o não seja NULL. O tamanho também pode ser obtido ao chamar PySequence_Size() em o, mas PySequence_Fast_GET_SIZE() é mais rápida, ao supor que o é uma lista ou tupla.

PyObject *PySequence_Fast_GET_ITEM(PyObject *o, Py_ssize_t i)

Retorna valor: Referência emprestada.

Retorna o elemento i de o, presumindo que o foi retornado por PySequence_Fast(), que o seja NULL, e que i esteja nos limites.

PyObject **PySequence_Fast_ITEMS(PyObject *o)

Retorna o vetor subjacente de ponteiros PyObject. Presume que o foi retornado por PySequence_Fast() e que o não seja NULL.

Note que, se uma lista for redimensionada, a realocação poderá reposicionar o vetor de itens. Portanto, só use o ponteiro de vetor subjacente em contextos onde a sequência não mudará.

PyObject *PySequence_ITEM(PyObject *o, Py_ssize_t i)

Retorna valor: Nova referência.

Retorna o elemento i de o, ou NULL em caso de falha. É uma forma mais rápida de PySequence_GetItem(), mas sem verificar se PySequence_Check() em o é verdadeiro e sem ajustar índices negativos.

Protocolo de mapeamento

Veja também PyObject_GetItem(), PyObject_SetItem() e PyObject_DelItem().

int PyMapping_Check(PyObject *o)

Parte da ABI Estável.

Retorna 1 se o objeto fornece protocolo de mapeamento ou suporta fatiamento e 0 caso contrário. Note que ele retorna 1 para classes Python com um método __getitem__() visto que geralmente é impossível determinar a que tipo de chaves a classe tem suporte. Esta função sempre tem sucesso.

Py_ssize_t PyMapping_Size(PyObject *o)

Py_ssize_t PyMapping_Length(PyObject *o)

Parte da ABI Estável.

Retorna o número de chaves no objeto o em caso de sucesso e -1 em caso de falha. Isso é equivalente à expressão Python len(o).

PyObject *PyMapping_GetItemString(PyObject *o, const char *key)

Retorna valor: Nova referência. Parte da ABI Estável.

É o mesmo que PyObject_GetItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

int PyMapping_GetOptionalItem(PyObject *obj, PyObject *key, PyObject **result)

Parte da ABI Estável desde a versão 3.13.

Variante de PyObject_GetItem() que não levanta KeyError se a chave não for encontrada.

Se a chave for encontrada, retorna 1 e define *result como uma nova referência forte para o valor correspondente. Se a chave não for encontrada, retorna 0 e define *result como NULL; o KeyError é silenciado. Se um erro diferente de KeyError for levanta, retorna -1 e define *result como NULL.

Adicionado na versão 3.13.

int PyMapping_GetOptionalItemString(PyObject *obj, const char *key, PyObject **result)

Parte da ABI Estável desde a versão 3.13.

É o mesmo que PyMapping_GetOptionalItem(), mas key é especificado como uma string de bytes codificada em UTF-8 const char*, em vez de um PyObject*.

Adicionado na versão 3.13.

int PyMapping_SetItemString(PyObject *o, const char *key, PyObject *v)

Parte da ABI Estável.

É o mesmo que PyObject_SetItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

int PyMapping_DelItem(PyObject *o, PyObject *key)

Este é um apelido de PyObject_DelItem().

int PyMapping_DelItemString(PyObject *o, const char *key)

É o mesmo que PyObject_DelItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

int PyMapping_HasKeyWithError(PyObject *o, PyObject *key)

Parte da ABI Estável desde a versão 3.13.

Retorna 1 se o objeto de mapeamento tiver a chave key e 0 caso contrário. Isso é equivalente à expressão Python key in o. Em caso de falha, retorna -1.

Adicionado na versão 3.13.

int PyMapping_HasKeyStringWithError(PyObject *o, const char *key)

Parte da ABI Estável desde a versão 3.13.

É o mesmo que PyMapping_HasKeyWithError(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Adicionado na versão 3.13.

int PyMapping_HasKey(PyObject *o, PyObject *key)

Parte da ABI Estável.

Retorna 1 se o objeto de mapeamento tiver a chave key e 0 caso contrário. Isso é equivalente à expressão Python key in o. Esta função sempre tem sucesso.

Nota

As exceções que ocorrem quando esse método chama __getitem__() são silenciosamente ignoradas. Para o tratamento adequado de erros, use PyMapping_HasKeyWithError(), PyMapping_GetOptionalItem() ou PyObject_GetItem() em vez disso.

int PyMapping_HasKeyString(PyObject *o, const char *key)

Parte da ABI Estável.

É o mesmo que PyMapping_HasKey(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Nota

As exceções que ocorrem quando esse método chama __getitem__() ou ao criar o objeto temporário str são silenciosamente ignoradas. Para o tratamento adequado de erros, use PyMapping_HasKeyStringWithError(), PyMapping_GetOptionalItemString() ou PyMapping_GetItemString() em vez disso.

PyObject *PyMapping_Keys(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Em caso de sucesso, retorna uma lista das chaves no objeto o. Em caso de falha, retorna NULL.

Alterado na versão 3.7: Anteriormente, a função retornava uma lista ou tupla.

PyObject *PyMapping_Values(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Em caso de sucesso, retorna uma lista dos valores no objeto o. Em caso de falha, retorna NULL.

Alterado na versão 3.7: Anteriormente, a função retornava uma lista ou tupla.

PyObject *PyMapping_Items(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Em caso de sucesso, retorna uma lista dos itens no objeto o, onde cada item é uma tupla contendo um par de valores-chave. Em caso de falha, retorna NULL.

Alterado na versão 3.7: Anteriormente, a função retornava uma lista ou tupla.

Protocolo Iterador

Existem duas funções especificas para trabalhar com iteradores.

int PyIter_Check(PyObject *o)

Parte da ABI Estável desde a versão 3.8.

Retorna valor diferente de zero se o objeto o puder ser passado com segurança para PyIter_Next(), e 0 caso contrário. Esta função sempre é bem-sucedida.

int PyAIter_Check(PyObject *o)

Parte da ABI Estável desde a versão 3.10.

Retorna valor diferente de zero se o objeto o fornecer o protocolo AsyncIterator e 0 caso contrário. Esta função sempre é bem-sucedida.

Adicionado na versão 3.10.

PyObject *PyIter_Next(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna o próximo valor do iterador o. O objeto deve ser um iterador de acordo com PyIter_Check() (cabe ao chamador verificar isso). Se não houver valores restantes, retorna NULL sem nenhuma exceção definida. Se ocorrer um erro ao recuperar o item, retorna NULL e passa a exceção.

Para escrever um laço que itere sobre um iterador, o código C deve ser algo como isto:

PyObject *iterator = PyObject_GetIter(obj);
PyObject *item;

if (iterator == NULL) {
    /* propaga o erro */
}

while ((item = PyIter_Next(iterator))) {
    /* faz algo com o item */
    ...
    /* liberar a referência quando concluído */
    Py_DECREF(item);
}

Py_DECREF(iterator);

if (PyErr_Occurred()) {
    /* propaga o erro */
}
else {
    /* continua fazendo algum trabalho útil */
}

type PySendResult

O valor de enum usado para representar diferentes resultados de PyIter_Send().

Adicionado na versão 3.10.

PySendResult PyIter_Send(PyObject *iter, PyObject *arg, PyObject **presult)

Parte da ABI Estável desde a versão 3.10.

Envia o valor arg para o iterador iter. Retorna:

PYGEN_RETURN se o iterador retornar. O valor de retorno é retornado via presult.

PYGEN_NEXT se o iterador render. O valor preduzido é retornado via presult.

PYGEN_ERROR se o iterador tiver levantado uma exceção. presult é definido como NULL.

Adicionado na versão 3.10.

Protocolo de Buffer

Certos objetos disponíveis no Python envolvem o acesso a um vetor ou buffer de memória subjacente. Esses objetos incluem as bytes e bytearray embutidas, e alguns tipos de extensão como array.array. As bibliotecas de terceiros podem definir seus próprios tipos para fins especiais, como processamento de imagem ou análise numérica.

Embora cada um desses tipos tenha sua própria semântica, eles compartilham a característica comum de serem suportados por um buffer de memória possivelmente grande. É desejável, em algumas situações, acessar esse buffer diretamente e sem cópia intermediária.

Python fornece essa facilidade no nível C sob a forma de protocolo de buffer. Este protocolo tem dois lados:

do lado do produtor, um tipo pode exportar uma “interface de buffer” que permite que objetos desse tipo exponham informações sobre o buffer subjacente. Esta interface é descrita na seção Buffer Object Structures;

do lado do consumidor, vários meios estão disponíveis para obter o ponteiro para os dados subjacentes de um objeto (por exemplo, um parâmetro de método).

Objetos simples como bytes e bytearray expõem seu buffer subjacente em uma forma orientada a byte. Outras formas são possíveis; por exemplo, os elementos expostos por uma array.array podem ser valores de vários bytes.

Um exemplo de interface de um consumidor de buffer é o método write() de objetos arquivo: qualquer objeto que possa exportar uma série de bytes por meio da interface de buffer pode ser gravado em um arquivo. Enquanto o write() precisa apenas de acesso de somente leitura ao conteúdo interno do objeto passado, outros métodos, como readinto(), precisam de acesso de somente escrita ao conteúdo interno. A interface de buffer permite que o objetos possam permitir ou rejeitar a exportação para buffers de leitura e escrita ou somente leitura.

Existem duas maneiras para um consumidor da interface de buffer adquirir um buffer em um objeto alvo:

chamada de PyObject_GetBuffer() com os parâmetros certos;

chamada de PyArg_ParseTuple() (ou um dos seus irmãos) com um dos códigos de formatação y*, w* ou s*.

Em ambos os casos, PyBuffer_Release() deve ser chamado quando o buffer não é mais necessário. A falta de tal pode levar a várias questões, tais como vazamentos de recursos.

Estrutura de Buffer

As estruturas de buffer (ou simplesmente “buffers”) são úteis como uma maneira de expor os dados binários de outro objeto para o programador Python. Eles também podem ser usados como um mecanismo de cópia silenciosa. Usando sua capacidade de fazer referência a um bloco de memória, é possível expor facilmente qualquer dado ao programador Python. A memória pode ser uma matriz grande e constante em uma extensão C, pode ser um bloco bruto de memória para manipulação antes de passar para uma biblioteca do sistema operacional, ou pode ser usado para transmitir dados estruturados no formato nativo e formato de memória.

Ao contrário da maioria dos tipos de dados expostos pelo interpretador Python, os buffers não são ponteiros PyObject mas sim estruturas C simples. Isso permite que eles sejam criados e copiados de forma muito simples. Quando um invólucro genérico em torno de um buffer é necessário, um objeto memoryview pode ser criado.

Para obter instruções curtas sobre como escrever um objeto exportador, consulte Buffer Object Structures. Para obter um buffer, veja PyObject_GetBuffer().

type Py_buffer

Parte da ABI Estável (incluindo todos os membros) desde a versão 3.11.

void *buf

Um ponteiro para o início da estrutura lógica descrita pelos campos do buffer. Este pode ser qualquer local dentro do bloco de memória física subjacente do exportador. Por exemplo, com negativo strides o valor pode apontar para o final do bloco de memória.

Para vetores contíguos, o valor aponta para o início do bloco de memória.

PyObject *obj

Uma nova referência ao objeto sendo exporta. A referência pertence ao consumidor e é automaticamente liberada (por exemplo, a contagem de referências é decrementada) e é atribuída para NULL por PyBuffer_Release(). O campo é equivalmente ao valor de retorno de qualquer função do padrão C-API.

Como um caso especial, para buffers temporários que são encapsulados por PyMemoryView_FromBuffer() ou PyBuffer_FillInfo() esse campo é NULL. Em geral, objetos exportadores NÃO DEVEM usar esse esquema.

Py_ssize_t len

product(shape) * itemsize. Para matrizes contíguas, este é o comprimento do bloco de memória subjacente. Para matrizes não contíguas, é o comprimento que a estrutura lógica teria se fosse copiado para uma representação contígua.

Acessando ((char *)buf)[0] up to ((char *)buf)[len-1] só é válido se o buffer tiver sido obtido por uma solicitação que garanta a contiguidade. Na maioria dos casos, esse pedido será PyBUF_SIMPLE ou PyBUF_WRITABLE.

int readonly

Um indicador de se o buffer é somente leitura. Este campo é controlado pelo sinalizador PyBUF_WRITABLE.

Py_ssize_t itemsize

O tamanho do item em bytes de um único elemento. O mesmo que o valor de struct.calcsize() chamado em valores não NULL de format.

Exceção importante: Se um consumidor requisita um buffer sem sinalizador PyBUF_FORMAT, format será definido como NULL, mas itemsize ainda terá seu valor para o formato original.

Se shape está presente, a igualdade product(shape) * itemsize == len ainda é válida e o usuário pode usar itemsize para navegar o buffer.

Se shape é NULL como resultado de uma PyBUF_SIMPLE ou uma requisição PyBUF_WRITABLE, o consumidor deve ignorar itemsize e presumir itemsize == 1.

char *format

Uma string terminada por NULL no estilo de sintaxe de módulo struct descrevendo os conteúdos de um único item. Se isso é NULL, "B" (unsigned bytes) é presumido.

Este campo é controlado pelo sinalizador PyBUF_FORMAT.

int ndim

O número de dimensões de memória representado como um array n-dimensional. Se for 0, buf aponta para um único elemento representando um escalar. Neste caso, shape, strides e suboffsets DEVEM ser NULL. O número máximo de dimensões é dado por PyBUF_MAX_NDIM.

Py_ssize_t *shape

Uma matriz de Py_ssize_t do comprimento ndim indicando a forma da memória como uma matriz n-dimensional. Observe que a forma shape[0] * ... * shape[ndim-1] * itemsize DEVE ser igual a len.

Os valores da forma são restritos a shape[n] >= 0. The case shape[n] == 0 requer atenção especial. Veja complex arrays para mais informações.

A forma de acesso a matriz é de somente leitura para o usuário.

Py_ssize_t *strides

Um vetor de Py_ssize_t de comprimento ndim dando o número de bytes para saltar para obter um novo elemento em cada dimensão.

Os valores de Stride podem ser qualquer número inteiro. Para arrays regulares, os passos são geralmente positivos, mas um consumidor DEVE ser capaz de lidar com o caso strides[n] <= 0. Veja complex arrays para mais informações.

A matriz de passos é somente leitura para o consumidor.

Py_ssize_t *suboffsets

Uma matriz de Py_ssize_t de comprimento ndim. Se suboffsets[n] >= 0, os valores armazenados ao longo da n-ésima dimensão são ponteiros e o valor suboffset determina quantos bytes para adicionar a cada ponteiro após desreferenciar. Um valor de suboffset que é negativo indica que não deve ocorrer desreferenciação (caminhando em um bloco de memória contíguo).

Se todos os subconjuntos forem negativos (ou seja, não é necessário fazer referência), então este campo deve ser NULL (o valor padrão).

Esse tipo de representação de matriz é usado pela Python Imaging Library (PIL). Veja complex arrays para obter mais informações sobre como acessar elementos dessa matriz.a matriz.

A matriz de subconjuntos é somente leitura para o consumidor.

void *internal

Isso é para uso interno pelo objeto exportador. Por exemplo, isso pode ser re-moldado como um número inteiro pelo exportador e usado para armazenar bandeiras sobre se os conjuntos de forma, passos e suboffsets devem ou não ser liberados quando o buffer é liberado. O consumidor NÃO DEVE alterar esse valor.

Constantes:

PyBUF_MAX_NDIM

O número máximo de dimensões que a memória representa. Exportadores DEVEM respeitar esse limite, consumidores de buffers multi-dimensionais DEVEM ser capazes de liader com até PyBUF_MAX_NDIM dimensões. Atualmente definido como 64.

Tipos de solicitação do buffer

Os buffers geralmente são obtidos enviando uma solicitação de buffer para um objeto exportador via PyObject_GetBuffer(). Uma vez que a complexidade da estrutura lógica da memória pode variar drasticamente, o consumidor usa o argumento flags para especificar o tipo de buffer exato que pode manipular.

Todos os campos Py_buffer são definidos de forma não-ambígua pelo tipo de requisição.

campos independentes do pedido

Os seguintes campos não são influenciados por flags e devem sempre ser preenchidos com os valores corretos: obj, buf, len, itemsize, ndim.

apenas em formato

PyBUF_WRITABLE

Controla o campo readonly . Se configurado, o exportador DEVE fornecer um buffer gravável ou então relatar falha. Do contrário, o exportador PODE fornecer um buffer somente leitura ou um buffer gravável , mas a escolha DEVE ser consistente para todos os consumidores. Por exemplo, PyBUF_SIMPLE | PyBUF_WRITABLE pode ser usado para requisitar um buffer simples gravável.

PyBUF_FORMAT

Controla o campo format. Se configurado, este campo DEVE ser preenchido corretamente. Caso contrário, este campo DEVE ser NULL.

:PyBUF_WRITABLE pode ser |’d para qualquer um dos sinalizadores na próxima seção. Uma vez que PyBUF_WRITABLE é definido como 0, PyBUF_WRITABLE pode ser usado como uma bandeira autônoma para solicitar um buffer simples gravável.

PyBUF_FORMAT deve ser |’d para qualquer um dos sinalizadores exceto PyBUF_SIMPLE, uma vez que este já indica que o formato B (unsigned bytes). PyBUF_FORMAT não pode ser utilizado sozinho.

forma, avanços, suboffsets

As bandeiras que controlam a estrutura lógica da memória estão listadas em ordem decrescente de complexidade. Observe que cada bandeira contém todos os bits das bandeiras abaixo.

Solicitação

Forma

Avanços

subconjuntos

PyBUF_INDIRECT

sim

sim

se necessário

PyBUF_STRIDES

sim

sim

NULL

PyBUF_ND

sim

NULL

NULL

PyBUF_SIMPLE

NULL

NULL

NULL

requisições contíguas

contiguity do C ou Fortran podem ser explicitamente solicitadas, com ou sem informação de avanço. Sem informação de avanço, o buffer deve ser C-contíguo.

Solicitação

Forma

Avanços

subconjuntos

contig

PyBUF_C_CONTIGUOUS

sim

sim

NULL

C

PyBUF_F_CONTIGUOUS

sim

sim

NULL

F

PyBUF_ANY_CONTIGUOUS

sim

sim

NULL

C ou F

PyBUF_ND

sim

NULL

NULL

C

requisições compostas

Todas as requisições possíveis foram completamente definidas por alguma combinação dos sinalizadores na seção anterior. Por conveniência, o protocolo do buffer fornece combinações frequentemente utilizadas como sinalizadores únicos.

Na seguinte tabela U significa contiguidade indefinida. O consumidor deve chamar PyBuffer_IsContiguous() para determinar a contiguidade.

Solicitação

Forma

Avanços

subconjuntos

contig

readonly

formato

PyBUF_FULL

sim

sim

se necessário

U

0

sim

PyBUF_FULL_RO

sim

sim

se necessário

U

1 ou 0

sim

PyBUF_RECORDS

sim

sim

NULL

U

0

sim

PyBUF_RECORDS_RO

sim

sim

NULL

U

1 ou 0

sim

PyBUF_STRIDED

sim

sim

NULL

U

0

NULL

PyBUF_STRIDED_RO

sim

sim

NULL

U

1 ou 0

NULL

PyBUF_CONTIG

sim

NULL

NULL

C

0

NULL

PyBUF_CONTIG_RO

sim

NULL

NULL

C

1 ou 0

NULL

Vetores Complexos

Estilo NumPy: forma e avanços

A estrutura lógica de vetores do estilo NumPy é definida por itemsize, ndim, shape e strides.

Se ndim == 0, a localização da memória apontada para buf é interpretada como um escalar de tamanho itemsize. Nesse caso, ambos shape e strides são NULL.

Se strides é NULL, o vetor é interpretado como um vetor C n-dimensional padrão. Caso contrário, o consumidor deve acessar um vetor n-dimensional como a seguir:

ptr = (char *)buf + indices[0] * strides[0] + ... + indices[n-1] * strides[n-1];
item = *((typeof(item) *)ptr);

Como notado acima, buf pode apontar para qualquer localização dentro do bloco de memória em si. Um exportador pode verificar a validade de um buffer com essa função:

def verify_structure(memlen, itemsize, ndim, shape, strides, offset):
    """Verifica se os parâmetros representa um vetor válido dentro
       dos limites da memória alocada:
           char *mem: início do bloco de memória física
           memlen: comprimento do bloco de memória física
           offset: (char *)buf - mem
    """
    if offset % itemsize:
        return False
    if offset < 0 or offset+itemsize > memlen:
        return False
    if any(v % itemsize for v in strides):
        return False

    if ndim <= 0:
        return ndim == 0 and not shape and not strides
    if 0 in shape:
        return True

    imin = sum(strides[j]*(shape[j]-1) for j in range(ndim)
               if strides[j] <= 0)
    imax = sum(strides[j]*(shape[j]-1) for j in range(ndim)
               if strides[j] > 0)

    return 0 <= offset+imin and offset+imax+itemsize <= memlen

Estilo-PIL: forma, avanços e suboffsets

Além dos itens normais, uma matriz em estilo PIL pode conter ponteiros que devem ser seguidos para se obter o próximo elemento em uma dimensão. Por exemplo, a matriz tridimensional em C char v[2][2][3] também pode ser vista como um vetor de 2 ponteiros para duas matrizes bidimensionais: char (*v[2])[2][3]. Na representação por suboffsets, esses dois ponteiros podem ser embutidos no início de buf, apontando para duas matrizes char x[2][3] que podem estar localizadas em qualquer lugar na memória.

Esta é uma função que retorna um ponteiro para o elemento em uma matriz N-D apontada por um índice N-dimensional onde existem ambos passos e subconjuntos não-NULL:

void *get_item_pointer(int ndim, void *buf, Py_ssize_t *strides,
                       Py_ssize_t *suboffsets, Py_ssize_t *indices) {
    char *pointer = (char*)buf;
    int i;
    for (i = 0; i < ndim; i++) {
        pointer += strides[i] * indices[i];
        if (suboffsets[i] >=0 ) {
            pointer = *((char**)pointer) + suboffsets[i];
        }
    }
    return (void*)pointer;
}

Funções relacionadas ao Buffer

int PyObject_CheckBuffer(PyObject *obj)

Parte da ABI Estável desde a versão 3.11.

Retorna 1 se obj oferece suporte à interface de buffer, se não, 0. Quando 1 é retornado, isso não garante que PyObject_GetBuffer() será bem sucedida. Esta função é sempre bem sucedida.

int PyObject_GetBuffer(PyObject *exporter, Py_buffer *view, int flags)

Parte da ABI Estável desde a versão 3.11.

Envia uma requisição ao exporter para preencher a view conforme especificado por flags. Se o exporter não conseguir prover um buffer do tipo especificado, ele DEVE levantar BufferError, definir view->obj para NULL e retornar -1.

Em caso de sucesso, preenche view, define view->obj para uma nova referência para exporter e retorna 0. No caso de provedores de buffer encadeados que redirecionam requisições para um único objeto, view->obj DEVE se referir a este objeto em vez de exporter (Veja Buffer Object Structures).

Chamadas bem sucedidas para PyObject_GetBuffer() devem ser emparelhadas a chamadas para PyBuffer_Release(), similar para malloc() e free(). Assim, após o consumidor terminar com o buffer, PyBuffer_Release() deve ser chamado exatamente uma vez.

void PyBuffer_Release(Py_buffer *view)

Parte da ABI Estável desde a versão 3.11.

Libera o buffer de view e libera o strong reference (por exemplo, decrementa o contador de referências) para o objeto de suporte da view, view->obj. Esta função DEVE ser chamada quando o buffer não estiver mais sendo usado, ou o vazamento de referências pode acontecer.

É um erro chamar essa função em um buffer que não foi obtido via PyObject_GetBuffer().

Py_ssize_t PyBuffer_SizeFromFormat(const char *format)

Parte da ABI Estável desde a versão 3.11.

Retorna o itemsize implícito de format. Em erro, levantar e exceção e retornar -1.

Adicionado na versão 3.9.

int PyBuffer_IsContiguous(const Py_buffer *view, char order)

Parte da ABI Estável desde a versão 3.11.

Retorna 1 se a memória definida pela view é contígua no estilo C (order é 'C') ou no estilo Fortran (order é 'F') ou qualquer outra (order é 'A'). Retorna 0 caso contrário. Essa função é sempre bem sucedida.

void *PyBuffer_GetPointer(const Py_buffer *view, const Py_ssize_t *indices)

Parte da ABI Estável desde a versão 3.11.

Recebe a área de memória apontada pelos indices dentro da view dada. indices deve apontar para um array de view->ndim índices.

int PyBuffer_FromContiguous(const Py_buffer *view, const void *buf, Py_ssize_t len, char fort)

Parte da ABI Estável desde a versão 3.11.

Copia len bytes contíguos de buf para view. fort pode ser 'C' ou 'F' (para ordenação estilo C ou estilo Fortran). Retorna 0 em caso de sucesso e -1 em caso de erro.

int PyBuffer_ToContiguous(void *buf, const Py_buffer *src, Py_ssize_t len, char order)

Parte da ABI Estável desde a versão 3.11.

Copia len bytes de src para sua representação contígua em buf. order pode ser 'C' ou 'F' ou 'A' (para ordenação estilo C, Fortran ou qualquer uma). O retorno é 0 em caso de sucesso e -1 em caso de falha.

Esta função falha se len != src->len.

int PyObject_CopyData(PyObject *dest, PyObject *src)

Parte da ABI Estável desde a versão 3.11.

Copia os dados do buffer src para o buffer dest. Pode converter entre buffers de estilo C e/ou estilo Fortran.

0 é retornado em caso de sucesso, -1 em caso de erro.

void PyBuffer_FillContiguousStrides(int ndims, Py_ssize_t *shape, Py_ssize_t *strides, int itemsize, char order)

Parte da ABI Estável desde a versão 3.11.

Preenche o array strides com byte-strides de um array contíguo (estilo C se order é 'C' ou estilo Fortran se order for 'F') da forma dada com o número dado de bytes por elemento.

int PyBuffer_FillInfo(Py_buffer *view, PyObject *exporter, void *buf, Py_ssize_t len, int readonly, int flags)

Parte da ABI Estável desde a versão 3.11.

Manipula requisições de buffer para um exportador que quer expor buf de tamanho len com capacidade de escrita definida de acordo com readonly. buf é interpretada como uma sequência de bytes sem sinal.

O argumento flags indica o tipo de requisição. Esta função sempre preenche view como especificado por flags, a não ser que buf seja designado como somente leitura e PyBUF_WRITABLE esteja definido em flags.

Em caso de sucesso, defina view->obj como um novo referência para exporter e retorna 0. Caso contrário, levante BufferError , defina view->obj para NULL e retorne -1 ;

Se esta função é usada como parte de um getbufferproc, exporter DEVE ser definida para o objeto de exportação e flags deve ser passado sem modificações. Caso contrário, exporter DEVE ser NULL.

Camada de Objetos Concretos

As funções neste capítulo são específicas para certos tipos de objetos Python. Passar para eles um objeto do tipo errado não é uma boa ideia; se você receber um objeto de um programa Python e não tiver certeza de que ele tem o tipo certo, primeiro execute uma verificação de tipo; por exemplo, para verificar se um objeto é um dicionário, use PyDict_Check(). O capítulo está estruturado como a “árvore genealógica” dos tipos de objetos Python.

Aviso

Enquanto as funções descritas neste capítulo verificam cuidadosamente o tipo de objetos passados, muitos deles não verificam a passagem de NULL em vez de um objeto válido. Permitir a passagem de NULL pode causar violações ao acesso à memória e encerramento imediato do interpretador.

Objetos Fundamentais

Esta seção descreve os objetos de tipo Python e o objeto singleton None.

Objetos tipo

Creating Heap-Allocated Types

O Objeto None

Objetos Numéricos

Objetos Inteiros

Objetos Booleanos

Objetos de ponto flutuante

Pack and Unpack functions

Pack functions

Unpack functions

Objetos números complexos

Números complexos como estruturas C.

Números complexos como objetos Python

Objetos Sequência

Operações genéricas em objetos de sequência foram discutidas no capítulo anterior; Esta seção lida com os tipos específicos de objetos sequência que são intrínsecos à linguagem Python.

Objetos Bytes

Objetos byte array

Macros para verificação de tipo

Funções diretas da API

Macros

Objetos Unicode e Codecs

Unicode Objects

Unicode Type

Unicode Character Properties

Creating and accessing Unicode strings

Locale Encoding

File System Encoding

wchar_t Support

Built-in Codecs

Generic Codecs

UTF-8 Codecs

UTF-32 Codecs

UTF-16 Codecs

UTF-7 Codecs

Unicode-Escape Codecs

Raw-Unicode-Escape Codecs

Latin-1 Codecs

ASCII Codecs

Character Map Codecs

MBCS codecs for Windows

Methods & Slots

Methods and Slot Functions

Objeto tupla

Objetos sequência de estrutura

Objeto List

Coleções

Objetos dicionários

Objeto Set

Objetos Função

Objetos Função

Objetos de Método de Instância

Objetos método

Objeto célula

Objetos código

Informação adicional

Outros Objetos

Objetos arquivos

Objetos do Módulo

Inicializando módulos C

inicialização de fase única

Inicialização multifásica

Funções de criação de módulo de baixo nível

Support functions

Pesquisa por módulos

Objetos Iteradores

Objetos Descritores

Objetos Slice

Objeto Ellipsis

Objetos MemoryView

Objetos referência fraca

Capsules

Objetos Frame

Internal Frames

Objetos Geradores

Objetos corrotina

Objetos de variáveis ​​de contexto

Objetos DateTime

Objetos de indicação de tipos

Objetos tipo

type PyTypeObject

Parte da API Limitada (como uma estrutura opaca).

A estrutura C dos objetos usados para descrever tipos embutidos.

PyTypeObject PyType_Type

Parte da ABI Estável.

Este é o objeto de tipo para objetos tipo; é o mesmo objeto que type na camada Python.

int PyType_Check(PyObject *o)

Retorna valor diferente de zero se o objeto o for um objeto tipo, incluindo instâncias de tipos derivados do objeto tipo padrão. Retorna 0 em todos os outros casos. Esta função sempre tem sucesso.

int PyType_CheckExact(PyObject *o)

Retorna valor diferente de zero se o objeto o for um objeto tipo, mas não um subtipo do objeto tipo padrão. Retorna 0 em todos os outros casos. Esta função sempre tem sucesso.

unsigned int PyType_ClearCache()

Parte da ABI Estável.

Limpa o cache de pesquisa interno. Retorna a marcação de versão atual.

unsigned long PyType_GetFlags(PyTypeObject *type)

Parte da ABI Estável.

Return the tp_flags member of type. This function is primarily meant for use with Py_LIMITED_API; the individual flag bits are guaranteed to be stable across Python releases, but access to tp_flags itself is not part of the limited API.

Adicionado na versão 3.2.

Alterado na versão 3.4: O tipo de retorno é agora um unsigned long em vez de um long.

PyObject *PyType_GetDict(PyTypeObject *type)

Return the type object’s internal namespace, which is otherwise only exposed via a read-only proxy (cls.__dict__). This is a replacement for accessing tp_dict directly. The returned dictionary must be treated as read-only.

This function is meant for specific embedding and language-binding cases, where direct access to the dict is necessary and indirect access (e.g. via the proxy or PyObject_GetAttr()) isn’t adequate.

Extension modules should continue to use tp_dict, directly or indirectly, when setting up their own types.

Adicionado na versão 3.12.

void PyType_Modified(PyTypeObject *type)

Parte da ABI Estável.

Invalida o cache de pesquisa interna para o tipo e todos os seus subtipos. Esta função deve ser chamada após qualquer modificação manual dos atributos ou classes bases do tipo.

int PyType_AddWatcher(PyType_WatchCallback callback)

Register callback as a type watcher. Return a non-negative integer ID which must be passed to future calls to PyType_Watch(). In case of error (e.g. no more watcher IDs available), return -1 and set an exception.

Adicionado na versão 3.12.

int PyType_ClearWatcher(int watcher_id)

Clear watcher identified by watcher_id (previously returned from PyType_AddWatcher()). Return 0 on success, -1 on error (e.g. if watcher_id was never registered.)

An extension should never call PyType_ClearWatcher with a watcher_id that was not returned to it by a previous call to PyType_AddWatcher().

Adicionado na versão 3.12.

int PyType_Watch(int watcher_id, PyObject *type)

Mark type as watched. The callback granted watcher_id by PyType_AddWatcher() will be called whenever PyType_Modified() reports a change to type. (The callback may be called only once for a series of consecutive modifications to type, if _PyType_Lookup() is not called on type between the modifications; this is an implementation detail and subject to change.)

An extension should never call PyType_Watch with a watcher_id that was not returned to it by a previous call to PyType_AddWatcher().

Adicionado na versão 3.12.

typedef int (*PyType_WatchCallback)(PyObject *type)

Type of a type-watcher callback function.

The callback must not modify type or cause PyType_Modified() to be called on type or any type in its MRO; violating this rule could cause infinite recursion.

Adicionado na versão 3.12.

int PyType_HasFeature(PyTypeObject *o, int feature)

Retorna valor diferente de zero se o objeto tipo o define o recurso feature. Os recursos de tipo são denotados por sinalizadores de bit único.

int PyType_IS_GC(PyTypeObject *o)

Return true if the type object includes support for the cycle detector; this tests the type flag Py_TPFLAGS_HAVE_GC.

int PyType_IsSubtype(PyTypeObject *a, PyTypeObject *b)

Parte da ABI Estável.

Retorna verdadeiro se a for um subtipo de b.

This function only checks for actual subtypes, which means that __subclasscheck__() is not called on b. Call PyObject_IsSubclass() to do the same check that issubclass() would do.

PyObject *PyType_GenericAlloc(PyTypeObject *type, Py_ssize_t nitems)

Retorna valor: Nova referência. Parte da ABI Estável.

Manipulador genérico para o slot tp_alloc de um objeto tipo. Use o mecanismo de alocação de memória padrão do Python para alocar uma nova instância e inicializar todo o seu conteúdo para NULL.

PyObject *PyType_GenericNew(PyTypeObject *type, PyObject *args, PyObject *kwds)

Retorna valor: Nova referência. Parte da ABI Estável.

Manipulador genérico para o slot tp_new de um objeto tipo. Cria uma nova instância usando o slot tp_alloc do tipo.

int PyType_Ready(PyTypeObject *type)

Parte da ABI Estável.

Finaliza um objeto tipo. Isso deve ser chamado em todos os objetos tipo para finalizar sua inicialização. Esta função é responsável por adicionar slots herdados da classe base de um tipo. Retorna 0 em caso de sucesso, ou retorna -1 e define uma exceção em caso de erro.

Nota

If some of the base classes implements the GC protocol and the provided type does not include the Py_TPFLAGS_HAVE_GC in its flags, then the GC protocol will be automatically implemented from its parents. On the contrary, if the type being created does include Py_TPFLAGS_HAVE_GC in its flags then it must implement the GC protocol itself by at least implementing the tp_traverse handle.

PyObject *PyType_GetName(PyTypeObject *type)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.11.

Return the type’s name. Equivalent to getting the type’s __name__ attribute.

Adicionado na versão 3.11.

PyObject *PyType_GetQualName(PyTypeObject *type)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.11.

Return the type’s qualified name. Equivalent to getting the type’s __qualname__ attribute.

Adicionado na versão 3.11.

PyObject *PyType_GetFullyQualifiedName(PyTypeObject *type)

Parte da ABI Estável desde a versão 3.13.

Return the type’s fully qualified name. Equivalent to f"{type.__module__}.{type.__qualname__}", or type.__qualname__ if type.__module__ is not a string or is equal to "builtins".

Adicionado na versão 3.13.

PyObject *PyType_GetModuleName(PyTypeObject *type)

Parte da ABI Estável desde a versão 3.13.

Return the type’s module name. Equivalent to getting the type.__module__ attribute.

Adicionado na versão 3.13.

void *PyType_GetSlot(PyTypeObject *type, int slot)

Parte da ABI Estável desde a versão 3.4.

Retorna o ponteiro de função armazenado no slot fornecido. Se o resultado for NULL, isso indica que o slot é NULL ou que a função foi chamada com parâmetros inválidos. Os chamadores normalmente lançarão o ponteiro do resultado no tipo de função apropriado.

Veja PyType_Slot.slot por possíveis valores do argumento slot.

Adicionado na versão 3.4.

Alterado na versão 3.10: PyType_GetSlot() can now accept all types. Previously, it was limited to heap types.

PyObject *PyType_GetModule(PyTypeObject *type)

Parte da ABI Estável desde a versão 3.10.

Retorna o objeto de módulo associado ao tipo fornecido quando o tipo foi criado usando PyType_FromModuleAndSpec().

Se nenhum módulo estiver associado com o tipo fornecido, define TypeError e retorna NULL.

This function is usually used to get the module in which a method is defined. Note that in such a method, PyType_GetModule(Py_TYPE(self)) may not return the intended result. Py_TYPE(self) may be a subclass of the intended class, and subclasses are not necessarily defined in the same module as their superclass. See PyCMethod to get the class that defines the method. See PyType_GetModuleByDef() for cases when PyCMethod cannot be used.

Adicionado na versão 3.9.

void *PyType_GetModuleState(PyTypeObject *type)

Parte da ABI Estável desde a versão 3.10.

Return the state of the module object associated with the given type. This is a shortcut for calling PyModule_GetState() on the result of PyType_GetModule().

Se nenhum módulo estiver associado com o tipo fornecido, define TypeError e retorna NULL.

If the type has an associated module but its state is NULL, returns NULL without setting an exception.

Adicionado na versão 3.9.

PyObject *PyType_GetModuleByDef(PyTypeObject *type, struct PyModuleDef *def)

Parte da ABI Estável desde a versão 3.13.

Find the first superclass whose module was created from the given PyModuleDef def, and return that module.

If no module is found, raises a TypeError and returns NULL.

This function is intended to be used together with PyModule_GetState() to get module state from slot methods (such as tp_init or nb_add) and other places where a method’s defining class cannot be passed using the PyCMethod calling convention.

Adicionado na versão 3.11.

int PyUnstable_Type_AssignVersionTag(PyTypeObject *type)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Attempt to assign a version tag to the given type.

Returns 1 if the type already had a valid version tag or a new one was assigned, or 0 if a new tag could not be assigned.

Adicionado na versão 3.12.

Creating Heap-Allocated Types

The following functions and structs are used to create heap types.

PyObject *PyType_FromMetaclass(PyTypeObject *metaclass, PyObject *module, PyType_Spec *spec, PyObject *bases)

Parte da ABI Estável desde a versão 3.12.

Create and return a heap type from the spec (see Py_TPFLAGS_HEAPTYPE).

The metaclass metaclass is used to construct the resulting type object. When metaclass is NULL, the metaclass is derived from bases (or Py_tp_base[s] slots if bases is NULL, see below).

Metaclasses that override tp_new are not supported, except if tp_new is NULL. (For backwards compatibility, other PyType_From* functions allow such metaclasses. They ignore tp_new, which may result in incomplete initialization. This is deprecated and in Python 3.14+ such metaclasses will not be supported.)

The bases argument can be used to specify base classes; it can either be only one class or a tuple of classes. If bases is NULL, the Py_tp_bases slot is used instead. If that also is NULL, the Py_tp_base slot is used instead. If that also is NULL, the new type derives from object.

The module argument can be used to record the module in which the new class is defined. It must be a module object or NULL. If not NULL, the module is associated with the new type and can later be retrieved with PyType_GetModule(). The associated module is not inherited by subclasses; it must be specified for each class individually.

This function calls PyType_Ready() on the new type.

Note that this function does not fully match the behavior of calling type() or using the class statement. With user-provided base types or metaclasses, prefer calling type (or the metaclass) over PyType_From* functions. Specifically:

__new__() is not called on the new class (and it must be set to type.__new__).

__init__() is not called on the new class.

__init_subclass__() is not called on any bases.

__set_name__() is not called on new descriptors.

Adicionado na versão 3.12.

PyObject *PyType_FromModuleAndSpec(PyObject *module, PyType_Spec *spec, PyObject *bases)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.10.

Equivalent to PyType_FromMetaclass(NULL, module, spec, bases).

Adicionado na versão 3.9.

Alterado na versão 3.10: The function now accepts a single class as the bases argument and NULL as the tp_doc slot.

Alterado na versão 3.12: The function now finds and uses a metaclass corresponding to the provided base classes. Previously, only type instances were returned.

The tp_new of the metaclass is ignored. which may result in incomplete initialization. Creating classes whose metaclass overrides tp_new is deprecated and in Python 3.14+ it will be no longer allowed.

PyObject *PyType_FromSpecWithBases(PyType_Spec *spec, PyObject *bases)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.3.

Equivalent to PyType_FromMetaclass(NULL, NULL, spec, bases).

Adicionado na versão 3.3.

Alterado na versão 3.12: The function now finds and uses a metaclass corresponding to the provided base classes. Previously, only type instances were returned.

The tp_new of the metaclass is ignored. which may result in incomplete initialization. Creating classes whose metaclass overrides tp_new is deprecated and in Python 3.14+ it will be no longer allowed.

PyObject *PyType_FromSpec(PyType_Spec *spec)

Retorna valor: Nova referência. Parte da ABI Estável.

Equivalent to PyType_FromMetaclass(NULL, NULL, spec, NULL).

Alterado na versão 3.12: The function now finds and uses a metaclass corresponding to the base classes provided in Py_tp_base[s] slots. Previously, only type instances were returned.

The tp_new of the metaclass is ignored. which may result in incomplete initialization. Creating classes whose metaclass overrides tp_new is deprecated and in Python 3.14+ it will be no longer allowed.

type PyType_Spec

Parte da ABI Estável (incluindo todos os membros).

Structure defining a type’s behavior.

const char *name

Name of the type, used to set PyTypeObject.tp_name.

int basicsize

If positive, specifies the size of the instance in bytes. It is used to set PyTypeObject.tp_basicsize.

If zero, specifies that tp_basicsize should be inherited.

If negative, the absolute value specifies how much space instances of the class need in addition to the superclass. Use PyObject_GetTypeData() to get a pointer to subclass-specific memory reserved this way.

Alterado na versão 3.12: Previously, this field could not be negative.

int itemsize

Size of one element of a variable-size type, in bytes. Used to set PyTypeObject.tp_itemsize. See tp_itemsize documentation for caveats.

If zero, tp_itemsize is inherited. Extending arbitrary variable-sized classes is dangerous, since some types use a fixed offset for variable-sized memory, which can then overlap fixed-sized memory used by a subclass. To help prevent mistakes, inheriting itemsize is only possible in the following situations:

The base is not variable-sized (its tp_itemsize).

The requested PyType_Spec.basicsize is positive, suggesting that the memory layout of the base class is known.

The requested PyType_Spec.basicsize is zero, suggesting that the subclass does not access the instance’s memory directly.

With the Py_TPFLAGS_ITEMS_AT_END flag.

unsigned int flags

Type flags, used to set PyTypeObject.tp_flags.

If the Py_TPFLAGS_HEAPTYPE flag is not set, PyType_FromSpecWithBases() sets it automatically.

PyType_Slot *slots

Array of PyType_Slot structures. Terminated by the special slot value {0, NULL}.

Each slot ID should be specified at most once.

type PyType_Slot

Parte da ABI Estável (incluindo todos os membros).

Structure defining optional functionality of a type, containing a slot ID and a value pointer.

int slot

A slot ID.

Slot IDs are named like the field names of the structures PyTypeObject, PyNumberMethods, PySequenceMethods, PyMappingMethods and PyAsyncMethods with an added Py_ prefix. For example, use:

Py_tp_dealloc to set PyTypeObject.tp_dealloc

Py_nb_add to set PyNumberMethods.nb_add

Py_sq_length to set PySequenceMethods.sq_length

The following “offset” fields cannot be set using PyType_Slot:

tp_weaklistoffset (use Py_TPFLAGS_MANAGED_WEAKREF instead if possible)

tp_dictoffset (use Py_TPFLAGS_MANAGED_DICT instead if possible)

tp_vectorcall_offset (use "__vectorcalloffset__" in PyMemberDef)

If it is not possible to switch to a MANAGED flag (for example, for vectorcall or to support Python older than 3.12), specify the offset in Py_tp_members. See PyMemberDef documentation for details.

The following fields cannot be set at all when creating a heap type:

tp_vectorcall (use tp_new and/or tp_init)

Internal fields: tp_dict, tp_mro, tp_cache, tp_subclasses, and tp_weaklist.

Setting Py_tp_bases or Py_tp_base may be problematic on some platforms. To avoid issues, use the bases argument of PyType_FromSpecWithBases() instead.

Alterado na versão 3.9: Slots in PyBufferProcs may be set in the unlimited API.

Alterado na versão 3.11: bf_getbuffer and bf_releasebuffer are now available under the limited API.

void *pfunc

The desired value of the slot. In most cases, this is a pointer to a function.

Slots other than Py_tp_doc may not be NULL.

O Objeto None

Observe que o PyTypeObject para None não está diretamente exposto pela API Python/C. Como None é um singleton, é suficiente testar a identidade do objeto (usando == em C). Não há nenhuma função PyNone_Check() pela mesma razão.

PyObject *Py_None

O objeto Python None, denotando falta de valor. Este objeto não tem métodos e é imortal.

Alterado na versão 3.12: Py_None é imortal.

Py_RETURN_NONE

Retorna Py_None de uma função.

Objetos Inteiros

Todos os inteiros são implementados como objetos inteiros “longos” de tamanho arbitrário.

Em caso de erro, a maioria das APIs PyLong_As* retorna (tipo de retorno)-1 que não pode ser distinguido de um número. Use PyErr_Occurred() para desambiguar.

type PyLongObject

Parte da API Limitada (como uma estrutura opaca).

Este subtipo de PyObject representa um objeto inteiro Python.

PyTypeObject PyLong_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo inteiro Python. Este é o mesmo objeto que int na camada Python.

int PyLong_Check(PyObject *p)

Retorna true se seu argumento é um PyLongObject ou um subtipo de PyLongObject. Esta função sempre tem sucesso.

int PyLong_CheckExact(PyObject *p)

Retorna true se seu argumento é um PyLongObject, mas não um subtipo de PyLongObject. Esta função sempre tem sucesso.

PyObject *PyLong_FromLong(long v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto PyLongObject de v ou NULL em caso de falha.

The current implementation keeps an array of integer objects for all integers between -5 and 256. When you create an int in that range you actually just get back a reference to the existing object.

PyObject *PyLong_FromUnsignedLong(unsigned long v)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new PyLongObject object from a C unsigned long, or NULL on failure.

PyObject *PyLong_FromSsize_t(Py_ssize_t v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto PyLongObject de um Py_ssize_t C ou NULL em caso de falha.

PyObject *PyLong_FromSize_t(size_t v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto PyLongObject de um size_t C ou NULL em caso de falha.

PyObject *PyLong_FromLongLong(long long v)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new PyLongObject object from a C long long, or NULL on failure.

PyObject *PyLong_FromUnsignedLongLong(unsigned long long v)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new PyLongObject object from a C unsigned long long, or NULL on failure.

PyObject *PyLong_FromDouble(double v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto PyLongObject da parte inteira de v ou NULL em caso de falha.

PyObject *PyLong_FromString(const char *str, char **pend, int base)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new PyLongObject based on the string value in str, which is interpreted according to the radix in base, or NULL on failure. If pend is non-NULL, *pend will point to the end of str on success or to the first character that could not be processed on error. If base is 0, str is interpreted using the Inteiros literais definition; in this case, leading zeros in a non-zero decimal number raises a ValueError. If base is not 0, it must be between 2 and 36, inclusive. Leading and trailing whitespace and single underscores after a base specifier and between digits are ignored. If there are no digits or str is not NULL-terminated following the digits and trailing whitespace, ValueError will be raised.

Ver também

Python methods int.to_bytes() and int.from_bytes() to convert a PyLongObject to/from an array of bytes in base 256. You can call those from C using PyObject_CallMethod().

PyObject *PyLong_FromUnicodeObject(PyObject *u, int base)

Retorna valor: Nova referência.

Converte uma sequência de dígitos Unicode na string u para um valor inteiro Python.

Adicionado na versão 3.3.

PyObject *PyLong_FromVoidPtr(void *p)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um inteiro Python a partir do ponteiro p. O valor do ponteiro pode ser recuperado do valor resultante usando PyLong_AsVoidPtr().

PyObject *PyLong_FromNativeBytes(const void *buffer, size_t n_bytes, int flags)

Create a Python integer from the value contained in the first n_bytes of buffer, interpreted as a two’s-complement signed number.

flags are as for PyLong_AsNativeBytes(). Passing -1 will select the native endian that CPython was compiled with and assume that the most-significant bit is a sign bit. Passing Py_ASNATIVEBYTES_UNSIGNED_BUFFER will produce the same result as calling PyLong_FromUnsignedNativeBytes(). Other flags are ignored.

Adicionado na versão 3.13.

PyObject *PyLong_FromUnsignedNativeBytes(const void *buffer, size_t n_bytes, int flags)

Create a Python integer from the value contained in the first n_bytes of buffer, interpreted as an unsigned number.

flags are as for PyLong_AsNativeBytes(). Passing -1 will select the native endian that CPython was compiled with and assume that the most-significant bit is not a sign bit. Flags other than endian are ignored.

Adicionado na versão 3.13.

long PyLong_AsLong(PyObject *obj)

Parte da ABI Estável.

Return a C long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

Raise OverflowError if the value of obj is out of range for a long.

Retorna -1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

long PyLong_AS_LONG(PyObject *obj)

A soft deprecated alias. Exactly equivalent to the preferred PyLong_AsLong. In particular, it can fail with OverflowError or another exception.

Obsoleto desde a versão 3.14: The function is soft deprecated.

int PyLong_AsInt(PyObject *obj)

Parte da ABI Estável desde a versão 3.13.

Similar to PyLong_AsLong(), but store the result in a C int instead of a C long.

Adicionado na versão 3.13.

long PyLong_AsLongAndOverflow(PyObject *obj, int *overflow)

Parte da ABI Estável.

Return a C long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

If the value of obj is greater than LONG_MAX or less than LONG_MIN, set *overflow to 1 or -1, respectively, and return -1; otherwise, set *overflow to 0. If any other exception occurs set *overflow to 0 and return -1 as usual.

Retorna -1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

long long PyLong_AsLongLong(PyObject *obj)

Parte da ABI Estável.

Return a C long long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

Raise OverflowError if the value of obj is out of range for a long long.

Retorna -1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

long long PyLong_AsLongLongAndOverflow(PyObject *obj, int *overflow)

Parte da ABI Estável.

Return a C long long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

If the value of obj is greater than LLONG_MAX or less than LLONG_MIN, set *overflow to 1 or -1, respectively, and return -1; otherwise, set *overflow to 0. If any other exception occurs set *overflow to 0 and return -1 as usual.

Retorna -1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Adicionado na versão 3.2.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

Py_ssize_t PyLong_AsSsize_t(PyObject *pylong)

Parte da ABI Estável.

Retorna uma representação de Py_ssize_t C de pylong. pylong deve ser uma instância de PyLongObject.

Levanta OverflowError se o valor de pylong estiver fora do intervalo de um Py_ssize_t.

Retorna -1 no caso de erro. Use PyErr_Occurred() para desambiguar.

unsigned long PyLong_AsUnsignedLong(PyObject *pylong)

Parte da ABI Estável.

Return a C unsigned long representation of pylong. pylong must be an instance of PyLongObject.

Raise OverflowError if the value of pylong is out of range for a unsigned long.

Retorna (unsigned long)-1 no caso de erro. Use PyErr_Occurred() para desambiguar.

size_t PyLong_AsSize_t(PyObject *pylong)

Parte da ABI Estável.

Retorna uma representação de size_t C de pylong. pylong deve ser uma instância de PyLongObject.

Levanta OverflowError se o valor de pylong estiver fora do intervalo de um size_t.

Retorna (size)-1 no caso de erro. Use PyErr_Occurred() para desambiguar.

unsigned long long PyLong_AsUnsignedLongLong(PyObject *pylong)

Parte da ABI Estável.

Return a C unsigned long long representation of pylong. pylong must be an instance of PyLongObject.

Raise OverflowError if the value of pylong is out of range for an unsigned long long.

Retorna (unsigned long long)-1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.1: Um pylong negativo agora levanta OverflowError, não TypeError.

unsigned long PyLong_AsUnsignedLongMask(PyObject *obj)

Parte da ABI Estável.

Return a C unsigned long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

If the value of obj is out of range for an unsigned long, return the reduction of that value modulo ULONG_MAX + 1.

Retorna (unsigned long)-1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

unsigned long long PyLong_AsUnsignedLongLongMask(PyObject *obj)

Parte da ABI Estável.

Return a C unsigned long long representation of obj. If obj is not an instance of PyLongObject, first call its __index__() method (if present) to convert it to a PyLongObject.

If the value of obj is out of range for an unsigned long long, return the reduction of that value modulo ULLONG_MAX + 1.

Retorna (unsigned long long)-1 no caso de erro. Use PyErr_Occurred() para desambiguar.

Alterado na versão 3.8: Usa __index__(), se disponível.

Alterado na versão 3.10: This function will no longer use __int__().

double PyLong_AsDouble(PyObject *pylong)

Parte da ABI Estável.

Return a C double representation of pylong. pylong must be an instance of PyLongObject.

Raise OverflowError if the value of pylong is out of range for a double.

Retorna -1.0 no caso de erro. Use PyErr_Occurred() para desambiguar.

void *PyLong_AsVoidPtr(PyObject *pylong)

Parte da ABI Estável.

Convert a Python integer pylong to a C void pointer. If pylong cannot be converted, an OverflowError will be raised. This is only assured to produce a usable void pointer for values created with PyLong_FromVoidPtr().

Retorna NULL no caso de erro. Use PyErr_Occurred() para desambiguar.

Py_ssize_t PyLong_AsNativeBytes(PyObject *pylong, void *buffer, Py_ssize_t n_bytes, int flags)

Copy the Python integer value pylong to a native buffer of size n_bytes. The flags can be set to -1 to behave similarly to a C cast, or to values documented below to control the behavior.

Returns -1 with an exception raised on error. This may happen if pylong cannot be interpreted as an integer, or if pylong was negative and the Py_ASNATIVEBYTES_REJECT_NEGATIVE flag was set.

Otherwise, returns the number of bytes required to store the value. If this is equal to or less than n_bytes, the entire value was copied. All n_bytes of the buffer are written: large buffers are padded with zeroes.

If the returned value is greater than than n_bytes, the value was truncated: as many of the lowest bits of the value as could fit are written, and the higher bits are ignored. This matches the typical behavior of a C-style downcast.

Nota

Overflow is not considered an error. If the returned value is larger than n_bytes, most significant bits were discarded.

0 will never be returned.

Values are always copied as two’s-complement.

Usage example:

int32_t value;
Py_ssize_t bytes = PyLong_AsNativeBytes(pylong, &value, sizeof(value), -1);
if (bytes < 0) {
    // Failed. A Python exception was set with the reason.
    return NULL;
}
else if (bytes <= (Py_ssize_t)sizeof(value)) {
    // Success!
}
else {
    // Overflow occurred, but 'value' contains the truncated
    // lowest bits of pylong.
}

Passing zero to n_bytes will return the size of a buffer that would be large enough to hold the value. This may be larger than technically necessary, but not unreasonably so. If n_bytes=0, buffer may be NULL.

Nota

Passing n_bytes=0 to this function is not an accurate way to determine the bit length of the value.

To get at the entire Python value of an unknown size, the function can be called twice: first to determine the buffer size, then to fill it:

// Ask how much space we need.
Py_ssize_t expected = PyLong_AsNativeBytes(pylong, NULL, 0, -1);
if (expected < 0) {
    // Failed. A Python exception was set with the reason.
    return NULL;
}
assert(expected != 0);  // Impossible per the API definition.
uint8_t *bignum = malloc(expected);
if (!bignum) {
    PyErr_SetString(PyExc_MemoryError, "bignum malloc failed.");
    return NULL;
}
// Safely get the entire value.
Py_ssize_t bytes = PyLong_AsNativeBytes(pylong, bignum, expected, -1);
if (bytes < 0) {  // Exception has been set.
    free(bignum);
    return NULL;
}
else if (bytes > expected) {  // This should not be possible.
    PyErr_SetString(PyExc_RuntimeError,
        "Unexpected bignum truncation after a size check.");
    free(bignum);
    return NULL;
}
// The expected success given the above pre-check.
// ... use bignum ...
free(bignum);

flags is either -1 (Py_ASNATIVEBYTES_DEFAULTS) to select defaults that behave most like a C cast, or a combination of the other flags in the table below. Note that -1 cannot be combined with other flags.

Currently, -1 corresponds to Py_ASNATIVEBYTES_NATIVE_ENDIAN | Py_ASNATIVEBYTES_UNSIGNED_BUFFER.

Sinalizador

Valor

Py_ASNATIVEBYTES_DEFAULTS

-1

Py_ASNATIVEBYTES_BIG_ENDIAN

0

Py_ASNATIVEBYTES_LITTLE_ENDIAN

1

Py_ASNATIVEBYTES_NATIVE_ENDIAN

3

Py_ASNATIVEBYTES_UNSIGNED_BUFFER

4

Py_ASNATIVEBYTES_REJECT_NEGATIVE

8

Py_ASNATIVEBYTES_ALLOW_INDEX

16

Specifying Py_ASNATIVEBYTES_NATIVE_ENDIAN will override any other endian flags. Passing 2 is reserved.

By default, sufficient buffer will be requested to include a sign bit. For example, when converting 128 with n_bytes=1, the function will return 2 (or more) in order to store a zero sign bit.

If Py_ASNATIVEBYTES_UNSIGNED_BUFFER is specified, a zero sign bit will be omitted from size calculations. This allows, for example, 128 to fit in a single-byte buffer. If the destination buffer is later treated as signed, a positive input value may become negative. Note that the flag does not affect handling of negative values: for those, space for a sign bit is always requested.

Specifying Py_ASNATIVEBYTES_REJECT_NEGATIVE causes an exception to be set if pylong is negative. Without this flag, negative values will be copied provided there is enough space for at least one sign bit, regardless of whether Py_ASNATIVEBYTES_UNSIGNED_BUFFER was specified.

If Py_ASNATIVEBYTES_ALLOW_INDEX is specified and a non-integer value is passed, its __index__() method will be called first. This may result in Python code executing and other threads being allowed to run, which could cause changes to other objects or values in use. When flags is -1, this option is not set, and non-integer values will raise TypeError.

Nota

With the default flags (-1, or UNSIGNED_BUFFER without REJECT_NEGATIVE), multiple Python integers can map to a single value without overflow. For example, both 255 and -1 fit a single-byte buffer and set all its bits. This matches typical C cast behavior.

Adicionado na versão 3.13.

PyObject *PyLong_GetInfo(void)

Parte da ABI Estável.

On success, return a read only named tuple, that holds information about Python’s internal representation of integers. See sys.int_info for description of individual fields.

Em caso de falha, retorna NULL com uma exceção definida.

Adicionado na versão 3.1.

int PyUnstable_Long_IsCompact(const PyLongObject *op)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Return 1 if op is compact, 0 otherwise.

This function makes it possible for performance-critical code to implement a “fast path” for small integers. For compact values use PyUnstable_Long_CompactValue(); for others fall back to a PyLong_As* function or PyLong_AsNativeBytes().

The speedup is expected to be negligible for most users.

Exactly what values are considered compact is an implementation detail and is subject to change.

Adicionado na versão 3.12.

Py_ssize_t PyUnstable_Long_CompactValue(const PyLongObject *op)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

If op is compact, as determined by PyUnstable_Long_IsCompact(), return its value.

Otherwise, the return value is undefined.

Adicionado na versão 3.12.

Objetos Booleanos

Os booleanos no Python são implementados como um subclasse de inteiros. Há apenas dois booleanos, Py_False e Py_True. Assim sendo, as funções de criação e a exclusão normais não se aplicam aos booleanos. No entanto, as seguintes macros estão disponíveis.

PyTypeObject PyBool_Type

Parte da ABI Estável.

Este instância de PyTypeObject representa o tipo booleano em Python; é o mesmo objeto que bool na camada Python.

int PyBool_Check(PyObject *o)

Retorna verdadeiro se o for do tipo PyBool_Type. Esta função sempre tem sucesso.

PyObject *Py_False

O objeto Python False. Este objeto não tem métodos e é imortal.

Alterado na versão 3.12: Py_False é imortal.

PyObject *Py_True

O objeto Python True. Este objeto não tem métodos e é imortal.

Alterado na versão 3.12: Py_True é imortal.

Py_RETURN_FALSE

Retorna Py_False de uma função.

Py_RETURN_TRUE

Retorna Py_True de uma função.

PyObject *PyBool_FromLong(long v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna Py_True ou Py_False, dependendo do valor verdade de v.

Objetos de ponto flutuante

type PyFloatObject

Este subtipo de PyObject representa um objeto de ponto flutuante do Python.

PyTypeObject PyFloat_Type

Parte da ABI Estável.

Esta instância do PyTypeObject representa o tipo de ponto flutuante do Python. Este é o mesmo objeto float na camada do Python.

int PyFloat_Check(PyObject *p)

Retorna true se seu argumento é um PyFloatObject ou um subtipo de PyFloatObject. Esta função sempre tem sucesso.

int PyFloat_CheckExact(PyObject *p)

Retorna true se seu argumento é um PyFloatObject, mas um subtipo de PyFloatObject. Esta função sempre tem sucesso.

PyObject *PyFloat_FromString(PyObject *str)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um objeto PyFloatObject baseado em uma string de valor “str” ou NULL em falha.

PyObject *PyFloat_FromDouble(double v)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um objeto PyFloatObject de v ou NULL em falha.

double PyFloat_AsDouble(PyObject *pyfloat)

Parte da ABI Estável.

Retorna uma representação C double do conteúdo de pyfloat. Se pyfloat não é um objeto de ponto flutuante do Python, mas possui o método __float__(), esse método será chamado primeiro para converter pyfloat em um ponto flutuante. Se __float__() não estiver definido, será usado __index__(). Este método retorna -1.0 em caso de falha, portanto, deve-se chamar PyErr_Occurred() para verificar se há erros.

Alterado na versão 3.8: Usa __index__(), se disponível.

double PyFloat_AS_DOUBLE(PyObject *pyfloat)

Retorna uma representação C double do conteúdo de pyfloat, mas sem verificação de erro.

PyObject *PyFloat_GetInfo(void)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma instância de structseq que contém informações sobre a precisão, os valores mínimo e máximo de um ponto flutuante. É um invólucro fino em torno do arquivo de cabeçalho float.h.

double PyFloat_GetMax()

Parte da ABI Estável.

Retorna o ponto flutuante finito máximo representável DBL_MAX como double do C.

double PyFloat_GetMin()

Parte da ABI Estável.

Retorna o ponto flutuante positivo mínimo normalizado DBL_MIN como double do C.

Pack and Unpack functions

The pack and unpack functions provide an efficient platform-independent way to store floating-point values as byte strings. The Pack routines produce a bytes string from a C double, and the Unpack routines produce a C double from such a bytes string. The suffix (2, 4 or 8) specifies the number of bytes in the bytes string.

On platforms that appear to use IEEE 754 formats these functions work by copying bits. On other platforms, the 2-byte format is identical to the IEEE 754 binary16 half-precision format, the 4-byte format (32-bit) is identical to the IEEE 754 binary32 single precision format, and the 8-byte format to the IEEE 754 binary64 double precision format, although the packing of INFs and NaNs (if such things exist on the platform) isn’t handled correctly, and attempting to unpack a bytes string containing an IEEE INF or NaN will raise an exception.

On non-IEEE platforms with more precision, or larger dynamic range, than IEEE 754 supports, not all values can be packed; on non-IEEE platforms with less precision, or smaller dynamic range, not all values can be unpacked. What happens in such cases is partly accidental (alas).

Adicionado na versão 3.11.

Pack functions

The pack routines write 2, 4 or 8 bytes, starting at p. le is an int argument, non-zero if you want the bytes string in little-endian format (exponent last, at p+1, p+3, or p+6 p+7), zero if you want big-endian format (exponent first, at p). The PY_BIG_ENDIAN constant can be used to use the native endian: it is equal to 1 on big endian processor, or 0 on little endian processor.

Return value: 0 if all is OK, -1 if error (and an exception is set, most likely OverflowError).

There are two problems on non-IEEE platforms:

What this does is undefined if x is a NaN or infinity.

-0.0 and +0.0 produce the same bytes string.

int PyFloat_Pack2(double x, unsigned char *p, int le)

Pack a C double as the IEEE 754 binary16 half-precision format.

int PyFloat_Pack4(double x, unsigned char *p, int le)

Pack a C double as the IEEE 754 binary32 single precision format.

int PyFloat_Pack8(double x, unsigned char *p, int le)

Pack a C double as the IEEE 754 binary64 double precision format.

Unpack functions

The unpack routines read 2, 4 or 8 bytes, starting at p. le is an int argument, non-zero if the bytes string is in little-endian format (exponent last, at p+1, p+3 or p+6 and p+7), zero if big-endian (exponent first, at p). The PY_BIG_ENDIAN constant can be used to use the native endian: it is equal to 1 on big endian processor, or 0 on little endian processor.

Return value: The unpacked double. On error, this is -1.0 and PyErr_Occurred() is true (and an exception is set, most likely OverflowError).

Note that on a non-IEEE platform this will refuse to unpack a bytes string that represents a NaN or infinity.

double PyFloat_Unpack2(const unsigned char *p, int le)

Unpack the IEEE 754 binary16 half-precision format as a C double.

double PyFloat_Unpack4(const unsigned char *p, int le)

Unpack the IEEE 754 binary32 single precision format as a C double.

double PyFloat_Unpack8(const unsigned char *p, int le)

Unpack the IEEE 754 binary64 double precision format as a C double.

Objetos números complexos

Os objetos números complexos do Python são implementados como dois tipos distintos quando visualizados na API C: um é o objeto Python exposto aos programas Python e o outro é uma estrutura C que representa o valor real do número complexo. A API fornece funções para trabalhar com ambos.

Números complexos como estruturas C.

Observe que as funções que aceitam essas estruturas como parâmetros e as retornam como resultados o fazem por valor em vez de desreferenciá-las por meio de ponteiros. Isso é consistente em toda a API.

type Py_complex

A estrutura C que corresponde à parte do valor de um objeto de número complexo Python. A maioria das funções para lidar com objetos de números complexos usa estruturas desse tipo como valores de entrada ou saída, conforme apropriado.

double real

double imag

A estrutura é definida como:

typedef struct {
    double real;
    double imag;
} Py_complex;

Py_complex _Py_c_sum(Py_complex left, Py_complex right)

Retorna a soma de dois números complexos, utilizando a representação C Py_complex.

Py_complex _Py_c_diff(Py_complex left, Py_complex right)

Retorna a diferença entre dois números complexos, utilizando a representação C Py_complex.

Py_complex _Py_c_neg(Py_complex num)

Retorna a negação do número complexo num, utilizando a representação C Py_complex.

Py_complex _Py_c_prod(Py_complex left, Py_complex right)

Retorna o produto de dois números complexos, utilizando a representação C Py_complex.

Py_complex _Py_c_quot(Py_complex dividend, Py_complex divisor)

Retorna o quociente de dois números complexos, utilizando a representação C Py_complex.

Se divisor é nulo, este método retorna zero e define errno para EDOM.

Py_complex _Py_c_pow(Py_complex num, Py_complex exp)

Retorna a exponenciação de num por exp, utilizando a representação C Py_complex

Se num for nulo e exp não for um número real positivo, este método retorna zero e define errno para EDOM.

Números complexos como objetos Python

type PyComplexObject

Este subtipo de PyObject representa um objeto Python de número complexo.

PyTypeObject PyComplex_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo de número complexo Python. É o mesmo objeto que complex na camada Python.

int PyComplex_Check(PyObject *p)

Retorna true se seu argumento é um PyComplexObject ou um subtipo de PyComplexObject. Esta função sempre tem sucesso.

int PyComplex_CheckExact(PyObject *p)

Retorna true se seu argumento é um PyComplexObject, mas não um subtipo de PyComplexObject. Esta função sempre tem sucesso.

PyObject *PyComplex_FromCComplex(Py_complex v)

Retorna valor: Nova referência.

Cria um novo objeto de número complexo Python a partir de um valor C Py_complex. Retorna NULL com uma exceção definida ao ocorrer um erro.

PyObject *PyComplex_FromDoubles(double real, double imag)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto PyComplexObject de real e imag. Retorna NULL com uma exceção definida ao ocorrer um erro.

double PyComplex_RealAsDouble(PyObject *op)

Parte da ABI Estável.

Retorna a parte real de op como um double C.

Se op não é um objeto de número complexo Python, mas tem um método __complex__(), este método será primeiro chamado para converter op em um objeto de número complexo Python. Se __complex__() não estiver definido, ele volta a chamar PyFloat_AsDouble() e retorna seu resultado.

Em caso de falha, este método retorna -1.0 com uma exceção definida, então deve-se chamar PyErr_Occurred() para verificar se há erros.

Alterado na versão 3.13: Usa __complex__(), se disponível.

double PyComplex_ImagAsDouble(PyObject *op)

Parte da ABI Estável.

Retorna a parte imaginária de op como um double C.

Se op não é um objeto de número complexo Python, mas tem um método __complex__(), este método será primeiro chamado para converter op em um objeto de número complexo Python. Se __complex__() não estiver definido, ele volta a chamar PyFloat_AsDouble() e retorna 0.0 em caso de sucesso.

Em caso de falha, este método retorna -1.0 com uma exceção definida, então deve-se chamar PyErr_Occurred() para verificar se há erros.

Alterado na versão 3.13: Usa __complex__(), se disponível.

Py_complex PyComplex_AsCComplex(PyObject *op)

Retorna o valor Py_complex do número complexo op.

Se op não é um objeto de número complexo Python, mas tem um método __complex__(), este método será primeiro chamado para converter op em um objeto de número complexo Python. Se __complex__() não for definido, então ele recorre a __float__(). Se __float__() não estiver definido, então ele volta para __index__().

Em caso de falha, este método retorna Py_complex com real definido para -1.0 e com uma exceção definida, então deve-se chamar PyErr_Occurred() para verificar se há erros.

Alterado na versão 3.8: Usa __index__(), se disponível.

Objetos Bytes

Estas funções levantam TypeError quando se espera um parâmetro bytes e são chamados com um parâmetro que não é bytes.

type PyBytesObject

Esta é uma instância de PyObject representando o objeto bytes do Python.

PyTypeObject PyBytes_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo de bytes Python; é o mesmo objeto que bytes na camada de Python.

int PyBytes_Check(PyObject *o)

Retorna verdadeiro se o objeto o for um objeto bytes ou se for uma instância de um subtipo do tipo bytes. Esta função sempre tem sucesso.

int PyBytes_CheckExact(PyObject *o)

Retorna verdadeiro se o objeto o for um objeto bytes, mas não uma instância de um subtipo do tipo bytes. Esta função sempre tem sucesso.

PyObject *PyBytes_FromString(const char *v)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto de bytes com uma cópia da string v como valor em caso de sucesso e NULL em caso de falha. O parâmetro v não deve ser NULL e isso não será verificado.

PyObject *PyBytes_FromStringAndSize(const char *v, Py_ssize_t len)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto de bytes com uma cópia da string v como valor e comprimento len em caso de sucesso e NULL em caso de falha. Se v for NULL, o conteúdo do objeto bytes não será inicializado.

PyObject *PyBytes_FromFormat(const char *format, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Leva uma string tipo printf() do C format e um número variável de argumentos, calcula o tamanho do objeto bytes do Python resultante e retorna um objeto bytes com os valores formatados nela. Os argumentos da variável devem ser tipos C e devem corresponder exatamente aos caracteres de formato na string format. Os seguintes formatos de caracteres são permitidos:

Caracteres Formatados

Tipo

Comentário

%%

n/d

O caractere literal %.

%c

int

Um único byte, representado como um C int.

%d

int

Equivalente a printf("%d"). [1]

%u

unsigned int

Equivalente a printf("%u"). [1]

%ld

long

Equivalente a printf("%ld"). [1]

%lu

unsigned long

Equivalente a printf("%lu"). [1]

%zd

Py_ssize_t

Equivalente a printf("%zd"). [1]

%zu

size_t

Equivalente a printf("%zu"). [1]

%i

int

Equivalente a printf("%i"). [1]

%x

int

Equivalente a printf("%x"). [1]

%s

const char*

Uma matriz de caracteres C com terminação nula.

%p

const void*

A representação hexadecimal de um ponteiro C. Principalmente equivalente a printf("%p") exceto que é garantido que comece com o literal 0x independentemente do que o printf da plataforma ceda.

Um caractere de formato não reconhecido faz com que todo o resto da string de formato seja copiado como é para o objeto resultante e todos os argumentos extras sejam descartados.

[1] (1,2,3,4,5,6,7,8)

Para especificadores de número inteiro (d, u, ld, lu, zd, zu, i, x): o sinalizador de conversão 0 tem efeito mesmo quando uma precisão é fornecida.

PyObject *PyBytes_FromFormatV(const char *format, va_list vargs)

Retorna valor: Nova referência. Parte da ABI Estável.

Idêntico a PyBytes_FromFormat() exceto que é preciso exatamente dois argumentos.

PyObject *PyBytes_FromObject(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna a representação de bytes do objeto o que implementa o protocolo de buffer.

Py_ssize_t PyBytes_Size(PyObject *o)

Parte da ABI Estável.

Retorna o comprimento dos bytes em objeto bytes o.

Py_ssize_t PyBytes_GET_SIZE(PyObject *o)

Similar a PyBytes_Size(), mas sem verificação de erro.

char *PyBytes_AsString(PyObject *o)

Parte da ABI Estável.

Retorna um ponteiro para o conteúdo de o. O ponteiro se refere ao buffer interno de o, que consiste em len(o) + 1 bytes. O último byte no buffer é sempre nulo, independentemente de haver outros bytes nulos. Os dados não devem ser modificados de forma alguma, a menos que o objeto tenha sido criado usando PyBytes_FromStringAndSize(NULL, size). Não deve ser desalocado. Se o não é um objeto de bytes, PyBytes_AsString() retorna NULL e levanta TypeError.

char *PyBytes_AS_STRING(PyObject *string)

Similar a PyBytes_AsString(), mas sem verificação de erro.

int PyBytes_AsStringAndSize(PyObject *obj, char **buffer, Py_ssize_t *length)

Parte da ABI Estável.

Retorna os conteúdos terminados nulos do objeto obj através das variáveis de saída buffer e length. Retorna 0 em caso de sucesso.

Se length for NULL, o objeto bytes não poderá conter bytes nulos incorporados; se isso acontecer, a função retornará -1 e a ValueError será levantado.

O buffer refere-se a um buffer interno de obj, que inclui um byte nulo adicional no final (não contado em length). Os dados não devem ser modificados de forma alguma, a menos que o objeto tenha sido criado apenas usando PyBytes_FromStringAndSize(NULL, size). Não deve ser desalinhado. Se obj não é um objeto bytes, PyBytes_AsStringAndSize() retorna -1 e levanta TypeError.

Alterado na versão 3.5: Anteriormente TypeError era levantado quando os bytes nulos incorporados eram encontrados no objeto bytes.

void PyBytes_Concat(PyObject **bytes, PyObject *newpart)

Parte da ABI Estável.

Cria um novo objeto de bytes em *bytes contendo o conteúdo de newpart anexado a bytes; o chamador será o proprietário da nova referência. A referência ao valor antigo de bytes será roubada. Se o novo objeto não puder ser criado, a antiga referência a bytes ainda será descartada e o valor de *bytes será definido como NULL; a exceção apropriada será definida.

void PyBytes_ConcatAndDel(PyObject **bytes, PyObject *newpart)

Parte da ABI Estável.

“Crie um novo objeto bytes em *bytes contendo o conteúdo de newpart anexado a bytes. Esta versão libera a strong reference (referência forte) para newpart (ou seja, decrementa a contagem de referências a ele).”

int _PyBytes_Resize(PyObject **bytes, Py_ssize_t newsize)

Redimensiona um objeto de bytes. newsize será o novo tamanho do objeto bytes. Você pode pensar nisso como se estivesse criando um novo objeto de bytes e destruindo o antigo, só que de forma mais eficiente. Passe o endereço de um objeto de bytes existente como um lvalue (pode ser gravado) e o novo tamanho desejado. Em caso de sucesso, *bytes mantém o objeto de bytes redimensionados e 0 é retornado; o endereço em *bytes pode diferir do seu valor de entrada. Se a realocação falhar, o objeto de bytes originais em *bytes é desalocado, *bytes é definido como NULL, MemoryError é definido e -1 é retornado.

Objetos byte array

type PyByteArrayObject

Esse subtipo de PyObject representa um objeto Python bytearray.

PyTypeObject PyByteArray_Type

Parte da ABI Estável.

Essa instância de PyTypeObject representa um tipo Python bytearray; é o mesmo objeto que o bytearray na camada Python.

Macros para verificação de tipo

int PyByteArray_Check(PyObject *o)

Retorna verdadeiro se o objeto o for um objeto bytearray ou se for uma instância de um subtipo do tipo bytearray. Esta função sempre tem sucesso.

int PyByteArray_CheckExact(PyObject *o)

Retorna verdadeiro se o objeto o for um objeto bytearray, mas não uma instância de um subtipo do tipo bytearray. Esta função sempre tem sucesso.

Funções diretas da API

PyObject *PyByteArray_FromObject(PyObject *o)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto bytearray, o, que implementa o protocolo de buffer.

Em caso de falha, retorna NULL com uma exceção definida.

PyObject *PyByteArray_FromStringAndSize(const char *string, Py_ssize_t len)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um novo objeto bytearray a partir de string e seu comprimento, len.

Em caso de falha, retorna NULL com uma exceção definida.

PyObject *PyByteArray_Concat(PyObject *a, PyObject *b)

Retorna valor: Nova referência. Parte da ABI Estável.

Concatena os bytearrays a e b e retorna um novo bytearray com o resultado.

Em caso de falha, retorna NULL com uma exceção definida.

Py_ssize_t PyByteArray_Size(PyObject *bytearray)

Parte da ABI Estável.

Retorna o tamanho de bytearray após verificar se há um ponteiro NULL.

char *PyByteArray_AsString(PyObject *bytearray)

Parte da ABI Estável.

Retorna o conteúdo de bytearray como uma matriz de caracteres após verificar um ponteiro NULL. O array retornado sempre tem um byte nulo extra acrescentado.

int PyByteArray_Resize(PyObject *bytearray, Py_ssize_t len)

Parte da ABI Estável.

Redimensiona o buffer interno de bytearray para o tamanho len.

Macros

Estas macros trocam segurança por velocidade e não verificam os ponteiros.

char *PyByteArray_AS_STRING(PyObject *bytearray)

Similar a PyByteArray_AsString(), mas sem verificação de erro.

Py_ssize_t PyByteArray_GET_SIZE(PyObject *bytearray)

Similar a PyByteArray_Size(), mas sem verificação de erro.

Objetos Unicode e Codecs

Unicode Objects

Since the implementation of PEP 393 [https://peps.python.org/pep-0393/] in Python 3.3, Unicode objects internally use a variety of representations, in order to allow handling the complete range of Unicode characters while staying memory efficient. There are special cases for strings where all code points are below 128, 256, or 65536; otherwise, code points must be below 1114112 (which is the full Unicode range).

UTF-8 representation is created on demand and cached in the Unicode object.

Nota

The Py_UNICODE representation has been removed since Python 3.12 with deprecated APIs. See PEP 623 [https://peps.python.org/pep-0623/] for more information.

Unicode Type

These are the basic Unicode object types used for the Unicode implementation in Python:

type Py_UCS4

type Py_UCS2

type Py_UCS1

Parte da ABI Estável.

These types are typedefs for unsigned integer types wide enough to contain characters of 32 bits, 16 bits and 8 bits, respectively. When dealing with single Unicode characters, use Py_UCS4.

Adicionado na versão 3.3.

type Py_UNICODE

This is a typedef of wchar_t, which is a 16-bit type or 32-bit type depending on the platform.

Alterado na versão 3.3: In previous versions, this was a 16-bit type or a 32-bit type depending on whether you selected a “narrow” or “wide” Unicode version of Python at build time.

Deprecated since version 3.13, will be removed in version 3.15.

type PyASCIIObject

type PyCompactUnicodeObject

type PyUnicodeObject

These subtypes of PyObject represent a Python Unicode object. In almost all cases, they shouldn’t be used directly, since all API functions that deal with Unicode objects take and return PyObject pointers.

Adicionado na versão 3.3.

PyTypeObject PyUnicode_Type

Parte da ABI Estável.

This instance of PyTypeObject represents the Python Unicode type. It is exposed to Python code as str.

The following APIs are C macros and static inlined functions for fast checks and access to internal read-only data of Unicode objects:

int PyUnicode_Check(PyObject *obj)

Return true if the object obj is a Unicode object or an instance of a Unicode subtype. This function always succeeds.

int PyUnicode_CheckExact(PyObject *obj)

Return true if the object obj is a Unicode object, but not an instance of a subtype. This function always succeeds.

int PyUnicode_READY(PyObject *unicode)

Returns 0. This API is kept only for backward compatibility.

Adicionado na versão 3.3.

Obsoleto desde a versão 3.10: This API does nothing since Python 3.12.

Py_ssize_t PyUnicode_GET_LENGTH(PyObject *unicode)

Return the length of the Unicode string, in code points. unicode has to be a Unicode object in the “canonical” representation (not checked).

Adicionado na versão 3.3.

Py_UCS1 *PyUnicode_1BYTE_DATA(PyObject *unicode)

Py_UCS2 *PyUnicode_2BYTE_DATA(PyObject *unicode)

Py_UCS4 *PyUnicode_4BYTE_DATA(PyObject *unicode)

Return a pointer to the canonical representation cast to UCS1, UCS2 or UCS4 integer types for direct character access. No checks are performed if the canonical representation has the correct character size; use PyUnicode_KIND() to select the right function.

Adicionado na versão 3.3.

PyUnicode_1BYTE_KIND

PyUnicode_2BYTE_KIND

PyUnicode_4BYTE_KIND

Return values of the PyUnicode_KIND() macro.

Adicionado na versão 3.3.

Alterado na versão 3.12: PyUnicode_WCHAR_KIND has been removed.

int PyUnicode_KIND(PyObject *unicode)

Return one of the PyUnicode kind constants (see above) that indicate how many bytes per character this Unicode object uses to store its data. unicode has to be a Unicode object in the “canonical” representation (not checked).

Adicionado na versão 3.3.

void *PyUnicode_DATA(PyObject *unicode)

Return a void pointer to the raw Unicode buffer. unicode has to be a Unicode object in the “canonical” representation (not checked).

Adicionado na versão 3.3.

void PyUnicode_WRITE(int kind, void *data, Py_ssize_t index, Py_UCS4 value)

Write into a canonical representation data (as obtained with PyUnicode_DATA()). This function performs no sanity checks, and is intended for usage in loops. The caller should cache the kind value and data pointer as obtained from other calls. index is the index in the string (starts at 0) and value is the new code point value which should be written to that location.

Adicionado na versão 3.3.

Py_UCS4 PyUnicode_READ(int kind, void *data, Py_ssize_t index)

Read a code point from a canonical representation data (as obtained with PyUnicode_DATA()). No checks or ready calls are performed.

Adicionado na versão 3.3.

Py_UCS4 PyUnicode_READ_CHAR(PyObject *unicode, Py_ssize_t index)

Read a character from a Unicode object unicode, which must be in the “canonical” representation. This is less efficient than PyUnicode_READ() if you do multiple consecutive reads.

Adicionado na versão 3.3.

Py_UCS4 PyUnicode_MAX_CHAR_VALUE(PyObject *unicode)

Return the maximum code point that is suitable for creating another string based on unicode, which must be in the “canonical” representation. This is always an approximation but more efficient than iterating over the string.

Adicionado na versão 3.3.

int PyUnicode_IsIdentifier(PyObject *unicode)

Parte da ABI Estável.

Return 1 if the string is a valid identifier according to the language definition, section Identificadores e palavras-chave. Return 0 otherwise.

Alterado na versão 3.9: The function does not call Py_FatalError() anymore if the string is not ready.

Unicode Character Properties

Unicode provides many different character properties. The most often needed ones are available through these macros which are mapped to C functions depending on the Python configuration.

int Py_UNICODE_ISSPACE(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a whitespace character.

int Py_UNICODE_ISLOWER(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a lowercase character.

int Py_UNICODE_ISUPPER(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is an uppercase character.

int Py_UNICODE_ISTITLE(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a titlecase character.

int Py_UNICODE_ISLINEBREAK(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a linebreak character.

int Py_UNICODE_ISDECIMAL(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a decimal character.

int Py_UNICODE_ISDIGIT(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a digit character.

int Py_UNICODE_ISNUMERIC(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a numeric character.

int Py_UNICODE_ISALPHA(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is an alphabetic character.

int Py_UNICODE_ISALNUM(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is an alphanumeric character.

int Py_UNICODE_ISPRINTABLE(Py_UCS4 ch)

Return 1 or 0 depending on whether ch is a printable character. Nonprintable characters are those characters defined in the Unicode character database as “Other” or “Separator”, excepting the ASCII space (0x20) which is considered printable. (Note that printable characters in this context are those which should not be escaped when repr() is invoked on a string. It has no bearing on the handling of strings written to sys.stdout or sys.stderr.)

These APIs can be used for fast direct character conversions:

Py_UCS4 Py_UNICODE_TOLOWER(Py_UCS4 ch)

Return the character ch converted to lower case.

Py_UCS4 Py_UNICODE_TOUPPER(Py_UCS4 ch)

Return the character ch converted to upper case.

Py_UCS4 Py_UNICODE_TOTITLE(Py_UCS4 ch)

Return the character ch converted to title case.

int Py_UNICODE_TODECIMAL(Py_UCS4 ch)

Return the character ch converted to a decimal positive integer. Return -1 if this is not possible. This function does not raise exceptions.

int Py_UNICODE_TODIGIT(Py_UCS4 ch)

Return the character ch converted to a single digit integer. Return -1 if this is not possible. This function does not raise exceptions.

double Py_UNICODE_TONUMERIC(Py_UCS4 ch)

Return the character ch converted to a double. Return -1.0 if this is not possible. This function does not raise exceptions.

These APIs can be used to work with surrogates:

int Py_UNICODE_IS_SURROGATE(Py_UCS4 ch)

Check if ch is a surrogate (0xD800 <= ch <= 0xDFFF).

int Py_UNICODE_IS_HIGH_SURROGATE(Py_UCS4 ch)

Check if ch is a high surrogate (0xD800 <= ch <= 0xDBFF).

int Py_UNICODE_IS_LOW_SURROGATE(Py_UCS4 ch)

Check if ch is a low surrogate (0xDC00 <= ch <= 0xDFFF).

Py_UCS4 Py_UNICODE_JOIN_SURROGATES(Py_UCS4 high, Py_UCS4 low)

Join two surrogate code points and return a single Py_UCS4 value. high and low are respectively the leading and trailing surrogates in a surrogate pair. high must be in the range [0xD800; 0xDBFF] and low must be in the range [0xDC00; 0xDFFF].

Creating and accessing Unicode strings

To create Unicode objects and access their basic sequence properties, use these APIs:

PyObject *PyUnicode_New(Py_ssize_t size, Py_UCS4 maxchar)

Retorna valor: Nova referência.

Create a new Unicode object. maxchar should be the true maximum code point to be placed in the string. As an approximation, it can be rounded up to the nearest value in the sequence 127, 255, 65535, 1114111.

This is the recommended way to allocate a new Unicode object. Objects created using this function are not resizable.

On error, set an exception and return NULL.

Adicionado na versão 3.3.

PyObject *PyUnicode_FromKindAndData(int kind, const void *buffer, Py_ssize_t size)

Retorna valor: Nova referência.

Cria um novo objeto Unicode com o tipo type fornecido (os valores possíveis são PyUnicode_1BYTE_KIND etc., conforme retornado por PyUnicode_KIND()). O buffer deve apontar para um array de unidades com size de 1, 2 ou 4 bytes por caractere, conforme fornecido pelo tipo.

If necessary, the input buffer is copied and transformed into the canonical representation. For example, if the buffer is a UCS4 string (PyUnicode_4BYTE_KIND) and it consists only of codepoints in the UCS1 range, it will be transformed into UCS1 (PyUnicode_1BYTE_KIND).

Adicionado na versão 3.3.

PyObject *PyUnicode_FromStringAndSize(const char *str, Py_ssize_t size)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object from the char buffer str. The bytes will be interpreted as being UTF-8 encoded. The buffer is copied into the new object. The return value might be a shared object, i.e. modification of the data is not allowed.

This function raises SystemError when:

size < 0,

str is NULL and size > 0

Alterado na versão 3.12: str == NULL with size > 0 is not allowed anymore.

PyObject *PyUnicode_FromString(const char *str)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object from a UTF-8 encoded null-terminated char buffer str.

PyObject *PyUnicode_FromFormat(const char *format, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Take a C printf()-style format string and a variable number of arguments, calculate the size of the resulting Python Unicode string and return a string with the values formatted into it. The variable arguments must be C types and must correspond exactly to the format characters in the format ASCII-encoded string.

Um especificador de conversão contém dois ou mais caracteres e tem os seguintes componentes, que devem aparecer nesta ordem:

O caractere '%', que determina o início do especificador.

Flags de conversão (opcional), que afetam o resultado de alguns tipos de conversão.

Minimum field width (optional). If specified as an '*' (asterisk), the actual width is given in the next argument, which must be of type int, and the object to convert comes after the minimum field width and optional precision.

Precision (optional), given as a '.' (dot) followed by the precision. If specified as '*' (an asterisk), the actual precision is given in the next argument, which must be of type int, and the value to convert comes after the precision.

Modificador de Comprimento(opcional).

Tipos de Conversão

Os caracteres flags de conversão são:

Sinalizador

Significado

0

A conversão será preenchida por zeros para valores numéricos.

-

The converted value is left adjusted (overrides the 0 flag if both are given).

The length modifiers for following integer conversions (d, i, o, u, x, or X) specify the type of the argument (int by default):

Modifier

Tipos

l

long or unsigned long

ll

long long or unsigned long long

j

intmax_t or uintmax_t

z

size_t or ssize_t

t

ptrdiff_t

The length modifier l for following conversions s or V specify that the type of the argument is const wchar_t*.

The conversion specifiers are:

Conversion Specifier

Tipo

Comentário

%

n/d

The literal % character.

d, i

Specified by the length modifier

The decimal representation of a signed C integer.

u

Specified by the length modifier

The decimal representation of an unsigned C integer.

o

Specified by the length modifier

The octal representation of an unsigned C integer.

x

Specified by the length modifier

The hexadecimal representation of an unsigned C integer (lowercase).

X

Specified by the length modifier

The hexadecimal representation of an unsigned C integer (uppercase).

c

int

A single character.

s

const char* or const wchar_t*

Uma matriz de caracteres C com terminação nula.

p

const void*

The hex representation of a C pointer. Mostly equivalent to printf("%p") except that it is guaranteed to start with the literal 0x regardless of what the platform’s printf yields.

A

PyObject*

The result of calling ascii().

U

PyObject*

A Unicode object.

V

PyObject*, const char* or const wchar_t*

A Unicode object (which may be NULL) and a null-terminated C character array as a second parameter (which will be used, if the first parameter is NULL).

S

PyObject*

The result of calling PyObject_Str().

R

PyObject*

The result of calling PyObject_Repr().

T

PyObject*

Get the fully qualified name of an object type; call PyType_GetFullyQualifiedName().

#T

PyObject*

Similar to T format, but use a colon (:) as separator between the module name and the qualified name.

N

PyTypeObject*

Get the fully qualified name of a type; call PyType_GetFullyQualifiedName().

#N

PyTypeObject*

Similar to N format, but use a colon (:) as separator between the module name and the qualified name.

Nota

The width formatter unit is number of characters rather than bytes. The precision formatter unit is number of bytes or wchar_t items (if the length modifier l is used) for "%s" and "%V" (if the PyObject* argument is NULL), and a number of characters for "%A", "%U", "%S", "%R" and "%V" (if the PyObject* argument is not NULL).

Nota

Unlike to C printf() the 0 flag has effect even when a precision is given for integer conversions (d, i, u, o, x, or X).

Alterado na versão 3.2: Suporte adicionado para "%lld" e "%llu".

Alterado na versão 3.3: Support for "%li", "%lli" and "%zi" added.

Alterado na versão 3.4: Support width and precision formatter for "%s", "%A", "%U", "%V", "%S", "%R" added.

Alterado na versão 3.12: Support for conversion specifiers o and X. Support for length modifiers j and t. Length modifiers are now applied to all integer conversions. Length modifier l is now applied to conversion specifiers s and V. Support for variable width and precision *. Support for flag -.

An unrecognized format character now sets a SystemError. In previous versions it caused all the rest of the format string to be copied as-is to the result string, and any extra arguments discarded.

Alterado na versão 3.13: Support for %T, %#T, %N and %#N formats added.

PyObject *PyUnicode_FromFormatV(const char *format, va_list vargs)

Retorna valor: Nova referência. Parte da ABI Estável.

Identical to PyUnicode_FromFormat() except that it takes exactly two arguments.

PyObject *PyUnicode_FromObject(PyObject *obj)

Retorna valor: Nova referência. Parte da ABI Estável.

Copy an instance of a Unicode subtype to a new true Unicode object if necessary. If obj is already a true Unicode object (not a subtype), return a new strong reference to the object.

Objects other than Unicode or its subtypes will cause a TypeError.

PyObject *PyUnicode_FromEncodedObject(PyObject *obj, const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Decode an encoded object obj to a Unicode object.

bytes, bytearray and other bytes-like objects are decoded according to the given encoding and using the error handling defined by errors. Both can be NULL to have the interface use the default values (see Built-in Codecs for details).

All other objects, including Unicode objects, cause a TypeError to be set.

The API returns NULL if there was an error. The caller is responsible for decref’ing the returned objects.

Py_ssize_t PyUnicode_GetLength(PyObject *unicode)

Parte da ABI Estável desde a versão 3.7.

Return the length of the Unicode object, in code points.

On error, set an exception and return -1.

Adicionado na versão 3.3.

Py_ssize_t PyUnicode_CopyCharacters(PyObject *to, Py_ssize_t to_start, PyObject *from, Py_ssize_t from_start, Py_ssize_t how_many)

Copy characters from one Unicode object into another. This function performs character conversion when necessary and falls back to memcpy() if possible. Returns -1 and sets an exception on error, otherwise returns the number of copied characters.

Adicionado na versão 3.3.

Py_ssize_t PyUnicode_Fill(PyObject *unicode, Py_ssize_t start, Py_ssize_t length, Py_UCS4 fill_char)

Fill a string with a character: write fill_char into unicode[start:start+length].

Fail if fill_char is bigger than the string maximum character, or if the string has more than 1 reference.

Return the number of written character, or return -1 and raise an exception on error.

Adicionado na versão 3.3.

int PyUnicode_WriteChar(PyObject *unicode, Py_ssize_t index, Py_UCS4 character)

Parte da ABI Estável desde a versão 3.7.

Write a character to a string. The string must have been created through PyUnicode_New(). Since Unicode strings are supposed to be immutable, the string must not be shared, or have been hashed yet.

This function checks that unicode is a Unicode object, that the index is not out of bounds, and that the object can be modified safely (i.e. that it its reference count is one).

Return 0 on success, -1 on error with an exception set.

Adicionado na versão 3.3.

Py_UCS4 PyUnicode_ReadChar(PyObject *unicode, Py_ssize_t index)

Parte da ABI Estável desde a versão 3.7.

Read a character from a string. This function checks that unicode is a Unicode object and the index is not out of bounds, in contrast to PyUnicode_READ_CHAR(), which performs no error checking.

Return character on success, -1 on error with an exception set.

Adicionado na versão 3.3.

PyObject *PyUnicode_Substring(PyObject *unicode, Py_ssize_t start, Py_ssize_t end)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Return a substring of unicode, from character index start (included) to character index end (excluded). Negative indices are not supported. On error, set an exception and return NULL.

Adicionado na versão 3.3.

Py_UCS4 *PyUnicode_AsUCS4(PyObject *unicode, Py_UCS4 *buffer, Py_ssize_t buflen, int copy_null)

Parte da ABI Estável desde a versão 3.7.

Copy the string unicode into a UCS4 buffer, including a null character, if copy_null is set. Returns NULL and sets an exception on error (in particular, a SystemError if buflen is smaller than the length of unicode). buffer is returned on success.

Adicionado na versão 3.3.

Py_UCS4 *PyUnicode_AsUCS4Copy(PyObject *unicode)

Parte da ABI Estável desde a versão 3.7.

Copy the string unicode into a new UCS4 buffer that is allocated using PyMem_Malloc(). If this fails, NULL is returned with a MemoryError set. The returned buffer always has an extra null code point appended.

Adicionado na versão 3.3.

Locale Encoding

The current locale encoding can be used to decode text from the operating system.

PyObject *PyUnicode_DecodeLocaleAndSize(const char *str, Py_ssize_t length, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Decode a string from UTF-8 on Android and VxWorks, or from the current locale encoding on other platforms. The supported error handlers are "strict" and "surrogateescape" (PEP 383 [https://peps.python.org/pep-0383/]). The decoder uses "strict" error handler if errors is NULL. str must end with a null character but cannot contain embedded null characters.

Use PyUnicode_DecodeFSDefaultAndSize() to decode a string from the filesystem encoding and error handler.

This function ignores the Python UTF-8 Mode.

Ver também

The Py_DecodeLocale() function.

Adicionado na versão 3.3.

Alterado na versão 3.7: The function now also uses the current locale encoding for the surrogateescape error handler, except on Android. Previously, Py_DecodeLocale() was used for the surrogateescape, and the current locale encoding was used for strict.

PyObject *PyUnicode_DecodeLocale(const char *str, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Similar to PyUnicode_DecodeLocaleAndSize(), but compute the string length using strlen().

Adicionado na versão 3.3.

PyObject *PyUnicode_EncodeLocale(PyObject *unicode, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Encode a Unicode object to UTF-8 on Android and VxWorks, or to the current locale encoding on other platforms. The supported error handlers are "strict" and "surrogateescape" (PEP 383 [https://peps.python.org/pep-0383/]). The encoder uses "strict" error handler if errors is NULL. Return a bytes object. unicode cannot contain embedded null characters.

Use PyUnicode_EncodeFSDefault() to encode a string to the filesystem encoding and error handler.

This function ignores the Python UTF-8 Mode.

Ver também

The Py_EncodeLocale() function.

Adicionado na versão 3.3.

Alterado na versão 3.7: The function now also uses the current locale encoding for the surrogateescape error handler, except on Android. Previously, Py_EncodeLocale() was used for the surrogateescape, and the current locale encoding was used for strict.

File System Encoding

Functions encoding to and decoding from the filesystem encoding and error handler (PEP 383 [https://peps.python.org/pep-0383/] and PEP 529 [https://peps.python.org/pep-0529/]).

To encode file names to bytes during argument parsing, the "O&" converter should be used, passing PyUnicode_FSConverter() as the conversion function:

int PyUnicode_FSConverter(PyObject *obj, void *result)

Parte da ABI Estável.

ParseTuple converter: encode str objects – obtained directly or through the os.PathLike interface – to bytes using PyUnicode_EncodeFSDefault(); bytes objects are output as-is. result must be a PyBytesObject* which must be released when it is no longer used.

Adicionado na versão 3.1.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

To decode file names to str during argument parsing, the "O&" converter should be used, passing PyUnicode_FSDecoder() as the conversion function:

int PyUnicode_FSDecoder(PyObject *obj, void *result)

Parte da ABI Estável.

ParseTuple converter: decode bytes objects – obtained either directly or indirectly through the os.PathLike interface – to str using PyUnicode_DecodeFSDefaultAndSize(); str objects are output as-is. result must be a PyUnicodeObject* which must be released when it is no longer used.

Adicionado na versão 3.2.

Alterado na versão 3.6: Aceita um objeto caminho ou similar.

PyObject *PyUnicode_DecodeFSDefaultAndSize(const char *str, Py_ssize_t size)

Retorna valor: Nova referência. Parte da ABI Estável.

Decode a string from the filesystem encoding and error handler.

If you need to decode a string from the current locale encoding, use PyUnicode_DecodeLocaleAndSize().

Ver também

The Py_DecodeLocale() function.

Alterado na versão 3.6: The filesystem error handler is now used.

PyObject *PyUnicode_DecodeFSDefault(const char *str)

Retorna valor: Nova referência. Parte da ABI Estável.

Decode a null-terminated string from the filesystem encoding and error handler.

If the string length is known, use PyUnicode_DecodeFSDefaultAndSize().

Alterado na versão 3.6: The filesystem error handler is now used.

PyObject *PyUnicode_EncodeFSDefault(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object to the filesystem encoding and error handler, and return bytes. Note that the resulting bytes object can contain null bytes.

If you need to encode a string to the current locale encoding, use PyUnicode_EncodeLocale().

Ver também

The Py_EncodeLocale() function.

Adicionado na versão 3.2.

Alterado na versão 3.6: The filesystem error handler is now used.

wchar_t Support

wchar_t support for platforms which support it:

PyObject *PyUnicode_FromWideChar(const wchar_t *wstr, Py_ssize_t size)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object from the wchar_t buffer wstr of the given size. Passing -1 as the size indicates that the function must itself compute the length, using wcslen(). Return NULL on failure.

Py_ssize_t PyUnicode_AsWideChar(PyObject *unicode, wchar_t *wstr, Py_ssize_t size)

Parte da ABI Estável.

Copy the Unicode object contents into the wchar_t buffer wstr. At most size wchar_t characters are copied (excluding a possibly trailing null termination character). Return the number of wchar_t characters copied or -1 in case of an error.

When wstr is NULL, instead return the size that would be required to store all of unicode including a terminating null.

Note that the resulting wchar_t* string may or may not be null-terminated. It is the responsibility of the caller to make sure that the wchar_t* string is null-terminated in case this is required by the application. Also, note that the wchar_t* string might contain null characters, which would cause the string to be truncated when used with most C functions.

wchar_t *PyUnicode_AsWideCharString(PyObject *unicode, Py_ssize_t *size)

Parte da ABI Estável desde a versão 3.7.

Convert the Unicode object to a wide character string. The output string always ends with a null character. If size is not NULL, write the number of wide characters (excluding the trailing null termination character) into *size. Note that the resulting wchar_t string might contain null characters, which would cause the string to be truncated when used with most C functions. If size is NULL and the wchar_t* string contains null characters a ValueError is raised.

Returns a buffer allocated by PyMem_New (use PyMem_Free() to free it) on success. On error, returns NULL and *size is undefined. Raises a MemoryError if memory allocation is failed.

Adicionado na versão 3.2.

Alterado na versão 3.7: Raises a ValueError if size is NULL and the wchar_t* string contains null characters.

Built-in Codecs

Python provides a set of built-in codecs which are written in C for speed. All of these codecs are directly usable via the following functions.

Many of the following APIs take two arguments encoding and errors, and they have the same semantics as the ones of the built-in str() string object constructor.

Setting encoding to NULL causes the default encoding to be used which is UTF-8. The file system calls should use PyUnicode_FSConverter() for encoding file names. This uses the filesystem encoding and error handler internally.

Error handling is set by errors which may also be set to NULL meaning to use the default handling defined for the codec. Default error handling for all built-in codecs is “strict” (ValueError is raised).

The codecs all use a similar interface. Only deviations from the following generic ones are documented for simplicity.

Generic Codecs

These are the generic codec APIs:

PyObject *PyUnicode_Decode(const char *str, Py_ssize_t size, const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the encoded string str. encoding and errors have the same meaning as the parameters of the same name in the str() built-in function. The codec to be used is looked up using the Python codec registry. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_AsEncodedString(PyObject *unicode, const char *encoding, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object and return the result as Python bytes object. encoding and errors have the same meaning as the parameters of the same name in the Unicode encode() method. The codec to be used is looked up using the Python codec registry. Return NULL if an exception was raised by the codec.

UTF-8 Codecs

These are the UTF-8 codec APIs:

PyObject *PyUnicode_DecodeUTF8(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the UTF-8 encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_DecodeUTF8Stateful(const char *str, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)

Retorna valor: Nova referência. Parte da ABI Estável.

If consumed is NULL, behave like PyUnicode_DecodeUTF8(). If consumed is not NULL, trailing incomplete UTF-8 byte sequences will not be treated as an error. Those bytes will not be decoded and the number of bytes that have been decoded will be stored in consumed.

PyObject *PyUnicode_AsUTF8String(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using UTF-8 and return the result as Python bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

The function fails if the string contains surrogate code points (U+D800 - U+DFFF).

const char *PyUnicode_AsUTF8AndSize(PyObject *unicode, Py_ssize_t *size)

Parte da ABI Estável desde a versão 3.10.

Return a pointer to the UTF-8 encoding of the Unicode object, and store the size of the encoded representation (in bytes) in size. The size argument can be NULL; in this case no size will be stored. The returned buffer always has an extra null byte appended (not included in size), regardless of whether there are any other null code points.

On error, set an exception, set size to -1 (if it’s not NULL) and return NULL.

The function fails if the string contains surrogate code points (U+D800 - U+DFFF).

This caches the UTF-8 representation of the string in the Unicode object, and subsequent calls will return a pointer to the same buffer. The caller is not responsible for deallocating the buffer. The buffer is deallocated and pointers to it become invalid when the Unicode object is garbage collected.

Adicionado na versão 3.3.

Alterado na versão 3.7: The return type is now const char * rather of char *.

Alterado na versão 3.10: This function is a part of the limited API.

const char *PyUnicode_AsUTF8(PyObject *unicode)

As PyUnicode_AsUTF8AndSize(), but does not store the size.

Adicionado na versão 3.3.

Alterado na versão 3.7: The return type is now const char * rather of char *.

UTF-32 Codecs

These are the UTF-32 codec APIs:

PyObject *PyUnicode_DecodeUTF32(const char *str, Py_ssize_t size, const char *errors, int *byteorder)

Retorna valor: Nova referência. Parte da ABI Estável.

Decode size bytes from a UTF-32 encoded buffer string and return the corresponding Unicode object. errors (if non-NULL) defines the error handling. It defaults to “strict”.

If byteorder is non-NULL, the decoder starts decoding using the given byte order:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

If *byteorder is zero, and the first four bytes of the input data are a byte order mark (BOM), the decoder switches to this byte order and the BOM is not copied into the resulting Unicode string. If *byteorder is -1 or 1, any byte order mark is copied to the output.

After completion, *byteorder is set to the current byte order at the end of input data.

If byteorder is NULL, the codec starts in native order mode.

Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_DecodeUTF32Stateful(const char *str, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)

Retorna valor: Nova referência. Parte da ABI Estável.

If consumed is NULL, behave like PyUnicode_DecodeUTF32(). If consumed is not NULL, PyUnicode_DecodeUTF32Stateful() will not treat trailing incomplete UTF-32 byte sequences (such as a number of bytes not divisible by four) as an error. Those bytes will not be decoded and the number of bytes that have been decoded will be stored in consumed.

PyObject *PyUnicode_AsUTF32String(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a Python byte string using the UTF-32 encoding in native byte order. The string always starts with a BOM mark. Error handling is “strict”. Return NULL if an exception was raised by the codec.

UTF-16 Codecs

These are the UTF-16 codec APIs:

PyObject *PyUnicode_DecodeUTF16(const char *str, Py_ssize_t size, const char *errors, int *byteorder)

Retorna valor: Nova referência. Parte da ABI Estável.

Decode size bytes from a UTF-16 encoded buffer string and return the corresponding Unicode object. errors (if non-NULL) defines the error handling. It defaults to “strict”.

If byteorder is non-NULL, the decoder starts decoding using the given byte order:

*byteorder == -1: little endian
*byteorder == 0:  native order
*byteorder == 1:  big endian

If *byteorder is zero, and the first two bytes of the input data are a byte order mark (BOM), the decoder switches to this byte order and the BOM is not copied into the resulting Unicode string. If *byteorder is -1 or 1, any byte order mark is copied to the output (where it will result in either a \ufeff or a \ufffe character).

After completion, *byteorder is set to the current byte order at the end of input data.

If byteorder is NULL, the codec starts in native order mode.

Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_DecodeUTF16Stateful(const char *str, Py_ssize_t size, const char *errors, int *byteorder, Py_ssize_t *consumed)

Retorna valor: Nova referência. Parte da ABI Estável.

If consumed is NULL, behave like PyUnicode_DecodeUTF16(). If consumed is not NULL, PyUnicode_DecodeUTF16Stateful() will not treat trailing incomplete UTF-16 byte sequences (such as an odd number of bytes or a split surrogate pair) as an error. Those bytes will not be decoded and the number of bytes that have been decoded will be stored in consumed.

PyObject *PyUnicode_AsUTF16String(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a Python byte string using the UTF-16 encoding in native byte order. The string always starts with a BOM mark. Error handling is “strict”. Return NULL if an exception was raised by the codec.

UTF-7 Codecs

These are the UTF-7 codec APIs:

PyObject *PyUnicode_DecodeUTF7(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the UTF-7 encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_DecodeUTF7Stateful(const char *str, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)

Retorna valor: Nova referência. Parte da ABI Estável.

If consumed is NULL, behave like PyUnicode_DecodeUTF7(). If consumed is not NULL, trailing incomplete UTF-7 base-64 sections will not be treated as an error. Those bytes will not be decoded and the number of bytes that have been decoded will be stored in consumed.

Unicode-Escape Codecs

These are the “Unicode Escape” codec APIs:

PyObject *PyUnicode_DecodeUnicodeEscape(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the Unicode-Escape encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_AsUnicodeEscapeString(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using Unicode-Escape and return the result as a bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

Raw-Unicode-Escape Codecs

These are the “Raw Unicode Escape” codec APIs:

PyObject *PyUnicode_DecodeRawUnicodeEscape(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the Raw-Unicode-Escape encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_AsRawUnicodeEscapeString(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using Raw-Unicode-Escape and return the result as a bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

Latin-1 Codecs

These are the Latin-1 codec APIs: Latin-1 corresponds to the first 256 Unicode ordinals and only these are accepted by the codecs during encoding.

PyObject *PyUnicode_DecodeLatin1(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the Latin-1 encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_AsLatin1String(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using Latin-1 and return the result as Python bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

ASCII Codecs

These are the ASCII codec APIs. Only 7-bit ASCII data is accepted. All other codes generate errors.

PyObject *PyUnicode_DecodeASCII(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the ASCII encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_AsASCIIString(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using ASCII and return the result as Python bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

Character Map Codecs

This codec is special in that it can be used to implement many different codecs (and this is in fact what was done to obtain most of the standard codecs included in the encodings package). The codec uses mappings to encode and decode characters. The mapping objects provided must support the __getitem__() mapping interface; dictionaries and sequences work well.

These are the mapping codec APIs:

PyObject *PyUnicode_DecodeCharmap(const char *str, Py_ssize_t length, PyObject *mapping, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a Unicode object by decoding size bytes of the encoded string str using the given mapping object. Return NULL if an exception was raised by the codec.

If mapping is NULL, Latin-1 decoding will be applied. Else mapping must map bytes ordinals (integers in the range from 0 to 255) to Unicode strings, integers (which are then interpreted as Unicode ordinals) or None. Unmapped data bytes – ones which cause a LookupError, as well as ones which get mapped to None, 0xFFFE or '\ufffe', are treated as undefined mappings and cause an error.

PyObject *PyUnicode_AsCharmapString(PyObject *unicode, PyObject *mapping)

Retorna valor: Nova referência. Parte da ABI Estável.

Encode a Unicode object using the given mapping object and return the result as a bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

The mapping object must map Unicode ordinal integers to bytes objects, integers in the range from 0 to 255 or None. Unmapped character ordinals (ones which cause a LookupError) as well as mapped to None are treated as “undefined mapping” and cause an error.

The following codec API is special in that maps Unicode to Unicode.

PyObject *PyUnicode_Translate(PyObject *unicode, PyObject *table, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável.

Translate a string by applying a character mapping table to it and return the resulting Unicode object. Return NULL if an exception was raised by the codec.

The mapping table must map Unicode ordinal integers to Unicode ordinal integers or None (causing deletion of the character).

Mapping tables need only provide the __getitem__() interface; dictionaries and sequences work well. Unmapped character ordinals (ones which cause a LookupError) are left untouched and are copied as-is.

errors has the usual meaning for codecs. It may be NULL which indicates to use the default error handling.

MBCS codecs for Windows

These are the MBCS codec APIs. They are currently only available on Windows and use the Win32 MBCS converters to implement the conversions. Note that MBCS (or DBCS) is a class of encodings, not just one. The target encoding is defined by the user settings on the machine running the codec.

PyObject *PyUnicode_DecodeMBCS(const char *str, Py_ssize_t size, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável on Windows desde a versão 3.7.

Create a Unicode object by decoding size bytes of the MBCS encoded string str. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_DecodeMBCSStateful(const char *str, Py_ssize_t size, const char *errors, Py_ssize_t *consumed)

Retorna valor: Nova referência. Parte da ABI Estável on Windows desde a versão 3.7.

If consumed is NULL, behave like PyUnicode_DecodeMBCS(). If consumed is not NULL, PyUnicode_DecodeMBCSStateful() will not decode trailing lead byte and the number of bytes that have been decoded will be stored in consumed.

PyObject *PyUnicode_AsMBCSString(PyObject *unicode)

Retorna valor: Nova referência. Parte da ABI Estável on Windows desde a versão 3.7.

Encode a Unicode object using MBCS and return the result as Python bytes object. Error handling is “strict”. Return NULL if an exception was raised by the codec.

PyObject *PyUnicode_EncodeCodePage(int code_page, PyObject *unicode, const char *errors)

Retorna valor: Nova referência. Parte da ABI Estável on Windows desde a versão 3.7.

Encode the Unicode object using the specified code page and return a Python bytes object. Return NULL if an exception was raised by the codec. Use CP_ACP code page to get the MBCS encoder.

Adicionado na versão 3.3.

Methods & Slots

Methods and Slot Functions

The following APIs are capable of handling Unicode objects and strings on input (we refer to them as strings in the descriptions) and return Unicode objects or integers as appropriate.

They all return NULL or -1 if an exception occurs.

PyObject *PyUnicode_Concat(PyObject *left, PyObject *right)

Retorna valor: Nova referência. Parte da ABI Estável.

Concat two strings giving a new Unicode string.

PyObject *PyUnicode_Split(PyObject *unicode, PyObject *sep, Py_ssize_t maxsplit)

Retorna valor: Nova referência. Parte da ABI Estável.

Split a string giving a list of Unicode strings. If sep is NULL, splitting will be done at all whitespace substrings. Otherwise, splits occur at the given separator. At most maxsplit splits will be done. If negative, no limit is set. Separators are not included in the resulting list.

PyObject *PyUnicode_Splitlines(PyObject *unicode, int keepends)

Retorna valor: Nova referência. Parte da ABI Estável.

Split a Unicode string at line breaks, returning a list of Unicode strings. CRLF is considered to be one line break. If keepends is 0, the Line break characters are not included in the resulting strings.

PyObject *PyUnicode_Join(PyObject *separator, PyObject *seq)

Retorna valor: Nova referência. Parte da ABI Estável.

Join a sequence of strings using the given separator and return the resulting Unicode string.

Py_ssize_t PyUnicode_Tailmatch(PyObject *unicode, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)

Parte da ABI Estável.

Return 1 if substr matches unicode[start:end] at the given tail end (direction == -1 means to do a prefix match, direction == 1 a suffix match), 0 otherwise. Return -1 if an error occurred.

Py_ssize_t PyUnicode_Find(PyObject *unicode, PyObject *substr, Py_ssize_t start, Py_ssize_t end, int direction)

Parte da ABI Estável.

Return the first position of substr in unicode[start:end] using the given direction (direction == 1 means to do a forward search, direction == -1 a backward search). The return value is the index of the first match; a value of -1 indicates that no match was found, and -2 indicates that an error occurred and an exception has been set.

Py_ssize_t PyUnicode_FindChar(PyObject *unicode, Py_UCS4 ch, Py_ssize_t start, Py_ssize_t end, int direction)

Parte da ABI Estável desde a versão 3.7.

Return the first position of the character ch in unicode[start:end] using the given direction (direction == 1 means to do a forward search, direction == -1 a backward search). The return value is the index of the first match; a value of -1 indicates that no match was found, and -2 indicates that an error occurred and an exception has been set.

Adicionado na versão 3.3.

Alterado na versão 3.7: start and end are now adjusted to behave like unicode[start:end].

Py_ssize_t PyUnicode_Count(PyObject *unicode, PyObject *substr, Py_ssize_t start, Py_ssize_t end)

Parte da ABI Estável.

Return the number of non-overlapping occurrences of substr in unicode[start:end]. Return -1 if an error occurred.

PyObject *PyUnicode_Replace(PyObject *unicode, PyObject *substr, PyObject *replstr, Py_ssize_t maxcount)

Retorna valor: Nova referência. Parte da ABI Estável.

Replace at most maxcount occurrences of substr in unicode with replstr and return the resulting Unicode object. maxcount == -1 means replace all occurrences.

int PyUnicode_Compare(PyObject *left, PyObject *right)

Parte da ABI Estável.

Compare two strings and return -1, 0, 1 for less than, equal, and greater than, respectively.

This function returns -1 upon failure, so one should call PyErr_Occurred() to check for errors.

int PyUnicode_EqualToUTF8AndSize(PyObject *unicode, const char *string, Py_ssize_t size)

Parte da ABI Estável desde a versão 3.13.

Compare a Unicode object with a char buffer which is interpreted as being UTF-8 or ASCII encoded and return true (1) if they are equal, or false (0) otherwise. If the Unicode object contains surrogate code points (U+D800 - U+DFFF) or the C string is not valid UTF-8, false (0) is returned.

This function does not raise exceptions.

Adicionado na versão 3.13.

int PyUnicode_EqualToUTF8(PyObject *unicode, const char *string)

Parte da ABI Estável desde a versão 3.13.

Similar to PyUnicode_EqualToUTF8AndSize(), but compute string length using strlen(). If the Unicode object contains null characters, false (0) is returned.

Adicionado na versão 3.13.

int PyUnicode_CompareWithASCIIString(PyObject *unicode, const char *string)

Parte da ABI Estável.

Compare a Unicode object, unicode, with string and return -1, 0, 1 for less than, equal, and greater than, respectively. It is best to pass only ASCII-encoded strings, but the function interprets the input string as ISO-8859-1 if it contains non-ASCII characters.

This function does not raise exceptions.

PyObject *PyUnicode_RichCompare(PyObject *left, PyObject *right, int op)

Retorna valor: Nova referência. Parte da ABI Estável.

Rich compare two Unicode strings and return one of the following:

NULL in case an exception was raised

Py_True or Py_False for successful comparisons

Py_NotImplemented in case the type combination is unknown

Possible values for op are Py_GT, Py_GE, Py_EQ, Py_NE, Py_LT, and Py_LE.

PyObject *PyUnicode_Format(PyObject *format, PyObject *args)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new string object from format and args; this is analogous to format % args.

int PyUnicode_Contains(PyObject *unicode, PyObject *substr)

Parte da ABI Estável.

Check whether substr is contained in unicode and return true or false accordingly.

substr has to coerce to a one element Unicode string. -1 is returned if there was an error.

void PyUnicode_InternInPlace(PyObject **p_unicode)

Parte da ABI Estável.

Intern the argument *p_unicode in place. The argument must be the address of a pointer variable pointing to a Python Unicode string object. If there is an existing interned string that is the same as *p_unicode, it sets *p_unicode to it (releasing the reference to the old string object and creating a new strong reference to the interned string object), otherwise it leaves *p_unicode alone and interns it.

(Clarification: even though there is a lot of talk about references, think of this function as reference-neutral. You must own the object you pass in; after the call you no longer own the passed-in reference, but you newly own the result.)

This function never raises an exception. On error, it leaves its argument unchanged without interning it.

Instances of subclasses of str may not be interned, that is, PyUnicode_CheckExact(*p_unicode) must be true. If it is not, then – as with any other error – the argument is left unchanged.

Note that interned strings are not “immortal”. You must keep a reference to the result to benefit from interning.

PyObject *PyUnicode_InternFromString(const char *str)

Retorna valor: Nova referência. Parte da ABI Estável.

A combination of PyUnicode_FromString() and PyUnicode_InternInPlace(), meant for statically allocated strings.

Return a new (“owned”) reference to either a new Unicode string object that has been interned, or an earlier interned string object with the same value.

Python may keep a reference to the result, or make it immortal, preventing it from being garbage-collected promptly. For interning an unbounded number of different strings, such as ones coming from user input, prefer calling PyUnicode_FromString() and PyUnicode_InternInPlace() directly.

Detalhes da implementação do CPython: Strings interned this way are made immortal.

Objeto tupla

type PyTupleObject

Este subtipo de PyObject representa um objeto tupla em Python.

PyTypeObject PyTuple_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo tupla de Python; é o mesmo objeto que tuple na camada Python.

int PyTuple_Check(PyObject *p)

Retorna verdadeiro se p é um objeto tupla ou uma instância de um subtipo do tipo tupla. Esta função sempre tem sucesso.

int PyTuple_CheckExact(PyObject *p)

Retorna verdadeiro se p é um objeto tupla, mas não uma instância de um subtipo do tipo tupla. Esta função sempre tem sucesso.

PyObject *PyTuple_New(Py_ssize_t len)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new tuple object of size len, or NULL with an exception set on failure.

PyObject *PyTuple_Pack(Py_ssize_t n, ...)

Retorna valor: Nova referência. Parte da ABI Estável.

Return a new tuple object of size n, or NULL with an exception set on failure. The tuple values are initialized to the subsequent n C arguments pointing to Python objects. PyTuple_Pack(2, a, b) is equivalent to Py_BuildValue("(OO)", a, b).

Py_ssize_t PyTuple_Size(PyObject *p)

Parte da ABI Estável.

Take a pointer to a tuple object, and return the size of that tuple. On error, return -1 and with an exception set.

Py_ssize_t PyTuple_GET_SIZE(PyObject *p)

Like PyTuple_Size(), but without error checking.

PyObject *PyTuple_GetItem(PyObject *p, Py_ssize_t pos)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna o objeto na posição pos na tupla apontada por p. Se pos estiver fora dos limites, retorna NULL e define uma exceção IndexError.

The returned reference is borrowed from the tuple p (that is: it is only valid as long as you hold a reference to p). To get a strong reference, use Py_NewRef(PyTuple_GetItem(...)) or PySequence_GetItem().

PyObject *PyTuple_GET_ITEM(PyObject *p, Py_ssize_t pos)

Retorna valor: Referência emprestada.

Como PyTuple_GetItem(), mas faz nenhuma verificação de seus argumentos.

PyObject *PyTuple_GetSlice(PyObject *p, Py_ssize_t low, Py_ssize_t high)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the slice of the tuple pointed to by p between low and high, or NULL with an exception set on failure.

This is the equivalent of the Python expression p[low:high]. Indexing from the end of the tuple is not supported.

int PyTuple_SetItem(PyObject *p, Py_ssize_t pos, PyObject *o)

Parte da ABI Estável.

Insere uma referência ao objeto o na posição pos da tupla apontada por p. Retorna 0 em caso de sucesso. Se pos estiver fora dos limites, retorne -1 e define uma exceção IndexError.

Nota

Esta função “rouba” uma referência a o e descarta uma referência a um item já na tupla na posição afetada.

void PyTuple_SET_ITEM(PyObject *p, Py_ssize_t pos, PyObject *o)

Como PyTuple_SetItem(), mas não verifica erros e deve apenas ser usado para preencher novas tuplas.

A verificação de limites é realizada como uma asserção se o Python for construído em modo de depuração ou com asserções.

Nota

Esta função “rouba” uma referência para o e, ao contrário de PyTuple_SetItem(), não descarta uma referência para nenhum item que esteja sendo substituído; qualquer referência na tupla na posição pos será perdida.

int _PyTuple_Resize(PyObject **p, Py_ssize_t newsize)

Pode ser usado para redimensionar uma tupla. newsize será o novo comprimento da tupla. Como as tuplas são supostamente imutáveis, isso só deve ser usado se houver apenas uma referência ao objeto. Não use isto se a tupla já for conhecida por alguma outra parte do código. A tupla sempre aumentará ou diminuirá no final. Pense nisso como destruir a tupla antiga e criar uma nova, mas com mais eficiência. Retorna 0 em caso de sucesso. O código do cliente nunca deve presumir que o valor resultante de *p será o mesmo de antes de chamar esta função. Se o objeto referenciado por *p for substituído, o *p original será destruído. Em caso de falha, retorna -1 e define *p para NULL, e levanta MemoryError ou SystemError.

Objetos sequência de estrutura

Objetos sequência de estrutura são o equivalente em C dos objetos namedtuple(), ou seja, uma sequência cujos itens também podem ser acessados por meio de atributos. Para criar uma sequência de estrutura, você primeiro precisa criar um tipo de sequência de estrutura específico.

PyTypeObject *PyStructSequence_NewType(PyStructSequence_Desc *desc)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um novo tipo de sequência de estrutura a partir dos dados em desc, descrito abaixo. Instâncias do tipo resultante podem ser criadas com PyStructSequence_New().

Return NULL with an exception set on failure.

void PyStructSequence_InitType(PyTypeObject *type, PyStructSequence_Desc *desc)

Inicializa um tipo de sequência de estrutura type de desc no lugar.

int PyStructSequence_InitType2(PyTypeObject *type, PyStructSequence_Desc *desc)

Like PyStructSequence_InitType(), but returns 0 on success and -1 with an exception set on failure.

Adicionado na versão 3.4.

type PyStructSequence_Desc

Parte da ABI Estável (incluindo todos os membros).

Contém as metainformações de um tipo de sequência de estrutura a ser criado.

const char *name

Fully qualified name of the type; null-terminated UTF-8 encoded. The name must contain the module name.

const char *doc

Pointer to docstring for the type or NULL to omit.

PyStructSequence_Field *fields

Pointer to NULL-terminated array with field names of the new type.

int n_in_sequence

Number of fields visible to the Python side (if used as tuple).

type PyStructSequence_Field

Parte da ABI Estável (incluindo todos os membros).

Describes a field of a struct sequence. As a struct sequence is modeled as a tuple, all fields are typed as PyObject*. The index in the fields array of the PyStructSequence_Desc determines which field of the struct sequence is described.

const char *name

Name for the field or NULL to end the list of named fields, set to PyStructSequence_UnnamedField to leave unnamed.

const char *doc

Field docstring or NULL to omit.

const char *const PyStructSequence_UnnamedField

Parte da ABI Estável desde a versão 3.11.

Valor especial para um nome de campo para deixá-lo sem nome.

Alterado na versão 3.9: O tipo foi alterado de char *.

PyObject *PyStructSequence_New(PyTypeObject *type)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um instância de type, que deve ser criada com PyStructSequence_NewType().

Return NULL with an exception set on failure.

PyObject *PyStructSequence_GetItem(PyObject *p, Py_ssize_t pos)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Return the object at position pos in the struct sequence pointed to by p.

A verificação de limites é realizada como uma asserção se o Python for construído em modo de depuração ou com asserções.

PyObject *PyStructSequence_GET_ITEM(PyObject *p, Py_ssize_t pos)

Retorna valor: Referência emprestada.

Alias to PyStructSequence_GetItem().

Alterado na versão 3.13: Now implemented as an alias to PyStructSequence_GetItem().

void PyStructSequence_SetItem(PyObject *p, Py_ssize_t pos, PyObject *o)

Parte da ABI Estável.

Define o campo no índice pos da sequência de estrutura p para o valor o. Como PyTuple_SET_ITEM(), isto só deve ser usado para preencher novas instâncias.

A verificação de limites é realizada como uma asserção se o Python for construído em modo de depuração ou com asserções.

Nota

Esta função “rouba” uma referência a o.

void PyStructSequence_SET_ITEM(PyObject *p, Py_ssize_t *pos, PyObject *o)

Alias to PyStructSequence_SetItem().

Alterado na versão 3.13: Now implemented as an alias to PyStructSequence_SetItem().

Objeto List

type PyListObject

Este subtipo de PyObject representa um objeto de lista Python.

PyTypeObject PyList_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo de lista Python. Este é o mesmo objeto que list na camada Python.

int PyList_Check(PyObject *p)

Retorna verdadeiro se p é um objeto lista ou uma instância de um subtipo do tipo lista. Esta função sempre tem sucesso.

int PyList_CheckExact(PyObject *p)

Retorna verdadeiro se p é um objeto lista, mas não uma instância de um subtipo do tipo lista. Esta função sempre tem sucesso.

PyObject *PyList_New(Py_ssize_t len)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma nova lista de comprimento len em caso de sucesso, ou NULL em caso de falha.

Nota

Se len for maior que zero, os itens do objeto da lista retornada são definidos como NULL. Portanto, você não pode usar funções API abstratas, como PySequence_SetItem() ou expor o objeto ao código Python antes de definir todos os itens para um objeto real com PyList_SetItem() ou PyList_SET_ITEM(). As seguintes APIs são seguras desde que antes as listas tenham sido inicializadas: PyList_SetItem() e PyList_SET_ITEM().

Py_ssize_t PyList_Size(PyObject *list)

Parte da ABI Estável.

Retorna o comprimento do objeto de lista em list; isto é equivalente a len(list) em um objeto lista.

Py_ssize_t PyList_GET_SIZE(PyObject *list)

Similar a PyList_Size(), mas sem verificação de erro.

PyObject *PyList_GetItemRef(PyObject *list, Py_ssize_t index)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.13.

Retorna o objeto na posição index na lista apontada por list. A posição deve ser não negativa; não há suporte à indexação do final da lista. Se index estiver fora dos limites (<0 or >=len(list)), retorna NULL e levanta uma exceção IndexError.

Adicionado na versão 3.13.

PyObject *PyList_GetItem(PyObject *list, Py_ssize_t index)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Como PyList_GetItemRef(), mas retorna uma referência emprestada em vez de uma referência forte.

PyObject *PyList_GET_ITEM(PyObject *list, Py_ssize_t i)

Retorna valor: Referência emprestada.

Similar a PyList_GetItem(), mas sem verificação de erro.

int PyList_SetItem(PyObject *list, Py_ssize_t index, PyObject *item)

Parte da ABI Estável.

Define o item no índice index na lista como item. Retorna 0 em caso de sucesso. Se index estiver fora dos limites, retorna -1 e levanta uma exceção IndexError.

Nota

Esta função “rouba” uma referência para o item e descarta uma referência para um item já presente na lista na posição afetada.

void PyList_SET_ITEM(PyObject *list, Py_ssize_t i, PyObject *o)

Forma macro de PyList_SetItem() sem verificação de erro. Este é normalmente usado apenas para preencher novas listas onde não há conteúdo anterior.

A verificação de limites é realizada como uma asserção se o Python for construído em modo de depuração ou com asserções.

Nota

Esta macro “rouba” uma referência para o item e, ao contrário de PyList_SetItem(), não descarta uma referência para nenhum item que esteja sendo substituído; qualquer referência em list será perdida.

int PyList_Insert(PyObject *list, Py_ssize_t index, PyObject *item)

Parte da ABI Estável.

Insere o item item na lista list na frente do índice index. Retorna 0 se for bem-sucedido; retorna -1 e levanta uma exceção se malsucedido. Análogo a list.insert(index, item).

int PyList_Append(PyObject *list, PyObject *item)

Parte da ABI Estável.

Adiciona o item item ao final da lista list. Retorna 0 se for bem-sucedido; retorna -1 e levanta uma exceção se malsucedido. Análogo a list.insert(index, item).

PyObject *PyList_GetSlice(PyObject *list, Py_ssize_t low, Py_ssize_t high)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma lista dos objetos em list contendo os objetos entre low e alto. Retorne NULL e levanta uma exceção se malsucedido. Análogo a list[low:high]. Não há suporte à indexação do final da lista.

int PyList_SetSlice(PyObject *list, Py_ssize_t low, Py_ssize_t high, PyObject *itemlist)

Parte da ABI Estável.

Define a fatia de list entre low e high para o conteúdo de itemlist. Análogo a list[low:high] = itemlist. itemlist pode ser NULL, indicando a atribuição de uma lista vazia (exclusão de fatia). Retorna 0 em caso de sucesso, -1 em caso de falha. Não há suporte à indexação do final da lista.

int PyList_Extend(PyObject *list, PyObject *iterable)

Estende list com o conteúdo de iterable. Isto é o mesmo que PyList_SetSlice(list, PY_SSIZE_T_MAX, PY_SSIZE_T_MAX, iterable) e análogo a list.extend(iterable) ou list += iterable.

Levanta uma exceção e retorna -1 se list não for um objeto list. Retorna 0 em caso de sucesso.

Adicionado na versão 3.13.

int PyList_Clear(PyObject *list)

Remove todos os itens da lista. Isto é o mesmo que PyList_SetSlice(list, 0, PY_SSIZE_T_MAX, NULL) e análogo a list.clear() ou del list[:].

Levanta uma exceção e retorna -1 se list não for um objeto list. Retorna 0 em caso de sucesso.

Adicionado na versão 3.13.

int PyList_Sort(PyObject *list)

Parte da ABI Estável.

Ordena os itens de list no mesmo lugar. Retorna 0 em caso de sucesso, e -1 em caso de falha. Isso é o equivalente de list.sort().

int PyList_Reverse(PyObject *list)

Parte da ABI Estável.

Inverte os itens de list no mesmo lugar. Retorna 0 em caso de sucesso, e -1 em caso de falha. Isso é o equivalente de list.reverse().

PyObject *PyList_AsTuple(PyObject *list)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto tupla contendo os conteúdos de list; equivale a tuple(list).

Objetos dicionários

type PyDictObject

Este subtipo do PyObject representa um objeto dicionário Python.

PyTypeObject PyDict_Type

Parte da ABI Estável.

Esta instância do PyTypeObject representa o tipo do dicionário Python. Este é o mesmo objeto dict na camada do Python.

int PyDict_Check(PyObject *p)

Retorna verdadeiro se p é um objeto dicionário ou uma instância de um subtipo do tipo dicionário. Esta função sempre tem sucesso.

int PyDict_CheckExact(PyObject *p)

Retorna verdadeiro se p é um objeto dicionário, mas não uma instância de um subtipo do tipo dicionário. Esta função sempre tem sucesso.

PyObject *PyDict_New()

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo dicionário vazio ou NULL em caso de falha.

PyObject *PyDictProxy_New(PyObject *mapping)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um objeto types.MappingProxyType para um mapeamento que reforça o comportamento somente leitura. Isso normalmente é usado para criar uma visão para evitar a modificação do dicionário para tipos de classes não dinâmicas.

void PyDict_Clear(PyObject *p)

Parte da ABI Estável.

Esvazia um dicionário existente de todos os pares chave-valor.

int PyDict_Contains(PyObject *p, PyObject *key)

Parte da ABI Estável.

Determina se o dicionário p contém key. Se um item em p corresponder à key, retorna 1, caso contrário, retorna 0. Em caso de erro, retorna -1. Isso é equivalente à expressão Python key in p.

int PyDict_ContainsString(PyObject *p, const char *key)

É o mesmo que PyDict_Contains(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Adicionado na versão 3.13.

PyObject *PyDict_Copy(PyObject *p)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo dicionário que contém o mesmo chave-valor como p.

int PyDict_SetItem(PyObject *p, PyObject *key, PyObject *val)

Parte da ABI Estável.

Insere val no dicionário p com a tecla key. key deve ser hasheável; se não for, TypeError será levantada. Retorna 0 em caso de sucesso ou -1 em caso de falha. Esta função não rouba uma referência a val.

int PyDict_SetItemString(PyObject *p, const char *key, PyObject *val)

Parte da ABI Estável.

É o mesmo que PyDict_SetItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

int PyDict_DelItem(PyObject *p, PyObject *key)

Parte da ABI Estável.

Remove a entrada no dicionário p com a chave key. key deve ser hasheável; se não for, TypeError é levantada. Se key não estiver no dicionário, KeyError é levantada. Retorna 0 em caso de sucesso ou -1 em caso de falha.

int PyDict_DelItemString(PyObject *p, const char *key)

Parte da ABI Estável.

É o mesmo que PyDict_DelItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

int PyDict_GetItemRef(PyObject *p, PyObject *key, PyObject **result)

Parte da ABI Estável desde a versão 3.13.

Retorna uma nova referência forte para o objeto dicionário p que possui uma chave key:

Se a chave estiver presente, define *result como uma nova referência forte para o valor e retorna 1.

Se a chave estiver ausente, define *result como NULL e retorna 0.

Em caso de erro, levanta uma exceção e retorna -1.

Adicionado na versão 3.13.

Veja também a função PyObject_GetItem().

PyObject *PyDict_GetItem(PyObject *p, PyObject *key)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna um referência emprestada para o objeto do dicionário p que possui uma chave key. Retorna NULL se a chave key não estiver presente, mas sem definir uma exceção.

Nota

Exceções que ocorrem ao chamar os métodos __hash__() e __eq__() são ignoradas silenciosamente. Ao invés disso, use a função PyDict_GetItemWithError().

Alterado na versão 3.10: Chamar esta API sem GIL retida era permitido por motivos históricos. Não é mais permitido.

PyObject *PyDict_GetItemWithError(PyObject *p, PyObject *key)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Variante de PyDict_GetItem() que não suprime exceções. Retorna NULL com uma exceção definida se uma exceção ocorreu. Retorna NULL ** sem ** uma exceção definida se a chave não estiver presente.

PyObject *PyDict_GetItemString(PyObject *p, const char *key)

Retorna valor: Referência emprestada. Parte da ABI Estável.

É o mesmo que PyDict_GetItem(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Nota

Exceções que ocorrem ao chamar os métodos __hash__() e __eq__() ou ao criar objetos temporários da classe str são ignoradas silenciosamente. Ao invés disso, prefira usar a função PyDict_GetItemWithError() com sua própria key de PyUnicode_FromString().

int PyDict_GetItemStringRef(PyObject *p, const char *key, PyObject **result)

Parte da ABI Estável desde a versão 3.13.

Similar a PyDict_GetItemRef(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Adicionado na versão 3.13.

PyObject *PyDict_SetDefault(PyObject *p, PyObject *key, PyObject *defaultobj)

Retorna valor: Referência emprestada.

Isso é o mesmo que o dict.setdefault() de nível Python. Se presente, ele retorna o valor correspondente a key do dicionário p. Se a chave não estiver no dict, ela será inserida com o valor defaultobj e defaultobj será retornado. Esta função avalia a função hash de key apenas uma vez, em vez de avaliá-la independentemente para a pesquisa e a inserção.

Adicionado na versão 3.4.

int PyDict_SetDefaultRef(PyObject *p, PyObject *key, PyObject *default_value, PyObject **result)

Insere default_value no dicionário p com uma chave key se a chave ainda não estiver presente no dicionário. Se result não for NULL, então *result é definido como uma referência forte para default_value, se a chave não estiver presente, ou para o valor existente, se key já estava presente no dicionário. Retorna 1 se a chave estava presente e default_value não foi inserido, ou 0 se a chave não estava presente e default_value foi inserido. Em caso de falha, retorna -1, define uma exceção e define *result como NULL.

Para maior clareza: se você tiver uma referência forte para default_value antes de chamar esta função, então depois que ela retornar, você terá uma referência forte para default_value e *result (se não for NULL). Estes podem referir-se ao mesmo objeto: nesse caso você mantém duas referências separadas para ele.

Adicionado na versão 3.13.

int PyDict_Pop(PyObject *p, PyObject *key, PyObject **result)

Remove key do dicionário p e, opcionalmente, retorna o valor removido. Não levanta KeyError se a chave estiver ausente.

Se a chave estiver presente, define *result como uma nova referência para o valor se result não for NULL e retorna 1.

Se a chave estiver ausente, define *result como NULL se result não for NULL e retorna 0.

Em caso de erro, levanta uma exceção e retorna -1.

Isto é semelhante a dict.pop(), mas sem o valor padrão e sem levantar KeyError se a chave estiver ausente.

Adicionado na versão 3.13.

int PyDict_PopString(PyObject *p, const char *key, PyObject **result)

Similar a PyDict_Pop(), mas key é especificada como uma string de bytes const char* codificada em UTF-8, em vez de um PyObject*.

Adicionado na versão 3.13.

PyObject *PyDict_Items(PyObject *p)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um PyListObject contendo todos os itens do dicionário.

PyObject *PyDict_Keys(PyObject *p)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um PyListObject contendo todas as chaves do dicionário.

PyObject *PyDict_Values(PyObject *p)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um PyListObject contendo todos os valores do dicionário p.

Py_ssize_t PyDict_Size(PyObject *p)

Parte da ABI Estável.

Retorna o número de itens no dicionário. Isso é equivalente a len(p) em um dicionário.

int PyDict_Next(PyObject *p, Py_ssize_t *ppos, PyObject **pkey, PyObject **pvalue)

Parte da ABI Estável.

Itera todos os pares de valores-chave no dicionário p. O Py_ssize_t referido por ppos deve ser inicializado para 0 antes da primeira chamada para esta função para iniciar a iteração; a função retorna true para cada par no dicionário e false quando todos os pares forem relatados. Os parâmetros pkey e pvalue devem apontar para variáveis de PyObject* que serão preenchidas com cada chave e valor, respectivamente, ou podem ser NULL. Todas as referências retornadas por meio deles são emprestadas. ppos não deve ser alterado durante a iteração. Seu valor representa deslocamentos dentro da estrutura do dicionário interno e, como a estrutura é esparsa, os deslocamentos não são consecutivos.

Por exemplo:

PyObject *key, *value;
Py_ssize_t pos = 0;

while (PyDict_Next(self->dict, &pos, &key, &value)) {
    /* fazer algo de interessante com os valores... */
    ...
}

O dicionário p não deve sofrer mutação durante a iteração. É seguro modificar os valores das chaves à medida que você itera no dicionário, mas apenas enquanto o conjunto de chaves não mudar. Por exemplo:

PyObject *key, *value;
Py_ssize_t pos = 0;

while (PyDict_Next(self->dict, &pos, &key, &value)) {
    long i = PyLong_AsLong(value);
    if (i == -1 && PyErr_Occurred()) {
        return -1;
    }
    PyObject *o = PyLong_FromLong(i + 1);
    if (o == NULL)
        return -1;
    if (PyDict_SetItem(self->dict, key, o) < 0) {
        Py_DECREF(o);
        return -1;
    }
    Py_DECREF(o);
}

A função não é segura para thread na construção com threads livres sem sincronização externa. Você pode usar Py_BEGIN_CRITICAL_SECTION para travar o dicionário enquanto itera sobre ele:

Py_BEGIN_CRITICAL_SECTION(self->dict);
while (PyDict_Next(self->dict, &pos, &key, &value)) {
    ...
}
Py_END_CRITICAL_SECTION();

int PyDict_Merge(PyObject *a, PyObject *b, int override)

Parte da ABI Estável.

Itera sobre o objeto de mapeamento b adicionando pares de valores-chave ao dicionário a. b pode ser um dicionário, ou qualquer objeto que suporte PyMapping_Keys() e PyObject_GetItem(). Se override for verdadeiro, os pares existentes em a serão substituídos se uma chave correspondente for encontrada em b, caso contrário, os pares serão adicionados apenas se não houver uma chave correspondente em a. Retorna 0 em caso de sucesso ou -1 se uma exceção foi levantada.

int PyDict_Update(PyObject *a, PyObject *b)

Parte da ABI Estável.

É o mesmo que PyDict_Merge(a, b, 1) em C, e é semelhante a a.update(b) em Python, exceto que PyDict_Update() não cai na iteração em uma sequência de pares de valores de chave se o segundo argumento não tiver o atributo “keys”. Retorna 0 em caso de sucesso ou -1 se uma exceção foi levantada.

int PyDict_MergeFromSeq2(PyObject *a, PyObject *seq2, int override)

Parte da ABI Estável.

Atualiza ou mescla no dicionário a, a partir dos pares de chave-valor em seq2. seq2 deve ser um objeto iterável produzindo objetos iteráveis de comprimento 2, vistos como pares chave-valor. No caso de chaves duplicadas, a última vence se override for verdadeiro, caso contrário, a primeira vence. Retorne 0 em caso de sucesso ou -1 se uma exceção foi levantada. Python equivalente (exceto para o valor de retorno):

def PyDict_MergeFromSeq2(a, seq2, override):
    for key, value in seq2:
        if override or key not in a:
            a[key] = value

int PyDict_AddWatcher(PyDict_WatchCallback callback)

Registra callback como um observador de dicionário. Retorna um ID inteiro não negativo que deve ser passado para futuras chamadas a PyDict_Watch(). Em caso de erro (por exemplo, não há mais IDs de observador disponíveis), retorna -1 e define uma exceção.

Adicionado na versão 3.12.

int PyDict_ClearWatcher(int watcher_id)

Limpa o observador identificado por watcher_id retornado anteriormente de PyDict_AddWatcher(). Retorna 0 em caso de sucesso, -1 em caso de erro (por exemplo, se o watcher_id fornecido nunca foi registrado).

Adicionado na versão 3.12.

int PyDict_Watch(int watcher_id, PyObject *dict)

Marca o dicionário dict como observado. A função de retorno concedida a watcher_id por PyDict_AddWatcher() será chamada quando dict for modificado ou desalocado. Retorna 0 em caso de sucesso ou -1 em caso de erro.

Adicionado na versão 3.12.

int PyDict_Unwatch(int watcher_id, PyObject *dict)

Marca o dicionário dict como não mais observado. A função de retorno concedida a watcher_id por PyDict_AddWatcher() será chamada quando dict for modificado ou desalocado. O dicionário deve ter sido observado anteriormente por este observador. Retorna 0 em caso de sucesso ou -1 em caso de erro.

Adicionado na versão 3.12.

type PyDict_WatchEvent

Enumeração de possíveis eventos de observador de dicionário: PyDict_EVENT_ADDED, PyDict_EVENT_MODIFIED, PyDict_EVENT_DELETED, PyDict_EVENT_CLONED, PyDict_EVENT_CLEARED ou PyDict_EVENT_DEALLOCATED.

Adicionado na versão 3.12.

typedef int (*PyDict_WatchCallback)(PyDict_WatchEvent event, PyObject *dict, PyObject *key, PyObject *new_value)

Tipo de uma função de retorno de chamada de observador de dicionário.

Se event for PyDict_EVENT_CLEARED ou PyDict_EVENT_DEALLOCATED, tanto key quanto new_value serão NULL. Se event for PyDict_EVENT_ADDED ou PyDict_EVENT_MODIFIED, new_value será o novo valor de key. Se event for PyDict_EVENT_DELETED, key estará sendo excluída do dicionário e new_value será NULL.

PyDict_EVENT_CLONED ocorre quando dict estava anteriormente vazio e outro dict é mesclado a ele. Para manter a eficiência dessa operação, os eventos PyDict_EVENT_ADDED por chave não são emitidos nesse caso; em vez disso, um único PyDict_EVENT_CLONED é emitido e key será o dicionário de origem.

A função de retorno pode inspecionar, mas não deve modificar o dict; isso pode ter efeitos imprevisíveis, inclusive recursão infinita. Não acione a execução do código Python na função de retorno, pois isso poderia modificar o dict como um efeito colateral.

Se event for PyDict_EVENT_DEALLOCATED, a obtenção de uma nova referência na função de retorno para o dicionário prestes a ser destruído o ressuscitará e impedirá que ele seja liberado nesse momento. Quando o objeto ressuscitado for destruído mais tarde, quaisquer funções de retorno do observador ativos naquele momento serão chamados novamente.

As funções de retorno ocorrem antes que a modificação notificada no dict ocorra, de modo que o estado anterior do dict possa ser inspecionado.

Se a função de retorno definir uma exceção, ela deverá retornar -1; essa exceção será impressa como uma exceção não reprovável usando PyErr_WriteUnraisable(). Caso contrário, deverá retornar 0.

É possível que já exista uma exceção pendente definida na entrada da função de retorno. Nesse caso, a função de retorno deve retornar 0 com a mesma exceção ainda definida. Isso significa que a função de retorno não pode chamar nenhuma outra API que possa definir uma exceção, a menos que salve e limpe o estado da exceção primeiro e o restaure antes de retornar.

Adicionado na versão 3.12.

Objeto Set

Esta seção detalha a API pública para os objetos set e frozenset. Qualquer funcionalidade não listada abaixo é melhor acessada usando o protocolo de objeto abstrato (incluindo PyObject_CallMethod(), PyObject_RichCompareBool(), PyObject_Hash(), PyObject_Repr(), PyObject_IsTrue(), PyObject_Print() e PyObject_GetIter()) ou o protocolo abstrato de número (incluindo PyNumber_And(), PyNumber_Subtract(), PyNumber_Or(), PyNumber_Xor(), PyNumber_InPlaceAnd(), PyNumber_InPlaceSubtract(), PyNumber_InPlaceOr() e PyNumber_InPlaceXor()).

type PySetObject

Este subtipo de PyObject é usado para manter os dados internos para ambos os objetos set e frozenset. É como um PyDictObject em que tem um tamanho fixo para conjuntos pequenos (muito parecido com o armazenamento de tupla) e apontará para um bloco de memória de tamanho variável separado para conjuntos de tamanho médio e grande (muito parecido com lista armazenamento). Nenhum dos campos desta estrutura deve ser considerado público e todos estão sujeitos a alterações. Todo o acesso deve ser feito por meio da API documentada, em vez de manipular os valores na estrutura.

PyTypeObject PySet_Type

Parte da ABI Estável.

Essa é uma instância de PyTypeObject representando o tipo Python set

PyTypeObject PyFrozenSet_Type

Parte da ABI Estável.

Esta é uma instância de PyTypeObject representando o tipo Python frozenset.

As macros de verificação de tipo a seguir funcionam em ponteiros para qualquer objeto Python. Da mesma forma, as funções construtoras funcionam com qualquer objeto Python iterável.

int PySet_Check(PyObject *p)

Retorna verdadeiro se p for um objeto set ou uma instância de um subtipo. Esta função sempre tem sucesso.

int PyFrozenSet_Check(PyObject *p)

Retorna verdadeiro se p for um objeto frozenset ou uma instância de um subtipo. Esta função sempre tem sucesso.

int PyAnySet_Check(PyObject *p)

Retorna verdadeiro se p for um objeto set, um objeto frozenset ou uma instância de um subtipo. Esta função sempre tem sucesso.

int PySet_CheckExact(PyObject *p)

Retorna verdadeiro se p for um objeto set, mas não uma instância de um subtipo. Esta função sempre tem sucesso.

Adicionado na versão 3.10.

int PyAnySet_CheckExact(PyObject *p)

Retorna verdadeiro se p for um objeto set ou um objeto frozenset, mas não uma instância de um subtipo. Esta função sempre tem sucesso.

int PyFrozenSet_CheckExact(PyObject *p)

Retorna verdadeiro se p for um objeto frozenset, mas não uma instância de um subtipo. Esta função sempre tem sucesso.

PyObject *PySet_New(PyObject *iterable)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma nova set contendo objetos retornados pelo iterável iterable. O iterable pode ser NULL para criar um novo conjunto vazio. Retorna o novo conjunto em caso de sucesso ou NULL em caso de falha. Levanta TypeError se iterable não for realmente iterável. O construtor também é útil para copiar um conjunto (c=set(s)).

PyObject *PyFrozenSet_New(PyObject *iterable)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma nova frozenset contendo objetos retornados pelo iterável iterable. O iterable pode ser NULL para criar um novo frozenset vazio. Retorna o novo conjunto em caso de sucesso ou NULL em caso de falha. Levanta TypeError se iterable não for realmente iterável.

As seguintes funções e macros estão disponíveis para instâncias de set ou frozenset ou instâncias de seus subtipos.

Py_ssize_t PySet_Size(PyObject *anyset)

Parte da ABI Estável.

Retorna o comprimento de um objeto set ou frozenset. Equivalente a len(anyset). Levanta um SystemError se anyset não for um set, frozenset, ou uma instância de um subtipo.

Py_ssize_t PySet_GET_SIZE(PyObject *anyset)

Forma macro de PySet_Size() sem verificação de erros.

int PySet_Contains(PyObject *anyset, PyObject *key)

Parte da ABI Estável.

Retorna 1 se encontrado, 0 se não encontrado, e -1 se um erro é encontrado. Ao contrário do método Python __contains__(), esta função não converte automaticamente conjuntos não hasheáveis em frozensets temporários. Levanta um TypeError se a key não for hasheável. Levanta SystemError se anyset não é um set, frozenset, ou uma instância de um subtipo.

int PySet_Add(PyObject *set, PyObject *key)

Parte da ABI Estável.

Adiciona key a uma instância de set. Também funciona com instâncias de frozenset (como PyTuple_SetItem(), ele pode ser usado para preencher os valores de novos conjuntos de congelamentos antes que eles sejam expostos a outro código). Retorna 0 em caso de sucesso ou -1 em caso de falha. Levanta um TypeError se a key não for hasheável. Levanta uma MemoryError se não houver espaço para crescer. Levanta uma SystemError se set não for uma instância de set ou seu subtipo.

As seguintes funções estão disponíveis para instâncias de set ou seus subtipos, mas não para instâncias de frozenset ou seus subtipos.

int PySet_Discard(PyObject *set, PyObject *key)

Parte da ABI Estável.

Retorna 1 se encontrado e removido, 0 se não encontrado (nenhuma ação realizada) e -1 se um erro for encontrado. Não levanta KeyError para chaves ausentes. Levanta uma TypeError se a key não for hasheável. Ao contrário do método Python discard(), esta função não converte automaticamente conjuntos não hasheáveis em frozensets temporários. Levanta SystemError se set não é uma instância de set ou seu subtipo.

PyObject *PySet_Pop(PyObject *set)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna uma nova referência a um objeto arbitrário no set e remove o objeto do set. Retorna NULL em caso de falha. Levanta KeyError se o conjunto estiver vazio. Levanta uma SystemError se set não for uma instância de set ou seu subtipo.

int PySet_Clear(PyObject *set)

Parte da ABI Estável.

Esvazia um conjunto existente de todos os elementos. Retorna 0 em caso de sucesso. Retorna -1 e levanta SystemError se set não for uma instância de set ou seu subtipo.

Objetos Função

Existem algumas funções específicas para as funções do Python.

type PyFunctionObject

A estrutura C usada para funções.

PyTypeObject PyFunction_Type

Esta é uma instância de PyTypeObject e representa o tipo de função Python. Está exposta a programadores Python como types.FunctionType.

int PyFunction_Check(PyObject *o)

Retorna verdadeiro se o for um objeto função (tem tipo PyFunction_Type). O parâmetro não deve ser NULL. Esta função sempre obtém sucesso.

PyObject *PyFunction_New(PyObject *code, PyObject *globals)

Retorna valor: Nova referência.

Retorna um novo objeto função associado ao objeto código code. globals deve ser um dicionário com as variáveis globais acessíveis à função.

O nome e docstring da função são adquiridos pelo objeto código. O atributo __module__ é adquirido por meio de globals. Os valores-padrão de argumentos, anotações, e fechamento são definidos como NULL. O atributo __qualname__ é definido com o mesmo valor do campo co_qualname de um objeto código.

PyObject *PyFunction_NewWithQualName(PyObject *code, PyObject *globals, PyObject *qualname)

Retorna valor: Nova referência.

Similar a PyFunction_New(), mas também permite definir o atributo __qualname__ do objeto função. qualname deve ser um objeto Unicode ou NULL. Se NULL, o atributo __qualname__ é definido com o mesmo valor do campo co_qualname do objeto código.

Adicionado na versão 3.3.

PyObject *PyFunction_GetCode(PyObject *op)

Retorna valor: Referência emprestada.

Retorna o objeto código associado ao objeto função op.

PyObject *PyFunction_GetGlobals(PyObject *op)

Retorna valor: Referência emprestada.

Retorna o dicionário global associado ao objeto função op.

PyObject *PyFunction_GetModule(PyObject *op)

Retorna valor: Referência emprestada.

Retorna uma referência emprestada ao atributo __module__ do objeto função op. Pode ser NULL.

Normalmente, trata-se de um string contendo o nome do módulo, mas pode ser definido como qualquer outro objeto pelo código Python.

PyObject *PyFunction_GetDefaults(PyObject *op)

Retorna valor: Referência emprestada.

Retorna os valores-padrão de argumentos do objeto função op. Pode ser uma tupla de argumentos ou NULL.

int PyFunction_SetDefaults(PyObject *op, PyObject *defaults)

Define os valores-padrão dos argumentos do objeto função op. defaults deve ser Py_None ou uma tupla.

Levanta SystemError e retorna -1 em caso de falha.

void PyFunction_SetVectorcall(PyFunctionObject *func, vectorcallfunc vectorcall)

Define o campo vectorcall de um objeto função func.

Atenção: extensões que usam essa API devem preservar o comportamento inalterado (padrão) de uma função vectorcall!

Adicionado na versão 3.12.

PyObject *PyFunction_GetClosure(PyObject *op)

Retorna valor: Referência emprestada.

Retorna o fechamento associado ao objeto função op. Pode ser NULL ou uma tupla de objetos célula.

int PyFunction_SetClosure(PyObject *op, PyObject *closure)

Define o fechamento associado ao objeto função op. closure deve ser Py_None ou uma tupla de objetos de célula.

Levanta SystemError e retorna -1 em caso de falha.

PyObject *PyFunction_GetAnnotations(PyObject *op)

Retorna valor: Referência emprestada.

Retorna as anotações do objeto função op. Este pode ser um dicionário mutável ou NULL.

int PyFunction_SetAnnotations(PyObject *op, PyObject *annotations)

Define as anotações para o objeto função op. annotations deve ser um dicionário ou Py_None.

Levanta SystemError e retorna -1 em caso de falha.

int PyFunction_AddWatcher(PyFunction_WatchCallback callback)

Registra callback como uma sentinela de função para o interpretador atual. Retorna um ID que pode ser passado para PyFunction_ClearWatcher(). Em caso de erro (por exemplo, sem novos IDs de sentinelas disponíveis), retorna -1 e define uma exceção.

Adicionado na versão 3.12.

int PyFunction_ClearWatcher(int watcher_id)

Cancela o registro da sentinela identificada pelo watcher_id retornado por PyFunction_AddWatcher() para o interpretador atual. Retorna 0 em caso de sucesso, ou -1 e define uma exceção em caso de erro (por exemplo, ao receber um watcher_id desconhecido.)

Adicionado na versão 3.12.

type PyFunction_WatchEvent

Listagem de possíveis eventos de sentinelas de função: - PyFunction_EVENT_CREATE; - PyFunction_EVENT_DESTROY; - PyFunction_EVENT_MODIFY_CODE; - PyFunction_EVENT_MODIFY_DEFAULTS; - PyFunction_EVENT_MODIFY_KWDEFAULTS;

Adicionado na versão 3.12.

typedef int (*PyFunction_WatchCallback)(PyFunction_WatchEvent event, PyFunctionObject *func, PyObject *new_value)

Tipo de uma função de retorno de sentinela de função.

Se event for PyFunction_EVENT_CREATE ou PyFunction_EVENT_DESTROY, new_value será NULL. Senão, new_value portará uma referência emprestada ao novo valor prestes a ser guardado em func para o atributo que está sendo modificado.

A função de retorno poderá somente inspecionar, e não modificar func. Caso contrário, poderíamos ter efeitos imprevisíveis, incluindo recursão infinita.

Se event for PyFunction_EVENT_CREATE, a função de retorno será invocada após func ter sido completamente inicializada. Caso contrário, a função de retorno será invocada antes de modificar func, então o estado anterior de func poderá ser inspecionado. O ambiente de execução pode otimizar a criação de objetos função, quando possível, ao ignorá-las. Nesses casos, nenhum evento será emitido. Apesar de decisões de otimização criarem diferenças de comportamento em tempo de execução, elas não mudam a semântica do código Python sendo executado.

Se event for PyFunction_EVENT_DESTROY, então obter uma referência dentro da função de retorno para a função prestes a ser destruída irá revivê-la, impedindo que esta função seja liberada nesse tempo. Quando o objeto revivido for destruído, quaisquer funções de retorno sentinelas ativas nesse momento poderão ser chamadas novamente.

Se a função de retorno definir uma exceção, ela deverá retornar -1. Essa exceção será exibida como uma exceção não levantável usando PyErr_WriteUnraisable(). Caso contrário, deverá retornar 0.

É possível que já exista uma exceção pendente definida na entrada da função de retorno. Nesse caso, a função de retorno deve retornar 0 com a mesma exceção ainda definida. Isso significa que a função de retorno não pode chamar nenhuma outra API que possa definir uma exceção, a menos que salve e limpe o estado da exceção primeiro e restaure a exceção antes de retornar.

Adicionado na versão 3.12.

Objetos de Método de Instância

Um método de instância é um invólucro para um PyCFunction e a nova maneira de vincular um PyCFunction a um objeto classe. Ele substitui a chamada anterior PyMethod_New(func, NULL, class).

PyTypeObject PyInstanceMethod_Type

Esta instância de PyTypeObject representa o tipo de método de instância Python. Não é exposto a programas Python.

int PyInstanceMethod_Check(PyObject *o)

Retorna verdadeiro se o é um objeto de método de instância (tem tipo PyInstanceMethod_Type). O parâmetro não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PyInstanceMethod_New(PyObject *func)

Retorna valor: Nova referência.

Retorna um novo objeto de método de instância, com func sendo qualquer objeto chamável. func é a função que será chamada quando o método de instância for chamado.

PyObject *PyInstanceMethod_Function(PyObject *im)

Retorna valor: Referência emprestada.

Retorna o objeto função associado ao método de instância im.

PyObject *PyInstanceMethod_GET_FUNCTION(PyObject *im)

Retorna valor: Referência emprestada.

Versão macro de PyInstanceMethod_Function() que evita a verificação de erros.

Objetos método

Métodos são objetos função vinculados. Os métodos são sempre associados a uma instância de uma classe definida pelo usuário. Métodos não vinculados (métodos vinculados a um objeto de classe) não estão mais disponíveis.

PyTypeObject PyMethod_Type

Esta instância de PyTypeObject representa o tipo de método Python. Isso é exposto a programas Python como types.MethodType.

int PyMethod_Check(PyObject *o)

Retorna verdadeiro se o é um objeto de método (tem tipo PyMethod_Type). O parâmetro não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PyMethod_New(PyObject *func, PyObject *self)

Retorna valor: Nova referência.

Retorna um novo objeto de método, com func sendo qualquer objeto chamável e self a instância à qual o método deve ser vinculado. func é a função que será chamada quando o método for chamado. self não deve ser NULL.

PyObject *PyMethod_Function(PyObject *meth)

Retorna valor: Referência emprestada.

Retorna o objeto função associado ao método meth.

PyObject *PyMethod_GET_FUNCTION(PyObject *meth)

Retorna valor: Referência emprestada.

Versão macro de PyMethod_Function() que evita a verificação de erros.

PyObject *PyMethod_Self(PyObject *meth)

Retorna valor: Referência emprestada.

Retorna a instância associada com o método meth.

PyObject *PyMethod_GET_SELF(PyObject *meth)

Retorna valor: Referência emprestada.

Versão macro de PyMethod_Self() que evita a verificação de erros.

Objeto célula

Objetos “cell” são usados ​​para implementar variáveis ​​referenciadas por múltiplos escopos. Para cada variável, um objeto célula é criado para armazenar o valor; as variáveis ​​locais de cada quadro de pilha que referencia o valor contém uma referência para as células de escopos externos que também usam essa variável. Quando o valor é acessado, o valor contido na célula é usado em vez do próprio objeto da célula. Essa des-referência do objeto da célula requer suporte do código de bytes gerado; estes não são automaticamente desprezados quando acessados. Objetos de células provavelmente não serão úteis em outro lugar.

type PyCellObject

A estrutura C usada para objetos célula.

PyTypeObject PyCell_Type

O objeto de tipo correspondente aos objetos célula.

int PyCell_Check(PyObject *ob)

Retorna verdadeiro se ob for um objeto célula; ob não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PyCell_New(PyObject *ob)

Retorna valor: Nova referência.

Cria e retorna um novo objeto célula contendo o valor ob. O parâmetro pode ser NULL.

PyObject *PyCell_Get(PyObject *cell)

Retorna valor: Nova referência.

Retorna o conteúdo da célula cell, que pode ser NULL. Se cell não for um objeto célula, retorna NULL com um conjunto de exceções.

PyObject *PyCell_GET(PyObject *cell)

Retorna valor: Referência emprestada.

Retorna o conteúdo da célula cell, mas sem verificar se cell não é NULL e um objeto célula.

int PyCell_Set(PyObject *cell, PyObject *value)

Define o conteúdo do objeto da célula cell como value. Isso libera a referência a qualquer conteúdo atual da célula. value pode ser NULL. cell não pode ser NULL.

Em caso de sucesso, retorna 0. Se cell não for um objeto célula, define uma exceção e retorna -1.

void PyCell_SET(PyObject *cell, PyObject *value)

Define o valor do objeto da célula cell como value. Nenhuma contagem de referência é ajustada e nenhuma verificação é feita quanto à segurança; cell não pode ser NULL e deve ser um objeto célula.

Objetos código

Os objetos código são um detalhe de baixo nível da implementação do CPython. Cada um representa um pedaço de código executável que ainda não foi vinculado a uma função.

type PyCodeObject

A estrutura C dos objetos usados para descrever objetos código. Os campos deste tipo estão sujeitos a alterações a qualquer momento.

PyTypeObject PyCode_Type

Esta é uma instância de PyTypeObject representando o objeto código Python.

int PyCode_Check(PyObject *co)

Retorna verdadeiro se co for um objeto código. Esta função sempre tem sucesso.

Py_ssize_t PyCode_GetNumFree(PyCodeObject *co)

Retorna o número de variáveis livres (de clausura) em um objeto código.

int PyUnstable_Code_GetFirstFree(PyCodeObject *co)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Retorna a posição da primeira variável livre (de clausura) em um objeto código.

Alterado na versão 3.13: Renomeado de PyCode_GetFirstFree como parte da API C Instável. O nome antigo foi descontinuado, mas continuará disponível até que a assinatura mude novamente.

PyCodeObject *PyUnstable_Code_New(int argcount, int kwonlyargcount, int nlocals, int stacksize, int flags, PyObject *code, PyObject *consts, PyObject *names, PyObject *varnames, PyObject *freevars, PyObject *cellvars, PyObject *filename, PyObject *name, PyObject *qualname, int firstlineno, PyObject *linetable, PyObject *exceptiontable)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Devolve um novo objeto código. Se precisar de um objeto código vazio para criar um quadro, use PyCode_NewEmpty()

Como a definição de bytecode muda constantemente, chamar PyUnstable_Code_New() diretamente pode vinculá-lo a uma versão de Python específica.

Os vários argumentos desta função são inter-dependentes de maneiras complexas, significando que mesmo alterações discretas de valor tem chances de resultar em execução incorreta ou erros fatais de VM. Tenha extremo cuidado ao usar esta função.

Alterado na versão 3.11: Adicionou os parâmetros qualname e exceptiontable

Alterado na versão 3.12: Renomeado de PyCode_New como parte da API C Instável. O nome antigo foi descontinuado, mas continuará disponível até que a assinatura mude novamente.

PyCodeObject *PyUnstable_Code_NewWithPosOnlyArgs(int argcount, int posonlyargcount, int kwonlyargcount, int nlocals, int stacksize, int flags, PyObject *code, PyObject *consts, PyObject *names, PyObject *varnames, PyObject *freevars, PyObject *cellvars, PyObject *filename, PyObject *name, PyObject *qualname, int firstlineno, PyObject *linetable, PyObject *exceptiontable)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Similar a PyUnstable_Code_New(), mas com um “posonlyargcount” extra para argumentos somente-posicionais. As mesmas ressalvas que se aplicam a PyUnstable_Code_New também se aplicam a essa função.

Adicionado na versão 3.8: Como PyCode_NewWithPosOnlyArgs

Alterado na versão 3.11: Adicionados os parâmetros qualname e exceptiontable

Alterado na versão 3.12: Renomeado para PyUnstable_Code_NewWithPosOnlyArgs. O nome antigo foi descontinuado, mas continuará disponível até que a assinatura mude novamente.

PyCodeObject *PyCode_NewEmpty(const char *filename, const char *funcname, int firstlineno)

Retorna valor: Nova referência.

Retorna um novo objeto código vazio com o nome de arquivo, nome da função e número da primeira linha especificados. O objeto código resultante irá levantar uma Exception se executado.

int PyCode_Addr2Line(PyCodeObject *co, int byte_offset)

Retorna o número da linha da instrução que ocorre em ou antes de byte_offset e termina depois disso. Se você só precisa do número da linha de um quadro, use PyFrame_GetLineNumber().

Para iterar eficientemente sobre os números de linha em um objeto código, use a API descrita na PEP 626 [https://peps.python.org/pep-0626/#out-of-process-debuggers-and-profilers] .

int PyCode_Addr2Location(PyObject *co, int byte_offset, int *start_line, int *start_column, int *end_line, int *end_column)

Define os ponteiros int passados para a linha do código-fonte e os números da coluna para a instrução em byte_offset. Define o valor como 0 quando as informações não estão disponíveis para nenhum elemento em particular.

Retorna 1 se a função for bem-sucedida e 0 caso contrário.

Adicionado na versão 3.11.

PyObject *PyCode_GetCode(PyCodeObject *co)

Equivalente ao código Python getattr(co, 'co_code'). Retorna uma referência forte a um PyBytesObject representando o bytecode em um objeto código. Em caso de erro, NULL é retornado e uma exceção é levantada.

Este PyBytesObject pode ser criado sob demanda pelo interpretador e não representa necessariamente o bytecode realmente executado pelo CPython. O caso de uso primário para esta função são depuradores e criadores de perfil.

Adicionado na versão 3.11.

PyObject *PyCode_GetVarnames(PyCodeObject *co)

Equivalente ao código Python getattr(co, 'co_varnames'). Retorna uma nova referência a um PyTupleObject contendo os nomes das variáveis locais. Em caso de erro, NULL é retornado e uma exceção é levantada.

Adicionado na versão 3.11.

PyObject *PyCode_GetCellvars(PyCodeObject *co)

Equivalente ao código Python getattr(co, 'co_cellvars'). Retorna uma nova referência a um PyTupleObject contendo os nomes das variáveis locais referenciadas por funções aninhadas. Em caso de erro, NULL é retornado e uma exceção é levantada.

Adicionado na versão 3.11.

PyObject *PyCode_GetFreevars(PyCodeObject *co)

Equivalente ao código Python getattr(co, 'co_freevars'). Retorna uma nova referência a um PyTupleObject contendo os nomes das variáveis livres (de clausura). Em caso de erro, NULL é retornado e uma exceção é levantada.

Adicionado na versão 3.11.

int PyCode_AddWatcher(PyCode_WatchCallback callback)

Registra callback como um observador do objeto código para o interpretador atual. Devolve um ID que pode ser passado para PyCode_ClearWatcher(). Em caso de erro (por exemplo, não há IDs de observadores disponíveis), devolve -1 e define uma exceção.

Adicionado na versão 3.12.

int PyCode_ClearWatcher(int watcher_id)

Libera o observador identificado por watcher_id anteriormente retornado por PyCode_AddWatcher() para o interpretador atual. Retorna 0 em caso de sucesso ou -1 em caso de erro e levanta uma exceção (ex., se o watcher_id dado não foi registrado.)

Adicionado na versão 3.12.

type PyCodeEvent

Enumeração dos possíveis eventos de observador do objeto código: PY_CODE_EVENT_CREATE - PY_CODE_EVENT_DESTROY

Adicionado na versão 3.12.

typedef int (*PyCode_WatchCallback)(PyCodeEvent event, PyCodeObject *co)

Tipo de uma função de callback de observador de objeto código.

Se evento é PY_CODE_EVENT_CREATE, então a função de retorno é invocada após co`ter sido completamente inicializado. Senão, a função de retorno é invocada antes que a destruição de `co ocorra, para que o estado anterior de co possa ser inspecionado.

Se evento for PY_CODE_EVENT_DESTROY, obter uma referência para a função de retorno do objeto-a-ser-destruído irá reativá-lo e impedirá que o objeto seja liberado. Quando o objeto reativado é posteriormente destruído, qualquer observador de funções de retorno ativos naquele momento serão chamados novamente.

Usuários desta API não devem depender de detalhes internos de implementação em tempo de execução. Tais detalhes podem incluir, mas não estão limitados a: o ordem e o momento exatos da criação e destruição de objetos código. Enquanto alterações nestes detalhes podem resultar em diferenças que são visíveis para os observadores (incluindo se uma função de retorno é chamada ou não), isso não muda a semântica do código Python executado.

Se a função de retorno definir uma exceção, ela deverá retornar -1; essa exceção será impressa como uma exceção não reprovável usando PyErr_WriteUnraisable(). Caso contrário, deverá retornar 0.

É possível que já exista uma exceção pendente definida na entrada da função de retorno. Nesse caso, a função de retorno deve retornar 0 com a mesma exceção ainda definida. Isso significa que a função de retorno não pode chamar nenhuma outra API que possa definir uma exceção, a menos que salve e limpe o estado da exceção primeiro e o restaure antes de retornar.

Adicionado na versão 3.12.

Informação adicional

Para suportar extensões de baixo nível de avaliação de quadro (frame), tais como compiladores “just-in-time”, é possível anexar dados arbitrários adicionais a objetos código.

Estas funções são parte da camada instável da API C: Essa funcionalidade é um detalhe de implementação do CPython, e a API pode mudar sem avisos de descontinuidade.

Py_ssize_t PyUnstable_Eval_RequestCodeExtraIndex(freefunc free)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Retorna um novo e opaco valor de índice usado para adicionar dados a objetos código.

Geralmente, você chama esta função apenas uma vez (por interpretador) e usa o resultado com PyCode_GetExtra e PyCode_SetExtra para manipular dados em objetos código individuais.

Se free não for NULL: quando o objeto código é desalocado, free será chamado em dados não-NULL armazenados sob o novo índice. Use Py_DecRef() quando armazenar PyObject.

Adicionado na versão 3.6: como _PyEval_RequestCodeExtraIndex

Alterado na versão 3.12: Renomeado para PyUnstable_Eval_RequestCodeExtraIndex. O nome antigo nome privado foi descontinuado, mas continuará disponível até a mudança da API.

int PyUnstable_Code_GetExtra(PyObject *code, Py_ssize_t index, void **extra)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Define extra para os dados adicionais armazenados sob o novo índice dado. Retorna 0 em caso de sucesso. Define uma exceção e retorna -1 em caso de erro.

Se nenhum dado foi determinado sob o índice, define extra como NULL e retorna 0 sem definir nenhuma exceção.

Adicionado na versão 3.6: como _PyCode_GetExtra

Alterado na versão 3.12: Renomeado para PyUnstable_Code_GetExtra. O nome antigo privado foi descontinuado, mas continuará disponível até a mudança da API.

int PyUnstable_Code_SetExtra(PyObject *code, Py_ssize_t index, void *extra)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Define os dados extras armazenados sob o índice dado a extra. Retorna 0 em caso de sucesso. Define uma exceção e retorna -1 em caso de erro.

Adicionado na versão 3.6: como _PyCode_SetExtra

Alterado na versão 3.12: Renomeado para PyUnstable_Code_SetExtra. O nome antigo privado foi descontinuado, mas continuará disponível até a mudança da API.

Objetos arquivos

Essas APIs são uma emulação mínima da API C do Python 2 para objetos arquivo embutidos, que costumavam depender do suporte de E/S em buffer (FILE*) da biblioteca C padrão. No Python 3, arquivos e streams usam o novo módulo io, que define várias camadas sobre a E/S sem buffer de baixo nível do sistema operacional. As funções descritas a seguir são invólucros de conveniência para o C sobre essas novas APIs e são destinadas principalmente para relatórios de erros internos no interpretador; código de terceiros é recomendado para acessar as APIs de io.

PyObject *PyFile_FromFd(int fd, const char *name, const char *mode, int buffering, const char *encoding, const char *errors, const char *newline, int closefd)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um objeto arquivo Python a partir do descritor de arquivo de um arquivo já aberto fd. Os argumentos name, encoding, errors and newline podem ser NULL para usar os padrões; buffering pode ser -1 para usar o padrão. name é ignorado e mantido para compatibilidade com versões anteriores. Retorna NULL em caso de falha. Para uma descrição mais abrangente dos argumentos, consulte a documentação da função io.open().

Aviso

Como os streams do Python têm sua própria camada de buffer, combiná-los com os descritores de arquivo no nível do sistema operacional pode produzir vários problemas (como ordenação inesperada de dados).

Alterado na versão 3.2: Ignora atributo name.

int PyObject_AsFileDescriptor(PyObject *p)

Parte da ABI Estável.

Retorna o descritor de arquivo associado a p como um int. Se o objeto for um inteiro, seu valor será retornado. Caso contrário, o método fileno() do objeto será chamado se existir; o método deve retornar um inteiro, que é retornado como o valor do descritor de arquivo. Define uma exceção e retorna -1 em caso de falha.

PyObject *PyFile_GetLine(PyObject *p, int n)

Retorna valor: Nova referência. Parte da ABI Estável.

Equivalente a p.readline([n]), esta função lê uma linha do objeto p. p pode ser um objeto arquivo ou qualquer objeto com um método readline(). Se n for 0, exatamente uma linha é lida, independentemente do comprimento da linha. Se n for maior que 0, não mais do que n bytes serão lidos do arquivo; uma linha parcial pode ser retornada. Em ambos os casos, uma string vazia é retornada se o final do arquivo for alcançado imediatamente. Se n for menor que 0, entretanto, uma linha é lida independentemente do comprimento, mas EOFError é levantada se o final do arquivo for alcançado imediatamente.

int PyFile_SetOpenCodeHook(Py_OpenCodeHookFunction handler)

Substitui o comportamento normal de io.open_code() para passar seu parâmetro por meio do manipulador fornecido.

O handler é uma função do tipo:

typedef PyObject *(*Py_OpenCodeHookFunction)(PyObject*, void*)

Equivalente de PyObject *(*)(PyObject *path, void *userData), sendo path garantido como sendo PyUnicodeObject.

O ponteiro userData é passado para a função de gancho. Como as funções de gancho podem ser chamadas de diferentes tempos de execução, esse ponteiro não deve se referir diretamente ao estado do Python.

Como este gancho é usado intencionalmente durante a importação, evite importar novos módulos durante sua execução, a menos que eles estejam congelados ou disponíveis em sys.modules.

Uma vez que um gancho foi definido, ele não pode ser removido ou substituído, e chamadas posteriores para PyFile_SetOpenCodeHook() irão falhar. Em caso de falha, a função retorna -1 e define uma exceção se o interpretador foi inicializado.

É seguro chamar esta função antes Py_Initialize().

Levanta um evento de auditoria setopencodehook sem argumentos.

Adicionado na versão 3.8.

int PyFile_WriteObject(PyObject *obj, PyObject *p, int flags)

Parte da ABI Estável.

Escreve o objeto obj no objeto arquivo p. O único sinalizador suportado para flags é Py_PRINT_RAW; se fornecido, o str() do objeto é escrito em vez de repr(). Retorna 0 em caso de sucesso ou -1 em caso de falha; a exceção apropriada será definida.

int PyFile_WriteString(const char *s, PyObject *p)

Parte da ABI Estável.

Escreve a string s no objeto arquivo p. Retorna 0 em caso de sucesso ou -1 em caso de falha; a exceção apropriada será definida.

Objetos do Módulo

PyTypeObject PyModule_Type

Parte da ABI Estável.

Esta instância de PyTypeObject representa o tipo de módulo Python. Isso é exposto a programas Python como types.ModuleType.

int PyModule_Check(PyObject *p)

Retorna true se p for um objeto de módulo ou um subtipo de um objeto de módulo. Esta função sempre é bem-sucedida.

int PyModule_CheckExact(PyObject *p)

Retorna true se p for um objeto de módulo, mas não um subtipo de PyModule_Type. Essa função é sempre bem-sucedida.

PyObject *PyModule_NewObject(PyObject *name)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Return a new module object with module.__name__ set to name. The module’s __name__, __doc__, __package__ and __loader__ attributes are filled in (all but __name__ are set to None). The caller is responsible for setting a __file__ attribute.

Retorna NULL com uma exceção definida em caso de erro.

Adicionado na versão 3.3.

Alterado na versão 3.4: __package__ and __loader__ are now set to None.

PyObject *PyModule_New(const char *name)

Retorna valor: Nova referência. Parte da ABI Estável.

Semelhante a PyModule_NewObject(), mas o nome é uma string codificada em UTF-8 em vez de um objeto Unicode.

PyObject *PyModule_GetDict(PyObject *module)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna o objeto dicionário que implementa o espaço de nomes de module; este objeto é o mesmo que o atributo __dict__ do objeto de módulo. Se module não for um objeto de módulo (ou um subtipo de um objeto de módulo), SystemError é levantada e NULL é retornado.

É recomendado que as extensões usem outras funções PyModule_* e PyObject_* em vez de manipular diretamente o __dict__ de um módulo.

PyObject *PyModule_GetNameObject(PyObject *module)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Return module’s __name__ value. If the module does not provide one, or if it is not a string, SystemError is raised and NULL is returned.

Adicionado na versão 3.3.

const char *PyModule_GetName(PyObject *module)

Parte da ABI Estável.

Semelhante a PyModule_GetNameObject() mas retorna o nome codificado em 'utf-8'

void *PyModule_GetState(PyObject *module)

Parte da ABI Estável.

Retorna o “estado” do módulo, ou seja, um ponteiro para o bloco de memória alocado no momento de criação do módulo, ou NULL. Ver PyModuleDef.m_size.

PyModuleDef *PyModule_GetDef(PyObject *module)

Parte da ABI Estável.

Retorna um ponteiro para a estrutura PyModuleDef da qual o módulo foi criado, ou NULL se o módulo não foi criado de uma definição.

PyObject *PyModule_GetFilenameObject(PyObject *module)

Retorna valor: Nova referência. Parte da ABI Estável.

Return the name of the file from which module was loaded using module’s __file__ attribute. If this is not defined, or if it is not a string, raise SystemError and return NULL; otherwise return a reference to a Unicode object.

Adicionado na versão 3.2.

const char *PyModule_GetFilename(PyObject *module)

Parte da ABI Estável.

Semelhante a PyModule_GetFilenameObject() mas retorna o nome do arquivo codificado em ‘utf-8’.

Obsoleto desde a versão 3.2: PyModule_GetFilename(): levanta UnicodeEncodeError quando há nomes de arquivos não codificáveis, use PyModule_GetFilenameObject().

Inicializando módulos C

Objetos de módulos são geralmente criados a partir de módulos de extensão (bibliotecas compartilhadas que exportam uma função de inicialização), ou módulos compilados (onde a função de inicialização é adicionada usando PyImport_AppendInittab()). Ver Construindo extensões C e C++ ou Extending Embedded Python para mais detalhes.

A função de inicialização pode passar uma instância de definição de módulo para PyModule_Create() e retornar o objeto de módulo resultante ou solicitar “inicialização multifásica” retornando a própria estrutura de definição.

type PyModuleDef

Parte da ABI Estável (incluindo todos os membros).

A estrutura de definição de módulo, que contém todas as informações necessária para criar um objeto de módulo. Geralmente, há apenas uma variável inicializada estaticamente desse tipo para cada módulo.

PyModuleDef_Base m_base

Sempre inicializa este membro para PyModuleDef_HEAD_INIT.

const char *m_name

Nome para o novo módulo.

const char *m_doc

Docstring para o módulo; geralmente uma variável docstring criada com PyDoc_STRVAR é usada.

Py_ssize_t m_size

O estado do módulo pode ser mantido em uma área de memória por módulo que pode ser recuperada com PyModule_GetState(), em vez de em globais estáticos. Isso torna os módulos seguros para uso em vários subinterpretadores.

Esta área de memória é alocada com base em m_size na criação do módulo e liberada quando o objeto do módulo é desalocado, após a função m_free ter sido chamada, se presente.

Definir m_size como -1 significa que o módulo não oferece suporte a subinterpretadores, porque ele tem estado global.

Defini-lo como um valor não negativo significa que o módulo pode ser reinicializado e especifica a quantidade adicional de memória necessária para seu estado. m_size não negativo é necessário para inicialização multifásica.

Ver PEP 3121 [https://peps.python.org/pep-3121/] para mais detalhes.

PyMethodDef *m_methods

Um ponteiro para uma tabela de funções de nível de módulo, descritas por valores PyMethodDef. Pode ser NULL se nenhuma função estiver presente.

PyModuleDef_Slot *m_slots

Uma matriz de definições de slot para inicialização multifásica, terminada por uma entrada {0, NULL}. Ao usar inicialização monofásica, m_slots deve ser NULL.

Alterado na versão 3.5: Antes da versão 3.5, esse membro era sempre definido como NULL e era definido como:

inquiry m_reload

traverseproc m_traverse

Uma função de travessia para chamar durante a travessia do GC do objeto do módulo, ou NULL se não for necessário.

Esta função não é mais chamada se o estado do módulo foi solicitado, mas ainda não está alocado. Este é o caso imediatamente após o módulo ser criado e antes de o módulo ser executado (função Py_mod_exec). Mais precisamente, esta função não é chamada se m_size for maior que 0 e o estado do módulo (como retornado por PyModule_GetState()) for NULL.

Alterado na versão 3.9: Não é mais chamado antes que o estado do módulo seja alocado.

inquiry m_clear

Uma função de limpeza para chamar durante a limpeza do GC do objeto do módulo, ou NULL se não for necessário.

Esta função não é mais chamada se o estado do módulo foi solicitado, mas ainda não está alocado. Este é o caso imediatamente após o módulo ser criado e antes de o módulo ser executado (função Py_mod_exec). Mais precisamente, esta função não é chamada se m_size for maior que 0 e o estado do módulo (como retornado por PyModule_GetState()) for NULL.

Like PyTypeObject.tp_clear, this function is not always called before a module is deallocated. For example, when reference counting is enough to determine that an object is no longer used, the cyclic garbage collector is not involved and m_free is called directly.

Alterado na versão 3.9: Não é mais chamado antes que o estado do módulo seja alocado.

freefunc m_free

Uma função para ser chamada durante a desalocação do objeto do módulo, ou NULL se não for necessário.

Esta função não é mais chamada se o estado do módulo foi solicitado, mas ainda não está alocado. Este é o caso imediatamente após o módulo ser criado e antes de o módulo ser executado (função Py_mod_exec). Mais precisamente, esta função não é chamada se m_size for maior que 0 e o estado do módulo (como retornado por PyModule_GetState()) for NULL.

Alterado na versão 3.9: Não é mais chamado antes que o estado do módulo seja alocado.

inicialização de fase única

A função de inicialização do módulo pode criar e retornar o objeto do módulo diretamente. Isso é chamado de “inicialização de fase única” e usa uma das duas funções de criação de módulo a seguir:

PyObject *PyModule_Create(PyModuleDef *def)

Retorna valor: Nova referência.

Create a new module object, given the definition in def. This behaves like PyModule_Create2() with module_api_version set to PYTHON_API_VERSION.

PyObject *PyModule_Create2(PyModuleDef *def, int module_api_version)

Retorna valor: Nova referência. Parte da ABI Estável.

Create a new module object, given the definition in def, assuming the API version module_api_version. If that version does not match the version of the running interpreter, a RuntimeWarning is emitted.

Retorna NULL com uma exceção definida em caso de erro.

Nota

A maioria dos usos dessa função deve ser feita com PyModule_Create(); use-o apenas se tiver certeza de que precisa.

Before it is returned from in the initialization function, the resulting module object is typically populated using functions like PyModule_AddObjectRef().

Inicialização multifásica

An alternate way to specify extensions is to request “multi-phase initialization”. Extension modules created this way behave more like Python modules: the initialization is split between the creation phase, when the module object is created, and the execution phase, when it is populated. The distinction is similar to the __new__() and __init__() methods of classes.

Unlike modules created using single-phase initialization, these modules are not singletons: if the sys.modules entry is removed and the module is re-imported, a new module object is created, and the old module is subject to normal garbage collection – as with Python modules. By default, multiple modules created from the same definition should be independent: changes to one should not affect the others. This means that all state should be specific to the module object (using e.g. using PyModule_GetState()), or its contents (such as the module’s __dict__ or individual classes created with PyType_FromSpec()).

All modules created using multi-phase initialization are expected to support sub-interpreters. Making sure multiple modules are independent is typically enough to achieve this.

To request multi-phase initialization, the initialization function (PyInit_modulename) returns a PyModuleDef instance with non-empty m_slots. Before it is returned, the PyModuleDef instance must be initialized with the following function:

PyObject *PyModuleDef_Init(PyModuleDef *def)

Retorna valor: Referência emprestada. Parte da ABI Estável desde a versão 3.5.

Garante que uma definição de módulo é um objeto Python devidamente inicializado que reporta corretamente seu tipo e contagem de referências.

Returns def cast to PyObject*, or NULL if an error occurred.

Adicionado na versão 3.5.

The m_slots member of the module definition must point to an array of PyModuleDef_Slot structures:

type PyModuleDef_Slot

int slot

Um ID de lot, escolhido a partir dos valores disponíveis explicados abaixo.

void *value

Valor do slot, cujo significado depende do ID do slot.

Adicionado na versão 3.5.

The m_slots array must be terminated by a slot with id 0.

Os tipos de slot disponíveis são:

Py_mod_create

Specifies a function that is called to create the module object itself. The value pointer of this slot must point to a function of the signature:

PyObject *create_module(PyObject *spec, PyModuleDef *def)

The function receives a ModuleSpec instance, as defined in PEP 451 [https://peps.python.org/pep-0451/], and the module definition. It should return a new module object, or set an error and return NULL.

This function should be kept minimal. In particular, it should not call arbitrary Python code, as trying to import the same module again may result in an infinite loop.

Múltiplos slots Py_mod_create podem não estar especificados em uma definição de módulo.

If Py_mod_create is not specified, the import machinery will create a normal module object using PyModule_New(). The name is taken from spec, not the definition, to allow extension modules to dynamically adjust to their place in the module hierarchy and be imported under different names through symlinks, all while sharing a single module definition.

There is no requirement for the returned object to be an instance of PyModule_Type. Any type can be used, as long as it supports setting and getting import-related attributes. However, only PyModule_Type instances may be returned if the PyModuleDef has non-NULL m_traverse, m_clear, m_free; non-zero m_size; or slots other than Py_mod_create.

Py_mod_exec

Specifies a function that is called to execute the module. This is equivalent to executing the code of a Python module: typically, this function adds classes and constants to the module. The signature of the function is:

int exec_module(PyObject *module)

Se vários slots Py_mod_exec forem especificados, eles serão processados na ordem em que aparecem no vetor m_slots.

Py_mod_multiple_interpreters

Specifies one of the following values:

Py_MOD_MULTIPLE_INTERPRETERS_NOT_SUPPORTED

The module does not support being imported in subinterpreters.

Py_MOD_MULTIPLE_INTERPRETERS_SUPPORTED

The module supports being imported in subinterpreters, but only when they share the main interpreter’s GIL. (See Isolando módulos de extensão.)

Py_MOD_PER_INTERPRETER_GIL_SUPPORTED

The module supports being imported in subinterpreters, even when they have their own GIL. (See Isolando módulos de extensão.)

This slot determines whether or not importing this module in a subinterpreter will fail.

Multiple Py_mod_multiple_interpreters slots may not be specified in one module definition.

If Py_mod_multiple_interpreters is not specified, the import machinery defaults to Py_MOD_MULTIPLE_INTERPRETERS_NOT_SUPPORTED.

Adicionado na versão 3.12.

Py_mod_gil

Specifies one of the following values:

Py_MOD_GIL_USED

The module depends on the presence of the global interpreter lock (GIL), and may access global state without synchronization.

Py_MOD_GIL_NOT_USED

The module is safe to run without an active GIL.

This slot is ignored by Python builds not configured with --disable-gil. Otherwise, it determines whether or not importing this module will cause the GIL to be automatically enabled. See CPython com threads livres for more detail.

Multiple Py_mod_gil slots may not be specified in one module definition.

If Py_mod_gil is not specified, the import machinery defaults to Py_MOD_GIL_USED.

Adicionado na versão 3.13.

Ver PEP 489 [https://peps.python.org/pep-0489/] para obter mais detalhes sobre a inicialização multifásica.

Funções de criação de módulo de baixo nível

The following functions are called under the hood when using multi-phase initialization. They can be used directly, for example when creating module objects dynamically. Note that both PyModule_FromDefAndSpec and PyModule_ExecDef must be called to fully initialize a module.

PyObject *PyModule_FromDefAndSpec(PyModuleDef *def, PyObject *spec)

Retorna valor: Nova referência.

Create a new module object, given the definition in def and the ModuleSpec spec. This behaves like PyModule_FromDefAndSpec2() with module_api_version set to PYTHON_API_VERSION.

Adicionado na versão 3.5.

PyObject *PyModule_FromDefAndSpec2(PyModuleDef *def, PyObject *spec, int module_api_version)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Create a new module object, given the definition in def and the ModuleSpec spec, assuming the API version module_api_version. If that version does not match the version of the running interpreter, a RuntimeWarning is emitted.

Retorna NULL com uma exceção definida em caso de erro.

Nota

Most uses of this function should be using PyModule_FromDefAndSpec() instead; only use this if you are sure you need it.

Adicionado na versão 3.5.

int PyModule_ExecDef(PyObject *module, PyModuleDef *def)

Parte da ABI Estável desde a versão 3.7.

Process any execution slots (Py_mod_exec) given in def.

Adicionado na versão 3.5.

int PyModule_SetDocString(PyObject *module, const char *docstring)

Parte da ABI Estável desde a versão 3.7.

Set the docstring for module to docstring. This function is called automatically when creating a module from PyModuleDef, using either PyModule_Create or PyModule_FromDefAndSpec.

Adicionado na versão 3.5.

int PyModule_AddFunctions(PyObject *module, PyMethodDef *functions)

Parte da ABI Estável desde a versão 3.7.

Add the functions from the NULL terminated functions array to module. Refer to the PyMethodDef documentation for details on individual entries (due to the lack of a shared module namespace, module level “functions” implemented in C typically receive the module as their first parameter, making them similar to instance methods on Python classes). This function is called automatically when creating a module from PyModuleDef, using either PyModule_Create or PyModule_FromDefAndSpec.

Adicionado na versão 3.5.

Support functions

The module initialization function (if using single phase initialization) or a function called from a module execution slot (if using multi-phase initialization), can use the following functions to help initialize the module state:

int PyModule_AddObjectRef(PyObject *module, const char *name, PyObject *value)

Parte da ABI Estável desde a versão 3.10.

Add an object to module as name. This is a convenience function which can be used from the module’s initialization function.

On success, return 0. On error, raise an exception and return -1.

Return -1 if value is NULL. It must be called with an exception raised in this case.

Exemplo de uso:

static int
add_spam(PyObject *module, int value)
{
    PyObject *obj = PyLong_FromLong(value);
    if (obj == NULL) {
        return -1;
    }
    int res = PyModule_AddObjectRef(module, "spam", obj);
    Py_DECREF(obj);
    return res;
 }

O exemplo também pode ser escrito sem verificar explicitamente se obj é NULL:

static int
add_spam(PyObject *module, int value)
{
    PyObject *obj = PyLong_FromLong(value);
    int res = PyModule_AddObjectRef(module, "spam", obj);
    Py_XDECREF(obj);
    return res;
 }

Note that Py_XDECREF() should be used instead of Py_DECREF() in this case, since obj can be NULL.

The number of different name strings passed to this function should be kept small, usually by only using statically allocated strings as name. For names that aren’t known at compile time, prefer calling PyUnicode_FromString() and PyObject_SetAttr() directly. For more details, see PyUnicode_InternFromString(), which may be used internally to create a key object.

Adicionado na versão 3.10.

int PyModule_Add(PyObject *module, const char *name, PyObject *value)

Parte da ABI Estável desde a versão 3.13.

Similar to PyModule_AddObjectRef(), but “steals” a reference to value. It can be called with a result of function that returns a new reference without bothering to check its result or even saving it to a variable.

Exemplo de uso:

if (PyModule_Add(module, "spam", PyBytes_FromString(value)) < 0) {
    goto error;
}

Adicionado na versão 3.13.

int PyModule_AddObject(PyObject *module, const char *name, PyObject *value)

Parte da ABI Estável.

Similar to PyModule_AddObjectRef(), but steals a reference to value on success (if it returns 0).

The new PyModule_Add() or PyModule_AddObjectRef() functions are recommended, since it is easy to introduce reference leaks by misusing the PyModule_AddObject() function.

Nota

Unlike other functions that steal references, PyModule_AddObject() only releases the reference to value on success.

This means that its return value must be checked, and calling code must Py_XDECREF() value manually on error.

Exemplo de uso:

PyObject *obj = PyBytes_FromString(value);
if (PyModule_AddObject(module, "spam", obj) < 0) {
    // If 'obj' is not NULL and PyModule_AddObject() failed,
    // 'obj' strong reference must be deleted with Py_XDECREF().
    // If 'obj' is NULL, Py_XDECREF() does nothing.
    Py_XDECREF(obj);
    goto error;
}
// PyModule_AddObject() stole a reference to obj:
// Py_XDECREF(obj) is not needed here.

Obsoleto desde a versão 3.13: PyModule_AddObject() is soft deprecated.

int PyModule_AddIntConstant(PyObject *module, const char *name, long value)

Parte da ABI Estável.

Add an integer constant to module as name. This convenience function can be used from the module’s initialization function. Return -1 with an exception set on error, 0 on success.

This is a convenience function that calls PyLong_FromLong() and PyModule_AddObjectRef(); see their documentation for details.

int PyModule_AddStringConstant(PyObject *module, const char *name, const char *value)

Parte da ABI Estável.

Add a string constant to module as name. This convenience function can be used from the module’s initialization function. The string value must be NULL-terminated. Return -1 with an exception set on error, 0 on success.

This is a convenience function that calls PyUnicode_InternFromString() and PyModule_AddObjectRef(); see their documentation for details.

PyModule_AddIntMacro(module, macro)

Add an int constant to module. The name and the value are taken from macro. For example PyModule_AddIntMacro(module, AF_INET) adds the int constant AF_INET with the value of AF_INET to module. Return -1 with an exception set on error, 0 on success.

PyModule_AddStringMacro(module, macro)

Add a string constant to module.

int PyModule_AddType(PyObject *module, PyTypeObject *type)

Parte da ABI Estável desde a versão 3.10.

Add a type object to module. The type object is finalized by calling internally PyType_Ready(). The name of the type object is taken from the last component of tp_name after dot. Return -1 with an exception set on error, 0 on success.

Adicionado na versão 3.9.

int PyUnstable_Module_SetGIL(PyObject *module, void *gil)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Indicate that module does or does not support running without the global interpreter lock (GIL), using one of the values from Py_mod_gil. It must be called during module’s initialization function. If this function is not called during module initialization, the import machinery assumes the module does not support running without the GIL. This function is only available in Python builds configured with --disable-gil. Return -1 with an exception set on error, 0 on success.

Adicionado na versão 3.13.

Pesquisa por módulos

Single-phase initialization creates singleton modules that can be looked up in the context of the current interpreter. This allows the module object to be retrieved later with only a reference to the module definition.

These functions will not work on modules created using multi-phase initialization, since multiple such modules can be created from a single definition.

PyObject *PyState_FindModule(PyModuleDef *def)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Returns the module object that was created from def for the current interpreter. This method requires that the module object has been attached to the interpreter state with PyState_AddModule() beforehand. In case the corresponding module object is not found or has not been attached to the interpreter state yet, it returns NULL.

int PyState_AddModule(PyObject *module, PyModuleDef *def)

Parte da ABI Estável desde a versão 3.3.

Attaches the module object passed to the function to the interpreter state. This allows the module object to be accessible via PyState_FindModule().

Only effective on modules created using single-phase initialization.

Python calls PyState_AddModule automatically after importing a module, so it is unnecessary (but harmless) to call it from module initialization code. An explicit call is needed only if the module’s own init code subsequently calls PyState_FindModule. The function is mainly intended for implementing alternative import mechanisms (either by calling it directly, or by referring to its implementation for details of the required state updates).

The caller must hold the GIL.

Retorna -1 com uma exceção definida em caso de erro, 0 em caso de sucesso.

Adicionado na versão 3.3.

int PyState_RemoveModule(PyModuleDef *def)

Parte da ABI Estável desde a versão 3.3.

Removes the module object created from def from the interpreter state. Return -1 with an exception set on error, 0 on success.

The caller must hold the GIL.

Adicionado na versão 3.3.

Objetos Iteradores

O Python fornece dois objetos iteradores de propósito geral. O primeiro, um iterador de sequência, trabalha com uma sequência arbitrária suportando o método __getitem__(). O segundo trabalha com um objeto chamável e um valor de sentinela, chamando o chamável para cada item na sequência e finalizando a iteração quando o valor de sentinela é retornado.

PyTypeObject PySeqIter_Type

Parte da ABI Estável.

Objeto de tipo para objetos iteradores retornados por PySeqIter_New() e a forma de um argumento da função embutida iter() para os tipos de sequência embutidos.

int PySeqIter_Check(PyObject *op)

Retorna true se o tipo de op for PySeqIter_Type. Esta função sempre é bem-sucedida.

PyObject *PySeqIter_New(PyObject *seq)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um iterador que funcione com um objeto de sequência geral, seq. A iteração termina quando a sequência levanta IndexError para a operação de assinatura.

PyTypeObject PyCallIter_Type

Parte da ABI Estável.

Objeto de tipo para objetos iteradores retornados por PyCallIter_New() e a forma de dois argumentos da função embutida iter().

int PyCallIter_Check(PyObject *op)

Retorna true se o tipo de op for PyCallIter_Type. Esta função sempre é bem-sucedida.

PyObject *PyCallIter_New(PyObject *callable, PyObject *sentinel)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo iterador. O primeiro parâmetro, callable, pode ser qualquer objeto chamável do Python que possa ser chamado sem parâmetros; cada chamada deve retornar o próximo item na iteração. Quando callable retorna um valor igual a sentinel, a iteração será encerrada.

Objetos Descritores

“Descritores” são objetos que descrevem algum atributo de um objeto. Eles são encontrados no dicionário de objetos de tipo.

PyTypeObject PyProperty_Type

Parte da ABI Estável.

O tipo de objeto para os tipos de descritores embutidos.

PyObject *PyDescr_NewGetSet(PyTypeObject *type, struct PyGetSetDef *getset)

Retorna valor: Nova referência. Parte da ABI Estável.

PyObject *PyDescr_NewMember(PyTypeObject *type, struct PyMemberDef *meth)

Retorna valor: Nova referência. Parte da ABI Estável.

PyObject *PyDescr_NewMethod(PyTypeObject *type, struct PyMethodDef *meth)

Retorna valor: Nova referência. Parte da ABI Estável.

PyObject *PyDescr_NewWrapper(PyTypeObject *type, struct wrapperbase *wrapper, void *wrapped)

Retorna valor: Nova referência.

PyObject *PyDescr_NewClassMethod(PyTypeObject *type, PyMethodDef *method)

Retorna valor: Nova referência. Parte da ABI Estável.

int PyDescr_IsData(PyObject *descr)

Retorna não-zero se os objetos descritores descr descrevem um atributo de dados, ou 0 se os mesmos descrevem um método. descr deve ser um objeto descritor; não há verificação de erros.

PyObject *PyWrapper_New(PyObject*, PyObject*)

Retorna valor: Nova referência. Parte da ABI Estável.

Objetos Slice

PyTypeObject PySlice_Type

Parte da ABI Estável.

Tipo de objeto para objetos fatia. Isso é o mesmo que slice na camada Python.

int PySlice_Check(PyObject *ob)

Retorna true se ob for um objeto fatia; ob não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PySlice_New(PyObject *start, PyObject *stop, PyObject *step)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um novo objeto fatia com os valores fornecidos. Os parâmetros start, stop e step são usados como os valores dos atributos do objeto fatia com os mesmos nomes. Qualquer um dos valores pode ser NULL, caso em que None será usado para o atributo correspondente.

Retorna NULL com uma exceção definida se o novo objeto não puder ser alocado.

int PySlice_GetIndices(PyObject *slice, Py_ssize_t length, Py_ssize_t *start, Py_ssize_t *stop, Py_ssize_t *step)

Parte da ABI Estável.

Recupera os índices de início, parada e intermediário do objeto fatia slice, presumindo uma sequência de comprimento length. Trata índices maiores que length como erros.

Retorna 0 em caso de sucesso e -1 em caso de erro sem exceção definida (a menos que um dos índices não fosse None e falhou ao ser convertido para um inteiro, neste caso -1 é retornado com uma exceção definida).

Você provavelmente não deseja usar esta função.

Alterado na versão 3.2: O tipo de parâmetro para o parâmetro slice era antes de PySliceObject*.

int PySlice_GetIndicesEx(PyObject *slice, Py_ssize_t length, Py_ssize_t *start, Py_ssize_t *stop, Py_ssize_t *step, Py_ssize_t *slicelength)

Parte da ABI Estável.

Substituição utilizável para PySlice_GetIndices(). Recupera os índices de início, parada e intermediário do objeto fatia slice presumindo uma sequência de comprimento length e armazena o comprimento da fatia em slicelength. Índices fora dos limites são cortados de maneira consistente com o tratamento de fatias normais.

Retorna 0 em caso de sucesso e -1 em caso de erro com uma exceção definida.

Nota

Esta função não é considerada segura para sequências redimensionáveis. Sua invocação deve ser substituída por uma combinação de PySlice_Unpack() e PySlice_AdjustIndices() sendo

if (PySlice_GetIndicesEx(slice, length, &start, &stop, &step, &slicelength) < 0) {
    // return error
}

substituído por

if (PySlice_Unpack(slice, &start, &stop, &step) < 0) {
    // return error
}
slicelength = PySlice_AdjustIndices(length, &start, &stop, step);

Alterado na versão 3.2: O tipo de parâmetro para o parâmetro slice era antes de PySliceObject*.

Alterado na versão 3.6.1: Se Py_LIMITED_API não estiver definido ou estiver definido com um valor entre 0x03050400 e 0x03060000 (não incluso) ou 0x03060100 ou mais alto, PySlice_GetIndicesEx() é implementado como uma macro usando PySlice_Unpack() e PySlice_AdjustIndices(). Os argumentos start, stop e step são avaliados mais de uma vez.

Obsoleto desde a versão 3.6.1: Se Py_LIMITED_API estiver definido para um valor menor que 0x03050400 ou entre 0x03060000 e 0x03060100 (não incluso), PySlice_GetIndicesEx() é uma função descontinuada.

int PySlice_Unpack(PyObject *slice, Py_ssize_t *start, Py_ssize_t *stop, Py_ssize_t *step)

Parte da ABI Estável desde a versão 3.7.

Extrai os membros de dados de início, parada e intermediário de um objeto fatia como C inteiros. Reduz silenciosamente os valores maiores do que PY_SSIZE_T_MAX para PY_SSIZE_T_MAX, aumenta silenciosamente os valores de início e parada menores que PY_SSIZE_T_MIN para PY_SSIZE_T_MIN, e silenciosamente aumenta os valores de intermediário menores que -PY_SSIZE_T_MAX para -PY_SSIZE_T_MAX.

Retorna -1 com uma exceção definida em caso de erro, 0 em caso de sucesso.

Adicionado na versão 3.6.1.

Py_ssize_t PySlice_AdjustIndices(Py_ssize_t length, Py_ssize_t *start, Py_ssize_t *stop, Py_ssize_t step)

Parte da ABI Estável desde a versão 3.7.

Ajusta os índices de fatias inicial/final presumindo uma sequência do comprimento especificado. Índices fora dos limites são cortados de maneira consistente com o tratamento de fatias normais.

Retorna o comprimento da fatia. Sempre bem-sucedido. Não chama o código Python.

Adicionado na versão 3.6.1.

Objeto Ellipsis

PyObject *Py_Ellipsis

O objeto Python Ellipsis. Este objeto não tem métodos. Como Py_None, é um objeto singleton imortal.

Alterado na versão 3.12: Py_Ellipsis é imortal.

Objetos MemoryView

Um objeto memoryview expõe a interface de buffer a nível de C como um objeto Python que pode ser passado como qualquer outro objeto.

PyObject *PyMemoryView_FromObject(PyObject *obj)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um objeto memoryview a partir de um objeto que fornece a interface do buffer. Se obj tiver suporte a exportações de buffer graváveis, o objeto memoryview será de leitura/gravação; caso contrário, poderá ser somente leitura ou leitura/gravação, a critério do exportador.

PyBUF_READ

Sinalizador para solicitar um buffer de somente leitura.

PyBUF_WRITE

Sinalizador para solicitar um buffer gravável.

PyObject *PyMemoryView_FromMemory(char *mem, Py_ssize_t size, int flags)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.7.

Cria um objeto memoryview usando mem como o buffer subjacente. flags pode ser um dos seguintes PyBUF_READ ou PyBUF_WRITE.

Adicionado na versão 3.3.

PyObject *PyMemoryView_FromBuffer(const Py_buffer *view)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.11.

Cria um objeto de memoryview envolvendo a estrutura de buffer view fornecida. Para buffers de bytes simples, PyMemoryView_FromMemory() é a função preferida.

PyObject *PyMemoryView_GetContiguous(PyObject *obj, int buffertype, char order)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um objeto memoryview para um pedaço contíguo de memória (na ordem ‘C’ ou ‘F’ortran, representada por order) a partir de um objeto que define a interface do buffer. Se a memória for contígua, o objeto memoryview apontará para a memória original. Caso contrário, é feita uma cópia e a visualização da memória aponta para um novo objeto bytes.

buffertype pode ser um entre PyBUF_READ ou PyBUF_WRITE.

int PyMemoryView_Check(PyObject *obj)

Retorna true se o objeto obj for um objeto memoryview. Atualmente, não é permitido criar subclasses de memoryview. Esta função sempre tem sucesso.

Py_buffer *PyMemoryView_GET_BUFFER(PyObject *mview)

Retorna um ponteiro para a cópia privada da memória do buffer do exportador. mview deve ser uma instância de memoryview; Se essa macro não verificar seu tipo, faça você mesmo ou corre o risco de travar.

PyObject *PyMemoryView_GET_BASE(PyObject *mview)

Retorna um ponteiro para o objeto de exportação no qual a memória é baseada ou NULL se a memória tiver sido criada por uma das funções PyMemoryView_FromMemory() ou PyMemoryView_FromBuffer(). mview deve ser uma instância de memoryview.

Objetos referência fraca

O Python oferece suporte a referências fracas como objetos de primeira classe. Existem dois tipos de objetos específicos que implementam diretamente referências fracas. O primeiro é um objeto de referência simples, e o segundo atua como um intermediário ao objeto original tanto quanto ele pode.

int PyWeakref_Check(PyObject *ob)

Retorna não zero se ob for um objeto referência ou um objeto intermediário. Esta função sempre tem sucesso.

int PyWeakref_CheckRef(PyObject *ob)

Retorna não zero se ob for um objeto referência. Esta função sempre tem sucesso.

int PyWeakref_CheckProxy(PyObject *ob)

Retorna não zero se ob for um objeto intermediário. Esta função sempre tem sucesso.

PyObject *PyWeakref_NewRef(PyObject *ob, PyObject *callback)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um objeto de referência fraco para o objeto ob. Isso sempre retornará uma nova referência, mas não é garantido para criar um novo objeto; um objeto de referência existente pode ser retornado. O segundo parâmetro, callback, pode ser um objeto chamável que recebe notificação quando ob for lixo coletado; ele deve aceitar um único parâmetro, que será o objeto de referência fraco propriamente dito. callback também pode ser None ou NULL. Se ob não for um objeto fracamente referenciável, ou se callback não for um chamável, None, ou NULL, isso retornará NULL e levantará a TypeError.

PyObject *PyWeakref_NewProxy(PyObject *ob, PyObject *callback)

Retorna valor: Nova referência. Parte da ABI Estável.

Retorna um objeto de proxy de referência fraca para o objeto ob. Isso sempre retornará uma nova referência, mas não é garantido para criar um novo objeto; um objeto de proxy existente pode ser retornado. O segundo parâmetro, callback, pode ser um objeto chamável que recebe notificação quando ob for lixo coletado; ele deve aceitar um único parâmetro, que será o objeto de referência fraco propriamente dito. callback também pode ser None ou NULL. Se ob não for um objeto referência fraca, ou se callback não for um chamável, None, ou NULL, isso retornará NULL e levantará a TypeError.

int PyWeakref_GetRef(PyObject *ref, PyObject **pobj)

Parte da ABI Estável desde a versão 3.13.

Obtém uma referência forte para o objeto referenciado a partir de uma referência fraca, ref, em *pobj.

Em caso de sucesso, define *pobj como uma nova referência forte para o objeto referenciado e retorna 1.

Se a referência estiver quebrada, define *pobj como NULL e retorna 0.

Em caso de erro, levanta uma exceção e retorna -1.

Adicionado na versão 3.13.

PyObject *PyWeakref_GetObject(PyObject *ref)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Retorna uma referência emprestada ao objeto referenciado a partir de uma referência fraca, ref. Se o referente não estiver mais em tempo real, retorna Py_None.

Nota

Esta função retorna uma referência emprestada para o objeto referenciado. Isso significa que você deve sempre chamar Py_INCREF() no objeto, exceto quando ele não puder ser destruído antes do último uso da referência emprestada.

Deprecated since version 3.13, will be removed in version 3.15: Usa PyWeakref_GetRef().

PyObject *PyWeakref_GET_OBJECT(PyObject *ref)

Retorna valor: Referência emprestada.

Semelhante a PyWeakref_GetObject(), mas não verifica erros.

Deprecated since version 3.13, will be removed in version 3.15: Usa PyWeakref_GetRef().

void PyObject_ClearWeakRefs(PyObject *object)

Parte da ABI Estável.

Esta função é chamada pelo tratador tp_dealloc para limpar referências fracas.

Isso itera pelas referências fracas para object e chama retornos de chamada para as referências que possuem um. Ele retorna quando todos os retornos de chamada foram tentados.

void PyUnstable_Object_ClearWeakRefsNoCallbacks(PyObject *object)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Limpa as referências fracas para object sem chamar as funções de retorno

Esta função é chamada pelo manipulador tp_dealloc para tipos com finalizadores (por exemplo, __del__()). O manipulador para esses objetos primeiro chama PyObject_ClearWeakRefs() para limpar referências fracas e chamar suas funções de retorno, depois o finalizador e, finalmente, esta função para limpar quaisquer referências fracas que possam ter sido criadas pelo finalizador.

Na maioria das circunstâncias, é mais apropriado usar PyObject_ClearWeakRefs() para limpar referências fracas em vez desta função.

Adicionado na versão 3.13.

Capsules

Consulte Providing a C API for an Extension Module para obter mais informações sobre o uso desses objetos.

Adicionado na versão 3.1.

type PyCapsule

Este subtipo de PyObject representa um valor opaco, útil para módulos de extensão C que precisam passar um valor opaco (como ponteiro void*) através do código Python para outro código C . É frequentemente usado para disponibilizar um ponteiro de função C definido em um módulo para outros módulos, para que o mecanismo de importação regular possa ser usado para acessar APIs C definidas em módulos carregados dinamicamente.

type PyCapsule_Destructor

Parte da ABI Estável.

O tipo de um retorno de chamada destruidor para uma cápsula. Definido como:

typedef void (*PyCapsule_Destructor)(PyObject *);

Veja PyCapsule_New() para a semântica dos retornos de chamada PyCapsule_Destructor.

int PyCapsule_CheckExact(PyObject *p)

Retorna true se seu argumento é um PyCapsule. Esta função sempre tem sucesso.

PyObject *PyCapsule_New(void *pointer, const char *name, PyCapsule_Destructor destructor)

Retorna valor: Nova referência. Parte da ABI Estável.

Cria um PyCapsule que encapsula o ponteiro. O argumento pointer pode não ser NULL.

Em caso de falha, define uma exceção e retorna NULL.

A string name pode ser NULL ou um ponteiro para uma string C válida. Se não for NULL, essa string deverá sobreviver à cápsula. (Embora seja permitido liberá-lo dentro do descructor.)

Se o argumento destructor não for NULL, ele será chamado com a cápsula como argumento quando for destruído.

Se esta cápsula for armazenada como um atributo de um módulo, o name deve ser especificado como modulename.attributename. Isso permitirá que outros módulos importem a cápsula usando PyCapsule_Import().

void *PyCapsule_GetPointer(PyObject *capsule, const char *name)

Parte da ABI Estável.

Recupera o pointer armazenado na cápsula. Em caso de falha, define uma exceção e retorna NULL.

O parâmetro name deve ser comparado exatamente com o nome armazenado na cápsula. Se o nome armazenado na cápsula for NULL, o name passado também deve ser NULL. Python usa a função C strcmp() para comparar nomes de cápsulas.

PyCapsule_Destructor PyCapsule_GetDestructor(PyObject *capsule)

Parte da ABI Estável.

Retorna o destruidor atual armazenado na cápsula. Em caso de falha, define uma exceção e retorna NULL.

É legal para uma cápsula ter um destruidor NULL. Isso torna um código de retorno NULL um tanto ambíguo; use PyCapsule_IsValid() ou PyErr_Occurred() para desambiguar.

void *PyCapsule_GetContext(PyObject *capsule)

Parte da ABI Estável.

Retorna o contexto atual armazenado na cápsula. Em caso de falha, define uma exceção e retorna NULL.

É legal para uma cápsula ter um contexto NULL. Isso torna um código de retorno NULL um tanto ambíguo; use PyCapsule_IsValid() ou PyErr_Occurred() para desambiguar.

const char *PyCapsule_GetName(PyObject *capsule)

Parte da ABI Estável.

Retorna o nome atual armazenado na cápsula. Em caso de falha, define uma exceção e retorna NULL.

É legal para uma cápsula ter um nome NULL. Isso torna um código de retorno NULL um tanto ambíguo; use PyCapsule_IsValid() ou PyErr_Occurred() para desambiguar.

void *PyCapsule_Import(const char *name, int no_block)

Parte da ABI Estável.

Importa um ponteiro para um objeto C de um atributo de cápsula em um módulo. O parâmetro name deve especificar o nome completo do atributo, como em module.attribute. O name armazenado na cápsula deve corresponder exatamente a essa string.

Retorna o ponteiro interno pointer da cápsula com sucesso. Em caso de falha, define uma exceção e retorna NULL.

Alterado na versão 3.3: no_block não tem mais efeito.

int PyCapsule_IsValid(PyObject *capsule, const char *name)

Parte da ABI Estável.

Determina se capsule é ou não uma cápsula válida. Uma cápsula válida é diferente de NULL, passa PyCapsule_CheckExact(), possui um ponteiro diferente de NULL armazenado e seu nome interno corresponde ao parâmetro name. (Consulte PyCapsule_GetPointer() para obter informações sobre como os nomes das cápsulas são comparados.)

Em outras palavras, se PyCapsule_IsValid() retornar um valor verdadeiro, as chamadas para qualquer um dos acessadores (qualquer função que comece com PyCapsule_Get) terão êxito garantido.

Retorna um valor diferente de zero se o objeto for válido e corresponder ao nome passado. Retorna 0 caso contrário. Esta função não falhará.

int PyCapsule_SetContext(PyObject *capsule, void *context)

Parte da ABI Estável.

Define o ponteiro de contexto dentro de capsule para context.

Retorna 0 em caso de sucesso. Retorna diferente de zero e define uma exceção em caso de falha.

int PyCapsule_SetDestructor(PyObject *capsule, PyCapsule_Destructor destructor)

Parte da ABI Estável.

Define o destrutor dentro de capsule para destructor.

Retorna 0 em caso de sucesso. Retorna diferente de zero e define uma exceção em caso de falha.

int PyCapsule_SetName(PyObject *capsule, const char *name)

Parte da ABI Estável.

Define o nome dentro de capsule como name. Se não for NULL, o nome deve sobreviver à cápsula. Se o name anterior armazenado na cápsula não era NULL, nenhuma tentativa será feita para liberá-lo.

Retorna 0 em caso de sucesso. Retorna diferente de zero e define uma exceção em caso de falha.

int PyCapsule_SetPointer(PyObject *capsule, void *pointer)

Parte da ABI Estável.

Define o ponteiro nulo dentro de capsule para pointer. O ponteiro não pode ser NULL.

Retorna 0 em caso de sucesso. Retorna diferente de zero e define uma exceção em caso de falha.

Objetos Frame

type PyFrameObject

Parte da API Limitada (como uma estrutura opaca).

A estrutura C dos objetos usados para descrever objetos frame.

Não há membros públicos nesta estrutura.

Alterado na versão 3.11: Os membros dessa estrutura foram removidos da API C pública. Consulte a entrada O Que há de Novo para detalhes.

As funções PyEval_GetFrame() e PyThreadState_GetFrame() podem ser utilizadas para obter um objeto frame.

Veja também Reflexão.

PyTypeObject PyFrame_Type

O tipo de objetos frame. É o mesmo objeto que types.FrameType na camada Python.

Alterado na versão 3.11: Anteriormente, este tipo só estava disponível após incluir <frameobject.h>.

int PyFrame_Check(PyObject *obj)

Retorna diferente de zero se obj é um objeto frame

Alterado na versão 3.11: Anteriormente, esta função só estava disponível após incluir <frameobject.h>.

PyFrameObject *PyFrame_GetBack(PyFrameObject *frame)

Retorna valor: Nova referência.

Obtém o frame próximo ao quadro externo.

Retorna uma referência forte ou NULL se frame não tiver quadro externo.

Adicionado na versão 3.9.

PyObject *PyFrame_GetBuiltins(PyFrameObject *frame)

Retorna valor: Nova referência.

Get the frame’s f_builtins attribute.

Retorna uma referência forte. O resultado não pode ser NULL.

Adicionado na versão 3.11.

PyCodeObject *PyFrame_GetCode(PyFrameObject *frame)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.10.

Obtém o código de frame.

Retorna uma referência forte.

O resultado (código do frame) não pode ser NULL.

Adicionado na versão 3.9.

PyObject *PyFrame_GetGenerator(PyFrameObject *frame)

Retorna valor: Nova referência.

Obtém o gerador, corrotina ou gerador assíncrono que possui este frame, ou NULL se o frame não pertence a um gerador. Não levanta exceção, mesmo que o valor retornado seja NULL.

Retorna uma referência forte, ou NULL.

Adicionado na versão 3.11.

PyObject *PyFrame_GetGlobals(PyFrameObject *frame)

Retorna valor: Nova referência.

Get the frame’s f_globals attribute.

Retorna uma referência forte. O resultado não pode ser NULL.

Adicionado na versão 3.11.

int PyFrame_GetLasti(PyFrameObject *frame)

Get the frame’s f_lasti attribute.

Retorna -1 se frame.f_lasti é None.

Adicionado na versão 3.11.

PyObject *PyFrame_GetVar(PyFrameObject *frame, PyObject *name)

Retorna valor: Nova referência.

Get the variable name of frame.

Return a strong reference to the variable value on success.

Raise NameError and return NULL if the variable does not exist.

Raise an exception and return NULL on error.

name type must be a str.

Adicionado na versão 3.12.

PyObject *PyFrame_GetVarString(PyFrameObject *frame, const char *name)

Retorna valor: Nova referência.

Similar to PyFrame_GetVar(), but the variable name is a C string encoded in UTF-8.

Adicionado na versão 3.12.

PyObject *PyFrame_GetLocals(PyFrameObject *frame)

Retorna valor: Nova referência.

Get the frame’s f_locals attribute. If the frame refers to an optimized scope, this returns a write-through proxy object that allows modifying the locals. In all other cases (classes, modules, exec(), eval()) it returns the mapping representing the frame locals directly (as described for locals()).

Retorna uma referência forte.

Adicionado na versão 3.11.

Alterado na versão 3.13: As part of PEP 667 [https://peps.python.org/pep-0667/], return a proxy object for optimized scopes.

int PyFrame_GetLineNumber(PyFrameObject *frame)

Parte da ABI Estável desde a versão 3.10.

Retorna o número da linha do frame atualmente em execução.

Internal Frames

Unless using PEP 523 [https://peps.python.org/pep-0523/], you will not need this.

struct _PyInterpreterFrame

The interpreter’s internal frame representation.

Adicionado na versão 3.11.

PyObject *PyUnstable_InterpreterFrame_GetCode(struct _PyInterpreterFrame *frame);

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Return a strong reference to the code object for the frame.

Adicionado na versão 3.12.

int PyUnstable_InterpreterFrame_GetLasti(struct _PyInterpreterFrame *frame);

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Return the byte offset into the last executed instruction.

Adicionado na versão 3.12.

int PyUnstable_InterpreterFrame_GetLine(struct _PyInterpreterFrame *frame);

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Return the currently executing line number, or -1 if there is no line number.

Adicionado na versão 3.12.

Objetos Geradores

Objetos geradores são o que o Python usa para implementar iteradores geradores. Eles são normalmente criados por iteração sobre uma função que produz valores, em vez de invocar explicitamente PyGen_New() ou PyGen_NewWithQualName().

type PyGenObject

A estrutura C usada para objetos geradores.

PyTypeObject PyGen_Type

O objeto de tipo correspondendo a objetos geradores.

int PyGen_Check(PyObject *ob)

Retorna verdadeiro se ob for um objeto gerador; ob não deve ser NULL. Esta função sempre tem sucesso.

int PyGen_CheckExact(PyObject *ob)

Retorna verdadeiro se o tipo do ob é PyGen_Type; ob não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PyGen_New(PyFrameObject *frame)

Retorna valor: Nova referência.

Cria e retorna um novo objeto gerador com base no objeto frame. Uma referência a quadro é roubada por esta função. O argumento não deve ser NULL.

PyObject *PyGen_NewWithQualName(PyFrameObject *frame, PyObject *name, PyObject *qualname)

Retorna valor: Nova referência.

Cria e retorna um novo objeto gerador com base no objeto frame, com __name__ e __qualname__ definidos como name e qualname. Uma referência a frame é roubada por esta função. O argumento frame não deve ser NULL.

Objetos corrotina

Adicionado na versão 3.5.

Os objetos corrotina são aquelas funções declaradas com um retorno de palavra-chave async.

type PyCoroObject

A estrutura C utilizada para objetos corrotinas.

PyTypeObject PyCoro_Type

O tipo de objeto correspondente a objetos corrotina.

int PyCoro_CheckExact(PyObject *ob)

Retorna true se o tipo do ob é PyCoro_Type; ob não deve ser NULL. Esta função sempre tem sucesso.

PyObject *PyCoro_New(PyFrameObject *frame, PyObject *name, PyObject *qualname)

Retorna valor: Nova referência.

Cria e retorna um novo objeto de corrotina com base no objeto frame, com __name__ e __qualname__ definido como name e qualname. Uma referência a frame é roubada por esta função. O argumento frame não deve ser NULL.

Objetos de variáveis ​​de contexto

Adicionado na versão 3.7.

Alterado na versão 3.7.1:

Nota

No Python 3.7.1, as assinaturas de todas as APIs C de variáveis de contexto foram alteradas para usar ponteiros PyObject em vez de PyContext, PyContextVar e PyContextToken. Por exemplo:

// no 3.7.0:
PyContext *PyContext_New(void);

// no 3.7.1+:
PyObject *PyContext_New(void);

Veja bpo-34762 [https://bugs.python.org/issue?@action=redirect&bpo=34762] para mais detalhes.

Esta seção detalha a API C pública para o módulo contextvars.

type PyContext

A estrutura C usada para representar um objeto contextvars.Context.

type PyContextVar

A estrutura C usada para representar um objeto contextvars.ContextVar.

type PyContextToken

A estrutura C usada para representar um objeto contextvars.Token

PyTypeObject PyContext_Type

O objeto de tipo que representa o tipo de contexto.

PyTypeObject PyContextVar_Type

O objeto de tipo que representa o tipo de variável de contexto.

PyTypeObject PyContextToken_Type

O objeto de tipo que representa o tipo de token de variável de contexto.

Macros de verificação de tipo:

int PyContext_CheckExact(PyObject *o)

Retorna verdadeiro se o for do tipo PyContext_Type. o não deve ser NULL. Esta função sempre tem sucesso.

int PyContextVar_CheckExact(PyObject *o)

Retorna verdadeiro se o for do tipo PyContextVar_Type. o não deve ser NULL. Esta função sempre tem sucesso.

int PyContextToken_CheckExact(PyObject *o)

Retorna verdadeiro se o for do tipo PyContextToken_Type. o não deve ser NULL. Esta função sempre tem sucesso.

Funções de gerenciamento de objetos de contexto:

PyObject *PyContext_New(void)

Retorna valor: Nova referência.

Cria um novo objeto de contexto vazio. Retorna NULL se um erro ocorreu.

PyObject *PyContext_Copy(PyObject *ctx)

Retorna valor: Nova referência.

Cria uma cópia rasa do objeto de contexto ctx passado. Retorna NULL se um erro ocorreu.

PyObject *PyContext_CopyCurrent(void)

Retorna valor: Nova referência.

Cria uma cópia rasa do contexto da thread atual. Retorna NULL se um erro ocorreu.

int PyContext_Enter(PyObject *ctx)

Defina ctx como o contexto atual para o thread atual. Retorna 0 em caso de sucesso e -1 em caso de erro.

int PyContext_Exit(PyObject *ctx)

Desativa o contexto ctx e restaura o contexto anterior como o contexto atual para a thread atual. Retorna 0 em caso de sucesso e -1 em caso de erro.

Funções de variável de contexto:

PyObject *PyContextVar_New(const char *name, PyObject *def)

Retorna valor: Nova referência.

Cria um novo objeto ContextVar. O parâmetro name é usado para fins de introspecção e depuração. O parâmetro def especifica um valor padrão para a variável de contexto, ou NULL para nenhum padrão. Se ocorrer um erro, esta função retorna NULL.

int PyContextVar_Get(PyObject *var, PyObject *default_value, PyObject **value)

Obtém o valor de uma variável de contexto. Retorna -1 se um erro ocorreu durante a pesquisa, e 0 se nenhum erro ocorreu, se um valor foi encontrado ou não.

Se a variável de contexto foi encontrada, value será um ponteiro para ela. Se a variável de contexto não foi encontrada, value apontará para:

default_value, se não for NULL;

o valor padrão de var, se não for NULL;

NULL

Exceto para NULL, a função retorna uma nova referência.

PyObject *PyContextVar_Set(PyObject *var, PyObject *value)

Retorna valor: Nova referência.

Define o valor de var como value no contexto atual. Retorna um novo objeto token para esta alteração, ou NULL se um erro ocorreu.

int PyContextVar_Reset(PyObject *var, PyObject *token)

Redefine o estado da variável de contexto var para o estado que anterior a PyContextVar_Set() que retornou o token foi chamado. Esta função retorna 0 em caso de sucesso e -1 em caso de erro.

Objetos DateTime

Vários objetos de data e hora são fornecidos pelo módulo datetime. Antes de usar qualquer uma dessas funções, o arquivo de cabeçalho datetime.h deve ser incluído na sua fonte (observe que isso não é incluído por Python.h) e a macro PyDateTime_IMPORT deve ser chamada, geralmente como parte da função de inicialização do módulo. A macro coloca um ponteiro para uma estrutura C em uma variável estática, PyDateTimeAPI, usada pelas macros a seguir.

type PyDateTime_Date

Esta é uma instância de PyObject representando o objeto data do Python.

type PyDateTime_DateTime

Esta é uma instância de PyObject representando o objeto datetime do Python.

type PyDateTime_Time

Esta é uma instância de PyObject representando o objeto hora do Python.

type PyDateTime_Delta

Esta é uma instância de PyObject representando a diferença entre dois valores de datetime.

PyTypeObject PyDateTime_DateType

Esta instância de PyTypeObject representa o tipo data do Python; é o mesmo objeto que datetime.date na camada de Python.

PyTypeObject PyDateTime_DateTimeType

Esta instância de PyTypeObject representa o tipo datetime do Python; é o mesmo objeto que datetime.datetime na camada de Python.

PyTypeObject PyDateTime_TimeType

Esta instância de PyTypeObject representa o tipo hora do Python; é o mesmo objeto que datetime.time na camada de Python.

PyTypeObject PyDateTime_DeltaType

Esta instância de PyTypeObject representa o tipo Python para a diferença entre dois valores de datetime; é o mesmo objeto que datetime.timedelta na camada de Python.

PyTypeObject PyDateTime_TZInfoType

Esta instância de PyTypeObject representa o tipo fuso horário do Python; é o mesmo objeto que datetime.tzinfo na camada de Python.

Macro para acesso ao singleton UTC:

PyObject *PyDateTime_TimeZone_UTC

Retorna um singleton do fuso horário representando o UTC, o mesmo objeto que datetime.timezone.utc.

Adicionado na versão 3.7.

Macros de verificação de tipo:

int PyDate_Check(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_DateType ou um subtipo de PyDateTime_DateType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyDate_CheckExact(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_DateType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyDateTime_Check(PyObject *ob)

Retorna verdadeiro se ob é do tipo PyDateTime_DateTimeType ou um subtipo de PyDateTime_DateTimeType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyDateTime_CheckExact(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_DateTimeType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyTime_Check(PyObject *ob)

Retorna verdadeiro se ob é do tipo PyDateTime_TimeType ou um subtipo de PyDateTime_TimeType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyTime_CheckExact(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_TimeType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyDelta_Check(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_DeltaType ou um subtipo de PyDateTime_DeltaType. ob não pode ser NULL. Esta função sempre tem sucesso.

int PyDelta_CheckExact(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_DeltaType. ob não deve ser NULL. Esta função sempre tem sucesso.

int PyTZInfo_Check(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_TZInfoType ou um subtipo de PyDateTime_TZInfoType. ob não pode ser NULL. Esta função sempre tem sucesso.

int PyTZInfo_CheckExact(PyObject *ob)

Retorna verdadeiro se ob for do tipo PyDateTime_TZInfoType. ob não deve ser NULL. Esta função sempre tem sucesso.

Macros para criar objetos:

PyObject *PyDate_FromDate(int year, int month, int day)

Retorna valor: Nova referência.

Retorna um objeto datetime.date com o ano, mês e dia especificados.

PyObject *PyDateTime_FromDateAndTime(int year, int month, int day, int hour, int minute, int second, int usecond)

Retorna valor: Nova referência.

Retorna um objeto datetime.datetime com o ano, mês, dia, hora, minuto, segundo, microssegundo especificados.

PyObject *PyDateTime_FromDateAndTimeAndFold(int year, int month, int day, int hour, int minute, int second, int usecond, int fold)

Retorna valor: Nova referência.

Retorna um objeto datetime.datetime com o ano, mês, dia, hora, minuto, segundo, microssegundo e a dobra especificados.

Adicionado na versão 3.6.

PyObject *PyTime_FromTime(int hour, int minute, int second, int usecond)

Retorna valor: Nova referência.

Retorna um objeto datetime.time com a hora, minuto, segundo e microssegundo especificados.

PyObject *PyTime_FromTimeAndFold(int hour, int minute, int second, int usecond, int fold)

Retorna valor: Nova referência.

Retorna um objeto datetime.time com a hora, minuto, segundo, microssegundo e a dobra especificados.

Adicionado na versão 3.6.

PyObject *PyDelta_FromDSU(int days, int seconds, int useconds)

Retorna valor: Nova referência.

Retorna um objeto datetime.timedelta representando o número especificado de dias, segundos e microssegundos. A normalização é realizada para que o número resultante de microssegundos e segundos esteja nos intervalos documentados para objetos de datetime.timedelta.

PyObject *PyTimeZone_FromOffset(PyObject *offset)

Retorna valor: Nova referência.

Retorna um objeto datetime.timezone com um deslocamento fixo sem nome representado pelo argumento offset.

Adicionado na versão 3.7.

PyObject *PyTimeZone_FromOffsetAndName(PyObject *offset, PyObject *name)

Retorna valor: Nova referência.

Retorna um objeto datetime.timezone com um deslocamento fixo representado pelo argumento offset e com tzname name.

Adicionado na versão 3.7.

Macros para extrair campos de objetos date. O argumento deve ser uma instância de PyDateTime_Date, inclusive subclasses (como PyDateTime_DateTime). O argumento não deve ser NULL, e o tipo não é verificado:

int PyDateTime_GET_YEAR(PyDateTime_Date *o)

Retorna o ano, como um inteiro positivo.

int PyDateTime_GET_MONTH(PyDateTime_Date *o)

Retorna o mês, como um inteiro de 1 a 12.

int PyDateTime_GET_DAY(PyDateTime_Date *o)

Retorna o dia, como um inteiro de 1 a 31.

Macros para extrair campos de objetos datetime. O argumento deve ser uma instância de PyDateTime_DateTime, inclusive subclasses. O argumento não deve ser NULL, e o tipo não é verificado:

int PyDateTime_DATE_GET_HOUR(PyDateTime_DateTime *o)

Retorna a hora, como um inteiro de 0 a 23.

int PyDateTime_DATE_GET_MINUTE(PyDateTime_DateTime *o)

Retorna o minuto, como um inteiro de 0 a 59.

int PyDateTime_DATE_GET_SECOND(PyDateTime_DateTime *o)

Retorna o segundo, como um inteiro de 0 a 59.

int PyDateTime_DATE_GET_MICROSECOND(PyDateTime_DateTime *o)

Retorna o microssegundo, como um inteiro de 0 a 999999.

int PyDateTime_DATE_GET_FOLD(PyDateTime_DateTime *o)

Retorna a dobra, como um inteiro de 0 a 1.

Adicionado na versão 3.6.

PyObject *PyDateTime_DATE_GET_TZINFO(PyDateTime_DateTime *o)

Retorna o tzinfo (que pode ser None).

Adicionado na versão 3.10.

Macros para extrair campos de objetos time. O argumento deve ser uma instância de PyDateTime_Time, inclusive subclasses. O argumento não deve ser NULL, e o tipo não é verificado:

int PyDateTime_TIME_GET_HOUR(PyDateTime_Time *o)

Retorna a hora, como um inteiro de 0 a 23.

int PyDateTime_TIME_GET_MINUTE(PyDateTime_Time *o)

Retorna o minuto, como um inteiro de 0 a 59.

int PyDateTime_TIME_GET_SECOND(PyDateTime_Time *o)

Retorna o segundo, como um inteiro de 0 a 59.

int PyDateTime_TIME_GET_MICROSECOND(PyDateTime_Time *o)

Retorna o microssegundo, como um inteiro de 0 a 999999.

int PyDateTime_TIME_GET_FOLD(PyDateTime_Time *o)

Retorna a dobra, como um inteiro de 0 a 1.

Adicionado na versão 3.6.

PyObject *PyDateTime_TIME_GET_TZINFO(PyDateTime_Time *o)

Retorna o tzinfo (que pode ser None).

Adicionado na versão 3.10.

Macros para extrair campos de objetos time delta. O argumento deve ser uma instância de PyDateTime_Delta, inclusive subclasses. O argumento não deve ser NULL, e o tipo não é verificado:

int PyDateTime_DELTA_GET_DAYS(PyDateTime_Delta *o)

Retorna o número de dias, como um inteiro de -999999999 a 999999999.

Adicionado na versão 3.3.

int PyDateTime_DELTA_GET_SECONDS(PyDateTime_Delta *o)

Retorna o número de segundos, como um inteiro de 0 a 86399.

Adicionado na versão 3.3.

int PyDateTime_DELTA_GET_MICROSECONDS(PyDateTime_Delta *o)

Retorna o número de microssegundos, como um inteiro de 0 a 999999.

Adicionado na versão 3.3.

Macros para a conveniência de módulos implementando a API de DB:

PyObject *PyDateTime_FromTimestamp(PyObject *args)

Retorna valor: Nova referência.

Cria e retorna um novo objeto datetime.datetime dado uma tupla de argumentos que possa ser passada ao método datetime.datetime.fromtimestamp().

PyObject *PyDate_FromTimestamp(PyObject *args)

Retorna valor: Nova referência.

Cria e retorna um novo objeto datetime.date dado uma tupla de argumentos que possa ser passada ao método datetime.date.fromtimestamp().

Objetos de indicação de tipos

São fornecidos vários tipos embutidos para sugestão de tipo. Atualmente, dois tipos existem – GenericAlias e Union. Apenas GenericAlias está exposto ao C.

PyObject *Py_GenericAlias(PyObject *origin, PyObject *args)

Parte da ABI Estável desde a versão 3.9.

Cria um objeto GenericAlias ​​. Equivalente a chamar a classe Python types.GenericAlias. Os argumentos origin e args definem os atributos __origin__ e __args__ de GenericAlias respectivamente. origin deve ser um PyTypeObject*, e args pode ser um PyTupleObject* ou qualquer PyObject*. Se args passado não for uma tupla, uma tupla de 1 elemento é construída automaticamente e __args__ é definido como (args,). A verificação mínima é feita para os argumentos, então a função terá sucesso mesmo se origin não for um tipo. O atributo __parameters__ de GenericAlias é construído lentamente a partir de __args__. Em caso de falha, uma exceção é levantada e NULL é retornado.

Aqui está um exemplo de como tornar um tipo de extensão genérico:

...
static PyMethodDef my_obj_methods[] = {
    // Outros métodos.
    ...
    {"__class_getitem__", Py_GenericAlias, METH_O|METH_CLASS, "Veja PEP 585"}
    ...
}

Ver também

O método de modelo de dados __class_getitem__().

Adicionado na versão 3.9.

PyTypeObject Py_GenericAliasType

Parte da ABI Estável desde a versão 3.9.

O tipo C do objeto retornado por Py_GenericAlias(). Equivalente a types.GenericAlias no Python.

Adicionado na versão 3.9.

Inicialização, finalização e threads

Veja Configuração de inicialização do Python para detalhes sobre como configurar o interpretador antes da inicialização.

Antes da inicialização do Python

Em uma aplicação que incorpora Python, a função Py_Initialize() deve ser chamada antes de usar qualquer outra função da API Python/C; com exceção de algumas funções e as variáveis globais de configuração.

As seguintes funções podem ser seguramente chamadas antes da inicialização do Python.

Funções que inicializam o interpretador:

Py_Initialize()

Py_InitializeEx()

Py_InitializeFromConfig()

Py_BytesMain()

Py_Main()

as funções de pré-inicialização de tempo de execução cobertas em Configuração de Inicialização do Python

Funções de configuração

PyImport_AppendInittab()

PyImport_ExtendInittab()

PyInitFrozenExtensions()

PyMem_SetAllocator()

PyMem_SetupDebugHooks()

PyObject_SetArenaAllocator()

Py_SetProgramName()

Py_SetPythonHome()

PySys_ResetWarnOptions()

as funções de configuração cobertas em Configuração de Inicialização do Python

Funções informativas:

Py_IsInitialized()

PyMem_GetAllocator()

PyObject_GetArenaAllocator()

Py_GetBuildInfo()

Py_GetCompiler()

Py_GetCopyright()

Py_GetPlatform()

Py_GetVersion()

Py_IsInitialized()

Utilitários:

Py_DecodeLocale()

o relatório de status é funções utilitárias cobertas em Configuração de Inicialização do Python

Alocadores de memória:

PyMem_RawMalloc()

PyMem_RawRealloc()

PyMem_RawCalloc()

PyMem_RawFree()

Sincronização:

PyMutex_Lock()

PyMutex_Unlock()

Nota

Apesar de sua aparente semelhança com algumas das funções listadas acima, as seguintes funções não devem ser chamadas antes que o interpretador tenha sido inicializado: Py_EncodeLocale(), Py_GetPath(), Py_GetPrefix(), Py_GetExecPrefix(), Py_GetProgramFullPath(), Py_GetPythonHome(), Py_GetProgramName(), PyEval_InitThreads(), e Py_RunMain().

Variáveis de configuração global

Python tem variáveis para a configuração global a fim de controlar diferentes características e opções. Por padrão, estes sinalizadores são controlados por opções de linha de comando.

Quando um sinalizador é definido por uma opção, o valor do sinalizador é o número de vezes que a opção foi definida. Por exemplo,``-b`` define Py_BytesWarningFlag para 1 e -bb define Py_BytesWarningFlag para 2.

int Py_BytesWarningFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.bytes_warning deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Emite um aviso ao comparar bytes ou bytearray com str ou bytes com int. Emite um erro se for maior ou igual a 2.

Definida pela opção -b.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_DebugFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.parser_debug deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Ativa a saída de depuração do analisador sintático (somente para especialistas, dependendo das opções de compilação).

Definida pela a opção -d e a variável de ambiente PYTHONDEBUG.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_DontWriteBytecodeFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.write_bytecode deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Se definida como diferente de zero, o Python não tentará escrever arquivos .pyc na importação de módulos fonte.

Definida pela opção -B e pela variável de ambiente PYTHONDONTWRITEBYTECODE.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_FrozenFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.pathconfig_warnings deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Suprime mensagens de erro ao calcular o caminho de pesquisa do módulo em Py_GetPath().

Sinalizador privado usado pelos programas _freeze_module e frozenmain.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_HashRandomizationFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração de PyConfig.hash_seed e PyConfig.use_hash_seed deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Definida como 1 se a variável de ambiente PYTHONHASHSEED estiver definida como uma string não vazia.

Se o sinalizador for diferente de zero, lê a variável de ambiente PYTHONHASHSEED para inicializar a semente de hash secreta.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_IgnoreEnvironmentFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.use_environment deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Ignora todas as variáveis de ambiente PYTHON*, por exemplo PYTHONPATH e PYTHONHOME, que podem estar definidas.

Definida pelas opções -E e -I.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_InspectFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.inspect deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Quando um script é passado como primeiro argumento ou a opção -c é usada, entre no modo interativo após executar o script ou o comando, mesmo quando sys.stdin não parece ser um terminal.

Definida pela opção -i e pela variável de ambiente PYTHONINSPECT.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_InteractiveFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.interactive deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Definida pela opção -i.

Obsoleto desde a versão 3.12.

int Py_IsolatedFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.isolated deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Executa o Python no modo isolado. No modo isolado, sys.path não contém nem o diretório do script nem o diretório de pacotes de sites do usuário.

Definida pela opção -I.

Adicionado na versão 3.4.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_LegacyWindowsFSEncodingFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyPreConfig.legacy_windows_fs_encoding deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Se o sinalizador for diferente de zero, use a codificação mbcs com o tratador de erros replace, em vez da codificação UTF-8 com o tratador de erros surrogatepass, para a codificação do sistema de arquivos e tratador de erros e codificação do sistema de arquivos.

Definida como 1 se a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING estiver definida como uma string não vazia.

Veja PEP 529 [https://peps.python.org/pep-0529/] para mais detalhes.

Disponibilidade

Deprecated since version 3.12, will be removed in version 3.14.

int Py_LegacyWindowsStdioFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.legacy_windows_stdio deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Se o sinalizador for diferente de zero, usa io.FileIO em vez de io._WindowsConsoleIO para fluxos padrão sys.

Definida como 1 se a variável de ambiente PYTHONLEGACYWINDOWSSTDIO estiver definida como uma string não vazia.

Veja a PEP 528 [https://peps.python.org/pep-0528/] para mais detalhes.

Disponibilidade

Deprecated since version 3.12, will be removed in version 3.14.

int Py_NoSiteFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.site_import deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Desabilita a importação do módulo site e as manipulações dependentes do site de sys.path que isso acarreta. Também desabilita essas manipulações se site for explicitamente importado mais tarde (chame site.main() se você quiser que eles sejam acionados).

Definida pela opção -S.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_NoUserSiteDirectory

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.user_site_directory deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Não adiciona o diretório site-packages de usuário a sys.path.

Definida pelas opções -s e -I, e pela variável de ambiente PYTHONNOUSERSITE.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_OptimizeFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.optimization_level deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Definida pela opção -O e pela variável de ambiente PYTHONOPTIMIZE.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_QuietFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.quiet deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Não exibe as mensagens de direito autoral e de versão nem mesmo no modo interativo.

Definida pela opção -q.

Adicionado na versão 3.2.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_UnbufferedStdioFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.buffered_stdio deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Força os fluxos stdout e stderr a não serem armazenados em buffer.

Definida pela opção -u e pela variável de ambiente PYTHONUNBUFFERED.

Deprecated since version 3.12, will be removed in version 3.14.

int Py_VerboseFlag

Esta API é mantida para compatibilidade com versões anteriores: a configuração PyConfig.verbose deve ser usada em seu lugar, consulte Configuração de inicialização do Python.

Exibe uma mensagem cada vez que um módulo é inicializado, mostrando o local (nome do arquivo ou módulo embutido) de onde ele é carregado. Se maior ou igual a 2, exibe uma mensagem para cada arquivo que é verificado durante a busca por um módulo. Também fornece informações sobre a limpeza do módulo na saída.

Definida pela a opção -v e a variável de ambiente PYTHONVERBOSE.

Deprecated since version 3.12, will be removed in version 3.14.

Inicializando e encerrando o interpretador

void Py_Initialize()

Parte da ABI Estável.

Inicializa o interpretador Python. Em uma aplicação que incorpora o Python, isto deve ser chamado antes do uso de qualquer outra função do Python/C API; veja Antes da Inicialização do Python para algumas exceções.

Isso inicializa a tabela de módulos carregados (sys.modules) e cria os módulos fundamentais builtins, __main__ e sys. Também inicializa o caminho de pesquisa de módulos (sys.path). Isso não define sys.argv; use a API da Configuração de inicialização do Python para isso. Isso é um no-op quando chamado pela segunda vez (sem chamar Py_FinalizeEx() primeiro). Não há valor de retorno; é um erro fatal se a inicialização falhar.

Usa Py_InitializeFromConfig() para personalizar a Configuração de inicialização do Python.

Nota

No Windows, altera o modo do console de O_TEXT para O_BINARY, o que também afetará usos não Python do console usando o Runtime C.

void Py_InitializeEx(int initsigs)

Parte da ABI Estável.

Esta função funciona como Py_Initialize() se initsigs for 1. Se initsigs for 0, ela pula o registro de inicialização de manipuladores de sinal, o que pode ser útil quando o CPython é incorporado como parte de uma aplicação maior.

Usa Py_InitializeFromConfig() para personalizar a Configuração de inicialização do Python.

PyStatus Py_InitializeFromConfig(const PyConfig *config)

Initialize Python from config configuration, as described in Initialization with PyConfig.

See the Configuração de Inicialização do Python section for details on pre-initializing the interpreter, populating the runtime configuration structure, and querying the returned status structure.

int Py_IsInitialized()

Parte da ABI Estável.

Return true (nonzero) when the Python interpreter has been initialized, false (zero) if not. After Py_FinalizeEx() is called, this returns false until Py_Initialize() is called again.

int Py_IsFinalizing()

Parte da ABI Estável desde a versão 3.13.

Return true (non-zero) if the main Python interpreter is shutting down. Return false (zero) otherwise.

Adicionado na versão 3.13.

int Py_FinalizeEx()

Parte da ABI Estável desde a versão 3.6.

Undo all initializations made by Py_Initialize() and subsequent use of Python/C API functions, and destroy all sub-interpreters (see Py_NewInterpreter() below) that were created and not yet destroyed since the last call to Py_Initialize(). Ideally, this frees all memory allocated by the Python interpreter. This is a no-op when called for a second time (without calling Py_Initialize() again first).

Since this is the reverse of Py_Initialize(), it should be called in the same thread with the same interpreter active. That means the main thread and the main interpreter. This should never be called while Py_RunMain() is running.

Normally the return value is 0. If there were errors during finalization (flushing buffered data), -1 is returned.

This function is provided for a number of reasons. An embedding application might want to restart Python without having to restart the application itself. An application that has loaded the Python interpreter from a dynamically loadable library (or DLL) might want to free all memory allocated by Python before unloading the DLL. During a hunt for memory leaks in an application a developer might want to free all memory allocated by Python before exiting from the application.

Bugs and caveats: The destruction of modules and objects in modules is done in random order; this may cause destructors (__del__() methods) to fail when they depend on other objects (even functions) or modules. Dynamically loaded extension modules loaded by Python are not unloaded. Small amounts of memory allocated by the Python interpreter may not be freed (if you find a leak, please report it). Memory tied up in circular references between objects is not freed. Some memory allocated by extension modules may not be freed. Some extensions may not work properly if their initialization routine is called more than once; this can happen if an application calls Py_Initialize() and Py_FinalizeEx() more than once.

Levanta um evento de auditoria cpython._PySys_ClearAuditHooks sem argumentos.

Adicionado na versão 3.6.

void Py_Finalize()

Parte da ABI Estável.

This is a backwards-compatible version of Py_FinalizeEx() that disregards the return value.

int Py_BytesMain(int argc, char **argv)

Parte da ABI Estável desde a versão 3.8.

Similar to Py_Main() but argv is an array of bytes strings, allowing the calling application to delegate the text decoding step to the CPython runtime.

Adicionado na versão 3.8.

int Py_Main(int argc, wchar_t **argv)

Parte da ABI Estável.

The main program for the standard interpreter, encapsulating a full initialization/finalization cycle, as well as additional behaviour to implement reading configurations settings from the environment and command line, and then executing __main__ in accordance with Linha de comando.

This is made available for programs which wish to support the full CPython command line interface, rather than just embedding a Python runtime in a larger application.

The argc and argv parameters are similar to those which are passed to a C program’s main() function, except that the argv entries are first converted to wchar_t using Py_DecodeLocale(). It is also important to note that the argument list entries may be modified to point to strings other than those passed in (however, the contents of the strings pointed to by the argument list are not modified).

The return value will be 0 if the interpreter exits normally (i.e., without an exception), 1 if the interpreter exits due to an exception, or 2 if the argument list does not represent a valid Python command line.

Note that if an otherwise unhandled SystemExit is raised, this function will not return 1, but exit the process, as long as Py_InspectFlag is not set. If Py_InspectFlag is set, execution will drop into the interactive Python prompt, at which point a second otherwise unhandled SystemExit will still exit the process, while any other means of exiting will set the return value as described above.

In terms of the CPython runtime configuration APIs documented in the runtime configuration section (and without accounting for error handling), Py_Main is approximately equivalent to:

PyConfig config;
PyConfig_InitPythonConfig(&config);
PyConfig_SetArgv(&config, argc, argv);
Py_InitializeFromConfig(&config);
PyConfig_Clear(&config);

Py_RunMain();

In normal usage, an embedding application will call this function instead of calling Py_Initialize(), Py_InitializeEx() or Py_InitializeFromConfig() directly, and all settings will be applied as described elsewhere in this documentation. If this function is instead called after a preceding runtime initialization API call, then exactly which environmental and command line configuration settings will be updated is version dependent (as it depends on which settings correctly support being modified after they have already been set once when the runtime was first initialized).

int Py_RunMain(void)

Executes the main module in a fully configured CPython runtime.

Executes the command (PyConfig.run_command), the script (PyConfig.run_filename) or the module (PyConfig.run_module) specified on the command line or in the configuration. If none of these values are set, runs the interactive Python prompt (REPL) using the __main__ module’s global namespace.

If PyConfig.inspect is not set (the default), the return value will be 0 if the interpreter exits normally (that is, without raising an exception), or 1 if the interpreter exits due to an exception. If an otherwise unhandled SystemExit is raised, the function will immediately exit the process instead of returning 1.

If PyConfig.inspect is set (such as when the -i option is used), rather than returning when the interpreter exits, execution will instead resume in an interactive Python prompt (REPL) using the __main__ module’s global namespace. If the interpreter exited with an exception, it is immediately raised in the REPL session. The function return value is then determined by the way the REPL session terminates: returning 0 if the session terminates without raising an unhandled exception, exiting immediately for an unhandled SystemExit, and returning 1 for any other unhandled exception.

This function always finalizes the Python interpreter regardless of whether it returns a value or immediately exits the process due to an unhandled SystemExit exception.

See Python Configuration for an example of a customized Python that always runs in isolated mode using Py_RunMain().

Process-wide parameters

void Py_SetProgramName(const wchar_t *name)

Parte da ABI Estável.

This API is kept for backward compatibility: setting PyConfig.program_name should be used instead, see Python Initialization Configuration.

Esta função deve ser chamada antes de Py_Initialize() ser chamada pela primeira vez, caso seja solicitada. Ela diz ao interpretador o valor do argumento argv[0] para a função main() do programa (convertido em caracteres amplos). Isto é utilizado por Py_GetPath() e algumas outras funções abaixo para encontrar as bibliotecas de tempo de execução relativas ao executável do interpretador. O valor padrão é 'python'. O argumento deve apontar para um caractere string amplo terminado em zero no armazenamento estático, cujo conteúdo não mudará durante a execução do programa. Nenhum código no interpretador Python mudará o conteúdo deste armazenamento.

Use Py_DecodeLocale() to decode a bytes string to get a wchar_* string.

Obsoleto desde a versão 3.11.

wchar_t *Py_GetProgramName()

Parte da ABI Estável.

Return the program name set with PyConfig.program_name, or the default. The returned string points into static storage; the caller should not modify its value.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get sys.executable instead.

wchar_t *Py_GetPrefix()

Parte da ABI Estável.

Return the prefix for installed platform-independent files. This is derived through a number of complicated rules from the program name set with PyConfig.program_name and some environment variables; for example, if the program name is '/usr/local/bin/python', the prefix is '/usr/local'. The returned string points into static storage; the caller should not modify its value. This corresponds to the prefix variable in the top-level Makefile and the --prefix argument to the configure script at build time. The value is available to Python code as sys.base_prefix. It is only useful on Unix. See also the next function.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get sys.base_prefix instead, or sys.prefix if virtual environments need to be handled.

wchar_t *Py_GetExecPrefix()

Parte da ABI Estável.

Return the exec-prefix for installed platform-dependent files. This is derived through a number of complicated rules from the program name set with PyConfig.program_name and some environment variables; for example, if the program name is '/usr/local/bin/python', the exec-prefix is '/usr/local'. The returned string points into static storage; the caller should not modify its value. This corresponds to the exec_prefix variable in the top-level Makefile and the --exec-prefix argument to the configure script at build time. The value is available to Python code as sys.base_exec_prefix. It is only useful on Unix.

Background: The exec-prefix differs from the prefix when platform dependent files (such as executables and shared libraries) are installed in a different directory tree. In a typical installation, platform dependent files may be installed in the /usr/local/plat subtree while platform independent may be installed in /usr/local.

Generally speaking, a platform is a combination of hardware and software families, e.g. Sparc machines running the Solaris 2.x operating system are considered the same platform, but Intel machines running Solaris 2.x are another platform, and Intel machines running Linux are yet another platform. Different major revisions of the same operating system generally also form different platforms. Non-Unix operating systems are a different story; the installation strategies on those systems are so different that the prefix and exec-prefix are meaningless, and set to the empty string. Note that compiled Python bytecode files are platform independent (but not independent from the Python version by which they were compiled!).

System administrators will know how to configure the mount or automount programs to share /usr/local between platforms while having /usr/local/plat be a different filesystem for each platform.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get sys.base_exec_prefix instead, or sys.exec_prefix if virtual environments need to be handled.

wchar_t *Py_GetProgramFullPath()

Parte da ABI Estável.

Return the full program name of the Python executable; this is computed as a side-effect of deriving the default module search path from the program name (set by PyConfig.program_name). The returned string points into static storage; the caller should not modify its value. The value is available to Python code as sys.executable.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get sys.executable instead.

wchar_t *Py_GetPath()

Parte da ABI Estável.

Return the default module search path; this is computed from the program name (set by PyConfig.program_name) and some environment variables. The returned string consists of a series of directory names separated by a platform dependent delimiter character. The delimiter character is ':' on Unix and macOS, ';' on Windows. The returned string points into static storage; the caller should not modify its value. The list sys.path is initialized with this value on interpreter startup; it can be (and usually is) modified later to change the search path for loading modules.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get sys.path instead.

const char *Py_GetVersion()

Parte da ABI Estável.

Retorna a verão deste interpretador Python. Esta é uma string que se parece com

"3.0a5+ (py3k:63103M, May 12 2008, 00:53:55) \n[GCC 4.2.3]"

The first word (up to the first space character) is the current Python version; the first characters are the major and minor version separated by a period. The returned string points into static storage; the caller should not modify its value. The value is available to Python code as sys.version.

See also the Py_Version constant.

const char *Py_GetPlatform()

Parte da ABI Estável.

Return the platform identifier for the current platform. On Unix, this is formed from the “official” name of the operating system, converted to lower case, followed by the major revision number; e.g., for Solaris 2.x, which is also known as SunOS 5.x, the value is 'sunos5'. On macOS, it is 'darwin'. On Windows, it is 'win'. The returned string points into static storage; the caller should not modify its value. The value is available to Python code as sys.platform.

const char *Py_GetCopyright()

Parte da ABI Estável.

Retorna a string oficial de direitos autoriais para a versão atual do Python, por exemplo

'Copyright 1991-1995 Stichting Mathematisch Centrum, Amsterdam'

The returned string points into static storage; the caller should not modify its value. The value is available to Python code as sys.copyright.

const char *Py_GetCompiler()

Parte da ABI Estável.

Retorna uma indicação do compilador usado para construir a atual versão do Python, em colchetes, por exemplo:

"[GCC 2.7.2.2]"

The returned string points into static storage; the caller should not modify its value. The value is available to Python code as part of the variable sys.version.

const char *Py_GetBuildInfo()

Parte da ABI Estável.

Retorna informação sobre o número de sequência e a data e hora da construção da instância atual do interpretador Python, por exemplo

"#67, Aug  1 1997, 22:34:28"

The returned string points into static storage; the caller should not modify its value. The value is available to Python code as part of the variable sys.version.

void PySys_SetArgvEx(int argc, wchar_t **argv, int updatepath)

Parte da ABI Estável.

This API is kept for backward compatibility: setting PyConfig.argv, PyConfig.parse_argv and PyConfig.safe_path should be used instead, see Python Initialization Configuration.

Set sys.argv based on argc and argv. These parameters are similar to those passed to the program’s main() function with the difference that the first entry should refer to the script file to be executed rather than the executable hosting the Python interpreter. If there isn’t a script that will be run, the first entry in argv can be an empty string. If this function fails to initialize sys.argv, a fatal condition is signalled using Py_FatalError().

Se updatepath é zero, isto é tudo o que a função faz. Se updatepath não é zero, a função também modifica sys.path de acordo com o seguinte algoritmo:

If the name of an existing script is passed in argv[0], the absolute path of the directory where the script is located is prepended to sys.path.

Otherwise (that is, if argc is 0 or argv[0] doesn’t point to an existing file name), an empty string is prepended to sys.path, which is the same as prepending the current working directory (".").

Use Py_DecodeLocale() to decode a bytes string to get a wchar_* string.

See also PyConfig.orig_argv and PyConfig.argv members of the Python Initialization Configuration.

Nota

It is recommended that applications embedding the Python interpreter for purposes other than executing a single script pass 0 as updatepath, and update sys.path themselves if desired. See CVE 2008-5983 [https://www.cve.org/CVERecord?id=CVE-2008-5983].

On versions before 3.1.3, you can achieve the same effect by manually popping the first sys.path element after having called PySys_SetArgv(), for example using:

PyRun_SimpleString("import sys; sys.path.pop(0)\n");

Adicionado na versão 3.1.3.

Obsoleto desde a versão 3.11.

void PySys_SetArgv(int argc, wchar_t **argv)

Parte da ABI Estável.

This API is kept for backward compatibility: setting PyConfig.argv and PyConfig.parse_argv should be used instead, see Python Initialization Configuration.

This function works like PySys_SetArgvEx() with updatepath set to 1 unless the python interpreter was started with the -I.

Use Py_DecodeLocale() to decode a bytes string to get a wchar_* string.

See also PyConfig.orig_argv and PyConfig.argv members of the Python Initialization Configuration.

Alterado na versão 3.4: The updatepath value depends on -I.

Obsoleto desde a versão 3.11.

void Py_SetPythonHome(const wchar_t *home)

Parte da ABI Estável.

This API is kept for backward compatibility: setting PyConfig.home should be used instead, see Python Initialization Configuration.

Set the default “home” directory, that is, the location of the standard Python libraries. See PYTHONHOME for the meaning of the argument string.

The argument should point to a zero-terminated character string in static storage whose contents will not change for the duration of the program’s execution. No code in the Python interpreter will change the contents of this storage.

Use Py_DecodeLocale() to decode a bytes string to get a wchar_* string.

Obsoleto desde a versão 3.11.

wchar_t *Py_GetPythonHome()

Parte da ABI Estável.

Return the default “home”, that is, the value set by PyConfig.home, or the value of the PYTHONHOME environment variable if it is set.

This function should not be called before Py_Initialize(), otherwise it returns NULL.

Alterado na versão 3.10: It now returns NULL if called before Py_Initialize().

Deprecated since version 3.13, will be removed in version 3.15: Get PyConfig.home or PYTHONHOME environment variable instead.

Thread State and the Global Interpreter Lock

The Python interpreter is not fully thread-safe. In order to support multi-threaded Python programs, there’s a global lock, called the global interpreter lock or GIL, that must be held by the current thread before it can safely access Python objects. Without the lock, even the simplest operations could cause problems in a multi-threaded program: for example, when two threads simultaneously increment the reference count of the same object, the reference count could end up being incremented only once instead of twice.

Therefore, the rule exists that only the thread that has acquired the GIL may operate on Python objects or call Python/C API functions. In order to emulate concurrency of execution, the interpreter regularly tries to switch threads (see sys.setswitchinterval()). The lock is also released around potentially blocking I/O operations like reading or writing a file, so that other Python threads can run in the meantime.

The Python interpreter keeps some thread-specific bookkeeping information inside a data structure called PyThreadState. There’s also one global variable pointing to the current PyThreadState: it can be retrieved using PyThreadState_Get().

Releasing the GIL from extension code

A maioria dos códigos de extensão que manipulam a GIL tem a seguinte estrutura:

Save the thread state in a local variable.
Release the global interpreter lock.
... Do some blocking I/O operation ...
Reacquire the global interpreter lock.
Restore the thread state from the local variable.

This is so common that a pair of macros exists to simplify it:

Py_BEGIN_ALLOW_THREADS
... Do some blocking I/O operation ...
Py_END_ALLOW_THREADS

A macro Py_BEGIN_ALLOW_THREADS abre um novo bloco e declara uma variável local oculta; a macro Py_END_ALLOW_THREADS fecha o bloco.

The block above expands to the following code:

PyThreadState *_save;

_save = PyEval_SaveThread();
... Do some blocking I/O operation ...
PyEval_RestoreThread(_save);

Here is how these functions work: the global interpreter lock is used to protect the pointer to the current thread state. When releasing the lock and saving the thread state, the current thread state pointer must be retrieved before the lock is released (since another thread could immediately acquire the lock and store its own thread state in the global variable). Conversely, when acquiring the lock and restoring the thread state, the lock must be acquired before storing the thread state pointer.

Nota

Calling system I/O functions is the most common use case for releasing the GIL, but it can also be useful before calling long-running computations which don’t need access to Python objects, such as compression or cryptographic functions operating over memory buffers. For example, the standard zlib and hashlib modules release the GIL when compressing or hashing data.

Non-Python created threads

When threads are created using the dedicated Python APIs (such as the threading module), a thread state is automatically associated to them and the code showed above is therefore correct. However, when threads are created from C (for example by a third-party library with its own thread management), they don’t hold the GIL, nor is there a thread state structure for them.

If you need to call Python code from these threads (often this will be part of a callback API provided by the aforementioned third-party library), you must first register these threads with the interpreter by creating a thread state data structure, then acquiring the GIL, and finally storing their thread state pointer, before you can start using the Python/C API. When you are done, you should reset the thread state pointer, release the GIL, and finally free the thread state data structure.

The PyGILState_Ensure() and PyGILState_Release() functions do all of the above automatically. The typical idiom for calling into Python from a C thread is:

PyGILState_STATE gstate;
gstate = PyGILState_Ensure();

/* Perform Python actions here. */
result = CallSomeFunction();
/* evaluate result or handle exception */

/* Release the thread. No Python API allowed beyond this point. */
PyGILState_Release(gstate);

Note that the PyGILState_* functions assume there is only one global interpreter (created automatically by Py_Initialize()). Python supports the creation of additional interpreters (using Py_NewInterpreter()), but mixing multiple interpreters and the PyGILState_* API is unsupported.

Cuidados com o uso de fork()

Another important thing to note about threads is their behaviour in the face of the C fork() call. On most systems with fork(), after a process forks only the thread that issued the fork will exist. This has a concrete impact both on how locks must be handled and on all stored state in CPython’s runtime.

The fact that only the “current” thread remains means any locks held by other threads will never be released. Python solves this for os.fork() by acquiring the locks it uses internally before the fork, and releasing them afterwards. In addition, it resets any Lock Objects in the child. When extending or embedding Python, there is no way to inform Python of additional (non-Python) locks that need to be acquired before or reset after a fork. OS facilities such as pthread_atfork() would need to be used to accomplish the same thing. Additionally, when extending or embedding Python, calling fork() directly rather than through os.fork() (and returning to or calling into Python) may result in a deadlock by one of Python’s internal locks being held by a thread that is defunct after the fork. PyOS_AfterFork_Child() tries to reset the necessary locks, but is not always able to.

The fact that all other threads go away also means that CPython’s runtime state there must be cleaned up properly, which os.fork() does. This means finalizing all other PyThreadState objects belonging to the current interpreter and all other PyInterpreterState objects. Due to this and the special nature of the “main” interpreter, fork() should only be called in that interpreter’s “main” thread, where the CPython global runtime was originally initialized. The only exception is if exec() will be called immediately after.

High-level API

Estes são os tipos e as funções mais comumente usados na escrita de um código de extensão em C, ou ao incorporar o interpretador Python:

type PyInterpreterState

Parte da API Limitada (como uma estrutura opaca).

This data structure represents the state shared by a number of cooperating threads. Threads belonging to the same interpreter share their module administration and a few other internal items. There are no public members in this structure.

Threads belonging to different interpreters initially share nothing, except process state like available memory, open file descriptors and such. The global interpreter lock is also shared by all threads, regardless of to which interpreter they belong.

type PyThreadState

Parte da API Limitada (como uma estrutura opaca).

This data structure represents the state of a single thread. The only public data member is:

PyInterpreterState *interp

This thread’s interpreter state.

void PyEval_InitThreads()

Parte da ABI Estável.

Função descontinuada que não faz nada.

In Python 3.6 and older, this function created the GIL if it didn’t exist.

Alterado na versão 3.9: The function now does nothing.

Alterado na versão 3.7: Esta função agora é chamada por Py_Initialize(), então não há mais necessidade de você chamá-la.

Alterado na versão 3.2: Esta função não pode mais ser chamada antes de Py_Initialize().

Obsoleto desde a versão 3.9.

PyThreadState *PyEval_SaveThread()

Parte da ABI Estável.

Release the global interpreter lock (if it has been created) and reset the thread state to NULL, returning the previous thread state (which is not NULL). If the lock has been created, the current thread must have acquired it.

void PyEval_RestoreThread(PyThreadState *tstate)

Parte da ABI Estável.

Acquire the global interpreter lock (if it has been created) and set the thread state to tstate, which must not be NULL. If the lock has been created, the current thread must not have acquired it, otherwise deadlock ensues.

Nota

Calling this function from a thread when the runtime is finalizing will terminate the thread, even if the thread was not created by Python. You can use Py_IsFinalizing() or sys.is_finalizing() to check if the interpreter is in process of being finalized before calling this function to avoid unwanted termination.

PyThreadState *PyThreadState_Get()

Parte da ABI Estável.

Return the current thread state. The global interpreter lock must be held. When the current thread state is NULL, this issues a fatal error (so that the caller needn’t check for NULL).

See also PyThreadState_GetUnchecked().

PyThreadState *PyThreadState_GetUnchecked()

Similar to PyThreadState_Get(), but don’t kill the process with a fatal error if it is NULL. The caller is responsible to check if the result is NULL.

Adicionado na versão 3.13: In Python 3.5 to 3.12, the function was private and known as _PyThreadState_UncheckedGet().

PyThreadState *PyThreadState_Swap(PyThreadState *tstate)

Parte da ABI Estável.

Swap the current thread state with the thread state given by the argument tstate, which may be NULL. The global interpreter lock must be held and is not released.

The following functions use thread-local storage, and are not compatible with sub-interpreters:

PyGILState_STATE PyGILState_Ensure()

Parte da ABI Estável.

Certifique-se de que a thread atual esteja pronta para chamar a API Python C, independentemente do estado atual do Python ou da trava global do interpretador (GIL). Isso pode ser chamado quantas vezes desejar por uma thread, desde que cada chamada corresponda a uma chamada para PyGILState_Release(). Em geral, outras APIs relacionadas a threads podem ser usadas entre chamadas PyGILState_Ensure() e PyGILState_Release() desde que o estado da thread seja restaurado ao seu estado anterior antes de Release(). Por exemplo, o uso normal das macros Py_BEGIN_ALLOW_THREADS e Py_END_ALLOW_THREADS é aceitável.

The return value is an opaque “handle” to the thread state when PyGILState_Ensure() was called, and must be passed to PyGILState_Release() to ensure Python is left in the same state. Even though recursive calls are allowed, these handles cannot be shared - each unique call to PyGILState_Ensure() must save the handle for its call to PyGILState_Release().

When the function returns, the current thread will hold the GIL and be able to call arbitrary Python code. Failure is a fatal error.

Nota

Calling this function from a thread when the runtime is finalizing will terminate the thread, even if the thread was not created by Python. You can use Py_IsFinalizing() or sys.is_finalizing() to check if the interpreter is in process of being finalized before calling this function to avoid unwanted termination.

void PyGILState_Release(PyGILState_STATE)

Parte da ABI Estável.

Release any resources previously acquired. After this call, Python’s state will be the same as it was prior to the corresponding PyGILState_Ensure() call (but generally this state will be unknown to the caller, hence the use of the GILState API).

Every call to PyGILState_Ensure() must be matched by a call to PyGILState_Release() on the same thread.

PyThreadState *PyGILState_GetThisThreadState()

Parte da ABI Estável.

Get the current thread state for this thread. May return NULL if no GILState API has been used on the current thread. Note that the main thread always has such a thread-state, even if no auto-thread-state call has been made on the main thread. This is mainly a helper/diagnostic function.

int PyGILState_Check()

Return 1 if the current thread is holding the GIL and 0 otherwise. This function can be called from any thread at any time. Only if it has had its Python thread state initialized and currently is holding the GIL will it return 1. This is mainly a helper/diagnostic function. It can be useful for example in callback contexts or memory allocation functions when knowing that the GIL is locked can allow the caller to perform sensitive actions or otherwise behave differently.

Adicionado na versão 3.4.

The following macros are normally used without a trailing semicolon; look for example usage in the Python source distribution.

Py_BEGIN_ALLOW_THREADS

Parte da ABI Estável.

Esta macro se expande para { PyThreadState *_save; _save = PyEval_SaveThread();. Observe que ele contém uma chave de abertura; ele deve ser combinado com a seguinte macro Py_END_ALLOW_THREADS. Veja acima para uma discussão mais aprofundada desta macro.

Py_END_ALLOW_THREADS

Parte da ABI Estável.

Esta macro se expande para PyEval_RestoreThread(_save); }. Observe que ele contém uma chave de fechamento; ele deve ser combinado com uma macro Py_BEGIN_ALLOW_THREADS anterior. Veja acima para uma discussão mais aprofundada desta macro.

Py_BLOCK_THREADS

Parte da ABI Estável.

Esta macro se expande para PyEval_RestoreThread(_save);: é equivalente a Py_END_ALLOW_THREADS sem a chave de fechamento.

Py_UNBLOCK_THREADS

Parte da ABI Estável.

Esta macro se expande para _save = PyEval_SaveThread();: é equivalente a Py_BEGIN_ALLOW_THREADS sem a chave de abertura e declaração de variável.

Low-level API

All of the following functions must be called after Py_Initialize().

Alterado na versão 3.7: Py_Initialize() now initializes the GIL.

PyInterpreterState *PyInterpreterState_New()

Parte da ABI Estável.

Create a new interpreter state object. The global interpreter lock need not be held, but may be held if it is necessary to serialize calls to this function.

Levanta um evento de auditoria cpython.PyInterpreterState_New sem argumentos.

void PyInterpreterState_Clear(PyInterpreterState *interp)

Parte da ABI Estável.

Reset all information in an interpreter state object. The global interpreter lock must be held.

Levanta um evento de auditoria cpython.PyInterpreterState_Clear sem argumentos.

void PyInterpreterState_Delete(PyInterpreterState *interp)

Parte da ABI Estável.

Destroy an interpreter state object. The global interpreter lock need not be held. The interpreter state must have been reset with a previous call to PyInterpreterState_Clear().

PyThreadState *PyThreadState_New(PyInterpreterState *interp)

Parte da ABI Estável.

Create a new thread state object belonging to the given interpreter object. The global interpreter lock need not be held, but may be held if it is necessary to serialize calls to this function.

void PyThreadState_Clear(PyThreadState *tstate)

Parte da ABI Estável.

Reset all information in a thread state object. The global interpreter lock must be held.

Alterado na versão 3.9: This function now calls the PyThreadState.on_delete callback. Previously, that happened in PyThreadState_Delete().

void PyThreadState_Delete(PyThreadState *tstate)

Parte da ABI Estável.

Destroy a thread state object. The global interpreter lock need not be held. The thread state must have been reset with a previous call to PyThreadState_Clear().

void PyThreadState_DeleteCurrent(void)

Destroy the current thread state and release the global interpreter lock. Like PyThreadState_Delete(), the global interpreter lock must be held. The thread state must have been reset with a previous call to PyThreadState_Clear().

PyFrameObject *PyThreadState_GetFrame(PyThreadState *tstate)

Parte da ABI Estável desde a versão 3.10.

Get the current frame of the Python thread state tstate.

Return a strong reference. Return NULL if no frame is currently executing.

See also PyEval_GetFrame().

tstate must not be NULL.

Adicionado na versão 3.9.

uint64_t PyThreadState_GetID(PyThreadState *tstate)

Parte da ABI Estável desde a versão 3.10.

Get the unique thread state identifier of the Python thread state tstate.

tstate must not be NULL.

Adicionado na versão 3.9.

PyInterpreterState *PyThreadState_GetInterpreter(PyThreadState *tstate)

Parte da ABI Estável desde a versão 3.10.

Get the interpreter of the Python thread state tstate.

tstate must not be NULL.

Adicionado na versão 3.9.

void PyThreadState_EnterTracing(PyThreadState *tstate)

Suspend tracing and profiling in the Python thread state tstate.

Resume them using the PyThreadState_LeaveTracing() function.

Adicionado na versão 3.11.

void PyThreadState_LeaveTracing(PyThreadState *tstate)

Resume tracing and profiling in the Python thread state tstate suspended by the PyThreadState_EnterTracing() function.

See also PyEval_SetTrace() and PyEval_SetProfile() functions.

Adicionado na versão 3.11.

PyInterpreterState *PyInterpreterState_Get(void)

Parte da ABI Estável desde a versão 3.9.

Get the current interpreter.

Issue a fatal error if there no current Python thread state or no current interpreter. It cannot return NULL.

The caller must hold the GIL.

Adicionado na versão 3.9.

int64_t PyInterpreterState_GetID(PyInterpreterState *interp)

Parte da ABI Estável desde a versão 3.7.

Return the interpreter’s unique ID. If there was any error in doing so then -1 is returned and an error is set.

The caller must hold the GIL.

Adicionado na versão 3.7.

PyObject *PyInterpreterState_GetDict(PyInterpreterState *interp)

Parte da ABI Estável desde a versão 3.8.

Return a dictionary in which interpreter-specific data may be stored. If this function returns NULL then no exception has been raised and the caller should assume no interpreter-specific dict is available.

This is not a replacement for PyModule_GetState(), which extensions should use to store interpreter-specific state information.

Adicionado na versão 3.8.

typedef PyObject *(*_PyFrameEvalFunction)(PyThreadState *tstate, _PyInterpreterFrame *frame, int throwflag)

Type of a frame evaluation function.

The throwflag parameter is used by the throw() method of generators: if non-zero, handle the current exception.

Alterado na versão 3.9: The function now takes a tstate parameter.

Alterado na versão 3.11: The frame parameter changed from PyFrameObject* to _PyInterpreterFrame*.

_PyFrameEvalFunction _PyInterpreterState_GetEvalFrameFunc(PyInterpreterState *interp)

Get the frame evaluation function.

See the PEP 523 [https://peps.python.org/pep-0523/] “Adding a frame evaluation API to CPython”.

Adicionado na versão 3.9.

void _PyInterpreterState_SetEvalFrameFunc(PyInterpreterState *interp, _PyFrameEvalFunction eval_frame)

Set the frame evaluation function.

See the PEP 523 [https://peps.python.org/pep-0523/] “Adding a frame evaluation API to CPython”.

Adicionado na versão 3.9.

PyObject *PyThreadState_GetDict()

Retorna valor: Referência emprestada. Parte da ABI Estável.

Return a dictionary in which extensions can store thread-specific state information. Each extension should use a unique key to use to store state in the dictionary. It is okay to call this function when no current thread state is available. If this function returns NULL, no exception has been raised and the caller should assume no current thread state is available.

int PyThreadState_SetAsyncExc(unsigned long id, PyObject *exc)

Parte da ABI Estável.

Asynchronously raise an exception in a thread. The id argument is the thread id of the target thread; exc is the exception object to be raised. This function does not steal any references to exc. To prevent naive misuse, you must write your own C extension to call this. Must be called with the GIL held. Returns the number of thread states modified; this is normally one, but will be zero if the thread id isn’t found. If exc is NULL, the pending exception (if any) for the thread is cleared. This raises no exceptions.

Alterado na versão 3.7: The type of the id parameter changed from long to unsigned long.

void PyEval_AcquireThread(PyThreadState *tstate)

Parte da ABI Estável.

Acquire the global interpreter lock and set the current thread state to tstate, which must not be NULL. The lock must have been created earlier. If this thread already has the lock, deadlock ensues.

Nota

Calling this function from a thread when the runtime is finalizing will terminate the thread, even if the thread was not created by Python. You can use Py_IsFinalizing() or sys.is_finalizing() to check if the interpreter is in process of being finalized before calling this function to avoid unwanted termination.

Alterado na versão 3.8: Updated to be consistent with PyEval_RestoreThread(), Py_END_ALLOW_THREADS(), and PyGILState_Ensure(), and terminate the current thread if called while the interpreter is finalizing.

PyEval_RestoreThread() is a higher-level function which is always available (even when threads have not been initialized).

void PyEval_ReleaseThread(PyThreadState *tstate)

Parte da ABI Estável.

Reset the current thread state to NULL and release the global interpreter lock. The lock must have been created earlier and must be held by the current thread. The tstate argument, which must not be NULL, is only used to check that it represents the current thread state — if it isn’t, a fatal error is reported.

PyEval_SaveThread() is a higher-level function which is always available (even when threads have not been initialized).

Sub-interpreter support

While in most uses, you will only embed a single Python interpreter, there are cases where you need to create several independent interpreters in the same process and perhaps even in the same thread. Sub-interpreters allow you to do that.

The “main” interpreter is the first one created when the runtime initializes. It is usually the only Python interpreter in a process. Unlike sub-interpreters, the main interpreter has unique process-global responsibilities like signal handling. It is also responsible for execution during runtime initialization and is usually the active interpreter during runtime finalization. The PyInterpreterState_Main() function returns a pointer to its state.

You can switch between sub-interpreters using the PyThreadState_Swap() function. You can create and destroy them using the following functions:

type PyInterpreterConfig

Structure containing most parameters to configure a sub-interpreter. Its values are used only in Py_NewInterpreterFromConfig() and never modified by the runtime.

Adicionado na versão 3.12.

Campos de estrutura:

int use_main_obmalloc

If this is 0 then the sub-interpreter will use its own “object” allocator state. Otherwise it will use (share) the main interpreter’s.

If this is 0 then check_multi_interp_extensions must be 1 (non-zero). If this is 1 then gil must not be PyInterpreterConfig_OWN_GIL.

int allow_fork

If this is 0 then the runtime will not support forking the process in any thread where the sub-interpreter is currently active. Otherwise fork is unrestricted.

Note that the subprocess module still works when fork is disallowed.

int allow_exec

If this is 0 then the runtime will not support replacing the current process via exec (e.g. os.execv()) in any thread where the sub-interpreter is currently active. Otherwise exec is unrestricted.

Note that the subprocess module still works when exec is disallowed.

int allow_threads

If this is 0 then the sub-interpreter’s threading module won’t create threads. Otherwise threads are allowed.

int allow_daemon_threads

If this is 0 then the sub-interpreter’s threading module won’t create daemon threads. Otherwise daemon threads are allowed (as long as allow_threads is non-zero).

int check_multi_interp_extensions

If this is 0 then all extension modules may be imported, including legacy (single-phase init) modules, in any thread where the sub-interpreter is currently active. Otherwise only multi-phase init extension modules (see PEP 489 [https://peps.python.org/pep-0489/]) may be imported. (Also see Py_mod_multiple_interpreters.)

This must be 1 (non-zero) if use_main_obmalloc is 0.

int gil

This determines the operation of the GIL for the sub-interpreter. It may be one of the following:

PyInterpreterConfig_DEFAULT_GIL

Use the default selection (PyInterpreterConfig_SHARED_GIL).

PyInterpreterConfig_SHARED_GIL

Use (share) the main interpreter’s GIL.

PyInterpreterConfig_OWN_GIL

Use the sub-interpreter’s own GIL.

If this is PyInterpreterConfig_OWN_GIL then PyInterpreterConfig.use_main_obmalloc must be 0.

PyStatus Py_NewInterpreterFromConfig(PyThreadState **tstate_p, const PyInterpreterConfig *config)

Create a new sub-interpreter. This is an (almost) totally separate environment for the execution of Python code. In particular, the new interpreter has separate, independent versions of all imported modules, including the fundamental modules builtins, __main__ and sys. The table of loaded modules (sys.modules) and the module search path (sys.path) are also separate. The new environment has no sys.argv variable. It has new standard I/O stream file objects sys.stdin, sys.stdout and sys.stderr (however these refer to the same underlying file descriptors).

The given config controls the options with which the interpreter is initialized.

Upon success, tstate_p will be set to the first thread state created in the new sub-interpreter. This thread state is made in the current thread state. Note that no actual thread is created; see the discussion of thread states below. If creation of the new interpreter is unsuccessful, tstate_p is set to NULL; no exception is set since the exception state is stored in the current thread state and there may not be a current thread state.

Like all other Python/C API functions, the global interpreter lock must be held before calling this function and is still held when it returns. Likewise a current thread state must be set on entry. On success, the returned thread state will be set as current. If the sub-interpreter is created with its own GIL then the GIL of the calling interpreter will be released. When the function returns, the new interpreter’s GIL will be held by the current thread and the previously interpreter’s GIL will remain released here.

Adicionado na versão 3.12.

Sub-interpreters are most effective when isolated from each other, with certain functionality restricted:

PyInterpreterConfig config = {
    .use_main_obmalloc = 0,
    .allow_fork = 0,
    .allow_exec = 0,
    .allow_threads = 1,
    .allow_daemon_threads = 0,
    .check_multi_interp_extensions = 1,
    .gil = PyInterpreterConfig_OWN_GIL,
};
PyThreadState *tstate = Py_NewInterpreterFromConfig(&config);

Note that the config is used only briefly and does not get modified. During initialization the config’s values are converted into various PyInterpreterState values. A read-only copy of the config may be stored internally on the PyInterpreterState.

Extension modules are shared between (sub-)interpreters as follows:

For modules using multi-phase initialization, e.g. PyModule_FromDefAndSpec(), a separate module object is created and initialized for each interpreter. Only C-level static and global variables are shared between these module objects.

For modules using single-phase initialization, e.g. PyModule_Create(), the first time a particular extension is imported, it is initialized normally, and a (shallow) copy of its module’s dictionary is squirreled away. When the same extension is imported by another (sub-)interpreter, a new module is initialized and filled with the contents of this copy; the extension’s init function is not called. Objects in the module’s dictionary thus end up shared across (sub-)interpreters, which might cause unwanted behavior (see Bugs and caveats below).

Note that this is different from what happens when an extension is imported after the interpreter has been completely re-initialized by calling Py_FinalizeEx() and Py_Initialize(); in that case, the extension’s initmodule function is called again. As with multi-phase initialization, this means that only C-level static and global variables are shared between these modules.

PyThreadState *Py_NewInterpreter(void)

Parte da ABI Estável.

Create a new sub-interpreter. This is essentially just a wrapper around Py_NewInterpreterFromConfig() with a config that preserves the existing behavior. The result is an unisolated sub-interpreter that shares the main interpreter’s GIL, allows fork/exec, allows daemon threads, and allows single-phase init modules.

void Py_EndInterpreter(PyThreadState *tstate)

Parte da ABI Estável.

Destroy the (sub-)interpreter represented by the given thread state. The given thread state must be the current thread state. See the discussion of thread states below. When the call returns, the current thread state is NULL. All thread states associated with this interpreter are destroyed. The global interpreter lock used by the target interpreter must be held before calling this function. No GIL is held when it returns.

Py_FinalizeEx() will destroy all sub-interpreters that haven’t been explicitly destroyed at that point.

A Per-Interpreter GIL

Using Py_NewInterpreterFromConfig() you can create a sub-interpreter that is completely isolated from other interpreters, including having its own GIL. The most important benefit of this isolation is that such an interpreter can execute Python code without being blocked by other interpreters or blocking any others. Thus a single Python process can truly take advantage of multiple CPU cores when running Python code. The isolation also encourages a different approach to concurrency than that of just using threads. (See PEP 554 [https://peps.python.org/pep-0554/].)

Using an isolated interpreter requires vigilance in preserving that isolation. That especially means not sharing any objects or mutable state without guarantees about thread-safety. Even objects that are otherwise immutable (e.g. None, (1, 5)) can’t normally be shared because of the refcount. One simple but less-efficient approach around this is to use a global lock around all use of some state (or object). Alternately, effectively immutable objects (like integers or strings) can be made safe in spite of their refcounts by making them immortal. In fact, this has been done for the builtin singletons, small integers, and a number of other builtin objects.

Se você preservar o isolamento, terá acesso à computação multi-core adequada, sem as complicações que acompanham o uso de threads livres. A falha em preservar o isolamento traz a exposição a todas as consequências de threads livres, incluindo corridas e travamentos difíceis de depurar.

Aside from that, one of the main challenges of using multiple isolated interpreters is how to communicate between them safely (not break isolation) and efficiently. The runtime and stdlib do not provide any standard approach to this yet. A future stdlib module would help mitigate the effort of preserving isolation and expose effective tools for communicating (and sharing) data between interpreters.

Adicionado na versão 3.12.

Bugs and caveats

Because sub-interpreters (and the main interpreter) are part of the same process, the insulation between them isn’t perfect — for example, using low-level file operations like os.close() they can (accidentally or maliciously) affect each other’s open files. Because of the way extensions are shared between (sub-)interpreters, some extensions may not work properly; this is especially likely when using single-phase initialization or (static) global variables. It is possible to insert objects created in one sub-interpreter into a namespace of another (sub-)interpreter; this should be avoided if possible.

Special care should be taken to avoid sharing user-defined functions, methods, instances or classes between sub-interpreters, since import operations executed by such objects may affect the wrong (sub-)interpreter’s dictionary of loaded modules. It is equally important to avoid sharing objects from which the above are reachable.

Also note that combining this functionality with PyGILState_* APIs is delicate, because these APIs assume a bijection between Python thread states and OS-level threads, an assumption broken by the presence of sub-interpreters. It is highly recommended that you don’t switch sub-interpreters between a pair of matching PyGILState_Ensure() and PyGILState_Release() calls. Furthermore, extensions (such as ctypes) using these APIs to allow calling of Python code from non-Python created threads will probably be broken when using sub-interpreters.

Notificações assíncronas

A mechanism is provided to make asynchronous notifications to the main interpreter thread. These notifications take the form of a function pointer and a void pointer argument.

int Py_AddPendingCall(int (*func)(void*), void *arg)

Parte da ABI Estável.

Schedule a function to be called from the main interpreter thread. On success, 0 is returned and func is queued for being called in the main thread. On failure, -1 is returned without setting any exception.

When successfully queued, func will be eventually called from the main interpreter thread with the argument arg. It will be called asynchronously with respect to normally running Python code, but with both these conditions met:

on a bytecode boundary;

with the main thread holding the global interpreter lock (func can therefore use the full C API).

func must return 0 on success, or -1 on failure with an exception set. func won’t be interrupted to perform another asynchronous notification recursively, but it can still be interrupted to switch threads if the global interpreter lock is released.

This function doesn’t need a current thread state to run, and it doesn’t need the global interpreter lock.

To call this function in a subinterpreter, the caller must hold the GIL. Otherwise, the function func can be scheduled to be called from the wrong interpreter.

Aviso

This is a low-level function, only useful for very special cases. There is no guarantee that func will be called as quick as possible. If the main thread is busy executing a system call, func won’t be called before the system call returns. This function is generally not suitable for calling Python code from arbitrary C threads. Instead, use the PyGILState API.

Adicionado na versão 3.1.

Alterado na versão 3.9: If this function is called in a subinterpreter, the function func is now scheduled to be called from the subinterpreter, rather than being called from the main interpreter. Each subinterpreter now has its own list of scheduled calls.

Profiling and Tracing

The Python interpreter provides some low-level support for attaching profiling and execution tracing facilities. These are used for profiling, debugging, and coverage analysis tools.

This C interface allows the profiling or tracing code to avoid the overhead of calling through Python-level callable objects, making a direct C function call instead. The essential attributes of the facility have not changed; the interface allows trace functions to be installed per-thread, and the basic events reported to the trace function are the same as had been reported to the Python-level trace functions in previous versions.

typedef int (*Py_tracefunc)(PyObject *obj, PyFrameObject *frame, int what, PyObject *arg)

The type of the trace function registered using PyEval_SetProfile() and PyEval_SetTrace(). The first parameter is the object passed to the registration function as obj, frame is the frame object to which the event pertains, what is one of the constants PyTrace_CALL, PyTrace_EXCEPTION, PyTrace_LINE, PyTrace_RETURN, PyTrace_C_CALL, PyTrace_C_EXCEPTION, PyTrace_C_RETURN, or PyTrace_OPCODE, and arg depends on the value of what:

Value of what

Meaning of arg

PyTrace_CALL

Always Py_None.

PyTrace_EXCEPTION

Exception information as returned by sys.exc_info().

PyTrace_LINE

Always Py_None.

PyTrace_RETURN

Value being returned to the caller, or NULL if caused by an exception.

PyTrace_C_CALL

Function object being called.

PyTrace_C_EXCEPTION

Function object being called.

PyTrace_C_RETURN

Function object being called.

PyTrace_OPCODE

Always Py_None.

int PyTrace_CALL

The value of the what parameter to a Py_tracefunc function when a new call to a function or method is being reported, or a new entry into a generator. Note that the creation of the iterator for a generator function is not reported as there is no control transfer to the Python bytecode in the corresponding frame.

int PyTrace_EXCEPTION

The value of the what parameter to a Py_tracefunc function when an exception has been raised. The callback function is called with this value for what when after any bytecode is processed after which the exception becomes set within the frame being executed. The effect of this is that as exception propagation causes the Python stack to unwind, the callback is called upon return to each frame as the exception propagates. Only trace functions receives these events; they are not needed by the profiler.

int PyTrace_LINE

The value passed as the what parameter to a Py_tracefunc function (but not a profiling function) when a line-number event is being reported. It may be disabled for a frame by setting f_trace_lines to 0 on that frame.

int PyTrace_RETURN

The value for the what parameter to Py_tracefunc functions when a call is about to return.

int PyTrace_C_CALL

The value for the what parameter to Py_tracefunc functions when a C function is about to be called.

int PyTrace_C_EXCEPTION

The value for the what parameter to Py_tracefunc functions when a C function has raised an exception.

int PyTrace_C_RETURN

The value for the what parameter to Py_tracefunc functions when a C function has returned.

int PyTrace_OPCODE

The value for the what parameter to Py_tracefunc functions (but not profiling functions) when a new opcode is about to be executed. This event is not emitted by default: it must be explicitly requested by setting f_trace_opcodes to 1 on the frame.

void PyEval_SetProfile(Py_tracefunc func, PyObject *obj)

Set the profiler function to func. The obj parameter is passed to the function as its first parameter, and may be any Python object, or NULL. If the profile function needs to maintain state, using a different value for obj for each thread provides a convenient and thread-safe place to store it. The profile function is called for all monitored events except PyTrace_LINE PyTrace_OPCODE and PyTrace_EXCEPTION.

See also the sys.setprofile() function.

The caller must hold the GIL.

void PyEval_SetProfileAllThreads(Py_tracefunc func, PyObject *obj)

Like PyEval_SetProfile() but sets the profile function in all running threads belonging to the current interpreter instead of the setting it only on the current thread.

The caller must hold the GIL.

As PyEval_SetProfile(), this function ignores any exceptions raised while setting the profile functions in all threads.

Adicionado na versão 3.12.

void PyEval_SetTrace(Py_tracefunc func, PyObject *obj)

Set the tracing function to func. This is similar to PyEval_SetProfile(), except the tracing function does receive line-number events and per-opcode events, but does not receive any event related to C function objects being called. Any trace function registered using PyEval_SetTrace() will not receive PyTrace_C_CALL, PyTrace_C_EXCEPTION or PyTrace_C_RETURN as a value for the what parameter.

See also the sys.settrace() function.

The caller must hold the GIL.

void PyEval_SetTraceAllThreads(Py_tracefunc func, PyObject *obj)

Like PyEval_SetTrace() but sets the tracing function in all running threads belonging to the current interpreter instead of the setting it only on the current thread.

The caller must hold the GIL.

As PyEval_SetTrace(), this function ignores any exceptions raised while setting the trace functions in all threads.

Adicionado na versão 3.12.

Reference tracing

Adicionado na versão 3.13.

typedef int (*PyRefTracer)(PyObject*, int event, void *data)

The type of the trace function registered using PyRefTracer_SetTracer(). The first parameter is a Python object that has been just created (when event is set to PyRefTracer_CREATE) or about to be destroyed (when event is set to PyRefTracer_DESTROY). The data argument is the opaque pointer that was provided when PyRefTracer_SetTracer() was called.

Adicionado na versão 3.13.

int PyRefTracer_CREATE

The value for the event parameter to PyRefTracer functions when a Python object has been created.

int PyRefTracer_DESTROY

The value for the event parameter to PyRefTracer functions when a Python object has been destroyed.

int PyRefTracer_SetTracer(PyRefTracer tracer, void *data)

Register a reference tracer function. The function will be called when a new Python has been created or when an object is going to be destroyed. If data is provided it must be an opaque pointer that will be provided when the tracer function is called. Return 0 on success. Set an exception and return -1 on error.

Not that tracer functions must not create Python objects inside or otherwise the call will be re-entrant. The tracer also must not clear any existing exception or set an exception. The GIL will be held every time the tracer function is called.

The GIL must be held when calling this function.

Adicionado na versão 3.13.

PyRefTracer PyRefTracer_GetTracer(void **data)

Get the registered reference tracer function and the value of the opaque data pointer that was registered when PyRefTracer_SetTracer() was called. If no tracer was registered this function will return NULL and will set the data pointer to NULL.

The GIL must be held when calling this function.

Adicionado na versão 3.13.

Advanced Debugger Support

These functions are only intended to be used by advanced debugging tools.

PyInterpreterState *PyInterpreterState_Head()

Return the interpreter state object at the head of the list of all such objects.

PyInterpreterState *PyInterpreterState_Main()

Return the main interpreter state object.

PyInterpreterState *PyInterpreterState_Next(PyInterpreterState *interp)

Return the next interpreter state object after interp from the list of all such objects.

PyThreadState *PyInterpreterState_ThreadHead(PyInterpreterState *interp)

Return the pointer to the first PyThreadState object in the list of threads associated with the interpreter interp.

PyThreadState *PyThreadState_Next(PyThreadState *tstate)

Return the next thread state object after tstate from the list of all such objects belonging to the same PyInterpreterState object.

Thread Local Storage Support

The Python interpreter provides low-level support for thread-local storage (TLS) which wraps the underlying native TLS implementation to support the Python-level thread local storage API (threading.local). The CPython C level APIs are similar to those offered by pthreads and Windows: use a thread key and functions to associate a void* value per thread.

The GIL does not need to be held when calling these functions; they supply their own locking.

Note that Python.h does not include the declaration of the TLS APIs, you need to include pythread.h to use thread-local storage.

Nota

None of these API functions handle memory management on behalf of the void* values. You need to allocate and deallocate them yourself. If the void* values happen to be PyObject*, these functions don’t do refcount operations on them either.

Thread Specific Storage (TSS) API

TSS API is introduced to supersede the use of the existing TLS API within the CPython interpreter. This API uses a new type Py_tss_t instead of int to represent thread keys.

Adicionado na versão 3.7.

Ver também

“A New C-API for Thread-Local Storage in CPython” (PEP 539 [https://peps.python.org/pep-0539/])

type Py_tss_t

This data structure represents the state of a thread key, the definition of which may depend on the underlying TLS implementation, and it has an internal field representing the key’s initialization state. There are no public members in this structure.

Quando Py_LIMITED_API não é definido, a alocação estática deste tipo por Py_tss_NEEDS_INIT é permitida.

Py_tss_NEEDS_INIT

This macro expands to the initializer for Py_tss_t variables. Note that this macro won’t be defined with Py_LIMITED_API.

Alocação dinâmica

Dynamic allocation of the Py_tss_t, required in extension modules built with Py_LIMITED_API, where static allocation of this type is not possible due to its implementation being opaque at build time.

Py_tss_t *PyThread_tss_alloc()

Parte da ABI Estável desde a versão 3.7.

Retorna um valor que é o mesmo estado de um valor inicializado com Py_tss_NEEDS_INIT, ou NULL no caso de falha de alocação dinâmica.

void PyThread_tss_free(Py_tss_t *key)

Parte da ABI Estável desde a versão 3.7.

Free the given key allocated by PyThread_tss_alloc(), after first calling PyThread_tss_delete() to ensure any associated thread locals have been unassigned. This is a no-op if the key argument is NULL.

Nota

A freed key becomes a dangling pointer. You should reset the key to NULL.

Métodos

The parameter key of these functions must not be NULL. Moreover, the behaviors of PyThread_tss_set() and PyThread_tss_get() are undefined if the given Py_tss_t has not been initialized by PyThread_tss_create().

int PyThread_tss_is_created(Py_tss_t *key)

Parte da ABI Estável desde a versão 3.7.

Return a non-zero value if the given Py_tss_t has been initialized by PyThread_tss_create().

int PyThread_tss_create(Py_tss_t *key)

Parte da ABI Estável desde a versão 3.7.

Retorna um valor zero na inicialização bem-sucedida de uma chave TSS. O comportamento é indefinido se o valor apontado pelo argumento key não for inicializado por Py_tss_NEEDS_INIT. Essa função pode ser chamada repetidamente na mesma tecla – chamá-la em uma tecla já inicializada não funciona e retorna imediatamente com sucesso.

void PyThread_tss_delete(Py_tss_t *key)

Parte da ABI Estável desde a versão 3.7.

Destroy a TSS key to forget the values associated with the key across all threads, and change the key’s initialization state to uninitialized. A destroyed key is able to be initialized again by PyThread_tss_create(). This function can be called repeatedly on the same key – calling it on an already destroyed key is a no-op.

int PyThread_tss_set(Py_tss_t *key, void *value)

Parte da ABI Estável desde a versão 3.7.

Return a zero value to indicate successfully associating a void* value with a TSS key in the current thread. Each thread has a distinct mapping of the key to a void* value.

void *PyThread_tss_get(Py_tss_t *key)

Parte da ABI Estável desde a versão 3.7.

Return the void* value associated with a TSS key in the current thread. This returns NULL if no value is associated with the key in the current thread.

Thread Local Storage (TLS) API

Obsoleto desde a versão 3.7: This API is superseded by Thread Specific Storage (TSS) API.

Nota

This version of the API does not support platforms where the native TLS key is defined in a way that cannot be safely cast to int. On such platforms, PyThread_create_key() will return immediately with a failure status, and the other TLS functions will all be no-ops on such platforms.

Due to the compatibility problem noted above, this version of the API should not be used in new code.

int PyThread_create_key()

Parte da ABI Estável.

void PyThread_delete_key(int key)

Parte da ABI Estável.

int PyThread_set_key_value(int key, void *value)

Parte da ABI Estável.

void *PyThread_get_key_value(int key)

Parte da ABI Estável.

void PyThread_delete_key_value(int key)

Parte da ABI Estável.

void PyThread_ReInitTLS()

Parte da ABI Estável.

Synchronization Primitives

The C-API provides a basic mutual exclusion lock.

type PyMutex

A mutual exclusion lock. The PyMutex should be initialized to zero to represent the unlocked state. For example:

PyMutex mutex = {0};

Instances of PyMutex should not be copied or moved. Both the contents and address of a PyMutex are meaningful, and it must remain at a fixed, writable location in memory.

Nota

A PyMutex currently occupies one byte, but the size should be considered unstable. The size may change in future Python releases without a deprecation period.

Adicionado na versão 3.13.

void PyMutex_Lock(PyMutex *m)

Lock mutex m. If another thread has already locked it, the calling thread will block until the mutex is unlocked. While blocked, the thread will temporarily release the GIL if it is held.

Adicionado na versão 3.13.

void PyMutex_Unlock(PyMutex *m)

Unlock mutex m. The mutex must be locked — otherwise, the function will issue a fatal error.

Adicionado na versão 3.13.

Python Critical Section API

The critical section API provides a deadlock avoidance layer on top of per-object locks for free-threaded CPython. They are intended to replace reliance on the global interpreter lock, and are no-ops in versions of Python with the global interpreter lock.

Critical sections avoid deadlocks by implicitly suspending active critical sections and releasing the locks during calls to PyEval_SaveThread(). When PyEval_RestoreThread() is called, the most recent critical section is resumed, and its locks reacquired. This means the critical section API provides weaker guarantees than traditional locks – they are useful because their behavior is similar to the GIL.

The functions and structs used by the macros are exposed for cases where C macros are not available. They should only be used as in the given macro expansions. Note that the sizes and contents of the structures may change in future Python versions.

Nota

Operations that need to lock two objects at once must use Py_BEGIN_CRITICAL_SECTION2. You cannot use nested critical sections to lock more than one object at once, because the inner critical section may suspend the outer critical sections. This API does not provide a way to lock more than two objects at once.

Exemplo de uso:

static PyObject *
set_field(MyObject *self, PyObject *value)
{
   Py_BEGIN_CRITICAL_SECTION(self);
   Py_SETREF(self->field, Py_XNewRef(value));
   Py_END_CRITICAL_SECTION();
   Py_RETURN_NONE;
}

In the above example, Py_SETREF calls Py_DECREF, which can call arbitrary code through an object’s deallocation function. The critical section API avoids potential deadlocks due to reentrancy and lock ordering by allowing the runtime to temporarily suspend the critical section if the code triggered by the finalizer blocks and calls PyEval_SaveThread().

Py_BEGIN_CRITICAL_SECTION(op)

Acquires the per-object lock for the object op and begins a critical section.

In the free-threaded build, this macro expands to:

{
    PyCriticalSection _py_cs;
    PyCriticalSection_Begin(&_py_cs, (PyObject*)(op))

In the default build, this macro expands to {.

Adicionado na versão 3.13.

Py_END_CRITICAL_SECTION()

Ends the critical section and releases the per-object lock.

In the free-threaded build, this macro expands to:

    PyCriticalSection_End(&_py_cs);
}

In the default build, this macro expands to }.

Adicionado na versão 3.13.

Py_BEGIN_CRITICAL_SECTION2(a, b)

Acquires the per-objects locks for the objects a and b and begins a critical section. The locks are acquired in a consistent order (lowest address first) to avoid lock ordering deadlocks.

In the free-threaded build, this macro expands to:

{
    PyCriticalSection2 _py_cs2;
    PyCriticalSection_Begin2(&_py_cs2, (PyObject*)(a), (PyObject*)(b))

In the default build, this macro expands to {.

Adicionado na versão 3.13.

Py_END_CRITICAL_SECTION2()

Ends the critical section and releases the per-object locks.

In the free-threaded build, this macro expands to:

    PyCriticalSection_End2(&_py_cs2);
}

In the default build, this macro expands to }.

Adicionado na versão 3.13.

Configuração de Inicialização do Python

Adicionado na versão 3.8.

Python pode ser inicializado com Py_InitializeFromConfig() e a estrutura PyConfig. Pode ser pré-inicializado com Py_PreInitialize() e a estrutura PyPreConfig.

Existem dois tipos de configuração:

A Python Configuration pode ser usada para construir um Python personalizado que se comporta como um Python comum. Por exemplo, variáveis de ambiente e argumento de linha de comando são usados para configurar Python.

A Configuração isolada pode ser usada para incorporar Python em uma aplicação. Isso isola Python de um sistema. Por exemplo, variáveis de ambiente são ignoradas, a variável local LC_CTYPE fica inalterada e nenhum manipulador de sinal é registrado.

A função Py_RunMain() pode ser usada para escrever um programa Python personalizado.

Veja também Inicialização, Finalização e Threads.

Ver também

PEP 587 [https://peps.python.org/pep-0587/] “Configuração da inicialização do Python”.

Exemplo

Exemplo de Python personalizado sendo executado sempre em um modo isolado:

int main(int argc, char **argv)
{
    PyStatus status;

    PyConfig config;
    PyConfig_InitPythonConfig(&config);
    config.isolated = 1;

    /* Decode command line arguments.
       Implicitly preinitialize Python (in isolated mode). */
    status = PyConfig_SetBytesArgv(&config, argc, argv);
    if (PyStatus_Exception(status)) {
        goto exception;
    }

    status = Py_InitializeFromConfig(&config);
    if (PyStatus_Exception(status)) {
        goto exception;
    }
    PyConfig_Clear(&config);

    return Py_RunMain();

exception:
    PyConfig_Clear(&config);
    if (PyStatus_IsExit(status)) {
        return status.exitcode;
    }
    /* Display the error message and exit the process with
       non-zero exit code */
    Py_ExitStatusException(status);
}

PyWideStringList

type PyWideStringList

Lista de strings wchar_t*.

Se length é diferente de zero, items deve ser diferente de NULL e todas as strings devem ser diferentes de NULL.

Métodos:

PyStatus PyWideStringList_Append(PyWideStringList *list, const wchar_t *item)

Anexa item a list.

Python deve ser inicializado previamente antes de chamar essa função.

PyStatus PyWideStringList_Insert(PyWideStringList *list, Py_ssize_t index, const wchar_t *item)

Insere item na list na posição index.

Se index for maior ou igual ao comprimento da list, anexa o item a list.

index deve ser maior que ou igual a 0.

Python deve ser inicializado previamente antes de chamar essa função.

Campos de estrutura:

Py_ssize_t length

Comprimento da lista.

wchar_t **items

Itens da lista.

PyStatus

type PyStatus

Estrutura para armazenar o status de uma função de inicialização: sucesso, erro ou saída.

Para um erro, ela pode armazenar o nome da função C que criou o erro.

Campos de estrutura:

int exitcode

Código de saída. Argumento passado para exit().

const char *err_msg

Mensagem de erro.

const char *func

Nome da função que criou um erro. Pode ser NULL.

Funções para criar um status:

PyStatus PyStatus_Ok(void)

Sucesso.

PyStatus PyStatus_Error(const char *err_msg)

Erro de inicialização com uma mensagem.

err_msg não deve ser NULL.

PyStatus PyStatus_NoMemory(void)

Falha de alocação de memória (sem memória).

PyStatus PyStatus_Exit(int exitcode)

Sai do Python com o código de saída especificado.

Funções para manipular um status:

int PyStatus_Exception(PyStatus status)

O status é um erro ou uma saída? Se verdadeiro, a exceção deve ser tratada; chamando Py_ExitStatusException(), por exemplo.

int PyStatus_IsError(PyStatus status)

O resultado é um erro?

int PyStatus_IsExit(PyStatus status)

O resultado é uma saída?

void Py_ExitStatusException(PyStatus status)

Chama exit(exitcode) se status for uma saída. Exibe a mensagem de erro e sai com um código de saída diferente de zero se status for um erro. Deve ser chamado apenas se PyStatus_Exception(status) for diferente de zero.

Nota

Internamente, Python usa macros que definem PyStatus.func, enquanto funções para criar um status definem func para NULL.

Exemplo:

PyStatus alloc(void **ptr, size_t size)
{
    *ptr = PyMem_RawMalloc(size);
    if (*ptr == NULL) {
        return PyStatus_NoMemory();
    }
    return PyStatus_Ok();
}

int main(int argc, char **argv)
{
    void *ptr;
    PyStatus status = alloc(&ptr, 16);
    if (PyStatus_Exception(status)) {
        Py_ExitStatusException(status);
    }
    PyMem_Free(ptr);
    return 0;
}

PyPreConfig

type PyPreConfig

Estrutura usada para pré-inicializar o Python.

A função para inicializar uma pré-configuração:

void PyPreConfig_InitPythonConfig(PyPreConfig *preconfig)

Inicializa a pré-configuração com Configuração do Python.

void PyPreConfig_InitIsolatedConfig(PyPreConfig *preconfig)

Inicializa a pré-configuração com Configuração isolada.

Campos de estrutura:

int allocator

Nome de alocadores de memória em Python:

PYMEM_ALLOCATOR_NOT_SET (0): não altera os alocadores de memória (usa o padrão).

PYMEM_ALLOCATOR_DEFAULT (1): alocadores de memória padrão.

PYMEM_ALLOCATOR_DEBUG (2): alocadores de memória padrão com ganchos de depuração.

PYMEM_ALLOCATOR_MALLOC (3): usa malloc() da biblioteca C.

PYMEM_ALLOCATOR_MALLOC_DEBUG (4): força uso de malloc() com ganchos de depuração.

PYMEM_ALLOCATOR_PYMALLOC (5): alocador de memória do Python pymalloc.

PYMEM_ALLOCATOR_PYMALLOC_DEBUG (6): alocador de memória deo Python pymalloc com ganchos de depuração.

PYMEM_ALLOCATOR_MIMALLOC (6): usa mimalloc, um substituto rápido do malloc.

PYMEM_ALLOCATOR_MIMALLOC_DEBUG (7): use mimalloc, um substituto rápido do malloc com ganchos de depuração.

PYMEM_ALLOCATOR_PYMALLOC e PYMEM_ALLOCATOR_PYMALLOC_DEBUG não são suportados se o Python estiver configurado usando --without-pymalloc.

PYMEM_ALLOCATOR_MIMALLOC e PYMEM_ALLOCATOR_MIMALLOC_DEBUG não são suportados se o Python estiver configurado usando --without-mimalloc ou se suporte atômico subjacente não estiver disponível.

Veja Gerenciamento de memória.

Padrão: PYMEM_ALLOCATOR_NOT_SET.

int configure_locale

Define a localidade LC_CTYPE para a localidade preferida do usuário.

Se igual a 0, define os membros coerce_c_locale e coerce_c_locale_warn para 0.

Veja a codificação da localidade.

Padrão: 1 na configuração do Python, 0 na configuração isolada.

int coerce_c_locale

Se igual a 2, força a localidade para C.

Se for igual a 1, lê a localidade LC_CTYPE para decidir se deve ser forçado.

Veja a codificação da localidade.

Padrão: -1 na configuração do Python, 0 na configuração isolada.

int coerce_c_locale_warn

Se diferente de zero, emite um aviso se a localidade C for forçada.

Padrão: -1 na configuração do Python, 0 na configuração isolada.

int dev_mode

Modo de desenvolvimento do Python: veja PyConfig.dev_mode.

Padrão: -1 no modo do Python, 0 no modo isolado.

int isolated

Modo isolado: veja PyConfig.isolated.

Padrão: 0 no modo do Python, 1 no modo isolado.

int legacy_windows_fs_encoding

Se não zero:

Define PyPreConfig.utf8_mode para 0,

Define PyConfig.filesystem_encoding para "mbcs",

Define PyConfig.filesystem_errors para "replace".

Initialized from the PYTHONLEGACYWINDOWSFSENCODING environment variable value.

Disponível apenas no Windows. A macro #ifdef MS_WINDOWS pode ser usada para código específico do Windows.

Padrão: 0.

int parse_argv

Se diferente de zero, Py_PreInitializeFromArgs() e Py_PreInitializeFromBytesArgs() analisam seu argumento argv da mesma forma que o Python regular analisa argumentos de linha de comando: veja Argumentos de linha de comando.

Padrão: 1 na configuração do Python, 0 na configuração isolada.

int use_environment

Usar variáveis de ambiente? Veja PyConfig.use_environment.

Padrão: 1 na configuração do Python e 0 na configuração isolada.

int utf8_mode

Se não zero, habilita o modo UTF-8 do Python.

Define para 0 ou 1 pela opção de linha de comando -X utf8 e a variável de ambiente PYTHONUTF8.

Também define como 1 se a localidade LC_CTYPE for C ou POSIX.

Padrão: -1 na configuração do Python e 0 na configuração isolada.

Pré-inicializar Python com PyPreConfig

A pré-inicialização do Python:

Define os alocadores de memória Python (PyPreConfig.allocator)

Configura a localidade LC_CTYPE (codificação da localidade)

Define o Modo UTF-8 do Python (PyPreConfig.utf8_mode)

A pré-configuração atual (tipo PyPreConfig) é armazenada em _PyRuntime.preconfig.

Funções para pré-inicializar Python:

PyStatus Py_PreInitialize(const PyPreConfig *preconfig)

Pré-inicializa o Python a partir da pré-configuração preconfig.

preconfig não pode ser NULL..

PyStatus Py_PreInitializeFromBytesArgs(const PyPreConfig *preconfig, int argc, char *const *argv)

Pré-inicializa o Python a partir da pré-configuração preconfig.

Analisa argumentos de linha de comando argv (strings de bytes) se parse_argv de preconfig for diferente de zero.

preconfig não pode ser NULL..

PyStatus Py_PreInitializeFromArgs(const PyPreConfig *preconfig, int argc, wchar_t *const *argv)

Pré-inicializa o Python a partir da pré-configuração preconfig.

Analisa argumentos de linha de comando argv (strings largas) se parse_argv de preconfig for diferente de zero.

preconfig não pode ser NULL..

O chamador é responsável por manipular exceções (erro ou saída) usando PyStatus_Exception() e Py_ExitStatusException().

Para configuração do Python (PyPreConfig_InitPythonConfig()), se o Python for inicializado com argumentos de linha de comando, os argumentos de linha de comando também devem ser passados ​​para pré-inicializar o Python, pois eles têm um efeito na pré-configuração como codificações. Por exemplo, a opção de linha de comando -X utf8 habilita o Modo UTF-8 do Python.

PyMem_SetAllocator() pode ser chamado depois de Py_PreInitialize() e antes de Py_InitializeFromConfig() para instalar um alocador de memória personalizado. Ele pode ser chamado antes de Py_PreInitialize() se PyPreConfig.allocator estiver definido como PYMEM_ALLOCATOR_NOT_SET.

Funções de alocação de memória do Python como PyMem_RawMalloc() não devem ser usadas antes da pré-inicialização do Python, enquanto chamar diretamente malloc() e free() é sempre seguro. Py_DecodeLocale() não deve ser chamado antes da pré-inicialização do Python.

Exemplo usando a pré-inicialização para habilitar o modo UTF-8 do Python.

PyStatus status;
PyPreConfig preconfig;
PyPreConfig_InitPythonConfig(&preconfig);

preconfig.utf8_mode = 1;

status = Py_PreInitialize(&preconfig);
if (PyStatus_Exception(status)) {
    Py_ExitStatusException(status);
}

/* at this point, Python speaks UTF-8 */

Py_Initialize();
/* ... use Python API here ... */
Py_Finalize();

PyConfig

type PyConfig

Estrutura contendo a maioria dos parâmetros para configurar o Python.

Ao terminar, a função PyConfig_Clear() deve ser usada para liberar a memória de configuração.

Structure methods:

void PyConfig_InitPythonConfig(PyConfig *config)

Initialize configuration with the Python Configuration.

void PyConfig_InitIsolatedConfig(PyConfig *config)

Initialize configuration with the Isolated Configuration.

PyStatus PyConfig_SetString(PyConfig *config, wchar_t *const *config_str, const wchar_t *str)

Copy the wide character string str into *config_str.

Preinitialize Python if needed.

PyStatus PyConfig_SetBytesString(PyConfig *config, wchar_t *const *config_str, const char *str)

Decode str using Py_DecodeLocale() and set the result into *config_str.

Preinitialize Python if needed.

PyStatus PyConfig_SetArgv(PyConfig *config, int argc, wchar_t *const *argv)

Set command line arguments (argv member of config) from the argv list of wide character strings.

Preinitialize Python if needed.

PyStatus PyConfig_SetBytesArgv(PyConfig *config, int argc, char *const *argv)

Set command line arguments (argv member of config) from the argv list of bytes strings. Decode bytes using Py_DecodeLocale().

Preinitialize Python if needed.

PyStatus PyConfig_SetWideStringList(PyConfig *config, PyWideStringList *list, Py_ssize_t length, wchar_t **items)

Set the list of wide strings list to length and items.

Preinitialize Python if needed.

PyStatus PyConfig_Read(PyConfig *config)

Read all Python configuration.

Fields which are already initialized are left unchanged.

Fields for path configuration are no longer calculated or modified when calling this function, as of Python 3.11.

The PyConfig_Read() function only parses PyConfig.argv arguments once: PyConfig.parse_argv is set to 2 after arguments are parsed. Since Python arguments are stripped from PyConfig.argv, parsing arguments twice would parse the application options as Python options.

Preinitialize Python if needed.

Alterado na versão 3.10: The PyConfig.argv arguments are now only parsed once, PyConfig.parse_argv is set to 2 after arguments are parsed, and arguments are only parsed if PyConfig.parse_argv equals 1.

Alterado na versão 3.11: PyConfig_Read() no longer calculates all paths, and so fields listed under Python Path Configuration may no longer be updated until Py_InitializeFromConfig() is called.

void PyConfig_Clear(PyConfig *config)

Release configuration memory.

Most PyConfig methods preinitialize Python if needed. In that case, the Python preinitialization configuration (PyPreConfig) in based on the PyConfig. If configuration fields which are in common with PyPreConfig are tuned, they must be set before calling a PyConfig method:

PyConfig.dev_mode

PyConfig.isolated

PyConfig.parse_argv

PyConfig.use_environment

Moreover, if PyConfig_SetArgv() or PyConfig_SetBytesArgv() is used, this method must be called before other methods, since the preinitialization configuration depends on command line arguments (if parse_argv is non-zero).

The caller of these methods is responsible to handle exceptions (error or exit) using PyStatus_Exception() and Py_ExitStatusException().

Campos de estrutura:

PyWideStringList argv

Set sys.argv command line arguments based on argv. These parameters are similar to those passed to the program’s main() function with the difference that the first entry should refer to the script file to be executed rather than the executable hosting the Python interpreter. If there isn’t a script that will be run, the first entry in argv can be an empty string.

Set parse_argv to 1 to parse argv the same way the regular Python parses Python command line arguments and then to strip Python arguments from argv.

If argv is empty, an empty string is added to ensure that sys.argv always exists and is never empty.

Padrão: NULL.

See also the orig_argv member.

int safe_path

If equals to zero, Py_RunMain() prepends a potentially unsafe path to sys.path at startup:

If argv[0] is equal to L"-m" (python -m module), prepend the current working directory.

If running a script (python script.py), prepend the script’s directory. If it’s a symbolic link, resolve symbolic links.

Otherwise (python -c code and python), prepend an empty string, which means the current working directory.

Set to 1 by the -P command line option and the PYTHONSAFEPATH environment variable.

Default: 0 in Python config, 1 in isolated config.

Adicionado na versão 3.11.

wchar_t *base_exec_prefix

sys.base_exec_prefix.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.exec_prefix.

wchar_t *base_executable

Python base executable: sys._base_executable.

Set by the __PYVENV_LAUNCHER__ environment variable.

Set from PyConfig.executable if NULL.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.executable.

wchar_t *base_prefix

sys.base_prefix.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.prefix.

int buffered_stdio

If equals to 0 and configure_c_stdio is non-zero, disable buffering on the C streams stdout and stderr.

Set to 0 by the -u command line option and the PYTHONUNBUFFERED environment variable.

stdin is always opened in buffered mode.

Padrão: 1.

int bytes_warning

If equals to 1, issue a warning when comparing bytes or bytearray with str, or comparing bytes with int.

If equal or greater to 2, raise a BytesWarning exception in these cases.

Incremented by the -b command line option.

Padrão: 0.

int warn_default_encoding

If non-zero, emit a EncodingWarning warning when io.TextIOWrapper uses its default encoding. See Opt-in EncodingWarning for details.

Padrão: 0.

Adicionado na versão 3.10.

int code_debug_ranges

If equals to 0, disables the inclusion of the end line and column mappings in code objects. Also disables traceback printing carets to specific error locations.

Set to 0 by the PYTHONNODEBUGRANGES environment variable and by the -X no_debug_ranges command line option.

Padrão: 1.

Adicionado na versão 3.11.

wchar_t *check_hash_pycs_mode

Control the validation behavior of hash-based .pyc files: value of the --check-hash-based-pycs command line option.

Valores válidos:

L"always": Hash the source file for invalidation regardless of value of the ‘check_source’ flag.

L"never": Assume that hash-based pycs always are valid.

L"default": The ‘check_source’ flag in hash-based pycs determines invalidation.

Default: L"default".

See also PEP 552 [https://peps.python.org/pep-0552/] “Deterministic pycs”.

int configure_c_stdio

If non-zero, configure C standard streams:

On Windows, set the binary mode (O_BINARY) on stdin, stdout and stderr.

If buffered_stdio equals zero, disable buffering of stdin, stdout and stderr streams.

If interactive is non-zero, enable stream buffering on stdin and stdout (only stdout on Windows).

Padrão: 1 na configuração do Python, 0 na configuração isolada.

int dev_mode

If non-zero, enable the Python Development Mode.

Set to 1 by the -X dev option and the PYTHONDEVMODE environment variable.

Padrão: -1 no modo do Python, 0 no modo isolado.

int dump_refs

Dump Python references?

If non-zero, dump all objects which are still alive at exit.

Set to 1 by the PYTHONDUMPREFS environment variable.

Needs a special build of Python with the Py_TRACE_REFS macro defined: see the configure --with-trace-refs option.

Padrão: 0.

wchar_t *exec_prefix

The site-specific directory prefix where the platform-dependent Python files are installed: sys.exec_prefix.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.base_exec_prefix.

wchar_t *executable

The absolute path of the executable binary for the Python interpreter: sys.executable.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.base_executable.

int faulthandler

Enable faulthandler?

If non-zero, call faulthandler.enable() at startup.

Set to 1 by -X faulthandler and the PYTHONFAULTHANDLER environment variable.

Padrão: -1 no modo do Python, 0 no modo isolado.

wchar_t *filesystem_encoding

Filesystem encoding: sys.getfilesystemencoding().

On macOS, Android and VxWorks: use "utf-8" by default.

On Windows: use "utf-8" by default, or "mbcs" if legacy_windows_fs_encoding of PyPreConfig is non-zero.

Default encoding on other platforms:

"utf-8" if PyPreConfig.utf8_mode is non-zero.

"ascii" if Python detects that nl_langinfo(CODESET) announces the ASCII encoding, whereas the mbstowcs() function decodes from a different encoding (usually Latin1).

"utf-8" if nl_langinfo(CODESET) returns an empty string.

Otherwise, use the locale encoding: nl_langinfo(CODESET) result.

At Python startup, the encoding name is normalized to the Python codec name. For example, "ANSI_X3.4-1968" is replaced with "ascii".

See also the filesystem_errors member.

wchar_t *filesystem_errors

Filesystem error handler: sys.getfilesystemencodeerrors().

On Windows: use "surrogatepass" by default, or "replace" if legacy_windows_fs_encoding of PyPreConfig is non-zero.

On other platforms: use "surrogateescape" by default.

Supported error handlers:

"strict"

"surrogateescape"

"surrogatepass" (only supported with the UTF-8 encoding)

See also the filesystem_encoding member.

unsigned long hash_seed

int use_hash_seed

Randomized hash function seed.

If use_hash_seed is zero, a seed is chosen randomly at Python startup, and hash_seed is ignored.

Set by the PYTHONHASHSEED environment variable.

Default use_hash_seed value: -1 in Python mode, 0 in isolated mode.

wchar_t *home

Set the default Python “home” directory, that is, the location of the standard Python libraries (see PYTHONHOME).

Set by the PYTHONHOME environment variable.

Padrão: NULL.

Part of the Python Path Configuration input.

int import_time

If non-zero, profile import time.

Set the 1 by the -X importtime option and the PYTHONPROFILEIMPORTTIME environment variable.

Padrão: 0.

int inspect

Enter interactive mode after executing a script or a command.

If greater than 0, enable inspect: when a script is passed as first argument or the -c option is used, enter interactive mode after executing the script or the command, even when sys.stdin does not appear to be a terminal.

Incremented by the -i command line option. Set to 1 if the PYTHONINSPECT environment variable is non-empty.

Padrão: 0.

int install_signal_handlers

Install Python signal handlers?

Default: 1 in Python mode, 0 in isolated mode.

int interactive

If greater than 0, enable the interactive mode (REPL).

Incremented by the -i command line option.

Padrão: 0.

int int_max_str_digits

Configures the integer string conversion length limitation. An initial value of -1 means the value will be taken from the command line or environment or otherwise default to 4300 (sys.int_info.default_max_str_digits). A value of 0 disables the limitation. Values greater than zero but less than 640 (sys.int_info.str_digits_check_threshold) are unsupported and will produce an error.

Configured by the -X int_max_str_digits command line flag or the PYTHONINTMAXSTRDIGITS environment variable.

Default: -1 in Python mode. 4300 (sys.int_info.default_max_str_digits) in isolated mode.

Adicionado na versão 3.12.

int cpu_count

If the value of cpu_count is not -1 then it will override the return values of os.cpu_count(), os.process_cpu_count(), and multiprocessing.cpu_count().

Configured by the -X cpu_count=n|default command line flag or the PYTHON_CPU_COUNT environment variable.

Default: -1.

Adicionado na versão 3.13.

int isolated

If greater than 0, enable isolated mode:

Set safe_path to 1: don’t prepend a potentially unsafe path to sys.path at Python startup, such as the current directory, the script’s directory or an empty string.

Set use_environment to 0: ignore PYTHON environment variables.

Set user_site_directory to 0: don’t add the user site directory to sys.path.

Python REPL doesn’t import readline nor enable default readline configuration on interactive prompts.

Set to 1 by the -I command line option.

Padrão: 0 no modo do Python, 1 no modo isolado.

See also the Isolated Configuration and PyPreConfig.isolated.

int legacy_windows_stdio

If non-zero, use io.FileIO instead of io._WindowsConsoleIO for sys.stdin, sys.stdout and sys.stderr.

Definida como 1 se a variável de ambiente PYTHONLEGACYWINDOWSSTDIO estiver definida como uma string não vazia.

Disponível apenas no Windows. A macro #ifdef MS_WINDOWS pode ser usada para código específico do Windows.

Padrão: 0.

See also the PEP 528 [https://peps.python.org/pep-0528/] (Change Windows console encoding to UTF-8).

int malloc_stats

If non-zero, dump statistics on Python pymalloc memory allocator at exit.

Set to 1 by the PYTHONMALLOCSTATS environment variable.

The option is ignored if Python is configured using the --without-pymalloc option.

Padrão: 0.

wchar_t *platlibdir

Platform library directory name: sys.platlibdir.

Set by the PYTHONPLATLIBDIR environment variable.

Default: value of the PLATLIBDIR macro which is set by the configure --with-platlibdir option (default: "lib", or "DLLs" on Windows).

Part of the Python Path Configuration input.

Adicionado na versão 3.9.

Alterado na versão 3.11: This macro is now used on Windows to locate the standard library extension modules, typically under DLLs. However, for compatibility, note that this value is ignored for any non-standard layouts, including in-tree builds and virtual environments.

wchar_t *pythonpath_env

Module search paths (sys.path) as a string separated by DELIM (os.pathsep).

Set by the PYTHONPATH environment variable.

Padrão: NULL.

Part of the Python Path Configuration input.

PyWideStringList module_search_paths

int module_search_paths_set

Module search paths: sys.path.

If module_search_paths_set is equal to 0, Py_InitializeFromConfig() will replace module_search_paths and sets module_search_paths_set to 1.

Default: empty list (module_search_paths) and 0 (module_search_paths_set).

Part of the Python Path Configuration output.

int optimization_level

Compilation optimization level:

0: Peephole optimizer, set __debug__ to True.

1: Level 0, remove assertions, set __debug__ to False.

2: Level 1, strip docstrings.

Incremented by the -O command line option. Set to the PYTHONOPTIMIZE environment variable value.

Padrão: 0.

PyWideStringList orig_argv

The list of the original command line arguments passed to the Python executable: sys.orig_argv.

If orig_argv list is empty and argv is not a list only containing an empty string, PyConfig_Read() copies argv into orig_argv before modifying argv (if parse_argv is non-zero).

See also the argv member and the Py_GetArgcArgv() function.

Padrão: lista vazia.

Adicionado na versão 3.10.

int parse_argv

Parse command line arguments?

If equals to 1, parse argv the same way the regular Python parses command line arguments, and strip Python arguments from argv.

The PyConfig_Read() function only parses PyConfig.argv arguments once: PyConfig.parse_argv is set to 2 after arguments are parsed. Since Python arguments are stripped from PyConfig.argv, parsing arguments twice would parse the application options as Python options.

Default: 1 in Python mode, 0 in isolated mode.

Alterado na versão 3.10: The PyConfig.argv arguments are now only parsed if PyConfig.parse_argv equals to 1.

int parser_debug

Parser debug mode. If greater than 0, turn on parser debugging output (for expert only, depending on compilation options).

Incremented by the -d command line option. Set to the PYTHONDEBUG environment variable value.

Needs a debug build of Python (the Py_DEBUG macro must be defined).

Padrão: 0.

int pathconfig_warnings

If non-zero, calculation of path configuration is allowed to log warnings into stderr. If equals to 0, suppress these warnings.

Default: 1 in Python mode, 0 in isolated mode.

Part of the Python Path Configuration input.

Alterado na versão 3.11: Now also applies on Windows.

wchar_t *prefix

The site-specific directory prefix where the platform independent Python files are installed: sys.prefix.

Padrão: NULL.

Part of the Python Path Configuration output.

See also PyConfig.base_prefix.

wchar_t *program_name

Program name used to initialize executable and in early error messages during Python initialization.

On macOS, use PYTHONEXECUTABLE environment variable if set.

If the WITH_NEXT_FRAMEWORK macro is defined, use __PYVENV_LAUNCHER__ environment variable if set.

Use argv[0] of argv if available and non-empty.

Otherwise, use L"python" on Windows, or L"python3" on other platforms.

Padrão: NULL.

Part of the Python Path Configuration input.

wchar_t *pycache_prefix

Directory where cached .pyc files are written: sys.pycache_prefix.

Set by the -X pycache_prefix=PATH command line option and the PYTHONPYCACHEPREFIX environment variable. The command-line option takes precedence.

If NULL, sys.pycache_prefix is set to None.

Padrão: NULL.

int quiet

Quiet mode. If greater than 0, don’t display the copyright and version at Python startup in interactive mode.

Incremented by the -q command line option.

Padrão: 0.

wchar_t *run_command

Value of the -c command line option.

Used by Py_RunMain().

Padrão: NULL.

wchar_t *run_filename

Filename passed on the command line: trailing command line argument without -c or -m. It is used by the Py_RunMain() function.

For example, it is set to script.py by the python3 script.py arg command line.

See also the PyConfig.skip_source_first_line option.

Padrão: NULL.

wchar_t *run_module

Value of the -m command line option.

Used by Py_RunMain().

Padrão: NULL.

wchar_t *run_presite

package.module path to module that should be imported before site.py is run.

Set by the -X presite=package.module command-line option and the PYTHON_PRESITE environment variable. The command-line option takes precedence.

Needs a debug build of Python (the Py_DEBUG macro must be defined).

Padrão: NULL.

int show_ref_count

Show total reference count at exit (excluding immortal objects)?

Set to 1 by -X showrefcount command line option.

Needs a debug build of Python (the Py_REF_DEBUG macro must be defined).

Padrão: 0.

int site_import

Import the site module at startup?

If equal to zero, disable the import of the module site and the site-dependent manipulations of sys.path that it entails.

Also disable these manipulations if the site module is explicitly imported later (call site.main() if you want them to be triggered).

Set to 0 by the -S command line option.

sys.flags.no_site is set to the inverted value of site_import.

Padrão: 1.

int skip_source_first_line

If non-zero, skip the first line of the PyConfig.run_filename source.

It allows the usage of non-Unix forms of #!cmd. This is intended for a DOS specific hack only.

Set to 1 by the -x command line option.

Padrão: 0.

wchar_t *stdio_encoding

wchar_t *stdio_errors

Encoding and encoding errors of sys.stdin, sys.stdout and sys.stderr (but sys.stderr always uses "backslashreplace" error handler).

Use the PYTHONIOENCODING environment variable if it is non-empty.

Codificação padrão:

"UTF-8" if PyPreConfig.utf8_mode is non-zero.

Otherwise, use the locale encoding.

Tratador de erros padrão:

On Windows: use "surrogateescape".

"surrogateescape" if PyPreConfig.utf8_mode is non-zero, or if the LC_CTYPE locale is “C” or “POSIX”.

"strict" otherwise.

See also PyConfig.legacy_windows_stdio.

int tracemalloc

Enable tracemalloc?

If non-zero, call tracemalloc.start() at startup.

Set by -X tracemalloc=N command line option and by the PYTHONTRACEMALLOC environment variable.

Padrão: -1 no modo do Python, 0 no modo isolado.

int perf_profiling

Enable compatibility mode with the perf profiler?

If non-zero, initialize the perf trampoline. See Suporte do Python ao perfilador perf do Linux for more information.

Set by -X perf command-line option and by the PYTHON_PERF_JIT_SUPPORT environment variable for perf support with stack pointers and -X perf_jit command-line option and by the PYTHON_PERF_JIT_SUPPORT environment variable for perf support with DWARF JIT information.

Default: -1.

Adicionado na versão 3.12.

int use_environment

Use environment variables?

If equals to zero, ignore the environment variables.

Set to 0 by the -E environment variable.

Padrão: 1 na configuração do Python e 0 na configuração isolada.

int user_site_directory

If non-zero, add the user site directory to sys.path.

Set to 0 by the -s and -I command line options.

Set to 0 by the PYTHONNOUSERSITE environment variable.

Default: 1 in Python mode, 0 in isolated mode.

int verbose

Verbose mode. If greater than 0, print a message each time a module is imported, showing the place (filename or built-in module) from which it is loaded.

If greater than or equal to 2, print a message for each file that is checked for when searching for a module. Also provides information on module cleanup at exit.

Incremented by the -v command line option.

Set by the PYTHONVERBOSE environment variable value.

Padrão: 0.

PyWideStringList warnoptions

Options of the warnings module to build warnings filters, lowest to highest priority: sys.warnoptions.

The warnings module adds sys.warnoptions in the reverse order: the last PyConfig.warnoptions item becomes the first item of warnings.filters which is checked first (highest priority).

The -W command line options adds its value to warnoptions, it can be used multiple times.

The PYTHONWARNINGS environment variable can also be used to add warning options. Multiple options can be specified, separated by commas (,).

Padrão: lista vazia.

int write_bytecode

If equal to 0, Python won’t try to write .pyc files on the import of source modules.

Set to 0 by the -B command line option and the PYTHONDONTWRITEBYTECODE environment variable.

sys.dont_write_bytecode is initialized to the inverted value of write_bytecode.

Padrão: 1.

PyWideStringList xoptions

Values of the -X command line options: sys._xoptions.

Padrão: lista vazia.

If parse_argv is non-zero, argv arguments are parsed the same way the regular Python parses command line arguments, and Python arguments are stripped from argv.

The xoptions options are parsed to set other options: see the -X command line option.

Alterado na versão 3.9: The show_alloc_count field has been removed.

Initialization with PyConfig

Initializing the interpreter from a populated configuration struct is handled by calling Py_InitializeFromConfig().

O chamador é responsável por manipular exceções (erro ou saída) usando PyStatus_Exception() e Py_ExitStatusException().

If PyImport_FrozenModules(), PyImport_AppendInittab() or PyImport_ExtendInittab() are used, they must be set or called after Python preinitialization and before the Python initialization. If Python is initialized multiple times, PyImport_AppendInittab() or PyImport_ExtendInittab() must be called before each Python initialization.

The current configuration (PyConfig type) is stored in PyInterpreterState.config.

Example setting the program name:

void init_python(void)
{
    PyStatus status;

    PyConfig config;
    PyConfig_InitPythonConfig(&config);

    /* Set the program name. Implicitly preinitialize Python. */
    status = PyConfig_SetString(&config, &config.program_name,
                                L"/path/to/my_program");
    if (PyStatus_Exception(status)) {
        goto exception;
    }

    status = Py_InitializeFromConfig(&config);
    if (PyStatus_Exception(status)) {
        goto exception;
    }
    PyConfig_Clear(&config);
    return;

exception:
    PyConfig_Clear(&config);
    Py_ExitStatusException(status);
}

More complete example modifying the default configuration, read the configuration, and then override some parameters. Note that since 3.11, many parameters are not calculated until initialization, and so values cannot be read from the configuration structure. Any values set before initialize is called will be left unchanged by initialization:

PyStatus init_python(const char *program_name)
{
    PyStatus status;

    PyConfig config;
    PyConfig_InitPythonConfig(&config);

    /* Set the program name before reading the configuration
       (decode byte string from the locale encoding).

       Implicitly preinitialize Python. */
    status = PyConfig_SetBytesString(&config, &config.program_name,
                                     program_name);
    if (PyStatus_Exception(status)) {
        goto done;
    }

    /* Read all configuration at once */
    status = PyConfig_Read(&config);
    if (PyStatus_Exception(status)) {
        goto done;
    }

    /* Specify sys.path explicitly */
    /* If you want to modify the default set of paths, finish
       initialization first and then use PySys_GetObject("path") */
    config.module_search_paths_set = 1;
    status = PyWideStringList_Append(&config.module_search_paths,
                                     L"/path/to/stdlib");
    if (PyStatus_Exception(status)) {
        goto done;
    }
    status = PyWideStringList_Append(&config.module_search_paths,
                                     L"/path/to/more/modules");
    if (PyStatus_Exception(status)) {
        goto done;
    }

    /* Override executable computed by PyConfig_Read() */
    status = PyConfig_SetString(&config, &config.executable,
                                L"/path/to/my_executable");
    if (PyStatus_Exception(status)) {
        goto done;
    }

    status = Py_InitializeFromConfig(&config);

done:
    PyConfig_Clear(&config);
    return status;
}

Isolated Configuration

PyPreConfig_InitIsolatedConfig() and PyConfig_InitIsolatedConfig() functions create a configuration to isolate Python from the system. For example, to embed Python into an application.

This configuration ignores global configuration variables, environment variables, command line arguments (PyConfig.argv is not parsed) and user site directory. The C standard streams (ex: stdout) and the LC_CTYPE locale are left unchanged. Signal handlers are not installed.

Configuration files are still used with this configuration to determine paths that are unspecified. Ensure PyConfig.home is specified to avoid computing the default path configuration.

Configuração do Python

PyPreConfig_InitPythonConfig() and PyConfig_InitPythonConfig() functions create a configuration to build a customized Python which behaves as the regular Python.

Environments variables and command line arguments are used to configure Python, whereas global configuration variables are ignored.

This function enables C locale coercion (PEP 538 [https://peps.python.org/pep-0538/]) and Python UTF-8 Mode (PEP 540 [https://peps.python.org/pep-0540/]) depending on the LC_CTYPE locale, PYTHONUTF8 and PYTHONCOERCECLOCALE environment variables.

Python Path Configuration

PyConfig contains multiple fields for the path configuration:

Path configuration inputs:

PyConfig.home

PyConfig.platlibdir

PyConfig.pathconfig_warnings

PyConfig.program_name

PyConfig.pythonpath_env

current working directory: to get absolute paths

PATH environment variable to get the program full path (from PyConfig.program_name)

__PYVENV_LAUNCHER__ environment variable

(Windows only) Application paths in the registry under “SoftwarePythonPythonCoreX.YPythonPath” of HKEY_CURRENT_USER and HKEY_LOCAL_MACHINE (where X.Y is the Python version).

Path configuration output fields:

PyConfig.base_exec_prefix

PyConfig.base_executable

PyConfig.base_prefix

PyConfig.exec_prefix

PyConfig.executable

PyConfig.module_search_paths_set, PyConfig.module_search_paths

PyConfig.prefix

If at least one “output field” is not set, Python calculates the path configuration to fill unset fields. If module_search_paths_set is equal to 0, module_search_paths is overridden and module_search_paths_set is set to 1.

It is possible to completely ignore the function calculating the default path configuration by setting explicitly all path configuration output fields listed above. A string is considered as set even if it is non-empty. module_search_paths is considered as set if module_search_paths_set is set to 1. In this case, module_search_paths will be used without modification.

Set pathconfig_warnings to 0 to suppress warnings when calculating the path configuration (Unix only, Windows does not log any warning).

If base_prefix or base_exec_prefix fields are not set, they inherit their value from prefix and exec_prefix respectively.

Py_RunMain() and Py_Main() modify sys.path:

If run_filename is set and is a directory which contains a __main__.py script, prepend run_filename to sys.path.

If isolated is zero:

If run_module is set, prepend the current directory to sys.path. Do nothing if the current directory cannot be read.

If run_filename is set, prepend the directory of the filename to sys.path.

Otherwise, prepend an empty string to sys.path.

If site_import is non-zero, sys.path can be modified by the site module. If user_site_directory is non-zero and the user’s site-package directory exists, the site module appends the user’s site-package directory to sys.path.

The following configuration files are used by the path configuration:

pyvenv.cfg

._pth file (ex: python._pth)

pybuilddir.txt (Unix only)

If a ._pth file is present:

Set isolated to 1.

Set use_environment to 0.

Set site_import to 0.

Set safe_path to 1.

The __PYVENV_LAUNCHER__ environment variable is used to set PyConfig.base_executable.

Py_GetArgcArgv()

void Py_GetArgcArgv(int *argc, wchar_t ***argv)

Get the original command line arguments, before Python modified them.

See also PyConfig.orig_argv member.

Multi-Phase Initialization Private Provisional API

This section is a private provisional API introducing multi-phase initialization, the core feature of PEP 432 [https://peps.python.org/pep-0432/]:

“Core” initialization phase, “bare minimum Python”:

Builtin types;

Builtin exceptions;

Builtin and frozen modules;

The sys module is only partially initialized (ex: sys.path doesn’t exist yet).

“Main” initialization phase, Python is fully initialized:

Install and configure importlib;

Apply the Path Configuration;

Install signal handlers;

Finish sys module initialization (ex: create sys.stdout and sys.path);

Enable optional features like faulthandler and tracemalloc;

Import the site module;

etc.

Private provisional API:

PyConfig._init_main: if set to 0, Py_InitializeFromConfig() stops at the “Core” initialization phase.

PyStatus _Py_InitializeMain(void)

Move to the “Main” initialization phase, finish the Python initialization.

No module is imported during the “Core” phase and the importlib module is not configured: the Path Configuration is only applied during the “Main” phase. It may allow to customize Python in Python to override or tune the Path Configuration, maybe install a custom sys.meta_path importer or an import hook, etc.

It may become possible to calculate the Path Configuration in Python, after the Core phase and before the Main phase, which is one of the PEP 432 [https://peps.python.org/pep-0432/] motivation.

The “Core” phase is not properly defined: what should be and what should not be available at this phase is not specified yet. The API is marked as private and provisional: the API can be modified or even be removed anytime until a proper public API is designed.

Example running Python code between “Core” and “Main” initialization phases:

void init_python(void)
{
    PyStatus status;

    PyConfig config;
    PyConfig_InitPythonConfig(&config);
    config._init_main = 0;

    /* ... customize 'config' configuration ... */

    status = Py_InitializeFromConfig(&config);
    PyConfig_Clear(&config);
    if (PyStatus_Exception(status)) {
        Py_ExitStatusException(status);
    }

    /* Use sys.stderr because sys.stdout is only created
       by _Py_InitializeMain() */
    int res = PyRun_SimpleString(
        "import sys; "
        "print('Run Python code before _Py_InitializeMain', "
               "file=sys.stderr)");
    if (res < 0) {
        exit(1);
    }

    /* ... put more configuration code here ... */

    status = _Py_InitializeMain();
    if (PyStatus_Exception(status)) {
        Py_ExitStatusException(status);
    }
}

Gerenciamento de Memória

Visão Geral

Memory management in Python involves a private heap containing all Python objects and data structures. The management of this private heap is ensured internally by the Python memory manager. The Python memory manager has different components which deal with various dynamic storage management aspects, like sharing, segmentation, preallocation or caching.

At the lowest level, a raw memory allocator ensures that there is enough room in the private heap for storing all Python-related data by interacting with the memory manager of the operating system. On top of the raw memory allocator, several object-specific allocators operate on the same heap and implement distinct memory management policies adapted to the peculiarities of every object type. For example, integer objects are managed differently within the heap than strings, tuples or dictionaries because integers imply different storage requirements and speed/space tradeoffs. The Python memory manager thus delegates some of the work to the object-specific allocators, but ensures that the latter operate within the bounds of the private heap.

It is important to understand that the management of the Python heap is performed by the interpreter itself and that the user has no control over it, even if they regularly manipulate object pointers to memory blocks inside that heap. The allocation of heap space for Python objects and other internal buffers is performed on demand by the Python memory manager through the Python/C API functions listed in this document.

To avoid memory corruption, extension writers should never try to operate on Python objects with the functions exported by the C library: malloc(), calloc(), realloc() and free(). This will result in mixed calls between the C allocator and the Python memory manager with fatal consequences, because they implement different algorithms and operate on different heaps. However, one may safely allocate and release memory blocks with the C library allocator for individual purposes, as shown in the following example:

PyObject *res;
char *buf = (char *) malloc(BUFSIZ); /* for I/O */

if (buf == NULL)
    return PyErr_NoMemory();
...Do some I/O operation involving buf...
res = PyBytes_FromString(buf);
free(buf); /* malloc'ed */
return res;

In this example, the memory request for the I/O buffer is handled by the C library allocator. The Python memory manager is involved only in the allocation of the bytes object returned as a result.

In most situations, however, it is recommended to allocate memory from the Python heap specifically because the latter is under control of the Python memory manager. For example, this is required when the interpreter is extended with new object types written in C. Another reason for using the Python heap is the desire to inform the Python memory manager about the memory needs of the extension module. Even when the requested memory is used exclusively for internal, highly specific purposes, delegating all memory requests to the Python memory manager causes the interpreter to have a more accurate image of its memory footprint as a whole. Consequently, under certain circumstances, the Python memory manager may or may not trigger appropriate actions, like garbage collection, memory compaction or other preventive procedures. Note that by using the C library allocator as shown in the previous example, the allocated memory for the I/O buffer escapes completely the Python memory manager.

Ver também

The PYTHONMALLOC environment variable can be used to configure the memory allocators used by Python.

The PYTHONMALLOCSTATS environment variable can be used to print statistics of the pymalloc memory allocator every time a new pymalloc object arena is created, and on shutdown.

Allocator Domains

All allocating functions belong to one of three different “domains” (see also PyMemAllocatorDomain). These domains represent different allocation strategies and are optimized for different purposes. The specific details on how every domain allocates memory or what internal functions each domain calls is considered an implementation detail, but for debugging purposes a simplified table can be found at here. The APIs used to allocate and free a block of memory must be from the same domain. For example, PyMem_Free() must be used to free memory allocated using PyMem_Malloc().

The three allocation domains are:

Raw domain: intended for allocating memory for general-purpose memory buffers where the allocation must go to the system allocator or where the allocator can operate without the GIL. The memory is requested directly from the system. See Raw Memory Interface.

“Mem” domain: intended for allocating memory for Python buffers and general-purpose memory buffers where the allocation must be performed with the GIL held. The memory is taken from the Python private heap. See Memory Interface.

Object domain: intended for allocating memory for Python objects. The memory is taken from the Python private heap. See Object allocators.

Nota

The free-threaded build requires that only Python objects are allocated using the “object” domain and that all Python objects are allocated using that domain. This differs from the prior Python versions, where this was only a best practice and not a hard requirement.

For example, buffers (non-Python objects) should be allocated using PyMem_Malloc(), PyMem_RawMalloc(), or malloc(), but not PyObject_Malloc().

See Memory Allocation APIs.

Raw Memory Interface

The following function sets are wrappers to the system allocator. These functions are thread-safe, the GIL does not need to be held.

The default raw memory allocator uses the following functions: malloc(), calloc(), realloc() and free(); call malloc(1) (or calloc(1, 1)) when requesting zero bytes.

Adicionado na versão 3.4.

void *PyMem_RawMalloc(size_t n)

Parte da ABI Estável desde a versão 3.13.

Allocates n bytes and returns a pointer of type void* to the allocated memory, or NULL if the request fails.

Requesting zero bytes returns a distinct non-NULL pointer if possible, as if PyMem_RawMalloc(1) had been called instead. The memory will not have been initialized in any way.

void *PyMem_RawCalloc(size_t nelem, size_t elsize)

Parte da ABI Estável desde a versão 3.13.

Allocates nelem elements each whose size in bytes is elsize and returns a pointer of type void* to the allocated memory, or NULL if the request fails. The memory is initialized to zeros.

Requesting zero elements or elements of size zero bytes returns a distinct non-NULL pointer if possible, as if PyMem_RawCalloc(1, 1) had been called instead.

Adicionado na versão 3.5.

void *PyMem_RawRealloc(void *p, size_t n)

Parte da ABI Estável desde a versão 3.13.

Resizes the memory block pointed to by p to n bytes. The contents will be unchanged to the minimum of the old and the new sizes.

If p is NULL, the call is equivalent to PyMem_RawMalloc(n); else if n is equal to zero, the memory block is resized but is not freed, and the returned pointer is non-NULL.

Unless p is NULL, it must have been returned by a previous call to PyMem_RawMalloc(), PyMem_RawRealloc() or PyMem_RawCalloc().

If the request fails, PyMem_RawRealloc() returns NULL and p remains a valid pointer to the previous memory area.

void PyMem_RawFree(void *p)

Parte da ABI Estável desde a versão 3.13.

Frees the memory block pointed to by p, which must have been returned by a previous call to PyMem_RawMalloc(), PyMem_RawRealloc() or PyMem_RawCalloc(). Otherwise, or if PyMem_RawFree(p) has been called before, undefined behavior occurs.

If p is NULL, no operation is performed.

Interface da Memória

The following function sets, modeled after the ANSI C standard, but specifying behavior when requesting zero bytes, are available for allocating and releasing memory from the Python heap.

The default memory allocator uses the pymalloc memory allocator.

Aviso

The GIL must be held when using these functions.

Alterado na versão 3.6: The default allocator is now pymalloc instead of system malloc().

void *PyMem_Malloc(size_t n)

Parte da ABI Estável.

Allocates n bytes and returns a pointer of type void* to the allocated memory, or NULL if the request fails.

Requesting zero bytes returns a distinct non-NULL pointer if possible, as if PyMem_Malloc(1) had been called instead. The memory will not have been initialized in any way.

void *PyMem_Calloc(size_t nelem, size_t elsize)

Parte da ABI Estável desde a versão 3.7.

Allocates nelem elements each whose size in bytes is elsize and returns a pointer of type void* to the allocated memory, or NULL if the request fails. The memory is initialized to zeros.

Requesting zero elements or elements of size zero bytes returns a distinct non-NULL pointer if possible, as if PyMem_Calloc(1, 1) had been called instead.

Adicionado na versão 3.5.

void *PyMem_Realloc(void *p, size_t n)

Parte da ABI Estável.

Resizes the memory block pointed to by p to n bytes. The contents will be unchanged to the minimum of the old and the new sizes.

If p is NULL, the call is equivalent to PyMem_Malloc(n); else if n is equal to zero, the memory block is resized but is not freed, and the returned pointer is non-NULL.

Unless p is NULL, it must have been returned by a previous call to PyMem_Malloc(), PyMem_Realloc() or PyMem_Calloc().

If the request fails, PyMem_Realloc() returns NULL and p remains a valid pointer to the previous memory area.

void PyMem_Free(void *p)

Parte da ABI Estável.

Frees the memory block pointed to by p, which must have been returned by a previous call to PyMem_Malloc(), PyMem_Realloc() or PyMem_Calloc(). Otherwise, or if PyMem_Free(p) has been called before, undefined behavior occurs.

If p is NULL, no operation is performed.

The following type-oriented macros are provided for convenience. Note that TYPE refers to any C type.

PyMem_New(TYPE, n)

Same as PyMem_Malloc(), but allocates (n * sizeof(TYPE)) bytes of memory. Returns a pointer cast to TYPE*. The memory will not have been initialized in any way.

PyMem_Resize(p, TYPE, n)

Same as PyMem_Realloc(), but the memory block is resized to (n * sizeof(TYPE)) bytes. Returns a pointer cast to TYPE*. On return, p will be a pointer to the new memory area, or NULL in the event of failure.

This is a C preprocessor macro; p is always reassigned. Save the original value of p to avoid losing memory when handling errors.

void PyMem_Del(void *p)

Same as PyMem_Free().

In addition, the following macro sets are provided for calling the Python memory allocator directly, without involving the C API functions listed above. However, note that their use does not preserve binary compatibility across Python versions and is therefore deprecated in extension modules.

PyMem_MALLOC(size)

PyMem_NEW(type, size)

PyMem_REALLOC(ptr, size)

PyMem_RESIZE(ptr, type, size)

PyMem_FREE(ptr)

PyMem_DEL(ptr)

Alocadores de objeto

The following function sets, modeled after the ANSI C standard, but specifying behavior when requesting zero bytes, are available for allocating and releasing memory from the Python heap.

Nota

There is no guarantee that the memory returned by these allocators can be successfully cast to a Python object when intercepting the allocating functions in this domain by the methods described in the Customize Memory Allocators section.

The default object allocator uses the pymalloc memory allocator.

Aviso

The GIL must be held when using these functions.

void *PyObject_Malloc(size_t n)

Parte da ABI Estável.

Allocates n bytes and returns a pointer of type void* to the allocated memory, or NULL if the request fails.

Requesting zero bytes returns a distinct non-NULL pointer if possible, as if PyObject_Malloc(1) had been called instead. The memory will not have been initialized in any way.

void *PyObject_Calloc(size_t nelem, size_t elsize)

Parte da ABI Estável desde a versão 3.7.

Allocates nelem elements each whose size in bytes is elsize and returns a pointer of type void* to the allocated memory, or NULL if the request fails. The memory is initialized to zeros.

Requesting zero elements or elements of size zero bytes returns a distinct non-NULL pointer if possible, as if PyObject_Calloc(1, 1) had been called instead.

Adicionado na versão 3.5.

void *PyObject_Realloc(void *p, size_t n)

Parte da ABI Estável.

Resizes the memory block pointed to by p to n bytes. The contents will be unchanged to the minimum of the old and the new sizes.

If p is NULL, the call is equivalent to PyObject_Malloc(n); else if n is equal to zero, the memory block is resized but is not freed, and the returned pointer is non-NULL.

Unless p is NULL, it must have been returned by a previous call to PyObject_Malloc(), PyObject_Realloc() or PyObject_Calloc().

If the request fails, PyObject_Realloc() returns NULL and p remains a valid pointer to the previous memory area.

void PyObject_Free(void *p)

Parte da ABI Estável.

Frees the memory block pointed to by p, which must have been returned by a previous call to PyObject_Malloc(), PyObject_Realloc() or PyObject_Calloc(). Otherwise, or if PyObject_Free(p) has been called before, undefined behavior occurs.

If p is NULL, no operation is performed.

Alocadores de memória padrão

Alocadores de memória padrão:

Configuração

Nome

PyMem_RawMalloc

PyMem_Malloc

PyObject_Malloc

Release build

"pymalloc"

malloc

pymalloc

pymalloc

Debug build

"pymalloc_debug"

malloc + debug

pymalloc + debug

pymalloc + debug

Release build, without pymalloc

"malloc"

malloc

malloc

malloc

Debug build, without pymalloc

"malloc_debug"

malloc + debug

malloc + debug

malloc + debug

Legend:

Name: value for PYTHONMALLOC environment variable.

malloc: system allocators from the standard C library, C functions: malloc(), calloc(), realloc() and free().

pymalloc: pymalloc memory allocator.

mimalloc: mimalloc memory allocator. The pymalloc allocator will be used if mimalloc support isn’t available.

“+ debug”: with debug hooks on the Python memory allocators.

“Debug build”: Python build in debug mode.

Alocadores de memória

Adicionado na versão 3.4.

type PyMemAllocatorEx

Structure used to describe a memory block allocator. The structure has the following fields:

Campo

Significado

void *ctx

user context passed as first argument

void* malloc(void *ctx, size_t size)

allocate a memory block

void* calloc(void *ctx, size_t nelem, size_t elsize)

allocate a memory block initialized with zeros

void* realloc(void *ctx, void *ptr, size_t new_size)

allocate or resize a memory block

void free(void *ctx, void *ptr)

free a memory block

Alterado na versão 3.5: The PyMemAllocator structure was renamed to PyMemAllocatorEx and a new calloc field was added.

type PyMemAllocatorDomain

Enum used to identify an allocator domain. Domains:

PYMEM_DOMAIN_RAW

Funções:

PyMem_RawMalloc()

PyMem_RawRealloc()

PyMem_RawCalloc()

PyMem_RawFree()

PYMEM_DOMAIN_MEM

Funções:

PyMem_Malloc(),

PyMem_Realloc()

PyMem_Calloc()

PyMem_Free()

PYMEM_DOMAIN_OBJ

Funções:

PyObject_Malloc()

PyObject_Realloc()

PyObject_Calloc()

PyObject_Free()

void PyMem_GetAllocator(PyMemAllocatorDomain domain, PyMemAllocatorEx *allocator)

Get the memory block allocator of the specified domain.

void PyMem_SetAllocator(PyMemAllocatorDomain domain, PyMemAllocatorEx *allocator)

Set the memory block allocator of the specified domain.

The new allocator must return a distinct non-NULL pointer when requesting zero bytes.

For the PYMEM_DOMAIN_RAW domain, the allocator must be thread-safe: the GIL is not held when the allocator is called.

For the remaining domains, the allocator must also be thread-safe: the allocator may be called in different interpreters that do not share a GIL.

If the new allocator is not a hook (does not call the previous allocator), the PyMem_SetupDebugHooks() function must be called to reinstall the debug hooks on top on the new allocator.

See also PyPreConfig.allocator and Preinitialize Python with PyPreConfig.

Aviso

PyMem_SetAllocator() does have the following contract:

It can be called after Py_PreInitialize() and before Py_InitializeFromConfig() to install a custom memory allocator. There are no restrictions over the installed allocator other than the ones imposed by the domain (for instance, the Raw Domain allows the allocator to be called without the GIL held). See the section on allocator domains for more information.

If called after Python has finish initializing (after Py_InitializeFromConfig() has been called) the allocator must wrap the existing allocator. Substituting the current allocator for some other arbitrary one is not supported.

Alterado na versão 3.12: All allocators must be thread-safe.

void PyMem_SetupDebugHooks(void)

Setup debug hooks in the Python memory allocators to detect memory errors.

Debug hooks on the Python memory allocators

When Python is built in debug mode, the PyMem_SetupDebugHooks() function is called at the Python preinitialization to setup debug hooks on Python memory allocators to detect memory errors.

The PYTHONMALLOC environment variable can be used to install debug hooks on a Python compiled in release mode (ex: PYTHONMALLOC=debug).

The PyMem_SetupDebugHooks() function can be used to set debug hooks after calling PyMem_SetAllocator().

These debug hooks fill dynamically allocated memory blocks with special, recognizable bit patterns. Newly allocated memory is filled with the byte 0xCD (PYMEM_CLEANBYTE), freed memory is filled with the byte 0xDD (PYMEM_DEADBYTE). Memory blocks are surrounded by “forbidden bytes” filled with the byte 0xFD (PYMEM_FORBIDDENBYTE). Strings of these bytes are unlikely to be valid addresses, floats, or ASCII strings.

Checagens em Tempo de Execução:

Detect API violations. For example, detect if PyObject_Free() is called on a memory block allocated by PyMem_Malloc().

Detect write before the start of the buffer (buffer underflow).

Detect write after the end of the buffer (buffer overflow).

Check that the GIL is held when allocator functions of PYMEM_DOMAIN_OBJ (ex: PyObject_Malloc()) and PYMEM_DOMAIN_MEM (ex: PyMem_Malloc()) domains are called.

On error, the debug hooks use the tracemalloc module to get the traceback where a memory block was allocated. The traceback is only displayed if tracemalloc is tracing Python memory allocations and the memory block was traced.

Let S = sizeof(size_t). 2*S bytes are added at each end of each block of N bytes requested. The memory layout is like so, where p represents the address returned by a malloc-like or realloc-like function (p[i:j] means the slice of bytes from *(p+i) inclusive up to *(p+j) exclusive; note that the treatment of negative indices differs from a Python slice):

p[-2*S:-S]

Number of bytes originally asked for. This is a size_t, big-endian (easier to read in a memory dump).

p[-S]

API identifier (ASCII character):

'r' for PYMEM_DOMAIN_RAW.

'm' for PYMEM_DOMAIN_MEM.

'o' for PYMEM_DOMAIN_OBJ.

p[-S+1:0]

Copies of PYMEM_FORBIDDENBYTE. Used to catch under- writes and reads.

p[0:N]

The requested memory, filled with copies of PYMEM_CLEANBYTE, used to catch reference to uninitialized memory. When a realloc-like function is called requesting a larger memory block, the new excess bytes are also filled with PYMEM_CLEANBYTE. When a free-like function is called, these are overwritten with PYMEM_DEADBYTE, to catch reference to freed memory. When a realloc- like function is called requesting a smaller memory block, the excess old bytes are also filled with PYMEM_DEADBYTE.

p[N:N+S]

Copies of PYMEM_FORBIDDENBYTE. Used to catch over- writes and reads.

p[N+S:N+2*S]

Only used if the PYMEM_DEBUG_SERIALNO macro is defined (not defined by default).

A serial number, incremented by 1 on each call to a malloc-like or realloc-like function. Big-endian size_t. If “bad memory” is detected later, the serial number gives an excellent way to set a breakpoint on the next run, to capture the instant at which this block was passed out. The static function bumpserialno() in obmalloc.c is the only place the serial number is incremented, and exists so you can set such a breakpoint easily.

A realloc-like or free-like function first checks that the PYMEM_FORBIDDENBYTE bytes at each end are intact. If they’ve been altered, diagnostic output is written to stderr, and the program is aborted via Py_FatalError(). The other main failure mode is provoking a memory error when a program reads up one of the special bit patterns and tries to use it as an address. If you get in a debugger then and look at the object, you’re likely to see that it’s entirely filled with PYMEM_DEADBYTE (meaning freed memory is getting used) or PYMEM_CLEANBYTE (meaning uninitialized memory is getting used).

Alterado na versão 3.6: The PyMem_SetupDebugHooks() function now also works on Python compiled in release mode. On error, the debug hooks now use tracemalloc to get the traceback where a memory block was allocated. The debug hooks now also check if the GIL is held when functions of PYMEM_DOMAIN_OBJ and PYMEM_DOMAIN_MEM domains are called.

Alterado na versão 3.8: Byte patterns 0xCB (PYMEM_CLEANBYTE), 0xDB (PYMEM_DEADBYTE) and 0xFB (PYMEM_FORBIDDENBYTE) have been replaced with 0xCD, 0xDD and 0xFD to use the same values than Windows CRT debug malloc() and free().

The pymalloc allocator

Python has a pymalloc allocator optimized for small objects (smaller or equal to 512 bytes) with a short lifetime. It uses memory mappings called “arenas” with a fixed size of either 256 KiB on 32-bit platforms or 1 MiB on 64-bit platforms. It falls back to PyMem_RawMalloc() and PyMem_RawRealloc() for allocations larger than 512 bytes.

pymalloc is the default allocator of the PYMEM_DOMAIN_MEM (ex: PyMem_Malloc()) and PYMEM_DOMAIN_OBJ (ex: PyObject_Malloc()) domains.

The arena allocator uses the following functions:

VirtualAlloc() and VirtualFree() on Windows,

mmap() and munmap() if available,

malloc() e free() do contrário.

This allocator is disabled if Python is configured with the --without-pymalloc option. It can also be disabled at runtime using the PYTHONMALLOC environment variable (ex: PYTHONMALLOC=malloc).

Customize pymalloc Arena Allocator

Adicionado na versão 3.4.

type PyObjectArenaAllocator

Structure used to describe an arena allocator. The structure has three fields:

Campo

Significado

void *ctx

user context passed as first argument

void* alloc(void *ctx, size_t size)

allocate an arena of size bytes

void free(void *ctx, void *ptr, size_t size)

free an arena

void PyObject_GetArenaAllocator(PyObjectArenaAllocator *allocator)

Get the arena allocator.

void PyObject_SetArenaAllocator(PyObjectArenaAllocator *allocator)

Set the arena allocator.

The mimalloc allocator

Adicionado na versão 3.13.

Python supports the mimalloc allocator when the underlying platform support is available. mimalloc “is a general purpose allocator with excellent performance characteristics. Initially developed by Daan Leijen for the runtime systems of the Koka and Lean languages.”

tracemalloc C API

Adicionado na versão 3.7.

int PyTraceMalloc_Track(unsigned int domain, uintptr_t ptr, size_t size)

Track an allocated memory block in the tracemalloc module.

Return 0 on success, return -1 on error (failed to allocate memory to store the trace). Return -2 if tracemalloc is disabled.

If memory block is already tracked, update the existing trace.

int PyTraceMalloc_Untrack(unsigned int domain, uintptr_t ptr)

Untrack an allocated memory block in the tracemalloc module. Do nothing if the block was not tracked.

Return -2 if tracemalloc is disabled, otherwise return 0.

Exemplos

Here is the example from section Visão Geral, rewritten so that the I/O buffer is allocated from the Python heap by using the first function set:

PyObject *res;
char *buf = (char *) PyMem_Malloc(BUFSIZ); /* for I/O */

if (buf == NULL)
    return PyErr_NoMemory();
/* ...Do some I/O operation involving buf... */
res = PyBytes_FromString(buf);
PyMem_Free(buf); /* allocated with PyMem_Malloc */
return res;

The same code using the type-oriented function set:

PyObject *res;
char *buf = PyMem_New(char, BUFSIZ); /* for I/O */

if (buf == NULL)
    return PyErr_NoMemory();
/* ...Do some I/O operation involving buf... */
res = PyBytes_FromString(buf);
PyMem_Del(buf); /* allocated with PyMem_New */
return res;

Note that in the two examples above, the buffer is always manipulated via functions belonging to the same set. Indeed, it is required to use the same memory API family for a given memory block, so that the risk of mixing different allocators is reduced to a minimum. The following code sequence contains two errors, one of which is labeled as fatal because it mixes two different allocators operating on different heaps.

char *buf1 = PyMem_New(char, BUFSIZ);
char *buf2 = (char *) malloc(BUFSIZ);
char *buf3 = (char *) PyMem_Malloc(BUFSIZ);
...
PyMem_Del(buf3);  /* Wrong -- should be PyMem_Free() */
free(buf2);       /* Right -- allocated via malloc() */
free(buf1);       /* Fatal -- should be PyMem_Del()  */

In addition to the functions aimed at handling raw memory blocks from the Python heap, objects in Python are allocated and released with PyObject_New, PyObject_NewVar and PyObject_Del().

These will be explained in the next chapter on defining and implementing new object types in C.

Suporte a implementação de Objetos

Este capítulo descreve as funções, tipos e macros usados ao definir novos tipos de objeto.

Alocando Objetos na Pilha

Estruturas comuns de objetos

Base object types and macros

Implementing functions and methods

Accessing attributes of extension types

Member flags

Member types

Defining Getters and Setters

Objetos tipo

Referências rápidas

“slots tp”

sub-slots

slot typedefs

PyTypeObject Definition

PyObject Slots

PyVarObject Slots

PyTypeObject Slots

Static Types

Tipos no heap

Number Object Structures

Mapping Object Structures

Sequence Object Structures

Buffer Object Structures

Async Object Structures

Slot Type typedefs

Exemplos

Suporte a Coleta Cíclica de Lixo

Controlando o estado do coletor de lixo

Querying Garbage Collector State

Alocando Objetos na Pilha

PyObject *_PyObject_New(PyTypeObject *type)

Retorna valor: Nova referência.

PyVarObject *_PyObject_NewVar(PyTypeObject *type, Py_ssize_t size)

Retorna valor: Nova referência.

PyObject *PyObject_Init(PyObject *op, PyTypeObject *type)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Inicializa um objeto op recém-alocado com seu tipo e referência inicial. Retorna o objeto inicializado. Se o type indica que o objeto participa no detector de lixo cíclico ele é adicionado ao grupo do detector de objetos observados. Outros campos do objeto não são afetados.

PyVarObject *PyObject_InitVar(PyVarObject *op, PyTypeObject *type, Py_ssize_t size)

Retorna valor: Referência emprestada. Parte da ABI Estável.

Isto faz tudo que o PyObject_Init() faz e também inicializa a informação de comprimento para um objeto de tamanho variável.

PyObject_New(TYPE, typeobj)

Aloca um novo objeto Python usando o tipo de estrutura do C TYPE e o objeto Python do tipo typeobj (PyTypeObject*). Campos não definidos pelo cabeçalho do objeto Python não são inicializados. O chamador será dono da apenas a referência ao objeto (isto é, sua contagem de referências será uma). O tamanho da alocação de memória é determinado do campo tp_basicsize do objeto tipo.

PyObject_NewVar(TYPE, typeobj, size)

Aloca um novo objeto Python usando o tipo de estrutura do C TYPE e o objeto Python do tipo typeobj (PyTypeObject*). Campos não definidos pelo cabeçalho do objeto Python não são inicializados. A memória alocada permite a estrutura TYPE e os campos size (Py_ssize_t) do tamanho dado pelo campo tp_itemsize do tipo typeobj. Isto é útil para implementar objetos como tuplas, as quais são capazes de determinar seu tamanho no tempo da construção. Incorporando o vetor de campos dentro da mesma alocação diminuindo o numero de alocações, melhorando a eficiência do gerenciamento de memória.

void PyObject_Del(void *op)

Libera memória alocada a um objeto usando PyObject_New ou PyObject_NewVar. Isto é normalmente chamado pelo manipulador de tp_dealloc especificado no tipo do objeto. Os campos do objeto não devem ser acessados após esta chamada como a memória não é mais um objeto Python válido.

PyObject _Py_NoneStruct

Objeto o qual é visível no Python como None. Isto só deve ser acessado usando a macro Py_None, o qual avalia como um ponteiro para este objeto.

Ver também

PyModule_Create()

Para alocar e criar módulos de extensão.

Estruturas comuns de objetos

Existe um grande número de estruturas usadas para a definição de tipos objeto para o Python. Esta seção descreve essas estruturas e como são usadas.

Base object types and macros

Todos os objetos Python por fim compartilham um pequeno número de campos no começo da representação o objeto na memória. Esses são representados pelos tipos PyObject e PyVarObject, que são definidos, por sua vez, pelas expansões de alguns macros também, utilizados, direta ou indiretamente, na definição de todos outros objetos Python. Macros adicionais podem ser encontrados em contagem de referências.

type PyObject

Parte da API Limitada. (Somente alguns membros são parte da ABI estável.)

All object types are extensions of this type. This is a type which contains the information Python needs to treat a pointer to an object as an object. In a normal “release” build, it contains only the object’s reference count and a pointer to the corresponding type object. Nothing is actually declared to be a PyObject, but every pointer to a Python object can be cast to a PyObject*. Access to the members must be done by using the macros Py_REFCNT and Py_TYPE.

type PyVarObject

Parte da API Limitada. (Somente alguns membros são parte da ABI estável.)

Esta é uma extensão de PyObject que adiciona o campo ob_size. Isso é usado apenas para objetos que têm alguma noção de comprimento. Esse tipo não costuma aparecer na API Python/C. O acesso aos membros deve ser feito através das macros Py_REFCNT, Py_TYPE, e Py_SIZE.

PyObject_HEAD

Este é um macro usado ao declarar novos tipos que representam objetos sem comprimento variável. O macro PyObject_HEAD se expande para:

PyObject ob_base;

Veja documentação de PyObject acima.

PyObject_VAR_HEAD

This is a macro used when declaring new types which represent objects with a length that varies from instance to instance. The PyObject_VAR_HEAD macro expands to:

PyVarObject ob_base;

Veja documentação de PyVarObject acima.

int Py_Is(PyObject *x, PyObject *y)

Parte da ABI Estável desde a versão 3.10.

Testa se o objeto x é o objeto y, o mesmo que x is y em Python.

Adicionado na versão 3.10.

int Py_IsNone(PyObject *x)

Parte da ABI Estável desde a versão 3.10.

Test if an object is the None singleton, the same as x is None in Python.

Adicionado na versão 3.10.

int Py_IsTrue(PyObject *x)

Parte da ABI Estável desde a versão 3.10.

Test if an object is the True singleton, the same as x is True in Python.

Adicionado na versão 3.10.

int Py_IsFalse(PyObject *x)

Parte da ABI Estável desde a versão 3.10.

Test if an object is the False singleton, the same as x is False in Python.

Adicionado na versão 3.10.

PyTypeObject *Py_TYPE(PyObject *o)

Retorna valor: Referência emprestada.

Get the type of the Python object o.

Return a borrowed reference.

Use the Py_SET_TYPE() function to set an object type.

Alterado na versão 3.11: Py_TYPE() is changed to an inline static function. The parameter type is no longer const PyObject*.

int Py_IS_TYPE(PyObject *o, PyTypeObject *type)

Return non-zero if the object o type is type. Return zero otherwise. Equivalent to: Py_TYPE(o) == type.

Adicionado na versão 3.9.

void Py_SET_TYPE(PyObject *o, PyTypeObject *type)

Set the object o type to type.

Adicionado na versão 3.9.

Py_ssize_t Py_SIZE(PyVarObject *o)

Get the size of the Python object o.

Use the Py_SET_SIZE() function to set an object size.

Alterado na versão 3.11: Py_SIZE() is changed to an inline static function. The parameter type is no longer const PyVarObject*.

void Py_SET_SIZE(PyVarObject *o, Py_ssize_t size)

Set the object o size to size.

Adicionado na versão 3.9.

PyObject_HEAD_INIT(type)

This is a macro which expands to initialization values for a new PyObject type. This macro expands to:

_PyObject_EXTRA_INIT
1, type,

PyVarObject_HEAD_INIT(type, size)

This is a macro which expands to initialization values for a new PyVarObject type, including the ob_size field. This macro expands to:

_PyObject_EXTRA_INIT
1, type, size,

Implementing functions and methods

type PyCFunction

Parte da ABI Estável.

Type of the functions used to implement most Python callables in C. Functions of this type take two PyObject* parameters and return one such value. If the return value is NULL, an exception shall have been set. If not NULL, the return value is interpreted as the return value of the function as exposed in Python. The function must return a new reference.

A assinatura da função é:

PyObject *PyCFunction(PyObject *self,
                      PyObject *args);

type PyCFunctionWithKeywords

Parte da ABI Estável.

Type of the functions used to implement Python callables in C with signature METH_VARARGS | METH_KEYWORDS. The function signature is:

PyObject *PyCFunctionWithKeywords(PyObject *self,
                                  PyObject *args,
                                  PyObject *kwargs);

type PyCFunctionFast

Parte da ABI Estável desde a versão 3.13.

Type of the functions used to implement Python callables in C with signature METH_FASTCALL. The function signature is:

PyObject *PyCFunctionFast(PyObject *self,
                          PyObject *const *args,
                          Py_ssize_t nargs);

type PyCFunctionFastWithKeywords

Parte da ABI Estável desde a versão 3.13.

Type of the functions used to implement Python callables in C with signature METH_FASTCALL | METH_KEYWORDS. The function signature is:

PyObject *PyCFunctionFastWithKeywords(PyObject *self,
                                      PyObject *const *args,
                                      Py_ssize_t nargs,
                                      PyObject *kwnames);

type PyCMethod

Type of the functions used to implement Python callables in C with signature METH_METHOD | METH_FASTCALL | METH_KEYWORDS. The function signature is:

PyObject *PyCMethod(PyObject *self,
                    PyTypeObject *defining_class,
                    PyObject *const *args,
                    Py_ssize_t nargs,
                    PyObject *kwnames)

Adicionado na versão 3.9.

type PyMethodDef

Parte da ABI Estável (incluindo todos os membros).

Structure used to describe a method of an extension type. This structure has four fields:

const char *ml_name

Nome do método.

PyCFunction ml_meth

Pointer to the C implementation.

int ml_flags

Flags bits indicating how the call should be constructed.

const char *ml_doc

Points to the contents of the docstring.

The ml_meth is a C function pointer. The functions may be of different types, but they always return PyObject*. If the function is not of the PyCFunction, the compiler will require a cast in the method table. Even though PyCFunction defines the first parameter as PyObject*, it is common that the method implementation uses the specific C type of the self object.

The ml_flags field is a bitfield which can include the following flags. The individual flags indicate either a calling convention or a binding convention.

There are these calling conventions:

METH_VARARGS

This is the typical calling convention, where the methods have the type PyCFunction. The function expects two PyObject* values. The first one is the self object for methods; for module functions, it is the module object. The second parameter (often called args) is a tuple object representing all arguments. This parameter is typically processed using PyArg_ParseTuple() or PyArg_UnpackTuple().

METH_KEYWORDS

Can only be used in certain combinations with other flags: METH_VARARGS | METH_KEYWORDS, METH_FASTCALL | METH_KEYWORDS and METH_METHOD | METH_FASTCALL | METH_KEYWORDS.

METH_VARARGS | METH_KEYWORDS

Methods with these flags must be of type PyCFunctionWithKeywords. The function expects three parameters: self, args, kwargs where kwargs is a dictionary of all the keyword arguments or possibly NULL if there are no keyword arguments. The parameters are typically processed using PyArg_ParseTupleAndKeywords().

METH_FASTCALL

Fast calling convention supporting only positional arguments. The methods have the type PyCFunctionFast. The first parameter is self, the second parameter is a C array of PyObject* values indicating the arguments and the third parameter is the number of arguments (the length of the array).

Adicionado na versão 3.7.

Alterado na versão 3.10: METH_FASTCALL is now part of the stable ABI.

METH_FASTCALL | METH_KEYWORDS

Extension of METH_FASTCALL supporting also keyword arguments, with methods of type PyCFunctionFastWithKeywords. Keyword arguments are passed the same way as in the vectorcall protocol: there is an additional fourth PyObject* parameter which is a tuple representing the names of the keyword arguments (which are guaranteed to be strings) or possibly NULL if there are no keywords. The values of the keyword arguments are stored in the args array, after the positional arguments.

Adicionado na versão 3.7.

METH_METHOD

Can only be used in the combination with other flags: METH_METHOD | METH_FASTCALL | METH_KEYWORDS.

METH_METHOD | METH_FASTCALL | METH_KEYWORDS

Extension of METH_FASTCALL | METH_KEYWORDS supporting the defining class, that is, the class that contains the method in question. The defining class might be a superclass of Py_TYPE(self).

The method needs to be of type PyCMethod, the same as for METH_FASTCALL | METH_KEYWORDS with defining_class argument added after self.

Adicionado na versão 3.9.

METH_NOARGS

Methods without parameters don’t need to check whether arguments are given if they are listed with the METH_NOARGS flag. They need to be of type PyCFunction. The first parameter is typically named self and will hold a reference to the module or object instance. In all cases the second parameter will be NULL.

The function must have 2 parameters. Since the second parameter is unused, Py_UNUSED can be used to prevent a compiler warning.

METH_O

Methods with a single object argument can be listed with the METH_O flag, instead of invoking PyArg_ParseTuple() with a "O" argument. They have the type PyCFunction, with the self parameter, and a PyObject* parameter representing the single argument.

These two constants are not used to indicate the calling convention but the binding when use with methods of classes. These may not be used for functions defined for modules. At most one of these flags may be set for any given method.

METH_CLASS

The method will be passed the type object as the first parameter rather than an instance of the type. This is used to create class methods, similar to what is created when using the classmethod() built-in function.

METH_STATIC

The method will be passed NULL as the first parameter rather than an instance of the type. This is used to create static methods, similar to what is created when using the staticmethod() built-in function.

One other constant controls whether a method is loaded in place of another definition with the same method name.

METH_COEXIST

The method will be loaded in place of existing definitions. Without METH_COEXIST, the default is to skip repeated definitions. Since slot wrappers are loaded before the method table, the existence of a sq_contains slot, for example, would generate a wrapped method named __contains__() and preclude the loading of a corresponding PyCFunction with the same name. With the flag defined, the PyCFunction will be loaded in place of the wrapper object and will co-exist with the slot. This is helpful because calls to PyCFunctions are optimized more than wrapper object calls.

PyObject *PyCMethod_New(PyMethodDef *ml, PyObject *self, PyObject *module, PyTypeObject *cls)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.9.

Turn ml into a Python callable object. The caller must ensure that ml outlives the callable. Typically, ml is defined as a static variable.

The self parameter will be passed as the self argument to the C function in ml->ml_meth when invoked. self can be NULL.

The callable object’s __module__ attribute can be set from the given module argument. module should be a Python string, which will be used as name of the module the function is defined in. If unavailable, it can be set to None or NULL.

Ver também

function.__module__

The cls parameter will be passed as the defining_class argument to the C function. Must be set if METH_METHOD is set on ml->ml_flags.

Adicionado na versão 3.9.

PyObject *PyCFunction_NewEx(PyMethodDef *ml, PyObject *self, PyObject *module)

Retorna valor: Nova referência. Parte da ABI Estável.

Equivalente a PyCMethod_New(ml, self, module, NULL).

PyObject *PyCFunction_New(PyMethodDef *ml, PyObject *self)

Retorna valor: Nova referência. Parte da ABI Estável desde a versão 3.4.

Equivalente a PyCMethod_New(ml, self, NULL, NULL).

Accessing attributes of extension types

type PyMemberDef

Parte da ABI Estável (incluindo todos os membros).

Structure which describes an attribute of a type which corresponds to a C struct member. When defining a class, put a NULL-terminated array of these structures in the tp_members slot.

Its fields are, in order:

const char *name

Name of the member. A NULL value marks the end of a PyMemberDef[] array.

The string should be static, no copy is made of it.

int type

The type of the member in the C struct. See Member types for the possible values.

Py_ssize_t offset

The offset in bytes that the member is located on the type’s object struct.

int flags

Zero or more of the Member flags, combined using bitwise OR.

const char *doc

The docstring, or NULL. The string should be static, no copy is made of it. Typically, it is defined using PyDoc_STR.

By default (when flags is 0), members allow both read and write access. Use the Py_READONLY flag for read-only access. Certain types, like Py_T_STRING, imply Py_READONLY. Only Py_T_OBJECT_EX (and legacy T_OBJECT) members can be deleted.

For heap-allocated types (created using PyType_FromSpec() or similar), PyMemberDef may contain a definition for the special member "__vectorcalloffset__", corresponding to tp_vectorcall_offset in type objects. These must be defined with Py_T_PYSSIZET and Py_READONLY, for example:

static PyMemberDef spam_type_members[] = {
    {"__vectorcalloffset__", Py_T_PYSSIZET,
     offsetof(Spam_object, vectorcall), Py_READONLY},
    {NULL}  /* Sentinel */
};

(You may need to #include <stddef.h> for offsetof().)

The legacy offsets tp_dictoffset and tp_weaklistoffset can be defined similarly using "__dictoffset__" and "__weaklistoffset__" members, but extensions are strongly encouraged to use Py_TPFLAGS_MANAGED_DICT and Py_TPFLAGS_MANAGED_WEAKREF instead.

Alterado na versão 3.12: PyMemberDef is always available. Previously, it required including "structmember.h".

PyObject *PyMember_GetOne(const char *obj_addr, struct PyMemberDef *m)

Parte da ABI Estável.

Get an attribute belonging to the object at address obj_addr. The attribute is described by PyMemberDef m. Returns NULL on error.

Alterado na versão 3.12: PyMember_GetOne is always available. Previously, it required including "structmember.h".

int PyMember_SetOne(char *obj_addr, struct PyMemberDef *m, PyObject *o)

Parte da ABI Estável.

Set an attribute belonging to the object at address obj_addr to object o. The attribute to set is described by PyMemberDef m. Returns 0 if successful and a negative value on failure.

Alterado na versão 3.12: PyMember_SetOne is always available. Previously, it required including "structmember.h".

Member flags

The following flags can be used with PyMemberDef.flags:

Py_READONLY

Not writable.

Py_AUDIT_READ

Emit an object.__getattr__ audit event before reading.

Py_RELATIVE_OFFSET

Indicates that the offset of this PyMemberDef entry indicates an offset from the subclass-specific data, rather than from PyObject.

Can only be used as part of Py_tp_members slot when creating a class using negative basicsize. It is mandatory in that case.

This flag is only used in PyType_Slot. When setting tp_members during class creation, Python clears it and sets PyMemberDef.offset to the offset from the PyObject struct.

Alterado na versão 3.10: The RESTRICTED, READ_RESTRICTED and WRITE_RESTRICTED macros available with #include "structmember.h" are deprecated. READ_RESTRICTED and RESTRICTED are equivalent to Py_AUDIT_READ; WRITE_RESTRICTED does nothing.

Alterado na versão 3.12: The READONLY macro was renamed to Py_READONLY. The PY_AUDIT_READ macro was renamed with the Py_ prefix. The new names are now always available. Previously, these required #include "structmember.h". The header is still available and it provides the old names.

Member types

PyMemberDef.type can be one of the following macros corresponding to various C types. When the member is accessed in Python, it will be converted to the equivalent Python type. When it is set from Python, it will be converted back to the C type. If that is not possible, an exception such as TypeError or ValueError is raised.

Unless marked (D), attributes defined this way cannot be deleted using e.g. del or delattr().

Macro name

Tipo em C

Tipo em Python

Py_T_BYTE

char

int

Py_T_SHORT

short

int

Py_T_INT

int

int

Py_T_LONG

long

int

Py_T_LONGLONG

long long

int

Py_T_UBYTE

unsigned char

int

Py_T_UINT

unsigned int

int

Py_T_USHORT

unsigned short

int

Py_T_ULONG

unsigned long

int

Py_T_ULONGLONG

unsigned long long

int

Py_T_PYSSIZET

Py_ssize_t

int

Py_T_FLOAT

float

float

Py_T_DOUBLE

double

float

Py_T_BOOL

char (escrito como 0 ou 1)

bool

Py_T_STRING

const char* (*)

str (RO)

Py_T_STRING_INPLACE

const char[] (*)

str (RO)

Py_T_CHAR

char (0-127)

str (**)

Py_T_OBJECT_EX

PyObject*

object (D)

(*): Zero-terminated, UTF8-encoded C string. With Py_T_STRING the C representation is a pointer; with Py_T_STRING_INPLACE the string is stored directly in the structure.

(**): String of length 1. Only ASCII is accepted.

(RO): implica Py_READONLY.

(D): pode ser deletado, neste caso o ponteiro é definido para NULL. Ler um ponteiro NULL levanta uma exceção AttributeError.

Adicionado na versão 3.12: In previous versions, the macros were only available with #include "structmember.h" and were named without the Py_ prefix (e.g. as T_INT). The header is still available and contains the old names, along with the following deprecated types:

T_OBJECT

Like Py_T_OBJECT_EX, but NULL is converted to None. This results in surprising behavior in Python: deleting the attribute effectively sets it to None.

T_NONE

Sempre None. Deve ser usado com Py_READONLY.

Defining Getters and Setters

type PyGetSetDef

Parte da ABI Estável (incluindo todos os membros).

Structure to define property-like access for a type. See also description of the PyTypeObject.tp_getset slot.

const char *name

attribute name

getter get

C function to get the attribute.

setter set

Optional C function to set or delete the attribute. If NULL, the attribute is read-only.

const char *doc

optional docstring

void *closure

Optional user data pointer, providing additional data for getter and setter.

typedef PyObject *(*getter)(PyObject*, void*)

Parte da ABI Estável.

The get function takes one PyObject* parameter (the instance) and a user data pointer (the associated closure):

It should return a new reference on success or NULL with a set exception on failure.

typedef int (*setter)(PyObject*, PyObject*, void*)

Parte da ABI Estável.

set functions take two PyObject* parameters (the instance and the value to be set) and a user data pointer (the associated closure):

In case the attribute should be deleted the second parameter is NULL. Should return 0 on success or -1 with a set exception on failure.

Objetos tipo

Perhaps one of the most important structures of the Python object system is the structure that defines a new type: the PyTypeObject structure. Type objects can be handled using any of the PyObject_* or PyType_* functions, but do not offer much that’s interesting to most Python applications. These objects are fundamental to how objects behave, so they are very important to the interpreter itself and to any extension module that implements new types.

Os objetos de tipo são bastante grandes em comparação com a maioria dos tipos padrão. A razão para o tamanho é que cada objeto de tipo armazena um grande número de valores, principalmente indicadores de função C, cada um dos quais implementa uma pequena parte da funcionalidade do tipo. Os campos do objeto de tipo são examinados em detalhes nesta seção. Os campos serão descritos na ordem em que ocorrem na estrutura.

Além da referência rápida a seguir, a seção Exemplos fornece uma visão geral do significado e uso de PyTypeObject.

Referências rápidas

“slots tp”

Slot de PyTypeObject [1]

Tipo

métodos/atributos especiais

Info [2]

O

T

D

I

<R> tp_name

const char *

__name__

X

X

tp_basicsize

Py_ssize_t

X

X

X

tp_itemsize

Py_ssize_t

X

X

tp_dealloc

destructor

X

X

X

tp_vectorcall_offset

Py_ssize_t

X

X

(tp_getattr)

getattrfunc

__getattribute__, __getattr__

G

(tp_setattr)

setattrfunc

__setattr__, __delattr__

G

tp_as_async

PyAsyncMethods *

sub-slots

%

tp_repr

reprfunc

__repr__

X

X

X

tp_as_number

PyNumberMethods *

sub-slots

%

tp_as_sequence

PySequenceMethods *

sub-slots

%

tp_as_mapping

PyMappingMethods *

sub-slots

%

tp_hash

hashfunc

__hash__

X

G

tp_call

ternaryfunc

__call__

X

X

tp_str

reprfunc

__str__

X

X

tp_getattro

getattrofunc

__getattribute__, __getattr__

X

X

G

tp_setattro

setattrofunc

__setattr__, __delattr__

X

X

G

tp_as_buffer

PyBufferProcs *

%

tp_flags

unsigned long

X

X

?

tp_doc

const char *

__doc__

X

X

tp_traverse

traverseproc

X

G

tp_clear

inquiry

X

G

tp_richcompare

richcmpfunc

__lt__, __le__, __eq__, __ne__, __gt__, __ge__

X

G

(tp_weaklistoffset)

Py_ssize_t

X

?

tp_iter

getiterfunc

__iter__

X

tp_iternext

iternextfunc

__next__

X

tp_methods

PyMethodDef []

X

X

tp_members

PyMemberDef []

X

tp_getset

PyGetSetDef []

X

X

tp_base

PyTypeObject *

__base__

X

tp_dict

PyObject *

__dict__

?

tp_descr_get

descrgetfunc

__get__

X

tp_descr_set

descrsetfunc

__set__, __delete__

X

(tp_dictoffset)

Py_ssize_t

X

?

tp_init

initproc

__init__

X

X

X

tp_alloc

allocfunc

X

?

?

tp_new

newfunc

__new__

X

X

?

?

tp_free

freefunc

X

X

?

?

tp_is_gc

inquiry

X

X

<tp_bases>

PyObject *

__bases__

~

<tp_mro>

PyObject *

__mro__

~

[tp_cache]

PyObject *

[tp_subclasses]

void *

__subclasses__

[tp_weaklist]

PyObject *

(tp_del)

destructor

[tp_version_tag]

unsigned int

tp_finalize

destructor

__del__

X

tp_vectorcall

vectorcallfunc

[tp_watched]

unsigned char

[1]

(): A slot name in parentheses indicates it is (effectively) deprecated.

<>: Names in angle brackets should be initially set to NULL and treated as read-only.

[]: Names in square brackets are for internal use only.

<R> (as a prefix) means the field is required (must be non-NULL).

[2]

Columns:

“O”: set on PyBaseObject_Type

“T”: set on PyType_Type

“D”: default (if slot is set to NULL)

X - PyType_Ready sets this value if it is NULL
~ - PyType_Ready always sets this value (it should be NULL)
? - PyType_Ready may set this value depending on other slots

Also see the inheritance column ("I").

“I”: inheritance

X - type slot is inherited via *PyType_Ready* if defined with a *NULL* value
% - the slots of the sub-struct are inherited individually
G - inherited, but only in combination with other slots; see the slot's description
? - it's complicated; see the slot's description

Note that some slots are effectively inherited through the normal attribute lookup chain.

sub-slots

Slot

Tipo

special methods

am_await

unaryfunc

__await__

am_aiter

unaryfunc

__aiter__

am_anext

unaryfunc

__anext__

am_send

sendfunc

nb_add

binaryfunc

__add__ __radd__

nb_inplace_add

binaryfunc

__iadd__

nb_subtract

binaryfunc

__sub__ __rsub__

nb_inplace_subtract

binaryfunc

__isub__

nb_multiply

binaryfunc

__mul__ __rmul__

nb_inplace_multiply

binaryfunc

__imul__

nb_remainder

binaryfunc

__mod__ __rmod__

nb_inplace_remainder

binaryfunc

__imod__

nb_divmod

binaryfunc

__divmod__ __rdivmod__

nb_power

ternaryfunc

__pow__ __rpow__

nb_inplace_power

ternaryfunc

__ipow__

nb_negative

unaryfunc

__neg__

nb_positive

unaryfunc

__pos__

nb_absolute

unaryfunc

__abs__

nb_bool

inquiry

__bool__

nb_invert

unaryfunc

__invert__

nb_lshift

binaryfunc

__lshift__ __rlshift__

nb_inplace_lshift

binaryfunc

__ilshift__

nb_rshift

binaryfunc

__rshift__ __rrshift__

nb_inplace_rshift

binaryfunc

__irshift__

nb_and

binaryfunc

__and__ __rand__

nb_inplace_and

binaryfunc

__iand__

nb_xor

binaryfunc

__xor__ __rxor__

nb_inplace_xor

binaryfunc

__ixor__

nb_or

binaryfunc

__or__ __ror__

nb_inplace_or

binaryfunc

__ior__

nb_int

unaryfunc

__int__

nb_reserved

void *

nb_float

unaryfunc

__float__

nb_floor_divide

binaryfunc

__floordiv__

nb_inplace_floor_divide

binaryfunc

__ifloordiv__

nb_true_divide

binaryfunc

__truediv__

nb_inplace_true_divide

binaryfunc

__itruediv__

nb_index

unaryfunc

__index__

nb_matrix_multiply

binaryfunc

__matmul__ __rmatmul__

nb_inplace_matrix_multiply

binaryfunc

__imatmul__

mp_length

lenfunc

__len__

mp_subscript

binaryfunc

__getitem__

mp_ass_subscript

objobjargproc

__setitem__, __delitem__

sq_length

lenfunc

__len__

sq_concat

binaryfunc

__add__

sq_repeat

ssizeargfunc

__mul__

sq_item

ssizeargfunc

__getitem__

sq_ass_item

ssizeobjargproc

__setitem__ __delitem__

sq_contains

objobjproc

__contains__

sq_inplace_concat

binaryfunc

__iadd__

sq_inplace_repeat

ssizeargfunc

__imul__

bf_getbuffer

getbufferproc()

bf_releasebuffer

releasebufferproc()

slot typedefs

typedef

Parameter Types

Return Type

allocfunc

PyTypeObject *

Py_ssize_t

PyObject *

destructor

PyObject *

void

freefunc

void *

void

traverseproc

PyObject *

visitproc

void *

int

newfunc

PyObject *

PyObject *

PyObject *

PyObject *

initproc

PyObject *

PyObject *

PyObject *

int

reprfunc

PyObject *

PyObject *

getattrfunc

PyObject *

const char *

PyObject *

setattrfunc

PyObject *

const char *

PyObject *

int

getattrofunc

PyObject *

PyObject *

PyObject *

setattrofunc

PyObject *

PyObject *

PyObject *

int

descrgetfunc

PyObject *

PyObject *

PyObject *

PyObject *

descrsetfunc

PyObject *

PyObject *

PyObject *

int

hashfunc

PyObject *

Py_hash_t

richcmpfunc

PyObject *

PyObject *

int

PyObject *

getiterfunc

PyObject *

PyObject *

iternextfunc

PyObject *

PyObject *

lenfunc

PyObject *

Py_ssize_t

getbufferproc

PyObject *

Py_buffer *

int

int

releasebufferproc

PyObject *

Py_buffer *

void

inquiry

PyObject *

int

unaryfunc

PyObject *

PyObject *

binaryfunc

PyObject *

PyObject *

PyObject *

ternaryfunc

PyObject *

PyObject *

PyObject *

PyObject *

ssizeargfunc

PyObject *

Py_ssize_t

PyObject *

ssizeobjargproc

PyObject *

Py_ssize_t

PyObject *

int

objobjproc

PyObject *

PyObject *

int

objobjargproc

PyObject *

PyObject *

PyObject *

int

See Slot Type typedefs below for more detail.

PyTypeObject Definition

The structure definition for PyTypeObject can be found in Include/object.h. For convenience of reference, this repeats the definition found there:

typedef struct _typeobject {
    PyObject_VAR_HEAD
    const char *tp_name; /* For printing, in format "<module>.<name>" */
    Py_ssize_t tp_basicsize, tp_itemsize; /* For allocation */

    /* Methods to implement standard operations */

    destructor tp_dealloc;
    Py_ssize_t tp_vectorcall_offset;
    getattrfunc tp_getattr;
    setattrfunc tp_setattr;
    PyAsyncMethods *tp_as_async; /* formerly known as tp_compare (Python 2)
                                    or tp_reserved (Python 3) */
    reprfunc tp_repr;

    /* Method suites for standard classes */

    PyNumberMethods *tp_as_number;
    PySequenceMethods *tp_as_sequence;
    PyMappingMethods *tp_as_mapping;

    /* More standard operations (here for binary compatibility) */

    hashfunc tp_hash;
    ternaryfunc tp_call;
    reprfunc tp_str;
    getattrofunc tp_getattro;
    setattrofunc tp_setattro;

    /* Functions to access object as input/output buffer */
    PyBufferProcs *tp_as_buffer;

    /* Flags to define presence of optional/expanded features */
    unsigned long tp_flags;

    const char *tp_doc; /* Documentation string */

    /* Assigned meaning in release 2.0 */
    /* call function for all accessible objects */
    traverseproc tp_traverse;

    /* delete references to contained objects */
    inquiry tp_clear;

    /* Assigned meaning in release 2.1 */
    /* rich comparisons */
    richcmpfunc tp_richcompare;

    /* weak reference enabler */
    Py_ssize_t tp_weaklistoffset;

    /* Iterators */
    getiterfunc tp_iter;
    iternextfunc tp_iternext;

    /* Attribute descriptor and subclassing stuff */
    struct PyMethodDef *tp_methods;
    struct PyMemberDef *tp_members;
    struct PyGetSetDef *tp_getset;
    // Strong reference on a heap type, borrowed reference on a static type
    struct _typeobject *tp_base;
    PyObject *tp_dict;
    descrgetfunc tp_descr_get;
    descrsetfunc tp_descr_set;
    Py_ssize_t tp_dictoffset;
    initproc tp_init;
    allocfunc tp_alloc;
    newfunc tp_new;
    freefunc tp_free; /* Low-level free-memory routine */
    inquiry tp_is_gc; /* For PyObject_IS_GC */
    PyObject *tp_bases;
    PyObject *tp_mro; /* method resolution order */
    PyObject *tp_cache;
    PyObject *tp_subclasses;
    PyObject *tp_weaklist;
    destructor tp_del;

    /* Type attribute cache version tag. Added in version 2.6 */
    unsigned int tp_version_tag;

    destructor tp_finalize;
    vectorcallfunc tp_vectorcall;

    /* bitset of which type-watchers care about this type */
    unsigned char tp_watched;
} PyTypeObject;

PyObject Slots

The type object structure extends the PyVarObject structure. The ob_size field is used for dynamic types (created by type_new(), usually called from a class statement). Note that PyType_Type (the metatype) initializes tp_itemsize, which means that its instances (i.e. type objects) must have the ob_size field.

Py_ssize_t PyObject.ob_refcnt

Parte da ABI Estável.

This is the type object’s reference count, initialized to 1 by the PyObject_HEAD_INIT macro. Note that for statically allocated type objects, the type’s instances (objects whose ob_type points back to the type) do not count as references. But for dynamically allocated type objects, the instances do count as references.

Inheritance:

This field is not inherited by subtypes.

PyTypeObject *PyObject.ob_type

Parte da ABI Estável.

This is the type’s type, in other words its metatype. It is initialized by the argument to the PyObject_HEAD_INIT macro, and its value should normally be &PyType_Type. However, for dynamically loadable extension modules that must be usable on Windows (at least), the compiler complains that this is not a valid initializer. Therefore, the convention is to pass NULL to the PyObject_HEAD_INIT macro and to initialize this field explicitly at the start of the module’s initialization function, before doing anything else. This is typically done like this:

Foo_Type.ob_type = &PyType_Type;

This should be done before any instances of the type are created. PyType_Ready() checks if ob_type is NULL, and if so, initializes it to the ob_type field of the base class. PyType_Ready() will not change this field if it is non-zero.

Inheritance:

This field is inherited by subtypes.

PyVarObject Slots

Py_ssize_t PyVarObject.ob_size

Parte da ABI Estável.

For statically allocated type objects, this should be initialized to zero. For dynamically allocated type objects, this field has a special internal meaning.

Inheritance:

This field is not inherited by subtypes.

PyTypeObject Slots

Each slot has a section describing inheritance. If PyType_Ready() may set a value when the field is set to NULL then there will also be a “Default” section. (Note that many fields set on PyBaseObject_Type and PyType_Type effectively act as defaults.)

const char *PyTypeObject.tp_name

Pointer to a NUL-terminated string containing the name of the type. For types that are accessible as module globals, the string should be the full module name, followed by a dot, followed by the type name; for built-in types, it should be just the type name. If the module is a submodule of a package, the full package name is part of the full module name. For example, a type named T defined in module M in subpackage Q in package P should have the tp_name initializer "P.Q.M.T".

For dynamically allocated type objects, this should just be the type name, and the module name explicitly stored in the type dict as the value for key '__module__'.

For statically allocated type objects, the tp_name field should contain a dot. Everything before the last dot is made accessible as the __module__ attribute, and everything after the last dot is made accessible as the __name__ attribute.

If no dot is present, the entire tp_name field is made accessible as the __name__ attribute, and the __module__ attribute is undefined (unless explicitly set in the dictionary, as explained above). This means your type will be impossible to pickle. Additionally, it will not be listed in module documentations created with pydoc.

This field must not be NULL. It is the only required field in PyTypeObject() (other than potentially tp_itemsize).

Inheritance:

This field is not inherited by subtypes.

Py_ssize_t PyTypeObject.tp_basicsize

Py_ssize_t PyTypeObject.tp_itemsize

These fields allow calculating the size in bytes of instances of the type.

There are two kinds of types: types with fixed-length instances have a zero tp_itemsize field, types with variable-length instances have a non-zero tp_itemsize field. For a type with fixed-length instances, all instances have the same size, given in tp_basicsize.

For a type with variable-length instances, the instances must have an ob_size field, and the instance size is tp_basicsize plus N times tp_itemsize, where N is the “length” of the object. The value of N is typically stored in the instance’s ob_size field. There are exceptions: for example, ints use a negative ob_size to indicate a negative number, and N is abs(ob_size) there. Also, the presence of an ob_size field in the instance layout doesn’t mean that the instance structure is variable-length (for example, the structure for the list type has fixed-length instances, yet those instances have a meaningful ob_size field).

The basic size includes the fields in the instance declared by the macro PyObject_HEAD or PyObject_VAR_HEAD (whichever is used to declare the instance struct) and this in turn includes the _ob_prev and _ob_next fields if they are present. This means that the only correct way to get an initializer for the tp_basicsize is to use the sizeof operator on the struct used to declare the instance layout. The basic size does not include the GC header size.

A note about alignment: if the variable items require a particular alignment, this should be taken care of by the value of tp_basicsize. Example: suppose a type implements an array of double. tp_itemsize is sizeof(double). It is the programmer’s responsibility that tp_basicsize is a multiple of sizeof(double) (assuming this is the alignment requirement for double).

For any type with variable-length instances, this field must not be NULL.

Inheritance:

These fields are inherited separately by subtypes. If the base type has a non-zero tp_itemsize, it is generally not safe to set tp_itemsize to a different non-zero value in a subtype (though this depends on the implementation of the base type).

destructor PyTypeObject.tp_dealloc

A pointer to the instance destructor function. This function must be defined unless the type guarantees that its instances will never be deallocated (as is the case for the singletons None and Ellipsis). The function signature is:

void tp_dealloc(PyObject *self);

The destructor function is called by the Py_DECREF() and Py_XDECREF() macros when the new reference count is zero. At this point, the instance is still in existence, but there are no references to it. The destructor function should free all references which the instance owns, free all memory buffers owned by the instance (using the freeing function corresponding to the allocation function used to allocate the buffer), and call the type’s tp_free function. If the type is not subtypable (doesn’t have the Py_TPFLAGS_BASETYPE flag bit set), it is permissible to call the object deallocator directly instead of via tp_free. The object deallocator should be the one used to allocate the instance; this is normally PyObject_Del() if the instance was allocated using PyObject_New or PyObject_NewVar, or PyObject_GC_Del() if the instance was allocated using PyObject_GC_New or PyObject_GC_NewVar.

If the type supports garbage collection (has the Py_TPFLAGS_HAVE_GC flag bit set), the destructor should call PyObject_GC_UnTrack() before clearing any member fields.

static void foo_dealloc(foo_object *self) {
    PyObject_GC_UnTrack(self);
    Py_CLEAR(self->ref);
    Py_TYPE(self)->tp_free((PyObject *)self);
}

Finally, if the type is heap allocated (Py_TPFLAGS_HEAPTYPE), the deallocator should release the owned reference to its type object (via Py_DECREF()) after calling the type deallocator. In order to avoid dangling pointers, the recommended way to achieve this is:

static void foo_dealloc(foo_object *self) {
    PyTypeObject *tp = Py_TYPE(self);
    // free references and buffers here
    tp->tp_free(self);
    Py_DECREF(tp);
}

Aviso

In a garbage collected Python, tp_dealloc may be called from any Python thread, not just the thread which created the object (if the object becomes part of a refcount cycle, that cycle might be collected by a garbage collection on any thread). This is not a problem for Python API calls, since the thread on which tp_dealloc is called will own the Global Interpreter Lock (GIL). However, if the object being destroyed in turn destroys objects from some other C or C++ library, care should be taken to ensure that destroying those objects on the thread which called tp_dealloc will not violate any assumptions of the library.

Inheritance:

This field is inherited by subtypes.

Py_ssize_t PyTypeObject.tp_vectorcall_offset

An optional offset to a per-instance function that implements calling the object using the vectorcall protocol, a more efficient alternative of the simpler tp_call.

This field is only used if the flag Py_TPFLAGS_HAVE_VECTORCALL is set. If so, this must be a positive integer containing the offset in the instance of a vectorcallfunc pointer.

The vectorcallfunc pointer may be NULL, in which case the instance behaves as if Py_TPFLAGS_HAVE_VECTORCALL was not set: calling the instance falls back to tp_call.

Any class that sets Py_TPFLAGS_HAVE_VECTORCALL must also set tp_call and make sure its behaviour is consistent with the vectorcallfunc function. This can be done by setting tp_call to PyVectorcall_Call().

Alterado na versão 3.8: Before version 3.8, this slot was named tp_print. In Python 2.x, it was used for printing to a file. In Python 3.0 to 3.7, it was unused.

Alterado na versão 3.12: Before version 3.12, it was not recommended for mutable heap types to implement the vectorcall protocol. When a user sets __call__ in Python code, only tp_call is updated, likely making it inconsistent with the vectorcall function. Since 3.12, setting __call__ will disable vectorcall optimization by clearing the Py_TPFLAGS_HAVE_VECTORCALL flag.

Inheritance:

This field is always inherited. However, the Py_TPFLAGS_HAVE_VECTORCALL flag is not always inherited. If it’s not set, then the subclass won’t use vectorcall, except when PyVectorcall_Call() is explicitly called.

getattrfunc PyTypeObject.tp_getattr

An optional pointer to the get-attribute-string function.

This field is deprecated. When it is defined, it should point to a function that acts the same as the tp_getattro function, but taking a C string instead of a Python string object to give the attribute name.

Inheritance:

Group: tp_getattr, tp_getattro

This field is inherited by subtypes together with tp_getattro: a subtype inherits both tp_getattr and tp_getattro from its base type when the subtype’s tp_getattr and tp_getattro are both NULL.

setattrfunc PyTypeObject.tp_setattr

An optional pointer to the function for setting and deleting attributes.

This field is deprecated. When it is defined, it should point to a function that acts the same as the tp_setattro function, but taking a C string instead of a Python string object to give the attribute name.

Inheritance:

Group: tp_setattr, tp_setattro

This field is inherited by subtypes together with tp_setattro: a subtype inherits both tp_setattr and tp_setattro from its base type when the subtype’s tp_setattr and tp_setattro are both NULL.

PyAsyncMethods *PyTypeObject.tp_as_async

Pointer to an additional structure that contains fields relevant only to objects which implement awaitable and asynchronous iterator protocols at the C-level. See Async Object Structures for details.

Adicionado na versão 3.5: Formerly known as tp_compare and tp_reserved.

Inheritance:

The tp_as_async field is not inherited, but the contained fields are inherited individually.

reprfunc PyTypeObject.tp_repr

An optional pointer to a function that implements the built-in function repr().

The signature is the same as for PyObject_Repr():

PyObject *tp_repr(PyObject *self);

The function must return a string or a Unicode object. Ideally, this function should return a string that, when passed to eval(), given a suitable environment, returns an object with the same value. If this is not feasible, it should return a string starting with '<' and ending with '>' from which both the type and the value of the object can be deduced.

Inheritance:

This field is inherited by subtypes.

Padrão:

When this field is not set, a string of the form <%s object at %p> is returned, where %s is replaced by the type name, and %p by the object’s memory address.

PyNumberMethods *PyTypeObject.tp_as_number

Pointer to an additional structure that contains fields relevant only to objects which implement the number protocol. These fields are documented in Number Object Structures.

Inheritance:

The tp_as_number field is not inherited, but the contained fields are inherited individually.

PySequenceMethods *PyTypeObject.tp_as_sequence

Pointer to an additional structure that contains fields relevant only to objects which implement the sequence protocol. These fields are documented in Sequence Object Structures.

Inheritance:

The tp_as_sequence field is not inherited, but the contained fields are inherited individually.

PyMappingMethods *PyTypeObject.tp_as_mapping

Pointer to an additional structure that contains fields relevant only to objects which implement the mapping protocol. These fields are documented in Mapping Object Structures.

Inheritance:

The tp_as_mapping field is not inherited, but the contained fields are inherited individually.

hashfunc PyTypeObject.tp_hash

An optional pointer to a function that implements the built-in function hash().

The signature is the same as for PyObject_Hash():

Py_hash_t tp_hash(PyObject *);

The value -1 should not be returned as a normal return value; when an error occurs during the computation of the hash value, the function should set an exception and return -1.

When this field is not set (and tp_richcompare is not set), an attempt to take the hash of the object raises TypeError. This is the same as setting it to PyObject_HashNotImplemented().

This field can be set explicitly to PyObject_HashNotImplemented() to block inheritance of the hash method from a parent type. This is interpreted as the equivalent of __hash__ = None at the Python level, causing isinstance(o, collections.Hashable) to correctly return False. Note that the converse is also true - setting __hash__ = None on a class at the Python level will result in the tp_hash slot being set to PyObject_HashNotImplemented().

Inheritance:

Group: tp_hash, tp_richcompare

This field is inherited by subtypes together with tp_richcompare: a subtype inherits both of tp_richcompare and tp_hash, when the subtype’s tp_richcompare and tp_hash are both NULL.

Padrão:

PyBaseObject_Type uses PyObject_GenericHash().

ternaryfunc PyTypeObject.tp_call

An optional pointer to a function that implements calling the object. This should be NULL if the object is not callable. The signature is the same as for PyObject_Call():

PyObject *tp_call(PyObject *self, PyObject *args, PyObject *kwargs);

Inheritance:

This field is inherited by subtypes.

reprfunc PyTypeObject.tp_str

An optional pointer to a function that implements the built-in operation str(). (Note that str is a type now, and str() calls the constructor for that type. This constructor calls PyObject_Str() to do the actual work, and PyObject_Str() will call this handler.)

The signature is the same as for PyObject_Str():

PyObject *tp_str(PyObject *self);

The function must return a string or a Unicode object. It should be a “friendly” string representation of the object, as this is the representation that will be used, among other things, by the print() function.

Inheritance:

This field is inherited by subtypes.

Padrão:

When this field is not set, PyObject_Repr() is called to return a string representation.

getattrofunc PyTypeObject.tp_getattro

An optional pointer to the get-attribute function.

The signature is the same as for PyObject_GetAttr():

PyObject *tp_getattro(PyObject *self, PyObject *attr);

It is usually convenient to set this field to PyObject_GenericGetAttr(), which implements the normal way of looking for object attributes.

Inheritance:

Group: tp_getattr, tp_getattro

This field is inherited by subtypes together with tp_getattr: a subtype inherits both tp_getattr and tp_getattro from its base type when the subtype’s tp_getattr and tp_getattro are both NULL.

Padrão:

PyBaseObject_Type uses PyObject_GenericGetAttr().

setattrofunc PyTypeObject.tp_setattro

An optional pointer to the function for setting and deleting attributes.

The signature is the same as for PyObject_SetAttr():

int tp_setattro(PyObject *self, PyObject *attr, PyObject *value);

In addition, setting value to NULL to delete an attribute must be supported. It is usually convenient to set this field to PyObject_GenericSetAttr(), which implements the normal way of setting object attributes.

Inheritance:

Group: tp_setattr, tp_setattro

This field is inherited by subtypes together with tp_setattr: a subtype inherits both tp_setattr and tp_setattro from its base type when the subtype’s tp_setattr and tp_setattro are both NULL.

Padrão:

PyBaseObject_Type uses PyObject_GenericSetAttr().

PyBufferProcs *PyTypeObject.tp_as_buffer

Pointer to an additional structure that contains fields relevant only to objects which implement the buffer interface. These fields are documented in Buffer Object Structures.

Inheritance:

The tp_as_buffer field is not inherited, but the contained fields are inherited individually.

unsigned long PyTypeObject.tp_flags

This field is a bit mask of various flags. Some flags indicate variant semantics for certain situations; others are used to indicate that certain fields in the type object (or in the extension structures referenced via tp_as_number, tp_as_sequence, tp_as_mapping, and tp_as_buffer) that were historically not always present are valid; if such a flag bit is clear, the type fields it guards must not be accessed and must be considered to have a zero or NULL value instead.

Inheritance:

Inheritance of this field is complicated. Most flag bits are inherited individually, i.e. if the base type has a flag bit set, the subtype inherits this flag bit. The flag bits that pertain to extension structures are strictly inherited if the extension structure is inherited, i.e. the base type’s value of the flag bit is copied into the subtype together with a pointer to the extension structure. The Py_TPFLAGS_HAVE_GC flag bit is inherited together with the tp_traverse and tp_clear fields, i.e. if the Py_TPFLAGS_HAVE_GC flag bit is clear in the subtype and the tp_traverse and tp_clear fields in the subtype exist and have NULL values. .. XXX are most flag bits really inherited individually?

Padrão:

PyBaseObject_Type uses Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE.

Bit Masks:

The following bit masks are currently defined; these can be ORed together using the | operator to form the value of the tp_flags field. The macro PyType_HasFeature() takes a type and a flags value, tp and f, and checks whether tp->tp_flags & f is non-zero.

Py_TPFLAGS_HEAPTYPE

This bit is set when the type object itself is allocated on the heap, for example, types created dynamically using PyType_FromSpec(). In this case, the ob_type field of its instances is considered a reference to the type, and the type object is INCREF’ed when a new instance is created, and DECREF’ed when an instance is destroyed (this does not apply to instances of subtypes; only the type referenced by the instance’s ob_type gets INCREF’ed or DECREF’ed). Heap types should also support garbage collection as they can form a reference cycle with their own module object.

Inheritance:

???

Py_TPFLAGS_BASETYPE

This bit is set when the type can be used as the base type of another type. If this bit is clear, the type cannot be subtyped (similar to a “final” class in Java).

Inheritance:

???

Py_TPFLAGS_READY

This bit is set when the type object has been fully initialized by PyType_Ready().

Inheritance:

???

Py_TPFLAGS_READYING

This bit is set while PyType_Ready() is in the process of initializing the type object.

Inheritance:

???

Py_TPFLAGS_HAVE_GC

This bit is set when the object supports garbage collection. If this bit is set, instances must be created using PyObject_GC_New and destroyed using PyObject_GC_Del(). More information in section Suporte a Coleta Cíclica de Lixo. This bit also implies that the GC-related fields tp_traverse and tp_clear are present in the type object.

Inheritance:

Group: Py_TPFLAGS_HAVE_GC, tp_traverse, tp_clear

The Py_TPFLAGS_HAVE_GC flag bit is inherited together with the tp_traverse and tp_clear fields, i.e. if the Py_TPFLAGS_HAVE_GC flag bit is clear in the subtype and the tp_traverse and tp_clear fields in the subtype exist and have NULL values.

Py_TPFLAGS_DEFAULT

This is a bitmask of all the bits that pertain to the existence of certain fields in the type object and its extension structures. Currently, it includes the following bits: Py_TPFLAGS_HAVE_STACKLESS_EXTENSION.

Inheritance:

???

Py_TPFLAGS_METHOD_DESCRIPTOR

This bit indicates that objects behave like unbound methods.

If this flag is set for type(meth), then:

meth.__get__(obj, cls)(*args, **kwds) (with obj not None) must be equivalent to meth(obj, *args, **kwds).

meth.__get__(None, cls)(*args, **kwds) must be equivalent to meth(*args, **kwds).

This flag enables an optimization for typical method calls like obj.meth(): it avoids creating a temporary “bound method” object for obj.meth.

Adicionado na versão 3.8.

Inheritance:

This flag is never inherited by types without the Py_TPFLAGS_IMMUTABLETYPE flag set. For extension types, it is inherited whenever tp_descr_get is inherited.

Py_TPFLAGS_MANAGED_DICT

This bit indicates that instances of the class have a ~object.__dict__ attribute, and that the space for the dictionary is managed by the VM.

If this flag is set, Py_TPFLAGS_HAVE_GC should also be set.

The type traverse function must call PyObject_VisitManagedDict() and its clear function must call PyObject_ClearManagedDict().

Adicionado na versão 3.12.

Inheritance:

This flag is inherited unless the tp_dictoffset field is set in a superclass.

Py_TPFLAGS_MANAGED_WEAKREF

This bit indicates that instances of the class should be weakly referenceable.

Adicionado na versão 3.12.

Inheritance:

This flag is inherited unless the tp_weaklistoffset field is set in a superclass.

Py_TPFLAGS_ITEMS_AT_END

Only usable with variable-size types, i.e. ones with non-zero tp_itemsize.

Indicates that the variable-sized portion of an instance of this type is at the end of the instance’s memory area, at an offset of Py_TYPE(obj)->tp_basicsize (which may be different in each subclass).

When setting this flag, be sure that all superclasses either use this memory layout, or are not variable-sized. Python does not check this.

Adicionado na versão 3.12.

Inheritance:

This flag is inherited.

Py_TPFLAGS_LONG_SUBCLASS

Py_TPFLAGS_LIST_SUBCLASS

Py_TPFLAGS_TUPLE_SUBCLASS

Py_TPFLAGS_BYTES_SUBCLASS

Py_TPFLAGS_UNICODE_SUBCLASS

Py_TPFLAGS_DICT_SUBCLASS

Py_TPFLAGS_BASE_EXC_SUBCLASS

Py_TPFLAGS_TYPE_SUBCLASS

These flags are used by functions such as PyLong_Check() to quickly determine if a type is a subclass of a built-in type; such specific checks are faster than a generic check, like PyObject_IsInstance(). Custom types that inherit from built-ins should have their tp_flags set appropriately, or the code that interacts with such types will behave differently depending on what kind of check is used.

Py_TPFLAGS_HAVE_FINALIZE

This bit is set when the tp_finalize slot is present in the type structure.

Adicionado na versão 3.4.

Obsoleto desde a versão 3.8: This flag isn’t necessary anymore, as the interpreter assumes the tp_finalize slot is always present in the type structure.

Py_TPFLAGS_HAVE_VECTORCALL

This bit is set when the class implements the vectorcall protocol. See tp_vectorcall_offset for details.

Inheritance:

This bit is inherited if tp_call is also inherited.

Adicionado na versão 3.9.

Alterado na versão 3.12: This flag is now removed from a class when the class’s __call__() method is reassigned.

This flag can now be inherited by mutable classes.

Py_TPFLAGS_IMMUTABLETYPE

This bit is set for type objects that are immutable: type attributes cannot be set nor deleted.

PyType_Ready() automatically applies this flag to static types.

Inheritance:

This flag is not inherited.

Adicionado na versão 3.10.

Py_TPFLAGS_DISALLOW_INSTANTIATION

Disallow creating instances of the type: set tp_new to NULL and don’t create the __new__ key in the type dictionary.

The flag must be set before creating the type, not after. For example, it must be set before PyType_Ready() is called on the type.

The flag is set automatically on static types if tp_base is NULL or &PyBaseObject_Type and tp_new is NULL.

Inheritance:

This flag is not inherited. However, subclasses will not be instantiable unless they provide a non-NULL tp_new (which is only possible via the C API).

Nota

To disallow instantiating a class directly but allow instantiating its subclasses (e.g. for an abstract base class), do not use this flag. Instead, make tp_new only succeed for subclasses.

Adicionado na versão 3.10.

Py_TPFLAGS_MAPPING

This bit indicates that instances of the class may match mapping patterns when used as the subject of a match block. It is automatically set when registering or subclassing collections.abc.Mapping, and unset when registering collections.abc.Sequence.

Nota

Py_TPFLAGS_MAPPING and Py_TPFLAGS_SEQUENCE are mutually exclusive; it is an error to enable both flags simultaneously.

Inheritance:

This flag is inherited by types that do not already set Py_TPFLAGS_SEQUENCE.

Ver também

PEP 634 [https://peps.python.org/pep-0634/] – Structural Pattern Matching: Specification

Adicionado na versão 3.10.

Py_TPFLAGS_SEQUENCE

This bit indicates that instances of the class may match sequence patterns when used as the subject of a match block. It is automatically set when registering or subclassing collections.abc.Sequence, and unset when registering collections.abc.Mapping.

Nota

Py_TPFLAGS_MAPPING and Py_TPFLAGS_SEQUENCE are mutually exclusive; it is an error to enable both flags simultaneously.

Inheritance:

This flag is inherited by types that do not already set Py_TPFLAGS_MAPPING.

Ver também

PEP 634 [https://peps.python.org/pep-0634/] – Structural Pattern Matching: Specification

Adicionado na versão 3.10.

Py_TPFLAGS_VALID_VERSION_TAG

Internal. Do not set or unset this flag. To indicate that a class has changed call PyType_Modified()

Aviso

This flag is present in header files, but is not be used. It will be removed in a future version of CPython

const char *PyTypeObject.tp_doc

An optional pointer to a NUL-terminated C string giving the docstring for this type object. This is exposed as the __doc__ attribute on the type and instances of the type.

Inheritance:

This field is not inherited by subtypes.

traverseproc PyTypeObject.tp_traverse

An optional pointer to a traversal function for the garbage collector. This is only used if the Py_TPFLAGS_HAVE_GC flag bit is set. The signature is:

int tp_traverse(PyObject *self, visitproc visit, void *arg);

More information about Python’s garbage collection scheme can be found in section Suporte a Coleta Cíclica de Lixo.

The tp_traverse pointer is used by the garbage collector to detect reference cycles. A typical implementation of a tp_traverse function simply calls Py_VISIT() on each of the instance’s members that are Python objects that the instance owns. For example, this is function local_traverse() from the _thread extension module:

static int
local_traverse(localobject *self, visitproc visit, void *arg)
{
    Py_VISIT(self->args);
    Py_VISIT(self->kw);
    Py_VISIT(self->dict);
    return 0;
}

Note that Py_VISIT() is called only on those members that can participate in reference cycles. Although there is also a self->key member, it can only be NULL or a Python string and therefore cannot be part of a reference cycle.

On the other hand, even if you know a member can never be part of a cycle, as a debugging aid you may want to visit it anyway just so the gc module’s get_referents() function will include it.

Heap types (Py_TPFLAGS_HEAPTYPE) must visit their type with:

Py_VISIT(Py_TYPE(self));

It is only needed since Python 3.9. To support Python 3.8 and older, this line must be conditional:

#if PY_VERSION_HEX >= 0x03090000
    Py_VISIT(Py_TYPE(self));
#endif

If the Py_TPFLAGS_MANAGED_DICT bit is set in the tp_flags field, the traverse function must call PyObject_VisitManagedDict() like this:

PyObject_VisitManagedDict((PyObject*)self, visit, arg);

Aviso

When implementing tp_traverse, only the members that the instance owns (by having strong references to them) must be visited. For instance, if an object supports weak references via the tp_weaklist slot, the pointer supporting the linked list (what tp_weaklist points to) must not be visited as the instance does not directly own the weak references to itself (the weakreference list is there to support the weak reference machinery, but the instance has no strong reference to the elements inside it, as they are allowed to be removed even if the instance is still alive).

Note that Py_VISIT() requires the visit and arg parameters to local_traverse() to have these specific names; don’t name them just anything.

Instances of heap-allocated types hold a reference to their type. Their traversal function must therefore either visit Py_TYPE(self), or delegate this responsibility by calling tp_traverse of another heap-allocated type (such as a heap-allocated superclass). If they do not, the type object may not be garbage-collected.

Alterado na versão 3.9: Heap-allocated types are expected to visit Py_TYPE(self) in tp_traverse. In earlier versions of Python, due to bug 40217 [https://bugs.python.org/issue40217], doing this may lead to crashes in subclasses.

Inheritance:

Group: Py_TPFLAGS_HAVE_GC, tp_traverse, tp_clear

This field is inherited by subtypes together with tp_clear and the Py_TPFLAGS_HAVE_GC flag bit: the flag bit, tp_traverse, and tp_clear are all inherited from the base type if they are all zero in the subtype.

inquiry PyTypeObject.tp_clear

An optional pointer to a clear function for the garbage collector. This is only used if the Py_TPFLAGS_HAVE_GC flag bit is set. The signature is:

int tp_clear(PyObject *);

The tp_clear member function is used to break reference cycles in cyclic garbage detected by the garbage collector. Taken together, all tp_clear functions in the system must combine to break all reference cycles. This is subtle, and if in any doubt supply a tp_clear function. For example, the tuple type does not implement a tp_clear function, because it’s possible to prove that no reference cycle can be composed entirely of tuples. Therefore the tp_clear functions of other types must be sufficient to break any cycle containing a tuple. This isn’t immediately obvious, and there’s rarely a good reason to avoid implementing tp_clear.

Implementations of tp_clear should drop the instance’s references to those of its members that may be Python objects, and set its pointers to those members to NULL, as in the following example:

static int
local_clear(localobject *self)
{
    Py_CLEAR(self->key);
    Py_CLEAR(self->args);
    Py_CLEAR(self->kw);
    Py_CLEAR(self->dict);
    return 0;
}

The Py_CLEAR() macro should be used, because clearing references is delicate: the reference to the contained object must not be released (via Py_DECREF()) until after the pointer to the contained object is set to NULL. This is because releasing the reference may cause the contained object to become trash, triggering a chain of reclamation activity that may include invoking arbitrary Python code (due to finalizers, or weakref callbacks, associated with the contained object). If it’s possible for such code to reference self again, it’s important that the pointer to the contained object be NULL at that time, so that self knows the contained object can no longer be used. The Py_CLEAR() macro performs the operations in a safe order.

If the Py_TPFLAGS_MANAGED_DICT bit is set in the tp_flags field, the traverse function must call PyObject_ClearManagedDict() like this:

PyObject_ClearManagedDict((PyObject*)self);

Note that tp_clear is not always called before an instance is deallocated. For example, when reference counting is enough to determine that an object is no longer used, the cyclic garbage collector is not involved and tp_dealloc is called directly.

Because the goal of tp_clear functions is to break reference cycles, it’s not necessary to clear contained objects like Python strings or Python integers, which can’t participate in reference cycles. On the other hand, it may be convenient to clear all contained Python objects, and write the type’s tp_dealloc function to invoke tp_clear.

More information about Python’s garbage collection scheme can be found in section Suporte a Coleta Cíclica de Lixo.

Inheritance:

Group: Py_TPFLAGS_HAVE_GC, tp_traverse, tp_clear

This field is inherited by subtypes together with tp_traverse and the Py_TPFLAGS_HAVE_GC flag bit: the flag bit, tp_traverse, and tp_clear are all inherited from the base type if they are all zero in the subtype.

richcmpfunc PyTypeObject.tp_richcompare

An optional pointer to the rich comparison function, whose signature is:

PyObject *tp_richcompare(PyObject *self, PyObject *other, int op);

The first parameter is guaranteed to be an instance of the type that is defined by PyTypeObject.

The function should return the result of the comparison (usually Py_True or Py_False). If the comparison is undefined, it must return Py_NotImplemented, if another error occurred it must return NULL and set an exception condition.

The following constants are defined to be used as the third argument for tp_richcompare and for PyObject_RichCompare():

Constante

Comparação

Py_LT

<

Py_LE

<=

Py_EQ

==

Py_NE

!=

Py_GT

>

Py_GE

>=

The following macro is defined to ease writing rich comparison functions:

Py_RETURN_RICHCOMPARE(VAL_A, VAL_B, op)

Return Py_True or Py_False from the function, depending on the result of a comparison. VAL_A and VAL_B must be orderable by C comparison operators (for example, they may be C ints or floats). The third argument specifies the requested operation, as for PyObject_RichCompare().

The returned value is a new strong reference.

On error, sets an exception and returns NULL from the function.

Adicionado na versão 3.7.

Inheritance:

Group: tp_hash, tp_richcompare

This field is inherited by subtypes together with tp_hash: a subtype inherits tp_richcompare and tp_hash when the subtype’s tp_richcompare and tp_hash are both NULL.

Padrão:

PyBaseObject_Type provides a tp_richcompare implementation, which may be inherited. However, if only tp_hash is defined, not even the inherited function is used and instances of the type will not be able to participate in any comparisons.

Py_ssize_t PyTypeObject.tp_weaklistoffset

While this field is still supported, Py_TPFLAGS_MANAGED_WEAKREF should be used instead, if at all possible.

If the instances of this type are weakly referenceable, this field is greater than zero and contains the offset in the instance structure of the weak reference list head (ignoring the GC header, if present); this offset is used by PyObject_ClearWeakRefs() and the PyWeakref_* functions. The instance structure needs to include a field of type PyObject* which is initialized to NULL.

Do not confuse this field with tp_weaklist; that is the list head for weak references to the type object itself.

It is an error to set both the Py_TPFLAGS_MANAGED_WEAKREF bit and tp_weaklistoffset.

Inheritance:

This field is inherited by subtypes, but see the rules listed below. A subtype may override this offset; this means that the subtype uses a different weak reference list head than the base type. Since the list head is always found via tp_weaklistoffset, this should not be a problem.

Padrão:

If the Py_TPFLAGS_MANAGED_WEAKREF bit is set in the tp_flags field, then tp_weaklistoffset will be set to a negative value, to indicate that it is unsafe to use this field.

getiterfunc PyTypeObject.tp_iter

An optional pointer to a function that returns an iterator for the object. Its presence normally signals that the instances of this type are iterable (although sequences may be iterable without this function).

This function has the same signature as PyObject_GetIter():

PyObject *tp_iter(PyObject *self);

Inheritance:

This field is inherited by subtypes.

iternextfunc PyTypeObject.tp_iternext

An optional pointer to a function that returns the next item in an iterator. The signature is:

PyObject *tp_iternext(PyObject *self);

When the iterator is exhausted, it must return NULL; a StopIteration exception may or may not be set. When another error occurs, it must return NULL too. Its presence signals that the instances of this type are iterators.

Iterator types should also define the tp_iter function, and that function should return the iterator instance itself (not a new iterator instance).

This function has the same signature as PyIter_Next().

Inheritance:

This field is inherited by subtypes.

struct PyMethodDef *PyTypeObject.tp_methods

An optional pointer to a static NULL-terminated array of PyMethodDef structures, declaring regular methods of this type.

For each entry in the array, an entry is added to the type’s dictionary (see tp_dict below) containing a method descriptor.

Inheritance:

This field is not inherited by subtypes (methods are inherited through a different mechanism).

struct PyMemberDef *PyTypeObject.tp_members

An optional pointer to a static NULL-terminated array of PyMemberDef structures, declaring regular data members (fields or slots) of instances of this type.

For each entry in the array, an entry is added to the type’s dictionary (see tp_dict below) containing a member descriptor.

Inheritance:

This field is not inherited by subtypes (members are inherited through a different mechanism).

struct PyGetSetDef *PyTypeObject.tp_getset

An optional pointer to a static NULL-terminated array of PyGetSetDef structures, declaring computed attributes of instances of this type.

For each entry in the array, an entry is added to the type’s dictionary (see tp_dict below) containing a getset descriptor.

Inheritance:

This field is not inherited by subtypes (computed attributes are inherited through a different mechanism).

PyTypeObject *PyTypeObject.tp_base

An optional pointer to a base type from which type properties are inherited. At this level, only single inheritance is supported; multiple inheritance require dynamically creating a type object by calling the metatype.

Nota

Slot initialization is subject to the rules of initializing globals. C99 requires the initializers to be “address constants”. Function designators like PyType_GenericNew(), with implicit conversion to a pointer, are valid C99 address constants.

However, the unary ‘&’ operator applied to a non-static variable like PyBaseObject_Type is not required to produce an address constant. Compilers may support this (gcc does), MSVC does not. Both compilers are strictly standard conforming in this particular behavior.

Consequently, tp_base should be set in the extension module’s init function.

Inheritance:

This field is not inherited by subtypes (obviously).

Padrão:

This field defaults to &PyBaseObject_Type (which to Python programmers is known as the type object).

PyObject *PyTypeObject.tp_dict

The type’s dictionary is stored here by PyType_Ready().

This field should normally be initialized to NULL before PyType_Ready is called; it may also be initialized to a dictionary containing initial attributes for the type. Once PyType_Ready() has initialized the type, extra attributes for the type may be added to this dictionary only if they don’t correspond to overloaded operations (like __add__()). Once initialization for the type has finished, this field should be treated as read-only.

Some types may not store their dictionary in this slot. Use PyType_GetDict() to retrieve the dictionary for an arbitrary type.

Alterado na versão 3.12: Internals detail: For static builtin types, this is always NULL. Instead, the dict for such types is stored on PyInterpreterState. Use PyType_GetDict() to get the dict for an arbitrary type.

Inheritance:

This field is not inherited by subtypes (though the attributes defined in here are inherited through a different mechanism).

Padrão:

If this field is NULL, PyType_Ready() will assign a new dictionary to it.

Aviso

It is not safe to use PyDict_SetItem() on or otherwise modify tp_dict with the dictionary C-API.

descrgetfunc PyTypeObject.tp_descr_get

An optional pointer to a “descriptor get” function.

A assinatura da função é:

PyObject * tp_descr_get(PyObject *self, PyObject *obj, PyObject *type);

Inheritance:

This field is inherited by subtypes.

descrsetfunc PyTypeObject.tp_descr_set

An optional pointer to a function for setting and deleting a descriptor’s value.

A assinatura da função é:

int tp_descr_set(PyObject *self, PyObject *obj, PyObject *value);

The value argument is set to NULL to delete the value.

Inheritance:

This field is inherited by subtypes.

Py_ssize_t PyTypeObject.tp_dictoffset

While this field is still supported, Py_TPFLAGS_MANAGED_DICT should be used instead, if at all possible.

If the instances of this type have a dictionary containing instance variables, this field is non-zero and contains the offset in the instances of the type of the instance variable dictionary; this offset is used by PyObject_GenericGetAttr().

Do not confuse this field with tp_dict; that is the dictionary for attributes of the type object itself.

The value specifies the offset of the dictionary from the start of the instance structure.

The tp_dictoffset should be regarded as write-only. To get the pointer to the dictionary call PyObject_GenericGetDict(). Calling PyObject_GenericGetDict() may need to allocate memory for the dictionary, so it is may be more efficient to call PyObject_GetAttr() when accessing an attribute on the object.

It is an error to set both the Py_TPFLAGS_MANAGED_WEAKREF bit and tp_dictoffset.

Inheritance:

This field is inherited by subtypes. A subtype should not override this offset; doing so could be unsafe, if C code tries to access the dictionary at the previous offset. To properly support inheritance, use Py_TPFLAGS_MANAGED_DICT.

Padrão:

This slot has no default. For static types, if the field is NULL then no __dict__ gets created for instances.

If the Py_TPFLAGS_MANAGED_DICT bit is set in the tp_flags field, then tp_dictoffset will be set to -1, to indicate that it is unsafe to use this field.

initproc PyTypeObject.tp_init

An optional pointer to an instance initialization function.

This function corresponds to the __init__() method of classes. Like __init__(), it is possible to create an instance without calling __init__(), and it is possible to reinitialize an instance by calling its __init__() method again.

A assinatura da função é:

int tp_init(PyObject *self, PyObject *args, PyObject *kwds);

The self argument is the instance to be initialized; the args and kwds arguments represent positional and keyword arguments of the call to __init__().

The tp_init function, if not NULL, is called when an instance is created normally by calling its type, after the type’s tp_new function has returned an instance of the type. If the tp_new function returns an instance of some other type that is not a subtype of the original type, no tp_init function is called; if tp_new returns an instance of a subtype of the original type, the subtype’s tp_init is called.

Returns 0 on success, -1 and sets an exception on error.

Inheritance:

This field is inherited by subtypes.

Padrão:

For static types this field does not have a default.

allocfunc PyTypeObject.tp_alloc

An optional pointer to an instance allocation function.

A assinatura da função é:

PyObject *tp_alloc(PyTypeObject *self, Py_ssize_t nitems);

Inheritance:

This field is inherited by static subtypes, but not by dynamic subtypes (subtypes created by a class statement).

Padrão:

For dynamic subtypes, this field is always set to PyType_GenericAlloc(), to force a standard heap allocation strategy.

For static subtypes, PyBaseObject_Type uses PyType_GenericAlloc(). That is the recommended value for all statically defined types.

newfunc PyTypeObject.tp_new

An optional pointer to an instance creation function.

A assinatura da função é:

PyObject *tp_new(PyTypeObject *subtype, PyObject *args, PyObject *kwds);

The subtype argument is the type of the object being created; the args and kwds arguments represent positional and keyword arguments of the call to the type. Note that subtype doesn’t have to equal the type whose tp_new function is called; it may be a subtype of that type (but not an unrelated type).

The tp_new function should call subtype->tp_alloc(subtype, nitems) to allocate space for the object, and then do only as much further initialization as is absolutely necessary. Initialization that can safely be ignored or repeated should be placed in the tp_init handler. A good rule of thumb is that for immutable types, all initialization should take place in tp_new, while for mutable types, most initialization should be deferred to tp_init.

Set the Py_TPFLAGS_DISALLOW_INSTANTIATION flag to disallow creating instances of the type in Python.

Inheritance:

This field is inherited by subtypes, except it is not inherited by static types whose tp_base is NULL or &PyBaseObject_Type.

Padrão:

For static types this field has no default. This means if the slot is defined as NULL, the type cannot be called to create new instances; presumably there is some other way to create instances, like a factory function.

freefunc PyTypeObject.tp_free

An optional pointer to an instance deallocation function. Its signature is:

void tp_free(void *self);

An initializer that is compatible with this signature is PyObject_Free().

Inheritance:

This field is inherited by static subtypes, but not by dynamic subtypes (subtypes created by a class statement)

Padrão:

In dynamic subtypes, this field is set to a deallocator suitable to match PyType_GenericAlloc() and the value of the Py_TPFLAGS_HAVE_GC flag bit.

For static subtypes, PyBaseObject_Type uses PyObject_Del().

inquiry PyTypeObject.tp_is_gc

An optional pointer to a function called by the garbage collector.

The garbage collector needs to know whether a particular object is collectible or not. Normally, it is sufficient to look at the object’s type’s tp_flags field, and check the Py_TPFLAGS_HAVE_GC flag bit. But some types have a mixture of statically and dynamically allocated instances, and the statically allocated instances are not collectible. Such types should define this function; it should return 1 for a collectible instance, and 0 for a non-collectible instance. The signature is:

int tp_is_gc(PyObject *self);

(The only example of this are types themselves. The metatype, PyType_Type, defines this function to distinguish between statically and dynamically allocated types.)

Inheritance:

This field is inherited by subtypes.

Padrão:

This slot has no default. If this field is NULL, Py_TPFLAGS_HAVE_GC is used as the functional equivalent.

PyObject *PyTypeObject.tp_bases

Tuple of base types.

This field should be set to NULL and treated as read-only. Python will fill it in when the type is initialized.

For dynamically created classes, the Py_tp_bases slot can be used instead of the bases argument of PyType_FromSpecWithBases(). The argument form is preferred.

Aviso

Multiple inheritance does not work well for statically defined types. If you set tp_bases to a tuple, Python will not raise an error, but some slots will only be inherited from the first base.

Inheritance:

This field is not inherited.

PyObject *PyTypeObject.tp_mro

Tuple containing the expanded set of base types, starting with the type itself and ending with object, in Method Resolution Order.

This field should be set to NULL and treated as read-only. Python will fill it in when the type is initialized.

Inheritance:

This field is not inherited; it is calculated fresh by PyType_Ready().

PyObject *PyTypeObject.tp_cache

Unused. Internal use only.

Inheritance:

This field is not inherited.

void *PyTypeObject.tp_subclasses

A collection of subclasses. Internal use only. May be an invalid pointer.

To get a list of subclasses, call the Python method __subclasses__().

Alterado na versão 3.12: For some types, this field does not hold a valid PyObject*. The type was changed to void* to indicate this.

Inheritance:

This field is not inherited.

PyObject *PyTypeObject.tp_weaklist

Weak reference list head, for weak references to this type object. Not inherited. Internal use only.

Alterado na versão 3.12: Internals detail: For the static builtin types this is always NULL, even if weakrefs are added. Instead, the weakrefs for each are stored on PyInterpreterState. Use the public C-API or the internal _PyObject_GET_WEAKREFS_LISTPTR() macro to avoid the distinction.

Inheritance:

This field is not inherited.

destructor PyTypeObject.tp_del

This field is deprecated. Use tp_finalize instead.

unsigned int PyTypeObject.tp_version_tag

Used to index into the method cache. Internal use only.

Inheritance:

This field is not inherited.

destructor PyTypeObject.tp_finalize

An optional pointer to an instance finalization function. Its signature is:

void tp_finalize(PyObject *self);

If tp_finalize is set, the interpreter calls it once when finalizing an instance. It is called either from the garbage collector (if the instance is part of an isolated reference cycle) or just before the object is deallocated. Either way, it is guaranteed to be called before attempting to break reference cycles, ensuring that it finds the object in a sane state.

tp_finalize should not mutate the current exception status; therefore, a recommended way to write a non-trivial finalizer is:

static void
local_finalize(PyObject *self)
{
    PyObject *error_type, *error_value, *error_traceback;

    /* Save the current exception, if any. */
    PyErr_Fetch(&error_type, &error_value, &error_traceback);

    /* ... */

    /* Restore the saved exception. */
    PyErr_Restore(error_type, error_value, error_traceback);
}

Inheritance:

This field is inherited by subtypes.

Adicionado na versão 3.4.

Alterado na versão 3.8: Before version 3.8 it was necessary to set the Py_TPFLAGS_HAVE_FINALIZE flags bit in order for this field to be used. This is no longer required.

Ver também

“Finalização segura de objetos” (PEP 442 [https://peps.python.org/pep-0442/])

vectorcallfunc PyTypeObject.tp_vectorcall

Vectorcall function to use for calls of this type object. In other words, it is used to implement vectorcall for type.__call__. If tp_vectorcall is NULL, the default call implementation using __new__() and __init__() is used.

Inheritance:

This field is never inherited.

Adicionado na versão 3.9: (the field exists since 3.8 but it’s only used since 3.9)

unsigned char PyTypeObject.tp_watched

Internal. Do not use.

Adicionado na versão 3.12.

Static Types

Traditionally, types defined in C code are static, that is, a static PyTypeObject structure is defined directly in code and initialized using PyType_Ready().

This results in types that are limited relative to types defined in Python:

Static types are limited to one base, i.e. they cannot use multiple inheritance.

Static type objects (but not necessarily their instances) are immutable. It is not possible to add or modify the type object’s attributes from Python.

Static type objects are shared across sub-interpreters, so they should not include any subinterpreter-specific state.

Also, since PyTypeObject is only part of the Limited API as an opaque struct, any extension modules using static types must be compiled for a specific Python minor version.

Tipos no heap

An alternative to static types is heap-allocated types, or heap types for short, which correspond closely to classes created by Python’s class statement. Heap types have the Py_TPFLAGS_HEAPTYPE flag set.

This is done by filling a PyType_Spec structure and calling PyType_FromSpec(), PyType_FromSpecWithBases(), PyType_FromModuleAndSpec(), or PyType_FromMetaclass().

Number Object Structures

type PyNumberMethods

This structure holds pointers to the functions which an object uses to implement the number protocol. Each function is used by the function of similar name documented in the Protocolo de número section.

Here is the structure definition:

typedef struct {
     binaryfunc nb_add;
     binaryfunc nb_subtract;
     binaryfunc nb_multiply;
     binaryfunc nb_remainder;
     binaryfunc nb_divmod;
     ternaryfunc nb_power;
     unaryfunc nb_negative;
     unaryfunc nb_positive;
     unaryfunc nb_absolute;
     inquiry nb_bool;
     unaryfunc nb_invert;
     binaryfunc nb_lshift;
     binaryfunc nb_rshift;
     binaryfunc nb_and;
     binaryfunc nb_xor;
     binaryfunc nb_or;
     unaryfunc nb_int;
     void *nb_reserved;
     unaryfunc nb_float;

     binaryfunc nb_inplace_add;
     binaryfunc nb_inplace_subtract;
     binaryfunc nb_inplace_multiply;
     binaryfunc nb_inplace_remainder;
     ternaryfunc nb_inplace_power;
     binaryfunc nb_inplace_lshift;
     binaryfunc nb_inplace_rshift;
     binaryfunc nb_inplace_and;
     binaryfunc nb_inplace_xor;
     binaryfunc nb_inplace_or;

     binaryfunc nb_floor_divide;
     binaryfunc nb_true_divide;
     binaryfunc nb_inplace_floor_divide;
     binaryfunc nb_inplace_true_divide;

     unaryfunc nb_index;

     binaryfunc nb_matrix_multiply;
     binaryfunc nb_inplace_matrix_multiply;
} PyNumberMethods;

Nota

Binary and ternary functions must check the type of all their operands, and implement the necessary conversions (at least one of the operands is an instance of the defined type). If the operation is not defined for the given operands, binary and ternary functions must return Py_NotImplemented, if another error occurred they must return NULL and set an exception.

Nota

The nb_reserved field should always be NULL. It was previously called nb_long, and was renamed in Python 3.0.1.

binaryfunc PyNumberMethods.nb_add

binaryfunc PyNumberMethods.nb_subtract

binaryfunc PyNumberMethods.nb_multiply

binaryfunc PyNumberMethods.nb_remainder

binaryfunc PyNumberMethods.nb_divmod

ternaryfunc PyNumberMethods.nb_power

unaryfunc PyNumberMethods.nb_negative

unaryfunc PyNumberMethods.nb_positive

unaryfunc PyNumberMethods.nb_absolute

inquiry PyNumberMethods.nb_bool

unaryfunc PyNumberMethods.nb_invert

binaryfunc PyNumberMethods.nb_lshift

binaryfunc PyNumberMethods.nb_rshift

binaryfunc PyNumberMethods.nb_and

binaryfunc PyNumberMethods.nb_xor

binaryfunc PyNumberMethods.nb_or

unaryfunc PyNumberMethods.nb_int

void *PyNumberMethods.nb_reserved

unaryfunc PyNumberMethods.nb_float

binaryfunc PyNumberMethods.nb_inplace_add

binaryfunc PyNumberMethods.nb_inplace_subtract

binaryfunc PyNumberMethods.nb_inplace_multiply

binaryfunc PyNumberMethods.nb_inplace_remainder

ternaryfunc PyNumberMethods.nb_inplace_power

binaryfunc PyNumberMethods.nb_inplace_lshift

binaryfunc PyNumberMethods.nb_inplace_rshift

binaryfunc PyNumberMethods.nb_inplace_and

binaryfunc PyNumberMethods.nb_inplace_xor

binaryfunc PyNumberMethods.nb_inplace_or

binaryfunc PyNumberMethods.nb_floor_divide

binaryfunc PyNumberMethods.nb_true_divide

binaryfunc PyNumberMethods.nb_inplace_floor_divide

binaryfunc PyNumberMethods.nb_inplace_true_divide

unaryfunc PyNumberMethods.nb_index

binaryfunc PyNumberMethods.nb_matrix_multiply

binaryfunc PyNumberMethods.nb_inplace_matrix_multiply

Mapping Object Structures

type PyMappingMethods

This structure holds pointers to the functions which an object uses to implement the mapping protocol. It has three members:

lenfunc PyMappingMethods.mp_length

This function is used by PyMapping_Size() and PyObject_Size(), and has the same signature. This slot may be set to NULL if the object has no defined length.

binaryfunc PyMappingMethods.mp_subscript

This function is used by PyObject_GetItem() and PySequence_GetSlice(), and has the same signature as PyObject_GetItem(). This slot must be filled for the PyMapping_Check() function to return 1, it can be NULL otherwise.

objobjargproc PyMappingMethods.mp_ass_subscript

This function is used by PyObject_SetItem(), PyObject_DelItem(), PySequence_SetSlice() and PySequence_DelSlice(). It has the same signature as PyObject_SetItem(), but v can also be set to NULL to delete an item. If this slot is NULL, the object does not support item assignment and deletion.

Sequence Object Structures

type PySequenceMethods

This structure holds pointers to the functions which an object uses to implement the sequence protocol.

lenfunc PySequenceMethods.sq_length

This function is used by PySequence_Size() and PyObject_Size(), and has the same signature. It is also used for handling negative indices via the sq_item and the sq_ass_item slots.

binaryfunc PySequenceMethods.sq_concat

This function is used by PySequence_Concat() and has the same signature. It is also used by the + operator, after trying the numeric addition via the nb_add slot.

ssizeargfunc PySequenceMethods.sq_repeat

This function is used by PySequence_Repeat() and has the same signature. It is also used by the * operator, after trying numeric multiplication via the nb_multiply slot.

ssizeargfunc PySequenceMethods.sq_item

This function is used by PySequence_GetItem() and has the same signature. It is also used by PyObject_GetItem(), after trying the subscription via the mp_subscript slot. This slot must be filled for the PySequence_Check() function to return 1, it can be NULL otherwise.

Negative indexes are handled as follows: if the sq_length slot is filled, it is called and the sequence length is used to compute a positive index which is passed to sq_item. If sq_length is NULL, the index is passed as is to the function.

ssizeobjargproc PySequenceMethods.sq_ass_item

This function is used by PySequence_SetItem() and has the same signature. It is also used by PyObject_SetItem() and PyObject_DelItem(), after trying the item assignment and deletion via the mp_ass_subscript slot. This slot may be left to NULL if the object does not support item assignment and deletion.

objobjproc PySequenceMethods.sq_contains

This function may be used by PySequence_Contains() and has the same signature. This slot may be left to NULL, in this case PySequence_Contains() simply traverses the sequence until it finds a match.

binaryfunc PySequenceMethods.sq_inplace_concat

This function is used by PySequence_InPlaceConcat() and has the same signature. It should modify its first operand, and return it. This slot may be left to NULL, in this case PySequence_InPlaceConcat() will fall back to PySequence_Concat(). It is also used by the augmented assignment +=, after trying numeric in-place addition via the nb_inplace_add slot.

ssizeargfunc PySequenceMethods.sq_inplace_repeat

This function is used by PySequence_InPlaceRepeat() and has the same signature. It should modify its first operand, and return it. This slot may be left to NULL, in this case PySequence_InPlaceRepeat() will fall back to PySequence_Repeat(). It is also used by the augmented assignment *=, after trying numeric in-place multiplication via the nb_inplace_multiply slot.

Buffer Object Structures

type PyBufferProcs

This structure holds pointers to the functions required by the Buffer protocol. The protocol defines how an exporter object can expose its internal data to consumer objects.

getbufferproc PyBufferProcs.bf_getbuffer

The signature of this function is:

int (PyObject *exporter, Py_buffer *view, int flags);

Handle a request to exporter to fill in view as specified by flags. Except for point (3), an implementation of this function MUST take these steps:

Check if the request can be met. If not, raise BufferError, set view->obj to NULL and return -1.

Fill in the requested fields.

Increment an internal counter for the number of exports.

Set view->obj to exporter and increment view->obj.

Retorna 0.

If exporter is part of a chain or tree of buffer providers, two main schemes can be used:

Re-export: Each member of the tree acts as the exporting object and sets view->obj to a new reference to itself.

Redirect: The buffer request is redirected to the root object of the tree. Here, view->obj will be a new reference to the root object.

The individual fields of view are described in section Buffer structure, the rules how an exporter must react to specific requests are in section Buffer request types.

All memory pointed to in the Py_buffer structure belongs to the exporter and must remain valid until there are no consumers left. format, shape, strides, suboffsets and internal are read-only for the consumer.

PyBuffer_FillInfo() provides an easy way of exposing a simple bytes buffer while dealing correctly with all request types.

PyObject_GetBuffer() is the interface for the consumer that wraps this function.

releasebufferproc PyBufferProcs.bf_releasebuffer

The signature of this function is:

void (PyObject *exporter, Py_buffer *view);

Handle a request to release the resources of the buffer. If no resources need to be released, PyBufferProcs.bf_releasebuffer may be NULL. Otherwise, a standard implementation of this function will take these optional steps:

Decrement an internal counter for the number of exports.

If the counter is 0, free all memory associated with view.

The exporter MUST use the internal field to keep track of buffer-specific resources. This field is guaranteed to remain constant, while a consumer MAY pass a copy of the original buffer as the view argument.

This function MUST NOT decrement view->obj, since that is done automatically in PyBuffer_Release() (this scheme is useful for breaking reference cycles).

PyBuffer_Release() is the interface for the consumer that wraps this function.

Async Object Structures

Adicionado na versão 3.5.

type PyAsyncMethods

This structure holds pointers to the functions required to implement awaitable and asynchronous iterator objects.

Here is the structure definition:

typedef struct {
    unaryfunc am_await;
    unaryfunc am_aiter;
    unaryfunc am_anext;
    sendfunc am_send;
} PyAsyncMethods;

unaryfunc PyAsyncMethods.am_await

The signature of this function is:

PyObject *am_await(PyObject *self);

The returned object must be an iterator, i.e. PyIter_Check() must return 1 for it.

This slot may be set to NULL if an object is not an awaitable.

unaryfunc PyAsyncMethods.am_aiter

The signature of this function is:

PyObject *am_aiter(PyObject *self);

Must return an asynchronous iterator object. See __anext__() for details.

This slot may be set to NULL if an object does not implement asynchronous iteration protocol.

unaryfunc PyAsyncMethods.am_anext

The signature of this function is:

PyObject *am_anext(PyObject *self);

Must return an awaitable object. See __anext__() for details. This slot may be set to NULL.

sendfunc PyAsyncMethods.am_send

The signature of this function is:

PySendResult am_send(PyObject *self, PyObject *arg, PyObject **result);

See PyIter_Send() for details. This slot may be set to NULL.

Adicionado na versão 3.10.

Slot Type typedefs

typedef PyObject *(*allocfunc)(PyTypeObject *cls, Py_ssize_t nitems)

Parte da ABI Estável.

The purpose of this function is to separate memory allocation from memory initialization. It should return a pointer to a block of memory of adequate length for the instance, suitably aligned, and initialized to zeros, but with ob_refcnt set to 1 and ob_type set to the type argument. If the type’s tp_itemsize is non-zero, the object’s ob_size field should be initialized to nitems and the length of the allocated memory block should be tp_basicsize + nitems*tp_itemsize, rounded up to a multiple of sizeof(void*); otherwise, nitems is not used and the length of the block should be tp_basicsize.

This function should not do any other instance initialization, not even to allocate additional memory; that should be done by tp_new.

typedef void (*destructor)(PyObject*)

Parte da ABI Estável.

typedef void (*freefunc)(void*)

See tp_free.

typedef PyObject *(*newfunc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

See tp_new.

typedef int (*initproc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

See tp_init.

typedef PyObject *(*reprfunc)(PyObject*)

Parte da ABI Estável.

See tp_repr.

typedef PyObject *(*getattrfunc)(PyObject *self, char *attr)

Parte da ABI Estável.

Return the value of the named attribute for the object.

typedef int (*setattrfunc)(PyObject *self, char *attr, PyObject *value)

Parte da ABI Estável.

Set the value of the named attribute for the object. The value argument is set to NULL to delete the attribute.

typedef PyObject *(*getattrofunc)(PyObject *self, PyObject *attr)

Parte da ABI Estável.

Return the value of the named attribute for the object.

See tp_getattro.

typedef int (*setattrofunc)(PyObject *self, PyObject *attr, PyObject *value)

Parte da ABI Estável.

Set the value of the named attribute for the object. The value argument is set to NULL to delete the attribute.

See tp_setattro.

typedef PyObject *(*descrgetfunc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

See tp_descr_get.

typedef int (*descrsetfunc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

See tp_descr_set.

typedef Py_hash_t (*hashfunc)(PyObject*)

Parte da ABI Estável.

See tp_hash.

typedef PyObject *(*richcmpfunc)(PyObject*, PyObject*, int)

Parte da ABI Estável.

See tp_richcompare.

typedef PyObject *(*getiterfunc)(PyObject*)

Parte da ABI Estável.

See tp_iter.

typedef PyObject *(*iternextfunc)(PyObject*)

Parte da ABI Estável.

See tp_iternext.

typedef Py_ssize_t (*lenfunc)(PyObject*)

Parte da ABI Estável.

typedef int (*getbufferproc)(PyObject*, Py_buffer*, int)

Parte da ABI Estável desde a versão 3.12.

typedef void (*releasebufferproc)(PyObject*, Py_buffer*)

Parte da ABI Estável desde a versão 3.12.

typedef PyObject *(*unaryfunc)(PyObject*)

Parte da ABI Estável.

typedef PyObject *(*binaryfunc)(PyObject*, PyObject*)

Parte da ABI Estável.

typedef PySendResult (*sendfunc)(PyObject*, PyObject*, PyObject**)

See am_send.

typedef PyObject *(*ternaryfunc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

typedef PyObject *(*ssizeargfunc)(PyObject*, Py_ssize_t)

Parte da ABI Estável.

typedef int (*ssizeobjargproc)(PyObject*, Py_ssize_t, PyObject*)

Parte da ABI Estável.

typedef int (*objobjproc)(PyObject*, PyObject*)

Parte da ABI Estável.

typedef int (*objobjargproc)(PyObject*, PyObject*, PyObject*)

Parte da ABI Estável.

Exemplos

The following are simple examples of Python type definitions. They include common usage you may encounter. Some demonstrate tricky corner cases. For more examples, practical info, and a tutorial, see Definindo Tipos de Extensão: Tutorial and Defining Extension Types: Assorted Topics.

A basic static type:

typedef struct {
    PyObject_HEAD
    const char *data;
} MyObject;

static PyTypeObject MyObject_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "mymod.MyObject",
    .tp_basicsize = sizeof(MyObject),
    .tp_doc = PyDoc_STR("My objects"),
    .tp_new = myobj_new,
    .tp_dealloc = (destructor)myobj_dealloc,
    .tp_repr = (reprfunc)myobj_repr,
};

You may also find older code (especially in the CPython code base) with a more verbose initializer:

static PyTypeObject MyObject_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    "mymod.MyObject",               /* tp_name */
    sizeof(MyObject),               /* tp_basicsize */
    0,                              /* tp_itemsize */
    (destructor)myobj_dealloc,      /* tp_dealloc */
    0,                              /* tp_vectorcall_offset */
    0,                              /* tp_getattr */
    0,                              /* tp_setattr */
    0,                              /* tp_as_async */
    (reprfunc)myobj_repr,           /* tp_repr */
    0,                              /* tp_as_number */
    0,                              /* tp_as_sequence */
    0,                              /* tp_as_mapping */
    0,                              /* tp_hash */
    0,                              /* tp_call */
    0,                              /* tp_str */
    0,                              /* tp_getattro */
    0,                              /* tp_setattro */
    0,                              /* tp_as_buffer */
    0,                              /* tp_flags */
    PyDoc_STR("My objects"),        /* tp_doc */
    0,                              /* tp_traverse */
    0,                              /* tp_clear */
    0,                              /* tp_richcompare */
    0,                              /* tp_weaklistoffset */
    0,                              /* tp_iter */
    0,                              /* tp_iternext */
    0,                              /* tp_methods */
    0,                              /* tp_members */
    0,                              /* tp_getset */
    0,                              /* tp_base */
    0,                              /* tp_dict */
    0,                              /* tp_descr_get */
    0,                              /* tp_descr_set */
    0,                              /* tp_dictoffset */
    0,                              /* tp_init */
    0,                              /* tp_alloc */
    myobj_new,                      /* tp_new */
};

A type that supports weakrefs, instance dicts, and hashing:

typedef struct {
    PyObject_HEAD
    const char *data;
} MyObject;

static PyTypeObject MyObject_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "mymod.MyObject",
    .tp_basicsize = sizeof(MyObject),
    .tp_doc = PyDoc_STR("My objects"),
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE |
         Py_TPFLAGS_HAVE_GC | Py_TPFLAGS_MANAGED_DICT |
         Py_TPFLAGS_MANAGED_WEAKREF,
    .tp_new = myobj_new,
    .tp_traverse = (traverseproc)myobj_traverse,
    .tp_clear = (inquiry)myobj_clear,
    .tp_alloc = PyType_GenericNew,
    .tp_dealloc = (destructor)myobj_dealloc,
    .tp_repr = (reprfunc)myobj_repr,
    .tp_hash = (hashfunc)myobj_hash,
    .tp_richcompare = PyBaseObject_Type.tp_richcompare,
};

A str subclass that cannot be subclassed and cannot be called to create instances (e.g. uses a separate factory func) using Py_TPFLAGS_DISALLOW_INSTANTIATION flag:

typedef struct {
    PyUnicodeObject raw;
    char *extra;
} MyStr;

static PyTypeObject MyStr_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "mymod.MyStr",
    .tp_basicsize = sizeof(MyStr),
    .tp_base = NULL,  // set to &PyUnicode_Type in module init
    .tp_doc = PyDoc_STR("my custom str"),
    .tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_DISALLOW_INSTANTIATION,
    .tp_repr = (reprfunc)myobj_repr,
};

The simplest static type with fixed-length instances:

typedef struct {
    PyObject_HEAD
} MyObject;

static PyTypeObject MyObject_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "mymod.MyObject",
};

The simplest static type with variable-length instances:

typedef struct {
    PyObject_VAR_HEAD
    const char *data[1];
} MyObject;

static PyTypeObject MyObject_Type = {
    PyVarObject_HEAD_INIT(NULL, 0)
    .tp_name = "mymod.MyObject",
    .tp_basicsize = sizeof(MyObject) - sizeof(char *),
    .tp_itemsize = sizeof(char *),
};

Suporte a Coleta Cíclica de Lixo

O suporte do Python para detectar e coletar o lixo, que envolve referencias circulares, requer suporte dos tipos de objetos que são “contêiners” para outros objetos que também podem ser contêiners. Tipos que não armazenam referências a outros tipos de objetos, ou que apenas armazenam referências a tipos atômicos (como números ou strings), não precisam fornecer nenhum suporte explicito para coleta de lixo.

To create a container type, the tp_flags field of the type object must include the Py_TPFLAGS_HAVE_GC and provide an implementation of the tp_traverse handler. If instances of the type are mutable, a tp_clear implementation must also be provided.

Py_TPFLAGS_HAVE_GC

Objetos com esse tipo de sinalizador definido devem estar em conformidade com regras documentadas aqui. Por conveniência esses objetos serão referenciados como objetos de contêiner.

Construtores para tipos de contêiner devem obedecer a duas regras:

The memory for the object must be allocated using PyObject_GC_New or PyObject_GC_NewVar.

Uma vez que todos os campos que podem conter referências a outros containers foram inicializados, deve-se chamar PyObject_GC_Track().

Da mesma forma, o desalocador para o objeto deve estar em conformidade com regras semelhantes:

Antes que os campos que fazer referência a outros containers sejam invalidados, PyObject_GC_UnTrack() deve ser chamado.

A memória destinada ao objeto deve ser desalocada usando PyObject_GC_Del().

Aviso

If a type adds the Py_TPFLAGS_HAVE_GC, then it must implement at least a tp_traverse handler or explicitly use one from its subclass or subclasses.

When calling PyType_Ready() or some of the APIs that indirectly call it like PyType_FromSpecWithBases() or PyType_FromSpec() the interpreter will automatically populate the tp_flags, tp_traverse and tp_clear fields if the type inherits from a class that implements the garbage collector protocol and the child class does not include the Py_TPFLAGS_HAVE_GC flag.

PyObject_GC_New(TYPE, typeobj)

Analogous to PyObject_New but for container objects with the Py_TPFLAGS_HAVE_GC flag set.

PyObject_GC_NewVar(TYPE, typeobj, size)

Analogous to PyObject_NewVar but for container objects with the Py_TPFLAGS_HAVE_GC flag set.

PyObject *PyUnstable_Object_GC_NewWithExtraData(PyTypeObject *type, size_t extra_size)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Analogous to PyObject_GC_New but allocates extra_size bytes at the end of the object (at offset tp_basicsize). The allocated memory is initialized to zeros, except for the Python object header.

The extra data will be deallocated with the object, but otherwise it is not managed by Python.

Aviso

The function is marked as unstable because the final mechanism for reserving extra data after an instance is not yet decided. For allocating a variable number of fields, prefer using PyVarObject and tp_itemsize instead.

Adicionado na versão 3.12.

PyObject_GC_Resize(TYPE, op, newsize)

Resize an object allocated by PyObject_NewVar. Returns the resized object of type TYPE* (refers to any C type) or NULL on failure.

op must be of type PyVarObject* and must not be tracked by the collector yet. newsize must be of type Py_ssize_t.

void PyObject_GC_Track(PyObject *op)

Parte da ABI Estável.

Adds the object op to the set of container objects tracked by the collector. The collector can run at unexpected times so objects must be valid while being tracked. This should be called once all the fields followed by the tp_traverse handler become valid, usually near the end of the constructor.

int PyObject_IS_GC(PyObject *obj)

Returns non-zero if the object implements the garbage collector protocol, otherwise returns 0.

The object cannot be tracked by the garbage collector if this function returns 0.

int PyObject_GC_IsTracked(PyObject *op)

Parte da ABI Estável desde a versão 3.9.

Returns 1 if the object type of op implements the GC protocol and op is being currently tracked by the garbage collector and 0 otherwise.

This is analogous to the Python function gc.is_tracked().

Adicionado na versão 3.9.

int PyObject_GC_IsFinalized(PyObject *op)

Parte da ABI Estável desde a versão 3.9.

Returns 1 if the object type of op implements the GC protocol and op has been already finalized by the garbage collector and 0 otherwise.

This is analogous to the Python function gc.is_finalized().

Adicionado na versão 3.9.

void PyObject_GC_Del(void *op)

Parte da ABI Estável.

Releases memory allocated to an object using PyObject_GC_New or PyObject_GC_NewVar.

void PyObject_GC_UnTrack(void *op)

Parte da ABI Estável.

Remove the object op from the set of container objects tracked by the collector. Note that PyObject_GC_Track() can be called again on this object to add it back to the set of tracked objects. The deallocator (tp_dealloc handler) should call this for the object before any of the fields used by the tp_traverse handler become invalid.

Alterado na versão 3.8: The _PyObject_GC_TRACK() and _PyObject_GC_UNTRACK() macros have been removed from the public C API.

The tp_traverse handler accepts a function parameter of this type:

typedef int (*visitproc)(PyObject *object, void *arg)

Parte da ABI Estável.

Type of the visitor function passed to the tp_traverse handler. The function should be called with an object to traverse as object and the third parameter to the tp_traverse handler as arg. The Python core uses several visitor functions to implement cyclic garbage detection; it’s not expected that users will need to write their own visitor functions.

The tp_traverse handler must have the following type:

typedef int (*traverseproc)(PyObject *self, visitproc visit, void *arg)

Parte da ABI Estável.

Traversal function for a container object. Implementations must call the visit function for each object directly contained by self, with the parameters to visit being the contained object and the arg value passed to the handler. The visit function must not be called with a NULL object argument. If visit returns a non-zero value that value should be returned immediately.

To simplify writing tp_traverse handlers, a Py_VISIT() macro is provided. In order to use this macro, the tp_traverse implementation must name its arguments exactly visit and arg:

void Py_VISIT(PyObject *o)

If o is not NULL, call the visit callback, with arguments o and arg. If visit returns a non-zero value, then return it. Using this macro, tp_traverse handlers look like:

static int
my_traverse(Noddy *self, visitproc visit, void *arg)
{
    Py_VISIT(self->foo);
    Py_VISIT(self->bar);
    return 0;
}

The tp_clear handler must be of the inquiry type, or NULL if the object is immutable.

typedef int (*inquiry)(PyObject *self)

Parte da ABI Estável.

Drop references that may have created reference cycles. Immutable objects do not have to define this method since they can never directly create reference cycles. Note that the object must still be valid after calling this method (don’t just call Py_DECREF() on a reference). The collector will call this method if it detects that this object is involved in a reference cycle.

Controlando o estado do coletor de lixo

The C-API provides the following functions for controlling garbage collection runs.

Py_ssize_t PyGC_Collect(void)

Parte da ABI Estável.

Perform a full garbage collection, if the garbage collector is enabled. (Note that gc.collect() runs it unconditionally.)

Returns the number of collected + unreachable objects which cannot be collected. If the garbage collector is disabled or already collecting, returns 0 immediately. Errors during garbage collection are passed to sys.unraisablehook. This function does not raise exceptions.

int PyGC_Enable(void)

Parte da ABI Estável desde a versão 3.10.

Enable the garbage collector: similar to gc.enable(). Returns the previous state, 0 for disabled and 1 for enabled.

Adicionado na versão 3.10.

int PyGC_Disable(void)

Parte da ABI Estável desde a versão 3.10.

Disable the garbage collector: similar to gc.disable(). Returns the previous state, 0 for disabled and 1 for enabled.

Adicionado na versão 3.10.

int PyGC_IsEnabled(void)

Parte da ABI Estável desde a versão 3.10.

Query the state of the garbage collector: similar to gc.isenabled(). Returns the current state, 0 for disabled and 1 for enabled.

Adicionado na versão 3.10.

Querying Garbage Collector State

The C-API provides the following interface for querying information about the garbage collector.

void PyUnstable_GC_VisitObjects(gcvisitobjects_t callback, void *arg)

Esta é uma API Instável. Isso pode se alterado sem aviso em lançamentos menores.

Run supplied callback on all live GC-capable objects. arg is passed through to all invocations of callback.

Aviso

If new objects are (de)allocated by the callback it is undefined if they will be visited.

Garbage collection is disabled during operation. Explicitly running a collection in the callback may lead to undefined behaviour e.g. visiting the same objects multiple times or not at all.

Adicionado na versão 3.12.

typedef int (*gcvisitobjects_t)(PyObject *object, void *arg)

Type of the visitor function to be passed to PyUnstable_GC_VisitObjects(). arg is the same as the arg passed to PyUnstable_GC_VisitObjects. Return 0 to continue iteration, return 1 to stop iteration. Other return values are reserved for now so behavior on returning anything else is undefined.

Adicionado na versão 3.12.

API e Versionamento de ABI

O CPython expõe seu número de versão nas seguintes macros. Note que estes correspondem com o código da versão que está construída, não necessariamente a versão usada no run time.

Veja Estabilidade da API C para uma discussão da estabilidade da API e ABI através das versões.

PY_MAJOR_VERSION

O 3 em 3.4.1a2.

PY_MINOR_VERSION

O 4 em 3.4.1a2.

PY_MICRO_VERSION

O 1 em 3.4.1a2.

PY_RELEASE_LEVEL

O a em 3.4.1a2. Isto pode ser 0xA para alfa, 0xB para beta, 0xC para o candidato a lançamento ou 0xF para final.

PY_RELEASE_SERIAL

O 2 em 3.4.1a2. Zero para os lançamentos finais.

PY_VERSION_HEX

O número da versão do Python codificado em um único inteiro.

As informações da versão subjacente podem ser achadas tratando-as como um número de 32 bits da seguinte maneira:

Bytes

Bits (big endian order)

Significado

Valor para 3.4.1a2

1

1-8

PY_MAJOR_VERSION

0x03

2

9-16

PY_MINOR_VERSION

0x04

3

17-24

PY_MICRO_VERSION

0x01

4

25-28

PY_RELEASE_LEVEL

0xA

29-32

PY_RELEASE_SERIAL

0x2

Assim 3.4.1a2 é a versão hex 0x030401a2 e 3.10.0 é a versãos hex 0x030a00f0.

Use isso para comparações numéricas como, por exemplo, #if PY_VERSION_HEX >= ....

Esta versão também está disponível através do símbolo Py_Version.

const unsigned long Py_Version

Parte da ABI Estável desde a versão 3.11.

O número da versão do runtime do Python codificado em um único inteiro constante, com o mesmo formato da macro PY_VERSION_HEX. Ele contém a versão do Python usada em tempo de execução.

Adicionado na versão 3.11.

Todas as macros dadas estão definidas em Include/patchlevel.h [https://github.com/python/cpython/tree/3.13/Include/patchlevel.h].

API C de Monitoramento

Adicionada na versão 3.13.

Uma extensão pode precisar interagir com o sistema de monitoramento de eventos. É possível registrar funções de retorno e se inscrever para receber eventos através da API Python exposta em sys.monitoring.

Gerando Eventos de Execução

As funções abaixo permitem que extensões dispararem eventos de monitoramento emulando a execução de código Python. Cada uma dessas funções recebe uma estrutura PyMonitoringState que contém informação concisa sobre o estado de ativação de eventos, bem como os argumentos dos eventos, que incluem um PyObject* representando o objeto de código, a posição da instrução no bytecode, e, em alguns casos, argumentos adicionais específicos para o evento (veja sys.monitoring para detalhes sobre as assinaturas das funções de retorno de diferentes eventos). O argumento codelike deve ser uma instância da classe types.CodeType ou de um tipo que a emule.

A VM desabilita o rastreamento quando dispara um evento, de forma que não há necessidade do código do usuário fazer isso.

Funções de monitoramento não devem ser chamadas com uma exceção definida, exceto as marcadas abaixo como funções que trabalham com a exceção atual.

type PyMonitoringState

Representação do estado de um tipo de evento. Alocada pelo usuário, enquanto o seu conteúdo é mantido pelas funções da API de monitoramento descritas abaixo.

Todas as funções abaixo retornam 0 para indicar sucesso e -1 (com uma exceção definida) para indicar erro.

Veja sys.monitoring para descrições dos eventos.

int PyMonitoring_FirePyStartEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento PY_START.

int PyMonitoring_FirePyResumeEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento PY_RESUME.

int PyMonitoring_FirePyReturnEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *retval)

Dispara um evento PY_RETURN.

int PyMonitoring_FirePyYieldEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *retval)

Dispara um evento PY_YIELD.

int PyMonitoring_FireCallEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *callable, PyObject *arg0)

Dispara um evento CALL.

int PyMonitoring_FireLineEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, int lineno)

Dispara um evento LINE.

int PyMonitoring_FireJumpEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *target_offset)

Dispara um evento JUMP.

int PyMonitoring_FireBranchEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *target_offset)

Dispara um evento BRANCH.

int PyMonitoring_FireCReturnEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *retval)

Dispara um evento C_RETURN.

int PyMonitoring_FirePyThrowEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento PY_THROW com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FireRaiseEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento RAISE com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FireCRaiseEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento C_RAISE com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FireReraiseEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento RERAISE com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FireExceptionHandledEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento EXCEPTION_HANDLED com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FirePyUnwindEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset)

Dispara um evento PY_UNWIND com a exceção atual (conforme retornada por PyErr_GetRaisedException()).

int PyMonitoring_FireStopIterationEvent(PyMonitoringState *state, PyObject *codelike, int32_t offset, PyObject *value)

Dispara um evento STOP_ITERATION. Se value for uma instância de StopIteration, ele é usado. Caso contrário, uma nova instância de StopIteration é criada com value como o argumento.

Gerenciando o Estado de um Monitoramento

Estados de monitoramento podem ser gerenciados com a ajuda de escopos de monitoramento. Um escopo corresponderia tipicamente a um função python.

int PyMonitoring_EnterScope(PyMonitoringState *state_array, uint64_t *version, const uint8_t *event_types, Py_ssize_t length)

Enter a monitored scope. event_types is an array of the event IDs for events that may be fired from the scope. For example, the ID of a PY_START event is the value PY_MONITORING_EVENT_PY_START, which is numerically equal to the base-2 logarithm of sys.monitoring.events.PY_START. state_array is an array with a monitoring state entry for each event in event_types, it is allocated by the user but populated by PyMonitoring_EnterScope() with information about the activation state of the event. The size of event_types (and hence also of state_array) is given in length.

The version argument is a pointer to a value which should be allocated by the user together with state_array and initialized to 0, and then set only by PyMonitoring_EnterScope() itself. It allows this function to determine whether event states have changed since the previous call, and to return quickly if they have not.

The scopes referred to here are lexical scopes: a function, class or method. PyMonitoring_EnterScope() should be called whenever the lexical scope is entered. Scopes can be reentered, reusing the same state_array and version, in situations like when emulating a recursive Python function. When a code-like’s execution is paused, such as when emulating a generator, the scope needs to be exited and re-entered.

The macros for event_types are:

Macro

Evento

PY_MONITORING_EVENT_BRANCH

BRANCH

PY_MONITORING_EVENT_CALL

CALL

PY_MONITORING_EVENT_C_RAISE

C_RAISE

PY_MONITORING_EVENT_C_RETURN

C_RETURN

PY_MONITORING_EVENT_EXCEPTION_HANDLED

EXCEPTION_HANDLED

PY_MONITORING_EVENT_INSTRUCTION

INSTRUCTION

PY_MONITORING_EVENT_JUMP

JUMP

PY_MONITORING_EVENT_LINE

LINE

PY_MONITORING_EVENT_PY_RESUME

PY_RESUME

PY_MONITORING_EVENT_PY_RETURN

PY_RETURN

PY_MONITORING_EVENT_PY_START

PY_START

PY_MONITORING_EVENT_PY_THROW

PY_THROW

PY_MONITORING_EVENT_PY_UNWIND

PY_UNWIND

PY_MONITORING_EVENT_PY_YIELD

PY_YIELD

PY_MONITORING_EVENT_RAISE

RAISE

PY_MONITORING_EVENT_RERAISE

RERAISE

PY_MONITORING_EVENT_STOP_ITERATION

STOP_ITERATION

int PyMonitoring_ExitScope(void)

Exit the last scope that was entered with PyMonitoring_EnterScope().

Instalando módulos Python

E-mail:

distutils-sig@python.org

Como um projeto popular de desenvolvimento de código aberto, Python tem uma comunidade de apoio ativa de colaboradores e usuários, que também fazem o seu software disponível para outros desenvolvedores de Python para usar sob os termos da licença de código aberto.

Isso permite aos usuários Python compartilhar e colaborar efetivamente, se beneficiando das soluções que outros já tenham criado para os problemas mais comuns (em alguns casos até mesmo os raros), bem como potencialmente contribuindo com suas próprias soluções para o conjunto de soluções comuns.

Este guia cobre a parte do processo de instalação. Para um guia sobre criar e compartilhar seus próprios projetos Python, confira o Guia de Usuário para Empacotamento de Python [https://packaging.python.org/en/latest/tutorials/packaging-projects/].

Nota

Para corporações e outros usuários institucionais, esteja ciente que muitas organizações têm suas próprias políticas em relação ao uso e contribuição para o software de código aberto. Por favor, leve em conta essas políticas ao usar as ferramentas de distribuição e instalação fornecidas com o Python.

Termos chave

pip é o programa de instalação preferido. A partir do Python 3.4, ele é incluído por padrão com os instaladores binários do Python.

Um ambiente virtual é um ambiente Python semi-isolado que permite que pacotes sejam instalados para uso por uma aplicação específica, em vez de serem instaladas em todo o sistema.

venv é a ferramenta padrão para criar ambientes virtuais e faz parte do Python desde o Python 3.3. A partir do Python 3.4, o padrão é instalar pip em todos os ambientes virtuais criados.

virtualenv é uma alternativa de terceiros (e predecessora) ao venv. Ele permite que ambientes virtuais sejam usados em versões do Python anteriores a 3.4, que não fornecem venv de forma alguma, ou não são capazes de instalar automaticamente o pip nos ambientes criados.

O Python Package Index [https://pypi.org] é um repositório público de pacotes licenciados como código aberto e disponíveis para uso de outros usuários Python

o Python Packaging Authority [https://www.pypa.io/] é o grupo de desenvolvedores e autores de documentação responsáveis pela manutenção e evolução das ferramentas de empacotamento padrão e os metadados associados e padrões de formato de arquivo. Eles mantêm uma variedade de ferramentas, documentação e rastreadores de problemas no GitHub [https://github.com/pypa].

distutils é o sistema original de construção e distribuição adicionado pela primeira vez à biblioteca padrão Python em 1998. Embora o uso direto de distutils esteja sendo eliminado, ele ainda estabeleceu a base para a infraestrutura de distribuição e empacotamento atual, e não apenas permanece da biblioteca padrão, mas seu nome sobrevive de outras maneiras (como o nome da lista de e-mails usada para coordenar o desenvolvimento de padrões de empacotamento Python).

Alterado na versão 3.5: O uso de venv agora é recomendado para a criação de ambientes virtuais.

Ver também

Guia de Usuário para Empacotamento de Python: Criando e usando ambientes virtuais [https://packaging.python.org/pt-br/latest/tutorials/installing-packages/#creating-virtual-environments]

Uso básico

As ferramentas de empacotamento padrão são todas projetadas para serem usadas na linha de comando.

O comando a seguir instalará a versão mais recente de um módulo e suas dependências do Python Package Index:

python -m pip install AlgumPacote

Nota

Para usuários POSIX (incluindo usuários macOS e Linux), os exemplos neste guia presumem o uso de um ambiente virtual.

Para usuários do Windows, os exemplos neste guia presumem que a opção de ajustar a variável de ambiente PATH do sistema foi selecionada durante a instalação do Python.

Também é possível especificar uma versão exata ou mínima diretamente na linha de comando. Ao usar operadores de comparação como >, < ou algum outro caractere especial que é interpretado pelo shell, o nome do pacote e a versão devem ser colocados entre aspas duplas:

python -m pip install AlgumPacote==1.0.4    # versão específica
python -m pip install "AlgumPacote>=1.0.4"  # versão mínima

Normalmente, se um módulo adequado já estiver instalado, tentar instalá-lo novamente não terá efeito. A atualização de módulos existentes deve ser solicitada explicitamente:

python -m pip install --upgrade AlgumPacote

Mais informações e recursos sobre o pip e seus recursos podem ser encontrados no Python Packaging User Guide [https://packaging.python.org].

A criação de ambientes virtuais é feita através do módulo venv. A instalação de pacotes em um ambiente virtual ativo usa os comandos mostrados acima.

Ver também

Guia de Usuário para Empacotamento de Python: Instalando pacotes Python de distribuição [https://packaging.python.org/pt-br/latest/tutorials/installing-packages/]

Como eu …?

Estas são respostas rápidas ou links para algumas tarefas comuns.

… instalo pip em versões do Python anteriores ao Python 3.4?

Python apenas começou a empacotar pip com Python 3.4. Para versões anteriores, o pip precisa ser “inicializado” conforme descrito no Python Packaging User Guide.

Ver também

Python Packaging User Guide: Requisitos para instalar pacotes [https://packaging.python.org/pt-br/latest/tutorials/installing-packages/#requirements-for-installing-packages]

… instalo pacotes apenas para o usuário atual?

Passar a opção --user para python -m pip install irá instalar um pacote apenas para o usuário atual, ao invés de para todos os usuários do sistema.

… instalo pacotes científicos do Python?

Vários pacotes científicos do Python têm dependências binárias complexas e atualmente não são fáceis de instalar usando o pip diretamente. Neste ponto, frequentemente será mais fácil para os usuários instalarem esses pacotes por outros meios [https://packaging.python.org/science/] ao invés de tentar instalá-los com pip.

Ver também

Guia de Usuário para Empacotamento de Python: Instalando pacotes científicos [https://packaging.python.org/pt-br/latest/guides/installing-scientific-packages//]

… trabalho com várias versões do Python instaladas em paralelo?

No Linux, macOS e outros sistemas POSIX, use os comandos Python com versão em combinação com a opção -m para executar a cópia apropriada de pip

python2   -m pip install AlgumPacote  # Python 2 padrão
python2.7 -m pip install AlgumPacote  # Python 2.7 especificamente
python3   -m pip install AlgumPacote  # Python 3 padrão
python3.4 -m pip install AlgumPacote  # Python 3.4 especificamente

Comandos pip com versão apropriada também podem estar disponíveis.

No Windows, use o iniciador Python py em combinação com a opção -m:

py -2   -m pip install AlgumPacote  # Python 2 padrão
py -2.7 -m pip install AlgumPacote  # Python 2.7 especificamente
py -3   -m pip install AlgumPacote  # Python 3 padrão
py -3.4 -m pip install AlgumPacote  # Python 3.4 especificamente

Problemas comuns de instalação

Instalando no sistema Python no Linux

Em sistemas Linux, uma instalação Python normalmente será incluída como parte da distribuição. A instalação nesta instalação Python requer acesso root ao sistema, e pode interferir na operação do gerenciador de pacotes do sistema e outros componentes do sistema se um componente for atualizado inesperadamente usando pip.

Em tais sistemas, geralmente é melhor usar um ambiente virtual ou uma instalação por usuário ao instalar pacotes com pip.

Pip não instalado

É possível que o pip não seja instalado por padrão. Uma solução potencial é:

python -m ensurepip --default-pip

Existem também recursos adicionais para instalar pip. [https://packaging.python.org/en/latest/tutorials/installing-packages/#ensure-pip-setuptools-and-wheel-are-up-to-date]

Instalando extensões binárias

O Python normalmente depende fortemente da distribuição baseada na fonte, com os usuários finais sendo esperados para compilar os módulos de extensão da fonte como parte do processo de instalação.

Com a introdução do suporte para o formato binário wheel e a capacidade de publicar wheels para pelo menos Windows e macOS através do Python Package Index, espera-se que este problema diminua com o tempo, à medida que os usuários são mais capazes para instalar extensões pré-construídas em vez de precisar construí-las eles próprios.

Algumas das soluções para instalar softwares científicos [https://packaging.python.org/science/] que ainda não estão disponíveis como arquivos wheel pré-construídos também podem ajudar a obter outras extensões binárias sem a necessidade para construí-los localmente.

Ver também

Guia de Usuário para Empacotamento de Python: Extensões binárias [https://packaging.python.org/pt-br/latest/guides/packaging-binary-extensions/]

Python HOWTOs

Python HOWTOs (COMOFAZER) são documentos que cobrem um tópico específico em profundidade. Modelada na coleção HOWTO do Linux Documentation Project, esta coleção é um esforço para promover uma documentação mais detalhada do que a Referência da Biblioteca do Python.

Geral:

Boas práticas para anotações

Tutorial de Argparse

Guia de descritores

Enum

Programação Funcional

Uma introdução ao módulo ipaddress

Logging

Livro de Receitas do Logging

Expressões Regulares

Técnicas de ordenação

Unicode

Como buscar recursos da Internet usando o pacote urllib

Desenvolvimento avançado:

Programação em Curses com Python

Suporte experimental do Python para threads livres

Suporte a extensões da API C para threads livres

Isolando módulos de extensão

A Ordem de Resolução de Métodos do Python 2.3

Programação de Soquetes

Descritor de arquivo de temporizador

Portando módulos de extensão para o Python 3

Depuração e perfilação:

Depurando extensões de API C e internos do CPython com GDB

Instrumentando o CPython com DTrace e SystemTap

Suporte do Python ao perfilador perf do Linux

Portando módulos de extensão para o Python 3

Recomendamos os seguintes recursos para portar módulos de extensão para o Python 3:

O capítulo Migrating C extensions [http://python3porting.com/cextensions.html] de Supporting Python 3: An in-depth guide, um livro sobre a migração do Python 2 para o Python 3 em geral, orienta o leitor na portabilidade de um módulo de extensão.

O Porting guide [https://py3c.readthedocs.io/en/latest/guide.html] do projeto py3c fornece sugestões opinativas com código de suporte.

As bibliotecas Cython [https://cython.org/] e CFFI [https://cffi.readthedocs.io/en/latest/] oferecem abstrações sobre a API C do Python. As extensões geralmente precisam ser reescritas para usar uma delas, mas a biblioteca lida com diferenças entre várias versões e implementações do Python.

Programação em Curses com Python

Autor:

A.M. Kuchling, Eric S. Raymond

Versão:

2.04

Resumo

Este documento descreve como usar o módulo de extensão curses para controlar visualização em modo texto.

O que é curses?

A biblioteca curses fornece formas que facilitam a impressão no terminal e o tratamento de entrada do teclado para interfaces baseados em texto; tais como interfaces produzidas para terminais incluindo VT100s, o console Linux, e terminais fornecidos por vários programas. Terminais visuais suportam vários códigos de controle para executar várias operações comuns como mover o cursor, apagar áreas e rolagem de tela. Diferentes terminais usam uma gama de diferentes códigos, e frequentemente têm suas próprias peculiaridades.

No mundo dos displays gráficos, uma pergunta pode vir à tona “por que isso, jovem?”. É verdade que os terminais de exibição de caracteres são uma tecnologia obsoleta, mas há nichos nos quais a capacidade de fazer coisas sofisticadas com eles continua sendo valorizada. Um nicho são os programas de small-footprint ou os Unixes embarcados, os quais não rodas um servidor X, ou seja, não possuem interface gráfica. Outro nicho são o de ferramentas como instaladores de sistemas operacionais e configurações de kernels que devem rodar antes que qualquer suporte para interfaces gráficas esteja disponível.

The curses library provides fairly basic functionality, providing the programmer with an abstraction of a display containing multiple non-overlapping windows of text. The contents of a window can be changed in various ways—adding text, erasing it, changing its appearance—and the curses library will figure out what control codes need to be sent to the terminal to produce the right output. curses doesn’t provide many user-interface concepts such as buttons, checkboxes, or dialogs; if you need such features, consider a user interface library such as Urwid [https://pypi.org/project/Urwid/].

A biblioteca curses foi originalmente escrita para BSD Unix; as versões mais recentes do System V do Unix da AT&T adicionaram muitos aprimoramentos e novas funções. BSD curses não é mais mantida, tendo sido substituída por ncursess, que é uma implementação de código aberto da interface da AT&T. Se você estiver usando um sistema operacional de código aberto baseado em Unix, tal como Linux ou FreeBSD, seu sistema provavelmente usa ncurses. Uma vez que a maioria das versões comerciais do Unix são baseadas no código do sistema V, todas as funções descritas aqui provavelmente estarão disponíveis. No entanto, as versões antigas de curses carregadas por alguns Unixes proprietários podem não suportar tudo.

The Windows version of Python doesn’t include the curses module. A ported version called UniCurses [https://pypi.org/project/UniCurses/] is available.

O módulo curses de Python

The Python module is a fairly simple wrapper over the C functions provided by curses; if you’re already familiar with curses programming in C, it’s really easy to transfer that knowledge to Python. The biggest difference is that the Python interface makes things simpler by merging different C functions such as addstr(), mvaddstr(), and mvwaddstr() into a single addstr() method. You’ll see this covered in more detail later.

Este documento é uma introdução à escrita de programas em modo texto com curses e Python. Isto não pretende ser um guia completo da API curses; para isso, veja a seção ncurses no guia da biblioteca Python, e o manual de ncurses. Isto, no entanto, lhe dará uma ideia básica.

Começando e terminando uma aplicação curses

Before doing anything, curses must be initialized. This is done by calling the initscr() function, which will determine the terminal type, send any required setup codes to the terminal, and create various internal data structures. If successful, initscr() returns a window object representing the entire screen; this is usually called stdscr after the name of the corresponding C variable.

import curses
stdscr = curses.initscr()

Geralmente aplicações curses desativam o envio automático de teclas para a tela, para que seja possível ler chaves e somente exibi-las sob certas circunstâncias. Isto requer a chamada da função noecho().

curses.noecho()

Aplicações também irão comumente precisar reagir a teclas instantaneamente, sem requisitar que a tecla Enter seja pressionada; isto é chamado de modo cbreak, ao contrário do modo de entrada buferizada usual.

curses.cbreak()

Terminais geralmente retornam teclas especiais, como as teclas de cursor ou de navegação como Page Up e Home, como uma sequência de escape mutibyte. Enquanto você poderia escrever sua aplicação para esperar essas sequências e processá-las de acordo, curses pode fazer isto para você, retornando um valor especial como curses.KEY_LEFT. Para permitir que curses faça esse trabalho, você precisará habilitar o modo keypad.

stdscr.keypad(True)

Finalizar uma aplicação curses é mais fácil do que iniciar uma. Você precisará executar:

curses.nocbreak()
stdscr.keypad(False)
curses.echo()

para reverter as configurações de terminal amigáveis da curses. Então chame a função endwin() para restaurar o terminal para seu modo de operação original.

curses.endwin()

Um problema comum ao debugar uma aplicação curses é deixar seu terminal bagunçado quando a aplicação para sem restaurar o terminal ao seu estado anterior. Em Python isto comumente acontece quando seu código está com problemas e eleva uma exceção não capturada. As teclas não são mais enviadas para a tela quando você as digita, por exemplo, o que torna difícil utilizar o shell.

No Python você pode evitar essas complicações e fazer depurações de forma mais simples importando a função curses.wrapper() e utilizando-a desta forma:

from curses import wrapper

def main(stdscr):
    # Clear screen
    stdscr.clear()

    # This raises ZeroDivisionError when i == 10.
    for i in range(0, 11):
        v = i-10
        stdscr.addstr(i, 0, '10 divided by {} is {}'.format(v, 10/v))

    stdscr.refresh()
    stdscr.getkey()

wrapper(main)

The wrapper() function takes a callable object and does the initializations described above, also initializing colors if color support is present. wrapper() then runs your provided callable. Once the callable returns, wrapper() will restore the original state of the terminal. The callable is called inside a try…except that catches exceptions, restores the state of the terminal, and then re-raises the exception. Therefore your terminal won’t be left in a funny state on exception and you’ll be able to read the exception’s message and traceback.

Janelas e Pads

Janelas são a abstração mais básica em curses. Uma objeto janela representa uma área retangular da tela, e suporta métodos para exibir texto, apagá-lo, e permitir ai usuário inserir strings, e assim por diante.

O objeto stdscr retornado pela função initscr() é um objeto janela que cobre a tela inteira. Muitos programas podem precisar apenas desta janela única, mas você poderia desejar dividir a tela em janelas menores, a fim de redefini-las ou limpá-las separadamente. A função newwin() cria uma nova janela de um dado tamanho, retornando o novo objeto janela.

begin_x = 20; begin_y = 7
height = 5; width = 40
win = curses.newwin(height, width, begin_y, begin_x)

Note que o sistema de coordenadas utilizado na curses é incomum. Coordenadas geralmente são passadas na ordem y,x, e o canto superior-esquerdo da janela é a coordenada (0,0). Isto quebra a convenção normal para tratar coordenadas onde a coordenada x vem primeiro. Isto é uma diferença infeliz da maioria das aplicações computacionais, mas tem sido parte da curses desde que ela foi inicialmente escrita, e agora é tarde demais para mudar isso.

Sua aplicação pode determinar o tamanho da tela usando as variáveis curses.LINES e curses.COLS para obter os tamanhos y e x. Coordenadas legais estenderão de (0,0) a (curses.LINES - 1, curses.COLS - 1).

Quando você chamar um método para exibir ou apagar texto, o efeito não é exibido imediatamente na tela. Em vez disso você deve chamar o método refresh() dos objetos janela para atualizar a tela.

This is because curses was originally written with slow 300-baud terminal connections in mind; with these terminals, minimizing the time required to redraw the screen was very important. Instead curses accumulates changes to the screen and displays them in the most efficient manner when you call refresh(). For example, if your program displays some text in a window and then clears the window, there’s no need to send the original text because they’re never visible.

In practice, explicitly telling curses to redraw a window doesn’t really complicate programming with curses much. Most programs go into a flurry of activity, and then pause waiting for a keypress or some other action on the part of the user. All you have to do is to be sure that the screen has been redrawn before pausing to wait for user input, by first calling stdscr.refresh() or the refresh() method of some other relevant window.

Um pad é um caso especial de janela; ele pode ser mais largo que a tela atual, e apenas uma porção do pad exibido por vez. Criar um pad requer sua altura e largura, enquanto atualizar o pad requer dar as coordenadas da área na tela onde uma subseção do pad será exibida.

pad = curses.newpad(100, 100)
# These loops fill the pad with letters; addch() is
# explained in the next section
for y in range(0, 99):
    for x in range(0, 99):
        pad.addch(y,x, ord('a') + (x*x+y*y) % 26)

# Displays a section of the pad in the middle of the screen.
# (0,0) : coordinate of upper-left corner of pad area to display.
# (5,5) : coordinate of upper-left corner of window area to be filled
#         with pad content.
# (20, 75) : coordinate of lower-right corner of window area to be
#          : filled with pad content.
pad.refresh( 0,0, 5,5, 20,75)

The refresh() call displays a section of the pad in the rectangle extending from coordinate (5,5) to coordinate (20,75) on the screen; the upper left corner of the displayed section is coordinate (0,0) on the pad. Beyond that difference, pads are exactly like ordinary windows and support the same methods.

If you have multiple windows and pads on screen there is a more efficient way to update the screen and prevent annoying screen flicker as each part of the screen gets updated. refresh() actually does two things:

Chama o método noutrefresh() de cada janela para atualizar uma estrutura de dados subjacente representando o estado desejado da tela.

Chama a função doupdate() para modificar a tela física para corresponder com o estado original na estrutura de dados.

Instead you can call noutrefresh() on a number of windows to update the data structure, and then call doupdate() to update the screen.

Exibindo texto

From a C programmer’s point of view, curses may sometimes look like a twisty maze of functions, all subtly different. For example, addstr() displays a string at the current cursor location in the stdscr window, while mvaddstr() moves to a given y,x coordinate first before displaying the string. waddstr() is just like addstr(), but allows specifying a window to use instead of using stdscr by default. mvwaddstr() allows specifying both a window and a coordinate.

Felizmente, a interface do Python oculta todos estes detalhes. stdscr é um objeto de janela como qualquer outro, e métodos como addstr() aceitam múltiplas formas de argumentos.

Forma

Descrição

str ou ch

Mostra a string str ou caractere ch na posição atual.

str ou ch, attr

Mostra a string str ou caractere ch, usando o atributo attr na posição atual.

y, x, str ou ch

Move para a posição y,x dentro da janela, e exibe str ou ch

y, x, str ou ch, attr

Mover para a posição y,x dentro da janela, e exibir str ou ch, usando o atributo attr

Atributos permitem exibir texto de formas destacadas como negrito, sublinhado, código invertido, ou colorido. Elas serão explicadas em mais detalhes na próxima subseção.

The addstr() method takes a Python string or bytestring as the value to be displayed. The contents of bytestrings are sent to the terminal as-is. Strings are encoded to bytes using the value of the window’s encoding attribute; this defaults to the default system encoding as returned by locale.getencoding().

Os métodos addch() pegam um caractere, que pode ser tanto uma string de comprimento 1, um bytestring de comprimento 1, ou um inteiro.

Constantes são providas para caracteres de extensão; estas constantes são inteiros maiores que 255. Por exemplo, ACS_PLMINUS é um símbolo de +/-, e ACS_ULCORNER é o canto superior esquerdo de uma caixa (útil para desenhar bordas). Você pode usar o caractere Unicode apropriado.

Janelas lembram onde o cursor estava após a última operação, então se você omitir as coordenadas y,x, a string ou caractere serão exibidos onde quer que a última operação foi deixada. Você também pode mover o cursos com o método move(y,x). Porque alguns terminais sempre exibem um cursos piscando, você pode querer garantir que o cursor está posicionado em algum local onde ele não será uma distração; pode ser confuso ter o cursor piscando em um local aparentemente aleatório.

Se sua aplicação não necessita de forma alguma de um cursor piscando, você pode chamar curs_set(False) para torná-lo invisível. Para compatibilidade com versões anteriores de curses, há a função leaveok(bool) que é um sinônimo para curs_set(). Quando bool é verdadeiro, a biblioteca curses tentará suprimir o cursor piscando, e você não precisará se preocupar ao deixá-lo em localizações incomuns.

Atributos e Cor

Characters can be displayed in different ways. Status lines in a text-based application are commonly shown in reverse video, or a text viewer may need to highlight certain words. curses supports this by allowing you to specify an attribute for each cell on the screen.

An attribute is an integer, each bit representing a different attribute. You can try to display text with multiple attribute bits set, but curses doesn’t guarantee that all the possible combinations are available, or that they’re all visually distinct. That depends on the ability of the terminal being used, so it’s safest to stick to the most commonly available attributes, listed here.

Atributo

Descrição

A_BLINK

Blinking text

A_BOLD

Extra bright or bold text

A_DIM

Half bright text

A_REVERSE

Reverse-video text

A_STANDOUT

The best highlighting mode available

A_UNDERLINE

Texto sublinhado

So, to display a reverse-video status line on the top line of the screen, you could code:

stdscr.addstr(0, 0, "Current mode: Typing mode",
              curses.A_REVERSE)
stdscr.refresh()

The curses library also supports color on those terminals that provide it. The most common such terminal is probably the Linux console, followed by color xterms.

To use color, you must call the start_color() function soon after calling initscr(), to initialize the default color set (the curses.wrapper() function does this automatically). Once that’s done, the has_colors() function returns TRUE if the terminal in use can actually display color. (Note: curses uses the American spelling ‘color’, instead of the Canadian/British spelling ‘colour’. If you’re used to the British spelling, you’ll have to resign yourself to misspelling it for the sake of these functions.)

The curses library maintains a finite number of color pairs, containing a foreground (or text) color and a background color. You can get the attribute value corresponding to a color pair with the color_pair() function; this can be bitwise-OR’ed with other attributes such as A_REVERSE, but again, such combinations are not guaranteed to work on all terminals.

An example, which displays a line of text using color pair 1:

stdscr.addstr("Pretty text", curses.color_pair(1))
stdscr.refresh()

As I said before, a color pair consists of a foreground and background color. The init_pair(n, f, b) function changes the definition of color pair n, to foreground color f and background color b. Color pair 0 is hard-wired to white on black, and cannot be changed.

Colors are numbered, and start_color() initializes 8 basic colors when it activates color mode. They are: 0:black, 1:red, 2:green, 3:yellow, 4:blue, 5:magenta, 6:cyan, and 7:white. The curses module defines named constants for each of these colors: curses.COLOR_BLACK, curses.COLOR_RED, and so forth.

Let’s put all this together. To change color 1 to red text on a white background, you would call:

curses.init_pair(1, curses.COLOR_RED, curses.COLOR_WHITE)

When you change a color pair, any text already displayed using that color pair will change to the new colors. You can also display new text in this color with:

stdscr.addstr(0,0, "RED ALERT!", curses.color_pair(1))

Very fancy terminals can change the definitions of the actual colors to a given RGB value. This lets you change color 1, which is usually red, to purple or blue or any other color you like. Unfortunately, the Linux console doesn’t support this, so I’m unable to try it out, and can’t provide any examples. You can check if your terminal can do this by calling can_change_color(), which returns True if the capability is there. If you’re lucky enough to have such a talented terminal, consult your system’s man pages for more information.

Entrada de usuário

The C curses library offers only very simple input mechanisms. Python’s curses module adds a basic text-input widget. (Other libraries such as Urwid [https://pypi.org/project/Urwid/] have more extensive collections of widgets.)

There are two methods for getting input from a window:

getch() refreshes the screen and then waits for the user to hit a key, displaying the key if echo() has been called earlier. You can optionally specify a coordinate to which the cursor should be moved before pausing.

getkey() does the same thing but converts the integer to a string. Individual characters are returned as 1-character strings, and special keys such as function keys return longer strings containing a key name such as KEY_UP or ^G.

It’s possible to not wait for the user using the nodelay() window method. After nodelay(True), getch() and getkey() for the window become non-blocking. To signal that no input is ready, getch() returns curses.ERR (a value of -1) and getkey() raises an exception. There’s also a halfdelay() function, which can be used to (in effect) set a timer on each getch(); if no input becomes available within a specified delay (measured in tenths of a second), curses raises an exception.

The getch() method returns an integer; if it’s between 0 and 255, it represents the ASCII code of the key pressed. Values greater than 255 are special keys such as Page Up, Home, or the cursor keys. You can compare the value returned to constants such as curses.KEY_PPAGE, curses.KEY_HOME, or curses.KEY_LEFT. The main loop of your program may look something like this:

while True:
    c = stdscr.getch()
    if c == ord('p'):
        PrintDocument()
    elif c == ord('q'):
        break  # Exit the while loop
    elif c == curses.KEY_HOME:
        x = y = 0

The curses.ascii module supplies ASCII class membership functions that take either integer or 1-character string arguments; these may be useful in writing more readable tests for such loops. It also supplies conversion functions that take either integer or 1-character-string arguments and return the same type. For example, curses.ascii.ctrl() returns the control character corresponding to its argument.

There’s also a method to retrieve an entire string, getstr(). It isn’t used very often, because its functionality is quite limited; the only editing keys available are the backspace key and the Enter key, which terminates the string. It can optionally be limited to a fixed number of characters.

curses.echo()            # Enable echoing of characters

# Get a 15-character string, with the cursor on the top line
s = stdscr.getstr(0,0, 15)

The curses.textpad module supplies a text box that supports an Emacs-like set of keybindings. Various methods of the Textbox class support editing with input validation and gathering the edit results either with or without trailing spaces. Here’s an example:

import curses
from curses.textpad import Textbox, rectangle

def main(stdscr):
    stdscr.addstr(0, 0, "Enter IM message: (hit Ctrl-G to send)")

    editwin = curses.newwin(5,30, 2,1)
    rectangle(stdscr, 1,0, 1+5+1, 1+30+1)
    stdscr.refresh()

    box = Textbox(editwin)

    # Let the user edit until Ctrl-G is struck.
    box.edit()

    # Get resulting contents
    message = box.gather()

See the library documentation on curses.textpad for more details.

Para mais informações

This HOWTO doesn’t cover some advanced topics, such as reading the contents of the screen or capturing mouse events from an xterm instance, but the Python library page for the curses module is now reasonably complete. You should browse it next.

If you’re in doubt about the detailed behavior of the curses functions, consult the manual pages for your curses implementation, whether it’s ncurses or a proprietary Unix vendor’s. The manual pages will document any quirks, and provide complete lists of all the functions, attributes, and ACS_* characters available to you.

Because the curses API is so large, some functions aren’t supported in the Python interface. Often this isn’t because they’re difficult to implement, but because no one has needed them yet. Also, Python doesn’t yet support the menu library associated with ncurses. Patches adding support for these would be welcome; see the Python Developer’s Guide [https://devguide.python.org/] to learn more about submitting patches to Python.

Writing Programs with NCURSES [https://invisible-island.net/ncurses/ncurses-intro.html]: a lengthy tutorial for C programmers.

The ncurses man page [https://linux.die.net/man/3/ncurses]

The ncurses FAQ [https://invisible-island.net/ncurses/ncurses.faq.html]

“Use curses… don’t swear” [https://www.youtube.com/watch?v=eN1eZtjLEnU]: video of a PyCon 2013 talk on controlling terminals using curses or Urwid.

“Console Applications with Urwid” [https://pyvideo.org/video/1568/console-applications-with-urwid]: video of a PyCon CA 2012 talk demonstrating some applications written using Urwid.

Guia de descritores

Autor:

Raymond Hettinger

Contato:

<python at rcn dot com>

Sumário

Guia de descritores

Primer

Exemplo simples: um descritor que retorna uma constante

Pesquisas dinâmicas

Atributos gerenciados

Nomes personalizados

Pensamentos finais

Exemplo prático completo

Validator class

Custom validators

Aplicação prática

Technical Tutorial

Resumo

Definição e introdução

Protocolo Descriptor

Overview of descriptor invocation

Invocation from an instance

Invocation from a class

Invocation from super

Summary of invocation logic

Automatic name notification

Exemplo de ORM

Pure Python Equivalents

Propriedades

Funções e métodos

Tipos de métodos

Métodos estáticos

Métodos de classe

Member objects and __slots__

Descritores permitem que os objetos personalizem a consulta, o armazenamento e a exclusão de atributos.

Este guia tem quatro seções principais:

O “primer” oferece uma visão geral básica, movendo-se suavemente a partir de exemplos simples, adicionando um recurso de cada vez. Comece aqui se você for novo em descritores.

A segunda seção mostra um exemplo de descritor prático completo. Se você já conhece o básico, comece por aí.

A terceira seção fornece um tutorial mais técnico que aborda a mecânica detalhada de como os descritores funcionam. A maioria das pessoas não precisa desse nível de detalhe.

A última seção tem equivalentes puros de Python para descritores embutidos que são escritos em C. Leia isto se estiver curioso sobre como as funções se transformam em métodos vinculados ou sobre a implementação de ferramentas comuns como classmethod(), staticmethod(), property() e __slots__.

Primer

Neste primer, começamos com o exemplo mais básico possível e, em seguida, adicionaremos novos recursos um por um.

Exemplo simples: um descritor que retorna uma constante

The Ten class is a descriptor whose __get__() method always returns the constant 10:

class Ten:
    def __get__(self, obj, objtype=None):
        return 10

Para usar o descritor, ele deve ser armazenado como uma variável de classe em outra classe:

class A:
    x = 5                       # Regular class attribute
    y = Ten()                   # Descriptor instance

Uma sessão interativa mostra a diferença entre a pesquisa de atributo normal e a pesquisa de descritor:

>>> a = A()                     # Make an instance of class A
>>> a.x                         # Normal attribute lookup
5
>>> a.y                         # Descriptor lookup
10

In the a.x attribute lookup, the dot operator finds 'x': 5 in the class dictionary. In the a.y lookup, the dot operator finds a descriptor instance, recognized by its __get__ method. Calling that method returns 10.

Observe que o valor 10 não é armazenado no dicionário da classe ou no dicionário da instância. Em vez disso, o valor 10 é calculado sob demanda.

Este exemplo mostra como funciona um descritor simples, mas não é muito útil. Para recuperar constantes, a pesquisa de atributo normal seria melhor.

Na próxima seção, criaremos algo mais útil, uma pesquisa dinâmica.

Pesquisas dinâmicas

Descritores interessantes normalmente executam cálculos em vez de retornar constantes:

import os

class DirectorySize:

    def __get__(self, obj, objtype=None):
        return len(os.listdir(obj.dirname))

class Directory:

    size = DirectorySize()              # Descriptor instance

    def __init__(self, dirname):
        self.dirname = dirname          # Regular instance attribute

Uma sessão interativa mostra que a pesquisa é dinâmica – calcula respostas diferentes e atualizadas a cada vez:

>>> s = Directory('songs')
>>> g = Directory('games')
>>> s.size                              # The songs directory has twenty files
20
>>> g.size                              # The games directory has three files
3
>>> os.remove('games/chess')            # Delete a game
>>> g.size                              # File count is automatically updated
2

Além de mostrar como os descritores podem executar cálculos, este exemplo também revela o propósito dos parâmetros para __get__(). O parâmetro self é size, uma instância de DirectorySize. O parâmetro obj é g ou s, uma instância de Directory. É o parâmetro obj que permite ao método __get__() aprender o diretório de destino. O parâmetro objtype é a classe Directory.

Atributos gerenciados

Um uso popular para descritores é gerenciar o acesso aos dados da instância. O descritor é atribuído a um atributo público no dicionário da classe, enquanto os dados reais são armazenados como um atributo privado no dicionário da instância. Os métodos __get__() e __set__() do descritor são disparados quando o atributo público é acessado.

No exemplo a seguir, age é o atributo público e _age é o atributo privado. Quando o atributo público é acessado, o descritor registra a pesquisa ou atualização:

import logging

logging.basicConfig(level=logging.INFO)

class LoggedAgeAccess:

    def __get__(self, obj, objtype=None):
        value = obj._age
        logging.info('Accessing %r giving %r', 'age', value)
        return value

    def __set__(self, obj, value):
        logging.info('Updating %r to %r', 'age', value)
        obj._age = value

class Person:

    age = LoggedAgeAccess()             # Descriptor instance

    def __init__(self, name, age):
        self.name = name                # Regular instance attribute
        self.age = age                  # Calls __set__()

    def birthday(self):
        self.age += 1                   # Calls both __get__() and __set__()

Uma sessão interativa mostra que todo o acesso ao atributo gerenciado age é registrado, mas que o atributo regular name não é registrado:

>>> mary = Person('Mary M', 30)         # The initial age update is logged
INFO:root:Updating 'age' to 30
>>> dave = Person('David D', 40)
INFO:root:Updating 'age' to 40

>>> vars(mary)                          # The actual data is in a private attribute
{'name': 'Mary M', '_age': 30}
>>> vars(dave)
{'name': 'David D', '_age': 40}

>>> mary.age                            # Access the data and log the lookup
INFO:root:Accessing 'age' giving 30
30
>>> mary.birthday()                     # Updates are logged as well
INFO:root:Accessing 'age' giving 30
INFO:root:Updating 'age' to 31

>>> dave.name                           # Regular attribute lookup isn't logged
'David D'
>>> dave.age                            # Only the managed attribute is logged
INFO:root:Accessing 'age' giving 40
40

Um grande problema com este exemplo é que o nome privado _age está conectado na classe LoggedAgeAccess. Isso significa que cada instância pode ter apenas um atributo registrado e que seu nome é imutável. No próximo exemplo, vamos corrigir esse problema.

Nomes personalizados

Quando uma classe usa descritores, ela pode informar a cada descritor sobre qual nome de variável foi usado.

Neste exemplo, a classe Person tem duas instâncias de descritor, name e age. Quando a classe Person é definida, ela faz uma função de retorno para __set_name__() em LoggedAccess para que os nomes dos campos possam ser registrados, dando a cada descritor o seu próprio public_name e private_name:

import logging

logging.basicConfig(level=logging.INFO)

class LoggedAccess:

    def __set_name__(self, owner, name):
        self.public_name = name
        self.private_name = '_' + name

    def __get__(self, obj, objtype=None):
        value = getattr(obj, self.private_name)
        logging.info('Accessing %r giving %r', self.public_name, value)
        return value

    def __set__(self, obj, value):
        logging.info('Updating %r to %r', self.public_name, value)
        setattr(obj, self.private_name, value)

class Person:

    name = LoggedAccess()                # First descriptor instance
    age = LoggedAccess()                 # Second descriptor instance

    def __init__(self, name, age):
        self.name = name                 # Calls the first descriptor
        self.age = age                   # Calls the second descriptor

    def birthday(self):
        self.age += 1

Uma sessão interativa mostra que a classe Person chamou __set_name__() para que os nomes dos campos fossem registrados. Aqui chamamos vars() para pesquisar o descritor sem acioná-lo:

>>> vars(vars(Person)['name'])
{'public_name': 'name', 'private_name': '_name'}
>>> vars(vars(Person)['age'])
{'public_name': 'age', 'private_name': '_age'}

A nova classe agora registra acesso a name e age:

>>> pete = Person('Peter P', 10)
INFO:root:Updating 'name' to 'Peter P'
INFO:root:Updating 'age' to 10
>>> kate = Person('Catherine C', 20)
INFO:root:Updating 'name' to 'Catherine C'
INFO:root:Updating 'age' to 20

As duas instâncias Person contêm apenas os nomes privados:

>>> vars(pete)
{'_name': 'Peter P', '_age': 10}
>>> vars(kate)
{'_name': 'Catherine C', '_age': 20}

Pensamentos finais

Um descritor é o que chamamos de qualquer objeto que define __get__(), __set__() ou __delete__().

Optionally, descriptors can have a __set_name__() method. This is only used in cases where a descriptor needs to know either the class where it was created or the name of class variable it was assigned to. (This method, if present, is called even if the class is not a descriptor.)

Descriptors get invoked by the dot operator during attribute lookup. If a descriptor is accessed indirectly with vars(some_class)[descriptor_name], the descriptor instance is returned without invoking it.

Descriptors only work when used as class variables. When put in instances, they have no effect.

The main motivation for descriptors is to provide a hook allowing objects stored in class variables to control what happens during attribute lookup.

Traditionally, the calling class controls what happens during lookup. Descriptors invert that relationship and allow the data being looked-up to have a say in the matter.

Descriptors are used throughout the language. It is how functions turn into bound methods. Common tools like classmethod(), staticmethod(), property(), and functools.cached_property() are all implemented as descriptors.

Exemplo prático completo

In this example, we create a practical and powerful tool for locating notoriously hard to find data corruption bugs.

Validator class

A validator is a descriptor for managed attribute access. Prior to storing any data, it verifies that the new value meets various type and range restrictions. If those restrictions aren’t met, it raises an exception to prevent data corruption at its source.

This Validator class is both an abstract base class and a managed attribute descriptor:

from abc import ABC, abstractmethod

class Validator(ABC):

    def __set_name__(self, owner, name):
        self.private_name = '_' + name

    def __get__(self, obj, objtype=None):
        return getattr(obj, self.private_name)

    def __set__(self, obj, value):
        self.validate(value)
        setattr(obj, self.private_name, value)

    @abstractmethod
    def validate(self, value):
        pass

Custom validators need to inherit from Validator and must supply a validate() method to test various restrictions as needed.

Custom validators

Here are three practical data validation utilities:

OneOf verifies that a value is one of a restricted set of options.

Number verifies that a value is either an int or float. Optionally, it verifies that a value is between a given minimum or maximum.

String verifies that a value is a str. Optionally, it validates a given minimum or maximum length. It can validate a user-defined predicate [https://en.wikipedia.org/wiki/Predicate_(mathematical_logic)] as well.

class OneOf(Validator):

    def __init__(self, *options):
        self.options = set(options)

    def validate(self, value):
        if value not in self.options:
            raise ValueError(
                f'Expected {value!r} to be one of {self.options!r}'
            )

class Number(Validator):

    def __init__(self, minvalue=None, maxvalue=None):
        self.minvalue = minvalue
        self.maxvalue = maxvalue

    def validate(self, value):
        if not isinstance(value, (int, float)):
            raise TypeError(f'Expected {value!r} to be an int or float')
        if self.minvalue is not None and value < self.minvalue:
            raise ValueError(
                f'Expected {value!r} to be at least {self.minvalue!r}'
            )
        if self.maxvalue is not None and value > self.maxvalue:
            raise ValueError(
                f'Expected {value!r} to be no more than {self.maxvalue!r}'
            )

class String(Validator):

    def __init__(self, minsize=None, maxsize=None, predicate=None):
        self.minsize = minsize
        self.maxsize = maxsize
        self.predicate = predicate

    def validate(self, value):
        if not isinstance(value, str):
            raise TypeError(f'Expected {value!r} to be an str')
        if self.minsize is not None and len(value) < self.minsize:
            raise ValueError(
                f'Expected {value!r} to be no smaller than {self.minsize!r}'
            )
        if self.maxsize is not None and len(value) > self.maxsize:
            raise ValueError(
                f'Expected {value!r} to be no bigger than {self.maxsize!r}'
            )
        if self.predicate is not None and not self.predicate(value):
            raise ValueError(
                f'Expected {self.predicate} to be true for {value!r}'
            )

Aplicação prática

Here’s how the data validators can be used in a real class:

class Component:

    name = String(minsize=3, maxsize=10, predicate=str.isupper)
    kind = OneOf('wood', 'metal', 'plastic')
    quantity = Number(minvalue=0)

    def __init__(self, name, kind, quantity):
        self.name = name
        self.kind = kind
        self.quantity = quantity

The descriptors prevent invalid instances from being created:

>>> Component('Widget', 'metal', 5)      # Blocked: 'Widget' is not all uppercase
Traceback (most recent call last):
    ...
ValueError: Expected <method 'isupper' of 'str' objects> to be true for 'Widget'

>>> Component('WIDGET', 'metle', 5)      # Blocked: 'metle' is misspelled
Traceback (most recent call last):
    ...
ValueError: Expected 'metle' to be one of {'metal', 'plastic', 'wood'}

>>> Component('WIDGET', 'metal', -5)     # Blocked: -5 is negative
Traceback (most recent call last):
    ...
ValueError: Expected -5 to be at least 0

>>> Component('WIDGET', 'metal', 'V')    # Blocked: 'V' isn't a number
Traceback (most recent call last):
    ...
TypeError: Expected 'V' to be an int or float

>>> c = Component('WIDGET', 'metal', 5)  # Allowed:  The inputs are valid

Technical Tutorial

What follows is a more technical tutorial for the mechanics and details of how descriptors work.

Resumo

Defines descriptors, summarizes the protocol, and shows how descriptors are called. Provides an example showing how object relational mappings work.

Learning about descriptors not only provides access to a larger toolset, it creates a deeper understanding of how Python works.

Definição e introdução

In general, a descriptor is an attribute value that has one of the methods in the descriptor protocol. Those methods are __get__(), __set__(), and __delete__(). If any of those methods are defined for an attribute, it is said to be a descriptor.

The default behavior for attribute access is to get, set, or delete the attribute from an object’s dictionary. For instance, a.x has a lookup chain starting with a.__dict__['x'], then type(a).__dict__['x'], and continuing through the method resolution order of type(a). If the looked-up value is an object defining one of the descriptor methods, then Python may override the default behavior and invoke the descriptor method instead. Where this occurs in the precedence chain depends on which descriptor methods were defined.

Descriptors are a powerful, general purpose protocol. They are the mechanism behind properties, methods, static methods, class methods, and super(). They are used throughout Python itself. Descriptors simplify the underlying C code and offer a flexible set of new tools for everyday Python programs.

Protocolo Descriptor

descr.__get__(self, obj, type=None)

descr.__set__(self, obj, value)

descr.__delete__(self, obj)

That is all there is to it. Define any of these methods and an object is considered a descriptor and can override default behavior upon being looked up as an attribute.

If an object defines __set__() or __delete__(), it is considered a data descriptor. Descriptors that only define __get__() are called non-data descriptors (they are often used for methods but other uses are possible).

Data and non-data descriptors differ in how overrides are calculated with respect to entries in an instance’s dictionary. If an instance’s dictionary has an entry with the same name as a data descriptor, the data descriptor takes precedence. If an instance’s dictionary has an entry with the same name as a non-data descriptor, the dictionary entry takes precedence.

To make a read-only data descriptor, define both __get__() and __set__() with the __set__() raising an AttributeError when called. Defining the __set__() method with an exception raising placeholder is enough to make it a data descriptor.

Overview of descriptor invocation

A descriptor can be called directly with desc.__get__(obj) or desc.__get__(None, cls).

But it is more common for a descriptor to be invoked automatically from attribute access.

The expression obj.x looks up the attribute x in the chain of namespaces for obj. If the search finds a descriptor outside of the instance __dict__, its __get__() method is invoked according to the precedence rules listed below.

The details of invocation depend on whether obj is an object, class, or instance of super.

Invocation from an instance

Instance lookup scans through a chain of namespaces giving data descriptors the highest priority, followed by instance variables, then non-data descriptors, then class variables, and lastly __getattr__() if it is provided.

If a descriptor is found for a.x, then it is invoked with: desc.__get__(a, type(a)).

The logic for a dotted lookup is in object.__getattribute__(). Here is a pure Python equivalent:

def find_name_in_mro(cls, name, default):
    "Emulate _PyType_Lookup() in Objects/typeobject.c"
    for base in cls.__mro__:
        if name in vars(base):
            return vars(base)[name]
    return default

def object_getattribute(obj, name):
    "Emulate PyObject_GenericGetAttr() in Objects/object.c"
    null = object()
    objtype = type(obj)
    cls_var = find_name_in_mro(objtype, name, null)
    descr_get = getattr(type(cls_var), '__get__', null)
    if descr_get is not null:
        if (hasattr(type(cls_var), '__set__')
            or hasattr(type(cls_var), '__delete__')):
            return descr_get(cls_var, obj, objtype)     # data descriptor
    if hasattr(obj, '__dict__') and name in vars(obj):
        return vars(obj)[name]                          # instance variable
    if descr_get is not null:
        return descr_get(cls_var, obj, objtype)         # non-data descriptor
    if cls_var is not null:
        return cls_var                                  # class variable
    raise AttributeError(name)

Note, there is no __getattr__() hook in the __getattribute__() code. That is why calling __getattribute__() directly or with super().__getattribute__ will bypass __getattr__() entirely.

Instead, it is the dot operator and the getattr() function that are responsible for invoking __getattr__() whenever __getattribute__() raises an AttributeError. Their logic is encapsulated in a helper function:

def getattr_hook(obj, name):
    "Emulate slot_tp_getattr_hook() in Objects/typeobject.c"
    try:
        return obj.__getattribute__(name)
    except AttributeError:
        if not hasattr(type(obj), '__getattr__'):
            raise
    return type(obj).__getattr__(obj, name)             # __getattr__

Invocation from a class

The logic for a dotted lookup such as A.x is in type.__getattribute__(). The steps are similar to those for object.__getattribute__() but the instance dictionary lookup is replaced by a search through the class’s method resolution order.

If a descriptor is found, it is invoked with desc.__get__(None, A).

The full C implementation can be found in type_getattro() and _PyType_Lookup() in Objects/typeobject.c [https://github.com/python/cpython/tree/3.13/Objects/typeobject.c].

Invocation from super

The logic for super’s dotted lookup is in the __getattribute__() method for object returned by super().

A dotted lookup such as super(A, obj).m searches obj.__class__.__mro__ for the base class B immediately following A and then returns B.__dict__['m'].__get__(obj, A). If not a descriptor, m is returned unchanged.

The full C implementation can be found in super_getattro() in Objects/typeobject.c [https://github.com/python/cpython/tree/3.13/Objects/typeobject.c]. A pure Python equivalent can be found in Guido’s Tutorial [https://www.python.org/download/releases/2.2.3/descrintro/#cooperation].

Summary of invocation logic

The mechanism for descriptors is embedded in the __getattribute__() methods for object, type, and super().

The important points to remember are:

Descriptors are invoked by the __getattribute__() method.

Classes inherit this machinery from object, type, or super().

Overriding __getattribute__() prevents automatic descriptor calls because all the descriptor logic is in that method.

object.__getattribute__() and type.__getattribute__() make different calls to __get__(). The first includes the instance and may include the class. The second puts in None for the instance and always includes the class.

Data descriptors always override instance dictionaries.

Non-data descriptors may be overridden by instance dictionaries.

Automatic name notification

Sometimes it is desirable for a descriptor to know what class variable name it was assigned to. When a new class is created, the type metaclass scans the dictionary of the new class. If any of the entries are descriptors and if they define __set_name__(), that method is called with two arguments. The owner is the class where the descriptor is used, and the name is the class variable the descriptor was assigned to.

Os detalhes de implementações estão em type_new() e set_names() em Objects/typeobject.c [https://github.com/python/cpython/tree/3.13/Objects/typeobject.c].

Since the update logic is in type.__new__(), notifications only take place at the time of class creation. If descriptors are added to the class afterwards, __set_name__() will need to be called manually.

Exemplo de ORM

The following code is a simplified skeleton showing how data descriptors could be used to implement an object relational mapping [https://en.wikipedia.org/wiki/Object%E2%80%93relational_mapping].

The essential idea is that the data is stored in an external database. The Python instances only hold keys to the database’s tables. Descriptors take care of lookups or updates:

class Field:

    def __set_name__(self, owner, name):
        self.fetch = f'SELECT {name} FROM {owner.table} WHERE {owner.key}=?;'
        self.store = f'UPDATE {owner.table} SET {name}=? WHERE {owner.key}=?;'

    def __get__(self, obj, objtype=None):
        return conn.execute(self.fetch, [obj.key]).fetchone()[0]

    def __set__(self, obj, value):
        conn.execute(self.store, [value, obj.key])
        conn.commit()

We can use the Field class to define models [https://en.wikipedia.org/wiki/Database_model] that describe the schema for each table in a database:

class Movie:
    table = 'Movies'                    # Table name
    key = 'title'                       # Primary key
    director = Field()
    year = Field()

    def __init__(self, key):
        self.key = key

class Song:
    table = 'Music'
    key = 'title'
    artist = Field()
    year = Field()
    genre = Field()

    def __init__(self, key):
        self.key = key

To use the models, first connect to the database:

>>> import sqlite3
>>> conn = sqlite3.connect('entertainment.db')

An interactive session shows how data is retrieved from the database and how it can be updated:

>>> Movie('Star Wars').director
'George Lucas'
>>> jaws = Movie('Jaws')
>>> f'Released in {jaws.year} by {jaws.director}'
'Released in 1975 by Steven Spielberg'

>>> Song('Country Roads').artist
'John Denver'

>>> Movie('Star Wars').director = 'J.J. Abrams'
>>> Movie('Star Wars').director
'J.J. Abrams'

Pure Python Equivalents

The descriptor protocol is simple and offers exciting possibilities. Several use cases are so common that they have been prepackaged into built-in tools. Properties, bound methods, static methods, class methods, and __slots__ are all based on the descriptor protocol.

Propriedades

Calling property() is a succinct way of building a data descriptor that triggers a function call upon access to an attribute. Its signature is:

property(fget=None, fset=None, fdel=None, doc=None) -> property

The documentation shows a typical use to define a managed attribute x:

class C:
    def getx(self): return self.__x
    def setx(self, value): self.__x = value
    def delx(self): del self.__x
    x = property(getx, setx, delx, "I'm the 'x' property.")

To see how property() is implemented in terms of the descriptor protocol, here is a pure Python equivalent that implements most of the core functionality:

class Property:
    "Emulate PyProperty_Type() in Objects/descrobject.c"

    def __init__(self, fget=None, fset=None, fdel=None, doc=None):
        self.fget = fget
        self.fset = fset
        self.fdel = fdel
        if doc is None and fget is not None:
            doc = fget.__doc__
        self.__doc__ = doc

    def __set_name__(self, owner, name):
        self.__name__ = name

    def __get__(self, obj, objtype=None):
        if obj is None:
            return self
        if self.fget is None:
            raise AttributeError
        return self.fget(obj)

    def __set__(self, obj, value):
        if self.fset is None:
            raise AttributeError
        self.fset(obj, value)

    def __delete__(self, obj):
        if self.fdel is None:
            raise AttributeError
        self.fdel(obj)

    def getter(self, fget):
        return type(self)(fget, self.fset, self.fdel, self.__doc__)

    def setter(self, fset):
        return type(self)(self.fget, fset, self.fdel, self.__doc__)

    def deleter(self, fdel):
        return type(self)(self.fget, self.fset, fdel, self.__doc__)

The property() builtin helps whenever a user interface has granted attribute access and then subsequent changes require the intervention of a method.

For instance, a spreadsheet class may grant access to a cell value through Cell('b10').value. Subsequent improvements to the program require the cell to be recalculated on every access; however, the programmer does not want to affect existing client code accessing the attribute directly. The solution is to wrap access to the value attribute in a property data descriptor:

class Cell:
    ...

    @property
    def value(self):
        "Recalculate the cell before returning value"
        self.recalc()
        return self._value

Either the built-in property() or our Property() equivalent would work in this example.

Funções e métodos

Python’s object oriented features are built upon a function based environment. Using non-data descriptors, the two are merged seamlessly.

Functions stored in class dictionaries get turned into methods when invoked. Methods only differ from regular functions in that the object instance is prepended to the other arguments. By convention, the instance is called self but could be called this or any other variable name.

Methods can be created manually with types.MethodType which is roughly equivalent to:

class MethodType:
    "Emulate PyMethod_Type in Objects/classobject.c"

    def __init__(self, func, obj):
        self.__func__ = func
        self.__self__ = obj

    def __call__(self, *args, **kwargs):
        func = self.__func__
        obj = self.__self__
        return func(obj, *args, **kwargs)

    def __getattribute__(self, name):
        "Emulate method_getset() in Objects/classobject.c"
        if name == '__doc__':
            return self.__func__.__doc__
        return object.__getattribute__(self, name)

    def __getattr__(self, name):
        "Emulate method_getattro() in Objects/classobject.c"
        return getattr(self.__func__, name)

    def __get__(self, obj, objtype=None):
        "Emulate method_descr_get() in Objects/classobject.c"
        return self

To support automatic creation of methods, functions include the __get__() method for binding methods during attribute access. This means that functions are non-data descriptors that return bound methods during dotted lookup from an instance. Here’s how it works:

class Function:
    ...

    def __get__(self, obj, objtype=None):
        "Simulate func_descr_get() in Objects/funcobject.c"
        if obj is None:
            return self
        return MethodType(self, obj)

Running the following class in the interpreter shows how the function descriptor works in practice:

class D:
    def f(self):
         return self

class D2:
    pass

The function has a qualified name attribute to support introspection:

>>> D.f.__qualname__
'D.f'

Accessing the function through the class dictionary does not invoke __get__(). Instead, it just returns the underlying function object:

>>> D.__dict__['f']
<function D.f at 0x00C45070>

Dotted access from a class calls __get__() which just returns the underlying function unchanged:

>>> D.f
<function D.f at 0x00C45070>

The interesting behavior occurs during dotted access from an instance. The dotted lookup calls __get__() which returns a bound method object:

>>> d = D()
>>> d.f
<bound method D.f of <__main__.D object at 0x00B18C90>>

Internally, the bound method stores the underlying function and the bound instance:

>>> d.f.__func__
<function D.f at 0x00C45070>

>>> d.f.__self__
<__main__.D object at 0x00B18C90>

If you have ever wondered where self comes from in regular methods or where cls comes from in class methods, this is it!

Tipos de métodos

Non-data descriptors provide a simple mechanism for variations on the usual patterns of binding functions into methods.

To recap, functions have a __get__() method so that they can be converted to a method when accessed as attributes. The non-data descriptor transforms an obj.f(*args) call into f(obj, *args). Calling cls.f(*args) becomes f(*args).

This chart summarizes the binding and its two most useful variants:

Transformação

Called from an object

Called from a class

função

f(obj, *args)

f(*args)

staticmethod

f(*args)

f(*args)

classmethod

f(type(obj), *args)

f(cls, *args)

Métodos estáticos

Static methods return the underlying function without changes. Calling either c.f or C.f is the equivalent of a direct lookup into object.__getattribute__(c, "f") or object.__getattribute__(C, "f"). As a result, the function becomes identically accessible from either an object or a class.

Good candidates for static methods are methods that do not reference the self variable.

For instance, a statistics package may include a container class for experimental data. The class provides normal methods for computing the average, mean, median, and other descriptive statistics that depend on the data. However, there may be useful functions which are conceptually related but do not depend on the data. For instance, erf(x) is handy conversion routine that comes up in statistical work but does not directly depend on a particular dataset. It can be called either from an object or the class: s.erf(1.5) --> 0.9332 or Sample.erf(1.5) --> 0.9332.

Since static methods return the underlying function with no changes, the example calls are unexciting:

class E:
    @staticmethod
    def f(x):
        return x * 10

>>> E.f(3)
30
>>> E().f(3)
30

Using the non-data descriptor protocol, a pure Python version of staticmethod() would look like this:

import functools

class StaticMethod:
    "Emulate PyStaticMethod_Type() in Objects/funcobject.c"

    def __init__(self, f):
        self.f = f
        functools.update_wrapper(self, f)

    def __get__(self, obj, objtype=None):
        return self.f

    def __call__(self, *args, **kwds):
        return self.f(*args, **kwds)

The functools.update_wrapper() call adds a __wrapped__ attribute that refers to the underlying function. Also it carries forward the attributes necessary to make the wrapper look like the wrapped function: __name__, __qualname__, __doc__, and __annotations__.

Métodos de classe

Unlike static methods, class methods prepend the class reference to the argument list before calling the function. This format is the same for whether the caller is an object or a class:

class F:
    @classmethod
    def f(cls, x):
        return cls.__name__, x

>>> F.f(3)
('F', 3)
>>> F().f(3)
('F', 3)

This behavior is useful whenever the method only needs to have a class reference and does not rely on data stored in a specific instance. One use for class methods is to create alternate class constructors. For example, the classmethod dict.fromkeys() creates a new dictionary from a list of keys. The pure Python equivalent is:

class Dict(dict):
    @classmethod
    def fromkeys(cls, iterable, value=None):
        "Emulate dict_fromkeys() in Objects/dictobject.c"
        d = cls()
        for key in iterable:
            d[key] = value
        return d

Now a new dictionary of unique keys can be constructed like this:

>>> d = Dict.fromkeys('abracadabra')
>>> type(d) is Dict
True
>>> d
{'a': None, 'b': None, 'r': None, 'c': None, 'd': None}

Using the non-data descriptor protocol, a pure Python version of classmethod() would look like this:

import functools

class ClassMethod:
    "Emulate PyClassMethod_Type() in Objects/funcobject.c"

    def __init__(self, f):
        self.f = f
        functools.update_wrapper(self, f)

    def __get__(self, obj, cls=None):
        if cls is None:
            cls = type(obj)
        return MethodType(self.f, cls)

The functools.update_wrapper() call in ClassMethod adds a __wrapped__ attribute that refers to the underlying function. Also it carries forward the attributes necessary to make the wrapper look like the wrapped function: __name__, __qualname__, __doc__, and __annotations__.

Member objects and __slots__

When a class defines __slots__, it replaces instance dictionaries with a fixed-length array of slot values. From a user point of view that has several effects:

1. Provides immediate detection of bugs due to misspelled attribute assignments. Only attribute names specified in __slots__ are allowed:

class Vehicle:
    __slots__ = ('id_number', 'make', 'model')

>>> auto = Vehicle()
>>> auto.id_nubmer = 'VYE483814LQEX'
Traceback (most recent call last):
    ...
AttributeError: 'Vehicle' object has no attribute 'id_nubmer'

2. Helps create immutable objects where descriptors manage access to private attributes stored in __slots__:

class Immutable:

    __slots__ = ('_dept', '_name')          # Replace the instance dictionary

    def __init__(self, dept, name):
        self._dept = dept                   # Store to private attribute
        self._name = name                   # Store to private attribute

    @property                               # Read-only descriptor
    def dept(self):
        return self._dept

    @property
    def name(self):                         # Read-only descriptor
        return self._name

>>> mark = Immutable('Botany', 'Mark Watney')
>>> mark.dept
'Botany'
>>> mark.dept = 'Space Pirate'
Traceback (most recent call last):
    ...
AttributeError: property 'dept' of 'Immutable' object has no setter
>>> mark.location = 'Mars'
Traceback (most recent call last):
    ...
AttributeError: 'Immutable' object has no attribute 'location'

3. Saves memory. On a 64-bit Linux build, an instance with two attributes takes 48 bytes with __slots__ and 152 bytes without. This flyweight design pattern [https://en.wikipedia.org/wiki/Flyweight_pattern] likely only matters when a large number of instances are going to be created.

4. Improves speed. Reading instance variables is 35% faster with __slots__ (as measured with Python 3.10 on an Apple M1 processor).

5. Blocks tools like functools.cached_property() which require an instance dictionary to function correctly:

from functools import cached_property

class CP:
    __slots__ = ()                          # Eliminates the instance dict

    @cached_property                        # Requires an instance dict
    def pi(self):
        return 4 * sum((-1.0)**n / (2.0*n + 1.0)
                       for n in reversed(range(100_000)))

>>> CP().pi
Traceback (most recent call last):
  ...
TypeError: No '__dict__' attribute on 'CP' instance to cache 'pi' property.

It is not possible to create an exact drop-in pure Python version of __slots__ because it requires direct access to C structures and control over object memory allocation. However, we can build a mostly faithful simulation where the actual C structure for slots is emulated by a private _slotvalues list. Reads and writes to that private structure are managed by member descriptors:

null = object()

class Member:

    def __init__(self, name, clsname, offset):
        'Emulate PyMemberDef in Include/structmember.h'
        # Also see descr_new() in Objects/descrobject.c
        self.name = name
        self.clsname = clsname
        self.offset = offset

    def __get__(self, obj, objtype=None):
        'Emulate member_get() in Objects/descrobject.c'
        # Also see PyMember_GetOne() in Python/structmember.c
        if obj is None:
            return self
        value = obj._slotvalues[self.offset]
        if value is null:
            raise AttributeError(self.name)
        return value

    def __set__(self, obj, value):
        'Emulate member_set() in Objects/descrobject.c'
        obj._slotvalues[self.offset] = value

    def __delete__(self, obj):
        'Emulate member_delete() in Objects/descrobject.c'
        value = obj._slotvalues[self.offset]
        if value is null:
            raise AttributeError(self.name)
        obj._slotvalues[self.offset] = null

    def __repr__(self):
        'Emulate member_repr() in Objects/descrobject.c'
        return f'<Member {self.name!r} of {self.clsname!r}>'

The type.__new__() method takes care of adding member objects to class variables:

class Type(type):
    'Simulate how the type metaclass adds member objects for slots'

    def __new__(mcls, clsname, bases, mapping, **kwargs):
        'Emulate type_new() in Objects/typeobject.c'
        # type_new() calls PyTypeReady() which calls add_methods()
        slot_names = mapping.get('slot_names', [])
        for offset, name in enumerate(slot_names):
            mapping[name] = Member(name, clsname, offset)
        return type.__new__(mcls, clsname, bases, mapping, **kwargs)

The object.__new__() method takes care of creating instances that have slots instead of an instance dictionary. Here is a rough simulation in pure Python:

class Object:
    'Simulate how object.__new__() allocates memory for __slots__'

    def __new__(cls, *args, **kwargs):
        'Emulate object_new() in Objects/typeobject.c'
        inst = super().__new__(cls)
        if hasattr(cls, 'slot_names'):
            empty_slots = [null] * len(cls.slot_names)
            object.__setattr__(inst, '_slotvalues', empty_slots)
        return inst

    def __setattr__(self, name, value):
        'Emulate _PyObject_GenericSetAttrWithDict() Objects/object.c'
        cls = type(self)
        if hasattr(cls, 'slot_names') and name not in cls.slot_names:
            raise AttributeError(
                f'{cls.__name__!r} object has no attribute {name!r}'
            )
        super().__setattr__(name, value)

    def __delattr__(self, name):
        'Emulate _PyObject_GenericSetAttrWithDict() Objects/object.c'
        cls = type(self)
        if hasattr(cls, 'slot_names') and name not in cls.slot_names:
            raise AttributeError(
                f'{cls.__name__!r} object has no attribute {name!r}'
            )
        super().__delattr__(name)

To use the simulation in a real class, just inherit from Object and set the metaclass to Type:

class H(Object, metaclass=Type):
    'Instance variables stored in slots'

    slot_names = ['x', 'y']

    def __init__(self, x, y):
        self.x = x
        self.y = y

At this point, the metaclass has loaded member objects for x and y:

>>> from pprint import pp
>>> pp(dict(vars(H)))
{'__module__': '__main__',
 '__doc__': 'Instance variables stored in slots',
 'slot_names': ['x', 'y'],
 '__init__': <function H.__init__ at 0x7fb5d302f9d0>,
 'x': <Member 'x' of 'H'>,
 'y': <Member 'y' of 'H'>}

When instances are created, they have a slot_values list where the attributes are stored:

>>> h = H(10, 20)
>>> vars(h)
{'_slotvalues': [10, 20]}
>>> h.x = 55
>>> vars(h)
{'_slotvalues': [55, 20]}

Misspelled or unassigned attributes will raise an exception:

>>> h.xz
Traceback (most recent call last):
    ...
AttributeError: 'H' object has no attribute 'xz'

Depurando extensões de API C e internos do CPython com GDB

Este documento explica como a extensão GDB do Python, python-gdb.py, pode ser usada com o depurador GDB para depurar extensões CPython e o próprio interpretador CPython.

Ao depurar problemas de baixo nível, como falhas ou impasses, um depurador de baixo nível, como o GDB, é útil para diagnosticar e corrigir o problema. Por padrão, o GDB (ou qualquer uma de suas interfaces) não oferece suporte a informações de alto nível específicas do interpretador CPython.

A extensão python-gdb.py adiciona informações do interpretador CPython ao GDB. A extensão ajuda a inspecionar a pilha de funções Python atualmente em execução. Dado um objeto Python representado por um ponteiro PyObject*, a extensão mostra o tipo e o valor do objeto.

Desenvolvedores que estão trabalhando em extensões CPython ou mexendo com partes do CPython escritas em C podem usar este documento para aprender como usar a extensão python-gdb.py com o GDB.

Nota

Este documento pressupõe que você esteja familiarizado com o básico do GDB e da API C do CPython. Ele consolida orientações do devguide [https://devguide.python.org] e da wiki do Python [https://wiki.python.org/moin/DebuggingWithGdb].

Pré-requisitos

Você precisa ter:

GDB 7 ou posterior. (Para versões anteriores do GDB, consulte Misc/gdbinit nas fontes do Python 3.11 ou anterior.)

Informações de depuração compatíveis com GDB para Python e qualquer extensão que você esteja depurando.

A extensão python-gdb.py.

A extensão é construída com Python, mas pode ser distribuída separadamente ou não ser distribuída. Abaixo, incluímos dicas para alguns sistemas comuns como exemplos. Note que mesmo se as instruções corresponderem ao seu sistema, elas podem estar desatualizadas.

Configuração com Python construído a partir do código-fonte

Quando você compila o CPython a partir do código-fonte, as informações de depuração devem estar disponíveis, e a compilação deve adicionar um arquivo python-gdb.py ao diretório raiz do seu repositório.

Para ativar o suporte, você deve adicionar o diretório que contém python-gdb.py ao “auto-load-safe-path” do GDB. Se você ainda não fez isso, as versões recentes do GDB imprimirão um aviso com instruções sobre como fazer isso.

Nota

Se você não encontrar instruções para a sua versão do GDB, coloque isso no seu arquivo de configuração (~/.gdbinit ou ~/.config/gdb/gdbinit):

add-auto-load-safe-path /path/to/cpython

Você também pode adicionar vários caminhos, separados por :.

Configuração para Python a partir de uma distribuição Linux

A maioria dos sistemas Linux fornece informações de depuração para o Python do sistema em um pacote chamado python-debuginfo, python-dbg ou similar. Por exemplo:

Fedora:

sudo dnf install gdb
sudo dnf debuginfo-install python3

Ubuntu:

sudo apt install gdb python3-dbg

Em vários sistemas Linux recentes, o GDB pode baixar automaticamente símbolos de depuração usando debuginfod. No entanto, isso não instalará a extensão python-gdb.py; geralmente é necessário instalar separadamente o pacote de informações de depuração.

Usando a compilação de depuração e o modo de desenvolvimento

Para facilitar a depuração, você pode querer:

Use a compilação de depuração do Python. (Ao compilar a partir do código-fonte, use configure --with-pydebug. Em distribuições Linux, instale e execute um pacote como python-debug ou python-dbg, se disponível.)

Use o modo de desenvolvimento de tempo de execução (-X dev).

Ambos habilitam assertivas extras e desabilitam algumas otimizações. Às vezes isso esconde o bug que você está tentando encontrar, mas na maioria dos casos eles facilitam o processo.

Usando a extensão python-gdb

Quando a extensão é carregada, ela fornece duas principais funcionalidades: impressões bonitas para valores Python e comandos adicionais.

Pretty-printers

Este é o aspecto de um backtrace do GDB (truncado) quando esta extensão está habilitada:

#0  0x000000000041a6b1 in PyObject_Malloc (nbytes=Cannot access memory at address 0x7fffff7fefe8
) at Objects/obmalloc.c:748
#1  0x000000000041b7c0 in _PyObject_DebugMallocApi (id=111 'o', nbytes=24) at Objects/obmalloc.c:1445
#2  0x000000000041b717 in _PyObject_DebugMalloc (nbytes=24) at Objects/obmalloc.c:1412
#3  0x000000000044060a in _PyUnicode_New (length=11) at Objects/unicodeobject.c:346
#4  0x00000000004466aa in PyUnicodeUCS2_DecodeUTF8Stateful (s=0x5c2b8d "__lltrace__", size=11, errors=0x0, consumed=
    0x0) at Objects/unicodeobject.c:2531
#5  0x0000000000446647 in PyUnicodeUCS2_DecodeUTF8 (s=0x5c2b8d "__lltrace__", size=11, errors=0x0)
    at Objects/unicodeobject.c:2495
#6  0x0000000000440d1b in PyUnicodeUCS2_FromStringAndSize (u=0x5c2b8d "__lltrace__", size=11)
    at Objects/unicodeobject.c:551
#7  0x0000000000440d94 in PyUnicodeUCS2_FromString (u=0x5c2b8d "__lltrace__") at Objects/unicodeobject.c:569
#8  0x0000000000584abd in PyDict_GetItemString (v=
    {'Yuck': <type at remote 0xad4730>, '__builtins__': <module at remote 0x7ffff7fd5ee8>, '__file__': 'Lib/test/crashers/nasty_eq_vs_dict.py', '__package__': None, 'y': <Yuck(i=0) at remote 0xaacd80>, 'dict': {0: 0, 1: 1, 2: 2, 3: 3}, '__cached__': None, '__name__': '__main__', 'z': <Yuck(i=0) at remote 0xaace60>, '__doc__': None}, key=
    0x5c2b8d "__lltrace__") at Objects/dictobject.c:2171

Observe como o argumento do dicionário para PyDict_GetItemString é exibido como seu repr(), em vez de um ponteiro PyObject * opaco.

A extensão funciona fornecendo uma rotina de impressão personalizada para valores do tipo PyObject *. Se você precisar acessar detalhes de nível inferior de um objeto, então converta o valor para um ponteiro do tipo apropriado. Por exemplo:

(gdb) p globals
$1 = {'__builtins__': <module at remote 0x7ffff7fb1868>, '__name__':
'__main__', 'ctypes': <module at remote 0x7ffff7f14360>, '__doc__': None,
'__package__': None}

(gdb) p *(PyDictObject*)globals
$2 = {ob_refcnt = 3, ob_type = 0x3dbdf85820, ma_fill = 5, ma_used = 5,
ma_mask = 7, ma_table = 0x63d0f8, ma_lookup = 0x3dbdc7ea70
<lookdict_string>, ma_smalltable = {{me_hash = 7065186196740147912,
me_key = '__builtins__', me_value = <module at remote 0x7ffff7fb1868>},
{me_hash = -368181376027291943, me_key = '__name__',
me_value ='__main__'}, {me_hash = 0, me_key = 0x0, me_value = 0x0},
{me_hash = 0, me_key = 0x0, me_value = 0x0},
{me_hash = -9177857982131165996, me_key = 'ctypes',
me_value = <module at remote 0x7ffff7f14360>},
{me_hash = -8518757509529533123, me_key = '__doc__', me_value = None},
{me_hash = 0, me_key = 0x0, me_value = 0x0}, {
  me_hash = 6614918939584953775, me_key = '__package__', me_value = None}}}

Observe que os pretty-printers não chamam realmente repr(). Para tipos básicos, eles tentam corresponder ao seu resultado de perto.

Uma área que pode ser confusa é que a impressão personalizada para alguns tipos se parece muito com a impressão embutida do GDB para tipos padrão. Por exemplo, a impressora bonita para um int do Python (PyLongObject*) fornece uma representação que não é distinguível de um inteiro de nível de máquina regular.

(gdb) p some_machine_integer
$3 = 42

(gdb) p some_python_integer
$4 = 42

A estrutura interna pode ser revelada com um elenco para PyLongObject*.

(gdb) p (PyLongObject)some_python_integer $5 = {ob_base = {ob_base = {ob_refcnt = 8, ob_type = 0x3dad39f5e0}, ob_size = 1}, ob_digit = {42}}

Uma confusão semelhante pode surgir com o tipo str, onde a saída se parece muito com a a impressão embutida do gdb para char *.

(gdb) p ptr_to_python_str
$6 = '__builtins__'

O pretty-printer para instâncias de str tem como padrão o uso de aspas simples (assim como o repr do Python para strings), enquanto o printer padrão para valores de char * usa aspas duplas e contém um endereço hexadecimal.

(gdb) p ptr_to_char_star
$7 = 0x6d72c0 "hello world"

Novamente, os detalhes de implementação podem ser revelados com um chamada a PyUnicodeObject*::.

(gdb) p *(PyUnicodeObject*)$6
$8 = {ob_base = {ob_refcnt = 33, ob_type = 0x3dad3a95a0}, length = 12,
str = 0x7ffff2128500, hash = 7065186196740147912, state = 1, defenc = 0x0}

py-list

A extensão adiciona um comando py-list, que lista o código-fonte Python (se houver) para o quadro atual na thread selecionada. A linha atual é marcada com um “>”:

(gdb) py-list
 901        if options.profile:
 902            options.profile = False
 903            profile_me()
 904            return
 905
>906        u = UI()
 907        if not u.quit:
 908            try:
 909                gtk.main()
 910            except KeyboardInterrupt:
 911                # properly quit on a keyboard interrupt...

Use py-list START para listar em um número de linha diferente dentro do código Python, e py-list START,END para listar um intervalo específico de linhas dentro do código Python.

py-up e py-down

Os comandos py-up e py-down são análogos aos comandos regulares up e down do GDB, mas tentam se mover no nível dos quadros do CPython, em vez dos quadros do C.

GDB nem sempre consegue ler as informações relevantes do quadro, dependendo do nível de otimização com o qual o CPython foi compilado. Internamente, os comandos procuram por quadros C que estão executando a função de avaliação de quadro padrão (ou seja, o laço do interpretador de bytecode principal dentro do CPython) e procuram o valor do PyFrameObject * relacionado.

Eles emitem o número do quadro (no nível C) dentro da thread.

Por exemplo:

(gdb) py-up
#37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/
gnome_sudoku/main.py, line 906, in start_game ()
    u = UI()
(gdb) py-up
#40 Frame 0x948e82c, for file /usr/lib/python2.6/site-packages/
gnome_sudoku/gnome_sudoku.py, line 22, in start_game(main=<module at remote 0xb771b7f4>)
    main.start_game()
(gdb) py-up
Unable to find an older python frame

de forma estamos no topo da pilha do Python.

Os números de quadro correspondem aos exibidos pelo comando padrão backtrace do GDB. O comando ignora os quadros C que não estão executando código Python.

Voltando para baixo:

(gdb) py-down
#37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/gnome_sudoku/main.py, line 906, in start_game ()
    u = UI()
(gdb) py-down
#34 (unable to read python frame information)
(gdb) py-down
#23 (unable to read python frame information)
(gdb) py-down
#19 (unable to read python frame information)
(gdb) py-down
#14 Frame 0x99262ac, for file /usr/lib/python2.6/site-packages/gnome_sudoku/game_selector.py, line 201, in run_swallowed_dialog (self=<NewOrSavedGameSelector(new_game_model=<gtk.ListStore at remote 0x98fab44>, puzzle=None, saved_games=[{'gsd.auto_fills': 0, 'tracking': {}, 'trackers': {}, 'notes': [], 'saved_at': 1270084485, 'game': '7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 0 0 0 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5\n7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 1 8 3 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5', 'gsd.impossible_hints': 0, 'timer.__absolute_start_time__': <float at remote 0x984b474>, 'gsd.hints': 0, 'timer.active_time': <float at remote 0x984b494>, 'timer.total_time': <float at remote 0x984b464>}], dialog=<gtk.Dialog at remote 0x98faaa4>, saved_game_model=<gtk.ListStore at remote 0x98fad24>, sudoku_maker=<SudokuMaker(terminated=False, played=[], batch_siz...(truncated)
            swallower.run_dialog(self.dialog)
(gdb) py-down
#11 Frame 0x9aead74, for file /usr/lib/python2.6/site-packages/gnome_sudoku/dialog_swallower.py, line 48, in run_dialog (self=<SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>, main_page=0) at remote 0x98fa6e4>, d=<gtk.Dialog at remote 0x98faaa4>)
            gtk.main()
(gdb) py-down
#8 (unable to read python frame information)
(gdb) py-down
Unable to find a newer python frame

e estamos na parte inferior da pilha do Python.

Observe que no Python 3.12 e versões mais recentes, o mesmo quadro de pilha C pode ser usado para vários quadros de pilha Python. Isso significa que py-up e py-down podem mover vários quadros Python de uma vez. Por exemplo:

(gdb) py-up
#6 Frame 0x7ffff7fb62b0, for file /tmp/rec.py, line 5, in recursive_function (n=0)
   time.sleep(5)
#6 Frame 0x7ffff7fb6240, for file /tmp/rec.py, line 7, in recursive_function (n=1)
   recursive_function(n-1)
#6 Frame 0x7ffff7fb61d0, for file /tmp/rec.py, line 7, in recursive_function (n=2)
   recursive_function(n-1)
#6 Frame 0x7ffff7fb6160, for file /tmp/rec.py, line 7, in recursive_function (n=3)
   recursive_function(n-1)
#6 Frame 0x7ffff7fb60f0, for file /tmp/rec.py, line 7, in recursive_function (n=4)
   recursive_function(n-1)
#6 Frame 0x7ffff7fb6080, for file /tmp/rec.py, line 7, in recursive_function (n=5)
   recursive_function(n-1)
#6 Frame 0x7ffff7fb6020, for file /tmp/rec.py, line 9, in <module> ()
   recursive_function(5)
(gdb) py-up
Unable to find an older python frame

py-bt

O comando py-bt tenta mostrar uma rastreabilidade em nível Python da thread atual.

Por exemplo:

(gdb) py-bt
#8 (unable to read python frame information)
#11 Frame 0x9aead74, for file /usr/lib/python2.6/site-packages/gnome_sudoku/dialog_swallower.py, line 48, in run_dialog (self=<SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>, main_page=0) at remote 0x98fa6e4>, d=<gtk.Dialog at remote 0x98faaa4>)
            gtk.main()
#14 Frame 0x99262ac, for file /usr/lib/python2.6/site-packages/gnome_sudoku/game_selector.py, line 201, in run_swallowed_dialog (self=<NewOrSavedGameSelector(new_game_model=<gtk.ListStore at remote 0x98fab44>, puzzle=None, saved_games=[{'gsd.auto_fills': 0, 'tracking': {}, 'trackers': {}, 'notes': [], 'saved_at': 1270084485, 'game': '7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 0 0 0 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5\n7 8 0 0 0 0 0 5 6 0 0 9 0 8 0 1 0 0 0 4 6 0 0 0 0 7 0 6 5 1 8 3 4 7 9 2 0 0 0 9 0 1 0 0 0 3 9 7 6 0 0 0 1 8 0 6 0 0 0 0 2 8 0 0 0 5 0 4 0 6 0 0 2 1 0 0 0 0 0 4 5', 'gsd.impossible_hints': 0, 'timer.__absolute_start_time__': <float at remote 0x984b474>, 'gsd.hints': 0, 'timer.active_time': <float at remote 0x984b494>, 'timer.total_time': <float at remote 0x984b464>}], dialog=<gtk.Dialog at remote 0x98faaa4>, saved_game_model=<gtk.ListStore at remote 0x98fad24>, sudoku_maker=<SudokuMaker(terminated=False, played=[], batch_siz...(truncated)
            swallower.run_dialog(self.dialog)
#19 (unable to read python frame information)
#23 (unable to read python frame information)
#34 (unable to read python frame information)
#37 Frame 0x9420b04, for file /usr/lib/python2.6/site-packages/gnome_sudoku/main.py, line 906, in start_game ()
    u = UI()
#40 Frame 0x948e82c, for file /usr/lib/python2.6/site-packages/gnome_sudoku/gnome_sudoku.py, line 22, in start_game (main=<module at remote 0xb771b7f4>)
    main.start_game()

Os números de quadro correspondem aos exibidos pelo comando padrão backtrace do GDB.

py-print

O comando py-print procura um nome em Python e tenta imprimi-lo. Ele procura em locais dentro da thread atual, depois em globais e, finalmente, em embutidos:

(gdb) py-print self
local 'self' = <SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>,
main_page=0) at remote 0x98fa6e4>
(gdb) py-print __name__
global '__name__' = 'gnome_sudoku.dialog_swallower'
(gdb) py-print len
builtin 'len' = <built-in function len>
(gdb) py-print scarlet_pimpernel
'scarlet_pimpernel' not found

Se o quadro C atual corresponder a vários quadros Python, py-print considera apenas o primeiro.

py-locals

O comando py-locals busca todas as variáveis locais do Python no quadro Python atual na thread selecionada e imprime suas representações:

(gdb) py-locals
self = <SwappableArea(running=<gtk.Dialog at remote 0x98faaa4>,
main_page=0) at remote 0x98fa6e4>
d = <gtk.Dialog at remote 0x98faaa4>

Se o quadro C atual corresponder a vários quadros Python, serão mostrados os locais de todos eles:

(gdb) py-locals
Locals for recursive_function
n = 0
Locals for recursive_function
n = 1
Locals for recursive_function
n = 2
Locals for recursive_function
n = 3
Locals for recursive_function
n = 4
Locals for recursive_function
n = 5
Locals for <module>

Uso com comandos do GDB

Os comandos de extensão complementam os comandos embutidos do GDB. Por exemplo, você pode usar os números de quadro mostrados por py-bt com o comando frame para ir a um quadro específico dentro da thread selecionada, assim:

(gdb) py-bt
(output snipped)
#68 Frame 0xaa4560, for file Lib/test/regrtest.py, line 1548, in <module> ()
        main()
(gdb) frame 68
#68 0x00000000004cd1e6 in PyEval_EvalFrameEx (f=Frame 0xaa4560, for file Lib/test/regrtest.py, line 1548, in <module> (), throwflag=0) at Python/ceval.c:2665
2665                            x = call_function(&sp, oparg);
(gdb) py-list
1543        # Run the tests in a context manager that temporary changes the CWD to a
1544        # temporary and writable directory. If it's not possible to create or
1545        # change the CWD, the original CWD will be used. The original CWD is
1546        # available from test_support.SAVEDCWD.
1547        with test_support.temp_cwd(TESTCWD, quiet=True):
>1548            main()

O comando info threads fornecerá uma lista das threads dentro do processo, e você pode usar o comando thread para selecionar uma diferente:

(gdb) info threads
  105 Thread 0x7fffefa18710 (LWP 10260)  sem_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/sem_wait.S:86
  104 Thread 0x7fffdf5fe710 (LWP 10259)  sem_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/sem_wait.S:86
* 1 Thread 0x7ffff7fe2700 (LWP 10145)  0x00000038e46d73e3 in select () at ../sysdeps/unix/syscall-template.S:82

Você pode usar thread apply all COMANDO ou (t a a COMANDO para abreviar) para executar um comando em todas as threads. Com py-bt, isso permite que você veja o que cada thread está fazendo no nível do Python:

(gdb) t a a py-bt

Thread 105 (Thread 0x7fffefa18710 (LWP 10260)):
#5 Frame 0x7fffd00019d0, for file /home/david/coding/python-svn/Lib/threading.py, line 155, in _acquire_restore (self=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, count_owner=(1, 140737213728528), count=1, owner=140737213728528)
        self.__block.acquire()
#8 Frame 0x7fffac001640, for file /home/david/coding/python-svn/Lib/threading.py, line 269, in wait (self=<_Condition(_Condition__lock=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, acquire=<instancemethod at remote 0xd80260>, _is_owned=<instancemethod at remote 0xd80160>, _release_save=<instancemethod at remote 0xd803e0>, release=<instancemethod at remote 0xd802e0>, _acquire_restore=<instancemethod at remote 0xd7ee60>, _Verbose__verbose=False, _Condition__waiters=[]) at remote 0xd7fd10>, timeout=None, waiter=<thread.lock at remote 0x858a90>, saved_state=(1, 140737213728528))
            self._acquire_restore(saved_state)
#12 Frame 0x7fffb8001a10, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 348, in f ()
            cond.wait()
#16 Frame 0x7fffb8001c40, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 37, in task (tid=140737213728528)
                f()

Thread 104 (Thread 0x7fffdf5fe710 (LWP 10259)):
#5 Frame 0x7fffe4001580, for file /home/david/coding/python-svn/Lib/threading.py, line 155, in _acquire_restore (self=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, count_owner=(1, 140736940992272), count=1, owner=140736940992272)
        self.__block.acquire()
#8 Frame 0x7fffc8002090, for file /home/david/coding/python-svn/Lib/threading.py, line 269, in wait (self=<_Condition(_Condition__lock=<_RLock(_Verbose__verbose=False, _RLock__owner=140737354016512, _RLock__block=<thread.lock at remote 0x858770>, _RLock__count=1) at remote 0xd7ff40>, acquire=<instancemethod at remote 0xd80260>, _is_owned=<instancemethod at remote 0xd80160>, _release_save=<instancemethod at remote 0xd803e0>, release=<instancemethod at remote 0xd802e0>, _acquire_restore=<instancemethod at remote 0xd7ee60>, _Verbose__verbose=False, _Condition__waiters=[]) at remote 0xd7fd10>, timeout=None, waiter=<thread.lock at remote 0x858860>, saved_state=(1, 140736940992272))
            self._acquire_restore(saved_state)
#12 Frame 0x7fffac001c90, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 348, in f ()
            cond.wait()
#16 Frame 0x7fffac0011c0, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 37, in task (tid=140736940992272)
                f()

Thread 1 (Thread 0x7ffff7fe2700 (LWP 10145)):
#5 Frame 0xcb5380, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 16, in _wait ()
    time.sleep(0.01)
#8 Frame 0x7fffd00024a0, for file /home/david/coding/python-svn/Lib/test/lock_tests.py, line 378, in _check_notify (self=<ConditionTests(_testMethodName='test_notify', _resultForDoCleanups=<TestResult(_original_stdout=<cStringIO.StringO at remote 0xc191e0>, skipped=[], _mirrorOutput=False, testsRun=39, buffer=False, _original_stderr=<file at remote 0x7ffff7fc6340>, _stdout_buffer=<cStringIO.StringO at remote 0xc9c7f8>, _stderr_buffer=<cStringIO.StringO at remote 0xc9c790>, _moduleSetUpFailed=False, expectedFailures=[], errors=[], _previousTestClass=<type at remote 0x928310>, unexpectedSuccesses=[], failures=[], shouldStop=False, failfast=False) at remote 0xc185a0>, _threads=(0,), _cleanups=[], _type_equality_funcs={<type at remote 0x7eba00>: <instancemethod at remote 0xd750e0>, <type at remote 0x7e7820>: <instancemethod at remote 0xd75160>, <type at remote 0x7e30e0>: <instancemethod at remote 0xd75060>, <type at remote 0x7e7d20>: <instancemethod at remote 0xd751e0>, <type at remote 0x7f19e0...(truncated)
        _wait()

Enum

Uma Enum`é um conjunto de nomes simbólicos vinculados a valores únicos. São similares a variáveis globais, mas eles oferecem uma :func:`repr mais útil, agrupamento, segurança de tipo e alguns outros recursos.

Eles são mais úteis quando você tem uma variável que pode ter uma seleção limitada de valores. Por exemplo, os dias da semana:

>>> from enum import Enum
>>> class Weekday(Enum):
...     MONDAY = 1
...     TUESDAY = 2
...     WEDNESDAY = 3
...     THURSDAY = 4
...     FRIDAY = 5
...     SATURDAY = 6
...     SUNDAY = 7

Ou talvez as cores primárias RGB:

>>> from enum import Enum
>>> class Color(Enum):
...     RED = 1
...     GREEN = 2
...     BLUE = 3

Como você pode ver, criar um Enum é tão simples quanto escrever uma classe que herda do próprio Enum.

Nota

Caso de membros de Enums

Como os Enums são usados para representar constantes, e para ajudar a evitar problemas com nomes conflitando entre métodos/atributos de classes mixin e nomes enum, nós fortemente recomendamos o uso de nomes em UPPER_CASE(em caixa alta) para membros, e usaremos esse estilo em nossos exemplos.

Dependendo da natureza do enum, o valor de um membro pode ou não ser importante, mas de qualquer forma esse valor pode ser usado para obter o membro correspondente:

>>> Weekday(3)
<Weekday.WEDNESDAY: 3>

Como você pode ver, o repr() de um membro mostra o nome do enum, o nome do membro e o valor. O str() de um membro mostra apenas o nome do enum e o nome do membro:

>>> print(Weekday.THURSDAY)
Weekday.THURSDAY

O tipo de um membro de enumeração é o enum ao qual ele pertence:

>>> type(Weekday.MONDAY)
<enum 'Weekday'>
>>> isinstance(Weekday.FRIDAY, Weekday)
True

Os membros do Enum têm um atributo que contém apenas seu name:

>>> print(Weekday.TUESDAY.name)
TUESDAY

Da mesma forma, eles têm um atributo para seu value:

>>> Weekday.WEDNESDAY.value
3

Ao contrário de muitas linguagens que tratam enumerações apenas como pares de nome/valor, Enums do Python podem ter comportamento adicionado. Por exemplo, datetime.date tem dois métodos para retornar o dia da semana: weekday() e isoweekday(). A diferença é que um deles conta de 0 a 6 e o outro de 1 a 7. Em vez de acompanhar isso nós mesmos, podemos adicionar um método ao enum de Weekday para extrair o dia da instância de date e retornar o membro enum correspondente:

@classmethod
def from_date(cls, date):
    return cls(date.isoweekday())

O enum de Weekday completa agora tem esta forma:

>>> class Weekday(Enum):
...     MONDAY = 1
...     TUESDAY = 2
...     WEDNESDAY = 3
...     THURSDAY = 4
...     FRIDAY = 5
...     SATURDAY = 6
...     SUNDAY = 7
...     #
...     @classmethod
...     def from_date(cls, date):
...         return cls(date.isoweekday())

Agora podemos descobrir o que é hoje! Observar:

>>> from datetime import date
>>> Weekday.from_date(date.today())
<Weekday.TUESDAY: 2>

Claro, se você estiver lendo isso em algum outro dia, você verá esse dia.

Este enum Weekday é ótimo se nossa variável precisar apenas de um dia, mas e se precisarmos de vários? Talvez estejamos escrevendo uma função para traçar tarefas durante uma semana e não queremos usar uma list – poderíamos usar um tipo diferente de Enum:

>>> from enum import Flag
>>> class Weekday(Flag):
...     MONDAY = 1
...     TUESDAY = 2
...     WEDNESDAY = 4
...     THURSDAY = 8
...     FRIDAY = 16
...     SATURDAY = 32
...     SUNDAY = 64

Nós mudamos duas coisas: estamos herdando de Flag, e os valores são todos potências de 2.

Assim como o enum Weekday original acima, podemos ter uma seleção única:

>>> first_week_day = Weekday.MONDAY
>>> first_week_day
<Weekday.MONDAY: 1>

Porem Flag também nos permite combinar vários membros em uma única variável:

>>> weekend = Weekday.SATURDAY | Weekday.SUNDAY
>>> weekend
<Weekday.SATURDAY|SUNDAY: 96>

Você pode até mesmo iterar sobre uma variável Flag:

>>> for day in weekend:
...     print(day)
Weekday.SATURDAY
Weekday.SUNDAY

Certo, vamos configurar algumas tarefas domésticas:

>>> chores_for_ethan = {
...     'feed the cat': Weekday.MONDAY | Weekday.WEDNESDAY | Weekday.FRIDAY,
...     'do the dishes': Weekday.TUESDAY | Weekday.THURSDAY,
...     'answer SO questions': Weekday.SATURDAY,
...     }

E a função para mostrar as tarefas domésticas para um determinado dia:

>>> def show_chores(chores, day):
...     for chore, days in chores.items():
...         if day in days:
...             print(chore)
...
>>> show_chores(chores_for_ethan, Weekday.SATURDAY)
answer SO questions

In cases where the actual values of the members do not matter, you can save yourself some work and use auto() for the values:

>>> from enum import auto
>>> class Weekday(Flag):
...     MONDAY = auto()
...     TUESDAY = auto()
...     WEDNESDAY = auto()
...     THURSDAY = auto()
...     FRIDAY = auto()
...     SATURDAY = auto()
...     SUNDAY = auto()
...     WEEKEND = SATURDAY | SUNDAY

Acesso programático aos membros da enumeração e seus atributos.

Em alguns momentos, é util ter acesso aos membros na enumeração de forma programática(ou seja, em situações em que Color.RED não é adequado porque a cor exata não é conhecida no momento da escrita do programa).``Enum`` permite esse tipo de acesso:

>>> Color(1)
<Color.RED: 1>
>>> Color(3)
<Color.BLUE: 3>

Se você deseja ter acesso aos membros do enum pelo nome, use o acesso por itens:

>>> Color['RED']
<Color.RED: 1>
>>> Color['GREEN']
<Color.GREEN: 2>

Se você tem um membro do enum e precisa do seu name ou value:

>>> member = Color.RED
>>> member.name
'RED'
>>> member.value
1

Duplicar membros do enum e seus valores.

Ter dois membros de um enum com o mesmo nome é inválido:

>>> class Shape(Enum):
...     SQUARE = 2
...     SQUARE = 3
...
Traceback (most recent call last):
...
TypeError: 'SQUARE' already defined as 2

Porém, um membro do enum pode ter outros nomes associados a ele. Dado dois membros A e B com o mesmo valor (e A definido primeiro), B é um apelido para o membro A. A pesquisa por valor de A retorna o membro A. A Pesquisa por nome de A também retorna o membro A. A pesquisa por nome de B também retorna o membro A:

>>> class Shape(Enum):
...     SQUARE = 2
...     DIAMOND = 1
...     CIRCLE = 3
...     ALIAS_FOR_SQUARE = 2
...
>>> Shape.SQUARE
<Shape.SQUARE: 2>
>>> Shape.ALIAS_FOR_SQUARE
<Shape.SQUARE: 2>
>>> Shape(2)
<Shape.SQUARE: 2>

Nota

Tentar criar um membro com o mesmo nome de um atributo já definido (outro membro, um método, etc.) ou tentar criar um atributo com o mesmo nome de um membro não é permitido.

Garantindo valores únicos de enumeração

Por padrão, enumerações permitem múltiplos nomes como apelidos para o mesmo valor. Quando esse comportamento não é desejado, você pode usar o decorador unique():

>>> from enum import Enum, unique
>>> @unique
... class Mistake(Enum):
...     ONE = 1
...     TWO = 2
...     THREE = 3
...     FOUR = 3
...
Traceback (most recent call last):
...
ValueError: duplicate values found in <enum 'Mistake'>: FOUR -> THREE

Usando valores automáticos

Se o exato valor não é importante, você pode usar auto:

>>> from enum import Enum, auto
>>> class Color(Enum):
...     RED = auto()
...     BLUE = auto()
...     GREEN = auto()
...
>>> [member.value for member in Color]
[1, 2, 3]

Os valores são escolhidos por _generate_next_value_(), o qual pode ser substituído:

>>> class AutoName(Enum):
...     @staticmethod
...     def _generate_next_value_(name, start, count, last_values):
...         return name
...
>>> class Ordinal(AutoName):
...     NORTH = auto()
...     SOUTH = auto()
...     EAST = auto()
...     WEST = auto()
...
>>> [member.value for member in Ordinal]
['NORTH', 'SOUTH', 'EAST', 'WEST']

Nota

O método _generate_next_value_() deve ser definido antes de qualquer membro.

Iteração

Iterar sobre os membros de um enum não fornece os apelidos:

>>> list(Shape)
[<Shape.SQUARE: 2>, <Shape.DIAMOND: 1>, <Shape.CIRCLE: 3>]
>>> list(Weekday)
[<Weekday.MONDAY: 1>, <Weekday.TUESDAY: 2>, <Weekday.WEDNESDAY: 4>, <Weekday.THURSDAY: 8>, <Weekday.FRIDAY: 16>, <Weekday.SATURDAY: 32>, <Weekday.SUNDAY: 64>]

Note que os apelidos Shape.ALIAS_FOR_SQUARE e Weekday.WEEKEND não são mostrados.

O atributo especial __members__ é um mapeamento ordenado somente leitura de nomes para os membros. Isso inclui todos os nomes definidos na enumeração, incluindo os apelidos:

>>> for name, member in Shape.__members__.items():
...     name, member
...
('SQUARE', <Shape.SQUARE: 2>)
('DIAMOND', <Shape.DIAMOND: 1>)
('CIRCLE', <Shape.CIRCLE: 3>)
('ALIAS_FOR_SQUARE', <Shape.SQUARE: 2>)

O atributo __members__ pode ser usado para um acesso programático detalhado aos membros da enumeração. Por exemplo, achar todos os apelidos:

>>> [name for name, member in Shape.__members__.items() if member.name != name]
['ALIAS_FOR_SQUARE']

Nota

Aliases for flags include values with multiple flags set, such as 3, and no flags set, i.e. 0.

Comparações

Membros de uma enumeração são comparados por identidade:

>>> Color.RED is Color.RED
True
>>> Color.RED is Color.BLUE
False
>>> Color.RED is not Color.BLUE
True

Ordered comparisons between enumeration values are not supported. Enum members are not integers (but see IntEnum below):

>>> Color.RED < Color.BLUE
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: '<' not supported between instances of 'Color' and 'Color'

Equality comparisons are defined though:

>>> Color.BLUE == Color.RED
False
>>> Color.BLUE != Color.RED
True
>>> Color.BLUE == Color.BLUE
True

Comparisons against non-enumeration values will always compare not equal (again, IntEnum was explicitly designed to behave differently, see below):

>>> Color.BLUE == 2
False

Aviso

É possivel recarregar módulos – se um módulo recarregado contém enums, eles serão recriados, e os novos membros não podem ser comparados de forma identifica/igual a membros originais.

Membros e atributos permitidos em enumerações

Most of the examples above use integers for enumeration values. Using integers is short and handy (and provided by default by the Functional API), but not strictly enforced. In the vast majority of use-cases, one doesn’t care what the actual value of an enumeration is. But if the value is important, enumerations can have arbitrary values.

Enumeções são classes Python, e podem ter métodos e até mesmo métodos especiais como de usual. Se temos essa enumeração:

>>> class Mood(Enum):
...     FUNKY = 1
...     HAPPY = 3
...
...     def describe(self):
...         # self is the member here
...         return self.name, self.value
...
...     def __str__(self):
...         return 'my custom str! {0}'.format(self.value)
...
...     @classmethod
...     def favorite_mood(cls):
...         # cls here is the enumeration
...         return cls.HAPPY
...

Then:

>>> Mood.favorite_mood()
<Mood.HAPPY: 3>
>>> Mood.HAPPY.describe()
('HAPPY', 3)
>>> str(Mood.FUNKY)
'my custom str! 1'

The rules for what is allowed are as follows: names that start and end with a single underscore are reserved by enum and cannot be used; all other attributes defined within an enumeration will become members of this enumeration, with the exception of special methods (__str__(), __add__(), etc.), descriptors (methods are also descriptors), and variable names listed in _ignore_.

Note: if your enumeration defines __new__() and/or __init__(), any value(s) given to the enum member will be passed into those methods. See Planet for an example.

Nota

The __new__() method, if defined, is used during creation of the Enum members; it is then replaced by Enum’s __new__() which is used after class creation for lookup of existing members. See When to use __new__() vs. __init__() for more details.

Restricted Enum subclassing

A new Enum class must have one base enum class, up to one concrete data type, and as many object-based mixin classes as needed. The order of these base classes is:

class EnumName([mix-in, ...,] [data-type,] base-enum):
    pass

Also, subclassing an enumeration is allowed only if the enumeration does not define any members. So this is forbidden:

>>> class MoreColor(Color):
...     PINK = 17
...
Traceback (most recent call last):
...
TypeError: <enum 'MoreColor'> cannot extend <enum 'Color'>

Mas isso é permitido:

>>> class Foo(Enum):
...     def some_behavior(self):
...         pass
...
>>> class Bar(Foo):
...     HAPPY = 1
...     SAD = 2
...

Allowing subclassing of enums that define members would lead to a violation of some important invariants of types and instances. On the other hand, it makes sense to allow sharing some common behavior between a group of enumerations. (See OrderedEnum for an example.)

Dataclass support

When inheriting from a dataclass, the __repr__() omits the inherited class’ name. For example:

>>> from dataclasses import dataclass, field
>>> @dataclass
... class CreatureDataMixin:
...     size: str
...     legs: int
...     tail: bool = field(repr=False, default=True)
...
>>> class Creature(CreatureDataMixin, Enum):
...     BEETLE = 'small', 6
...     DOG = 'medium', 4
...
>>> Creature.DOG
<Creature.DOG: size='medium', legs=4>

Use the dataclass() argument repr=False to use the standard repr().

Alterado na versão 3.12: Only the dataclass fields are shown in the value area, not the dataclass’ name.

Nota

Adding dataclass() decorator to Enum and its subclasses is not supported. It will not raise any errors, but it will produce very strange results at runtime, such as members being equal to each other:

>>> @dataclass               # don't do this: it does not make any sense
... class Color(Enum):
...    RED = 1
...    BLUE = 2
...
>>> Color.RED is Color.BLUE
False
>>> Color.RED == Color.BLUE  # problem is here: they should not be equal
True

Pickling

Enumerations can be pickled and unpickled:

>>> from test.test_enum import Fruit
>>> from pickle import dumps, loads
>>> Fruit.TOMATO is loads(dumps(Fruit.TOMATO))
True

The usual restrictions for pickling apply: picklable enums must be defined in the top level of a module, since unpickling requires them to be importable from that module.

Nota

With pickle protocol version 4 it is possible to easily pickle enums nested in other classes.

It is possible to modify how enum members are pickled/unpickled by defining __reduce_ex__() in the enumeration class. The default method is by-value, but enums with complicated values may want to use by-name:

>>> import enum
>>> class MyEnum(enum.Enum):
...     __reduce_ex__ = enum.pickle_by_enum_name

Nota

Using by-name for flags is not recommended, as unnamed aliases will not unpickle.

API funcional

The Enum class is callable, providing the following functional API:

>>> Animal = Enum('Animal', 'ANT BEE CAT DOG')
>>> Animal
<enum 'Animal'>
>>> Animal.ANT
<Animal.ANT: 1>
>>> list(Animal)
[<Animal.ANT: 1>, <Animal.BEE: 2>, <Animal.CAT: 3>, <Animal.DOG: 4>]

The semantics of this API resemble namedtuple. The first argument of the call to Enum is the name of the enumeration.

The second argument is the source of enumeration member names. It can be a whitespace-separated string of names, a sequence of names, a sequence of 2-tuples with key/value pairs, or a mapping (e.g. dictionary) of names to values. The last two options enable assigning arbitrary values to enumerations; the others auto-assign increasing integers starting with 1 (use the start parameter to specify a different starting value). A new class derived from Enum is returned. In other words, the above assignment to Animal is equivalent to:

>>> class Animal(Enum):
...     ANT = 1
...     BEE = 2
...     CAT = 3
...     DOG = 4
...

The reason for defaulting to 1 as the starting number and not 0 is that 0 is False in a boolean sense, but by default enum members all evaluate to True.

Pickling enums created with the functional API can be tricky as frame stack implementation details are used to try and figure out which module the enumeration is being created in (e.g. it will fail if you use a utility function in a separate module, and also may not work on IronPython or Jython). The solution is to specify the module name explicitly as follows:

>>> Animal = Enum('Animal', 'ANT BEE CAT DOG', module=__name__)

Aviso

If module is not supplied, and Enum cannot determine what it is, the new Enum members will not be unpicklable; to keep errors closer to the source, pickling will be disabled.

The new pickle protocol 4 also, in some circumstances, relies on __qualname__ being set to the location where pickle will be able to find the class. For example, if the class was made available in class SomeData in the global scope:

>>> Animal = Enum('Animal', 'ANT BEE CAT DOG', qualname='SomeData.Animal')

The complete signature is:

Enum(
    value='NewEnumName',
    names=<...>,
    *,
    module='...',
    qualname='...',
    type=<mixed-in class>,
    start=1,
    )

value: What the new enum class will record as its name.

names: The enum members. This can be a whitespace- or comma-separated string (values will start at 1 unless otherwise specified):

'RED GREEN BLUE' | 'RED,GREEN,BLUE' | 'RED, GREEN, BLUE'

or an iterator of names:

['RED', 'GREEN', 'BLUE']

or an iterator of (name, value) pairs:

[('CYAN', 4), ('MAGENTA', 5), ('YELLOW', 6)]

or a mapping:

{'CHARTREUSE': 7, 'SEA_GREEN': 11, 'ROSEMARY': 42}

module: name of module where new enum class can be found.

qualname: where in module new enum class can be found.

type: type to mix in to new enum class.

start: number to start counting at if only names are passed in.

Alterado na versão 3.5: The start parameter was added.

Derived Enumerations

IntEnum

The first variation of Enum that is provided is also a subclass of int. Members of an IntEnum can be compared to integers; by extension, integer enumerations of different types can also be compared to each other:

>>> from enum import IntEnum
>>> class Shape(IntEnum):
...     CIRCLE = 1
...     SQUARE = 2
...
>>> class Request(IntEnum):
...     POST = 1
...     GET = 2
...
>>> Shape == 1
False
>>> Shape.CIRCLE == 1
True
>>> Shape.CIRCLE == Request.POST
True

However, they still can’t be compared to standard Enum enumerations:

>>> class Shape(IntEnum):
...     CIRCLE = 1
...     SQUARE = 2
...
>>> class Color(Enum):
...     RED = 1
...     GREEN = 2
...
>>> Shape.CIRCLE == Color.RED
False

IntEnum values behave like integers in other ways you’d expect:

>>> int(Shape.CIRCLE)
1
>>> ['a', 'b', 'c'][Shape.CIRCLE]
'b'
>>> [i for i in range(Shape.SQUARE)]
[0, 1]

StrEnum

The second variation of Enum that is provided is also a subclass of str. Members of a StrEnum can be compared to strings; by extension, string enumerations of different types can also be compared to each other.

Adicionado na versão 3.11.

IntFlag

The next variation of Enum provided, IntFlag, is also based on int. The difference being IntFlag members can be combined using the bitwise operators (&, |, ^, ~) and the result is still an IntFlag member, if possible. Like IntEnum, IntFlag members are also integers and can be used wherever an int is used.

Nota

Any operation on an IntFlag member besides the bit-wise operations will lose the IntFlag membership.

Bit-wise operations that result in invalid IntFlag values will lose the IntFlag membership. See FlagBoundary for details.

Adicionado na versão 3.6.

Alterado na versão 3.11.

Sample IntFlag class:

>>> from enum import IntFlag
>>> class Perm(IntFlag):
...     R = 4
...     W = 2
...     X = 1
...
>>> Perm.R | Perm.W
<Perm.R|W: 6>
>>> Perm.R + Perm.W
6
>>> RW = Perm.R | Perm.W
>>> Perm.R in RW
True

It is also possible to name the combinations:

>>> class Perm(IntFlag):
...     R = 4
...     W = 2
...     X = 1
...     RWX = 7
...
>>> Perm.RWX
<Perm.RWX: 7>
>>> ~Perm.RWX
<Perm: 0>
>>> Perm(7)
<Perm.RWX: 7>

Nota

Named combinations are considered aliases. Aliases do not show up during iteration, but can be returned from by-value lookups.

Alterado na versão 3.11.

Another important difference between IntFlag and Enum is that if no flags are set (the value is 0), its boolean evaluation is False:

>>> Perm.R & Perm.X
<Perm: 0>
>>> bool(Perm.R & Perm.X)
False

Because IntFlag members are also subclasses of int they can be combined with them (but may lose IntFlag membership:

>>> Perm.X | 4
<Perm.R|X: 5>

>>> Perm.X + 8
9

Nota

The negation operator, ~, always returns an IntFlag member with a positive value:

>>> (~Perm.X).value == (Perm.R|Perm.W).value == 6
True

IntFlag members can also be iterated over:

>>> list(RW)
[<Perm.R: 4>, <Perm.W: 2>]

Adicionado na versão 3.11.

Sinalizador

The last variation is Flag. Like IntFlag, Flag members can be combined using the bitwise operators (&, |, ^, ~). Unlike IntFlag, they cannot be combined with, nor compared against, any other Flag enumeration, nor int. While it is possible to specify the values directly it is recommended to use auto as the value and let Flag select an appropriate value.

Adicionado na versão 3.6.

Like IntFlag, if a combination of Flag members results in no flags being set, the boolean evaluation is False:

>>> from enum import Flag, auto
>>> class Color(Flag):
...     RED = auto()
...     BLUE = auto()
...     GREEN = auto()
...
>>> Color.RED & Color.GREEN
<Color: 0>
>>> bool(Color.RED & Color.GREEN)
False

Individual flags should have values that are powers of two (1, 2, 4, 8, …), while combinations of flags will not:

>>> class Color(Flag):
...     RED = auto()
...     BLUE = auto()
...     GREEN = auto()
...     WHITE = RED | BLUE | GREEN
...
>>> Color.WHITE
<Color.WHITE: 7>

Giving a name to the “no flags set” condition does not change its boolean value:

>>> class Color(Flag):
...     BLACK = 0
...     RED = auto()
...     BLUE = auto()
...     GREEN = auto()
...
>>> Color.BLACK
<Color.BLACK: 0>
>>> bool(Color.BLACK)
False

Flag members can also be iterated over:

>>> purple = Color.RED | Color.BLUE
>>> list(purple)
[<Color.RED: 1>, <Color.BLUE: 2>]

Adicionado na versão 3.11.

Nota

For the majority of new code, Enum and Flag are strongly recommended, since IntEnum and IntFlag break some semantic promises of an enumeration (by being comparable to integers, and thus by transitivity to other unrelated enumerations). IntEnum and IntFlag should be used only in cases where Enum and Flag will not do; for example, when integer constants are replaced with enumerations, or for interoperability with other systems.

Outros

While IntEnum is part of the enum module, it would be very simple to implement independently:

class IntEnum(int, ReprEnum):   # or Enum instead of ReprEnum
    pass

This demonstrates how similar derived enumerations can be defined; for example a FloatEnum that mixes in float instead of int.

Some rules:

When subclassing Enum, mix-in types must appear before the Enum class itself in the sequence of bases, as in the IntEnum example above.

Mix-in types must be subclassable. For example, bool and range are not subclassable and will throw an error during Enum creation if used as the mix-in type.

While Enum can have members of any type, once you mix in an additional type, all the members must have values of that type, e.g. int above. This restriction does not apply to mix-ins which only add methods and don’t specify another type.

When another data type is mixed in, the value attribute is not the same as the enum member itself, although it is equivalent and will compare equal.

A data type is a mixin that defines __new__(), or a dataclass

%-style formatting: %s and %r call the Enum class’s __str__() and __repr__() respectively; other codes (such as %i or %h for IntEnum) treat the enum member as its mixed-in type.

Formatted string literals, str.format(), and format() will use the enum’s __str__() method.

Nota

Because IntEnum, IntFlag, and StrEnum are designed to be drop-in replacements for existing constants, their __str__() method has been reset to their data types’ __str__() method.

When to use __new__() vs. __init__()

__new__() must be used whenever you want to customize the actual value of the Enum member. Any other modifications may go in either __new__() or __init__(), with __init__() being preferred.

For example, if you want to pass several items to the constructor, but only want one of them to be the value:

>>> class Coordinate(bytes, Enum):
...     """
...     Coordinate with binary codes that can be indexed by the int code.
...     """
...     def __new__(cls, value, label, unit):
...         obj = bytes.__new__(cls, [value])
...         obj._value_ = value
...         obj.label = label
...         obj.unit = unit
...         return obj
...     PX = (0, 'P.X', 'km')
...     PY = (1, 'P.Y', 'km')
...     VX = (2, 'V.X', 'km/s')
...     VY = (3, 'V.Y', 'km/s')
...

>>> print(Coordinate['PY'])
Coordinate.PY

>>> print(Coordinate(3))
Coordinate.VY

Aviso

Do not call super().__new__(), as the lookup-only __new__ is the one that is found; instead, use the data type directly.

Finer Points

Nomes __dunder__ suportados

__members__ is a read-only ordered mapping of member_name:member items. It is only available on the class.

__new__(), if specified, must create and return the enum members; it is also a very good idea to set the member’s _value_ appropriately. Once all the members are created it is no longer used.

Nomes _sunder_ suportados

_name_ – name of the member

_value_ – value of the member; can be set in __new__

_missing_() – a lookup function used when a value is not found; may be overridden

_ignore_ – a list of names, either as a list or a str, that will not be transformed into members, and will be removed from the final class

_generate_next_value_() – used to get an appropriate value for an enum member; may be overridden

_add_alias_() – adds a new name as an alias to an existing member.

_add_value_alias_() – adds a new value as an alias to an existing member. See MultiValueEnum for an example.

Nota

For standard Enum classes the next value chosen is the highest value seen incremented by one.

For Flag classes the next value chosen will be the next highest power-of-two.

Alterado na versão 3.13: Prior versions would use the last seen value instead of the highest value.

Adicionado na versão 3.6: _missing_, _order_, _generate_next_value_

Adicionado na versão 3.7: _ignore_

Adicionado na versão 3.13: _add_alias_, _add_value_alias_

To help keep Python 2 / Python 3 code in sync an _order_ attribute can be provided. It will be checked against the actual order of the enumeration and raise an error if the two do not match:

>>> class Color(Enum):
...     _order_ = 'RED GREEN BLUE'
...     RED = 1
...     BLUE = 3
...     GREEN = 2
...
Traceback (most recent call last):
...
TypeError: member order does not match _order_:
  ['RED', 'BLUE', 'GREEN']
  ['RED', 'GREEN', 'BLUE']

Nota

In Python 2 code the _order_ attribute is necessary as definition order is lost before it can be recorded.

_Private__names

Private names are not converted to enum members, but remain normal attributes.

Alterado na versão 3.11.

Enum member type

Enum members are instances of their enum class, and are normally accessed as EnumClass.member. In certain situations, such as writing custom enum behavior, being able to access one member directly from another is useful, and is supported; however, in order to avoid name clashes between member names and attributes/methods from mixed-in classes, upper-case names are strongly recommended.

Alterado na versão 3.5.

Creating members that are mixed with other data types

When subclassing other data types, such as int or str, with an Enum, all values after the = are passed to that data type’s constructor. For example:

>>> class MyEnum(IntEnum):      # help(int) -> int(x, base=10) -> integer
...     example = '11', 16      # so x='11' and base=16
...
>>> MyEnum.example.value        # and hex(11) is...
17

Boolean value of Enum classes and members

Enum classes that are mixed with non-Enum types (such as int, str, etc.) are evaluated according to the mixed-in type’s rules; otherwise, all members evaluate as True. To make your own enum’s boolean evaluation depend on the member’s value add the following to your class:

def __bool__(self):
    return bool(self.value)

Plain Enum classes always evaluate as True.

Enum classes with methods

If you give your enum subclass extra methods, like the Planet class below, those methods will show up in a dir() of the member, but not of the class:

>>> dir(Planet)
['EARTH', 'JUPITER', 'MARS', 'MERCURY', 'NEPTUNE', 'SATURN', 'URANUS', 'VENUS', '__class__', '__doc__', '__members__', '__module__']
>>> dir(Planet.EARTH)
['__class__', '__doc__', '__module__', 'mass', 'name', 'radius', 'surface_gravity', 'value']

Combining members of Flag

Iterating over a combination of Flag members will only return the members that are comprised of a single bit:

>>> class Color(Flag):
...     RED = auto()
...     GREEN = auto()
...     BLUE = auto()
...     MAGENTA = RED | BLUE
...     YELLOW = RED | GREEN
...     CYAN = GREEN | BLUE
...
>>> Color(3)  # named combination
<Color.YELLOW: 3>
>>> Color(7)      # not named combination
<Color.RED|GREEN|BLUE: 7>

Flag and IntFlag minutia

Using the following snippet for our examples:

>>> class Color(IntFlag):
...     BLACK = 0
...     RED = 1
...     GREEN = 2
...     BLUE = 4
...     PURPLE = RED | BLUE
...     WHITE = RED | GREEN | BLUE
...

the following are true:

single-bit flags are canonical

multi-bit and zero-bit flags are aliases

only canonical flags are returned during iteration:

>>> list(Color.WHITE)
[<Color.RED: 1>, <Color.GREEN: 2>, <Color.BLUE: 4>]

negating a flag or flag set returns a new flag/flag set with the corresponding positive integer value:

>>> Color.BLUE
<Color.BLUE: 4>

>>> ~Color.BLUE
<Color.RED|GREEN: 3>

names of pseudo-flags are constructed from their members’ names:

>>> (Color.RED | Color.GREEN).name
'RED|GREEN'

>>> class Perm(IntFlag):
...     R = 4
...     W = 2
...     X = 1
...
>>> (Perm.R & Perm.W).name is None  # effectively Perm(0)
True

multi-bit flags, aka aliases, can be returned from operations:

>>> Color.RED | Color.BLUE
<Color.PURPLE: 5>

>>> Color(7)  # or Color(-1)
<Color.WHITE: 7>

>>> Color(0)
<Color.BLACK: 0>

membership / containment checking: zero-valued flags are always considered to be contained:

>>> Color.BLACK in Color.WHITE
True

otherwise, only if all bits of one flag are in the other flag will True be returned:

>>> Color.PURPLE in Color.WHITE
True

>>> Color.GREEN in Color.PURPLE
False

There is a new boundary mechanism that controls how out-of-range / invalid bits are handled: STRICT, CONFORM, EJECT, and KEEP:

STRICT –> raises an exception when presented with invalid values

CONFORM –> discards any invalid bits

EJECT –> lose Flag status and become a normal int with the given value

KEEP –> keep the extra bits

keeps Flag status and extra bits

extra bits do not show up in iteration

extra bits do show up in repr() and str()

The default for Flag is STRICT, the default for IntFlag is EJECT, and the default for _convert_ is KEEP (see ssl.Options for an example of when KEEP is needed).

How are Enums and Flags different?

Enums have a custom metaclass that affects many aspects of both derived Enum classes and their instances (members).

Enum Classes

The EnumType metaclass is responsible for providing the __contains__(), __dir__(), __iter__() and other methods that allow one to do things with an Enum class that fail on a typical class, such as list(Color) or some_enum_var in Color. EnumType is responsible for ensuring that various other methods on the final Enum class are correct (such as __new__(), __getnewargs__(), __str__() and __repr__()).

Flag Classes

Flags have an expanded view of aliasing: to be canonical, the value of a flag needs to be a power-of-two value, and not a duplicate name. So, in addition to the Enum definition of alias, a flag with no value (a.k.a. 0) or with more than one power-of-two value (e.g. 3) is considered an alias.

Enum Members (aka instances)

The most interesting thing about enum members is that they are singletons. EnumType creates them all while it is creating the enum class itself, and then puts a custom __new__() in place to ensure that no new ones are ever instantiated by returning only the existing member instances.

Flag Members

Flag members can be iterated over just like the Flag class, and only the canonical members will be returned. For example:

>>> list(Color)
[<Color.RED: 1>, <Color.GREEN: 2>, <Color.BLUE: 4>]

(Note that BLACK, PURPLE, and WHITE do not show up.)

Inverting a flag member returns the corresponding positive value, rather than a negative value — for example:

>>> ~Color.RED
<Color.GREEN|BLUE: 6>

Flag members have a length corresponding to the number of power-of-two values they contain. For example:

>>> len(Color.PURPLE)
2

Enum Cookbook

While Enum, IntEnum, StrEnum, Flag, and IntFlag are expected to cover the majority of use-cases, they cannot cover them all. Here are recipes for some different types of enumerations that can be used directly, or as examples for creating one’s own.

Omitting values

In many use-cases, one doesn’t care what the actual value of an enumeration is. There are several ways to define this type of simple enumeration:

use instances of auto for the value

use instances of object as the value

use a descriptive string as the value

use a tuple as the value and a custom __new__() to replace the tuple with an int value

Using any of these methods signifies to the user that these values are not important, and also enables one to add, remove, or reorder members without having to renumber the remaining members.

Using auto

Using auto would look like:

>>> class Color(Enum):
...     RED = auto()
...     BLUE = auto()
...     GREEN = auto()
...
>>> Color.GREEN
<Color.GREEN: 3>

Using object

Using object would look like:

>>> class Color(Enum):
...     RED = object()
...     GREEN = object()
...     BLUE = object()
...
>>> Color.GREEN
<Color.GREEN: <object object at 0x...>>

This is also a good example of why you might want to write your own __repr__():

>>> class Color(Enum):
...     RED = object()
...     GREEN = object()
...     BLUE = object()
...     def __repr__(self):
...         return "<%s.%s>" % (self.__class__.__name__, self._name_)
...
>>> Color.GREEN
<Color.GREEN>

Using a descriptive string

Using a string as the value would look like:

>>> class Color(Enum):
...     RED = 'stop'
...     GREEN = 'go'
...     BLUE = 'too fast!'
...
>>> Color.GREEN
<Color.GREEN: 'go'>

Usando um __new__() personalizado

Using an auto-numbering __new__() would look like:

>>> class AutoNumber(Enum):
...     def __new__(cls):
...         value = len(cls.__members__) + 1
...         obj = object.__new__(cls)
...         obj._value_ = value
...         return obj
...
>>> class Color(AutoNumber):
...     RED = ()
...     GREEN = ()
...     BLUE = ()
...
>>> Color.GREEN
<Color.GREEN: 2>

To make a more general purpose AutoNumber, add *args to the signature:

>>> class AutoNumber(Enum):
...     def __new__(cls, *args):      # this is the only change from above
...         value = len(cls.__members__) + 1
...         obj = object.__new__(cls)
...         obj._value_ = value
...         return obj
...

Then when you inherit from AutoNumber you can write your own __init__ to handle any extra arguments:

>>> class Swatch(AutoNumber):
...     def __init__(self, pantone='unknown'):
...         self.pantone = pantone
...     AUBURN = '3497'
...     SEA_GREEN = '1246'
...     BLEACHED_CORAL = () # New color, no Pantone code yet!
...
>>> Swatch.SEA_GREEN
<Swatch.SEA_GREEN: 2>
>>> Swatch.SEA_GREEN.pantone
'1246'
>>> Swatch.BLEACHED_CORAL.pantone
'unknown'

Nota

The __new__() method, if defined, is used during creation of the Enum members; it is then replaced by Enum’s __new__() which is used after class creation for lookup of existing members.

Aviso

Do not call super().__new__(), as the lookup-only __new__ is the one that is found; instead, use the data type directly – e.g.:

obj = int.__new__(cls, value)

OrderedEnum

An ordered enumeration that is not based on IntEnum and so maintains the normal Enum invariants (such as not being comparable to other enumerations):

>>> class OrderedEnum(Enum):
...     def __ge__(self, other):
...         if self.__class__ is other.__class__:
...             return self.value >= other.value
...         return NotImplemented
...     def __gt__(self, other):
...         if self.__class__ is other.__class__:
...             return self.value > other.value
...         return NotImplemented
...     def __le__(self, other):
...         if self.__class__ is other.__class__:
...             return self.value <= other.value
...         return NotImplemented
...     def __lt__(self, other):
...         if self.__class__ is other.__class__:
...             return self.value < other.value
...         return NotImplemented
...
>>> class Grade(OrderedEnum):
...     A = 5
...     B = 4
...     C = 3
...     D = 2
...     F = 1
...
>>> Grade.C < Grade.A
True

DuplicateFreeEnum

Raises an error if a duplicate member value is found instead of creating an alias:

>>> class DuplicateFreeEnum(Enum):
...     def __init__(self, *args):
...         cls = self.__class__
...         if any(self.value == e.value for e in cls):
...             a = self.name
...             e = cls(self.value).name
...             raise ValueError(
...                 "aliases not allowed in DuplicateFreeEnum:  %r --> %r"
...                 % (a, e))
...
>>> class Color(DuplicateFreeEnum):
...     RED = 1
...     GREEN = 2
...     BLUE = 3
...     GRENE = 2
...
Traceback (most recent call last):
  ...
ValueError: aliases not allowed in DuplicateFreeEnum:  'GRENE' --> 'GREEN'

Nota

This is a useful example for subclassing Enum to add or change other behaviors as well as disallowing aliases. If the only desired change is disallowing aliases, the unique() decorator can be used instead.

MultiValueEnum

Supports having more than one value per member:

>>> class MultiValueEnum(Enum):
...     def __new__(cls, value, *values):
...         self = object.__new__(cls)
...         self._value_ = value
...         for v in values:
...             self._add_value_alias_(v)
...         return self
...
>>> class DType(MultiValueEnum):
...     float32 = 'f', 8
...     double64 = 'd', 9
...
>>> DType('f')
<DType.float32: 'f'>
>>> DType(9)
<DType.double64: 'd'>

Planet

If __new__() or __init__() is defined, the value of the enum member will be passed to those methods:

>>> class Planet(Enum):
...     MERCURY = (3.303e+23, 2.4397e6)
...     VENUS   = (4.869e+24, 6.0518e6)
...     EARTH   = (5.976e+24, 6.37814e6)
...     MARS    = (6.421e+23, 3.3972e6)
...     JUPITER = (1.9e+27,   7.1492e7)
...     SATURN  = (5.688e+26, 6.0268e7)
...     URANUS  = (8.686e+25, 2.5559e7)
...     NEPTUNE = (1.024e+26, 2.4746e7)
...     def __init__(self, mass, radius):
...         self.mass = mass       # in kilograms
...         self.radius = radius   # in meters
...     @property
...     def surface_gravity(self):
...         # universal gravitational constant  (m3 kg-1 s-2)
...         G = 6.67300E-11
...         return G * self.mass / (self.radius * self.radius)
...
>>> Planet.EARTH.value
(5.976e+24, 6378140.0)
>>> Planet.EARTH.surface_gravity
9.802652743337129

TimePeriod

An example to show the _ignore_ attribute in use:

>>> from datetime import timedelta
>>> class Period(timedelta, Enum):
...     "different lengths of time"
...     _ignore_ = 'Period i'
...     Period = vars()
...     for i in range(367):
...         Period['day_%d' % i] = i
...
>>> list(Period)[:2]
[<Period.day_0: datetime.timedelta(0)>, <Period.day_1: datetime.timedelta(days=1)>]
>>> list(Period)[-2:]
[<Period.day_365: datetime.timedelta(days=365)>, <Period.day_366: datetime.timedelta(days=366)>]

Subclassing EnumType

While most enum needs can be met by customizing Enum subclasses, either with class decorators or custom functions, EnumType can be subclassed to provide a different Enum experience.

Programação Funcional

Autor:

A. M. Kuchling

Versão:

0.32

Nesse documento, nós vamos passear pelos recursos do Python que servem para implementar programas de forma funcional. Após uma introdução dos conceitos da programação funcional, nós veremos as propriedades da linguagem como iteradores e geradores e bibliotecas de módulos relevantes como um itertools e functools.

Introdução

Essa seção explica o conceito básico da programação funcional; se você está interessado em aprender sobre os recursos da linguagem Python, pule essa etapa para a seção Iteradores.

As linguagens de programação permitem decompor problemas de diversas maneiras diferentes:

A Maioria das linguagens de programação são procedurais: os programas são listas de instruções que dizem ao computador o que fazer com as entradas do programa. C, Pascal, e mesmo o Unix shells são linguagens procedurais.

Em linguagens declarativas, você escreve uma especificação que descreve o problema a ser resolvido, e a implementação do idioma descreve como executar a computação de forma eficiente. O SQL é o idioma declarativo com o qual provavelmente você está familiarizado; Uma consulta SQL descreve o conjunto de dados que deseja recuperar e o mecanismo SQL decide se deseja escanear tabelas ou usar índices, quais subcláusulas devem ser realizadas primeiro, etc.

Os programas orientados a objetos manipulam coleções de objetos. Os objetos têm estado interno e métodos de suporte que consultam ou modificam esse estado interno de alguma forma. Smalltalk e Java são linguagens orientadas a objetos. C++ e Python são idiomas que suportam programação orientada a objetos, mas não forçam o uso de recursos de orientação a objetos.

A programação funcional decompõe um problema em um conjunto de funções. Idealmente, as funções apenas recebem entradas e produzem saídas, e não têm nenhum estado interno que afete a saída produzida para uma determinada entrada. Linguagens funcionais bem conhecidos incluem a família ML (Standard ML, OCaml e outras variantes) e Haskell.

Os designers de algumas linguagens de computadores escolhem enfatizar uma abordagem particular da programação. Isso muitas vezes torna difícil escrever programas que usam uma abordagem diferente. Outros idiomas são linguagens com multiparadigmas que suportam várias abordagens diferentes. Lisp, C++ e Python são multiparadigmas; Você pode escrever programas ou bibliotecas que são em grande parte processuais, orientadas a objetos ou funcionais em todos esses idiomas. Em um grande programa, diferentes seções podem ser escritas usando diferentes abordagens; A GUI pode ser orientada a objetos enquanto a lógica de processamento é processual ou funcional, por exemplo.

Em um programa funcional, a entrada flui através de um conjunto de funções. Cada função opera em sua entrada e produz alguma saída. O estilo funcional desencoraja funções com efeitos colaterais que modificam o estado interno ou fazem outras alterações que não são visíveis no valor de retorno da função. As funções que não têm efeitos colaterais são chamadas puramente funcionais. Evitar efeitos colaterais significa não usar estruturas de dados que sejam atualizadas à medida que um programa é executado; A saída de cada função só deve depender da sua entrada.

Algumas linguagens são muito estritas a respeito da pureza e não tem nem instruções de atribuição como por exemplo a=3 ou c = a + b, mas é difícil evitar todos os efeitos colateirais, como exibir valores na tela ou escrever em um arquivo em disco. Um outro exemplo é a chamada da função print() ou da função time.sleep(), nenhuma das quais devolve um valor útil. Ambas são chamadas apenas por conta do efeito colateral de mandar algum texto para a tela ou pausar a execução por um segundo.

Os programas Python escritos em estilo funcional geralmente não irão ao extremo de evitar todas as I/O ou todas as atribuições; Em vez disso, eles fornecerão uma interface de aparência funcional, mas usarão recursos não funcionais internamente. Por exemplo, a implementação de uma função ainda usará atribuições para variáveis locais, mas não modificará variáveis globais ou terá outros efeitos colaterais.

A programação funcional pode ser considerada o oposto da programação orientada a objetos. Os objetos são pequenas cápsulas contendo algum estado interno, juntamente com uma coleção de chamadas de método que permitem modificar este estado, e os programas consistem em fazer o conjunto correto de mudanças de estado. A programação funcional quer evitar as mudanças de estado tanto quanto possível e funciona com o fluxo de dados entre as funções. Em Python você pode combinar as duas abordagens escrevendo funções que levam e retornam instâncias que representam objetos em seu aplicativo (mensagens de e-mail, transações, etc.).

O design funcional pode parecer uma restrição estranha para trabalhar por baixo. Por que você deve evitar objetos e efeitos colaterais? Existem vantagens teóricas e práticas para o estilo funcional:

Probabilidade formal.

Modularidade.

Componibilidade.

Fácil de depurar e testar.

Probabilidade formal

Um benefício teórico é que é mais fácil construir uma prova matemática de que um programa funcional é correto.

Durante muito tempo os pesquisadores estiveram interessados em encontrar maneiras de provar matematicamente programas corretos. Isso é diferente de testar um programa em inúmeras entradas e concluir que sua saída geralmente é correta, ou ler o código-fonte de um programa e concluir que o código parece certo; O objetivo é uma prova rigorosa de que um programa produz o resultado certo para todas as entradas possíveis.

A técnica usada para comprovar os programas corretos é escrever invariantes, propriedades dos dados de entrada e das variáveis do programa que são sempre verdadeiras. Para cada linha de código, você mostra que se os invariantes X e Y forem verdadeiros antes da linha ser executada, os invariantes X’ e Y’ ligeiramente diferentes são verdadeiros após a linha ser executada. Isso continua até chegar ao final do programa, em que ponto as invariantes devem corresponder às condições desejadas na saída do programa.

A evitação das tarefas funcionais ocorreu porque as tarefas são difíceis de tratar com esta técnica; As atribuições podem invadir invariantes que eram verdadeiras antes da atribuição sem produzir novos invariantes que possam ser propagados para a frente.

Infelizmente, prpvar que os programas estão corretos são praticamente impraticáveis e não relevantes para o software Python. Mesmo os programas triviais exigem provas de várias páginas; A prova de correção para um programa moderadamente complicado seria enorme, e poucos ou nenhum dos programas que você usa diariamente (o interpretador Python, seu analisador XML, seu navegador) poderia ser comprovado correto. Mesmo que você tenha anotado ou gerado uma prova, então haveria a questão de verificar a prova; Talvez haja um erro nisso, e você acredita erroneamente que você provou o programa corretamente.

Modularidade

Um benefício mais prático da programação funcional é que isso força você a quebrar seu problema em pequenos pedaços. Os programas são mais modulares como resultado. É mais fácil especificar e escrever uma pequena função que faz uma coisa do que uma grande função que realiza uma transformação complicada. Pequenas funções também são mais fáceis de ler e verificar erros.

Fácil de depurar e testar

Testar e depurar um programa de estilo funcional é mais fácil.

A depuração é simplificada porque as funções são geralmente pequenas e claramente especificadas. Quando um programa não funciona, cada função é um ponto de interface onde você pode verificar se os dados estão corretos. Você pode observar as entradas e saídas intermediárias para isolar rapidamente a função responsável por um erro.

O teste é mais fácil porque cada função é um assunto potencial para um teste unitário. As funções não dependem do estado do sistema que precisa ser replicado antes de executar um teste; Em vez disso, você só precisa sintetizar a entrada certa e depois verificar se o resultado corresponde às expectativas.

Componibilidade

À medida que você trabalha em um programa de estilo funcional, você escreverá várias funções com diferentes entradas e saídas. Algumas dessas funções serão inevitavelmente especializadas em um aplicativo particular, mas outras serão úteis em uma grande variedade de programas. Por exemplo, uma função que leva um caminho de diretório e retorna todos os arquivos XML no diretório, ou uma função que leva um nome de arquivo e retorna seu conteúdo, pode ser aplicada em muitas situações diferentes.

Com o tempo você formará uma biblioteca pessoal de utilitários. Muitas vezes você montará novos programas organizando funções existentes em uma nova configuração e escrevendo algumas funções especializadas para a tarefa atual.

Iteradores

Começarei por olhar para um recurso de linguagem Python que é uma base importante para escrever programas de estilo funcional: iteradores.

Um iterador é um objeto que representa um fluxo de dados; este objeto retorna os dados um elemento por vez. Um iterador Python deve suportar um método chamado iterator.__next__() que não leva argumentos e sempre retorna o próximo elemento do fluxo. Se não houver mais elementos no fluxo, iterator.__next__() deve aumentar a exceção StopIteration. Os iteradores não precisam ser finitos; no entanto, é perfeitamente razoável escrever um iterador que produza um fluxo infinito de dados.

A função embutida iter() leva um objeto arbitrário e tenta retornar um iterador que retornará os conteúdos ou elementos do objeto, caso o contrario retorna TypeError se o objeto não suportar a iteração. Vários dos tipos de dados embutidos do Python suportam a iteração, sendo as listas e os dicionários mais comuns. Um objeto é chamado iterable se você pode obter um iterador para ele.

Você pode experimentar a interface de iteração manualmente:

>>> L = [1, 2, 3]
>>> it = iter(L)
>>> it
<...iterator object at ...>
>>> it.__next__()  # same as next(it)
1
>>> next(it)
2
>>> next(it)
3
>>> next(it)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
>>>

Python espera objetos iteráveis em vários contextos diferentes, sendo o mais importante a instrução for. Na declaração for X in Y, Y deve ser um iterador ou algum objeto para o qual iter() pode criar um iterador. Estas duas declarações são equivalentes:

for i in iter(obj):
    print(i)

for i in obj:
    print(i)

Iteradores também podem ser materializados como listas ou tuplas, utilizando funções de construção list() ou tuple():

>>> L = [1, 2, 3]
>>> iterator = iter(L)
>>> t = tuple(iterator)
>>> t
(1, 2, 3)

O desempacotamento de sequência também suporta iteradores: se você sabe que um iterador retornará N elementos, você pode desempacotá-los em uma N-tupla:

>>> L = [1, 2, 3]
>>> iterator = iter(L)
>>> a, b, c = iterator
>>> a, b, c
(1, 2, 3)

Funções embutidas, tais como max() e min() podem ter um único argumento de iterador e retornarão o elemento maior ou menor. Os operadores "in" e "not in" também aceitam iteradores: X in iterator é verdadeiro se X for encontrado no fluxo retornado pelo iterador. Você enfrentará problemas óbvios se o iterador for infinito; max(), min() nunca retornará, e se o elemento X nunca aparecer no fluxo, os operadores "in" e "not in" não retornarão também.

Observe que você só pode avançar em um iterador; não há como obter o elemento anterior, redefinir o iterador ou fazer uma cópia dele. Os objetos iteradores podem opcionalmente fornecer esses recursos adicionais, mas o protocolo do iterador especifica apenas o método iterator.__next__(). As funções podem, portanto, consumir toda a saída do iterador, e se você precisa fazer algo diferente com o mesmo fluxo, você terá que criar um novo iterador.

Tipos de Dados que Suportam Iteradores

Já vimos como listas e tuplas suportam iteradores. De fato, qualquer tipo de sequência de Python, como strings, suportará automaticamente a criação de um iterador.

Chamar iter() em um dicionário retorna um iterador que irá percorrer as chaves do dicionário:

>>> m = {'Jan': 1, 'Feb': 2, 'Mar': 3, 'Apr': 4, 'May': 5, 'Jun': 6,
...      'Jul': 7, 'Aug': 8, 'Sep': 9, 'Oct': 10, 'Nov': 11, 'Dec': 12}
>>> for key in m:
...     print(key, m[key])
Jan 1
Feb 2
Mar 3
Apr 4
May 5
Jun 6
Jul 7
Aug 8
Sep 9
Oct 10
Nov 11
Dec 12

Note que a partir de Python 3.7, a ordem de iteração em um dicionário é garantidamente a mesma que a ordem de inserção. Em versões anteriores, o comportamento não era especificado e podia variar entre implementações.

Aplicando iter() para um dicionário sempre percorre as teclas, mas os dicionários têm métodos que retornam outros iteradores. Se você deseja iterar sobre valores ou pares de chave/valor, você pode chamar explicitamente os métodos values() ou items() para obter um iterador apropriado.

O construtor dict() pode aceitar um iterador que retorna um fluxo finito de tuplas (chave, valor):

>>> L = [('Italy', 'Rome'), ('France', 'Paris'), ('US', 'Washington DC')]
>>> dict(iter(L))
{'Italy': 'Rome', 'France': 'Paris', 'US': 'Washington DC'}

Os arquivos também suportam a iteração chamando o método readline() até que não haja mais linhas no arquivo. Isso significa que você pode ler cada linha de um arquivo como este:

for line in file:
    # do something for each line
    ...

Os conjuntos podem tirar seus conteúdos de uma iterável e permitir que você faça uma iteração sobre os elementos do conjunto:

>>> S = {2, 3, 5, 7, 11, 13}
>>> for i in S:
...     print(i)
2
3
5
7
11
13

Expressões do gerador e compreensões de lista

Duas operações comuns na saída de um iterador são 1) executando alguma operação para cada elemento, 2) selecionando um subconjunto de elementos que atendam a alguma condição. Por exemplo, com uma lista de cadeias de caracteres, você pode querer retirar o espaço em branco de cada linha ou extrair todas as sequências de caracteres que contenham uma determinada substring.

As compreensões de lista e as expressões do gerador (forma curta: “listcomps” e “genexps”) são uma notação concisa para tais operações, emprestado da linguagem de programação funcional Haskell (https://www.haskell.org/). Você pode tirar todos os espaços em branco de um fluxo de strings com o seguinte código:

>>> line_list = ['  line 1\n', 'line 2  \n', ' \n', '']

>>> # Generator expression -- returns iterator
>>> stripped_iter = (line.strip() for line in line_list)

>>> # List comprehension -- returns list
>>> stripped_list = [line.strip() for line in line_list]

Você pode selecionar apenas determinados elementos adicionando uma condição "if":

>>> stripped_list = [line.strip() for line in line_list
...                  if line != ""]

Com uma compreensão de lista, você recebe uma lista Python; Stripped_list é uma lista contendo as linhas resultantes, e não um iterador. As expressões do gerador retornam um iterador que calcula os valores conforme necessário, não precisando materializar todos os valores ao mesmo tempo. Isso significa que as compreensões da lista não são úteis se você estiver trabalhando com iteradores que retornam um fluxo infinito ou uma quantidade muito grande de dados. As expressões do gerador são preferíveis nessas situações.

As expressões do gerador são cercadas por parênteses (“()”) e as compreensões da lista são cercadas por colchetes (“[]”). As expressões do gerador têm a forma:

( expression for expr in sequence1
             if condition1
             for expr2 in sequence2
             if condition2
             for expr3 in sequence3
             ...
             if condition3
             for exprN in sequenceN
             if conditionN )

Novamente, para uma compreensão de lista, apenas os suportes externos são diferentes (colchetes em vez de parênteses).

Os elementos do resultado gerado serão os valores sucessivos de expression. As cláusulas if são todas opcionais; Se presente, expression só é avaliado e adicionado ao resultado quando condition é verdadeiro.

As expressões do gerador sempre devem ser escritas dentro de parênteses, mas os parênteses que sinalizam uma chamada de função também contam. Se você quiser criar um iterador que será imediatamente passado para uma função, você pode escrever:

obj_total = sum(obj.count for obj in list_all_objects())

As cláusulas for...in contêm as sequências a serem repetidas. As sequências não precisam ser do mesmo comprimento, porque são iteradas da esquerda para a direita, não em paralelo. Para cada elemento em sequence1, sequence2 é enrolado desde o início. sequence3 é então percorrido para cada par resultante de elementos de sequence1 e sequence2.

Em outras palavras, uma lista de compreensão ou expressão do gerador é equivalente ao seguinte código Python:

for expr1 in sequence1:
    if not (condition1):
        continue   # Skip this element
    for expr2 in sequence2:
        if not (condition2):
            continue   # Skip this element
        ...
        for exprN in sequenceN:
            if not (conditionN):
                continue   # Skip this element

            # Output the value of
            # the expression.

Isso significa que, quando existem várias cláusulas for...in, mas não if, o comprimento da saída resultante será igual ao produto dos comprimentos de todas as sequências. Se você tiver duas listas de comprimento 3, a lista de saída tem 9 elementos de comprimento:

>>> seq1 = 'abc'
>>> seq2 = (1, 2, 3)
>>> [(x, y) for x in seq1 for y in seq2]
[('a', 1), ('a', 2), ('a', 3),
 ('b', 1), ('b', 2), ('b', 3),
 ('c', 1), ('c', 2), ('c', 3)]

Para evitar a introdução de uma ambiguidade na gramática de Python, se expression estiver criando uma tupla, ela deve estar cercada de parênteses. A primeira lista de compreensão abaixo é um erro de sintaxe, enquanto o segundo está correto:

# Syntax error
[x, y for x in seq1 for y in seq2]
# Correct
[(x, y) for x in seq1 for y in seq2]

Geradores

Os geradores são uma classe especial de funções que simplificam a tarefa de escrever iteradores. As funções convencionais calculam um valor e o retornam, mas os geradores retornam um iterador que retorna um fluxo de valores.

Você está sem dúvida familiarizado com o funcionamento das funções convencionais em Python ou C. Quando você chama uma função, ela recebe um espaço de nome privado onde suas variáveis locais são criadas. Quando a função atinge uma instrução return, as variáveis locais são destruídas e o valor retornado ao chamador. Uma chamada posterior para a mesma função cria um novo espaço de nome privado e um novo conjunto de variáveis locais. Mas, e se as variáveis locais não fossem descartadas ao sair de uma função? E se você pudesse retomar a função onde ele deixou? Isto é o que os geradores fornecem; Eles podem ser pensados como funções resumíveis.

Aqui está um exemplo simples de uma função geradora:

>>> def generate_ints(N):
...    for i in range(N):
...        yield i

Qualquer função contendo um argumento nomeado yield é uma função de gerador; isso é detectado pelo compilador de bytecode do Python, que compila a função especialmente como resultado.

Quando você chama uma função de gerador, não retorna um único valor; em vez disso, ele retorna um objeto gerador que suporte o protocolo do iterador. Ao executar a expressão yield, o gerador exibe o valor de i, semelhante a uma instrução return. A grande diferença entre yield e uma declaração return é que, ao atingir um yield, o estado de execução do gerador é suspenso e as variáveis locais são preservadas. Na próxima chamada ao método do gerador __next__(), a função irá continuar a ser executada.

Aqui está um uso simples do gerador generate_ints()

>>> gen = generate_ints(3)
>>> gen
<generator object generate_ints at ...>
>>> next(gen)
0
>>> next(gen)
1
>>> next(gen)
2
>>> next(gen)
Traceback (most recent call last):
  File "stdin", line 1, in <module>
  File "stdin", line 2, in generate_ints
StopIteration

Você pode igualmente escrever for i in generate_ints(5), ou a, b, c = generate_ints(3).

Dentro de uma função de gerador, return value faz com que StopIteration(value) seja gerado a partir do método __next__(). Uma vez que isso acontece, ou a parte inferior da função é alcançada, a procissão dos valores termina e o gerador não pode render mais valores.

Você pode conseguir o efeito de geradores manualmente, escrevendo sua própria classe e armazenando todas as variáveis locais do gerador como variáveis de instância. Por exemplo, retornar uma lista de inteiros pode ser feito configurando self.count para 0, e tendo o iterator.__next__() incrementar o método self.count e devolvê-lo. No entanto, para um gerador moderadamente complicado, escrever uma classe correspondente pode ser muito mais complicado.

O conjunto de teste incluído na biblioteca do Python, lib/test/test_generators.py [https://github.com/python/cpython/tree/3.13/lib/test/test_generators.py], contém vários exemplos mais interessantes. Aqui está um gerador que implementa uma passagem em ordem de uma árvore usando geradores de forma recursiva.

# A recursive generator that generates Tree leaves in in-order.
def inorder(t):
    if t:
        for x in inorder(t.left):
            yield x

        yield t.label

        for x in inorder(t.right):
            yield x

Dois outros exemplos no test_generators.py produzem soluções para o problema N-Queens (colocando N rainhas em um tabuleiro de xadrez NxN para que nenhuma rainha ameace a outra) e o Passeio do Cavalo (encontrando uma rota que leva um cavalo para cada quadrado de um tabuleiro de xadrez NxN sem visitar nenhum quadrado duas vezes).

Passando valores para um gerador

No Python 2.4 e anteriores, os geradores apenas produziram saída. Uma vez que o código de um gerador foi invocado para criar um iterador, não havia como passar qualquer nova informação na função quando sua execução foi retomada. Você pode cortar essa habilidade fazendo com que o gerador olhe para uma variável global ou passando em algum objeto mutável que os chamadores então modifiquem, mas essas abordagens são desordenadas.

No Python 2.5 há uma maneira simples de passar valores para um gerador. yield tornou-se uma expressão, retornando um valor que pode ser atribuído a uma variável ou operado de outra forma:

val = (yield i)

Eu recomendo que você sempre coloque parênteses em torno de uma expressão yield quando você está fazendo algo com o valor retornado, como no exemplo acima. Os parênteses nem sempre são necessários, mas é mais fácil adicioná-los sempre em vez de ter que lembrar quando são necessários.

(PEP 342 [https://peps.python.org/pep-0342/] explica as regras exatas, é que uma expressão yield deve sempre ser entre parênteses, exceto quando ocorre na expressão de nível superior no lado direito de uma atribuição. Isso significa que você pode escrever val = yield i, mas tem que usar parênteses quando há uma operação, como em val = (yield i) + 12.)

Os valores são enviados para um gerador chamando seu método send(value). Este método retoma o código do gerador e a expressão yield retorna o valor especificado. Se o método regular __next__() for chamado, o yield retorna None.

Aqui está um contador simples que aumenta em 1 e permite alterar o valor do contador interno.

def counter(maximum):
    i = 0
    while i < maximum:
        val = (yield i)
        # If value provided, change counter
        if val is not None:
            i = val
        else:
            i += 1

E aqui um exemplo de mudança de contador:

>>> it = counter(10)
>>> next(it)
0
>>> next(it)
1
>>> it.send(8)
8
>>> next(it)
9
>>> next(it)
Traceback (most recent call last):
  File "t.py", line 15, in <module>
    it.next()
StopIteration

Porque yield retornará frequentemente None, você deve verificar sempre este caso. Não use apenas seu valor em expressões, a menos que tenha certeza de que o método send() será o único método usado para retomar a função do gerador.

In addition to send(), there are two other methods on generators:

throw(value) is used to raise an exception inside the generator; the exception is raised by the yield expression where the generator’s execution is paused.

close() raises a GeneratorExit exception inside the generator to terminate the iteration. On receiving this exception, the generator’s code must either raise GeneratorExit or StopIteration; catching the exception and doing anything else is illegal and will trigger a RuntimeError. close() will also be called by Python’s garbage collector when the generator is garbage-collected.

If you need to run cleanup code when a GeneratorExit occurs, I suggest using a try: ... finally: suite instead of catching GeneratorExit.

O efeito cumulativo destas mudanças é transformar os geradores de produtores unilaterais de informação em produtores e consumidores.

Generators also become coroutines, a more generalized form of subroutines. Subroutines are entered at one point and exited at another point (the top of the function, and a return statement), but coroutines can be entered, exited, and resumed at many different points (the yield statements).

Funções embutidas

Vamos ver com maiores detalhes as funções embutidas que são comunmente usadas com iteradores.

Two of Python’s built-in functions, map() and filter() duplicate the features of generator expressions:

map(f, iterA, iterB, ...) returns an iterator over the sequence

f(iterA[0], iterB[0]), f(iterA[1], iterB[1]), f(iterA[2], iterB[2]), ....

>>> def upper(s):
...     return s.upper()

>>> list(map(upper, ['sentence', 'fragment']))
['SENTENCE', 'FRAGMENT']
>>> [upper(s) for s in ['sentence', 'fragment']]
['SENTENCE', 'FRAGMENT']

É claro que você pode alcançar o mesmo efeito com uma compreensão de lista.

filter(predicate, iter) returns an iterator over all the sequence elements that meet a certain condition, and is similarly duplicated by list comprehensions. A predicate is a function that returns the truth value of some condition; for use with filter(), the predicate must take a single value.

>>> def is_even(x):
...     return (x % 2) == 0

>>> list(filter(is_even, range(10)))
[0, 2, 4, 6, 8]

isso também pode ser escrito como uma compreensão de lista:

>>> list(x for x in range(10) if is_even(x))
[0, 2, 4, 6, 8]

enumerate(iter, start=0) counts off the elements in the iterable returning 2-tuples containing the count (from start) and each element.

>>> for item in enumerate(['subject', 'verb', 'object']):
...     print(item)
(0, 'subject')
(1, 'verb')
(2, 'object')

enumerate() is often used when looping through a list and recording the indexes at which certain conditions are met:

f = open('data.txt', 'r')
for i, line in enumerate(f):
    if line.strip() == '':
        print('Blank line at line #%i' % i)

sorted(iterable, key=None, reverse=False) collects all the elements of the iterable into a list, sorts the list, and returns the sorted result. The key and reverse arguments are passed through to the constructed list’s sort() method.

>>> import random
>>> # Generate 8 random numbers between [0, 10000)
>>> rand_list = random.sample(range(10000), 8)
>>> rand_list
[769, 7953, 9828, 6431, 8442, 9878, 6213, 2207]
>>> sorted(rand_list)
[769, 2207, 6213, 6431, 7953, 8442, 9828, 9878]
>>> sorted(rand_list, reverse=True)
[9878, 9828, 8442, 7953, 6431, 6213, 2207, 769]

(For a more detailed discussion of sorting, see the Técnicas de ordenação.)

The any(iter) and all(iter) built-ins look at the truth values of an iterable’s contents. any() returns True if any element in the iterable is a true value, and all() returns True if all of the elements are true values:

>>> any([0, 1, 0])
True
>>> any([0, 0, 0])
False
>>> any([1, 1, 1])
True
>>> all([0, 1, 0])
False
>>> all([0, 0, 0])
False
>>> all([1, 1, 1])
True

zip(iterA, iterB, ...) takes one element from each iterable and returns them in a tuple:

zip(['a', 'b', 'c'], (1, 2, 3)) =>
  ('a', 1), ('b', 2), ('c', 3)

It doesn’t construct an in-memory list and exhaust all the input iterators before returning; instead tuples are constructed and returned only if they’re requested. (The technical term for this behaviour is lazy evaluation [https://en.wikipedia.org/wiki/Lazy_evaluation].)

This iterator is intended to be used with iterables that are all of the same length. If the iterables are of different lengths, the resulting stream will be the same length as the shortest iterable.

zip(['a', 'b'], (1, 2, 3)) =>
  ('a', 1), ('b', 2)

You should avoid doing this, though, because an element may be taken from the longer iterators and discarded. This means you can’t go on to use the iterators further because you risk skipping a discarded element.

O módulo itertools

The itertools module contains a number of commonly used iterators as well as functions for combining several iterators. This section will introduce the module’s contents by showing small examples.

The module’s functions fall into a few broad classes:

Funções que criam um novo iterador com base em um iterador existente.

Funções para tratar os elementos de um iterador como argumentos de funções.

Funções para selecionar partes da saída de um iterador.

A function for grouping an iterator’s output.

Criando novos iteradores

itertools.count(start, step) returns an infinite stream of evenly spaced values. You can optionally supply the starting number, which defaults to 0, and the interval between numbers, which defaults to 1:

itertools.count() =>
  0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...
itertools.count(10) =>
  10, 11, 12, 13, 14, 15, 16, 17, 18, 19, ...
itertools.count(10, 5) =>
  10, 15, 20, 25, 30, 35, 40, 45, 50, 55, ...

itertools.cycle(iter) saves a copy of the contents of a provided iterable and returns a new iterator that returns its elements from first to last. The new iterator will repeat these elements infinitely.

itertools.cycle([1, 2, 3, 4, 5]) =>
  1, 2, 3, 4, 5, 1, 2, 3, 4, 5, ...

itertools.repeat(elem, [n]) returns the provided element n times, or returns the element endlessly if n is not provided.

itertools.repeat('abc') =>
  abc, abc, abc, abc, abc, abc, abc, abc, abc, abc, ...
itertools.repeat('abc', 5) =>
  abc, abc, abc, abc, abc

itertools.chain(iterA, iterB, ...) takes an arbitrary number of iterables as input, and returns all the elements of the first iterator, then all the elements of the second, and so on, until all of the iterables have been exhausted.

itertools.chain(['a', 'b', 'c'], (1, 2, 3)) =>
  a, b, c, 1, 2, 3

itertools.islice(iter, [start], stop, [step]) returns a stream that’s a slice of the iterator. With a single stop argument, it will return the first stop elements. If you supply a starting index, you’ll get stop-start elements, and if you supply a value for step, elements will be skipped accordingly. Unlike Python’s string and list slicing, you can’t use negative values for start, stop, or step.

itertools.islice(range(10), 8) =>
  0, 1, 2, 3, 4, 5, 6, 7
itertools.islice(range(10), 2, 8) =>
  2, 3, 4, 5, 6, 7
itertools.islice(range(10), 2, 8, 2) =>
  2, 4, 6

itertools.tee(iter, [n]) replicates an iterator; it returns n independent iterators that will all return the contents of the source iterator. If you don’t supply a value for n, the default is 2. Replicating iterators requires saving some of the contents of the source iterator, so this can consume significant memory if the iterator is large and one of the new iterators is consumed more than the others.

itertools.tee( itertools.count() ) =>
   iterA, iterB

where iterA ->
   0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...

and   iterB ->
   0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ...

Calling functions on elements

The operator module contains a set of functions corresponding to Python’s operators. Some examples are operator.add(a, b) (adds two values), operator.ne(a, b) (same as a != b), and operator.attrgetter('id') (returns a callable that fetches the .id attribute).

itertools.starmap(func, iter) assumes that the iterable will return a stream of tuples, and calls func using these tuples as the arguments:

itertools.starmap(os.path.join,
                  [('/bin', 'python'), ('/usr', 'bin', 'java'),
                   ('/usr', 'bin', 'perl'), ('/usr', 'bin', 'ruby')])
=>
  /bin/python, /usr/bin/java, /usr/bin/perl, /usr/bin/ruby

Selecionando elementos

Another group of functions chooses a subset of an iterator’s elements based on a predicate.

itertools.filterfalse(predicate, iter) is the opposite of filter(), returning all elements for which the predicate returns false:

itertools.filterfalse(is_even, itertools.count()) =>
  1, 3, 5, 7, 9, 11, 13, 15, ...

itertools.takewhile(predicate, iter) returns elements for as long as the predicate returns true. Once the predicate returns false, the iterator will signal the end of its results.

def less_than_10(x):
    return x < 10

itertools.takewhile(less_than_10, itertools.count()) =>
  0, 1, 2, 3, 4, 5, 6, 7, 8, 9

itertools.takewhile(is_even, itertools.count()) =>
  0

itertools.dropwhile(predicate, iter) discards elements while the predicate returns true, and then returns the rest of the iterable’s results.

itertools.dropwhile(less_than_10, itertools.count()) =>
  10, 11, 12, 13, 14, 15, 16, 17, 18, 19, ...

itertools.dropwhile(is_even, itertools.count()) =>
  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, ...

itertools.compress(data, selectors) takes two iterators and returns only those elements of data for which the corresponding element of selectors is true, stopping whenever either one is exhausted:

itertools.compress([1, 2, 3, 4, 5], [True, True, False, False, True]) =>
   1, 2, 5

Combinatoric functions

The itertools.combinations(iterable, r) returns an iterator giving all possible r-tuple combinations of the elements contained in iterable.

itertools.combinations([1, 2, 3, 4, 5], 2) =>
  (1, 2), (1, 3), (1, 4), (1, 5),
  (2, 3), (2, 4), (2, 5),
  (3, 4), (3, 5),
  (4, 5)

itertools.combinations([1, 2, 3, 4, 5], 3) =>
  (1, 2, 3), (1, 2, 4), (1, 2, 5), (1, 3, 4), (1, 3, 5), (1, 4, 5),
  (2, 3, 4), (2, 3, 5), (2, 4, 5),
  (3, 4, 5)

The elements within each tuple remain in the same order as iterable returned them. For example, the number 1 is always before 2, 3, 4, or 5 in the examples above. A similar function, itertools.permutations(iterable, r=None), removes this constraint on the order, returning all possible arrangements of length r:

itertools.permutations([1, 2, 3, 4, 5], 2) =>
  (1, 2), (1, 3), (1, 4), (1, 5),
  (2, 1), (2, 3), (2, 4), (2, 5),
  (3, 1), (3, 2), (3, 4), (3, 5),
  (4, 1), (4, 2), (4, 3), (4, 5),
  (5, 1), (5, 2), (5, 3), (5, 4)

itertools.permutations([1, 2, 3, 4, 5]) =>
  (1, 2, 3, 4, 5), (1, 2, 3, 5, 4), (1, 2, 4, 3, 5),
  ...
  (5, 4, 3, 2, 1)

If you don’t supply a value for r the length of the iterable is used, meaning that all the elements are permuted.

Note that these functions produce all of the possible combinations by position and don’t require that the contents of iterable are unique:

itertools.permutations('aba', 3) =>
  ('a', 'b', 'a'), ('a', 'a', 'b'), ('b', 'a', 'a'),
  ('b', 'a', 'a'), ('a', 'a', 'b'), ('a', 'b', 'a')

The identical tuple ('a', 'a', 'b') occurs twice, but the two ‘a’ strings came from different positions.

The itertools.combinations_with_replacement(iterable, r) function relaxes a different constraint: elements can be repeated within a single tuple. Conceptually an element is selected for the first position of each tuple and then is replaced before the second element is selected.

itertools.combinations_with_replacement([1, 2, 3, 4, 5], 2) =>
  (1, 1), (1, 2), (1, 3), (1, 4), (1, 5),
  (2, 2), (2, 3), (2, 4), (2, 5),
  (3, 3), (3, 4), (3, 5),
  (4, 4), (4, 5),
  (5, 5)

Agrupando elementos

The last function I’ll discuss, itertools.groupby(iter, key_func=None), is the most complicated. key_func(elem) is a function that can compute a key value for each element returned by the iterable. If you don’t supply a key function, the key is simply each element itself.

groupby() collects all the consecutive elements from the underlying iterable that have the same key value, and returns a stream of 2-tuples containing a key value and an iterator for the elements with that key.

city_list = [('Decatur', 'AL'), ('Huntsville', 'AL'), ('Selma', 'AL'),
             ('Anchorage', 'AK'), ('Nome', 'AK'),
             ('Flagstaff', 'AZ'), ('Phoenix', 'AZ'), ('Tucson', 'AZ'),
             ...
            ]

def get_state(city_state):
    return city_state[1]

itertools.groupby(city_list, get_state) =>
  ('AL', iterator-1),
  ('AK', iterator-2),
  ('AZ', iterator-3), ...

where
iterator-1 =>
  ('Decatur', 'AL'), ('Huntsville', 'AL'), ('Selma', 'AL')
iterator-2 =>
  ('Anchorage', 'AK'), ('Nome', 'AK')
iterator-3 =>
  ('Flagstaff', 'AZ'), ('Phoenix', 'AZ'), ('Tucson', 'AZ')

groupby() assumes that the underlying iterable’s contents will already be sorted based on the key. Note that the returned iterators also use the underlying iterable, so you have to consume the results of iterator-1 before requesting iterator-2 and its corresponding key.

O módulo functools

The functools module contains some higher-order functions. A higher-order function takes one or more functions as input and returns a new function. The most useful tool in this module is the functools.partial() function.

For programs written in a functional style, you’ll sometimes want to construct variants of existing functions that have some of the parameters filled in. Consider a Python function f(a, b, c); you may wish to create a new function g(b, c) that’s equivalent to f(1, b, c); you’re filling in a value for one of f()’s parameters. This is called “partial function application”.

The constructor for partial() takes the arguments (function, arg1, arg2, ..., kwarg1=value1, kwarg2=value2). The resulting object is callable, so you can just call it to invoke function with the filled-in arguments.

Aqui está um pequeno mas bem realístico exemplo:

import functools

def log(message, subsystem):
    """Write the contents of 'message' to the specified subsystem."""
    print('%s: %s' % (subsystem, message))
    ...

server_log = functools.partial(log, subsystem='server')
server_log('Unable to open socket')

functools.reduce(func, iter, [initial_value]) cumulatively performs an operation on all the iterable’s elements and, therefore, can’t be applied to infinite iterables. func must be a function that takes two elements and returns a single value. functools.reduce() takes the first two elements A and B returned by the iterator and calculates func(A, B). It then requests the third element, C, calculates func(func(A, B), C), combines this result with the fourth element returned, and continues until the iterable is exhausted. If the iterable returns no values at all, a TypeError exception is raised. If the initial value is supplied, it’s used as a starting point and func(initial_value, A) is the first calculation.

>>> import operator, functools
>>> functools.reduce(operator.concat, ['A', 'BB', 'C'])
'ABBC'
>>> functools.reduce(operator.concat, [])
Traceback (most recent call last):
  ...
TypeError: reduce() of empty sequence with no initial value
>>> functools.reduce(operator.mul, [1, 2, 3], 1)
6
>>> functools.reduce(operator.mul, [], 1)
1

If you use operator.add() with functools.reduce(), you’ll add up all the elements of the iterable. This case is so common that there’s a special built-in called sum() to compute it:

>>> import functools, operator
>>> functools.reduce(operator.add, [1, 2, 3, 4], 0)
10
>>> sum([1, 2, 3, 4])
10
>>> sum([])
0

For many uses of functools.reduce(), though, it can be clearer to just write the obvious for loop:

import functools
# Instead of:
product = functools.reduce(operator.mul, [1, 2, 3], 1)

# You can write:
product = 1
for i in [1, 2, 3]:
    product *= i

A related function is itertools.accumulate(iterable, func=operator.add). It performs the same calculation, but instead of returning only the final result, accumulate() returns an iterator that also yields each partial result:

itertools.accumulate([1, 2, 3, 4, 5]) =>
  1, 3, 6, 10, 15

itertools.accumulate([1, 2, 3, 4, 5], operator.mul) =>
  1, 2, 6, 24, 120

O módulo operator

The operator module was mentioned earlier. It contains a set of functions corresponding to Python’s operators. These functions are often useful in functional-style code because they save you from writing trivial functions that perform a single operation.

Algumas funcionalidades desse módulo são:

Math operations: add(), sub(), mul(), floordiv(), abs(), …

Logical operations: not_(), truth().

Bitwise operations: and_(), or_(), invert().

Comparisons: eq(), ne(), lt(), le(), gt(), and ge().

Object identity: is_(), is_not().

Consult the operator module’s documentation for a complete list.

Pequenas funções e as expressões lambda

When writing functional-style programs, you’ll often need little functions that act as predicates or that combine elements in some way.

If there’s a Python built-in or a module function that’s suitable, you don’t need to define a new function at all:

stripped_lines = [line.strip() for line in lines]
existing_files = filter(os.path.exists, file_list)

If the function you need doesn’t exist, you need to write it. One way to write small functions is to use the lambda expression. lambda takes a number of parameters and an expression combining these parameters, and creates an anonymous function that returns the value of the expression:

adder = lambda x, y: x+y

print_assign = lambda name, value: name + '=' + str(value)

An alternative is to just use the def statement and define a function in the usual way:

def adder(x, y):
    return x + y

def print_assign(name, value):
    return name + '=' + str(value)

Which alternative is preferable? That’s a style question; my usual course is to avoid using lambda.

Um dos motivos da minha preferência é que lambda é bastante limitado nas funções que pode definir. O resultado deve ser computável como uma única expressão, o que significa que você não pode ter comparações multi-canais if ... elif ... else ou try ... except. Se você tentar fazer muito em uma declaração lambda, você acabará com uma expressão excessivamente complicada que é difícil de ler. Rápido, o que o seguinte código está fazendo?

import functools
total = functools.reduce(lambda a, b: (0, a[1] + b[1]), items)[1]

Você pode descobrir isso, mas leva tempo para desenredar a expressão para descobrir o que está acontecendo. Usar uma breve instrução de def aninhada torna as coisas um pouco melhor:

import functools
def combine(a, b):
    return 0, a[1] + b[1]

total = functools.reduce(combine, items)[1]

Mas seria o melhor de tudo se eu tivesse usado simplesmente um bucle for:

total = 0
for a, b in items:
    total += b

Ou o sum() embutida e uma expressão do gerador:

total = sum(b for a, b in items)

Muitas utilizações de functools.reduce() são mais claras quando escritas como loops for.

Fredrik Lundh sugeriu uma vez o seguinte conjunto de regras para refatoração de usos de lambda:

Escrever uma função lambda.

Escreva um comentário explicando o que o lambda faz.

Estude o comentário por um tempo e pense em um nome que capture a essência do comentário.

Converta a lambda para uma declaração de definição, usando esse nome.

Remover o comentário.

Eu realmente gosto dessas regras, mas você está livre para discordar sobre se esse estilo sem lambda é melhor.

Histórico de Revisão e Reconhecimentos

O autor agradece as seguintes pessoas por oferecer sugestões, correções e assistência com vários rascunhos deste artigo: Ian Bicking, Nick Coghlan, Nick Efford, Raymond Hettinger, Jim Jewett, Mike Krell, Leandro Lameiro, Jussi Salmela, Collin Winter, Blake Winton.

Versão 0.1: publicado em 30 de junho de 2006.

Versão 0.11: publicado em 1º de julho de 2006. Correções de erros de escrita.

Versão 0.2: publicado em 10 de julho de 2006. Incorporou as seções genexp e listcomp em uma. Correções de erros de escrita.

Versão 0.21: adicionou mais referências sugeridas na lista de correspondência do tutor.

Versão 0.30: Adiciona uma seção no módulo functional escrito por Collin Winter; Adiciona seção curta no módulo do operador; Algumas outras edições.

Referências

Geral

Structure and Interpretation of Computer Programs, by Harold Abelson and Gerald Jay Sussman with Julie Sussman. The book can be found at https://mitpress.mit.edu/sicp. In this classic textbook of computer science, chapters 2 and 3 discuss the use of sequences and streams to organize the data flow inside a program. The book uses Scheme for its examples, but many of the design approaches described in these chapters are applicable to functional-style Python code.

https://www.defmacro.org/ramblings/fp.html: A general introduction to functional programming that uses Java examples and has a lengthy historical introduction.

https://pt.wikipedia.org/wiki/Programação_funcional: Informação geral do Wikipédia para descrever programação funcional.

https://pt.wikipedia.org/wiki/Corrotina: Entrada para corrotinas.

https://en.wikipedia.org/wiki/Partial_application: Entry for the concept of partial function application.

https://pt.wikipedia.org/wiki/Currying: Entrada para o conceito de currying.

Python-specific

https://gnosis.cx/TPiP/: The first chapter of David Mertz’s book Text Processing in Python discusses functional programming for text processing, in the section titled “Utilizing Higher-Order Functions in Text Processing”.

Mertz also wrote a 3-part series of articles on functional programming for IBM’s DeveloperWorks site; see part 1 [https://developer.ibm.com/articles/l-prog/], part 2 [https://developer.ibm.com/tutorials/l-prog2/], and part 3 [https://developer.ibm.com/tutorials/l-prog3/],

Documentação do Python

Documentação para o módulo itertools.

Documentation for the functools module.

Documentação para o módulo operator.

PEP 289 [https://peps.python.org/pep-0289/]: “Gerador de Expressões”

PEP 342 [https://peps.python.org/pep-0342/]: “Coroutines via Enhanced Generators” descreve os novos recursos do gerador no Python 2.5.

Logging

Autor:

Vinay Sajip <vinay_sajip at red-dove dot com>

Essa página contém informações relativas a tutoriais. Para links de informações de referência e logging cookbook, por favor veja Outros recursos.

Tutorial Básico de Logging

Logging é uma maneira de rastrear eventos que acontecem quando algum software executa. O desenvolvedor de software adiciona chamadas de logging no código para indicar que determinado evento ocorreu. Um evento é descrito por uma mensagem descritiva que pode opcionalmente conter o dado de uma variável (ex.: dado que é potencialmente diferente pra cada ocorrência do evento). Eventos também tem um peso que o desenvolvedor atribui para o evento; o peso pode também ser chamada de níveis ou severidade.

Quando usar logging

You can access logging functionality by creating a logger via logger = getLogger(__name__), and then calling the logger’s debug(), info(), warning(), error() and critical() methods. To determine when to use logging, and to see which logger methods to use when, see the table below. It states, for each of a set of common tasks, the best tool to use for that task.

Tarefa que você quer performar

A melhor ferramenta para a tarefa

Exibir saída do console para uso ordinário de um script de linha de comando ou programa.

print()

Relata eventos que podem ocorrer durante a operação normal de um programa (ex: para monitoramento do status ou investigação de falha)

A logger’s info() (or debug() method for very detailed output for diagnostic purposes)

Emite um aviso sobre um evento de tempo de execução específico

warnings.warn() na biblioteca de código se o problema é evitável e a aplicação cliente deve ser modificada para eliminar o alerta.

A logger’s warning() method if there is nothing the client application can do about the situation, but the event should still be noted

Relata um erro sobre um evento de tempo de execução específico

Levantando uma exceção

Relatar supressão de um erro sem levantar uma exceção (ex: manipulador de erros em um processo de servidor em longa execução)

A logger’s error(), exception() or critical() method as appropriate for the specific error and application domain

The logger methods are named after the level or severity of the events they are used to track. The standard levels and their applicability are described below (in increasing order of severity):

Nível

Quando é usado

DEBUG

Informação detalhada, tipicamente de interesse apenas quando diagnosticando problemas.

INFO

Confirmação de que as coisas estão funcionando como esperado.

WARNING

Uma indicação que algo inesperado aconteceu, ou um indicativo que algum problema em um futuro próximo (ex.: ‘pouco espaço em disco’). O software está ainda funcionando como esperado.

ERROR

Por conta de um problema mais grave, o software não conseguiu executar alguma função.

CRITICAL

Um erro grave, indicando que o programa pode não conseguir continuar rodando.

The default level is WARNING, which means that only events of this severity and higher will be tracked, unless the logging package is configured to do otherwise.

Eventos que são rastreados podem ser tratados de diferentes formas. O jeito mais simples de lidar com eventos rastreados é exibi-los no console. Outra maneira comum é gravá-los em um arquivo de disco.

Um exemplo simples

Um exemplo bastante simples é:

import logging
logging.warning('Watch out!')  # will print a message to the console
logging.info('I told you so')  # will not print anything

Se você digitar essas linhas no script e executá-lo, você verá:

WARNING:root:Watch out!

printed out on the console. The INFO message doesn’t appear because the default level is WARNING. The printed message includes the indication of the level and the description of the event provided in the logging call, i.e. ‘Watch out!’. The actual output can be formatted quite flexibly if you need that; formatting options will also be explained later.

Notice that in this example, we use functions directly on the logging module, like logging.debug, rather than creating a logger and calling functions on it. These functions operation on the root logger, but can be useful as they will call basicConfig() for you if it has not been called yet, like in this example. In larger programs you’ll usually want to control the logging configuration explicitly however - so for that reason as well as others, it’s better to create loggers and call their methods.

Logging em um arquivo

A very common situation is that of recording logging events in a file, so let’s look at that next. Be sure to try the following in a newly started Python interpreter, and don’t just continue from the session described above:

import logging
logger = logging.getLogger(__name__)
logging.basicConfig(filename='example.log', encoding='utf-8', level=logging.DEBUG)
logger.debug('This message should go to the log file')
logger.info('So should this')
logger.warning('And this, too')
logger.error('And non-ASCII stuff, too, like Øresund and Malmö')

Alterado na versão 3.9: The encoding argument was added. In earlier Python versions, or if not specified, the encoding used is the default value used by open(). While not shown in the above example, an errors argument can also now be passed, which determines how encoding errors are handled. For available values and the default, see the documentation for open().

E agora se nós abrirmos o arquivo e olharmos o que temos, deveremos encontrar essas mensagens de log:

DEBUG:__main__:This message should go to the log file
INFO:__main__:So should this
WARNING:__main__:And this, too
ERROR:__main__:And non-ASCII stuff, too, like Øresund and Malmö

Este exemplo também mostra como você pode configurar o nível do logging que age como um limiar para o rastreamento. Neste caso, por causa que definimos o limiar como DEBUG, todas as mensagens foram exibidas.

Se você quer definir o nível de logging a partir de uma opção da linha de comando como:

--log=INFO

e você tem o valor do parâmetro passado pelo --log em alguma variável loglevel, você pode usar:

getattr(logging, loglevel.upper())

para obter o valor que você passará para a basicConfig() via o level argumento. Você pode querer verificar qualquer erros introduzidos pelo usuário, talvez como no exemplo a seguir:

# assuming loglevel is bound to the string value obtained from the
# command line argument. Convert to upper case to allow the user to
# specify --log=DEBUG or --log=debug
numeric_level = getattr(logging, loglevel.upper(), None)
if not isinstance(numeric_level, int):
    raise ValueError('Invalid log level: %s' % loglevel)
logging.basicConfig(level=numeric_level, ...)

The call to basicConfig() should come before any calls to a logger’s methods such as debug(), info(), etc. Otherwise, that logging event may not be handled in the desired manner.

Se você executar o script acima diversas vezes, as mensagens das sucessivas execuções serão acrescentadas ao arquivo example.log. Se você quer que cada execução seja iniciada novamente, não guardando as mensagens das execuções anteriores, você pode especificar o filemode argumento, mudando a chamada no exemplo acima:

logging.basicConfig(filename='example.log', filemode='w', level=logging.DEBUG)

A saída será a mesma de antes, mas o arquivo de log não será mais incrementado, desta forma as mensagens de execuções anteriores serão perdidas.

Logging dados de uma variável

Para logar o dado de uma variável, use o formato string para a mensagem descritiva do evento e adicione a variável como argumento. Exemplo:

import logging
logging.warning('%s before you %s', 'Look', 'leap!')

exibirá:

WARNING:root:Look before you leap!

Como você pode ver, para combinar uma variável de dados na mensagem descritiva do evento usamos o velho, %-s estilo de formatação de string. Isto é usado para garantir compatibilidade com as versões anteriores: o pacote logging pré-data novas opções de formatação como str.format() e string.Template. Estas novas opções de formatação são suportadas, mas explorá-las esta fora do escopo deste tutorial: veja Using particular formatting styles throughout your application  para mais informações.

Alterar o formato das mensagens exibidas

Para mudar o formato usado para exibir mensagens, você precisa especificar o formato que quer usar:

import logging
logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.DEBUG)
logging.debug('This message should appear on the console')
logging.info('So should this')
logging.warning('And this, too')

que vai exibir:

DEBUG:This message should appear on the console
INFO:So should this
WARNING:And this, too

Note que a palavra ‘root’ que apareceu nos exemplos anteriores desapareceu. Para todas as configurações que possam aparecer na formatação de strings, você pode consultar a documentação Atributos LogRecord, mas para uso simples, você só precisa do levelname (severidade), message (descrição do evento, incluindo a variável com dados) e talvez exibir quando o evento ocorreu. Isto esta descrito na próxima seção.

Exibindo data/hora em mensagens

Para exibir a data e hora de um evento, você pode colocar ‘%(asctime)s’ no seu formato string:

import logging
logging.basicConfig(format='%(asctime)s %(message)s')
logging.warning('is when this event was logged.')

que deve exibir algo assim:

2010-12-12 11:41:42,612 is when this event was logged.

O formato padrão para data/hora (mostrado abaixo) é como a ISO8601 ou RFC 3339 [https://datatracker.ietf.org/doc/html/rfc3339.html]. Se você precisa de mais controle sobre a formatação de data/hora, informe o datefmt argumento para basicConfig, como neste exemplo:

import logging
logging.basicConfig(format='%(asctime)s %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p')
logging.warning('is when this event was logged.')

que deve exibir algo assim:

12/12/2010 11:46:36 AM is when this event was logged.

O formato do argumento datefmt é o mesmo suportado por time.strftime().

Próximos Passos

Concluímos aqui o tutorial básico. Isto deve ser o bastante para você começar a trabalhar com logging. Existe muito mais que o pacote de logging pode oferecer, mas para ter o melhor disto, você precisará investir um pouco mais do seu tempo lendo as próximas seções. Se você está pronto para isso, pegue sua bebida favorita e continue.

If your logging needs are simple, then use the above examples to incorporate logging into your own scripts, and if you run into problems or don’t understand something, please post a question on the comp.lang.python Usenet group (available at https://groups.google.com/g/comp.lang.python) and you should receive help before too long.

Ainda por aqui? Você pode continuar lendo as seções seguintes, que tem um tutorial mais avançado que o básico acima. Depois disso, você pode dar uma olhada no Livro de Receitas do Logging.

Tutorial Avançado do Logging

A biblioteca de logging tem uma abordagem modular e oferece algumas categorias de componentes: loggers, handlers, filters, e formatters.

Loggers expõem a interface que o código da aplicação usa diretamente.

Handlers enviam os registros do evento (criados por loggers) aos destinos apropriados.

Filters fornecem uma facilidade granular para determinar quais registros de eventos enviar à saída.

Formatters especificam o layout dos registros de eventos na saída final.

Uma informação de um evento de log é passada entre loggers, handlers, filters e formatters em uma instância de uma LogRecord

Logging é executada chamando métodos nas instâncias da Logger classe, também chamado de loggers. Cada instância tem um nome, e eles são conceitualmente organizados em uma hierarquia de espaço de nomes usando pontos como separadores. Por exemplo, um logger nomeado com ‘scan’ é o pai do logger ‘scan.text’, ‘scan.html’ e ‘scan.pdf’. Você pode nomear o logger do jeito que preferir, e indicar a área de uma aplicação em que uma mensagem de log origina.

Uma boa convenção para usar quando nomear loggers é usar um módulo-nível logger, em cada módulo que usa o logging, nomeado como sugerido abaixo:

logger = logging.getLogger(__name__)

Isto significa que o nome de um logger rastreia a hierarquia do pacote/módulo, e isto é obviamente intuitivo onde os eventos estão sendo registrados apenas pelo nome do logger.

The root of the hierarchy of loggers is called the root logger. That’s the logger used by the functions debug(), info(), warning(), error() and critical(), which just call the same-named method of the root logger. The functions and the methods have the same signatures. The root logger’s name is printed as ‘root’ in the logged output.

It is, of course, possible to log messages to different destinations. Support is included in the package for writing log messages to files, HTTP GET/POST locations, email via SMTP, generic sockets, queues, or OS-specific logging mechanisms such as syslog or the Windows NT event log. Destinations are served by handler classes. You can create your own log destination class if you have special requirements not met by any of the built-in handler classes.

By default, no destination is set for any logging messages. You can specify a destination (such as console or file) by using basicConfig() as in the tutorial examples. If you call the functions debug(), info(), warning(), error() and critical(), they will check to see if no destination is set; and if one is not set, they will set a destination of the console (sys.stderr) and a default format for the displayed message before delegating to the root logger to do the actual message output.

O formato padrão definido por basicConfig() para mensagens é:

severity:logger name:message

You can change this by passing a format string to basicConfig() with the format keyword argument. For all options regarding how a format string is constructed, see Formatter Objects.

Fluxo de Logging

O fluxo dos eventos de log em loggers e handlers é ilustrado no diagrama a seguir.

Registradores

Logger objects have a threefold job. First, they expose several methods to application code so that applications can log messages at runtime. Second, logger objects determine which log messages to act upon based upon severity (the default filtering facility) or filter objects. Third, logger objects pass along relevant log messages to all interested log handlers.

Os métodos mais usados em objetos logger se enquadram em duas categorias: configuração e envio de mensagem.

Esses são os métodos de configuração mais comuns:

Logger.setLevel() specifies the lowest-severity log message a logger will handle, where debug is the lowest built-in severity level and critical is the highest built-in severity. For example, if the severity level is INFO, the logger will handle only INFO, WARNING, ERROR, and CRITICAL messages and will ignore DEBUG messages.

Logger.addHandler() and Logger.removeHandler() add and remove handler objects from the logger object. Handlers are covered in more detail in Manipuladores.

Logger.addFilter() and Logger.removeFilter() add and remove filter objects from the logger object. Filters are covered in more detail in Filter Objects.

Você não precisa sempre invocar esses métodos em cada logger que criar. Veja os últimos dois paragrafos nessa seção.

Com o objeto logger configurado, os seguintes métodos criam mensagens de log:

Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), and Logger.critical() all create log records with a message and a level that corresponds to their respective method names. The message is actually a format string, which may contain the standard string substitution syntax of %s, %d, %f, and so on. The rest of their arguments is a list of objects that correspond with the substitution fields in the message. With regard to **kwargs, the logging methods care only about a keyword of exc_info and use it to determine whether to log exception information.

Logger.exception() creates a log message similar to Logger.error(). The difference is that Logger.exception() dumps a stack trace along with it. Call this method only from an exception handler.

Logger.log() takes a log level as an explicit argument. This is a little more verbose for logging messages than using the log level convenience methods listed above, but this is how to log at custom log levels.

getLogger() returns a reference to a logger instance with the specified name if it is provided, or root if not. The names are period-separated hierarchical structures. Multiple calls to getLogger() with the same name will return a reference to the same logger object. Loggers that are further down in the hierarchical list are children of loggers higher up in the list. For example, given a logger with a name of foo, loggers with names of foo.bar, foo.bar.baz, and foo.bam are all descendants of foo.

Loggers have a concept of effective level. If a level is not explicitly set on a logger, the level of its parent is used instead as its effective level. If the parent has no explicit level set, its parent is examined, and so on - all ancestors are searched until an explicitly set level is found. The root logger always has an explicit level set (WARNING by default). When deciding whether to process an event, the effective level of the logger is used to determine whether the event is passed to the logger’s handlers.

Child loggers propagate messages up to the handlers associated with their ancestor loggers. Because of this, it is unnecessary to define and configure handlers for all the loggers an application uses. It is sufficient to configure handlers for a top-level logger and create child loggers as needed. (You can, however, turn off propagation by setting the propagate attribute of a logger to False.)

Manipuladores

Handler objects are responsible for dispatching the appropriate log messages (based on the log messages’ severity) to the handler’s specified destination. Logger objects can add zero or more handler objects to themselves with an addHandler() method. As an example scenario, an application may want to send all log messages to a log file, all log messages of error or higher to stdout, and all messages of critical to an email address. This scenario requires three individual handlers where each handler is responsible for sending messages of a specific severity to a specific location.

A biblioteca padrão possui alguns tipos de handler (veja Useful Handlers); os tutoriais usam principalmente StreamHandler e FileHandler nos seus exemplos.

There are very few methods in a handler for application developers to concern themselves with. The only handler methods that seem relevant for application developers who are using the built-in handler objects (that is, not creating custom handlers) are the following configuration methods:

The setLevel() method, just as in logger objects, specifies the lowest severity that will be dispatched to the appropriate destination. Why are there two setLevel() methods? The level set in the logger determines which severity of messages it will pass to its handlers. The level set in each handler determines which messages that handler will send on.

setFormatter() selects a Formatter object for this handler to use.

addFilter() and removeFilter() respectively configure and deconfigure filter objects on handlers.

Application code should not directly instantiate and use instances of Handler. Instead, the Handler class is a base class that defines the interface that all handlers should have and establishes some default behavior that child classes can use (or override).

Formatadores

Formatter objects configure the final order, structure, and contents of the log message. Unlike the base logging.Handler class, application code may instantiate formatter classes, although you could likely subclass the formatter if your application needs special behavior. The constructor takes three optional arguments – a message format string, a date format string and a style indicator.

logging.Formatter.__init__(fmt=None, datefmt=None, style='%')

If there is no message format string, the default is to use the raw message. If there is no date format string, the default date format is:

%Y-%m-%d %H:%M:%S

with the milliseconds tacked on at the end. The style is one of '%', '{', or '$'. If one of these is not specified, then '%' will be used.

If the style is '%', the message format string uses %(<dictionary key>)s styled string substitution; the possible keys are documented in Atributos LogRecord. If the style is '{', the message format string is assumed to be compatible with str.format() (using keyword arguments), while if the style is '$' then the message format string should conform to what is expected by string.Template.substitute().

Alterado na versão 3.2: Adicionado o parâmetro style.

The following message format string will log the time in a human-readable format, the severity of the message, and the contents of the message, in that order:

'%(asctime)s - %(levelname)s - %(message)s'

Formatters use a user-configurable function to convert the creation time of a record to a tuple. By default, time.localtime() is used; to change this for a particular formatter instance, set the converter attribute of the instance to a function with the same signature as time.localtime() or time.gmtime(). To change it for all formatters, for example if you want all logging times to be shown in GMT, set the converter attribute in the Formatter class (to time.gmtime for GMT display).

Configurando Logging

Programadores podem configurar logging de três formas:

Creating loggers, handlers, and formatters explicitly using Python code that calls the configuration methods listed above.

Creating a logging config file and reading it using the fileConfig() function.

Creating a dictionary of configuration information and passing it to the dictConfig() function.

For the reference documentation on the last two options, see Configuration functions. The following example configures a very simple logger, a console handler, and a simple formatter using Python code:

import logging

# create logger
logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)

# create console handler and set level to debug
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# create formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# add formatter to ch
ch.setFormatter(formatter)

# add ch to logger
logger.addHandler(ch)

# 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warning('warn message')
logger.error('error message')
logger.critical('critical message')

Running this module from the command line produces the following output:

$ python simple_logging_module.py
2005-03-19 15:10:26,618 - simple_example - DEBUG - debug message
2005-03-19 15:10:26,620 - simple_example - INFO - info message
2005-03-19 15:10:26,695 - simple_example - WARNING - warn message
2005-03-19 15:10:26,697 - simple_example - ERROR - error message
2005-03-19 15:10:26,773 - simple_example - CRITICAL - critical message

The following Python module creates a logger, handler, and formatter nearly identical to those in the example listed above, with the only difference being the names of the objects:

import logging
import logging.config

logging.config.fileConfig('logging.conf')

# create logger
logger = logging.getLogger('simpleExample')

# 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warning('warn message')
logger.error('error message')
logger.critical('critical message')

Aqui está o arquivo logging.conf:

[loggers]
keys=root,simpleExample

[handlers]
keys=consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s

The output is nearly identical to that of the non-config-file-based example:

$ python simple_logging_config.py
2005-03-19 15:38:55,977 - simpleExample - DEBUG - debug message
2005-03-19 15:38:55,979 - simpleExample - INFO - info message
2005-03-19 15:38:56,054 - simpleExample - WARNING - warn message
2005-03-19 15:38:56,055 - simpleExample - ERROR - error message
2005-03-19 15:38:56,130 - simpleExample - CRITICAL - critical message

You can see that the config file approach has a few advantages over the Python code approach, mainly separation of configuration and code and the ability of noncoders to easily modify the logging properties.

Aviso

The fileConfig() function takes a default parameter, disable_existing_loggers, which defaults to True for reasons of backward compatibility. This may or may not be what you want, since it will cause any non-root loggers existing before the fileConfig() call to be disabled unless they (or an ancestor) are explicitly named in the configuration. Please refer to the reference documentation for more information, and specify False for this parameter if you wish.

The dictionary passed to dictConfig() can also specify a Boolean value with key disable_existing_loggers, which if not specified explicitly in the dictionary also defaults to being interpreted as True. This leads to the logger-disabling behaviour described above, which may not be what you want - in which case, provide the key explicitly with a value of False.

Note that the class names referenced in config files need to be either relative to the logging module, or absolute values which can be resolved using normal import mechanisms. Thus, you could use either WatchedFileHandler (relative to the logging module) or mypackage.mymodule.MyHandler (for a class defined in package mypackage and module mymodule, where mypackage is available on the Python import path).

In Python 3.2, a new means of configuring logging has been introduced, using dictionaries to hold configuration information. This provides a superset of the functionality of the config-file-based approach outlined above, and is the recommended configuration method for new applications and deployments. Because a Python dictionary is used to hold configuration information, and since you can populate that dictionary using different means, you have more options for configuration. For example, you can use a configuration file in JSON format, or, if you have access to YAML processing functionality, a file in YAML format, to populate the configuration dictionary. Or, of course, you can construct the dictionary in Python code, receive it in pickled form over a socket, or use whatever approach makes sense for your application.

Here’s an example of the same configuration as above, in YAML format for the new dictionary-based approach:

version: 1
formatters:
  simple:
    format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
  console:
    class: logging.StreamHandler
    level: DEBUG
    formatter: simple
    stream: ext://sys.stdout
loggers:
  simpleExample:
    level: DEBUG
    handlers: [console]
    propagate: no
root:
  level: DEBUG
  handlers: [console]

For more information about logging using a dictionary, see Configuration functions.

O que acontece se nenhuma configuração é fornecida

If no logging configuration is provided, it is possible to have a situation where a logging event needs to be output, but no handlers can be found to output the event.

The event is output using a ‘handler of last resort’, stored in lastResort. This internal handler is not associated with any logger, and acts like a StreamHandler which writes the event description message to the current value of sys.stderr (therefore respecting any redirections which may be in effect). No formatting is done on the message - just the bare event description message is printed. The handler’s level is set to WARNING, so all events at this and greater severities will be output.

Alterado na versão 3.2: Para versões do Python anteriores à 3.2, o comportamento é o seguinte:

If raiseExceptions is False (production mode), the event is silently dropped.

If raiseExceptions is True (development mode), a message ‘No handlers could be found for logger X.Y.Z’ is printed once.

To obtain the pre-3.2 behaviour, lastResort can be set to None.

Configuring Logging for a Library

When developing a library which uses logging, you should take care to document how the library uses logging - for example, the names of loggers used. Some consideration also needs to be given to its logging configuration. If the using application does not use logging, and library code makes logging calls, then (as described in the previous section) events of severity WARNING and greater will be printed to sys.stderr. This is regarded as the best default behaviour.

If for some reason you don’t want these messages printed in the absence of any logging configuration, you can attach a do-nothing handler to the top-level logger for your library. This avoids the message being printed, since a handler will always be found for the library’s events: it just doesn’t produce any output. If the library user configures logging for application use, presumably that configuration will add some handlers, and if levels are suitably configured then logging calls made in library code will send output to those handlers, as normal.

A do-nothing handler is included in the logging package: NullHandler (since Python 3.1). An instance of this handler could be added to the top-level logger of the logging namespace used by the library (if you want to prevent your library’s logged events being output to sys.stderr in the absence of logging configuration). If all logging by a library foo is done using loggers with names matching ‘foo.x’, ‘foo.x.y’, etc. then the code:

import logging
logging.getLogger('foo').addHandler(logging.NullHandler())

should have the desired effect. If an organisation produces a number of libraries, then the logger name specified can be ‘orgname.foo’ rather than just ‘foo’.

Nota

It is strongly advised that you do not log to the root logger in your library. Instead, use a logger with a unique and easily identifiable name, such as the __name__ for your library’s top-level package or module. Logging to the root logger will make it difficult or impossible for the application developer to configure the logging verbosity or handlers of your library as they wish.

Nota

It is strongly advised that you do not add any handlers other than NullHandler to your library’s loggers. This is because the configuration of handlers is the prerogative of the application developer who uses your library. The application developer knows their target audience and what handlers are most appropriate for their application: if you add handlers ‘under the hood’, you might well interfere with their ability to carry out unit tests and deliver logs which suit their requirements.

Logging Levels

The numeric values of logging levels are given in the following table. These are primarily of interest if you want to define your own levels, and need them to have specific values relative to the predefined levels. If you define a level with the same numeric value, it overwrites the predefined value; the predefined name is lost.

Nível

Valor numérico

CRITICAL

50

ERROR

40

WARNING

30

INFO

20

DEBUG

10

NOTSET

0

Levels can also be associated with loggers, being set either by the developer or through loading a saved logging configuration. When a logging method is called on a logger, the logger compares its own level with the level associated with the method call. If the logger’s level is higher than the method call’s, no logging message is actually generated. This is the basic mechanism controlling the verbosity of logging output.

Logging messages are encoded as instances of the LogRecord class. When a logger decides to actually log an event, a LogRecord instance is created from the logging message.

Logging messages are subjected to a dispatch mechanism through the use of handlers, which are instances of subclasses of the Handler class. Handlers are responsible for ensuring that a logged message (in the form of a LogRecord) ends up in a particular location (or set of locations) which is useful for the target audience for that message (such as end users, support desk staff, system administrators, developers). Handlers are passed LogRecord instances intended for particular destinations. Each logger can have zero, one or more handlers associated with it (via the addHandler() method of Logger). In addition to any handlers directly associated with a logger, all handlers associated with all ancestors of the logger are called to dispatch the message (unless the propagate flag for a logger is set to a false value, at which point the passing to ancestor handlers stops).

Just as for loggers, handlers can have levels associated with them. A handler’s level acts as a filter in the same way as a logger’s level does. If a handler decides to actually dispatch an event, the emit() method is used to send the message to its destination. Most user-defined subclasses of Handler will need to override this emit().

Custom Levels

Defining your own levels is possible, but should not be necessary, as the existing levels have been chosen on the basis of practical experience. However, if you are convinced that you need custom levels, great care should be exercised when doing this, and it is possibly a very bad idea to define custom levels if you are developing a library. That’s because if multiple library authors all define their own custom levels, there is a chance that the logging output from such multiple libraries used together will be difficult for the using developer to control and/or interpret, because a given numeric value might mean different things for different libraries.

Useful Handlers

Em adição à classe base Handler, muitas subclasses úteis são fornecidas:

StreamHandler instances send messages to streams (file-like objects).

FileHandler instances send messages to disk files.

BaseRotatingHandler is the base class for handlers that rotate log files at a certain point. It is not meant to be instantiated directly. Instead, use RotatingFileHandler or TimedRotatingFileHandler.

RotatingFileHandler instances send messages to disk files, with support for maximum log file sizes and log file rotation.

TimedRotatingFileHandler instances send messages to disk files, rotating the log file at certain timed intervals.

SocketHandler instances send messages to TCP/IP sockets. Since 3.4, Unix domain sockets are also supported.

DatagramHandler instances send messages to UDP sockets. Since 3.4, Unix domain sockets are also supported.

SMTPHandler instances send messages to a designated email address.

SysLogHandler instances send messages to a Unix syslog daemon, possibly on a remote machine.

NTEventLogHandler instances send messages to a Windows NT/2000/XP event log.

MemoryHandler instances send messages to a buffer in memory, which is flushed whenever specific criteria are met.

HTTPHandler instances send messages to an HTTP server using either GET or POST semantics.

WatchedFileHandler instances watch the file they are logging to. If the file changes, it is closed and reopened using the file name. This handler is only useful on Unix-like systems; Windows does not support the underlying mechanism used.

QueueHandler instances send messages to a queue, such as those implemented in the queue or multiprocessing modules.

NullHandler instances do nothing with error messages. They are used by library developers who want to use logging, but want to avoid the ‘No handlers could be found for logger XXX’ message which can be displayed if the library user has not configured logging. See Configuring Logging for a Library for more information.

Adicionado na versão 3.1: A classe NullHandler.

Adicionado na versão 3.2: A classe QueueHandler.

The NullHandler, StreamHandler and FileHandler classes are defined in the core logging package. The other handlers are defined in a sub-module, logging.handlers. (There is also another sub-module, logging.config, for configuration functionality.)

Logged messages are formatted for presentation through instances of the Formatter class. They are initialized with a format string suitable for use with the % operator and a dictionary.

For formatting multiple messages in a batch, instances of BufferingFormatter can be used. In addition to the format string (which is applied to each message in the batch), there is provision for header and trailer format strings.

When filtering based on logger level and/or handler level is not enough, instances of Filter can be added to both Logger and Handler instances (through their addFilter() method). Before deciding to process a message further, both loggers and handlers consult all their filters for permission. If any filter returns a false value, the message is not processed further.

The basic Filter functionality allows filtering by specific logger name. If this feature is used, messages sent to the named logger and its children are allowed through the filter, and all others dropped.

Exceções levantadas durante logging

The logging package is designed to swallow exceptions which occur while logging in production. This is so that errors which occur while handling logging events - such as logging misconfiguration, network or other similar errors - do not cause the application using logging to terminate prematurely.

SystemExit and KeyboardInterrupt exceptions are never swallowed. Other exceptions which occur during the emit() method of a Handler subclass are passed to its handleError() method.

The default implementation of handleError() in Handler checks to see if a module-level variable, raiseExceptions, is set. If set, a traceback is printed to sys.stderr. If not set, the exception is swallowed.

Nota

The default value of raiseExceptions is True. This is because during development, you typically want to be notified of any exceptions that occur. It’s advised that you set raiseExceptions to False for production usage.

Usando objetos arbitrários como mensagens

In the preceding sections and examples, it has been assumed that the message passed when logging the event is a string. However, this is not the only possibility. You can pass an arbitrary object as a message, and its __str__() method will be called when the logging system needs to convert it to a string representation. In fact, if you want to, you can avoid computing a string representation altogether - for example, the SocketHandler emits an event by pickling it and sending it over the wire.

Optimização

Formatting of message arguments is deferred until it cannot be avoided. However, computing the arguments passed to the logging method can also be expensive, and you may want to avoid doing it if the logger will just throw away your event. To decide what to do, you can call the isEnabledFor() method which takes a level argument and returns true if the event would be created by the Logger for that level of call. You can write code like this:

if logger.isEnabledFor(logging.DEBUG):
    logger.debug('Message with %s, %s', expensive_func1(),
                                        expensive_func2())

so that if the logger’s threshold is set above DEBUG, the calls to expensive_func1 and expensive_func2 are never made.

Nota

In some cases, isEnabledFor() can itself be more expensive than you’d like (e.g. for deeply nested loggers where an explicit level is only set high up in the logger hierarchy). In such cases (or if you want to avoid calling a method in tight loops), you can cache the result of a call to isEnabledFor() in a local or instance variable, and use that instead of calling the method each time. Such a cached value would only need to be recomputed when the logging configuration changes dynamically while the application is running (which is not all that common).

There are other optimizations which can be made for specific applications which need more precise control over what logging information is collected. Here’s a list of things you can do to avoid processing during logging which you don’t need:

O que você não quer coletar

How to avoid collecting it

Information about where calls were made from.

Set logging._srcfile to None. This avoids calling sys._getframe(), which may help to speed up your code in environments like PyPy (which can’t speed up code that uses sys._getframe()).

Threading information.

Set logging.logThreads to False.

Current process ID (os.getpid())

Set logging.logProcesses to False.

Current process name when using multiprocessing to manage multiple processes.

Set logging.logMultiprocessing to False.

Current asyncio.Task name when using asyncio.

Set logging.logAsyncioTasks to False.

Also note that the core logging module only includes the basic handlers. If you don’t import logging.handlers and logging.config, they won’t take up any memory.

Outros recursos

Ver também

Módulo logging

Referência da API para o módulo de logging.

Módulo logging.config

API de configuração para o módulo logging.

Módulo logging.handlers

Manipuladores úteis incluídos no módulo logging.

Um livro de receitas do logging

Livro de Receitas do Logging

Autor:

Vinay Sajip <vinay_sajip at red-dove dot com>

This page contains a number of recipes related to logging, which have been found useful in the past. For links to tutorial and reference information, please see Outros recursos.

Usando logging em vários módulos

Multiple calls to logging.getLogger('someLogger') return a reference to the same logger object. This is true not only within the same module, but also across modules as long as it is in the same Python interpreter process. It is true for references to the same object; additionally, application code can define and configure a parent logger in one module and create (but not configure) a child logger in a separate module, and all logger calls to the child will pass up to the parent. Here is a main module:

import logging
import auxiliary_module

# create logger with 'spam_application'
logger = logging.getLogger('spam_application')
logger.setLevel(logging.DEBUG)
# create file handler which logs even debug messages
fh = logging.FileHandler('spam.log')
fh.setLevel(logging.DEBUG)
# create console handler with a higher log level
ch = logging.StreamHandler()
ch.setLevel(logging.ERROR)
# create formatter and add it to the handlers
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
ch.setFormatter(formatter)
# add the handlers to the logger
logger.addHandler(fh)
logger.addHandler(ch)

logger.info('creating an instance of auxiliary_module.Auxiliary')
a = auxiliary_module.Auxiliary()
logger.info('created an instance of auxiliary_module.Auxiliary')
logger.info('calling auxiliary_module.Auxiliary.do_something')
a.do_something()
logger.info('finished auxiliary_module.Auxiliary.do_something')
logger.info('calling auxiliary_module.some_function()')
auxiliary_module.some_function()
logger.info('done with auxiliary_module.some_function()')

Here is the auxiliary module:

import logging

# create logger
module_logger = logging.getLogger('spam_application.auxiliary')

class Auxiliary:
    def __init__(self):
        self.logger = logging.getLogger('spam_application.auxiliary.Auxiliary')
        self.logger.info('creating an instance of Auxiliary')

    def do_something(self):
        self.logger.info('doing something')
        a = 1 + 1
        self.logger.info('done doing something')

def some_function():
    module_logger.info('received a call to "some_function"')

O resultado deve ser algo assim:

2005-03-23 23:47:11,663 - spam_application - INFO -
   creating an instance of auxiliary_module.Auxiliary
2005-03-23 23:47:11,665 - spam_application.auxiliary.Auxiliary - INFO -
   creating an instance of Auxiliary
2005-03-23 23:47:11,665 - spam_application - INFO -
   created an instance of auxiliary_module.Auxiliary
2005-03-23 23:47:11,668 - spam_application - INFO -
   calling auxiliary_module.Auxiliary.do_something
2005-03-23 23:47:11,668 - spam_application.auxiliary.Auxiliary - INFO -
   doing something
2005-03-23 23:47:11,669 - spam_application.auxiliary.Auxiliary - INFO -
   done doing something
2005-03-23 23:47:11,670 - spam_application - INFO -
   finished auxiliary_module.Auxiliary.do_something
2005-03-23 23:47:11,671 - spam_application - INFO -
   calling auxiliary_module.some_function()
2005-03-23 23:47:11,672 - spam_application.auxiliary - INFO -
   received a call to 'some_function'
2005-03-23 23:47:11,673 - spam_application - INFO -
   done with auxiliary_module.some_function()

Logging from multiple threads

Logging from multiple threads requires no special effort. The following example shows logging from the main (initial) thread and another thread:

import logging
import threading
import time

def worker(arg):
    while not arg['stop']:
        logging.debug('Hi from myfunc')
        time.sleep(0.5)

def main():
    logging.basicConfig(level=logging.DEBUG, format='%(relativeCreated)6d %(threadName)s %(message)s')
    info = {'stop': False}
    thread = threading.Thread(target=worker, args=(info,))
    thread.start()
    while True:
        try:
            logging.debug('Hello from main')
            time.sleep(0.75)
        except KeyboardInterrupt:
            info['stop'] = True
            break
    thread.join()

if __name__ == '__main__':
    main()

When run, the script should print something like the following:

   0 Thread-1 Hi from myfunc
   3 MainThread Hello from main
 505 Thread-1 Hi from myfunc
 755 MainThread Hello from main
1007 Thread-1 Hi from myfunc
1507 MainThread Hello from main
1508 Thread-1 Hi from myfunc
2010 Thread-1 Hi from myfunc
2258 MainThread Hello from main
2512 Thread-1 Hi from myfunc
3009 MainThread Hello from main
3013 Thread-1 Hi from myfunc
3515 Thread-1 Hi from myfunc
3761 MainThread Hello from main
4017 Thread-1 Hi from myfunc
4513 MainThread Hello from main
4518 Thread-1 Hi from myfunc

This shows the logging output interspersed as one might expect. This approach works for more threads than shown here, of course.

Multiple handlers and formatters

Loggers are plain Python objects. The addHandler() method has no minimum or maximum quota for the number of handlers you may add. Sometimes it will be beneficial for an application to log all messages of all severities to a text file while simultaneously logging errors or above to the console. To set this up, simply configure the appropriate handlers. The logging calls in the application code will remain unchanged. Here is a slight modification to the previous simple module-based configuration example:

import logging

logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)
# create file handler which logs even debug messages
fh = logging.FileHandler('spam.log')
fh.setLevel(logging.DEBUG)
# create console handler with a higher log level
ch = logging.StreamHandler()
ch.setLevel(logging.ERROR)
# create formatter and add it to the handlers
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
ch.setFormatter(formatter)
fh.setFormatter(formatter)
# add the handlers to logger
logger.addHandler(ch)
logger.addHandler(fh)

# 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warning('warn message')
logger.error('error message')
logger.critical('critical message')

Notice that the ‘application’ code does not care about multiple handlers. All that changed was the addition and configuration of a new handler named fh.

The ability to create new handlers with higher- or lower-severity filters can be very helpful when writing and testing an application. Instead of using many print statements for debugging, use logger.debug: Unlike the print statements, which you will have to delete or comment out later, the logger.debug statements can remain intact in the source code and remain dormant until you need them again. At that time, the only change that needs to happen is to modify the severity level of the logger and/or handler to debug.

Logging to multiple destinations

Let’s say you want to log to console and file with different message formats and in differing circumstances. Say you want to log messages with levels of DEBUG and higher to file, and those messages at level INFO and higher to the console. Let’s also assume that the file should contain timestamps, but the console messages should not. Here’s how you can achieve this:

import logging

# set up logging to file - see previous section for more details
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
                    datefmt='%m-%d %H:%M',
                    filename='/tmp/myapp.log',
                    filemode='w')
# define a Handler which writes INFO messages or higher to the sys.stderr
console = logging.StreamHandler()
console.setLevel(logging.INFO)
# set a format which is simpler for console use
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
# tell the handler to use this format
console.setFormatter(formatter)
# add the handler to the root logger
logging.getLogger('').addHandler(console)

# Now, we can log to the root logger, or any other logger. First the root...
logging.info('Jackdaws love my big sphinx of quartz.')

# Now, define a couple of other loggers which might represent areas in your
# application:

logger1 = logging.getLogger('myapp.area1')
logger2 = logging.getLogger('myapp.area2')

logger1.debug('Quick zephyrs blow, vexing daft Jim.')
logger1.info('How quickly daft jumping zebras vex.')
logger2.warning('Jail zesty vixen who grabbed pay from quack.')
logger2.error('The five boxing wizards jump quickly.')

When you run this, on the console you will see

root        : INFO     Jackdaws love my big sphinx of quartz.
myapp.area1 : INFO     How quickly daft jumping zebras vex.
myapp.area2 : WARNING  Jail zesty vixen who grabbed pay from quack.
myapp.area2 : ERROR    The five boxing wizards jump quickly.

and in the file you will see something like

10-22 22:19 root         INFO     Jackdaws love my big sphinx of quartz.
10-22 22:19 myapp.area1  DEBUG    Quick zephyrs blow, vexing daft Jim.
10-22 22:19 myapp.area1  INFO     How quickly daft jumping zebras vex.
10-22 22:19 myapp.area2  WARNING  Jail zesty vixen who grabbed pay from quack.
10-22 22:19 myapp.area2  ERROR    The five boxing wizards jump quickly.

As you can see, the DEBUG message only shows up in the file. The other messages are sent to both destinations.

This example uses console and file handlers, but you can use any number and combination of handlers you choose.

Note that the above choice of log filename /tmp/myapp.log implies use of a standard location for temporary files on POSIX systems. On Windows, you may need to choose a different directory name for the log - just ensure that the directory exists and that you have the permissions to create and update files in it.

Custom handling of levels

Sometimes, you might want to do something slightly different from the standard handling of levels in handlers, where all levels above a threshold get processed by a handler. To do this, you need to use filters. Let’s look at a scenario where you want to arrange things as follows:

Send messages of severity INFO and WARNING to sys.stdout

Send messages of severity ERROR and above to sys.stderr

Send messages of severity DEBUG and above to file app.log

Suppose you configure logging with the following JSON:

{
    "version": 1,
    "disable_existing_loggers": false,
    "formatters": {
        "simple": {
            "format": "%(levelname)-8s - %(message)s"
        }
    },
    "handlers": {
        "stdout": {
            "class": "logging.StreamHandler",
            "level": "INFO",
            "formatter": "simple",
            "stream": "ext://sys.stdout"
        },
        "stderr": {
            "class": "logging.StreamHandler",
            "level": "ERROR",
            "formatter": "simple",
            "stream": "ext://sys.stderr"
        },
        "file": {
            "class": "logging.FileHandler",
            "formatter": "simple",
            "filename": "app.log",
            "mode": "w"
        }
    },
    "root": {
        "level": "DEBUG",
        "handlers": [
            "stderr",
            "stdout",
            "file"
        ]
    }
}

This configuration does almost what we want, except that sys.stdout would show messages of severity ERROR and only events of this severity and higher will be tracked as well as INFO and WARNING messages. To prevent this, we can set up a filter which excludes those messages and add it to the relevant handler. This can be configured by adding a filters section parallel to formatters and handlers:

{
    "filters": {
        "warnings_and_below": {
            "()" : "__main__.filter_maker",
            "level": "WARNING"
        }
    }
}

and changing the section on the stdout handler to add it:

{
    "stdout": {
        "class": "logging.StreamHandler",
        "level": "INFO",
        "formatter": "simple",
        "stream": "ext://sys.stdout",
        "filters": ["warnings_and_below"]
    }
}

A filter is just a function, so we can define the filter_maker (a factory function) as follows:

def filter_maker(level):
    level = getattr(logging, level)

    def filter(record):
        return record.levelno <= level

    return filter

This converts the string argument passed in to a numeric level, and returns a function which only returns True if the level of the passed in record is at or below the specified level. Note that in this example I have defined the filter_maker in a test script main.py that I run from the command line, so its module will be __main__ - hence the __main__.filter_maker in the filter configuration. You will need to change that if you define it in a different module.

With the filter added, we can run main.py, which in full is:

import json
import logging
import logging.config

CONFIG = '''
{
    "version": 1,
    "disable_existing_loggers": false,
    "formatters": {
        "simple": {
            "format": "%(levelname)-8s - %(message)s"
        }
    },
    "filters": {
        "warnings_and_below": {
            "()" : "__main__.filter_maker",
            "level": "WARNING"
        }
    },
    "handlers": {
        "stdout": {
            "class": "logging.StreamHandler",
            "level": "INFO",
            "formatter": "simple",
            "stream": "ext://sys.stdout",
            "filters": ["warnings_and_below"]
        },
        "stderr": {
            "class": "logging.StreamHandler",
            "level": "ERROR",
            "formatter": "simple",
            "stream": "ext://sys.stderr"
        },
        "file": {
            "class": "logging.FileHandler",
            "formatter": "simple",
            "filename": "app.log",
            "mode": "w"
        }
    },
    "root": {
        "level": "DEBUG",
        "handlers": [
            "stderr",
            "stdout",
            "file"
        ]
    }
}
'''

def filter_maker(level):
    level = getattr(logging, level)

    def filter(record):
        return record.levelno <= level

    return filter

logging.config.dictConfig(json.loads(CONFIG))
logging.debug('A DEBUG message')
logging.info('An INFO message')
logging.warning('A WARNING message')
logging.error('An ERROR message')
logging.critical('A CRITICAL message')

And after running it like this:

python main.py 2>stderr.log >stdout.log

We can see the results are as expected:

$ more *.log
::::::::::::::
app.log
::::::::::::::
DEBUG    - A DEBUG message
INFO     - An INFO message
WARNING  - A WARNING message
ERROR    - An ERROR message
CRITICAL - A CRITICAL message
::::::::::::::
stderr.log
::::::::::::::
ERROR    - An ERROR message
CRITICAL - A CRITICAL message
::::::::::::::
stdout.log
::::::::::::::
INFO     - An INFO message
WARNING  - A WARNING message

Configuration server example

Here is an example of a module using the logging configuration server:

import logging
import logging.config
import time
import os

# read initial config file
logging.config.fileConfig('logging.conf')

# create and start listener on port 9999
t = logging.config.listen(9999)
t.start()

logger = logging.getLogger('simpleExample')

try:
    # loop through logging calls to see the difference
    # new configurations make, until Ctrl+C is pressed
    while True:
        logger.debug('debug message')
        logger.info('info message')
        logger.warning('warn message')
        logger.error('error message')
        logger.critical('critical message')
        time.sleep(5)
except KeyboardInterrupt:
    # cleanup
    logging.config.stopListening()
    t.join()

And here is a script that takes a filename and sends that file to the server, properly preceded with the binary-encoded length, as the new logging configuration:

#!/usr/bin/env python
import socket, sys, struct

with open(sys.argv[1], 'rb') as f:
    data_to_send = f.read()

HOST = 'localhost'
PORT = 9999
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
print('connecting...')
s.connect((HOST, PORT))
print('sending config...')
s.send(struct.pack('>L', len(data_to_send)))
s.send(data_to_send)
s.close()
print('complete')

Dealing with handlers that block

Sometimes you have to get your logging handlers to do their work without blocking the thread you’re logging from. This is common in web applications, though of course it also occurs in other scenarios.

A common culprit which demonstrates sluggish behaviour is the SMTPHandler: sending emails can take a long time, for a number of reasons outside the developer’s control (for example, a poorly performing mail or network infrastructure). But almost any network-based handler can block: Even a SocketHandler operation may do a DNS query under the hood which is too slow (and this query can be deep in the socket library code, below the Python layer, and outside your control).

One solution is to use a two-part approach. For the first part, attach only a QueueHandler to those loggers which are accessed from performance-critical threads. They simply write to their queue, which can be sized to a large enough capacity or initialized with no upper bound to their size. The write to the queue will typically be accepted quickly, though you will probably need to catch the queue.Full exception as a precaution in your code. If you are a library developer who has performance-critical threads in their code, be sure to document this (together with a suggestion to attach only QueueHandlers to your loggers) for the benefit of other developers who will use your code.

The second part of the solution is QueueListener, which has been designed as the counterpart to QueueHandler. A QueueListener is very simple: it’s passed a queue and some handlers, and it fires up an internal thread which listens to its queue for LogRecords sent from QueueHandlers (or any other source of LogRecords, for that matter). The LogRecords are removed from the queue and passed to the handlers for processing.

The advantage of having a separate QueueListener class is that you can use the same instance to service multiple QueueHandlers. This is more resource-friendly than, say, having threaded versions of the existing handler classes, which would eat up one thread per handler for no particular benefit.

An example of using these two classes follows (imports omitted):

que = queue.Queue(-1)  # no limit on size
queue_handler = QueueHandler(que)
handler = logging.StreamHandler()
listener = QueueListener(que, handler)
root = logging.getLogger()
root.addHandler(queue_handler)
formatter = logging.Formatter('%(threadName)s: %(message)s')
handler.setFormatter(formatter)
listener.start()
# The log output will display the thread which generated
# the event (the main thread) rather than the internal
# thread which monitors the internal queue. This is what
# you want to happen.
root.warning('Look out!')
listener.stop()

which, when run, will produce:

MainThread: Look out!

Nota

Although the earlier discussion wasn’t specifically talking about async code, but rather about slow logging handlers, it should be noted that when logging from async code, network and even file handlers could lead to problems (blocking the event loop) because some logging is done from asyncio internals. It might be best, if any async code is used in an application, to use the above approach for logging, so that any blocking code runs only in the QueueListener thread.

Alterado na versão 3.5: Prior to Python 3.5, the QueueListener always passed every message received from the queue to every handler it was initialized with. (This was because it was assumed that level filtering was all done on the other side, where the queue is filled.) From 3.5 onwards, this behaviour can be changed by passing a keyword argument respect_handler_level=True to the listener’s constructor. When this is done, the listener compares the level of each message with the handler’s level, and only passes a message to a handler if it’s appropriate to do so.

Sending and receiving logging events across a network

Let’s say you want to send logging events across a network, and handle them at the receiving end. A simple way of doing this is attaching a SocketHandler instance to the root logger at the sending end:

import logging, logging.handlers

rootLogger = logging.getLogger('')
rootLogger.setLevel(logging.DEBUG)
socketHandler = logging.handlers.SocketHandler('localhost',
                    logging.handlers.DEFAULT_TCP_LOGGING_PORT)
# don't bother with a formatter, since a socket handler sends the event as
# an unformatted pickle
rootLogger.addHandler(socketHandler)

# Now, we can log to the root logger, or any other logger. First the root...
logging.info('Jackdaws love my big sphinx of quartz.')

# Now, define a couple of other loggers which might represent areas in your
# application:

logger1 = logging.getLogger('myapp.area1')
logger2 = logging.getLogger('myapp.area2')

logger1.debug('Quick zephyrs blow, vexing daft Jim.')
logger1.info('How quickly daft jumping zebras vex.')
logger2.warning('Jail zesty vixen who grabbed pay from quack.')
logger2.error('The five boxing wizards jump quickly.')

At the receiving end, you can set up a receiver using the socketserver module. Here is a basic working example:

import pickle
import logging
import logging.handlers
import socketserver
import struct

class LogRecordStreamHandler(socketserver.StreamRequestHandler):
    """Handler for a streaming logging request.

    This basically logs the record using whatever logging policy is
    configured locally.
    """

    def handle(self):
        """
        Handle multiple requests - each expected to be a 4-byte length,
        followed by the LogRecord in pickle format. Logs the record
        according to whatever policy is configured locally.
        """
        while True:
            chunk = self.connection.recv(4)
            if len(chunk) < 4:
                break
            slen = struct.unpack('>L', chunk)[0]
            chunk = self.connection.recv(slen)
            while len(chunk) < slen:
                chunk = chunk + self.connection.recv(slen - len(chunk))
            obj = self.unPickle(chunk)
            record = logging.makeLogRecord(obj)
            self.handleLogRecord(record)

    def unPickle(self, data):
        return pickle.loads(data)

    def handleLogRecord(self, record):
        # if a name is specified, we use the named logger rather than the one
        # implied by the record.
        if self.server.logname is not None:
            name = self.server.logname
        else:
            name = record.name
        logger = logging.getLogger(name)
        # N.B. EVERY record gets logged. This is because Logger.handle
        # is normally called AFTER logger-level filtering. If you want
        # to do filtering, do it at the client end to save wasting
        # cycles and network bandwidth!
        logger.handle(record)

class LogRecordSocketReceiver(socketserver.ThreadingTCPServer):
    """
    Simple TCP socket-based logging receiver suitable for testing.
    """

    allow_reuse_address = True

    def __init__(self, host='localhost',
                 port=logging.handlers.DEFAULT_TCP_LOGGING_PORT,
                 handler=LogRecordStreamHandler):
        socketserver.ThreadingTCPServer.__init__(self, (host, port), handler)
        self.abort = 0
        self.timeout = 1
        self.logname = None

    def serve_until_stopped(self):
        import select
        abort = 0
        while not abort:
            rd, wr, ex = select.select([self.socket.fileno()],
                                       [], [],
                                       self.timeout)
            if rd:
                self.handle_request()
            abort = self.abort

def main():
    logging.basicConfig(
        format='%(relativeCreated)5d %(name)-15s %(levelname)-8s %(message)s')
    tcpserver = LogRecordSocketReceiver()
    print('About to start TCP server...')
    tcpserver.serve_until_stopped()

if __name__ == '__main__':
    main()

First run the server, and then the client. On the client side, nothing is printed on the console; on the server side, you should see something like:

About to start TCP server...
   59 root            INFO     Jackdaws love my big sphinx of quartz.
   59 myapp.area1     DEBUG    Quick zephyrs blow, vexing daft Jim.
   69 myapp.area1     INFO     How quickly daft jumping zebras vex.
   69 myapp.area2     WARNING  Jail zesty vixen who grabbed pay from quack.
   69 myapp.area2     ERROR    The five boxing wizards jump quickly.

Note that there are some security issues with pickle in some scenarios. If these affect you, you can use an alternative serialization scheme by overriding the makePickle() method and implementing your alternative there, as well as adapting the above script to use your alternative serialization.

Running a logging socket listener in production

To run a logging listener in production, you may need to use a process-management tool such as Supervisor [http://supervisord.org/]. Here is a Gist [https://gist.github.com/vsajip/4b227eeec43817465ca835ca66f75e2b] which provides the bare-bones files to run the above functionality using Supervisor. It consists of the following files:

Arquivo

Propósito

prepare.sh

A Bash script to prepare the environment for testing

supervisor.conf

The Supervisor configuration file, which has entries for the listener and a multi-process web application

ensure_app.sh

A Bash script to ensure that Supervisor is running with the above configuration

log_listener.py

The socket listener program which receives log events and records them to a file

main.py

A simple web application which performs logging via a socket connected to the listener

webapp.json

A JSON configuration file for the web application

client.py

A Python script to exercise the web application

The web application uses Gunicorn [https://gunicorn.org/], which is a popular web application server that starts multiple worker processes to handle requests. This example setup shows how the workers can write to the same log file without conflicting with one another — they all go through the socket listener.

To test these files, do the following in a POSIX environment:

Download the Gist [https://gist.github.com/vsajip/4b227eeec43817465ca835ca66f75e2b] as a ZIP archive using the Download ZIP button.

Unzip the above files from the archive into a scratch directory.

In the scratch directory, run bash prepare.sh to get things ready. This creates a run subdirectory to contain Supervisor-related and log files, and a venv subdirectory to contain a virtual environment into which bottle, gunicorn and supervisor are installed.

Run bash ensure_app.sh to ensure that Supervisor is running with the above configuration.

Run venv/bin/python client.py to exercise the web application, which will lead to records being written to the log.

Inspect the log files in the run subdirectory. You should see the most recent log lines in files matching the pattern app.log*. They won’t be in any particular order, since they have been handled concurrently by different worker processes in a non-deterministic way.

You can shut down the listener and the web application by running venv/bin/supervisorctl -c supervisor.conf shutdown.

You may need to tweak the configuration files in the unlikely event that the configured ports clash with something else in your test environment.

Adding contextual information to your logging output

Sometimes you want logging output to contain contextual information in addition to the parameters passed to the logging call. For example, in a networked application, it may be desirable to log client-specific information in the log (e.g. remote client’s username, or IP address). Although you could use the extra parameter to achieve this, it’s not always convenient to pass the information in this way. While it might be tempting to create Logger instances on a per-connection basis, this is not a good idea because these instances are not garbage collected. While this is not a problem in practice, when the number of Logger instances is dependent on the level of granularity you want to use in logging an application, it could be hard to manage if the number of Logger instances becomes effectively unbounded.

Using LoggerAdapters to impart contextual information

An easy way in which you can pass contextual information to be output along with logging event information is to use the LoggerAdapter class. This class is designed to look like a Logger, so that you can call debug(), info(), warning(), error(), exception(), critical() and log(). These methods have the same signatures as their counterparts in Logger, so you can use the two types of instances interchangeably.

When you create an instance of LoggerAdapter, you pass it a Logger instance and a dict-like object which contains your contextual information. When you call one of the logging methods on an instance of LoggerAdapter, it delegates the call to the underlying instance of Logger passed to its constructor, and arranges to pass the contextual information in the delegated call. Here’s a snippet from the code of LoggerAdapter:

def debug(self, msg, /, *args, **kwargs):
    """
    Delegate a debug call to the underlying logger, after adding
    contextual information from this adapter instance.
    """
    msg, kwargs = self.process(msg, kwargs)
    self.logger.debug(msg, *args, **kwargs)

The process() method of LoggerAdapter is where the contextual information is added to the logging output. It’s passed the message and keyword arguments of the logging call, and it passes back (potentially) modified versions of these to use in the call to the underlying logger. The default implementation of this method leaves the message alone, but inserts an ‘extra’ key in the keyword argument whose value is the dict-like object passed to the constructor. Of course, if you had passed an ‘extra’ keyword argument in the call to the adapter, it will be silently overwritten.

The advantage of using ‘extra’ is that the values in the dict-like object are merged into the LogRecord instance’s __dict__, allowing you to use customized strings with your Formatter instances which know about the keys of the dict-like object. If you need a different method, e.g. if you want to prepend or append the contextual information to the message string, you just need to subclass LoggerAdapter and override process() to do what you need. Here is a simple example:

class CustomAdapter(logging.LoggerAdapter):
    """
    This example adapter expects the passed in dict-like object to have a
    'connid' key, whose value in brackets is prepended to the log message.
    """
    def process(self, msg, kwargs):
        return '[%s] %s' % (self.extra['connid'], msg), kwargs

which you can use like this:

logger = logging.getLogger(__name__)
adapter = CustomAdapter(logger, {'connid': some_conn_id})

Then any events that you log to the adapter will have the value of some_conn_id prepended to the log messages.

Using objects other than dicts to pass contextual information

You don’t need to pass an actual dict to a LoggerAdapter - you could pass an instance of a class which implements __getitem__ and __iter__ so that it looks like a dict to logging. This would be useful if you want to generate values dynamically (whereas the values in a dict would be constant).

Using Filters to impart contextual information

You can also add contextual information to log output using a user-defined Filter. Filter instances are allowed to modify the LogRecords passed to them, including adding additional attributes which can then be output using a suitable format string, or if needed a custom Formatter.

For example in a web application, the request being processed (or at least, the interesting parts of it) can be stored in a threadlocal (threading.local) variable, and then accessed from a Filter to add, say, information from the request - say, the remote IP address and remote user’s username - to the LogRecord, using the attribute names ‘ip’ and ‘user’ as in the LoggerAdapter example above. In that case, the same format string can be used to get similar output to that shown above. Here’s an example script:

import logging
from random import choice

class ContextFilter(logging.Filter):
    """
    This is a filter which injects contextual information into the log.

    Rather than use actual contextual information, we just use random
    data in this demo.
    """

    USERS = ['jim', 'fred', 'sheila']
    IPS = ['123.231.231.123', '127.0.0.1', '192.168.0.1']

    def filter(self, record):

        record.ip = choice(ContextFilter.IPS)
        record.user = choice(ContextFilter.USERS)
        return True

if __name__ == '__main__':
    levels = (logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR, logging.CRITICAL)
    logging.basicConfig(level=logging.DEBUG,
                        format='%(asctime)-15s %(name)-5s %(levelname)-8s IP: %(ip)-15s User: %(user)-8s %(message)s')
    a1 = logging.getLogger('a.b.c')
    a2 = logging.getLogger('d.e.f')

    f = ContextFilter()
    a1.addFilter(f)
    a2.addFilter(f)
    a1.debug('A debug message')
    a1.info('An info message with %s', 'some parameters')
    for x in range(10):
        lvl = choice(levels)
        lvlname = logging.getLevelName(lvl)
        a2.log(lvl, 'A message at %s level with %d %s', lvlname, 2, 'parameters')

which, when run, produces something like:

2010-09-06 22:38:15,292 a.b.c DEBUG    IP: 123.231.231.123 User: fred     A debug message
2010-09-06 22:38:15,300 a.b.c INFO     IP: 192.168.0.1     User: sheila   An info message with some parameters
2010-09-06 22:38:15,300 d.e.f CRITICAL IP: 127.0.0.1       User: sheila   A message at CRITICAL level with 2 parameters
2010-09-06 22:38:15,300 d.e.f ERROR    IP: 127.0.0.1       User: jim      A message at ERROR level with 2 parameters
2010-09-06 22:38:15,300 d.e.f DEBUG    IP: 127.0.0.1       User: sheila   A message at DEBUG level with 2 parameters
2010-09-06 22:38:15,300 d.e.f ERROR    IP: 123.231.231.123 User: fred     A message at ERROR level with 2 parameters
2010-09-06 22:38:15,300 d.e.f CRITICAL IP: 192.168.0.1     User: jim      A message at CRITICAL level with 2 parameters
2010-09-06 22:38:15,300 d.e.f CRITICAL IP: 127.0.0.1       User: sheila   A message at CRITICAL level with 2 parameters
2010-09-06 22:38:15,300 d.e.f DEBUG    IP: 192.168.0.1     User: jim      A message at DEBUG level with 2 parameters
2010-09-06 22:38:15,301 d.e.f ERROR    IP: 127.0.0.1       User: sheila   A message at ERROR level with 2 parameters
2010-09-06 22:38:15,301 d.e.f DEBUG    IP: 123.231.231.123 User: fred     A message at DEBUG level with 2 parameters
2010-09-06 22:38:15,301 d.e.f INFO     IP: 123.231.231.123 User: fred     A message at INFO level with 2 parameters

Use of contextvars

Since Python 3.7, the contextvars module has provided context-local storage which works for both threading and asyncio processing needs. This type of storage may thus be generally preferable to thread-locals. The following example shows how, in a multi-threaded environment, logs can populated with contextual information such as, for example, request attributes handled by web applications.

For the purposes of illustration, say that you have different web applications, each independent of the other but running in the same Python process and using a library common to them. How can each of these applications have their own log, where all logging messages from the library (and other request processing code) are directed to the appropriate application’s log file, while including in the log additional contextual information such as client IP, HTTP request method and client username?

Let’s assume that the library can be simulated by the following code:

# webapplib.py
import logging
import time

logger = logging.getLogger(__name__)

def useful():
    # Just a representative event logged from the library
    logger.debug('Hello from webapplib!')
    # Just sleep for a bit so other threads get to run
    time.sleep(0.01)

We can simulate the multiple web applications by means of two simple classes, Request and WebApp. These simulate how real threaded web applications work - each request is handled by a thread:

# main.py
import argparse
from contextvars import ContextVar
import logging
import os
from random import choice
import threading
import webapplib

logger = logging.getLogger(__name__)
root = logging.getLogger()
root.setLevel(logging.DEBUG)

class Request:
    """
    A simple dummy request class which just holds dummy HTTP request method,
    client IP address and client username
    """
    def __init__(self, method, ip, user):
        self.method = method
        self.ip = ip
        self.user = user

# A dummy set of requests which will be used in the simulation - we'll just pick
# from this list randomly. Note that all GET requests are from 192.168.2.XXX
# addresses, whereas POST requests are from 192.16.3.XXX addresses. Three users
# are represented in the sample requests.

REQUESTS = [
    Request('GET', '192.168.2.20', 'jim'),
    Request('POST', '192.168.3.20', 'fred'),
    Request('GET', '192.168.2.21', 'sheila'),
    Request('POST', '192.168.3.21', 'jim'),
    Request('GET', '192.168.2.22', 'fred'),
    Request('POST', '192.168.3.22', 'sheila'),
]

# Note that the format string includes references to request context information
# such as HTTP method, client IP and username

formatter = logging.Formatter('%(threadName)-11s %(appName)s %(name)-9s %(user)-6s %(ip)s %(method)-4s %(message)s')

# Create our context variables. These will be filled at the start of request
# processing, and used in the logging that happens during that processing

ctx_request = ContextVar('request')
ctx_appname = ContextVar('appname')

class InjectingFilter(logging.Filter):
    """
    A filter which injects context-specific information into logs and ensures
    that only information for a specific webapp is included in its log
    """
    def __init__(self, app):
        self.app = app

    def filter(self, record):
        request = ctx_request.get()
        record.method = request.method
        record.ip = request.ip
        record.user = request.user
        record.appName = appName = ctx_appname.get()
        return appName == self.app.name

class WebApp:
    """
    A dummy web application class which has its own handler and filter for a
    webapp-specific log.
    """
    def __init__(self, name):
        self.name = name
        handler = logging.FileHandler(name + '.log', 'w')
        f = InjectingFilter(self)
        handler.setFormatter(formatter)
        handler.addFilter(f)
        root.addHandler(handler)
        self.num_requests = 0

    def process_request(self, request):
        """
        This is the dummy method for processing a request. It's called on a
        different thread for every request. We store the context information into
        the context vars before doing anything else.
        """
        ctx_request.set(request)
        ctx_appname.set(self.name)
        self.num_requests += 1
        logger.debug('Request processing started')
        webapplib.useful()
        logger.debug('Request processing finished')

def main():
    fn = os.path.splitext(os.path.basename(__file__))[0]
    adhf = argparse.ArgumentDefaultsHelpFormatter
    ap = argparse.ArgumentParser(formatter_class=adhf, prog=fn,
                                 description='Simulate a couple of web '
                                             'applications handling some '
                                             'requests, showing how request '
                                             'context can be used to '
                                             'populate logs')
    aa = ap.add_argument
    aa('--count', '-c', type=int, default=100, help='How many requests to simulate')
    options = ap.parse_args()

    # Create the dummy webapps and put them in a list which we can use to select
    # from randomly
    app1 = WebApp('app1')
    app2 = WebApp('app2')
    apps = [app1, app2]
    threads = []
    # Add a common handler which will capture all events
    handler = logging.FileHandler('app.log', 'w')
    handler.setFormatter(formatter)
    root.addHandler(handler)

    # Generate calls to process requests
    for i in range(options.count):
        try:
            # Pick an app at random and a request for it to process
            app = choice(apps)
            request = choice(REQUESTS)
            # Process the request in its own thread
            t = threading.Thread(target=app.process_request, args=(request,))
            threads.append(t)
            t.start()
        except KeyboardInterrupt:
            break

    # Wait for the threads to terminate
    for t in threads:
        t.join()

    for app in apps:
        print('%s processed %s requests' % (app.name, app.num_requests))

if __name__ == '__main__':
    main()

If you run the above, you should find that roughly half the requests go into app1.log and the rest into app2.log, and the all the requests are logged to app.log. Each webapp-specific log will contain only log entries for only that webapp, and the request information will be displayed consistently in the log (i.e. the information in each dummy request will always appear together in a log line). This is illustrated by the following shell output:

~/logging-contextual-webapp$ python main.py
app1 processed 51 requests
app2 processed 49 requests
~/logging-contextual-webapp$ wc -l *.log
  153 app1.log
  147 app2.log
  300 app.log
  600 total
~/logging-contextual-webapp$ head -3 app1.log
Thread-3 (process_request) app1 __main__  jim    192.168.3.21 POST Request processing started
Thread-3 (process_request) app1 webapplib jim    192.168.3.21 POST Hello from webapplib!
Thread-5 (process_request) app1 __main__  jim    192.168.3.21 POST Request processing started
~/logging-contextual-webapp$ head -3 app2.log
Thread-1 (process_request) app2 __main__  sheila 192.168.2.21 GET  Request processing started
Thread-1 (process_request) app2 webapplib sheila 192.168.2.21 GET  Hello from webapplib!
Thread-2 (process_request) app2 __main__  jim    192.168.2.20 GET  Request processing started
~/logging-contextual-webapp$ head app.log
Thread-1 (process_request) app2 __main__  sheila 192.168.2.21 GET  Request processing started
Thread-1 (process_request) app2 webapplib sheila 192.168.2.21 GET  Hello from webapplib!
Thread-2 (process_request) app2 __main__  jim    192.168.2.20 GET  Request processing started
Thread-3 (process_request) app1 __main__  jim    192.168.3.21 POST Request processing started
Thread-2 (process_request) app2 webapplib jim    192.168.2.20 GET  Hello from webapplib!
Thread-3 (process_request) app1 webapplib jim    192.168.3.21 POST Hello from webapplib!
Thread-4 (process_request) app2 __main__  fred   192.168.2.22 GET  Request processing started
Thread-5 (process_request) app1 __main__  jim    192.168.3.21 POST Request processing started
Thread-4 (process_request) app2 webapplib fred   192.168.2.22 GET  Hello from webapplib!
Thread-6 (process_request) app1 __main__  jim    192.168.3.21 POST Request processing started
~/logging-contextual-webapp$ grep app1 app1.log | wc -l
153
~/logging-contextual-webapp$ grep app2 app2.log | wc -l
147
~/logging-contextual-webapp$ grep app1 app.log | wc -l
153
~/logging-contextual-webapp$ grep app2 app.log | wc -l
147

Imparting contextual information in handlers

Each Handler has its own chain of filters. If you want to add contextual information to a LogRecord without leaking it to other handlers, you can use a filter that returns a new LogRecord instead of modifying it in-place, as shown in the following script:

import copy
import logging

def filter(record: logging.LogRecord):
    record = copy.copy(record)
    record.user = 'jim'
    return record

if __name__ == '__main__':
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    handler = logging.StreamHandler()
    formatter = logging.Formatter('%(message)s from %(user)-8s')
    handler.setFormatter(formatter)
    handler.addFilter(filter)
    logger.addHandler(handler)

    logger.info('A log message')

Logging to a single file from multiple processes

Although logging is thread-safe, and logging to a single file from multiple threads in a single process is supported, logging to a single file from multiple processes is not supported, because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.) This section documents this approach in more detail and includes a working socket receiver which can be used as a starting point for you to adapt in your own applications.

You could also write your own handler which uses the Lock class from the multiprocessing module to serialize access to the file from your processes. The existing FileHandler and subclasses do not make use of multiprocessing at present, though they may do so in the future. Note that at present, the multiprocessing module does not provide working lock functionality on all platforms (see https://bugs.python.org/issue3770).

Alternatively, you can use a Queue and a QueueHandler to send all logging events to one of the processes in your multi-process application. The following example script demonstrates how you can do this; in the example a separate listener process listens for events sent by other processes and logs them according to its own logging configuration. Although the example only demonstrates one way of doing it (for example, you may want to use a listener thread rather than a separate listener process – the implementation would be analogous) it does allow for completely different logging configurations for the listener and the other processes in your application, and can be used as the basis for code meeting your own specific requirements:

# You'll need these imports in your own code
import logging
import logging.handlers
import multiprocessing

# Next two import lines for this demo only
from random import choice, random
import time

#
# Because you'll want to define the logging configurations for listener and workers, the
# listener and worker process functions take a configurer parameter which is a callable
# for configuring logging for that process. These functions are also passed the queue,
# which they use for communication.
#
# In practice, you can configure the listener however you want, but note that in this
# simple example, the listener does not apply level or filter logic to received records.
# In practice, you would probably want to do this logic in the worker processes, to avoid
# sending events which would be filtered out between processes.
#
# The size of the rotated files is made small so you can see the results easily.
def listener_configurer():
    root = logging.getLogger()
    h = logging.handlers.RotatingFileHandler('mptest.log', 'a', 300, 10)
    f = logging.Formatter('%(asctime)s %(processName)-10s %(name)s %(levelname)-8s %(message)s')
    h.setFormatter(f)
    root.addHandler(h)

# This is the listener process top-level loop: wait for logging events
# (LogRecords)on the queue and handle them, quit when you get a None for a
# LogRecord.
def listener_process(queue, configurer):
    configurer()
    while True:
        try:
            record = queue.get()
            if record is None:  # We send this as a sentinel to tell the listener to quit.
                break
            logger = logging.getLogger(record.name)
            logger.handle(record)  # No level or filter logic applied - just do it!
        except Exception:
            import sys, traceback
            print('Whoops! Problem:', file=sys.stderr)
            traceback.print_exc(file=sys.stderr)

# Arrays used for random selections in this demo

LEVELS = [logging.DEBUG, logging.INFO, logging.WARNING,
          logging.ERROR, logging.CRITICAL]

LOGGERS = ['a.b.c', 'd.e.f']

MESSAGES = [
    'Random message #1',
    'Random message #2',
    'Random message #3',
]

# The worker configuration is done at the start of the worker process run.
# Note that on Windows you can't rely on fork semantics, so each process
# will run the logging configuration code when it starts.
def worker_configurer(queue):
    h = logging.handlers.QueueHandler(queue)  # Just the one handler needed
    root = logging.getLogger()
    root.addHandler(h)
    # send all messages, for demo; no other level or filter logic applied.
    root.setLevel(logging.DEBUG)

# This is the worker process top-level loop, which just logs ten events with
# random intervening delays before terminating.
# The print messages are just so you know it's doing something!
def worker_process(queue, configurer):
    configurer(queue)
    name = multiprocessing.current_process().name
    print('Worker started: %s' % name)
    for i in range(10):
        time.sleep(random())
        logger = logging.getLogger(choice(LOGGERS))
        level = choice(LEVELS)
        message = choice(MESSAGES)
        logger.log(level, message)
    print('Worker finished: %s' % name)

# Here's where the demo gets orchestrated. Create the queue, create and start
# the listener, create ten workers and start them, wait for them to finish,
# then send a None to the queue to tell the listener to finish.
def main():
    queue = multiprocessing.Queue(-1)
    listener = multiprocessing.Process(target=listener_process,
                                       args=(queue, listener_configurer))
    listener.start()
    workers = []
    for i in range(10):
        worker = multiprocessing.Process(target=worker_process,
                                         args=(queue, worker_configurer))
        workers.append(worker)
        worker.start()
    for w in workers:
        w.join()
    queue.put_nowait(None)
    listener.join()

if __name__ == '__main__':
    main()

A variant of the above script keeps the logging in the main process, in a separate thread:

import logging
import logging.config
import logging.handlers
from multiprocessing import Process, Queue
import random
import threading
import time

def logger_thread(q):
    while True:
        record = q.get()
        if record is None:
            break
        logger = logging.getLogger(record.name)
        logger.handle(record)

def worker_process(q):
    qh = logging.handlers.QueueHandler(q)
    root = logging.getLogger()
    root.setLevel(logging.DEBUG)
    root.addHandler(qh)
    levels = [logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
              logging.CRITICAL]
    loggers = ['foo', 'foo.bar', 'foo.bar.baz',
               'spam', 'spam.ham', 'spam.ham.eggs']
    for i in range(100):
        lvl = random.choice(levels)
        logger = logging.getLogger(random.choice(loggers))
        logger.log(lvl, 'Message no. %d', i)

if __name__ == '__main__':
    q = Queue()
    d = {
        'version': 1,
        'formatters': {
            'detailed': {
                'class': 'logging.Formatter',
                'format': '%(asctime)s %(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
            }
        },
        'handlers': {
            'console': {
                'class': 'logging.StreamHandler',
                'level': 'INFO',
            },
            'file': {
                'class': 'logging.FileHandler',
                'filename': 'mplog.log',
                'mode': 'w',
                'formatter': 'detailed',
            },
            'foofile': {
                'class': 'logging.FileHandler',
                'filename': 'mplog-foo.log',
                'mode': 'w',
                'formatter': 'detailed',
            },
            'errors': {
                'class': 'logging.FileHandler',
                'filename': 'mplog-errors.log',
                'mode': 'w',
                'level': 'ERROR',
                'formatter': 'detailed',
            },
        },
        'loggers': {
            'foo': {
                'handlers': ['foofile']
            }
        },
        'root': {
            'level': 'DEBUG',
            'handlers': ['console', 'file', 'errors']
        },
    }
    workers = []
    for i in range(5):
        wp = Process(target=worker_process, name='worker %d' % (i + 1), args=(q,))
        workers.append(wp)
        wp.start()
    logging.config.dictConfig(d)
    lp = threading.Thread(target=logger_thread, args=(q,))
    lp.start()
    # At this point, the main process could do some useful work of its own
    # Once it's done that, it can wait for the workers to terminate...
    for wp in workers:
        wp.join()
    # And now tell the logging thread to finish up, too
    q.put(None)
    lp.join()

This variant shows how you can e.g. apply configuration for particular loggers - e.g. the foo logger has a special handler which stores all events in the foo subsystem in a file mplog-foo.log. This will be used by the logging machinery in the main process (even though the logging events are generated in the worker processes) to direct the messages to the appropriate destinations.

Using concurrent.futures.ProcessPoolExecutor

If you want to use concurrent.futures.ProcessPoolExecutor to start your worker processes, you need to create the queue slightly differently. Instead of

queue = multiprocessing.Queue(-1)

you should use

queue = multiprocessing.Manager().Queue(-1)  # also works with the examples above

and you can then replace the worker creation from this:

workers = []
for i in range(10):
    worker = multiprocessing.Process(target=worker_process,
                                     args=(queue, worker_configurer))
    workers.append(worker)
    worker.start()
for w in workers:
    w.join()

to this (remembering to first import concurrent.futures):

with concurrent.futures.ProcessPoolExecutor(max_workers=10) as executor:
    for i in range(10):
        executor.submit(worker_process, queue, worker_configurer)

Deploying Web applications using Gunicorn and uWSGI

When deploying Web applications using Gunicorn [https://gunicorn.org/] or uWSGI [https://uwsgi-docs.readthedocs.io/en/latest/] (or similar), multiple worker processes are created to handle client requests. In such environments, avoid creating file-based handlers directly in your web application. Instead, use a SocketHandler to log from the web application to a listener in a separate process. This can be set up using a process management tool such as Supervisor - see Running a logging socket listener in production for more details.

Using file rotation

Sometimes you want to let a log file grow to a certain size, then open a new file and log to that. You may want to keep a certain number of these files, and when that many files have been created, rotate the files so that the number of files and the size of the files both remain bounded. For this usage pattern, the logging package provides a RotatingFileHandler:

import glob
import logging
import logging.handlers

LOG_FILENAME = 'logging_rotatingfile_example.out'

# Set up a specific logger with our desired output level
my_logger = logging.getLogger('MyLogger')
my_logger.setLevel(logging.DEBUG)

# Add the log message handler to the logger
handler = logging.handlers.RotatingFileHandler(
              LOG_FILENAME, maxBytes=20, backupCount=5)

my_logger.addHandler(handler)

# Log some messages
for i in range(20):
    my_logger.debug('i = %d' % i)

# See what files are created
logfiles = glob.glob('%s*' % LOG_FILENAME)

for filename in logfiles:
    print(filename)

The result should be 6 separate files, each with part of the log history for the application:

logging_rotatingfile_example.out
logging_rotatingfile_example.out.1
logging_rotatingfile_example.out.2
logging_rotatingfile_example.out.3
logging_rotatingfile_example.out.4
logging_rotatingfile_example.out.5

The most current file is always logging_rotatingfile_example.out, and each time it reaches the size limit it is renamed with the suffix .1. Each of the existing backup files is renamed to increment the suffix (.1 becomes .2, etc.) and the .6 file is erased.

Obviously this example sets the log length much too small as an extreme example. You would want to set maxBytes to an appropriate value.

Use of alternative formatting styles

When logging was added to the Python standard library, the only way of formatting messages with variable content was to use the %-formatting method. Since then, Python has gained two new formatting approaches: string.Template (added in Python 2.4) and str.format() (added in Python 2.6).

Logging (as of 3.2) provides improved support for these two additional formatting styles. The Formatter class been enhanced to take an additional, optional keyword parameter named style. This defaults to '%', but other possible values are '{' and '$', which correspond to the other two formatting styles. Backwards compatibility is maintained by default (as you would expect), but by explicitly specifying a style parameter, you get the ability to specify format strings which work with str.format() or string.Template. Here’s an example console session to show the possibilities:

>>> import logging
>>> root = logging.getLogger()
>>> root.setLevel(logging.DEBUG)
>>> handler = logging.StreamHandler()
>>> bf = logging.Formatter('{asctime} {name} {levelname:8s} {message}',
...                        style='{')
>>> handler.setFormatter(bf)
>>> root.addHandler(handler)
>>> logger = logging.getLogger('foo.bar')
>>> logger.debug('This is a DEBUG message')
2010-10-28 15:11:55,341 foo.bar DEBUG    This is a DEBUG message
>>> logger.critical('This is a CRITICAL message')
2010-10-28 15:12:11,526 foo.bar CRITICAL This is a CRITICAL message
>>> df = logging.Formatter('$asctime $name ${levelname} $message',
...                        style='$')
>>> handler.setFormatter(df)
>>> logger.debug('This is a DEBUG message')
2010-10-28 15:13:06,924 foo.bar DEBUG This is a DEBUG message
>>> logger.critical('This is a CRITICAL message')
2010-10-28 15:13:11,494 foo.bar CRITICAL This is a CRITICAL message
>>>

Note that the formatting of logging messages for final output to logs is completely independent of how an individual logging message is constructed. That can still use %-formatting, as shown here:

>>> logger.error('This is an%s %s %s', 'other,', 'ERROR,', 'message')
2010-10-28 15:19:29,833 foo.bar ERROR This is another, ERROR, message
>>>

Logging calls (logger.debug(), logger.info() etc.) only take positional parameters for the actual logging message itself, with keyword parameters used only for determining options for how to handle the actual logging call (e.g. the exc_info keyword parameter to indicate that traceback information should be logged, or the extra keyword parameter to indicate additional contextual information to be added to the log). So you cannot directly make logging calls using str.format() or string.Template syntax, because internally the logging package uses %-formatting to merge the format string and the variable arguments. There would be no changing this while preserving backward compatibility, since all logging calls which are out there in existing code will be using %-format strings.

There is, however, a way that you can use {}- and $- formatting to construct your individual log messages. Recall that for a message you can use an arbitrary object as a message format string, and that the logging package will call str() on that object to get the actual format string. Consider the following two classes:

class BraceMessage:
    def __init__(self, fmt, /, *args, **kwargs):
        self.fmt = fmt
        self.args = args
        self.kwargs = kwargs

    def __str__(self):
        return self.fmt.format(*self.args, **self.kwargs)

class DollarMessage:
    def __init__(self, fmt, /, **kwargs):
        self.fmt = fmt
        self.kwargs = kwargs

    def __str__(self):
        from string import Template
        return Template(self.fmt).substitute(**self.kwargs)

Either of these can be used in place of a format string, to allow {}- or $-formatting to be used to build the actual “message” part which appears in the formatted log output in place of “%(message)s” or “{message}” or “$message”. It’s a little unwieldy to use the class names whenever you want to log something, but it’s quite palatable if you use an alias such as __ (double underscore — not to be confused with _, the single underscore used as a synonym/alias for gettext.gettext() or its brethren).

The above classes are not included in Python, though they’re easy enough to copy and paste into your own code. They can be used as follows (assuming that they’re declared in a module called wherever):

>>> from wherever import BraceMessage as __
>>> print(__('Message with {0} {name}', 2, name='placeholders'))
Message with 2 placeholders
>>> class Point: pass
...
>>> p = Point()
>>> p.x = 0.5
>>> p.y = 0.5
>>> print(__('Message with coordinates: ({point.x:.2f}, {point.y:.2f})',
...       point=p))
Message with coordinates: (0.50, 0.50)
>>> from wherever import DollarMessage as __
>>> print(__('Message with $num $what', num=2, what='placeholders'))
Message with 2 placeholders
>>>

While the above examples use print() to show how the formatting works, you would of course use logger.debug() or similar to actually log using this approach.

One thing to note is that you pay no significant performance penalty with this approach: the actual formatting happens not when you make the logging call, but when (and if) the logged message is actually about to be output to a log by a handler. So the only slightly unusual thing which might trip you up is that the parentheses go around the format string and the arguments, not just the format string. That’s because the __ notation is just syntax sugar for a constructor call to one of the XXXMessage classes.

If you prefer, you can use a LoggerAdapter to achieve a similar effect to the above, as in the following example:

import logging

class Message:
    def __init__(self, fmt, args):
        self.fmt = fmt
        self.args = args

    def __str__(self):
        return self.fmt.format(*self.args)

class StyleAdapter(logging.LoggerAdapter):
    def log(self, level, msg, /, *args, stacklevel=1, **kwargs):
        if self.isEnabledFor(level):
            msg, kwargs = self.process(msg, kwargs)
            self.logger.log(level, Message(msg, args), **kwargs,
                            stacklevel=stacklevel+1)

logger = StyleAdapter(logging.getLogger(__name__))

def main():
    logger.debug('Hello, {}', 'world!')

if __name__ == '__main__':
    logging.basicConfig(level=logging.DEBUG)
    main()

The above script should log the message Hello, world! when run with Python 3.8 or later.

Personalizando o LogRecord

Every logging event is represented by a LogRecord instance. When an event is logged and not filtered out by a logger’s level, a LogRecord is created, populated with information about the event and then passed to the handlers for that logger (and its ancestors, up to and including the logger where further propagation up the hierarchy is disabled). Before Python 3.2, there were only two places where this creation was done:

Logger.makeRecord(), which is called in the normal process of logging an event. This invoked LogRecord directly to create an instance.

makeLogRecord(), which is called with a dictionary containing attributes to be added to the LogRecord. This is typically invoked when a suitable dictionary has been received over the network (e.g. in pickle form via a SocketHandler, or in JSON form via an HTTPHandler).

This has usually meant that if you need to do anything special with a LogRecord, you’ve had to do one of the following.

Create your own Logger subclass, which overrides Logger.makeRecord(), and set it using setLoggerClass() before any loggers that you care about are instantiated.

Add a Filter to a logger or handler, which does the necessary special manipulation you need when its filter() method is called.

The first approach would be a little unwieldy in the scenario where (say) several different libraries wanted to do different things. Each would attempt to set its own Logger subclass, and the one which did this last would win.

The second approach works reasonably well for many cases, but does not allow you to e.g. use a specialized subclass of LogRecord. Library developers can set a suitable filter on their loggers, but they would have to remember to do this every time they introduced a new logger (which they would do simply by adding new packages or modules and doing

logger = logging.getLogger(__name__)

at module level). It’s probably one too many things to think about. Developers could also add the filter to a NullHandler attached to their top-level logger, but this would not be invoked if an application developer attached a handler to a lower-level library logger — so output from that handler would not reflect the intentions of the library developer.

In Python 3.2 and later, LogRecord creation is done through a factory, which you can specify. The factory is just a callable you can set with setLogRecordFactory(), and interrogate with getLogRecordFactory(). The factory is invoked with the same signature as the LogRecord constructor, as LogRecord is the default setting for the factory.

This approach allows a custom factory to control all aspects of LogRecord creation. For example, you could return a subclass, or just add some additional attributes to the record once created, using a pattern similar to this:

old_factory = logging.getLogRecordFactory()

def record_factory(*args, **kwargs):
    record = old_factory(*args, **kwargs)
    record.custom_attribute = 0xdecafbad
    return record

logging.setLogRecordFactory(record_factory)

This pattern allows different libraries to chain factories together, and as long as they don’t overwrite each other’s attributes or unintentionally overwrite the attributes provided as standard, there should be no surprises. However, it should be borne in mind that each link in the chain adds run-time overhead to all logging operations, and the technique should only be used when the use of a Filter does not provide the desired result.

Subclassing QueueHandler and QueueListener- a ZeroMQ example

Subclass QueueHandler

You can use a QueueHandler subclass to send messages to other kinds of queues, for example a ZeroMQ ‘publish’ socket. In the example below,the socket is created separately and passed to the handler (as its ‘queue’):

import zmq   # using pyzmq, the Python binding for ZeroMQ
import json  # for serializing records portably

ctx = zmq.Context()
sock = zmq.Socket(ctx, zmq.PUB)  # or zmq.PUSH, or other suitable value
sock.bind('tcp://*:5556')        # or wherever

class ZeroMQSocketHandler(QueueHandler):
    def enqueue(self, record):
        self.queue.send_json(record.__dict__)

handler = ZeroMQSocketHandler(sock)

Of course there are other ways of organizing this, for example passing in the data needed by the handler to create the socket:

class ZeroMQSocketHandler(QueueHandler):
    def __init__(self, uri, socktype=zmq.PUB, ctx=None):
        self.ctx = ctx or zmq.Context()
        socket = zmq.Socket(self.ctx, socktype)
        socket.bind(uri)
        super().__init__(socket)

    def enqueue(self, record):
        self.queue.send_json(record.__dict__)

    def close(self):
        self.queue.close()

Subclass QueueListener

You can also subclass QueueListener to get messages from other kinds of queues, for example a ZeroMQ ‘subscribe’ socket. Here’s an example:

class ZeroMQSocketListener(QueueListener):
    def __init__(self, uri, /, *handlers, **kwargs):
        self.ctx = kwargs.get('ctx') or zmq.Context()
        socket = zmq.Socket(self.ctx, zmq.SUB)
        socket.setsockopt_string(zmq.SUBSCRIBE, '')  # subscribe to everything
        socket.connect(uri)
        super().__init__(socket, *handlers, **kwargs)

    def dequeue(self):
        msg = self.queue.recv_json()
        return logging.makeLogRecord(msg)

Subclassing QueueHandler and QueueListener- a pynng example

In a similar way to the above section, we can implement a listener and handler using pynng [https://pypi.org/project/pynng/], which is a Python binding to NNG [https://nng.nanomsg.org/], billed as a spiritual successor to ZeroMQ. The following snippets illustrate – you can test them in an environment which has pynng installed. Just for variety, we present the listener first.

Subclass QueueListener

# listener.py
import json
import logging
import logging.handlers

import pynng

DEFAULT_ADDR = "tcp://localhost:13232"

interrupted = False

class NNGSocketListener(logging.handlers.QueueListener):

    def __init__(self, uri, /, *handlers, **kwargs):
        # Have a timeout for interruptability, and open a
        # subscriber socket
        socket = pynng.Sub0(listen=uri, recv_timeout=500)
        # The b'' subscription matches all topics
        topics = kwargs.pop('topics', None) or b''
        socket.subscribe(topics)
        # We treat the socket as a queue
        super().__init__(socket, *handlers, **kwargs)

    def dequeue(self, block):
        data = None
        # Keep looping while not interrupted and no data received over the
        # socket
        while not interrupted:
            try:
                data = self.queue.recv(block=block)
                break
            except pynng.Timeout:
                pass
            except pynng.Closed:  # sometimes happens when you hit Ctrl-C
                break
        if data is None:
            return None
        # Get the logging event sent from a publisher
        event = json.loads(data.decode('utf-8'))
        return logging.makeLogRecord(event)

    def enqueue_sentinel(self):
        # Not used in this implementation, as the socket isn't really a
        # queue
        pass

logging.getLogger('pynng').propagate = False
listener = NNGSocketListener(DEFAULT_ADDR, logging.StreamHandler(), topics=b'')
listener.start()
print('Press Ctrl-C to stop.')
try:
    while True:
        pass
except KeyboardInterrupt:
    interrupted = True
finally:
    listener.stop()

Subclass QueueHandler

# sender.py
import json
import logging
import logging.handlers
import time
import random

import pynng

DEFAULT_ADDR = "tcp://localhost:13232"

class NNGSocketHandler(logging.handlers.QueueHandler):

    def __init__(self, uri):
        socket = pynng.Pub0(dial=uri, send_timeout=500)
        super().__init__(socket)

    def enqueue(self, record):
        # Send the record as UTF-8 encoded JSON
        d = dict(record.__dict__)
        data = json.dumps(d)
        self.queue.send(data.encode('utf-8'))

    def close(self):
        self.queue.close()

logging.getLogger('pynng').propagate = False
handler = NNGSocketHandler(DEFAULT_ADDR)
# Make sure the process ID is in the output
logging.basicConfig(level=logging.DEBUG,
                    handlers=[logging.StreamHandler(), handler],
                    format='%(levelname)-8s %(name)10s %(process)6s %(message)s')
levels = (logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
          logging.CRITICAL)
logger_names = ('myapp', 'myapp.lib1', 'myapp.lib2')
msgno = 1
while True:
    # Just randomly select some loggers and levels and log away
    level = random.choice(levels)
    logger = logging.getLogger(random.choice(logger_names))
    logger.log(level, 'Message no. %5d' % msgno)
    msgno += 1
    delay = random.random() * 2 + 0.5
    time.sleep(delay)

You can run the above two snippets in separate command shells. If we run the listener in one shell and run the sender in two separate shells, we should see something like the following. In the first sender shell:

$ python sender.py
DEBUG         myapp    613 Message no.     1
WARNING  myapp.lib2    613 Message no.     2
CRITICAL myapp.lib2    613 Message no.     3
WARNING  myapp.lib2    613 Message no.     4
CRITICAL myapp.lib1    613 Message no.     5
DEBUG         myapp    613 Message no.     6
CRITICAL myapp.lib1    613 Message no.     7
INFO     myapp.lib1    613 Message no.     8
(and so on)

In the second sender shell:

$ python sender.py
INFO     myapp.lib2    657 Message no.     1
CRITICAL myapp.lib2    657 Message no.     2
CRITICAL      myapp    657 Message no.     3
CRITICAL myapp.lib1    657 Message no.     4
INFO     myapp.lib1    657 Message no.     5
WARNING  myapp.lib2    657 Message no.     6
CRITICAL      myapp    657 Message no.     7
DEBUG    myapp.lib1    657 Message no.     8
(and so on)

In the listener shell:

$ python listener.py
Press Ctrl-C to stop.
DEBUG         myapp    613 Message no.     1
WARNING  myapp.lib2    613 Message no.     2
INFO     myapp.lib2    657 Message no.     1
CRITICAL myapp.lib2    613 Message no.     3
CRITICAL myapp.lib2    657 Message no.     2
CRITICAL      myapp    657 Message no.     3
WARNING  myapp.lib2    613 Message no.     4
CRITICAL myapp.lib1    613 Message no.     5
CRITICAL myapp.lib1    657 Message no.     4
INFO     myapp.lib1    657 Message no.     5
DEBUG         myapp    613 Message no.     6
WARNING  myapp.lib2    657 Message no.     6
CRITICAL      myapp    657 Message no.     7
CRITICAL myapp.lib1    613 Message no.     7
INFO     myapp.lib1    613 Message no.     8
DEBUG    myapp.lib1    657 Message no.     8
(and so on)

As you can see, the logging from the two sender processes is interleaved in the listener’s output.

An example dictionary-based configuration

Below is an example of a logging configuration dictionary - it’s taken from the documentation on the Django project [https://docs.djangoproject.com/en/stable/topics/logging/#configuring-logging]. This dictionary is passed to dictConfig() to put the configuration into effect:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'verbose': {
            'format': '{levelname} {asctime} {module} {process:d} {thread:d} {message}',
            'style': '{',
        },
        'simple': {
            'format': '{levelname} {message}',
            'style': '{',
        },
    },
    'filters': {
        'special': {
            '()': 'project.logging.SpecialFilter',
            'foo': 'bar',
        },
    },
    'handlers': {
        'console': {
            'level': 'INFO',
            'class': 'logging.StreamHandler',
            'formatter': 'simple',
        },
        'mail_admins': {
            'level': 'ERROR',
            'class': 'django.utils.log.AdminEmailHandler',
            'filters': ['special']
        }
    },
    'loggers': {
        'django': {
            'handlers': ['console'],
            'propagate': True,
        },
        'django.request': {
            'handlers': ['mail_admins'],
            'level': 'ERROR',
            'propagate': False,
        },
        'myproject.custom': {
            'handlers': ['console', 'mail_admins'],
            'level': 'INFO',
            'filters': ['special']
        }
    }
}

For more information about this configuration, you can see the relevant section [https://docs.djangoproject.com/en/stable/topics/logging/#configuring-logging] of the Django documentation.

Using a rotator and namer to customize log rotation processing

An example of how you can define a namer and rotator is given in the following runnable script, which shows gzip compression of the log file:

import gzip
import logging
import logging.handlers
import os
import shutil

def namer(name):
    return name + ".gz"

def rotator(source, dest):
    with open(source, 'rb') as f_in:
        with gzip.open(dest, 'wb') as f_out:
            shutil.copyfileobj(f_in, f_out)
    os.remove(source)

rh = logging.handlers.RotatingFileHandler('rotated.log', maxBytes=128, backupCount=5)
rh.rotator = rotator
rh.namer = namer

root = logging.getLogger()
root.setLevel(logging.INFO)
root.addHandler(rh)
f = logging.Formatter('%(asctime)s %(message)s')
rh.setFormatter(f)
for i in range(1000):
    root.info(f'Message no. {i + 1}')

After running this, you will see six new files, five of which are compressed:

$ ls rotated.log*
rotated.log       rotated.log.2.gz  rotated.log.4.gz
rotated.log.1.gz  rotated.log.3.gz  rotated.log.5.gz
$ zcat rotated.log.1.gz
2023-01-20 02:28:17,767 Message no. 996
2023-01-20 02:28:17,767 Message no. 997
2023-01-20 02:28:17,767 Message no. 998

A more elaborate multiprocessing example

The following working example shows how logging can be used with multiprocessing using configuration files. The configurations are fairly simple, but serve to illustrate how more complex ones could be implemented in a real multiprocessing scenario.

In the example, the main process spawns a listener process and some worker processes. Each of the main process, the listener and the workers have three separate configurations (the workers all share the same configuration). We can see logging in the main process, how the workers log to a QueueHandler and how the listener implements a QueueListener and a more complex logging configuration, and arranges to dispatch events received via the queue to the handlers specified in the configuration. Note that these configurations are purely illustrative, but you should be able to adapt this example to your own scenario.

Here’s the script - the docstrings and the comments hopefully explain how it works:

import logging
import logging.config
import logging.handlers
from multiprocessing import Process, Queue, Event, current_process
import os
import random
import time

class MyHandler:
    """
    A simple handler for logging events. It runs in the listener process and
    dispatches events to loggers based on the name in the received record,
    which then get dispatched, by the logging system, to the handlers
    configured for those loggers.
    """

    def handle(self, record):
        if record.name == "root":
            logger = logging.getLogger()
        else:
            logger = logging.getLogger(record.name)

        if logger.isEnabledFor(record.levelno):
            # The process name is transformed just to show that it's the listener
            # doing the logging to files and console
            record.processName = '%s (for %s)' % (current_process().name, record.processName)
            logger.handle(record)

def listener_process(q, stop_event, config):
    """
    This could be done in the main process, but is just done in a separate
    process for illustrative purposes.

    This initialises logging according to the specified configuration,
    starts the listener and waits for the main process to signal completion
    via the event. The listener is then stopped, and the process exits.
    """
    logging.config.dictConfig(config)
    listener = logging.handlers.QueueListener(q, MyHandler())
    listener.start()
    if os.name == 'posix':
        # On POSIX, the setup logger will have been configured in the
        # parent process, but should have been disabled following the
        # dictConfig call.
        # On Windows, since fork isn't used, the setup logger won't
        # exist in the child, so it would be created and the message
        # would appear - hence the "if posix" clause.
        logger = logging.getLogger('setup')
        logger.critical('Should not appear, because of disabled logger ...')
    stop_event.wait()
    listener.stop()

def worker_process(config):
    """
    A number of these are spawned for the purpose of illustration. In
    practice, they could be a heterogeneous bunch of processes rather than
    ones which are identical to each other.

    This initialises logging according to the specified configuration,
    and logs a hundred messages with random levels to randomly selected
    loggers.

    A small sleep is added to allow other processes a chance to run. This
    is not strictly needed, but it mixes the output from the different
    processes a bit more than if it's left out.
    """
    logging.config.dictConfig(config)
    levels = [logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
              logging.CRITICAL]
    loggers = ['foo', 'foo.bar', 'foo.bar.baz',
               'spam', 'spam.ham', 'spam.ham.eggs']
    if os.name == 'posix':
        # On POSIX, the setup logger will have been configured in the
        # parent process, but should have been disabled following the
        # dictConfig call.
        # On Windows, since fork isn't used, the setup logger won't
        # exist in the child, so it would be created and the message
        # would appear - hence the "if posix" clause.
        logger = logging.getLogger('setup')
        logger.critical('Should not appear, because of disabled logger ...')
    for i in range(100):
        lvl = random.choice(levels)
        logger = logging.getLogger(random.choice(loggers))
        logger.log(lvl, 'Message no. %d', i)
        time.sleep(0.01)

def main():
    q = Queue()
    # The main process gets a simple configuration which prints to the console.
    config_initial = {
        'version': 1,
        'handlers': {
            'console': {
                'class': 'logging.StreamHandler',
                'level': 'INFO'
            }
        },
        'root': {
            'handlers': ['console'],
            'level': 'DEBUG'
        }
    }
    # The worker process configuration is just a QueueHandler attached to the
    # root logger, which allows all messages to be sent to the queue.
    # We disable existing loggers to disable the "setup" logger used in the
    # parent process. This is needed on POSIX because the logger will
    # be there in the child following a fork().
    config_worker = {
        'version': 1,
        'disable_existing_loggers': True,
        'handlers': {
            'queue': {
                'class': 'logging.handlers.QueueHandler',
                'queue': q
            }
        },
        'root': {
            'handlers': ['queue'],
            'level': 'DEBUG'
        }
    }
    # The listener process configuration shows that the full flexibility of
    # logging configuration is available to dispatch events to handlers however
    # you want.
    # We disable existing loggers to disable the "setup" logger used in the
    # parent process. This is needed on POSIX because the logger will
    # be there in the child following a fork().
    config_listener = {
        'version': 1,
        'disable_existing_loggers': True,
        'formatters': {
            'detailed': {
                'class': 'logging.Formatter',
                'format': '%(asctime)s %(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
            },
            'simple': {
                'class': 'logging.Formatter',
                'format': '%(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
            }
        },
        'handlers': {
            'console': {
                'class': 'logging.StreamHandler',
                'formatter': 'simple',
                'level': 'INFO'
            },
            'file': {
                'class': 'logging.FileHandler',
                'filename': 'mplog.log',
                'mode': 'w',
                'formatter': 'detailed'
            },
            'foofile': {
                'class': 'logging.FileHandler',
                'filename': 'mplog-foo.log',
                'mode': 'w',
                'formatter': 'detailed'
            },
            'errors': {
                'class': 'logging.FileHandler',
                'filename': 'mplog-errors.log',
                'mode': 'w',
                'formatter': 'detailed',
                'level': 'ERROR'
            }
        },
        'loggers': {
            'foo': {
                'handlers': ['foofile']
            }
        },
        'root': {
            'handlers': ['console', 'file', 'errors'],
            'level': 'DEBUG'
        }
    }
    # Log some initial events, just to show that logging in the parent works
    # normally.
    logging.config.dictConfig(config_initial)
    logger = logging.getLogger('setup')
    logger.info('About to create workers ...')
    workers = []
    for i in range(5):
        wp = Process(target=worker_process, name='worker %d' % (i + 1),
                     args=(config_worker,))
        workers.append(wp)
        wp.start()
        logger.info('Started worker: %s', wp.name)
    logger.info('About to create listener ...')
    stop_event = Event()
    lp = Process(target=listener_process, name='listener',
                 args=(q, stop_event, config_listener))
    lp.start()
    logger.info('Started listener')
    # We now hang around for the workers to finish their work.
    for wp in workers:
        wp.join()
    # Workers all done, listening can now stop.
    # Logging in the parent still works normally.
    logger.info('Telling listener to stop ...')
    stop_event.set()
    lp.join()
    logger.info('All done.')

if __name__ == '__main__':
    main()

Inserting a BOM into messages sent to a SysLogHandler

RFC 5424 [https://datatracker.ietf.org/doc/html/rfc5424.html] requires that a Unicode message be sent to a syslog daemon as a set of bytes which have the following structure: an optional pure-ASCII component, followed by a UTF-8 Byte Order Mark (BOM), followed by Unicode encoded using UTF-8. (See the relevant section of the specification [https://datatracker.ietf.org/doc/html/rfc5424.html#section-6].)

In Python 3.1, code was added to SysLogHandler to insert a BOM into the message, but unfortunately, it was implemented incorrectly, with the BOM appearing at the beginning of the message and hence not allowing any pure-ASCII component to appear before it.

As this behaviour is broken, the incorrect BOM insertion code is being removed from Python 3.2.4 and later. However, it is not being replaced, and if you want to produce RFC 5424 [https://datatracker.ietf.org/doc/html/rfc5424.html]-compliant messages which include a BOM, an optional pure-ASCII sequence before it and arbitrary Unicode after it, encoded using UTF-8, then you need to do the following:

Attach a Formatter instance to your SysLogHandler instance, with a format string such as:

'ASCII section\ufeffUnicode section'

The Unicode code point U+FEFF, when encoded using UTF-8, will be encoded as a UTF-8 BOM – the byte-string b'\xef\xbb\xbf'.

Replace the ASCII section with whatever placeholders you like, but make sure that the data that appears in there after substitution is always ASCII (that way, it will remain unchanged after UTF-8 encoding).

Replace the Unicode section with whatever placeholders you like; if the data which appears there after substitution contains characters outside the ASCII range, that’s fine – it will be encoded using UTF-8.

The formatted message will be encoded using UTF-8 encoding by SysLogHandler. If you follow the above rules, you should be able to produce RFC 5424 [https://datatracker.ietf.org/doc/html/rfc5424.html]-compliant messages. If you don’t, logging may not complain, but your messages will not be RFC 5424-compliant, and your syslog daemon may complain.

Implementing structured logging

Although most logging messages are intended for reading by humans, and thus not readily machine-parseable, there might be circumstances where you want to output messages in a structured format which is capable of being parsed by a program (without needing complex regular expressions to parse the log message). This is straightforward to achieve using the logging package. There are a number of ways in which this could be achieved, but the following is a simple approach which uses JSON to serialise the event in a machine-parseable manner:

import json
import logging

class StructuredMessage:
    def __init__(self, message, /, **kwargs):
        self.message = message
        self.kwargs = kwargs

    def __str__(self):
        return '%s >>> %s' % (self.message, json.dumps(self.kwargs))

_ = StructuredMessage   # optional, to improve readability

logging.basicConfig(level=logging.INFO, format='%(message)s')
logging.info(_('message 1', foo='bar', bar='baz', num=123, fnum=123.456))

If the above script is run, it prints:

message 1 >>> {"fnum": 123.456, "num": 123, "bar": "baz", "foo": "bar"}

Note that the order of items might be different according to the version of Python used.

If you need more specialised processing, you can use a custom JSON encoder, as in the following complete example:

import json
import logging

class Encoder(json.JSONEncoder):
    def default(self, o):
        if isinstance(o, set):
            return tuple(o)
        elif isinstance(o, str):
            return o.encode('unicode_escape').decode('ascii')
        return super().default(o)

class StructuredMessage:
    def __init__(self, message, /, **kwargs):
        self.message = message
        self.kwargs = kwargs

    def __str__(self):
        s = Encoder().encode(self.kwargs)
        return '%s >>> %s' % (self.message, s)

_ = StructuredMessage   # optional, to improve readability

def main():
    logging.basicConfig(level=logging.INFO, format='%(message)s')
    logging.info(_('message 1', set_value={1, 2, 3}, snowman='\u2603'))

if __name__ == '__main__':
    main()

When the above script is run, it prints:

message 1 >>> {"snowman": "\u2603", "set_value": [1, 2, 3]}

Note that the order of items might be different according to the version of Python used.

Customizing handlers with dictConfig()

There are times when you want to customize logging handlers in particular ways, and if you use dictConfig() you may be able to do this without subclassing. As an example, consider that you may want to set the ownership of a log file. On POSIX, this is easily done using shutil.chown(), but the file handlers in the stdlib don’t offer built-in support. You can customize handler creation using a plain function such as:

def owned_file_handler(filename, mode='a', encoding=None, owner=None):
    if owner:
        if not os.path.exists(filename):
            open(filename, 'a').close()
        shutil.chown(filename, *owner)
    return logging.FileHandler(filename, mode, encoding)

You can then specify, in a logging configuration passed to dictConfig(), that a logging handler be created by calling this function:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'default': {
            'format': '%(asctime)s %(levelname)s %(name)s %(message)s'
        },
    },
    'handlers': {
        'file':{
            # The values below are popped from this dictionary and
            # used to create the handler, set the handler's level and
            # its formatter.
            '()': owned_file_handler,
            'level':'DEBUG',
            'formatter': 'default',
            # The values below are passed to the handler creator callable
            # as keyword arguments.
            'owner': ['pulse', 'pulse'],
            'filename': 'chowntest.log',
            'mode': 'w',
            'encoding': 'utf-8',
        },
    },
    'root': {
        'handlers': ['file'],
        'level': 'DEBUG',
    },
}

In this example I am setting the ownership using the pulse user and group, just for the purposes of illustration. Putting it together into a working script, chowntest.py:

import logging, logging.config, os, shutil

def owned_file_handler(filename, mode='a', encoding=None, owner=None):
    if owner:
        if not os.path.exists(filename):
            open(filename, 'a').close()
        shutil.chown(filename, *owner)
    return logging.FileHandler(filename, mode, encoding)

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'default': {
            'format': '%(asctime)s %(levelname)s %(name)s %(message)s'
        },
    },
    'handlers': {
        'file':{
            # The values below are popped from this dictionary and
            # used to create the handler, set the handler's level and
            # its formatter.
            '()': owned_file_handler,
            'level':'DEBUG',
            'formatter': 'default',
            # The values below are passed to the handler creator callable
            # as keyword arguments.
            'owner': ['pulse', 'pulse'],
            'filename': 'chowntest.log',
            'mode': 'w',
            'encoding': 'utf-8',
        },
    },
    'root': {
        'handlers': ['file'],
        'level': 'DEBUG',
    },
}

logging.config.dictConfig(LOGGING)
logger = logging.getLogger('mylogger')
logger.debug('A debug message')

To run this, you will probably need to run as root:

$ sudo python3.3 chowntest.py
$ cat chowntest.log
2013-11-05 09:34:51,128 DEBUG mylogger A debug message
$ ls -l chowntest.log
-rw-r--r-- 1 pulse pulse 55 2013-11-05 09:34 chowntest.log

Note that this example uses Python 3.3 because that’s where shutil.chown() makes an appearance. This approach should work with any Python version that supports dictConfig() - namely, Python 2.7, 3.2 or later. With pre-3.3 versions, you would need to implement the actual ownership change using e.g. os.chown().

In practice, the handler-creating function may be in a utility module somewhere in your project. Instead of the line in the configuration:

'()': owned_file_handler,

you could use e.g.:

'()': 'ext://project.util.owned_file_handler',

where project.util can be replaced with the actual name of the package where the function resides. In the above working script, using 'ext://__main__.owned_file_handler' should work. Here, the actual callable is resolved by dictConfig() from the ext:// specification.

This example hopefully also points the way to how you could implement other types of file change - e.g. setting specific POSIX permission bits - in the same way, using os.chmod().

Of course, the approach could also be extended to types of handler other than a FileHandler - for example, one of the rotating file handlers, or a different type of handler altogether.

Using particular formatting styles throughout your application

In Python 3.2, the Formatter gained a style keyword parameter which, while defaulting to % for backward compatibility, allowed the specification of { or $ to support the formatting approaches supported by str.format() and string.Template. Note that this governs the formatting of logging messages for final output to logs, and is completely orthogonal to how an individual logging message is constructed.

Logging calls (debug(), info() etc.) only take positional parameters for the actual logging message itself, with keyword parameters used only for determining options for how to handle the logging call (e.g. the exc_info keyword parameter to indicate that traceback information should be logged, or the extra keyword parameter to indicate additional contextual information to be added to the log). So you cannot directly make logging calls using str.format() or string.Template syntax, because internally the logging package uses %-formatting to merge the format string and the variable arguments. There would be no changing this while preserving backward compatibility, since all logging calls which are out there in existing code will be using %-format strings.

There have been suggestions to associate format styles with specific loggers, but that approach also runs into backward compatibility problems because any existing code could be using a given logger name and using %-formatting.

For logging to work interoperably between any third-party libraries and your code, decisions about formatting need to be made at the level of the individual logging call. This opens up a couple of ways in which alternative formatting styles can be accommodated.

Using LogRecord factories

In Python 3.2, along with the Formatter changes mentioned above, the logging package gained the ability to allow users to set their own LogRecord subclasses, using the setLogRecordFactory() function. You can use this to set your own subclass of LogRecord, which does the Right Thing by overriding the getMessage() method. The base class implementation of this method is where the msg % args formatting happens, and where you can substitute your alternate formatting; however, you should be careful to support all formatting styles and allow %-formatting as the default, to ensure interoperability with other code. Care should also be taken to call str(self.msg), just as the base implementation does.

Refer to the reference documentation on setLogRecordFactory() and LogRecord for more information.

Using custom message objects

There is another, perhaps simpler way that you can use {}- and $- formatting to construct your individual log messages. You may recall (from Usando objetos arbitrários como mensagens) that when logging you can use an arbitrary object as a message format string, and that the logging package will call str() on that object to get the actual format string. Consider the following two classes:

class BraceMessage:
    def __init__(self, fmt, /, *args, **kwargs):
        self.fmt = fmt
        self.args = args
        self.kwargs = kwargs

    def __str__(self):
        return self.fmt.format(*self.args, **self.kwargs)

class DollarMessage:
    def __init__(self, fmt, /, **kwargs):
        self.fmt = fmt
        self.kwargs = kwargs

    def __str__(self):
        from string import Template
        return Template(self.fmt).substitute(**self.kwargs)

Either of these can be used in place of a format string, to allow {}- or $-formatting to be used to build the actual “message” part which appears in the formatted log output in place of “%(message)s” or “{message}” or “$message”. If you find it a little unwieldy to use the class names whenever you want to log something, you can make it more palatable if you use an alias such as M or _ for the message (or perhaps __, if you are using _ for localization).

Examples of this approach are given below. Firstly, formatting with str.format():

>>> __ = BraceMessage
>>> print(__('Message with {0} {1}', 2, 'placeholders'))
Message with 2 placeholders
>>> class Point: pass
...
>>> p = Point()
>>> p.x = 0.5
>>> p.y = 0.5
>>> print(__('Message with coordinates: ({point.x:.2f}, {point.y:.2f})', point=p))
Message with coordinates: (0.50, 0.50)

Secondly, formatting with string.Template:

>>> __ = DollarMessage
>>> print(__('Message with $num $what', num=2, what='placeholders'))
Message with 2 placeholders
>>>

One thing to note is that you pay no significant performance penalty with this approach: the actual formatting happens not when you make the logging call, but when (and if) the logged message is actually about to be output to a log by a handler. So the only slightly unusual thing which might trip you up is that the parentheses go around the format string and the arguments, not just the format string. That’s because the __ notation is just syntax sugar for a constructor call to one of the XXXMessage classes shown above.

Configuring filters with dictConfig()

You can configure filters using dictConfig(), though it might not be obvious at first glance how to do it (hence this recipe). Since Filter is the only filter class included in the standard library, and it is unlikely to cater to many requirements (it’s only there as a base class), you will typically need to define your own Filter subclass with an overridden filter() method. To do this, specify the () key in the configuration dictionary for the filter, specifying a callable which will be used to create the filter (a class is the most obvious, but you can provide any callable which returns a Filter instance). Here is a complete example:

import logging
import logging.config
import sys

class MyFilter(logging.Filter):
    def __init__(self, param=None):
        self.param = param

    def filter(self, record):
        if self.param is None:
            allow = True
        else:
            allow = self.param not in record.msg
        if allow:
            record.msg = 'changed: ' + record.msg
        return allow

LOGGING = {
    'version': 1,
    'filters': {
        'myfilter': {
            '()': MyFilter,
            'param': 'noshow',
        }
    },
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
            'filters': ['myfilter']
        }
    },
    'root': {
        'level': 'DEBUG',
        'handlers': ['console']
    },
}

if __name__ == '__main__':
    logging.config.dictConfig(LOGGING)
    logging.debug('hello')
    logging.debug('hello - noshow')

This example shows how you can pass configuration data to the callable which constructs the instance, in the form of keyword parameters. When run, the above script will print:

changed: hello

which shows that the filter is working as configured.

A couple of extra points to note:

If you can’t refer to the callable directly in the configuration (e.g. if it lives in a different module, and you can’t import it directly where the configuration dictionary is), you can use the form ext://... as described in Access to external objects. For example, you could have used the text 'ext://__main__.MyFilter' instead of MyFilter in the above example.

As well as for filters, this technique can also be used to configure custom handlers and formatters. See User-defined objects for more information on how logging supports using user-defined objects in its configuration, and see the other cookbook recipe Customizing handlers with dictConfig() above.

Customized exception formatting

There might be times when you want to do customized exception formatting - for argument’s sake, let’s say you want exactly one line per logged event, even when exception information is present. You can do this with a custom formatter class, as shown in the following example:

import logging

class OneLineExceptionFormatter(logging.Formatter):
    def formatException(self, exc_info):
        """
        Format an exception so that it prints on a single line.
        """
        result = super().formatException(exc_info)
        return repr(result)  # or format into one line however you want to

    def format(self, record):
        s = super().format(record)
        if record.exc_text:
            s = s.replace('\n', '') + '|'
        return s

def configure_logging():
    fh = logging.FileHandler('output.txt', 'w')
    f = OneLineExceptionFormatter('%(asctime)s|%(levelname)s|%(message)s|',
                                  '%d/%m/%Y %H:%M:%S')
    fh.setFormatter(f)
    root = logging.getLogger()
    root.setLevel(logging.DEBUG)
    root.addHandler(fh)

def main():
    configure_logging()
    logging.info('Sample message')
    try:
        x = 1 / 0
    except ZeroDivisionError as e:
        logging.exception('ZeroDivisionError: %s', e)

if __name__ == '__main__':
    main()

When run, this produces a file with exactly two lines:

28/01/2015 07:21:23|INFO|Sample message|
28/01/2015 07:21:23|ERROR|ZeroDivisionError: integer division or modulo by zero|'Traceback (most recent call last):\n  File "logtest7.py", line 30, in main\n    x = 1 / 0\nZeroDivisionError: integer division or modulo by zero'|

While the above treatment is simplistic, it points the way to how exception information can be formatted to your liking. The traceback module may be helpful for more specialized needs.

Speaking logging messages

There might be situations when it is desirable to have logging messages rendered in an audible rather than a visible format. This is easy to do if you have text-to-speech (TTS) functionality available in your system, even if it doesn’t have a Python binding. Most TTS systems have a command line program you can run, and this can be invoked from a handler using subprocess. It’s assumed here that TTS command line programs won’t expect to interact with users or take a long time to complete, and that the frequency of logged messages will be not so high as to swamp the user with messages, and that it’s acceptable to have the messages spoken one at a time rather than concurrently, The example implementation below waits for one message to be spoken before the next is processed, and this might cause other handlers to be kept waiting. Here is a short example showing the approach, which assumes that the espeak TTS package is available:

import logging
import subprocess
import sys

class TTSHandler(logging.Handler):
    def emit(self, record):
        msg = self.format(record)
        # Speak slowly in a female English voice
        cmd = ['espeak', '-s150', '-ven+f3', msg]
        p = subprocess.Popen(cmd, stdout=subprocess.PIPE,
                             stderr=subprocess.STDOUT)
        # wait for the program to finish
        p.communicate()

def configure_logging():
    h = TTSHandler()
    root = logging.getLogger()
    root.addHandler(h)
    # the default formatter just returns the message
    root.setLevel(logging.DEBUG)

def main():
    logging.info('Hello')
    logging.debug('Goodbye')

if __name__ == '__main__':
    configure_logging()
    sys.exit(main())

When run, this script should say “Hello” and then “Goodbye” in a female voice.

The above approach can, of course, be adapted to other TTS systems and even other systems altogether which can process messages via external programs run from a command line.

Buffering logging messages and outputting them conditionally

There might be situations where you want to log messages in a temporary area and only output them if a certain condition occurs. For example, you may want to start logging debug events in a function, and if the function completes without errors, you don’t want to clutter the log with the collected debug information, but if there is an error, you want all the debug information to be output as well as the error.

Here is an example which shows how you could do this using a decorator for your functions where you want logging to behave this way. It makes use of the logging.handlers.MemoryHandler, which allows buffering of logged events until some condition occurs, at which point the buffered events are flushed - passed to another handler (the target handler) for processing. By default, the MemoryHandler flushed when its buffer gets filled up or an event whose level is greater than or equal to a specified threshold is seen. You can use this recipe with a more specialised subclass of MemoryHandler if you want custom flushing behavior.

The example script has a simple function, foo, which just cycles through all the logging levels, writing to sys.stderr to say what level it’s about to log at, and then actually logging a message at that level. You can pass a parameter to foo which, if true, will log at ERROR and CRITICAL levels - otherwise, it only logs at DEBUG, INFO and WARNING levels.

The script just arranges to decorate foo with a decorator which will do the conditional logging that’s required. The decorator takes a logger as a parameter and attaches a memory handler for the duration of the call to the decorated function. The decorator can be additionally parameterised using a target handler, a level at which flushing should occur, and a capacity for the buffer (number of records buffered). These default to a StreamHandler which writes to sys.stderr, logging.ERROR and 100 respectively.

Here’s the script:

import logging
from logging.handlers import MemoryHandler
import sys

logger = logging.getLogger(__name__)
logger.addHandler(logging.NullHandler())

def log_if_errors(logger, target_handler=None, flush_level=None, capacity=None):
    if target_handler is None:
        target_handler = logging.StreamHandler()
    if flush_level is None:
        flush_level = logging.ERROR
    if capacity is None:
        capacity = 100
    handler = MemoryHandler(capacity, flushLevel=flush_level, target=target_handler)

    def decorator(fn):
        def wrapper(*args, **kwargs):
            logger.addHandler(handler)
            try:
                return fn(*args, **kwargs)
            except Exception:
                logger.exception('call failed')
                raise
            finally:
                super(MemoryHandler, handler).flush()
                logger.removeHandler(handler)
        return wrapper

    return decorator

def write_line(s):
    sys.stderr.write('%s\n' % s)

def foo(fail=False):
    write_line('about to log at DEBUG ...')
    logger.debug('Actually logged at DEBUG')
    write_line('about to log at INFO ...')
    logger.info('Actually logged at INFO')
    write_line('about to log at WARNING ...')
    logger.warning('Actually logged at WARNING')
    if fail:
        write_line('about to log at ERROR ...')
        logger.error('Actually logged at ERROR')
        write_line('about to log at CRITICAL ...')
        logger.critical('Actually logged at CRITICAL')
    return fail

decorated_foo = log_if_errors(logger)(foo)

if __name__ == '__main__':
    logger.setLevel(logging.DEBUG)
    write_line('Calling undecorated foo with False')
    assert not foo(False)
    write_line('Calling undecorated foo with True')
    assert foo(True)
    write_line('Calling decorated foo with False')
    assert not decorated_foo(False)
    write_line('Calling decorated foo with True')
    assert decorated_foo(True)

When this script is run, the following output should be observed:

Calling undecorated foo with False
about to log at DEBUG ...
about to log at INFO ...
about to log at WARNING ...
Calling undecorated foo with True
about to log at DEBUG ...
about to log at INFO ...
about to log at WARNING ...
about to log at ERROR ...
about to log at CRITICAL ...
Calling decorated foo with False
about to log at DEBUG ...
about to log at INFO ...
about to log at WARNING ...
Calling decorated foo with True
about to log at DEBUG ...
about to log at INFO ...
about to log at WARNING ...
about to log at ERROR ...
Actually logged at DEBUG
Actually logged at INFO
Actually logged at WARNING
Actually logged at ERROR
about to log at CRITICAL ...
Actually logged at CRITICAL

As you can see, actual logging output only occurs when an event is logged whose severity is ERROR or greater, but in that case, any previous events at lower severities are also logged.

You can of course use the conventional means of decoration:

@log_if_errors(logger)
def foo(fail=False):
    ...

Sending logging messages to email, with buffering

To illustrate how you can send log messages via email, so that a set number of messages are sent per email, you can subclass BufferingHandler. In the following example, which you can adapt to suit your specific needs, a simple test harness is provided which allows you to run the script with command line arguments specifying what you typically need to send things via SMTP. (Run the downloaded script with the -h argument to see the required and optional arguments.)

import logging
import logging.handlers
import smtplib

class BufferingSMTPHandler(logging.handlers.BufferingHandler):
    def __init__(self, mailhost, port, username, password, fromaddr, toaddrs,
                 subject, capacity):
        logging.handlers.BufferingHandler.__init__(self, capacity)
        self.mailhost = mailhost
        self.mailport = port
        self.username = username
        self.password = password
        self.fromaddr = fromaddr
        if isinstance(toaddrs, str):
            toaddrs = [toaddrs]
        self.toaddrs = toaddrs
        self.subject = subject
        self.setFormatter(logging.Formatter("%(asctime)s %(levelname)-5s %(message)s"))

    def flush(self):
        if len(self.buffer) > 0:
            try:
                smtp = smtplib.SMTP(self.mailhost, self.mailport)
                smtp.starttls()
                smtp.login(self.username, self.password)
                msg = "From: %s\r\nTo: %s\r\nSubject: %s\r\n\r\n" % (self.fromaddr, ','.join(self.toaddrs), self.subject)
                for record in self.buffer:
                    s = self.format(record)
                    msg = msg + s + "\r\n"
                smtp.sendmail(self.fromaddr, self.toaddrs, msg)
                smtp.quit()
            except Exception:
                if logging.raiseExceptions:
                    raise
            self.buffer = []

if __name__ == '__main__':
    import argparse

    ap = argparse.ArgumentParser()
    aa = ap.add_argument
    aa('host', metavar='HOST', help='SMTP server')
    aa('--port', '-p', type=int, default=587, help='SMTP port')
    aa('user', metavar='USER', help='SMTP username')
    aa('password', metavar='PASSWORD', help='SMTP password')
    aa('to', metavar='TO', help='Addressee for emails')
    aa('sender', metavar='SENDER', help='Sender email address')
    aa('--subject', '-s',
       default='Test Logging email from Python logging module (buffering)',
       help='Subject of email')
    options = ap.parse_args()
    logger = logging.getLogger()
    logger.setLevel(logging.DEBUG)
    h = BufferingSMTPHandler(options.host, options.port, options.user,
                             options.password, options.sender,
                             options.to, options.subject, 10)
    logger.addHandler(h)
    for i in range(102):
        logger.info("Info index = %d", i)
    h.flush()
    h.close()

If you run this script and your SMTP server is correctly set up, you should find that it sends eleven emails to the addressee you specify. The first ten emails will each have ten log messages, and the eleventh will have two messages. That makes up 102 messages as specified in the script.

Formatting times using UTC (GMT) via configuration

Sometimes you want to format times using UTC, which can be done using a class such as UTCFormatter, shown below:

import logging
import time

class UTCFormatter(logging.Formatter):
    converter = time.gmtime

and you can then use the UTCFormatter in your code instead of Formatter. If you want to do that via configuration, you can use the dictConfig() API with an approach illustrated by the following complete example:

import logging
import logging.config
import time

class UTCFormatter(logging.Formatter):
    converter = time.gmtime

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'utc': {
            '()': UTCFormatter,
            'format': '%(asctime)s %(message)s',
        },
        'local': {
            'format': '%(asctime)s %(message)s',
        }
    },
    'handlers': {
        'console1': {
            'class': 'logging.StreamHandler',
            'formatter': 'utc',
        },
        'console2': {
            'class': 'logging.StreamHandler',
            'formatter': 'local',
        },
    },
    'root': {
        'handlers': ['console1', 'console2'],
   }
}

if __name__ == '__main__':
    logging.config.dictConfig(LOGGING)
    logging.warning('The local time is %s', time.asctime())

When this script is run, it should print something like:

2015-10-17 12:53:29,501 The local time is Sat Oct 17 13:53:29 2015
2015-10-17 13:53:29,501 The local time is Sat Oct 17 13:53:29 2015

showing how the time is formatted both as local time and UTC, one for each handler.

Using a context manager for selective logging

There are times when it would be useful to temporarily change the logging configuration and revert it back after doing something. For this, a context manager is the most obvious way of saving and restoring the logging context. Here is a simple example of such a context manager, which allows you to optionally change the logging level and add a logging handler purely in the scope of the context manager:

import logging
import sys

class LoggingContext:
    def __init__(self, logger, level=None, handler=None, close=True):
        self.logger = logger
        self.level = level
        self.handler = handler
        self.close = close

    def __enter__(self):
        if self.level is not None:
            self.old_level = self.logger.level
            self.logger.setLevel(self.level)
        if self.handler:
            self.logger.addHandler(self.handler)

    def __exit__(self, et, ev, tb):
        if self.level is not None:
            self.logger.setLevel(self.old_level)
        if self.handler:
            self.logger.removeHandler(self.handler)
        if self.handler and self.close:
            self.handler.close()
        # implicit return of None => don't swallow exceptions

If you specify a level value, the logger’s level is set to that value in the scope of the with block covered by the context manager. If you specify a handler, it is added to the logger on entry to the block and removed on exit from the block. You can also ask the manager to close the handler for you on block exit - you could do this if you don’t need the handler any more.

To illustrate how it works, we can add the following block of code to the above:

if __name__ == '__main__':
    logger = logging.getLogger('foo')
    logger.addHandler(logging.StreamHandler())
    logger.setLevel(logging.INFO)
    logger.info('1. This should appear just once on stderr.')
    logger.debug('2. This should not appear.')
    with LoggingContext(logger, level=logging.DEBUG):
        logger.debug('3. This should appear once on stderr.')
    logger.debug('4. This should not appear.')
    h = logging.StreamHandler(sys.stdout)
    with LoggingContext(logger, level=logging.DEBUG, handler=h, close=True):
        logger.debug('5. This should appear twice - once on stderr and once on stdout.')
    logger.info('6. This should appear just once on stderr.')
    logger.debug('7. This should not appear.')

We initially set the logger’s level to INFO, so message #1 appears and message #2 doesn’t. We then change the level to DEBUG temporarily in the following with block, and so message #3 appears. After the block exits, the logger’s level is restored to INFO and so message #4 doesn’t appear. In the next with block, we set the level to DEBUG again but also add a handler writing to sys.stdout. Thus, message #5 appears twice on the console (once via stderr and once via stdout). After the with statement’s completion, the status is as it was before so message #6 appears (like message #1) whereas message #7 doesn’t (just like message #2).

If we run the resulting script, the result is as follows:

$ python logctx.py
1. This should appear just once on stderr.
3. This should appear once on stderr.
5. This should appear twice - once on stderr and once on stdout.
5. This should appear twice - once on stderr and once on stdout.
6. This should appear just once on stderr.

If we run it again, but pipe stderr to /dev/null, we see the following, which is the only message written to stdout:

$ python logctx.py 2>/dev/null
5. This should appear twice - once on stderr and once on stdout.

Once again, but piping stdout to /dev/null, we get:

$ python logctx.py >/dev/null
1. This should appear just once on stderr.
3. This should appear once on stderr.
5. This should appear twice - once on stderr and once on stdout.
6. This should appear just once on stderr.

In this case, the message #5 printed to stdout doesn’t appear, as expected.

Of course, the approach described here can be generalised, for example to attach logging filters temporarily. Note that the above code works in Python 2 as well as Python 3.

A CLI application starter template

Here’s an example which shows how you can:

Use a logging level based on command-line arguments

Dispatch to multiple subcommands in separate files, all logging at the same level in a consistent way

Make use of simple, minimal configuration

Suppose we have a command-line application whose job is to stop, start or restart some services. This could be organised for the purposes of illustration as a file app.py that is the main script for the application, with individual commands implemented in start.py, stop.py and restart.py. Suppose further that we want to control the verbosity of the application via a command-line argument, defaulting to logging.INFO. Here’s one way that app.py could be written:

import argparse
import importlib
import logging
import os
import sys

def main(args=None):
    scriptname = os.path.basename(__file__)
    parser = argparse.ArgumentParser(scriptname)
    levels = ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL')
    parser.add_argument('--log-level', default='INFO', choices=levels)
    subparsers = parser.add_subparsers(dest='command',
                                       help='Available commands:')
    start_cmd = subparsers.add_parser('start', help='Start a service')
    start_cmd.add_argument('name', metavar='NAME',
                           help='Name of service to start')
    stop_cmd = subparsers.add_parser('stop',
                                     help='Stop one or more services')
    stop_cmd.add_argument('names', metavar='NAME', nargs='+',
                          help='Name of service to stop')
    restart_cmd = subparsers.add_parser('restart',
                                        help='Restart one or more services')
    restart_cmd.add_argument('names', metavar='NAME', nargs='+',
                             help='Name of service to restart')
    options = parser.parse_args()
    # the code to dispatch commands could all be in this file. For the purposes
    # of illustration only, we implement each command in a separate module.
    try:
        mod = importlib.import_module(options.command)
        cmd = getattr(mod, 'command')
    except (ImportError, AttributeError):
        print('Unable to find the code for command \'%s\'' % options.command)
        return 1
    # Could get fancy here and load configuration from file or dictionary
    logging.basicConfig(level=options.log_level,
                        format='%(levelname)s %(name)s %(message)s')
    cmd(options)

if __name__ == '__main__':
    sys.exit(main())

And the start, stop and restart commands can be implemented in separate modules, like so for starting:

# start.py
import logging

logger = logging.getLogger(__name__)

def command(options):
    logger.debug('About to start %s', options.name)
    # actually do the command processing here ...
    logger.info('Started the \'%s\' service.', options.name)

and thus for stopping:

# stop.py
import logging

logger = logging.getLogger(__name__)

def command(options):
    n = len(options.names)
    if n == 1:
        plural = ''
        services = '\'%s\'' % options.names[0]
    else:
        plural = 's'
        services = ', '.join('\'%s\'' % name for name in options.names)
        i = services.rfind(', ')
        services = services[:i] + ' and ' + services[i + 2:]
    logger.debug('About to stop %s', services)
    # actually do the command processing here ...
    logger.info('Stopped the %s service%s.', services, plural)

and similarly for restarting:

# restart.py
import logging

logger = logging.getLogger(__name__)

def command(options):
    n = len(options.names)
    if n == 1:
        plural = ''
        services = '\'%s\'' % options.names[0]
    else:
        plural = 's'
        services = ', '.join('\'%s\'' % name for name in options.names)
        i = services.rfind(', ')
        services = services[:i] + ' and ' + services[i + 2:]
    logger.debug('About to restart %s', services)
    # actually do the command processing here ...
    logger.info('Restarted the %s service%s.', services, plural)

If we run this application with the default log level, we get output like this:

$ python app.py start foo
INFO start Started the 'foo' service.

$ python app.py stop foo bar
INFO stop Stopped the 'foo' and 'bar' services.

$ python app.py restart foo bar baz
INFO restart Restarted the 'foo', 'bar' and 'baz' services.

The first word is the logging level, and the second word is the module or package name of the place where the event was logged.

If we change the logging level, then we can change the information sent to the log. For example, if we want more information:

$ python app.py --log-level DEBUG start foo
DEBUG start About to start foo
INFO start Started the 'foo' service.

$ python app.py --log-level DEBUG stop foo bar
DEBUG stop About to stop 'foo' and 'bar'
INFO stop Stopped the 'foo' and 'bar' services.

$ python app.py --log-level DEBUG restart foo bar baz
DEBUG restart About to restart 'foo', 'bar' and 'baz'
INFO restart Restarted the 'foo', 'bar' and 'baz' services.

And if we want less:

$ python app.py --log-level WARNING start foo
$ python app.py --log-level WARNING stop foo bar
$ python app.py --log-level WARNING restart foo bar baz

In this case, the commands don’t print anything to the console, since nothing at WARNING level or above is logged by them.

A Qt GUI for logging

A question that comes up from time to time is about how to log to a GUI application. The Qt [https://www.qt.io/] framework is a popular cross-platform UI framework with Python bindings using PySide2 [https://pypi.org/project/PySide2/] or PyQt5 [https://pypi.org/project/PyQt5/] libraries.

The following example shows how to log to a Qt GUI. This introduces a simple QtHandler class which takes a callable, which should be a slot in the main thread that does GUI updates. A worker thread is also created to show how you can log to the GUI from both the UI itself (via a button for manual logging) as well as a worker thread doing work in the background (here, just logging messages at random levels with random short delays in between).

The worker thread is implemented using Qt’s QThread class rather than the threading module, as there are circumstances where one has to use QThread, which offers better integration with other Qt components.

The code should work with recent releases of any of PySide6, PyQt6, PySide2 or PyQt5. You should be able to adapt the approach to earlier versions of Qt. Please refer to the comments in the code snippet for more detailed information.

import datetime
import logging
import random
import sys
import time

# Deal with minor differences between different Qt packages
try:
    from PySide6 import QtCore, QtGui, QtWidgets
    Signal = QtCore.Signal
    Slot = QtCore.Slot
except ImportError:
    try:
        from PyQt6 import QtCore, QtGui, QtWidgets
        Signal = QtCore.pyqtSignal
        Slot = QtCore.pyqtSlot
    except ImportError:
        try:
            from PySide2 import QtCore, QtGui, QtWidgets
            Signal = QtCore.Signal
            Slot = QtCore.Slot
        except ImportError:
            from PyQt5 import QtCore, QtGui, QtWidgets
            Signal = QtCore.pyqtSignal
            Slot = QtCore.pyqtSlot

logger = logging.getLogger(__name__)

#
# Signals need to be contained in a QObject or subclass in order to be correctly
# initialized.
#
class Signaller(QtCore.QObject):
    signal = Signal(str, logging.LogRecord)

#
# Output to a Qt GUI is only supposed to happen on the main thread. So, this
# handler is designed to take a slot function which is set up to run in the main
# thread. In this example, the function takes a string argument which is a
# formatted log message, and the log record which generated it. The formatted
# string is just a convenience - you could format a string for output any way
# you like in the slot function itself.
#
# You specify the slot function to do whatever GUI updates you want. The handler
# doesn't know or care about specific UI elements.
#
class QtHandler(logging.Handler):
    def __init__(self, slotfunc, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.signaller = Signaller()
        self.signaller.signal.connect(slotfunc)

    def emit(self, record):
        s = self.format(record)
        self.signaller.signal.emit(s, record)

#
# This example uses QThreads, which means that the threads at the Python level
# are named something like "Dummy-1". The function below gets the Qt name of the
# current thread.
#
def ctname():
    return QtCore.QThread.currentThread().objectName()

#
# Used to generate random levels for logging.
#
LEVELS = (logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
          logging.CRITICAL)

#
# This worker class represents work that is done in a thread separate to the
# main thread. The way the thread is kicked off to do work is via a button press
# that connects to a slot in the worker.
#
# Because the default threadName value in the LogRecord isn't much use, we add
# a qThreadName which contains the QThread name as computed above, and pass that
# value in an "extra" dictionary which is used to update the LogRecord with the
# QThread name.
#
# This example worker just outputs messages sequentially, interspersed with
# random delays of the order of a few seconds.
#
class Worker(QtCore.QObject):
    @Slot()
    def start(self):
        extra = {'qThreadName': ctname() }
        logger.debug('Started work', extra=extra)
        i = 1
        # Let the thread run until interrupted. This allows reasonably clean
        # thread termination.
        while not QtCore.QThread.currentThread().isInterruptionRequested():
            delay = 0.5 + random.random() * 2
            time.sleep(delay)
            try:
                if random.random() < 0.1:
                    raise ValueError('Exception raised: %d' % i)
                else:
                    level = random.choice(LEVELS)
                    logger.log(level, 'Message after delay of %3.1f: %d', delay, i, extra=extra)
            except ValueError as e:
                logger.exception('Failed: %s', e, extra=extra)
            i += 1

#
# Implement a simple UI for this cookbook example. This contains:
#
# * A read-only text edit window which holds formatted log messages
# * A button to start work and log stuff in a separate thread
# * A button to log something from the main thread
# * A button to clear the log window
#
class Window(QtWidgets.QWidget):

    COLORS = {
        logging.DEBUG: 'black',
        logging.INFO: 'blue',
        logging.WARNING: 'orange',
        logging.ERROR: 'red',
        logging.CRITICAL: 'purple',
    }

    def __init__(self, app):
        super().__init__()
        self.app = app
        self.textedit = te = QtWidgets.QPlainTextEdit(self)
        # Set whatever the default monospace font is for the platform
        f = QtGui.QFont('nosuchfont')
        if hasattr(f, 'Monospace'):
            f.setStyleHint(f.Monospace)
        else:
            f.setStyleHint(f.StyleHint.Monospace)  # for Qt6
        te.setFont(f)
        te.setReadOnly(True)
        PB = QtWidgets.QPushButton
        self.work_button = PB('Start background work', self)
        self.log_button = PB('Log a message at a random level', self)
        self.clear_button = PB('Clear log window', self)
        self.handler = h = QtHandler(self.update_status)
        # Remember to use qThreadName rather than threadName in the format string.
        fs = '%(asctime)s %(qThreadName)-12s %(levelname)-8s %(message)s'
        formatter = logging.Formatter(fs)
        h.setFormatter(formatter)
        logger.addHandler(h)
        # Set up to terminate the QThread when we exit
        app.aboutToQuit.connect(self.force_quit)

        # Lay out all the widgets
        layout = QtWidgets.QVBoxLayout(self)
        layout.addWidget(te)
        layout.addWidget(self.work_button)
        layout.addWidget(self.log_button)
        layout.addWidget(self.clear_button)
        self.setFixedSize(900, 400)

        # Connect the non-worker slots and signals
        self.log_button.clicked.connect(self.manual_update)
        self.clear_button.clicked.connect(self.clear_display)

        # Start a new worker thread and connect the slots for the worker
        self.start_thread()
        self.work_button.clicked.connect(self.worker.start)
        # Once started, the button should be disabled
        self.work_button.clicked.connect(lambda : self.work_button.setEnabled(False))

    def start_thread(self):
        self.worker = Worker()
        self.worker_thread = QtCore.QThread()
        self.worker.setObjectName('Worker')
        self.worker_thread.setObjectName('WorkerThread')  # for qThreadName
        self.worker.moveToThread(self.worker_thread)
        # This will start an event loop in the worker thread
        self.worker_thread.start()

    def kill_thread(self):
        # Just tell the worker to stop, then tell it to quit and wait for that
        # to happen
        self.worker_thread.requestInterruption()
        if self.worker_thread.isRunning():
            self.worker_thread.quit()
            self.worker_thread.wait()
        else:
            print('worker has already exited.')

    def force_quit(self):
        # For use when the window is closed
        if self.worker_thread.isRunning():
            self.kill_thread()

    # The functions below update the UI and run in the main thread because
    # that's where the slots are set up

    @Slot(str, logging.LogRecord)
    def update_status(self, status, record):
        color = self.COLORS.get(record.levelno, 'black')
        s = '<pre><font color="%s">%s</font></pre>' % (color, status)
        self.textedit.appendHtml(s)

    @Slot()
    def manual_update(self):
        # This function uses the formatted message passed in, but also uses
        # information from the record to format the message in an appropriate
        # color according to its severity (level).
        level = random.choice(LEVELS)
        extra = {'qThreadName': ctname() }
        logger.log(level, 'Manually logged!', extra=extra)

    @Slot()
    def clear_display(self):
        self.textedit.clear()

def main():
    QtCore.QThread.currentThread().setObjectName('MainThread')
    logging.getLogger().setLevel(logging.DEBUG)
    app = QtWidgets.QApplication(sys.argv)
    example = Window(app)
    example.show()
    if hasattr(app, 'exec'):
        rc = app.exec()
    else:
        rc = app.exec_()
    sys.exit(rc)

if __name__=='__main__':
    main()

Logging to syslog with RFC5424 support

Although RFC 5424 [https://datatracker.ietf.org/doc/html/rfc5424.html] dates from 2009, most syslog servers are configured by default to use the older RFC 3164 [https://datatracker.ietf.org/doc/html/rfc3164.html], which hails from 2001. When logging was added to Python in 2003, it supported the earlier (and only existing) protocol at the time. Since RFC5424 came out, as there has not been widespread deployment of it in syslog servers, the SysLogHandler functionality has not been updated.

RFC 5424 contains some useful features such as support for structured data, and if you need to be able to log to a syslog server with support for it, you can do so with a subclassed handler which looks something like this:

import datetime
import logging.handlers
import re
import socket
import time

class SysLogHandler5424(logging.handlers.SysLogHandler):

    tz_offset = re.compile(r'([+-]\d{2})(\d{2})$')
    escaped = re.compile(r'([\]"\\])')

    def __init__(self, *args, **kwargs):
        self.msgid = kwargs.pop('msgid', None)
        self.appname = kwargs.pop('appname', None)
        super().__init__(*args, **kwargs)

    def format(self, record):
        version = 1
        asctime = datetime.datetime.fromtimestamp(record.created).isoformat()
        m = self.tz_offset.match(time.strftime('%z'))
        has_offset = False
        if m and time.timezone:
            hrs, mins = m.groups()
            if int(hrs) or int(mins):
                has_offset = True
        if not has_offset:
            asctime += 'Z'
        else:
            asctime += f'{hrs}:{mins}'
        try:
            hostname = socket.gethostname()
        except Exception:
            hostname = '-'
        appname = self.appname or '-'
        procid = record.process
        msgid = '-'
        msg = super().format(record)
        sdata = '-'
        if hasattr(record, 'structured_data'):
            sd = record.structured_data
            # This should be a dict where the keys are SD-ID and the value is a
            # dict mapping PARAM-NAME to PARAM-VALUE (refer to the RFC for what these
            # mean)
            # There's no error checking here - it's purely for illustration, and you
            # can adapt this code for use in production environments
            parts = []

            def replacer(m):
                g = m.groups()
                return '\\' + g[0]

            for sdid, dv in sd.items():
                part = f'[{sdid}'
                for k, v in dv.items():
                    s = str(v)
                    s = self.escaped.sub(replacer, s)
                    part += f' {k}="{s}"'
                part += ']'
                parts.append(part)
            sdata = ''.join(parts)
        return f'{version} {asctime} {hostname} {appname} {procid} {msgid} {sdata} {msg}'

You’ll need to be familiar with RFC 5424 to fully understand the above code, and it may be that you have slightly different needs (e.g. for how you pass structural data to the log). Nevertheless, the above should be adaptable to your speciric needs. With the above handler, you’d pass structured data using something like this:

sd = {
    'foo@12345': {'bar': 'baz', 'baz': 'bozz', 'fizz': r'buzz'},
    'foo@54321': {'rab': 'baz', 'zab': 'bozz', 'zzif': r'buzz'}
}
extra = {'structured_data': sd}
i = 1
logger.debug('Message %d', i, extra=extra)

How to treat a logger like an output stream

Sometimes, you need to interface to a third-party API which expects a file-like object to write to, but you want to direct the API’s output to a logger. You can do this using a class which wraps a logger with a file-like API. Here’s a short script illustrating such a class:

import logging

class LoggerWriter:
    def __init__(self, logger, level):
        self.logger = logger
        self.level = level

    def write(self, message):
        if message != '\n':  # avoid printing bare newlines, if you like
            self.logger.log(self.level, message)

    def flush(self):
        # doesn't actually do anything, but might be expected of a file-like
        # object - so optional depending on your situation
        pass

    def close(self):
        # doesn't actually do anything, but might be expected of a file-like
        # object - so optional depending on your situation. You might want
        # to set a flag so that later calls to write raise an exception
        pass

def main():
    logging.basicConfig(level=logging.DEBUG)
    logger = logging.getLogger('demo')
    info_fp = LoggerWriter(logger, logging.INFO)
    debug_fp = LoggerWriter(logger, logging.DEBUG)
    print('An INFO message', file=info_fp)
    print('A DEBUG message', file=debug_fp)

if __name__ == "__main__":
    main()

When this script is run, it prints

INFO:demo:An INFO message
DEBUG:demo:A DEBUG message

You could also use LoggerWriter to redirect sys.stdout and sys.stderr by doing something like this:

import sys

sys.stdout = LoggerWriter(logger, logging.INFO)
sys.stderr = LoggerWriter(logger, logging.WARNING)

You should do this after configuring logging for your needs. In the above example, the basicConfig() call does this (using the sys.stderr value before it is overwritten by a LoggerWriter instance). Then, you’d get this kind of result:

>>> print('Foo')
INFO:demo:Foo
>>> print('Bar', file=sys.stderr)
WARNING:demo:Bar
>>>

Of course, the examples above show output according to the format used by basicConfig(), but you can use a different formatter when you configure logging.

Note that with the above scheme, you are somewhat at the mercy of buffering and the sequence of write calls which you are intercepting. For example, with the definition of LoggerWriter above, if you have the snippet

sys.stderr = LoggerWriter(logger, logging.WARNING)
1 / 0

then running the script results in

WARNING:demo:Traceback (most recent call last):

WARNING:demo:  File "/home/runner/cookbook-loggerwriter/test.py", line 53, in <module>

WARNING:demo:
WARNING:demo:main()
WARNING:demo:  File "/home/runner/cookbook-loggerwriter/test.py", line 49, in main

WARNING:demo:
WARNING:demo:1 / 0
WARNING:demo:ZeroDivisionError
WARNING:demo::
WARNING:demo:division by zero

As you can see, this output isn’t ideal. That’s because the underlying code which writes to sys.stderr makes multiple writes, each of which results in a separate logged line (for example, the last three lines above). To get around this problem, you need to buffer things and only output log lines when newlines are seen. Let’s use a slightly better implementation of LoggerWriter:

class BufferingLoggerWriter(LoggerWriter):
    def __init__(self, logger, level):
        super().__init__(logger, level)
        self.buffer = ''

    def write(self, message):
        if '\n' not in message:
            self.buffer += message
        else:
            parts = message.split('\n')
            if self.buffer:
                s = self.buffer + parts.pop(0)
                self.logger.log(self.level, s)
            self.buffer = parts.pop()
            for part in parts:
                self.logger.log(self.level, part)

This just buffers up stuff until a newline is seen, and then logs complete lines. With this approach, you get better output:

WARNING:demo:Traceback (most recent call last):
WARNING:demo:  File "/home/runner/cookbook-loggerwriter/main.py", line 55, in <module>
WARNING:demo:    main()
WARNING:demo:  File "/home/runner/cookbook-loggerwriter/main.py", line 52, in main
WARNING:demo:    1/0
WARNING:demo:ZeroDivisionError: division by zero

Patterns to avoid

Although the preceding sections have described ways of doing things you might need to do or deal with, it is worth mentioning some usage patterns which are unhelpful, and which should therefore be avoided in most cases. The following sections are in no particular order.

Opening the same log file multiple times

On Windows, you will generally not be able to open the same file multiple times as this will lead to a “file is in use by another process” error. However, on POSIX platforms you’ll not get any errors if you open the same file multiple times. This could be done accidentally, for example by:

Adding a file handler more than once which references the same file (e.g. by a copy/paste/forget-to-change error).

Opening two files that look different, as they have different names, but are the same because one is a symbolic link to the other.

Forking a process, following which both parent and child have a reference to the same file. This might be through use of the multiprocessing module, for example.

Opening a file multiple times might appear to work most of the time, but can lead to a number of problems in practice:

Logging output can be garbled because multiple threads or processes try to write to the same file. Although logging guards against concurrent use of the same handler instance by multiple threads, there is no such protection if concurrent writes are attempted by two different threads using two different handler instances which happen to point to the same file.

An attempt to delete a file (e.g. during file rotation) silently fails, because there is another reference pointing to it. This can lead to confusion and wasted debugging time - log entries end up in unexpected places, or are lost altogether. Or a file that was supposed to be moved remains in place, and grows in size unexpectedly despite size-based rotation being supposedly in place.

Use the techniques outlined in Logging to a single file from multiple processes to circumvent such issues.

Using loggers as attributes in a class or passing them as parameters

While there might be unusual cases where you’ll need to do this, in general there is no point because loggers are singletons. Code can always access a given logger instance by name using logging.getLogger(name), so passing instances around and holding them as instance attributes is pointless. Note that in other languages such as Java and C#, loggers are often static class attributes. However, this pattern doesn’t make sense in Python, where the module (and not the class) is the unit of software decomposition.

Adding handlers other than NullHandler to a logger in a library

Configuring logging by adding handlers, formatters and filters is the responsibility of the application developer, not the library developer. If you are maintaining a library, ensure that you don’t add handlers to any of your loggers other than a NullHandler instance.

Creating a lot of loggers

Loggers are singletons that are never freed during a script execution, and so creating lots of loggers will use up memory which can’t then be freed. Rather than create a logger per e.g. file processed or network connection made, use the existing mechanisms for passing contextual information into your logs and restrict the loggers created to those describing areas within your application (generally modules, but occasionally slightly more fine-grained than that).

Outros recursos

Ver também

Módulo logging

Referência da API para o módulo de logging.

Módulo logging.config

API de configuração para o módulo logging.

Módulo logging.handlers

Manipuladores úteis incluídos no módulo logging.

Tutorial básico

Tutorial avançado

Expressões Regulares

Autor:

A.M. Kuchling <amk@amk.ca>

Resumo

Este documento é um tutorial introdutório sobre expressões regulares em Python com o módulo re. Ele provê uma introdução mais tranquila que a seção correspondente à documentação do módulo.

Introdução

Expressões regulares (chamadas REs, ou regexes ou padrões regex) são essencialmente uma mini linguagem de programação altamente especializada incluída dentro do Python e disponível através do módulo re. Usando esta pequena linguagem, você especifica as regras para o conjunto de strings possíveis que você quer combinar; esse conjunto pode conter sentenças em inglês, endereços de e-mail, ou comandos TeX ou qualquer coisa que você queira. Você poderá então perguntar coisas como “Essa string se enquadra dentro do padrão?” ou “Existe alguma parte da string que se enquadra nesse padrão?”. Você também pode usar as REs para modificar uma string ou dividi-la de diversas formas.

Os padrões das expressões regulares são compilados em uma série de bytecodes que são então executadas por um mecanismo de combinação escrito em C. Para usos avançados, talvez seja necessário prestar atenção em como o mecanismo irá executar uma dada RE, e escrever a RE de forma que os bytecodes executem de forma mais rápida. Otimização é um tema que não será visto neste documento, porque ele requer que você tenha um bom entendimento dos mecanismos de combinação internos.

A linguagem de expressão regular é relativamente pequena e restrita, por isso nem todas as tarefas de processamento de strings possíveis podem ser feitas usando expressões regulares. Existem também tarefas que podem ser feitas com expressões regulares, mas as expressões acabam por ser tornar muito complicadas. Nestes casos, pode ser melhor para você escrever um código Python para fazer o processamento; embora um código Python seja mais lento do que uma expressão regular elaborada, ele provavelmente será mais compreensível.

Padrões Simples

Vamos começar por aprender sobre as expressões regulares mais simples possíveis. Como as expressões regulares são usadas para operar em strings, vamos começar com a tarefa mais comum: de correspondência caracteres.

Para uma explicação detalhada da ciência da computação referente a expressões regulares (autômatos finitos determinísticos e não-determinístico), você pode consultar a praticamente qualquer livro sobre a escrita de compiladores.

Caracteres Correspondentes

A maioria das letras e caracteres simplesmente irão corresponder entre si. Por exemplo, a expressão regular teste irá combinar com a string teste totalmente. (Você pode habilitar o modo de maiúsculas e minúsculas que faria com que a RE corresponder com Test ou TEST também; veremos mais sobre isso mais adiante.)

Há exceções a essa regra, alguns caracteres são metacaracteres especiais, e não se correspondem. Em vez disso, eles sinalizam que alguma coisa fora do normal deve ser correspondida, ou eles afetam outras partes da RE, repetindo-as ou alterando seus significados. Grande parte deste documento é dedicada à discussão de vários metacaracteres e o que eles fazem.

Aqui está a lista completa de metacaracteres; seus significados serão discutidos ao longo deste documento.

. ^ $ * + ? { } [ ] \ | ( )

O primeiro metacaractere que vamos estudos é o [ e o ].  Eles são usados para especificar uma classe de caracteres, que é um conjunto de caracteres que você deseja combinar. Caracteres podem ser listados individualmente ou um range de caracteres pode ser indicado dando dois caracteres e separando-os por um '-'.  Por exemplo, [abc] irá encontrar qualquer caractere a, b, ou c; isso é o mesmo que escrever [a-c], que usa um range para expressar o mesmo conjunto de caracteres, Se você deseja encontrar apenas letras minúsculas, sua RE seria [a-z].

Metacharacters (except \) are not active inside classes. For example, [akm$] will match any of the characters 'a', 'k', 'm', or '$'; '$' is usually a metacharacter, but inside a character class it’s stripped of its special nature.

Você pode combinar os caracteres não listados na classe complementando o conjunto. Isso é indicado pela inclusão de um '^' como o primeiro caractere da classe. Por exemplo, [^5] combinará a qualquer caractere, exceto '5'. Se o sinal de intercalação aparecer em outro lugar da classe de caracteres, ele não terá um significado especial. Por exemplo: [5^] corresponderá a um '5' ou a '^'.

Talvez o metacaractere mais importante é a contrabarra, \. Como as strings literais em Python, a barra invertida pode ser seguida por vários caracteres para sinalizar várias sequências especiais. Ela também é usada para escapar todos os metacaracteres, e assim, você poder combiná-los em padrões; por exemplo, se você precisa fazer correspondência a um [ ou \, você pode precedê-los com uma barra invertida para remover seu significado especial: \[ ou \\.

Algumas das sequências especiais que começam com '\' representam conjuntos de caracteres predefinidos que são frequentemente úteis, como o conjunto de dígitos, o conjunto de letras ou o conjunto de qualquer coisa que não seja espaço em branco.

Vejamos um exemplo: \w corresponde a qualquer caractere alfanumérico. Se o padrão regex for expresso em bytes, isso é equivalente à classe [a-zA-Z0-9_]. Se o padrão regex for uma string, \w combinará todos os caracteres marcados como letras no banco de dados Unicode fornecido pelo módulo unicodedata. Você pode usar a definição mais restrita de \w em um padrão de string, fornecendo o sinalizador re.ASCII ao compilar a expressão regular.

A lista a seguir de sequências especiais não está completa. Para obter uma lista completa das sequências e definições de classe expandidas para padrões de Strings Unicode, veja a última parte de Sintaxe de Expressão Regular na referência da Biblioteca Padrão. Em geral, as versões Unicode correspondem a qualquer caractere que esteja na categoria apropriada do banco de dados Unicode.

\d

corresponde a qualquer dígito decimal, que é equivalente à classe [0-9].

\D

corresponde a qualquer caractere não-dígito, o que é equivalente à classe [^0-9].

\s

corresponde a qualquer caractere espaço-em-branco, o que é equivalente à classe [\t\n\r\f\v].

\S

corresponde a qualquer caractere não-espaço-branco, o que é equivalente à classe [^\t\n\r\f\v].

\w

corresponde a qualquer caractere alfanumérico, o que é equivalente à classe [azA-Z0-9_].

\W

corresponde a qualquer caractere não-alfanumérico, o que é equivalente à classe [^a-zA-Z0-9_].

Estas sequências podem ser incluídas dentro de uma classe caractere. Por exemplo, [\s,.] É uma classe caractere que irá corresponder a qualquer caractere espaço-em-branco, ou , ou ..

O metacaractere final desta seção é o .. Ele encontra tudo, exceto um caractere de nova linha, e existe um modo alternativo (re.DOTALL), onde ele irá corresponder até mesmo a um caractere de nova linha. . é frequentemente usado quando você quer corresponder com “qualquer caractere”.

Repetindo Coisas

Ser capaz de corresponder com variados conjuntos de caracteres é a primeira coisa que as expressões regulares podem fazer que ainda não é possível com os métodos disponíveis para strings. No entanto, se essa fosse a única capacidade adicional das expressões regulares, elas não seriam um avanço relevante. Outro recurso que você pode especificar é que partes do RE devem ser repetidas um certo número de vezes.

O primeiro metacaractere para repetir coisas que veremos é *. * não corresponde ao caractere literal '*'; em vez disso, ele especifica que o caractere anterior pode ser correspondido zero ou mais vezes, em vez de exatamente uma vez.

Por exemplo, ca*t vai corresponder 'ct' (0 'a' caracteres), 'cat' (1 'a'), 'caaat' (3 'a' caracteres), e assim por diante.

Repetições, tais como * são gananciosas; ao repetir a RE, o motor de correspondência vai tentar repeti-la tantas vezes quanto possível. Se porções posteriores do padrão não corresponderem, o motor de correspondência, em seguida, volta e tenta novamente com algumas repetições.

Um exemplo passo a passo fará isso mais óbvio. Vamos considerar a expressão “a[bcd]*b”. Isto corresponde à letra “a”, zero ou mais letras da classe “[bcd]” e, finalmente, termina com “b”. Agora, imagine corresponder este RE com a string “abcbd”.

Passo

Correspondência

Explicação

1

a

O caractere a na RE tem correspondência.

2

abcbd

O motor corresponde com [bcd]*, indo tão longe quanto possível, que é o fim do string.

3

Falha

O motor tenta corresponder com b, mas a posição corrente está no final da string, então ele falha.

4

abcb

Voltando, de modo que [bcd]* corresponde a um caractere a menos.

5

Falha

Tenta b novamente, mas a posição corrente é a do último caractere, que é um d.

6

abc

Voltando novamente, de modo que [bcd]* está correspondendo com bc somente.

6

abcb

Tenta b novamente. Desta vez, o caractere na posição corrente é b, por isso sucesso.

O final da RE foi atingido e correspondeu a 'abcb'. Isso demonstra como o mecanismo de correspondência vai tão longe quanto pode no início e, se nenhuma correspondência for encontrada, ele fará o backup progressivamente e tentará novamente o restante da RE. Ele fará backup até que tenha tentado zero correspondências para [bcd]*, e se isso falhar subsequentemente, o mecanismo concluirá que a string não corresponde a RE de forma alguma.

Outro metacaractere de repetição é o +, que corresponde a uma ou mais vezes. Preste muita atenção para a diferença entre * e +; * corresponde com zero ou mais vezes, assim, o que quer que esteja sendo repetido pode não estar presente, enquanto que + requer pelo menos uma ocorrência. Para usar um exemplo similar, ca+t vai corresponder a 'cat', (1 'a'), 'caaat' (3 'a's), mas não corresponde com 'ct'.

There are two more repeating operators or quantifiers. The question mark character, ?, matches either once or zero times; you can think of it as marking something as being optional. For example, home-?brew matches either 'homebrew' or 'home-brew'.

The most complicated quantifier is {m,n}, where m and n are decimal integers. This quantifier means there must be at least m repetitions, and at most n. For example, a/{1,3}b will match 'a/b', 'a//b', and 'a///b'. It won’t match 'ab', which has no slashes, or 'a////b', which has four.

You can omit either m or n; in that case, a reasonable value is assumed for the missing value. Omitting m is interpreted as a lower limit of 0, while omitting n results in an upper bound of infinity.

The simplest case {m} matches the preceding item exactly m times. For example, a/{2}b will only match 'a//b'.

Os leitores de uma inclinação reducionista podem notar que os três outros quantificadores podem todos serem expressos utilizando esta notação. {0,} é o mesmo que *, {1,} é equivalente a +, e {0,1} é o mesmo que ?. É melhor usar *, + ou ? quando puder, simplesmente porque eles são mais curtos e fáceis de ler.

Usando expressões regulares

Agora que nós vimos algumas expressões regulares simples, como nós realmente as usamos em Python? O módulo re fornece uma interface para o mecanismo de expressão regular, permitindo compilar REs em objetos e, em seguida, executar comparações com eles.

Compilando Expressões Regulares

As expressões regulares são compiladas em objetos padrão, que têm métodos para várias operações, tais como a procura por padrões de correspondência ou realizar substituições de strings.

>>> import re
>>> p = re.compile('ab*')
>>> p
re.compile('ab*')

re.compile() também aceita um argumento opcional flags, utilizados para habilitar vários recursos especiais e variações de sintaxe. Nós vamos ver todas as configurações disponíveis mais tarde, mas por agora, um único exemplo vai servir:

>>> p = re.compile('ab*', re.IGNORECASE)

A RE é passada para re.compile() como uma string. REs são tratadas como strings porque as expressões regulares não são parte do núcleo da linguagem Python, e nenhuma sintaxe especial foi criada para expressá-las. (Existem aplicações que não necessitam de REs nenhuma, por isso não há necessidade de inchar a especificação da linguagem, incluindo-as.) Em vez disso, o módulo re é simplesmente um módulo de extensão C incluído no Python, assim como os módulos de socket ou zlib.

Colocando REs em strings mantém a linguagem Python mais simples, mas tem uma desvantagem, que é o tema da próxima seção.

A praga da barra invertida

Como afirmado anteriormente, expressões regulares usam o caractere de barra invertida (\) para indicar formas especiais ou para permitir que caracteres especiais sejam usados sem invocar o seu significado especial. Isso entra em conflito com o uso pelo Python do mesmo caractere para o mesmo propósito nas strings literais.

Vamos dizer que você quer escrever uma RE que corresponde com a string \section, que pode ser encontrada em um arquivo LaTeX. Para descobrir o que escrever no código do programa, comece com a string que se deseja corresponder. Em seguida, você deve preceder qualquer barra invertida e outros metacaracteres com uma barra invertida, tendo como resultado a string \\section. A string resultante que deve ser passada para re.compile() deve ser \\section. No entanto, para expressar isso como uma string literal Python, ambas as barras invertidas devem ser precedidas com uma barra invertida novamente.

Caracteres

Etapa

\section

string de texto a ser correspondida

\\section

preceder com barra invertida para re.compile()

"\\\\section"

barras invertidas precedidas novamente para uma string literal

Em suma, para corresponder com uma barra invertida literal, tem de se escrever '\\\\' como a string da RE, porque a expressão regular deve ser \\, e cada barra invertida deve ser expressa como \\ dentro de uma string literal Python normal. Em REs que apresentam barras invertidas repetidas vezes, isso leva a um monte de barras invertidas repetidas e faz as strings resultantes difíceis de entender.

A solução é usar a notação de string crua (raw) do Python para expressões regulares; barras invertidas não são tratadas de nenhuma forma especial em uma string literal se prefixada com r, então r"\n" é uma string de dois caracteres contendo \ e n, enquanto "\n" é uma string de um único caractere contendo uma nova linha. As expressões regulares, muitas vezes, são escritas no código Python usando esta notação de string crua (raw).

In addition, special escape sequences that are valid in regular expressions, but not valid as Python string literals, now result in a DeprecationWarning and will eventually become a SyntaxError, which means the sequences will be invalid if raw string notation or escaping the backslashes isn’t used.

String regular

String crua

"ab*"

r"ab*"

"\\\\section"

r"\\section"

"\\w+\\s+\\1"

r"\w+\s+\1"

Executando comparações

Uma vez que você tem um objeto que representa uma expressão regular compilada, o que você faz com ele? Objetos padrão têm vários métodos e atributos. Apenas os mais significativos serão vistos aqui; consulte a documentação do módulo re para uma lista completa.

Método/Atributo

Propósito

match()

Determina se a RE combina com o início da string.

search()

Varre toda a string, procurando qualquer local onde esta RE tem correspondência.

findall()

Encontra todas as substrings onde a RE corresponde, e as retorna como uma lista.

finditer()

Encontra todas as substrings onde a RE corresponde, e as retorna como um iterador.

match() e search() retornam None se não existir nenhuma correspondência encontrada. Se tiveram sucesso, uma instância de match object é retornada, contendo informações sobre a correspondência: onde ela começa e termina, a substring com a qual ela teve correspondência, e mais.

You can learn about this by interactively experimenting with the re module.

Este documento usa o interpretador Python padrão para seus exemplos. Primeiro, execute o interpretador Python, importe o modulo re, e compile uma RE:

>>> import re
>>> p = re.compile('[a-z]+')
>>> p
re.compile('[a-z]+')

Agora, você pode tentar corresponder várias strings com a RE [a-z]+. Mas uma string vazia não deveria corresponder com nada, uma vez que + significa ‘uma ou mais repetições’. match() deve retornar None neste caso, o que fará com que o interpretador não imprima nenhuma saída. Você pode imprimir explicitamente o resultado de match() para deixar isso claro.

>>> p.match("")
>>> print(p.match(""))
None

Agora, vamos experimentá-la em uma string que ela deve corresponder, como tempo. Neste caso, match() irá retornar um objeto match, assim que você deve armazenar o resultado em uma variável para uso posterior.

>>> m = p.match('tempo')
>>> m
<re.Match object; span=(0, 5), match='tempo'>

Agora você pode consultar o objeto match para obter informações sobre a string correspondente. Instâncias do objeto match também tem vários métodos e atributos; os mais importantes são os seguintes:

Método/Atributo

Propósito

group()

Retorna a string que corresponde com a RE

start()

Retorna a posição inicial da string correspondente

end()

Retorna a posição final da string correspondente

span()

Retorna uma tupla contendo as posições (inicial, final) da string combinada

Experimentando estes métodos teremos seus significado esclarecidos:

>>> m.group()
'tempo'
>>> m.start(), m.end()
(0, 5)
>>> m.span()
(0, 5)

group() retorna a substring correspondeu com a RE. start() e end() retornam os índices inicial e o final da substring correspondente. span() retorna tanto os índices inicial e final em uma única tupla. Como o método match() somente verifica se a RE corresponde com o início de uma string, start() será sempre zero. No entanto, o método search() dos objetos padrão, varre toda a string, de modo que a substring correspondente pode não iniciar em zero nesse caso.

>>> print(p.match('::: message'))
None
>>> m = p.search('::: message'); print(m)
<re.Match object; span=(4, 11), match='message'>
>>> m.group()
'message'
>>> m.span()
(4, 11)

Nos programas reais, o estilo mais comum é armazenar o objeto Match em uma variável e, em seguida, verificar se ela é None. Isso geralmente se parece com:

p = re.compile( ... )
m = p.match( 'string goes here' )
if m:
    print('Match found: ', m.group())
else:
    print('No match')

Dois métodos padrão retornam todas as correspondências de um padrão. findall() retorna uma lista de strings correspondentes:

>>> p = re.compile(r'\d+')
>>> p.findall('12 drummers drumming, 11 pipers piping, 10 lords a-leaping')
['12', '11', '10']

The r prefix, making the literal a raw string literal, is needed in this example because escape sequences in a normal “cooked” string literal that are not recognized by Python, as opposed to regular expressions, now result in a DeprecationWarning and will eventually become a SyntaxError. See A praga da barra invertida.

findall() tem que criar a lista inteira antes de poder devolvê-la como resultado. O método finditer() retorna uma sequência de instâncias objeto match como um iterator:

>>> iterator = p.finditer('12 drummers drumming, 11 ... 10 ...')
>>> iterator
<callable_iterator object at 0x...>
>>> for match in iterator:
...     print(match.span())
...
(0, 2)
(22, 24)
(29, 31)

Funções de nível de módulo

Você não tem que criar um objeto padrão e chamar seus métodos; o módulo re também fornece funções de nível superior chamada match(), search(), findall(), sub(), e assim por diante. Estas funções recebem os mesmos argumentos que o método padrão correspondente, com a string RE adicionada como o primeiro argumento, e ainda retornam None ou uma instância objeto match.

>>> print(re.match(r'From\s+', 'Fromage amk'))
None
>>> re.match(r'From\s+', 'From amk Thu May 14 19:12:10 1998')
<re.Match object; span=(0, 5), match='From '>

Under the hood, these functions simply create a pattern object for you and call the appropriate method on it. They also store the compiled object in a cache, so future calls using the same RE won’t need to parse the pattern again and again.

Should you use these module-level functions, or should you get the pattern and call its methods yourself? If you’re accessing a regex within a loop, pre-compiling it will save a few function calls. Outside of loops, there’s not much difference thanks to the internal cache.

Sinalizadores de compilação

Sinalizadores de compilação permitem modificar alguns aspectos de como as expressões regulares funcionam. Sinalizadores estão disponíveis no módulo re sob dois nomes, um nome longo, tal como IGNORECASE e um curto, na forma de uma letra, como I. (Se você estiver familiarizado com o padrão dos modificadores do Perl, o nome curto usa as mesmas letras; o forma abreviada de re.VERBOSE é re.X, por exemplo). Vários sinalizadores podem ser especificados aplicando um OU bit a bit nelas; re.I | re.M define os sinalizadores I e M, por exemplo.

Aqui está uma tabela dos sinalizadores disponíveis, seguida por uma explicação mais detalhada de cada um:

Sinalizador

Significado

ASCII, A

Makes several escapes like \w, \b, \s and \d match only on ASCII characters with the respective property.

DOTALL, S

Faz o . corresponder a qualquer caractere, incluindo novas linhas.

IGNORECASE, I

Faz combinações sem diferenciar maiúsculo de minúsculo

LOCALE, L

Faz uma correspondência considerando a localidade.

MULTILINE, M

Correspondência multilinha, afetando ^ e $.

VERBOSE, X (for ‘extended’)

Habilita REs detalhadas, que podem ser organizadas de forma mais clara e compreensível.

re.I

re.IGNORECASE

Perform case-insensitive matching; character class and literal strings will match letters by ignoring case. For example, [A-Z] will match lowercase letters, too. Full Unicode matching also works unless the ASCII flag is used to disable non-ASCII matches. When the Unicode patterns [a-z] or [A-Z] are used in combination with the IGNORECASE flag, they will match the 52 ASCII letters and 4 additional non-ASCII letters: ‘İ’ (U+0130, Latin capital letter I with dot above), ‘ı’ (U+0131, Latin small letter dotless i), ‘ſ’ (U+017F, Latin small letter long s) and ‘K’ (U+212A, Kelvin sign). Spam will match 'Spam', 'spam', 'spAM', or 'ſpam' (the latter is matched only in Unicode mode). This lowercasing doesn’t take the current locale into account; it will if you also set the LOCALE flag.

re.L

re.LOCALE

Make \w, \W, \b, \B and case-insensitive matching dependent on the current locale instead of the Unicode database.

Locales are a feature of the C library intended to help in writing programs that take account of language differences. For example, if you’re processing encoded French text, you’d want to be able to write \w+ to match words, but \w only matches the character class [A-Za-z] in bytes patterns; it won’t match bytes corresponding to é or ç. If your system is configured properly and a French locale is selected, certain C functions will tell the program that the byte corresponding to é should also be considered a letter. Setting the LOCALE flag when compiling a regular expression will cause the resulting compiled object to use these C functions for \w; this is slower, but also enables \w+ to match French words as you’d expect. The use of this flag is discouraged in Python 3 as the locale mechanism is very unreliable, it only handles one “culture” at a time, and it only works with 8-bit locales. Unicode matching is already enabled by default in Python 3 for Unicode (str) patterns, and it is able to handle different locales/languages.

re.M

re.MULTILINE

(^ e $ ainda não foram explicados, eles serão comentados na seção Mais metacaracteres.)

Normalmente ^ corresponde apenas ao início da string e $ corresponde apenas ao final da string, e imediatamente antes da nova linha (se existir) no final da string. Quando este sinalizador é especificada, o ^ corresponde ao início da string e ao início de cada linha dentro da string, imediatamente após cada nova linha. Da mesma forma, o metacaractere $ corresponde tanto ao final da string e ao final de cada linha (imediatamente antes de cada nova linha).

re.S

re.DOTALL

Faz o caractere especial . corresponder com qualquer caractere que seja, incluindo o nova linha; sem este sinalizador, . irá corresponder a qualquer coisa, exceto o nova linha.

re.A

re.ASCII

Faz com que \w, \W, \b, \B, \s e \S executem a correspondência somente ASCII em vez da correspondência Unicode completa. Isso é significativo apenas para padrões Unicode e é ignorado para padrões de bytes.

re.X

re.VERBOSE

Este sinalizador permite escrever expressões regulares mais legíveis, permitindo mais flexibilidade na maneira de formatá-la. Quando este sinalizador é especificado, o espaço em branco dentro da string RE é ignorado, exceto quando o espaço em branco está em uma classe de caracteres ou precedido por uma barra invertida não “escapada”; isto permite organizar e formatar a RE de maneira mais clara. Este sinalizador também permite que se coloque comentários dentro de uma RE que serão ignorados pelo mecanismo; os comentários são marcados por um “#” que não está nem em uma classe de caracteres nem precedido por uma barra invertida não “escapada”. Por exemplo, aqui está uma RE que usa re.VERBOSE; veja, o quanto mais fácil de ler é ?

Por exemplo, aqui está uma RE que usa re.VERBOSE; veja, o quanto mais fácil de ler é?

charref = re.compile(r"""
 &[#]                # Start of a numeric entity reference
 (
     0[0-7]+         # Octal form
   | [0-9]+          # Decimal form
   | x[0-9a-fA-F]+   # Hexadecimal form
 )
 ;                   # Trailing semicolon
""", re.VERBOSE)

Sem o “verbose” definido, A RE iria se parecer como isto:

charref = re.compile("&#(0[0-7]+"
                     "|[0-9]+"
                     "|x[0-9a-fA-F]+);")

No exemplo acima, a concatenação automática de strings literais em Python foi usada para quebrar a RE em partes menores, mas ainda é mais difícil de entender do que a versão que usa re.VERBOSE.

Mais poder dos Padrões

Até agora, cobrimos apenas uma parte dos recursos das expressões regulares. Nesta seção, vamos abordar alguns metacaracteres novos, e como usar grupos para recuperar partes do texto que teve correspondência.

Mais metacaracteres

Existem alguns metacaracteres que nós ainda não vimos. A maioria deles serão referenciados nesta seção.

Alguns dos metacaracteres restantes a serem discutidos são como uma afirmação de largura zero (zero-width assertions). Eles não fazem com que o mecanismo avance pela string; ao contrário, eles não consomem nenhum caractere, e simplesmente tem sucesso ou falha. Por exemplo, \b é uma afirmação de que a posição atual está localizada nas bordas de uma palavra; a posição não é alterada de nenhuma maneira por \b. Isto significa que afirmações de largura zero nunca devem ser repetidas, porque se elas combinam uma vez em um determinado local, elas podem, obviamente, combinar um número infinito de vezes.

|

Alternation, or the “or” operator. If A and B are regular expressions, A|B will match any string that matches either A or B. | has very low precedence in order to make it work reasonably when you’re alternating multi-character strings. Crow|Servo will match either 'Crow' or 'Servo', not 'Cro', a 'w' or an 'S', and 'ervo'.

Para corresponder com um '|' literal, use \|, ou coloque ele dentro de uma classe de caracteres, como em [|].

^

Corresponde ao início de linha. A menos que o sinalizador MULTILINE tenha sido definido, isso só irá corresponder ao início da string. No modo MULTILINE, isso também corresponde imediatamente após cada nova linha de dentro da string.

Por exemplo, para ter correspondência com a palavra From apenas no início de uma linha, aRE a ser usada é ^From.

>>> print(re.search('^From', 'From Here to Eternity'))
<re.Match object; span=(0, 4), match='From'>
>>> print(re.search('^From', 'Reciting From Memory'))
None

To match a literal '^', use \^.

$

Corresponde ao fim de uma linha, que tanto é definido como o fim de uma string, ou qualquer local seguido por um caractere de nova linha.

>>> print(re.search('}$', '{block}'))
<re.Match object; span=(6, 7), match='}'>
>>> print(re.search('}$', '{block} '))
None
>>> print(re.search('}$', '{block}\n'))
<re.Match object; span=(6, 7), match='}'>

Para corresponder com um $ literal, use \$ ou coloque-o dentro de uma classe de caracteres, como em [$].

\A

Corresponde apenas com o início da string. Quando não estiver em modo MULTILINE, \A e ^ são efetivamente a mesma coisa. No modo MULTILINE, eles são diferentes: \A continua a corresponder apenas com o início da string, mas ^ pode corresponder com qualquer localização de dentro da string, que seja posterior a um caractere nova linha.

\Z

Corresponde apenas ao final da string.

\b

Borda de palavra. Esta é uma afirmação de largura zero que corresponde apenas ao início ou ao final de uma palavra. Uma palavra é definida como uma sequência de caracteres alfanuméricos, de modo que o fim de uma palavra é indicado por espaços em branco ou um caractere não alfanumérico.

O exemplo a seguir corresponde a class apenas quando é a palavra exata; ele não irá corresponder quando for contido dentro de uma outra palavra.

>>> p = re.compile(r'\bclass\b')
>>> print(p.search('no class at all'))
<re.Match object; span=(3, 8), match='class'>
>>> print(p.search('the declassified algorithm'))
None
>>> print(p.search('one subclass is'))
None

Há duas sutilezas você deve lembrar ao usar essa sequência especial. Em primeiro lugar, esta é a pior colisão entre strings literais do Python e sequências de expressão regular. Nas strings literais do Python, \b é o caractere backspace, o valor ASCII 8. Se você não estiver usando strings cruas (raw), então Python irá converter o \b em um backspace e sua RE não irá funcionar da maneira que você espera. O exemplo a seguir parece igual a nossa RE anterior, mas omite o r na frente da string RE.

>>> p = re.compile('\bclass\b')
>>> print(p.search('no class at all'))
None
>>> print(p.search('\b' + 'class' + '\b'))
<re.Match object; span=(0, 7), match='\x08class\x08'>

Além disso, dentro de uma classe de caracteres, onde não há nenhum uso para esta afirmação, \b representa o caractere backspace, para compatibilidade com strings literais do Python

\B

Outra afirmação de largura zero; isto é o oposto de \b, correspondendo apenas quando a posição corrente não é de uma borda de palavra.

Agrupamento

Frequentemente é necessário obter mais informações do que apenas se a RE teve correspondência ou não. As expressões regulares são muitas vezes utilizadas para dissecar strings escrevendo uma RE dividida em vários subgrupos que correspondem a diferentes componentes de interesse. Por exemplo, uma linha de cabeçalho RFC-822 é dividida em um nome de cabeçalho e um valor, separados por um ':', como essa:

From: author@example.com
User-Agent: Thunderbird 1.5.0.9 (X11/20061227)
MIME-Version: 1.0
To: editor@example.com

Isto pode ser gerenciado ao escrever uma expressão regular que corresponde com uma linha inteira de cabeçalho, e tem um grupo que corresponde ao nome do cabeçalho, e um outro grupo, que corresponde ao valor do cabeçalho. Os grupos são marcados pelos metacaracteres ( e ). ( e ) têm muito do mesmo significado que eles têm em expressões matemáticas; eles agrupam as expressões contidas dentro deles, e você pode repetir o conteúdo de um grupo com um qualificador de repetição, como *, +, ?, ou {m,n}. Por exemplo, (ab)* irá corresponder a zero ou mais repetições de ab.

Groups are marked by the '(', ')' metacharacters. '(' and ')' have much the same meaning as they do in mathematical expressions; they group together the expressions contained inside them, and you can repeat the contents of a group with a quantifier, such as *, +, ?, or {m,n}. For example, (ab)* will match zero or more repetitions of ab.

>>> p = re.compile('(ab)*')
>>> print(p.match('ababababab').span())
(0, 10)

Groups indicated with '(', ')' also capture the starting and ending index of the text that they match; this can be retrieved by passing an argument to group(), start(), end(), and span(). Groups are numbered starting with 0. Group 0 is always present; it’s the whole RE, so match object methods all have group 0 as their default argument. Later we’ll see how to express groups that don’t capture the span of text that they match.

>>> p = re.compile('(a)b')
>>> m = p.match('ab')
>>> m.group()
'ab'
>>> m.group(0)
'ab'

Subgrupos são numerados a partir da esquerda para a direita, de forma crescente a partir de 1. Os grupos podem ser aninhados; para determinar o número, basta contar os caracteres de abertura de parêntese - (, indo da esquerda para a direita.

>>> p = re.compile('(a(b)c)d')
>>> m = p.match('abcd')
>>> m.group(0)
'abcd'
>>> m.group(1)
'abc'
>>> m.group(2)
'b'

group() pode receber vários números de grupos de uma vez, e nesse caso ele irá retornar uma tupla contendo os valores correspondentes desses grupos.

>>> m.group(2,1,2)
('b', 'abc', 'b')

O método groups() retorna uma tupla contendo as strings de todos os subgrupos, de 1 até o último. Independente da quantidade de subgrupos informada.

>>> m.groups()
('abc', 'b')

Referências anteriores em um padrão permitem que você especifique que o conteúdo de um grupo capturado anteriormente também deve ser encontrado na posição atual na sequência. Por exemplo, \1 terá sucesso se o conteúdo exato do grupo 1 puder ser encontrado na posição atual, e falhar caso contrário. Lembre-se que as strings literais do Python também usam a barra invertida seguida por números para permitir a inclusão de caracteres arbitrários em uma string, por isso certifique-se de usar strings cruas (raw) ao incorporar referências anteriores em uma RE.

Por exemplo, a seguinte RE detecta palavras duplicadas em uma string.

>>> p = re.compile(r'\b(\w+)\s+\1\b')
>>> p.search('Paris in the the spring').group()
'the the'

Referências anteriores como esta não são, geralmente, muito úteis apenas para fazer pesquisa percorrendo uma string — existem alguns formatos de texto que repetem dados dessa forma — mas em breve você irá descobrir que elas são muito úteis para realizar substituições de strings.

Não captura e grupos nomeados

REs elaboradas podem usar muitos grupos, tanto para capturar substrings de interesse, quanto para agrupar e estruturar a própria RE. Em REs complexas, torna-se difícil manter o controle dos números dos grupos. Existem dois recursos que ajudam a lidar com esse problema. Ambos usam uma sintaxe comum para extensões de expressão regular, então vamos olhar para isso em primeiro lugar.

Perl 5 is well known for its powerful additions to standard regular expressions. For these new features the Perl developers couldn’t choose new single-keystroke metacharacters or new special sequences beginning with \ without making Perl’s regular expressions confusingly different from standard REs. If they chose & as a new metacharacter, for example, old expressions would be assuming that & was a regular character and wouldn’t have escaped it by writing \& or [&].

A solução escolhida pelos desenvolvedores do Perl foi usar (?...) como uma sintaxe de extensão. Um ? imediatamente após um parêntese era um erro de sintaxe porque o ? não teria nada a repetir, de modo que isso não introduz quaisquer problemas de compatibilidade. Os caracteres imediatamente após um ? indicam que a extensão está sendo usada, então (?=foo) é uma coisa (uma asserção lookahead positiva) e (?:foo) é outra coisa (um grupo de não captura contendo a subexpressão foo).

Python supports several of Perl’s extensions and adds an extension syntax to Perl’s extension syntax. If the first character after the question mark is a P, you know that it’s an extension that’s specific to Python.

Now that we’ve looked at the general extension syntax, we can return to the features that simplify working with groups in complex REs.

Às vezes você vai querer usar um grupo para representar uma parte de uma expressão regular, mas não está interessado em recuperar o conteúdo do grupo. Você pode fazer este fato explícito usando um grupo de não-captura: (?:...), onde você pode substituir o ... por qualquer outra expressão regular.

>>> m = re.match("([abc])+", "abc")
>>> m.groups()
('c',)
>>> m = re.match("(?:[abc])+", "abc")
>>> m.groups()
()

Exceto pelo fato de que não é possível recuperar o conteúdo sobre o qual o grupo corresponde, um grupo de não captura se comporta exatamente da mesma forma que um grupo de captura; você pode colocar qualquer coisa dentro dele, repeti-lo com um metacaractere de repetição, como o ‘*’, e aninhá-lo dentro de outros grupos (de captura ou não captura). (?:...) é particularmente útil para modificar um padrão existente, já que você pode adicionar novos grupos sem alterar a forma como todos os outros grupos estão numerados. Deve ser mencionado que não há diferença de desempenho na busca entre grupos de captura e grupos de não captura; uma forma não é mais rápida que outra.

Uma característica mais significativa são os grupos nomeados: em vez de se referir a eles por números, os grupos podem ser referenciados por um nome.

A sintaxe de um grupo nomeado é uma das extensões específicas do Python: (?P<name>...). name é, obviamente, o nome do grupo. Os grupos nomeados se comportam exatamente como os grupos de captura, e, adicionalmente, associam um nome a um grupo. Todos os métodos de objeto correspondência que lidam com grupos de captura aceitam tanto inteiros que se referem ao grupo por número ou strings que contêm o nome do grupo desejado. Os grupos nomeados ainda recebem números, então você pode recuperar informações sobre um grupo de duas maneiras:

>>> p = re.compile(r'(?P<word>\b\w+\b)')
>>> m = p.search( '(((( Lots of punctuation )))' )
>>> m.group('word')
'Lots'
>>> m.group(1)
'Lots'

Additionally, you can retrieve named groups as a dictionary with groupdict():

>>> m = re.match(r'(?P<first>\w+) (?P<last>\w+)', 'Jane Doe')
>>> m.groupdict()
{'first': 'Jane', 'last': 'Doe'}

Os grupos nomeados são úteis porque eles permitem que você use nomes de fácil lembrança, em vez de ter que lembrar de números. Aqui está um exemplo de RE usando o módulo imaplib:

InternalDate = re.compile(r'INTERNALDATE "'
        r'(?P<day>[ 123][0-9])-(?P<mon>[A-Z][a-z][a-z])-'
        r'(?P<year>[0-9][0-9][0-9][0-9])'
        r' (?P<hour>[0-9][0-9]):(?P<min>[0-9][0-9]):(?P<sec>[0-9][0-9])'
        r' (?P<zonen>[-+])(?P<zoneh>[0-9][0-9])(?P<zonem>[0-9][0-9])'
        r'"')

É obviamente muito mais fácil fazer referência a m.group('zonem'), do que ter que se lembrar de capturar o grupo 9.

A sintaxe para referências anteriores em uma expressão, tal como (...)\1, faz referência ao número do grupo. Existe, naturalmente, uma variante que usa o nome do grupo em vez do número. Isto é outra extensão Python: (?P=name) indica que o conteúdo do grupo chamado name deve, novamente, ser correspondido no ponto atual. A expressão regular para encontrar palavras duplicadas, (\b\w+)\s+\1, também pode ser escrita como (?P<word>\b\w+)\s+(?P=word):

>>> p = re.compile(r'\b(?P<word>\w+)\s+(?P=word)\b')
>>> p.search('Paris in the the spring').group()
'the the'

Asserções lookahead

Outra afirmação de “largura zero” é a asserção lookahead. Asserções lookahead estão disponíveis tanto na forma positiva quanto na negativa, e se parece com isto:

(?=...)

Asserção lookahead positiva. Retorna sucesso se a expressão regular informada, aqui representada por ..., corresponde com o conteúdo da localização atual, e retorna falha caso contrário. Mas, uma vez que a expressão informada tenha sido testada, o mecanismo de correspondência não faz qualquer avanço; o resto do padrão é tentado no mesmo local de onde a afirmação foi iniciada.

(?!...)

Asserção lookahead negativa. É o oposto da asserção positiva; será bem-sucedida se a expressão informada não corresponder com o conteúdo da posição atual na string.

Para tornar isto concreto, vamos olhar para um caso em que um lookahead é útil. Considere um padrão simples para corresponder com um nome de arquivo e divida-o em pedaços, um nome base e uma extensão, separados por um .. Por exemplo, em news.rc,news é o nome base, e rc é a extensão do nome de arquivo.

O padrão para corresponder com isso é muito simples:

.*[.].*$

Notice that the . needs to be treated specially because it’s a metacharacter, so it’s inside a character class to only match that specific character. Also notice the trailing $; this is added to ensure that all the rest of the string must be included in the extension. This regular expression matches foo.bar and autoexec.bat and sendmail.cf and printers.conf.

Agora, considere complicar um pouco o problema; e se você desejar corresponder com nomes de arquivos onde a extensão não é bat? Algumas tentativas incorretas:

.*[.][^b].*$ A primeira tentativa acima tenta excluir bat, exigindo que o primeiro caractere da extensão não é um b. Isso é errado, porque o padrão também não corresponde a foo.bar.

.*[.]([^b]..|.[^a].|..[^t])$

A expressão fica mais confusa se você tentar remendar a primeira solução, exigindo que uma das seguintes situações corresponda: o primeiro caractere da extensão não é b; o segundo caractere não é a; ou o terceiro caractere não é t. Isso aceita foo.bar e rejeita autoexec.bat, mas requer uma extensão de três letras e não aceitará um nome de arquivo com uma extensão de duas letras, tal como sendmail.cf. Nós iremos complicar o padrão novamente em um esforço para corrigi-lo.

.*[.]([^b].?.?|.[^a]?.?|..?[^t]?)$

Na terceira tentativa, a segunda e terceira letras são todas consideradas opcionais, a fim de permitir correspondência com as extensões mais curtas do que três caracteres, tais como sendmail.cf.

O padrão está ficando realmente muito complicado agora, o que faz com que seja difícil de ler e compreender. Pior ainda, se o problema mudar e você quiser excluir tanto bat quanto exe como extensões, o padrão iria ficar ainda mais complicado e confuso.

Um lookahead negativo elimina toda esta confusão:

.*[.](?!bat$).*$ O lookahead negativo significa: se a expressão bat não corresponder até este momento, tente o resto do padrão; se bat$ tem correspondência, todo o padrão irá falhar. O final $ é necessário para garantir que algo como sample.batch, onde a extensão só começa com o bat, será permitido.

Excluir uma outra extensão de nome de arquivo agora é fácil; basta fazer a adição de uma alternativa dentro da afirmação. O padrão a seguir exclui os nomes de arquivos que terminam com bat ou exe:

.*[.](?!bat$|exe$)[^.]*$

Modificando strings

Até este ponto, nós simplesmente realizamos pesquisas em uma string estática. As expressões regulares também são comumente usadas para modificar strings através de várias maneiras, usando os seguintes métodos padrão:

Método/Atributo

Propósito

split()

Divide a string em uma lista, dividindo-a onde quer que haja correspondência com a RE

sub()

Encontra todas as substrings que correspondem com a RE e faz a substituição por uma string diferente

subn()

Faz a mesma coisa que sub(), mas retorna a nova string e o número de substituições

Dividindo as strings

O método split() de um padrão divide uma string em pedaços onde quer que a RE corresponda, retornando uma lista formada por esses pedaços. É semelhante ao método split() de strings, mas oferece muito mais generalidade nos delimitadores, e assim, você pode fazer disso para fazer a divisão; split() só implementa a divisão de espaço em branco ou por uma string fixa. Como você deve deduzir, existe também uma função a nível de módulo re.split().

.split(string[, maxsplit=0])

Divide a string usando a correspondência com uma expressão regular. Se os parênteses de captura forem utilizados na RE, então seu conteúdo também será retornado como parte da lista resultante. Se maxsplit é diferente de zero, um número de divisões maxsplit será executado.

Você pode limitar o número de divisões feitas, passando um valor para maxsplit. Quando maxsplit é diferente de zero, um determinado número de divisões maxsplit será executado, e o restante da string é retornado como o elemento final da lista. No exemplo a seguir, o delimitador é qualquer sequência de caracteres não alfanuméricos.

>>> p = re.compile(r'\W+')
>>> p.split('This is a test, short and sweet, of split().')
['This', 'is', 'a', 'test', 'short', 'and', 'sweet', 'of', 'split', '']
>>> p.split('This is a test, short and sweet, of split().', 3)
['This', 'is', 'a', 'test, short and sweet, of split().']

Às vezes, você não está apenas interessado no que o texto que está entre delimitadores contém, mas também precisa saber qual o delimitador foi usado. Se os parênteses de captura são utilizados na RE, então os respectivos valores são também retornados como parte da lista. Compare as seguintes chamadas:

>>> p = re.compile(r'\W+')
>>> p2 = re.compile(r'(\W+)')
>>> p.split('This... is a test.')
['This', 'is', 'a', 'test', '']
>>> p2.split('This... is a test.')
['This', '... ', 'is', ' ', 'a', ' ', 'test', '.', '']

A função de nível de módulo re.split() adiciona a RE a ser utilizada como o primeiro argumento, mas é, em determinadas circunstâncias, a mesma.

>>> re.split(r'[\W]+', 'Words, words, words.')
['Words', 'words', 'words', '']
>>> re.split(r'([\W]+)', 'Words, words, words.')
['Words', ', ', 'words', ', ', 'words', '.', '']
>>> re.split(r'[\W]+', 'Words, words, words.', 1)
['Words', 'words, words.']

Busca e substituição

Outra tarefa comum é encontrar todas as combinações para um padrão e substituí-las por uma string diferente. O método sub() recebe um valor de substituição, que pode ser uma string ou uma função, e a string a ser processada.

.sub(replacement, string[, count=0])

Retorna a string obtida substituindo as ocorrências mais à esquerda não sobrepostas da RE em string pela substituição replacement. Se o padrão não for encontrado, a string é retornada inalterada.

O argumento opcional count é o número máximo de ocorrências do padrão a ser substituído; count deve ser um número inteiro não negativo. O valor padrão 0 significa para substituir todas as ocorrências.

Aqui está um exemplo simples do uso do método sub(). Ele substitui nomes de cores pela palavra colour:

>>> p = re.compile('(blue|white|red)')
>>> p.sub('colour', 'blue socks and red shoes')
'colour socks and colour shoes'
>>> p.sub('colour', 'blue socks and red shoes', count=1)
'colour socks and red shoes'

O método subn() faz o mesmo trabalho, mas retorna uma tupla com duas informações; contém uma string com novo valor e o número de substituições que foram realizadas:

>>> p = re.compile('(blue|white|red)')
>>> p.subn('colour', 'blue socks and red shoes')
('colour socks and colour shoes', 2)
>>> p.subn('colour', 'no colours at all')
('no colours at all', 0)

Correspondências vazias somente são substituídas quando não estão adjacente (próxima) a uma correspondência vazia anterior.

>>> p = re.compile('x*')
>>> p.sub('-', 'abxd')
'-a-b--d-'

Se a substituição (replacement) é uma string, qualquer barra invertida é interpretada e processada. Isto é, \n é convertido a um único caractere de nova linha, \r é convertido em um retorno do carro, e assim por diante. Casos desconhecidos, como \& são ignorados. Referências anteriores (retrovisor - Aurelio), como \6, são substituídas com a substring correspondida pelo grupo correspondente na RE. Isso permite que você incorpore partes do texto original na string de substituição resultante.

Este exemplo corresponde com a palavra section, seguida por uma string colocada entre {, } e altera section para subsection:

>>> p = re.compile('section{ ( [^}]* ) }', re.VERBOSE)
>>> p.sub(r'subsection{\1}','section{First} section{second}')
'subsection{First} subsection{second}'

Há também uma sintaxe para se referir a grupos nomeados como definido pela sintaxe (?P<name>...). \g<name> usará a substring correspondida pelo grupo com nome name e \g<number> utiliza o número do grupo correspondente. .\g<2> é, portanto, equivalente a \2, mas não é ambígua em uma string de substituição (replacement), tal como \g<2>0. (\20 seria interpretado como uma referência ao grupo de 20, e não uma referência ao grupo 2 seguido pelo caractere literal 0). As substituições a seguir são todas equivalentes, mas usam todas as três variações da string de substituição.

>>> p = re.compile('section{ (?P<name> [^}]* ) }', re.VERBOSE)
>>> p.sub(r'subsection{\1}','section{First}')
'subsection{First}'
>>> p.sub(r'subsection{\g<1>}','section{First}')
'subsection{First}'
>>> p.sub(r'subsection{\g<name>}','section{First}')
'subsection{First}'

replacement também pode ser uma função, que lhe dá ainda mais controle. Se replacement for uma função, a função será chamada para todas as ocorrências não sobrepostas de pattern. Em cada chamada, a função recebe um argumento de objeto Match para a correspondência e pode usar essas informações para calcular a string de substituição desejada e retorná-la.

No exemplo a seguir, a função de substituição traduz decimais em hexadecimal:

>>> def hexrepl(match):
...     "Return the hex string for a decimal number"
...     value = int(match.group())
...     return hex(value)
...
>>> p = re.compile(r'\d+')
>>> p.sub(hexrepl, 'Call 65490 for printing, 49152 for user code.')
'Call 0xffd2 for printing, 0xc000 for user code.'

Ao utilizar a função de nível de módulo re.sub(), o padrão é passado como o primeiro argumento. O padrão pode ser fornecido como um objeto ou como uma string; se você precisa especificar sinalizadores de expressões regulares, você deve usar um objeto padrão como o primeiro parâmetro, ou usar modificadores embutidos na string padrão, por exemplo, sub("(?i)b+", "x", "bbbb BBBB") retorna 'x x'.

Problemas comuns

Expressões regulares são uma ferramenta poderosa para algumas aplicações, mas de certa forma o seu comportamento não é intuitivo, e às vezes, as RE não se comportam da maneira que você espera que elas se comportem. Esta seção irá apontar algumas das armadilhas mais comuns.

Usando métodos de string

Às vezes, usar o módulo re é um equívoco. Se você está fazendo correspondência com uma string fixa, ou uma classe de caractere única, e você não está usando nenhum recurso de re como o sinalizador IGNORECASE, então pode não ser necessário todo o poder das expressões regulares. Strings possui vários métodos para executar operações com strings fixas e eles são, geralmente, muito mais rápidos, porque a implementação é um único e pequeno laço (loop) de C que foi otimizado para esse propósito, em vez do grande e mais generalizado mecanismo das expressões regulares.

Um exemplo pode ser a substituição de uma string fixa única por outra; por exemplo, você pode substituir word por deed. re.sub() parece ser a função a ser usada para isso, mas considere o método replace(). Note que replace() também irá substituir word dentro de palavras, transformando swordfish em sdeedfish, mas uma RE ingênua teria feito isso também. (Para evitar a realização da substituição de partes de palavras, o padrão teria que ser \bword\b, a fim de exigir que word tenha um limite de palavra em ambos os lados (o recurso borda). Isso leva o tarefa para além da capacidade de replace().)

Outra tarefa comum é apagar todas as ocorrências de um único caractere de uma string ou substitui-lo por um outro caractere único. Você pode fazer isso com algo como re.sub('\n', ' ', S), mas translate() é capaz de fazer ambas as tarefas e será mais rápida do que qualquer operação de expressão regular pode ser.

Em suma, antes de recorrer ao o módulo re, considere se o seu problema pode ser resolvido com um método string mais rápido e mais simples.

match() versus search()

A função match() somente verifica se a RE corresponde ao início da string, enquanto search() fará a varredura através na string procurando por uma correspondência. É importante manter esta distinção em mente. Lembre-se, match() só irá relatar uma correspondência bem-sucedida que começa em 0; se a correspondência não começar em zero, match() não vai reportá-la.

>>> print(re.match('super', 'superstition').span())
(0, 5)
>>> print(re.match('super', 'insuperable'))
None

Por outro lado, search() fará a varredura percorrendo a string e relatando a primeira correspondência que encontrar.

>>> print(re.search('super', 'superstition').span())
(0, 5)
>>> print(re.search('super', 'insuperable').span())
(2, 7)

Às vezes, você vai ficar tentado a continuar usando re.match(), e apenas adicionar .* ao início de sua RE. Resista a essa tentação e use re.search() em vez disso. O compilador de expressão regular faz alguma análise das REs, a fim de acelerar o processo de procura de uma correspondência. Tal análise descobre o que o primeiro caractere de uma string deve ser; por exemplo, um padrão começando com Crow deve corresponder com algo iniciando com 'C'. A análise permite que o mecanismo faça a varredura rapidamente através da string a procura do caractere inicial, apenas tentando a combinação completa se um 'C' for encontrado.

Adicionar um .* evita essa otimização, sendo necessário a varredura até o final da string e, em seguida, retroceder para encontrar uma correspondência para o resto da RE. Use re.search() em vez disso.

Gulosos versus não-gulosos

Ao repetir uma expressão regular, como em a*, a ação resultante é consumir o tanto do padrão quanto possível. Este fato, muitas vezes derruba você quando você está tentando corresponder com um par de delimitadores balanceados, tal como os colchetes que cercam uma tag HTML. O padrão ingênuo para combinar uma única tag HTML não funciona por causa da natureza gulosa de .*.

>>> s = '<html><head><title>Title</title>'
>>> len(s)
32
>>> print(re.match('<.*>', s).span())
(0, 32)
>>> print(re.match('<.*>', s).group())
<html><head><title>Title</title>

A RE corresponde a '<' em '<html>', e o .* consome o resto da string. Existe ainda mais coisa existente na RE, no entanto, e o > pode não corresponder com o final da string, de modo que o mecanismo de expressão regular tem que recuar caractere por caractere até encontrar uma correspondência para a >. A correspondência final se estende do '<' em '<html>' ao '>' em '</title>', que não é o que você quer.

Neste caso, a solução é usar os quantificadores não-gulosos *?, +?, ?? ou {m,n}?, que corresponde com o mínimo de texto possível. No exemplo acima, o '>' é tentado imediatamente após a primeira correspondência de '<', e quando ele falhar, o mecanismo avança um caractere de cada vez, experimentado '>' a cada passo. Isso produz justamente o resultado correto:

>>> print(re.match('<.*?>', s).group())
<html>

(Note que a análise de HTML ou XML com expressões regulares é dolorosa. Padrões “sujos e rápidos” irão lidar com casos comuns, mas HTML e XML tem casos especiais que irão quebrar expressões regulares óbvias; com o tempo, expressões regulares que você venha a escrever para lidar com todos os casos possíveis, se tornarão um padrão muito complicado. Use um módulo de análise de HTML ou XML para tais tarefas.)

Usando re.VERBOSE

Nesse momento, você provavelmente deve ter notado que as expressões regulares são de uma notação muito compacta, mas não é possível dizer que são legíveis. REs de complexidade moderada podem se tornar longas coleções de barras invertidas, parênteses e metacaracteres, fazendo com que se tornem difíceis de ler e compreender.

Para tais REs, especificar a flag re.VERBOSE ao compilar a expressão regular pode ser útil, porque permite que você formate a expressão regular de forma mais clara.

O sinalizador re.VERBOSE produz vários efeitos. Espaço em branco na expressão regular que não está dentro de uma classe de caracteres é ignorado. Isto significa que uma expressão como dog | cat é equivalente ao menos legível dog|cat, mas [a b] ainda vai coincidir com os caracteres a, b, ou um espaço. Além disso, você também pode colocar comentários dentro de uma RE; comentários se estendem de um caractere # até a próxima nova linha. Quando usados junto com strings de aspas triplas, isso permite as REs serem formatadas mais ordenadamente:

pat = re.compile(r"""
 \s*                 # Skip leading whitespace
 (?P<header>[^:]+)   # Header name
 \s* :               # Whitespace, and a colon
 (?P<value>.*?)      # The header's value -- *? used to
                     # lose the following trailing whitespace
 \s*$                # Trailing whitespace to end-of-line
""", re.VERBOSE)

Isso é muito mais legível do que:

pat = re.compile(r"\s*(?P<header>[^:]+)\s*:(?P<value>.*?)\s*$")

Comentários

Expressões regulares são um tópico complicado. Esse documento ajudou você a compreendê-las? Existem partes que foram pouco claras, ou situações que você vivenciou que não foram abordadas aqui? Se assim for, por favor, envie sugestões de melhorias para o autor.

O livro mais completo sobre expressões regulares é quase certamente o Mastering Regular Expressions de Jeffrey Friedl’s, publicado pela O’Reilly. Infelizmente, ele se concentra exclusivamente em sabores de expressões regulares do Perl e do Java, e não contém qualquer material relativo a Python, por isso não vai ser útil como uma referência para a programação em Python. (A primeira edição cobre o módulo regex agora removido do Python, o que não vai te ajudar muito.) Considere removê-lo de sua biblioteca.

Programação de Soquetes

Autor:

Gordon McMillan

Resumo

Os soquetes são usados em quase todos os lugares, mas são uma das tecnologias mais mal compreendidas. Esta é uma visão geral contendo 10.000 pontos a respeitos dos soquetes. Não é realmente um tutorial - ainda terás o trabalho para tornar tudo operacionais. Não abrange os pontos finos (e há muitos deles), mas espero que lhe dê uma base suficiente para começar a utilizar de maneira correta.

Soquetes

Só trataremos dos soquetes INET (ou seja, IPv4), no entanto, os mesmos representam ao menos 99% dos soquetes que estão atualmente em uso. Só estudaremos os soquetes STREAM (ou seja, TCP) - a menos que você realmente saiba o que está fazendo (nesse caso, este documento não é para você!), terás um melhor conhecimento sobre o comportamento e o desempenho dos soquetes STREAM do que qualquer outra coisa. Tentarei aclarar o mistério sobre o que realmente é um soquete, bem como, apresentarei dicas de como trabalhar com soquetes bloqueantes e os não bloqueantes. Começaremos o estudo falando da razão pela qual bloquear um soquete. Precisas saber como os mesmos (os soquetes bloqueantes) antes de estudar os não bloqueantes

Parte do problema em compreender o funcionamento se dá pelo fato de que o “soquete” pode ter significados que são sutilmente diferentes, dependendo do contexto. Então, primeiro, vamos fazer uma distinção entre um soquete “cliente” - o ponto final de uma conversa e um soquete “servidor”, que mais parece como um operador de painel. O aplicativo Cliente (seu navegador, por exemplo) usa soquetes “cliente” exclusivos; O servidor Web com o qual conversamos faz uso de soquetes “servidor” e soquetes de “cliente”.

História

Das várias formas de IPC, os soquetes são, de longe, os mais populares. Em qualquer plataforma, muito provável existirão outras formas de IPC que sejam mais rápidas, porém, para a comunicação entre plataformas, os soquetes são sobre o único jogo na cidade.

They were invented in Berkeley as part of the BSD flavor of Unix. They spread like wildfire with the internet. With good reason — the combination of sockets with INET makes talking to arbitrary machines around the world unbelievably easy (at least compared to other schemes).

Criando um Soquete

De forma geral, quando clicastes no link que te trouxe até esta página (documentação do Python), o que o teu navegador fez, foi o seguinte:

# create an INET, STREAMing socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# now connect to the web server on port 80 - the normal http port
s.connect(("www.python.org", 80))

Quando a connect (conexão) foi estabelecida, o soquete s pode ser utilizado para enviar uma solicitação de texto para a página. O mesmo soquete é que irá ler a resposta e, em seguida, o mesmo será destruído. Isso mesmo, será destruído. Os soquetes de Clientes normalmente são usados apenas numa única transação (troca) (ou um pequeno conjunto sequencial de transações).

O que acontece no lado do servidor Web é um pouco mais complexo. Primeiro, o Servidor Web cria um “soquete tipo servidor”:

# create an INET, STREAMing socket
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# bind the socket to a public host, and a well-known port
serversocket.bind((socket.gethostname(), 80))
# become a server socket
serversocket.listen(5)

Algumas coisas que deves observar: usamos socket.gethostname() para que o soquete esteja visível ao mundo exterior. Se tivéssemos usado s.bind(('localhost', 80)) ou s.bind(('127.0.0.1', 80)) ainda teríamos um soquete do tipo “servidor”, mas o mesmo só estaria visível dentro do computador em que está sendo executado. s.bind(('', 80)) determina que o soquete estará acessível por qualquer computador que possuas o endereço IP do computador.

Uma segunda coisa que precisas observar é: as portas baixas, normalmente estão reservadas para serviços “bem conhecidos”, tais como (HTTP, SNMP etc). Caso estejas brincando, utilize um número alto (números contendo 4 dígitos).

Por fim, o argumento “listen” diz à biblioteca de soquetes que queremos enfileirar no máximo 5 requisições de conexão (normalmente o máximo) antes de recusar começar a recusar conexões externas. Caso o resto do código esteja escrito corretamente, isso deverá ser o suficiente.

Agora que temos um soquete tipo “servidor”, que está ouvindo a porta 80, podemos entrar no mainloop do servidor web:

while True:
    # accept connections from outside
    (clientsocket, address) = serversocket.accept()
    # now do something with the clientsocket
    # in this case, we'll pretend this is a threaded server
    ct = client_thread(clientsocket)
    ct.run()

Na verdade, existem 3 formas gerais nas quais este loop pode ser implementado - despachando um handle que lide com o clientsocket, criando um novo processo que funcione com o clientsocket, ou reestruture o aplicativo para trabalhar com soquetes não bloqueáveis e multiplexar entre os nossos soquetes tipo “servidor” e qualquer cliente ativo que faça uso do select. Trataremos mais sobre isso posteriormente. O importante que temos que saber neste momento é isso: isso é tudo o que um soquete tipo “Servidor” irá fazer. O mesmo não enviar quaisquer dado. Não recebe dados. Apenas produz soquetes “cliente”. Cada clientsocket será criado em resposta a algum outro soquete “cliente” que fará uma connect() ao um determinado host numa determinada porta que estamos vinculados. Será dessa forma que criamos aquele “cliente”, voltaremos a ouvir mais conexões. Os dois “clientes” são livres para conversar - eles estão usando uma porta alocada dinamicamente que será descartada quando a conversa terminar.

IPC

Se precisas que o IPC seja rápido entre dois processos numa máquina, deverás procurar por pipes ou compartilhamento de memória. Se decidires usar os soquetes AF_INET, vincule o soquete “servidor” a 'localhost'`. Na maioria das plataformas, isso levará um atalho em torno de algumas camadas de código de rede e funcionará um pouco mais rápido.

Ver também

A módulo multiprocessing faz a integração do IPC de forma multiplataforma numa API de nível superior.

Usando um Soquete

A primeira coisa que precisamos observar, é que o soquete “cliente” do navegador e o soquete “cliente” do servidor Web são “animais” idênticos. Ou seja, esta é uma conversa “peer to peer”. Ou, em outras palavras, como designer, terás que decidir quais são as regras da etiqueta para uma conversa. Normalmente, o soquete connectando inicia a conversa, enviando uma solicitação ou talvez um sinal. Mas essa é uma decisão de design - não é uma regra de soquetes.

Agora, há dois conjuntos de verbos que podemos usar na comunicação. Podemos usar send e recv, ou podemos transformar o seu soquete cliente numa “besta” semelhante a um arquivo e usar read e write. O último é o modo como Java apresenta seus soquetes. Não tratarei disso aqui, exceto para avisar que precisas usar o flush com soquetes. Estes são “arquivos” em buffer e um erro comum é “escrever” algo e, em seguida, “ler” uma resposta. Sem que haja um flush lá dentro, poderás esperar eternamente pela resposta, porque o pedido ainda poderá estar no buffer de saída.

Agora, chegamos ao principal obstáculo no uso dos soquetes - send e recv operam nos buffers de rede. Eles não lidam necessariamente com todos os bytes que você os entrega (ou esperam deles), porque o foco principal deles é lidar com os buffers de rede. Em geral, os mesmos retornam quando os buffers de rede associados foram preenchidos (send) ou esvaziados (recv). Eles então lhe dizem quantos bytes eles trataram. É sua responsabilidade chamá-los novamente até que a sua mensagem tenha sido completamente tratada.

Quando um recv retornar 0 bytes, significa que o outro lado finalizou a conexão (ou está no processo de fechamento) da conexão. Não receberás mais dados nesta conexão. Pra sempre. Poderás enviar dados com sucesso; Falaremos mais sobre isso posteriormente.

Um protocolo como o HTTP utiliza um soquete para apenas uma transferência. O cliente envia uma solicitação e depois lê uma resposta. É isso aí. O soquete é descartado. Isso significa que um cliente pode detectar o final da resposta ao receber 0 bytes.

But if you plan to reuse your socket for further transfers, you need to realize that there is no EOT on a socket. I repeat: if a socket send or recv returns after handling 0 bytes, the connection has been broken. If the connection has not been broken, you may wait on a recv forever, because the socket will not tell you that there’s nothing more to read (for now). Now if you think about that a bit, you’ll come to realize a fundamental truth of sockets: messages must either be fixed length (yuck), or be delimited (shrug), or indicate how long they are (much better), or end by shutting down the connection. The choice is entirely yours, (but some ways are righter than others).

Assuming you don’t want to end the connection, the simplest solution is a fixed length message:

class MySocket:
    """demonstration class only
      - coded for clarity, not efficiency
    """

    def __init__(self, sock=None):
        if sock is None:
            self.sock = socket.socket(
                            socket.AF_INET, socket.SOCK_STREAM)
        else:
            self.sock = sock

    def connect(self, host, port):
        self.sock.connect((host, port))

    def mysend(self, msg):
        totalsent = 0
        while totalsent < MSGLEN:
            sent = self.sock.send(msg[totalsent:])
            if sent == 0:
                raise RuntimeError("socket connection broken")
            totalsent = totalsent + sent

    def myreceive(self):
        chunks = []
        bytes_recd = 0
        while bytes_recd < MSGLEN:
            chunk = self.sock.recv(min(MSGLEN - bytes_recd, 2048))
            if chunk == b'':
                raise RuntimeError("socket connection broken")
            chunks.append(chunk)
            bytes_recd = bytes_recd + len(chunk)
        return b''.join(chunks)

The sending code here is usable for almost any messaging scheme - in Python you send strings, and you can use len() to determine its length (even if it has embedded \0 characters). It’s mostly the receiving code that gets more complex. (And in C, it’s not much worse, except you can’t use strlen if the message has embedded \0s.)

The easiest enhancement is to make the first character of the message an indicator of message type, and have the type determine the length. Now you have two recvs - the first to get (at least) that first character so you can look up the length, and the second in a loop to get the rest. If you decide to go the delimited route, you’ll be receiving in some arbitrary chunk size, (4096 or 8192 is frequently a good match for network buffer sizes), and scanning what you’ve received for a delimiter.

Uma complicação a ter em conta: se o seu protocolo de conversa permitir que várias mensagens sejam enviadas de volta para trás (sem algum tipo de resposta) e você passar recv um tamanho arbitrário de bloco, você pode acabar lendo o início de uma mensagem seguinte. Você precisará deixar isso de lado e segurá-lo até que seja necessário.

Prefixing the message with its length (say, as 5 numeric characters) gets more complex, because (believe it or not), you may not get all 5 characters in one recv. In playing around, you’ll get away with it; but in high network loads, your code will very quickly break unless you use two recv loops - the first to determine the length, the second to get the data part of the message. Nasty. This is also when you’ll discover that send does not always manage to get rid of everything in one pass. And despite having read this, you will eventually get bit by it!

In the interests of space, building your character, (and preserving my competitive position), these enhancements are left as an exercise for the reader. Lets move on to cleaning up.

Dados Binários

It is perfectly possible to send binary data over a socket. The major problem is that not all machines use the same formats for binary data. For example, network byte order [https://en.wikipedia.org/wiki/Endianness#Networking] is big-endian, with the most significant byte first, so a 16 bit integer with the value 1 would be the two hex bytes 00 01. However, most common processors (x86/AMD64, ARM, RISC-V), are little-endian, with the least significant byte first - that same 1 would be 01 00.

Socket libraries have calls for converting 16 and 32 bit integers - ntohl, htonl, ntohs, htons where “n” means network and “h” means host, “s” means short and “l” means long. Where network order is host order, these do nothing, but where the machine is byte-reversed, these swap the bytes around appropriately.

In these days of 64-bit machines, the ASCII representation of binary data is frequently smaller than the binary representation. That’s because a surprising amount of the time, most integers have the value 0, or maybe 1. The string "0" would be two bytes, while a full 64-bit integer would be 8. Of course, this doesn’t fit well with fixed-length messages. Decisions, decisions.

Desconectando

Strictly speaking, you’re supposed to use shutdown on a socket before you close it. The shutdown is an advisory to the socket at the other end. Depending on the argument you pass it, it can mean “I’m not going to send anymore, but I’ll still listen”, or “I’m not listening, good riddance!”. Most socket libraries, however, are so used to programmers neglecting to use this piece of etiquette that normally a close is the same as shutdown(); close(). So in most situations, an explicit shutdown is not needed.

One way to use shutdown effectively is in an HTTP-like exchange. The client sends a request and then does a shutdown(1). This tells the server “This client is done sending, but can still receive.” The server can detect “EOF” by a receive of 0 bytes. It can assume it has the complete request. The server sends a reply. If the send completes successfully then, indeed, the client was still receiving.

Python takes the automatic shutdown a step further, and says that when a socket is garbage collected, it will automatically do a close if it’s needed. But relying on this is a very bad habit. If your socket just disappears without doing a close, the socket at the other end may hang indefinitely, thinking you’re just being slow. Please close your sockets when you’re done.

Quando o Soquete Morre

Probably the worst thing about using blocking sockets is what happens when the other side comes down hard (without doing a close). Your socket is likely to hang. TCP is a reliable protocol, and it will wait a long, long time before giving up on a connection. If you’re using threads, the entire thread is essentially dead. There’s not much you can do about it. As long as you aren’t doing something dumb, like holding a lock while doing a blocking read, the thread isn’t really consuming much in the way of resources. Do not try to kill the thread - part of the reason that threads are more efficient than processes is that they avoid the overhead associated with the automatic recycling of resources. In other words, if you do manage to kill the thread, your whole process is likely to be screwed up.

Soquetes não-bloqueantes

If you’ve understood the preceding, you already know most of what you need to know about the mechanics of using sockets. You’ll still use the same calls, in much the same ways. It’s just that, if you do it right, your app will be almost inside-out.

In Python, you use socket.setblocking(False) to make it non-blocking. In C, it’s more complex, (for one thing, you’ll need to choose between the BSD flavor O_NONBLOCK and the almost indistinguishable POSIX flavor O_NDELAY, which is completely different from TCP_NODELAY), but it’s the exact same idea. You do this after creating the socket, but before using it. (Actually, if you’re nuts, you can switch back and forth.)

A principal diferença mecânica é que send, recv, connect e accept podem retornar sem terem feito nada. Terás (claro) uma série de escolhas. Poderás verificar o código de retorno e os códigos de erro que geralmente nos deixam loucos. Se não acreditas em mim, tente alguma vez. Seu aplicativo vai crescendo, buggy e sugam CPU. Então, vamos ignorar as soluções mortas no cérebro e fazê-lo direito.

Utilize select.

In C, coding select is fairly complex. In Python, it’s a piece of cake, but it’s close enough to the C version that if you understand select in Python, you’ll have little trouble with it in C:

ready_to_read, ready_to_write, in_error = \
               select.select(
                  potential_readers,
                  potential_writers,
                  potential_errs,
                  timeout)

You pass select three lists: the first contains all sockets that you might want to try reading; the second all the sockets you might want to try writing to, and the last (normally left empty) those that you want to check for errors. You should note that a socket can go into more than one list. The select call is blocking, but you can give it a timeout. This is generally a sensible thing to do - give it a nice long timeout (say a minute) unless you have good reason to do otherwise.

In return, you will get three lists. They contain the sockets that are actually readable, writable and in error. Each of these lists is a subset (possibly empty) of the corresponding list you passed in.

If a socket is in the output readable list, you can be as-close-to-certain-as-we-ever-get-in-this-business that a recv on that socket will return something. Same idea for the writable list. You’ll be able to send something. Maybe not all you want to, but something is better than nothing. (Actually, any reasonably healthy socket will return as writable - it just means outbound network buffer space is available.)

If you have a “server” socket, put it in the potential_readers list. If it comes out in the readable list, your accept will (almost certainly) work. If you have created a new socket to connect to someone else, put it in the potential_writers list. If it shows up in the writable list, you have a decent chance that it has connected.

Actually, select can be handy even with blocking sockets. It’s one way of determining whether you will block - the socket returns as readable when there’s something in the buffers. However, this still doesn’t help with the problem of determining whether the other end is done, or just busy with something else.

Portability alert: On Unix, select works both with the sockets and files. Don’t try this on Windows. On Windows, select works with sockets only. Also note that in C, many of the more advanced socket options are done differently on Windows. In fact, on Windows I usually use threads (which work very, very well) with my sockets.

Técnicas de ordenação

Autor:

Andrew Dalke e Raymond Hettinger

As listas em Python possuem um método embutido list.sort() que modifica a lista em si. Há também a função embutida sorted() que constrói uma nova lista ordenada à partir de um iterável.

Neste documento, exploramos várias técnicas para ordenar dados utilizando Python.

Básico de Ordenação

Uma ordenação ascendente simples é muito fácil: apenas chame a função sorted(). Retorna uma nova lista ordenada:

>>> sorted([5, 2, 3, 1, 4])
[1, 2, 3, 4, 5]

Você também pode utilizar o método list.sort(). Isso modifica a lista em si (e retorna None para evitar confusão). Usualmente este método é menos conveniente que a função sorted() - mas se você não precisará da lista original, esta maneira é levemente mais eficiente.

>>> a = [5, 2, 3, 1, 4]
>>> a.sort()
>>> a
[1, 2, 3, 4, 5]

Outra diferença é que o método list.sort() é aplicável apenas às listas. Em contrapartida, a função sorted() aceita qualquer iterável.

>>> sorted({1: 'D', 2: 'B', 3: 'B', 4: 'E', 5: 'A'})
[1, 2, 3, 4, 5]

Funções Chave

Tanto o método list.sort() quanto a função sorted() possuem um parâmetro key que especifica uma função (ou outro chamável) a ser chamada para cada elemento da lista antes de ser realizada a comparação.

Por exemplo, aqui há uma comparação case-insensitive de strings.

>>> sorted("This is a test string from Andrew".split(), key=str.casefold)
['a', 'Andrew', 'from', 'is', 'string', 'test', 'This']

O valor do parâmetro key deve ser uma função (ou outro chamável) que recebe um único argumento e retorna uma chave à ser utilizada com o propósito de ordenação. Esta técnica é rápida porque a função chave é chamada exatamente uma vez para cada entrada de registro.

Uma padrão comum é ordenar objetos complexos utilizando algum índice do objeto como chave. Por exemplo:

>>> student_tuples = [
...     ('john', 'A', 15),
...     ('jane', 'B', 12),
...     ('dave', 'B', 10),
... ]
>>> sorted(student_tuples, key=lambda student: student[2])   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

A mesma técnica funciona com objetos que possuem atributos nomeados. Por exemplo:

>>> class Student:
...     def __init__(self, name, grade, age):
...         self.name = name
...         self.grade = grade
...         self.age = age
...     def __repr__(self):
...         return repr((self.name, self.grade, self.age))

>>> student_objects = [
...     Student('john', 'A', 15),
...     Student('jane', 'B', 12),
...     Student('dave', 'B', 10),
... ]
>>> sorted(student_objects, key=lambda student: student.age)   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

Objects with named attributes can be made by a regular class as shown above, or they can be instances of dataclass or a named tuple.

Operator Module Functions and Partial Function Evaluation

O padrão de função chave mostrado acima é muito comum, por isso, Python provê funções convenientes para tornar as funções de acesso mais fáceis e rápidas. O módulo operator tem as funções itemgetter(), attrgetter() e methodcaller()

Usando estas funções, os exemplos acima se tornam mais simples e mais rápidos:

>>> from operator import itemgetter, attrgetter

>>> sorted(student_tuples, key=itemgetter(2))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

>>> sorted(student_objects, key=attrgetter('age'))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

As funções do módulo operator permite múltiplos níveis de ordenação. Por exemplo, ordenar por grade e então por age:

>>> sorted(student_tuples, key=itemgetter(1,2))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]

>>> sorted(student_objects, key=attrgetter('grade', 'age'))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]

The functools module provides another helpful tool for making key-functions. The partial() function can reduce the arity [https://en.wikipedia.org/wiki/Arity] of a multi-argument function making it suitable for use as a key-function.

>>> from functools import partial
>>> from unicodedata import normalize

>>> names = 'Zoë Åbjørn Núñez Élana Zeke Abe Nubia Eloise'.split()

>>> sorted(names, key=partial(normalize, 'NFD'))
['Abe', 'Åbjørn', 'Eloise', 'Élana', 'Nubia', 'Núñez', 'Zeke', 'Zoë']

>>> sorted(names, key=partial(normalize, 'NFC'))
['Abe', 'Eloise', 'Nubia', 'Núñez', 'Zeke', 'Zoë', 'Åbjørn', 'Élana']

Ascendente e descendente

Tanto o método list.sort() quanto a função sorted() aceitam um valor booleano para o parâmetro reverse. Essa flag é utilizada para ordenações descendentes. Por exemplo, para retornar os dados de estudantes pela ordem inversa de age:

>>> sorted(student_tuples, key=itemgetter(2), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

>>> sorted(student_objects, key=attrgetter('age'), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

Estabilidade de Ordenação e Ordenações Complexas

Ordenações são garantidas de serem estáveis [https://en.wikipedia.org/wiki/Sorting_algorithm#Stability]. Isso significa que quando múltiplos registros possuem a mesma chave, eles terão sua ordem original preservada.

>>> data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
>>> sorted(data, key=itemgetter(0))
[('blue', 1), ('blue', 2), ('red', 1), ('red', 2)]

Observe como os dois registros de blue permanecem em sua ordem original de forma que ('blue',1) é garantido de preceder ('blue',2).

Esta maravilhosa propriedade permite que você construa ordenações complexas em uma série de passos de ordenação. Por exemplo, para ordenar os registros de estudante por ordem descendente de grade e então ascendente de age, primeiro ordene age e depois ordene novamente utilizando grade:

>>> s = sorted(student_objects, key=attrgetter('age'))     # sort on secondary key
>>> sorted(s, key=attrgetter('grade'), reverse=True)       # now sort on primary key, descending
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

Isso pode ser abstrato no caso das funções invólucros que podem receber uma lista e uma tupla com o campos e então ordená-los em múltiplos passos.

>>> def multisort(xs, specs):
...     for key, reverse in reversed(specs):
...         xs.sort(key=attrgetter(key), reverse=reverse)
...     return xs

>>> multisort(list(student_objects), (('grade', True), ('age', False)))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

O algoritmo Timsort [https://en.wikipedia.org/wiki/Timsort] utilizado no Python realiza múltiplas ordenações de maneira eficiente, pois se aproveita de qualquer ordenação já presente no conjunto de dados.

Decorate-Sort-Undecorate

Esse item idiomático, chamado de Decorate-Sort-Undecorate, é realizado em três passos:

Primeiro, a lista inicial é decorada com novos valores que controlarão a ordem em que ocorrerá a ordenação

Segundo, a lista decorada é ordenada.

Finalmente, os valores decorados são removidos, criando uma lista que contém apenas os valores iniciais na nova ordenação.

Por exemplo, para ordenar os dados dos estudantes por grade usando a abordagem DSU:

>>> decorated = [(student.grade, i, student) for i, student in enumerate(student_objects)]
>>> decorated.sort()
>>> [student for grade, i, student in decorated]               # undecorate
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

Esse padrão idiomático funciona porque tuplas são comparadas lexicograficamente; os primeiros itens são comparados; se eles são semelhantes, então os segundos itens são comparados e assim sucessivamente.

Não é estritamente necessário incluir o índice i em todos os casos de listas decoradas, mas fazer assim traz dois benefícios:

A ordenação é estável - se dois itens tem a mesma chave, suas ordens serão preservadas na lista ordenada

Os itens originais não precisarão ser comparados porque a ordenação de tuplas decoradas será determinada por no máximo os primeiros dois itens. Então, por exemplo, a lista original poderia conter números complexos que não poderão ser ordenados diretamente.

Outro nome para este padrão idiomático é Schwartzian transform [https://en.wikipedia.org/wiki/Schwartzian_transform] de Randal L. Schwartz, que popularizou isto entre os programadores Perl.

Agora que a ordenação do Python prevê funções-chave, essa técnica não se faz mais necessária.

Funções de comparação

Unlike key functions that return an absolute value for sorting, a comparison function computes the relative ordering for two inputs.

For example, a balance scale [https://upload.wikimedia.org/wikipedia/commons/1/17/Balance_à_tabac_1850.JPG] compares two samples giving a relative ordering: lighter, equal, or heavier. Likewise, a comparison function such as cmp(a, b) will return a negative value for less-than, zero if the inputs are equal, or a positive value for greater-than.

It is common to encounter comparison functions when translating algorithms from other languages. Also, some libraries provide comparison functions as part of their API. For example, locale.strcoll() is a comparison function.

To accommodate those situations, Python provides functools.cmp_to_key to wrap the comparison function to make it usable as a key function:

sorted(words, key=cmp_to_key(strcoll))  # locale-aware sort order

Curiosidades e conclusões

For locale aware sorting, use locale.strxfrm() for a key function or locale.strcoll() for a comparison function. This is necessary because “alphabetical” sort orderings can vary across cultures even if the underlying alphabet is the same.

O parâmetro reverse ainda mantém a estabilidade da ordenação (para que os registros com chaves iguais mantenham a ordem original). Curiosamente, esse efeito pode ser simulado sem o parâmetro usando a função embutida reversed() duas vezes:

>>> data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
>>> standard_way = sorted(data, key=itemgetter(0), reverse=True)
>>> double_reversed = list(reversed(sorted(reversed(data), key=itemgetter(0))))
>>> assert standard_way == double_reversed
>>> standard_way
[('red', 1), ('red', 2), ('blue', 1), ('blue', 2)]

As rotinas de classificação usam < ao fazer comparações entre dois objetos. Portanto, é fácil adicionar uma ordem de classificação padrão a uma classe definindo um método __lt__():

>>> Student.__lt__ = lambda self, other: self.age < other.age
>>> sorted(student_objects)
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

However, note that < can fall back to using __gt__() if __lt__() is not implemented (see object.__lt__() for details on the mechanics). To avoid surprises, PEP 8 [https://peps.python.org/pep-0008/] recommends that all six comparison methods be implemented. The total_ordering() decorator is provided to make that task easier.

As funções principais não precisam depender diretamente dos objetos que estão sendo ordenados. Uma função chave também pode acessar recursos externos. Por exemplo, se as notas dos alunos estiverem armazenadas em um dicionário, elas poderão ser usadas para ordenar uma lista separada de nomes de alunos:

>>> students = ['dave', 'john', 'jane']
>>> newgrades = {'john': 'F', 'jane':'A', 'dave': 'C'}
>>> sorted(students, key=newgrades.__getitem__)
['jane', 'dave', 'john']

Ordenações parciais

Some applications require only some of the data to be ordered. The standard library provides several tools that do less work than a full sort:

min() and max() return the smallest and largest values, respectively. These functions make a single pass over the input data and require almost no auxiliary memory.

heapq.nsmallest() and heapq.nlargest() return the n smallest and largest values, respectively. These functions make a single pass over the data keeping only n elements in memory at a time. For values of n that are small relative to the number of inputs, these functions make far fewer comparisons than a full sort.

heapq.heappush() and heapq.heappop() create and maintain a partially sorted arrangement of data that keeps the smallest element at position 0. These functions are suitable for implementing priority queues which are commonly used for task scheduling.

Unicode

Versão:

1.12

Este documento fala sobre o suporte do Python para a especificação Unicode de representação de dados textuais e explica diversos problemas que as pessoas costumam encontrar quando tentam trabalhar com Unicode.

Introdução ao Unicode

Definições

Os programas de hoje precisam lidar com uma grande variedade de caracteres. Aplicações são frequentemente internacionalizadas para mostrar mensagens e gerar saídas em uma variedade de idiomas selecionáveis por usuários; o mesmo programa precisar apresentar mensagens de erro em inglês, francês, japonês, hebraico ou russo. Conteúdo da web pode ser escrito em qualquer um desses idiomas e ainda incluir uma variedade de emojis. O tipo string do Python usa o padrão Unicode para representação de caracteres, o que permite aos programas em Python funcionar com todos estes diferentes caracteres.

Unicode (https://www.unicode.org/) é a especificação que visa listar cada caractere utilizado pelos idiomas humanos e dar a cada caractere um código único. As especificações Unicode são continuamente revisadas e atualizadas para adicionar novos idiomas e símbolos.

A character is the smallest possible component of a text. ‘A’, ‘B’, ‘C’, etc., are all different characters. So are ‘È’ and ‘Í’. Characters vary depending on the language or context you’re talking about. For example, there’s a character for “Roman Numeral One”, ‘Ⅰ’, that’s separate from the uppercase letter ‘I’. They’ll usually look the same, but these are two different characters that have different meanings.

The Unicode standard describes how characters are represented by code points. A code point value is an integer in the range 0 to 0x10FFFF (about 1.1 million values, the actual number assigned [https://www.unicode.org/versions/latest/#Summary] is less than that). In the standard and in this document, a code point is written using the notation U+265E to mean the character with value 0x265e (9,822 in decimal).

O padrão Unicode contém várias tabelas listando caracteres e seus pontos de código:

0061    'a'; LATIN SMALL LETTER A
0062    'b'; LATIN SMALL LETTER B
0063    'c'; LATIN SMALL LETTER C
...
007B    '{'; LEFT CURLY BRACKET
...
2167    'Ⅷ'; ROMAN NUMERAL EIGHT
2168    'Ⅸ'; ROMAN NUMERAL NINE
...
265E    '♞'; BLACK CHESS KNIGHT
265F    '♟'; BLACK CHESS PAWN
...
1F600   '😀'; GRINNING FACE
1F609   '😉'; WINKING FACE
...

Strictly, these definitions imply that it’s meaningless to say ‘this is character U+265E’. U+265E is a code point, which represents some particular character; in this case, it represents the character ‘BLACK CHESS KNIGHT’, ‘♞’. In informal contexts, this distinction between code points and characters will sometimes be forgotten.

Um caractere é representado na tela ou no papel como um conjunto de elementos gráficos que é chamado de glifo. O glifo para o A maiúsculo, por exemplo, são dois traços diagonais e um traço horizontal, embora os detalhes exatos dependem da fonte utilizada. Na maior parte do código Python não é preciso se preocupar com glifos; descobrir qual o glifo correto a ser mostrado é normalmente parte do trabalho da ferramenta GUI ou do responsável pela renderização de fontes no terminal.

Codificações

To summarize the previous section: a Unicode string is a sequence of code points, which are numbers from 0 through 0x10FFFF (1,114,111 decimal). This sequence of code points needs to be represented in memory as a set of code units, and code units are then mapped to 8-bit bytes. The rules for translating a Unicode string into a sequence of bytes are called a character encoding, or just an encoding.

The first encoding you might think of is using 32-bit integers as the code unit, and then using the CPU’s representation of 32-bit integers. In this representation, the string “Python” might look like this:

   P           y           t           h           o           n
0x50 00 00 00 79 00 00 00 74 00 00 00 68 00 00 00 6f 00 00 00 6e 00 00 00
   0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Esta representação é direta, mas usá-la gera uma série de problemas.

Ela não é portátil; diferentes processadores ordenam os bytes de forma diferente.

Ela gera desperdício de espaço. Na maior parte dos textos, a maioria dos pontos de código são menores que 127 ou menores que 255, então muito do espaço é ocupado por bytes 0x00 . A string acima necessita 24 bytes comparado com os 6 bytes necessários em uma representação ASCII. O aumento de uso da memória RAM normalmente não importa tanto (computadores desktop possuem gigabytes de RAM e strings normalmente não são tão grandes), mas expandir o uso de disco ou de banda por um fator de 4 é inaceitável.

Ela não é compatível com as funções de C existentes, como strlen(), então uma série de novas funções de string serão necessárias.

Therefore this encoding isn’t used very much, and people instead choose other encodings that are more efficient and convenient, such as UTF-8.

UTF-8 is one of the most commonly used encodings, and Python often defaults to using it. UTF stands for “Unicode Transformation Format”, and the ‘8’ means that 8-bit values are used in the encoding. (There are also UTF-16 and UTF-32 encodings, but they are less frequently used than UTF-8.) UTF-8 uses the following rules:

If the code point is < 128, it’s represented by the corresponding byte value.

If the code point is >= 128, it’s turned into a sequence of two, three, or four bytes, where each byte of the sequence is between 128 and 255.

UTF-8 tem muitas propriedades convenientes:

Ela pode lidar com qualquer ponto de código Unicode.

A Unicode string is turned into a sequence of bytes that contains embedded zero bytes only where they represent the null character (U+0000). This means that UTF-8 strings can be processed by C functions such as strcpy() and sent through protocols that can’t handle zero bytes for anything other than end-of-string markers.

Uma string de texto ASCII é também um texto UTF-8 válido.

UTF-8 is fairly compact; the majority of commonly used characters can be represented with one or two bytes.

If bytes are corrupted or lost, it’s possible to determine the start of the next UTF-8-encoded code point and resynchronize. It’s also unlikely that random 8-bit data will look like valid UTF-8.

UTF-8 is a byte oriented encoding. The encoding specifies that each character is represented by a specific sequence of one or more bytes. This avoids the byte-ordering issues that can occur with integer and word oriented encodings, like UTF-16 and UTF-32, where the sequence of bytes varies depending on the hardware on which the string was encoded.

Referências

The Unicode Consortium site [https://www.unicode.org] has character charts, a glossary, and PDF versions of the Unicode specification. Be prepared for some difficult reading. A chronology [https://www.unicode.org/history/] of the origin and development of Unicode is also available on the site.

On the Computerphile Youtube channel, Tom Scott briefly discusses the history of Unicode and UTF-8 [https://www.youtube.com/watch?v=MijmeoH9LT4] (9 minutes 36 seconds).

To help understand the standard, Jukka Korpela has written an introductory guide [https://jkorpela.fi/unicode/guide.html] to reading the Unicode character tables.

Another good introductory article [https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/] was written by Joel Spolsky. If this introduction didn’t make things clear to you, you should try reading this alternate article before continuing.

Wikipedia entries are often helpful; see the entries for “character encoding [https://en.wikipedia.org/wiki/Character_encoding]” and UTF-8 [https://en.wikipedia.org/wiki/UTF-8], for example.

Suporte a Unicode no Python

Now that you’ve learned the rudiments of Unicode, we can look at Python’s Unicode features.

O Tipo String

Since Python 3.0, the language’s str type contains Unicode characters, meaning any string created using "unicode rocks!", 'unicode rocks!', or the triple-quoted string syntax is stored as Unicode.

The default encoding for Python source code is UTF-8, so you can simply include a Unicode character in a string literal:

try:
    with open('/tmp/input.txt', 'r') as f:
        ...
except OSError:
    # 'File not found' error message.
    print("Fichier non trouvé")

Side note: Python 3 also supports using Unicode characters in identifiers:

répertoire = "/tmp/records.log"
with open(répertoire, "w") as f:
    f.write("test\n")

If you can’t enter a particular character in your editor or want to keep the source code ASCII-only for some reason, you can also use escape sequences in string literals. (Depending on your system, you may see the actual capital-delta glyph instead of a u escape.)

>>> "\N{GREEK CAPITAL LETTER DELTA}"  # Using the character name
'\u0394'
>>> "\u0394"                          # Using a 16-bit hex value
'\u0394'
>>> "\U00000394"                      # Using a 32-bit hex value
'\u0394'

In addition, one can create a string using the decode() method of bytes. This method takes an encoding argument, such as UTF-8, and optionally an errors argument.

The errors argument specifies the response when the input string can’t be converted according to the encoding’s rules. Legal values for this argument are 'strict' (raise a UnicodeDecodeError exception), 'replace' (use U+FFFD, REPLACEMENT CHARACTER), 'ignore' (just leave the character out of the Unicode result), or 'backslashreplace' (inserts a \xNN escape sequence). The following examples show the differences:

>>> b'\x80abc'.decode("utf-8", "strict")
Traceback (most recent call last):
    ...
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0:
  invalid start byte
>>> b'\x80abc'.decode("utf-8", "replace")
'\ufffdabc'
>>> b'\x80abc'.decode("utf-8", "backslashreplace")
'\\x80abc'
>>> b'\x80abc'.decode("utf-8", "ignore")
'abc'

Encodings are specified as strings containing the encoding’s name. Python comes with roughly 100 different encodings; see the Python Library Reference at Standard Encodings for a list. Some encodings have multiple names; for example, 'latin-1', 'iso_8859_1' and '8859’ are all synonyms for the same encoding.

One-character Unicode strings can also be created with the chr() built-in function, which takes integers and returns a Unicode string of length 1 that contains the corresponding code point. The reverse operation is the built-in ord() function that takes a one-character Unicode string and returns the code point value:

>>> chr(57344)
'\ue000'
>>> ord('\ue000')
57344

Convertendo para Bytes

The opposite method of bytes.decode() is str.encode(), which returns a bytes representation of the Unicode string, encoded in the requested encoding.

The errors parameter is the same as the parameter of the decode() method but supports a few more possible handlers. As well as 'strict', 'ignore', and 'replace' (which in this case inserts a question mark instead of the unencodable character), there is also 'xmlcharrefreplace' (inserts an XML character reference), backslashreplace (inserts a \uNNNN escape sequence) and namereplace (inserts a \N{...} escape sequence).

The following example shows the different results:

>>> u = chr(40960) + 'abcd' + chr(1972)
>>> u.encode('utf-8')
b'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')
Traceback (most recent call last):
    ...
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in
  position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
b'abcd'
>>> u.encode('ascii', 'replace')
b'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
b'&#40960;abcd&#1972;'
>>> u.encode('ascii', 'backslashreplace')
b'\\ua000abcd\\u07b4'
>>> u.encode('ascii', 'namereplace')
b'\\N{YI SYLLABLE IT}abcd\\u07b4'

The low-level routines for registering and accessing the available encodings are found in the codecs module. Implementing new encodings also requires understanding the codecs module. However, the encoding and decoding functions returned by this module are usually more low-level than is comfortable, and writing new encodings is a specialized task, so the module won’t be covered in this HOWTO.

Unicode Literals in Python Source Code

In Python source code, specific Unicode code points can be written using the \u escape sequence, which is followed by four hex digits giving the code point. The \U escape sequence is similar, but expects eight hex digits, not four:

>>> s = "a\xac\u1234\u20ac\U00008000"
... #     ^^^^ two-digit hex escape
... #         ^^^^^^ four-digit Unicode escape
... #                     ^^^^^^^^^^ eight-digit Unicode escape
>>> [ord(c) for c in s]
[97, 172, 4660, 8364, 32768]

Using escape sequences for code points greater than 127 is fine in small doses, but becomes an annoyance if you’re using many accented characters, as you would in a program with messages in French or some other accent-using language. You can also assemble strings using the chr() built-in function, but this is even more tedious.

Ideally, you’d want to be able to write literals in your language’s natural encoding. You could then edit Python source code with your favorite editor which would display the accented characters naturally, and have the right characters used at runtime.

Python supports writing source code in UTF-8 by default, but you can use almost any encoding if you declare the encoding being used. This is done by including a special comment as either the first or second line of the source file:

#!/usr/bin/env python
# -*- coding: latin-1 -*-

u = 'abcdé'
print(ord(u[-1]))

The syntax is inspired by Emacs’s notation for specifying variables local to a file. Emacs supports many different variables, but Python only supports ‘coding’. The -*- symbols indicate to Emacs that the comment is special; they have no significance to Python but are a convention. Python looks for coding: name or coding=name in the comment.

If you don’t include such a comment, the default encoding used will be UTF-8 as already mentioned. See also PEP 263 [https://peps.python.org/pep-0263/] for more information.

Propriedades Unicode

The Unicode specification includes a database of information about code points. For each defined code point, the information includes the character’s name, its category, the numeric value if applicable (for characters representing numeric concepts such as the Roman numerals, fractions such as one-third and four-fifths, etc.). There are also display-related properties, such as how to use the code point in bidirectional text.

O programa a seguir exibe alguma informação sobre diversos caracteres e imprime o valor numérico de um caractere em particular:

import unicodedata

u = chr(233) + chr(0x0bf2) + chr(3972) + chr(6000) + chr(13231)

for i, c in enumerate(u):
    print(i, '%04x' % ord(c), unicodedata.category(c), end=" ")
    print(unicodedata.name(c))

# Get numeric value of second character
print(unicodedata.numeric(u[1]))

Quando executado, isso imprime:

0 00e9 Ll LATIN SMALL LETTER E WITH ACUTE
1 0bf2 No TAMIL NUMBER ONE THOUSAND
2 0f84 Mn TIBETAN MARK HALANTA
3 1770 Lo TAGBANWA LETTER SA
4 33af So SQUARE RAD OVER S SQUARED
1000.0

The category codes are abbreviations describing the nature of the character. These are grouped into categories such as “Letter”, “Number”, “Punctuation”, or “Symbol”, which in turn are broken up into subcategories. To take the codes from the above output, 'Ll' means ‘Letter, lowercase’, 'No' means “Number, other”, 'Mn' is “Mark, nonspacing”, and 'So' is “Symbol, other”. See the General Category Values section of the Unicode Character Database documentation [https://www.unicode.org/reports/tr44/#General_Category_Values] for a list of category codes.

Comparando Strings

Unicode adds some complication to comparing strings, because the same set of characters can be represented by different sequences of code points. For example, a letter like ‘ê’ can be represented as a single code point U+00EA, or as U+0065 U+0302, which is the code point for ‘e’ followed by a code point for ‘COMBINING CIRCUMFLEX ACCENT’. These will produce the same output when printed, but one is a string of length 1 and the other is of length 2.

One tool for a case-insensitive comparison is the casefold() string method that converts a string to a case-insensitive form following an algorithm described by the Unicode Standard. This algorithm has special handling for characters such as the German letter ‘ß’ (code point U+00DF), which becomes the pair of lowercase letters ‘ss’.

>>> street = 'Gürzenichstraße'
>>> street.casefold()
'gürzenichstrasse'

A second tool is the unicodedata module’s normalize() function that converts strings to one of several normal forms, where letters followed by a combining character are replaced with single characters. normalize() can be used to perform string comparisons that won’t falsely report inequality if two strings use combining characters differently:

import unicodedata

def compare_strs(s1, s2):
    def NFD(s):
        return unicodedata.normalize('NFD', s)

    return NFD(s1) == NFD(s2)

single_char = 'ê'
multiple_chars = '\N{LATIN SMALL LETTER E}\N{COMBINING CIRCUMFLEX ACCENT}'
print('length of first string=', len(single_char))
print('length of second string=', len(multiple_chars))
print(compare_strs(single_char, multiple_chars))

When run, this outputs:

$ python compare-strs.py
length of first string= 1
length of second string= 2
True

The first argument to the normalize() function is a string giving the desired normalization form, which can be one of ‘NFC’, ‘NFKC’, ‘NFD’, and ‘NFKD’.

The Unicode Standard also specifies how to do caseless comparisons:

import unicodedata

def compare_caseless(s1, s2):
    def NFD(s):
        return unicodedata.normalize('NFD', s)

    return NFD(NFD(s1).casefold()) == NFD(NFD(s2).casefold())

# Example usage
single_char = 'ê'
multiple_chars = '\N{LATIN CAPITAL LETTER E}\N{COMBINING CIRCUMFLEX ACCENT}'

print(compare_caseless(single_char, multiple_chars))

This will print True. (Why is NFD() invoked twice? Because there are a few characters that make casefold() return a non-normalized string, so the result needs to be normalized again. See section 3.13 of the Unicode Standard for a discussion and an example.)

Expressões Regulares Unicode

The regular expressions supported by the re module can be provided either as bytes or strings. Some of the special character sequences such as \d and \w have different meanings depending on whether the pattern is supplied as bytes or a string. For example, \d will match the characters [0-9] in bytes but in strings will match any character that’s in the 'Nd' category.

The string in this example has the number 57 written in both Thai and Arabic numerals:

import re
p = re.compile(r'\d+')

s = "Over \u0e55\u0e57 57 flavours"
m = p.search(s)
print(repr(m.group()))

When executed, \d+ will match the Thai numerals and print them out. If you supply the re.ASCII flag to compile(), \d+ will match the substring “57” instead.

Similarly, \w matches a wide variety of Unicode characters but only [a-zA-Z0-9_] in bytes or if re.ASCII is supplied, and \s will match either Unicode whitespace characters or [ \t\n\r\f\v].

Referências

Some good alternative discussions of Python’s Unicode support are:

Processing Text Files in Python 3 [https://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html], by Nick Coghlan.

Pragmatic Unicode [https://nedbatchelder.com/text/unipain.html], a PyCon 2012 presentation by Ned Batchelder.

The str type is described in the Python library reference at Tipo sequência de texto — str.

The documentation for the unicodedata module.

The documentation for the codecs module.

Marc-André Lemburg gave a presentation titled “Python and Unicode” (PDF slides) [https://downloads.egenix.com/python/Unicode-EPC2002-Talk.pdf] at EuroPython 2002. The slides are an excellent overview of the design of Python 2’s Unicode features (where the Unicode string type is called unicode and literals start with u).

Reading and Writing Unicode Data

Once you’ve written some code that works with Unicode data, the next problem is input/output. How do you get Unicode strings into your program, and how do you convert Unicode into a form suitable for storage or transmission?

It’s possible that you may not need to do anything depending on your input sources and output destinations; you should check whether the libraries used in your application support Unicode natively. XML parsers often return Unicode data, for example. Many relational databases also support Unicode-valued columns and can return Unicode values from an SQL query.

Unicode data is usually converted to a particular encoding before it gets written to disk or sent over a socket. It’s possible to do all the work yourself: open a file, read an 8-bit bytes object from it, and convert the bytes with bytes.decode(encoding). However, the manual approach is not recommended.

One problem is the multi-byte nature of encodings; one Unicode character can be represented by several bytes. If you want to read the file in arbitrary-sized chunks (say, 1024 or 4096 bytes), you need to write error-handling code to catch the case where only part of the bytes encoding a single Unicode character are read at the end of a chunk. One solution would be to read the entire file into memory and then perform the decoding, but that prevents you from working with files that are extremely large; if you need to read a 2 GiB file, you need 2 GiB of RAM. (More, really, since for at least a moment you’d need to have both the encoded string and its Unicode version in memory.)

The solution would be to use the low-level decoding interface to catch the case of partial coding sequences. The work of implementing this has already been done for you: the built-in open() function can return a file-like object that assumes the file’s contents are in a specified encoding and accepts Unicode parameters for methods such as read() and write(). This works through open()'s encoding and errors parameters which are interpreted just like those in str.encode() and bytes.decode().

Reading Unicode from a file is therefore simple:

with open('unicode.txt', encoding='utf-8') as f:
    for line in f:
        print(repr(line))

It’s also possible to open files in update mode, allowing both reading and writing:

with open('test', encoding='utf-8', mode='w+') as f:
    f.write('\u4500 blah blah blah\n')
    f.seek(0)
    print(repr(f.readline()[:1]))

The Unicode character U+FEFF is used as a byte-order mark (BOM), and is often written as the first character of a file in order to assist with autodetection of the file’s byte ordering. Some encodings, such as UTF-16, expect a BOM to be present at the start of a file; when such an encoding is used, the BOM will be automatically written as the first character and will be silently dropped when the file is read. There are variants of these encodings, such as ‘utf-16-le’ and ‘utf-16-be’ for little-endian and big-endian encodings, that specify one particular byte ordering and don’t skip the BOM.

In some areas, it is also convention to use a “BOM” at the start of UTF-8 encoded files; the name is misleading since UTF-8 is not byte-order dependent. The mark simply announces that the file is encoded in UTF-8. For reading such files, use the ‘utf-8-sig’ codec to automatically skip the mark if present.

Nomes de arquivos Unicode

Most of the operating systems in common use today support filenames that contain arbitrary Unicode characters. Usually this is implemented by converting the Unicode string into some encoding that varies depending on the system. Today Python is converging on using UTF-8: Python on MacOS has used UTF-8 for several versions, and Python 3.6 switched to using UTF-8 on Windows as well. On Unix systems, there will only be a filesystem encoding. if you’ve set the LANG or LC_CTYPE environment variables; if you haven’t, the default encoding is again UTF-8.

The sys.getfilesystemencoding() function returns the encoding to use on your current system, in case you want to do the encoding manually, but there’s not much reason to bother. When opening a file for reading or writing, you can usually just provide the Unicode string as the filename, and it will be automatically converted to the right encoding for you:

filename = 'filename\u4500abc'
with open(filename, 'w') as f:
    f.write('blah\n')

Functions in the os module such as os.stat() will also accept Unicode filenames.

The os.listdir() function returns filenames, which raises an issue: should it return the Unicode version of filenames, or should it return bytes containing the encoded versions? os.listdir() can do both, depending on whether you provided the directory path as bytes or a Unicode string. If you pass a Unicode string as the path, filenames will be decoded using the filesystem’s encoding and a list of Unicode strings will be returned, while passing a byte path will return the filenames as bytes. For example, assuming the default filesystem encoding is UTF-8, running the following program:

fn = 'filename\u4500abc'
f = open(fn, 'w')
f.close()

import os
print(os.listdir(b'.'))
print(os.listdir('.'))

will produce the following output:

$ python listdir-test.py
[b'filename\xe4\x94\x80abc', ...]
['filename\u4500abc', ...]

The first list contains UTF-8-encoded filenames, and the second list contains the Unicode versions.

Note that on most occasions, you should can just stick with using Unicode with these APIs. The bytes APIs should only be used on systems where undecodable file names can be present; that’s pretty much only Unix systems now.

Tips for Writing Unicode-aware Programs

This section provides some suggestions on writing software that deals with Unicode.

A dica mais importante é:

Software should only work with Unicode strings internally, decoding the input data as soon as possible and encoding the output only at the end.

If you attempt to write processing functions that accept both Unicode and byte strings, you will find your program vulnerable to bugs wherever you combine the two different kinds of strings. There is no automatic encoding or decoding: if you do e.g. str + bytes, a TypeError will be raised.

When using data coming from a web browser or some other untrusted source, a common technique is to check for illegal characters in a string before using the string in a generated command line or storing it in a database. If you’re doing this, be careful to check the decoded string, not the encoded bytes data; some encodings may have interesting properties, such as not being bijective or not being fully ASCII-compatible. This is especially true if the input data also specifies the encoding, since the attacker can then choose a clever way to hide malicious text in the encoded bytestream.

Converting Between File Encodings

The StreamRecoder class can transparently convert between encodings, taking a stream that returns data in encoding #1 and behaving like a stream returning data in encoding #2.

For example, if you have an input file f that’s in Latin-1, you can wrap it with a StreamRecoder to return bytes encoded in UTF-8:

new_f = codecs.StreamRecoder(f,
    # en/decoder: used by read() to encode its results and
    # by write() to decode its input.
    codecs.getencoder('utf-8'), codecs.getdecoder('utf-8'),

    # reader/writer: used to read and write to the stream.
    codecs.getreader('latin-1'), codecs.getwriter('latin-1') )

Files in an Unknown Encoding

What can you do if you need to make a change to a file, but don’t know the file’s encoding? If you know the encoding is ASCII-compatible and only want to examine or modify the ASCII parts, you can open the file with the surrogateescape error handler:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

# make changes to the string 'data'

with open(fname + '.new', 'w',
          encoding="ascii", errors="surrogateescape") as f:
    f.write(data)

The surrogateescape error handler will decode any non-ASCII bytes as code points in a special range running from U+DC80 to U+DCFF. These code points will then turn back into the same bytes when the surrogateescape error handler is used to encode the data and write it back out.

Referências

One section of Mastering Python 3 Input/Output [https://pyvideo.org/video/289/pycon-2010--mastering-python-3-i-o], a PyCon 2010 talk by David Beazley, discusses text processing and binary data handling.

The PDF slides for Marc-André Lemburg’s presentation “Writing Unicode-aware Applications in Python” [https://downloads.egenix.com/python/LSM2005-Developing-Unicode-aware-applications-in-Python.pdf] discuss questions of character encodings as well as how to internationalize and localize an application. These slides cover Python 2.x only.

The Guts of Unicode in Python [https://pyvideo.org/video/1768/the-guts-of-unicode-in-python] is a PyCon 2013 talk by Benjamin Peterson that discusses the internal Unicode representation in Python 3.3.

Reconhecimentos

The initial draft of this document was written by Andrew Kuchling. It has since been revised further by Alexander Belopolsky, Georg Brandl, Andrew Kuchling, and Ezio Melotti.

Thanks to the following people who have noted errors or offered suggestions on this article: Éric Araujo, Nicholas Bastin, Nick Coghlan, Marius Gedminas, Kent Johnson, Ken Krugler, Marc-André Lemburg, Martin von Löwis, Terry J. Reedy, Serhiy Storchaka, Eryk Sun, Chad Whitacre, Graham Wideman.

Como buscar recursos da Internet usando o pacote urllib

Autor:

Michael Foord [https://agileabstractions.com/]

Introdução

Related Articles

Você também pode achar útil o seguinte artigo na busca de recursos da web com Python:

Autenticação Básica [https://web.archive.org/web/20201215133350/http://www.voidspace.org.uk/python/articles/authentication.shtml]

Um tutorial sobre Autenticação Básica, com exemplos em Python.

urllib.request é um modulo Python para buscar URLs (Uniform Resource Locators). Ele oferece uma interface muito simples, na forma da função urlopen. Este é capaz de buscar URLs usando uma variedade de diferentes protocolos. Ele também oferece uma interface um pouco mais complexa para lidar com situações comuns - como autenticação básica, cookies, proxies e assim por diante. Estes são fornecidos por objetos chamados handlers (manipuladores) e openers (abridores).

urllib.request suporta o acesso a URLs por meio de vários “esquemas de URL” (identificados pela string antes de ":" na URL - por exemplo "ftp" é o esquema de URL em "ftp://python.org/") usando o protocolo de rede associado a ele (como FTP e HTTP). Este tutorial foca no caso mais comum, HTTP.

Para situações simples “urlopen” é muito fácil de usar. Mas assim que você se depara com erros ou casos não triviais ao abrir URLs HTTP, você vai precisar entender um pouco mais do HyperText Transfer Protocol. A literatura de referência mais reconhecida e compreensível para o HTTP é RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html]. Ela é um documento técnico e não foi feita para ser fácil de ler. Este documento busca ilustrar o uso de urllib com detalhes suficientes sobre HTTP para te permitir seguir adiante. Ele não tem a intenção de substituir a documentação do urllib.request, mas é suplementar a ela.

Acessando URLs

O modo mais simples de usar urllib.request é o seguinte:

import urllib.request
with urllib.request.urlopen('http://python.org/') as response:
   html = response.read()

Se você deseja obter um recurso via URL e guardá-lo em uma localização temporária, você pode fazê-lo com as funções shutil.copyfileobj() e tempfile.NamedTemporaryFile():

import shutil
import tempfile
import urllib.request

with urllib.request.urlopen('http://python.org/') as response:
    with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
        shutil.copyfileobj(response, tmp_file)

with open(tmp_file.name) as html:
    pass

Muitos usos de urllib são simples assim (repare que ao invés de uma URL ‘http:’ nós poderíamos ter usado uma string URL começando com ‘ftp:’, ‘file:’, etc.).. No entanto, o propósito deste tutorial é explicar casos mais complicados, concentrando em HTTP.

HTTP é baseado em solicitações (requests) e respostas (responses) - o cliente faz solicitações e os servidores mandam respostas. urllib.request espelha isto com um objeto Request que representa a solicitação HTTP que você está fazendo. Na sua forma mais simples, você cria um objeto Request que especifica a URL que você quer acessar. Chamar urlopen com este objeto Request retorna um objeto de resposta para a URL solicitada. Essa resposta é um objeto arquivo ou similar, o que significa que você pode, por exemplo, chamar .read() na resposta:

import urllib.request

req = urllib.request.Request('http://python.org/')
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Note que urllib.request usa a mesma interface Request para tratar todos os esquemas URL. Por exemplo, você pode fazer uma solicitação FTP da seguinte forma:

req = urllib.request.Request('ftp://example.com/')

In the case of HTTP, there are two extra things that Request objects allow you to do: First, you can pass data to be sent to the server. Second, you can pass extra information (“metadata”) about the data or about the request itself, to the server - this information is sent as HTTP “headers”. Let’s look at each of these in turn.

Data

Sometimes you want to send data to a URL (often the URL will refer to a CGI (Common Gateway Interface) script or other web application). With HTTP, this is often done using what’s known as a POST request. This is often what your browser does when you submit a HTML form that you filled in on the web. Not all POSTs have to come from forms: you can use a POST to transmit arbitrary data to your own application. In the common case of HTML forms, the data needs to be encoded in a standard way, and then passed to the Request object as the data argument. The encoding is done using a function from the urllib.parse library.

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }

data = urllib.parse.urlencode(values)
data = data.encode('ascii') # data should be bytes
req = urllib.request.Request(url, data)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Note that other encodings are sometimes required (e.g. for file upload from HTML forms - see HTML Specification, Form Submission [https://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13] for more details).

If you do not pass the data argument, urllib uses a GET request. One way in which GET and POST requests differ is that POST requests often have “side-effects”: they change the state of the system in some way (for example by placing an order with the website for a hundredweight of tinned spam to be delivered to your door). Though the HTTP standard makes it clear that POSTs are intended to always cause side-effects, and GET requests never to cause side-effects, nothing prevents a GET request from having side-effects, nor a POST requests from having no side-effects. Data can also be passed in an HTTP GET request by encoding it in the URL itself.

Isso é feito como abaixo:

>>> import urllib.request
>>> import urllib.parse
>>> data = {}
>>> data['name'] = 'Somebody Here'
>>> data['location'] = 'Northampton'
>>> data['language'] = 'Python'
>>> url_values = urllib.parse.urlencode(data)
>>> print(url_values)  # The order may differ from below.
name=Somebody+Here&language=Python&location=Northampton
>>> url = 'http://www.example.com/example.cgi'
>>> full_url = url + '?' + url_values
>>> data = urllib.request.urlopen(full_url)

Observe que o URL completo é criado adicionando um ? ao URL, seguido pelos valores codificados.

Headers

We’ll discuss here one particular HTTP header, to illustrate how to add headers to your HTTP request.

Some websites [1] dislike being browsed by programs, or send different versions to different browsers [2]. By default urllib identifies itself as Python-urllib/x.y (where x and y are the major and minor version numbers of the Python release, e.g. Python-urllib/2.5), which may confuse the site, or just plain not work. The way a browser identifies itself is through the User-Agent header [3]. When you create a Request object you can pass a dictionary of headers in. The following example makes the same request as above, but identifies itself as a version of Internet Explorer [4].

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
values = {'name': 'Michael Foord',
          'location': 'Northampton',
          'language': 'Python' }
headers = {'User-Agent': user_agent}

data = urllib.parse.urlencode(values)
data = data.encode('ascii')
req = urllib.request.Request(url, data, headers)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

The response also has two useful methods. See the section on info and geturl which comes after we have a look at what happens when things go wrong.

Tratamento de exceções

urlopen raises URLError when it cannot handle a response (though as usual with Python APIs, built-in exceptions such as ValueError, TypeError etc. may also be raised).

HTTPError is the subclass of URLError raised in the specific case of HTTP URLs.

The exception classes are exported from the urllib.error module.

URLError

Often, URLError is raised because there is no network connection (no route to the specified server), or the specified server doesn’t exist. In this case, the exception raised will have a ‘reason’ attribute, which is a tuple containing an error code and a text error message.

e.g.

>>> req = urllib.request.Request('http://www.pretend_server.org')
>>> try: urllib.request.urlopen(req)
... except urllib.error.URLError as e:
...     print(e.reason)
...
(4, 'getaddrinfo failed')

HTTPError

Every HTTP response from the server contains a numeric “status code”. Sometimes the status code indicates that the server is unable to fulfil the request. The default handlers will handle some of these responses for you (for example, if the response is a “redirection” that requests the client fetch the document from a different URL, urllib will handle that for you). For those it can’t handle, urlopen will raise an HTTPError. Typical errors include ‘404’ (page not found), ‘403’ (request forbidden), and ‘401’ (authentication required).

See section 10 of RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html] for a reference on all the HTTP error codes.

The HTTPError instance raised will have an integer ‘code’ attribute, which corresponds to the error sent by the server.

Error Codes

Because the default handlers handle redirects (codes in the 300 range), and codes in the 100–299 range indicate success, you will usually only see error codes in the 400–599 range.

http.server.BaseHTTPRequestHandler.responses is a useful dictionary of response codes in that shows all the response codes used by RFC 2616 [https://datatracker.ietf.org/doc/html/rfc2616.html]. The dictionary is reproduced here for convenience

# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}.
responses = {
    100: ('Continue', 'Request received, please continue'),
    101: ('Switching Protocols',
          'Switching to new protocol; obey Upgrade header'),

    200: ('OK', 'Request fulfilled, document follows'),
    201: ('Created', 'Document created, URL follows'),
    202: ('Accepted',
          'Request accepted, processing continues off-line'),
    203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
    204: ('No Content', 'Request fulfilled, nothing follows'),
    205: ('Reset Content', 'Clear input form for further input.'),
    206: ('Partial Content', 'Partial content follows.'),

    300: ('Multiple Choices',
          'Object has several resources -- see URI list'),
    301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
    302: ('Found', 'Object moved temporarily -- see URI list'),
    303: ('See Other', 'Object moved -- see Method and URL list'),
    304: ('Not Modified',
          'Document has not changed since given time'),
    305: ('Use Proxy',
          'You must use proxy specified in Location to access this '
          'resource.'),
    307: ('Temporary Redirect',
          'Object moved temporarily -- see URI list'),

    400: ('Bad Request',
          'Bad request syntax or unsupported method'),
    401: ('Unauthorized',
          'No permission -- see authorization schemes'),
    402: ('Payment Required',
          'No payment -- see charging schemes'),
    403: ('Forbidden',
          'Request forbidden -- authorization will not help'),
    404: ('Not Found', 'Nothing matches the given URI'),
    405: ('Method Not Allowed',
          'Specified method is invalid for this server.'),
    406: ('Not Acceptable', 'URI not available in preferred format.'),
    407: ('Proxy Authentication Required', 'You must authenticate with '
          'this proxy before proceeding.'),
    408: ('Request Timeout', 'Request timed out; try again later.'),
    409: ('Conflict', 'Request conflict.'),
    410: ('Gone',
          'URI no longer exists and has been permanently removed.'),
    411: ('Length Required', 'Client must specify Content-Length.'),
    412: ('Precondition Failed', 'Precondition in headers is false.'),
    413: ('Request Entity Too Large', 'Entity is too large.'),
    414: ('Request-URI Too Long', 'URI is too long.'),
    415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
    416: ('Requested Range Not Satisfiable',
          'Cannot satisfy request range.'),
    417: ('Expectation Failed',
          'Expect condition could not be satisfied.'),

    500: ('Internal Server Error', 'Server got itself in trouble'),
    501: ('Not Implemented',
          'Server does not support this operation'),
    502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
    503: ('Service Unavailable',
          'The server cannot process the request due to a high load'),
    504: ('Gateway Timeout',
          'The gateway server did not receive a timely response'),
    505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
    }

When an error is raised the server responds by returning an HTTP error code and an error page. You can use the HTTPError instance as a response on the page returned. This means that as well as the code attribute, it also has read, geturl, and info, methods as returned by the urllib.response module:

>>> req = urllib.request.Request('http://www.python.org/fish.html')
>>> try:
...     urllib.request.urlopen(req)
... except urllib.error.HTTPError as e:
...     print(e.code)
...     print(e.read())
...
404
b'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n\n\n<html
  ...
  <title>Page Not Found</title>\n
  ...

Wrapping it Up

So if you want to be prepared for HTTPError or URLError there are two basic approaches. I prefer the second approach.

Number 1

from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError
req = Request(someurl)
try:
    response = urlopen(req)
except HTTPError as e:
    print('The server couldn\'t fulfill the request.')
    print('Error code: ', e.code)
except URLError as e:
    print('We failed to reach a server.')
    print('Reason: ', e.reason)
else:
    # everything is fine

Nota

The except HTTPError must come first, otherwise except URLError will also catch an HTTPError.

Number 2

from urllib.request import Request, urlopen
from urllib.error import URLError
req = Request(someurl)
try:
    response = urlopen(req)
except URLError as e:
    if hasattr(e, 'reason'):
        print('We failed to reach a server.')
        print('Reason: ', e.reason)
    elif hasattr(e, 'code'):
        print('The server couldn\'t fulfill the request.')
        print('Error code: ', e.code)
else:
    # everything is fine

info and geturl

The response returned by urlopen (or the HTTPError instance) has two useful methods info() and geturl() and is defined in the module urllib.response.

geturl - this returns the real URL of the page fetched. This is useful because urlopen (or the opener object used) may have followed a redirect. The URL of the page fetched may not be the same as the URL requested.

info - this returns a dictionary-like object that describes the page fetched, particularly the headers sent by the server. It is currently an http.client.HTTPMessage instance.

Typical headers include ‘Content-length’, ‘Content-type’, and so on. See the Quick Reference to HTTP Headers [https://jkorpela.fi/http.html] for a useful listing of HTTP headers with brief explanations of their meaning and use.

Openers and Handlers

When you fetch a URL you use an opener (an instance of the perhaps confusingly named urllib.request.OpenerDirector). Normally we have been using the default opener - via urlopen - but you can create custom openers. Openers use handlers. All the “heavy lifting” is done by the handlers. Each handler knows how to open URLs for a particular URL scheme (http, ftp, etc.), or how to handle an aspect of URL opening, for example HTTP redirections or HTTP cookies.

You will want to create openers if you want to fetch URLs with specific handlers installed, for example to get an opener that handles cookies, or to get an opener that does not handle redirections.

To create an opener, instantiate an OpenerDirector, and then call .add_handler(some_handler_instance) repeatedly.

Alternatively, you can use build_opener, which is a convenience function for creating opener objects with a single function call. build_opener adds several handlers by default, but provides a quick way to add more and/or override the default handlers.

Other sorts of handlers you might want to can handle proxies, authentication, and other common but slightly specialised situations.

install_opener can be used to make an opener object the (global) default opener. This means that calls to urlopen will use the opener you have installed.

Opener objects have an open method, which can be called directly to fetch urls in the same way as the urlopen function: there’s no need to call install_opener, except as a convenience.

Basic Authentication

To illustrate creating and installing a handler we will use the HTTPBasicAuthHandler. For a more detailed discussion of this subject – including an explanation of how Basic Authentication works - see the Basic Authentication Tutorial [https://web.archive.org/web/20201215133350/http://www.voidspace.org.uk/python/articles/authentication.shtml].

When authentication is required, the server sends a header (as well as the 401 error code) requesting authentication. This specifies the authentication scheme and a ‘realm’. The header looks like: WWW-Authenticate: SCHEME realm="REALM".

e.g.

WWW-Authenticate: Basic realm="cPanel Users"

The client should then retry the request with the appropriate name and password for the realm included as a header in the request. This is ‘basic authentication’. In order to simplify this process we can create an instance of HTTPBasicAuthHandler and an opener to use this handler.

The HTTPBasicAuthHandler uses an object called a password manager to handle the mapping of URLs and realms to passwords and usernames. If you know what the realm is (from the authentication header sent by the server), then you can use a HTTPPasswordMgr. Frequently one doesn’t care what the realm is. In that case, it is convenient to use HTTPPasswordMgrWithDefaultRealm. This allows you to specify a default username and password for a URL. This will be supplied in the absence of you providing an alternative combination for a specific realm. We indicate this by providing None as the realm argument to the add_password method.

The top-level URL is the first URL that requires authentication. URLs “deeper” than the URL you pass to .add_password() will also match.

# create a password manager
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

# Add the username and password.
# If we knew the realm, we could use it instead of None.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib.request.HTTPBasicAuthHandler(password_mgr)

# create "opener" (OpenerDirector instance)
opener = urllib.request.build_opener(handler)

# use the opener to fetch a URL
opener.open(a_url)

# Install the opener.
# Now all calls to urllib.request.urlopen use our opener.
urllib.request.install_opener(opener)

Nota

In the above example we only supplied our HTTPBasicAuthHandler to build_opener. By default openers have the handlers for normal situations – ProxyHandler (if a proxy setting such as an http_proxy environment variable is set), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, DataHandler, HTTPErrorProcessor.

top_level_url is in fact either a full URL (including the ‘http:’ scheme component and the hostname and optionally the port number) e.g. "http://example.com/" or an “authority” (i.e. the hostname, optionally including the port number) e.g. "example.com" or "example.com:8080" (the latter example includes a port number). The authority, if present, must NOT contain the “userinfo” component - for example "joe:password@example.com" is not correct.

Proxies

urllib will auto-detect your proxy settings and use those. This is through the ProxyHandler, which is part of the normal handler chain when a proxy setting is detected. Normally that’s a good thing, but there are occasions when it may not be helpful [5]. One way to do this is to setup our own ProxyHandler, with no proxies defined. This is done using similar steps to setting up a Basic Authentication handler:

>>> proxy_support = urllib.request.ProxyHandler({})
>>> opener = urllib.request.build_opener(proxy_support)
>>> urllib.request.install_opener(opener)

Nota

Currently urllib.request does not support fetching of https locations through a proxy. However, this can be enabled by extending urllib.request as shown in the recipe [6].

Nota

HTTP_PROXY will be ignored if a variable REQUEST_METHOD is set; see the documentation on getproxies().

Sockets and Layers

The Python support for fetching resources from the web is layered. urllib uses the http.client library, which in turn uses the socket library.

As of Python 2.3 you can specify how long a socket should wait for a response before timing out. This can be useful in applications which have to fetch web pages. By default the socket module has no timeout and can hang. Currently, the socket timeout is not exposed at the http.client or urllib.request levels. However, you can set the default timeout globally for all sockets using

import socket
import urllib.request

# timeout in seconds
timeout = 10
socket.setdefaulttimeout(timeout)

# this call to urllib.request.urlopen now uses the default timeout
# we have set in the socket module
req = urllib.request.Request('http://www.voidspace.org.uk')
response = urllib.request.urlopen(req)

Notas de rodapé

This document was reviewed and revised by John Lee.

[1]

Google, por exemplo.

[2]

Browser sniffing is a very bad practice for website design - building sites using web standards is much more sensible. Unfortunately a lot of sites still send different versions to different browsers.

[3]

The user agent for MSIE 6 is ‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)’

[4]

For details of more HTTP request headers, see Quick Reference to HTTP Headers [https://jkorpela.fi/http.html].

[5]

In my case I have to use a proxy to access the internet at work. If you attempt to fetch localhost URLs through this proxy it blocks them. IE is set to use the proxy, which urllib picks up on. In order to test scripts with a localhost server, I have to prevent urllib from using the proxy.

[6]

urllib opener for SSL proxy (CONNECT method): ASPN Cookbook Recipe [https://code.activestate.com/recipes/456195-urrlib2-opener-for-ssl-proxy-connect-method/].

Uma introdução ao módulo ipaddress

autor:

Peter Moody

autor:

Nick Coghlan

Visão Geral

Este documento tem como objetivo prover uma suave introdução ao módulo ipaddress. Ele é direcionado primeiramente para usuários que ainda não são familiarizados com a terminologia de rede IP, mas também pode ser útil para engenheiros de rede que querem uma visão geral de como ipaddress representa os conceitos de endereçamento de rede IP.

Criando objetos de Endereço/Rede/Interface

Como ipaddress é um módulo para inspecionar e manipular endereços IP, a primeira coisa que você deseja fazer é criar alguns objetos. Você pode usar ipaddress para criar objetos a partir de strings e inteiros.

Uma observação sobre versões do IP

Para leitores que não estão particularmente familiarizados com o endereçamento IP, é importante saber que o Protocolo de Internet (IP) está atualmente em processo de mudança da versão 4 do protocolo para a versão 6. Esta transição está ocorrendo em grande parte porque a versão 4 do protocolo não fornece endereços suficientes para atender às necessidades do mundo inteiro, principalmente devido ao crescente número de dispositivos com conexões diretas à Internet.

Explicar os detalhes das diferenças entre as duas versões do protocolo está além do escopo desta introdução, mas os leitores precisam pelo menos estar cientes de que essas duas versões existem, e às vezes será necessário forçar o uso de uma versão ou do outro.

Endereços IP de host

Os endereços, muitas vezes chamados de “endereços de host”, são a unidade mais básica ao trabalhar com endereçamento IP. A maneira mais simples de criar endereços é usar a função de fábrica ipaddress.ip_address(), que determina automaticamente se deve ser criado um endereço IPv4 ou IPv6 com base no valor passado:

>>> ipaddress.ip_address('192.0.2.1')
IPv4Address('192.0.2.1')
>>> ipaddress.ip_address('2001:DB8::1')
IPv6Address('2001:db8::1')

Os endereços também podem ser criados diretamente a partir de números inteiros. Os valores que cabem em 32 bits são considerados endereços IPv4:

>>> ipaddress.ip_address(3221225985)
IPv4Address('192.0.2.1')
>>> ipaddress.ip_address(42540766411282592856903984951653826561)
IPv6Address('2001:db8::1')

Para forçar o uso de endereços IPv4 ou IPv6, as classes relevantes podem ser invocadas diretamente. Isto é particularmente útil para forçar a criação de endereços IPv6 para números inteiros pequenos:

>>> ipaddress.ip_address(1)
IPv4Address('0.0.0.1')
>>> ipaddress.IPv4Address(1)
IPv4Address('0.0.0.1')
>>> ipaddress.IPv6Address(1)
IPv6Address('::1')

Definindo redes

Endereços de host geralmente são agrupados em redes IP, então ipaddress fornece uma maneira de criar, inspecionar e manipular definições de rede. Os objetos de rede IP são construídos a partir de strings que definem o intervalo de endereços de host que fazem parte dessa rede. A forma mais simples para essa informação é um par de “endereço de rede/prefixo de rede”, onde o prefixo define o número de bits iniciais que são comparados para determinar se um endereço faz ou não parte da rede e o endereço de rede define o valor esperado daqueles bits.

Quanto aos endereços, é fornecida uma função de fábrica que determina automaticamente a versão correta do IP:

>>> ipaddress.ip_network('192.0.2.0/24')
IPv4Network('192.0.2.0/24')
>>> ipaddress.ip_network('2001:db8::0/96')
IPv6Network('2001:db8::/96')

Os objetos de rede não podem ter nenhum bit de host definido. O efeito prático disso é que 192.0.2.1/24 não descreve uma rede. Tais definições são chamadas de objetos interface, uma vez que a notação “ip-em-uma-rede” é comumente usada para descrever interfaces de rede de um computador em uma determinada rede e é descrita mais detalhadamente na próxima seção.

Por padrão, tentar criar um objeto rede com bits de host definidos resultará na exceção ValueError ser levantada. Para solicitar que os bits adicionais sejam forçados a zero, o sinalizador strict=False pode ser passada para o construtor:

>>> ipaddress.ip_network('192.0.2.1/24')
Traceback (most recent call last):
   ...
ValueError: 192.0.2.1/24 has host bits set
>>> ipaddress.ip_network('192.0.2.1/24', strict=False)
IPv4Network('192.0.2.0/24')

Embora o formato string ofereça significativamente mais flexibilidade, as redes também podem ser definidas com números inteiros, assim como os endereços de host. Neste caso, considera-se que a rede contém apenas o endereço único identificado pelo número inteiro, portanto o prefixo da rede inclui todo o endereço da rede:

>>> ipaddress.ip_network(3221225984)
IPv4Network('192.0.2.0/32')
>>> ipaddress.ip_network(42540766411282592856903984951653826560)
IPv6Network('2001:db8::/128')

Tal como acontece com os endereços, a criação de um tipo específico de rede pode ser forçada chamando diretamente o construtor da classe em vez de usar a função de fábrica.

Interfaces do host

Conforme mencionado acima, se você precisar descrever um endereço em uma rede específica, nem o endereço nem as classes de rede serão suficientes. Notação como 192.0.2.1/24 é comumente usada por engenheiros de rede e pessoas que escrevem ferramentas para firewalls e roteadores como uma abreviação para “o host 192.0.2.1 na rede 192.0.2.0/24”, Consequentemente, ipaddress fornece um conjunto de classes híbridas que associam um endereço a uma rede específica. A interface para criação é idêntica àquela para definição de objetos de rede, exceto que a parte do endereço não está restrita a ser um endereço de rede.

>>> ipaddress.ip_interface('192.0.2.1/24')
IPv4Interface('192.0.2.1/24')
>>> ipaddress.ip_interface('2001:db8::1/96')
IPv6Interface('2001:db8::1/96')

Entradas de inteiros são aceitas (como acontece com redes), e o uso de uma versão IP específica pode ser forçado chamando diretamente o construtor relevante.

Inspecionando objetos endereço/rede/interface

Você se deu ao trabalho de criar um objeto IPv(4|6)(Address|Network|Interface) e provavelmente deseja obter informações sobre ele. ipaddress tenta tornar isso fácil e intuitivo.

Extraindo a versão do IP:

>>> addr4 = ipaddress.ip_address('192.0.2.1')
>>> addr6 = ipaddress.ip_address('2001:db8::1')
>>> addr6.version
6
>>> addr4.version
4

Obtendo a rede de uma interface:

>>> host4 = ipaddress.ip_interface('192.0.2.1/24')
>>> host4.network
IPv4Network('192.0.2.0/24')
>>> host6 = ipaddress.ip_interface('2001:db8::1/96')
>>> host6.network
IPv6Network('2001:db8::/96')

Descobrindo quantos endereços individuais estão em uma rede:

>>> net4 = ipaddress.ip_network('192.0.2.0/24')
>>> net4.num_addresses
256
>>> net6 = ipaddress.ip_network('2001:db8::0/96')
>>> net6.num_addresses
4294967296

Iterando através dos endereços “utilizáveis” em uma rede:

>>> net4 = ipaddress.ip_network('192.0.2.0/24')
>>> for x in net4.hosts():
...     print(x)
192.0.2.1
192.0.2.2
192.0.2.3
192.0.2.4
...
192.0.2.252
192.0.2.253
192.0.2.254

Obtendo a máscara de rede (ou seja, definir bits correspondentes ao prefixo da rede) ou a máscara de host (qualquer bit que não faça parte da máscara de rede):

>>> net4 = ipaddress.ip_network('192.0.2.0/24')
>>> net4.netmask
IPv4Address('255.255.255.0')
>>> net4.hostmask
IPv4Address('0.0.0.255')
>>> net6 = ipaddress.ip_network('2001:db8::0/96')
>>> net6.netmask
IPv6Address('ffff:ffff:ffff:ffff:ffff:ffff::')
>>> net6.hostmask
IPv6Address('::ffff:ffff')

Explodindo ou compactando o endereço:

>>> addr6.exploded
'2001:0db8:0000:0000:0000:0000:0000:0001'
>>> addr6.compressed
'2001:db8::1'
>>> net6.exploded
'2001:0db8:0000:0000:0000:0000:0000:0000/96'
>>> net6.compressed
'2001:db8::/96'

Embora o IPv4 não tenha suporte a explosão ou compactação, os objetos associados ainda fornecem as propriedades relevantes para que o código de versão neutra possa facilmente garantir que o formato mais conciso ou mais detalhado seja usado para endereços IPv6, ao mesmo tempo que manipula corretamente os endereços IPv4.

Redes como listas de Addresses

Às vezes é útil tratar redes como listas. Isso significa que é possível indexá-las assim:

>>> net4[1]
IPv4Address('192.0.2.1')
>>> net4[-1]
IPv4Address('192.0.2.255')
>>> net6[1]
IPv6Address('2001:db8::1')
>>> net6[-1]
IPv6Address('2001:db8::ffff:ffff')

Isso também significa que os objetos de rede se prestam ao uso da sintaxe de teste de pertinência de lista como esta:

if endereço in rede:
    # faz algo

O teste de contenção é feito de forma eficiente com base no prefixo de rede:

>>> addr4 = ipaddress.ip_address('192.0.2.1')
>>> addr4 in ipaddress.ip_network('192.0.2.0/24')
True
>>> addr4 in ipaddress.ip_network('192.0.3.0/24')
False

Comparações

ipaddress fornece algumas maneiras simples e, esperançosamente, intuitivas de comparar objetos, onde faz sentido:

>>> ipaddress.ip_address('192.0.2.1') < ipaddress.ip_address('192.0.2.2')
True

Uma exceção TypeError é levantada se você tentar comparar objetos de versões ou tipos diferentes.

Usando endereços IP com outros módulos

Outros módulos que usam endereços IP (como socket) geralmente não aceitam objetos deste módulo diretamente. Em vez disso, eles devem ser convertidos para um inteiro ou string que o outro módulo aceitará:

>>> addr4 = ipaddress.ip_address('192.0.2.1')
>>> str(addr4)
'192.0.2.1'
>>> int(addr4)
3221225985

Obtendo mais detalhes quando a criação da instância falha

Ao criar objetos de endereço/rede/interface usando as funções de fábrica agnósticas de versão, quaisquer erros serão relatados como ValueError com uma mensagem de erro genérica que simplesmente diz que o valor passado não foi reconhecido como um objeto daquele tipo. A falta de um erro específico é porque é necessário saber se o valor supõe ser IPv4 ou IPv6 para fornecer mais detalhes sobre o motivo de sua rejeição.

Para dar suporte a casos de uso em que é útil ter acesso a esse detalhe adicional, os construtores de classe individuais na verdade geram as subclasses ValueError ipaddress.AddressValueError e ipaddress.NetmaskValueError para indicar exatamente qual parte da definição falhou ao ser analisada corretamente.

As mensagens de erro são significativamente mais detalhadas ao usar os construtores de classe diretamente. Por exemplo:

>>> ipaddress.ip_address("192.168.0.256")
Traceback (most recent call last):
  ...
ValueError: '192.168.0.256' does not appear to be an IPv4 or IPv6 address
>>> ipaddress.IPv4Address("192.168.0.256")
Traceback (most recent call last):
  ...
ipaddress.AddressValueError: Octet 256 (> 255) not permitted in '192.168.0.256'

>>> ipaddress.ip_network("192.168.0.1/64")
Traceback (most recent call last):
  ...
ValueError: '192.168.0.1/64' does not appear to be an IPv4 or IPv6 network
>>> ipaddress.IPv4Network("192.168.0.1/64")
Traceback (most recent call last):
  ...
ipaddress.NetmaskValueError: '64' is not a valid netmask

Entretanto, ambas as exceções específicas do módulo têm ValueError como classe pai, então se você não estiver preocupado com o tipo específico de erro, você ainda pode escrever código como o seguinte:

try:
    network = ipaddress.IPv4Network(address)
except ValueError:
    print('endereço/máscara de rede é inválida para IPv4:', address)

Instrumentando o CPython com DTrace e SystemTap

autor:

David Malcolm

autor:

Łukasz Langa

DTrace and SystemTap are monitoring tools, each providing a way to inspect what the processes on a computer system are doing. They both use domain-specific languages allowing a user to write scripts which:

filtrar quais processos devem ser observados

gather data from the processes of interest

generate reports on the data

As of Python 3.6, CPython can be built with embedded “markers”, also known as “probes”, that can be observed by a DTrace or SystemTap script, making it easier to monitor what the CPython processes on a system are doing.

Detalhes da implementação do CPython: DTrace markers are implementation details of the CPython interpreter. No guarantees are made about probe compatibility between versions of CPython. DTrace scripts can stop working or work incorrectly without warning when changing CPython versions.

Enabling the static markers

macOS comes with built-in support for DTrace. On Linux, in order to build CPython with the embedded markers for SystemTap, the SystemTap development tools must be installed.

On a Linux machine, this can be done via:

$ yum install systemtap-sdt-devel

ou:

$ sudo apt-get install systemtap-sdt-dev

CPython must then be configured with the --with-dtrace option:

checking for --with-dtrace... yes

On macOS, you can list available DTrace probes by running a Python process in the background and listing all probes made available by the Python provider:

$ python3.6 -q &
$ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

   ID   PROVIDER            MODULE                          FUNCTION NAME
29564 python18035        python3.6          _PyEval_EvalFrameDefault function-entry
29565 python18035        python3.6             dtrace_function_entry function-entry
29566 python18035        python3.6          _PyEval_EvalFrameDefault function-return
29567 python18035        python3.6            dtrace_function_return function-return
29568 python18035        python3.6                           collect gc-done
29569 python18035        python3.6                           collect gc-start
29570 python18035        python3.6          _PyEval_EvalFrameDefault line
29571 python18035        python3.6                 maybe_dtrace_line line

On Linux, you can verify if the SystemTap static markers are present in the built binary by seeing if it contains a “.note.stapsdt” section.

$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt        NOTE         0000000000000000 00308d78

If you’ve built Python as a shared library (with the --enable-shared configure option), you need to look instead within the shared library. For example:

$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt        NOTE         0000000000000000 00365b68

Sufficiently modern readelf can print the metadata:

$ readelf -n ./python

Displaying notes found at file offset 0x00000254 with length 0x00000020:
    Owner                 Data size          Description
    GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
        OS: Linux, ABI: 2.6.32

Displaying notes found at file offset 0x00000274 with length 0x00000024:
    Owner                 Data size          Description
    GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
        Build ID: df924a2b08a7e89f6e11251d4602022977af2670

Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
    Owner                 Data size          Description
    stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__start
        Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
        Arguments: -4@%ebx
    stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__done
        Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
        Arguments: -8@%rax
    stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__entry
        Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
        Arguments: 8@%rbp 8@%r12 -4@%eax
    stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__return
        Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
        Arguments: 8@%rbp 8@%r12 -4@%eax

The above metadata contains information for SystemTap describing how it can patch strategically placed machine code instructions to enable the tracing hooks used by a SystemTap script.

Static DTrace probes

The following example DTrace script can be used to show the call/return hierarchy of a Python script, only tracing within the invocation of a function called “start”. In other words, import-time function invocations are not going to be listed:

self int indent;

python$target:::function-entry
/copyinstr(arg1) == "start"/
{
        self->trace = 1;
}

python$target:::function-entry
/self->trace/
{
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
        self->indent++;
}

python$target:::function-return
/self->trace/
{
        self->indent--;
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}

python$target:::function-return
/copyinstr(arg1) == "start"/
{
        self->trace = 0;
}

It can be invoked like this:

$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

O resultado deve ser algo assim:

156641360502280  function-entry:call_stack.py:start:23
156641360518804  function-entry: call_stack.py:function_1:1
156641360532797  function-entry:  call_stack.py:function_3:9
156641360546807 function-return:  call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365  function-entry: call_stack.py:function_2:5
156641360591757  function-entry:  call_stack.py:function_1:1
156641360605556  function-entry:   call_stack.py:function_3:9
156641360617482 function-return:   call_stack.py:function_3:10
156641360629814 function-return:  call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770  function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853  function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640  function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28

Static SystemTap markers

The low-level way to use the SystemTap integration is to use the static markers directly. This requires you to explicitly state the binary file containing them.

For example, this SystemTap script can be used to show the call/return hierarchy of a Python script:

probe process("python").mark("function__entry") {
     filename = user_string($arg1);
     funcname = user_string($arg2);
     lineno = $arg3;

     printf("%s => %s in %s:%d\\n",
            thread_indent(1), funcname, filename, lineno);
}

probe process("python").mark("function__return") {
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;

    printf("%s <= %s in %s:%d\\n",
           thread_indent(-1), funcname, filename, lineno);
}

It can be invoked like this:

$ stap \
  show-call-hierarchy.stp \
  -c "./python test.py"

O resultado deve ser algo assim:

11408 python(8274):        => __contains__ in Lib/_abcoll.py:362
11414 python(8274):         => __getitem__ in Lib/os.py:425
11418 python(8274):          => encode in Lib/os.py:490
11424 python(8274):          <= encode in Lib/os.py:493
11428 python(8274):         <= __getitem__ in Lib/os.py:426
11433 python(8274):        <= __contains__ in Lib/_abcoll.py:366

where the columns are:

time in microseconds since start of script

name of executable

PID of process

and the remainder indicates the call/return hierarchy as the script executes.

For a --enable-shared build of CPython, the markers are contained within the libpython shared library, and the probe’s dotted path needs to reflect this. For example, this line from the above example:

probe process("python").mark("function__entry") {

should instead read:

probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(assuming a debug build of CPython 3.6)

Available static markers

function__entry(str filename, str funcname, int lineno)

This marker indicates that execution of a Python function has begun. It is only triggered for pure-Python (bytecode) functions.

The filename, function name, and line number are provided back to the tracing script as positional arguments, which must be accessed using $arg1, $arg2, $arg3:

$arg1 : (const char *) filename, accessible using user_string($arg1)

$arg2 : (const char *) function name, accessible using user_string($arg2)

$arg3 : int line number

function__return(str filename, str funcname, int lineno)

This marker is the converse of function__entry(), and indicates that execution of a Python function has ended (either via return, or via an exception). It is only triggered for pure-Python (bytecode) functions.

The arguments are the same as for function__entry()

line(str filename, str funcname, int lineno)

This marker indicates a Python line is about to be executed. It is the equivalent of line-by-line tracing with a Python profiler. It is not triggered within C functions.

The arguments are the same as for function__entry().

gc__start(int generation)

Fires when the Python interpreter starts a garbage collection cycle. arg0 is the generation to scan, like gc.collect().

gc__done(long collected)

Fires when the Python interpreter finishes a garbage collection cycle. arg0 is the number of collected objects.

import__find__load__start(str modulename)

Fires before importlib attempts to find and load the module. arg0 is the module name.

Adicionado na versão 3.7.

import__find__load__done(str modulename, int found)

Fires after importlib’s find_and_load function is called. arg0 is the module name, arg1 indicates if module was successfully loaded.

Adicionado na versão 3.7.

audit(str event, void *tuple)

Fires when sys.audit() or PySys_Audit() is called. arg0 is the event name as C string, arg1 is a PyObject pointer to a tuple object.

Adicionado na versão 3.8.

SystemTap Tapsets

The higher-level way to use the SystemTap integration is to use a “tapset”: SystemTap’s equivalent of a library, which hides some of the lower-level details of the static markers.

Here is a tapset file, based on a non-shared build of CPython:

/*
   Provide a higher-level wrapping around the function__entry and
   function__return markers:
 \*/
probe python.function.entry = process("python").mark("function__entry")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}

If this file is installed in SystemTap’s tapset directory (e.g. /usr/share/systemtap/tapset), then these additional probepoints become available:

python.function.entry(str filename, str funcname, int lineno, frameptr)

This probe point indicates that execution of a Python function has begun. It is only triggered for pure-Python (bytecode) functions.

python.function.return(str filename, str funcname, int lineno, frameptr)

This probe point is the converse of python.function.return, and indicates that execution of a Python function has ended (either via return, or via an exception). It is only triggered for pure-Python (bytecode) functions.

Exemplos

This SystemTap script uses the tapset above to more cleanly implement the example given above of tracing the Python function-call hierarchy, without needing to directly name the static markers:

probe python.function.entry
{
  printf("%s => %s in %s:%d\n",
         thread_indent(1), funcname, filename, lineno);
}

probe python.function.return
{
  printf("%s <= %s in %s:%d\n",
         thread_indent(-1), funcname, filename, lineno);
}

The following script uses the tapset above to provide a top-like view of all running CPython code, showing the top 20 most frequently entered bytecode frames, each second, across the whole system:

global fn_calls;

probe python.function.entry
{
    fn_calls[pid(), filename, funcname, lineno] += 1;
}

probe timer.ms(1000) {
    printf("\033[2J\033[1;1H") /* clear screen \*/
    printf("%6s %80s %6s %30s %6s\n",
           "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
    foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
        printf("%6d %80s %6d %30s %6d\n",
            pid, filename, lineno, funcname,
            fn_calls[pid, filename, funcname, lineno]);
    }
    delete fn_calls;
}

Suporte do Python ao perfilador perf do Linux

autor:

Pablo Galindo

O perfilador perf do Linux [https://perf.wiki.kernel.org] é uma ferramenta muito poderosa que permite criar perfis e obter informações sobre o desempenho da sua aplicação. perf também possui um ecossistema muito vibrante de ferramentas que auxiliam na análise dos dados que produz.

O principal problema de usar o perfilador perf com aplicações Python é que perf apenas obtém informações sobre símbolos nativos, ou seja, os nomes de funções e procedimentos escritos em C. Isso significa que os nomes de funções Python e seus nomes de arquivos em seu código não aparecerão na saída de perf.

Desde o Python 3.12, o interpretador pode ser executado em um modo especial que permite que funções do Python apareçam na saída do criador de perfilador perf. Quando este modo está habilitado, o interpretador interporá um pequeno pedaço de código compilado instantaneamente antes da execução de cada função Python e ensinará perf a relação entre este pedaço de código e a função Python associada usando arquivos de mapa perf.

Nota

O suporte para o perfilador perf está atualmente disponível apenas para Linux em arquiteturas selecionadas. Verifique a saída da etapa de construção configure ou verifique a saída de python -m sysconfig | grep HAVE_PERF_TRAMPOLINE para ver se o seu sistema é compatível.

Por exemplo, considere o seguinte script:

def foo(n):
    result = 0
    for _ in range(n):
        result += 1
    return result

def bar(n):
    foo(n)

def baz(n):
    bar(n)

if __name__ == "__main__":
    baz(1000000)

Podemos executar perf para obter amostras de rastreamentos de pilha da CPU em 9999 hertz:

$ perf record -F 9999 -g -o perf.data python my_script.py

Então podemos usar perf report para analisar os dados:

$ perf report --stdio -n -g

# Children      Self       Samples  Command     Shared Object       Symbol
# ........  ........  ............  ..........  ..................  ..........................................
#
    91.08%     0.00%             0  python.exe  python.exe          [.] _start
            |
            ---_start
            |
                --90.71%--__libc_start_main
                        Py_BytesMain
                        |
                        |--56.88%--pymain_run_python.constprop.0
                        |          |
                        |          |--56.13%--_PyRun_AnyFileObject
                        |          |          _PyRun_SimpleFileObject
                        |          |          |
                        |          |          |--55.02%--run_mod
                        |          |          |          |
                        |          |          |           --54.65%--PyEval_EvalCode
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     |
                        |          |          |                     |--51.67%--_PyEval_EvalFrameDefault
                        |          |          |                     |          |
                        |          |          |                     |          |--11.52%--_PyLong_Add
                        |          |          |                     |          |          |
                        |          |          |                     |          |          |--2.97%--_PyObject_Malloc
...

Como você pode ver, as funções Python não são mostradas na saída, apenas _PyEval_EvalFrameDefault (a função que avalia o bytecode Python) aparece. Infelizmente isso não é muito útil porque todas as funções Python usam a mesma função C para avaliar bytecode, portanto não podemos saber qual função Python corresponde a qual função de avaliação de bytecode.

Em vez disso, se executarmos o mesmo experimento com o suporte perf ativado, obteremos:

$ perf report --stdio -n -g

# Children      Self       Samples  Command     Shared Object       Symbol
# ........  ........  ............  ..........  ..................  .....................................................................
#
    90.58%     0.36%             1  python.exe  python.exe          [.] _start
            |
            ---_start
            |
                --89.86%--__libc_start_main
                        Py_BytesMain
                        |
                        |--55.43%--pymain_run_python.constprop.0
                        |          |
                        |          |--54.71%--_PyRun_AnyFileObject
                        |          |          _PyRun_SimpleFileObject
                        |          |          |
                        |          |          |--53.62%--run_mod
                        |          |          |          |
                        |          |          |           --53.26%--PyEval_EvalCode
                        |          |          |                     py::<module>:/src/script.py
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     py::baz:/src/script.py
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     py::bar:/src/script.py
                        |          |          |                     _PyEval_EvalFrameDefault
                        |          |          |                     PyObject_Vectorcall
                        |          |          |                     _PyEval_Vector
                        |          |          |                     py::foo:/src/script.py
                        |          |          |                     |
                        |          |          |                     |--51.81%--_PyEval_EvalFrameDefault
                        |          |          |                     |          |
                        |          |          |                     |          |--13.77%--_PyLong_Add
                        |          |          |                     |          |          |
                        |          |          |                     |          |          |--3.26%--_PyObject_Malloc

Como habilitar o suporte a perfilação com perf

O suporte à perfilação com perf pode ser habilitado desde o início usando a variável de ambiente PYTHONPERFSUPPORT ou a opção -X perf, ou dinamicamente usando sys.activate_stack_trampoline() e sys.deactivate_stack_trampoline().

As funções sys têm precedência sobre a opção -X, a opção -X tem precedência sobre a variável de ambiente.

Exemplo usando a variável de ambiente:

$ PYTHONPERFSUPPORT=1 perf record -F 9999 -g -o perf.data python script.py
$ perf report -g -i perf.data

Exemplo usando a opção -X:

$ perf record -F 9999 -g -o perf.data python -X perf script.py
$ perf report -g -i perf.data

Exemplo usando as APIs de sys em example.py:

import sys

sys.activate_stack_trampoline("perf")
do_profiled_stuff()
sys.deactivate_stack_trampoline()

non_profiled_stuff()

… então:

$ perf record -F 9999 -g -o perf.data python ./example.py
$ perf report -g -i perf.data

Como obter os melhores resultados

Para melhores resultados, Python deve ser compilado com CFLAGS="-fno-omit-frame-pointer -mno-omit-leaf-frame-pointer", pois isso permite que os perfiladores façam o desenrolamento de pilha (ou stack unwinding) usando apenas o ponteiro de quadro e não no DWARF informações de depuração. Isso ocorre porque como o código interposto para permitir o suporte perf é gerado dinamicamente, ele não possui nenhuma informação de depuração DWARF disponível.

Você pode verificar se o seu sistema foi compilado com este sinalizador executando:

$ python -m sysconfig | grep 'no-omit-frame-pointer'

Se você não vir nenhuma saída, significa que seu interpretador não foi compilado com ponteiros de quadro e, portanto, pode não ser capaz de mostrar funções Python na saída de perf.

Como trabalhar sem ponteiros de quadro

Se você estiver trabalhando com um interpretador Python que foi compilado sem ponteiros de quadro, você ainda pode usar o perfilador perf, mas a sobrecarga será um pouco maior porque o Python precisa gerar informações de desenrolamento para cada chamada de função Python em tempo real. Além disso, perf levará mais tempo para processar os dados porque precisará usar as informações de depuração DWARF para desenrolar a pilha e este é um processo lento.

Para habilitar esse modo, você pode usar a variável de ambiente PYTHON_PERF_JIT_SUPPORT ou a opção -X perf_jit, que habilitará o modo JIT para o perfilador perf.

Nota

Devido a um bug na ferramenta perf, apenas versões perf superiores à v6.8 funcionarão com o modo JIT. A correção também foi portada para a versão v6.7.2 da ferramenta.

Note que ao verificar a versão da ferramenta perf (o que pode ser feito executando perf version) você deve levar em conta que algumas distros adicionam alguns números de versão personalizados, incluindo um caractere -. Isso significa que perf 6.7-3 não é necessariamente perf 6.7.3.

Ao usar o modo JIT do perf, você precisa de uma etapa extra antes de poder executar perf report. Você precisa chamar o comando perf inject para injetar as informações JIT no arquivo perf.data.:

$ perf record -F 9999 -g --call-graph dwarf -o perf.data python -Xperf_jit my_script.py
$ perf inject -i perf.data --jit --output perf.jit.data
$ perf report -g -i perf.jit.data

ou usando a variável de ambiente:

$ PYTHON_PERF_JIT_SUPPORT=1 perf record -F 9999 -g --call-graph dwarf -o perf.data python my_script.py
$ perf inject -i perf.data --jit --output perf.jit.data
$ perf report -g -i perf.jit.data

O comando perf inject --jit lerá perf.data, pegará automaticamente o arquivo de dump perf que o Python cria (em /tmp/perf-$PID.dump) e, em seguida, criará perf.jit.data que mescla todas as informações JIT. Ele também deve criar muitos arquivos jitted-XXXX-N.so no diretório atual, que são imagens ELF para todos os trampolins JIT que foram criados pelo Python.

Aviso

Observe que ao usar --call-graph dwarf, a ferramenta perf fará snapshots da pilha do processo que está sendo perfilado e salvará as informações no arquivo perf.data. Por padrão, o tamanho do dump da pilha é 8192 bytes, mas o usuário pode alterar o tamanho passando o tamanho após a vírgula como --call-graph dwarf,4096. O tamanho do dump da pilha é importante porque se o tamanho for muito pequeno, perf não conseguirá desenrolar a pilha e a saída ficará incompleta. Por outro lado, se o tamanho for muito grande, então perf não conseguirá amostrar o processo com a frequência que gostaria, pois a sobrecarga será maior.

Boas práticas para anotações

Autor:

Larry Hastings

Resumo

Este documento foi projetado para encapsular as melhores práticas para trabalhar com anotações. Se você escrever um código Python que examina __annotations__ nos objetos Python, nós o encorajamos a seguir as diretrizes descritas abaixo.

Este documento está dividido em quatro seções: melhores práticas para acessar as anotações de um objeto no Python na versão 3.10 e versões mais recente, melhores práticas para acessar as anotações de um objeto no Python na versão 3.9 e versões mais antiga, outras melhores práticas para __annotations__ para qualquer versão do Python e peculiaridades do __annotations__.

Note que este documento é específico sobre trabalhar com __annotations__, não para o uso de anotações. Se você está procurando por informações sobre como usar “type hints” no seu código, por favor veja o módulo typing

Acessando o dicionário de anotações de um objeto no Python 3.10 e nas versões mais recentes

O Python 3.10 adicionou uma nova função para a biblioteca padrão: inspect.get_annotations(). No Python 3.10 e nas versões mais recentes, chamar esta função é a melhor prática para acessar o dicionário de anotações de qualquer objeto com suporte a anotações. Esta função pode até “destextualizar” anotações textualizadas para você.

Se por alguma razão inspect.get_annotations() não for viável para o seu caso de uso, você pode acessar o membro de dados __annotations__ manualmente. As melhores práticas para isto também mudaram no Python 3.10: a partir do Python 3.10, o.__annotations__ é garantido sempre funcionar em funções, classes e módulos Python. Se você tem certeza que o objeto que você está examinando é um desses três exatos objetos, pode simplesmente usar o.__annotations__ para chegar no dicionário de anotações do objeto.

Contudo, outros tipos de chamáveis – por exemplo, chamáveis criados por functools.partial() – podem não ter um atributo __annotations__ definido. Ao acessar o __annotations__ de um objeto possivelmente desconhecido, as melhores práticas nas versões de Python 3.10 e mais novas é chamar getattr() com três argumentos, por exemplo getattr(o, '__annotations__', None).

Antes de Python 3.10, acessar __annotations__ numa classe que não define anotações mas que possui uma classe base com anotações retorna o __annotations__ da classe pai. A partir do Python 3.10, a anotação da classe filha será um dicionário vazio.

Acessando o dicionário de anotações de um objeto no Python 3.9 e nas versões mais antigas

Em Python 3.9 e versões mais antigas, acessar o dicionário de anotações de um objeto é muito mais complicado que em versões mais novas. O problema é uma falha de design em versões mais antigas do Python, especificamente a respeito de anotações de classe.

As melhores práticas para acessar os dicionários de anotações de outros objetos, funções, outros chamáveis e módulos - são as mesmas melhores práticas para 3.10, supondo que você não esteja chamando inspect.get_annotations(): você deve usar a função getattr() com três argumentos para acessar os atributos do objeto __annotations__.

Infelizmente, essas não são as melhores práticas para classes. O problema é que, como __annotations__ é opcional nas classes, e posto que classes podem herdar atributos das suas classes base, acessar o atributo __annotations__ de uma classe pode inesperadamente retornar o dicionário de anotações de uma classe base. Por exemplo:

class Base:
    a: int = 3
    b: str = 'abc'

class Derived(Base):
    pass

print(Derived.__annotations__)

Isso mostrará o dicionário de anotações de Base, não de Derived.

Seu código terá que ter um caminho de código separado se o objeto que você está examinando for uma classe (isinstance(o, type)). Nesse caso, a melhor prática depende de um detalhe de implementação do Python 3.9 e anteriores: se uma classe tiver anotações definidas, elas serão armazenadas no dicionário __dict__ da classe. Como a classe pode ou não ter anotações definidas, a melhor prática é chamar o método get() no dict da classe.

Considerando tudo isso, aqui está um exemplo de código que acessa de forma segura o atributo __annotations__ em um objeto arbitrário em Python 3.9 e anteriores:

if isinstance(o, type):
    ann = o.__dict__.get('__annotations__', None)
else:
    ann = getattr(o, '__annotations__', None)

Após executar este código, ann deve ser um dicionário ou None. Você é encorajado a fazer uma checagem dupla do tipo de ann utilizando isinstance() antes de uma análise mais aprofundada.

Observe que alguns objetos de tipos exóticos ou malformados podem não ter atributo um __dict__, portanto, para maior segurança, talvez você também queira usar getattr() para acessar __dict__.

Recuperando manualmente anotações transformadas em strings

Em situações em que as anotações podem ter sido transformadas em strings, e caso queira avaliar essas strings para produzir os valores de Python que elas representam, é melhor chamar inspect.get_annotations() para fazer isto por você.

Se estiver usando Python 3.9 ou anterior, ou por algum motivo não puder usar inspect.get_annotations(), será necessário replicar sua lógica. Considere examinar a implementação de inspect.get_annotations() na versão de Python atual e seguir uma abordagem similar.

Resumindo, caso deseje avaliar uma anotação transformada em string em um objeto arbitrário o:

Se o for um módulo, use o.__dict__ como globals ao chamar eval().

Se o for uma classe, use sys.modules[o.__module__].__dict__ como globals, e dict(vars(o)) como locals, quando chamar eval().

Se o for um chamável envolto em um invólucro usando functools.update_wrapper(), functools.wraps() ou functools.partial(), desenvolva-o iterativamente acessando o.__wrapped__ ou o.func conforme apropriado, até encontrar a função raiz.

Caso o seja chamável (mas não uma classe), use o.__globals__ como globals quando chamar eval().

Contudo, nem todas strings usadas como anotações podem ser convertidas em valores de Python utilizando eval(). Valores de string poderiam teoricamente conter qualquer string válida, e na prática existem casos válidos para dicas de tipo que requerem anotar com valores de strings que não podem ser executados. Por exemplo:

Tipos de união PEP 604 [https://peps.python.org/pep-0604/] usando |, antes do suporte a isso ser adicionado em Python 3.10.

Definições que não são necessárias no ambiente de execução, apenas importadas quando typing.TYPE_CHECKING é verdadeiro.

Caso eval() tente executar tais valores, levantará uma exceção. Então, quando projetar uma biblioteca API que trabalha com anotações, é recomendado que tente executar os valores das strings apenas quando for solicitado explicitamente.

Melhores práticas para __annotations__ em qualquer versão Python

Evite atribuir diretamente ao membro __annotations__ dos objetos. Deixe que Python gerenciar a configuração de __annotations__.

Se você atribuir diretamente ao membro __annotations__ do objeto, sempre o defina como um objeto dict.

Caso acesse diretamente o membro __annotations__ de um objeto, certifique-se de que ele é um dicionário antes de tentar examinar seu conteúdo.

Evite modificar o dicionário __annotations__.

Evite deletar o atributo __annotations__ de um objeto.

Peculiaridades de __annotations__

Em todas as versões de Python 3, objetos de função criam preguiçosamente um dicionário de anotações caso nenhuma anotação seja definida nesse objeto. Você pode deletar o atributo __annotations__ utilizando del fn.__annotations__, mas ao acessar fn.__annotations__ o objeto criará um novo dicionário vazio que será armazenado e retornado como suas anotações. Apagar as anotações de uma função antes que ela tenha criado preguiçosamente seu dicionário de anotações irá produzir um AttributeError; ao utilizar del fn.__annotations__ duas vezes em sequência, é garantido que será produzido um AttributeError.

O citado no parágrafo acima também se aplica para classes e objetos de módulo em Python 3.10 e posteriores.

Em todas as versões de Python 3, você pode definir __annotations__ como None em um objeto de função. Contudo, acessar em sequência as anotações nesse objeto utilizando fn.__annotations__ irá criar preguiçosamente um dicionário vazio como descrito no primeiro parágrafo dessa seção. Isso não é válido para módulos e classes, em qualquer versão de Python; esses objetos permitem atribuir __annotations__ a qualquer valor de Python, e armazenam qualquer valor atribuído.

Se Python transformar sua anotação em string (utilizando from __future__ import annotations), e você especificar uma string como anotação, essa string será posta entre aspas. Na prática a anotação receberá aspas duplas. Por exemplo:

from __future__ import annotations
def foo(a: "str"): pass

print(foo.__annotations__)

Isso exibe {'a': "'str'"}. Não considere isso como uma “peculiaridade”; foi mencionado aqui simplesmente porque pode ser surpreendente.

Isolando módulos de extensão

Resumo

Tradicionalmente, o estado que pertence a módulos de extensão do Python era mantido em variáveis static em C, que têm escopo em todo o processo. Este documento descreve problemas de tal estado por processo e apresenta um modo mais seguro: o estado por módulo.

O documento também descreve como migrar para o uso do estado por módulo onde for possível. Essa transição envolve alocar espaço para este estado, potencialmente trocar tipos estáticos por tipos no heap, e—talvez o mais importante—acessar o estado por módulo a partir do código.

Quem deveria ler isto

Este guia é escrito para mantenedores de extensões que usam a API C que desejam torná-las mais seguras para o uso em aplicações onde o Python em si é usado como uma biblioteca.

Informações preliminares

Um interpretador é o contexto no qual o código Python é executado. Ele contém estado de configuração (por exemplo o caminho de importação) e de tempo de execução (por exemplo o conjunto de módulos importados).

O Python provê suporte para executar múltiplos interpretadores em um processo. Dois casos devem ser considerados—usuários podem executar interpretadores:

em sequência, com vários ciclos de Py_InitializeEx()/Py_FinalizeEx(), e

em paralelo, gerenciando “sub-interpretadores” usando Py_NewInterpreter()/Py_EndInterpreter().

Ambos os casos (e combinações deles) são muito úteis ao embutir o Python em uma biblioteca. Bibliotecas geralmente não devem fazer suposições sobre a aplicação que as usa, o que inclui supor um “interpretador Python principal” para o processo inteiro.

Historicamente, módulos de extensão do Python não lidam bem com este caso de uso. Muitos módulos de extensão (e até alguns módulos da biblioteca padrão) usam estado global por processo, uma vez que variáveis static do C são extremamente fáceis de se usar. Assim, dados que deveriam ser específicos para um interpretador acabam sendo compartilhados entre interpretadores. A menos que o desenvolvedor da extensão tenha cuidado, é muito fácil criar casos particulares que acabam quebrando o processo quando um módulo é carregado em mais de um interpretador no mesmo processo.

Infelizmente, não é fácil fazer o estado por interpretador. Autores de extensões tendem a não ter múltiplos interpretadores em mente ao desenvolver, e no momento é complicado testar este comportamento.

Entra o estado por módulo

Ao invés de focar no estado por interpretador, a API C do Python está evoluindo para melhor suportar o estado por módulo, que é mais granular. Isso significa que dados a nível do C devem estar atrelados a um objeto de módulo. Cada interpretador cria o seu próprio objeto de módulo, garantindo assim a separação dos dados. Para testar o isolamento, múltiplos objetos de módulo correspondentes a uma única extensão podem até ser carregados em um único interpretador.

O estado por módulo fornece um modo fácil de pensar sobre tempos de vida e posse de recursos: o módulo de extensão será inicializado quando um objeto de módulo for criado, e limpado quando ele for liberado. Nesse sentido, um módulo funciona como qualquer outro PyObject*; não há ganchos “de desligamento do interpretador” a serem considerados—ou esquecidos.

Note que há casos de uso para diferentes tipos de “objetos globais”: estado por processo, por interpretador, por thread, ou por tarefa. Com o estado por módulo como padrão, as outras formas ainda são possíveis, mas devem ser tratadas como casos excepcionais: se você precisar delas, você deve tomar cuidados adicionais e escrever mais testes. (Note que este guia não cobre tais medidas.)

Objetos de módulo isolados

O ponto chave de se manter em mente ao desenvolver um módulo de extensão é que vários objetos de módulo podem ser criados a partir de uma única biblioteca compartilhada. Por exemplo:

>>> import sys
>>> import binascii
>>> old_binascii = binascii
>>> del sys.modules['binascii']
>>> import binascii  # cria um novo objeto do módulo
>>> old_binascii == binascii
False

Como regra geral, os dois módulos devem ser completamente independentes. Todos os objetos e o estado específicos do módulo devem ser encapsulados no objeto de módulo, não devem ser compartilhados com outros objetos de módulo, e devem ser limpados quando o objeto de módulo for desalocado. Uma vez que esta é somente uma regra geral, exceções são possíveis (veja Gerenciando estado global), mas elas necessitam mais cuidado e atenção a casos especiais.

Enquanto alguns módulos funcionariam bem com restrições menos rigorosas, isolar os módulos torna mais fácil definir expectativas claras e diretrizes que dão certo em uma variedade de casos de uso.

Casos particulares surpreendentes

Note que módulos isolados criam alguns casos particulares que podem acabar surpreendendo. O mais notável é que, tipicamente, cada objeto de módulo não vai compartilhar as suas classes e exceções com outros módulos similares. Continuando o exemplo acima, note old_binascii.Error e binascii.Error são objetos separados. No código a seguir, a exceção não é capturada:

>>> old_binascii.Error == binascii.Error
False
>>> try:
...     old_binascii.unhexlify(b'qwertyuiop')
... except binascii.Error:
...     print('boo')
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
binascii.Error: Non-hexadecimal digit found

Isso é esperado. Repare que módulos Python-puro se comportam do mesmo jeito: isso é parte de como o Python funciona.

O objetivo é fazer módulos de extensão seguros no nível do C, e não fazer gambiarras se comportarem de forma intuitiva. Modificar o sys.modules “manualmente” conta como uma gambiarra.

Fazendo módulos seguros com múltiplos interpretadores

Gerenciando estado global

Às vezes, o estado associado a um módulo Python não é específico àquele módulo, mas ao processo inteiro (ou a alguma outra coisa “mais global” que um módulo). Por exemplo:

O módulo readline gerencia o terminal.

Um módulo executando em uma placa de circuito quer controlar o componente LED.

Nestes casos, o módulo Python deve prover acesso ao estado global, ao invés de possuí-lo. Se possível, escreva o módulo de forma que múltiplas cópias dele possam acessar o estado independentemente (junto com outras bibliotecas, sejam elas do Python ou de outras linguagens). Se isso não for possível, considere usar travas explícitas.

Se for necessário usar estado global para o processo, o jeito mais simples de evitar problemas com múltiplos interpretadores é prevenir explicitamente que o módulo seja carregado mais de uma vez por processo—veja Exclusão voluntária: limitando a um objeto de módulo por processo.

Gerenciando estado por módulo

Para usar estado por módulo, use inicialização multifásica de módulos de extensão. Assim, você sinaliza que o seu módulo suporta múltiplos interpretadores corretamente.

Defina PyModuleDef.m_size como um número positivo N para requerer N bytes de armazenamento local para o módulo. Geralmente, N será o tamanho de alguma struct específica para o módulo, a qual pode guardar todo o estado a nível de C do módulo. Em particular, é nela que você deve colocar ponteiros para classes (incluindo exceções, mas excluindo tipos estáticos) e configurações (por exemplo, field_size_limit no módulo csv) que o código C precisa para funcionar.

Nota

Outra opção é guardar estado no __dict__ do módulo, mas você deve evitar quebrar quando usuários modificarem o __dict__ a partir do código Python. Isso geralmente significa verificar tipos e erros no nível do C, o que é fácil de ser feito incorretamente e difícil de se testar suficientemente.

Entretanto, se o estado do módulo não for necessário para o código C, guardá-lo somente no __dict__ é uma boa ideia.

Se o estado do módulo inclui ponteiros para PyObject, o objeto de módulo deve conter referências a tais objetos e implementar os ganchos a nível de módulo m_traverse, m_clear e m_free. Eles funcionam como os tp_traverse, tp_clear e tp_free de uma classe. Adicioná-los requer algum trabalho e torna o código mais longo; é o preço de módulos que podem ser descarregados de forma limpa.

Um exemplo de módulo com estado por módulo está disponível atualmente como xxlimited [https://github.com/python/cpython/blob/master/Modules/xxlimited.c]; há um exemplo de inicialização do módulo no final do arquivo.

Exclusão voluntária: limitando a um objeto de módulo por processo

Um PyModuleDef.m_size não-negativo sinaliza que um módulo admite múltiplos interpretadores corretamente. Se este ainda não é o caso para o seu módulo, you pode explicitamente torná-lo carregável somente uma vez por processo. Por exemplo:

static int loaded = 0;

static int
exec_module(PyObject* module)
{
    if (loaded) {
        PyErr_SetString(PyExc_ImportError,
                        "cannot load module more than once per process");
        return -1;
    }
    loaded = 1;
    // ... o resto da inicialização
}

Acesso ao estado de módulo a partir de funções

É trivial acessar o estado a partir de funções a nível do módulo. Funções recebem o objeto de módulo como o primeiro argumento; para extrair o estado, você pode usar PyModule_GetState:

static PyObject *
func(PyObject *module, PyObject *args)
{
    my_struct *state = (my_struct*)PyModule_GetState(module);
    if (state == NULL) {
        return NULL;
    }
    // ... o resto da lógica
}

Nota

PyModule_GetState pode retornar NULL sem definir uma exceção se não houver estado de módulo, ou seja se PyModuleDef.m_size for zero. No seu próprio módulo, você controla o m_size, de forma que isso é fácil de prevenir.

Tipos no heap

Tradicionalmente, tipos definidos em C são estáticos; isto é, estruturas static PyTypeObject definidas diretamente em código e inicializadas usando PyType_Ready().

Tais tipos são necessariamente compartilhados pelo processo inteiro. Compartilhá-los entre objetos de módulo requer atenção a qualquer estado que eles possuam ou acessem. Para limitar potenciais problemas, tipos estáticos são imutáveis a nível do Python: por exemplo, você não pode atribuir str.meuatributo = 123.

Detalhes da implementação do CPython: Não há problema em compartilhar objetos verdadeiramente imutáveis entre interpretadores, desde que através deles não seja possível acessar outros objetos mutáveis. De toda forma, no CPython, todo objeto Python tem um detalhe de implementação mutável: o contador de referências. Mudanças no refcount são protegidas pelo GIL. Logo, todo código que compartilha um objeto Python entre interpretadores depende implicitamente do atual GIL do CPython (que é global a nível de processo).

Por ser imutável e global no processo, um tipo estático não pode acessar o estado do “seu” módulo. Se um método de tal tipo precisar de acesso ao estado do módulo, o tipo precisa ser convertido para um tipo alocado no heap, ou, abreviando, tipo no heap. Tipos no heap correspondem mais fielmente a classes criadas pela instrução class do Python.

Para módulos novos, usar tipos no heap por padrão é uma boa regra geral.

Mudando tipos estáticos para tipos no heap

Tipos estáticos podem ser convertidos para tipos no heap, mas note que a API de tipos no heap não foi projetada para conversão “sem perda” de tipos estáticos—isto é, para criar um tipo que funciona exatamente como um dado tipo estático. Então, ao reescrever a definição de classe em uma nova API, é provável que você altere alguns detalhes sem querer (por exemplo, se o tipo é serializável em pickle ou não, ou slots herdados). Sempre teste os detalhes que são importantes para você.

Fique atento em particular aos dois pontos a seguir (mas note the esta não é uma lista completa):

Ao contrário de tipos estáticos, tipos no heap são mutáveis por padrão. Use o sinalizador Py_TPFLAGS_IMMUTABLETYPE para impedir a mutabilidade.

Tipos no heap herdam tp_new por padrão, e portanto eles podem passar a ser instanciáveis a partir de código Python. Você pode impedir isso com o sinalizador Py_TPFLAGS_DISALLOW_INSTANTIATION.

Definindo tipos no heap

Tipos no heap podem ser criados preenchendo uma estrutura PyType_Spec, uma descrição ou “diagrama” de uma classe, e chamando PyType_FromModuleAndSpec() para construir um novo objeto classe.

Nota

Outras funções, como PyType_FromSpec(), também podem criar tipos no heap, mas PyType_FromModuleAndSpec() associa a classe ao módulo, permitindo acesso ao estado do módulo a partir dos métodos.

A classe deve em geral ser guardada tanto no estado do módulo (para acesso seguro a partir do C) quanto no __dict__ do módulo (para acesso a partir de código Python).

Protocolo de recolhimento de lixo

Instâncias de tipos no heap contêm referências aos seus tipos. Isso garante que o tipo não é destruído antes que todas as suas instâncias sejam, mas pode resultar em ciclos de referência que precisam ser quebrados pelo coletor de lixo.

Para evitar vazamentos de memória, instâncias de tipos no heap precisam implementar o protocolo de recolhimento de lixo. Isto é, tipos no heap devem:

Ter o sinalizador Py_TPFLAGS_HAVE_GC.

Definir uma função de travessia usando Py_tp_traverse, que visita o tipo (por exemplo, usando Py_VISIT(Py_TYPE(self))).

Por favor veja a documentação de Py_TPFLAGS_HAVE_GC e de tp_traverse para considerações adicionais.

A API para definir tipos no heap cresceu organicamente, o que resultou em um status quo no qual usá-la pode ser um pouco confuso. As seções a seguir vão lhe guiar pelos problemas mais comuns.

tp_traverse no Python 3.8 e anteriores

O requerimento de o tp_traverse visitar o tipo foi adicionado no Python 3.9. Se você suporta Python 3.8 e anteriores, a função de travessia não deve visitar o tipo, de forma que ela precisa ser mais complicada:

static int my_traverse(PyObject *self, visitproc visit, void *arg)
{
    if (Py_Version >= 0x03090000) {
        Py_VISIT(Py_TYPE(self));
    }
    return 0;
}

Infelizmente, o símbolo Py_Version foi adicionado somente no Python 3.11. Para substituí-lo, use:

PY_VERSION_HEX, caso não esteja usando a ABI estável, ou

sys.version_info (via PySys_GetObject() e PyArg_ParseTuple()).

Delegando a função tp_traverse

Se a sua função de travessia delega para a tp_traverse da sua classe base (ou de outro tipo), certifique-se de que Py_TYPE(self) seja visitado apenas uma vez. Observe que somente tipos no heap devem visitar o tipo em tp_traverse.

Por exemplo, se a sua função de travessia incluir:

base->tp_traverse(self, visit, arg)

…e base puder ser um tipo estático, então ela também precisa incluir:

if (base->tp_flags & Py_TPFLAGS_HEAPTYPE) {
    // uma tp_traverse do tipo heap já visitou Py_TYPE(self)
} else {
    if (Py_Version >= 0x03090000) {
        Py_VISIT(Py_TYPE(self));
    }
}

Não é necessário mexer na contagem de referências do tipo em tp_new e tp_clear.

Definindo tp_dealloc

Se o seu tipo tem uma função tp_dealloc customizada, ele precisa:

chamar PyObject_GC_UnTrack() antes que quaisquer campos sejam invalidados, e

decrementar o contador de referências do tipo.

Para que o tipo permaneça válido durante o tp_free, o refcount do tipo precisa ser decrementado depois de a instância ser liberada. Por exemplo:

static void my_dealloc(PyObject *self)
{
    PyObject_GC_UnTrack(self);
    ...
    PyTypeObject *type = Py_TYPE(self);
    type->tp_free(self);
    Py_DECREF(type);
}

A função tp_dealloc padrão faz isso, de forma que se o seu tipo não a substitui você não precisa se preocupar.

Evitar substituir tp_free

O slot tp_free de um tipo no heap deve ser PyObject_GC_Del(). Este é o padráo; não o substitua.

Evitar PyObject_New

Objetos rastreados pelo GC precisam ser alocados usando funções que reconheçam o GC.

Se você usaria PyObject_New() ou PyObject_NewVar():

Se possível, chame o slot tp_alloc do tipo. Isto é, troque TYPE *o = PyObject_New(TYPE, typeobj) por:

TYPE *o = typeobj->tp_alloc(typeobj, 0);

No lugar de o = PyObject_NewVar(TYPE, typeobj, size), use também a forma acima, mas com size ao invés do 0.

Se isso não for possível (por exemplo, dentro de um tp_alloc customizado), chame PyObject_GC_New() or PyObject_GC_NewVar():

TYPE *o = PyObject_GC_New(TYPE, typeobj);

TYPE *o = PyObject_GC_NewVar(TYPE, typeobj, size);

Acessando o estado do módulo a partir de classes

Dado um objeto de tipo definido com PyType_FromModuleAndSpec(), você pode chamar PyType_GetModule() para acessar o módulo associado, e então PyModule_GetState() para acessar o estado do módulo.

Para evitar o tedioso código de tratamento de erros de sempre, você pode combinar essas duas etapas com o PyType_GetModuleState() assim:

my_struct *state = (my_struct*)PyType_GetModuleState(type);
if (state == NULL) {
    return NULL;
}

Acesso ao estado do módulo a partir de métodos regulares

Acessar o estado do módulo a partir de métodos de uma classe já é um pouco mais complicado, mas passou a ser possível graças à API introduzida no Python 3.9. Para conseguir o estado, é necessário primeiro acessar a classe definidora, e então obter o estado do módulo a partir dela.

O maior obstáculo é encontrar a classe na qual um método foi definido, ou, abreviando, a classe definidora desse método. A classe definidora pode guardar uma referência para o módulo do qual ela é parte.

Não confunda a classe definidora com Py_TYPE(self). Se o método for chamado em uma subclasse do seu tipo, Py_TYPE(self) será uma referência àquela subclasse, a qual pode ter sido definida em um módulo diferente do seu.

Nota

O código Python a seguir ilustra esse conceito. Base.get_defining_class retorna Base mesmo quando type(self) == Sub:

class Base:
    def get_type_of_self(self):
        return type(self)

    def get_defining_class(self):
        return __class__

class Sub(Base):
    pass

Para um método acessar a sua “classe definidora”, ele precisa usar a convenção de chamada METH_METHOD | METH_FASTCALL | METH_KEYWORDS e a assinatura PyCMethod correspondente:

PyObject *PyCMethod(
    PyObject *self,               // objeto onde o módulo foi chamado
    PyTypeObject *defining_class, // classe definidora
    PyObject *const *args,        // vetor C de argumentos
    Py_ssize_t nargs,             // comprimento de "args"
    PyObject *kwnames)            // NULL, ou dicionário de argumentos nomeados

Uma vez que vc tem a classe definidora, chame PyType_GetModuleState() para obter o estado do módulo associado a ela.

Por exemplo:

static PyObject *
example_method(PyObject *self,
        PyTypeObject *defining_class,
        PyObject *const *args,
        Py_ssize_t nargs,
        PyObject *kwnames)
{
    my_struct *state = (my_struct*)PyType_GetModuleState(defining_class);
    if (state == NULL) {
        return NULL;
    }
    ... // rest of logic
}

PyDoc_STRVAR(example_method_doc, "...");

static PyMethodDef my_methods[] = {
    {"example_method",
      (PyCFunction)(void(*)(void))example_method,
      METH_METHOD|METH_FASTCALL|METH_KEYWORDS,
      example_method_doc}
    {NULL},
}

Acesso ao estado do módulo a partir de métodos slot, getters e setters

Nota

Adicionado na versão 3.11

Métodos slot—os métodos rápidos em C equivalentes aos métodos especiais, como nb_add para __add__ ou tp_new para inicialização—têm uma API muito simples que não permite passar a classe definidora, ao contrário do PyCMethod. O mesmo vale para getters e setters definidos com PyGetSetDef.

Para acessar o estado do módulo nesses casos, use a função PyType_GetModuleByDef(), e passe a definição do módulo. Uma vez encontrado o módulo, chame PyModule_GetState() para obter o estado:

PyObject *module = PyType_GetModuleByDef(Py_TYPE(self), &module_def);
my_struct *state = (my_struct*)PyModule_GetState(module);
if (state == NULL) {
    return NULL;
}

Essa função PyType_GetModuleByDef() funciona procurando na ordem de resolução de métodos (isto é, todas as superclasses) a primeira superclasse que tem um módulo correspondente.

Nota

Em casos muito exóticos (cadeias hereditárias espalhadas através de múltiplos módulos criados a partir da mesma definição), a PyType_GetModuleByDef() pode não retornar o módulo da classe definidora correta. De todo modo, essa função sempre vai retornar um módulo com a mesma definição, garantindo um layout de memória C compatível.

Tempo de vida do estado do módulo

Quando um objeto de módulo é coletado como lixo, o seu estado de módulo é liberado. Para cada ponteiro para o estado do módulo (ou uma parte dele), é necessário possuir uma referência ao objeto de módulo.

Isso não costuma ser um problema, dado que tipos criados com PyType_FromModuleAndSpec(), bem como suas instâncias, guardam referências ao módulo. Mesmo assim, é necessário tomar cuidado com a contagem de referências ao referenciar o estado do módulo a partir de outros lugares, como funções de retorno para bibliotecas externas.

Problemas em aberto

Vários problemas relacionados aos estados por módulo e aos tipos no heap ainda estão em aberto.

O melhor lugar para discussões sobre como melhorar a situação é a lista de discussão do capi-sig [https://mail.python.org/mailman3/lists/capi-sig.python.org/].

Escopo por classe

Atualmente (desde o Python 3.11) não é possível anexar estado a tipos individuais sem depender de detalhes de implementação do CPython (os quais podem mudar no futuro—talvez, ironicamente, para possibilitar uma solução adequada para o escopo por classe).

Conversão sem perdas para tipos no heap

A API de tipos no heap não foi projetada para conversão “sem perdas” de tipos estáticos. isto é, para criar um tipo que funciona exatamente como um dado tipo estático.

Descritor de arquivo de temporizador

Versão:

1.13

Este documento discute o suporte do Python para o descritor de arquivo de temporizador do Linux.

Exemplos

O exemplo a seguir mostra como usar um descritor de arquivo de temporizador para executar uma função duas vezes por segundo:

# Scripts práticos devem realmente usar um timer sem bloqueio.
# Usamos um timer com bloqueio aqui para simplificar.
import os, time

# Cria um descritor de arquivo de temporizador
fd = os.timerfd_create(time.CLOCK_REALTIME)

# Inicia o temporizador em 1 segundo, com um intervalo de meio segundo
os.timerfd_settime(fd, initial=1, interval=0.5)

try:
    # Processa eventos do temporizador quatro vezes.
    for _ in range(4):
        # read() ser bloqueado até o temporizador expirar
        _ = os.read(fd, 8)
        print("Timer expired")
finally:
    # Lembre-se de fechar o descritor de arquivo de temporizador!
    os.close(fd)

Para evitar a perda de precisão causada pelo tipo float, os descritores de arquivos de temporizador permitem especificar a expiração inicial e o intervalo em nanossegundos inteiros com variantes _ns das funções.

Este exemplo mostra como epoll() pode ser usado com descritores de arquivo de temporizador para esperar até que o descritor de arquivo esteja pronto para leitura:

import os, time, select, socket, sys

# Create an epoll object
ep = select.epoll()

# In this example, use loopback address to send "stop" command to the server.
#
# $ telnet 127.0.0.1 1234
# Trying 127.0.0.1...
# Connected to 127.0.0.1.
# Escape character is '^]'.
# stop
# Connection closed by foreign host.
#
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind(("127.0.0.1", 1234))
sock.setblocking(False)
sock.listen(1)
ep.register(sock, select.EPOLLIN)

# Create timer file descriptors in non-blocking mode.
num = 3
fds = []
for _ in range(num):
    fd = os.timerfd_create(time.CLOCK_REALTIME, flags=os.TFD_NONBLOCK)
    fds.append(fd)
    # Register the timer file descriptor for read events
    ep.register(fd, select.EPOLLIN)

# Start the timer with os.timerfd_settime_ns() in nanoseconds.
# Timer 1 fires every 0.25 seconds; timer 2 every 0.5 seconds; etc
for i, fd in enumerate(fds, start=1):
    one_sec_in_nsec = 10**9
    i = i * one_sec_in_nsec
    os.timerfd_settime_ns(fd, initial=i//4, interval=i//4)

timeout = 3
try:
    conn = None
    is_active = True
    while is_active:
        # Wait for the timer to expire for 3 seconds.
        # epoll.poll() returns a list of (fd, event) pairs.
        # fd is a file descriptor.
        # sock and conn[=returned value of socket.accept()] are socket objects, not file descriptors.
        # So use sock.fileno() and conn.fileno() to get the file descriptors.
        events = ep.poll(timeout)

        # If more than one timer file descriptors are ready for reading at once,
        # epoll.poll() returns a list of (fd, event) pairs.
        #
        # In this example settings,
        #    1st timer fires every 0.25 seconds in 0.25 seconds. (0.25, 0.5, 0.75, 1.0, ...)
        #    2nd timer every 0.5 seconds in 0.5 seconds. (0.5, 1.0, 1.5, 2.0, ...)
        #    3rd timer every 0.75 seconds in 0.75 seconds. (0.75, 1.5, 2.25, 3.0, ...)
        #
        #    In 0.25 seconds, only 1st timer fires.
        #    In 0.5 seconds, 1st timer and 2nd timer fires at once.
        #    In 0.75 seconds, 1st timer and 3rd timer fires at once.
        #    In 1.5 seconds, 1st timer, 2nd timer and 3rd timer fires at once.
        #
        # If a timer file descriptor is signaled more than once since
        # the last os.read() call, os.read() returns the number of signaled
        # as host order of class bytes.
        print(f"Signaled events={events}")
        for fd, event in events:
            if event & select.EPOLLIN:
                if fd == sock.fileno():
                    # Check if there is a connection request.
                    print(f"Accepting connection {fd}")
                    conn, addr = sock.accept()
                    conn.setblocking(False)
                    print(f"Accepted connection {conn} from {addr}")
                    ep.register(conn, select.EPOLLIN)
                elif conn and fd == conn.fileno():
                    # Check if there is data to read.
                    print(f"Reading data {fd}")
                    data = conn.recv(1024)
                    if data:
                        # You should catch UnicodeDecodeError exception for safety.
                        cmd = data.decode()
                        if cmd.startswith("stop"):
                            print(f"Stopping server")
                            is_active = False
                        else:
                            print(f"Unknown command: {cmd}")
                    else:
                        # No more data, close connection
                        print(f"Closing connection {fd}")
                        ep.unregister(conn)
                        conn.close()
                        conn = None
                elif fd in fds:
                    print(f"Reading timer {fd}")
                    count = int.from_bytes(os.read(fd, 8), byteorder=sys.byteorder)
                    print(f"Timer {fds.index(fd) + 1} expired {count} times")
                else:
                    print(f"Unknown file descriptor {fd}")
finally:
    for fd in fds:
        ep.unregister(fd)
        os.close(fd)
    ep.close()

Este exemplo mostra como select() pode ser usado com descritores de arquivo de temporizador para esperar até que o descritor de arquivo esteja pronto para leitura:

import os, time, select, socket, sys

# In this example, use loopback address to send "stop" command to the server.
#
# $ telnet 127.0.0.1 1234
# Trying 127.0.0.1...
# Connected to 127.0.0.1.
# Escape character is '^]'.
# stop
# Connection closed by foreign host.
#
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind(("127.0.0.1", 1234))
sock.setblocking(False)
sock.listen(1)

# Create timer file descriptors in non-blocking mode.
num = 3
fds = [os.timerfd_create(time.CLOCK_REALTIME, flags=os.TFD_NONBLOCK)
       for _ in range(num)]
select_fds = fds + [sock]

# Start the timers with os.timerfd_settime() in seconds.
# Timer 1 fires every 0.25 seconds; timer 2 every 0.5 seconds; etc
for i, fd in enumerate(fds, start=1):
   os.timerfd_settime(fd, initial=i/4, interval=i/4)

timeout = 3
try:
    conn = None
    is_active = True
    while is_active:
       # Wait for the timer to expire for 3 seconds.
       # select.select() returns a list of file descriptors or objects.
       rfd, wfd, xfd = select.select(select_fds, select_fds, select_fds, timeout)
       for fd in rfd:
           if fd == sock:
               # Check if there is a connection request.
               print(f"Accepting connection {fd}")
               conn, addr = sock.accept()
               conn.setblocking(False)
               print(f"Accepted connection {conn} from {addr}")
               select_fds.append(conn)
           elif conn and fd == conn:
               # Check if there is data to read.
               print(f"Reading data {fd}")
               data = conn.recv(1024)
               if data:
                   # You should catch UnicodeDecodeError exception for safety.
                   cmd = data.decode()
                   if cmd.startswith("stop"):
                       print(f"Stopping server")
                       is_active = False
                   else:
                       print(f"Unknown command: {cmd}")
               else:
                   # No more data, close connection
                   print(f"Closing connection {fd}")
                   select_fds.remove(conn)
                   conn.close()
                   conn = None
           elif fd in fds:
               print(f"Reading timer {fd}")
               count = int.from_bytes(os.read(fd, 8), byteorder=sys.byteorder)
               print(f"Timer {fds.index(fd) + 1} expired {count} times")
           else:
               print(f"Unknown file descriptor {fd}")
finally:
    for fd in fds:
       os.close(fd)
    sock.close()
    sock = None

A Ordem de Resolução de Métodos do Python 2.3

Nota

Este é um documento histórico, fornecido como apêndice à documentação oficial. A ordem de resolução de métodos discutida aqui foi introduzida no Python 2.3, mas ainda é usada em versões posteriores – incluindo o Python 3.

por Michele Simionato [https://www.phyast.pitt.edu/~micheles/].

Resumo:

Este documento é destinado a programadores Python que desejam entender a ordem de resolução de métodos C3 usada no Python 2.3. Embora não seja destinado a iniciantes, é bastante pedagógico com muitos exemplos elaborados. Não tenho conhecimento de outros documentos publicamente disponíveis com o mesmo escopo, portanto devem ser úteis.

Aviso:

Eu doo este documento para a Python Software Foundation, sob a licença Python 2.3. Como de costume nestas circunstâncias, aviso o leitor que o que se segue deve estar correto, mas não dou nenhuma garantia. Use-o por sua própria conta e risco!

Reconhecimentos:

Todas as pessoas da lista de discussão do Python que me enviaram seu apoio. Paul Foley, que apontou várias imprecisões e me fez acrescentar a parte sobre ordem de precedência local. David Goodger pela ajuda com a formatação em reStructuredText. David Mertz pela ajuda com a edição. Finalmente, Guido van Rossum que adicionou com entusiasmo este documento à página inicial oficial do Python 2.3.

O início

Felix qui potuit rerum cognoscere causas – Virgilius

Tudo começou com uma postagem de Samuele Pedroni na lista de discussão de desenvolvimento Python [1]. Em sua postagem, Samuele mostrou que a ordem de resolução de métodos do Python 2.2 não é monotônica e propôs substituí-la pela ordem de resolução de métodos C3. Guido concordou com seus argumentos e, portanto, agora o Python 2.3 usa C3. O método C3 em si não tem nada a ver com Python, pois foi inventado por pessoas que trabalharam em Dylan e está descrito em um artigo destinado a lispers [2]. O presente artigo fornece uma discussão (espero) legível do algoritmo C3 para Pythonistas que desejam entender os motivos da mudança.

Primeiro de tudo, deixe-me salientar que o que vou dizer se aplica apenas às classes no novo estilo introduzidas no Python 2.2: classes clássicas mantêm sua antiga ordem de resolução de métodos, profundidade primeiro e depois da esquerda para a direita. Portanto, não há quebra de código antigo para classes clássicas; e mesmo que em princípio pudesse haver quebra de código para novas classes de estilo do Python 2.2, na prática os casos em que a ordem de resolução C3 difere da ordem de resolução de métodos do Python 2.2 são tão raros que nenhuma quebra real de código é esperada. Portanto:

Não tenha medo!

Além disso, a menos que você faça uso intenso de herança múltipla e tenha hierarquias não triviais, você não precisa entender o algoritmo C3 e pode facilmente pular este artigo. Por outro lado, se você realmente deseja saber como funciona a herança múltipla, este artigo é para você. A boa notícia é que as coisas não são tão complicadas quanto você imagina.

Deixe-me começar com algumas definições básicas.

Dada uma classe C em uma complicada hierarquia de herança múltipla, não é uma tarefa trivial especificar a ordem na qual os métodos são substituídos, ou seja, especificar a ordem dos ancestrais de C.

A lista dos ancestrais de uma classe C, incluindo a própria classe, ordenada do ancestral mais próximo ao mais distante, é chamada de lista de precedência de classe ou linearização de C.

A Ordem de Resolução de Métodos (em inglês Method Resolution Order, MRO) é o conjunto de regras que constroem a linearização. Na literatura Python, a expressão “a MRO de C” também é usada como sinônimo de linearização da classe C.

Por exemplo, no caso de hierarquia de herança única, se C é uma subclasse de C1 e C1 é uma subclasse de C2, então a linearização de C é simplesmente a lista [C, C1, C2]. No entanto, com múltiplas hierarquias de herança, a construção da linearização é mais complicada, pois é mais difícil construir uma linearização que respeite a ordem de precedência local e a monotonicidade.

Discutirei a ordem de precedência local mais tarde, mas posso dar aqui a definição de monotonicidade. Uma MRO é monotônico quando o seguinte é verdadeiro: se C1 precede C2 na linearização de C, então C1 precede C2 na linearização de qualquer subclasse de C. Caso contrário, a operação inócua de derivar uma nova classe poderia alterar a ordem de resolução dos métodos, potencialmente introduzindo bugs muito sutis. Exemplos onde isso acontece serão mostrados posteriormente.

Nem todas as classes admitem uma linearização. Existem casos, em hierarquias complicadas, em que não é possível derivar uma classe tal que a sua linearização respeite todas as propriedades desejadas.

Aqui dou um exemplo desta situação. Considere a hierarquia

>>> O = object
>>> class X(O): pass
>>> class Y(O): pass
>>> class A(X,Y): pass
>>> class B(Y,X): pass

que pode ser representada com o seguinte grafo de herança, onde denotamos com O a classe object, que é o início de qualquer hierarquia para classes de novo estilo:

 -----------
|           |
|    O      |
|  /   \    |
 - X    Y  /
   |  / | /
   | /  |/
   A    B
   \   /
     ?

Neste caso, não é possível derivar uma nova classe C de A e B, pois X precede Y em A, mas Y precede X em B, portanto a ordem de resolução de métodos seria ambígua em C.

Python 2.3 levanta uma exceção nesta situação (TypeError: MRO conflict among bases Y, X) proibindo o programador ingênuo de criar hierarquias ambíguas. Em vez disso, o Python 2.2 não levanta uma exceção, mas escolhe uma ordem ad hoc (CABXYO neste caso).

A ordem de resolução de métodos C3

Deixe-me apresentar algumas notações simples que serão úteis para a discussão a seguir. Usarei a notação de atalho:

C1 C2 ... CN

para indicar a lista de classes [C1, C2, … , CN].

head da lista é o seu primeiro elemento:

head = C1

enquanto tail é o resto da lista:

tail = C2 ... CN.

Também usarei a notação:

C + (C1 C2 ... CN) = C C1 C2 ... CN

para denotar a soma das listas [C] + [C1, C2, …, CN].

Agora posso explicar como funciona a MRO no Python 2.3.

Considere uma classe C em uma hierarquia de herança múltipla, com C herdando das classes base B1, B2, …, BN. Queremos calcular a linearização L[C] da classe C. A regra é a seguinte:

a linearização de C é a soma de C mais a mesclagem das linearizações dos pais e da lista dos pais.

Em notação simbólica:

L[C(B1 ... BN)] = C + merge(L[B1] ... L[BN], B1 ... BN)

Em particular, se C é a classe object, que não tem pais, a linearização é trivial:

L[object] = object.

Contudo, em geral, deve-se calcular a mesclagem de acordo com a seguinte prescrição:

considere o topo da primeira lista, ou seja, L[B1][0]; se esse head não estiver no final de nenhuma das outras listas, então adicione-o à linearização de C e remova-o das listas na mesclagem, caso contrário olhe para o head da próxima lista e pegue-o, se for um bom head. Em seguida, repita a operação até que todas as classes sejam removidas ou seja impossível encontrar boas cabeças. Neste caso, é impossível construir a mesclagem, o Python 2.3 se recusará a criar a classe C e vai levantar uma exceção.

Esta prescrição garante que a operação de mesclagem preserva a ordem, se a ordem puder ser preservada. Por outro lado, se a ordem não puder ser preservada (como no exemplo de desacordo sério sobre ordem discutido acima), então a mesclagem não poderá ser calculada.

O cálculo da mesclagem é trivial se C tiver apenas um pai (herança única); nesse caso:

L[C(B)] = C + merge(L[B],B) = C + L[B]

No entanto, no caso de herança múltipla, as coisas são mais complicadas e não espero que você consiga entender a regra sem alguns exemplos ;-)

Exemplos

Primeiro exemplo. Considere a seguinte hierarquia:

>>> O = object
>>> class F(O): pass
>>> class E(O): pass
>>> class D(O): pass
>>> class C(D,F): pass
>>> class B(D,E): pass
>>> class A(B,C): pass

Neste caso, o grafo de herança pode ser desenhado como:

                          6
                         ---
Nível 3                 | O |                  (mais geral)
                      /  ---  \
                     /    |    \                      |
                    /     |     \                     |
                   /      |      \                    |
                  ---    ---    ---                   |
Nível 2        3 | D | 4| E |  | F | 5                |
                  ---    ---    ---                   |
                   \  \ _ /       |                   |
                    \    / \ _    |                   |
                     \  /      \  |                   |
                      ---      ---                    |
Nível 1            1 | B |    | C | 2                 |
                      ---      ---                    |
                        \      /                      |
                         \    /                      \ /
                           ---
Nível 0                 0 | A |                (mais especializada)
                           ---

As linearizações de O,D,E e F são triviais:

L[O] = O
L[D] = D O
L[E] = E O
L[F] = F O

A linearização de B pode ser calculada como:

L[B] = B + merge(DO, EO, DE)

Vemos que D é um bom head, portanto pegamos ele e ficamos reduzidos a calcular merge(O,EO,E). Agora O não é um bom head, pois está no tail da sequência EO. Neste caso a regra diz que temos que pular para a próxima sequência. Então vemos que E é um bom head; nós pegamos isso e somos reduzidos a calcular merge(O,O) que dá O. Portanto:

L[B] =  B D E O

Usando o mesmo procedimento encontra-se:

L[C] = C + merge(DO,FO,DF)
     = C + D + merge(O,FO,F)
     = C + D + F + merge(O,O)
     = C D F O

Agora podemos calcular:

L[A] = A + merge(BDEO,CDFO,BC)
     = A + B + merge(DEO,CDFO,C)
     = A + B + C + merge(DEO,DFO)
     = A + B + C + D + merge(EO,FO)
     = A + B + C + D + E + merge(O,FO)
     = A + B + C + D + E + F + merge(O,O)
     = A B C D E F O

Neste exemplo, a linearização é ordenada de maneira bastante agradável de acordo com o nível de herança, no sentido de que níveis mais baixos (ou seja, classes mais especializadas) têm precedência mais alta (veja o grafo de herança). No entanto, este não é o caso geral.

Deixo como exercício para o leitor calcular a linearização do meu segundo exemplo:

>>> O = object
>>> class F(O): pass
>>> class E(O): pass
>>> class D(O): pass
>>> class C(D,F): pass
>>> class B(E,D): pass
>>> class A(B,C): pass

A única diferença com o exemplo anterior é a mudança B(D,E) –> B(E,D); no entanto, mesmo uma pequena modificação muda completamente a ordem da hierarquia:

                           6
                          ---
Nível 3                  | O |
                       /  ---  \
                      /    |    \
                     /     |     \
                    /      |      \
                  ---     ---    ---
Nível 2        2 | E | 4 | D |  | F | 5
                  ---     ---    ---
                   \      / \     /
                    \    /   \   /
                     \  /     \ /
                      ---     ---
Nível 1            1 | B |   | C | 3
                      ---     ---
                       \       /
                        \     /
                          ---
Nível 0                0 | A |
                          ---

Observe que a classe E, que está no segundo nível da hierarquia, precede a classe C, que está no primeiro nível da hierarquia, ou seja, E é mais especializado que C, mesmo que esteja em um nível superior.

Um programador preguiçoso pode obter a MRO diretamente do Python 2.2, pois neste caso ela coincide com a linearização do Python 2.3. Basta invocar o método mro() da classe A:

>>> A.mro()
[<class 'A'>, <class 'B'>, <class 'E'>,
<class 'C'>, <class 'D'>, <class 'F'>,
<class 'object'>]

Finalmente, deixe-me considerar o exemplo discutido na primeira seção, envolvendo um sério desacordo de ordem. Neste caso, é simples calcular as linearizações de O, X, Y, A e B:

L[O] = 0
L[X] = X O
L[Y] = Y O
L[A] = A X Y O
L[B] = B Y X O

Porém, é impossível calcular a linearização para uma classe C que herda de A e B:

L[C] = C + merge(AXYO, BYXO, AB)
     = C + A + merge(XYO, BYXO, B)
     = C + A + B + merge(XYO, YXO)

Neste ponto não podemos mesclar as listas XYO e YXO, uma vez que X está no tail de YXO enquanto Y está no tail de XYO: portanto não há bons head e o algoritmo C3 para. Python 2.3 levanta um erro e se recusa a criar a classe C.

Ordens de resolução de métodos ruins

Uma MRO é ruim quando quebra propriedades fundamentais como ordem de precedência local e monotonicidade. Nesta seção, mostrarei que tanto a MRO para classes clássicas quanto a MRO para classes de novo estilo em Python 2.2 são ruins.

É mais fácil começar com a ordem de precedência local. Considere o seguinte exemplo:

>>> F=type('Food',(),{'remember2buy':'spam'})
>>> E=type('Eggs',(F,),{'remember2buy':'eggs'})
>>> G=type('GoodFood',(F,E),{}) # under Python 2.3 this is an error!

com diagrama de herança

                 O
                 |
(comprar spam)   F
                 | \
                 | E   (comprar ovos)
                 | /
                 G

        (comprar ovos ou spam ?)

Vemos que a classe G herda de F e E, com F antes de E: portanto, esperaríamos que o atributo G.remember2buy fosse herdado por F.rembermer2buy e não por E.remember2buy: no entanto, Python 2.2 dá

>>> G.remember2buy
'eggs'

Isto é uma quebra da ordem de precedência local, uma vez que a ordem na lista de precedência local, ou seja, a lista dos pais de G, não é preservada na linearização de G em Python 2.2:

L[G,P22]= G E F object   # F *segue* E

Pode-se argumentar que a razão pela qual F segue E na linearização do Python 2.2 é que F é menos especializado que E, uma vez que F é a superclasse de E; no entanto, a quebra da ordem de precedência local é bastante não intuitiva e sujeita a erros. Isto é particularmente verdadeiro porque é diferente das classes de estilo antigo:

>>> class F: remember2buy='spam'
>>> class E(F): remember2buy='eggs'
>>> class G(F,E): pass
>>> G.remember2buy
'spam'

Neste caso a MRO é GFEF e a ordem de precedência local é preservada.

Como regra geral, hierarquias como a anterior devem ser evitadas, uma vez que não está claro se F deve substituir E ou vice-versa. O Python 2.3 resolve a ambiguidade levantando uma exceção na criação da classe G, impedindo efetivamente o programador de gerar hierarquias ambíguas. A razão para isso é que o algoritmo C3 falha quando a mesclagem:

merge(FO,EFO,FE)

não puder ser calculada, porque F está no tail de EFO e E está no tail de FE.

A verdadeira solução é conceber uma hierarquia não ambígua, ou seja, derivar G de E e F (o mais específico primeiro) e não de F e E; neste caso a MRO é GEF, sem dúvida.

           O
           |
           F (spam)
         / |
(ovos)   E |
         \ |
           G
             (ovos, sem dúvida)

Python 2.3 força o programador a escrever boas hierarquias (ou, pelo menos, menos propensas a erros).

Falando nisso, deixe-me salientar que o algoritmo Python 2.3 é inteligente o suficiente para reconhecer erros óbvios, como a duplicação de classes na lista de pais:

>>> class A(object): pass
>>> class C(A,A): pass # error
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
TypeError: duplicate base class A

Python 2.2 (tanto para classes clássicas quanto para classes de novo estilo) nesta situação, não levantaria nenhuma exceção.

Por fim, gostaria de destacar duas lições que aprendemos com este exemplo:

apesar do nome, a MRO determina a ordem de resolução dos atributos, não apenas dos métodos;

o alimento padrão para Pythonistas é spam! (mas você já sabia disso ;-)

Tendo discutido a questão da ordem de precedência local, deixe-me agora considerar a questão da monotonicidade. Meu objetivo é mostrar que nem a MRO para classes clássicas nem para o novo estilo de classes do Python 2.2 são monotônicas.

Para provar que a MRO para classes clássicas não é monotônica é bastante trivial, basta olhar o diagrama em losango:

   C
  / \
 /   \
A     B
 \   /
  \ /
   D

Percebe-se facilmente a inconsistência:

L[B,P21] = B C        # B precede C : métodos de B venceram
L[D,P21] = D A C B C  # B segue C  : métodos de B venceram!

Por outro lado, não há problemas com as MROs do Python 2.2 e do 2.3, elas fornecem ambos:

L[D] = D A B C

Guido ressalta em seu ensaio [3] que a MRO clássica não é tão ruim na prática, já que normalmente se pode evitar losangos para classes clássicas. Mas todas as classes de novo estilo herdam de object, portanto os diamantes são inevitáveis e inconsistências aparecem em cada grafo de herança múltipla.

A MRO do Python 2.2 torna difícil quebrar a monotonicidade, mas não impossível. O exemplo a seguir, fornecido originalmente por Samuele Pedroni, mostra que a MRO do Python 2.2 não é monotônica:

>>> class A(object): pass
>>> class B(object): pass
>>> class C(object): pass
>>> class D(object): pass
>>> class E(object): pass
>>> class K1(A,B,C): pass
>>> class K2(D,B,E): pass
>>> class K3(D,A):   pass
>>> class Z(K1,K2,K3): pass

Aqui estão as linearizações de acordo com a MRO C3 (o leitor deverá verificar essas linearizações como exercício e desenhar o diagrama de herança ;-)

L[A] = A O
L[B] = B O
L[C] = C O
L[D] = D O
L[E] = E O
L[K1]= K1 A B C O
L[K2]= K2 D B E O
L[K3]= K3 D A O
L[Z] = Z K1 K2 K3 D A B C E O

Python 2.2 fornece exatamente as mesmas linearizações para A, B, C, D, E, K1, K2 e K3, mas uma linearização diferente para Z:

L[Z,P22] = Z K1 K3 A K2 D B C E O

É claro que esta linearização está errada, uma vez que A vem antes de D, enquanto na linearização de K3 A vem depois de D. Em outras palavras, em métodos K3 derivados de D substituem os métodos derivados de A, mas em Z, que ainda é uma subclasse de K3, os métodos derivados de A substituem os métodos derivados de D! Isto é uma violação da monotonicidade. Além disso, a linearização de Z do Python 2.2 também é inconsistente com a ordem de precedência local, uma vez que a lista de precedência local da classe Z é [K1, K2, K3] (K2 precede K3), enquanto na linearização de Z K2 segue K3 . Estes problemas explicam porque é que a regra do 2.2 foi rejeitada em favor da regra C3.

O fim

Esta seção é para o leitor impaciente, que passou direto por todas as seções anteriores e pulou imediatamente para o final. Esta seção também é para o programador preguiçoso, que não quer exercitar seu cérebro. Finalmente, é para o programador com alguma arrogância, caso contrário ele/ela não estaria lendo um artigo sobre a ordem de resolução de métodos C3 em múltiplas hierarquias de herança ;-) Essas três virtudes tomadas em conjunto (e não separadamente) merecem um prêmio: o prêmio é um pequeno script em Python 2.2 que permite calcular a MRO do 2.3 sem risco para o seu cérebro. Basta alterar a última linha para brincar com os vários exemplos que discuti neste artigo.:

#<mro.py>

"""Algoritmo C3 por Samuele Pedroni (com legibilidade melhorada por mim)."""

class __metaclass__(type):
    "Todas as classes são modificadas metamagicamente para serem impressas com aparência amigável"
    __repr__ = lambda cls: cls.__name__

class ex_2:
    "Desacordo de ordem grave" #por Guido
    class O: pass
    class X(O): pass
    class Y(O): pass
    class A(X,Y): pass
    class B(Y,X): pass
    try:
        class Z(A,B): pass #cria Z(A,B) no Python 2.2
    except TypeError:
        pass # Z(A,B) não pode ser criado no Python 2.3

class ex_5:
    "Meu primeiro exemplo"
    class O: pass
    class F(O): pass
    class E(O): pass
    class D(O): pass
    class C(D,F): pass
    class B(D,E): pass
    class A(B,C): pass

class ex_6:
    "Meu segundo exemplo"
    class O: pass
    class F(O): pass
    class E(O): pass
    class D(O): pass
    class C(D,F): pass
    class B(E,D): pass
    class A(B,C): pass

class ex_9:
    "Diferença entre MRO do Python 2.2 e o C3" #por Samuele
    class O: pass
    class A(O): pass
    class B(O): pass
    class C(O): pass
    class D(O): pass
    class E(O): pass
    class K1(A,B,C): pass
    class K2(D,B,E): pass
    class K3(D,A): pass
    class Z(K1,K2,K3): pass

def merge(seqs):
    print '\n\nCPL[%s]=%s' % (seqs[0][0],seqs),
    res = []; i=0
    while 1:
      nonemptyseqs=[seq for seq in seqs if seq]
      if not nonemptyseqs: return res
      i+=1; print '\n',i,'round: candidates...',
      for seq in nonemptyseqs: # encontra candidatos a mesclagem entre os heads da sequência
          cand = seq[0]; print ' ',cand,
          nothead=[s for s in nonemptyseqs if cand in s[1:]]
          if nothead: cand=None #rejeita candidato
          else: break
      if not cand: raise "Hierarquia inconsistente"
      res.append(cand)
      for seq in nonemptyseqs: # remove candidato
          if seq[0] == cand: del seq[0]

def mro(C):
    "Calcula a lista de precedência da classe (mro) conforme C3"
    return merge([[C]]+map(mro,C.__bases__)+[list(C.__bases__)])

def print_mro(C):
    print '\nMRO[%s]=%s' % (C,mro(C))
    print '\nP22 MRO[%s]=%s' % (C,C.mro())

print_mro(ex_9.Z)

#</mro.py>

Isso é tudo, pessoal!

Divirtam-se !

Recursos

[1]

O tópico no python-dev iniciado por Samuele Pedroni: https://mail.python.org/pipermail/python-dev/2002-October/029035.html

[2]

O artigo Uma Linearização Monotônica de Superclasses para Dylan, em inglês: https://doi.org/10.1145/236337.236343

[3]

Ensaio de Guido van Rossum, Unificando tipos e classes em Python 2.2, em inglês: https://web.archive.org/web/20140210194412/http://www.python.org/download/releases/2.2.2/descrintro

Suporte experimental do Python para threads livres

A partir da versão 3.13, o CPython tem suporte experimental para uma compilação do Python chamada threads livres (em inglês, free threading), onde a trava global do interpretador (GIL) está desabilitada. A execução com threads livres permite a utilização total do poder de processamento disponível, executando threads em paralelo nos núcleos de CPU disponíveis. Embora nem todos os softwares se beneficiem disso automaticamente, os programas projetados com uso de threads em mente serão executados mais rapidamente em hardware com vários núcleos.

O modo de threads livres é experimental e há um trabalho contínuo para melhorá-lo: espere alguns bugs e uma perda substancial no desempenho da thread única.

Este documento descreve as implicações de threads livres para o código Python. Veja Suporte a extensões da API C para threads livres para informações sobre como escrever extensões C que oferecem suporte à construção com threads livres.

Ver também

PEP 703 [https://peps.python.org/pep-0703/] – Tornando a trava global do interpretador opcional no CPython para uma descrição geral do Python com threads livres.

Instalação

A partir do Python 3.13, os instaladores oficiais do macOS e do Windows oferecem suporte opcional à instalação de binários Python com threads livres. Os instaladores estão disponíveis em https://www.python.org/downloads/.

Para obter informações sobre outras plataformas, consulte Instalando um Python com threads livres [https://py-free-threading.github.io/installing_cpython/], um guia de instalação mantido pela comunidade para instalar o Python com threads livres

Ao construir o CPython a partir do código-fonte, a opção de configuração --disable-gil deve ser usada para construir um interpretador Python com threads livres.

Identificando um Python com threads livres

Para verificar se o interpretador atual oferece suporte a threads livres, python -VV e sys.version contêm “experimental free-threading build”. A nova função sys._is_gil_enabled() pode ser usada para verificar se a GIL está realmente desabilitada no processo em execução.

A variável de configuração sysconfig.get_config_var("Py_GIL_DISABLED") pode ser usada para determinar se a compilação tem suporte a threads livres. Se a variável for definida como 1, a compilação tem suporte a threads livres. Este é o mecanismo recomendado para decisões relacionadas à configuração da construção.

A trava global do interpretador no Python com threads livres

Construções com threads livres do CPython oferecem suporte a opcionalmente executar com a GIL habilitada em tempo de execução usando a variável de ambiente PYTHON_GIL ou a opção de linha de comando -X gil.

A GIL também pode ser habilitada automaticamente ao importar um módulo de extensão da API C que não esteja explicitamente marcado como oferecendo suporte a threads livres. Um aviso será impresso neste caso.

Além da documentação de pacotes individuais, os seguintes sites rastreiam o status do suporte de pacotes populares para threads livres:

https://py-free-threading.github.io/tracking/

https://hugovk.github.io/free-threaded-wheels/

Segurança nas threads

A construção com threads livres do CPython visa fornecer comportamento de segurança às threads semelhante no nível do Python à construção padrão com GIL habilitada. Tipos embutidos como dict, list e set usam travas internas para proteger contra modificações simultâneas de maneiras que se comportam de forma semelhante à GIL. No entanto, o Python não garantiu historicamente um comportamento específico para modificações simultâneas a esses tipos embutidos, portanto, isso deve ser tratado como uma descrição da implementação atual, não uma garantia de comportamento atual ou futuro.

Nota

É recomendável usar threading.Lock ou outras primitivas de sincronização em vez de depender de travas internas de tipos embutidos, quando possível.

Limitações conhecidas

Esta seção descreve as limitações conhecidas da construção do Python com threads livres.

Imortalização

A construção com threads livres da versão 3.13 torna alguns objetos imortais. Objetos imortais não são desalocados e têm contagens de referência que nunca são modificadas. Isso é feito para evitar contenção de contagem de referências que impediria o dimensionamento multithread eficiente.

Um objeto será tornado imortal quando um novo thread for iniciado pela primeira vez após o thread principal estar em execução. Os seguintes objetos são imortalizados:

objetos função declarados no nível de módulo

descritores de métodos

objetos código

objetos módulo e seus dicionários

classes (objetos de tipo)

Como objetos imortais nunca são desalocados, aplicações que criam muitos objetos desses tipos podem ver aumento no uso de memória. Espera-se que isso seja resolvido na versão 3.14.

Além disso, literais numéricos e de string no código, bem como strings retornadas por sys.intern() também são imortalizados. Espera-se que esse comportamento permaneça na construção com threads livres do 3.14.

Objetos quadro

Não é seguro acessar objetos quadro de outros threads e fazer isso pode fazer com que seu programa trave. Isso significa que sys._current_frames() geralmente não é seguro para uso em uma construção com threads livres. Funções como inspect.currentframe() e sys._getframe() são geralmente seguras, desde que o objeto quadro resultante não seja passado para outro thread.

Iteradores

Compartilhar o mesmo objeto iterador entre vários threads geralmente não é seguro e os threads podem ver elementos duplicados ou ausentes ao iterar ou travar o interpretador.

Desempenho com thread única

A construção com threads livres tem sobrecarga adicional ao executar código Python em comparação com a construção padrão com GIL habilitada. Na versão 3.13, essa sobrecarga é de cerca de 40% no conjunto de ferramentas pyperformance [https://pyperformance.readthedocs.io/]. Programas que passam a maior parte do tempo em extensões C ou E/S verão menos impacto. O maior impacto é porque o interpretador adaptativo especializado (PEP 659 [https://peps.python.org/pep-0659/]) está desabilitado na construção com threads livres. Esperamos reabilitá-lo de forma segura para threads na versão 3.14. Espera-se que essa sobrecarga seja reduzida na próxima versão do Python. Estamos buscando uma sobrecarga de 10% ou menos no conjunto de ferramentas pyperformance em comparação com a construção padrão com GIL habilitada.

Suporte a extensões da API C para threads livres

A partir da versão 3.13, o CPython tem suporte experimental para execução com a trava global do interpretador (GIL) desabilitada em uma configuração chamada threads livres. Este documento descreve como adaptar extensões da API C para ter suporte a threads livres.

Identificando a construção com threads livres em C

A API C do CPython expõe a macro Py_GIL_DISABLED: na construção com threads livres ela está definida como 1, e na construção regular ela não está definida. Você pode usá-la para ativar o código que é executado apenas na construção de threads livres:

#ifdef Py_GIL_DISABLED
/* código que só vai ser executado na construção de threads livres */
#endif

Inicialização de módulo

Os módulos de extensão precisam indicar explicitamente que têm suporte à execução com a GIL desabilitada; caso contrário, importar a extensão levantará um aviso e ativará a GIL em tempo de execução.

Há duas maneiras de indicar que um módulo de extensão tem suporte à execução com a GIL desabilitada, dependendo se a extensão usa inicialização monofásica ou multifásica.

Inicialização multifásica

Extensões que usam inicialização multifásica (ou seja, PyModuleDef_Init()) devem adicionar um slot Py_mod_gil na definição do módulo. Se sua extensão tem suporte a versões mais antigas do CPython, você deve proteger o slot com uma verificação de PY_VERSION_HEX.

static struct PyModuleDef_Slot module_slots[] = {
    ...
#if PY_VERSION_HEX >= 0x030D0000
    {Py_mod_gil, Py_MOD_GIL_NOT_USED},
#endif
    {0, NULL}
};

static struct PyModuleDef moduledef = {
    PyModuleDef_HEAD_INIT,
    .m_slots = module_slots,
    ...
};

Inicialização monofásica

Extensões que usam inicialização monofásica (ou seja, PyModule_Create()) devem chamar PyUnstable_Module_SetGIL() para indicar que têm suporte à execução com a GIL desabilitada. A função é definida apenas na construção com threads livres, então você deve proteger a chamada com #ifdef Py_GIL_DISABLED para evitar erros de compilação na construção regular.

static struct PyModuleDef moduledef = {
    PyModuleDef_HEAD_INIT,
    ...
};

PyMODINIT_FUNC
PyInit_mymodule(void)
{
    PyObject *m = PyModule_Create(&moduledef);
    if (m == NULL) {
        return NULL;
    }
#ifdef Py_GIL_DISABLED
    PyUnstable_Module_SetGIL(m, Py_MOD_GIL_NOT_USED);
#endif
    return m;
}

Diretrizes gerais de API

A maior parte da API C é segura para thread, mas há algumas exceções.

Campos de structs: acessar campos em objetos ou structs da API C do Python diretamente não é seguro para thread se o campo puder ser modificado simultaneamente.

Macros: Macros de acesso como PyList_GET_ITEM e PyList_SET_ITEM não executam nenhuma verificação por erros e nenhum travamento. Essas macros não são seguras para thread se o objeto contêiner puder ser modificado simultaneamente.

Referências emprestadas: As funções da API C que retornam referências emprestadas podem não ser seguras para thread se o objeto que as contêm for modificado simultaneamente. Veja a seção sobre referências emprestadas para mais informações.

Segurança de threads de contêineres

Contêineres como PyListObject, PyDictObject e PySetObject executam uma trava interna na construção com threads livres. Por exemplo, PyList_Append() irá travar a lista antes de anexar um item.

PyDict_Next

Uma exceção notável é PyDict_Next(), que não trava o dicionário. Você deve usar Py_BEGIN_CRITICAL_SECTION para proteger o dicionário enquanto itera sobre ele se o dicionário puder ser modificado simultaneamente:

Py_BEGIN_CRITICAL_SECTION(dict);
PyObject *key, *value;
Py_ssize_t pos = 0;
while (PyDict_Next(dict, &pos, &key, &value)) {
    ...
}
Py_END_CRITICAL_SECTION();

Referências emprestadas

Algumas funções da API C retornam referências emprestadas. Essas APIs não são seguras para thread se o objeto que as contém for modificado simultaneamente. Por exemplo, não é seguro usar PyList_GetItem() se a lista puder ser modificada simultaneamente.

A tabela a seguir lista algumas APIs de referências emprestadas e suas substituições que retornam referências fortes.

API de referências emprestadas

API de referências fortes

PyList_GetItem()

PyList_GetItemRef()

PyDict_GetItem()

PyDict_GetItemRef()

PyDict_GetItemWithError()

PyDict_GetItemRef()

PyDict_GetItemString()

PyDict_GetItemStringRef()

PyDict_SetDefault()

PyDict_SetDefaultRef()

PyDict_Next()

nenhuma (veja PyDict_Next)

PyWeakref_GetObject()

PyWeakref_GetRef()

PyWeakref_GET_OBJECT()

PyWeakref_GetRef()

PyImport_AddModule()

PyImport_AddModuleRef()

Nem todas as APIs que retornam referências emprestadas são problemáticas. Por exemplo, PyTuple_GetItem() é segura porque as tuplas são imutáveis. Da mesma forma, nem todos os usos das APIs acima são problemáticos. Por exemplo, PyDict_GetItem() é frequentemente usado para analisar dicionários de argumentos nomeados em chamadas de função; esses dicionários de argumentos nomeados efetivamente privados (não acessíveis por outros threads), portanto, usar referências emprestadas nesse contexto é seguro.

Algumas dessas funções foram adicionadas no Python 3.13. Você pode usar o pacote pythoncapi-compat [https://github.com/python/pythoncapi-compat] para fornecer implementações dessas funções para versões mais antigas do Python.

APIs de alocação de memória

A API C de gerenciamento de memória do Python fornece funções em três domínios de alocação diferentes: “raw”, “mem” e “object”. Para segurança de thread, a construção de threads livres requer que apenas objetos Python sejam alocados usando o domínio do objeto e que todos os objetos Python sejam alocados usando esse domínio. Isso difere das versões anteriores do Python, onde era apenas uma melhor prática e não um requisito estrito.

Nota

Procure usos de PyObject_Malloc() em sua extensão e verifique se a memória alocada é usada para objetos Python. Use PyMem_Malloc() para alocar buffers em vez de PyObject_Malloc().

APIs da GIL e de estado de threads

Python fornece um conjunto de funções e macros para gerenciar o estado de threads e a GIL, como:

PyGILState_Ensure() e PyGILState_Release()

PyEval_SaveThread() e PyEval_RestoreThread()

Py_BEGIN_ALLOW_THREADS e Py_END_ALLOW_THREADS

Estas funções ainda devem ser usadas na construção com threads livres para gerenciar o estado de threads mesmo quando a GIL está desabilitada. Por exemplo, se você criar uma thread fora do Python, você deve chamar PyGILState_Ensure() antes de chamar a API Python para garantir que a thread tenha um estado de thread válido para o Python.

Você deve continuar a chamar PyEval_SaveThread() ou Py_BEGIN_ALLOW_THREADS em torno de operações de travamento, como E/S ou aquisições de trava, para permitir que outras threads executem o coletor de lixo cíclico.

Protegendo o estado interno das extensões

Sua extensão pode ter um estado interno que foi previamente protegido pela GIL. Talvez seja necessário adicionar uma trava para proteger esse estado. A abordagem dependerá da sua extensão, mas alguns padrões comuns incluem:

Caches: caches globais são uma fonte comum de estado compartilhado. Considere usar uma trava para proteger o cache ou desativá-lo na construção com threads livres se o cache não for crítico para o desempenho.

Estado global: o estado global pode precisar ser protegido por uma trava ou movido para o armazenamento local do thread. C11 e C++11 fornecem thread_local ou _Thread_local para armazenamento local de thread [https://en.cppreference.com/w/c/language/storage_duration].

Construindo extensões para a construção com threads livres

As extensões da API C precisam ser construídas especificamente para a construção com threads livres. As wheels, bibliotecas compartilhadas e binários são indicados por um sufixo t.

pypa/manylinux [https://github.com/pypa/manylinux] oferece suporte à construção com threads livres, com o sufixo t, como python3.13t.

pypa/cibuildwheel [https://github.com/pypa/cibuildwheel] tem suporte à construção com threads livres se você definir CIBW_FREE_THREADED_SUPPORT [https://cibuildwheel.pypa.io/en/stable/options/#free-threaded-support].

API C limitada e ABI estável

A construção com threads livres não tem suporte atualmente à API C limitada ou à ABI estável. Se você usar setuptools [https://setuptools.pypa.io/en/latest/setuptools.html] para construir sua extensão e atualmente definir py_limited_api=True, você pode usar py_limited_api=not sysconfig.get_config_var("Py_GIL_DISABLED") para não usar a API limitada ao construir com a construção com threads livres.

Nota

Você precisará construir wheels separadas especificamente para a construção com threads livres. Se você usa atualmente a ABI estável, poderá continuar a construir uma única wheel para várias versões do Python sem threads livres.

Windows

Devido a uma limitação do instalador oficial do Windows, você precisará definir manualmente Py_GIL_DISABLED=1 ao construir extensões a partir do código-fonte.

Ver também

Portando módulos de extensão para oferecer suporte a threads livres [https://py-free-threading.github.io/porting/] (em inglês): Um guia de portabilidade mantido pela comunidade para autores de extensões.

Perguntas Frequentes Sobre Python

Python Geral

FAQ referente a Programação

FAQ sobre design e histórico

FAQ de Bibliotecas e Extensões

FAQ sobre Extensão/Incorporação

Python no Windows

FAQ da Interface Gráfica do Usuário

FAD de “Por que o Python está instalado em meu computador?”

Python Geral

Sumário

Python Geral

Informações gerais

O que é Python?

O que é a Python Software Foundation?

Existem restrições de direitos autorais sobre o uso de Python?

Em primeiro lugar, por que o Python foi desenvolvido?

Para o que Python é excelente?

Como funciona o esquema de numeração de versões do Python?

Como faço para obter uma cópia dos fonte do Python?

Como faço para obter a documentação do Python?

Eu nunca programei antes. Existe um tutorial básico do Python?

Existe um grupo de discussão ou lista de discussão dedicada ao Python?

Como faço para obter uma versão de teste beta do Python?

Como eu envio um relatório de erros e correções para o Python?

Existem alguns artigos publicados sobre o Python para que eu possa fazer referência?

Existem alguns livros sobre o Python?

Onde está armazenado o site www.python.org?

Por que o nome Python?

Eu tenho que gostar de “Monty Python’s Flying Circus”?

Python no mundo real

Quão estável é o Python?

Quantas pessoas usam o Python?

Existe algum projeto significativo feito em Python?

Quais são os novos desenvolvimentos esperados para o Python no futuro?

É razoável propor mudanças incompatíveis com o Python?

O Python é uma boa linguagem para quem está começando na programação agora?

Informações gerais

O que é Python?

O Python é uma linguagem de programação interpretada, interativa e orientada a objetos. O mesmo incorporou módulos, exceções, tipagem dinâmica, tipos de dados dinâmicos de alto nível e classes. Há suporte a vários paradigmas de programação além da programação orientada a objetos, tal como programação procedural e funcional. O Python fornece ao desenvolvedor um poder notável aliado a uma sintaxe simples de clara. Possui interfaces para muitas chamadas e bibliotecas do sistema, bem como para vários sistemas de janelas, e é extensível através de linguagem como o C ou C++. Também é utilizado como linguagem de extensão para aplicativos que precisam de uma interface programável. Finalmente, o Python é portátil: o mesmo pode ser executado em várias variantes do Unix, incluindo Linux e Mac, e no Windows.

Para saber mais, inicie pelo nosso tutorial O tutorial de Python. Os links do Beginner’s Guide to Python [https://wiki.python.org/moin/BeginnersGuide] para outros tutoriais introdutórios e recursos da linguagem Python.

O que é a Python Software Foundation?

O Python Software Foundation é uma organização independente e sem fins lucrativos que detém os direitos autorais sobre as versões 2.1 do Python e as mais recentes. A missão do PSF é avançar a tecnologia de código aberto relacionada à linguagem de programação Python e divulgar a utilização do Python. A página inicial do PSF pode ser acessada pelo link a seguir https://www.python.org/psf/.

Doações para o PSF estão isentas de impostos nos EUA. Se utilizares o Python e achares útil, contribua através da página de doação da PSF [https://www.python.org/psf/donations/].

Existem restrições de direitos autorais sobre o uso de Python?

Podemos fazer tudo o que quisermos com os fontes, desde que deixemos os direitos autorais e exibamos esses direitos em qualquer documentação sobre o Python que produzirmos. Se honrarmos as regras dos direitos autorais, não há quaisquer problema em utilizar o Python em versões comerciais, vendê-lo, copiá-lo na forma de código-fonte ou o seu binária (modificado ou não modificado), ou para vender produtos que incorporem o Python de alguma forma. Ainda gostaríamos de saber sobre todo o uso comercial de Python, é claro.

Veja a página da licença [https://docs.python.org/3/license.html] para encontrar mais explicações e um link para o texto completo da licença.

O logotipo do Python é marca registrada e, em certos casos, é necessária permissão para usá-la. Consulte a Política de Uso da Marca comercial [https://www.python.org/psf/trademarks/] para obter mais informações.

Em primeiro lugar, por que o Python foi desenvolvido?

Aqui está um resumo muito breve de como que tudo começou, escrito por Guido van Rossum:

Eu tive vasta experiência na implementação de linguagens interpretada no grupo ABC da CWI e, ao trabalhar com esse grupo, aprendi muito sobre o design de linguagens. Esta é a origem de muitos recursos do Python, incluindo o uso do recuo para o agrupamento de instruções e a inclusão de tipos de dados de alto nível (embora existam diversos detalhes diferentes em Python).

Eu tinha uma série de queixas sobre a linguagem ABC, mas também havia gostado de muitos das suas características. Era impossível estender ABC (ou melhorar a implementação) para remediar minhas queixas – na verdade, a falta de extensibilidade era um dos maiores problemas. Eu tinha alguma experiência com o uso de Modula-2+ e conversei com os designers do Modula-3 e li o relatório do Modula-3. Modula-3 foi a origem da sintaxe e semântica usada nas exceções, e alguns outros recursos do Python.

Eu estava trabalhando no grupo de sistema operacional distribuído da Amoeba na CWI. Precisávamos de uma maneira melhor de administrar o sistema do que escrevendo programas em C ou scripts para a shell Bourne, uma vez que o Amoeba tinha a sua própria interface de chamada do sistema, que não era facilmente acessível a partir do shell Bourne. Minha experiência com o tratamento de erros em Amoeba me conscientizou da importância das exceções como um recurso das linguagens de programação.

Percebi que uma linguagem de script com uma sintaxe semelhante a do ABC, mas com acesso às chamadas do sistema Amoeba, preencheria a necessidade. Percebi também que seria uma boa escrever uma linguagem específica para o Amoeba, então, decidi que precisava de uma linguagem realmente extensível.

Durante as férias do Natal de 1989, tive bastante tempo disponível e então decidi tentar a construção de algo. Durante o ano seguinte, continuei trabalhando em minhas horas vagas, e o Python foi usado no projeto Amoeba com crescente sucesso, e o feedback dos colegas me fez implementar muitas melhorias.

Em fevereiro de 1991, depois de mais de um ano de desenvolvimento, decidi publicar na USENET. O resto está no arquivo Misc/HISTORY.

Para o que Python é excelente?

Python é uma linguagem de programação de propósito geral, de alto nível e que pode ser aplicada em muitos tipos diferentes de problemas.

A linguagem vem com uma grande biblioteca padrão que abrange áreas como processamento de strings (expressões regulares, Unicode, cálculo de diferenças entre arquivos), protocolos de internet (HTTP, FTP, SMTP, XML-RPC, POP, IMAP), engenharia de software (testes de unidade , registro, criação de perfil, análise de código Python) e interfaces de sistema operacional (chamadas de sistema, sistemas de arquivos, soquetes TCP/IP). Veja o sumário de A Biblioteca Padrão do Python para ter uma ideia do que está disponível. Uma ampla variedade de extensões de terceiros também está disponível. Consulte o Python Package Index [https://pypi.org] para encontrar pacotes de seu interesse.

Como funciona o esquema de numeração de versões do Python?

As versões de Python são enumeradas como “A.B.C” ou “A.B”:

A é o número da versão principal - sendo incrementada apenas em grandes mudanças na linguagem.

B é o número da versão menor - sendo incrementada apenas para mudanças menos estruturais.

C é o número para micro versão – sendo incrementada apenas para lançamento com correção de bugs.

Nem todos as versões são lançamentos de correções de erros. Na corrida por um novo lançamento de funcionalidade, uma série de versões de desenvolvimento são feitas, denotadas como alfa, beta ou candidata. As versões alfa são lançamentos iniciais (early releases) em que as interfaces ainda não estão finalizadas; não é inesperado ver uma mudança de interface entre duas versões alfa. As betas são mais estáveis, preservando as interfaces existentes, mas possivelmente adicionando novos módulos, e as candidatas a lançamento são congeladas, sem alterações, exceto quando necessário para corrigir erros críticos.

As versões alpha, beta e candidata a lançamento possuem um sufixo adicional:

O sufixo para uma versão alfa é “aN” para algum número pequeno N.

O sufixo para uma versão beta é “bN” para algum número pequeno N.

O sufixo para um lançamento em versão candidata é “rcN” para algum número pequeno N.

Em outras palavras, todas as versões rotuladas como 2.0aN precedem as versões rotuladas como 2.0bN, que por sua vez precedem versões rotuladas como 2.0rcN, e estas precedem 2.0.

Também podemos encontrar números de versão com um sufixo “+”, por exemplo, “2.2+”. Estas são versões não lançadas, construídas diretamente do repositório de desenvolvimento do CPython. Na prática, após uma última versão menor, a versão é incrementada para a próxima versão secundária, que se torna a versão “a0”, por exemplo, “2.4a0”.

Veja o Developer’s Guide [https://devguide.python.org/developer-workflow/development-cycle/] para mais informações sobre o ciclo de desenvolvimento, e a PEP 387 [https://peps.python.org/pep-0387/] para aprender mais sobre a política de compatibilidade com versões anteriores do Python. Veja também a documentação para sys.version, sys.hexversion, e sys.version_info.

Como faço para obter uma cópia dos fonte do Python?

A última distribuição fonte do Python sempre está disponível no python.org, em https://www.python.org/downloads/. As últimas fontes de desenvolvimento podem ser obtidas em https://github.com/python/cpython/.

A distribuição fonte é um arquivo .tar com .gzip contendo o código-fonte C completo, a documentação formatada com o Sphinx, módulos de biblioteca Python, programas de exemplo e várias peças úteis de software livremente distribuível. A fonte compilará e executará sem a necessidade de configurações extras na maioria das plataformas UNIX.

Consulte a seção Introdução do Guia do Desenvolvedor Python [https://devguide.python.org/setup/] para obter mais informações sobre como obter o código-fonte e compilá-lo.

Como faço para obter a documentação do Python?

A documentação padrão para a versão atualmente estável do Python está disponível em https://docs.python.org/3/. Em PDF, texto simples e versões HTML para download também estão disponíveis em https://docs.python.org/3/download.html.

A documentação é escrita em reStructuredText e processada pela ferramenta de documentação Sphinx [https://www.sphinx-doc.org/]. Os fonte do reStructuredText para documentação fazem parte da distribuição fonte do Python.

Eu nunca programei antes. Existe um tutorial básico do Python?

Existem inúmeros tutoriais e livros disponíveis. A documentação padrão inclui O tutorial de Python.

Consulte o Guia do Iniciante [https://wiki.python.org/moin/BeginnersGuide] para encontrar informações para quem está começando agora na programação Python, incluindo uma lista com tutoriais.

Existe um grupo de discussão ou lista de discussão dedicada ao Python?

Existe um grupo de notícias comp.lang.python, e uma lista de discussão, python-list [https://mail.python.org/mailman/listinfo/python-list]. O grupo notícias e a lista de discussão são conectados um ou outro – se poderes ler as notícias, não será necessário se inscrever na lista de discussão. comp.lang.python possui bastante postagem, recebendo centenas de postagens todos os dias, e os leitores do Usenet geralmente são mais capazes de lidar com esse volume.

Os anúncios de novas versões do software e eventos podem ser encontrados em comp.lang.python.announce, uma lista moderada de baixo tráfego que recebe cerca de cinco postagens por dia. Está disponível como a lista de discussão python-announce [https://mail.python.org/mailman3/lists/python-announce-list.python.org/].

Mais informações sobre outras listas de discussão e grupos de notícias podem ser encontradas em https://www.python.org/community/lists/.

Como faço para obter uma versão de teste beta do Python?

As versões alfa e beta estão disponíveis em https://www.python.org/downloads/. Todos os lançamentos são anunciados nos grupos de notícias comp.lang.python e comp.lang.python.announce e na página inicial do Python em https://www.python.org/; um feed RSS de notícias está disponível.

Você também pode acessar a versão de desenvolvimento do Python através do Git. Veja O Guia do Desenvolvedor Python [https://devguide.python.org/] para detalhes.

Como eu envio um relatório de erros e correções para o Python?

Para relatar um bug ou enviar um patch, use o rastreador de problemas em https://github.com/python/cpython/issues.

Para mais informações sobre como o Python é desenvolvido, consulte o Guia do Desenvolvedor Python [https://devguide.python.org/].

Existem alguns artigos publicados sobre o Python para que eu possa fazer referência?

Provavelmente será melhor citar o seu livro favorito sobre o Python.

O primeiro artigo [https://ir.cwi.nl/pub/18204] sobre Python foi escrito em 1991 e atualmente se encontra bastante desatualizado.

Guido van Rossum e Jelke de Boer, “Interactively Testing Remote Servers Using the Python Programming Language”, CWI Quarterly, Volume 4, Edição 4 (dezembro de 1991), Amsterdam, pp. 283–303.q

Existem alguns livros sobre o Python?

Sim, há muitos publicados e muitos outros que estão sendo nesse momento escritos!! Veja o wiki python.org em https://wiki.python.org/moin/PythonBooks para obter uma listagem.

Você também pode pesquisar livrarias online sobre “Python” e filtrar as referências a respeito do Monty Python; ou talvez procure por “Python” e “linguagem”.

Onde está armazenado o site www.python.org?

A infraestrutura do projeto Python está localizada em todo o mundo e é gerenciada pela equipe de infraestrutura do Python. Detalhes aqui [https://infra.psf.io].

Por que o nome Python?

Quando o Guido van Rossum começou a implementar o Python, o mesmo também estava lendo os scripts publicados do “Monty Python’s Flying Circus” [https://en.wikipedia.org/wiki/Monty_Python], uma série de comédia da BBC da década de 1970. Van Rossum pensou que precisava de um nome curto, único e ligeiramente misterioso, então resolveu chamar a sua linguagem de Python.

Eu tenho que gostar de “Monty Python’s Flying Circus”?

Não, mas isso ajuda. :)

Python no mundo real

Quão estável é o Python?

Muito estável. Novos lançamentos estáveis são divulgados aproximadamente de 6 a 18 meses desde 1991, e isso provavelmente continuará. A partir da versão 3.9, o Python terá um novo grande lançamento a cada 12 meses (PEP 602 [https://peps.python.org/pep-0602/]).

Os desenvolvedores lançam versões bugfix de versões mais antigas, então a estabilidade dos lançamentos existentes melhora gradualmente. As liberações de correções de erros, indicadas por um terceiro componente do número da versão (por exemplo, 3.5.3, 3.6.2), são gerenciadas para estabilidade; somente correções para problemas conhecidos são incluídas em uma versão de correções de erros, e é garantido que as interfaces permanecerão as mesmas durante uma série de liberações de correções de erros.

As últimas versões estáveis ​​podem sempre ser encontradas na página de download do Python [https://www.python.org/downloads/]. O Python 3.x é a versão recomendada e suportada pela maioria das bibliotecas amplamente utilizadas. Python 2.x não é mais mantido [https://peps.python.org/pep-0373/].

Quantas pessoas usam o Python?

Provavelmente existem milhões de usuários, embora seja difícil obter uma contagem exata.

O Python está disponível para download gratuito, portanto, não há números de vendas, e o mesmo está disponível em vários diferentes sites e é empacotado em muitas distribuições Linux, portanto, utilizar as estatísticas de downloads não seria a melhor forma para contabilizarmos a base de usuários.

O grupo de notícias comp.lang.python é bastante ativo, mas nem todos os usuários Python postam no grupo ou mesmo o leem regularmente.

Existe algum projeto significativo feito em Python?

Veja a lista em https://www.python.org/about/success para obter uma listagem de projetos que usam o Python. Consultar as conferências passadas do Python [https://www.python.org/community/workshops/] revelará as contribuições de várias empresas e de diferentes organizações.

Os projetos Python de alto perfil incluem o gerenciador de lista de e-mail Mailman [https://www.list.org] e o servidor de aplicativos Zope [https://www.zope.dev]. Várias distribuições Linux, mais notavelmente o Red Hat [https://www.redhat.com], escreveram parte ou a totalidade dos seus instaladores e software de administração do sistema em Python. Empresas que usam Python internamente incluem Google, Yahoo e Lucasfilm Ltd.

Quais são os novos desenvolvimentos esperados para o Python no futuro?

Consulte https://peps.python.org/ para ver a lista de propostas de aprimoramento do python (PEPs). As PEPs são documentos de design que descrevem novos recursos que foram sugeridos para o Python, fornecendo uma especificação técnica concisa e a sua lógica. Procure uma PEP intitulado de “Python X.Y Release Schedule”, onde X.Y é uma versão que ainda não foi lançada publicamente.

Novos desenvolvimentos são discutidos na lista de discussão python-dev [https://mail.python.org/mailman3/lists/python-dev.python.org/].

É razoável propor mudanças incompatíveis com o Python?

Normalmente não. Já existem milhões de linhas de código Python em todo o mundo, de modo que qualquer alteração na linguagem que invalide mais de uma fração muito pequena dos programas existentes deverá ser desaprovada. Mesmo que possamos fornecer um programa de conversão, ainda haverá o problema de atualizar toda a documentação; muitos livros foram escritos sobre o Python, e não queremos invalidá-los todos de uma vez só.

Fornecer um caminho de atualização gradual será necessário se um recurso precisar ser alterado. A PEP 5 [https://peps.python.org/pep-0005/] descreve o procedimento e em seguida introduz alterações incompatíveis com versões anteriores ao mesmo tempo em que minimiza a interrupção dos usuários.

O Python é uma boa linguagem para quem está começando na programação agora?

Sim.

Ainda é bastante comum que os alunos iniciem com uma linguagem procedimental e estaticamente tipada como Pascal e o C ou um subconjunto do C++ ou do Java. Os alunos podem ser melhor atendidos ao aprender Python como sua primeira linguagem. Python possui uma sintaxe muito simples e consistente e uma grande quantidade de bibliotecas padrão e, o mais importante, o uso do Python em um curso de programação para iniciantes permite aos alunos se concentrarem em habilidades de programação importantes, como a decomposição do problema e o design do tipo de dados. Com Python, os alunos podem ser introduzidos rapidamente em conceitos básicos, como repetições e procedimentos. Provavelmente os mesmos até poderão trabalhar com objetos definidos por ele mesmos logo em seu primeiro curso.

Para um aluno que nunca programou antes, usar uma linguagem estaticamente tipado parece não que não é natural. Isso apresenta uma complexidade adicional que o aluno deverá dominar e geralmente retarda o ritmo do curso. Os alunos estão tentando aprender a pensar como um computador, decompor problemas, projetar interfaces consistentes e encapsular dados. Embora aprender a usar uma linguagem tipicamente estática seja importante a longo prazo, não é necessariamente o melhor tópico a ser abordado no primeiro momento de um curso de programação.

Muitos outros aspectos do Python fazem do mesmo uma excelente linguagem para quem está aprendendo a programar. Como Java, Python possui uma biblioteca padrão grande para que os estudantes possam receber projetos de programação muito cedo no curso e que possam fazer trabalhos úteis. As atribuições não estão restritas à calculadora padrão de quatro funções e os programas para verificar o peso. Ao usar a biblioteca padrão, os alunos podem ter a satisfação de trabalhar em aplicações reais à medida que aprendem os fundamentos da programação. O uso da biblioteca padrão também ensina os alunos sobre a reutilização de código. Os módulos de terceiros, como o PyGame, também são úteis para ampliar o alcance dos estudantes.

O interpretador interativo do Python permite aos alunos testarem recursos da linguagem enquanto estão programando. Os mesmos podem manter uma janela com o interpretador executado enquanto digitam o fonte do seu programa numa outra janela. Se eles não conseguirem se lembrar dos métodos de uma lista, eles podem fazer algo assim:

>>> L = []
>>> dir(L)
['__add__', '__class__', '__contains__', '__delattr__', '__delitem__',
'__dir__', '__doc__', '__eq__', '__format__', '__ge__',
'__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__',
'__imul__', '__init__', '__iter__', '__le__', '__len__', '__lt__',
'__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__',
'__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__',
'__sizeof__', '__str__', '__subclasshook__', 'append', 'clear',
'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove',
'reverse', 'sort']
>>> [d for d in dir(L) if '__' not in d]
['append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort']

>>> help(L.append)
Help on built-in function append:

append(...)
    L.append(object) -> None -- append object to end

>>> L.append(1)
>>> L
[1]

Com o interpretador, a documentação nunca está longe do aluno quando estão programando.

Há também boas IDEs para o Python. O IDLE é uma IDE multiplataforma para o Python e que foi escrito em Python usando o Tkinter. Os usuários do Emacs estarão felizes em saber que existe um ótimo modo Python para Emacs. Todos esses ambientes de programação fornecem destaque de sintaxe, recuo automático e acesso ao interpretador interativo durante o tempo de desenvolvimento. Consulte o wiki do Python [https://wiki.python.org/moin/PythonEditors] para obter uma lista completa dos ambientes de desenvolvimento para o Python.

Se você quiser discutir o uso do Python na educação, poderás estar interessado em se juntar à lista de discussão edu-sig [https://www.python.org/community/sigs/current/edu-sig].

FAQ referente a Programação

Sumário

FAQ referente a Programação

Questões Gerais

Existe um depurador a nível de código-fonte que possua pontos de interrupção (breakpoints), single-stepping, etc.?

Existem ferramentas para ajudar a encontrar bugs ou fazer análise estática de desempenho?

Como posso criar um binário independente a partir de um script Python?

Existem padrões para a codificação ou um guia de estilo utilizado pela comunidade Python?

Núcleo da Linguagem

Porque recebo o erro UnboundLocalError quando a variável possui um valor associado?

Quais são as regras para variáveis locais e globais em Python?

Por que os lambdas definidos em um loop com valores diferentes retornam o mesmo resultado?

Como definir variáveis globais dentro de módulos?

Quais são as “melhores práticas” quando fazemos uso da importação de módulos?

Por que os valores padrão são compartilhados entre objetos?

Como passar parâmetros opcionais ou parâmetros na forma de keyword de uma função a outra?

Qual a diferença entre argumentos e parâmetros?

Por que ao alterar a lista ‘y’ também altera a lista ‘x’?

Como escrever uma função com parâmetros de saída (invocada por referência)?

Como fazer uma função de ordem superior em Python?

Como faço para copiar um objeto no Python?

Como posso encontrar os métodos ou atributos de um objeto?

Como que o meu código pode descobrir o nome de um objeto?

O que há com a precedência do operador vírgula?

Existe um equivalente ao operador “?:” ternário do C?

É possível escrever instruções de uma só linha ofuscadas em Python?

O que a barra(/) na lista de parâmetros de uma função significa?

Números e Strings

Como faço para especificar números inteiros hexadecimais e octal?

Por que -22 // 10 retorna -3?

How do I get int literal attribute instead of SyntaxError?

Como faço para converter uma String em um número?

Como faço para converter um número numa string?

Como faço para modificar uma string no lugar?

Como faço para invocar funções/métodos através de uma String?

Existe um equivalente em Perl chomp() para remover linhas novas de uma String?

Existe uma função scanf() ou sscanf() ou algo equivalente?

O que significa o erro ‘UnicodeDecodeError’ ou ‘UnicodeEncodeError’?

Can I end a raw string with an odd number of backslashes?

Desempenho

Meu programa está muito lento. Como faço para melhorar o desempenho?

Qual é a maneira mais eficiente de concatenar muitas Strings?

Sequencias (Tuples/Lists)

Como faço para converter tuplas em listas?

O que é um índice negativo?

Como que eu itero uma sequência na ordem inversa?

Como que remove itens duplicados de uma lista?

Como remover múltiplos itens de uma lista

Como fazer um vetor em Python?

Como faço para criar uma lista multidimensional?

How do I apply a method or function to a sequence of objects?

Porque a_tuple[i] += [‘item’] levanta uma exceção quando a adição funciona?

I want to do a complicated sort: can you do a Schwartzian Transform in Python?

Como eu posso ordenar uma lista pelos valores de outra lista?

Objetos

O que é uma classe?

O que é um método?

O que é o self?

Como eu verifico se um objeto é uma instância de uma dada classe ou de uma subclasse dela?

O que é delegation?

Como eu chamo um método definido numa classe base derivada de uma classe que estende ela?

Como eu posso organizar meu código para facilitar a troca da classe base?

How do I create static class data and static class methods?

Como eu posso sobrecarregar construtores (ou métodos) em Python?

Eu tentei usar __spam e recebi um erro sobre _SomeClassName__spam.

Minha classe define __del__, mas o mesmo não é chamado quando eu excluo o objeto.

Como eu consigo pegar uma lista de todas as instâncias de uma dada classe?

Por que o resultado de id() aparenta não ser único?

Quando eu posso depender dos testes de identidade com o operador is?

How can a subclass control what data is stored in an immutable instance?

How do I cache method calls?

Módulos

Como faço para criar um arquivo .pyc?

Como encontro o nome do módulo atual?

How can I have modules that mutually import each other?

__import__(‘x.y.z’) returns <module ‘x’>; how do I get z?

Quando eu edito um módulo importado e o reimporto, as mudanças não aparecem. Por que isso acontece?

Questões Gerais

Existe um depurador a nível de código-fonte que possua pontos de interrupção (breakpoints), single-stepping, etc.?

Sim.

Vários depuradores para Python estão descritos abaixo, e a função embutida breakpoint() permite que você caia em qualquer um desses pontos.

O módulo pdb é um depurador em modo Console simples, mas adequado, para o Python. Faz parte da biblioteca padrão do Python e está documentado em documented in the Library Reference Manual 1. Você também pode construir do seu próprio depurador usando o código do pdb como um exemplo.

A IDLE (Ambiente Interativo de Desenvolvimento), que faz parte da distribuição padrão do Python (normalmente acessível como Tools/scripts/idle3 [https://github.com/python/cpython/blob/main/Tools/scripts/idle3]), inclui um depurador gráfico.

O PythonWin é uma IDE feita para o Python que inclui um depurador de GUI baseado no pdb. O depurador do PythonWin colore os pontos de interrupção e tem alguns recursos legais, como a depuração de programas que não são PythonWin. O PythonWin está disponível como parte do projeto pywin32 [https://github.com/mhammond/pywin32] e como parte da distribuição ActivePython [https://www.activestate.com/products/python/].

Eric [https://eric-ide.python-projects.org/] é uma IDE construída com PyQt e o componente de edição Scintilla.

trepan3k [https://github.com/rocky/python3-trepan/] é um depurador similar ao gdb.

Visual Studio Code [https://code.visualstudio.com/] é uma IDE com ferramentas de depuração integrada com softwares de controle de versão.

Há uma série de IDE comerciais para desenvolvimento com o Python que incluem depuradores gráficos. Dentre tantas temos:

Wing IDE [https://wingware.com/]

Komodo IDE [https://www.activestate.com/products/komodo-ide/]

PyCharm [https://www.jetbrains.com/pycharm/]

Existem ferramentas para ajudar a encontrar bugs ou fazer análise estática de desempenho?

Sim.

Pylint [https://pylint.pycqa.org/en/latest/index.html] e Pyflakes [https://github.com/PyCQA/pyflakes] fazem verificações básicas que te ajudarão a encontrar erros mais cedo.

Verificadores de tipo estático como Mypy [https://mypy-lang.org/], Pyre [https://pyre-check.org/], e Pytype [https://github.com/google/pytype] conseguem verificar dicas de tipo em código-fonte Python.

Como posso criar um binário independente a partir de um script Python?

Você não precisa possuir a capacidade de compilar o código Python para C se o que deseja é um programa autônomo que os usuários possam baixar e executar sem ter que instalar a distribuição Python primeiro. Existem várias ferramentas que determinam o conjunto de módulos exigidos por um programa e vinculam esses módulos ao binário do Python para produzir um único executável.

Uma delas é usar a ferramenta freeze, que está incluída na árvore de código-fonte Python como Tools/freeze [https://github.com/python/cpython/tree/main/Tools/freeze]. Ela converte o bytecode de Python em vetores de C. Com um compilador de C, você consegue incorporar todos os seus módulos em um novo programa, que é então vinculado aos módulos-padrão de Python.

A freeze trabalha percorrendo seu código recursivamente, procurando por instruções de importação (ambas as formas), e procurando por módulos tanto no caminho padrão do Python, quanto por módulos embutidos no diretório fonte. Ela então transforma o bytecode de módulos Python em código C (inicializadores de vetor que podem ser transformados em objetos código usando o módulo marshal), e depois cria um arquivo de configurações personalizado que só contém os módulos embutidos usados no programa. A ferramenta então compila os códigos C e os vincula como o resto do interpretador Python, formando um binário autônomo que funciona exatamente como seu script.

Os pacotes a seguir podem ajudar com a criação dos executáveis do console e da GUI:

Nuitka [https://nuitka.net/] (Multiplataforma)

PyInstaller [https://pyinstaller.org/] (Multiplataforma)

PyOxidizer [https://pyoxidizer.readthedocs.io/en/stable/] (Multiplataforma)

cx_Freeze [https://marcelotduarte.github.io/cx_Freeze/] (Multiplataforma)

py2app [https://github.com/ronaldoussoren/py2app] (somente macOS)

py2exe [https://www.py2exe.org/] (somente Windows)

Existem padrões para a codificação ou um guia de estilo utilizado pela comunidade Python?

Sim. O guia de estilo esperado para módulos e biblioteca padrão possui o nome de PEP8 e você pode acessar a sua documentação em PEP 8 [https://peps.python.org/pep-0008/].

Núcleo da Linguagem

Porque recebo o erro UnboundLocalError quando a variável possui um valor associado?

Pode ser uma surpresa obter a exceção UnboundLocalError em um código previamente funcional quando adicionamos uma instrução de atribuição em algum lugar no corpo de uma função.

Este código:

>>> x = 10
>>> def bar():
...     print(x)
...
>>> bar()
10

funciona, mas este código:

>>> x = 10
>>> def foo():
...     print(x)
...     x += 1

resulta em uma UnboundLocalError:

>>> foo()
Traceback (most recent call last):
  ...
UnboundLocalError: local variable 'x' referenced before assignment

Isso acontece porque, quando atribuímos um valor a uma variável em determinado escopo, essa variável torna-se local desse escopo, acabando por esconder qualquer outra variável de mesmo nome no escopo externo. Como a última declaração em foo atribui um novo valor a x, o interpretador a reconhece como uma variável local. Consequentemente, quando o print(x) anterior tentar exibir a variável local não inicializada, um erro aparece.

No exemplo acima, podemos acessar a variável do escopo externo declarando-a como global:

>>> x = 10
>>> def foobar():
...     global x
...     print(x)
...     x += 1
...
>>> foobar()
10

Esta declaração explícita é necessária para lembrarmos que estamos modificando o valor da variável no escopo externo (ao contrário da situação superficialmente análoga com variáveis de classe e instância):

>>> print(x)
11

Podemos fazer algo parecido num escopo aninhado usando a palavra reservada nonlocal:

>>> def foo():
...    x = 10
...    def bar():
...        nonlocal x
...        print(x)
...        x += 1
...    bar()
...    print(x)
...
>>> foo()
10
11

Quais são as regras para variáveis locais e globais em Python?

Em Python, as variáveis que são apenas utilizadas (referenciadas) dentro de uma função são implicitamente globais. Se uma variável for associada a um valor em qualquer lugar dentro do corpo da função, presume-se que a mesma será local, a menos que seja explicitamente declarado como global.

Embora um pouco surpreendente no início, um momento de consideração explica isso. Por um lado, exigir global para variáveis atribuídas fornece uma barreira contra efeitos colaterais indesejados. Por outro lado, se global fosse necessário para todas as referências globais, você estaria usando global o tempo todo. Você teria que declarar como global todas as referências a uma função embutida ou a um componente de um módulo importado. Essa desordem anularia a utilidade da declaração de global para identificar efeitos colaterais.

Por que os lambdas definidos em um loop com valores diferentes retornam o mesmo resultado?

Suponha que utilizes um loop for para definir algumas funções lambdas (ou mesmo funções simples), por exemplo.:

>>> squares = []
>>> for x in range(5):
...     squares.append(lambda: x**2)

Isso oferece uma lista que contém 5 lambdas que calculam x**2. Poderás esperar que, quando invocado, os mesmo retornem, respectivamente, 0, 1, 4, 9, e 16. No entanto, quando realmente tentares, verás que todos retornam 16:

>>> squares[2]()
16
>>> squares[4]()
16

Isso acontece porque x não é local para o lambdas, mas é definido no escopo externo, e é acessado quando o lambda for chamado — não quando é definido. No final do loop, o valor de x será 4, e então, todas as funções agora retornarão 4**2, ou seja, 16. Também poderás verificar isso alterando o valor de x e vendo como os resultados dos lambdas mudam:

>>> x = 8
>>> squares[2]()
64

Para evitar isso, precisarás salvar os valores nas variáveis locais para os lambdas, para que eles não dependam do valor de x global:

>>> squares = []
>>> for x in range(5):
...     squares.append(lambda n=x: n**2)

Aqui, n=x cria uma nova variável n local para o lambda e calculada quando o lambda será definido para que ele tenha o mesmo valor que x tenha nesse ponto no loop. Isso significa que o valor de n será 0 no primeiro “ciclo” do lambda, 1 no segundo “ciclo”, 2 no terceiro, e assim por diante. Portanto, cada lambda agora retornará o resultado correto:

>>> squares[2]()
4
>>> squares[4]()
16

Observe que esse comportamento não é peculiar dos lambdas, o mesmo também ocorre com as funções regulares.

Como definir variáveis globais dentro de módulos?

A maneira canônica de compartilhar informações entre módulos dentro de um único programa é criando um módulo especial (geralmente chamado de config ou cfg). Basta importar o módulo de configuração em todos os módulos da sua aplicação; O módulo ficará disponível como um nome global. Como há apenas uma instância de cada módulo, todas as alterações feitas no objeto do módulo se refletem em todos os lugares. Por exemplo:

config.py:

x = 0   # Default value of the 'x' configuration setting

mod.py:

import config
config.x = 1

main.py:

import config
import mod
print(config.x)

Note que usar um módulo também é a base para a implementação de padrões de design singleton, pela mesma razão.

Quais são as “melhores práticas” quando fazemos uso da importação de módulos?

Em geral, não use from modulename import *. Ao fazê-lo, o espaço de nomes do importador é mais difícil e torna muito mais difícil para as ferramentas linters detectar nomes indefinidos.

Faça a importação de módulos na parte superior do arquivo. Isso deixa claro quais outros módulos nosso código necessita e evita dúvidas sobre por exemplo, se o nome do módulo está no escopo. Usar uma importação por linha facilita a adição e exclusão de importações de módulos, porém, usar várias importações num única linha, ocupa menos espaço da tela.

É uma boa prática importar os módulos na seguinte ordem:

módulos padrões da biblioteca – por exemplo: sys, os, argparse, re

third-party library modules (anything installed in Python’s site-packages directory) – e.g. dateutil, requests, PIL.Image

módulos desenvolvidos localmente

Às vezes, é necessário transferir as importações para uma função ou classe para evitar problemas com importação circular. Gordon McMillan diz:

As importações circulares estão bem onde ambos os módulos utilizam a forma de importação “import 1”. Eles falham quando o 2º módulo quer pegar um nome do primeiro (“from module import name”) e a importação está no nível superior. Isso porque os nomes no primeiro ainda não estão disponíveis, porque o primeiro módulo está ocupado importando o 2º.

Nesse caso, se o segundo módulo for usado apenas numa função, a importação pode ser facilmente movida para dentro do escopo dessa função. No momento em que a importação for chamada, o primeiro módulo terá finalizado a inicialização e o segundo módulo poderá ser importado sem maiores complicações.

Também poderá ser necessário mover as importações para fora do nível superior do código se alguns dos módulos forem específicos de uma determinada plataforma (SO). Nesse caso, talvez nem seja possível importar todos os módulos na parte superior do arquivo. Nessas situações devemos importar os módulos que são específicos de cada plataforma antes de necessitar utilizar os mesmos.

Apenas mova as importações para um escopo local, como dentro da definição de função, se for necessário resolver algum tipo de problema, como exemplo, evitar importações circulares ou tentar reduzir o tempo de inicialização do módulo. Esta técnica é especialmente útil se muitas das importações forem desnecessárias, dependendo de como o programa é executado. Também podemos desejar mover as importações para uma função se os módulos forem usados somente nessa função. Note que carregar um módulo pela primeira vez pode ser demorado devido ao tempo de inicialização de cada módulo, no entanto, carregar um módulo várias vezes é praticamente imperceptível, tendo somente o custo de processamento de pesquisas no dicionário de nomes. Mesmo que o nome do módulo tenha saído do escopo, o módulo provavelmente estará disponível em sys.modules.

Por que os valores padrão são compartilhados entre objetos?

Este tipo de erro geralmente pega programadores neófitos. Considere esta função:

def foo(mydict={}):  # Danger: shared reference to one dict for all calls
    ... compute something ...
    mydict[key] = value
    return mydict

A primeira vez que chamares essa função, mydict irá conter um único item. A segunda vez, mydict irá conter dois itens, porque quando foo() começar a ser executado, mydict começará com um item já existente.

Muitas vezes, espera-se que ao invocar uma função seja criado novos objetos referente aos valores padrão. Isso não é o que acontecerá. Os valores padrão são criados exatamente uma vez, quando a função está sendo definida. Se esse objeto for alterado, como o dicionário neste exemplo, as chamadas subsequentes para a essa função se referirão a este objeto alterado.

Por definição, objetos imutáveis, como números, strings, tuplas e o None, estão protegidos de sofrerem alteração. Alterações em objetos mutáveis, como dicionários, listas e instâncias de classe, podem levar à confusão.

Por causa desse recurso, é uma boa prática de programação para evitar o uso de objetos mutáveis contendo valores padrão. Em vez disso, utilize None como o valor padrão e dentro da função, verifique se o parâmetro é None e crie uma nova lista /dicionário/ o que quer que seja. Por exemplo, escreva o seguinte código:

def foo(mydict={}):
    ...

mas:

def foo(mydict=None):
    if mydict is None:
        mydict = {}  # create a new dict for local namespace

Esse recurso pode ser útil. Quando tiveres uma função que consome muito tempo para calcular, uma técnica comum é armazenar em cache os parâmetros e o valor resultante de cada chamada para a função e retornar o valor em cache se o mesmo valor for solicitado novamente. Isso se chama “memoizar”, e pode ser implementado da seguinte forma:

# Callers can only provide two parameters and optionally pass _cache by keyword
def expensive(arg1, arg2, *, _cache={}):
    if (arg1, arg2) in _cache:
        return _cache[(arg1, arg2)]

    # Calculate the value
    result = ... expensive computation ...
    _cache[(arg1, arg2)] = result           # Store result in the cache
    return result

Poderias usar uma variável global contendo um dicionário ao invés do valor padrão; isso é uma questão de gosto.

Como passar parâmetros opcionais ou parâmetros na forma de keyword de uma função a outra?

Colete os argumentos usando os especificadores * ou ** na lista de parâmetros da função. Isso faz com que os argumentos posicionais como tupla e os argumentos nomeados sejam passados como um dicionário. Você pode, também, passar esses argumentos ao invocar outra função usando * e **:

def f(x, *args, **kwargs):
    ...
    kwargs['width'] = '14.3c'
    ...
    g(x, *args, **kwargs)

Qual a diferença entre argumentos e parâmetros?

Parameters are defined by the names that appear in a function definition, whereas arguments are the values actually passed to a function when calling it. Parameters define what kind of arguments a function can accept. For example, given the function definition:

def func(foo, bar=None, **kwargs):
    pass

foo, bar e kwargs são parâmetros de func. Dessa forma, ao invocar func, por exemplo:

func(42, bar=314, extra=somevar)

os valores 42, 314, e somevar são os argumentos.

Por que ao alterar a lista ‘y’ também altera a lista ‘x’?

Se escreveres um código como:

>>> x = []
>>> y = x
>>> y.append(10)
>>> y
[10]
>>> x
[10]

Poderás estar se perguntando por que acrescentar um elemento a y também mudou x.

Há 2 fatores que produzem esse resultado, são eles:

As variáveis são simplesmente nomes que referem-se a objetos. Ao escrevermos y = x não criará uma cópia da lista – criará uma nova variável y que irá se referir ao mesmo objeto que x está se referindo. Isso significa que existe apenas um objeto (lista), e ambos nomes (variáveis) x e y estão associados ao mesmo.

Listas são objetos mutáveis, o que significa que você pode alterar o seu conteúdo.

After the call to append(), the content of the mutable object has changed from [] to [10]. Since both the variables refer to the same object, using either name accesses the modified value [10].

Se por acaso, atribuímos um objeto imutável a x:

>>> x = 5  # ints are immutable
>>> y = x
>>> x = x + 1  # 5 can't be mutated, we are creating a new object here
>>> x
6
>>> y
5

veremos que nesse caso x e y não são mais iguais. Isso ocorre porque os números inteiros são imutáveis, e quando fizermos x = x + 1 não estaremos mudando o int 5 e incrementando o seu valor; em vez disso, estamos criando um novo objeto (o int 6) e associando x (isto é, mudando para o objeto no qual x se refere). Após esta atribuição, temos dois objetos (os ints 6 e 5) e duas variáveis que referem-se a elas (x agora se refere a 6 mas y ainda refere-se a 5).

Some operations (for example y.append(10) and y.sort()) mutate the object, whereas superficially similar operations (for example y = y + [10] and sorted(y)) create a new object. In general in Python (and in all cases in the standard library) a method that mutates an object will return None to help avoid getting the two types of operations confused. So if you mistakenly write y.sort() thinking it will give you a sorted copy of y, you’ll instead end up with None, which will likely cause your program to generate an easily diagnosed error.

No entanto, há uma classe de operações em que a mesma operação às vezes tem comportamentos diferentes com tipos diferentes: os operadores de atribuição aumentada. Por exemplo, += transforma listas, mas não tuplas ou ints (a_list += [1, 2, 3] é equivalente a a_list.extend([1, 2, 3]) a altera a_list, sendo que some_tuple += (1, 2, 3) e some_int += 1 cria novos objetos).

Em outras palavras:

Se tivermos objetos mutáveis (list, dict, set, etc.), podemos usar algumas operações específicas para altera-lo e todas as variáveis que se referem a ela sofreram também a mudança.

Caso tenhamos um objeto imutável (str, int, tuple, etc.), todas as variáveis que se referem as mesmas sempre verão o mesmo valor, mas as operações que transformam-se nesses valores sempre retornarão novos objetos.

Se quiseres saber se duas variáveis se referem ao mesmo objeto ou não, podes usar a palavra-chave is, ou a função embutida id().

Como escrever uma função com parâmetros de saída (invocada por referência)?

Lembre-se de que os argumentos são passados por atribuição em Python. Uma vez que a tarefa apenas cria referências a objetos, não existe “alias” entre um nome de argumento naquele que invocado e o destinatário, portanto, não há referência de chamada por si. Podes alcançar o efeito desejado de várias maneiras.

Retornando um Tupla com os resultados:

>>> def func1(a, b):
...     a = 'new-value'        # a and b are local names
...     b = b + 1              # assigned to new objects
...     return a, b            # return new values
...
>>> x, y = 'old-value', 99
>>> func1(x, y)
('new-value', 100)

Esta quase sempre é a solução mais clara.

Utilizando variáveis globais. Essa forma de trabalho não é segura para uso com thread e portanto, a mesma não é recomendada.

Pela passagem de um objeto mutável (que possa ser alterado internamente):

>>> def func2(a):
...     a[0] = 'new-value'     # 'a' references a mutable list
...     a[1] = a[1] + 1        # changes a shared object
...
>>> args = ['old-value', 99]
>>> func2(args)
>>> args
['new-value', 100]

Pela passagem de um dicionário que seja mutável:

>>> def func3(args):
...     args['a'] = 'new-value'     # args is a mutable dictionary
...     args['b'] = args['b'] + 1   # change it in-place
...
>>> args = {'a': 'old-value', 'b': 99}
>>> func3(args)
>>> args
{'a': 'new-value', 'b': 100}

Ou agrupando valores numa instância de classe:

>>> class Namespace:
...     def __init__(self, /, **args):
...         for key, value in args.items():
...             setattr(self, key, value)
...
>>> def func4(args):
...     args.a = 'new-value'        # args is a mutable Namespace
...     args.b = args.b + 1         # change object in-place
...
>>> args = Namespace(a='old-value', b=99)
>>> func4(args)
>>> vars(args)
{'a': 'new-value', 'b': 100}

Quase nunca existe uma boa razão para complicar isso.

A sua melhor escolha será retornar uma Tupla contendo os múltiplos resultados.

Como fazer uma função de ordem superior em Python?

Existem duas opções: podes usar escopos aninhados ou poderás usar objetos chamáveis. Por exemplo, suponha que desejasses definir que linear(a,b) retorne uma função f(x) que calcule o valor a*x+b. Usando escopos aninhados, temos:

def linear(a, b):
    def result(x):
        return a * x + b
    return result

Ou utilizando objetos chamáveis:

class linear:

    def __init__(self, a, b):
        self.a, self.b = a, b

    def __call__(self, x):
        return self.a * x + self.b

Em ambos os casos:

taxes = linear(0.3, 2)

dado um objeto chamável, onde taxes(10e6) == 0.3 * 10e6 + 2.

A abordagem do objeto chamável tem a desvantagem de que é um pouco mais lento e resulta num código ligeiramente mais longo. No entanto, note que uma coleção de chamáveis pode compartilhar sua assinatura via herança:

class exponential(linear):
    # __init__ inherited
    def __call__(self, x):
        return self.a * (x ** self.b)

Objetos podem encapsular o estado para vários métodos:

class counter:

    value = 0

    def set(self, x):
        self.value = x

    def up(self):
        self.value = self.value + 1

    def down(self):
        self.value = self.value - 1

count = counter()
inc, dec, reset = count.up, count.down, count.set

Aqui inc(), dec() e reset() funcionam como funções que compartilham a mesma variável contadora.

Como faço para copiar um objeto no Python?

Basicamente, tente utilizar a função copy.copy() ou a função copy.deepcopy() para casos gerais. Nem todos os objetos podem ser copiados, mas a maioria poderá.

Alguns objetos podem ser copiados com mais facilidade. Os dicionários têm um método copy():

newdict = olddict.copy()

As sequências podem ser copiadas através do uso de fatiamento:

new_l = l[:]

Como posso encontrar os métodos ou atributos de um objeto?

For an instance x of a user-defined class, dir(x) returns an alphabetized list of the names containing the instance attributes and methods and attributes defined by its class.

Como que o meu código pode descobrir o nome de um objeto?

De um modo geral, não pode, porque os objetos realmente não têm nomes. Essencialmente, a atribuição sempre liga um nome a um valor; o mesmo é verdade para as instruções def e class, mas nesse caso o valor é um chamável. Considere o seguinte código:

>>> class A:
...     pass
...
>>> B = A
>>> a = B()
>>> b = a
>>> print(b)
<__main__.A object at 0x16D07CC>
>>> print(a)
<__main__.A object at 0x16D07CC>

Arguably the class has a name: even though it is bound to two names and invoked through the name B the created instance is still reported as an instance of class A. However, it is impossible to say whether the instance’s name is a or b, since both names are bound to the same value.

De um modo geral, não deveria ser necessário que o seu código “conheça os nomes” de valores específicos. A menos que escrevas deliberadamente programas introspectivos, isso geralmente é uma indicação de que uma mudança de abordagem pode ser benéfica.

Em comp.lang.python, Fredrik Lundh deu uma excelente analogia em resposta a esta pergunta:

Da mesma forma que você pega o nome daquele gato que encontrou na sua varanda: o próprio gato (objeto) não pode lhe dizer o seu nome, e ele realmente não se importa – então a única maneira de descobrir como ele se chama é perguntar a todos os seus vizinhos (espaços de nomes) se é o gato deles (objeto)…

….e não fique surpreso se você encontrar que é conhecido por muitos nomes, ou até mesmo nenhum nome.

O que há com a precedência do operador vírgula?

A vírgula não é um operador em Python. Considere este código:

>>> "a" in "b", "a"
(False, 'a')

Uma vez que a vírgula não seja um operador, mas um separador entre as expressões acima, o código será avaliado como se tivéssemos entrado:

("a" in "b"), "a"

não:

"a" in ("b", "a")

O mesmo é verdade para as várias operações de atribuição (=, += etc). Eles não são operadores de verdade mas delimitadores sintáticos em instruções de atribuição.

Existe um equivalente ao operador “?:” ternário do C?

Sim existe. A sintaxe é a seguinte:

[on_true] if [expression] else [on_false]

x, y = 50, 25
small = x if x < y else y

Antes que essa sintaxe fosse introduzida no Python 2.5, um idioma comum era usar operadores lógicos:

[expression] and [on_true] or [on_false]

No entanto, essa forma não é segura, pois pode dar resultados inesperados quando on_true possuir um valor booleano falso. Portanto, é sempre melhor usar a forma ... if ... else ....

É possível escrever instruções de uma só linha ofuscadas em Python?

Yes. Usually this is done by nesting lambda within lambda. See the following three examples, slightly adapted from Ulf Bartelt:

from functools import reduce

# Primes < 1000
print(list(filter(None,map(lambda y:y*reduce(lambda x,y:x*y!=0,
map(lambda x,y=y:y%x,range(2,int(pow(y,0.5)+1))),1),range(2,1000)))))

# First 10 Fibonacci numbers
print(list(map(lambda x,f=lambda x,f:(f(x-1,f)+f(x-2,f)) if x>1 else 1:
f(x,f), range(10))))

# Mandelbrot set
print((lambda Ru,Ro,Iu,Io,IM,Sx,Sy:reduce(lambda x,y:x+'\n'+y,map(lambda y,
Iu=Iu,Io=Io,Ru=Ru,Ro=Ro,Sy=Sy,L=lambda yc,Iu=Iu,Io=Io,Ru=Ru,Ro=Ro,i=IM,
Sx=Sx,Sy=Sy:reduce(lambda x,y:x+y,map(lambda x,xc=Ru,yc=yc,Ru=Ru,Ro=Ro,
i=i,Sx=Sx,F=lambda xc,yc,x,y,k,f=lambda xc,yc,x,y,k,f:(k<=0)or (x*x+y*y
>=4.0) or 1+f(xc,yc,x*x-y*y+xc,2.0*x*y+yc,k-1,f):f(xc,yc,x,y,k,f):chr(
64+F(Ru+x*(Ro-Ru)/Sx,yc,0,0,i)),range(Sx))):L(Iu+y*(Io-Iu)/Sy),range(Sy
))))(-2.1, 0.7, -1.2, 1.2, 30, 80, 24))
#    \___ ___/  \___ ___/  |   |   |__ lines on screen
#        V          V      |   |______ columns on screen
#        |          |      |__________ maximum of "iterations"
#        |          |_________________ range on y axis
#        |____________________________ range on x axis

Não tente isso em casa, crianças!

O que a barra(/) na lista de parâmetros de uma função significa?

Uma barra na lista de argumentos de uma função indica que os parâmetros anteriores a ela são somente-posicionais. Os parâmetros somente-posicionais são aqueles que não têm nome utilizável externamente. Ao chamar uma função que aceita parâmetros somente-posicionais, os argumentos são mapeados para parâmetros com base apenas em sua posição. Por exemplo, divmod() é uma função que aceita parâmetros somente-posicionais. Sua documentação tem esta forma:

>>> help(divmod)
Help on built-in function divmod in module builtins:

divmod(x, y, /)
    Return the tuple (x//y, x%y).  Invariant: div*y + mod == x.

A barra no final da lista de parâmetros significa que ambos os parâmetros são somente-posicionais. Assim, chamar divmod() com argumentos nomeados levaria a um erro:

>>> divmod(x=3, y=4)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: divmod() takes no keyword arguments

Números e Strings

Como faço para especificar números inteiros hexadecimais e octal?

Para especificar um dígito no formato octal, preceda o valor octal com um zero e, em seguida, um “o” minúsculo ou maiúsculo. Por exemplo, para definir a variável “a” para o valor octal “10” (8 em decimal), digite:

>>> a = 0o10
>>> a
8

Hexadecimal é bem fácil. Basta preceder o número hexadecimal com um zero e, em seguida, um “x” minúsculo ou maiúsculo. Os dígitos hexadecimais podem ser especificados em letras maiúsculas e minúsculas. Por exemplo, no interpretador Python:

>>> a = 0xa5
>>> a
165
>>> b = 0XB2
>>> b
178

Por que -22 // 10 retorna -3?

É principalmente direcionado pelo desejo de que i % j possui o mesmo sinal que j. Se quiseres isso, e também se desejares:

i == (i // j) * j + (i % j)

então a divisão inteira deve retornar o piso. C também requer que essa identidade seja mantida, e então os compiladores que truncarem i // j precisam fazer com que i % j tenham o mesmo sinal que i.

Existem poucos casos de uso reais para i % j quando j é negativo. Quando j é positivo, existem muitos, e em virtualmente todos eles é mais útil para i % j ser >= 0. Se o relógio marca 10 agora, o que dizia há 200 horas? -190 % 12 == 2 é útil, enquanto -190 % 12 == -10 é um bug esperando para morder.

How do I get int literal attribute instead of SyntaxError?

Trying to lookup an int literal attribute in the normal manner gives a SyntaxError because the period is seen as a decimal point:

>>> 1.__class__
  File "<stdin>", line 1
  1.__class__
   ^
SyntaxError: invalid decimal literal

A solução é separar o literal do ponto-final com um espaço ou parênteses.

>>> 1 .__class__
<class 'int'>
>>> (1).__class__
<class 'int'>

Como faço para converter uma String em um número?

Para inteiros, use o tipo embutido int(), por exemplo, int('144') == 144. Da mesma forma, float() converterá para um valor do tipo ponto flutuante, por exemplo float('144') == 144.0.

Por padrão, eles interpretam o número como decimal, de modo que int('0144') == 144 é verdadeiro e int('0x144') levanta ValueError. int(string, base) toma a base para converter como um segundo argumento opcional, então int( '0x144', 16) == 324. Se a base for especificada como 0, o número é interpretado usando as regras do Python: um “0o” à esquerda indica octal e “0x” indica um número hexadecimal.

Não use a função embutida eval() se tudo que você precisa é converter strings em números. eval() será significativamente mais lento e apresenta um risco de segurança: alguém pode passar a você uma expressão Python que pode ter efeitos colaterais indesejados. Por exemplo, alguém poderia passar __import__('os').system("rm -rf $HOME") que apagaria seu diretório pessoal.

eval() também tem o efeito de interpretar números como expressões Python, para que, por exemplo, eval('09') dá um erro de sintaxe porque Python não permite ‘0’ inicial em um número decimal (exceto ‘0’).

Como faço para converter um número numa string?

To convert, e.g., the number 144 to the string '144', use the built-in type constructor str(). If you want a hexadecimal or octal representation, use the built-in functions hex() or oct(). For fancy formatting, see the Literais de strings formatadas and Sintaxe das strings de formato sections, e.g. "{:04d}".format(144) yields '0144' and "{:.3f}".format(1.0/3.0) yields '0.333'.

Como faço para modificar uma string no lugar?

Você não poder fazer isso as Strings são objetos imutáveis. Na maioria das situações, você simplesmente deve construir uma nova string a partir das várias partes das quais desejas que a sua nova String tenha. No entanto, se precisares de um objeto com a capacidade de modificar dados Unicode internamente, tente usar a classe io.StringIO ou o módulo array:

>>> import io
>>> s = "Hello, world"
>>> sio = io.StringIO(s)
>>> sio.getvalue()
'Hello, world'
>>> sio.seek(7)
7
>>> sio.write("there!")
6
>>> sio.getvalue()
'Hello, there!'

>>> import array
>>> a = array.array('w', s)
>>> print(a)
array('w', 'Hello, world')
>>> a[0] = 'y'
>>> print(a)
array('w', 'yello, world')
>>> a.tounicode()
'yello, world'

Como faço para invocar funções/métodos através de uma String?

Existem várias técnicas.

A melhor forma é usar um dicionário que mapeie a Strings para funções. A principal vantagem desta técnica é que as Strings não precisam combinar os nomes das funções. Esta é também a principal técnica utilizada para emular uma construção de maiúsculas e minúsculas

def a():
    pass

def b():
    pass

dispatch = {'go': a, 'stop': b}  # Note lack of parens for funcs

dispatch[get_input()]()  # Note trailing parens to call function

Utilize a função embutida getattr():

import foo
getattr(foo, 'bar')()

Observe que a função getattr() funciona com qualquer objeto, incluindo classes, instâncias de classe, módulos e assim por diante.

A mesma é usado em vários lugares na biblioteca padrão, como este:

class Foo:
    def do_foo(self):
        ...

    def do_bar(self):
        ...

f = getattr(foo_instance, 'do_' + opname)
f()

Use locals() para determinar o nome da função:

def myFunc():
    print("hello")

fname = "myFunc"

f = locals()[fname]
f()

Existe um equivalente em Perl chomp() para remover linhas novas de uma String?

Podes utilizar S.rstrip("\r\n") para remover todas as ocorrência de qualquer terminador de linha que esteja no final da string S sem remover os espaços em branco. Se a string S representar mais de uma linha, contendo várias linhas vazias no final, os terminadores de linha de todas linhas em branco serão removidos:

>>> lines = ("line 1 \r\n"
...          "\r\n"
...          "\r\n")
>>> lines.rstrip("\n\r")
'line 1 '

Geralmente isso só é desejado ao ler um texto linha por linha, usando S.rstrip() dessa maneira funciona bem.

Existe uma função scanf() ou sscanf() ou algo equivalente?

Não como tal.

For simple input parsing, the easiest approach is usually to split the line into whitespace-delimited words using the split() method of string objects and then convert decimal strings to numeric values using int() or float(). split() supports an optional “sep” parameter which is useful if the line uses something other than whitespace as a separator.

For more complicated input parsing, regular expressions are more powerful than C’s sscanf and better suited for the task.

O que significa o erro ‘UnicodeDecodeError’ ou ‘UnicodeEncodeError’?

Consulte Unicode.

Can I end a raw string with an odd number of backslashes?

A raw string ending with an odd number of backslashes will escape the string’s quote:

>>> r'C:\this\will\not\work\'
  File "<stdin>", line 1
    r'C:\this\will\not\work\'
         ^
SyntaxError: unterminated string literal (detected at line 1)

There are several workarounds for this. One is to use regular strings and double the backslashes:

>>> 'C:\\this\\will\\work\\'
'C:\\this\\will\\work\\'

Another is to concatenate a regular string containing an escaped backslash to the raw string:

>>> r'C:\this\will\work' '\\'
'C:\\this\\will\\work\\'

It is also possible to use os.path.join() to append a backslash on Windows:

>>> os.path.join(r'C:\this\will\work', '')
'C:\\this\\will\\work\\'

Note that while a backslash will “escape” a quote for the purposes of determining where the raw string ends, no escaping occurs when interpreting the value of the raw string. That is, the backslash remains present in the value of the raw string:

>>> r'backslash\'preserved'
"backslash\\'preserved"

Also see the specification in the language reference.

Desempenho

Meu programa está muito lento. Como faço para melhorar o desempenho?

Isso geralmente é algo difícil de conseguir. Primeiro, aqui está uma lista de situações que devemos lembrar para melhorar o desempenho da nossa aplicação antes de buscarmos outras soluções:

As características da desempenho podem variar conforme a implementação do Python. Esse FAQ foca em CPython.

O comportamento pode variar em cada Sistemas Operacionais, especialmente quando estivermos tratando de I/o ou multi-threading.

Sempre devemos encontrar os hot spots em nosso programa antes de tentar otimizar qualquer código (veja o módulo profile).

Escrever Scripts de benchmark permitirá iterar rapidamente buscando melhorias (veja o módulo timeit).

É altamente recomendável ter boa cobertura de código (através de testes de unidade ou qualquer outra técnica) antes de potencialmente apresentar regressões escondidas em otimizações sofisticadas.

Dito isto, existem muitos truques para acelerar nossos códigos Python. Aqui estão alguns dos principais tópicos e que geralmente ajudam a atingir níveis de desempenho aceitáveis:

Fazer seus algoritmos rápidos (ou mudando para mais rápidos) podem produzir benefícios maiores que tentar encaixar várias micro-otimizações no seu código.

Use as estruturas de dados corretas. Documentação de estudo para Tipos embutidos e o módulo collections.

Quando a biblioteca padrão fornecer um tipo primitivo para fazer algo, é provável (embora não garantido) que este seja mais rápido do que qualquer alternativa que possa surgir. Isso geralmente é verdade para os tipos primitivos escritos em C, como os embutidos e alguns tipos de extensão. Por exemplo, certifique-se de usar o método embutido list.sort() ou a função relacionada sorted() para fazer a ordenação (e veja Técnicas de ordenação para exemplos de uso moderadamente avançado).

As abstrações tendem a criar indireções e forçar o interpretador a trabalhar mais. Se os níveis de indireção superarem a quantidade de trabalho útil feito, seu programa ficará mais lento. Você deve evitar a abstração excessiva, especialmente sob a forma de pequenas funções ou métodos (que também são muitas vezes prejudiciais à legibilidade).

If you have reached the limit of what pure Python can allow, there are tools to take you further away. For example, Cython [https://cython.org] can compile a slightly modified version of Python code into a C extension, and can be used on many different platforms. Cython can take advantage of compilation (and optional type annotations) to make your code significantly faster than when interpreted. If you are confident in your C programming skills, you can also write a C extension module yourself.

Ver também

A página wiki dedicada a dicas de desempenho [https://wiki.python.org/moin/PythonSpeed/PerformanceTips].

Qual é a maneira mais eficiente de concatenar muitas Strings?

A classe str e a classe bytes são objetos imutáveis, portanto, concatenar muitas Strings em é ineficiente, pois cada concatenação criará um novo objeto String. No caso geral, o custo total do tempo de execução é quadrático no comprimento total da String.

Para juntar vários objetos str, a linguagem recomendada colocá-los numa lista e invocar o método str.join():

chunks = []
for s in my_strings:
    chunks.append(s)
result = ''.join(chunks)

(outra forma razoavelmente eficiente é usar a classe io.StringIO)

Para juntar vários objetos bytes, a forma recomendada é estender uma classe bytearray usando a concatenação local (com o operador +=):

result = bytearray()
for b in my_bytes_objects:
    result += b

Sequencias (Tuples/Lists)

Como faço para converter tuplas em listas?

O construtor de tipo tuple(seq) converte qualquer sequência (na verdade, qualquer iterável) numa tupla com os mesmos itens na mesma ordem.

Por exemplo, tuple([1, 2, 3]) produz (1, 2, 3) e tuple('abc') produz ('a', 'b', 'c'). Se o argumento for uma tupla, a mesma não faz uma cópia, mas retorna o mesmo objeto, por isso é barato invocar a função tuple() quando você não tiver certeza que determinado objeto já é uma tupla.

O construtor de tipos list(seq) converte qualquer sequência ou iterável em uma lista com os mesmos itens na mesma ordem. Por exemplo, list((1, 2, 3)) produz [1, 2, 3] e list('abc') produz ['a', 'b', 'c']. Se o argumento for uma lista, o meso fará uma cópia como em seq[:].

O que é um índice negativo?

Python sequences are indexed with positive numbers and negative numbers. For positive numbers 0 is the first index 1 is the second index and so forth. For negative indices -1 is the last index and -2 is the penultimate (next to last) index and so forth. Think of seq[-n] as the same as seq[len(seq)-n].

Using negative indices can be very convenient. For example S[:-1] is all of the string except for its last character, which is useful for removing the trailing newline from a string.

Como que eu itero uma sequência na ordem inversa?

Use a função embutida reversed():

for x in reversed(sequence):
    ...  # do something with x ...

Isso não vai alterar sua sequência original, mas construir uma nova cópia com a ordem inversa para iteração.

Como que remove itens duplicados de uma lista?

See the Python Cookbook for a long discussion of many ways to do this:

https://code.activestate.com/recipes/52560/

If you don’t mind reordering the list, sort it and then scan from the end of the list, deleting duplicates as you go:

if mylist:
    mylist.sort()
    last = mylist[-1]
    for i in range(len(mylist)-2, -1, -1):
        if last == mylist[i]:
            del mylist[i]
        else:
            last = mylist[i]

Se todos os elementos da lista podem ser usados como chaves de conjunto (isto é, eles são todos hasheáveis) isso é muitas vezes mais rápido

mylist = list(set(mylist))

Isso converte a lista em um conjunto, deste modo removendo itens duplicados, e depois de volta em uma lista.

Como remover múltiplos itens de uma lista

As with removing duplicates, explicitly iterating in reverse with a delete condition is one possibility. However, it is easier and faster to use slice replacement with an implicit or explicit forward iteration. Here are three variations.:

mylist[:] = filter(keep_function, mylist)
mylist[:] = (x for x in mylist if keep_condition)
mylist[:] = [x for x in mylist if keep_condition]

A compreensão de lista pode ser a mais rápida.

Como fazer um vetor em Python?

Utilize uma lista:

["this", 1, "is", "an", "array"]

Lists are equivalent to C or Pascal arrays in their time complexity; the primary difference is that a Python list can contain objects of many different types.

The array module also provides methods for creating arrays of fixed types with compact representations, but they are slower to index than lists. Also note that NumPy [https://numpy.org/] and other third party packages define array-like structures with various characteristics as well.

To get Lisp-style linked lists, you can emulate cons cells using tuples:

lisp_list = ("like",  ("this",  ("example", None) ) )

If mutability is desired, you could use lists instead of tuples. Here the analogue of a Lisp car is lisp_list[0] and the analogue of cdr is lisp_list[1]. Only do this if you’re sure you really need to, because it’s usually a lot slower than using Python lists.

Como faço para criar uma lista multidimensional?

Você provavelmente tentou fazer um Array multidimensional como isso:

>>> A = [[None] * 2] * 3

Isso parece correto se você imprimir:

>>> A
[[None, None], [None, None], [None, None]]

Mas quando atribuíres um valor, o mesmo aparecerá em vários lugares:

>>> A[0][0] = 5
>>> A
[[5, None], [5, None], [5, None]]

A razão é que replicar uma lista com * não cria cópias, ela apenas cria referências aos objetos existentes. O *3 cria uma lista contendo 3 referências para a mesma lista que contém 2 itens cada. Mudanças numa linha serão mostradas em todas as linhas, o que certamente não é o que você deseja.

A abordagem sugerida é criar uma lista de comprimento desejado primeiro e, em seguida, preencher cada elemento com uma lista recém-criada:

A = [None] * 3
for i in range(3):
    A[i] = [None] * 2

Isso gera uma lista contendo 3 listas diferentes contendo 2 itens cadas. Você também pode usar uma compreensão de lista:

w, h = 2, 3
A = [[None] * w for i in range(h)]

Or, you can use an extension that provides a matrix datatype; NumPy [https://numpy.org/] is the best known.

How do I apply a method or function to a sequence of objects?

To call a method or function and accumulate the return values is a list, a list comprehension is an elegant solution:

result = [obj.method() for obj in mylist]

result = [function(obj) for obj in mylist]

To just run the method or function without saving the return values, a plain for loop will suffice:

for obj in mylist:
    obj.method()

for obj in mylist:
    function(obj)

Porque a_tuple[i] += [‘item’] levanta uma exceção quando a adição funciona?

This is because of a combination of the fact that augmented assignment operators are assignment operators, and the difference between mutable and immutable objects in Python.

This discussion applies in general when augmented assignment operators are applied to elements of a tuple that point to mutable objects, but we’ll use a list and += as our exemplar.

Se você escrever:

>>> a_tuple = (1, 2)
>>> a_tuple[0] += 1
Traceback (most recent call last):
   ...
TypeError: 'tuple' object does not support item assignment

The reason for the exception should be immediately clear: 1 is added to the object a_tuple[0] points to (1), producing the result object, 2, but when we attempt to assign the result of the computation, 2, to element 0 of the tuple, we get an error because we can’t change what an element of a tuple points to.

Por baixo, o que a instrução de atribuição aumentada está fazendo é aproximadamente isso:

>>> result = a_tuple[0] + 1
>>> a_tuple[0] = result
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

A parte da atribuição da operação que produz o erro, já que a tupla é imutável.

Quando você escreve algo como:

>>> a_tuple = (['foo'], 'bar')
>>> a_tuple[0] += ['item']
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

The exception is a bit more surprising, and even more surprising is the fact that even though there was an error, the append worked:

>>> a_tuple[0]
['foo', 'item']

To see why this happens, you need to know that (a) if an object implements an __iadd__() magic method, it gets called when the += augmented assignment is executed, and its return value is what gets used in the assignment statement; and (b) for lists, __iadd__() is equivalent to calling extend() on the list and returning the list. That’s why we say that for lists, += is a “shorthand” for list.extend():

>>> a_list = []
>>> a_list += [1]
>>> a_list
[1]

Isso equivale a:

>>> result = a_list.__iadd__([1])
>>> a_list = result

The object pointed to by a_list has been mutated, and the pointer to the mutated object is assigned back to a_list. The end result of the assignment is a no-op, since it is a pointer to the same object that a_list was previously pointing to, but the assignment still happens.

Thus, in our tuple example what is happening is equivalent to:

>>> result = a_tuple[0].__iadd__(['item'])
>>> a_tuple[0] = result
Traceback (most recent call last):
  ...
TypeError: 'tuple' object does not support item assignment

The __iadd__() succeeds, and thus the list is extended, but even though result points to the same object that a_tuple[0] already points to, that final assignment still results in an error, because tuples are immutable.

I want to do a complicated sort: can you do a Schwartzian Transform in Python?

The technique, attributed to Randal Schwartz of the Perl community, sorts the elements of a list by a metric which maps each element to its “sort value”. In Python, use the key argument for the list.sort() method:

Isorted = L[:]
Isorted.sort(key=lambda s: int(s[10:15]))

Como eu posso ordenar uma lista pelos valores de outra lista?

Merge them into an iterator of tuples, sort the resulting list, and then pick out the element you want.

>>> list1 = ["what", "I'm", "sorting", "by"]
>>> list2 = ["something", "else", "to", "sort"]
>>> pairs = zip(list1, list2)
>>> pairs = sorted(pairs)
>>> pairs
[("I'm", 'else'), ('by', 'sort'), ('sorting', 'to'), ('what', 'something')]
>>> result = [x[1] for x in pairs]
>>> result
['else', 'sort', 'to', 'something']

Objetos

O que é uma classe?

A class is the particular object type created by executing a class statement. Class objects are used as templates to create instance objects, which embody both the data (attributes) and code (methods) specific to a datatype.

A class can be based on one or more other classes, called its base class(es). It then inherits the attributes and methods of its base classes. This allows an object model to be successively refined by inheritance. You might have a generic Mailbox class that provides basic accessor methods for a mailbox, and subclasses such as MboxMailbox, MaildirMailbox, OutlookMailbox that handle various specific mailbox formats.

O que é um método?

A method is a function on some object x that you normally call as x.name(arguments...). Methods are defined as functions inside the class definition:

class C:
    def meth(self, arg):
        return arg * 2 + self.attribute

O que é o self?

Self is merely a conventional name for the first argument of a method. A method defined as meth(self, a, b, c) should be called as x.meth(a, b, c) for some instance x of the class in which the definition occurs; the called method will think it is called as meth(x, a, b, c).

Veja também Por que o ‘self’ deve ser usado explicitamente em definições de método e chamadas?.

Como eu verifico se um objeto é uma instância de uma dada classe ou de uma subclasse dela?

Use the built-in function isinstance(obj, cls). You can check if an object is an instance of any of a number of classes by providing a tuple instead of a single class, e.g. isinstance(obj, (class1, class2, ...)), and can also check whether an object is one of Python’s built-in types, e.g. isinstance(obj, str) or isinstance(obj, (int, float, complex)).

Note that isinstance() also checks for virtual inheritance from an abstract base class. So, the test will return True for a registered class even if hasn’t directly or indirectly inherited from it. To test for “true inheritance”, scan the MRO of the class:

from collections.abc import Mapping

class P:
     pass

class C(P):
    pass

Mapping.register(P)

>>> c = C()
>>> isinstance(c, C)        # direct
True
>>> isinstance(c, P)        # indirect
True
>>> isinstance(c, Mapping)  # virtual
True

# Actual inheritance chain
>>> type(c).__mro__
(<class 'C'>, <class 'P'>, <class 'object'>)

# Test for "true inheritance"
>>> Mapping in type(c).__mro__
False

Note that most programs do not use isinstance() on user-defined classes very often. If you are developing the classes yourself, a more proper object-oriented style is to define methods on the classes that encapsulate a particular behaviour, instead of checking the object’s class and doing a different thing based on what class it is. For example, if you have a function that does something:

def search(obj):
    if isinstance(obj, Mailbox):
        ...  # code to search a mailbox
    elif isinstance(obj, Document):
        ...  # code to search a document
    elif ...

A better approach is to define a search() method on all the classes and just call it:

class Mailbox:
    def search(self):
        ...  # code to search a mailbox

class Document:
    def search(self):
        ...  # code to search a document

obj.search()

O que é delegation?

Delegation is an object oriented technique (also called a design pattern). Let’s say you have an object x and want to change the behaviour of just one of its methods. You can create a new class that provides a new implementation of the method you’re interested in changing and delegates all other methods to the corresponding method of x.

Python programmers can easily implement delegation. For example, the following class implements a class that behaves like a file but converts all written data to uppercase:

class UpperOut:

    def __init__(self, outfile):
        self._outfile = outfile

    def write(self, s):
        self._outfile.write(s.upper())

    def __getattr__(self, name):
        return getattr(self._outfile, name)

Here the UpperOut class redefines the write() method to convert the argument string to uppercase before calling the underlying self._outfile.write() method. All other methods are delegated to the underlying self._outfile object. The delegation is accomplished via the __getattr__() method; consult the language reference for more information about controlling attribute access.

Note that for more general cases delegation can get trickier. When attributes must be set as well as retrieved, the class must define a __setattr__() method too, and it must do so carefully. The basic implementation of __setattr__() is roughly equivalent to the following:

class X:
    ...
    def __setattr__(self, name, value):
        self.__dict__[name] = value
    ...

Many __setattr__() implementations call object.__setattr__() to set an attribute on self without causing infinite recursion:

class X:
    def __setattr__(self, name, value):
        # Custom logic here...
        object.__setattr__(self, name, value)

Alternatively, it is possible to set attributes by inserting entries into self.__dict__ directly.

Como eu chamo um método definido numa classe base derivada de uma classe que estende ela?

Use a função embutida super():

class Derived(Base):
    def meth(self):
        super().meth()  # calls Base.meth

In the example, super() will automatically determine the instance from which it was called (the self value), look up the method resolution order (MRO) with type(self).__mro__, and return the next in line after Derived in the MRO: Base.

Como eu posso organizar meu código para facilitar a troca da classe base?

You could assign the base class to an alias and derive from the alias. Then all you have to change is the value assigned to the alias. Incidentally, this trick is also handy if you want to decide dynamically (e.g. depending on availability of resources) which base class to use. Example:

class Base:
    ...

BaseAlias = Base

class Derived(BaseAlias):
    ...

How do I create static class data and static class methods?

Both static data and static methods (in the sense of C++ or Java) are supported in Python.

For static data, simply define a class attribute. To assign a new value to the attribute, you have to explicitly use the class name in the assignment:

class C:
    count = 0   # number of times C.__init__ called

    def __init__(self):
        C.count = C.count + 1

    def getcount(self):
        return C.count  # or return self.count

c.count also refers to C.count for any c such that isinstance(c, C) holds, unless overridden by c itself or by some class on the base-class search path from c.__class__ back to C.

Caution: within a method of C, an assignment like self.count = 42 creates a new and unrelated instance named “count” in self’s own dict. Rebinding of a class-static data name must always specify the class whether inside a method or not:

C.count = 314

Métodos estáticos são possíveis:

class C:
    @staticmethod
    def static(arg1, arg2, arg3):
        # No 'self' parameter!
        ...

However, a far more straightforward way to get the effect of a static method is via a simple module-level function:

def getcount():
    return C.count

If your code is structured so as to define one class (or tightly related class hierarchy) per module, this supplies the desired encapsulation.

Como eu posso sobrecarregar construtores (ou métodos) em Python?

Essa resposta na verdade se aplica para todos os métodos, mas a pergunta normalmente aparece primeiro no contexto de construtores.

Em C++ escreveríamos

class C {
    C() { cout << "No arguments\n"; }
    C(int i) { cout << "Argument is " << i << "\n"; }
}

Em Python você tem que escrever um único construtor que pega todos os casos usando argumentos padrão. Por exemplo:

class C:
    def __init__(self, i=None):
        if i is None:
            print("No arguments")
        else:
            print("Argument is", i)

Isso não é inteiramente equivalente, mas já está bem próximo.

Você também pode tentar uma lista de argumentos de comprimento variável, por exemplo:

def __init__(self, *args):
    ...

A mesma abordagem funciona para todas as definições de métodos.

Eu tentei usar __spam e recebi um erro sobre _SomeClassName__spam.

Variable names with double leading underscores are “mangled” to provide a simple but effective way to define class private variables. Any identifier of the form __spam (at least two leading underscores, at most one trailing underscore) is textually replaced with _classname__spam, where classname is the current class name with any leading underscores stripped.

The identifier can be used unchanged within the class, but to access it outside the class, the mangled name must be used:

class A:
    def __one(self):
        return 1
    def two(self):
        return 2 * self.__one()

class B(A):
    def three(self):
        return 3 * self._A__one()

four = 4 * A()._A__one()

In particular, this does not guarantee privacy since an outside user can still deliberately access the private attribute; many Python programmers never bother to use private variable names at all.

Ver também

O especificações de desfiguração de nome privado para detalhes e casos especiais.

Minha classe define __del__, mas o mesmo não é chamado quando eu excluo o objeto.

Há várias razões possíveis para isto.

The del statement does not necessarily call __del__() – it simply decrements the object’s reference count, and if this reaches zero __del__() is called.

If your data structures contain circular links (e.g. a tree where each child has a parent reference and each parent has a list of children) the reference counts will never go back to zero. Once in a while Python runs an algorithm to detect such cycles, but the garbage collector might run some time after the last reference to your data structure vanishes, so your __del__() method may be called at an inconvenient and random time. This is inconvenient if you’re trying to reproduce a problem. Worse, the order in which object’s __del__() methods are executed is arbitrary. You can run gc.collect() to force a collection, but there are pathological cases where objects will never be collected.

Despite the cycle collector, it’s still a good idea to define an explicit close() method on objects to be called whenever you’re done with them. The close() method can then remove attributes that refer to subobjects. Don’t call __del__() directly – __del__() should call close() and close() should make sure that it can be called more than once for the same object.

Another way to avoid cyclical references is to use the weakref module, which allows you to point to objects without incrementing their reference count. Tree data structures, for instance, should use weak references for their parent and sibling references (if they need them!).

Finally, if your __del__() method raises an exception, a warning message is printed to sys.stderr.

Como eu consigo pegar uma lista de todas as instâncias de uma dada classe?

Python does not keep track of all instances of a class (or of a built-in type). You can program the class’s constructor to keep track of all instances by keeping a list of weak references to each instance.

Por que o resultado de id() aparenta não ser único?

The id() builtin returns an integer that is guaranteed to be unique during the lifetime of the object. Since in CPython, this is the object’s memory address, it happens frequently that after an object is deleted from memory, the next freshly created object is allocated at the same position in memory. This is illustrated by this example:

>>> id(1000)
13901272
>>> id(2000)
13901272

The two ids belong to different integer objects that are created before, and deleted immediately after execution of the id() call. To be sure that objects whose id you want to examine are still alive, create another reference to the object:

>>> a = 1000; b = 2000
>>> id(a)
13901272
>>> id(b)
13891296

Quando eu posso depender dos testes de identidade com o operador is?

The is operator tests for object identity. The test a is b is equivalent to id(a) == id(b).

The most important property of an identity test is that an object is always identical to itself, a is a always returns True. Identity tests are usually faster than equality tests. And unlike equality tests, identity tests are guaranteed to return a boolean True or False.

However, identity tests can only be substituted for equality tests when object identity is assured. Generally, there are three circumstances where identity is guaranteed:

1) Assignments create new names but do not change object identity. After the assignment new = old, it is guaranteed that new is old.

2) Putting an object in a container that stores object references does not change object identity. After the list assignment s[0] = x, it is guaranteed that s[0] is x.

3) If an object is a singleton, it means that only one instance of that object can exist. After the assignments a = None and b = None, it is guaranteed that a is b because None is a singleton.

In most other circumstances, identity tests are inadvisable and equality tests are preferred. In particular, identity tests should not be used to check constants such as int and str which aren’t guaranteed to be singletons:

>>> a = 1000
>>> b = 500
>>> c = b + 500
>>> a is c
False

>>> a = 'Python'
>>> b = 'Py'
>>> c = b + 'thon'
>>> a is c
False

Do mesmo jeito, novas instâncias de contêineres mutáveis nunca são idênticas:

>>> a = []
>>> b = []
>>> a is b
False

In the standard library code, you will see several common patterns for correctly using identity tests:

1) As recommended by PEP 8 [https://peps.python.org/pep-0008/], an identity test is the preferred way to check for None. This reads like plain English in code and avoids confusion with other objects that may have boolean values that evaluate to false.

2) Detecting optional arguments can be tricky when None is a valid input value. In those situations, you can create a singleton sentinel object guaranteed to be distinct from other objects. For example, here is how to implement a method that behaves like dict.pop():

_sentinel = object()

def pop(self, key, default=_sentinel):
    if key in self:
        value = self[key]
        del self[key]
        return value
    if default is _sentinel:
        raise KeyError(key)
    return default

3) Container implementations sometimes need to augment equality tests with identity tests. This prevents the code from being confused by objects such as float('NaN') that are not equal to themselves.

For example, here is the implementation of collections.abc.Sequence.__contains__():

def __contains__(self, value):
    for v in self:
        if v is value or v == value:
            return True
    return False

How can a subclass control what data is stored in an immutable instance?

When subclassing an immutable type, override the __new__() method instead of the __init__() method. The latter only runs after an instance is created, which is too late to alter data in an immutable instance.

All of these immutable classes have a different signature than their parent class:

from datetime import date

class FirstOfMonthDate(date):
    "Always choose the first day of the month"
    def __new__(cls, year, month, day):
        return super().__new__(cls, year, month, 1)

class NamedInt(int):
    "Allow text names for some numbers"
    xlat = {'zero': 0, 'one': 1, 'ten': 10}
    def __new__(cls, value):
        value = cls.xlat.get(value, value)
        return super().__new__(cls, value)

class TitleStr(str):
    "Convert str to name suitable for a URL path"
    def __new__(cls, s):
        s = s.lower().replace(' ', '-')
        s = ''.join([c for c in s if c.isalnum() or c == '-'])
        return super().__new__(cls, s)

The classes can be used like this:

>>> FirstOfMonthDate(2012, 2, 14)
FirstOfMonthDate(2012, 2, 1)
>>> NamedInt('ten')
10
>>> NamedInt(20)
20
>>> TitleStr('Blog: Why Python Rocks')
'blog-why-python-rocks'

How do I cache method calls?

The two principal tools for caching methods are functools.cached_property() and functools.lru_cache(). The former stores results at the instance level and the latter at the class level.

The cached_property approach only works with methods that do not take any arguments. It does not create a reference to the instance. The cached method result will be kept only as long as the instance is alive.

The advantage is that when an instance is no longer used, the cached method result will be released right away. The disadvantage is that if instances accumulate, so too will the accumulated method results. They can grow without bound.

The lru_cache approach works with methods that have hashable arguments. It creates a reference to the instance unless special efforts are made to pass in weak references.

The advantage of the least recently used algorithm is that the cache is bounded by the specified maxsize. The disadvantage is that instances are kept alive until they age out of the cache or until the cache is cleared.

Esse exemplo mostra as várias técnicas:

class Weather:
    "Lookup weather information on a government website"

    def __init__(self, station_id):
        self._station_id = station_id
        # The _station_id is private and immutable

    def current_temperature(self):
        "Latest hourly observation"
        # Do not cache this because old results
        # can be out of date.

    @cached_property
    def location(self):
        "Return the longitude/latitude coordinates of the station"
        # Result only depends on the station_id

    @lru_cache(maxsize=20)
    def historic_rainfall(self, date, units='mm'):
        "Rainfall on a given date"
        # Depends on the station_id, date, and units.

The above example assumes that the station_id never changes. If the relevant instance attributes are mutable, the cached_property approach can’t be made to work because it cannot detect changes to the attributes.

To make the lru_cache approach work when the station_id is mutable, the class needs to define the __eq__() and __hash__() methods so that the cache can detect relevant attribute updates:

class Weather:
    "Example with a mutable station identifier"

    def __init__(self, station_id):
        self.station_id = station_id

    def change_station(self, station_id):
        self.station_id = station_id

    def __eq__(self, other):
        return self.station_id == other.station_id

    def __hash__(self):
        return hash(self.station_id)

    @lru_cache(maxsize=20)
    def historic_rainfall(self, date, units='cm'):
        'Rainfall on a given date'
        # Depends on the station_id, date, and units.

Módulos

Como faço para criar um arquivo .pyc?

When a module is imported for the first time (or when the source file has changed since the current compiled file was created) a .pyc file containing the compiled code should be created in a __pycache__ subdirectory of the directory containing the .py file. The .pyc file will have a filename that starts with the same name as the .py file, and ends with .pyc, with a middle component that depends on the particular python binary that created it. (See PEP 3147 [https://peps.python.org/pep-3147/] for details.)

One reason that a .pyc file may not be created is a permissions problem with the directory containing the source file, meaning that the __pycache__ subdirectory cannot be created. This can happen, for example, if you develop as one user but run as another, such as if you are testing with a web server.

Unless the PYTHONDONTWRITEBYTECODE environment variable is set, creation of a .pyc file is automatic if you’re importing a module and Python has the ability (permissions, free space, etc…) to create a __pycache__ subdirectory and write the compiled module to that subdirectory.

Running Python on a top level script is not considered an import and no .pyc will be created. For example, if you have a top-level module foo.py that imports another module xyz.py, when you run foo (by typing python foo.py as a shell command), a .pyc will be created for xyz because xyz is imported, but no .pyc file will be created for foo since foo.py isn’t being imported.

If you need to create a .pyc file for foo – that is, to create a .pyc file for a module that is not imported – you can, using the py_compile and compileall modules.

The py_compile module can manually compile any module. One way is to use the compile() function in that module interactively:

>>> import py_compile
>>> py_compile.compile('foo.py')

This will write the .pyc to a __pycache__ subdirectory in the same location as foo.py (or you can override that with the optional parameter cfile).

You can also automatically compile all files in a directory or directories using the compileall module. You can do it from the shell prompt by running compileall.py and providing the path of a directory containing Python files to compile:

python -m compileall .

Como encontro o nome do módulo atual?

A module can find out its own module name by looking at the predefined global variable __name__. If this has the value '__main__', the program is running as a script. Many modules that are usually used by importing them also provide a command-line interface or a self-test, and only execute this code after checking __name__:

def main():
    print('Running test...')
    ...

if __name__ == '__main__':
    main()

How can I have modules that mutually import each other?

Suponha que tenhas os seguintes módulos:

foo.py:

from bar import bar_var
foo_var = 1

bar.py:

from foo import foo_var
bar_var = 2

O problema é que o interpretador vai realizar os seguintes passos:

main imports foo

Empty globals for foo are created

foo is compiled and starts executing

foo imports bar

Empty globals for bar are created

bar is compiled and starts executing

bar imports foo (which is a no-op since there already is a module named foo)

The import mechanism tries to read foo_var from foo globals, to set bar.foo_var = foo.foo_var

The last step fails, because Python isn’t done with interpreting foo yet and the global symbol dictionary for foo is still empty.

The same thing happens when you use import foo, and then try to access foo.foo_var in global code.

There are (at least) three possible workarounds for this problem.

Guido van Rossum recommends avoiding all uses of from <module> import ..., and placing all code inside functions. Initializations of global variables and class variables should use constants or built-in functions only. This means everything from an imported module is referenced as <module>.<name>.

Jim Roskind suggests performing steps in the following order in each module:

exports (globals, functions, and classes that don’t need imported base classes)

Declaração import

código ativo (incluindo globais que são inicializadas de valores importados)

Van Rossum doesn’t like this approach much because the imports appear in a strange place, but it does work.

Matthias Urlichs recommends restructuring your code so that the recursive import is not necessary in the first place.

Essas soluções não são mutualmente exclusivas.

__import__(‘x.y.z’) returns <module ‘x’>; how do I get z?

Consider using the convenience function import_module() from importlib instead:

z = importlib.import_module('x.y.z')

Quando eu edito um módulo importado e o reimporto, as mudanças não aparecem. Por que isso acontece?

For reasons of efficiency as well as consistency, Python only reads the module file on the first time a module is imported. If it didn’t, in a program consisting of many modules where each one imports the same basic module, the basic module would be parsed and re-parsed many times. To force re-reading of a changed module, do this:

import importlib
import modname
importlib.reload(modname)

Aviso: essa técnica não é 100% a prova de falhas. Em particular, módulos contendo instruções como

from modname import some_objects

will continue to work with the old version of the imported objects. If the module contains class definitions, existing class instances will not be updated to use the new class definition. This can result in the following paradoxical behaviour:

>>> import importlib
>>> import cls
>>> c = cls.C()                # Create an instance of C
>>> importlib.reload(cls)
<module 'cls' from 'cls.py'>
>>> isinstance(c, cls.C)       # isinstance is false?!?
False

A natureza do problema fica clara se você exibir a “identidade” dos objetos da classe:

>>> hex(id(c.__class__))
'0x7352a0'
>>> hex(id(cls.C))
'0x4198d0'

FAQ sobre design e histórico

Sumário

FAQ sobre design e histórico

Por que o Python usa indentação para agrupamento de instruções?

Por que eu estou recebendo resultados estranhos com simples operações aritméticas?

Por que o cálculo de pontos flutuantes são tão imprecisos?

Por que strings do Python são imutáveis?

Por que o ‘self’ deve ser usado explicitamente em definições de método e chamadas?

Por que não posso usar uma atribuição em uma expressão?

Por que o Python usa métodos para algumas funcionalidades (ex: lista.index()) mas funções para outras (ex: len(lista))?

Por que o join() é um método de string em vez de ser um método de lista ou tupla?

Quão rápidas são as exceções?

Por que não existe uma instrução de switch ou case no Python?

Você não pode emular threads no interpretador em vez de confiar em uma implementação de thread específica do sistema operacional?

Por que expressões lambda não podem conter instruções?

O Python pode ser compilado para linguagem de máquina, C ou alguma outra linguagem?

Como o Python gerencia memória?

Por que o CPython não usa uma forma mais tradicional de esquema de coleta de lixo?

Por que toda memória não é liberada quando o CPython fecha?

Por que existem tipos de dados separados para tuplas e listas?

Como as listas são implementadas no CPython?

Como são os dicionários implementados no CPython?

Por que chaves de dicionário devem ser imutáveis?

Por que lista.sort() não retorna a lista ordenada?

Como você especifica e aplica uma especificação de interface no Python?

Por que não há goto?

Por que strings brutas (r-strings) não podem terminar com uma contrabarra?

Por que o Python não tem uma instrução “with” para atribuição de atributos?

Por que os geradores não suportam a instrução with?

Por que dois pontos são necessários para as instruções de if/while/def/class?

Por que o Python permite vírgulas ao final de listas e tuplas?

Por que o Python usa indentação para agrupamento de instruções?

Guido van Rossum acredita que usar indentação para agrupamento é extremamente elegante e contribui muito para a clareza de programa Python mediano. Muitas pessoas aprendem a amar esta ferramenta depois de um tempo.

Uma vez que não há colchetes de início / fim, não pode haver um desacordo entre o agrupamento percebido pelo analisador sintático e pelo leitor humano. Ocasionalmente, programadores C irão encontrar um fragmento de código como este:

if (x <= y)
        x++;
        y--;
z++;

Somente a instrução x++ é executada se a condição for verdadeira, mas a indentação leva muitos a acreditarem no contrário. Com frequência, até programadores C experientes a observam fixamente por um longo tempo, perguntando-se por que y está sendo decrementada até mesmo para x > y.

Como não há chaves de início / fim, o Python é muito menos propenso a conflitos no estilo de codificação. Em C, existem muitas maneiras diferentes de colocar as chaves. Depois de se tornar habitual a leitura e escrita de código usando um estilo específico, é normal sentir-se um pouco receoso ao ler (ou precisar escrever) em um estilo diferente.

Muitos estilos de codificação colocam chaves de início / fim em uma linha sozinhos. Isto torna os programas consideravelmente mais longos e desperdiça espaço valioso na tela, dificultando a obtenção de uma boa visão geral de um programa. Idealmente, uma função deve caber em uma tela (digamos, 20 a 30 linhas). 20 linhas de Python podem fazer muito mais trabalho do que 20 linhas de C. Isso não se deve apenas à falta de colchetes de início/fim – a falta de declarações e os tipos de dados de alto nível também são responsáveis – mas a sintaxe baseada em indentação certamente ajuda.

Por que eu estou recebendo resultados estranhos com simples operações aritméticas?

Veja a próxima questão.

Por que o cálculo de pontos flutuantes são tão imprecisos?

Usuários são frequentemente surpreendidos por resultados como este:

>>> 1.2 - 1.0
0.19999999999999996

e pensam que isto é um bug do Python. Não é não. Isto tem pouco a ver com o Python, e muito mais a ver com como a estrutura da plataforma lida com números em ponto flutuante.

O tipo float no CPython usa um double do C para armazenamento. O valor de um objeto float é armazenado em ponto flutuante binário com uma precisão fixa (normalmente 53 bits) e Python usa operações C, que por sua vez dependem da implementação de hardware no processador, para realizar operações de ponto flutuante. Isso significa que, no que diz respeito às operações de ponto flutuante, Python se comporta como muitas linguagens populares, incluindo C e Java.

Muitos números podem ser escritos facilmente em notação decimal, mas não podem ser expressados exatamente em ponto flutuante binário. Por exemplo, após:

>>> x = 1.2

o valor armazenado para x é uma (ótima) aproximação para o valor decimal 1.2, mas não é exatamente igual. Em uma máquina típica, o valor real armazenado é:

1.0011001100110011001100110011001100110011001100110011 (binário)

que é exatamente:

1.1999999999999999555910790149937383830547332763671875 (decimal)

A precisão típica de 53 bits fornece floats do Python com precisão de 15 a 16 dígitos decimais.

Para uma explicação mais completa, consulte o capítulo de aritmética de ponto flutuante no tutorial Python.

Por que strings do Python são imutáveis?

Existem várias vantagens.

Uma delas é o desempenho: saber que uma string é imutável significa que podemos alocar espaço para ela no momento da criação, e os requisitos de armazenamento são fixos e imutáveis. Esta é também uma das razões para a distinção entre tuplas e listas.

Outra vantagem é que strings em Python são consideradas tão “elementares” quanto números. Nenhuma atividade alterará o valor 8 para qualquer outra coisa e, em Python, nenhuma atividade alterará a string “oito” para qualquer outra coisa.

Por que o ‘self’ deve ser usado explicitamente em definições de método e chamadas?

A ideia foi emprestada do Modula-3. Acontece dela ser muito útil, por vários motivos.

Primeiro, é mais óbvio que você está usando um método ou atributo de instância em vez de uma variável local. Ler self.x ou self.meth() deixa absolutamente claro que uma variável de instância ou método é usado mesmo se você não souber a definição da classe de cor. Em C++, você pode perceber pela falta de uma declaração de variável local (presumindo que globais são raras ou facilmente reconhecíveis) – mas no Python não há declarações de variáveis locais, então você teria que procurar a definição de classe para tenha certeza. Alguns padrões de codificação C++ e Java exigem que atributos de instância tenham um prefixo m_, portanto, essa explicitação ainda é útil nessas linguagens também.

Segundo, significa que nenhuma sintaxe especial é necessária se você quiser referenciar ou chamar explicitamente o método de uma classe específica. Em C++, se você quiser usar um método de uma classe base que é substituído em uma classe derivada, você deve usar o operador :: – no Python, você pode escrever baseclass.methodname(self, <lista de argumentos>). Isto é particularmente útil para métodos __init__() e, em geral, em casos onde um método de classe derivada deseja estender o método da classe base de mesmo nome e, portanto, precisa chamar o método da classe base de alguma forma.

Finalmente, por exemplo, variáveis, ele resolve um problema sintático com atribuição: uma vez que variáveis locais em Python são (por definição!) aquelas variáveis às quais um valor é atribuído em um corpo de função (e que não são explicitamente declaradas globais), é necessário deve haver alguma forma de dizer ao interpretador que uma atribuição deveria ser atribuída a uma variável de instância em vez de a uma variável local, e deve ser preferencialmente sintática (por razões de eficiência). C++ faz isso através de declarações, mas Python não possui declarações e seria uma pena ter que introduzi-las apenas para esse fim. Usar o self.var explícito resolve isso muito bem. Da mesma forma, para usar variáveis de instância, ter que escrever self.var significa que referências a nomes não qualificados dentro de um método não precisam pesquisar nos diretórios da instância. Em outras palavras, variáveis locais e variáveis de instância residem em dois espaço de nomes diferentes, e você precisa informar ao Python qual espaço de nomes usar.

Por que não posso usar uma atribuição em uma expressão?

A partir do Python 3.8, você pode!

Expressões de atribuição usando o operador morsa := atribuem uma variável em uma expressão:

while chunk := fp.read(200):
   print(chunk)

Veja PEP 572 [https://peps.python.org/pep-0572/] para mais informações.

Por que o Python usa métodos para algumas funcionalidades (ex: lista.index()) mas funções para outras (ex: len(lista))?

Como Guido disse:

(a) Para algumas operações, a notação de prefixo é melhor lida do que as operações de prefixo (e infixo!) têm uma longa tradição em matemática que gosta de notações onde os recursos visuais ajudam o matemático a pensar sobre um problema. Compare a facilidade com que reescrevemos uma fórmula como x*(a+b) em x*a + x*b com a falta de jeito de fazer a mesma coisa usando uma notação OO bruta.

(b) Quando leio o código que diz len(x) eu sei que ele está perguntando o comprimento de alguma coisa. Isso me diz duas coisas: o resultado é um número inteiro e o argumento é algum tipo de contêiner. Pelo contrário, quando leio x.len(), já devo saber que x é algum tipo de contêiner implementando uma interface ou herdando de uma classe que possui um len() padrão. Veja a confusão que ocasionalmente temos quando uma classe que não está implementando um mapeamento tem um método get() ou keys(), ou algo que não é um arquivo tem um método write().

—https://mail.python.org/pipermail/python-3000/2006-November/004643.html

Por que o join() é um método de string em vez de ser um método de lista ou tupla?

Strings se tornaram muito parecidas com outros tipos padrão a partir do Python 1.6, quando métodos que dão a mesma funcionalidade que sempre esteve disponível utilizando as funções do módulo de string foram adicionados. A maior parte desses novos métodos foram amplamente aceitos, mas o que parece deixar alguns programadores desconfortáveis é:

", ".join(['1', '2', '4', '8', '16'])

que dá o resultado:

"1, 2, 4, 8, 16"

Existem dois argumentos comuns contra esse uso.

O primeiro segue as linhas de: “Parece muito feio usar um método de uma string literal (constante de string)”, para o qual a resposta é que pode, mas uma string literal é apenas um valor fixo. Se os métodos devem ser permitidos em nomes vinculados a strings, não há razão lógica para torná-los indisponíveis em literais.

A segunda objeção é normalmente formulada como: “Na verdade, estou dizendo a uma sequência para unir seus membros com uma constante de string”. Infelizmente, você não está. Por alguma razão parece haver muito menos dificuldade em ter split() como um método string, já que nesse caso é fácil ver que

"1, 2, 4, 8, 16".split(", ")

é uma instrução para uma string literal para retornar as substrings delimitadas pelo separador fornecido (ou, por padrão, execuções arbitrárias de espaço em branco).

join() é um método de string porque ao usá-lo você está dizendo à string separadora para iterar sobre uma sequência de strings e se inserir entre elementos adjacentes. Este método pode ser usado com qualquer argumento que obedeça às regras para objetos sequência, incluindo quaisquer novas classes que você mesmo possa definir. Existem métodos semelhantes para bytes e objetos bytearray.

Quão rápidas são as exceções?

Um bloco try/except é extremamente eficiente se nenhuma exceção for levantada. Na verdade, capturar uma exceção é caro. Nas versões do Python anteriores à 2.0 era comum usar esta expressão:

try:
    value = mydict[key]
except KeyError:
    mydict[key] = getvalue(key)
    value = mydict[key]

Isso somente fazia sentido quando você esperava que o dicionário tivesse uma chave quase que toda vez. Se esse não fosse o caso, você escrevia desta maneira:

if key in mydict:
    value = mydict[key]
else:
    value = mydict[key] = getvalue(key)

Para este caso específico, você também pode usar value = dict.setdefault(key, getvalue(key)), mas apenas se a chamada getvalue() tiver pouco custosa o suficiente porque é avaliada em todos os casos.

Por que não existe uma instrução de switch ou case no Python?

Em geral, as instruções switch estruturadas executam um bloco de código quando uma expressão possui um valor ou conjunto de valores específico. Desde o Python 3.10 é possível combinar facilmente valores literais, ou constantes dentro de um espaço de nomes, com uma instrução match ... case. Uma alternativa mais antiga é uma sequência de if... elif... elif... else.

Para casos em que você precisa escolher entre um grande número de possibilidades, você pode criar um dicionário mapeando valores de caso para funções a serem chamadas. Por exemplo:

functions = {'a': function_1,
             'b': function_2,
             'c': self.method_1}

func = functions[value]
func()

Para chamar métodos em objetos, você pode simplificar ainda mais usando olá função embutida getattr() para recuperar métodos com um nome específico:

class MyVisitor:
    def visit_a(self):
        ...

    def dispatch(self, value):
        method_name = 'visit_' + str(value)
        method = getattr(self, method_name)
        method()

É sugerido que você use um prefixo para os nomes dos métodos, como visit_ neste exemplo. Sem esse prefixo, se os valores vierem de uma fonte não confiável, um invasor poderá chamar qualquer método no seu objeto.

Imitar o comportamento do switch no C, em que a execução atravessa as instruções de um case para outro caso não seja interrompida, é possível, mais difícil, e menos necessário.

Você não pode emular threads no interpretador em vez de confiar em uma implementação de thread específica do sistema operacional?

Resposta 1: Infelizmente, o interpretador envia pelo menos um quadro de pilha C para cada quadro de pilha Python. Além disso, as extensões podem retornar ao Python em momentos quase aleatórios. Portanto, uma implementação completa de threads requer suporte de thread para C.

Resposta 2: Felizmente, existe o Stackless Python [https://github.com/stackless-dev/stackless/wiki], que tem um laço de interpretador completamente redesenhado que evita a pilha C.

Por que expressões lambda não podem conter instruções?

Expressões lambda no Python não podem conter instruções porque o framework sintático do Python não consegue manipular instruções aninhadas dentro de expressões. No entanto, no Python, isso não é um problema sério. Diferentemente das formas de lambda em outras linguagens, onde elas adicionam funcionalidade, lambdas de Python são apenas notações simplificadas se você tiver muita preguiça de definir uma função.

Funções já são objetos de primeira classe em Python, e podem ser declaradas em um escopo local. Portanto a única vantagem de usar um lambda em vez de uma função definida localmente é que você não precisa inventar um nome para a função – mas esta só é uma variável local para a qual o objeto da função (que é exatamente do mesmo tipo de um objeto que uma expressão lambda carrega) é atribuído!

O Python pode ser compilado para linguagem de máquina, C ou alguma outra linguagem?

O Cython [https://cython.org/] compila uma versão modificada do Python com anotações opcionais em extensões C. Nuitka [https://nuitka.net/] é um compilador emergente de Python em código C++, com o objetivo de oferecer suporte à linguagem Python completa.

Como o Python gerencia memória?

Os detalhes do gerenciamento de memória Python dependem da implementação. A implementação padrão do Python, CPython, usa contagem de referências para detectar objetos inacessíveis, e outro mecanismo para coletar ciclos de referência, executando periodicamente um algoritmo de detecção de ciclo que procura por ciclos inacessíveis e exclui os objetos envolvidos. O módulo gc fornece funções para realizar uma coleta de lixo, obter estatísticas de depuração e ajustar os parâmetros do coletor.

Outras implementações (como Jython [https://www.jython.org] ou PyPy [https://pypy.org]), no entanto, podem contar com um mecanismo diferente, como um coletor de lixo maduro. Essa diferença pode causar alguns problemas sutis de portabilidade se o seu código Python depender do comportamento da implementação de contagem de referências.

Em algumas implementações do Python, o código a seguir (que funciona bem no CPython) provavelmente ficará sem descritores de arquivo:

for file in very_long_list_of_files:
    f = open(file)
    c = f.read(1)

Na verdade, usando o esquema de contagem de referências e destrutor de referências do CPython, cada nova atribuição a f fecha o arquivo anterior. Com um GC tradicional, entretanto, esses objetos de arquivo só serão coletados (e fechados) em intervalos variados e possivelmente longos.

Se você quiser escrever um código que funcione com qualquer implementação Python, você deve fechar explicitamente o arquivo ou usar a instrução with; isso funcionará independentemente do esquema de gerenciamento de memória:

for file in very_long_list_of_files:
    with open(file) as f:
        c = f.read(1)

Por que o CPython não usa uma forma mais tradicional de esquema de coleta de lixo?

Por um lado, este não é um recurso padrão C e, portanto, não é portátil. (Sim, sabemos sobre a biblioteca Boehm GC. Ela possui pedaços de código assembler para a maioria das plataformas comuns, não para todas elas, e embora seja em sua maioria transparente, não é completamente transparente; são necessários patches para obter Python para trabalhar com isso.)

O GC tradicional também se torna um problema quando o Python é incorporado em outros aplicativos. Embora em um Python independente seja bom substituir o padrão malloc() e free() por versões fornecidas pela biblioteca GC, uma aplicação que incorpora Python pode querer ter seu próprio substituto para malloc() e free(), e podem não querer Python. No momento, CPython funciona com qualquer coisa que implemente malloc() e free() corretamente.

Por que toda memória não é liberada quando o CPython fecha?

Os objetos referenciados nos espaço de nomes globais dos módulos Python nem sempre são desalocados quando o Python é encerrado. Isso pode acontecer se houver referências circulares. Existem também certos bits de memória alocados pela biblioteca C que são impossíveis de liberar (por exemplo, uma ferramenta como o Purify reclamará disso). Python é, no entanto, agressivo quanto à limpeza de memória na saída e tenta destruir todos os objetos.

Se você quiser forçar o Python a excluir certas coisas na desalocação, use o módulo atexit para executar uma função que forçará essas exclusões.

Por que existem tipos de dados separados para tuplas e listas?

Listas e tuplas, embora semelhantes em muitos aspectos, geralmente são usadas de maneiras fundamentalmente diferentes. Tuplas podem ser consideradas semelhantes a records de Pascal ou structs de C; são pequenas coleções de dados relacionados que podem ser de diferentes tipos e operados como um grupo. Por exemplo, uma coordenada cartesiana é representada apropriadamente como uma tupla de dois ou três números.

As listas, por outro lado, são mais parecidas com arrays em outras linguagens. Eles tendem a conter um número variável de objetos, todos do mesmo tipo e operados um por um. Por exemplo, os.listdir('.') retorna uma lista de strings representando os arquivos no diretório atual. Funções que operam nesta saída geralmente não seriam interrompidas se você adicionasse outro arquivo ou dois ao diretório.

As tuplas são imutáveis, o que significa que, uma vez criada uma tupla, você não pode substituir nenhum de seus elementos por um novo valor. As listas são mutáveis, o que significa que você sempre pode alterar os elementos de uma lista. Somente elementos imutáveis podem ser usados como chaves de dicionário e, portanto, apenas tuplas e não listas podem ser usadas como chaves.

Como as listas são implementadas no CPython?

As listas do CPython são, na verdade, vetores de comprimento variável, listas vinculadas não no estilo Lisp. A implementação usa um vetor contíguo de referências a outros objetos e mantém um ponteiro para esse vetor e o comprimento de vetor em uma estrutura de cabeçalho de lista.

Isso torna a indexação de uma lista a[i] uma operação cujo custo é independente do tamanho da lista ou do valor do índice.

Quando itens são anexados ou inseridos, o vetor de referências é redimensionado. Alguma inteligência é aplicada para melhorar o desempenho de anexar itens repetidamente; quando o vetor precisa ser aumentado, algum espaço extra é alocado para que as próximas vezes não exijam um redimensionamento real.

Como são os dicionários implementados no CPython?

Os dicionários do CPython são implementados como tabelas hash redimensionáveis. Em comparação com árvores B, isso oferece melhor desempenho para pesquisa (de longe a operação mais comum) na maioria das circunstâncias, e a implementação é mais simples.

Os dicionários funcionam calculando um código hash para cada chave armazenada no dicionário usando a função embutida hash(). O código hash varia amplamente dependendo da chave e da semente por processo; por exemplo, 'Python' poderia fazer hash para -539294296 enquanto 'python', uma string que difere por um único bit, poderia fazer hash para 1142331976. O código hash é então usado para calcular um local em um vetor interno onde o valor será armazenado. Supondo que você esteja armazenando chaves com valores de hash diferentes, isso significa que os dicionários levam um tempo constante – O(1), na notação Big-O – para recuperar uma chave.

Por que chaves de dicionário devem ser imutáveis?

A implementação da tabela hash de dicionários usa um valor hash calculado a partir do valor da chave para encontrar a chave. Se a chave fosse um objeto mutável, seu valor poderia mudar e, portanto, seu hash também poderia mudar. Mas como quem altera o objeto-chave não pode saber que ele estava sendo usado como chave de dicionário, ele não pode mover a entrada no dicionário. Então, quando você tentar procurar o mesmo objeto no dicionário, ele não será encontrado porque seu valor de hash é diferente. Se você tentasse procurar o valor antigo, ele também não seria encontrado, porque o valor do objeto encontrado naquele hash seria diferente.

Se você deseja que um dicionário seja indexado com uma lista, simplesmente converta primeiro a lista em uma tupla; a função tuple(L) cria uma tupla com as mesmas entradas da lista L. As tuplas são imutáveis e, portanto, podem ser usadas como chaves de dicionário.

Algumas soluções inaceitáveis que foram propostas:

Listas de hash por endereço (ID do objeto). Isto não funciona porque se você construir uma nova lista com o mesmo valor ela não será encontrada; por exemplo.:

mydict = {[1, 2]: '12'}
print(mydict[[1, 2]])

levantaria uma exceção KeyError porque o id do [1, 2] usado na segunda linha difere daquele da primeira linha. Em outras palavras, as chaves de dicionário devem ser comparadas usando ==, não usando is.

Fazer uma cópia ao usar uma lista como chave. Isso não funciona porque a lista, sendo um objeto mutável, poderia conter uma referência a si mesma e então o código copiado entraria em um laço infinito.

Permitir listas como chaves, mas dizer ao usuário para não modificá-las. Isso permitiria uma classe de bugs difíceis de rastrear em programas quando você esquecesse ou modificasse uma lista por acidente. Também invalida uma importante invariante dos dicionários: todo valor em d.keys() pode ser usado como chave do dicionário.

Marcar listas como somente leitura quando forem usadas como chave de dicionário. O problema é que não é apenas o objeto de nível superior que pode alterar seu valor; você poderia usar uma tupla contendo uma lista como chave. Inserir qualquer coisa como chave em um dicionário exigiria marcar todos os objetos acessíveis a partir daí como somente leitura – e, novamente, objetos autorreferenciais poderiam causar um laço infinito.

Existe um truque para contornar isso se você precisar, mas use-o por sua própria conta e risco: você pode agrupar uma estrutura mutável dentro de uma instância de classe que tenha um método __eq__() e um método __hash__(). Você deve então certificar-se de que o valor de hash para todos os objetos invólucros que residem em um dicionário (ou outra estrutura baseada em hash) permaneça fixo enquanto o objeto estiver no dicionário (ou outra estrutura).

class ListWrapper:
    def __init__(self, the_list):
        self.the_list = the_list

    def __eq__(self, other):
        return self.the_list == other.the_list

    def __hash__(self):
        l = self.the_list
        result = 98767 - len(l)*555
        for i, el in enumerate(l):
            try:
                result = result + (hash(el) % 9999999) * 1001 + i
            except Exception:
                result = (result % 7777777) + i * 333
        return result

Observe que o cálculo do hash é complicado pela possibilidade de que alguns membros da lista possam ser não não-hasheável e também pela possibilidade de estouro aritmético.

Além disso, deve ser sempre o caso que se o1 == o2 (ou seja, o1.__eq__(o2) is True) então hash(o1) == hash(o2) (ou seja, o1.__hash__() == o2.__hash__()), independentemente de o objeto estar em um dicionário ou não. Se você não cumprir essas restrições, os dicionários e outras estruturas baseadas em hash se comportarão mal.

No caso de ListWrapper, sempre que o objeto invólucro estiver em um dicionário, a lista agrupada não deve ser alterada para evitar anomalias. Não faça isso a menos que esteja preparado para pensar muito sobre os requisitos e as consequências de não atendê-los corretamente. Considere-se avisado.

Por que lista.sort() não retorna a lista ordenada?

Em situações nas quais desempenho importa, fazer uma cópia da lista só para ordenar seria desperdício. Portanto, lista.sort() ordena a lista. De forma a lembrá-lo desse fato, isso não retorna a lista ordenada. Desta forma, você não vai ser confundido a acidentalmente sobrescrever uma lista quando você precisar de uma cópia ordenada mas também precisar manter a versão não ordenada.

Se você quiser retornar uma nova lista, use a função embutida sorted() ao invés. Essa função cria uma nova lista a partir de um iterável provido, o ordena e retorna. Por exemplo, aqui é como se itera em cima das chaves de um dicionário de maneira ordenada:

for key in sorted(mydict):
    ...  # use mydict[key] conforme quiser...

Como você especifica e aplica uma especificação de interface no Python?

Uma especificação de interface para um módulo fornecida por linguagens como C++ e Java descreve os protótipos para os métodos e funções do módulo. Muitos acham que a aplicação de especificações de interface em tempo de compilação ajuda na construção de programas grandes.

Python 2.6 adiciona um módulo abc que permite definir Classes Base Abstratas (ABCs). Você pode então usar isinstance() e issubclass() para verificar se uma instância ou classe implementa um ABC específico. O módulo collections.abc define um conjunto de ABCs úteis como Iterable, Container e MutableMapping

Para Python, muitas das vantagens das especificações de interface podem ser obtidas por uma disciplina de teste apropriada para componentes.

Um bom conjunto de testes para um módulo pode fornecer um teste de regressão e servir como uma especificação de interface do módulo e um conjunto de exemplos. Muitos módulos Python podem ser executados como um script para fornecer um simples “autoteste”. Mesmo módulos que usam interfaces externas complexas muitas vezes podem ser testados isoladamente usando emulações triviais da interface externa. Os módulos doctest e unittest ou estruturas de teste de terceiros podem ser usados para construir conjuntos de testes exaustivos que exercitam cada linha de código em um módulo.

Uma disciplina de teste apropriada pode ajudar a construir aplicações grandes e complexas no Python, assim como ter especificações de interface. Na verdade, pode ser melhor porque uma especificação de interface não pode testar certas propriedades de um programa. Por exemplo, espera-se que o método list.append() adicione novos elementos ao final de alguma lista interna; uma especificação de interface não pode testar se sua implementação list.append() realmente fará isso corretamente, mas é trivial verificar esta propriedade em um conjunto de testes.

Escrever conjuntos de testes é muito útil e você pode querer projetar seu código para torná-lo facilmente testável. Uma técnica cada vez mais popular, o desenvolvimento orientado a testes, exige a escrita de partes do conjunto de testes primeiro, antes de escrever qualquer parte do código real. É claro que o Python permite que você seja desleixado e nem escreva casos de teste.

Por que não há goto?

Na década de 1970, as pessoas perceberam que o goto irrestrito poderia levar a um código “espaguete” confuso, difícil de entender e revisar. Em uma linguagem de alto nível, também é desnecessário, desde que existam maneiras de ramificar (em Python, com instruções if e or, and e expressões if/else) e iterar (com instruções while e for, possivelmente contendo continue e break).

Também é possível usar exceções para fornecer um “goto estruturado” que funcione mesmo em chamadas de função. Muitos acham que as exceções podem convenientemente emular todos os usos razoáveis das construções go ou goto de C, Fortran e outras linguagens. Por exemplo:

class label(Exception): pass  # declara um label

try:
    ...
    if condition: raise label()  # goto label
    ...
except label:  # destino do goto
    pass
...

Isso não permite que você pule para o meio de um laço, mas isso geralmente é considerado um abuso de goto de qualquer maneira. Use com moderação.

Por que strings brutas (r-strings) não podem terminar com uma contrabarra?

Mais precisamente, eles não podem terminar com um número ímpar de contrabarras: a contrabarra não pareada no final escapa do caractere de aspa de fechamento, deixando uma string não terminada.

Strings brutas foram projetadas para facilitar a criação de entrada para processadores (principalmente mecanismos de expressão regular) que desejam fazer seu próprio processamento de escape de contrabarra. De qualquer forma, esses processadores consideram uma contrabarra incomparável como um erro, portanto, as strings brutas não permitem isso. Em troca, eles permitem que você transmita o caractere de aspas da string escapando dele com uma contrabarra. Essas regras funcionam bem quando r-strings são usadas para a finalidade pretendida.

Se você estiver tentando criar nomes de caminho do Windows, observe que todas as chamadas do sistema do Windows também aceitam barras:

f = open("/mydir/file.txt")  # funciona normalmente!

Se você estiver tentando construir um nome de caminho para um comando DOS, tente, por exemplo, algum desses

dir = r"\this\is\my\dos\dir" "\\"
dir = r"\this\is\my\dos\dir\ "[:-1]
dir = "\\this\\is\\my\\dos\\dir\\"

Por que o Python não tem uma instrução “with” para atribuição de atributos?

Python tem uma instrução with que envolve a execução de um bloco, chamando o código na entrada e na saída do bloco. Algumas linguagens têm uma construção desta forma:

with obj:
    a = 1               # equivalente a obj.a = 1
    total = total + 1   # obj.total = obj.total + 1

Em Python, tal construção seria ambígua.

Outras linguagens, como Object Pascal, Delphi, e C++, usam tipos estáticos, então é possível saber, de maneira não ambígua, que membro está sendo atribuído. Esse é o principal ponto da tipagem estática – o compilador sempre sabe o escopo de toda variável em tempo de compilação.

O Python usa tipos dinâmicos. É impossível saber com antecedência que atributo vai ser referenciado em tempo de execução. Atributos membro podem ser adicionados ou removidos de objetos dinamicamente. Isso torna impossível saber, de uma leitura simples, que atributo está sendo referenciado: um atributo local, um atributo global ou um atributo membro?

Por exemplo, pegue o seguinte trecho incompleto:

def foo(a):
    with a:
        print(x)

O trecho presume que a deve ter um atributo de membro chamado x. No entanto, não há nada em Python que diga isso ao interpretador. O que deveria acontecer se a for, digamos, um número inteiro? Se houver uma variável global chamada x, ela será usada dentro do bloco with? Como você pode ver, a natureza dinâmica do Python torna essas escolhas muito mais difíceis.

O principal benefício de with e recursos de linguagem semelhantes (redução do volume de código) pode, no entanto, ser facilmente alcançado em Python por atribuição. Em vez de:

function(args).mydict[index][index].a = 21
function(args).mydict[index][index].b = 42
function(args).mydict[index][index].c = 63

escreva isso:

ref = function(args).mydict[index][index]
ref.a = 21
ref.b = 42
ref.c = 63

Isso também tem o efeito colateral de aumentar a velocidade de execução porque as ligações de nome são resolvidas a tempo de execução em Python, e a segunda versão só precisa performar a resolução uma vez.

Propostas semelhantes que introduziriam sintaxe para reduzir ainda mais o volume do código, como o uso de um ‘ponto inicial’, foram rejeitadas em favor da explicitação (consulte https://mail.python.org/pipermail/python-ideas/2016-May/040070.html).

Por que os geradores não suportam a instrução with?

Por razões técnicas, um gerador usado diretamente como gerenciador de contexto não funcionaria corretamente. Quando, como é mais comum, um gerador é usado como um iterador executado até a conclusão, nenhum fechamento é necessário. Quando estiver, envolva-o como contextlib.closing(generator) na instrução with.

Por que dois pontos são necessários para as instruções de if/while/def/class?

Os dois pontos são obrigatórios primeiramente para melhorar a leitura (um dos resultados da linguagem experimental ABC). Considere isso:

if a == b
    print(a)

versus

if a == b:
    print(a)

Note como a segunda é ligeiramente mais fácil de ler. Note com mais atenção como os dois pontos iniciam o exemplo nessa resposta de perguntas frequentes; é um uso padrão em Português.

Outro motivo menor é que os dois pontos deixam mais fácil para os editores com realce de sintaxe; eles podem procurar por dois pontos para decidir quando a recuo precisa ser aumentada em vez de precisarem fazer uma análise mais elaborada do texto do programa.

Por que o Python permite vírgulas ao final de listas e tuplas?

O Python deixa você adicionar uma vírgula ao final de listas, tuplas e dicionários:

[1, 2, 3,]
('a', 'b', 'c',)
d = {
    "A": [1, 5],
    "B": [6, 7],  # a vírgula ao final é opcional, mas é bom estilo
}

Existem várias razões para permitir isso.

Quando você possui um valor literal para uma lista, tupla, ou dicionário disposta através de múltiplas linhas, é mais fácil adicionar mais elementos porque você não precisa lembrar de adicionar uma vírgula na linha anterior. As linhas também podem ser reordenadas sem criar um erro de sintaxe.

Acidentalmente omitir a vírgula pode levar a erros que são difíceis de diagnosticar. Por exemplo:

x = [
  "fee",
  "fie"
  "foo",
  "fum"
]

Essa lista parece ter quatro elementos, mas na verdade contém três: “fee”, “fiefoo” e “fum”. Sempre adicionar a vírgula evita essa fonte de erro.

Permitir a vírgula no final também pode deixar a geração de código programático mais fácil.

FAQ de Bibliotecas e Extensões

Sumário

FAQ de Bibliotecas e Extensões

Questões gerais sobre bibliotecas

Como encontrar um módulo ou aplicação para realizar uma tarefa X?

Onde está o código-fonte do math.py (socket.py, regex.py, etc.)?

Como tornar um script Python executável no Unix?

Existe um pacote de curses/termcap para Python?

Existe a função onexit() equivalente ao C no Python?

Por que o meu manipulador de sinal não funciona?

Tarefas comuns

Como testar um programa ou componente Python?

Como faço para criar uma documentação de doc strings?

Como faço para pressionar uma tecla de cada vez?

Threads

Como faço para programar usando threads?

Nenhuma de minhas threads parece funcionar, por que?

Como distribuo o trabalho entre várias threads de trabalho?

Que tipos de variáveis globais mutáveis são seguras para thread?

Não podemos remover a Trava Global do interpretador?

Entrada e Saída

Como faço para excluir um arquivo? (E outras perguntas sobre arquivos)

Como eu copio um arquivo?

Como leio (ou escrevo) dados binários?

Por que não consigo usar os.read() em um encadeamento com os.popen()?

Como acesso a porta serial (RS232)?

Por que o sys.stdout (stdin, stderr) não fecha?

Programação Rede / Internet

Quais ferramentas para WWW existem no Python?

Qual módulo devo usar para ajudar na geração do HTML?

Como envio um e-mail de um script Python?

Como evito um bloqueio no método connect() de um soquete?

Base de Dados

Existem interfaces para banco de dados em Python?

Como você implementa objetos persistentes no Python?

Matemáticos e Numéricos

Como gero número aleatórios no Python?

Questões gerais sobre bibliotecas

Como encontrar um módulo ou aplicação para realizar uma tarefa X?

Verifique a Referência de Bibliotecas para ver se há um módulo relevante da biblioteca padrão. (Eventualmente, você aprenderá o que está na biblioteca padrão e poderá pular esta etapa.)

Para pacotes de terceiros, pesquise no Python Package Index [https://pypi.org] ou tente no Google [https://www.google.com] ou outro buscador na web. Pesquisando por “Python” mais uma ou dois argumentos nomeados do seu tópico de interesse geralmente encontrará algo útil.

Onde está o código-fonte do math.py (socket.py, regex.py, etc.)?

Se você não conseguir encontrar um arquivo de origem para um módulo, ele pode ser um módulo embutido ou carregado dinamicamente, implementado em C, C++ ou outra linguagem compilada. Nesse caso, você pode não ter o arquivo de origem ou pode ser algo como mathmodule.c, em algum lugar do diretório de origem C (não no caminho do Python).

Existem (pelo menos) três tipos de módulos no Python:

módulos escritos em Python (.py)

módulos escritos em C e carregados dinamicamente (.dll, .pyd, .so, .sl, etc.);

módulos escritos em C e vinculados ao interpretador; para obter uma dessas listas, digite:

import sys
print(sys.builtin_module_names)

Como tornar um script Python executável no Unix?

Você precisa fazer duas coisas: o arquivo do script deve ser executável e a primeira linha deve começar com #! seguido do caminho do interpretador Python.

Inicialmente, execute o chmod +x scriptfile ou, talvez, o chmod 755 scriptfile.

A segunda coisa pode ser feita de várias maneiras. A maneira mais direta é escrever

#!/usr/local/bin/python

como a primeira linha do seu arquivo, usando o endereço do caminho onde o interpretador Python está instalado.

Se você deseja que o script seja independente de onde o interpretador Python mora, você pode usar o programa env. Quase todas as variantes do Unix suportam o seguinte, presumindo que o interpretador Python esteja em um diretório no PATH do usuário:

#!/usr/bin/env python

Não faça isso para CGI scripts. A variável PATH para CGI scripts é normalmente muito pequena, portanto, você precisa usar o caminho completo do interpretador.

Ocasionalmente, o ambiente de um usuário está tão cheio que o programa /usr/bin/env falha; ou não há nenhum programa env. Nesse caso, você pode tentar o seguinte hack (graças a Alex Rezinsky):

#! /bin/sh
""":"
exec python $0 ${1+"$@"}
"""

Uma pequena desvantagem é que isso define o script’s __doc__ string. Entretanto, você pode corrigir isso adicionando

__doc__ = """...Whatever..."""

Existe um pacote de curses/termcap para Python?

Para variantes Unix: A distribuição fonte padrão do Python vem com um módulo do curses no subdiretório Modules [https://github.com/python/cpython/tree/3.13/Modules], embora não seja compilado por padrão. (Observe que isso não está disponível na distribuição do Windows – não há módulo curses para o Windows.)

O módulo curses provê recursos básicos de curses, bem como muitas funções adicionais de ncurses e curses SYSV, como cor, suporte a conjuntos de caracteres alternativos, pads e suporte a mouse. Isso significa que o módulo não é compatível com sistemas operacionais que possuem apenas maldições BSD, mas não parece haver nenhum sistema operacional mantido atualmente que se enquadre nesta categoria.

Existe a função onexit() equivalente ao C no Python?

O módulo atexit fornece uma função de registro similar ao onexit() do C.

Por que o meu manipulador de sinal não funciona?

O maior problema é que o manipulador de sinal é declarado com uma lista de argumentos incorretos. Isso é chamado como

handler(signum, frame)

portanto, isso deve ser declarado com dois parâmetros:

def handler(signum, frame):
    ...

Tarefas comuns

Como testar um programa ou componente Python?

A Python vem com dois frameworks de teste. O módulo doctest busca por exemplos nas docstrings de um módulo e os executa, comparando o resultado com a saída esperada informada na docstring.

O módulo unittest é uma estrutura de teste mais sofisticada, modelada nas estruturas de teste do Java e do Smalltalk.

Para facilitar os testes, você deve usar um bom design modular em seu programa. Seu programa deve ter quase todas as funcionalidades encapsuladas em funções ou métodos de classe – e isso às vezes tem o efeito surpreendente e agradável de fazer o programa executar mais rápido (porque os acessos às variáveis locais são mais rápidos que os acessos globais). Além disso, o programa deve evitar depender de variáveis globais mutantes, pois isso torna os testes muito mais difíceis de serem realizados.

A lógica principal do seu programa pode tão simples quanto

if __name__ == "__main__":
    main_logic()

no botão do módulo principal do seus programa.

Depois que seu programa estiver organizado como uma coleção tratável de comportamentos de funções e classes, você deverá escrever funções de teste que exercitem os comportamentos. Um conjunto de testes que automatiza uma sequência de testes pode ser associado a cada módulo. Parece muito trabalhoso, mas como o Python é tão conciso e flexível, é surpreendentemente fácil. Você pode tornar a codificação muito mais agradável e divertida escrevendo suas funções de teste em paralelo com o “código de produção”, pois isso torna mais fácil encontrar bugs e até mesmo falhas de design mais cedo.

Os “módulos de suporte” que não se destinam a ser o módulo principal de um programa podem incluir um autoteste do módulo.

if __name__ == "__main__":
    self_test()

Mesmo quando as interfaces externas não estiverem disponíveis, os programas que interagem com interfaces externas complexas podem ser testados usando as interfaces “falsas” implementadas no Python.

Como faço para criar uma documentação de doc strings?

O módulo pydoc pode criar HTML a partir das strings de documentos em seu código-fonte Python. Uma alternativa para criar documentação de API puramente a partir de docstrings é epydoc [https://epydoc.sourceforge.net/]. Sphinx [https://www.sphinx-doc.org] também pode incluir conteúdo docstring.

Como faço para pressionar uma tecla de cada vez?

Para variantes do Unix existem várias soluções. Apesar de ser um módulo grande para aprender, é simples fazer isso usando o módulo curses.

Threads

Como faço para programar usando threads?

Certifique-se de usar o módulo threading e não o módulo _thread. O módulo threading constrói abstrações convenientes sobre as primitivas de baixo nível fornecidas pelo módulo _thread.

Nenhuma de minhas threads parece funcionar, por que?

Assim que a thread principal acaba, todas as threads são eliminadas. Sua thread principal está sendo executada tão rápida que não está dando tempo para realizar qualquer trabalho.

Uma solução simples é adicionar um tempo de espera no final do programa até que todos os threads sejam concluídos:

import threading, time

def thread_task(name, n):
    for i in range(n):
        print(name, i)

for i in range(10):
    T = threading.Thread(target=thread_task, args=(str(i), i))
    T.start()

time.sleep(10)  # <---------------------------!

Mas agora (em muitas plataformas) as threads não funcionam em paralelo, mas parecem funcionar sequencialmente, um de cada vez! O motivo é que o agendador de threads do sistema operacional não inicia uma nova thread até que a thread anterior seja bloqueada.

Uma solução simples é adicionar um pequeno tempo de espera no início da função:

def thread_task(name, n):
    time.sleep(0.001)  # <--------------------!
    for i in range(n):
        print(name, i)

for i in range(10):
    T = threading.Thread(target=thread_task, args=(str(i), i))
    T.start()

time.sleep(10)

Em vez de tentar adivinhar um bom valor de atraso para time.sleep(), é melhor usar algum tipo de mecanismo de semáforo. Uma ideia é usar o módulo queue para criar um objeto fila, deixar cada thread anexar um token à fila quando terminar e deixar a thread principal ler tantos tokens da fila quantos threads houver.

Como distribuo o trabalho entre várias threads de trabalho?

A maneira mais fácil é usar o módulo concurrent.futures, especialmente a classe ThreadPoolExecutor.

Ou, se quiser um controle preciso sobre o algoritmo de despacho, você pode escrever sua própria lógica manualmente. Use o módulo queue para criar uma fila contendo uma lista de tarefas. A classe Queue mantém uma lista de objetos e possui um método .put(obj) que adiciona itens à fila e um método .get() para retorná-los. A classe cuidará da trava necessário para garantir que cada trabalho seja entregue exatamente uma vez.

Aqui está um exemplo simples:

import threading, queue, time

# The worker thread gets jobs off the queue.  When the queue is empty, it
# assumes there will be no more work and exits.
# (Realistically workers will run until terminated.)
def worker():
    print('Running worker')
    time.sleep(0.1)
    while True:
        try:
            arg = q.get(block=False)
        except queue.Empty:
            print('Worker', threading.current_thread(), end=' ')
            print('queue empty')
            break
        else:
            print('Worker', threading.current_thread(), end=' ')
            print('running with argument', arg)
            time.sleep(0.5)

# Create queue
q = queue.Queue()

# Start a pool of 5 workers
for i in range(5):
    t = threading.Thread(target=worker, name='worker %i' % (i+1))
    t.start()

# Begin adding work to the queue
for i in range(50):
    q.put(i)

# Give threads time to run
print('Main thread sleeping')
time.sleep(5)

Quando executado, isso produzirá a seguinte saída:

Running worker
Running worker
Running worker
Running worker
Running worker
Main thread sleeping
Worker <Thread(worker 1, started 130283832797456)> running with argument 0
Worker <Thread(worker 2, started 130283824404752)> running with argument 1
Worker <Thread(worker 3, started 130283816012048)> running with argument 2
Worker <Thread(worker 4, started 130283807619344)> running with argument 3
Worker <Thread(worker 5, started 130283799226640)> running with argument 4
Worker <Thread(worker 1, started 130283832797456)> running with argument 5
...

Consulte a documentação do módulo para mais detalhes; a classe Queue fornece uma interface com recursos.

Que tipos de variáveis globais mutáveis são seguras para thread?

Uma trava global do interpretador (GIL) é usada internamente para garantir que apenas um thread seja executado na VM Python por vez. Em geral, Python oferece alternar entre threads apenas entre instruções de bytecode; a frequência com que ele muda pode ser definida via sys.setswitchinterval(). Cada instrução de bytecode e, portanto, todo o código de implementação C alcançado por cada instrução é, portanto, atômico do ponto de vista de um programa Python.

Em teoria, isso significa que uma contabilidade exata requer um entendimento exato da implementação do bytecode PVM. Na prática, isso significa que as operações em variáveis compartilhadas de tipos de dados integrados (inteiros, listas, dicionarios, etc.) que “parecem atômicas” realmente são.

Por exemplo, as seguintes operações são todas atômicas (L, L1, L2 são listas, D, D1, D2 são dicionários, x, y são objetos, i, j são inteiros):

L.append(x)
L1.extend(L2)
x = L[i]
x = L.pop()
L1[i:j] = L2
L.sort()
x = y
x.field = y
D[x] = y
D1.update(D2)
D.keys()

Esses não são:

i = i+1
L.append(L[-1])
L[i] = L[j]
D[x] = D[x] + 1

Operações que substituem outros objetos podem invocar o método __del__() desses outros objetos quando sua contagem de referências chega a zero, e isso pode afetar as coisas. Isto é especialmente verdadeiro para as atualizações em massa de dicionários e listas. Em caso de dúvida, use um mutex!

Não podemos remover a Trava Global do interpretador?

A trava global do interpretador (GIL) é frequentemente vista como um obstáculo para a implantação do Python em máquinas servidoras multiprocessadas de ponta, porque um programa Python multi-threaded efetivamente usa apenas uma CPU, devido à insistência de que (quase) todo código Python só pode ser executado enquanto a GIL é mantida.

Com a aprovação da PEP 703 [https://peps.python.org/pep-0703/], o trabalho está em andamento para remover a GIL da implementação CPython do Python. Inicialmente, ele será implementado como um sinalizador opcional de compilador ao construir o interpretador, e assim construções separadas estarão disponíveis com e sem a GIL. A longo prazo, a esperança é estabelecer uma única construção, uma vez que as implicações de desempenho da remoção do GIL sejam totalmente compreendidas. O Python 3.13 provavelmente será a primeira versão contendo esse trabalho, embora possa não ser completamente funcional nesta versão.

O trabalho atual para remover a GIL é baseado em um fork do Python 3.9 com a GIL removida [https://github.com/colesbury/nogil] por Sam Gross. Antes disso, na época do Python 1.5, Greg Stein implementou um conjunto abrangente de patches (os patches de “threads livres”) que removeu a GIL e a substituiu por um travamento de granulação fina. Adam Olsen fez um experimento semelhante em seu projeto python-safethread [https://code.google.com/archive/p/python-safethread]. Infelizmente, ambos os experimentos iniciais exibiram uma queda acentuada no desempenho de thread único (pelo menos 30% mais lento), devido à quantidade de travamento de granulação fina necessária para compensar a remoção da GIL. O fork do Python 3.9 é a primeira tentativa de remover a GIL com um impacto aceitável no desempenho.

A presença da GIL nas versões atuais do Python não significa que você não pode fazer bom uso do Python em máquinas com várias CPUs! Você só precisa ser criativo ao dividir o trabalho entre vários processos em vez de vários threads. A classe ProcessPoolExecutor no novo módulo concurrent.futures fornece uma maneira fácil de fazer isso; o módulo multiprocessing fornece uma API de nível inferior, caso você queira mais controle sobre o despacho de tarefas.

O uso criterioso de extensões C também ajudará; se você usar uma extensão C para executar uma tarefa demorada, a extensão poderá liberar a GIL enquanto o thread de execução estiver no código C e permitir que outros threads realizem algum trabalho. Alguns módulos de biblioteca padrão como zlib e hashlib já fazem isso.

Uma abordagem alternativa para reduzir o impacto da GIL é fazer da GIL uma trava por estado do interpretador em vez de verdadeiramente global. Isso foi implementado pela primeira vez no Python 3.12 e está disponível na API C. Uma interface Python para ele é esperada no Python 3.13. A principal limitação para ele no momento provavelmente são módulos de extensão de terceiros, já que estes devem ser escritos com múltiplos interpretadores em mente para serem utilizáveis, então muitos módulos de extensão mais antigos não serão utilizáveis.

Entrada e Saída

Como faço para excluir um arquivo? (E outras perguntas sobre arquivos)

Use os.remove(arquivo) ou os.unlink(arquivo); para documentação, veja o módulo os. As duas funções são idênticas; unlink() é simplesmente o nome da chamada do sistema para esta função no Unix.

Para remover um diretório, use os.rmdir(); use os.mkdir() para criar um. os.makedirs(caminho) criará quaisquer diretórios intermediários em path que não existam. os.removedirs(caminho) removerá diretórios intermediários, desde que estejam vazios; se quiser excluir toda uma árvore de diretórios e seu conteúdo, use shutil.rmtree().

Para renomear um arquivos, use os.rename(caminho_antigo, caminho_novo).

Para truncar um arquivo, abra-o usando f = open(arquivo, "rb+"), e use f.truncate(posição); a posição tem como padrão a posição atual de busca. Há também os.ftruncate(fd, posição) para arquivos abertos com os.open(), onde fd é o descritor de arquivo (um pequeno inteiro).

O módulo shutil também contém uma série de funções para trabalhar em arquivos, incluindo copyfile(), copytree() e rmtree().

Como eu copio um arquivo?

O módulo shutil contém uma função copyfile(). Observe que em volumes NTFS do Windows, ele não copia fluxos de dados alternativos [https://en.wikipedia.org/wiki/NTFS#Alternate_data_stream_(ADS)] nem forks de recursos [https://en.wikipedia.org/wiki/Resource_fork] em volumes HFS+ do macOS, embora ambos sejam raramente usados ​​agora. Ele também não copia permissões de arquivo e metadados, embora usar shutil.copy2() em vez disso preserve a maioria (embora não todos) deles.

Como leio (ou escrevo) dados binários?

Para ler ou escrever formatos de dados binários complexos, é melhor usar o módulo struct. Ele permite que você pegue uma string contendo dados binários (geralmente números) e a converta em objetos Python; e vice-versa.

Por exemplo, o código a seguir lê dois inteiros de 2 bytes e um inteiro de 4 bytes no formato big-endian de um arquivo:

import struct

with open(filename, "rb") as f:
    s = f.read(8)
    x, y, z = struct.unpack(">hhl", s)

O ‘>’ na string de formato força dados big-endian; a letra ‘h’ lê um “inteiro curto” (2 bytes) e ‘l’ lê um “inteiro longo” (4 bytes) da string.

Para dados mais regulares (por exemplo, uma lista homogênea de ints ou floats), você também pode usar o módulo array.

Nota

Para ler e escrever dados binários, é obrigatório abrir o arquivo no modo binário (aqui, passando "rb" para open()). Se você usar "r" em vez disso (o padrão), o arquivo será aberto no modo texto e f.read() retornará objetos str em vez de objetos bytes.

Por que não consigo usar os.read() em um encadeamento com os.popen()?

os.read() é uma função de baixo nível que pega um descritor de arquivo, um pequeno inteiro representando o arquivo aberto. os.popen() cria um objeto arquivo de alto nível, o mesmo tipo retornado pela função embutida open(). Assim, para ler n bytes de um pipe p criado com os.popen(), você precisa usar p.read(n).

Como acesso a porta serial (RS232)?

Para Win32, OSX, Linux, BSD, Jython, IronPython:

pyserial [https://pypi.org/project/pyserial/]

Para Unix, veja uma postagem da Usenet de Mitch Chapman:

https://groups.google.com/groups?selm=34A04430.CF9@ohioee.com

Por que o sys.stdout (stdin, stderr) não fecha?

Os objetos arquivos do Python são uma camada de alto nível de abstração em descritores de arquivo C de baixo nível.

Para a maioria dos objetos arquivo que você cria em Python por meio da função embutida open(), f.close() marca o objeto arquivo Python como fechado do ponto de vista do Python e também organiza o fechamento do descritor de arquivo C subjacente. Isso também acontece automaticamente no destrutor de f, quando f se torna lixo.

Mas stdin, stdout e stderr são tratados de forma especial pelo Python, devido ao status especial que também lhes é dado pelo C. Executar sys.stdout.close() marca o objeto arquivo de nível Python como fechado, mas não fecha o descritor de arquivo C associado.

Para fechar o descritor de arquivo C subjacente para um desses três, você deve primeiro ter certeza de que é isso que você realmente quer fazer (por exemplo, você pode confundir módulos de extensão tentando fazer E/S). Se for, use os.close():

os.close(stdin.fileno())
os.close(stdout.fileno())
os.close(stderr.fileno())

Ou você pode usar as constantes numéricas 0, 1 e 2, respectivamente.

Programação Rede / Internet

Quais ferramentas para WWW existem no Python?

Veja os capítulos intitulados Protocolos de Internet e Suporte e Manuseio de Dados na Internet no Manual de Referência da Biblioteca. Python tem muitos módulos que ajudarão você a construir sistemas web do lado do servidor e do lado do cliente.

Um resumo dos frameworks disponíveis é disponibilizado por Paul Boddie em https://wiki.python.org/moin/WebProgramming.

Qual módulo devo usar para ajudar na geração do HTML?

Você pode encontrar uma coleção de links úteis na página wiki WebProgramming [https://wiki.python.org/moin/WebProgramming].

Como envio um e-mail de um script Python?

Use a biblioteca padrão do módulo smtplib.

Aqui está um remetente de e-mail interativo muito simples. Este método funcionará em qualquer host que suporte o protocolo SMTP.

import sys, smtplib

fromaddr = input("From: ")
toaddrs  = input("To: ").split(',')
print("Enter message, end with ^D:")
msg = ''
while True:
    line = sys.stdin.readline()
    if not line:
        break
    msg += line

# The actual mail send
server = smtplib.SMTP('localhost')
server.sendmail(fromaddr, toaddrs, msg)
server.quit()

Uma alternativa somente para Unix usa o sendmail. A localização do programa sendmail varia entre os sistemas; às vezes é /usr/lib/sendmail, às vezes /usr/sbin/sendmail. A página de manual do sendmail vai ajudar você. Aqui está um código de exemplo:

import os

SENDMAIL = "/usr/sbin/sendmail"  # sendmail location
p = os.popen("%s -t -i" % SENDMAIL, "w")
p.write("To: receiver@example.com\n")
p.write("Subject: test\n")
p.write("\n")  # blank line separating headers from body
p.write("Some text\n")
p.write("some more text\n")
sts = p.close()
if sts != 0:
    print("Sendmail exit status", sts)

Como evito um bloqueio no método connect() de um soquete?

O módulo select é normalmente usado para ajudar com E/S assíncrona nos soquetes.

Para evitar que a conexão TCP bloqueie, você pode definir o soquete para o modo sem bloqueio. Então, quando você fizer o connect(), você se conectará imediatamente (improvável) ou obterá uma exceção que contém o número de erro como .errno. errno.EINPROGRESS indica que a conexão está em andamento, mas ainda não terminou. Diferentes sistemas operacionais retornarão valores diferentes, então você terá que verificar o que é retornado no seu sistema.

Você pode usar o método connect_ex() para evitar criar uma exceção. Ele retornará apenas o valor de errno. Para pesquisar, você pode chamar connect_ex() novamente mais tarde – 0 ou errno.EISCONN indicam que você está conectado – ou você pode passar este soquete para select.select() para verificar se ele é gravável.

Nota

O módulo asyncio fornece uma biblioteca assíncrona de thread única e concorrente de propósito geral, que pode ser usada para escrever código de rede não bloqueante. A biblioteca de terceiros Twisted [https://twisted.org/] é uma alternativa popular e rica em recursos.

Base de Dados

Existem interfaces para banco de dados em Python?

Sim.

Interfaces para hashes baseados em disco, como DBM e GDBM também estão incluídas no Python padrão. Há também o módulo sqlite3, que fornece um banco de dados relacional baseado em disco leve.

Suporte para a maioria dos bancos de dados relacionais está disponível. Para mais detalhes, veja a página wiki DatabaseProgramming [https://wiki.python.org/moin/DatabaseProgramming] para detalhes.

Como você implementa objetos persistentes no Python?

O módulo de biblioteca pickle resolve isso de uma maneira muito geral (embora você ainda não possa armazenar coisas como arquivos abertos, soquetes ou janelas), e o módulo de biblioteca shelve usa pickle e (g)dbm para criar mapeamentos persistentes contendo objetos Python arbitrários.

Matemáticos e Numéricos

Como gero número aleatórios no Python?

O módulo padrão random implementa um gerador de números aleatórios. O uso é simples:

import random
random.random()

Isso retorna um número flutuante aleatório no intervalo [0, 1).

Existem também muitos outros geradores aleatórios neste módulo, como:

randrange(a, b) escolhe um número inteiro no intervalo entre [a, b).

uniform(a, b) escolhe um número de ponto flutuante no intervalo [a, b).

normalvariate(mean, sdev) gera números pseudoaleatórios que seguem uma distribuição normal (Gaussiana).

Algumas funções de nível elevado operam diretamente em sequencia, como:

choice(S) escolhe um elemento aleatório de uma determinada sequência.

shuffle(L) embaralha uma lista internamente, ou seja permuta seus elementos aleatoriamente.

Existe também uma classe Random que você pode instanciar para criar vários geradores de números aleatórios independentes.

FAQ sobre Extensão/Incorporação

Sumário

FAQ sobre Extensão/Incorporação

Posso criar minhas próprias funções em C?

Posso criar minhas próprias funções em C++?

Escrever C é difícil; há alguma alternativa?

Como posso executar instruções arbitrárias de Python a partir de C?

Como posso executar e obter o resultado de uma expressão Python arbitrária a partir de C?

Como extraio valores em C a partir de um objeto Python?

Como posso utilizar Py_BuildValue() para criar uma tupla de comprimento arbitrário?

Como eu chamo um método de um objeto a partir do C?

Como posso capturar a saída da função PyErr_Print() (ou qualquer outra coisa que escreva para stdout/stderr)?

Como faço para acessar a partir do C um módulo escrito em Python?

Como posso interagir com objetos C++ a partir do Python?

Adicionei um módulo usando o arquivo de Setup e o make falha; por quê?

Como eu depuro uma extensão?

Quero compilar um módulo Python no meu sistema Linux, mas alguns arquivos estão faltando. Por quê?

Como posso distinguir “entrada incompleta” de “entrada inválida”?

How do I find undefined g++ symbols __builtin_new or __pure_virtual?

Can I create an object class with some methods implemented in C and others in Python (e.g. through inheritance)?

Posso criar minhas próprias funções em C?

Sim, você pode construir módulos embutidos contendo funções, variáveis, exceções e até mesmo novos tipos em C. Isso é explicado no documento Estendendo e Incorporando o Interpretador Python.

A maioria dos livros intermediários ou avançados em Python também abordará esse tópico.

Posso criar minhas próprias funções em C++?

Sim, usando recursos de compatibilidade encontrados em C++. Coloque extern "C" { ... } em torno dos arquivos de inclusão do Python e coloque extern "C" antes de cada função que será chamada pelo interpretador do Python. Objetos globais ou estáticos em C++ com construtores provavelmente não são uma boa ideia.

Escrever C é difícil; há alguma alternativa?

Há um número de alternativas para escrever suas próprias extensões em C, dependendo daquilo que você está tentando fazer.

O Cython [https://cython.org] e o seu parente Pyrex [https://www.csse.canterbury.ac.nz/greg.ewing/python/Pyrex/] são compiladores que aceitam uma forma de Python levemente modificada e geram o código C correspondente. Cython e Pyrex possibilitam escrever extensões sem que seja necessário aprender a usar a API C do Python.

Se você precisar interagir com alguma biblioteca C ou C++ que não é suportada por nenhuma extensão do Python no momento, você pode tentar envolver os tipos de dados e funções da biblioteca usando uma ferramenta como o SWIG [https://www.swig.org]. SIP [https://github.com/Python-SIP/sip], CXX [https://cxx.sourceforge.net/] Boost [https://www.boost.org/libs/python/doc/index.html], e Weave [https://github.com/scipy/weave] são outras alternativas para criar invólucros de bibliotecas C++.

Como posso executar instruções arbitrárias de Python a partir de C?

A função mais alto-nível para isso é a PyRun_SimpleString(), que recebe como único argumento uma string a ser executada no contexto do módulo __main__ e retorna 0 para sucesso e -1 quando uma exceção ocorrer (incluindo SyntaxError). Se quiser mais controle, use PyRun_String(); veja o código-fonte de PyRun_SimpleString() em Python/pythonrun.c.

Como posso executar e obter o resultado de uma expressão Python arbitrária a partir de C?

Chame a função PyRun_String() da pergunta anterior passando Py_eval_input como o símbolo de início; ela faz a análise sintática de uma expressão, a executa, e retorna o seu valor.

Como extraio valores em C a partir de um objeto Python?

Depende do tipo do objeto. Se for uma tupla, a PyTuple_Size() retorna o seu comprimento e a PyTuple_GetItem() retorna o item em um determinado índice. Listas têm funções similares, PyList_Size() e PyList_GetItem().

Para bytes, a PyBytes_Size() retorna o comprimento e a PyBytes_AsStringAndSize() fornece um ponteiro para o seu valor e o seu comprimento. Note que objetos bytes em Python podem conter bytes nulos, de forma que a strlen() do C não deve ser usada.

Para testar o tipo de um objeto, primeiramente se certifique de que ele não é NULL, e então use PyBytes_Check(), PyTuple_Check(), PyList_Check(), etc.

Também existe uma API alto-nível para objetos Python fornecida pela chamada interface “abstrata” – leia Include/abstract.h para mais detalhes. Ela permite interagir com qualquer tipo de sequência Python usando chamadas como PySequence_Length(), PySequence_GetItem(), etc, além de vários outros protocolos úteis tais como números (PyNumber_Index() e outros) e mapeamentos nas APIs PyMapping.

Como posso utilizar Py_BuildValue() para criar uma tupla de comprimento arbitrário?

Não é possível. Use a função PyTuple_Pack() para isso.

Como eu chamo um método de um objeto a partir do C?

A função PyObject_CallMethod() pode ser usada para chamar um método arbitrário de um objeto. Os parâmetros são o objeto, o nome do método a ser chamado, uma string de formato como a usada em Py_BuildValue(), e os valores dos argumentos:

PyObject *
PyObject_CallMethod(PyObject *object, const char *method_name,
                    const char *arg_format, ...);

Isso funciona para qualquer objeto que tenha métodos – sejam eles embutidos ou definidos por usuário. Você fica então responsável por chamar Py_DECREF() no valor de retorno.

Para chamar, por exemplo, o método “seek” de um objeto arquivo com argumentos 10, 0 (presumindo que “f” é o ponteiro para o objeto arquivo):

res = PyObject_CallMethod(f, "seek", "(ii)", 10, 0);
if (res == NULL) {
        ... ocorreu uma exceção ...
}
else {
        Py_DECREF(res);
}

Note que a função PyObject_CallObject() sempre recebe os argumentos da chamada como uma tupla, de forma que para chamar uma função sem argumentos deve-se passar “()” como formato, e para chamar uma função com 1 argumento, coloque-o entre parênteses, por exemplo “(i)”.

Como posso capturar a saída da função PyErr_Print() (ou qualquer outra coisa que escreva para stdout/stderr)?

Com código Python, defina um objeto que suporte o método write(). Atribua esse objeto a sys.stdout e sys.stderr. Chame print_error, or simplesmente deixe o mecanismo padrão de traceback acontecer. Assim, a saída irá para onde quer que o seu método write() a envie.

O jeito mais fácil de fazer isso é usar a classe io.StringIO:

>>> import io, sys
>>> sys.stdout = io.StringIO()
>>> print('foo')
>>> print('hello world!')
>>> sys.stderr.write(sys.stdout.getvalue())
foo
hello world!

Um objeto personalizado para fazer a mesma coisa seria esse:

>>> import io, sys
>>> class StdoutCatcher(io.TextIOBase):
...     def __init__(self):
...         self.data = []
...     def write(self, stuff):
...         self.data.append(stuff)
...
>>> import sys
>>> sys.stdout = StdoutCatcher()
>>> print('foo')
>>> print('hello world!')
>>> sys.stderr.write(''.join(sys.stdout.data))
foo
hello world!

Como faço para acessar a partir do C um módulo escrito em Python?

Você pode obter um pointeiro para o objeto de módulo da seguinte maneira:

module = PyImport_ImportModule("<modulename>");

Se o módulo ainda não foi importado (isto é, ainda não aparece no sys.modules), essa função vai inicializar o módulo; caso contrário, ela vai simplesmente retornar o valor de sys.modules["<modulename>"]. Note que ela não adiciona o módulo a nenhum espaço de nomes – ela simplesmente garante que ele foi inicializado e colocado no sys.modules.

Você pode então acessar os atributos do módulo (isto é, qualquer nome definido no módulo) assim:

attr = PyObject_GetAttrString(module, "<attrname>");

Chamar PyObject_SetAttrString() para definir variáveis no módulo também funciona.

Como posso interagir com objetos C++ a partir do Python?

Dependendo das suas necessidades, há diversas abordagens. Para fazer isso manualmente, comece lendo o documento “Estendendo e Incorporando”. Note que, para o sistema Python em tempo de execução, não há muita diferença entre C e C++ – de forma que a estratégia de construir um novo tipo Python ao redor de uma estrutura C (ou ponteiro para uma) também funciona para objetos C++.

Para bibliotecas C++, veja Escrever C é difícil; há alguma alternativa?.

Adicionei um módulo usando o arquivo de Setup e o make falha; por quê?

O Setup deve terminar com uma quebra de linha; se não houver uma quebra de linha no final, o processo de compilação falha. (Consertar isso requer umas gambiarras feias em shell script, e esse bug é tão pequeno que o esforço não parece valer a pena.)

Como eu depuro uma extensão?

Ao usar o GDB com extensões carregadas dinamicamente, você não consegue definir um ponto de interrupção antes da sua extensão ser carregada.

No seu arquivo .gdbinit (ou então interativamente), adicione o comando:

br _PyImport_LoadDynamicModule

Então, ao executar o GDB:

$ gdb /local/bin/python
gdb) run myscript.py
gdb) continue # repita até que a sua extensão seja carregada
gdb) finish   # para que a sua extensão seja carregada
gdb) br myfunction.c:50
gdb) continue

Quero compilar um módulo Python no meu sistema Linux, mas alguns arquivos estão faltando. Por quê?

A maioria das versões empacotadas de Python omitem alguns arquivos necessários para compilar extensões do Python.

Em sistemas Red Hat, instale o RPM python3-devel para obter os arquivos necessários.

Para Debian, execute apt-get install python3-dev.

Como posso distinguir “entrada incompleta” de “entrada inválida”?

Sometimes you want to emulate the Python interactive interpreter’s behavior, where it gives you a continuation prompt when the input is incomplete (e.g. you typed the start of an “if” statement or you didn’t close your parentheses or triple string quotes), but it gives you a syntax error message immediately when the input is invalid.

In Python you can use the codeop module, which approximates the parser’s behavior sufficiently. IDLE uses this, for example.

The easiest way to do it in C is to call PyRun_InteractiveLoop() (perhaps in a separate thread) and let the Python interpreter handle the input for you. You can also set the PyOS_ReadlineFunctionPointer() to point at your custom input function. See Modules/readline.c and Parser/myreadline.c for more hints.

How do I find undefined g++ symbols __builtin_new or __pure_virtual?

To dynamically load g++ extension modules, you must recompile Python, relink it using g++ (change LINKCC in the Python Modules Makefile), and link your extension module using g++ (e.g., g++ -shared -o mymodule.so mymodule.o).

Can I create an object class with some methods implemented in C and others in Python (e.g. through inheritance)?

Yes, you can inherit from built-in classes such as int, list, dict, etc.

The Boost Python Library (BPL, https://www.boost.org/libs/python/doc/index.html) provides a way of doing this from C++ (i.e. you can inherit from an extension class written in C++ using the BPL).

Python no Windows

Sumário

Python no Windows

Como faço para executar um programa Python no Windows?

Como eu faço para criar programas Python executáveis?

Por que Python às vezes demora tanto para iniciar?

Como eu faço para criar um executável a partir de um código Python?

Um arquivo *.pyd é o mesmo que um DLL?

Como eu posso embutir Python dentro de uma aplicação do Windows?

Como eu impeço editores de adicionarem tabulações na minha source do Python?

Como faço para verificar uma tecla pressionada sem bloquear?

Como resolvo o erro da api-ms-win-crt-runtime-l1-1-0.dll ausente?

Como faço para executar um programa Python no Windows?

Esta não é necessariamente uma questão direta. Se você já está familiarizado com a execução de programas através das linha de comando do Windows, então tudo parecerá óbvio; caso contrário, poderá precisar de um pouco mais de orientação.

A menos que você use algum tipo de ambiente de desenvolvimento integrado, você vai acabar digitando os comandos do Windows no que é chamado “janela do DOS” ou “janela do prompt de comando”. Geralmente você pode abrir essas janelas procurando na barra de pesquisa por cmd. Você deverá reconhecer quando iniciar porque você verá um “Prompt de Comando do Windows”, que geralmente tem esta forma:

C:\>

A letra pode ser diferente, e pode haver outras coisas depois, então você facilmente pode ver algo como:

D:\YourName\Projects\Python>

dependendo de como seu computador foi configurado e o que mais você tem feito com ele recentemente. Uma vez que você tenha iniciado a janela, você estará no caminho para executar os seus programas Python.

Você deve observar que seu código Python deve ser processado por outro programa chamado interpretador. O interpretador lê o seu código, compila em bytecodes, e depois executa os bytecodes para rodar o seu programa. Então, como você pode organizar o interpretador para lidar com seu Python?

Primeiro, você precisa ter certeza de que sua janela de comando reconhece a palavra “py” como uma instrução para iniciar o interpretador. Se você abriu a janela de comando, você deve tentar digitar o comando “py” e o observar o retorno:

C:\Users\YourName> py

Você deve então ver algo como:

Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

Você iniciou o interpretador no “modo interativo”. Que significa que você pode inserir instruções ou expressões Python interativamente e executá-las ou calculá-las enquanto espera. Esta é uma das características mais fortes do Python. Verifique isso digitando algumas instruções de sua escolha e veja os resultados:

>>> print("Hello")
Hello
>>> "Hello" * 3
'HelloHelloHello'

Muitas pessoas usam o modo interativo como uma calculadora conveniente, mas altamente programável. Quando quiser encerrar sua sessão interativa do Python, chame a função exit() ou mantenha pressionada a tecla Ctrl enquanto você digita a Z e pressione a tecla “Enter” para voltar ao prompt de comando do Windows.

Você também pode descobrir que você tem um item no Menu Iniciar como Iniciar ‣ Programas‣ Python 3.x ‣ Python (linha de comando) que resultará em você vendo o prompt >>> em uma nova janela. Se acontecer isso, a janela desaparecerá depois que você chamar a função exit() ou inserir o caractere Ctrl-Z; o Windows está executando um único comando “python” na janela, e fecha quando você termina o interpretador.

Agora que sabemos que o comando py é reconhecido, você pode dar seu script Python para ele. Você terá que dar um caminho absoluto ou relativo para o script Python. Vamos dizer que seu script Python está localizado na sua área de trabalho e se chama hello.py, e seu prompt de comando está aberto no seu diretório raiz de forma que você está vendo algo similar a:

C:\Users\YourName>

Então, agora você solicitará o comando py para fornecer seu script para Python, digitando py seguido pelo seu caminho de script:

C:\Users\YourName> py Desktop\hello.py
hello

Como eu faço para criar programas Python executáveis?

No Windows, o instalador padrão do Python já associa a extensão .py com o tipo de arquivo (Python.File) e dá àquele tipo de arquivo um comando aberto que executa o interpretador (D:\Program Files\Python\python.exe "%1" %*). Isso é o bastante para fazer scripts executáveis pelo prompt de comando como ‘foo.py’. Se você preferir executar o script simplesmente digitando ‘foo’ sem extensão você precisa adicionar .py à variável de ambiente PATHEXT.

Por que Python às vezes demora tanto para iniciar?

Geralmente, Python inicia muito rapidamente no Windows, mas ocasionalmente há relatos de erros que, de repente, o Python começa a demorar muito tempo para iniciar. Isso é ainda mais intrigante, porque Python funciona bem em outros sistemas Windows que parecem estar configurados de forma idêntica.

O problema pode ser causado por uma desconfiguração de software antivírus na máquina problemática. Alguns antivírus são conhecidos por introduzir sobrecarga de duas ordens de magnitude no início quando estão configurados para monitorar todas as leituras do sistema de arquivos. Tente verificar a configuração do antivírus nos seus sistemas para assegurar que eles estão de fato configurados identicamente. O McAfee, quando configurado para escanear todo a atividade do sistema de arquivos, é um ofensor conhecido.

Como eu faço para criar um executável a partir de um código Python?

Consulte Como posso criar um binário independente a partir de um script Python? para uma lista de ferramentas que podem ser usada para criar executáveis.

Um arquivo *.pyd é o mesmo que um DLL?

Sim, os arquivos .pyd são dll, mas existem algumas diferenças. Se você possui uma DLL chamada foo.pyd, ela deve ter a função PyInit_foo(). Você pode escrever “import foo” do Python, e o Python procurará por foo.pyd (assim como foo.py, foo.pyc) e, se o encontrar, tentará chamar PyInit_foo() para inicializá-lo. Você não vincula seu arquivo .exe ao arquivo foo.lib, pois isso faria com que o Windows exigisse a presença da DLL.

Observe que o caminho de pesquisa para foo.pyd é PYTHONPATH, não o mesmo que o Windows usa para procurar por foo.dll. Além disso, foo.pyd não precisa estar presente para executar seu programa, enquanto que se você vinculou seu programa a uma dll, a dll será necessária. Obviamente, o foo.pyd é necessário se você quiser dizer import foo. Em uma DLL, o vínculo é declarado no código-fonte com __declspec(dllexport). Em um .pyd, o vínculo é definido em uma lista de funções disponíveis.

Como eu posso embutir Python dentro de uma aplicação do Windows?

A incorporação do interpretador Python em um aplicativo do Windows pode ser resumida da seguinte forma:

Não compile o Python diretamente em seu arquivo .exe. No Windows, o Python deve ser uma DLL para manipular os módulos de importação que são eles próprios. (Este é o primeiro fato chave não documentado.) Em vez disso, vincule a pythonNN.dll; normalmente é instalado em C:\Windows\System. NN é a versão do Python, um número como “33” para o Python 3.3.

Você pode vincular ao Python de duas maneiras diferentes. A vinculação em tempo de carregamento significa vincular contra pythonNN.lib, enquanto a vinculação em tempo de execução significa vincular a pythonNN.dll. (Nota geral: pythonNN.lib é a chamada “import lib” correspondente a pythonNN.dll. Apenas define símbolos para o vinculador.)

A vinculação em tempo de execução simplifica bastante as opções de vinculação; tudo acontece em tempo de execução. Seu código deve carregar pythonNN.dll usando a rotina LoadLibraryEx() do Windows. O código também deve usar rotinas de acesso e dados em pythonNN.dll (ou seja, as APIs C do Python) usando ponteiros obtidos pela rotina GetProcAddress() do Windows. As macros podem tornar o uso desses ponteiros transparente para qualquer código C que chama rotinas na API C do Python.

Se você usa SWIG, é fácil criar um “módulo de extensão” do Python que disponibilizará os dados e os métodos da aplicação para o Python. O SWIG cuidará de todos os detalhes obscuros para você. O resultado é o código C que você vincula ao arquivo.exe (!) Você não precisa criar um arquivo DLL, o que também simplifica a vinculação.

O SWIG criará uma função init (uma função C) cujo nome depende do nome do módulo de extensão. Por exemplo, se o nome do módulo for leo, a função init será chamada initleo(). Se você usa classes de sombra SWIG, como deveria, a função init será chamada initleoc(). Isso inicializa uma classe auxiliar principalmente oculta usada pela classe shadow.

O motivo pelo qual você pode vincular o código C na etapa 2 ao seu arquivo .exe é que chamar a função de inicialização equivale a importar o módulo para o Python! (Este é o segundo fato chave não documentado.)

Em suma, você pode utilizar o código a seguir para inicializar o interpretador Python com seu módulo de extensão.

#include <Python.h>
...
Py_Initialize();  // Initialize Python.
initmyAppc();  // Initialize (import) the helper class.
PyRun_SimpleString("import myApp");  // Import the shadow class.

Existem dois problemas com a API C do Python que se tornarão aparentes se você utiliza um compilador que não seja o MSVC, o compilador utilizado no pythonNN.dll.

Problema 1: As chamadas funções de “Nível Muito Alto” que recebem argumentos FILE * não funcionarão em um ambiente com vários compiladores porque a noção de cada struct FILE de um compilador será diferente. Do ponto de vista da implementação, essas são funções de nível muito baixo.

Problema 2: SWIG gera o seguinte código ao gerar invólucros para funções sem retorno:

Py_INCREF(Py_None);
_resultobj = Py_None;
return _resultobj;

Infelizmente, Py_None é uma macro que se expande para uma referência a uma estrutura de dados complexa chamada _Py_NoneStruct dentro de pythonNN.dll. Novamente, esse código falhará em um ambiente com vários compiladores. Substitua esse código por:

return Py_BuildValue("");

Pode ser possível usar o comando %typemap do SWIG para fazer a alteração automaticamente, embora eu não tenha conseguido fazer isso funcionar (eu sou um completo novato em SWIG).

Usar um script de shell do Python para criar uma janela do interpretador Python de dentro da aplicação do Windows não é uma boa ideia; a janela resultante será independente do sistema de janelas da sua aplicação. Em vez disso, você (ou a classe wxPythonWindow) deve criar uma janela “nativa” do interpretador. É fácil conectar essa janela ao interpretador Python. Você pode redirecionar a E/S do Python para qualquer objeto que suporte leitura e gravação; portanto, tudo que você precisa é de um objeto Python (definido no seu módulo de extensão) que contenha métodos read() e write().

Como eu impeço editores de adicionarem tabulações na minha source do Python?

As perguntas frequentes não recomendam a utilização de tabulações, e o guia de estilo Python, :pep:8, recomenda 4 espaços para código de Python distribuído; esse também é o padrão do python-mode do Emacs.

Sob qualquer editor, misturar tabulações e espaços é uma má ideia. O MSVC não é diferente nesse aspecto e é facilmente configurado para usar espaços: Selecione Tools ‣ Options ‣ Tabs e, para o tipo de arquivo “Default”, defina “Tab size” e “Indent size” para 4 e selecione o botão de opção “Insert spaces”.

O Python levanta IndentationError ou TabError se tabulações e espaços misturados estiverem causando problemas no espaço em branco à esquerda. Você também pode executar o módulo tabnanny para verificar uma árvore de diretórios no modo em lote.

Como faço para verificar uma tecla pressionada sem bloquear?

Use o módulo msvcrt. Este é um módulo de extensão padrão específico do Windows. Ele define uma função kbhit() que verifica se um toque no teclado está presente, e getch() que recebe um caractere sem ecoá-lo.

Como resolvo o erro da api-ms-win-crt-runtime-l1-1-0.dll ausente?

Isso pode ocorrer no Python 3.5 e posterior ao usar o Windows 8.1 ou anterior sem que todas as atualizações tenham sido instaladas. Primeiro, certifique-se de que seu sistema operacional seja compatível e esteja atualizado e, se isso não resolver o problema, visite a página de suporte da Microsoft [https://support.microsoft.com/pt-br/help/3118401/] para obter orientação sobre como instalar manualmente a atualização do C Runtime.

FAQ da Interface Gráfica do Usuário

Sumário

FAQ da Interface Gráfica do Usuário

Perguntas Gerais sobre a GUI

Quais toolkits de GUI existem para o Python?

Perguntas do Tkinter

Como eu congelo as aplicações Tkinter?

Posso ter eventos Tk manipulados enquanto aguardo pelo E/S?

Não consigo fazer as ligações de tecla funcionarem no Tkinter: por que?

Perguntas Gerais sobre a GUI

Quais toolkits de GUI existem para o Python?

As versões padrão do Python incluem uma interface orientada a objetos para o conjunto de widgets Tcl/Tk, chamado tkinter. Este é provavelmente o mais fácil de instalar (uma vez que vem incluído na maioria das distribuições binárias [https://www.python.org/downloads/] do Python) e usar. Para obter mais informações sobre o Tk, incluindo ponteiros para a fonte, consulte a página inicial do Tcl/Tk [https://www.tcl.tk]. Tcl/Tk é totalmente portátil para as plataformas macOS, Windows e Unix.

Dependendo da(s) plataforma(s) que você está visando, também existem várias alternativas. Uma lista de frameworks GUI de plataformas cruzadas [https://wiki.python.org/moin/GuiProgramming#Cross-Platform_Frameworks] e frameworks GUI específicas de plataforma [https://wiki.python.org/moin/GuiProgramming#Platform-specific_Frameworks] podem ser encontradas na wiki do python.

Perguntas do Tkinter

Como eu congelo as aplicações Tkinter?

Freeze é uma ferramenta para criar aplicativos autônomos. Ao congelar aplicativos Tkinter, os aplicativos não serão verdadeiramente autônomos, pois o aplicativo ainda precisará das bibliotecas Tcl e Tk.

Uma solução é enviar a aplicação com as bibliotecas Tcl e Tk e apontá-las em tempo de execução usando as variáveis de ambiente TCL_LIBRARY e TK_LIBRARY.

Várias bibliotecas de congelamento de terceiros, como py2exe e cx_Freeze, possuem manipulação embutida para aplicações Tkinter.

Posso ter eventos Tk manipulados enquanto aguardo pelo E/S?

Em plataformas diferentes do Windows, sim, e você nem precisa de threads! Mas você terá que reestruturar seu código de E/S um pouco. O Tk tem o equivalente à chamada XtAddInput() do Xt, que permite que você registre uma função de retorno de chamada que será chamada a partir do loop principal do Tk quando E/S é possível em um descritor de arquivo. Consulte Tratadores de arquivos.

Não consigo fazer as ligações de tecla funcionarem no Tkinter: por que?

Uma queixa frequentemente ouvida é que os manipuladores de eventos vinculados a eventos com o método bind() não são manipulados mesmo quando a tecla apropriada é pressionada.

A causa mais comum é que o widget para o qual a ligação se aplica não possui “foco no teclado”. Confira a documentação do Tk para o comando de foco. Normalmente, um widget é dado o foco do teclado clicando nele (mas não para rótulos, veja a opção takefocus).

FAD de “Por que o Python está instalado em meu computador?”

O que é Python?

Python é uma linguagem de programação. É usada para muitas e diversas aplicações. É usada em escolas e faculdades como uma linguagem de programação introdutória, porque Python é fácil de aprender, mas também é usada por desenvolvedores profissionais de software em lugares como Google, Nasa e Lucasfilm Ltd.

Se você quiser aprender mais sobre Python, comece com o Beginner’s Guide to Python [https://wiki.python.org/moin/BeginnersGuide].

Porque Python está instalado em minha máquina?

Se você encontrar Python instalado em seu sistema, mas não se lembra de tê-lo instalado, então podem haver muitas maneiras diferentes dele ter ido parar lá

Possivelmente outro usuário do computador pretendia aprender programação e o instalou; você terá que descobrir quem estava usando a máquina e pode o ter instalado.

Um aplicativo de terceiros pode ter sido instalado na máquina e sido escrito em Python e incluído uma instalação do Python. Há muitos desses aplicativos, desde programas com interface gráfica até servidores de rede e scripts administrativos.

Algumas máquinas Windows já possuem o Python instalado. No presente momento nós temos conhecimento de computadores da Hewlett-Packard e da Compaq que incluem Python. Aparentemente algumas das ferramentas administrativas da HP/Compaq são escritas em Python.

Muitos sistemas operacionais derivados do Unix, como macOS e algumas distribuições Linux, possuem o python instalado por padrão; está incluído na instalação base.

Eu posso apagar o Python?

Isso depende de como o Python veio.

Se alguém o instalou deliberadamente, você pode removê-lo sem machucar ninguém. No Windows use o Adicionar ou remover programas que se encontra no Painel de Controle.

Se o Python foi instalado por um aplicativo de terceiros, você pode removê-lo mas aquela aplicação não irá mais funcionar. Você deve usar o desinstalador daquele aplicativo para remover o Python diretamente.

Se o Python veio junto com seu sistema operacional, removê-lo não é recomendado. Se você o remover, qualquer ferramenta que tenha sido escrita em Python não vão mais funcionar, e algumas delas podem ser importantes para você. A reinstalação do sistema inteiro seria necessária para consertar as coisas de novo.

Descontinuações

Remoção pendente no Python 3.14

O sistema de importação:

A definição de __loader__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.14, __loader__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão.

argparse: os parâmetros type, choices e metavar de argparse.BooleanOptionalAction foram descontinuados e serão removidos na versão 3.14. (Contribuição de Nikita Sobolev em gh-92248 [https://github.com/python/cpython/issues/92248].)

ast: os seguintes recursos foram descontinuados na documentação desde Python 3.8, agora fazem com que um DeprecationWarning seja emitido em tempo de execução quando eles são acessados ou usados, e serão removidos no Python 3.14:

ast.Num

ast.Str

ast.Bytes

ast.NameConstant

ast.Ellipsis

Em vez disso, use ast.Constant. (Contribuição de Serhiy Storchaka em gh-90953 [https://github.com/python/cpython/issues/90953].)

asyncio:

As classes filhas dos observadores MultiLoopChildWatcher, FastChildWatcher, AbstractChildWatcher e SafeChildWatcher foram descontinuadas e serão removidas no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

asyncio.set_child_watcher(), asyncio.get_child_watcher(), asyncio.AbstractEventLoopPolicy.set_child_watcher() e asyncio.AbstractEventLoopPolicy.get_child_watcher() foram descontinuados e serão removidos no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

O método get_event_loop() da política de laço de eventos padrão agora emite um DeprecationWarning se não houver nenhum laço de eventos atual definido e decidir criar um. (Contribuição de Serhiy Storchaka e Guido van Rossum em gh-100160 [https://github.com/python/cpython/issues/100160].)

collections.abc: ByteString foi descontinuado. Prefira Sequence ou Buffer. Para uso em tipagem, prefira uma união, como bytes | bytearray ou collections.abc.Buffer. (Contribuição de Shantanu Jain em gh-91896 [https://github.com/python/cpython/issues/91896].)

email: descontinua o parâmetro isdst em email.utils.localtime(). (Contribuição de Alan Williams em gh-72346 [https://github.com/python/cpython/issues/72346].)

importlib.abc descontinuou as classes:

importlib.abc.ResourceReader

importlib.abc.Traversable

importlib.abc.TraversableResources

Em vez disso, use classes importlib.resources.abc:

importlib.resources.abc.Traversable

importlib.resources.abc.TraversableResources

(Contribuição de Jason R. Coombs e Hugo van Kemenade em gh-93963 [https://github.com/python/cpython/issues/93963].)

itertools tinha suporte não documentado, ineficiente, historicamente cheio de bugs e inconsistente para operações de cópia, cópia profunda e serialização com pickle. Isso será removido na versão 3.14 para uma redução significativa no volume de código e na carga de manutenção. (Contribuição de Raymond Hettinger em gh-101588 [https://github.com/python/cpython/issues/101588].)

multiprocessing: o método de inicialização padrão será alterado para um mais seguro no Linux, BSDs e outras plataformas POSIX não-macOS onde 'fork' é atualmente o padrão (gh-84559 [https://github.com/python/cpython/issues/84559]). Adicionar um aviso de tempo de execução sobre isso foi considerado muito perturbador, pois não se espera que a maior parte do código se importe. Use as APIs get_context() ou set_start_method() para especificar explicitamente quando seu código requer 'fork'. Veja Contextos e métodos de inicialização.

pathlib: is_relative_to() e relative_to(): passar argumentos adicionais foi descontinuado.

pkgutil: find_loader() e get_loader() agora levantam DeprecationWarning; use importlib.util.find_spec() em vez disto. (Contribuição de Nikita Sobolev em gh-97850 [https://github.com/python/cpython/issues/97850].)

pty:

master_open(): use pty.openpty().

slave_open(): use pty.openpty().

sqlite3:

version e version_info.

execute() e executemany() se espaços reservados nomeados forem usados ​​e parameters for uma sequência em vez de um dict .

adaptador de data e hora, conversor de registro de data e hora: veja a documentação de sqlite3 para receitas de substituição sugeridas.

types.CodeType: o acesso a co_lnotab foi descontinuado na PEP 626 [https://peps.python.org/pep-0626/] desde 3.10 e foi planejado para ser removido em 3.12, mas só recebeu uma DeprecationWarning adequada em 3.12. Pode ser removido em 3.14. (Contribuição de Nikita Sobolev em gh-101866 [https://github.com/python/cpython/issues/101866].)

typing: ByteString, descontinuado desde Python 3.9, agora faz com que uma DeprecationWarning seja emitida quando é usado.

urllib: urllib.parse.Quoter está obsoleto: não foi planejado para ser uma API pública. (Contribuição de Gregory P. Smith em gh-88168 [https://github.com/python/cpython/issues/88168].)

Remoção pendente no Python 3.15

O sistema de importação:

A definição de __cached__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.15, __cached__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

A definição de __package__ em um módulo enquanto falha na definição de __spec__.parent está descontinuado. No Python 3.15, __package__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

ctypes:

A função não documentada ctypes.SetPointerType() foi descontinuada desde o Python 3.13.

http.server:

A classe obsoleta e raramente usada CGIHTTPRequestHandler foi descontinuada desde o Python 3.13. Não existe substituição direta. Qualquer coisa é melhor que CGI para fazer a interface de um servidor web com um manipulador de requisição.

O sinalizador --cgi para a interface de linha de comando python -m http.server foi descontinuado desde o Python 3.13.

locale:

A função getdefaultlocale() foi descontinuada desde o Python 3.11. Sua remoção foi planejada originalmente para o Python 3.13 (gh-90817 [https://github.com/python/cpython/issues/90817]), mas foi adiada para o Python 3.15. Em vez disso, use getlocale(), setlocale() e getencoding(). (Contribuição de Hugo van Kemenade em gh-111187 [https://github.com/python/cpython/issues/111187].)

pathlib:

PurePath.is_reserved() foi descontinuado desde o Python 3.13. Use os.path.isreserved() para detectar caminhos reservados no Windows.

platform:

java_ver() foi descontinuada desde o Python 3.13. Esta função é útil apenas para suporte Jython, tem uma API confusa e é amplamente não testada.

threading:

RLock() não aceitará argumentos no Python 3.15. A passagem quaisquer argumentos foi descontinuada desde o Python 3.14, pois a versão Python não permite nenhum argumento, mas a versão C permite qualquer número de argumentos posicionais ou nomeados, ignorando todos os argumentos.

typing:

A sintaxe de argumento nomeado não documentada para criar classes NamedTuple (por exemplo, Point = NamedTuple("Point", x=int, y=int)) foi descontinuada desde o Python 3.13. Use a sintaxe baseada em classe ou a sintaxe funcional em vez disso.

A função decoradora typing.no_type_check_decorator() foi descontinuada desde o Python 3.13. Após oito anos no módulo typing, ela ainda não foi suportada por nenhum verificador de tipo importante.

wave:

Os métodos getmark(), setmark() e getmarkers() das classes Wave_read e Wave_write foram descontinuados desde o Python 3.13.

Remoção pendente no Python 3.16

builtins:

A inversão bit a bit em tipos booleanos, ~True ou ~False foi descontinuada desde o Python 3.12, pois produz resultados surpreendentes e não intuitivos (-2 e -1). Use not x em vez disso para a negação lógica de um Booleano. No caso raro de você precisar da inversão bit a bit do inteiro subjacente, converta para int explicitamente (~int(x)).

array:

O código de formato 'u' (wchar_t) foi descontinuado na documentação desde o Python 3.3 e em tempo de execução desde o Python 3.13. Use o código de formato 'w' (Py_UCS4) para caracteres Unicode.

shutil:

A exceção ExecError foi descontinuada desde o Python 3.14. Ela não foi usada por nenhuma função em shutil desde o Python 3.4, e agora é um alias de RuntimeError.

symtable:

O método Class.get_methods foi descontinuado desde o Python 3.14.

sys:

A função _enablelegacywindowsfsencoding() foi descontinuada desde o Python 3.13. Use a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING.

tarfile:

O atributo não documentado e não utilizado TarFile.tarfile foi descontinuado desde o Python 3.13.

Remoção pendente em versões futuras

As APIs a seguir serão removidas no futuro, embora atualmente não haja uma data agendada para sua remoção.

argparse: o aninhamento de grupos de argumentos e o aninhamento de grupos mutuamente exclusivos estão descontinuados.

código de formatação 'u' do array (gh-57281 [https://github.com/python/cpython/issues/57281])

builtins:

bool(NotImplemented).

Geradores: a assinatura throw(type, exc, tb) e athrow(type, exc, tb) está descontinuada: use throw(exc) e athrow(exc), a assinatura do argumento único.

Atualmente Python aceita literais numéricos imediatamente seguidos por palavras reservadas como, por exemplo, 0in x, 1or x, 0if 1else 2. Ele permite expressões confusas e ambíguas como [0x1for x in y] (que pode ser interpretada como [0x1 for x in y] ou [0x1f or x in y]). Um aviso de sintaxe é levantado se o literal numérico for imediatamente seguido por uma das palavras reservadas and, else, for, if, in , is e or. Em uma versão futura, será alterado para um erro de sintaxe. (gh-87999 [https://github.com/python/cpython/issues/87999])

Suporte para métodos __index__() e __int__() retornando tipo não-int: esses métodos serão necessários para retornar uma instância de uma subclasse estrita de int.

Suporte para o método __float__() retornando uma subclasse estrita de float: esses métodos serão necessários para retornar uma instância de float.

Suporte para o método __complex__() retornando uma subclasse estrita de complex: esses métodos serão necessários para retornar uma instância de complex.

Delegação do método int() para o __trunc__().

Passar um número complexo como argumento real ou imag no construtor complex() agora está descontinuado; deve ser passado apenas como um único argumento posicional. (Contribuição de Serhiy Storchaka em gh-109218 [https://github.com/python/cpython/issues/109218].)

calendar: as constantes calendar.January e calendar.February foram descontinuadas e substituídas por calendar.JANUARY e calendar.FEBRUARY. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

codeobject.co_lnotab: use o método codeobject.co_lines().

datetime:

utcnow(): use datetime.datetime.now(tz=datetime.UTC).

utcfromtimestamp(): use datetime.datetime.fromtimestamp(timestamp, tz=datetime.UTC).

gettext: o valor de plural deve ser um número inteiro.

importlib:

Método load_module(): use exec_module() em vez disso.

O parâmetro debug_override de cache_from_source() foi descontinuado: em vez disso, use o parâmetro optimization.

importlib.metadata:

Interface de tupla EntryPoints.

None implícito nos valores de retorno.

logging: o método warn() foi descontinuado desde o Python 3.3, use warning().

mailbox: o uso da entrada StringIO e do modo de texto foi descontinuado; em vez disso, use BytesIO e o modo binário.

os: chame os.register_at_fork() em processo multithread.

pydoc.ErrorDuringImport: um valor de tupla para o parâmetro exc_info foi descontinuado, use uma instância de exceção.

re: regras mais rigorosas agora são aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas a sequência de dígitos ASCII agora é aceita como referência numérica. O nome do grupo em padrões de bytes e strings de substituição agora pode conter apenas letras e dígitos ASCII e sublinhado. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

Módulos sre_compile, sre_constants e sre_parse.

shutil: o parâmetro onerror de rmtree() foi descontinuado no Python 3.12; use o parâmetro onexc.

Protocolos e opções de ssl

ssl.SSLContext sem argumento de protocolo foi descontinuado.

ssl.SSLContext: set_npn_protocols() e selected_npn_protocol() foram descontinuados: use ALPN.

Opções de ssl.OP_NO_SSL*

Opções de ssl.OP_NO_TLS*

ssl.PROTOCOL_SSLv3

ssl.PROTOCOL_TLS

ssl.PROTOCOL_TLSv1

ssl.PROTOCOL_TLSv1_1

ssl.PROTOCOL_TLSv1_2

ssl.TLSVersion.SSLv3

ssl.TLSVersion.TLSv1

ssl.TLSVersion.TLSv1_1

O parâmetro check_home de sysconfig.is_python_build() foi descontinuado e é ignorado.

Métodos de threading:

threading.Condition.notifyAll(): use notify_all().

threading.Event.isSet(): use is_set().

threading.Thread.isDaemon(), threading.Thread.setDaemon(): use o atributo threading.Thread.daemon.

threading.Thread.getName(), threading.Thread.setName(): use o atributo threading.Thread.name.

threading.currentThread(): use threading.current_thread().

threading.activeCount(): use threading.active_count().

typing.Text (gh-92332 [https://github.com/python/cpython/issues/92332]).

unittest.IsolatedAsyncioTestCase: foi descontinuado retornar um valor que não seja None de um caso de teste.

Funções descontinuadas de urllib.parse: use urlparse()

splitattr()

splithost()

splitnport()

splitpasswd()

splitport()

splitquery()

splittag()

splittype()

splituser()

splitvalue()

to_bytes()

urllib.request: o estilo de URLopener e FancyURLopener de invocar solicitações foi descontinuado. Use as mais novas funções e métodos urlopen().

wsgiref: SimpleHandler.stdout.write() não deve fazer gravações parciais.

xml.etree.ElementTree: testar o valor verdade de um Element está descontinuado. Em um lançamento futuro isso sempre retornará True. Em vez disso, prefira os testes explícitos len(elem) ou elem is not None.

zipimport.zipimporter.load_module() foi descontinuado: use exec_module().

Descontinuações na API C

Remoção pendente no Python 3.14

O campo ma_version_tag em PyDictObject para módulos de extensão (PEP 699 [https://peps.python.org/pep-0699/]; gh-101193 [https://github.com/python/cpython/issues/101193]).

A criação de tipos imutáveis com bases mutáveis (gh-95388 [https://github.com/python/cpython/issues/95388]).

Funções para configurar a inicialização do Python, descontinuadas no Python 3.11:

PySys_SetArgvEx(): defina PyConfig.argv.

PySys_SetArgv(): defina PyConfig.argv.

Py_SetProgramName(): defina PyConfig.program_name.

Py_SetPythonHome(): defina PyConfig.home.

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Variáveis de configuração globais

Py_DebugFlag: use PyConfig.parser_debug.

Py_VerboseFlag: use PyConfig.verbose.

Py_QuietFlag: use PyConfig.quiet.

Py_InteractiveFlag: use PyConfig.interactive.

Py_InspectFlag: use PyConfig.inspect.

Py_OptimizeFlag: use PyConfig.optimization_level.

Py_NoSiteFlag: use PyConfig.site_import.

Py_BytesWarningFlag: use PyConfig.bytes_warning.

Py_FrozenFlag: use PyConfig.pathconfig_warnings.

Py_IgnoreEnvironmentFlag: use PyConfig.use_environment.

Py_DontWriteBytecodeFlag: use PyConfig.write_bytecode.

Py_NoUserSiteDirectory: use PyConfig.user_site_directory.

Py_UnbufferedStdioFlag: use PyConfig.buffered_stdio.

Py_HashRandomizationFlag: use PyConfig.use_hash_seed e PyConfig.hash_seed.

Py_IsolatedFlag: use PyConfig.isolated.

Py_LegacyWindowsFSEncodingFlag: use PyPreConfig.legacy_windows_fs_encoding.

Py_LegacyWindowsStdioFlag: use PyConfig.legacy_windows_stdio.

Py_FileSystemDefaultEncoding: use PyConfig.filesystem_encoding.

Py_HasFileSystemDefaultEncoding: use PyConfig.filesystem_encoding.

Py_FileSystemDefaultEncodeErrors: use PyConfig.filesystem_errors.

Py_UTF8Mode: use PyPreConfig.utf8_mode. (veja Py_PreInitialize())

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Remoção pendente no Python 3.15

A cópia empacotada do libmpdecimal.

The PyImport_ImportModuleNoBlock(): use PyImport_ImportModule().

PyWeakref_GetObject() e PyWeakref_GET_OBJECT(): use PyWeakref_GetRef().

O tipo Py_UNICODE e a macro Py_UNICODE_WIDE: use wchar_t.

Funções de inicialização do Python

PySys_ResetWarnOptions(): apague sys.warnoptions e warnings.filters.

Py_GetExecPrefix(): obtenha sys.base_exec_prefix e sys.exec_prefix.

Py_GetPath(): leia sys.path.

Py_GetPrefix(): obtenha sys.base_prefix e sys.prefix.

Py_GetProgramFullPath(): leia sys.executable.

Py_GetProgramName(): leia sys.executable.

Py_GetPythonHome(): leia PyConfig.home ou a variável de ambiente PYTHONHOME.

Remoção pendente em versões futuras

As APIs a seguir foram descontinuadas e serão removidas, embora atualmente não haja uma data agendada para sua remoção.

Py_TPFLAGS_HAVE_FINALIZE: desnecessária desde o Python 3.8.

PyErr_Fetch(): use PyErr_GetRaisedException().

PyErr_NormalizeException(): use PyErr_GetRaisedException().

PyErr_Restore(): use PyErr_SetRaisedException().

PyModule_GetFilename(): use PyModule_GetFilenameObject().

PyOS_AfterFork(): use PyOS_AfterFork_Child().

PySlice_GetIndicesEx(): use PySlice_Unpack() e PySlice_AdjustIndices().

PyUnicode_AsDecodedObject(): use PyCodec_Decode().

PyUnicode_AsDecodedUnicode(): use PyCodec_Decode().

PyUnicode_AsEncodedObject(): use PyCodec_Encode().

PyUnicode_AsEncodedUnicode(): use PyCodec_Encode().

PyUnicode_READY(): desnecessário desde o Python 3.12

PyErr_Display(): use PyErr_DisplayException().

_PyErr_ChainExceptions(): use _PyErr_ChainExceptions1().

O membro PyBytesObject.ob_shash: chame PyObject_Hash().

O membro PyDictObject.ma_version_tag.

API do Thread Local Storage (TLS):

PyThread_create_key(): use PyThread_tss_alloc().

PyThread_delete_key(): use PyThread_tss_free().

PyThread_set_key_value(): use PyThread_tss_set().

PyThread_get_key_value(): use PyThread_tss_get().

PyThread_delete_key_value(): use PyThread_tss_delete().

PyThread_ReInitTLS(): desnecessário desde o Python 3.7.

Glossário

>>>

O prompt padrão do console interativo do Python. Normalmente visto em exemplos de código que podem ser executados interativamente no interpretador.

...

Pode se referir a:

O prompt padrão do console interativo do Python ao inserir o código para um bloco de código recuado, quando dentro de um par de delimitadores correspondentes esquerdo e direito (parênteses, colchetes, chaves ou aspas triplas) ou após especificar um decorador.

A constante embutida Ellipsis.

classe base abstrata

Classes bases abstratas complementam tipagem pato, fornecendo uma maneira de definir interfaces quando outras técnicas, como hasattr(), seriam desajeitadas ou sutilmente erradas (por exemplo, com métodos mágicos). CBAs introduzem subclasses virtuais, classes que não herdam de uma classe mas ainda são reconhecidas por isinstance() e issubclass(); veja a documentação do módulo abc. Python vem com muitas CBAs embutidas para estruturas de dados (no módulo collections.abc), números (no módulo numbers), fluxos (no módulo io), localizadores e carregadores de importação (no módulo importlib.abc). Você pode criar suas próprias CBAs com o módulo abc.

anotação

Um rótulo associado a uma variável, um atributo de classe ou um parâmetro de função ou valor de retorno, usado por convenção como dica de tipo.

Anotações de variáveis ​​locais não podem ser acessadas em tempo de execução, mas anotações de variáveis ​​globais, atributos de classe e funções são armazenadas no atributo especial __annotations__ de módulos, classes e funções, respectivamente.

Veja anotação de variável, anotação de função, PEP 484 [https://peps.python.org/pep-0484/] e PEP 526 [https://peps.python.org/pep-0526/], que descrevem esta funcionalidade. Veja também Boas práticas para anotações para as melhores práticas sobre como trabalhar com anotações.

argumento

Um valor passado para uma função (ou método) ao chamar a função. Existem dois tipos de argumento:

argumento nomeado: um argumento precedido por um identificador (por exemplo, name=) na chamada de uma função ou passada como um valor em um dicionário precedido por **. Por exemplo, 3 e 5 são ambos argumentos nomeados na chamada da função complex() a seguir:

complex(real=3, imag=5)
complex(**{'real': 3, 'imag': 5})

argumento posicional: um argumento que não é um argumento nomeado. Argumentos posicionais podem aparecer no início da lista de argumentos e/ou podem ser passados com elementos de um iterável precedido por *. Por exemplo, 3 e 5 são ambos argumentos posicionais nas chamadas a seguir:

complex(3, 5)
complex(*(3, 5))

Argumentos são atribuídos às variáveis locais nomeadas no corpo da função. Veja a seção Chamadas para as regras de atribuição. Sintaticamente, qualquer expressão pode ser usada para representar um argumento; avaliada a expressão, o valor é atribuído à variável local.

Veja também o termo parâmetro no glossário, a pergunta no FAQ sobre a diferença entre argumentos e parâmetros e PEP 362 [https://peps.python.org/pep-0362/].

gerenciador de contexto assíncrono

Um objeto que controla o ambiente visto numa instrução async with por meio da definição dos métodos __aenter__() e __aexit__(). Introduzido pela PEP 492 [https://peps.python.org/pep-0492/].

gerador assíncrono

Uma função que retorna um iterador gerador assíncrono. É parecida com uma função de corrotina definida com async def exceto pelo fato de conter instruções yield para produzir uma série de valores que podem ser usados em um laço async for.

Normalmente se refere a uma função geradora assíncrona, mas pode se referir a um iterador gerador assíncrono em alguns contextos. Em casos em que o significado não esteja claro, usar o termo completo evita a ambiguidade.

Uma função geradora assíncrona pode conter expressões await e também as instruções async for e async with.

iterador gerador assíncrono

Um objeto criado por uma função geradora assíncrona.

Este é um iterador assíncrono que, quando chamado usando o método __anext__(), retorna um objeto aguardável que executará o corpo da função geradora assíncrona até a próxima expressão yield.

Cada yield suspende temporariamente o processamento, lembrando o estado de execução do local (incluindo variáveis locais e instruções try pendentes). Quando o iterador gerador assíncrono é efetivamente retomado com outro aguardável retornado por __anext__(), ele inicia de onde parou. Veja PEP 492 [https://peps.python.org/pep-0492/] e PEP 525 [https://peps.python.org/pep-0525/].

iterável assíncrono

Um objeto que pode ser usado em uma instrução async for. Deve retornar um iterador assíncrono do seu método __aiter__(). Introduzido por PEP 492 [https://peps.python.org/pep-0492/].

iterador assíncrono

Um objeto que implementa os métodos __aiter__() e __anext__(). __anext__() deve retornar um objeto aguardável. async for resolve os aguardáveis retornados por um método __anext__() do iterador assíncrono até que ele levante uma exceção StopAsyncIteration. Introduzido pela PEP 492 [https://peps.python.org/pep-0492/].

atributo

Um valor associado a um objeto que é geralmente referenciado pelo nome separado por um ponto. Por exemplo, se um objeto o tem um atributo a esse seria referenciado como o.a.

É possível dar a um objeto um atributo cujo nome não seja um identificador conforme definido por Identificadores e palavras-chave, por exemplo usando setattr(), se o objeto permitir. Tal atributo não será acessível usando uma expressão pontilhada e, em vez disso, precisaria ser recuperado com getattr().

aguardável

Um objeto que pode ser usado em uma expressão await. Pode ser uma corrotina ou um objeto com um método __await__(). Veja também a PEP 492 [https://peps.python.org/pep-0492/].

BDFL

Abreviação da expressão da língua inglesa “Benevolent Dictator for Life” (em português, “Ditador Benevolente Vitalício”), referindo-se a Guido van Rossum [https://gvanrossum.github.io/], criador do Python.

arquivo binário

Um objeto arquivo capaz de ler e gravar em objetos bytes ou similar. Exemplos de arquivos binários são arquivos abertos no modo binário ('rb', 'wb' ou 'rb+'), sys.stdin.buffer, sys.stdout.buffer, e instâncias de io.BytesIO e gzip.GzipFile.

Veja também arquivo texto para um objeto arquivo capaz de ler e gravar em objetos str.

referência emprestada

Na API C do Python, uma referência emprestada é uma referência a um objeto que não é dona da referência. Ela se torna um ponteiro solto se o objeto for destruído. Por exemplo, uma coleta de lixo pode remover a última referência forte para o objeto e assim destruí-lo.

Chamar Py_INCREF() na referência emprestada é recomendado para convertê-lo, internamente, em uma referência forte, exceto quando o objeto não pode ser destruído antes do último uso da referência emprestada. A função Py_NewRef() pode ser usada para criar uma nova referência forte.

objeto byte ou similar

Um objeto com suporte ao o Protocolo de Buffer e que pode exportar um buffer C contíguo. Isso inclui todos os objetos bytes, bytearray e array.array, além de muitos objetos memoryview comuns. Objetos byte ou similar podem ser usados para várias operações que funcionam com dados binários; isso inclui compactação, salvamento em um arquivo binário e envio por um soquete.

Algumas operações precisam que os dados binários sejam mutáveis. A documentação geralmente se refere a eles como “objetos byte ou similar para leitura e escrita”. Exemplos de objetos de buffer mutável incluem bytearray e um memoryview de um bytearray. Outras operações exigem que os dados binários sejam armazenados em objetos imutáveis (“objetos byte ou similar para somente leitura”); exemplos disso incluem bytes e a memoryview de um objeto bytes.

bytecode

O código-fonte Python é compilado para bytecode, a representação interna de um programa em Python no interpretador CPython. O bytecode também é mantido em cache em arquivos .pyc e .pyo, de forma que executar um mesmo arquivo é mais rápido na segunda vez (a recompilação dos fontes para bytecode não é necessária). Esta “linguagem intermediária” é adequada para execução em uma máquina virtual, que executa o código de máquina correspondente para cada bytecode. Tenha em mente que não se espera que bytecodes sejam executados entre máquinas virtuais Python diferentes, nem que se mantenham estáveis entre versões de Python.

Uma lista de instruções bytecode pode ser encontrada na documentação para o módulo dis.

chamável

Um chamável é um objeto que pode ser chamado, possivelmente com um conjunto de argumentos (veja argumento), com a seguinte sintaxe:

chamavel(argumento1, argumento2, argumentoN)

Uma função, e por extensão um método, é um chamável. Uma instância de uma classe que implementa o método __call__() também é um chamável.

função de retorno

Também conhecida como callback, é uma função sub-rotina que é passada como um argumento a ser executado em algum ponto no futuro.

classe

Um modelo para criação de objetos definidos pelo usuário. Definições de classe normalmente contém definições de métodos que operam sobre instâncias da classe.

variável de classe

Uma variável definida em uma classe e destinada a ser modificada apenas no nível da classe (ou seja, não em uma instância da classe).

variável de clausura

Uma variável livre referenciada de um escopo aninhado que é definida em um escopo externo em vez de ser resolvida em tempo de execução a partir dos espaços de nomes embutido ou globais. Pode ser explicitamente definida com a palavra reservada nonlocal para permitir acesso de gravação, ou implicitamente definida se a variável estiver sendo somente lida.

Por exemplo, na função interna no código a seguir, tanto x quanto print são variáveis ​​livres, mas somente x é uma variável de clausura:

def externa():
    x = 0
    def interna():
        nonlocal x
        x += 1
        print(x)
    return interna

Devido ao atributo codeobject.co_freevars (que, apesar do nome, inclui apenas os nomes das variáveis ​​de clausura em vez de listar todas as variáveis ​​livres referenciadas), o termo mais geral variável livre às vezes é usado mesmo quando o significado pretendido é se referir especificamente às variáveis ​​de clausura.

número complexo

Uma extensão ao familiar sistema de números reais em que todos os números são expressos como uma soma de uma parte real e uma parte imaginária. Números imaginários são múltiplos reais da unidade imaginária (a raiz quadrada de -1), normalmente escrita como i em matemática ou j em engenharia. O Python tem suporte nativo para números complexos, que são escritos com esta última notação; a parte imaginária escrita com um sufixo j, p.ex., 3+1j. Para ter acesso aos equivalentes para números complexos do módulo math, utilize cmath. O uso de números complexos é uma funcionalidade matemática bastante avançada. Se você não sabe se irá precisar deles, é quase certo que você pode ignorá-los sem problemas.

gerenciador de contexto

Um objeto que controla o ambiente visto numa instrução with por meio da definição dos métodos __enter__() e __exit__(). Veja PEP 343 [https://peps.python.org/pep-0343/].

variável de contexto

Uma variável que pode ter valores diferentes, dependendo do seu contexto. Isso é semelhante ao armazenamento local de threads, no qual cada thread pode ter um valor diferente para uma variável. No entanto, com variáveis de contexto, pode haver vários contextos em uma thread e o principal uso para variáveis de contexto é acompanhar as variáveis em tarefas assíncronas simultâneas. Veja contextvars.

contíguo

Um buffer é considerado contíguo exatamente se for contíguo C ou contíguo Fortran. Os buffers de dimensão zero são contíguos C e Fortran. Em vetores unidimensionais, os itens devem ser dispostos na memória próximos um do outro, em ordem crescente de índices, começando do zero. Em vetores multidimensionais contíguos C, o último índice varia mais rapidamente ao visitar itens em ordem de endereço de memória. No entanto, nos vetores contíguos do Fortran, o primeiro índice varia mais rapidamente.

corrotina

Corrotinas são uma forma mais generalizada de sub-rotinas. Sub-rotinas tem a entrada iniciada em um ponto, e a saída em outro ponto. Corrotinas podem entrar, sair, e continuar em muitos pontos diferentes. Elas podem ser implementadas com a instrução async def. Veja também PEP 492 [https://peps.python.org/pep-0492/].

função de corrotina

Uma função que retorna um objeto do tipo corrotina. Uma função de corrotina pode ser definida com a instrução async def, e pode conter as palavras chaves await, async for, e async with. Isso foi introduzido pela PEP 492 [https://peps.python.org/pep-0492/].

CPython

A implementação canônica da linguagem de programação Python, como disponibilizada pelo python.org [https://www.python.org]. O termo “CPython” é usado quando necessário distinguir esta implementação de outras como Jython ou IronPython.

decorador

Uma função que retorna outra função, geralmente aplicada como uma transformação de função usando a sintaxe @wrapper. Exemplos comuns para decoradores são classmethod() e staticmethod().

A sintaxe do decorador é meramente um açúcar sintático, as duas definições de funções a seguir são semanticamente equivalentes:

def f(arg):
    ...
f = staticmethod(f)

@staticmethod
def f(arg):
    ...

O mesmo conceito existe para as classes, mas não é comumente utilizado. Veja a documentação de definições de função e definições de classe para obter mais informações sobre decoradores.

descritor

Qualquer objeto que define os métodos __get__(), __set__() ou __delete__(). Quando um atributo de classe é um descritor, seu comportamento de associação especial é acionado no acesso a um atributo. Normalmente, ao se utilizar a.b para se obter, definir ou excluir, um atributo dispara uma busca no objeto chamado b no dicionário de classe de a, mas se b for um descritor, o respectivo método descritor é chamado. Compreender descritores é a chave para um profundo entendimento de Python pois eles são a base de muitas funcionalidades incluindo funções, métodos, propriedades, métodos de classe, métodos estáticos e referências para superclasses.

Para obter mais informações sobre os métodos dos descritores, veja: Implementando descritores ou o Guia de Descritores.

dicionário

Um vetor associativo em que chaves arbitrárias são mapeadas para valores. As chaves podem ser quaisquer objetos que possuam os métodos __hash__() e __eq__(). Isso é chamado de hash em Perl.

compreensão de dicionário

Uma maneira compacta de processar todos ou parte dos elementos de um iterável e retornar um dicionário com os resultados. results = {n: n ** 2 for n in range(10)} gera um dicionário contendo a chave n mapeada para o valor n ** 2. Veja Sintaxe de criação de listas, conjuntos e dicionários.

visão de dicionário

Os objetos retornados por dict.keys(), dict.values() e dict.items() são chamados de visões de dicionário. Eles fornecem uma visão dinâmica das entradas do dicionário, o que significa que quando o dicionário é alterado, a visão reflete essas alterações. Para forçar a visão de dicionário a se tornar uma lista completa use list(dictview). Veja Objetos de visão de dicionário.

docstring

Abreviatura de “documentation string” (string de documentação). Uma string literal que aparece como primeira expressão numa classe, função ou módulo. Ainda que sejam ignoradas quando a suíte é executada, é reconhecida pelo compilador que a coloca no atributo __doc__ da classe, função ou módulo que a encapsula. Como ficam disponíveis por meio de introspecção, docstrings são o lugar canônico para documentação do objeto.

tipagem pato

Também conhecida como duck-typing, é um estilo de programação que não verifica o tipo do objeto para determinar se ele possui a interface correta; em vez disso, o método ou atributo é simplesmente chamado ou utilizado (“Se se parece com um pato e grasna como um pato, então deve ser um pato.”) Enfatizando interfaces ao invés de tipos específicos, o código bem desenvolvido aprimora sua flexibilidade por permitir substituição polimórfica. Tipagem pato evita necessidade de testes que usem type() ou isinstance(). (Note, porém, que a tipagem pato pode ser complementada com o uso de classes base abstratas.) Ao invés disso, são normalmente empregados testes hasattr() ou programação EAFP.

EAFP

Iniciais da expressão em inglês “easier to ask for forgiveness than permission” que significa “é mais fácil pedir perdão que permissão”. Este estilo de codificação comum no Python presume a existência de chaves ou atributos válidos e captura exceções caso essa premissa se prove falsa. Este estilo limpo e rápido se caracteriza pela presença de várias instruções try e except. A técnica diverge do estilo LBYL, comum em outras linguagens como C, por exemplo.

expressão

Uma parte da sintaxe que pode ser avaliada para algum valor. Em outras palavras, uma expressão é a acumulação de elementos de expressão como literais, nomes, atributos de acesso, operadores ou chamadas de funções, todos os quais retornam um valor. Em contraste com muitas outras linguagens, nem todas as construções de linguagem são expressões. Também existem instruções, as quais não podem ser usadas como expressões, como, por exemplo, while. Atribuições também são instruções, não expressões.

módulo de extensão

Um módulo escrito em C ou C++, usando a API C do Python para interagir tanto com código de usuário quanto do núcleo.

f-string

Literais string prefixadas com 'f' ou 'F' são conhecidas como “f-strings” que é uma abreviação de formatted string literals. Veja também PEP 498 [https://peps.python.org/pep-0498/].

objeto arquivo

Um objeto que expõe uma API orientada a arquivos (com métodos tais como read() ou write()) para um recurso subjacente. Dependendo da maneira como foi criado, um objeto arquivo pode mediar o acesso a um arquivo real no disco ou outro tipo de dispositivo de armazenamento ou de comunicação (por exemplo a entrada/saída padrão, buffers em memória, soquetes, pipes, etc.). Objetos arquivo também são chamados de objetos arquivo ou similares ou fluxos.

Atualmente há três categorias de objetos arquivo: arquivos binários brutos, arquivos binários em buffer e arquivos textos. Suas interfaces estão definidas no módulo io. A forma canônica para criar um objeto arquivo é usando a função open().

objeto arquivo ou similar

Um sinônimo do termo objeto arquivo.

tratador de erros e codificação do sistema de arquivos

Tratador de erros e codificação usado pelo Python para decodificar bytes do sistema operacional e codificar Unicode para o sistema operacional.

A codificação do sistema de arquivos deve garantir a decodificação bem-sucedida de todos os bytes abaixo de 128. Se a codificação do sistema de arquivos falhar em fornecer essa garantia, as funções da API podem levantar UnicodeError.

As funções sys.getfilesystemencoding() e sys.getfilesystemencodeerrors() podem ser usadas para obter o tratador de erros e codificação do sistema de arquivos.

O tratador de erros e codificação do sistema de arquivos são configurados na inicialização do Python pela função PyConfig_Read(): veja os membros filesystem_encoding e filesystem_errors do PyConfig.

Veja também codificação da localidade.

localizador

Um objeto que tenta encontrar o carregador para um módulo que está sendo importado.

Existem dois tipos de localizador: localizadores de metacaminho para uso com sys.meta_path, e localizadores de entrada de caminho para uso com sys.path_hooks.

Veja Localizadores e carregadores e importlib para muito mais detalhes.

divisão pelo piso

Divisão matemática que arredonda para baixo para o inteiro mais próximo. O operador de divisão pelo piso é //. Por exemplo, a expressão 11 // 4 retorna o valor 2 ao invés de 2.75, que seria retornado pela divisão de ponto flutuante. Note que (-11) // 4 é -3 porque é -2.75 arredondado para baixo. Consulte a PEP 238 [https://peps.python.org/pep-0238/].

threads livres

Um modelo de threads onde múltiplas threads podem simultaneamente executar bytecode Python no mesmo interpretador. Isso está em contraste com a trava global do interpretador que permite apenas uma thread por vez executar bytecode Python. Veja PEP 703 [https://peps.python.org/pep-0703/].

variável livre

Formalmente, conforme definido no modelo de execução de linguagem, uma variável livre é qualquer variável usada em um espaço de nomes que não seja uma variável local naquele espaço de nomes. Veja variável de clausura para um exemplo. Pragmaticamente, devido ao nome do atributo codeobject.co_freevars, o termo também é usado algumas vezes como sinônimo de variável de clausura.

função

Uma série de instruções que retorna algum valor para um chamador. Também pode ser passado zero ou mais argumentos que podem ser usados na execução do corpo. Veja também parâmetro, método e a seção Definições de função.

anotação de função

Uma anotação de um parâmetro de função ou valor de retorno.

Anotações de função são comumente usados por dicas de tipo: por exemplo, essa função espera receber dois argumentos int e também é esperado que devolva um valor int:

def soma_dois_numeros(a: int, b: int) -> int:
   return a + b

A sintaxe de anotação de função é explicada na seção Definições de função.

Veja anotação de variável e PEP 484 [https://peps.python.org/pep-0484/], que descrevem esta funcionalidade. Veja também Boas práticas para anotações para as melhores práticas sobre como trabalhar com anotações.

__future__

A instrução future, from __future__ import <feature>, direciona o compilador a compilar o módulo atual usando sintaxe ou semântica que será padrão em uma versão futura de Python. O módulo __future__ documenta os possíveis valores de feature. Importando esse módulo e avaliando suas variáveis, você pode ver quando um novo recurso foi inicialmente adicionado à linguagem e quando será (ou se já é) o padrão:

>>> import __future__
>>> __future__.division
_Feature((2, 2, 0, 'alpha', 2), (3, 0, 0, 'alpha', 0), 8192)

coleta de lixo

Também conhecido como garbage collection, é o processo de liberar a memória quando ela não é mais utilizada. Python executa a liberação da memória através da contagem de referências e um coletor de lixo cíclico que é capaz de detectar e interromper referências cíclicas. O coletor de lixo pode ser controlado usando o módulo gc.

gerador

Uma função que retorna um iterador gerador. É parecida com uma função normal, exceto pelo fato de conter expressões yield para produzir uma série de valores que podem ser usados em um laço “for” ou que podem ser obtidos um de cada vez com a função next().

Normalmente refere-se a uma função geradora, mas pode referir-se a um iterador gerador em alguns contextos. Em alguns casos onde o significado desejado não está claro, usar o termo completo evita ambiguidade.

iterador gerador

Um objeto criado por uma função geradora.

Cada yield suspende temporariamente o processamento, memorizando o estado da execução local (incluindo variáveis locais e instruções try pendentes). Quando o iterador gerador retorna, ele se recupera do último ponto onde estava (em contrapartida as funções que iniciam uma nova execução a cada vez que são invocadas).

expressão geradora

Uma expressão que retorna um iterador. Parece uma expressão normal, seguido de uma cláusula for definindo uma variável de laço, um intervalo, e uma cláusula if opcional. A expressão combinada gera valores para uma função encapsuladora:

>>> sum(i*i for i in range(10))         # soma dos quadrados 0, 1, 4, ... 81
285

função genérica

Uma função composta por várias funções implementando a mesma operação para diferentes tipos. Qual implementação deverá ser usada durante a execução é determinada pelo algoritmo de despacho.

Veja também a entrada despacho único no glossário, o decorador functools.singledispatch(), e a PEP 443 [https://peps.python.org/pep-0443/].

tipo genérico

Um tipo que pode ser parametrizado; tipicamente uma classe contêiner tal como list ou dict. Usado para dicas de tipo e anotações.

Para mais detalhes, veja tipo apelido genérico, PEP 483 [https://peps.python.org/pep-0483/], PEP 484 [https://peps.python.org/pep-0484/], PEP 585 [https://peps.python.org/pep-0585/], e o módulo typing.

GIL

Veja trava global do interpretador.

trava global do interpretador

O mecanismo utilizado pelo interpretador CPython para garantir que apenas uma thread execute o bytecode Python por vez. Isto simplifica a implementação do CPython ao fazer com que o modelo de objetos (incluindo tipos embutidos críticos como o dict) ganhem segurança implícita contra acesso concorrente. Travar todo o interpretador facilita que o interpretador em si seja multitarefa, às custas de muito do paralelismo já provido por máquinas multiprocessador.

No entanto, alguns módulos de extensão, tanto da biblioteca padrão quanto de terceiros, são desenvolvidos de forma a liberar a GIL ao realizar tarefas computacionalmente muito intensas, como compactação ou cálculos de hash. Além disso, a GIL é sempre liberado nas operações de E/S.

A partir de Python 3.13, o GIL pode ser desabilitado usando a configuração de construção --disable-gil. Depois de construir Python com essa opção, o código deve ser executado com a opção -X gil=0 ou a variável de ambiente PYTHON_GIL=0 deve estar definida. Esse recurso provê um desempenho melhor para aplicações com múltiplas threads e torna mais fácil o uso eficiente de CPUs com múltiplos núcleos. Para mais detalhes, veja PEP 703 [https://peps.python.org/pep-0703/].

pyc baseado em hash

Um arquivo de cache em bytecode que usa hash ao invés do tempo, no qual o arquivo de código-fonte foi modificado pela última vez, para determinar a sua validade. Veja Invalidação de bytecode em cache.

hasheável

Um objeto é hasheável se tem um valor de hash que nunca muda durante seu ciclo de vida (precisa ter um método __hash__()) e pode ser comparado com outros objetos (precisa ter um método __eq__()). Objetos hasheáveis que são comparados como iguais devem ter o mesmo valor de hash.

A hasheabilidade faz com que um objeto possa ser usado como uma chave de dicionário e como um membro de conjunto, pois estas estruturas de dados utilizam os valores de hash internamente.

A maioria dos objetos embutidos imutáveis do Python são hasheáveis; containers mutáveis (tais como listas ou dicionários) não são; containers imutáveis (tais como tuplas e frozensets) são hasheáveis apenas se os seus elementos são hasheáveis. Objetos que são instâncias de classes definidas pelo usuário são hasheáveis por padrão. Todos eles comparam de forma desigual (exceto entre si mesmos), e o seu valor hash é derivado a partir do seu id().

IDLE

Um ambiente de desenvolvimento e aprendizado integrado para Python. IDLE é um editor básico e um ambiente interpretador que vem junto com a distribuição padrão do Python.

imortal

Objetos imortais são um detalhe da implementação do CPython introduzida na PEP 683 [https://peps.python.org/pep-0683/].

Se um objeto é imortal, sua contagem de referências nunca é modificada e, portanto, nunca é desalocado enquanto o interpretador está em execução. Por exemplo, True e None são imortais no CPython.

imutável

Um objeto que possui um valor fixo. Objetos imutáveis incluem números, strings e tuplas. Estes objetos não podem ser alterados. Um novo objeto deve ser criado se um valor diferente tiver de ser armazenado. Objetos imutáveis têm um papel importante em lugares onde um valor constante de hash seja necessário, como por exemplo uma chave em um dicionário.

caminho de importação

Uma lista de localizações (ou entradas de caminho) que são buscadas pelo localizador baseado no caminho por módulos para importar. Durante a importação, esta lista de localizações usualmente vem a partir de sys.path, mas para subpacotes ela também pode vir do atributo __path__ de pacotes-pai.

importação

O processo pelo qual o código Python em um módulo é disponibilizado para o código Python em outro módulo.

importador

Um objeto que localiza e carrega um módulo; Tanto um localizador e o objeto carregador.

interativo

Python tem um interpretador interativo, o que significa que você pode digitar instruções e expressões no prompt do interpretador, executá-los imediatamente e ver seus resultados. Apenas execute python sem argumentos (possivelmente selecionando-o a partir do menu de aplicações de seu sistema operacional). O interpretador interativo é uma maneira poderosa de testar novas ideias ou aprender mais sobre módulos e pacotes (lembre-se do comando help(x)). Para saber mais sobre modo interativo, veja Modo interativo.

interpretado

Python é uma linguagem interpretada, em oposição àquelas que são compiladas, embora esta distinção possa ser nebulosa devido à presença do compilador de bytecode. Isto significa que os arquivos-fontes podem ser executados diretamente sem necessidade explícita de se criar um arquivo executável. Linguagens interpretadas normalmente têm um ciclo de desenvolvimento/depuração mais curto que as linguagens compiladas, apesar de seus programas geralmente serem executados mais lentamente. Veja também interativo.

desligamento do interpretador

Quando solicitado para desligar, o interpretador Python entra em uma fase especial, onde ele gradualmente libera todos os recursos alocados, tais como módulos e várias estruturas internas críticas. Ele também faz diversas chamadas para o coletor de lixo. Isto pode disparar a execução de código em destrutores definidos pelo usuário ou função de retorno de referência fraca. Código executado durante a fase de desligamento pode encontrar diversas exceções, pois os recursos que ele depende podem não funcionar mais (exemplos comuns são os módulos de bibliotecas, ou os mecanismos de avisos).

A principal razão para o interpretador desligar, é que o módulo __main__ ou o script sendo executado terminou sua execução.

iterável

Um objeto capaz de retornar seus membros um de cada vez. Exemplos de iteráveis incluem todos os tipos de sequência (tais como list, str e tuple) e alguns tipos de não-sequência, como o dict, objetos arquivos, além dos objetos de quaisquer classes que você definir com um método __iter__() ou __getitem__() que implementam a semântica de sequência .

Iteráveis podem ser usados em um laço for e em vários outros lugares em que uma sequência é necessária (zip(), map(), …). Quando um objeto iterável é passado como argumento para a função embutida iter(), ela retorna um iterador para o objeto. Este iterador é adequado para se varrer todo o conjunto de valores. Ao usar iteráveis, normalmente não é necessário chamar iter() ou lidar com os objetos iteradores em si. A instrução for faz isso automaticamente para você, criando uma variável temporária para armazenar o iterador durante a execução do laço. Veja também iterador, sequência, e gerador.

iterador

Um objeto que representa um fluxo de dados. Repetidas chamadas ao método __next__() de um iterador (ou passando o objeto para a função embutida next()) vão retornar itens sucessivos do fluxo. Quando não houver mais dados disponíveis uma exceção StopIteration será levantada. Neste ponto, o objeto iterador se esgotou e quaisquer chamadas subsequentes a seu método __next__() vão apenas levantar a exceção StopIteration novamente. Iteradores precisam ter um método __iter__() que retorne o objeto iterador em si, de forma que todo iterador também é iterável e pode ser usado na maioria dos lugares em que um iterável é requerido. Uma notável exceção é código que tenta realizar passagens em múltiplas iterações. Um objeto contêiner (como uma list) produz um novo iterador a cada vez que você passá-lo para a função iter() ou utilizá-lo em um laço for. Tentar isso com o mesmo iterador apenas iria retornar o mesmo objeto iterador esgotado já utilizado na iteração anterior, como se fosse um contêiner vazio.

Mais informações podem ser encontradas em Tipos iteradores.

Detalhes da implementação do CPython: O CPython não aplica consistentemente o requisito de que um iterador defina __iter__(). E também observe que o CPython com threads livres não garante a segurança do thread das operações do iterador.

função chave

Uma função chave ou função colação é um chamável que retorna um valor usado para ordenação ou classificação. Por exemplo, locale.strxfrm() é usada para produzir uma chave de ordenação que leva o locale em consideração para fins de ordenação.

Uma porção de ferramentas no Python aceitam funções chave para controlar como os elementos são ordenados ou agrupados. Algumas delas incluem min(), max(), sorted(), list.sort(), heapq.merge(), heapq.nsmallest(), heapq.nlargest() e itertools.groupby().

Há várias maneiras de se criar funções chave. Por exemplo, o método str.lower() pode servir como uma função chave para ordenações insensíveis à caixa. Alternativamente, uma função chave ad-hoc pode ser construída a partir de uma expressão lambda, como lambda r: (r[0], r[2]). Além disso, operator.attrgetter(), operator.itemgetter() e operator.methodcaller() são três construtores de função chave. Consulte o guia de Ordenação para ver exemplos de como criar e utilizar funções chave.

argumento nomeado

Veja argumento.

lambda

Uma função de linha anônima consistindo de uma única expressão, que é avaliada quando a função é chamada. A sintaxe para criar uma função lambda é lambda [parameters]: expression

LBYL

Iniciais da expressão em inglês “look before you leap”, que significa algo como “olhe antes de pisar”. Este estilo de codificação testa as pré-condições explicitamente antes de fazer chamadas ou buscas. Este estilo contrasta com a abordagem EAFP e é caracterizada pela presença de muitas instruções if.

Em um ambiente multithread, a abordagem LBYL pode arriscar a introdução de uma condição de corrida entre “o olhar” e “o pisar”. Por exemplo, o código if key in mapping: return mapping[key] pode falhar se outra thread remover key do mapping após o teste, mas antes da olhada. Esse problema pode ser resolvido com travas ou usando a abordagem EAFP.

lista

Uma sequência embutida no Python. Apesar do seu nome, é mais próximo de um vetor em outras linguagens do que uma lista encadeada, como o acesso aos elementos é da ordem O(1).

compreensão de lista

Uma maneira compacta de processar todos ou parte dos elementos de uma sequência e retornar os resultados em uma lista. result = ['{:#04x}'.format(x) for x in range(256) if x % 2 == 0] gera uma lista de strings contendo números hexadecimais (0x..) no intervalo de 0 a 255. A cláusula if é opcional. Se omitida, todos os elementos no range(256) serão processados.

carregador

Um objeto que carrega um módulo. Deve definir um método chamado load_module(). Um carregador é normalmente devolvido por um localizador. Veja também:

Localizadores e carregadores

importlib.abc.Loader

PEP 302 [https://peps.python.org/pep-0302/]

codificação da localidade

No Unix, é a codificação da localidade do LC_CTYPE, que pode ser definida com locale.setlocale(locale.LC_CTYPE, new_locale).

No Windows, é a página de código ANSI (ex: "cp1252").

No Android e no VxWorks, o Python usa "utf-8" como a codificação da localidade.

locale.getencoding() pode ser usado para obter a codificação da localidade.

Veja também tratador de erros e codificação do sistema de arquivos.

método mágico

Um sinônimo informal para um método especial.

mapeamento

Um objeto contêiner que tem suporte a pesquisas de chave arbitrária e implementa os métodos especificados nas collections.abc.Mapping ou collections.abc.MutableMapping classes base abstratas. Exemplos incluem dict, collections.defaultdict, collections.OrderedDict e collections.Counter.

localizador de metacaminho

Um localizador retornado por uma busca de sys.meta_path. Localizadores de metacaminho são relacionados a, mas diferentes de, localizadores de entrada de caminho.

Veja importlib.abc.MetaPathFinder para os métodos que localizadores de metacaminho implementam.

metaclasse

A classe de uma classe. Definições de classe criam um nome de classe, um dicionário de classe e uma lista de classes base. A metaclasse é responsável por receber estes três argumentos e criar a classe. A maioria das linguagens de programação orientadas a objetos provê uma implementação default. O que torna o Python especial é o fato de ser possível criar metaclasses personalizadas. A maioria dos usuários nunca vai precisar deste recurso, mas quando houver necessidade, metaclasses possibilitam soluções poderosas e elegantes. Metaclasses têm sido utilizadas para gerar registros de acesso a atributos, para incluir proteção contra acesso concorrente, rastrear a criação de objetos, implementar singletons, dentre muitas outras tarefas.

Mais informações podem ser encontradas em Metaclasses.

método

Uma função que é definida dentro do corpo de uma classe. Se chamada como um atributo de uma instância daquela classe, o método receberá a instância do objeto como seu primeiro argumento (que comumente é chamado de self). Veja função e escopo aninhado.

ordem de resolução de métodos

Ordem de resolução de métodos é a ordem em que os membros de uma classe base são buscados durante a pesquisa. Veja A Ordem de Resolução de Métodos do Python 2.3 para detalhes do algoritmo usado pelo interpretador do Python desde a versão 2.3.

módulo

Um objeto que serve como uma unidade organizacional de código Python. Os módulos têm um espaço de nomes contendo objetos Python arbitrários. Os módulos são carregados pelo Python através do processo de importação.

Veja também pacote.

especificação do módulo

Um espaço de nomes que contém as informações relacionadas à importação usadas para carregar um módulo. Uma instância de importlib.machinery.ModuleSpec.

Veja também Module specs.

MRO

Veja ordem de resolução de métodos.

mutável

Objeto mutável é aquele que pode modificar seus valor mas manter seu id(). Veja também imutável.

tupla nomeada

O termo “tupla nomeada” é aplicado a qualquer tipo ou classe que herda de tupla e cujos elementos indexáveis também são acessíveis usando atributos nomeados. O tipo ou classe pode ter outras funcionalidades também.

Diversos tipos embutidos são tuplas nomeadas, incluindo os valores retornados por time.localtime() e os.stat(). Outro exemplo é sys.float_info:

>>> sys.float_info[1]                   # acesso indexado
1024
>>> sys.float_info.max_exp              # acesso a campo nomeado
1024
>>> isinstance(sys.float_info, tuple)   # tipo de tupla
True

Algumas tuplas nomeadas são tipos embutidos (tal como os exemplos acima). Alternativamente, uma tupla nomeada pode ser criada a partir de uma definição de classe regular, que herde de tuple e que defina campos nomeados. Tal classe pode ser escrita a mão, ou ela pode ser criada herdando typing.NamedTuple ou com uma função fábrica collections.namedtuple(). As duas últimas técnicas também adicionam alguns métodos extras, que podem não ser encontrados quando foi escrita manualmente, ou em tuplas nomeadas embutidas.

espaço de nomes

O lugar em que uma variável é armazenada. Espaços de nomes são implementados como dicionários. Existem os espaços de nomes local, global e nativo, bem como espaços de nomes aninhados em objetos (em métodos). Espaços de nomes suportam modularidade ao prevenir conflitos de nomes. Por exemplo, as funções __builtin__.open() e os.open() são diferenciadas por seus espaços de nomes. Espaços de nomes também auxiliam na legibilidade e na manutenibilidade ao torar mais claro quais módulos implementam uma função. Escrever random.seed() ou itertools.izip(), por exemplo, deixa claro que estas funções são implementadas pelos módulos random e itertools respectivamente.

pacote de espaço de nomes

Um pacote da PEP 420 [https://peps.python.org/pep-0420/] que serve apenas como container para sub pacotes. Pacotes de espaços de nomes podem não ter representação física, e especificamente não são como um pacote regular porque eles não tem um arquivo __init__.py.

Veja também módulo.

escopo aninhado

A habilidade de referir-se a uma variável em uma definição de fechamento. Por exemplo, uma função definida dentro de outra pode referenciar variáveis da função externa. Perceba que escopos aninhados por padrão funcionam apenas por referência e não por atribuição. Variáveis locais podem ler e escrever no escopo mais interno. De forma similar, variáveis globais podem ler e escrever para o espaço de nomes global. O nonlocal permite escrita para escopos externos.

classe estilo novo

Antigo nome para o tipo de classes agora usado para todos os objetos de classes. Em versões anteriores do Python, apenas classes estilo podiam usar recursos novos e versáteis do Python, tais como __slots__, descritores, propriedades, __getattribute__(), métodos de classe, e métodos estáticos.

objeto

Qualquer dado que tenha estado (atributos ou valores) e comportamento definidos (métodos). Também a última classe base de qualquer classe estilo novo.

escopo otimizado

Um escopo no qual os nomes das variáveis locais de destino são conhecidos de forma confiável pelo compilador quando o código é compilado, permitindo a otimização do acesso de leitura e gravação a esses nomes. Os espaços de nomes locais para funções, geradores, corrotinas, compreensões e expressões geradoras são otimizados desta forma. Nota: a maioria das otimizações de interpretador são aplicadas a todos os escopos, apenas aquelas que dependem de um conjunto conhecido de nomes de variáveis locais e não locais são restritas a escopos otimizados.

pacote

Um módulo Python é capaz de conter submódulos ou recursivamente, subpacotes. Tecnicamente, um pacote é um módulo Python com um atributo __path__.

Veja também pacote regular e pacote de espaço de nomes.

parâmetro

Uma entidade nomeada na definição de uma função (ou método) que específica um argumento (ou em alguns casos, argumentos) que a função pode receber. Existem cinco tipos de parâmetros:

posicional-ou-nomeado: especifica um argumento que pode ser tanto posicional quanto nomeado. Esse é o tipo padrão de parâmetro, por exemplo foo e bar a seguir:

def func(foo, bar=None): ...

somente-posicional: especifica um argumento que pode ser fornecido apenas por posição. Parâmetros somente-posicionais podem ser definidos incluindo o caractere / na lista de parâmetros da definição da função após eles, por exemplo somentepos1 e somentepos2 a seguir:

def func(somentepos1, somentepos2, /, posicional_ou_nomeado): ...

somente-nomeado: especifica um argumento que pode ser passado para a função somente por nome. Parâmetros somente-nomeados podem ser definidos com um simples parâmetro var-posicional ou um * antes deles na lista de parâmetros na definição da função, por exemplo somente_nom1 and somente_nom2 a seguir:

def func(arg, *, somente_nom1, somente_nom2): ...

var-posicional: especifica que uma sequência arbitrária de argumentos posicionais pode ser fornecida (em adição a qualquer argumento posicional já aceito por outros parâmetros). Tal parâmetro pode ser definido colocando um * antes do nome do parâmetro, por exemplo args a seguir:

def func(*args, **kwargs): ...

var-nomeado: especifica que, arbitrariamente, muitos argumentos nomeados podem ser fornecidos (em adição a qualquer argumento nomeado já aceito por outros parâmetros). Tal parâmetro pode definido colocando-se ** antes do nome, por exemplo kwargs no exemplo acima.

Parâmetros podem especificar tanto argumentos opcionais quanto obrigatórios, assim como valores padrão para alguns argumentos opcionais.

Veja o termo argumento no glossário, a pergunta sobre a diferença entre argumentos e parâmetros, a classe inspect.Parameter, a seção Definições de função e a PEP 362 [https://peps.python.org/pep-0362/].

entrada de caminho

Um local único no caminho de importação que o localizador baseado no caminho consulta para encontrar módulos a serem importados.

localizador de entrada de caminho

Um localizador retornado por um chamável em sys.path_hooks (ou seja, um gancho de entrada de caminho) que sabe como localizar os módulos entrada de caminho.

Veja importlib.abc.PathEntryFinder para os métodos que localizadores de entrada de caminho implementam.

gancho de entrada de caminho

Um chamável na lista sys.path_hooks que retorna um localizador de entrada de caminho caso saiba como localizar módulos em uma entrada de caminho específica.

localizador baseado no caminho

Um dos localizadores de metacaminho padrão que procura por um caminho de importação de módulos.

objeto caminho ou similar

Um objeto representando um caminho de sistema de arquivos. Um objeto caminho ou similar é ou um objeto str ou bytes representando um caminho, ou um objeto implementando o protocolo os.PathLike. Um objeto que suporta o protocolo os.PathLike pode ser convertido para um arquivo de caminho do sistema str ou bytes, através da chamada da função os.fspath(); os.fsdecode() e os.fsencode() podem ser usadas para garantir um str ou bytes como resultado, respectivamente. Introduzido na PEP 519 [https://peps.python.org/pep-0519/].

PEP

Proposta de melhoria do Python. Uma PEP é um documento de design que fornece informação para a comunidade Python, ou descreve uma nova funcionalidade para o Python ou seus predecessores ou ambientes. PEPs devem prover uma especificação técnica concisa e um racional para funcionalidades propostas.

PEPs têm a intenção de ser os mecanismos primários para propor novas funcionalidades significativas, para coletar opiniões da comunidade sobre um problema, e para documentar as decisões de design que foram adicionadas ao Python. O autor da PEP é responsável por construir um consenso dentro da comunidade e documentar opiniões dissidentes.

Veja PEP 1 [https://peps.python.org/pep-0001/].

porção

Um conjunto de arquivos em um único diretório (possivelmente armazenado em um arquivo zip) que contribuem para um pacote de espaço de nomes, conforme definido em PEP 420 [https://peps.python.org/pep-0420/].

argumento posicional

Veja argumento.

API provisória

Uma API provisória é uma API que foi deliberadamente excluída das bibliotecas padrões com compatibilidade retroativa garantida. Enquanto mudanças maiores para tais interfaces não são esperadas, contanto que elas sejam marcadas como provisórias, mudanças retroativas incompatíveis (até e incluindo a remoção da interface) podem ocorrer se consideradas necessárias pelos desenvolvedores principais. Tais mudanças não serão feitas gratuitamente – elas irão ocorrer apenas se sérias falhas fundamentais forem descobertas, que foram esquecidas anteriormente a inclusão da API.

Mesmo para APIs provisórias, mudanças retroativas incompatíveis são vistas como uma “solução em último caso” - cada tentativa ainda será feita para encontrar uma resolução retroativa compatível para quaisquer problemas encontrados.

Esse processo permite que a biblioteca padrão continue a evoluir com o passar do tempo, sem se prender em erros de design problemáticos por períodos de tempo prolongados. Veja PEP 411 [https://peps.python.org/pep-0411/] para mais detalhes.

pacote provisório

Veja API provisória.

Python 3000

Apelido para a linha de lançamento da versão do Python 3.x (cunhada há muito tempo, quando o lançamento da versão 3 era algo em um futuro muito distante.) Esse termo possui a seguinte abreviação: “Py3k”.

Pythônico

Uma ideia ou um pedaço de código que segue de perto as formas de escritas mais comuns da linguagem Python, ao invés de implementar códigos usando conceitos comuns a outras linguagens. Por exemplo, um formato comum em Python é fazer um laço sobre todos os elementos de uma iterável usando a instrução for. Muitas outras linguagens não têm esse tipo de construção, então as pessoas que não estão familiarizadas com o Python usam um contador numérico:

for i in range(len(comida)):
    print(comida[i])

Ao contrário do método mais limpo, Pythônico:

for parte in comida:
    print(parte)

nome qualificado

Um nome pontilhado (quando 2 termos são ligados por um ponto) que mostra o “path” do escopo global de um módulo para uma classe, função ou método definido num determinado módulo, conforme definido pela PEP 3155 [https://peps.python.org/pep-3155/]. Para funções e classes de nível superior, o nome qualificado é o mesmo que o nome do objeto:

>>> class C:
...     class D:
...         def metodo(self):
...             pass
...
>>> C.__qualname__
'C'
>>> C.D.__qualname__
'C.D'
>>> C.D.metodo.__qualname__
'C.D.metodo'

Quando usado para se referir a módulos, o nome totalmente qualificado significa todo o caminho pontilhado para o módulo, incluindo quaisquer pacotes pai, por exemplo: email.mime.text:

>>> import email.mime.text
>>> email.mime.text.__name__
'email.mime.text'

contagem de referências

O número de referências a um objeto. Quando a contagem de referências de um objeto cai para zero, ele é desalocado. Alguns objetos são imortais e têm contagens de referências que nunca são modificadas e, portanto, os objetos nunca são desalocados. A contagem de referências geralmente não é visível para o código Python, mas é um elemento-chave da implementação do CPython. Os programadores podem chamar a função sys.getrefcount() para retornar a contagem de referências para um objeto específico.

pacote regular

Um pacote tradicional, como um diretório contendo um arquivo __init__.py.

Veja também pacote de espaço de nomes.

REPL

Um acrônimo para “read–eval–print loop”, outro nome para o console interativo do interpretador.

__slots__

Uma declaração dentro de uma classe que economiza memória pré-declarando espaço para atributos de instâncias, e eliminando dicionários de instâncias. Apesar de popular, a técnica é um tanto quanto complicada de acertar, e é melhor se for reservada para casos raros, onde existe uma grande quantidade de instâncias em uma aplicação onde a memória é crítica.

sequência

Um iterável com suporte para acesso eficiente a seus elementos através de índices inteiros via método especial __getitem__() e que define o método __len__() que devolve o tamanho da sequência. Alguns tipos de sequência embutidos são: list, str, tuple, e bytes. Note que dict também tem suporte para __getitem__() e __len__(), mas é considerado um mapeamento e não uma sequência porque a busca usa uma chave hasheável arbitrária em vez de inteiros.

A classe base abstrata collections.abc.Sequence define uma interface mais rica que vai além de apenas __getitem__() e __len__(), adicionando count(), index(), __contains__(), e __reversed__(). Tipos que implementam essa interface podem ser explicitamente registrados usando register(). Para mais documentação sobre métodos de sequências em geral, veja Operações comuns de sequências.

compreensão de conjunto

Uma maneira compacta de processar todos ou parte dos elementos em iterável e retornar um conjunto com os resultados. results = {c for c in 'abracadabra' if c not in 'abc'} gera um conjunto de strings {'r', 'd'}. Veja Sintaxe de criação de listas, conjuntos e dicionários.

despacho único

Uma forma de despacho de função genérica onde a implementação é escolhida com base no tipo de um único argumento.

fatia

Um objeto geralmente contendo uma parte de uma sequência. Uma fatia é criada usando a notação de subscrito [] pode conter também até dois pontos entre números, como em variable_name[1:3:5]. A notação de suporte (subscrito) utiliza objetos slice internamente.

suavemente descontinuado

Uma API suavemente descontinuada não deve ser usada em código novo, mas é seguro para código já existente usá-la. A API continua documentada e testada, mas não será aprimorada mais.

A descontinuação suave, diferentemente da descontinuação normal, não planeja remover a API e não emitirá avisos.

Veja PEP 387: Descontinuação suave [https://peps.python.org/pep-0387/#soft-deprecation].

método especial

Um método que é chamado implicitamente pelo Python para executar uma certa operação em um tipo, como uma adição por exemplo. Tais métodos tem nomes iniciando e terminando com dois underscores. Métodos especiais estão documentados em Nomes de métodos especiais.

instrução

Uma instrução é parte de uma suíte (um “bloco” de código). Uma instrução é ou uma expressão ou uma de várias construções com uma palavra reservada, tal como if, while ou for.

verificador de tipo estático

Uma ferramenta externa que lê o código Python e o analisa, procurando por problemas como tipos incorretos. Consulte também dicas de tipo e o módulo typing.

referência forte

Na API C do Python, uma referência forte é uma referência a um objeto que pertence ao código que contém a referência. A referência forte é obtida chamando Py_INCREF() quando a referência é criada e liberada com Py_DECREF() quando a referência é excluída.

A função Py_NewRef() pode ser usada para criar uma referência forte para um objeto. Normalmente, a função Py_DECREF() deve ser chamada na referência forte antes de sair do escopo da referência forte, para evitar o vazamento de uma referência.

Veja também referência emprestada.

codificador de texto

Uma string em Python é uma sequência de pontos de código Unicode (no intervalo U+0000–U+10FFFF). Para armazenar ou transferir uma string, ela precisa ser serializada como uma sequência de bytes.

A serialização de uma string em uma sequência de bytes é conhecida como “codificação” e a recriação da string a partir de uma sequência de bytes é conhecida como “decodificação”.

Há uma variedade de diferentes serializações de texto codecs, que são coletivamente chamadas de “codificações de texto”.

arquivo texto

Um objeto arquivo apto a ler e escrever objetos str. Geralmente, um arquivo texto, na verdade, acessa um fluxo de dados de bytes e captura o codificador de texto automaticamente. Exemplos de arquivos texto são: arquivos abertos em modo texto ('r' or 'w'), sys.stdin, sys.stdout, e instâncias de io.StringIO.

Veja também arquivo binário para um objeto arquivo apto a ler e escrever objetos byte ou similar.

aspas triplas

Uma string que está definida com três ocorrências de aspas duplas (”) ou apóstrofos (‘). Enquanto elas não fornecem nenhuma funcionalidade não disponível com strings de aspas simples, elas são úteis para inúmeras razões. Elas permitem que você inclua aspas simples e duplas não escapadas dentro de uma string, e elas podem utilizar múltiplas linhas sem o uso de caractere de continuação, fazendo-as especialmente úteis quando escrevemos documentação em docstrings.

tipo

O tipo de um objeto Python determina qual classe de objeto ele é; cada objeto tem um tipo. Um tipo de objeto é acessível pelo atributo __class__ ou pode ser recuperado com type(obj).

apelido de tipo

Um sinônimo para um tipo, criado através da atribuição do tipo para um identificador.

Apelidos de tipo são úteis para simplificar dicas de tipo. Por exemplo:

def remove_tons_de_cinza(
        cores: list[tuple[int, int, int]]) -> list[tuple[int, int, int]]:
    pass

pode tornar-se mais legível desta forma:

Cor = tuple[int, int, int]

def remove_tons_de_cinza(cores: list[Cor]) -> list[Cor]:
    pass

Veja typing e PEP 484 [https://peps.python.org/pep-0484/], a qual descreve esta funcionalidade.

dica de tipo

Uma anotação que especifica o tipo esperado para uma variável, um atributo de classe, ou um parâmetro de função ou um valor de retorno.

Dicas de tipo são opcionais e não são forçadas pelo Python, mas elas são úteis para verificadores de tipo estático. Eles também ajudam IDEs a completar e refatorar código.

Dicas de tipos de variáveis globais, atributos de classes, e funções, mas não de variáveis locais, podem ser acessadas usando typing.get_type_hints().

Veja typing e PEP 484 [https://peps.python.org/pep-0484/], a qual descreve esta funcionalidade.

novas linhas universais

Uma maneira de interpretar fluxos de textos, na qual todos estes são reconhecidos como caracteres de fim de linha: a convenção para fim de linha no Unix '\n', a convenção no Windows '\r\n', e a antiga convenção no Macintosh '\r'. Veja PEP 278 [https://peps.python.org/pep-0278/] e PEP 3116 [https://peps.python.org/pep-3116/], bem como bytes.splitlines() para uso adicional.

anotação de variável

Uma anotação de uma variável ou um atributo de classe.

Ao fazer uma anotação de uma variável ou um atributo de classe, a atribuição é opcional:

class C:
    campo: 'anotação'

Anotações de variáveis são normalmente usadas para dicas de tipo: por exemplo, espera-se que esta variável receba valores do tipo int:

contagem: int = 0

A sintaxe de anotação de variável é explicada na seção instruções de atribuição anotado.

Veja anotação de função, PEP 484 [https://peps.python.org/pep-0484/] e PEP 526 [https://peps.python.org/pep-0526/], que descrevem esta funcionalidade. Veja também Boas práticas para anotações para as melhores práticas sobre como trabalhar com anotações.

ambiente virtual

Um ambiente de execução isolado que permite usuários Python e aplicações instalarem e atualizarem pacotes Python sem interferir no comportamento de outras aplicações Python em execução no mesmo sistema.

Veja também venv.

máquina virtual

Um computador definido inteiramente em software. A máquina virtual de Python executa o bytecode emitido pelo compilador de bytecode.

Zen do Python

Lista de princípios de projeto e filosofias do Python que são úteis para a compreensão e uso da linguagem. A lista é exibida quando se digita “import this” no console interativo.

Sobre esses documentos

Esses documentos são gerados a partir de reStructuredText [https://docutils.sourceforge.io/rst.html] pelo Sphinx [https://www.sphinx-doc.org/], um processador de documentos especificamente escrito para documentação Python.

O desenvolvimento da documentação e de suas ferramentas é um esforço totalmente voluntário, como Python em si. Se você quer contribuir, por favor dê uma olhada na página Lidando com bugs para informações sobre como fazer. Novos voluntários são sempre bem-vindos!

Agradecimentos especiais para:

Fred L. Drake, Jr., o criador do primeiro conjunto de ferramentas para documentar Python e escritor de boa parte do conteúdo;

O projeto Docutils [https://docutils.sourceforge.io/] por criar reStructuredText e o pacote Docutils;

Fredrik Lundh, pelo seu projeto de referência alternativa em Python, do qual Sphinx pegou muitas boas ideias.

Contribuidores da Documentação Python

Muitas pessoas tem contribuído para a linguagem Python, sua biblioteca padrão e sua documentação. Veja Misc/ACKS [https://github.com/python/cpython/tree/3.13/Misc/ACKS] na distribuição do código do Python para ver uma lista parcial de contribuidores.

Tudo isso só foi possível com o esforço e a contribuição da comunidade Python, por isso temos essa maravilhosa documentação – Obrigado a todos!

Lidando com bugs

O Python é uma linguagem de programação madura que estabeleceu uma reputação pela estabilidade. A fim de manter esta reputação os desenvolvedores gostariam de saber de quaisquer deficiências que você encontrar no Python.

Às vezes, pode ser mais rápido consertar os bugs você mesmo e contribuir com patches para o Python uma vez que isso agiliza o processo e envolve menos pessoas. Veja aqui como contribuir.

Bugs na documentação

Se você achar um bug nesta documentação ou gostaria de propor uma melhoria, por favor submeta um relatório no rastreador. Se você tem uma sugestão sobre como consertá-lo inclua isso também.

Você também pode abrir um item de discussão em nosso fórum Discourse de documentação [https://discuss.python.org/c/documentation/26].

Se você encontrar um bug no tema (HTML/CSS/JavaScript) da documentação, envie um relatório de bug no rastreador de bugs do python-doc-theme [https://github.com/python/python-docs-theme].

Se você está com pouco tempo, pode também enviar os relatórios de erros de documentação para o e-mail docs@python.org (erros de funcionalidades podem ser enviados para python-list@python.org). ‘docs@’ é uma lista de discussão mantida por voluntários; seu pedido será recebido, embora possa levar um tempo para ser processado.

Ver também

Bugs na documentação

Uma lista de bugs na documentação que foram submetidos no rastreador de problemas do Python.

Rastreando problemas [https://devguide.python.org/tracker/]

Visão geral do processo envolvido em reportar uma melhoria no rastreador.

Ajudando com a Documentação [https://devguide.python.org/docquality/#helping-with-documentation]

Guia compreensivo para os indivíduos que estão interessados em contribuir com a documentação do Python.

Traduções da Documentação [https://devguide.python.org/documentation/translating/]

Uma lista de páginas no GitHub relacionadas à tradução da documentação e respectivos contatos iniciais.

Usando o rastreador de problemas do Python

Relatórios de problemas do Python em si devem ser submetidos ao rastreador de problemas do GitHub (https://github.com/python/cpython/issues). O rastreador de problemas do GitHub oferece um formulário web que permite informações pertinentes serem enviadas para os desenvolvedores.

O primeiro passo para preencher um relatório é determinar se o problema já foi reportado. A vantagem em fazê-lo além de poupar o tempo dos desenvolvedores é que você aprende o que foi feito para consertá-lo; pode ser que o problema já foi consertado para o próximo lançamento, ou que informação adicional seja necessária (nesse caso, você é bem-vindo para fornecê-la se você puder!). Para fazer isso, procure no rastreador usando a caixa de busca no topo da página.

Se o problema que você está relatando ainda não estiver na lista, faça login no GitHub. Se você ainda não tiver uma conta do GitHub, crie uma nova conta usando o link “Sign Up”. Não é possível enviar um relatório de bug anonimamente.

Estando agora autenticado, você pode submeter um relatório de problema. Clique no botão “New issue” na barra superior para relatar um novo problema.

O formulário de submissão tem dois campos, “Title” e “Comment”.

Para o campo “Title”, insira uma descrição muito curta do problema; menos de dez palavras é bom.

No campo “Comment”, descreva o problema com detalhes, incluindo o que você esperava que acontecesse e o que aconteceu. Certifique-se de incluir se quaisquer módulos de extensão estavam envolvidos, e qual hardware e plataforma de software você está usando (incluindo informações sobre a versão quando apropriado).

Cada relatório de problema será revisado por um desenvolvedor que irá determinar o que é necessário para solucionar o problema. Você receberá atualizações para cada ação tomada para o problema.

Ver também

Como Reportar Bugs Eficientemente [https://www.chiark.greenend.org.uk/~sgtatham/bugs.html]

Artigo que entra em algum detalhe sobre como criar um relatório de bug útil. Isto descreve qual tipo de informação é útil e por quê é útil.

Diretrizes para relatar bugs [https://bugzilla.mozilla.org/page.cgi?id=bug-writing.html]

Informação sobre como escrever um bom relatório de bug. Um pouco disto é específico do Projeto Mozilla, mas descreve boas práticas em geral.

Começando a contribuir com o Python por conta própria

Além de apenas reportar os bugs que você encontrar, você também é bem-vindo para submeter patches para consertá-los. Você pode achar mais informações sobre como começar a contribuir com patches para o Python no Python Developer’s Guide [https://devguide.python.org/]. Se você tem mais perguntas, a lista de discussão core-mentorship [https://mail.python.org/mailman3/lists/core-mentorship.python.org/] é um lugar amigável para obter respostas para qualquer questão relativa ao processo de resolução de problemas no Python.

Direitos autorais

Python e essa documentação é:

Copyright © 2001-2024 Python Software Foundation. Todos os direitos reservados.

Copyright © 2000 BeOpen.com. Todos os direitos reservados.

Copyright © 1995-2000 Corporation for National Research Initiatives. Todos os direitos reservados.

Copyright © 1991-1995 Stichting Mathematisch Centrum. Todos os direitos reservados.

Veja: História e Licença para informações completas de licença e permissões.

História e Licença

História do software

O Python foi criado no início dos anos 1990 por Guido van Rossum na Stichting Mathematisch Centrum (CWI, veja https://www.cwi.nl/) na Holanda como um sucessor de uma linguagem chamada ABC. Guido continua a ser o principal autor de Python, embora inclua muitas contribuições de outros.

Em 1995, Guido continuou seu trabalho em Python na Corporação para Iniciativas Nacionais de Pesquisa (CNRI, veja https://www.cnri.reston.va.us/) em Reston, Virgínia, onde lançou várias versões do software.

Em maio de 2000, Guido e a equipe principal de desenvolvimento do Python mudaram-se para o BeOpen.com para formar a equipe BeOpen PythonLabs. Em outubro do mesmo ano, a equipe da PythonLabs mudou para a Digital Creations (agora Zope Corporation; veja https://www.zope.org/). Em 2001, formou-se a Python Software Foundation (PSF, veja https://www.python.org/psf/), uma organização sem fins lucrativos criada especificamente para possuir propriedade intelectual relacionada a Python. A Zope Corporation é um membro patrocinador do PSF.

Todas as versões do Python são de código aberto (consulte https://opensource.org/ para a definição de código aberto). Historicamente, a maioria, mas não todas, versões do Python também são compatíveis com GPL; a tabela abaixo resume os vários lançamentos.

Versão

Derivada de

Ano

Proprietário

Compatível com a GPL?

0.9.0 a 1.2

n/a

1991-1995

CWI

sim

1.3 a 1.5.2

1.2

1995-1999

CNRI

sim

1.6

1.5.2

2000

CNRI

não

2.0

1.6

2000

BeOpen.com

não

1.6.1

1.6

2001

CNRI

não

2.1

2.0+1.6.1

2001

PSF

não

2.0.1

2.0+1.6.1

2001

PSF

sim

2.1.1

2.1+2.0.1

2001

PSF

sim

2.1.2

2.1.1

2002

PSF

sim

2.1.3

2.1.2

2002

PSF

sim

2.2 e acima

2.1.1

2001-agora

PSF

sim

Nota

Compatível com a GPL não significa que estamos distribuindo Python sob a GPL. Todas as licenças do Python, ao contrário da GPL, permitem distribuir uma versão modificada sem fazer alterações em código aberto. As licenças compatíveis com a GPL possibilitam combinar o Python com outro software lançado sob a GPL; os outros não.

Graças aos muitos voluntários externos que trabalharam sob a direção de Guido para tornar esses lançamentos possíveis.

Termos e condições para acessar ou usar Python

O software e a documentação do Python são licenciados sob o Acordo de Licenciamento PSF.

A partir do Python 3.8.6, exemplos, receitas e outros códigos na documentação são licenciados duplamente sob o Acordo de Licenciamento PSF e a Licença BSD de Zero Cláusula.

Alguns softwares incorporados ao Python estão sob licenças diferentes. As licenças são listadas com o código abrangido por essa licença. Veja Licenças e Reconhecimentos para Software Incorporado para uma lista incompleta dessas licenças.

ACORDO DE LICENCIAMENTO DA PSF PARA PYTHON 3.13.0

1. This LICENSE AGREEMENT is between the Python Software Foundation ("PSF"), and
   the Individual or Organization ("Licensee") accessing and otherwise using Python
   3.13.0 software in source or binary form and its associated documentation.

2. Subject to the terms and conditions of this License Agreement, PSF hereby
   grants Licensee a nonexclusive, royalty-free, world-wide license to reproduce,
   analyze, test, perform and/or display publicly, prepare derivative works,
   distribute, and otherwise use Python 3.13.0 alone or in any derivative
   version, provided, however, that PSF's License Agreement and PSF's notice of
   copyright, i.e., "Copyright © 2001-2024 Python Software Foundation; All Rights
   Reserved" are retained in Python 3.13.0 alone or in any derivative version
   prepared by Licensee.

3. In the event Licensee prepares a derivative work that is based on or
   incorporates Python 3.13.0 or any part thereof, and wants to make the
   derivative work available to others as provided herein, then Licensee hereby
   agrees to include in any such work a brief summary of the changes made to Python
   3.13.0.

4. PSF is making Python 3.13.0 available to Licensee on an "AS IS" basis.
   PSF MAKES NO REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED.  BY WAY OF
   EXAMPLE, BUT NOT LIMITATION, PSF MAKES NO AND DISCLAIMS ANY REPRESENTATION OR
   WARRANTY OF MERCHANTABILITY OR FITNESS FOR ANY PARTICULAR PURPOSE OR THAT THE
   USE OF PYTHON 3.13.0 WILL NOT INFRINGE ANY THIRD PARTY RIGHTS.

5. PSF SHALL NOT BE LIABLE TO LICENSEE OR ANY OTHER USERS OF PYTHON 3.13.0
   FOR ANY INCIDENTAL, SPECIAL, OR CONSEQUENTIAL DAMAGES OR LOSS AS A RESULT OF
   MODIFYING, DISTRIBUTING, OR OTHERWISE USING PYTHON 3.13.0, OR ANY DERIVATIVE
   THEREOF, EVEN IF ADVISED OF THE POSSIBILITY THEREOF.

6. This License Agreement will automatically terminate upon a material breach of
   its terms and conditions.

7. Nothing in this License Agreement shall be deemed to create any relationship
   of agency, partnership, or joint venture between PSF and Licensee.  This License
   Agreement does not grant permission to use PSF trademarks or trade name in a
   trademark sense to endorse or promote products or services of Licensee, or any
   third party.

8. By copying, installing or otherwise using Python 3.13.0, Licensee agrees
   to be bound by the terms and conditions of this License Agreement.

ACORDO DE LICENCIAMENTO DA BEOPEN.COM PARA PYTHON 2.0

ACORDO DE LICENCIAMENTO DA BEOPEN DE FONTE ABERTA DO PYTHON VERSÃO 1

1. This LICENSE AGREEMENT is between BeOpen.com ("BeOpen"), having an office at
   160 Saratoga Avenue, Santa Clara, CA 95051, and the Individual or Organization
   ("Licensee") accessing and otherwise using this software in source or binary
   form and its associated documentation ("the Software").

2. Subject to the terms and conditions of this BeOpen Python License Agreement,
   BeOpen hereby grants Licensee a non-exclusive, royalty-free, world-wide license
   to reproduce, analyze, test, perform and/or display publicly, prepare derivative
   works, distribute, and otherwise use the Software alone or in any derivative
   version, provided, however, that the BeOpen Python License is retained in the
   Software, alone or in any derivative version prepared by Licensee.

3. BeOpen is making the Software available to Licensee on an "AS IS" basis.
   BEOPEN MAKES NO REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED.  BY WAY OF
   EXAMPLE, BUT NOT LIMITATION, BEOPEN MAKES NO AND DISCLAIMS ANY REPRESENTATION OR
   WARRANTY OF MERCHANTABILITY OR FITNESS FOR ANY PARTICULAR PURPOSE OR THAT THE
   USE OF THE SOFTWARE WILL NOT INFRINGE ANY THIRD PARTY RIGHTS.

4. BEOPEN SHALL NOT BE LIABLE TO LICENSEE OR ANY OTHER USERS OF THE SOFTWARE FOR
   ANY INCIDENTAL, SPECIAL, OR CONSEQUENTIAL DAMAGES OR LOSS AS A RESULT OF USING,
   MODIFYING OR DISTRIBUTING THE SOFTWARE, OR ANY DERIVATIVE THEREOF, EVEN IF
   ADVISED OF THE POSSIBILITY THEREOF.

5. This License Agreement will automatically terminate upon a material breach of
   its terms and conditions.

6. This License Agreement shall be governed by and interpreted in all respects
   by the law of the State of California, excluding conflict of law provisions.
   Nothing in this License Agreement shall be deemed to create any relationship of
   agency, partnership, or joint venture between BeOpen and Licensee.  This License
   Agreement does not grant permission to use BeOpen trademarks or trade names in a
   trademark sense to endorse or promote products or services of Licensee, or any
   third party.  As an exception, the "BeOpen Python" logos available at
   http://www.pythonlabs.com/logos.html may be used according to the permissions
   granted on that web page.

7. By copying, installing or otherwise using the software, Licensee agrees to be
   bound by the terms and conditions of this License Agreement.

CONTRATO DE LICENÇA DA CNRI PARA O PYTHON 1.6.1

1. This LICENSE AGREEMENT is between the Corporation for National Research
   Initiatives, having an office at 1895 Preston White Drive, Reston, VA 20191
   ("CNRI"), and the Individual or Organization ("Licensee") accessing and
   otherwise using Python 1.6.1 software in source or binary form and its
   associated documentation.

2. Subject to the terms and conditions of this License Agreement, CNRI hereby
   grants Licensee a nonexclusive, royalty-free, world-wide license to reproduce,
   analyze, test, perform and/or display publicly, prepare derivative works,
   distribute, and otherwise use Python 1.6.1 alone or in any derivative version,
   provided, however, that CNRI's License Agreement and CNRI's notice of copyright,
   i.e., "Copyright © 1995-2001 Corporation for National Research Initiatives; All
   Rights Reserved" are retained in Python 1.6.1 alone or in any derivative version
   prepared by Licensee.  Alternately, in lieu of CNRI's License Agreement,
   Licensee may substitute the following text (omitting the quotes): "Python 1.6.1
   is made available subject to the terms and conditions in CNRI's License
   Agreement.  This Agreement together with Python 1.6.1 may be located on the
   internet using the following unique, persistent identifier (known as a handle):
   1895.22/1013.  This Agreement may also be obtained from a proxy server on the
   internet using the following URL: http://hdl.handle.net/1895.22/1013."

3. In the event Licensee prepares a derivative work that is based on or
   incorporates Python 1.6.1 or any part thereof, and wants to make the derivative
   work available to others as provided herein, then Licensee hereby agrees to
   include in any such work a brief summary of the changes made to Python 1.6.1.

4. CNRI is making Python 1.6.1 available to Licensee on an "AS IS" basis.  CNRI
   MAKES NO REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED.  BY WAY OF EXAMPLE,
   BUT NOT LIMITATION, CNRI MAKES NO AND DISCLAIMS ANY REPRESENTATION OR WARRANTY
   OF MERCHANTABILITY OR FITNESS FOR ANY PARTICULAR PURPOSE OR THAT THE USE OF
   PYTHON 1.6.1 WILL NOT INFRINGE ANY THIRD PARTY RIGHTS.

5. CNRI SHALL NOT BE LIABLE TO LICENSEE OR ANY OTHER USERS OF PYTHON 1.6.1 FOR
   ANY INCIDENTAL, SPECIAL, OR CONSEQUENTIAL DAMAGES OR LOSS AS A RESULT OF
   MODIFYING, DISTRIBUTING, OR OTHERWISE USING PYTHON 1.6.1, OR ANY DERIVATIVE
   THEREOF, EVEN IF ADVISED OF THE POSSIBILITY THEREOF.

6. This License Agreement will automatically terminate upon a material breach of
   its terms and conditions.

7. This License Agreement shall be governed by the federal intellectual property
   law of the United States, including without limitation the federal copyright
   law, and, to the extent such U.S. federal law does not apply, by the law of the
   Commonwealth of Virginia, excluding Virginia's conflict of law provisions.
   Notwithstanding the foregoing, with regard to derivative works based on Python
   1.6.1 that incorporate non-separable material that was previously distributed
   under the GNU General Public License (GPL), the law of the Commonwealth of
   Virginia shall govern this License Agreement only as to issues arising under or
   with respect to Paragraphs 4, 5, and 7 of this License Agreement.  Nothing in
   this License Agreement shall be deemed to create any relationship of agency,
   partnership, or joint venture between CNRI and Licensee.  This License Agreement
   does not grant permission to use CNRI trademarks or trade name in a trademark
   sense to endorse or promote products or services of Licensee, or any third
   party.

8. By clicking on the "ACCEPT" button where indicated, or by copying, installing
   or otherwise using Python 1.6.1, Licensee agrees to be bound by the terms and
   conditions of this License Agreement.

ACORDO DE LICENÇA DA CWI PARA PYTHON 0.9.0 A 1.2

Copyright © 1991 - 1995, Stichting Mathematisch Centrum Amsterdam, The
Netherlands.  All rights reserved.

Permission to use, copy, modify, and distribute this software and its
documentation for any purpose and without fee is hereby granted, provided that
the above copyright notice appear in all copies and that both that copyright
notice and this permission notice appear in supporting documentation, and that
the name of Stichting Mathematisch Centrum or CWI not be used in advertising or
publicity pertaining to distribution of the software without specific, written
prior permission.

STICHTING MATHEMATISCH CENTRUM DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS
SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS, IN NO
EVENT SHALL STICHTING MATHEMATISCH CENTRUM BE LIABLE FOR ANY SPECIAL, INDIRECT
OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE,
DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS
ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS
SOFTWARE.

LICENÇA BSD DE ZERO CLÁUSULA PARA CÓDIGO NA DOCUMENTAÇÃO DO PYTHON 3.13.0

Permission to use, copy, modify, and/or distribute this software for any
purpose with or without fee is hereby granted.

THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES WITH
REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY
AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY SPECIAL, DIRECT,
INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM
LOSS OF USE, DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR
OTHER TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR
PERFORMANCE OF THIS SOFTWARE.

Licenças e Reconhecimentos para Software Incorporado

Esta seção é uma lista incompleta, mas crescente, de licenças e reconhecimentos para softwares de terceiros incorporados na distribuição do Python.

Mersenne Twister

A extensão C _random subjacente ao módulo random inclui código baseado em um download de http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/MT2002/emt19937ar.html. A seguir estão os comentários literais do código original:

A C-program for MT19937, with initialization improved 2002/1/26.
Coded by Takuji Nishimura and Makoto Matsumoto.

Before using, initialize the state by using init_genrand(seed)
or init_by_array(init_key, key_length).

Copyright (C) 1997 - 2002, Makoto Matsumoto and Takuji Nishimura,
All rights reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:

 1. Redistributions of source code must retain the above copyright
    notice, this list of conditions and the following disclaimer.

 2. Redistributions in binary form must reproduce the above copyright
    notice, this list of conditions and the following disclaimer in the
    documentation and/or other materials provided with the distribution.

 3. The names of its contributors may not be used to endorse or promote
    products derived from this software without specific prior written
    permission.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE COPYRIGHT OWNER OR
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

Any feedback is very welcome.
http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/emt.html
email: m-mat @ math.sci.hiroshima-u.ac.jp (remove space)

Soquetes

O módulo socket usa as funções getaddrinfo() e getnameinfo(), que são codificadas em arquivos de origem separados do Projeto WIDE, https://www.wide.ad.jp/.

Copyright (C) 1995, 1996, 1997, and 1998 WIDE Project.
All rights reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:
1. Redistributions of source code must retain the above copyright
   notice, this list of conditions and the following disclaimer.
2. Redistributions in binary form must reproduce the above copyright
   notice, this list of conditions and the following disclaimer in the
   documentation and/or other materials provided with the distribution.
3. Neither the name of the project nor the names of its contributors
   may be used to endorse or promote products derived from this software
   without specific prior written permission.

THIS SOFTWARE IS PROVIDED BY THE PROJECT AND CONTRIBUTORS ``AS IS'' AND
ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
ARE DISCLAIMED.  IN NO EVENT SHALL THE PROJECT OR CONTRIBUTORS BE LIABLE
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
SUCH DAMAGE.

Serviços de soquete assíncrono

Os módulos test.support.asynchat e test.support.asyncore contêm o seguinte aviso:

Copyright 1996 by Sam Rushing

                        All Rights Reserved

Permission to use, copy, modify, and distribute this software and
its documentation for any purpose and without fee is hereby
granted, provided that the above copyright notice appear in all
copies and that both that copyright notice and this permission
notice appear in supporting documentation, and that the name of Sam
Rushing not be used in advertising or publicity pertaining to
distribution of the software without specific, written prior
permission.

SAM RUSHING DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE,
INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS, IN
NO EVENT SHALL SAM RUSHING BE LIABLE FOR ANY SPECIAL, INDIRECT OR
CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS
OF USE, DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT,
NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF OR IN
CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.

Gerenciamento de cookies

O módulo http.cookies contém o seguinte aviso:

Copyright 2000 by Timothy O'Malley <timo@alum.mit.edu>

               All Rights Reserved

Permission to use, copy, modify, and distribute this software
and its documentation for any purpose and without fee is hereby
granted, provided that the above copyright notice appear in all
copies and that both that copyright notice and this permission
notice appear in supporting documentation, and that the name of
Timothy O'Malley  not be used in advertising or publicity
pertaining to distribution of the software without specific, written
prior permission.

Timothy O'Malley DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS
SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY
AND FITNESS, IN NO EVENT SHALL Timothy O'Malley BE LIABLE FOR
ANY SPECIAL, INDIRECT OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS,
WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS
ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR
PERFORMANCE OF THIS SOFTWARE.

Rastreamento de execução

O módulo trace contém o seguinte aviso:

portions copyright 2001, Autonomous Zones Industries, Inc., all rights...
err...  reserved and offered to the public under the terms of the
Python 2.2 license.
Author: Zooko O'Whielacronx
http://zooko.com/
mailto:zooko@zooko.com

Copyright 2000, Mojam Media, Inc., all rights reserved.
Author: Skip Montanaro

Copyright 1999, Bioreason, Inc., all rights reserved.
Author: Andrew Dalke

Copyright 1995-1997, Automatrix, Inc., all rights reserved.
Author: Skip Montanaro

Copyright 1991-1995, Stichting Mathematisch Centrum, all rights reserved.

Permission to use, copy, modify, and distribute this Python software and
its associated documentation for any purpose without fee is hereby
granted, provided that the above copyright notice appears in all copies,
and that both that copyright notice and this permission notice appear in
supporting documentation, and that the name of neither Automatrix,
Bioreason or Mojam Media be used in advertising or publicity pertaining to
distribution of the software without specific, written prior permission.

Funções UUencode e UUdecode

O codec uu contém o seguinte aviso:

Copyright 1994 by Lance Ellinghouse
Cathedral City, California Republic, United States of America.
                       All Rights Reserved
Permission to use, copy, modify, and distribute this software and its
documentation for any purpose and without fee is hereby granted,
provided that the above copyright notice appear in all copies and that
both that copyright notice and this permission notice appear in
supporting documentation, and that the name of Lance Ellinghouse
not be used in advertising or publicity pertaining to distribution
of the software without specific, written prior permission.
LANCE ELLINGHOUSE DISCLAIMS ALL WARRANTIES WITH REGARD TO
THIS SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND
FITNESS, IN NO EVENT SHALL LANCE ELLINGHOUSE CENTRUM BE LIABLE
FOR ANY SPECIAL, INDIRECT OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT
OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.

Modified by Jack Jansen, CWI, July 1995:
- Use binascii module to do the actual line-by-line conversion
  between ascii and binary. This results in a 1000-fold speedup. The C
  version is still 5 times faster, though.
- Arguments more compliant with Python standard

Chamadas de procedimento remoto XML

O módulo xmlrpc.client contém o seguinte aviso:

    The XML-RPC client interface is

Copyright (c) 1999-2002 by Secret Labs AB
Copyright (c) 1999-2002 by Fredrik Lundh

By obtaining, using, and/or copying this software and/or its
associated documentation, you agree that you have read, understood,
and will comply with the following terms and conditions:

Permission to use, copy, modify, and distribute this software and
its associated documentation for any purpose and without fee is
hereby granted, provided that the above copyright notice appears in
all copies, and that both that copyright notice and this permission
notice appear in supporting documentation, and that the name of
Secret Labs AB or the author not be used in advertising or publicity
pertaining to distribution of the software without specific, written
prior permission.

SECRET LABS AB AND THE AUTHOR DISCLAIMS ALL WARRANTIES WITH REGARD
TO THIS SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF MERCHANT-
ABILITY AND FITNESS.  IN NO EVENT SHALL SECRET LABS AB OR THE AUTHOR
BE LIABLE FOR ANY SPECIAL, INDIRECT OR CONSEQUENTIAL DAMAGES OR ANY
DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS,
WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS
ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR PERFORMANCE
OF THIS SOFTWARE.

test_epoll

O módulo test.test_epoll contém o seguinte aviso:

Copyright (c) 2001-2006 Twisted Matrix Laboratories.

Permission is hereby granted, free of charge, to any person obtaining
a copy of this software and associated documentation files (the
"Software"), to deal in the Software without restriction, including
without limitation the rights to use, copy, modify, merge, publish,
distribute, sublicense, and/or sell copies of the Software, and to
permit persons to whom the Software is furnished to do so, subject to
the following conditions:

The above copyright notice and this permission notice shall be
included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

kqueue de seleção

O módulo select contém o seguinte aviso para a interface do kqueue:

Copyright (c) 2000 Doug White, 2006 James Knight, 2007 Christian Heimes
All rights reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:
1. Redistributions of source code must retain the above copyright
   notice, this list of conditions and the following disclaimer.
2. Redistributions in binary form must reproduce the above copyright
   notice, this list of conditions and the following disclaimer in the
   documentation and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
SUCH DAMAGE.

SipHash24

O arquivo Python/pyhash.c contém a implementação de Marek Majkowski do algoritmo SipHash24 de Dan Bernstein. Contém a seguinte nota:

<MIT License>
Copyright (c) 2013  Marek Majkowski <marek@popcount.org>

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.
</MIT License>

Original location:
   https://github.com/majek/csiphash/

Solution inspired by code from:
   Samuel Neves (supercop/crypto_auth/siphash24/little)
   djb (supercop/crypto_auth/siphash24/little2)
   Jean-Philippe Aumasson (https://131002.net/siphash/siphash24.c)

strtod e dtoa

O arquivo Python/dtoa.c, que fornece as funções C dtoa e strtod para conversão de duplas de C para e de strings, é derivado do arquivo com o mesmo nome de David M. Gay, atualmente disponível em https://web.archive.org/web/20220517033456/http://www.netlib.org/fp/dtoa.c. O arquivo original, conforme recuperado em 16 de março de 2009, contém os seguintes avisos de direitos autorais e de licenciamento:

/****************************************************************
 *
 * The author of this software is David M. Gay.
 *
 * Copyright (c) 1991, 2000, 2001 by Lucent Technologies.
 *
 * Permission to use, copy, modify, and distribute this software for any
 * purpose without fee is hereby granted, provided that this entire notice
 * is included in all copies of any software which is or includes a copy
 * or modification of this software and in all copies of the supporting
 * documentation for such software.
 *
 * THIS SOFTWARE IS BEING PROVIDED "AS IS", WITHOUT ANY EXPRESS OR IMPLIED
 * WARRANTY.  IN PARTICULAR, NEITHER THE AUTHOR NOR LUCENT MAKES ANY
 * REPRESENTATION OR WARRANTY OF ANY KIND CONCERNING THE MERCHANTABILITY
 * OF THIS SOFTWARE OR ITS FITNESS FOR ANY PARTICULAR PURPOSE.
 *
 ***************************************************************/

OpenSSL

Os módulos hashlib, posix e ssl usam a biblioteca OpenSSL para desempenho adicional se forem disponibilizados pelo sistema operacional. Além disso, os instaladores do Windows e do Mac OS X para Python podem incluir uma cópia das bibliotecas do OpenSSL, portanto incluímos uma cópia da licença do OpenSSL aqui: Para o lançamento do OpenSSL 3.0, e lançamentos posteriores derivados deste, se aplica a Apache License v2:

                              Apache License
                        Version 2.0, January 2004
                     https://www.apache.org/licenses/

TERMS AND CONDITIONS FOR USE, REPRODUCTION, AND DISTRIBUTION

1. Definitions.

   "License" shall mean the terms and conditions for use, reproduction,
   and distribution as defined by Sections 1 through 9 of this document.

   "Licensor" shall mean the copyright owner or entity authorized by
   the copyright owner that is granting the License.

   "Legal Entity" shall mean the union of the acting entity and all
   other entities that control, are controlled by, or are under common
   control with that entity. For the purposes of this definition,
   "control" means (i) the power, direct or indirect, to cause the
   direction or management of such entity, whether by contract or
   otherwise, or (ii) ownership of fifty percent (50%) or more of the
   outstanding shares, or (iii) beneficial ownership of such entity.

   "You" (or "Your") shall mean an individual or Legal Entity
   exercising permissions granted by this License.

   "Source" form shall mean the preferred form for making modifications,
   including but not limited to software source code, documentation
   source, and configuration files.

   "Object" form shall mean any form resulting from mechanical
   transformation or translation of a Source form, including but
   not limited to compiled object code, generated documentation,
   and conversions to other media types.

   "Work" shall mean the work of authorship, whether in Source or
   Object form, made available under the License, as indicated by a
   copyright notice that is included in or attached to the work
   (an example is provided in the Appendix below).

   "Derivative Works" shall mean any work, whether in Source or Object
   form, that is based on (or derived from) the Work and for which the
   editorial revisions, annotations, elaborations, or other modifications
   represent, as a whole, an original work of authorship. For the purposes
   of this License, Derivative Works shall not include works that remain
   separable from, or merely link (or bind by name) to the interfaces of,
   the Work and Derivative Works thereof.

   "Contribution" shall mean any work of authorship, including
   the original version of the Work and any modifications or additions
   to that Work or Derivative Works thereof, that is intentionally
   submitted to Licensor for inclusion in the Work by the copyright owner
   or by an individual or Legal Entity authorized to submit on behalf of
   the copyright owner. For the purposes of this definition, "submitted"
   means any form of electronic, verbal, or written communication sent
   to the Licensor or its representatives, including but not limited to
   communication on electronic mailing lists, source code control systems,
   and issue tracking systems that are managed by, or on behalf of, the
   Licensor for the purpose of discussing and improving the Work, but
   excluding communication that is conspicuously marked or otherwise
   designated in writing by the copyright owner as "Not a Contribution."

   "Contributor" shall mean Licensor and any individual or Legal Entity
   on behalf of whom a Contribution has been received by Licensor and
   subsequently incorporated within the Work.

2. Grant of Copyright License. Subject to the terms and conditions of
   this License, each Contributor hereby grants to You a perpetual,
   worldwide, non-exclusive, no-charge, royalty-free, irrevocable
   copyright license to reproduce, prepare Derivative Works of,
   publicly display, publicly perform, sublicense, and distribute the
   Work and such Derivative Works in Source or Object form.

3. Grant of Patent License. Subject to the terms and conditions of
   this License, each Contributor hereby grants to You a perpetual,
   worldwide, non-exclusive, no-charge, royalty-free, irrevocable
   (except as stated in this section) patent license to make, have made,
   use, offer to sell, sell, import, and otherwise transfer the Work,
   where such license applies only to those patent claims licensable
   by such Contributor that are necessarily infringed by their
   Contribution(s) alone or by combination of their Contribution(s)
   with the Work to which such Contribution(s) was submitted. If You
   institute patent litigation against any entity (including a
   cross-claim or counterclaim in a lawsuit) alleging that the Work
   or a Contribution incorporated within the Work constitutes direct
   or contributory patent infringement, then any patent licenses
   granted to You under this License for that Work shall terminate
   as of the date such litigation is filed.

4. Redistribution. You may reproduce and distribute copies of the
   Work or Derivative Works thereof in any medium, with or without
   modifications, and in Source or Object form, provided that You
   meet the following conditions:

   (a) You must give any other recipients of the Work or
       Derivative Works a copy of this License; and

   (b) You must cause any modified files to carry prominent notices
       stating that You changed the files; and

   (c) You must retain, in the Source form of any Derivative Works
       that You distribute, all copyright, patent, trademark, and
       attribution notices from the Source form of the Work,
       excluding those notices that do not pertain to any part of
       the Derivative Works; and

   (d) If the Work includes a "NOTICE" text file as part of its
       distribution, then any Derivative Works that You distribute must
       include a readable copy of the attribution notices contained
       within such NOTICE file, excluding those notices that do not
       pertain to any part of the Derivative Works, in at least one
       of the following places: within a NOTICE text file distributed
       as part of the Derivative Works; within the Source form or
       documentation, if provided along with the Derivative Works; or,
       within a display generated by the Derivative Works, if and
       wherever such third-party notices normally appear. The contents
       of the NOTICE file are for informational purposes only and
       do not modify the License. You may add Your own attribution
       notices within Derivative Works that You distribute, alongside
       or as an addendum to the NOTICE text from the Work, provided
       that such additional attribution notices cannot be construed
       as modifying the License.

   You may add Your own copyright statement to Your modifications and
   may provide additional or different license terms and conditions
   for use, reproduction, or distribution of Your modifications, or
   for any such Derivative Works as a whole, provided Your use,
   reproduction, and distribution of the Work otherwise complies with
   the conditions stated in this License.

5. Submission of Contributions. Unless You explicitly state otherwise,
   any Contribution intentionally submitted for inclusion in the Work
   by You to the Licensor shall be under the terms and conditions of
   this License, without any additional terms or conditions.
   Notwithstanding the above, nothing herein shall supersede or modify
   the terms of any separate license agreement you may have executed
   with Licensor regarding such Contributions.

6. Trademarks. This License does not grant permission to use the trade
   names, trademarks, service marks, or product names of the Licensor,
   except as required for reasonable and customary use in describing the
   origin of the Work and reproducing the content of the NOTICE file.

7. Disclaimer of Warranty. Unless required by applicable law or
   agreed to in writing, Licensor provides the Work (and each
   Contributor provides its Contributions) on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or
   implied, including, without limitation, any warranties or conditions
   of TITLE, NON-INFRINGEMENT, MERCHANTABILITY, or FITNESS FOR A
   PARTICULAR PURPOSE. You are solely responsible for determining the
   appropriateness of using or redistributing the Work and assume any
   risks associated with Your exercise of permissions under this License.

8. Limitation of Liability. In no event and under no legal theory,
   whether in tort (including negligence), contract, or otherwise,
   unless required by applicable law (such as deliberate and grossly
   negligent acts) or agreed to in writing, shall any Contributor be
   liable to You for damages, including any direct, indirect, special,
   incidental, or consequential damages of any character arising as a
   result of this License or out of the use or inability to use the
   Work (including but not limited to damages for loss of goodwill,
   work stoppage, computer failure or malfunction, or any and all
   other commercial damages or losses), even if such Contributor
   has been advised of the possibility of such damages.

9. Accepting Warranty or Additional Liability. While redistributing
   the Work or Derivative Works thereof, You may choose to offer,
   and charge a fee for, acceptance of support, warranty, indemnity,
   or other liability obligations and/or rights consistent with this
   License. However, in accepting such obligations, You may act only
   on Your own behalf and on Your sole responsibility, not on behalf
   of any other Contributor, and only if You agree to indemnify,
   defend, and hold each Contributor harmless for any liability
   incurred by, or claims asserted against, such Contributor by reason
   of your accepting any such warranty or additional liability.

END OF TERMS AND CONDITIONS

expat

A extensão pyexpat é construída usando uma cópia incluída das fontes de expatriadas, a menos que a compilação esteja configurada --with-system-expat:

Copyright (c) 1998, 1999, 2000 Thai Open Source Software Center Ltd
                               and Clark Cooper

Permission is hereby granted, free of charge, to any person obtaining
a copy of this software and associated documentation files (the
"Software"), to deal in the Software without restriction, including
without limitation the rights to use, copy, modify, merge, publish,
distribute, sublicense, and/or sell copies of the Software, and to
permit persons to whom the Software is furnished to do so, subject to
the following conditions:

The above copyright notice and this permission notice shall be included
in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.
IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY
CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

libffi

A extensão C _ctypes subjacente ao módulo ctypes é construída usando uma cópia incluída das fontes do libffi, a menos que a construção esteja configurada com --with-system-libffi:

Copyright (c) 1996-2008  Red Hat, Inc and others.

Permission is hereby granted, free of charge, to any person obtaining
a copy of this software and associated documentation files (the
``Software''), to deal in the Software without restriction, including
without limitation the rights to use, copy, modify, merge, publish,
distribute, sublicense, and/or sell copies of the Software, and to
permit persons to whom the Software is furnished to do so, subject to
the following conditions:

The above copyright notice and this permission notice shall be included
in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED ``AS IS'', WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT.  IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT
HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
DEALINGS IN THE SOFTWARE.

zlib

A extensão zlib é construída usando uma cópia incluída das fontes zlib se a versão do zlib encontrada no sistema for muito antiga para ser usada na construção:

Copyright (C) 1995-2011 Jean-loup Gailly and Mark Adler

This software is provided 'as-is', without any express or implied
warranty.  In no event will the authors be held liable for any damages
arising from the use of this software.

Permission is granted to anyone to use this software for any purpose,
including commercial applications, and to alter it and redistribute it
freely, subject to the following restrictions:

1. The origin of this software must not be misrepresented; you must not
   claim that you wrote the original software. If you use this software
   in a product, an acknowledgment in the product documentation would be
   appreciated but is not required.

2. Altered source versions must be plainly marked as such, and must not be
   misrepresented as being the original software.

3. This notice may not be removed or altered from any source distribution.

Jean-loup Gailly        Mark Adler
jloup@gzip.org          madler@alumni.caltech.edu

cfuhash

A implementação da tabela de hash usada pelo tracemalloc é baseada no projeto cfuhash:

Copyright (c) 2005 Don Owens
All rights reserved.

This code is released under the BSD license:

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:

  * Redistributions of source code must retain the above copyright
    notice, this list of conditions and the following disclaimer.

  * Redistributions in binary form must reproduce the above
    copyright notice, this list of conditions and the following
    disclaimer in the documentation and/or other materials provided
    with the distribution.

  * Neither the name of the author nor the names of its
    contributors may be used to endorse or promote products derived
    from this software without specific prior written permission.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
OF THE POSSIBILITY OF SUCH DAMAGE.

libmpdec

A extensão C _decimal subjacente ao módulo decimal é construída usando uma cópia incluída da biblioteca libmpdec, a menos que a construção esteja configurada com --with-system-libmpdec:

Copyright (c) 2008-2020 Stefan Krah. All rights reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:

1. Redistributions of source code must retain the above copyright
   notice, this list of conditions and the following disclaimer.

2. Redistributions in binary form must reproduce the above copyright
   notice, this list of conditions and the following disclaimer in the
   documentation and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS "AS IS" AND
ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
SUCH DAMAGE.

Conjunto de testes C14N do W3C

O conjunto de testes C14N 2.0 no pacote test (Lib/test/xmltestdata/c14n-20/) foi recuperado do site do W3C em https://www.w3.org/TR/xml-c14n2-testcases/ e é distribuído sob a licença BSD de 3 cláusulas:

Copyright (c) 2013 W3C(R) (MIT, ERCIM, Keio, Beihang),
All Rights Reserved.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:

* Redistributions of works must retain the original copyright notice,
  this list of conditions and the following disclaimer.
* Redistributions in binary form must reproduce the original copyright
  notice, this list of conditions and the following disclaimer in the
  documentation and/or other materials provided with the distribution.
* Neither the name of the W3C nor the names of its contributors may be
  used to endorse or promote products derived from this work without
  specific prior written permission.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

mimalloc

Licença MIT:

Copyright (c) 2018-2021 Microsoft Corporation, Daan Leijen

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

asyncio

Partes do módulo asyncio são incorporadas do uvloop 0.16 [https://github.com/MagicStack/uvloop/tree/v0.16.0], que é distribuído sob a licença MIT:

Copyright (c) 2015-2021 MagicStack Inc.  http://magic.io

Permission is hereby granted, free of charge, to any person obtaining
a copy of this software and associated documentation files (the
"Software"), to deal in the Software without restriction, including
without limitation the rights to use, copy, modify, merge, publish,
distribute, sublicense, and/or sell copies of the Software, and to
permit persons to whom the Software is furnished to do so, subject to
the following conditions:

The above copyright notice and this permission notice shall be
included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

Global Unbounded Sequences (GUS)

O arquivo Python/qsbr.c é adaptado do esquema de recuperação de memória segura “Global Unbounded Sequences” do FreeBSD em subr_smr.c [https://github.com/freebsd/freebsd-src/blob/main/sys/kern/subr_smr.c]. O arquivo é distribuído sob a licença BSD de 2 cláusulas:

Copyright (c) 2019,2020 Jeffrey Roberson <jeff@FreeBSD.org>

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:
1. Redistributions of source code must retain the above copyright
   notice unmodified, this list of conditions, and the following
   disclaimer.
2. Redistributions in binary form must reproduce the above copyright
   notice, this list of conditions and the following disclaimer in the
   documentation and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

Índice de Módulos Python

_ | a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p | q | r | s | t | u | v | w | x | z

| _ |
| __future__ | Future statement definitions
| __main__ | The environment where top-level code is run. Covers command-line interfaces, import-time behavior, and ``__name__ == '__main__'``.
| _thread | Low-level threading API.
| _tkinter | A binary module that contains the low-level interface to Tcl/Tk.
| a |
| abc | Abstract base classes according to :pep:`3119`.
| argparse | Command-line option and argument parsing library.
| array | Space efficient arrays of uniformly typed numeric values.
| ast | Abstract Syntax Tree classes and manipulation.
| asyncio | Asynchronous I/O.
| atexit | Register and execute cleanup functions.
| b |
| base64 | RFC 4648: Base16, Base32, Base64 Data Encodings; Base85 and Ascii85
| bdb | Debugger framework.
| binascii | Tools for converting between binary and various ASCII-encoded binary representations.
| bisect | Array bisection algorithms for binary searching.
| builtins | The module that provides the built-in namespace.
| bz2 | Interfaces for bzip2 compression and decompression.
| c |
| calendar | Functions for working with calendars, including some emulation of the Unix cal program.
| cmath | Mathematical functions for complex numbers.
| cmd | Build line-oriented command interpreters.
| code | Facilities to implement read-eval-print loops.
| codecs | Encode and decode data and streams.
| codeop | Compile (possibly incomplete) Python code.
- | collections | Container datatypes
|     collections.abc | Abstract base classes for containers
| colorsys | Conversion functions between RGB and other color systems.
| compileall | Tools for byte-compiling all Python source files in a directory tree.
- | concurrent |
|     concurrent.futures | Execute computations concurrently using threads or processes.
| configparser | Configuration file parser.
| contextlib | Utilities for with-statement contexts.
| contextvars | Context Variables
| copy | Shallow and deep copy operations.
| copyreg | Register pickle support functions.
| cProfile |
| csv | Write and read tabular data to and from delimited files.
| ctypes | A foreign function library for Python.
- | curses (Unix) | An interface to the curses library, providing portable terminal handling.
|     curses.ascii | Constants and set-membership functions for ASCII characters.
|     curses.panel | A panel stack extension that adds depth to curses windows.
|     curses.textpad | Emacs-like input editing in a curses window.
| d |
| dataclasses | Generate special methods on user-defined classes.
| datetime | Basic date and time types.
- | dbm | Interfaces to various Unix "database" formats.
|     dbm.dumb | Portable implementation of the simple DBM interface.
|     dbm.gnu (Unix) | GNU database manager
|     dbm.ndbm (Unix) | The New Database Manager
|     dbm.sqlite3 (All) | SQLite backend for dbm
| decimal | Implementation of the General Decimal Arithmetic Specification.
| difflib | Helpers for computing differences between objects.
| dis | Disassembler for Python bytecode.
| doctest | Test pieces of code within docstrings.
| e |
- | email | Package supporting the parsing, manipulating, and generating email messages.
|     email.charset | Character Sets
|     email.contentmanager | Storing and Retrieving Content from MIME Parts
|     email.encoders | Encoders for email message payloads.
|     email.errors | The exception classes used by the email package.
|     email.generator | Generate flat text email messages from a message structure.
|     email.header | Representing non-ASCII headers
|     email.headerregistry | Automatic Parsing of headers based on the field name
|     email.iterators | Iterate over a message object tree.
|     email.message | The base class representing email messages.
|     email.mime | Build MIME messages.
|     email.mime.application |
|     email.mime.audio |
|     email.mime.base |
|     email.mime.image |
|     email.mime.message |
|     email.mime.multipart |
|     email.mime.nonmultipart |
|     email.mime.text |
|     email.parser | Parse flat text email messages to produce a message object structure.
|     email.policy | Controlling the parsing and generating of messages
|     email.utils | Miscellaneous email package utilities.
- | encodings |
|     encodings.idna | Internationalized Domain Names implementation
|     encodings.mbcs | Windows ANSI codepage
|     encodings.utf_8_sig | UTF-8 codec with BOM signature
| ensurepip | Bootstrapping the "pip" installer into an existing Python installation or virtual environment.
| enum | Implementation of an enumeration class.
| errno | Standard errno system symbols.
| f |
| faulthandler | Dump the Python traceback.
| fcntl (Unix) | The fcntl() and ioctl() system calls.
| filecmp | Compare files efficiently.
| fileinput | Loop over standard input or a list of files.
| fnmatch | Unix shell style filename pattern matching.
| fractions | Rational numbers.
| ftplib | FTP protocol client (requires sockets).
| functools | Higher-order functions and operations on callable objects.
| g |
| gc | Interface to the cycle-detecting garbage collector.
| getopt | Portable parser for command line options; support both short and long option names.
| getpass | Portable reading of passwords and retrieval of the userid.
| gettext | Multilingual internationalization services.
| glob | Unix shell style pathname pattern expansion.
| graphlib | Functionality to operate with graph-like structures
| grp (Unix) | The group database (getgrnam() and friends).
| gzip | Interfaces for gzip compression and decompression using file objects.
| h |
| hashlib | Secure hash and message digest algorithms.
| heapq | Heap queue algorithm (a.k.a. priority queue).
| hmac | Keyed-Hashing for Message Authentication (HMAC) implementation
- | html | Helpers for manipulating HTML.
|     html.entities | Definitions of HTML general entities.
|     html.parser | A simple parser that can handle HTML and XHTML.
- | http | HTTP status codes and messages
|     http.client | HTTP and HTTPS protocol client (requires sockets).
|     http.cookiejar | Classes for automatic handling of HTTP cookies.
|     http.cookies | Support for HTTP state management (cookies).
|     http.server | HTTP server and request handlers.
| i |
| idlelib | Implementation package for the IDLE shell/editor.
| imaplib | IMAP4 protocol client (requires sockets).
- | importlib | The implementation of the import machinery.
|     importlib.abc | Abstract base classes related to import
|     importlib.machinery | Importers and path hooks
|     importlib.metadata | Accessing package metadata
|     importlib.resources | Package resource reading, opening, and access
|     importlib.resources.abc | Abstract base classes for resources
|     importlib.util | Utility code for importers
| inspect | Extract information and source code from live objects.
| io | Core tools for working with streams.
| ipaddress | IPv4/IPv6 manipulation library.
| itertools | Functions creating iterators for efficient looping.
| j |
- | json | Encode and decode the JSON format.
|     json.tool | A command line to validate and pretty-print JSON.
| k |
| keyword | Test whether a string is a keyword in Python.
| l |
| linecache | Provides random access to individual lines from text files.
| locale | Internationalization services.
- | logging | Flexible event logging system for applications.
|     logging.config | Configuration of the logging module.
|     logging.handlers | Handlers for the logging module.
| lzma | A Python wrapper for the liblzma compression library.
| m |
| mailbox | Manipulate mailboxes in various formats
| marshal | Convert Python objects to streams of bytes and back (with different constraints).
| math | Mathematical functions (sin() etc.).
| mimetypes | Mapping of filename extensions to MIME types.
| mmap | Interface to memory-mapped files for Unix and Windows.
| modulefinder | Find modules used by a script.
| msvcrt (Windows) | Miscellaneous useful routines from the MS VC++ runtime.
- | multiprocessing | Process-based parallelism.
|     multiprocessing.connection | API for dealing with sockets.
|     multiprocessing.dummy | Dumb wrapper around threading.
|     multiprocessing.managers | Share data between process with shared objects.
|     multiprocessing.pool | Create pools of processes.
|     multiprocessing.shared_memory | Provides shared memory for direct access across processes.
|     multiprocessing.sharedctypes | Allocate ctypes objects from shared memory.
| n |
| netrc | Loading of .netrc files.
| numbers | Numeric abstract base classes (Complex, Real, Integral, etc.).
| o |
| operator | Functions corresponding to the standard operators.
| optparse | Obsoleto: Command-line option parsing library.
- | os | Miscellaneous operating system interfaces.
|     os.path | Operations on pathnames.
| p |
| pathlib | Object-oriented filesystem paths
| pdb | The Python debugger for interactive interpreters.
| pickle | Convert Python objects to streams of bytes and back.
| pickletools | Contains extensive comments about the pickle protocols and pickle-machine opcodes, as well as some useful functions.
| pkgutil | Utilities for the import system.
| platform | Retrieves as much platform identifying data as possible.
| plistlib | Generate and parse Apple plist files.
| poplib | POP3 protocol client (requires sockets).
| posix (Unix) | The most common POSIX system calls (normally used via module os).
| pprint | Data pretty printer.
| profile | Python source profiler.
| pstats | Statistics object for use with the profiler.
| pty (Unix) | Pseudo-Terminal Handling for Unix.
| pwd (Unix) | The password database (getpwnam() and friends).
| py_compile | Generate byte-code files from Python source files.
| pyclbr | Supports information extraction for a Python module browser.
| pydoc | Documentation generator and online help system.
| q |
| queue | A synchronized queue class.
| quopri | Encode and decode files using the MIME quoted-printable encoding.
| r |
| random | Generate pseudo-random numbers with various common distributions.
| re | Regular expression operations.
| readline (Unix) | GNU readline support for Python.
| reprlib | Alternate repr() implementation with size limits.
| resource (Unix) | An interface to provide resource usage information on the current process.
| rlcompleter | Python identifier completion, suitable for the GNU readline library.
| runpy | Locate and run Python modules without importing them first.
| s |
| sched | General purpose event scheduler.
| secrets | Generate secure random numbers for managing secrets.
| select | Wait for I/O completion on multiple streams.
| selectors | High-level I/O multiplexing.
| shelve | Python object persistence.
| shlex | Simple lexical analysis for Unix shell-like languages.
| shutil | High-level file operations, including copying.
| signal | Set handlers for asynchronous events.
| site | Module responsible for site-specific configuration.
| sitecustomize |
| smtplib | SMTP protocol client (requires sockets).
| socket | Low-level networking interface.
| socketserver | A framework for network servers.
| sqlite3 | A DB-API 2.0 implementation using SQLite 3.x.
| ssl | TLS/SSL wrapper for socket objects
| stat | Utilities for interpreting the results of os.stat(), os.lstat() and os.fstat().
| statistics | Mathematical statistics functions
| string | Common string operations.
| stringprep | String preparation, as per RFC 3453
| struct | Interpret bytes as packed binary data.
| subprocess | Subprocess management.
| symtable | Interface to the compiler's internal symbol tables.
- | sys | Access system-specific parameters and functions.
|     sys.monitoring | Access and control event monitoring
| sysconfig | Python's configuration information
| syslog (Unix) | An interface to the Unix syslog library routines.
| t |
| tabnanny | Tool for detecting white space related problems in Python source files in a directory tree.
| tarfile | Read and write tar-format archive files.
| tempfile | Generate temporary files and directories.
| termios (Unix) | POSIX style tty control.
- | test | Regression tests package containing the testing suite for Python.
|     test.regrtest | Drives the regression test suite.
|     test.support | Support for Python's regression test suite.
|     test.support.bytecode_helper | Support tools for testing correct bytecode generation.
|     test.support.import_helper | Support for import tests.
|     test.support.os_helper | Support for os tests.
|     test.support.script_helper | Support for Python's script execution tests.
|     test.support.socket_helper | Support for socket tests.
|     test.support.threading_helper | Support for threading tests.
|     test.support.warnings_helper | Support for warnings tests.
| textwrap | Text wrapping and filling
| threading | Thread-based parallelism.
| time | Time access and conversions.
| timeit | Measure the execution time of small code snippets.
- | tkinter | Interface to Tcl/Tk for graphical user interfaces
|     tkinter.colorchooser (Tk) | Color choosing dialog
|     tkinter.commondialog (Tk) | Tkinter base class for dialogs
|     tkinter.dnd (Tk) | Tkinter drag-and-drop interface
|     tkinter.filedialog (Tk) | Dialog classes for file selection
|     tkinter.font (Tk) | Tkinter font-wrapping class
|     tkinter.messagebox (Tk) | Various types of alert dialogs
|     tkinter.scrolledtext (Tk) | Text widget with a vertical scroll bar.
|     tkinter.simpledialog (Tk) | Simple dialog windows
|     tkinter.ttk | Tk themed widget set
| token | Constants representing terminal nodes of the parse tree.
| tokenize | Lexical scanner for Python source code.
| tomllib | Parse TOML files.
| trace | Trace or track Python statement execution.
| traceback | Print or retrieve a stack traceback.
| tracemalloc | Trace memory allocations.
| tty (Unix) | Utility functions that perform common terminal control operations.
| turtle | An educational framework for simple graphics applications
| turtledemo | A viewer for example turtle scripts
| types | Names for built-in types.
| typing | Support for type hints (see :pep:`484`).
| u |
| unicodedata | Access the Unicode Database.
- | unittest | Unit testing framework for Python.
|     unittest.mock | Mock object library.
- | urllib |
|     urllib.error | Exception classes raised by urllib.request.
|     urllib.parse | Parse URLs into or assemble them from components.
|     urllib.request | Extensible library for opening URLs.
|     urllib.response | Response classes used by urllib.
|     urllib.robotparser | Load a robots.txt file and answer questions about fetchability of other URLs.
| usercustomize |
| uuid | UUID objects (universally unique identifiers) according to RFC 4122
| v |
| venv | Creation of virtual environments.
| w |
| warnings | Issue warning messages and control their disposition.
| wave | Provide an interface to the WAV sound format.
| weakref | Support for weak references and weak dictionaries.
| webbrowser | Easy-to-use controller for web browsers.
| winreg (Windows) | Routines and objects for manipulating the Windows registry.
| winsound (Windows) | Access to the sound-playing machinery for Windows.
- | wsgiref | WSGI Utilities and Reference Implementation.
|     wsgiref.handlers | WSGI server/gateway base classes.
|     wsgiref.headers | WSGI response header tools.
|     wsgiref.simple_server | A simple WSGI HTTP server.
|     wsgiref.types | WSGI types for static type checking
|     wsgiref.util | WSGI environment utilities.
|     wsgiref.validate | WSGI conformance checker.
| x |
- | xml | Package containing XML processing modules
|     xml.dom | Document Object Model API for Python.
|     xml.dom.minidom | Minimal Document Object Model (DOM) implementation.
|     xml.dom.pulldom | Support for building partial DOM trees from SAX events.
|     xml.etree.ElementInclude |
|     xml.etree.ElementTree | Implementation of the ElementTree API.
|     xml.parsers.expat | An interface to the Expat non-validating XML parser.
|     xml.parsers.expat.errors |
|     xml.parsers.expat.model |
|     xml.sax | Package containing SAX2 base classes and convenience functions.
|     xml.sax.handler | Base classes for SAX event handlers.
|     xml.sax.saxutils | Convenience functions and classes for use with SAX.
|     xml.sax.xmlreader | Interface which SAX-compliant XML parsers must implement.
- | xmlrpc |
|     xmlrpc.client | XML-RPC client access.
|     xmlrpc.server | Basic XML-RPC server implementations.
| z |
| zipapp | Manage executable Python zip archives
| zipfile | Read and write ZIP-format archive files.
| zipimport | Support for importing Python modules from ZIP archives.
| zlib | Low-level interface to compression and decompression routines compatible with gzip.
| zoneinfo | IANA time zone support

Download da documentação do Python 3.13

Última atualização em: out. 29, 2024 (20:55 UTC).

Para baixar um arquivo contendo todos os documentos para esta versão do Python em um dos vários formatos, siga um dos links nesta tabela.

Formatação | Compactado como .zip | Compactado como .tar.bz2
PDF | Baixar (17 MiB) | Baixar (17 MiB)
HTML | Baixar (13 MiB) | Baixar (8 MiB)
Texto simples | Baixar (4 MiB) | Baixar (3 MiB)
Texinfo | Baixar (9 MiB) | Baixar (7 MiB)
EPUB | Baixar (6 MiB) |

Esses arquivos contêm todo o conteúdo da documentação.

Descompactando

Usuários Unix devem baixar os arquivos .tar.bz2; estes são arquivos tar compactados com bzip2 e podem ser manipulados da maneira usual usando tar e o programa bzip2. O programa unzip do Info-ZIP pode ser usado para manipular os arquivos ZIP se desejado. Os arquivos .tar.bz2 fornecem a melhor compressão e tempos de download mais rápidos.

Usuários do Windows podem usar os arquivos ZIP, pois eles são comuns nessa plataforma. Eles são criados no Unix usando o programa zip do Info-ZIP.

Problemas

Se você tiver comentários ou sugestões para a documentação do Python, envie um e-mail para docs@python.org.

Documentação Python 3.13.0

Seja bem-vindo! Esta é a documentação oficial do Python 3.13.0.

Seções da documentação:

O que há de novo no Python 3.13?
Ou todos os documentos "O que há de novo" desde o Python 2.0

Tutorial
Comece aqui: um passeio pela sintaxe e pelos recursos do Python

Referência da biblioteca
Biblioteca padrão e embutidos

Referência da linguagem
Sintaxe e elementos da linguagem

Configurações e uso do Python
Como instalar, configurar e usar o Python

Python HOWTOs
Manuais de tópicos detalhados

Instalando módulos Python
Módulos de terceiros e PyPI.org

Distribuindo módulos Python
Publicando módulos para uso por outras pessoas

Estendendo e incorporando
Para programadores de C/C++

API C do Python
Referência da API C

FAQs
Perguntas frequentes (com respostas!)

Descontinuações
Funcionalidade descontinuada

Índices, glossário e pesquisa:

Índice global de módulos
Todos os módulos e todas as bibliotecas

Índice geral
Todas funções, classes e termos

Glossário
Termos explicados

Página de busca
Busque nessa documentação

Conteúdo completo
Lista todas seções e subseções

Informações do projeto:

Relatando problemas

Contribuindo para Docs

Baixar a documentação

História e licença do Python

Direitos autorais

Sobre a Documentação

Remoção pendente no Python 3.14

O campo ma_version_tag em PyDictObject para módulos de extensão (PEP 699 [https://peps.python.org/pep-0699/]; gh-101193 [https://github.com/python/cpython/issues/101193]).

A criação de tipos imutáveis com bases mutáveis (gh-95388 [https://github.com/python/cpython/issues/95388]).

Funções para configurar a inicialização do Python, descontinuadas no Python 3.11:

PySys_SetArgvEx(): Defina PyConfig.argv.

PySys_SetArgv(): Defina PyConfig.argv.

Py_SetProgramName(): Defina PyConfig.program_name.

Py_SetPythonHome(): Defina PyConfig.home.

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Variáveis de configuração globais

Py_DebugFlag: Use PyConfig.parser_debug.

Py_VerboseFlag: Use PyConfig.verbose.

Py_QuietFlag: Use PyConfig.quiet.

Py_InteractiveFlag: Use PyConfig.interactive.

Py_InspectFlag: Use PyConfig.inspect.

Py_OptimizeFlag: Use PyConfig.optimization_level.

Py_NoSiteFlag: Use PyConfig.site_import.

Py_BytesWarningFlag: Use PyConfig.bytes_warning.

Py_FrozenFlag: Use PyConfig.pathconfig_warnings.

Py_IgnoreEnvironmentFlag: Use PyConfig.use_environment.

Py_DontWriteBytecodeFlag: Use PyConfig.write_bytecode.

Py_NoUserSiteDirectory: Use PyConfig.user_site_directory.

Py_UnbufferedStdioFlag: Use PyConfig.buffered_stdio.

Py_HashRandomizationFlag: Use PyConfig.use_hash_seed e PyConfig.hash_seed.

Py_IsolatedFlag: Use PyConfig.isolated.

Py_LegacyWindowsFSEncodingFlag: Use PyPreConfig.legacy_windows_fs_encoding.

Py_LegacyWindowsStdioFlag: Use PyConfig.legacy_windows_stdio.

Py_FileSystemDefaultEncoding: Use PyConfig.filesystem_encoding.

Py_HasFileSystemDefaultEncoding: Use PyConfig.filesystem_encoding.

Py_FileSystemDefaultEncodeErrors: Use PyConfig.filesystem_errors.

Py_UTF8Mode: Use PyPreConfig.utf8_mode. (veja Py_PreInitialize())

A API Py_InitializeFromConfig() deve ser usada com PyConfig.

Remoção pendente no Python 3.15

A cópia empacotada do libmpdecimal.

The PyImport_ImportModuleNoBlock(): use PyImport_ImportModule().

PyWeakref_GetObject() e PyWeakref_GET_OBJECT(): use PyWeakref_GetRef().

O tipo Py_UNICODE e a macro Py_UNICODE_WIDE: use wchar_t.

Funções de inicialização do Python

PySys_ResetWarnOptions(): apague sys.warnoptions e warnings.filters.

Py_GetExecPrefix(): obtenha sys.base_exec_prefix e sys.exec_prefix.

Py_GetPath(): leia sys.path.

Py_GetPrefix(): obtenha sys.base_prefix e sys.prefix.

Py_GetProgramFullPath(): leia sys.executable.

Py_GetProgramName(): leia sys.executable.

Py_GetPythonHome(): leia PyConfig.home ou a variável de ambiente PYTHONHOME.

Remoção pendente em versões futuras

As APIs a seguir foram descontinuadas e serão removidas, embora atualmente não haja uma data agendada para sua remoção.

Py_TPFLAGS_HAVE_FINALIZE: Desnecessária desde o Python 3.8.

PyErr_Fetch(): Use PyErr_GetRaisedException().

PyErr_NormalizeException(): Use PyErr_GetRaisedException().

PyErr_Restore(): Use PyErr_SetRaisedException().

PyModule_GetFilename(): Use PyModule_GetFilenameObject().

PyOS_AfterFork(): Use PyOS_AfterFork_Child().

PySlice_GetIndicesEx(): Use PySlice_Unpack() e PySlice_AdjustIndices().

PyUnicode_AsDecodedObject(): Use PyCodec_Decode().

PyUnicode_AsDecodedUnicode(): Use PyCodec_Decode().

PyUnicode_AsEncodedObject(): Use PyCodec_Encode().

PyUnicode_AsEncodedUnicode(): Use PyCodec_Encode().

PyUnicode_READY(): Desnecessário desde o Python 3.12

PyErr_Display(): Use PyErr_DisplayException().

_PyErr_ChainExceptions(): Use _PyErr_ChainExceptions1().

O membro PyBytesObject.ob_shash: chame PyObject_Hash().

O membro PyDictObject.ma_version_tag.

API do Thread Local Storage (TLS):

PyThread_create_key(): Use PyThread_tss_alloc().

PyThread_delete_key(): Use PyThread_tss_free().

PyThread_set_key_value(): Use PyThread_tss_set().

PyThread_get_key_value(): Use PyThread_tss_get().

PyThread_delete_key_value(): Use PyThread_tss_delete().

PyThread_ReInitTLS(): Desnecessário desde o Python 3.7.

Remoção pendente no Python 3.13

Módulos (veja PEP 594 [https://peps.python.org/pep-0594/]):

aifc

audioop

cgi

cgitb

chunk

crypt

imghdr

mailcap

msilib

nis

nntplib

ossaudiodev

pipes

sndhdr

spwd

sunau

telnetlib

uu

xdrlib

Outros módulos:

lib2to3 e o programa 2to3 (gh-84540 [https://github.com/python/cpython/issues/84540])

APIs:

configparser.LegacyInterpolation (gh-90765 [https://github.com/python/cpython/issues/90765])

locale.resetlocale() (gh-90817 [https://github.com/python/cpython/issues/90817])

turtle.RawTurtle.settiltangle() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.findTestCases() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.getTestCaseNames() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.makeSuite() (gh-50096 [https://github.com/python/cpython/issues/50096])

unittest.TestProgram.usageExit() (gh-67048 [https://github.com/python/cpython/issues/67048])

webbrowser.MacOSX (gh-86421 [https://github.com/python/cpython/issues/86421])

Encadeamento do descritor de classmethod (gh-89519 [https://github.com/python/cpython/issues/89519])

Métodos descontinuados de importlib.resources:

contents()

is_resource()

open_binary()

open_text()

path()

read_binary()

read_text()

Use importlib.resources.files() em vez disso. Confira importlib-resources: Migrando do legado [https://importlib-resources.readthedocs.io/en/latest/using.html#migrating-from-legacy] , em inglês (gh-106531 [https://github.com/python/cpython/issues/106531])

Remoção pendente no Python 3.14

O sistema de importação:

A definição de __loader__ em um módulo enquanto falha na definição de __spec__.loader está descontinuado. No Python 3.14, __loader__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão.

argparse: Os parâmetros type, choices e metavar de argparse.BooleanOptionalAction foram descontinuados e serão removidos na versão 3.14. (Contribuição de Nikita Sobolev em gh-92248 [https://github.com/python/cpython/issues/92248].)

ast: Os seguintes recursos foram descontinuados na documentação desde Python 3.8, agora fazem com que um DeprecationWarning seja emitido em tempo de execução quando eles são acessados ou usados, e serão removidos no Python 3.14:

ast.Num

ast.Str

ast.Bytes

ast.NameConstant

ast.Ellipsis

Usa ast.Constant em vez disso. (Contribuição de Serhiy Storchaka em gh-90953 [https://github.com/python/cpython/issues/90953].)

asyncio:

As classes filhas do observador MultiLoopChildWatcher, FastChildWatcher, AbstractChildWatcher e SafeChildWatcher foram descontinuadas e serão removidas no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

asyncio.set_child_watcher(), asyncio.get_child_watcher(), asyncio.AbstractEventLoopPolicy.set_child_watcher() e asyncio.AbstractEventLoopPolicy.get_child_watcher() foram descontinuados e serão removidos no Python 3.14. (Contribuição de Kumar Aditya em gh-94597 [https://github.com/python/cpython/issues/94597].)

O método get_event_loop() da política de laço de eventos padrão agora emite um DeprecationWarning se não houver nenhum laço de eventos atual definido e decidir criar um. (Contribuição de Serhiy Storchaka e Guido van Rossum em gh-100160 [https://github.com/python/cpython/issues/100160].)

collections.abc: ByteString foi descontinuado. Prefira Sequence ou Buffer Para uso em tipagem, prefira uma união, como bytes | bytearray ou collections.abc.Buffer. (Contribuição de Shantanu Jain em gh-91896 [https://github.com/python/cpython/issues/91896].)

email: Descontinua o parâmetro isdst em email.utils.localtime(). (Contribuição de Alan Williams em gh-72346 [https://github.com/python/cpython/issues/72346].)

importlib.abc descontinuou as classes:

importlib.abc.ResourceReader

importlib.abc.Traversable

importlib.abc.TraversableResources

Em vez disso, use classes importlib.resources.abc:

importlib.resources.abc.Traversable

importlib.resources.abc.TraversableResources

(Contribuição de Jason R. Coombs e Hugo van Kemenade em gh-93963 [https://github.com/python/cpython/issues/93963].)

itertools tinha suporte não documentado, ineficiente, historicamente cheio de bugs e inconsistente para operações de cópia, cópia profunda e serialização com pickle. Isso será removido na versão 3.14 para uma redução significativa no volume de código e na carga de manutenção. (Contribuição de Raymond Hettinger em gh-101588 [https://github.com/python/cpython/issues/101588].)

multiprocessing: O método de inicialização padrão será alterado para um mais seguro no Linux, BSDs e outras plataformas POSIX não-macOS onde 'fork' é atualmente o padrão (gh-84559 [https://github.com/python/cpython/issues/84559]). Adicionar um aviso de tempo de execução sobre isso foi considerado muito perturbador, pois não se espera que a maior parte do código se importe. Use as APIs get_context() ou set_start_method() para especificar explicitamente quando seu código requer 'fork'. Veja Contextos e métodos de inicialização.

pathlib: is_relative_to() e relative_to(): passar argumentos adicionais foi descontinuado.

pkgutil: find_loader() e get_loader() agora levantam DeprecationWarning; use importlib.util.find_spec() em vez disto. (Contribuição de Nikita Sobolev em gh-97850 [https://github.com/python/cpython/issues/97850].)

pty:

master_open(): use pty.openpty().

slave_open(): use pty.openpty().

sqlite3:

version e version_info.

execute() e executemany() se espaços reservados nomeados forem usados ​​e parameters for uma sequência em vez de um dict .

adaptador de data e hora, conversor de registro de data e hora: veja a documentação de sqlite3 para receitas de substituição sugeridas.

types.CodeType: O acesso a co_lnotab foi descontinuado na PEP 626 [https://peps.python.org/pep-0626/] desde 3.10 e foi planejado para ser removido em 3.12, mas só recebeu uma DeprecationWarning adequada em 3.12. Pode ser removido em 3.14. (Contribuição de Nikita Sobolev em gh-101866 [https://github.com/python/cpython/issues/101866].)

typing: ByteString, descontinuado desde Python 3.9, agora faz com que uma DeprecationWarning seja emitida quando é usado.

urllib: urllib.parse.Quoter está obsoleto: não foi planejado para ser uma API pública. (Contribuição de Gregory P. Smith em gh-88168 [https://github.com/python/cpython/issues/88168].)

Remoção pendente no Python 3.15

O sistema de importação:

A definição de __cached__ em um módulo enquanto falha na definição de __spec__.cached está descontinuado. No Python 3.15, __cached__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

A definição de __package__ em um módulo enquanto falha na definição de __spec__.parent está descontinuado. No Python 3.15, __package__ deixará de ser definido ou levado em consideração pelo sistema de importação ou pela biblioteca padrão. (gh-97879 [https://github.com/python/cpython/issues/97879])

ctypes:

A função não documentada ctypes.SetPointerType() foi descontinuada desde o Python 3.13.

http.server:

A classe obsoleta e raramente usada CGIHTTPRequestHandler foi descontinuada desde o Python 3.13. Não existe substituição direta. Qualquer coisa é melhor que CGI para fazer a interface de um servidor web com um manipulador de requisição.

O sinalizador --cgi para a interface de linha de comando python -m http.server foi descontinuado desde o Python 3.13.

locale:

A função getdefaultlocale() foi descontinuada desde o Python 3.11. Sua remoção foi planejada originalmente para o Python 3.13 (gh-90817 [https://github.com/python/cpython/issues/90817]), mas foi adiada para o Python 3.15. Em vez disso, use getlocale(), setlocale() e getencoding(). (Contribuição de Hugo van Kemenade em gh-111187 [https://github.com/python/cpython/issues/111187].)

pathlib:

PurePath.is_reserved() foi descontinuado desde o Python 3.13. Use os.path.isreserved() para detectar caminhos reservados no Windows.

platform:

java_ver() foi descontinuada desde o Python 3.13. Esta função é útil apenas para suporte Jython, tem uma API confusa e é amplamente não testada.

threading:

RLock() não aceitará argumentos no Python 3.15. A passagem quaisquer argumentos foi descontinuada desde o Python 3.14, pois a versão Python não permite nenhum argumento, mas a versão C permite qualquer número de argumentos posicionais ou nomeados, ignorando todos os argumentos.

typing:

A sintaxe de argumento nomeado não documentada para criar classes NamedTuple (por exemplo, Point = NamedTuple("Point", x=int, y=int)) foi descontinuada desde o Python 3.13. Use a sintaxe baseada em classe ou a sintaxe funcional em vez disso.

A função decoradora typing.no_type_check_decorator() foi descontinuada desde o Python 3.13. Após oito anos no módulo typing, ela ainda não foi suportada por nenhum verificador de tipo importante.

wave:

Os métodos getmark(), setmark() e getmarkers() das classes Wave_read e Wave_write foram descontinuados desde o Python 3.13.

Remoção pendente no Python 3.16

builtins:

A inversão bit a bit em tipos booleanos, ~True ou ~False foi descontinuada desde o Python 3.12, pois produz resultados surpreendentes e não intuitivos (-2 e -1). Use not x em vez disso para a negação lógica de um Booleano. No caso raro de você precisar da inversão bit a bit do inteiro subjacente, converta para int explicitamente (~int(x)).

array:

O código de formato 'u' (wchar_t) foi descontinuado na documentação desde o Python 3.3 e em tempo de execução desde o Python 3.13. Use o código de formato 'w' (Py_UCS4) para caracteres Unicode.

shutil:

A exceção ExecError foi descontinuada desde o Python 3.14. Ela não foi usada por nenhuma função em shutil desde o Python 3.4, e agora é um alias de RuntimeError.

symtable:

O método Class.get_methods foi descontinuado desde o Python 3.14.

sys:

A função _enablelegacywindowsfsencoding() foi descontinuada desde o Python 3.13. Use a variável de ambiente PYTHONLEGACYWINDOWSFSENCODING.

tarfile:

O atributo não documentado e não utilizado TarFile.tarfile foi descontinuado desde o Python 3.13.

Remoção pendente em versões futuras

As APIs a seguir serão removidas no futuro, embora atualmente não haja uma data agendada para sua remoção.

argparse: O aninhamento de grupos de argumentos e o aninhamento de grupos mutuamente exclusivos estão descontinuados.

código de formatação 'u' do array (gh-57281 [https://github.com/python/cpython/issues/57281])

builtins:

bool(NotImplemented).

Geradores: A assinatura throw(type, exc, tb) e athrow(type, exc, tb) está descontinuada: use throw(exc) e athrow(exc), a assinatura do argumento único.

Atualmente Python aceita literais numéricos imediatamente seguidos por palavras reservadas como, por exemplo, 0in x, 1or x, 0if 1else 2. Ele permite expressões confusas e ambíguas como [0x1for x in y] (que pode ser interpretada como [0x1 for x in y] ou [0x1f or x in y]). Um aviso de sintaxe é levantado se o literal numérico for imediatamente seguido por uma das palavras reservadas and, else, for, if, in , is e or. Em uma versão futura, será alterado para um erro de sintaxe. (gh-87999 [https://github.com/python/cpython/issues/87999])

Suporte para métodos __index__() e __int__() retornando tipo não-int: esses métodos serão necessários para retornar uma instância de uma subclasse estrita de int.

Suporte para o método __float__() retornando uma subclasse estrita de float: esses métodos serão necessários para retornar uma instância de float.

Suporte para o método __complex__() retornando uma subclasse estrita de complex: esses métodos serão necessários para retornar uma instância de complex.

Delegação do método int() para o __trunc__().

Passar um número complexo como argumento real ou imag no construtor complex() agora está descontinuado; deve ser passado apenas como um único argumento posicional. (Contribuição de Serhiy Storchaka em gh-109218 [https://github.com/python/cpython/issues/109218].)

calendar: As constantes calendar.January e calendar.February foram descontinuadas e substituídas por calendar.JANUARY e calendar.FEBRUARY. (Contribuição de Prince Roshan em gh-103636 [https://github.com/python/cpython/issues/103636].)

codeobject.co_lnotab: use o método codeobject.co_lines().

datetime:

utcnow(): use datetime.datetime.now(tz=datetime.UTC).

utcfromtimestamp(): use datetime.datetime.fromtimestamp(timestamp, tz=datetime.UTC).

gettext: O valor de plural deve ser um número inteiro.

importlib:

Método load_module(): use exec_module() em vez disso.

O parâmetro debug_override de cache_from_source() foi descontinuado: em vez disso, use o parâmetro optimization.

importlib.metadata:

Interface de tupla EntryPoints.

None implícito nos valores de retorno.

logging: o método warn() foi descontinuado desde o Python 3.3, use warning().

mailbox: O uso da entrada StringIO e do modo de texto foi descontinuado; em vez disso, use BytesIO e o modo binário.

os: Chamar os.register_at_fork() em processo multithread.

pydoc.ErrorDuringImport: Um valor de tupla para o parâmetro exc_info foi descontinuado, use uma instância de exceção.

re: Regras mais rigorosas agora são aplicadas para referências numéricas de grupos e nomes de grupos em expressões regulares. Apenas a sequência de dígitos ASCII agora é aceita como referência numérica. O nome do grupo em padrões de bytes e strings de substituição agora pode conter apenas letras e dígitos ASCII e sublinhado. (Contribuição de Serhiy Storchaka em gh-91760 [https://github.com/python/cpython/issues/91760].)

Módulos sre_compile, sre_constants e sre_parse.

shutil: O parâmetro onerror de rmtree() foi descontinuado no Python 3.12; use o parâmetro onexc.

Protocolos e opções de ssl

ssl.SSLContext sem argumento de protocolo foi descontinuado.

ssl.SSLContext: set_npn_protocols() e selected_npn_protocol() foram descontinuados: use ALPN.

Opções de ssl.OP_NO_SSL*

Opções de ssl.OP_NO_TLS*

ssl.PROTOCOL_SSLv3

ssl.PROTOCOL_TLS

ssl.PROTOCOL_TLSv1

ssl.PROTOCOL_TLSv1_1

ssl.PROTOCOL_TLSv1_2

ssl.TLSVersion.SSLv3

ssl.TLSVersion.TLSv1

ssl.TLSVersion.TLSv1_1

O parâmetro check_home de sysconfig.is_python_build() foi descontinuado e é ignorado.

Métodos de threading:

threading.Condition.notifyAll(): use notify_all().

threading.Event.isSet(): use is_set().

threading.Thread.isDaemon(), threading.Thread.setDaemon(): use o atributo threading.Thread.daemon.

threading.Thread.getName(), threading.Thread.setName(): use o atributo threading.Thread.name.

threading.currentThread(): use threading.current_thread().

threading.activeCount(): use threading.active_count().

typing.Text (gh-92332 [https://github.com/python/cpython/issues/92332]).

unittest.IsolatedAsyncioTestCase: foi descontinuado retornar um valor que não seja None de um caso de teste.

Funções descontinuadas de urllib.parse: use urlparse()

splitattr()

splithost()

splitnport()

splitpasswd()

splitport()

splitquery()

splittag()

splittype()

splituser()

splitvalue()

to_bytes()

urllib.request: O estilo de URLopener e FancyURLopener de invocar solicitações foi descontinuado. Use as mais novas funções e métodos urlopen().

wsgiref: SimpleHandler.stdout.write() não deve fazer gravações parciais.

xml.etree.ElementTree: testar o valor verdade de um Element está descontinuado. Em um lançamento futuro isso sempre retornará True. Em vez disso, prefira os testes explícitos len(elem) ou elem is not None.

zipimport.zipimporter.load_module() foi descontinuado: use exec_module().

Distribuindo módulos Python

Nota

Informações e orientações sobre distribuição de módulos e pacotes Python foram movidas para o Guia de Usuário para Empacotamento de Python [https://packaging.python.org/] e o tutorial sobre empacotamento de projetos Python [https://packaging.python.org/en/latest/tutorials/packaging-projects/].

How-To - Clínica de Argumento

Nota

O How-TO da Clínica de Argumento foi movido para o Python Developer’s Guide [https://devguide.python.org/development-tools/clinic/].

Como portar códigos do Python 2 para o Python 3

autor:

Brett Cannon

O Python 2 atingiu seu fim de vida oficial no início de 2020. Isso significa que nenhum novo relatório de bug, correção ou alteração será feito no Python 2 - ele não é mais compatível: consulte a PEP 373 [https://peps.python.org/pep-0373/] e o status das versões do Python [https://devguide.python.org/versions].

Se você está pensando em portar um módulo de extensão em vez de puro código Python, veja Portando módulos de extensão para o Python 3.

A lista de discussão python-porting [https://mail.python.org/pipermail/python-porting/] arquivada pode conter algumas orientações úteis.

Desde o Python 3.11, o guia de portabilidade original foi descontinuado. Você pode encontrar o guia antigo no arquivo [https://docs.python.org/3.10/howto/pyporting.html].

Guias de terceiros

Existem também vários guias de terceiros que podem ser úteis:

Guia por Fedora [https://portingguide.readthedocs.io]

Tutorial da PyCon 2020 [https://www.youtube.com/watch?v=JgIgEjASOlk]

Guia por DigitalOcean [https://www.digitalocean.com/community/tutorials/how-to-port-python-2-code-to-python-3]

Guia por ActiveState [https://www.activestate.com/blog/how-to-migrate-python-2-applications-to-python-3]